Google, Yapay Zekâ Modellerini Hızlandırmak İçin Python’ı Çalışma Sürecinden Çıkarıyor

Google, makine öğrenimi modellerinin üretim ortamındaki performansını artırmak amacıyla Python yorumlayıcısını sunucu tarafındaki işlem hattından çıkaran XLA Serving Engine (XSE) aracını açık kaynak olarak yayınladı. OpenXLA ekosisteminin yeni bileşeni, modellerin Python ile geliştirilip C++ tabanlı yerel kod üzerinden çalıştırılmasını sağlıyor. Google’ın testlerinde XSE, optimize edilmiş en hızlı Python sunucusuna kıyasla iki ila beş kat daha yüksek işlem hacmi sunarken bellek kullanımını dörtte bire indirdi.

XLA Serving Engine Python Yorumlayıcısını Devre Dışı Bırakıyor

Google’ın geliştirdiği XSE, özellikle kısa sürede yanıt vermesi gereken makine öğrenimi modellerinin sunulmasına odaklanıyor. Büyük dil modellerinin çevrim içi çıkarım süreçleri için vLLM veya SGLang gibi çözümler öne çıkarken XSE; sıralama, öneri, gömme ve görüntü işleme modelleri gibi daha dar görevlerde kullanılan sistemleri hedefliyor. Bu modeller, kullanıcıların doğrudan sohbet etmediği ancak arka planda sürekli karar üreten hizmetlerde görev yapıyor.

Google Ürün Yönetimi Direktörü Nathan Beach, büyük dil modeli sunucularının sektörün gündeminde geniş yer tuttuğunu ancak üretim ortamındaki çıkarım işlemlerinin önemli bir bölümünü farklı model türlerinin oluşturduğunu belirtti. Beach’e göre söz konusu modeller, yüksek saniyelik sorgu hacmi ve düşük gecikme gereksinimleri nedeniyle verimli bir çalışma altyapısına ihtiyaç duyuyor.

Python, veri bilimcileri ve makine öğrenimi geliştiricileri için kolay kullanılabilen bir programlama dili olsa da yorumlayıcının her isteğin işlenmesinde devrede kalması ek işlem yükü oluşturabiliyor. Bu durum, özellikle çok sayıda kısa isteğin aynı anda işlendiği sistemlerde yanıt sürelerini uzatabiliyor. XSE, modelin Python ile geliştirilmesini korurken üretim aşamasında yorumlayıcıya duyulan ihtiyacı ortadan kaldırmayı amaçlıyor.

XSE, Google’ın kendi hizmetlerinde hâlihazırda geniş ölçekte kullanılıyor. Şirketin paylaştığı bilgilere göre altyapı, YouTube Shorts, Google Ads ve Google Search dahil çeşitli hizmetlerde saniyede altı milyondan fazla sorguyu işliyor. Bu sistemlerde makine öğrenimi modelleri arama sonuçlarını sıralıyor, video önerileri oluşturuyor ve kullanıcı etkileşimlerine göre anlık kararlar veriyor.

Google’ın performans testleri, XSE’nin optimize edilmiş Python sunucularına kıyasla iki ila beş kat daha yüksek işlem hacmine ulaştığını gösteriyor. Sistem aynı testlerde bellek kullanımını da dörtte bire düşürüyor. Bu sonuçlar, özellikle yüksek trafik alan hizmetlerde işlemci ve bellek kaynaklarının daha verimli kullanılmasına katkı sağlayabilir.

Söz konusu performans kazanımı, her yapay zekâ modeli için aynı ölçüde geçerli değil. XSE’nin tasarımı, kısa süreli ve yoğun istek trafiğiyle çalışan çıkarım görevlerine odaklanıyor. Büyük dil modellerinin uzun yanıtlar ürettiği veya karmaşık üretim süreçleri yürüttüğü senaryolarda ise farklı sunum altyapıları daha uygun seçenekler olabiliyor.

XSE mimarisinde geliştiriciler model kodlarını Python kullanarak yazıyor ve matematiksel işlemler için Google’ın JAX teknolojisinden yararlanıyor. Model eğitimi tamamlandıktan sonra dışa aktarma aracı, hesaplamaları StableHLO adı verilen taşınabilir ara gösterime dönüştürüyor. Eğitilmiş ağırlıklarla birlikte paketlenen bu dosya, XLA SavedModel biçiminde hazırlanıyor.

Çalışma zamanında C++ tabanlı sunucu altyapısı devreye giriyor. XLA, modelin hesaplama işlemlerini hedef donanım için yerel makine koduna derliyor ve Python yorumlayıcısını çalıştırmadan çıkarım işlemlerini gerçekleştiriyor. Böylece geliştiriciler Python’ın model geliştirme kolaylığını korurken üretim ortamında daha düşük seviyeli bir çalışma altyapısından yararlanabiliyor.

Google, PyTorch kullanıcılarının da bu ekosisteme katılabilmesi için TorchTPU entegrasyonu üzerinde çalışıyor. Planlanan entegrasyon, PyTorch ile geliştirilen modellerin TPU donanımlarında C++ tabanlı sunucu altyapısı üzerinden çalıştırılmasına yönelik bir dışa aktarma yolu sağlayacak.

XLA SavedModel formatı yalnızca Google’ın TPU hızlandırıcılarıyla sınırlı kalmıyor. Modeller GPU ve CPU sistemlerinde de çalıştırılabiliyor. Google, XLA ekosisteminin geliştirilmesi sırasında Arm ve Intel ile de iş birliği yürüttü. Bu destek, farklı işlemci mimarilerinde aynı model hesaplamalarının hedef donanıma uygun biçimde derlenmesini sağlıyor.

Google’ın TPU donanımlarına yönelik desteği ise şirketin kendi hızlandırıcı ekosistemini yaygınlaştırma hedefiyle örtüşüyor. XLA’nın farklı donanımlarda çalışabilmesi geliştiricilere esneklik sunarken TPU entegrasyonu Google’ın bulut ve yapay zekâ altyapısı açısından ayrı bir avantaj oluşturuyor.

Python’ın çalışma zamanı maliyetleri, makine öğrenimi sektöründe uzun süredir farklı çözümlerle ele alınıyor. PyTorch, Python dışında yerel C++ çalışma zamanı sunan LibTorch aracılığıyla modellerin daha düşük seviyeli uygulamalarda kullanılmasına imkân tanıyor. Microsoft ve iş ortaklarının geliştirdiği ONNX Runtime ise açık model grafiği formatını destekleyerek farklı platformlarda çıkarım yapılmasını sağlıyor.

Python’ın kendi referans uygulaması da performans açısından büyük ölçüde C dilindeki bileşenlerden yararlanıyor. Rust tabanlı çalışmalar da dilin çalışma zamanı altyapısına yönelik alternatiflerin gelişmesine katkı sağlıyor. XSE ise bu yaklaşımı Google’ın XLA derleyici ekosistemiyle birleştirerek Python tabanlı model geliştirme süreciyle yüksek performanslı sunucu altyapısı arasındaki ayrımı belirginleştiriyor.

Google’ın yeni aracı, Python’ı makine öğrenimi geliştirme sürecinden tamamen çıkarmıyor. Bunun yerine Python’ın üretim ortamında her isteği karşılayan yorumlayıcı rolünü ortadan kaldırıyor. Böylece geliştiriciler tanıdıkları araçlarla model oluştururken yüksek sorgu hacmine sahip hizmetlerde C++ ve yerel kodun performans avantajlarından yararlanabiliyor.