Google Büyük Dil Modellerini Daha Verimli Hale Getirecek TurboQuant Teknolojisini Duyurdu

Google, yapay zekâ modellerinde maliyet ve performans sorunlarını hedef alan Google TurboQuant teknolojisini duyurdu. Şirket, geliştirdiği bu yeni sıkıştırma yöntemiyle model boyutunu küçültürken hesaplama hızını artırmayı planlıyor çünkü mevcut sistemlerde bellek tüketimi en büyük darboğazlardan biri olarak öne çıkıyor.

TurboQuant Anahtar Değer Önbelleğini Daha Verimli Hale Getiriyor

Google, TurboQuant algoritmasını geliştirirken özellikle anahtar-değer önbelleği üzerinde yoğunlaştı. Sistem, modelin tekrar hesaplama yapmamak için sakladığı verileri daha kompakt biçimde temsil ederken büyük dil modellerinin çalışma mantığını doğrudan etkiliyor. Yapay zekâ modelleri bilgiyi doğrudan depolamak yerine vektörler üzerinden anlam ilişkileri kurduğu için bu vektörlerin boyutu performansı belirleyen temel unsur haline geliyor.

Vektör yapısı yüzlerce parametre içerebildiği için bellek kullanımını artırırken işlem süresini de uzatıyor. Geliştiriciler bu sorunu genellikle yapay zekâ sıkıştırma yöntemi olarak bilinen nicemleme ile çözmeye çalışıyor ancak düşük hassasiyet kullanımı model kalitesini olumsuz etkileyebiliyor. Google, TurboQuant ile bu dengeyi koruyarak performans artışı sağlamayı hedefliyor.

Google, algoritmanın ilk aşamasında PolarQuant adını verdiği yöntemi kullanıyor. Sistem, geleneksel XYZ koordinatları yerine kutupsal koordinatlara geçiş yaparak veriyi daha sade bir yapıda temsil ediyor. Her vektör yalnızca yarıçap ve açı bilgisiyle ifade edildiği için veri boyutu küçülürken hesaplama yükü azalıyor.

👉️ İlginizi Çekebilir: Google Mac İçin Yerel Gemini Uygulamasını Test Sürecine Aldı

Şirket, bu yaklaşımı yön tarifine benzeterek açıklıyor çünkü klasik yöntem çok sayıda koordinat bilgisi gerektirirken yeni yöntem daha kısa bir ifade ile aynı bilgiyi taşıyabiliyor. Bu dönüşüm, modelin çalışma verimliliğini artıran temel adımlardan biri olarak öne çıkıyor.

Google, sıkıştırma sürecinde oluşabilecek sapmaları düzeltmek için ikinci aşamada ek bir teknik kullanıyor. Sistem, Quantized Johnson-Lindenstrauss yöntemiyle veriyi tek bit seviyesinde temsil ederken önemli ilişkileri korumayı başarıyor. Bu yaklaşım, modelin dikkat hesaplamalarını daha doğru hale getiriyor.

Şirket, TurboQuant’ı farklı açık modeller üzerinde test ederken sonuçların dikkat çekici olduğunu belirtiyor. Algoritma, doğruluk kaybı oluşturmadan 6 kat daha az bellek kullanımı sağlarken yapay zekâ performans artışı açısından 8 kata kadar hız kazanımı sunuyor. Sistem, ek eğitim gerektirmeden mevcut modellere uygulanabildiği için pratik kullanım açısından avantaj sağlıyor.

Google, özellikle mobil cihazlar açısından bu gelişmenin önemli olduğunu vurguluyor çünkü sınırlı donanım kaynaklarına sahip sistemlerde yerel yapay zekâ çalıştırmak daha mümkün hale geliyor. Bu yaklaşım, buluta bağımlılığı azaltırken cihaz üzerinde daha güçlü sonuçlar elde edilmesini destekliyor.