Yeni Algoritmalar, Yapay Zekâ Performansını Kaliteden Ödün Vermeden 2,8 Kat Artırabiliyor
Weizmann Bilim Enstitüsü, Intel Labs ve d-Matrix araştırmacıları, büyük dil modellerinin daha hızlı ve daha verimli çalışmasını sağlayan yeni algoritmalar geliştirdi. Uluslararası Makine Öğrenimi Konferansı’nda tanıtılan bu yöntemler, sadece birkaç satır kodla önemli bir hız artışı sunuyor.
Spekülatif Üretim Yöntemine Yeni Bir Yaklaşım Getirildi
Spekülatif üretim, küçük bir taslak modelin daha büyük hedef modeli taklit ederek bazı çıktıları önden üretmesi mantığına dayanıyor. Taslak modelin doğru tahmin ettiği her çıktı, büyük modelin işlem yükünü azaltıyor. Büyük model, hatalı tahminleri fark ettiğinde bu çıktıları görmezden gelip kendi çıktısını oluşturuyor. Bu yaklaşım, kalite kaybı olmadan hız kazancı sağladığı için kayıpsız olarak tanımlanıyor.
Bugüne kadar spekülatif üretim tekniğinin önündeki en büyük engel, taslak ve hedef modelin aynı sözcük dağarcığını kullanmak zorunda oluşuydu. Yeni algoritmalar bu zorunluluğu ortadan kaldırıyor. Araştırma ekibi üç farklı çözüm geliştirdi ve bunları Transformer tabanlı çerçevelere entegre etti.
İlk yöntem olan Token-Level Intersection (TLI), taslak ve hedef modelin kelime dağarcıklarını karşılaştırarak yalnızca ortak olanları üretmeye odaklanıyor. Bu sayede taslak modelin tahminlerinin kabul edilme oranı yüksek kalıyor. Araştırmalar, bu yöntemle geleneksel üretim sürecine göre 1,7 kat daha hızlı çıktı üretilebildiğini gösteriyor.
İkinci algoritma String-Level Exact Match (SLEM) adını taşıyor. Bu yöntemde taslak modelin çıktıları düz metne çevrilip hedef modelin anlayabileceği biçime dönüştürülüyor. Ardından her iki modelin üretimi birebir karşılaştırılıyor. Bu doğruluk seviyesi oldukça yüksek olduğu için hata oranı artsa da, uzun metinlerde 2,8 kata kadar performans artışı sağlanabiliyor. Araştırmacılar, bu yöntemi daha verimli hâle getirmek için bazı sezgisel düzeltmeler de geliştirdi.
Her iki algoritma da Hugging Face’in Transformers kütüphanesine entegre edilmiş durumda. Geliştiriciler bu hız artışını sadece tek bir satır kodla sistemlerine ekleyebiliyor. Hangi algoritmanın tercih edileceği, modelin kullanım senaryosuna göre değişiklik gösterebiliyor.
Araştırma ekibi, taslak model üretme ve eğitme sürecinin gerekliliğini önemli ölçüde azaltmayı hedefliyor. Geliştirilen tekniklerle her model, uyumsuz dağarcıklara sahip olsa bile taslak model olarak kullanılabiliyor. Bu da yeni dil modeli sürümlerine geçişteki zorlukları ortadan kaldırıyor.
Araştırmanın bir diğer hedefi ise modellerin sözcük dağarcıklarını daha yönetilebilir hâle getirmek. Llama 4 gibi modellerin 200.000’e yakın sözcük içermesi, sistemin hızını olumsuz etkiliyor. Araştırmacılar, bu gereksiz sözcüklerin azaltılmasıyla taslak modellerin daha da hızlandırılabileceğini belirtiyor.
