NVIDIA GeForce Ekran Kartlarında Gizli İşlem Gücü Ortaya Çıkarıldı: Kazanımlar Yüzde 64’e Ulaşıyor
Bağımsız geliştiriciler, NVIDIA GeForce RTX 20, RTX 30 ve RTX 40 serisi ekran kartlarında yapay zekâ hesaplamalarını sınırlandıran bir donanım ayarını değiştiren açık kaynaklı araçlar geliştirdi. Linux tabanlı bu çözümler, belirli tensör çekirdeği işlemlerinde teorik işlem hızını yaklaşık iki katına çıkarırken gerçek iş yüklerinde daha sınırlı performans artışları sağlıyor. Geliştirmeler özellikle evinde yapay zekâ modeli çalıştıran kullanıcılar için önem taşırken oyun performansında belirgin bir artış sağlamıyor ve donanım güvenliği konusunda dikkatli kullanım gerektiriyor.
NVIDIA GeForce Ekran Kartlarında Yapay Zekâ Hesaplama Sınırı Aşılıyor
NVIDIA’nın GeForce RTX ekran kartlarında belirli tensör çekirdeği işlemleri, profesyonel iş istasyonlarında kullanılan bazı modellere kıyasla daha düşük hızda çalışıyor. FP16 veya BF16 biçimindeki sayıların çarpılıp sonuçların FP32 hassasiyetinde toplandığı işlemlerde GeForce kartlar, FP16 biriktirme moduna kıyasla yarı hızda çalışabiliyor. Yapay zekâ modeli eğitimi ve bazı çıkarım iş yükleri bu hesaplama biçimlerinden yararlanıyor.
RTX A6000 gibi profesyonel NVIDIA ekran kartları aynı tür işlemleri tam hızda gerçekleştirebilirken GeForce modellerindeki sınırlama, belirli yapay zekâ görevlerinde kullanılabilen işlem gücünü azaltıyor. Açık kaynaklı geliştirici projeleri, ekran kartının hız seçimini etkileyen kayıtları değiştirerek söz konusu sınırı aşmayı hedefliyor. Ancak teorik işlem hızındaki artış, her uygulamada aynı oranda performans kazanımı anlamına gelmiyor.
GitHub kullanıcısı Zagitta tarafından geliştirilen gpu-unlock aracı, NVIDIA RTX 30 serisi ekran kartlarındaki ilgili ayarları değiştirmeyi amaçlıyor. Linux çekirdek modülü biçiminde hazırlanan araç, NVIDIA sürücüsü yüklenmeden önce devreye girerek GPU üzerindeki iki hız seçimi kaydını değiştiriyor ve ekran kartını yeniden başlatıyor. Ardından standart NVIDIA sürücüsü normal biçimde çalışmaya devam ediyor.
Bu yöntem, ekran kartının VBIOS yazılımını değiştirmeyi veya NVIDIA sürücüsüne yama uygulamayı gerektirmiyor. Geliştiricinin RTX 3090 Ti üzerinde gerçekleştirdiği matris çarpımı testlerinde BF16 işlem hızı 87,5 TFLOPS değerinden 157,4 TFLOPS seviyesine yükseldi. TF32 performansı da yaklaşık iki katına yaklaşırken FP16 işlemlerindeki artış yüzde 35 düzeyinde kaldı.
Söz konusu sonuçlar, belirli hesaplama türlerinde önemli kazanımlar elde edilebildiğini gösteriyor. Ancak testler, ekran kartının tüm yapay zekâ uygulamalarında aynı ölçüde hızlanacağını kanıtlamıyor; gerçek performans kullanılan modele, işlem boyutuna ve belleğe erişim gereksinimlerine göre değişiyor.
Geliştiriciler, gpu-unlock projesini RTX 40 serisine uyarlayan gpu-unlock-ada aracını da hazırladı. Projenin README dosyasındaki ölçümlere göre RTX 4090 ekran kartında FP16 komut işleme hızı 165,6 TFLOPS değerinden 331,6 TFLOPS seviyesine çıktı. Ancak söz konusu rakamlar, ekran kartının komutları teorik olarak işleme hızını ifade ediyor; gerçek matris işlemlerindeki kazanımlar daha düşük kalabiliyor.
Bağımsız bir kullanıcı tarafından gerçekleştirilen RTX 4090 testlerinde gerçek iş yüklerine bağlı performans artışı yüzde 12 ile yüzde 34 arasında ölçüldü. Daha eski Turing mimarisini hedefleyen turing-unlock aracı ise RTX 2080 Ti üzerinde FP16 matris hesaplamalarında yüzde 36 ile yüzde 64 arasında hızlanma sağladı. Testlerde 22 GB belleğe yükseltilmiş bir RTX 2080 Ti kullanıldı.
RTX 20 serisindeki Turing mimarisi BF16 için gerekli donanım desteğine sahip olmadığından bu kartta aynı hesaplama türü uygulanamıyor. Sonuçlar, araçların her ekran kartı neslinde aynı özellikleri veya kazanımları sunmadığını gösteriyor.
Tensör çekirdeklerindeki işlem hızını artıran modifikasyonlar, oyunlardan çok yapay zekâ hesaplamalarına yönelik iş yüklerinde yarar sağlıyor. Modern oyunlar bu tür FP32 biriktirmeli tensör işlemlerine yoğun biçimde dayanmadığından oyuncuların kare hızlarında belirgin bir artış beklenmiyor. Benzer biçimde sohbet botlarının metin üretme hızı da çoğu durumda yalnızca ham işlem gücüne bağlı kalmıyor.
Büyük dil modellerinde metin üretimi sırasında bellek bant genişliği önemli bir darboğaz oluşturabiliyor. Bu nedenle tensör çekirdeklerinin daha hızlı çalışması, her token için geçen süreyi aynı oranda azaltmıyor. Buna karşılık istem işleme aşamasında yapılan ölçümlerde yüzde 14 ile yüzde 36 arasında hızlanma bildiriliyor.
Görüntü üretimi ve model ince ayarı (fine-tuning) gibi işlemler, yoğun matris hesaplamalarından daha fazla yarar sağlayabilecek kullanım alanları arasında bulunuyor. Özellikle evde yapay zekâ modeli çalıştıran kullanıcılar, 24 GB belleğe sahip ikinci el RTX 3090 gibi kartlarla profesyonel donanıma göre daha düşük maliyetle belirli görevleri gerçekleştirebiliyor. Yine de gerçek kazanç, kullanılan yazılımın ve modelin ilgili hesaplama biçiminden ne kadar yararlandığına bağlı kalıyor.
GPU hız seçimi kayıtlarını değiştiren araçların kullanımı şu aşamada büyük ölçüde Linux sistemleriyle sınırlı kalıyor. Bazı geliştiriciler belirli donanımlarda doğrulanmış deneysel Windows sürümleri de hazırlıyor; ancak bu sürümler genel uyumluluk garantisi sunmuyor.
Zagitta, standart güç yönetimi ve termal kısma mekanizmalarının çalışmayı sürdürmesi nedeniyle donanım hasarı riskini düşük değerlendiriyor. Turing-unlock projesinin geliştiricisi ise tensör çekirdeklerinin yoğun güç tüketebildiği konusunda daha temkinli bir yaklaşım sergiliyor ve uzun süreli yüksek yükün ekran kartına zarar verebileceği uyarısında bulunuyor.
Kullanıcıların bu tür modifikasyonları uygulamadan önce ekran kartı uyumluluğunu kontrol etmesi, güç ve sıcaklık değerlerini izlemesi, önemli verilerini koruması ve araçların kaynak kodunu incelemesi gerekiyor. Açık kaynaklı çözümler yapay zekâ performansını artırmak için yeni seçenekler sunsa da sonuçların donanıma göre değişmesi ve uzun vadeli güvenilirliğin sınırlı biçimde test edilmiş olması, profesyonel kullanımda dikkatli değerlendirme gerektiriyor.
