OpenAI, yeni açık ağırlıklı dil modellerinde kullandığı MXFP4 adlı veri tipi sayesinde çıkarım maliyetlerinde önemli bir düşüş sağladı. Şirket, bu formatla modellerin bellek ve işlem gücü ihtiyacını ciddi oranda azaltırken daha hızlı çalışmalarını da sağladı.
MXFP4 Veri Tipi Nedir?
MXFP4, Open Compute Project tarafından tanımlanan 4 bitlik kayan noktalı bir veri formatı olarak öne çıkıyor. Klasik FP4 formatından farklı olarak mikro ölçekleme mantığıyla çalışıyor. Bu yöntem, yüksek hassasiyetli verileri küçük bloklar halinde ortak bir ölçekleme faktörü ile çarparak depoluyor. Böylece yalnızca 4 bit kullanarak daha geniş bir değer aralığı temsil edilebiliyor.
Bu yaklaşım, modelin farklı donanımlarda daha verimli çalışmasını sağlıyor. Standart FP4 formatında yaşanan agresif yuvarlama hataları, MXFP4’ün blok bazlı ölçekleme tekniği ile azaltılıyor. Böylece veri kaybı en aza iniyor ve performans korunuyor.
OpenAI, gpt-oss modellerinin yaklaşık yüzde 90’ını MXFP4 formatına dönüştürdü. Bu sayede 120 milyar parametreli bir model 80 GB VRAM’e sahip GPU’larda çalışabilir hale geldi. 20 milyar parametreli versiyon ise yalnızca 16 GB bellek ile çalıştırılabiliyor.
MXFP4 formatına geçen modeller, BF16 formatındaki eşdeğer modellere kıyasla dört kat daha az bellek kullanıyor. Bu durum, aynı zamanda token üretim hızını da dört katına kadar artırabiliyor. Özellikle FP4’ü donanımsal olarak hızlandıran Nvidia Blackwell gibi yeni nesil işlemcilerde bu avantaj daha da belirginleşiyor.
OpenAI, gpt-oss modellerini yalnızca MXFP4 formatında sunarak pazara güçlü bir mesaj verdi. BF16 veya FP8 sürümleri yayımlanmayan modeller, sektör oyuncularını bu formatı benimsemeye yönlendirebilir. Bulut sağlayıcıları açısından daha düşük donanım ihtiyacı, maliyetlerde ciddi tasarruf anlamına geliyor.
Uzmanlar, 16 bit’ten 8 bit’e düşüşte kalite kaybının ihmal edilebilir düzeyde olduğunu belirtiyor. MXFP4 ise standart FP4’ten çok daha başarılı sonuçlar verse de bazı durumlarda FP8’e göre kalite farkı oluşturabiliyor. Yine de OpenAI’nin tercihinin, diğer büyük model geliştiriciler üzerinde etkili olması bekleniyor.
