Elon Musk’ın yapay zeka şirketi xAI’nin yeni modeli Grok 3, performans benchmark’larıyla ilgili bir tartışmanın odağında. OpenAI çalışanları, xAI’nin Grok 3’ün performansını yanıltıcı bir şekilde sunduğunu iddia ederken, xAI’nin kurucu ortağı Igor Babushkin bu iddiaları reddetti.
xAI, blogunda yayınladığı bir grafikte Grok 3’ün AIME 2025’teki performansını gösterdi. AIME 2025, zorlu matematik sorularından oluşan bir sınav ve yapay zeka modellerinin matematik yeteneklerini ölçmek için kullanılıyor. Grafikte, Grok 3’ün iki versiyonu (Grok 3 Reasoning Beta ve Grok 3 mini Reasoning), OpenAI’ın en iyi performans gösteren modeli o3-mini-high’ı geride bıraktı.
Ancak OpenAI çalışanları, xAI’nin grafiğinde “cons@64” skorunun eksik olduğunu belirtti. cons@64 (consensus@64), bir modelin her soruyu 64 kez cevaplaması ve en sık verilen cevabı doğru kabul etmesi anlamına geliyor. Bu yöntem, modellerin benchmark skorlarını önemli ölçüde artırıyor. xAI’nin grafiğinde cons@64 skorunun olmaması, Grok 3’ün OpenAI’ın modelini geride bıraktığı izlenimini yarattı.
Oysa Grok 3’ün “@1” skoru (ilk denemedeki skor), OpenAI’ın o3-mini-high modelinin gerisinde kalıyor. Ayrıca Grok 3 Reasoning Beta, OpenAI’ın “medium” hesaplama ayarlı o1 modelinin de biraz gerisinde. Igor Babushkin, OpenAI’ın geçmişte benzer yanıltıcı grafikler yayınladığını savunarak xAI’yi savundu. Ancak tarafsız bir gözlemci, cons@64 skorlarını da içeren daha doğru bir grafik hazırladı. Bu grafik, modellerin gerçek performansını daha net bir şekilde ortaya koyuyor.
AI araştırmacısı Nathan Lambert’ın belirttiği gibi, asıl önemli olan metrik henüz bilinmiyor: Her modelin en iyi skoru elde etmek için gereken hesaplama (ve dolayısıyla maliyet) miktarı. Bu durum, AI benchmark’larının modellerin sınırlarını ve güçlü yanlarını ne kadar iyi yansıttığı konusunda soru işaretleri yaratıyor.
Grok 3’ün performansıyla ilgili tartışma, AI benchmark’larının nasıl sunulduğu ve yorumlandığı konusunda önemli bir soruyu gündeme getiriyor. xAI ve OpenAI arasındaki bu tartışma, yapay zeka modellerinin karşılaştırılmasında daha şeffaf ve tutarlı bir yaklaşımın gerekliliğini ortaya koyuyor.
