Yapay Zekâ Kodlama Yarışmasının İlk Sonuçları Beklentilerin Altında Kaldı
Yapay zekâ destekli kodlama alanında düzenlenen K Prize yarışmasının ilk sonuçları açıklandı. Yarışmanın kazananı Brezilyalı yapay zekâ uzmanı Eduardo Rocha de Andrade oldu. Ancak kazananın testte doğru yanıt oranı yalnızca yüzde 7,5 seviyesinde kaldı.
K Prize Yarışmasında Çarpıcı Sonuçlar Ortaya Çıktı
Laude Institute tarafından organize edilen K Prize, Databricks ve Perplexity kurucusu Andy Konwinski öncülüğünde hayata geçirildi. Yarışma, gerçek dünya kodlama sorunlarına yapay zekânın çözüm üretme yeteneğini ölçmeyi hedefliyor. Konwinski, testlerin zor olmasının anlamlı bir değerlendirme için şart olduğunu belirtti.
K Prize, GitHub üzerinde belirli bir tarihten sonra işaretlenen kodlama problemlerini kullanıyor. Bu sayede yapay zekâ modellerinin önceden bu verilere eğitim alma ihtimali ortadan kalkıyor. SWE-Bench adlı benzer test sistemlerinde yüzde 75 gibi yüksek skorlar elde edilirken K Prize’de üst sınır yüzde 7,5 oldu.
Andy Konwinski, yapay zekânın kodlama alanındaki gelişmelerine rağmen henüz beklenen seviyeye ulaşmadığını ifade etti. Sektör uzmanları da mevcut benchmark testlerinin yapay zekânın gerçek performansını yansıtması için yenilenmesinin önemine vurgu yaptı. K Prize organizatörleri, yüzde 90 üzerinde başarı elde eden ilk açık kaynak yapay zekâ modeline 1 milyon dolar ödül verecek. Yarışma, düzenli aralıklarla tekrarlanarak yapay zekâ modellerinin gelişimi takip edilecek.
