Apple ve Cambridge Üniversitesi, Karmaşık Görevlerde Karar Veren Yeni Yapay Zekâ Denetçilerini Tanıttı
Apple ve Cambridge Üniversitesi araştırmacıları, büyük dil modellerinin (LLM) diğer modelleri değerlendirme sürecindeki eksikliklerine çözüm sunan yeni bir sistem geliştirdi. Yeni yapı, doğrulama araçlarıyla desteklenmiş karar verici ajanlardan oluşuyor.
Karmaşık Değerlendirme Görevlerinde Hatalar Artıyordu
Büyük dil modelleri, son dönemde “LLM-as-a-judge” yöntemiyle başka modellerin ürettiği yanıtları denetlemek için kullanılmaya başlandı. Ancak uzun metinli doğruluk kontrolleri, gelişmiş kodlama görevleri ve matematik işlemlerinde bu değerlendirmelerin kalitesi ciddi şekilde düşüyordu. Yapılan çalışmalar, hem insan anotasyonunun sınırlılıklarını hem de modellerin hata eğilimlerini ortaya koydu.
Yeni araştırmada tanıtılan “Evaluation Agent” adlı sistem, model çıktılarının doğruluğunu değerlendirmek için dış araçlara başvurma yeteneğine sahip. Ajan, yanıtın içeriğine göre önce alan analizini yapıyor, ardından hangi aracın kullanılması gerektiğini belirliyor ve son olarak nihai kararını veriyor.
Kod denetimi için OpenAI’ın kod yorumlayıcısı entegre edildi. Gerçek bilgilerin doğruluğunu kontrol etmek içinse web arama tabanlı bir denetleyici kullanılıyor. Matematiksel doğrulamalar da özelleştirilmiş bir işlem aracıyla sağlanıyor. Eğer sistem, herhangi bir dış aracın gerekli olmadığına karar verirse, yalnızca temel modelin değerlendirmesini baz alarak süreci tamamlıyor. Böylece basit görevlerde fazladan işlem yapılmasının önüne geçiliyor.
Geliştirilen sistem, özellikle uzun metinlerdeki doğruluk kontrollerinde ciddi başarı sağladı. Araştırma sonuçlarına göre, sistemin değerlendirmeleri, yerleşik veri setleriyle kıyaslandığında insan anotasyonlarına kıyasla daha yüksek uyum gösterdi. Kodlama görevlerinde de tüm kıyaslamalarda anlamlı bir performans artışı elde edildi. Matematik alanında ise bazı taban sistemlere kıyasla daha iyi sonuçlar alındı fakat genel uyum oranı yüzde 56 civarında kaldı.
Araştırmacılar, bu sistemin modüler bir yapıya sahip olduğunu belirtti. İlerleyen dönemde farklı araçların da sisteme entegre edilmesiyle daha kapsamlı denetimler yapılabileceği öngörülüyor. Apple’ın bu çerçevede geliştirdiği sistemin kaynak kodları yakında GitHub üzerinden paylaşılacak.
