OpenAI araştırmacıları yeni yayımladıkları çalışmada, büyük dil modellerinin neden hâlâ yanlış bilgiler ürettiğini sorguladı. Şirket, halüsinasyon olarak adlandırılan bu sorunları “inandırıcı ama gerçeğe aykırı ifadeler” şeklinde tanımladı. Açıklamaya göre gelişmelere rağmen halüsinasyonlar tüm büyük dil modelleri için temel bir problem olmaya devam ediyor ve tamamen ortadan kalkmayacak.
Halüsinasyonların Kaynağı Eğitim Sürecinde Yatıyor
Araştırmacılar, modellerin ön eğitim aşamasında yalnızca doğru veya yanlış ayrımı yapılmadan dil akışını tahmin etmeye odaklandığını belirtiyor. Model, yazım ve parantez gibi düzenli kalıpları ölçek büyüdükçe doğru öğreniyor. Ancak düşük sıklıkla karşılaşılan özel bilgiler, örneğin bir kişinin doğum tarihi, öngörülemediği için hatalara yol açıyor.
Ekip, halüsinasyonların yalnızca eğitim sürecinden değil değerlendirme yöntemlerinden de etkilendiğini vurguluyor. Bugün kullanılan değerlendirme modelleri, doğruluk oranına odaklandığı için yanlış teşvikler üretiyor. Araştırmacılar bu durumu çoktan seçmeli sınavlara benzetiyor. Yanlış cevap vermek yerine boş bırakıldığında sıfır alınan sınavlarda öğrenciler şansını denemeye yöneliyor. Dil modelleri de aynı şekilde, “bilmiyorum” demek yerine yanılma riskine rağmen cevap üretmeyi tercih ediyor.
OpenAI, halüsinasyon sorununu azaltmak için değerlendirme sistemlerinde köklü değişiklik yapılması gerektiğini savunuyor. Yanlış ama kendinden emin verilen cevapların daha fazla cezalandırılması, belirsizliğin uygun şekilde ifade edilmesine kısmi puan verilmesi öneriliyor. Araştırmacılar, sadece birkaç yeni test eklemenin yeterli olmayacağını belirtiyor. Yaygın olarak kullanılan doğruluk odaklı ölçüm yöntemlerinin güncellenmesi gerektiğini ifade ediyor.
Çalışmaya göre, ana değerlendirme tabloları şans eseri doğru tahminleri ödüllendirmeye devam ettikçe modeller tahmin üretmeyi sürdürecek. Şirket, teşviklerin değiştirilmesi halinde halüsinasyonların tamamen bitmese de ciddi oranda azaltılabileceğini düşünüyor.
