Gelişmiş dil modeli tabanlı sohbet robotlarının insan benzeri bir uzmanlık sunacağı beklentisi, yapılan yeni bir araştırmayla sorgulanıyor. Carnegie Mellon Üniversitesi tarafından yürütülen çalışmada, büyük dil modellerinin (LLM) hatalı cevaplar verdikten sonra bile özgüvenlerinin azalmadığı ortaya kondu. Aksine, sistemlerin hatalı performanslara rağmen kendilerine olan güvenlerinin arttığı belirtildi.
Yapay Zekâ Sistemleri Neden Aşırı Özgüvenli?
Araştırmanın başyazarı Trent Cash, insanlarla yapılan deneylerde katılımcıların yanlış cevaplar verdikten sonra özgüvenlerini bir miktar azalttıklarını aktardı. Örneğin, bir kişi sınav öncesinde 18 doğru yapacağını söylediğinde ve sadece 15 doğru yaptığında, sonrasında tahmini genellikle 16’ya düşüyor. Ancak aynı görevler LLM’lere verildiğinde, modellerin özgüveni azalmadı. Aksine, bazı durumlarda daha da yükseldi.
Bu durumun en net örneklerinden biri, LLM’lerin geleceğe dönük tahminlerde bulunmaları sırasında gözlemlendi. Amerikan futbol ligi NFL ya da Oscar Ödülleri gibi konularda tahmin yapan sistemlerin başarısı düşüktü. Ancak sistemlerin özgüven seviyesi düşmedi.
Çalışmaya katkı sunan akademisyenlerden Danny Oppenheimer, insanlar arası iletişimde özgüven işaretlerinin dikkatle analiz edildiğini vurguladı. Örneğin, bir insan konuşurken tereddüt ettiğinde karşısındaki kişinin şüphelenmesi doğaldır. Ancak sohbet robotları konuşurken bu tür ipuçları sunmuyor. Sistemler kendinden emin görünse de söyledikleri bilgi gerçeği yansıtmayabiliyor.
Araştırmaya göre bu durum, sohbet robotlarının gerçek anlamda bir iç gözlem yeteneğine sahip olmamalarıyla ilgili. Sistemler ne kadar yanılıyor olursa olsun kendi cevaplarını sorgulamıyor.
Hatalarını Anlamayan Modeller Gerçek Hayatta Sınıfta Kalıyor
Araştırmada ChatGPT, Google Gemini, Claude Sonnet ve Claude Haiku dil modelleri incelendi. Modeller, üniversite yaşamına dair sorularda fena olmayan sonuçlar verdi. Ancak özellikle çizim tahmin oyunu olan Pictionary testinde sınıfta kaldılar. Google Gemini, yirmi denemede ortalama bir bile doğru tahminde bulunamadı. En dikkat çekici nokta ise modelin başarısız olduğunu fark etmemesiydi.
University College London’dan Prof. Dr. Wayne Holmes’a göre, sistemlerin yapısı gereği hata üretmeleri doğaldır. Holmes, yakın zamanda Apple tarafından yayımlanan bir çalışmaya atıfta bulunarak, bu modellerin daha isabetli sonuçlar üretmesini sağlayacak kesin bir yöntem olmadığını söyledi. Ancak araştırmanın yazarlarından Cash daha iyimser. Ona göre, LLM’ler kendi yanıtlarını değerlendirme yetisi kazanırsa mevcut sorunların büyük kısmı aşılabilir. Fakat böyle bir özelliğin nasıl geliştirileceğine dair henüz net bir çözüm önerisi bulunmuyor.
Araştırmanın yayımlandığı günlerde, sohbet robotlarının hatalı ya da sahte bilgi üretmesinin yol açtığı başka örnekler de gündeme geldi. Hollanda’da sosyal yardım sisteminde kullanılan bir modelin hatalı değerlendirmeleri nedeniyle birçok kişinin mağdur olduğu belirtildi. Akademisyenler, bu tür araçların güvenle kullanılabilmesi için daha sağlam değerlendirme mekanizmalarına ihtiyaç olduğunu düşünüyor.
Sonuç olarak araştırmacılar, sohbet robotlarının insanlardaki öğrenme ve hata fark etme becerisine sahip olmadığını vurguladı. Sistemler görevleri yerine getirirken sadece olasılıklara göre cevap üretiyor. Gerçekten doğru olup olmadığını sorgulamıyor ya da hatasını kabullenmiyor. Bu da onları “bilgili gibi görünen ama güvenilmez” bir hale getiriyor.
