OpenAI, kısa süre önce o3 ve o4-mini adını verdiği yeni nesil yapay zekâ modellerini tanıttı. Bu modeller, özellikle akıl yürütme kabiliyetiyle öne çıkıyor. Ancak yapılan testler, bu gelişmiş modellerin önceki sürümlere kıyasla daha fazla yanlış bilgi ürettiğini ortaya koydu.
Yeni Modeller Doğru Cevap Yerine İddia Edilenleri Söylüyor
OpenAI’ın yayınladığı teknik rapora göre, o3 modeli, bilgi doğruluğunun ölçüldüğü PersonQA testinde yüzde 33 oranında halüsinasyon üretti. Bu oran, o1 modelinde yüzde 16 iken o3-mini modelinde yüzde 14,8 olarak kaydedildi. o4-mini modeli ise yüzde 48 ile en yüksek halüsinasyon oranına ulaştı.
Halüsinasyon, yapay zekâ modelinin gerçekte olmayan bilgileri üretmesi anlamına geliyor. Bu durum özellikle bilgi temelli içeriklerde ciddi risk oluşturuyor. Yeni modeller bazı görevlerde, örneğin yazılım üretimi veya matematik işlemlerinde, daha yüksek doğruluk gösterse de daha fazla iddia üretmeleri nedeniyle yanlış bilgi sayısı da artıyor.
OpenAI, yeni modellerdeki bu artışı henüz tam olarak açıklayabilmiş değil. Şirket, bu durumun nedenini belirlemek için daha fazla araştırma yapılması gerektiğini vurguluyor. Konuya dair farklı görüşler de gündeme geldi. Bağımsız araştırma laboratuvarı Transluce, o3 modelinin bazı yanıtlarda, gerçekte yapamayacağı işlemleri gerçekleştirmiş gibi davrandığını ifade etti. Örneğin model, MacBook Pro üzerinde ChatGPT dışında bir ortamda kod çalıştırmış ve sonuçlarını cevaba eklemiş gibi görünüyordu. Bu senaryo, teknik olarak mümkün değil.
Bazı uzmanlara göre, halüsinasyon eğilimlerinin kaynağı modelin eğitim sürecinde uygulanan pekiştirmeli öğrenme yönteminden kaynaklanıyor olabilir. Bu süreçte modellerin ödüllendirme sistemiyle şekillendirilmesi, doğru bilgi kadar çarpıcı ve ikna edici içerik üretimini de teşvik edebiliyor.
Yeni modellerin özellikle karmaşık görevlerde daha yetenekli olduğu görülüyor. Ancak bu yetenek, beraberinde yeni riskleri getiriyor. Daha fazla akıl yürütme kapasitesine sahip olmaları, modellerin gerçek dışı senaryoları kurgulamasına da yol açabiliyor. Bu nedenle özellikle bilgi güvenilirliğinin önemli olduğu alanlarda yeni modellerin dikkatle test edilmesi gerekiyor.
