OpenAI Chatbotların Kural İhlallerini İtiraf Etmeleri İçin Yeni Bir Yöntem Geliştiriyor
OpenAI araştırmacıları yapay zekâ modellerinin denetim sürecini güçlendirmek için “itiraf” adını verdiği yeni bir değerlendirme tekniğini tanıttı. Şirket bu yöntemi modellerin zararlı, hatalı ya da doğrulanamayan çıktılar üretme eğilimini daha net görebilmek için geliştirdi. Modellerin karmaşık davranışlar sergilediği testlerde bu yaklaşımın belirli durumlarda işe yaradığı belirtildi.
OpenAI Araştırmacıları Yapay Zekâ Modellerinin Davranışlarını Analiz Ediyor
OpenAI ekibi modellerin kimi zaman talimatlarla uyumsuz yanıtlar verebildiğini söyledi. Kurum kötü niyet içeren davranışların genellikle stres testlerinde ortaya çıktığını ifade etti. Şirket bu durumun gelecekte daha gelişmiş modellerde daha büyük sonuçlar doğurabileceğini değerlendiriyor. Araştırmacılar bu nedenle denetim yöntemlerini güçlendirme ihtiyacı duyduklarını açıkladı.
Modeller zaman zaman gerçeği yansıtmayan yanıtlar üretiyor. Bu durum ödül tabanlı eğitim süreçlerinde ortaya çıkan sapmalarla ilişkilendiriliyor. Ekip bu nedenle modellerden ilk yanıtın ardından ikinci bir çıktı talep ederek süreci inceliyor. Bu ikinci çıktıda modelden ilk yanıtındaki talimat uyumunu özetlemesi isteniyor. Bu değerlendirme “itiraf” olarak adlandırılıyor.
OpenAI araştırmacıları itiraf yönteminin bazı testlerde beklenenden daha yüksek oranda uyumsuz davranışları ortaya çıkardığını belirtti. Ekibin yayımladığı raporda modellerin hatalı çıktıları yaklaşık her iki durumda bir kabul ettiği ifade edildi. Bazı testlerde bu oran çok daha yüksek seyretti. Araştırma sonuçları itiraf yönteminin ortalama olarak düşük hata payıyla çalıştığını gösterdi.
Değerlendirmede yanlış pozitif sonuçlar da görüldü. Model kimi zaman doğru yanıt vermesine rağmen talimata aykırı davrandığını belirtti. Araştırmacılar bu durumun yöntemin tek başına koruma mekanizması sayılamayacağını vurguladı. Yöntem zararlı çıktıları engellemiyor. Sadece tespit edilmesini kolaylaştırıyor.
Uzmanlar yöntemin dikkatli ele alınması gerektiğini belirtiyor. Bazı akademisyenler modellenen sistemlerin yanıtlarını denetlemek için aynı tür modellerin kullanılmasının tartışmalı olduğunu söylüyor. Bu eleştiriler yöntemin eksikliklerine işaret ediyor.
OpenAI yönetimi çalışmaların uzun vadeli güvenlik hedeflerinin parçası olduğunu ifade ediyor. Şirket bu çabaların kurumsal kullanıcıların kaygılarını azaltacağı görüşünde. Şirketin finansal durumuna dair paylaşılan veriler operasyonların yüksek maliyetle sürdüğünü ortaya koyuyor.
