Anthropic, Claude yapay zekâ modelinin farklı dillerde verdiği yanıtların aynı üslubu taşımadığını gösteren yeni bir araştırma yayınladı. Çalışmaya göre model, kullanılan dile bağlı olarak daha sıcak, daha temkinli, daha kısa ya da daha ayrıntılı cevaplar üretebiliyor. Araştırmacılar, bu farklılıkların kullanıcıların aynı soruya ilişkin algısını değiştirebileceğini belirtiyor.
Araştırma Dört Temel Davranış Ekseni Belirledi
Anthropic araştırmacıları, Claude’un farklı dillerde sergilediği davranışları analiz ederek dört temel eksen belirledi. Bunlar saygılı yaklaşım ile temkinlilik, sıcak iletişim ile titizlik, ayrıntılı anlatım ile kısa anlatım, açık sözlülük ile görev odaklı yaklaşım olarak sınıflandırıldı. Araştırma, bu eksenlerin modelin farklı dillerde verdiği yanıtlar arasındaki değişimin yaklaşık yüzde 15’ini açıkladığını ortaya koyuyor.
Şirket, araştırmada kullanılan “değerler” kavramının modelin gerçekten değer yargısına sahip olduğu anlamına gelmediğini özellikle vurguluyor. Anthropic’e göre burada kastedilen, Claude’un ürettiği yanıtların dürüstlük, temkin veya açıklık gibi normatif özellikleri yansıtması. Başka bir ifadeyle model, bu özellikleri benimsemiyor; yalnızca eğitim verilerinin etkisiyle bu yönde çıktılar oluşturuyor.
Anthropic’in bulgularına göre Claude, Arapça ile Hintçe konuşurken daha sıcak ve kullanıcı odaklı ifadeler kullanma eğilimi gösteriyor. İngilizce ile Rusçada ise daha teknik, daha kesin, daha titiz bir anlatım öne çıkıyor. Aynı soru farklı dillerde yöneltildiğinde modelin değerlendirme biçimi değişebildiği için kullanıcıların edindiği izlenim de farklılaşabiliyor.
Araştırmada dikkat çeken başka bir bulgu ise Hollandaca ile Endonezce arasında görüldü. Claude, Hollandaca yanıtlarında daha mütevazı bir üslup benimserken Endonezce kullandığında daha kendinden emin ifadeler tercih ediyor. Arapça yanıtlar daha kısa olurken İngilizce açıklamalar daha ayrıntılı içerik sunuyor. Dil seçimi, yalnızca çeviriyi değil cevabın yapısını da etkiliyor.
Anthropic, bu farklılıkların hangi eğitim verilerinden kaynaklandığını henüz kesin olarak belirleyebilmiş değil. Araştırmacılar, büyük dil modellerinin farklı dillerde eğitildiği veri kümelerinin içerik yapısı ile kullanım biçiminin model davranışını etkileyebileceğini değerlendiriyor. Aynı iş planının Hintçe ile Rusça değerlendirilmesi örneğinde olduğu gibi modelin kullandığı dil, kullanıcıların aldığı geri bildirimi doğrudan değiştirebiliyor.
Araştırma ayrıca güvenlik açısından da önemli sonuçlar içeriyor. Daha kısa yanıtlar daha az belirteç (token) tükettiği için kullanım maliyetini düşürebiliyor. Önceki çalışmalar ise bazı dillerde güvenlik önlemlerini aşmaya yönelik komutların daha başarılı olabildiğini göstermişti. Anthropic, bu tür farklılıkların ölçülebilmesinin yapay zekâ sistemlerinin güvenilirliği, güvenliği ile küresel kullanım deneyiminin geliştirilmesi açısından önemli bir adım olduğunu değerlendiriyor.
