Yeni Araştırma Büyük Dil Modellerinin Metin Saklama Yapısını Aydınlattı
Akademik ekipler büyük dil modellerinin hangi metinleri belleğinde tuttuğunu daha net gösterebilen yeni bir yöntem geliştirdi. Çalışma, telif tartışmalarının yoğunlaştığı dönemde model eğitiminde kullanılan içeriklerin daha şeffaf biçimde incelenmesine katkı sunacak gibi görünüyor. Yöntem RECAP adı verilen araç üzerinden yürütülüyor. Araç bir dizi geri bildirim döngüsüyle modellerin sakladığı metinleri ortaya çıkarmaya çalışıyor.
Yeni Yaklaşımın Hedefi Model Belleğini Anlamaya Odaklanıyor
Carnegie Mellon University, Instituto Superior Técnico/INESC-ID ve Hydrox AI araştırmacıları RECAP yöntemini ayrıntılarıyla paylaştı. Araştırmacılar yayımladıkları ön baskı metninde büyük dil modellerinin hangi içerikleri sakladığını anlamanın artık daha kritik hâle geldiğini vurguladı. Telif haklarıyla ilgili süren davalar da bu kaygıyı artırdı. Ticari model geliştiricileri eğitim setlerini tam olarak açıklamadığı için kullanıcılar ya da denetleyiciler içeriklerin kapsamını göremiyor.
Ekip mevcut modellerin doğrudan alıntı paylaşma isteklerine daha kapalı hâle geldiğini ifade etti. Önceki yıllarda kullanılan Prefix-Probing gibi yöntemler bu nedenle zayıfladı. Modellerin güvenlik politikalarına uyum sağlama çabası doğrusal istekleri gölgede bırakıyor. Bazı modeller kamu malı metinleri bile aktarmayı reddedebiliyor. Bu engeller araştırmacıları daha esnek bir yöntem geliştirmeye yöneltti.
Çalışmanın yazarlarından André V. Duarte yaklaşımın neden telif konularına odaklandığını açıkladı. Duarte’ye göre kamu malı metinlerle ilgili kaygılar sınırlı kalıyor. Güncel içerikler söz konusu olduğunda model eğitiminin kapsamı daha çok tartışılıyor. Araştırma tüm eğitim verilerini ele alıyor. Amaç modelin hangi tür içeriklerde birebir ya da yüksek benzerlikte tekrar yaptığını incelemek şeklinde aktarıldı.
RECAP bir yazılım ajanı olarak çalışıyor. Ajan önce modelden bir içerik çıkarmayı deniyor. Ardından ikinci ajan ilk çıktıyı değerlendirip yeni talimat oluşturuyor. Süreç her adımda yineleniyor. İkinci ajan hedef metinden hiçbir ifadeyi kopyalamıyor. Geri bildirim yalnızca eksik kalan bölümlere yönelik genel yönlendirmeler içeriyor. Böylece süreç kirlenmeden ilerliyor.
Araştırma ekibi EchoTrace adını taşıyan yeni bir kıyaslama yöntemi geliştirdi. RECAP’in ROUGE-L skorunda önceki yöntemlere göre belirgin üstünlük sağladığı görüldü. Ekip RECAP’in farklı model ailelerinde tutarlı başarı verdiğini belirtti. Çalışmada ilk Harry Potter kitabından yaklaşık üç bin bölümün çıkarıldığı ifade edildi. Önceki en iyi yöntem yalnızca yetmiş beş bölümü tespit etmişti.
Araştırma telif davası süreçlerine devam eden şirketler açısından da önem taşıyor. Anthropic’in eylülde yazarlara yönelik uzlaşma adımı bu tartışmaların örneklerinden biri oldu. RECAP gibi yöntemlerin içerik analizine destek vermesi bekleniyor. Böylece taraflar modelin neyi içselleştirdiğini daha net görebilecek.
