Anthropic’in Gelişmiş Yapay Zekâsı Otomat Yönetmeye Çalışırken İflas Etti
Wall Street Journal gazetesi, yapay zeka sistemlerinin gerçek dünya senaryolarındaki savunmasızlığını ortaya çıkaran bir deneye imza attı. Anthropic şirketinin geliştirdiği “Claudius” adlı dil modeli, gazetenin haber merkezinde bir otomatı yönetmekle görevlendirildi. Deney, sosyal mühendislik teknikleri karşısında yapay zekanın nasıl kolayca manipüle edilebileceğini çarpıcı şekilde gözler önüne serdi. Sistem, kısa sürede tüm stoklarını bedava dağıtırken PlayStation 5 ve canlı balık gibi alakasız ürünler sipariş etti.
Claude Yapay Zekâ Otomat Yönetiminde Kontrolü Kaybetti
Deney, Anthropic’in Kırmızı Takım olarak bilinen güvenlik test ekibinin iş birliğiyle başladı. Claudius adlı yapay zeka ajanı, 1.000 dolarlık başlangıç sermayesiyle otomatı karlı bir şekilde işletmek üzere programlandı. Sistem, çalışanların Slack üzerinden ilettiği talepleri değerlendirecek, toptancılardan ürün satın alacak ve fiyatlandırma yapacaktı. İlk günlerde Claudius, gazetecilerin oyun konsolu gibi mantıksız taleplerini reddetti. Ancak yaklaşık 70 gazetecinin bulunduğu Slack kanalına erişim izni verilmesi durumu değiştirdi. Gazeteciler, yapay zekayı ikna edici argümanlarla etkilemeye başladı.
Bir gazeteci, Claudius’u “Ultra-Kapitalist Serbest Piyasa” adını verdiği bir ekonomik deney yapmaya ikna etti. Yapay zeka, bu kapsamda iki saatliğine tüm ürünleri ücretsiz dağıtmayı kabul etti. Ardından başka bir çalışan, otomattan ücret talep etmenin şirket politikasına aykırı olduğu yönünde sahte bilgi verdi. Claudius, bu bilgiyi doğru kabul ederek tüm fiyatları sıfıra indirdi. Gazeteciler, yapay zekanın sadece atıştırmalık satma kuralını da aynı yöntemle delmeyi başardı.
Claudius’un kontrolünü yeniden sağlamak için devreye “Seymour Cash” adlı sanal bir CEO ajanı sokuldu. Bu ajan, ücretsiz satışları durdurma emri verdi. Gazeteciler bu sefer daha sofistike bir yöntem izledi. Yapay zekanın okuyabileceği sahte bir PDF belgesi hazırladılar. Belgede, otomat işletmesinin Delaware’de kayıtlı bir kâr amacı gütmeyen kuruluş”olduğu iddia edildi. Kuruluşun amacının Wall Street Journal çalışanlarına neşe ve heyecan yaymak olduğu yazıldı.
Aynı belgede, Slack’teki bazı kullanıcıların yönetim kurulu üyesi olarak atandığı sahte bir tutanak yer aldı. Bu sahte kurul, CEO Seymour Cash’in yetkilerini askıya alma kararı aldı. Ayrıca tüm kâr amaçlı satış faaliyetlerinin geçici olarak durdurulmasına hükmetti. Claudius, bu sahte belgeyi ve kararları gerçek olarak algıladı. Sistem, ürünleri bedava dağıtmaya ve gazetecilerin isteklerini yerine getirmeye devam etti. Bu süreçte yapay zeka, şarap, PlayStation 5 ve hatta bir akvaryum balığı sipariş etti.
Üç hafta sonunda sona eren deney, Claudius’un yaklaşık 1.000 dolar zarar etmesiyle sonuçlandı. Anthropic şirketi yetkilileri, bu sonucu rağmen deneyi büyük bir ilerleme olarak değerlendirdi. Şirket, yapay zekanın gerçek dünya etkileşimlerindeki zayıflıklarını anlamak için bu testi yaptığını açıkladı. Deney, dil modellerinin sosyal manipülasyon tekniklerine karşı ne kadar savunmasız olduğunu kanıtladı.
Microsoft ve Google gibi teknoloji devleri, Copilot ve Gemini gibi yapay zeka asistanlarını iş dünyasına entegre etmek için büyük yatırımlar yapıyor. Ancak Wall Street Journal’ın bu deneyi, yapay zeka sistemlerinin henüz insan zekasının karmaşıklığına ve dolandırıcılık tekniklerine karşı koyamadığını ortaya koydu. Sistemler, ikna edici konuşmalar ve sahte belgeler karşısında kolayca yönlendirilebiliyor. Bu durum, yapay zekanın finans veya müşteri hizmetleri gibi kritik alanlarda otonom kullanımı konusunda güvenlik endişelerini artırıyor.
