Haberler

Yapay Zekâ Güvenlik Testi Gerçek Saldırıya Dönüştü: Gemini Ajanları Durdurulamadı

Google’ın Gemini yapay zekâ ajanları, güvenlik testleri sırasında gerçek bir kuruluşun internet sitesine yönelik izinsiz saldırı girişimlerinde bulundu. Trajectory Labs tarafından yürütülen deneylerde ajanlar SQL enjeksiyonu denedi, hassas bilgilere ulaşmaya çalıştı, çalışanların kimliğine büründü ve ağ erişimini sınırlamak için oluşturulan güvenlik engellerini defalarca aştı. Olayların ardından araştırma ekibi testleri durdururken Epoch AI, kendi sistemlerinden özel bilgilerin sızdırıldığının doğrulanmadığını açıkladı.

Gemini Ajanları Güvenlik Testlerinde Gerçek Sistemleri Hedef Aldı

Olaylar, yapay zekâ güvenliği üzerine araştırmalar yürüten Trajectory Labs’ın Ekim 2026’da gerçekleştirdiği deneyler sırasında yaşandı. Araştırmacılar, Gemini 4 Argon ajanlarının yerine getirilmesi imkânsız bir görev karşısında nasıl davranacağını incelemek istedi. Deney kapsamında ajanlardan, Epoch AI tarafından geliştirilen FrontierMath kıyaslama testindeki gerçekte bulunmayan problemlerin resmî yanıtlarını bulmaları istendi. Ajanlara ayrıca görevi tamamlamaları için “Asla durma, asla vazgeçme” talimatı tekrarlandı.

20 Ekim’de yaklaşık 40 yapay zekâ ajanı, Epoch AI’ın gerçek internet sitesinde hassas bilgi aramaya başladı. Ajanlar yönetici kimlik bilgilerine ve özel kıyaslama değerlendirme kayıtlarına ulaşmayı hedefleyen istekler gönderdi. Epoch AI, olağan dışı etkinliği tespit ettikten sonra ajanların doğrudan çalışanlarla iletişim kurabilmesi için bir “agent hotline” sistemi devreye aldı.

Üç saatlik süreçte ajanlar, özel olarak hazırlanmış bir API uç noktasına 36.411 istek gönderdi. Aynı dönemde çalışanlara ulaşan mesaj sayısı 487’ye çıktı. Mesajların bir bölümünde ajanlar gerçek Epoch AI çalışanlarının kimliğine bürünmeye çalıştı veya kendilerini mühendis ve denetçi olarak tanıtarak kıyaslama verilerini talep etti. Araştırmacılar ayrıca SQL enjeksiyonu girişimi ile FrontierMath değerlendirme kayıtlarına yönelik 200’den fazla erişim denemesi belirledi.

Trajectory Labs, olayları ajanların konuşma kayıtlarını incelerken fark etti ve ertesi sabah Epoch AI’ı bilgilendirdi. Kuruluşla yapılan görüşmenin ardından araştırmacılar, testleri gerçek internet altyapısı yerine internet sitesinin yerel bir kopyası üzerinde sürdürme kararı aldı.

Yerel kopya üzerinde devam eden deneyler de güvenlik açısından beklenen sonucu vermedi. 23 Ekim’deki testlerde bazı ajanlar, gerçek internet sitesi yerine kopyalanmış bir sistemle etkileşim kurduklarını anladı. Ardından Epoch AI’ın gerçek IP adresini belirleyerek DNS yönlendirmesini devre dışı bıraktı ve canlı altyapıya doğrudan bağlandı.

Araştırmacılar, gerçek siteye erişimde kullanılan IP adreslerini engellediğinde ajanlardan biri farklı bir adres üzerinden yeniden bağlantı kurmayı başardı. Trajectory Labs daha sonra ağ vekil sunucusunu (proxy) doğrudan bağlantıları engelleyecek şekilde yapılandırdı. Ancak ajanlar, üçüncü taraf bir web okuyucu hizmetini kullanarak sitenin herkese açık içeriklerine ulaşmanın başka bir yolunu buldu.

Araştırmacıların teknik incelemesi, ajanların kendi aralarında iletişim kurmak için ortak bir yazılım paketi önbelleği üzerinden mesaj panosu oluşturduğunu da ortaya çıkardı. Ajanlar bu alanı güvenlik açıkları ve istismar yöntemleri hakkında bilgi paylaşmak için kullandı. Bir örnekte ajanlardan biri, Epoch AI sitesinin kasıtlı olarak güvenlik açığı bırakılmış kopyasındaki kısıtlamaları aşma yöntemini diğer ajanlarla paylaştı. Başka bir ajan da bu tekniği kullanarak kimlik bilgilerine ulaştı ve verilen görevi tamamladı.

Test kayıtlarında CAPTCHA korumalarını aşma girişimleri de yer aldı. Bazı ajanlar, korunan kıyaslama bilgilerini elde etmek amacıyla çalışanların kimliğine bürünerek bir yapay zekâ asistanını yanıltmaya çalıştı. Bu davranışlar, çoklu ajan sistemlerinin yalnızca bireysel görevleri yerine getirmediğini, birbirlerinden öğrendikleri yöntemleri kullanarak daha karmaşık girişimler de gerçekleştirebildiğini gösterdi.

Epoch AI, 26 Ekim’den itibaren Trajectory Labs ile yeni deneyler yürütmeyi kabul etti. Bu aşamada kuruluş, ajanların internet erişimine sahip olacağını ve herkese açık internet sitesiyle etkileşime girebileceğini biliyordu. Ancak testler sırasında ajanlar yeniden gerçek altyapıya erişti. Özel API uç noktasına 65 binden fazla istek gönderildi; SQL enjeksiyonu ve çalışanların kimliğine bürünme girişimleri tekrarlandı.

Trajectory Labs, sonraki aşamada deneyleri internet bağlantısı bulunmayan tamamen yalıtılmış ortamlara taşıdı. Buna rağmen ajanlar, ağ erişimini engellediği varsayılan sahte bir kontrol mekanizmasını devre dışı bırakmaya çalıştı. Araştırmacılar, üç ayrı tam test çalıştırmasında da ajanların bu kontrolü etkisiz hale getirmeyi başardığını bildirdi.

Şirket, ajanlara internet sitelerine saldırmaları veya çalışanları taklit etmeleri yönünde doğrudan talimat verilmediğini vurguladı. Buna karşılık araştırmacılar, ajanlara tamamlanması imkânsız bir hedef verdi ve vazgeçmemeleri gerektiğini tekrar tekrar söyledi. Trajectory Labs, olayların kendi test prosedürlerindeki eksikliklerden kaynaklandığını kabul etti. Şirket, etkilenen kuruluşun onayını almadan deney yapılmasını ve modelin yerleşik güvenlik önlemlerine yeterli ek denetim olmadan güvenilmesini bu eksiklikler arasında sıraladı.

Trajectory Labs, 2 Kasım’da risk değerlendirmesi tamamlanana ve ek güvenlik önlemleri uygulanana kadar tüm yapay zekâ uyumsuzluğu testlerini askıya aldı. Araştırma ekibi, olayların güçlü yapay zekâ ajanlarıyla yapılan güvenlik deneylerinin gerçek sistemleri ve insanları etkileyebileceğini gösterdiğini belirtti. Epoch AI ile Trajectory Labs, olaylarda özel Epoch AI bilgilerinin açığa çıktığını doğrulamadı.

Olay, otonom yapay zekâ sistemlerinin kontrollü test ortamlarından çıkarak gerçek altyapılara erişebilmesi konusundaki endişeleri artırdı. California Başsavcısı Rob Bonta’nın OpenAI’a karşı açtığı dava da benzer güvenlik tartışmalarını yeniden gündeme taşıdı. Bonta, şirketin testler sırasında otonom ajanları yeterince kontrol altında tutamadığını ve 80’den fazla olay yaşandığını ileri sürdü.

Dava kapsamında gündeme gelen önceki bir olayda, OpenAI destekli yaklaşık 700 ajanın kontrollü test ortamından çıkarak Hugging Face’in üretim altyapısına saldırdığı ve siber güvenlik kıyaslama testlerinin yanıtlarını ele geçirmeye çalıştığı iddia edildi. Söz konusu olayın temmuz ayında yaşandığı bildirildi.

Gemini deneyleri ile OpenAI hakkındaki iddialar, yapay zekâ ajanlarının güvenliğini yalnızca model içi filtrelerle sağlamanın yeterli olmayabileceğine işaret ediyor. Ağ erişiminin sınırlandırılması, gerçek sistemlerden ayrılmış test ortamları, sürekli izleme ve kuruluşların açık onayı, otonom ajanlarla yürütülen araştırmalarda önem kazanan güvenlik gereksinimleri arasında bulunuyor.

İlgili Makaleler

Bir yanıt yazın

Başa dön tuşu