Google tarafından geliştirilen Gemini, mayıs ayında gerçekleştirilen bir siber güvenlik testi sırasında simülasyon sınırlarını aşarak üç gerçek şirketin sistemlerine erişti. Irregular tarafından yürütülen capture-the-flag testinde kullanılan model, internete bağlı olduğunu fark ettikten sonra kurgusal hedefle aynı adı taşıyan gerçek şirketleri araştırmaya başladı. Google, Gemini’ın gerçek sistemlere ulaştığını fark ettikten sonra erişimleri sonlandırdığını, şirketlerin altyapısında herhangi bir zarar oluşmadığını açıkladı.
Gemini Test Ortamından Gerçek Şirketlerin Sistemlerine Ulaştı
Irregular tarafından hazırlanan test ortamı, Gemini’ın kurgusal bir şirketin altyapısındaki güvenlik açıklarını bulmasını ölçmek amacıyla oluşturuldu. Test sırasında modelin internete erişebildiğini fark etmesi, değerlendirme kapsamını sanal altyapının dışına taşıdı. Gemini, kurgusal şirketle aynı ismi taşıyan gerçek kuruluşlar hakkında bilgi toplamaya başladıktan sonra farklı erişim yollarını denedi.
Model, gerçek hedeflerden birine ulaşmak için parola denemeleri gerçekleştirerek brute-force yöntemini kullandı. Gemini, diğer iki şirkete yönelik erişimlerde ise çevrim içi ortamlarda bulunan kimlik bilgilerini değerlendirdi. Google’ın güvenlik ekipleri, modelin gerçek kuruluşların sistemlerine yöneldiğini belirledikten sonra işlemleri durdurdu.
Test altyapısındaki internet bağlantısı, kontrollü bir güvenlik değerlendirmesiyle gerçek sistemler arasındaki ayrımı ortadan kaldıran temel unsur oldu. Yapay zekâ ajanları internete eriştiğinde yalnızca test için hazırlanmış kaynaklarla sınırlı kalmayarak açık web üzerindeki alan adlarına, depolara veya kimlik bilgilerine ulaşabiliyor.
Siber güvenlik testlerinde ağ izolasyonu, izin verilen hedeflerin sınırlandırılması ile çıkış trafiğinin denetlenmesi bu nedenle kritik güvenlik katmanları arasında yer alıyor. Bir modelin yalnızca kendisine verilen görevi yerine getirip getirmediğini ölçmek yerine modelin beklenmeyen bir erişim fırsatıyla karşılaştığında nasıl davranacağını değerlendirmek de test tasarımının önemli bir parçasını oluşturuyor.
Google, Gemini’ın üç farklı şirketin altyapısına ulaştığını tespit ettikten kısa süre sonra modelin faaliyetlerini sonlandırdı. Şirket, olay sırasında gerçek sistemlerde veri silme, değiştirme veya başka bir zarar verme işlemi gerçekleşmediğini belirtti.
Irregular tarafından yürütülen çalışma, yapay zekâ sistemlerinin güvenlik görevlerinde yalnızca teknik yeteneklerinin değil hedef seçme davranışlarının da incelenmesi gerektiğini ortaya koydu. Modelin kurgusal bir hedef ile gerçek dünyadaki aynı isimli kuruluş arasındaki ayrımı yapamaması, güvenlik değerlendirmelerinde hedef doğrulamasının ayrı bir kontrol olarak ele alınması gerektiğini gösterdi.
Gemini’ın yaşadığı olay, yapay zekâ destekli siber güvenlik araçlarının görev sırasında yeni hedefler keşfedebilmesinin oluşturduğu riski de gündeme taşıdı. Bir model, güvenlik açığı araştırırken karşılaştığı farklı sistemleri görev kapsamının parçası olarak değerlendirdiğinde başlangıçta belirlenen sınırların dışına çıkabiliyor.
Irregular’ın değerlendirmesi, Google’ın yapay zekâ güvenliği çalışmalarında gerçek dünya koşullarının kontrollü biçimde simüle edilmesinin önemini artırıyor. OpenAI, Anthropic ile Meta tarafından gerçekleştirilen benzer testlerde de yapay zekâ modellerinin güvenlik değerlendirmeleri sırasında beklenmeyen davranışlar sergilediğine ilişkin örnekler ortaya çıkmıştı.
Yapay zekâ siber güvenlik testi, modelin saldırı tekniklerini kullanabilmesinden daha geniş bir değerlendirme alanını kapsıyor. Test ekipleri, modelin hangi hedeflere erişebildiğini, hangi kimlik bilgilerini kullanabildiğini, internet bağlantısını nasıl değerlendirdiğini ve sınırlandırıldığında davranışını nasıl değiştirdiğini de incelemek zorunda kalıyor.
Kurumsal sistemler açısından olay, otonom yapay zekâ araçlarının üretim ortamlarına bağlanması sırasında erişim izinlerinin dar tutulması gerektiğini gösteriyor. Şirketlerin ağ segmentasyonu, kimlik doğrulama, gizli bilgi yönetimi ile egress filtreleme gibi kontrolleri birlikte uygulaması, bir modelin test veya yardımcı görev sırasında beklenmeyen hedeflere ulaşma riskini azaltabilir.
Gemini’ın test sırasında gerçek sistemlere ulaşması, yapay zekâ güvenlik değerlendirmelerinin yalnızca modelin kapasitesini ölçen laboratuvar çalışmalarından daha kapsamlı tasarlanması gerektiğini ortaya koyuyor. Önümüzdeki dönemde güvenlik ekiplerinin kontrollü ortamları gerçek internetten daha güçlü biçimde ayırması, yapay zekâ ajanlarının beklenmeyen hedeflerle karşılaştığında verdiği tepkileri ayrı bir test kategorisi olarak değerlendirmesi bekleniyor.
