Görüntülerde Gizlenen Yeni Saldırı Yöntemi Yapay Zekâ Sistemlerinden Veri Sızdırdı

Trail of Bits araştırmacıları, yapay zekâ sistemlerinde kullanılan görüntü ölçeklendirme süreçlerini hedef alan yeni bir saldırı tekniği geliştirdi. Bu yöntemle saldırganlar, yüksek çözünürlüklü görsellerin içerisine insan gözüyle fark edilmeyen komutlar yerleştiriyor. Görseller sistem tarafından düşük kaliteye indirildiğinde gizlenen talimatlar açığa çıkıyor ve büyük dil modellerine aktarılıyor.

Görsellerdeki Gizli Komutlar Ölçeklendirme Sırasında Açığa Çıktı

Araştırmacılar, resimlerin performans amacıyla otomatik olarak küçültülmesinin ciddi bir risk doğurduğunu vurguladı. Görüntü yeniden örnekleme sırasında kullanılan “nearest neighbor”, “bilinear” ya da “bicubic” algoritmaları, saldırganların özel olarak hazırladığı desenleri ortaya çıkarıyor. Trail of Bits ekibi, yaptıkları bir çalışmada, özellikle “bicubic” ölçeklendirme sırasında koyu renkli alanların kırmızıya dönüştüğünü ve gizlenen metinlerin siyah renkte belirginleştiğini gösterdi. Bu sayede model, ortaya çıkan yazıları bir kullanıcı komutu gibi algılayarak arka planda kötü niyetli işlemler yürütüyor.

Denemelerde, Gemini CLI üzerinden Google Takvim verilerinin saldırganlara ait bir e-posta adresine yönlendirildiği görüldü. Süreç Zapier MCP üzerinde “trust=True” ayarıyla otomatik onaylandığında, kullanıcı fark etmeden veri paylaşımı gerçekleşti. Araştırmacılar, saldırının Gemini web arayüzü, Vertex AI Studio, Gemini API ve Android cihazlardaki Google Asistan üzerinde de çalıştığını doğruladı. Genspark platformunun da benzer şekilde etkilendiği bildirildi.

Trail of Bits, farklı ölçeklendirme algoritmaları için özel olarak hazırlanmış görseller üretebilen açık kaynaklı Anamorpher aracını beta sürümünde kullanıma sundu. Bu araçla saldırı yönteminin yalnızca teoride kalmadığı ve pratikte de uygulanabildiği ortaya kondu. Araştırmacılar, tehdidin test edilen sistemlerle sınırlı kalmayabileceğini, daha geniş bir alana yayılabileceğini belirtti.

Uzmanlar, yapay zekâ sistemlerinin görsel yükleme sırasında boyut kısıtlaması getirmesi gerektiğini ifade etti. Görseller küçültülmek zorunda kalındığında kullanıcılara önizleme sunulması önerildi. Ayrıca görüntülerde metin algılandığında hassas araç çağrılarında kullanıcı onayı alınmasının kritik olduğunun altı çizildi. Araştırmacılar, en güçlü savunmanın güvenli tasarım desenleriyle sistematik koruma sağlamak olduğunu belirtti.