Microsoft, Gelişmiş Yapay Zekâ Modellerinin Kaynağına Bakılmaksızın Güvenilemeyeceği Uyarısında Bulundu
Microsoft, kurumsal ağlarda geniş yetkilerle çalışan yapay zekâ ajanlarının kötü niyetli olmasalar bile ciddi güvenlik riskleri oluşturabileceğini savunuyor. Şirketin yeni güvenlik önerisi, bağımsız kararlar alan sistemlerin olası bir saldırıya uğramadan da kurum içindeki verilere veya kritik süreçlere zarar verebileceğine işaret ediyor. Microsoft, riskleri sınırlamak amacıyla ajanların faaliyetlerini gerçek zamanlı izleyen Guardian Agents sisteminin kullanılmasını öneriyor.
Microsoft, Yapay Zekâ Ajanlarını Kurum İçi Tehdit Olarak Değerlendiriyor
Microsoft’un güvenlik yaklaşımında öne çıkan kavramlardan biri, şirket içinde geniş yetkilerle çalışan yapay zekâ ajanlarını tanımlayan “agentic insiders” ifadesi oldu. Kurumların bu sistemlere hassas verilere erişim, karar alma ve çeşitli işlemleri insan müdahalesi olmadan gerçekleştirme yetkisi vermesi, olası hataların etkisini büyütebiliyor. Microsoft’a göre bir ajanın tehlike oluşturması için ele geçirilmesi veya kasıtlı biçimde kötü amaçlı davranması gerekmiyor; sistemin beklenmedik kararlar alması da güvenlik ihlaline yol açabiliyor.
Kurumsal yapay zekâ ajanları, müşteri taleplerini işleme, verileri analiz etme veya iş akışlarını yürütme gibi görevleri üstlenebiliyor. Ancak bir ajanın erişebildiği kaynaklar ile gerçekleştirebildiği işlemler genişledikçe yanlış bir kararın etkisi de büyüyebiliyor. Bu nedenle Microsoft, kuruluşların yalnızca dış saldırılara karşı savunma geliştirmesini yeterli görmüyor; kurum içinde çalışan otonom sistemlerin davranışlarını da güvenlik politikaları kapsamında değerlendirmesini istiyor.
Microsoft’un önerdiği Guardian Agents yaklaşımı, diğer yapay zekâ ajanlarının eylemlerini sürekli izleyen ve risk yükseldiğinde müdahale edebilen denetleyici sistemlerden oluşuyor. Guardian Agents, bir ajanın hangi işlemi gerçekleştirmek istediğini ve söz konusu işlemin mevcut risk düzeyiyle ne ölçüde uyumlu olduğunu değerlendirmeyi hedefliyor. Böylece kuruluşlar, bir işlemin tamamlanmasını beklemeden riskli davranışlara müdahale edebiliyor.
Bir yapay zekâ ajanını başka bir ajanla denetlemek, güvenlik sorumluluğunun yalnızca sistemler arasında aktarılması sorununu gündeme getiriyor. Microsoft’un Project Perception girişimi, bu soruna daha kapsamlı bir güvenlik altyapısıyla yaklaşmayı amaçlıyor. Şirket, temmuz ayında tanıttığı projeyi kurumları dış kaynaklı yapay zekâ saldırılarına karşı korumaya yardımcı olacak siber güvenlik bileşenleri ile kırmızı, mavi ve yeşil ekipler halinde çalışan ajanların birleşimi olarak tanımlıyor.
Project Perception, kurumsal ortamdaki yapay zekâ ajanlarını keşfetmek ve yönetim altına almak için farklı güvenlik sinyallerini bir araya getiriyor. Microsoft’un tarif ettiği mimari, kimlik, veri, bulut, uç nokta, ağ ve çalışma zamanı katmanlarından gelen bilgileri değerlendirerek ajanlara kimlik atanmasını, çalışma ortamlarının sınırlandırılmasını ve yetki politikalarının uygulanmasını kapsıyor.
Sistem, toplanan sinyaller üzerinden ajanların gerçekleştirmek istediği işlemlerin riskini dinamik olarak hesaplamayı da amaçlıyor. Risk seviyesi yükseldiğinde Guardian Agents ekipleri devreye girerek eylemleri denetleyebiliyor ve gerektiğinde sınırlı müdahalelerde bulunabiliyor. Böyle bir yaklaşım, kurumların yalnızca hangi ajanların çalıştığını değil, ajanların hangi yetkileri kullandığını ve bu yetkilerle hangi işlemleri gerçekleştirdiğini de takip etmesine dayanıyor.
Microsoft, kurumsal güvenlik sistemlerinin daha isabetli değerlendirmeler yapabilmesi için yapay zekâ sağlayıcılarından daha fazla model şeffaflığı talep ediyor. Şirket, modellerin karar süreçleriyle ilişkili bilgiler ile “düşünce zinciri” olarak anılan tokenların daha iyi anlaşılmasının savunma ekiplerine yardımcı olabileceğini belirtiyor. Microsoft’a göre bu tür bilgiler, bir ajanın neden belirli bir eylemi seçtiğini ve izlediği yolun kendisine verilen görevle uyumlu olup olmadığını değerlendirmeyi kolaylaştırabilir.
Model şeffaflığı talebi, güvenlik ekiplerinin yapay zekâ kararlarını denetleme kapasitesiyle doğrudan ilişkili. Bununla birlikte modellerin iç işleyişine ilişkin hangi bilgilerin sağlayıcılar tarafından paylaşılacağı, bu bilgilerin nasıl korunacağı ve güvenlik ürünlerine nasıl entegre edileceği ayrı teknik ve yönetişim soruları oluşturuyor. Kurumların yalnızca model açıklamalarına dayanmak yerine erişim denetimi, kayıt tutma, yetki sınırları ve insan onayı gibi kontrolleri de birlikte uygulaması önem taşıyor.
Kurumsal yapay zekâ kullanımının genişlemesi, güvenlik politikalarının yalnızca çalışan hesaplarını ve geleneksel yazılımları kapsamakla sınırlı kalmamasını gerektiriyor. Şirketlerin ajanlara verilen izinleri düzenli olarak gözden geçirmesi, kritik işlemler için onay mekanizmaları oluşturması ve beklenmedik davranışları inceleyebilmesi gerekiyor. Microsoft’un yaklaşımının kurumlarda ne ölçüde benimsenebileceği ise denetim sistemlerinin güvenilirliğine, farklı platformlarla uyumuna ve kuruluşların uygulayacağı yönetişim kurallarına bağlı olacak.
