Fastly’nin yayınladığı rapor, yapay zekâ botlarının internet üzerindeki trafiği hızla artırdığını ortaya koydu. Rapor, özellikle Meta ve OpenAI’nin yoğun bot faaliyetleri nedeniyle pek çok web sitesinin binlerce isteğe saniyeler içinde maruz kaldığını gösterdi. Uzmanlara göre bu durum hem maliyetleri artırıyor hem de içerik üreticilerinin iş modelini zorluyor.
Meta Trafiğin Yüzde 52’sini Kontrol Ediyor
Rapor, yapay zekâ tarayıcılarının büyük bölümünü Meta’nın yönettiğini açıkladı. Şirket tek başına tüm tarayıcı trafiğinin yüzde 52’sini oluşturdu. Google yüzde 23, OpenAI ise yüzde 20 ile ikinci sırada yer aldı. Bu üç şirketin toplam payı yüzde 95’i buldu. Daha küçük oyuncuların oranı ise oldukça düşük kaldı.
Tarayıcılardan farklı olarak anlık veri isteyen fetch botlar da raporda dikkat çekti. OpenAI’nin bu alanda tek başına yüzde 98 oranla en fazla talep gönderen şirket olduğu belirtildi. Bu botların kısa sürede on binlerce istekte bulunması küçük web siteleri için büyük bir yük anlamına geliyor.
Fastly’nin güvenlik uzmanı Arun Kumar, özellikle küçük ve dinamik içerik sunan sitelerin sorunları daha fazla hissettiğini vurguladı. Kumar, site sahiplerine ilk adım olarak robots.txt dosyasını doğru şekilde ayarlamalarını tavsiye etti. Daha ileri düzeyde ise Anubis gibi bot engelleme yöntemlerinin kullanılabileceğini söyledi.
Rapor, bazı şirketlerin robots.txt yönergelerini dikkate almadığını ortaya koydu. Perplexity AI’nin farklı IP adresleri üzerinden erişim sağladığı iddiaları da raporda yer aldı. Uzmanlar, yapay zekâ şirketlerinin en azından temel kurallara uyması gerektiğini belirtiyor. IP adres aralıklarının paylaşılması ve botların net şekilde tanımlanması da önerilen adımlar arasında.
Görüşlerine başvurulan uzmanlar, sorunun büyümemesi için yapay zekâ şirketlerine yönelik düzenleyici adımların kaçınılmaz olduğunu ifade etti. Anubis geliştiricisi Xe Iaso, mevcut durumun internetin ortak değerlerini tehdit ettiğini söyledi. Iaso’ya göre hükümetlerin devreye girerek kurallara uymayan şirketlere ağır cezalar vermesi gerekiyor.
Bazı internet sitesi sahipleri bot trafiğini sınırlamak için yeni yöntemler deniyor. Cloudflare’in test ettiği “tıklama başına ödeme” sistemi ya da Anubis gibi yazılımlar, botların maliyetini artırmayı hedefliyor. Ancak uzmanlar bu yöntemlerin dikkatle uygulanması gerektiğini, aksi takdirde gerçek kullanıcıların da olumsuz etkilenebileceğini hatırlatıyor.
