İnsan Moderatörler Marka Güvenliğinde Yapay Zekâdan Daha Başarılı Ancak 40 Kat Daha Pahalı
Markalar, reklamlarının zararlı içeriklerle yan yana gelmemesi için yüksek maliyetli bir seçimle karşı karşıya kalıyor. İnsan moderatörler, yapay zekâ destekli sistemlere kıyasla hâlâ daha yüksek doğruluk oranına sahip olsa da maliyet açısından yaklaşık 40 kat daha pahalıya mal oluyor.
Araştırma Verileri Modellerin Performansını Gösterdi
ABD merkezli marka güvenliği şirketi Zefr’in araştırmacıları, insan moderasyonuyla çok modlu büyük dil modellerinin (MLLM) performansını karşılaştırdı. Araştırma, insan moderatörlerin özellikle karmaşık ve bağlam gerektiren durumlarda hâlâ en güvenilir seçenek olduğunu ortaya koydu.
Çalışmada GPT-4o, GPT-4o-mini, Gemini-1.5-Flash, Gemini-2.0-Flash, Gemini-2.0-Flash-Lite, Llama-3.2-11B-Vision ve insan moderatörler karşılaştırıldı. 1.500 videodan oluşan veri seti; Uyuşturucu, Alkol ve Tütün (DAT), Ölüm, Yaralanma ve Askerî Çatışma (DIMC) ile Çocuk İçeriği kategorilerini kapsadı.
Sonuçlara göre insan moderatörler F1 skorunda 0.98 ile en yüksek başarıyı elde etti. Yapay zekâ modelleri arasında Gemini serisi öne çıkarken F1 skorları 0.90 ile 0.91 arasında değişti. GPT-4o modelleri ise 0.87 ve 0.88 seviyelerinde kaldı.
Araştırmada maliyet farkı dikkat çekici seviyedeydi. İnsan moderasyonunun ortalama maliyeti 974 dolar olarak hesaplanırken en uygun fiyatlı model Gemini-1.5-Flash 28 dolar, GPT-4o-mini ise 25 dolar maliyete sahip. Bu da insan moderasyonunun fiyatının en ucuz yapay zekâ çözümüne göre yaklaşık 40 kat daha fazla olduğunu gösteriyor.
Araştırma, yapay zekâ modellerinin bağlam gerektiren durumlarda hata payının yüksek olduğunu ortaya koydu. Örneğin Japonca’da kafein bağımlılığı konulu bir video, tüm modeller tarafından yanlış şekilde uyuşturucu kategorisine alındı. Dil farklılıkları ve bağlam eksikliği bu hataların temel nedenleri olarak gösterildi.
Uzmanlara göre marka güvenliğinde en etkili ve ekonomik yöntem, insan moderatörler ile yapay zekâ teknolojisinin birlikte kullanılması. Bu sayede yapay zekânın hız ve düşük maliyet avantajı, insan moderatörlerin derin bağlam anlama becerisiyle birleşebiliyor.
