Samsung, akıllı telefonlarda yapay zekâ özelliklerini sunan ilk markalardan biri olarak dikkat çekmişti. Şirket şimdi de yapay zekâ modellerinin performansını ölçmek için kendi değerlendirme aracını geliştirdi. TRUEBench adı verilen bu test sistemi, mevcut araçların eksiklerini kapatmayı hedefliyor.
TRUEBench Yapay Zekâ Testlerini Gerçek Kullanım Senaryolarıyla Ölçüyor
Samsung Research tarafından geliştirilen TRUEBench, yalnızca İngilizce odaklı olan geleneksel testlerden farklı bir yaklaşım sunuyor. Test paketi, çok dilli kullanım senaryoları ve çok adımlı diyalog yapılarıyla hazırlanıyor. Şirket, özellikle üretkenlik odaklı kullanım alanlarını dikkate alarak içerik üretimi, veri analizi, özetleme ve çeviri gibi en çok kullanılan görevleri test kapsamına aldı.
TRUEBench, 10 ana kategori, 46 alt kategori ve 12 farklı dilde toplam 2.485 test seti içeriyor. Görevler kısa metinlerden uzun rapor özetlemeye kadar uzanıyor. Böylece araç, yapay zekâ modellerinin yalnızca basit soruları değil karmaşık içerikleri de ne kadar başarılı şekilde ele alabildiğini gösteriyor.
Samsung, test aracının değerlendirme sürecini güvenilir kılmak için insan desteğiyle geliştirilmiş otomatik bir puanlama sistemi kullandı. Bu sayede modellerin performans ölçümleri daha dengeli sonuçlar veriyor.
TRUEBench’in örnek veri setleri ve liderlik tabloları Hugging Face üzerinden erişime açıldı. Kullanıcılar aynı anda beş farklı yapay zekâ modelini test ederek sonuçlarını kıyaslayabiliyor. Böylece hangi modelin daha verimli çalıştığı şeffaf şekilde görülebiliyor.
Samsung Electronics DX Bölümü CTO’su ve Samsung Research Başkanı Paul (Kyungwhoon) Cheun, yapılan duyuruda şirketin gerçek kullanım senaryolarında elde ettiği tecrübenin büyük avantaj sağladığını belirtti. Cheun, TRUEBench’in üretkenlik için standart değerlendirme ölçütleri oluşturacağını ve Samsung’un teknolojik liderliğini güçlendireceğini vurguladı.
Samsung’un TRUEBench adını verdiği performans testi, yapay zekâ alanında yeni bir standart getirmeyi amaçlıyor. Çok dilli senaryolar, farklı görev kategorileri ve açık kaynak üzerinden erişilebilen sonuçlar sayesinde TRUEBench, yalnızca teknoloji şirketleri için değil kullanıcılar için de önemli bir ölçüm aracı hâline geliyor. Şirket bu hamlesiyle hem yapay zekâ alanındaki deneyimini gösteriyor hem de rekabette güçlü bir konuma yerleşiyor.
