Açık Kaynaklı Yapay Zekâ Modelleri Uzun Vadede Daha Fazla Maliyet Getirebilir
Yapay zekâ kullanımının hızla yayılması, şirketlerin hangi modeli seçeceği konusunu kritik bir karar haline getirdi. İlk bakışta daha ucuz görünen açık kaynaklı modeller, uzun vadede yüksek işlem gücü ihtiyacı nedeniyle beklenenden daha fazla maliyet oluşturabilir.
Token Verimliliği Maliyetleri Belirliyor
Nous Research tarafından yayınlanan yeni bir araştırma, açık kaynaklı yapay zekâ modellerinin aynı görevleri yerine getirirken kapalı kaynaklı modellere kıyasla çok daha fazla işlem kaynağı tükettiğini ortaya koydu. Çalışmada Google ve OpenAI gibi kapalı sistemlerin yanı sıra DeepSeek ve Magistral gibi açık kaynaklı modeller test edildi.
Araştırmada modeller, bilgi soruları, matematik problemleri ve mantık bulmacaları olmak üzere üç kategoriye ayrılan aynı görevleri yerine getirdi. Her modelin soruları yanıtlamak için kullandığı token sayısı ölçüldü. Bir token, bir kelime, kelime parçası veya noktalama işareti gibi metnin küçük bir parçasını temsil ediyor. Modeller metni token bazında işlediği için kullanılan token sayısı işlem gücü ve süreyi doğrudan etkiliyor.
Sonuçlara göre açık kaynaklı modeller, kapalı modellere göre 1,5 ila 4 kat daha fazla token tüketti. Basit bilgi sorularında bu fark 10 kata kadar çıktı. Daha fazla token kullanımı, yanıt süresinin uzamasına ve işlem maliyetinin artmasına yol açıyor.
Araştırma, kapalı kaynaklı modellerin genel olarak daha az token kullanarak aynı görevleri tamamladığını gösterdi. Özellikle OpenAI ve Grok-4 gibi modeller, token kullanımını azaltarak maliyetleri kontrol altında tutmayı hedefliyor. Açık kaynaklı modellerden llama-3.3-nemotron-super-49b-v1 en verimli sonuçları verirken Magistral modeller en yüksek token tüketimini gerçekleştirdi.
OpenAI’nin o4-mini ve açık ağırlıklı gpt-oss modelleri, özellikle matematik problemlerinde dikkat çeken bir verimlilik sergiledi. Araştırmacılar, gpt-oss’un kısa akıl yürütme adımlarının diğer açık kaynaklı modeller için örnek teşkil edebileceğini belirtti.
