DeepSeek Yeni Modeliyle Yapay Zekâ Eğitim Maliyetlerini Daha da Aşağı Çekebilir
Geçtiğimiz yıl DeepSeek-R1 modeliyle yapay zekâ alanında dengeleri değiştiren DeepSeek, yeni bir atılımın eşiğine geldi. Çin merkezli şirketin üzerinde çalıştığı yeni modelin, büyük dil modellerinin eğitim maliyetlerini ciddi ölçüde azaltabilecek bir mimari sunduğu ifade ediliyor. Şirketin yayımladığı son teknik makale, bu yaklaşımın yalnızca teoride kalmadığını, pratik sonuçlar ürettiğini ortaya koyuyor.
DeepSeek Yeni Mimariyle Eğitim Sürecini Daha Kararlı Hale Getirdi
DeepSeek tarafından paylaşılan çalışmada “Manifold-Constrained Hyper-Connections” adı verilen yeni bir derin öğrenme mimarisi tanıtıldı. Çalışmada DeepSeek’in kurucusu Liang Wenfeng’in yanı sıra Zhenda Xie, Yixuan Wei ile Huanqi Cao’nun imzası yer aldı. Araştırmacılar, bu mimarinin büyük sinir ağlarında eğitim sırasında yaşanan kararsızlık sorunlarını azaltmayı hedeflediğini belirtti. Ekip, yaklaşımın mevcut yöntemlere kıyasla daha tutarlı bir eğitim süreci sunduğunu vurguladı.
Yeni mimari, temelini ByteDance araştırmacılarının 2024 yılında tanıttığı hiper bağlantı yaklaşımından aldı. Bu yapı, katmanlar arasındaki bilgi akışını güçlendirmeyi amaçladı. Ancak önceki yöntemler, büyük modellerde yüksek bellek kullanımı nedeniyle sınırlamalarla karşılaştı. DeepSeek’in geliştirdiği mHC yaklaşımı, bilgi akışını belirli matematiksel kurallar çerçevesinde tanımlanan bir uzayda tutarak bu sorunu aşmayı başardı. Araştırma ekibi, bu sayede sinyallerin eğitim boyunca daha dengeli ilerlediğini ifade etti.
DeepSeek ekibi, mHC mimarisini 3 milyar, 9 milyar ile 27 milyar parametreli modeller üzerinde denedi. Test sonuçları, mimarinin ciddi bir ek hesaplama yükü oluşturmadan ölçeklenebildiğini gösterdi. Uzmanlar, bu yaklaşımın büyük dil modellerinin eğitim maliyetlerini aşağı çekme potansiyeline sahip olduğunu değerlendiriyor. DeepSeek-R1 modelinin geçmişte sağladığı maliyet avantajı, yeni mimariye yönelik beklentileri daha da artırdı.
DeepSeek tarafından yayımlanan teknik makaleler, şirketin yeni modelleri öncesinde sıkça başvurduğu bir yöntem olarak biliniyor. Liang Wenfeng’in önceki lansmanlardan önce benzer çalışmalar paylaştığı hatırlatılıyor. Bu nedenle yeni modelin de mHC mimarisi üzerine inşa edileceği düşünülüyor. Şirket, tanıtım tarihi konusunda net bir açıklama yapmadı. Ancak sektör kaynakları, yeni modelin 17 Şubat’tan önce duyurulabileceğini öngörüyor.
