İsviçreli Bilim İnsanları Alps Süper Bilgisayarında Açık Kaynaklı Yapay Zekâ Modeli Geliştirdi
İsviçreli araştırmacılar, dünyanın en güçlü süper bilgisayarlarından biri olan Alps ile tamamen açık bir büyük dil modeli (LLM) eğiterek yapay zekâ alanında dikkat çeken bir adım attı. ETH Zürich ve Lozan Federal Teknoloji Enstitüsü’ndeki (EPFL) bilim insanları tarafından geliştirilen bu modeller, Cenevre’de düzenlenen Uluslararası Açık Kaynak LLM Geliştiricileri Zirvesi’nde tanıtıldı.
Alps Süper Bilgisayarı Yapay Zekâ Eğitiminde Öne Çıkıyor
Alps, Avrupa’nın üçüncü, dünyanın ise sekizinci en güçlü süper bilgisayarı olarak yapay zekâ eğitimine uygun özel donanımıyla öne çıkıyor. Nvidia’nın Grace-Hopper GH200 Superchip mimarisi üzerine kurulu olan sistem, geleneksel yüksek performanslı hesaplamaların (HPC) yanı sıra büyük ölçekli yapay zekâ projeleri için de optimize edildi.
Her biri 72 çekirdekli Grace işlemci ve 96 GB H100 GPU içeren bu çipler, yüksek bant genişliği ve özel bağlantı teknolojileri sayesinde FP8 seviyesinde 42 exaFLOPS’a kadar işlem gücü sunuyor. HPE’nin Cray bölümü tarafından inşa edilen Alps, 2.688 hesaplama bıçağı ve 10.000’den fazla Superchip ile çalışıyor.
ETH Zürich ve EPFL araştırmacıları, 8 milyar ve 70 milyar parametreye sahip iki farklı LLM geliştirdi. Bu modeller, toplamda 15 trilyon kelimelik bir veri kümesiyle eğitildi. Verilerin yaklaşık yüzde 40’ı İngilizce dışındaki dillerden oluştu. Bu yaklaşım, çok dilli bir yapay zekâ anlayışını destekliyor. Araştırmacılar, modellerin 1.000’den fazla dili anlayabileceğini ifade etti.
En dikkat çekici özelliklerden biri ise modellerin tamamen açık olarak yayınlanacak olması. ETH Zürich ve EPFL ekibi, yalnızca eğitim sonrası ağırlıkları değil, aynı zamanda kullanılan eğitim verilerini ve kaynak kodları da kamuya sunacaklarını duyurdu. Bu yaklaşım, şeffaflık ve bilimsel güven açısından önemli bir adım olarak görülüyor.
ETH AI Center araştırmacılarından Imanol Schlag, geliştirilen modellerin yüksek güvene dayalı uygulamalar oluşturmak için şeffaf olmasının şart olduğunu belirtti. EPFL profesörü Martin Jaggi ise, bu girişimin yalnızca İsviçre’de değil, Avrupa genelinde ve uluslararası alanda da yeniliği teşvik edeceğini ifade etti.
Alışıldık ticari modellerin aksine bu projede eğitim verilerine erişim sınırlandırılmadı. Araştırma ekibi, çoğu görev için web sitelerindeki tarama kısıtlamalarına uymalarının model performansını düşürmediğini vurguladı. Bu da etik ve yasal ilkelere bağlı kalarak kaliteli sonuçlar elde edilebileceğini gösterdi.
ETH Zürich tarafından yapılan açıklamaya göre, geliştirilen büyük dil modelleri yaz sonunda Apache 2.0 lisansı altında kamuya açılacak. Bu lisans, geliştiricilere ticari kullanım da dâhil olmak üzere geniş bir özgürlük sunuyor. Eğitimde kullanılan yöntemlerin açıklanması ve verilerin yeniden üretilebilir olması, araştırma dünyasında şeffaflık açısından örnek bir model oluşturuyor.
Yapay zekâ alanında güvenilirlik ve erişilebilirlik konusuna odaklanan bu yaklaşım, Avrupa merkezli açık kaynak projelerinin artmasına da katkı sağlayabilir. Özellikle eğitim verisinin kamuya açık olması, LLM geliştirme süreçlerini daha hesap verebilir ve topluma açık hale getiriyor.
