AMD, ROCm 7 ile Yapay Zekâ Performansında Büyük Bir Sıçrama Yapmayı Planlıyor
AMD, açık kaynaklı yazılım platformu ROCm’un (Radeon Open Compute) yedinci sürümünü tanıttı. Bu yeni sürüm olan ROCm 7, yapay zekâ çıkarım süreçlerinde önceki nesile kıyasla 3.5 kata kadar daha yüksek performans sunuyor. Özellikle büyük dil modelleri ve karma hassasiyetli veri türleri için özel olarak geliştirilen bu platform, yapay zekâ alanında önemli bir ilerlemeyi temsil ediyor.
ROCm 7 Yapay Zekâ İş Yüklerinde 3.5 Kat Hız Sağlıyor
ROCm 7, AMD’nin MI350 hızlandırıcıları ve FP8, FP6 gibi düşük hassasiyetli veri türlerine sağladığı tam destekle dikkat çekiyor. ROCm 6 sürümüne göre 3.5 kata kadar performans artışı sunan platform, özellikle büyük ölçekli dil modelleri üzerinde test edildi. Yeni sürüm Llama 3.1 70B modelinde 3.2 kat, Qwen2-72B modelinde 3.4 kat, DeepSeek R1 modelinde ise 3.8 kat performans artışı elde etmeyi başardı.
AMD, DeepSeek R1 modelini MI355X hızlandırıcısı üzerinde çalıştırarak, Nvidia’nın en yeni Blackwell B200 GPU’suna kıyasla FP8 veriminde yüzde 30 daha yüksek sonuç elde ettiğini açıkladı. Şirket ayrıca ROCm 7’nin sadece performans artışı değil, aynı zamanda yazılım altyapısında da kapsamlı yenilikler getireceğini açıkladı. ROCm 7 platformuna eklenen başlıca özellikler arasında şu unsurlar yer alıyor:
- Yeni algoritmalar ve çekirdekler: GEMM autotuning, Mixture of Experts (MoE), dikkat mekanizmaları, Python tabanlı çekirdek tanımları
- Çıkarım optimizasyonları: Dağıtık çıkarım, ön doldurma (prefill), bileşenlerin ayrılması (disaggregation)
- Yazılım entegrasyonları: vLLM v1, llm-d, SGLang desteği
- Kurumsal yetenekler: Kümelenmiş sistem yönetimi, kurumsal dağıtım kolaylığı, güvenli veri aktarımı
Yeni sürüm, FP8, FP6 ve FP4 gibi farklı veri formatlarına destek sunarak eğitim ve çıkarım işlemlerinde enerji verimliliği ve hız avantajı sağlıyor.
AMD, ROCm platformunu yalnızca sunucularla sınırlı tutmuyor. Şirket, bu yılın ikinci yarısında ROCm 7’nin Ryzen tabanlı dizüstü bilgisayarlar ve iş istasyonlarında da kullanılabileceğini açıkladı. Platform hem Linux hem de Windows sistemlerle tam uyumlu olacak şekilde geliştiriliyor.
