Yeni Bellek Teknolojisi GPU Kapasitesini Terabayt Seviyesine Taşımayı Hedefliyor
Yapay zekâ donanımlarında kullanılan GPU bellek kapasitesi, geliştirilen yeni bir teknolojiyle terabayt seviyesine çıkabilir. Sandisk ile SK hynix, yüksek bant genişlikli flash bellek olarak adlandırılan HBF teknolojisini geliştirirken çözümün mevcut HBM belleği tamamen değiştirmek yerine tamamlayıcı olarak kullanılmasını planlıyor. İlk örneklerin bu yıl geliştiricilere ulaştırılması, HBF tabanlı yapay zekâ hızlandırıcılarının ise gelecek yıl ortaya çıkması bekleniyor.
HBF Teknolojisi Yapay Zekâ Hızlandırıcılarının Bellek Sınırını Genişletiyor
Günümüzde Nvidia ile AMD’nin üst seviye yapay zekâ hızlandırıcıları, yüksek bant genişliği sunan HBM bellekten yararlanıyor. HBM, saniyede birkaç terabayta ulaşan veri aktarım hızları sağlasa da kapasitesi yüzlerce gigabayt seviyesinde kalıyor. Büyük dil modelleri büyüdükçe geliştiriciler, modeli birden fazla GPU arasında bölmek zorunda kalıyor.
Sandisk tarafından geliştirilen HBF yaklaşımı, DRAM yerine NAND flash yongalarını katmanlı yapı içinde kullanıyor. Şirket, ilk nesil çözümün saniyede 1,6 TB okuma hızına ulaşacağını öngörüyor. Gelecek nesillerde bu değerin 2 TB/s seviyesini aşması, uzun vadede ise 3,2 TB/s düzeyine ulaşması hedefleniyor.
Asıl fark kapasite tarafında ortaya çıkıyor. Şirketin teknik sunumuna göre tek bir HBF modülü 512 GB kapasiteye ulaşabiliyor. Birden fazla modülün aynı hızlandırıcı üzerinde kullanılmasıyla toplam belleğin birkaç terabayta çıkması planlanıyor. Böylece bugün birden fazla işlemciye dağıtılan büyük yapay zekâ modellerinin tek hızlandırıcı üzerinde çalıştırılması gündeme gelebilir.
HBF teknolojisi yüksek kapasite sunsa da klasik HBM belleğin doğrudan yerine geçmiyor. NAND flash yapısı, DRAM’e göre daha yüksek erişim gecikmesine sahip olduğu için yoğun yazma işlemlerinde aynı verimi sağlayamıyor. Ayrıca flash hücreleri belirli sayıda yazma işleminin ardından aşındığı için sürekli veri güncellenen senaryolarda kullanım ömrü sınırlanabiliyor.
Bu nedenle geliştiriciler, iki bellek türünü birlikte kullanmayı öneriyor. HBM yazma ağırlıklı işlemleri üstlenirken HBF, ağırlıklı olarak model parametrelerinin okunduğu çıkarım aşamasında görev alacak. Yapay zekâ çıkarımı sırasında model ağırlıkları tekrar tekrar okunurken nadiren değiştirildiği için NAND tabanlı yapı bu kullanım senaryosuna daha uygun görülüyor.
Kalıcı depolama özelliği de önemli bir avantaj sağlıyor. HBF üzerindeki model ağırlıkları sistem kapansa bile bellekte kalabildiğinden sunucular yeniden başlatıldığında SSD’den GPU belleğine uzun yükleme süreci yaşanmıyor. Bu yaklaşım, geçmişte Intel’in Optane kalıcı bellek teknolojisinin sunduğu çalışma mantığına benzer bir yapı oluşturuyor.
Yüksek bellek kapasitesi, özellikle Mixture of Experts mimarisini kullanan yeni nesil büyük dil modelleri için önemli bir avantaj sunabilir. Günümüzde bu modellerin uzman katmanları farklı GPU’lara dağıtıldığı için yüksek hızlı bağlantılar kullanılıyor. Aynı model tek hızlandırıcı üzerinde tutulabildiğinde işlemciler arası veri aktarımı azalacağı için bazı darboğazlar da ortadan kalkabilir.
Sandisk’in paylaştığı senaryolardan biri, iki HBM ile altı HBF yığınını bir araya getirerek toplam 3,12 TB belleğe ulaşan bir yapıyı öngörüyor. Böyle bir yapı, bugün çok sayıda GPU gerektiren trilyonlarca parametreli modellerin daha farklı donanım mimarileriyle çalıştırılmasına zemin hazırlayabilir.
Teknolojinin yaygınlaşması için standartlaşma sürecinin tamamlanması gerekiyor. Sandisk ile SK hynix, HBF standardını bu yıl Open Compute Project çatısı altında geliştirmeye başladı. GPU ve yapay zekâ çipi üreticilerinin yeni bellek yapısını destekleyen tasarımlar hazırlaması gerektiği için ticari ürünlerin pazarda yaygınlaşmasının birkaç yıl alabileceği değerlendiriliyor.
