Yapay Zekâ Yatırımlarıyla Veri Merkezlerinde Ağ Maliyetleri Katlanarak Artıyor
Veri merkezlerinde yıllardır süregelen “daha fazla işlem gücü, daha düşük maliyet” dengesi, yapay zekâ uygulamalarıyla birlikte kırılma noktasına geldi. Moore Yasası’nın artık geçerliliğini yitirdiği bu dönemde, yüksek paralellikte işlem gücü ve ona eşlik eden yüksek bant genişliğine sahip bellek ihtiyacı hem işlemcileri hem de ağ altyapılarını ciddi biçimde zorlamaya başladı. Bu durum, ağ bileşenlerinin gerçek maliyetlerini gölgede bıraksa da aslında ağın, yapay zekâ sistemlerinde bilgisayarla bütünleştiğini açıkça ortaya koyuyor.
Ölçeklenebilirlik İçin Ağ Altyapısı Zorunlu Hâle Geldi
Özellikle Nvidia’nın NVLink portları ve NVSwitch altyapısı gibi teknolojiler, GPU’lar arası bellek paylaşımını mümkün kılan ağ yapıları sayesinde AI model eğitimi ve çıkarım işlemleri için gerekli hâle geldi. DGX NVL72 gibi raf düzeyinde çözümlerle bu ağlar artık sadece sunucu içinde değil tüm sistem genelinde kullanılıyor. Bu da ölçek dışı yaklaşımlarında ağın temel bir parça olmasına neden oluyor.
AI modellerindeki parametre sayısı ve işlem hacmi hızla arttıkça daha büyük bellek alanlarına erişim gereksinimi de kaçınılmaz hale geldi. Bu da yalnızca GPU’lar arası değil, aynı soket içindeki çip parçacıkları (chiplet) arasında da yüksek hızlı bağlantıları zorunlu kıldı. Nvidia’nın soket içi NVLink C2C ve D2D çözümleri ya da AMD’nin benzer yapıları bu ihtiyaçtan doğdu.
Nvidia, NVLink gibi teknolojilerin maliyetini doğrudan göstermiyor. Çünkü bu bağlantılar, genellikle HGX ya da MGX anakartlara gömülü GPU’larla birlikte sunuluyor. Yani kullanıcı, donanımı alırken aslında yüksek hızlı ağ altyapısına da yatırım yapmış oluyor. Aynı durum soket içi çipler arası bağlantılar için de geçerli. Tüm bu yapılar yüksek maliyetli ancak kaçınılmaz bileşenler haline geldi.
Bu sistemlerin çoğunda, toplam donanım maliyetinin önemli bir kısmı ağ altyapısı ve onu destekleyen yazılım geliştirme sürecine ayrılıyor. Nvidia örneğinde çalışanların yüzde 75’i yazılım geliştirme ile ilgileniyor. CUDA-X gibi yazılımlar donanım ile birlikte ücretsiz sunuluyor gibi görünse de, AI Enterprise yazılımı için yıllık GPU başına 4.500 dolar alınarak yazılımdan da gelir elde ediliyor.
Geleneksel Ağ Yapıları Yerini AI Odaklı Çözümlere Bırakıyor
Veri merkezlerinde alışıldık ağ altyapısı; sunucular arası iletişimi sağlamak için Ethernet veya InfiniBand gibi sistemleri içeriyordu. Bu yapı, veri merkezleri arasında yönlendirme yapan kuzey-güney trafiğini ve sistemler arası doğu-batı iletişimini yönetmekteydi. Ancak AI sistemleri, ağ altyapısının artık sadece dış bağlantılarla sınırlı kalamayacağını ortaya koydu. Bu sistemler, aynı raf içinde bile yüksek hızlı ağlara ihtiyaç duyuyor.
Son yıllarda bu durum istatistiklerle de netleşti. Gartner’a göre 2020’de 178,6 milyar dolar olan veri merkezi sistem pazarı, 2024’te 329,1 milyar dolara yükseldi. Aynı dönemde Ethernet anahtarlama pazarı 12,2 milyar dolardan 20,7 milyar dolara çıktı. Nvidia’nın InfiniBand gelirleri ise 700 milyon dolardan 5,8 milyar dolara yükseldi. Bu artışın neredeyse tamamı yapay zekâ odaklı ölçek dışı ağlara yapılan yatırımlardan kaynaklandı.
Geleneksel olarak bulut sağlayıcıları ve hiper ölçekli veri merkezi işletmecileri, ağ altyapısına toplam bütçelerinin yüzde 10’undan fazlasını harcamak istemiyor. Ancak AI sistemlerinin gelişmesi bu sınırı hızla aşıyor. Özellikle Nvidia’nın DGX gibi raf düzeyinde çözümleri kullanıldığında, ağın gerçek maliyeti yüzde 20’nin üstüne çıkıyor. Bazı analizler, tüm ağ bileşenlerinin dahil edilmesi durumunda bu oranın yüzde 30’a kadar yükselebileceğini öne sürüyor.
Bu yükselişin önüne geçmek isteyen AMD ve diğer üreticiler, NVLink’e karşılık gelen Infinity Fabric ve UALink gibi çözümler üzerinde çalışıyor. Ayrıca Ultra Ethernet Konsorsiyumu tarafından geliştirilen yeni Ethernet standardının, 2026’dan itibaren ticari sistemlerde yer bulması bekleniyor. Bu gelişme hem ölçek yukarı hem de ölçek dışı ağlarda rekabeti artırabilir ve maliyetleri yeniden düşürebilir.
