NVLink (NVLink (GPU Ara Bağlantısı))
NVLink, NVIDIA'nın geliştirdiği yüksek bant genişlikli, düşük gecikmeli GPU-GPU ara bağlantı teknolojisidir. Geleneksel PCIe (Peripheral Component Interconnect Express) mimarisinin getirdiği darboğazları aşmak amacıyla tasarlanan NVLink, birden fazla GPU'nun doğrudan birbirine bağlanmasını ve veri paylaşmasını sağlar. Bu sayede büyük dil modellerinin (LLM) ve derin öğrenme modellerinin eğitiminde kritik rol oynayan çok-GPU sistemlerinde, işlemciler arasındaki veri aktarım hızı dramatik biçimde artırılır.
NVLink, 2016 yılında Pascal mimarisini kullanan P100 GPU'larla birlikte ilk kez duyuruldu ve 160 GB/s toplam bant genişliği sundu. Sonraki Volta nesliyle (V100) 300 GB/s'ye yükselen bu değer, Ampere (A100) ile 600 GB/s, Hopper (H100/H200) ile 900 GB/s ve en güncel Blackwell (GB200) mimarisinde 1,8 TB/s'ye ulaştı. Karşılaştırma açısından PCIe 5.0 x16, yaklaşık 128 GB/s bant genişliği sunarken NVLink 5.0 bu değerin yaklaşık 14 katı kapasiteye sahiptir.
İkiden fazla GPU'yu birbirine bağlamak için NVIDIA NVSwitch adlı özel anahtar yonca tasarladı. NVSwitch, tüm GPU'ların birbirine tam ağ (all-to-all) topolojisinde bağlanmasını sağlayarak DGX ve HGX sunucu sistemlerinde 8 GPU'yu tek bir sanal GPU gibi kullanmaya imkân tanır. Bu mimari, tensor paralelliği ve pipeline paralelliği gibi dağıtık eğitim yöntemlerinin verimini büyük ölçüde artırır.
Yapay zeka alanında NVLink'in önemi giderek büyümektedir. GPT-4, Llama ve benzeri devasa modellerin eğitiminde gradient senkronizasyonu için gereken veri aktarımı PCIe'nin kapasitesini kolaylıkla aşmaktadır. NVLink, bu senkronizasyon adımlarını saniyeler yerine milisaniyeler içinde tamamlayarak GPU'ların boşta bekleme süresini minimize eder ve eğitim verimliliğini katlar.