NVLink (GPU Ara Bağlantısı)

#NVLink #NVIDIA #GPU #DonanımHızlandırma #ÇokGPU #BantGenişliği #DerinÖğrenme

NVLink, NVIDIA'nın GPU'ları doğrudan birbirine bağlayan yüksek hızlı ara bağlantısıdır; NVLink 5.0 GPU başına 1,8 TB/s sunar.

NVLink, NVIDIA'nın GPU'lar arasında doğrudan, yüksek bant genişlikli ve düşük gecikmeli veri aktarımı kuran özel ara bağlantı teknolojisidir. Geleneksel PCIe veri yolunda GPU'lar birbirleriyle CPU üzerinden haberleşmek zorundadır; NVLink bu dolambaçlı yolu ortadan kaldırır ve bir GPU'nun diğerinin belleğine doğrudan erişmesine izin verir. Büyük dil modellerinin eğitiminde onlarca, hatta yüz binlerce GPU'nun aynı anda çalıştığı 2026 ortamında bu doğrudan bağlantı, çok-GPU sistemlerinin temel yapı taşı hâline geldi. Teknoloji 2016'da Pascal mimarili P100 GPU ile 160 GB/s toplam bant genişliğiyle tanıtıldı. Volta (V100) ile 300 GB/s'ye, Ampere (A100) ile 600 GB/s'ye, Hopper (H100/H200) ile 900 GB/s'ye çıkan değer, Blackwell (B200/GB200) mimarisindeki NVLink 5.0'da GPU başına 1,8 TB/s'ye ulaştı. Karşılaştırmak gerekirse PCIe 5.0 x16 yaklaşık 128 GB/s taşır; NVLink 5.0 bunun yaklaşık 14 katıdır. NVIDIA'nın yol haritasında 2026 sonunda gelmesi beklenen Vera Rubin platformuyla NVLink 6.0'ın bant genişliği GPU başına 3,6 TB/s'ye çıkacak. İkiden fazla GPU'yu birleştirmek için NVIDIA, NVSwitch anahtar yongasını geliştirdi. NVSwitch, tüm GPU'ları all-to-all (herkesten herkese) topolojide eşit bant genişliğiyle bağlar. Bu mimarinin en çarpıcı örneği GB200 NVL72 rafıdır: 72 Blackwell GPU tek bir NVLink alanında birleşir ve toplam 130 TB/s NVLink bant genişliğiyle tek bir dev GPU gibi programlanır. Mayıs 2025'te duyurulan NVLink Fusion programı, teknolojiyi ilk kez üçüncü taraflara açtı: MediaTek, Marvell, Fujitsu ve Qualcomm gibi firmalar kendi CPU ve özel yongalarını NVIDIA GPU'larına NVLink ile bağlayabiliyor. Buna karşılık AMD, Intel, Google ve Microsoft'un başını çektiği UALink konsorsiyumu, NVLink'e açık standart bir alternatif geliştirmeye çalışıyor. GPT-4 sonrası devasa modellerin eğitiminde gradyan senkronizasyonu ve tensor paralelliği trafiği PCIe kapasitesini kolayca aştığından, NVLink bugün yapay zeka altyapısındaki en kritik rekabet alanlarından biridir.

PCIe Neden Yetmiyor, NVLink Nasıl Çözüyor?

Yapay zeka modelleri tek bir GPU'nun belleğine sığmayacak kadar büyüdü: Llama 3.1 405B, yalnızca FP16 ağırlıkları için yaklaşık 810 GB bellek ister; en güçlü tekil GPU olan B200'ün belleği ise 192 GB'dir. Model birden fazla GPU'ya bölündüğünde, her ileri ve geri geçişte GPU'lar arasında yoğun aktivasyon ve gradyan trafiği oluşur.

PCIe üzerinden bu trafik iki sorunla karşılaşır: bant genişliği düşüktür (PCIe 5.0 x16 için ~128 GB/s) ve iletişim CPU'nun bellek denetleyicisi üzerinden dolaşır. NVLink her iki sorunu birden çözer. GPU'lar birbirine noktadan noktaya bağlanır, CPU tamamen devre dışı kalır ve bir GPU diğerinin HBM belleğini kendi adres alanının parçası gibi okuyup yazabilir. NVLink 5.0'da her GPU, her biri 100 GB/s çift yönlü taşıyan 18 bağlantıya sahiptir; toplamda 1,8 TB/s'ye ulaşır. Gecikme de mikrosaniyeler düzeyinden yüz nanosaniyeler düzeyine iner ki All-Reduce gibi senkronizasyon işlemlerinde asıl farkı bu yaratır.

Nesil Nesil NVLink: 160 GB/s'den 3,6 TB/s'ye

pascal NVLink 1.0 — Pascal (2016)

P100 GPU ile tanıtıldı; 4 bağlantıyla toplam 160 GB/s sundu ve dönemin PCIe 3.0'ını beşe katladı.

volta NVLink 2.0 — Volta (2017)

V100 ile 6 bağlantı ve 300 GB/s'ye çıktı; DGX-1 sunucularıyla derin öğrenme merkezlerinde yaygınlaştı.

ampere NVLink 3.0 — Ampere (2020)

A100 ile 12 bağlantı, 600 GB/s; üçüncü nesil NVSwitch ile 8 GPU tek sanal birim gibi kullanılır oldu.

hopper NVLink 4.0 — Hopper (2022)

H100/H200 ile 18 bağlantı, 900 GB/s; ChatGPT sonrası LLM eğitim patlamasının donanım omurgası oldu.

blackwell NVLink 5.0 — Blackwell (2024)

B200/GB200 ile GPU başına 1,8 TB/s; NVL72 rafında 72 GPU tek NVLink alanında birleşti.

rubin NVLink 6.0 — Vera Rubin (2026)

NVIDIA yol haritasına göre 2026 sonunda Rubin GPU'larla gelecek; GPU başına 3,6 TB/s ve NVL144 raf ölçeği hedefleniyor.

NVSwitch ve NVL72: Raf Ölçeğinde Tek GPU

İki GPU doğrudan NVLink kablosuyla bağlanabilir; ancak sekiz, on altı veya yetmiş iki GPU'nun tamamının birbiriyle tam hızda konuşması için anahtarlama gerekir. NVSwitch, her GPU'yu diğer tüm GPU'lara eşit bant genişliğiyle bağlayan all-to-all bir ağ kurar. HGX H100 platformunda 4 NVSwitch yongası 8 GPU'yu birleştirir ve 3,6 TB/s toplam ikili bant genişliği üretir.

Blackwell nesliyle ölçek raf düzeyine taşındı. GB200 NVL72 sisteminde 36 Grace CPU ve 72 Blackwell GPU, 9 NVSwitch tepsisi ve 5.000'den fazla bakır kabloyla tek bir NVLink alanında toplanır; agregat bant genişliği 130 TB/s'dir. Yazılım açısından bu raf, 13,5 TB HBM3e belleğe sahip tek bir dev GPU gibi görünür. Daha büyük kümelerde NVL72 rafları InfiniBand veya Spectrum-X Ethernet ile birbirine bağlanır; xAI'ın Colossus'u ve Microsoft'un Azure AI kümeleri gibi 100.000+ GPU'luk kurulumlar bu hiyerarşiyle çalışır.

Yapay Zeka Eğitimi ve Çıkarımındaki Rolü

  • check_circle Tensor paralelliği: Bir transformer katmanının matrisleri GPU'lara bölündüğünde her token için GPU'lar arası veri alışverişi gerekir; bu trafik NVLink üzerinde PCIe'ye kıyasla ~14 kat hızlı akar.
  • check_circle Gradyan senkronizasyonu (All-Reduce): Veri paralel eğitimde her adımda milyarlarca parametrenin gradyanı GPU'lar arasında toplanır. NVLink bu adımı milisaniyeler içinde bitirip GPU'ların boşta bekleme oranını düşürür.
  • check_circle Uzman paralelliği (MoE): DeepSeek-V3 ve Mixtral gibi karma-uzman modellerde tokenlar farklı GPU'lardaki uzmanlara yönlendirilir; bu all-to-all trafik deseni NVSwitch'in tam ağ topolojisine birebir uyar.
  • check_circle Büyük model çıkarımı: 405B+ parametreli modeller tek GPU'ya sığmadığından katmanlar birden çok GPU'ya dağıtılır; NVLink düşük gecikmeyle token başına yanıt süresini kısaltır.
  • check_circle KV-cache ve bellek havuzlama: Uzun bağlam pencerelerinde (128K-1M token) KV-cache tek GPU belleğini aşar; NVLink, komşu GPU'ların HBM'ini tek havuz gibi kullanmaya imkân verir.

Rakipler ve Alternatifler (2026)

ualink UALink

AMD, Intel, Google, AWS ve Microsoft destekli açık standart; 1.0 spesifikasyonu 2025'te yayımlandı, 1024 hızlandırıcıya kadar ölçeklenmeyi hedefliyor.

AMD Infinity Fabric

MI300X/MI355X hızlandırıcılarında GPU'lar arası bağlantıyı üstlenir; 8 GPU'luk düğümlerde NVLink'in doğrudan rakibidir.

NVLink Fusion

Computex 2025'te duyuruldu; MediaTek, Marvell, Fujitsu ve Qualcomm gibi firmaların özel CPU/ASIC'lerini NVIDIA ekosistemine NVLink ile bağlamasına izin verir.

ethernet Ultra Ethernet / RoCE

Raf ölçeğini aşan (scale-out) küme iletişiminde NVLink'in yerini InfiniBand ve Ultra Ethernet alır; iki teknoloji rakip değil tamamlayıcıdır.

terminal NVLink aktif mi? Kontrol ve ölçüm komutları

  • check_circle Bağlantı durumu: nvidia-smi nvlink --status komutu her GPU için link listesini ve link başına hızı yazar. H100 SXM'de 18 satır ve link başına 26,562 GB/s görmeniz beklenir; 18 link tek yönde 450 GB/s, çift yönde 900 GB/s eder. Çıktı boş dönüyorsa kart NVLink taşımıyor demektir.
  • check_circle Topoloji matrisi: nvidia-smi topo -m tüm GPU çiftleri arasındaki bağlantı tipini tablolar. NV18 iki GPU'nun 18 NVLink ile bağlı olduğunu, PIX ve PXB aynı PCIe anahtarı üzerinden geçildiğini, PHB ana köprüyü, SYS ise trafiğin CPU soketleri arasından dolaştığını gösterir. SYS gördüğünüz çiftlerde NVLink yoktur.
  • check_circle Gerçek bant genişliği ölçümü: cuda-samples deposundaki p2pBandwidthLatencyTest ikili bant genişliğini ve gecikmeyi ölçer. Eğitim senaryosuna en yakın test ise nccl-tests içindeki all_reduce_perf -b 8M -e 8G -f 2 -g 8 komutudur; busbw sütunu kartın teorik değerine ne kadar yaklaştığınızı söyler.
  • check_circle Trafik ve hata sayaçları: nvidia-smi nvlink -gt d link üzerinden geçen veri sayaçlarını okur, nvidia-smi nvlink -r sayaçları sıfırlar, nvidia-smi nvlink -e CRC ve replay hatalarını listeler. Eğitim sürerken veri sayaçlarının artmaması, işin aslında PCIe üzerinden aktığına işarettir.
  • check_circle NCCL hangi yolu seçti: NCCL_DEBUG=INFO ile çalıştırdığınızda log satırlarında bağlantının NVLink mi, P2P/IPC mi, yoksa SHM veya Socket mi olduğu yazar. Kıyas için aynı testi NCCL_P2P_DISABLE=1 ile tekrarlayın; iki ölçüm arasındaki fark NVLink'in o iş yükündeki gerçek katkısıdır.
  • check_circle Sunucu sağlığı: NVSwitch'li sistemlerde systemctl status nvidia-fabricmanager çıktısı active görünmelidir. Daha kapsamlı kontrol için DCGM kurup dcgmi diag -r 2 çalıştırın; bu test NVLink bağlantılarını da tarar.

compare_arrows SXM mi PCIe mi? Aynı GPU, farklı bağlantı

  • check_circle H100 SXM5: 80 GB HBM3, 3,35 TB/s bellek bant genişliği, 18 NVLink ile 900 GB/s GPU arası bağlantı, 700 W. Tek kart olarak satılmaz; 4 veya 8 GPU'luk HGX taşıyıcı kart üzerinde gelir ve NVSwitch sayesinde sekiz kartın tamamı birbiriyle tam hızda konuşur.
  • check_circle H100 PCIe: 80 GB HBM2e, 2 TB/s bellek bant genişliği, NVLink köprüsüyle yalnızca kart çiftleri arasında 600 GB/s, 350 W'a kadar güç. Standart sunucu şasisine takılır, fiyatı düşüktür; ancak köprü dışındaki tüm GPU çiftleri PCIe üzerinden haberleşir.
  • check_circle H200 SXM: 141 GB HBM3e ve 4,8 TB/s bellek bant genişliği. NVLink tarafı H100 ile aynı 900 GB/s'de kalır, kazanç bellekten gelir. Uzun bağlamlı çıkarımda darboğaz genelde GPU arası bağlantı değil bellek bant genişliği olduğu için fark burada hissedilir.
  • check_circle B200 ve GB200: 192 GB HBM3e, 8 TB/s bellek bant genişliği, NVLink 5.0 ile GPU başına 1,8 TB/s ve yaklaşık 1000 W güç. GB200 NVL72 rafında 72 GPU tek NVLink alanında toplanır ve yazılıma tek büyük GPU gibi görünür.
  • check_circle NVLink taşımayan kartlar: L40S, RTX 6000 Ada ve RTX 40/50 serisi NVLink taşımaz; bu kartlarda GPU'lar arası trafik PCIe üzerinden akar. Ampere nesli RTX A6000 (112 GB/s köprü) ve RTX 3090, NVLink'li son iş istasyonu ve tüketici modelleridir.
  • check_circle Seçim kuralı: Tek kartla çalışıyorsanız NVLink fark etmez. Model 8 GPU'ya bölünüyorsa ya da tensor paralelliği kullanıyorsanız SXM, PCIe'ye göre adım başına belirgin kazanç verir. Yalnızca veri paralel ince ayar yapıyor ve model tek karta sığıyorsa PCIe kartlar yeterli kalır.

bug_report NVLink çalışmıyor: sık sorunlar ve çözümleri

  • check_circle Fabric Manager sürücüyle uyuşmuyor: NVSwitch'li sistemlerde nvidia-fabricmanager paketinin sürümü sürücü sürümüyle birebir aynı olmalıdır. Uyuşmazlıkta servis açılmaz, GPU'lar NVLink alanına katılamaz ve CUDA başlatma hataları görürsünüz. Gerçek neden /var/log/fabricmanager.log dosyasında yazar.
  • check_circle topo -m çıktısında NV yerine SYS: Köprü fiziksel olarak takılı değildir, yanlış yuvalara takılmıştır veya kart NVLink desteklemiyordur. Yuva seçimi de etkiler: farklı CPU soketlerine dağıtılan kartlarda trafik soketler arası bağlantıdan dolaşır ve gecikme artar.
  • check_circle MIG açıkken P2P kapanır: Bir GPU'da MIG etkinleştirildiğinde o GPU için NVLink ve PCIe P2P devre dışı kalır. Çok GPU'lu eğitim beklenen hızda çalışmıyorsa nvidia-smi ile MIG durumunu kontrol edin; kapatmak için nvidia-smi -i 0 -mig 0 komutu ve ardından GPU sıfırlaması gerekir.
  • check_circle Sanal makinede NVLink görünmüyor: GPU passthrough yapılan misafir sistemde NVLink topolojisi hipervizör tarafında ayrıca tanımlanmadıysa kartlar birbirini göremez. Bulut sağlayıcıların küçük örneklerinde çoğu zaman yalnızca PCIe erişimi verilir, bu yüzden 8 GPU'luk tam düğüm kiralamadan NVLink beklemeyin.
  • check_circle NCCL beklenenden yavaş: Ortamda NCCL_P2P_DISABLE veya NCCL_SHM_DISABLE ayarlı kalmış olabilir, env | grep NCCL ile doğrulayın. Konteyner içinde paylaşımlı bellek küçükse de performans düşer; docker run komutuna --shm-size=1g --ulimit memlock=-1 eklemek tipik çözümdür.
  • check_circle Hata sayaçları sürekli artıyor: nvidia-smi nvlink -e çıktısında CRC ve replay sayaçları durmadan yükseliyorsa bağlantı kalitesi bozuktur. Masaüstü sistemlerde kötü oturmuş köprü, raf ölçekli sistemlerde bakır kablo bağlantıları ilk bakılacak yerdir; sayaçları -r ile sıfırlayıp tekrar ölçün.

Sık Sorulan Sorular

  • check_circle NVLink ile PCIe arasındaki fark nedir? PCIe, GPU'ların CPU üzerinden haberleştiği genel amaçlı bir standarttır; NVLink ise GPU'ları CPU'yu atlayarak doğrudan bağlayan NVIDIA'ya özel bir teknolojidir. NVLink 5.0 (1,8 TB/s), PCIe 5.0 x16'nın (~128 GB/s) yaklaşık 14 katı bant genişliği taşır.
  • check_circle NVLink 5.0 kaç TB/s bant genişliği sunar? Blackwell (B200/GB200) GPU'lardaki NVLink 5.0, her biri 100 GB/s taşıyan 18 bağlantıyla GPU başına toplam 1,8 TB/s sunar; bu, NVLink 4.0'ın (900 GB/s) tam iki katıdır.
  • check_circle GeForce RTX kartlarında NVLink var mı? Hayır. RTX 3090'dan sonra tüketici kartlarından NVLink köprüsü kaldırıldı; RTX 40 ve 50 serisi yalnızca PCIe kullanır. NVLink günümüzde veri merkezi GPU'larına (H100, H200, B200, GB200) özeldir.
  • check_circle NVSwitch olmadan NVLink çalışır mı? Evet, iki GPU doğrudan bağlanabilir. Ancak üç ve üzeri GPU'nun tamamının birbiriyle tam hızda konuşması için NVSwitch gerekir; NVSwitch olmadan bant genişliği GPU çiftleri arasında bölünür.
  • check_circle NVLink Fusion nedir? Mayıs 2025'te duyurulan program; üçüncü taraf yonga üreticilerinin (MediaTek, Marvell, Fujitsu, Qualcomm) kendi CPU ve özel hızlandırıcılarını NVLink üzerinden NVIDIA GPU'larına bağlamasına izin verir. NVLink'in ilk kez ekosistem dışına açılmasıdır.
  • check_circle NVLink 6.0 ne zaman gelecek? NVIDIA'nın GTC 2025 yol haritasına göre NVLink 6.0, 2026 sonunda Vera Rubin platformuyla (NVL144) gelecek ve GPU başına 3,6 TB/s bant genişliği hedefliyor.
  • check_circle NVLink aktif mi nasıl kontrol edilir? nvidia-smi nvlink --status komutunu çalıştırın. Her GPU için link listesi ve link başına hız dönerse NVLink çalışıyordur; çıktı boşsa kart NVLink taşımıyor ya da köprü takılı değildir. İkinci kontrol olarak nvidia-smi topo -m çalıştırıp GPU çiftlerinde NV ile başlayan değerleri arayın.
  • check_circle nvidia-smi topo -m çıktısındaki NV18 ve SYS ne demek? NV18, o iki GPU'nun 18 NVLink bağlantısıyla doğrudan bağlı olduğunu gösterir ve mümkün olan en hızlı yoldur. SYS ise trafiğin CPU soketleri arasındaki bağlantıdan dolaştığı anlamına gelir, yani o çift arasında NVLink yoktur. PIX, PXB ve PHB ise aynı PCIe hiyerarşisi içindeki farklı mesafeleri tarif eder.
  • check_circle H100 SXM ile H100 PCIe arasındaki fark nedir? SXM sürümü 80 GB HBM3, 3,35 TB/s bellek bant genişliği ve 900 GB/s NVLink sunar, 700 W çeker ve yalnızca HGX taşıyıcı kart üzerinde satılır. PCIe sürümü 80 GB HBM2e, 2 TB/s bellek bant genişliği ve yalnızca kart çiftleri arasında 600 GB/s köprü sunar, 350 W'a kadar çeker. Çok GPU'lu eğitimde fark büyür, tek kartlık işlerde neredeyse kaybolur.
  • check_circle NVLink hızını nasıl ölçerim? İki yöntem var. cuda-samples içindeki p2pBandwidthLatencyTest GPU çiftleri arasındaki bant genişliği ve gecikme matrisini verir. Gerçek eğitim yüküne yakın sonuç için nccl-tests deposundaki all_reduce_perf -b 8M -e 8G -f 2 -g 8 komutunu çalıştırıp busbw sütununa bakın.