tag InfiniBand

Bu sayfada InfiniBand etiketi ile işaretlenmiş 1 yapay zeka kavramını bulabilirsiniz.

InfiniBand, 1999 yılında geliştirilen ve yüksek performanslı bilişim (HPC) ile büyük ölçekli yapay zeka altyapılarında GPU'lar, sunucular ve depolama sistemleri arasında yüksek bant genişliği ve son derece düşük gecikme süresi sağlayan bir ağ iletişim standardı ve protokolüdür. Protokol; SDR (2 Gb/s) ile başlayan nesil silsilesini HDR (200 Gb/s), NDR (400 Gb/s) ve son olarak XDR (800 Gb/s) ile sürdürmektedir. InfiniBand'ın temel ayırt edici özelliği RDMA (Remote Direct Memory Access — Uzaktan Doğrudan Bellek Erişimi) desteğidir. RDMA, bir sunucunun başka bir sunucunun belleğine CPU ve işletim sistemi yığını atlanarak doğrudan erişmesine olanak tanır. Kernel bypass olarak da bilinen bu mimari iki kritik kazanım sunar: gecikme süresini bir mikrosaniyenin altına çekmek ve CPU'nun ağ işleme yükünü minimuma indirmek. Yüksek frekanslı veri transferi gerektiren derin öğrenme iş yüklerinde bu özellik belirleyici bir avantaj ortaya koyar. Büyük dil modellerinin (LLM) eğitiminde yüzlerce ya da binlerce GPU'nun koordineli çalışması gerekir. Bu ölçekte AllReduce, AllGather ve ReduceScatter gibi kollektif iletişim işlemleri — NVIDIA'nın NCCL kütüphanesiyle yönetilen — sürekli ve yüksek hacimli gradient senkronizasyonu gerektirir. Ağ gecikmesi ve bant genişliği, GPU Model Flops Utilization (MFU) oranını doğrudan etkiler. NVIDIA DGX SuperPOD, Meta'nın AI Research SuperCluster (RSC) ve OpenAI'nın büyük eğitim kümelerinin temel ağ omurgasını InfiniBand oluşturmaktadır. 2020 yılında NVIDIA'nın Mellanox'u 6,9 milyar dolara satın almasıyla InfiniBand, NVIDIA ekosisteminin ayrılmaz bir parçası hâline geldi. GPUDirect RDMA teknolojisi, GPU belleklerinden sistem belleği ve CPU atlanarak doğrudan diğer GPU'lara veri aktarılmasına olanak tanır. Düğüm içi iletişim NVLink üzerinden (H100'de 900 GB/s) yapılırken düğümler arası iletişim NDR InfiniBand (~50 GB/s) ile sağlanmaktadır; bu bant genişliği farkı paralel eğitim stratejilerinin planlanmasında göz önünde bulundurulması gereken temel bir kısıttır. Ethernet tabanlı alternatifler — standart 400GbE veya RoCE (RDMA over Converged Ethernet) — mevcut altyapı yatırımını koruyarak daha düşük maliyet sunar; ancak büyük ölçekli AI kümelerinde InfiniBand'ın deterministik gecikme garantisi ve güvenilirlik üstünlüğü birinci tercih konumunu sürdürmektedir. Bulut tarafında AWS Elastic Fabric Adapter (EFA), Google Cloud'un Jupiter ağı ve Azure'un ND serisi InfiniBand veya InfiniBand benzeri altyapı üzerine kuruludur.

code_blocks

InfiniBand (Yüksek Hızlı AI Ağ Protokolü)

InfiniBand, 1999 yılında geliştirilen ve yüksek performanslı bilişim (HPC) ile büyük ölçekli yapay zeka altyapılarında GPU'lar, sunucular ve depolama sistemleri arasında yüksek bant genişliği ve son derece düşük gecikme süresi sağlayan bir ağ iletişim standardı ve protokolüdür. Protokol; SDR (2 Gb/s) ile başlayan nesil silsilesini HDR (200 Gb/s), NDR (400 Gb/s) ve son olarak XDR (800 Gb/s) ile sürdürmektedir. InfiniBand'ın temel ayırt edici özelliği RDMA (Remote Direct Memory Access — Uzaktan Doğrudan Bellek Erişimi) desteğidir. RDMA, bir sunucunun başka bir sunucunun belleğine CPU ve işletim sistemi yığını atlanarak doğrudan erişmesine olanak tanır. Kernel bypass olarak da bilinen bu mimari iki kritik kazanım sunar: gecikme süresini bir mikrosaniyenin altına çekmek ve CPU'nun ağ işleme yükünü minimuma indirmek. Yüksek frekanslı veri transferi gerektiren derin öğrenme iş yüklerinde bu özellik belirleyici bir avantaj ortaya koyar. Büyük dil modellerinin (LLM) eğitiminde yüzlerce ya da binlerce GPU'nun koordineli çalışması gerekir. Bu ölçekte AllReduce, AllGather ve ReduceScatter gibi kollektif iletişim işlemleri — NVIDIA'nın NCCL kütüphanesiyle yönetilen — sürekli ve yüksek hacimli gradient senkronizasyonu gerektirir. Ağ gecikmesi ve bant genişliği, GPU Model Flops Utilization (MFU) oranını doğrudan etkiler. NVIDIA DGX SuperPOD, Meta'nın AI Research SuperCluster (RSC) ve OpenAI'nın büyük eğitim kümelerinin temel ağ omurgasını InfiniBand oluşturmaktadır. 2020 yılında NVIDIA'nın Mellanox'u 6,9 milyar dolara satın almasıyla InfiniBand, NVIDIA ekosisteminin ayrılmaz bir parçası hâline geldi. GPUDirect RDMA teknolojisi, GPU belleklerinden sistem belleği ve CPU atlanarak doğrudan diğer GPU'lara veri aktarılmasına olanak tanır. Düğüm içi iletişim NVLink üzerinden (H100'de 900 GB/s) yapılırken düğümler arası iletişim NDR InfiniBand (~50 GB/s) ile sağlanmaktadır; bu bant genişliği farkı paralel eğitim stratejilerinin planlanmasında göz önünde bulundurulması gereken temel bir kısıttır. Ethernet tabanlı alternatifler — standart 400GbE veya RoCE (RDMA over Converged Ethernet) — mevcut altyapı yatırımını koruyarak daha düşük maliyet sunar; ancak büyük ölçekli AI kümelerinde InfiniBand'ın deterministik gecikme garantisi ve güvenilirlik üstünlüğü birinci tercih konumunu sürdürmektedir. Bulut tarafında AWS Elastic Fabric Adapter (EFA), Google Cloud'un Jupiter ağı ve Azure'un ND serisi InfiniBand veya InfiniBand benzeri altyapı üzerine kuruludur.

arrow_forward