tag H100
NVIDIA H100 (NVIDIA H100)
Bu sayfada H100 (NVIDIA H100 (NVIDIA H100)) etiketi ile işaretlenmiş 2 yapay zeka kavramını bulabilirsiniz.
NVIDIA H100, 2022 yılında duyurulan ve Hopper mikromimarisi (GH100 die) üzerine inşa edilen yüksek performanslı veri merkezi GPU'sudur. GPT-4, Llama ve diğer büyük dil modelleri dahil pek çok öncü yapay zeka modelinin eğitiminde kullanılan H100, bu alanda endüstri standardı konumuna gelmiştir. H100'ün en dikkat çekici yeniliği Transformer Engine'dir. Bu bileşen, FP8 ile FP16/BF16 hassasiyeti arasında katman bazında otomatik geçiş yaparak hem hesaplama hızını hem de model doğruluğunu korur. FP8 modunda seyrek (sparse) matris çarpımında 4 petaFLOPS, FP16'da ise 2 petaFLOPS zirve kapasitesine ulaşır. Bellek cephesinde, 80 GB HBM3 ve 3,35 TB/sn bant genişliğiyle büyük model ağırlıklarını verimli şekilde barındırır. NVLink 4.0 ile çip başına 900 GB/sn çift yönlü bant genişliği sağlanır; NVSwitch aracılığıyla 16 H100'ün sorunsuzca birbirine bağlanmasına olanak tanır. Bu ölçeklendirme kabiliyeti, yüzlerce milyar parametreli modellerin eğitimini pratik hale getirir. H100, SXM5 (sunucu kartı, 700 W) ve PCIe (350 W) olmak üzere iki formda sunulur. AWS, Microsoft Azure ve Google Cloud gibi büyük bulut sağlayıcıları H100 tabanlı sanal makine örnekleri sunar; piyasa fiyatı birim başına 25.000–40.000 ABD doları aralığındadır. Ardından gelen H200 modeli 141 GB HBM3e bellekle geliştirilmiş; Blackwell mimarisindeki B100 ve B200 serileri ise performans çıtasını daha da yükseltmiştir. H100'ün programlama modeli, CUDA ekosistemi ve cuDNN, cuBLAS gibi kütüphaneler üzerine kuruludur; PyTorch ve JAX çerçeveleri bu optimizasyonları otomatik kullanır. Güvenli Çok Kiracılı Ortam (MIG — Multi-Instance GPU) özelliği, tek bir H100'ü yedi izole bölüme ayırarak bulut sağlayıcılarının kaynakları daha verimli paylaştırmasına olanak tanır. TensorRT ve Triton Inference Server ile birleştiğinde H100, eğitim kadar çıkarım (inference) iş yükleri için de endüstri referans noktasıdır.
Hopper Architecture (Hopper Mimarisi)
Hopper Mimarisi, NVIDIA tarafından Mart 2022'de GTC (GPU Technology Conference) etkinliğinde tanıtılan ve büyük ölçekli yapay zeka modelleri ile yüksek performanslı hesaplama (HPC) iş yükleri için tasarlanmış yedinci nesil GPU mikro-mimarisidir. Bilgisayar biliminin öncüsü, ilk derleyici kavramının geliştiricisi ve COBOL standartlaşmasının mimarlarından biri olan Grace Hopper'ın anısına adlandırılan bu mimari, önceki nesil Ampere mimarisini (A100) veri merkezi segmentinde devralmıştır. Mimarinin en önemli yeniliği Transformer Engine adı verilen özel hesaplama birimidir. Bu birim, derin öğrenme modellerinin eğitimi sırasında FP8 ve FP16 sayısal hassasiyetleri arasında her işlem için otomatik ve dinamik geçiş yaparak hem hesaplama hızını hem de enerji verimliliğini önemli ölçüde artırır. FP8 hassasiyetindeki yeni Tensor Core'lar E4M3 (4 üs, 3 mantis biti) ve E5M2 (5 üs, 2 mantis biti) olmak üzere iki veri türünü destekler; bu sayede büyük dil modellerinin eğitim süresi, A100'e kıyasla FP8 düzeyinde 6 kata kadar kısaltılabilmektedir. Hopper GPU'ları TSMC 4N (4nm sınıfı) üretim süreciyle üretilmekte olup 80 milyar transistör içermektedir. HBM3 bellek teknolojisiyle 3 TB/s'ye ulaşan bellek bant genişliği, büyük model matrislerinin GPU'ya aktarımında darboğaz oluşmasını engeller. Dördüncü nesil NVLink bağlantısı (NVLink 4.0) ise çoklu GPU kümelerinde GPU'lar arası veri aktarım hızını önceki nesle göre iki katına çıkararak model paralelliğini kolaylaştırır. Multi-Instance GPU (MIG) teknolojisiyle tek bir H100 GPU'su, birbirinden yalıtılmış en fazla 7 bağımsız GPU örneğine bölünebilir. Bu özellik bulut servis sağlayıcıları için kaynak paylaşımı ve maliyet optimizasyonu açısından kritik önem taşır. Ek olarak Confidential Computing desteği, farklı kiracılara ait iş yüklerinin donanım düzeyinde şifrelenerek birbirinden korunmasına olanak tanır. PCIe Gen5 desteği de CPU ile GPU arasındaki veri transferini hızlandırmaktadır. Hopper mimarisinin veri merkezindeki öne çıkan ürünleri H100 ve H200 GPU'larıdır. Bu GPU'lar, GPT-4, LLaMA, Gemini ve benzeri büyük dil modellerinin eğitiminde dünya genelindeki veri merkezlerinde yaygın biçimde kullanılmaktadır. Hopper'ın ardından NVIDIA, 2024 yılında Blackwell mimarisini (B100, B200) duyurmuştur.
NVIDIA H100 (NVIDIA H100)
NVIDIA H100, 2022 yılında duyurulan ve Hopper mikromimarisi (GH100 die) üzerine inşa edilen yüksek performanslı veri merkezi GPU'sudur. GPT-4, Llama ve diğer büyük dil modelleri dahil pek çok öncü yapay zeka modelinin eğitiminde kullanılan H100, bu alanda endüstri standardı konumuna gelmiştir. H100'ün en dikkat çekici yeniliği Transformer Engine'dir. Bu bileşen, FP8 ile FP16/BF16 hassasiyeti arasında katman bazında otomatik geçiş yaparak hem hesaplama hızını hem de model doğruluğunu korur. FP8 modunda seyrek (sparse) matris çarpımında 4 petaFLOPS, FP16'da ise 2 petaFLOPS zirve kapasitesine ulaşır. Bellek cephesinde, 80 GB HBM3 ve 3,35 TB/sn bant genişliğiyle büyük model ağırlıklarını verimli şekilde barındırır. NVLink 4.0 ile çip başına 900 GB/sn çift yönlü bant genişliği sağlanır; NVSwitch aracılığıyla 16 H100'ün sorunsuzca birbirine bağlanmasına olanak tanır. Bu ölçeklendirme kabiliyeti, yüzlerce milyar parametreli modellerin eğitimini pratik hale getirir. H100, SXM5 (sunucu kartı, 700 W) ve PCIe (350 W) olmak üzere iki formda sunulur. AWS, Microsoft Azure ve Google Cloud gibi büyük bulut sağlayıcıları H100 tabanlı sanal makine örnekleri sunar; piyasa fiyatı birim başına 25.000–40.000 ABD doları aralığındadır. Ardından gelen H200 modeli 141 GB HBM3e bellekle geliştirilmiş; Blackwell mimarisindeki B100 ve B200 serileri ise performans çıtasını daha da yükseltmiştir. H100'ün programlama modeli, CUDA ekosistemi ve cuDNN, cuBLAS gibi kütüphaneler üzerine kuruludur; PyTorch ve JAX çerçeveleri bu optimizasyonları otomatik kullanır. Güvenli Çok Kiracılı Ortam (MIG — Multi-Instance GPU) özelliği, tek bir H100'ü yedi izole bölüme ayırarak bulut sağlayıcılarının kaynakları daha verimli paylaştırmasına olanak tanır. TensorRT ve Triton Inference Server ile birleştiğinde H100, eğitim kadar çıkarım (inference) iş yükleri için de endüstri referans noktasıdır.