Hopper Architecture (Hopper Mimarisi)

#GPU #NVIDIA #YapayZekaDonanım #TransformerEngine #H100

Hopper Mimarisi, NVIDIA'nın H100 ve H200 GPU'larında kullandığı, Transformer Engine ve FP8 hassasiyetiyle yapay zeka hesaplamalarını hızlandıran GPU mikro-mimarisidir.

Hopper Mimarisi, NVIDIA tarafından Mart 2022'de GTC (GPU Technology Conference) etkinliğinde tanıtılan ve büyük ölçekli yapay zeka modelleri ile yüksek performanslı hesaplama (HPC) iş yükleri için tasarlanmış yedinci nesil GPU mikro-mimarisidir. Bilgisayar biliminin öncüsü, ilk derleyici kavramının geliştiricisi ve COBOL standartlaşmasının mimarlarından biri olan Grace Hopper'ın anısına adlandırılan bu mimari, önceki nesil Ampere mimarisini (A100) veri merkezi segmentinde devralmıştır. Mimarinin en önemli yeniliği Transformer Engine adı verilen özel hesaplama birimidir. Bu birim, derin öğrenme modellerinin eğitimi sırasında FP8 ve FP16 sayısal hassasiyetleri arasında her işlem için otomatik ve dinamik geçiş yaparak hem hesaplama hızını hem de enerji verimliliğini önemli ölçüde artırır. FP8 hassasiyetindeki yeni Tensor Core'lar E4M3 (4 üs, 3 mantis biti) ve E5M2 (5 üs, 2 mantis biti) olmak üzere iki veri türünü destekler; bu sayede büyük dil modellerinin eğitim süresi, A100'e kıyasla FP8 düzeyinde 6 kata kadar kısaltılabilmektedir. Hopper GPU'ları TSMC 4N (4nm sınıfı) üretim süreciyle üretilmekte olup 80 milyar transistör içermektedir. HBM3 bellek teknolojisiyle 3 TB/s'ye ulaşan bellek bant genişliği, büyük model matrislerinin GPU'ya aktarımında darboğaz oluşmasını engeller. Dördüncü nesil NVLink bağlantısı (NVLink 4.0) ise çoklu GPU kümelerinde GPU'lar arası veri aktarım hızını önceki nesle göre iki katına çıkararak model paralelliğini kolaylaştırır. Multi-Instance GPU (MIG) teknolojisiyle tek bir H100 GPU'su, birbirinden yalıtılmış en fazla 7 bağımsız GPU örneğine bölünebilir. Bu özellik bulut servis sağlayıcıları için kaynak paylaşımı ve maliyet optimizasyonu açısından kritik önem taşır. Ek olarak Confidential Computing desteği, farklı kiracılara ait iş yüklerinin donanım düzeyinde şifrelenerek birbirinden korunmasına olanak tanır. PCIe Gen5 desteği de CPU ile GPU arasındaki veri transferini hızlandırmaktadır. Hopper mimarisinin veri merkezindeki öne çıkan ürünleri H100 ve H200 GPU'larıdır. Bu GPU'lar, GPT-4, LLaMA, Gemini ve benzeri büyük dil modellerinin eğitiminde dünya genelindeki veri merkezlerinde yaygın biçimde kullanılmaktadır. Hopper'ın ardından NVIDIA, 2024 yılında Blackwell mimarisini (B100, B200) duyurmuştur.

Hopper Mimarisi Nedir?

Hopper, NVIDIA'nın H100 ve H200 serisi GPU'larında kullandığı GPU mikro-mimarisidir. Mart 2022'deki GTC etkinliğinde tanıtılan mimari, büyük ölçekli yapay zeka modellerinin eğitimi ve yüksek performanslı bilimsel hesaplama için optimize edilmiştir. Önceki nesil Ampere mimarisini (A100) devralan Hopper, veri merkezi segmentinde en güçlü NVIDIA GPU serisinin temelini oluşturmaktadır; tüketici GPU'larında ise aynı dönemde Ada Lovelace mimarisi (RTX 4000 serisi) kullanılmıştır. Mimarinin adı, bilgisayar bilimi tarihinin önemli figürlerinden biri olan ve A-0 System adıyla ilk derleyiciyi geliştiren matematikçi-deniz subayı Grace Hopper'a atıfla belirlenmiştir.

Temel Yenilikler

  • check_circle Transformer Engine: FP8 ve FP16 hassasiyetleri arasında işlem başına otomatik geçiş yapan özel hesaplama birimi. Büyük dil modellerinin eğitim hızını A100'e kıyasla 6 kata kadar artırır.
  • check_circle FP8 Tensor Core'lar: E4M3 ve E5M2 formatlarındaki yeni 8-bit kayan nokta desteği. Bellek kullanımını ve veri transferini optimize ederek daha büyük modellerin eğitimine imkân tanır.
  • check_circle HBM3 Bellek: 3 TB/s bellek bant genişliği sunan üçüncü nesil Yüksek Bant Genişlikli Bellek. Büyük model matrislerinin GPU'ya hızla yüklenmesini sağlar.
  • check_circle NVLink 4.0: 900 GB/s iki yönlü bant genişliğiyle GPU'lar arası iletişimi hızlandıran dördüncü nesil bağlantı teknolojisi. Çoklu GPU kümelerinde model paralelliğini kolaylaştırır.
  • check_circle MIG (Multi-Instance GPU): Tek H100 GPU'sunu 7'ye kadar bağımsız, yalıtılmış örneğe bölme teknolojisi. Bulut ortamlarında kaynak paylaşımı ve çok kiracılı kullanım senaryolarını destekler.

Ampere ile Performans Karşılaştırması

Hopper, NVIDIA'nın önceki veri merkezi nesli Ampere mimarisine (A100) kıyasla ciddi performans sıçramaları sunar. FP8 hassasiyetinde A100'ün yaklaşık 6 katı, FP16'da ise yaklaşık 3 katı hesaplama yoğunluğuna ulaşılmaktadır. Bellek bant genişliği HBM2e'nin ~2 TB/s değerinden HBM3'ün 3 TB/s değerine yükseltilmiştir. 4N sürecinin getirdiği transistör yoğunluğu artışı, aynı güç zarfında daha fazla hesaplama birimi yerleştirilmesine imkân tanır. PCIe Gen5 desteği ise CPU-GPU veri aktarımını önceki neslin Gen4'üne kıyasla iki katına çıkarmaktadır.

Kullanım Alanları

  • check_circle Büyük Dil Modeli Eğitimi: GPT-4, LLaMA, Gemini gibi modellerin ön eğitim ve ince ayar süreçleri. Transformer Engine bu iş yükleri için özel olarak optimize edilmiştir.
  • check_circle Bilimsel Simülasyon: İklim modellemesi, ilaç keşfi (moleküler dinamik simülasyon), astrofizik ve nükleer hesaplamalar için FP64 desteği.
  • check_circle Bulut AI Hizmetleri: AWS, Google Cloud, Azure gibi platformlarda MIG teknolojisiyle çok kiracılı GPU paylaşımı ve maliyet optimizasyonu.
  • check_circle Güvenli AI İşleme: Confidential Computing özelliğiyle hassas sağlık, finans ve devlet verilerinin donanım düzeyinde şifreli işlenmesi.

Sıkça Sorulan Sorular

  • check_circle Hopper ile H100 arasındaki fark nedir?: Hopper, GPU mikro-mimarisinin (tasarım mimarisinin) adıdır; H100 ise bu mimariyi kullanan somut bir GPU ürününün adıdır. Aynı ilişki Ampere-A100, Ada-RTX 4090 veya Blackwell-B100 arasında da geçerlidir. Mimari birden fazla ürünü kapsayabilir; H200 de Hopper mimarisini kullanmaktadır.
  • check_circle Hopper'ın ardından hangi mimari geldi?: NVIDIA, veri merkezi segmentinde Blackwell mimarisini (B100, B200, GB200, 2024) geliştirdi. Tüketici GPU'larında ise Ada Lovelace (RTX 4000 serisi) Hopper ile eş zamanlı piyasaya çıktı ve ardından Blackwell tabanlı RTX 5000 serisi takip etti.
  • check_circle Transformer Engine yalnızca Transformer modellerini mi hızlandırır?: Hayır. 'Transformer Engine' adı Transformer mimarisinden esinlenmiş olsa da FP8 hassasiyetini kullanan her derin öğrenme iş yükü için hız kazanımı sağlar. LLM, diffusion modeli ve tavsiye sistemi eğitiminde de kullanılmaktadır.
  • check_circle MIG ve vGPU arasındaki fark nedir?: vGPU (sanal GPU), yazılım katmanında sanallaştırma yaparak GPU kaynaklarını paylaştırır; ancak tam donanım yalıtımı sunmaz. MIG ise donanım düzeyinde gerçek kaynak bölümlendirmesi yaparak her örneğin izole bellek, hesaplama ve bant genişliğine sahip olmasını sağlar; bu sayede iş yükleri birbirini etkilemez.