HBM (Yüksek Bant Genişlikli Bellek)

#HBM #AIDonanim #GPU #DRAM

GPU'larda yüksek hız gerektiren yapay zeka iş yükleri için özel tasarlanmış, 3D yığınlı DRAM mimarisine dayalı yüksek bant genişlikli bellek standardı.

HBM (High Bandwidth Memory — Yüksek Bant Genişlikli Bellek), birden fazla DRAM yongasını dikey olarak üst üste yığan (3D stacking) ve bunları Through-Silicon Via (TSV) bağlantılarıyla birleştiren özel bir bellek mimarisidir. GDDR6 gibi geleneksel grafik belleklerinin bant genişliği sınırlarını aşmak amacıyla geliştirilmiş olan HBM, büyük dil modeli eğitimi ve çıkarımı gibi veri yoğun AI iş yüklerinde kritik bir rol oynamaktadır. HBM'nin temel yeniliği, birden fazla DRAM yongasını bir silikon ara katman (silicon interposer) üzerinde yan yana konumlandırmak ve her yığını TSV adı verilen dikey bakır bağlantılarla birbirine bağlamaktır. Bu yapı 1024 bit veya daha geniş bellek arayüzü oluşturarak GDDR6'nın 384 bitlik sınırını çok aşar. Yüksek arayüz genişliği düşük saat hızıyla birleşince hem yüksek bant genişliği hem de düşük güç tüketimi elde edilir; GDDR6'ya kıyasla yaklaşık yüzde 65 daha az enerji harcanır. HBM mimarisi 2013'ten bu yana hızla gelişmiştir. İlk nesil HBM 128 GB/s bant genişliği sunarken 2016'da gelen HBM2 bunu 256 GB/s'ye çıkardı. NVIDIA A100'de kullanılan HBM2E 410 GB/s ile transformer modellerinin ilk yaygınlaşma döneminin referans donanımı oldu. NVIDIA H100'de kullanılan HBM3 ise 3,35 TB/s bant genişliğiyle büyük dil modellerinin bellek darboğazını büyük ölçüde çözdü. HBM3E, H200 ve GB200 GPU'larında 4,8 TB/s bant genişliğiyle uzun bağlam pencereli modellerin çıkarımını kolaylaştırmaktadır. JEDEC'in Nisan 2025'te yayımladığı HBM4 spesifikasyonu 2048 bitlik arayüz ve yığın başına 2 TB/s bant genişliği vaat etmektedir. HBM arzı, AI donanım ekosistemi için stratejik bir kırılganlık noktası oluşturmaktadır. Pazar yalnızca üç tedarikçinin kontrolündedir: SK Hynix yüzde 62, Micron yüzde 21 ve Samsung yüzde 17 paya sahiptir. CoWoS ve diğer gelişmiş paketleme teknolojileri, HBM yığınlarını GPU dieleriyle yakın fiziksel konumda bir araya getirerek gecikmeyi azaltmaktadır. Tedarik kıtlığı, H100 üretim hızının temel sınırlayıcısı olmuş ve piyasa fiyatlarını önemli ölçüde etkilemiştir.

memory HBM Nasıl Çalışır?

HBM mimarisinin temeli 3D yığınlama (3D stacking) teknolojisidir. Birden fazla DRAM yongası dikey olarak üst üste dizilir ve her katmanı birbirine bağlamak için Through-Silicon Via (TSV) adı verilen dikey bakır bağlantılar kullanılır. Bu yığınlar bir silicon interposer (silikon ara katman) üzerine yerleştirilerek GPU veya TPU dieleriyle yan yana konumlandırılır.

Bu yapı sayesinde HBM, GDDR6'nın 384 bitlik arayüzüne kıyasla 1024 bit veya daha geniş bir bellek arayüzü oluşturur. Geniş arayüz genişliği düşük saat frekansıyla birleşince hem yüksek bant genişliği hem de GDDR6'ya kıyasla yaklaşık %65 daha düşük güç tüketimi elde edilir.

HBM Nesil Karşılaştırması

looks_one HBM / HBM2

HBM (2013): 128 GB/s. HBM2 (2016): 256 GB/s. İlk AI hızlandırıcı uygulamaları — NVIDIA V100.

looks_two HBM2E / HBM3

HBM2E (2019): 410 GB/s, NVIDIA A100. HBM3 (2022): 3,35 TB/s, NVIDIA H100 — LLM eğitiminde dönüm noktası.

looks_3 HBM3E

HBM3E: 4,8 TB/s bant genişliği. NVIDIA H200 (141 GB) ve GB200'de kullanılıyor — uzun bağlam çıkarımı için optimize.

looks_4 HBM4 (2025)

JEDEC Nisan 2025: 2048-bit arayüz, yığın başına 2 TB/s. Bir sonraki nesil AI işlemcilerde hedefleniyor.

compare HBM vs. GDDR6 Karşılaştırması

  • check_circle Bant Genişliği: HBM3: 3,35 TB/s vs. GDDR6X: ~1 TB/s — HBM yaklaşık 3× daha yüksek bant genişliği sunar.
  • check_circle Güç Tüketimi: HBM, GDDR6'ya kıyasla yaklaşık %65 daha az enerji tüketir; aynı bant genişliği için çok daha verimlidir.
  • check_circle Kapasite: NVIDIA H200: 141 GB HBM3E. Tüketici GPU'ları (RTX 4090): 24 GB GDDR6X — sunucu sınıfı AI için HBM zorunludur.
  • check_circle Maliyet ve Paketleme: HBM, CoWoS gibi gelişmiş paketleme teknolojisi gerektirdiğinden üretimi karmaşık ve maliyetlidir; bu GDDR6'ya kıyasla yüksek birim fiyatına yol açar.
  • check_circle Fiziksel Boyut: HBM interposer tasarımı sayesinde daha küçük form faktörüne sahiptir; geniş PCB alanı yerine GPU dieleriyle aynı pakette entegre edilir.

hub AI Ekosistemindeki Stratejik Önemi

HBM arzı, NVIDIA H100 ve H200 GPU'larının üretim hızını doğrudan sınırlayan etkendir. Pazar yalnızca üç üretici tarafından kontrol edilmektedir: SK Hynix (%62 pazar payı), Micron (%21) ve Samsung (%17). Bu yüksek tedarik yoğunlaşması, küresel AI yatırımlarının belirleyici bir kırılganlık noktasını oluşturmaktadır.

HBM4 ile birlikte bant genişliği rekabeti yeniden ivme kazanacak; ancak 2 nm altı diyeler ve yeni paketleme teknolojileri HBM'in üretim sınırlarını test edecektir. Intel Gaudi, AMD MI300X ve Google TPU v5 gibi rakip AI hızlandırıcılar da HBM2E ve HBM3 benimseyerek veri merkezi performansı için aynı kritik bileşene bağımlıdır.

rocket_launch Kullanım Alanları

  • check_circle Büyük Dil Modeli Eğitimi: GPT-4, LLaMA 3 ve Claude gibi modellerin eğitiminde model parametreleri GPU HBM'inde tutulur; yetersiz bant genişliği eğitim hızını doğrudan düşürür.
  • check_circle LLM Çıkarımı (Uzun Bağlam): KV önbelleği uzun bağlam pencerelerinde HBM kapasitesini kritik kılar; H200'ün 141 GB HBM3E'si 128 K token bağlamı için yeterli kapasiteyi sunar.
  • check_circle HPC ve Bilimsel Hesaplama: Protein katlama (AlphaFold3), iklim modelleme ve CFD simülasyonları yüksek bant genişlikli belleği zorunlu kılar.
  • check_circle Öneri Sistemleri: Büyük gömülü (embedding) tablolarının gerçek zamanlı sorgulanması için HBM, düşük gecikmeli erişim sunar.

quiz Sık Sorulan Sorular

  • check_circle HBM nedir? HBM (High Bandwidth Memory), birden fazla DRAM yongasını 3D yığınlama ve TSV bağlantılarıyla birleştiren yüksek bant genişlikli bellek mimarisidir. Geleneksel GDDR6'ya kıyasla çok daha yüksek bant genişliği ve daha düşük güç tüketimi sunar.
  • check_circle HBM ile GDDR arasındaki fark nedir? HBM, 1024+ bitlik geniş arayüz ve 3D yığınlama sayesinde GDDR6'nın bant genişliğini 3× aşar ve %65 daha az enerji harcar. Ancak üretimi daha karmaşık ve maliyetlidir; bu nedenle ağırlıklı olarak profesyonel AI ve HPC GPU'larında kullanılır.
  • check_circle NVIDIA H100'de hangi HBM versiyonu var? NVIDIA H100, 80 GB HBM3 belleğe ve 3,35 TB/s bant genişliğine sahiptir. H200 ise 141 GB HBM3E ile 4,8 TB/s bant genişliği sunar.
  • check_circle HBM4 ne zaman çıkıyor? JEDEC, HBM4 spesifikasyonunu Nisan 2025'te yayımladı. HBM4, 2048-bit arayüz ve yığın başına 2 TB/s bant genişliği tanımlıyor. İlk ürünlerin 2025-2026 yıllarında piyasaya girmesi bekleniyor.
  • check_circle HBM neden bu kadar pahalı? HBM üretimi CoWoS gibi gelişmiş paketleme teknolojisi gerektirir ve yalnızca SK Hynix, Micron ve Samsung üretebilir. Düşük üretim hacmi ve yüksek talep (AI patlaması) fiyatları önemli ölçüde artırmıştır.