HBM (Yüksek Bant Genişlikli Bellek) Nedir? (HBM (Yüksek Bant Genişlikli Bellek))

#HBM #GPU bellek #donanım #AI hızlandırıcı #3D yığınlı bellek #TSV #DRAM

GPU'larda yüksek hız gerektiren yapay zeka iş yükleri için özel tasarlanmış, 3D yığınlı DRAM mimarisine dayalı yüksek bant genişlikli bellek standardı.

HBM (High Bandwidth Memory), birden fazla DRAM yongasını dikey olarak üst üste yığan (3D stacking) ve bunları Through-Silicon Via (TSV) bağlantılarıyla birleştiren bir bellek mimarisidir. GDDR6 gibi geleneksel grafik belleklerinin bant genişliği sınırlarını aşmak için geliştirilmiştir. NVIDIA H100'de kullanılan HBM3, 3,35 TB/s bant genişliğiyle büyük dil modeli eğitiminde kritik bir darboğazı ortadan kaldırır.

HBM Nedir?

HBM (High Bandwidth Memory), JEDEC tarafından standartlaştırılmış, 3D-yığınlı DRAM teknolojisine dayalı bir bellek arabirimidir. Geleneksel GDDR serisi bellekler yongaları yatay olarak yan yana yerleştirirken HBM, birden fazla DRAM yongasını dikey olarak üst üste yığar ve aralarındaki bağlantıyı Through-Silicon Via (TSV) adı verilen mikro bağlantılarla sağlar. Bu yaklaşım, çok daha geniş bir bellek veri yolu (bus) oluşturarak inanılmaz bant genişliklerine ulaşır.

HBM Nesilleri

HBM teknolojisi hızla evrilmektedir: HBM1 (2015) 128 GB/s ile başladı; HBM2 (2016) 256 GB/s'e çıktı; HBM2E 460 GB/s'e ulaştı. HBM3 (2022) 819 GB/s bant genişliği ve 1024-bit arayüzle büyük bir sıçrama getirdi. NVIDIA H100'de kullanılan HBM3, yığın başına 819 GB/s sağlarken H100'ün toplam bant genişliği 3,35 TB/s'e ulaşır. HBM3E, H200 ve NVIDIA GB200'de kullanılmakta olup 1,15 TB/s sunar. JEDEC'in Nisan 2025'te yayımladığı HBM4 spesifikasyonu ise 2048-bit arayüz ve yığın başına 2 TB/s ile bir sonraki nesli tanımlamaktadır.

Yapay Zeka İş Yüklerindeki Rolü

Büyük dil modellerinin (LLM) eğitimi ve çıkarımı (inference), son derece yüksek bellek bant genişliği gerektirir. Milyarlarca parametreyi GPU'lar arasında aktarmak, geleneksel GDDR bellekle mümkün olmayan transfer hızları gerektirir. HBM bu darboğazı çözer: NVIDIA H100 ile GPT-4 ölçeğindeki modellerin eğitiminde GDDR6 sistemlerine kıyasla %30-50 daha hızlı yakınsama sağlanır. Ayrıca HBM'nin düşük güç tüketimi (GDDR6'ya göre ~%65 daha az) büyük veri merkezlerinde önemli enerji tasarrufu sağlar.

GDDR ile Karşılaştırma

GDDR6X, oyun ve görsel işlem odaklı uygulamalar için maliyet etkin bir çözümdür (480-576 GB/s). HBM ise AI hızlandırıcıları, HPC ve profesyonel GPU'lara yönelik olup çok daha yüksek bant genişliği ile düşük güç tüketimi sunar; ancak maliyeti ve üretim karmaşıklığı daha yüksektir. Bu yüzden NVIDIA'nın RTX serisi (tüketici oyun GPU'ları) GDDR6X kullanırken H100/H200 serisi (veri merkezi AI GPU'ları) HBM3/HBM3E kullanır.