tag performans

Memory Bandwidth (Bellek Bant Genişliği)

Bu sayfada performans (Memory Bandwidth (Bellek Bant Genişliği)) etiketi ile işaretlenmiş 1 yapay zeka kavramını bulabilirsiniz.

Bellek bant genişliği (memory bandwidth), bir işlemci ya da hızlandırıcının bellek sistemiyle veri alışverişini saniyede gerçekleştirebileceği maksimum kapasitedir. GB/s veya TB/s birimiyle ölçülen bu metrik, yapay zeka iş yüklerinin büyük çoğunluğu için ham işlem gücünden çok daha belirleyici bir performans faktörü olmaktadır. Bant genişliği, bellek teknolojisi ve veri yolu genişliğiyle doğrudan orantılıdır. DDR5 sistem belleği yaklaşık 100 GB/s sunarken GDDR6X (RTX 4090) 1 TB/s düzeyine, HBM2e (A100) ise 2 TB/s'ye ulaşmaktadır. H100 SXM5'in kullandığı HBM3 teknolojisi 3,35 TB/s ile günümüzdeki en yüksek değerleri temsil etmektedir. Apple M serisi çipler, CPU ve GPU'nun ortak eriştiği birleşik bellek (unified memory) mimarisiyle yaklaşık 400 GB/s bant genişliği ve düşük güç tüketimi kombinasyonunu kenar cihazlara taşır. Büyük dil modellerinin (LLM) çıkarım aşamasında bant genişliği kritik öneme sahiptir. 70 milyar parametreli bir model FP16 hassasiyetiyle 140 GB yer kaplar; her yeni token üretiminde bu ağırlıkların büyük bölümü bellekten işlemciye aktarılır. Matris-vektör çarpımına dayalı bu işlemlerin aritmetik yoğunluğu düşük olduğundan sistem bellek sınırlı (memory-bound) biçimde çalışır: hesap kapasitesi artırılsa bile bant genişliği yeterli değilse token üretim hızı iyileşmez. Roofline modeli bu dengeyi görselleştirir ve bir çekirdeğin nerede darboğaz oluşturduğunu açıkça ortaya koyar. Yatay eksen aritmetik yoğunluğu (FLOP/bayt), dikey eksen ise ulaşılabilir performansı (TFLOPS) gösterir. Bant genişliği kısıtını aşmak için FlashAttention algoritması HBM trafiğini O(n²) düzeyinden O(n) düzeyine indirirken, model nicelleştirme (FP32'den INT4'e dönüşüm) ağırlık boyutunu sekiz kat küçülterek aynı bant genişliğinden sekiz kat daha fazla token üretilmesine olanak tanır. NVLink ve CXL tabanlı bellek genişletme teknolojileri de bant genişliği kapasitesini artırmak için yaygın biçimde başvurulan çözümler arasındadır.

code_blocks

Memory Bandwidth (Bellek Bant Genişliği)

Bellek bant genişliği (memory bandwidth), bir işlemci ya da hızlandırıcının bellek sistemiyle veri alışverişini saniyede gerçekleştirebileceği maksimum kapasitedir. GB/s veya TB/s birimiyle ölçülen bu metrik, yapay zeka iş yüklerinin büyük çoğunluğu için ham işlem gücünden çok daha belirleyici bir performans faktörü olmaktadır. Bant genişliği, bellek teknolojisi ve veri yolu genişliğiyle doğrudan orantılıdır. DDR5 sistem belleği yaklaşık 100 GB/s sunarken GDDR6X (RTX 4090) 1 TB/s düzeyine, HBM2e (A100) ise 2 TB/s'ye ulaşmaktadır. H100 SXM5'in kullandığı HBM3 teknolojisi 3,35 TB/s ile günümüzdeki en yüksek değerleri temsil etmektedir. Apple M serisi çipler, CPU ve GPU'nun ortak eriştiği birleşik bellek (unified memory) mimarisiyle yaklaşık 400 GB/s bant genişliği ve düşük güç tüketimi kombinasyonunu kenar cihazlara taşır. Büyük dil modellerinin (LLM) çıkarım aşamasında bant genişliği kritik öneme sahiptir. 70 milyar parametreli bir model FP16 hassasiyetiyle 140 GB yer kaplar; her yeni token üretiminde bu ağırlıkların büyük bölümü bellekten işlemciye aktarılır. Matris-vektör çarpımına dayalı bu işlemlerin aritmetik yoğunluğu düşük olduğundan sistem bellek sınırlı (memory-bound) biçimde çalışır: hesap kapasitesi artırılsa bile bant genişliği yeterli değilse token üretim hızı iyileşmez. Roofline modeli bu dengeyi görselleştirir ve bir çekirdeğin nerede darboğaz oluşturduğunu açıkça ortaya koyar. Yatay eksen aritmetik yoğunluğu (FLOP/bayt), dikey eksen ise ulaşılabilir performansı (TFLOPS) gösterir. Bant genişliği kısıtını aşmak için FlashAttention algoritması HBM trafiğini O(n²) düzeyinden O(n) düzeyine indirirken, model nicelleştirme (FP32'den INT4'e dönüşüm) ağırlık boyutunu sekiz kat küçülterek aynı bant genişliğinden sekiz kat daha fazla token üretilmesine olanak tanır. NVLink ve CXL tabanlı bellek genişletme teknolojileri de bant genişliği kapasitesini artırmak için yaygın biçimde başvurulan çözümler arasındadır.

arrow_forward