VRAM (GPU Belleği)

#VRAM #GPU #ModelBelleği #NVIDIA #DeepLearning #Donanım

VRAM, GPU üzerindeki yüksek bant genişlikli bellektir; AI modelinin ağırlıkları ve KV cache burada tutulur.

VRAM (Video RAM), GPU'nun (grafik işlemci birimi) üzerinde bulunan ve model ağırlıkları, aktivasyonlar ile ara hesaplama verilerini tutan yüksek bant genişlikli bellektir. Sistem RAM'i CPU'ya hizmet ederken VRAM doğrudan GPU çekirdeklerine bağlıdır ve GDDR7 ile 1 TB/s'nin üzerinde, HBM3e ile 8 TB/s'ye varan veri aktarım hızına ulaşır. Bu hız farkı, binlerce çekirdeğin aynı anda veri beklediği paralel hesaplamada belirleyicidir. Yapay zeka tarafında VRAM, çalıştırılabilecek modelin üst sınırını çizen ana donanım kısıtıdır. Bir büyük dil modelinin (LLM) tüm ağırlıkları çıkarım sırasında VRAM'e yüklenir: 7B parametreli bir model FP16 hassasiyetle yaklaşık 14 GB, 4-bit kuantizasyonla 4-5 GB yer kaplar; 70B sınıfı bir model ise FP16'da 140 GB isteyip INT4 ile 35-40 GB'a iner. Ağırlıkların üzerine, bağlam uzunluğuyla büyüyen KV cache ve batch verisi eklenir; 128K token bağlam tek başına gigabaytlarca ek VRAM tüketebilir. Kapasite aşıldığında model ya hiç yüklenmez ya da sistem RAM'ine taşarak (CPU offload) on kata varan yavaşlamayla çalışır. 2026 itibarıyla kapasite yelpazesi geniştir: tüketici tarafında RTX 5090 32 GB GDDR7, RTX 4090 24 GB sunar; veri merkezinde H100 80 GB, H200 141 GB, Blackwell B200 ise 192 GB HBM3e taşır. Apple Silicon farklı bir yol izler: M3 Ultra'da 512 GB'a çıkan birleşik bellek (unified memory), CPU ve GPU tarafından ortak kullanılır ve ayrı VRAM kavramını ortadan kaldırır. Eğitim senaryolarında VRAM ihtiyacı çıkarımın çok üzerine çıkar; geri yayılım aktivasyonları ve Adam optimizer durum tensörleri parametrelerin 3-4 katı ek bellek tüketir. LoRA ve QLoRA gibi parametre verimli ince ayar yöntemleri bu kısıtlamayı önemli ölçüde hafifletir. Gradyan kontrol noktası alma (gradient checkpointing) tekniği ise bellek-hesaplama takasıyla daha büyük batch boyutlarına izin verir. Yerel LLM çalıştırma, Stable Diffusion/Flux ile görüntü üretme veya LoRA ince ayarı planlayan herkes için ilk sorulacak soru işlemci hızı değil, kaç GB VRAM olduğudur. Model seçiminden donanım alımına kadar her kararda VRAM kapasitesi belirleyici etkendir.

AI Modellerinde VRAM Neden Kritik?

GPU'da çıkarım yapmak için modelin tüm ağırlıklarının VRAM'e sığması gerekir; disk veya sistem RAM'inden parça parça okumak pratikte kullanılamayacak kadar yavaştır. Kaba hesap basittir: parametre sayısı × parametre başına bayt. FP16/BF16'da parametre başına 2 bayt düşer; 7B model 14 GB, 13B model 26 GB, 70B model 140 GB ister. INT8 bu değerleri yarıya, INT4 dörtte bire indirir. Ağırlıklar tek kalem değildir: Transformer çıkarımında her üretilen token için saklanan KV cache, bağlam ve batch büyüdükçe şişer; 70B bir modelde 128K bağlam onlarca GB ek bellek isteyebilir.

2026'da Popüler GPU'ların VRAM Kapasitesi

  • check_circle RTX 5090 — 32 GB GDDR7: Tüketici segmentinin zirvesi; 1,79 TB/s bant genişliğiyle 32B sınıfı modelleri INT4'te, 13B'yi FP16'da çalıştırabilir.
  • check_circle RTX 4090 — 24 GB GDDR6X: Yerel LLM ve Stable Diffusion için en yaygın tercih; 7B FP16 ve 13B INT4 için yeterlidir.
  • check_circle H100 SXM — 80 GB HBM2e: Veri merkezi standardı; 70B FP16 çıkarımı ve LoRA ince ayarını tek kartta destekler.
  • check_circle B200 — 192 GB HBM3e: Blackwell nesli; 405B sınıfı modelleri tek kartta FP8 hassasiyetle çalıştırabilir.
  • check_circle Apple M3 Ultra — 192 GB Birleşik Bellek: CPU ve GPU'nun ortak kullandığı unified memory mimarisi; 70B modelleri makul hızda çalıştırır ancak bant genişliği ayrık GPU'lara göre düşüktür.

Oyun ve Yapay Zeka: İki Farklı VRAM İhtiyacı

Oyunlarda VRAM yalnızca doku, render tamponu ve frame verisi tutar; 4K AAA oyun için 16-24 GB yeterlidir. Yapay zeka iş yüklerinde ise tüm model ağırlıkları sürekli bellekte kalır ve aktivasyon tensörleri batch başına yeniden üretilir. Bu yüzden aynı 24 GB kart bir oyunu kusursuz çalıştırırken 13B sınıfı bir modeli FP16'da tam hızda çalıştıramayabilir.

VRAM Tüketimini Azaltan Teknikler

  • check_circle Kuantizasyon (GGUF, AWQ, GPTQ): Ağırlıkları FP16'dan INT8 veya INT4'e indirerek VRAM'i yarı veya dörtte bire düşürür, doğruluk kaybı minimaldir.
  • check_circle LoRA / QLoRA: Tam ince ayar yerine küçük adaptör katmanları eğiterek eğitim belleğini dramatik biçimde azaltır.
  • check_circle Gradyan Kontrol Noktası Alma: Geri yayılım sırasında aktivasyonları yeniden hesaplayarak bellek tüketimini azaltır, hesaplama süresi biraz uzar.
  • check_circle Model Parçalama (Tensor/Pipeline Parallelism): Büyük modeller birden fazla GPU'ya bölünerek her kartın VRAM yükü paylaştırılır.

Birleşik Bellek: Apple Silicon ve Yeni Mimariler

Apple Silicon'ın birleşik bellek mimarisinde CPU ve GPU aynı fiziksel bellek havuzunu kullanır; bu, büyük LLM'leri tüketici donanımında çalıştırma açısından önemli bir avantaj sunar. M3 Max 128 GB, M3 Ultra 192 GB'a kadar çıkabilir. Ancak bant genişliği (300-800 GB/s), ayrık GPU'ların HBM3e'siyle (4-8 TB/s) rekabet edemez; uzun bağlamlarda çıkarım hızı bu yüzden kısıtlıdır.

Hangi İş İçin Kaç GB VRAM? Pratik Seçim Rehberi

8 GB: Stable Diffusion 1.5/SDXL görüntü üretimi, 7B INT4 LLM çıkarımı. 16 GB: 13B INT4, 7B INT8, ince çözünürlüklü video üretimi. 24 GB: 13B FP16, 34B INT4, LoRA ince ayarı (7B). 48 GB: 70B INT4, 34B FP16 çıkarımı. 80 GB+: 70B FP16 çıkarımı, 13B tam ince ayar. 192 GB+: 405B INT4 veya 70B tam ince ayar. Pratikte bir sonraki kırılım noktasına sahip kartı almak en iyi uzun vadeli yatırımdır.

Sık Sorulan Sorular

  • check_circle Sistem RAM'i VRAM yerine geçebilir mi? Kısmen. CPU offload ve Ollama gibi araçlar modelin bir bölümünü RAM'de tutar; ancak bant genişliği farkı nedeniyle çıkarım hızı GPU'nun 10-50 katı yavaş olabilir.
  • check_circle VRAM dolduğunda ne olur? Model yüklenemez veya 'CUDA out of memory' hatası alınır. Çözüm: kuantizasyon uygulamak, bağlam uzunluğunu kısaltmak veya model parçalamayı etkinleştirmektir.
  • check_circle Çoklu GPU VRAM'i toplamanın en iyi yolu nedir? NVLink (NVIDIA) veya tensor parallelism (llama.cpp, vLLM) ile GPU'lar arası bellek ve hesaplama paylaşılır; NVLink olmadan PCIe üzerinden iletişim darboğaz yaratabilir.
  • check_circle VRAM ile RAM fiyat/performans karşılaştırması nasıl yapılır? GB başına VRAM maliyeti RAM'in 5-20 katıdır; bu yüzden kuantizasyon ile bellek verimliliği artırılmalı ve yalnızca gerçekten ihtiyaç duyulan kapasite satın alınmalıdır.