tag GPU
AI Hızlandırıcı (Yapay Zeka Hızlandırıcısı)
Bu sayfada GPU (AI Hızlandırıcı (Yapay Zeka Hızlandırıcısı)) etiketi ile işaretlenmiş 14 yapay zeka kavramını bulabilirsiniz.
AI Hızlandırıcı (İng. AI Accelerator), derin öğrenme ve makine öğrenimi iş yüklerini geleneksel merkezi işlem birimlerine (CPU) kıyasla çok daha verimli ve hızlı işlemek amacıyla geliştirilmiş özel amaçlı donanım birimleridir. Yapay zeka modellerinin eğitim ve çıkarım (inference) aşamalarında milyarlarca matris çarpımı, vektör toplama ve aktivasyon fonksiyonu hesabı gerçekleştirilir; bu işlemler genel amaçlı CPU mimarilerinde ciddi darboğazlar oluşturur. AI hızlandırıcılar, sinir ağı operasyonlarına doğrudan optimize edilmiş paralel işlem birimleri ve özel bellek mimarileriyle bu sorunu çözer. Bu alanda en yaygın kullanılan türler şunlardır: GPU (Grafik İşlem Birimi) — binlerce küçük çekirdeğiyle yüksek paralel işlem kapasitesi sunan ilk popüler AI hızlandırıcı; TPU (Tensör İşlem Birimi) — Google'ın TensorFlow iş yükleri için geliştirdiği özel ASIC; NPU (Sinirsel İşlem Birimi) — akıllı telefon ve IoT cihazlarına entegre, düşük güçte çıkarım yapan çip; FPGA (Sahaya Programlanabilir Kapı Dizisi) — yeniden yapılandırılabilir mimarisiyle esnek optimizasyon imkânı sunan donanım; ASIC (Uygulamaya Özel Entegre Devre) — tek bir iş yükü için tasarlanmış, en yüksek verimlilik oranına ulaşan çip. Hızlandırıcıların performansı; saniyede gerçekleştirilebilen kayan noktalı işlem sayısı (TFLOPS), yüksek bant genişlikli bellek (HBM) kapasitesi, bellek bant genişliği ve chip-to-chip iletişim hızı (NVLink, InfiniBand) gibi metriklerle ölçülür. Enerji verimliliği FLOPS/Watt biriminde ifade edilir ve veri merkezi işletme maliyetlerini doğrudan etkiler. Büyük dil modelleri (LLM) trilyonlarca parametreye ulaştıkça yüzlerce ila binlerce hızlandırıcının NVLink veya InfiniBand ile birbirine bağlandığı kümeler (accelerator clusters) ortaya çıkmıştır. NVIDIA H100/H200 Hopper ve Blackwell serileri, Google Trillium (TPU v6), AWS Trainium2 ve Groq LPU günümüz yapay zeka altyapısının bel kemiğini oluşturmaktadır. Öte yandan uç yapay zeka (edge AI) alanında NPU'lar akıllı telefon, güvenlik kamerası ve araç içi sistemlere gömülerek bulut bağlantısı gerektirmeden gerçek zamanlı çıkarım yapabilmektedir. Bu iki eğilim — bulut kümelerindeki devasa ölçek ve uçtaki düşük güçlü çıkarım — modern AI hızlandırıcı ekosisteminin iki kutbunu tanımlamaktadır.
AI Hızlandırıcı (Yapay Zeka Hızlandırıcısı)
AI Hızlandırıcı (İng. AI Accelerator), derin öğrenme ve makine öğrenimi iş yüklerini geleneksel merkezi işlem birimlerine (CPU) kıyasla çok daha verimli ve hızlı işlemek amacıyla geliştirilmiş özel amaçlı donanım birimleridir. Yapay zeka modellerinin eğitim ve çıkarım (inference) aşamalarında milyarlarca matris çarpımı, vektör toplama ve aktivasyon fonksiyonu hesabı gerçekleştirilir; bu işlemler genel amaçlı CPU mimarilerinde ciddi darboğazlar oluşturur. AI hızlandırıcılar, sinir ağı operasyonlarına doğrudan optimize edilmiş paralel işlem birimleri ve özel bellek mimarileriyle bu sorunu çözer. Bu alanda en yaygın kullanılan türler şunlardır: GPU (Grafik İşlem Birimi) — binlerce küçük çekirdeğiyle yüksek paralel işlem kapasitesi sunan ilk popüler AI hızlandırıcı; TPU (Tensör İşlem Birimi) — Google'ın TensorFlow iş yükleri için geliştirdiği özel ASIC; NPU (Sinirsel İşlem Birimi) — akıllı telefon ve IoT cihazlarına entegre, düşük güçte çıkarım yapan çip; FPGA (Sahaya Programlanabilir Kapı Dizisi) — yeniden yapılandırılabilir mimarisiyle esnek optimizasyon imkânı sunan donanım; ASIC (Uygulamaya Özel Entegre Devre) — tek bir iş yükü için tasarlanmış, en yüksek verimlilik oranına ulaşan çip. Hızlandırıcıların performansı; saniyede gerçekleştirilebilen kayan noktalı işlem sayısı (TFLOPS), yüksek bant genişlikli bellek (HBM) kapasitesi, bellek bant genişliği ve chip-to-chip iletişim hızı (NVLink, InfiniBand) gibi metriklerle ölçülür. Enerji verimliliği FLOPS/Watt biriminde ifade edilir ve veri merkezi işletme maliyetlerini doğrudan etkiler. Büyük dil modelleri (LLM) trilyonlarca parametreye ulaştıkça yüzlerce ila binlerce hızlandırıcının NVLink veya InfiniBand ile birbirine bağlandığı kümeler (accelerator clusters) ortaya çıkmıştır. NVIDIA H100/H200 Hopper ve Blackwell serileri, Google Trillium (TPU v6), AWS Trainium2 ve Groq LPU günümüz yapay zeka altyapısının bel kemiğini oluşturmaktadır. Öte yandan uç yapay zeka (edge AI) alanında NPU'lar akıllı telefon, güvenlik kamerası ve araç içi sistemlere gömülerek bulut bağlantısı gerektirmeden gerçek zamanlı çıkarım yapabilmektedir. Bu iki eğilim — bulut kümelerindeki devasa ölçek ve uçtaki düşük güçlü çıkarım — modern AI hızlandırıcı ekosisteminin iki kutbunu tanımlamaktadır.
Blackwell (NVIDIA Blackwell GPU Mimarisi)
Blackwell, NVIDIA tarafından Mart 2024'te duyurulan beşinci nesil GPU mimarisidir ve yapay zeka altyapısında çığır açan bir ilerlemeyi temsil eder. İsmi, olasılık teorisi ve istatistiğe katkılarıyla tanınan Afrikalı-Amerikalı matematikçi ve akademisyen David Blackwell'den almaktadır. Mimari, TSMC'nin gelişmiş 4NP üretim süreci üzerine inşa edilmiş çift-die (dual-die) chiplet tasarımı kullanır ve toplamda 208 milyar transistör içerir; bu rakam selefinin (Hopper/H100) neredeyse iki katıdır. Blackwell ailesi birden fazla GPU çeşidini kapsar: B100 giriş seviyesi varyant, B200 amiral gemisi GPU ve GB200 Grace-Blackwell Süperçip modülü. Bellek kapasitesi açısından B200, 192 GB HBM3e belleğe ve 8 TB/s bellek bant genişliğine sahiptir. Blackwell Ultra serisiyle birlikte gelen B300 modeli ise bu değeri 288 GB HBM3e'ye çıkarmıştır. GB200 NVL72 raf sistemi, 72 adet B200 GPU ile 36 adet Grace CPU'yu tek bir sıvı soğutmalı rafta birleştirerek toplamda 13,5 TB HBM3e bellek kapasitesi ve 1,4 eksaFLOPS hesaplama gücü sunar. Beşinci nesil NVLink (NVLink 5.0), her GPU için 1,8 TB/s çift yönlü bant genişliği sağlayarak Hopper'daki NVLink 4'e göre bant genişliğini ikiye katlar. Çift-die mimarisinin iç bağlantısında ise 10 TB/s bant genişliği elde edilmektedir; bu sayede iki die arasındaki veri transferi neredeyse engelsiz gerçekleşir. Blackwell'in en dikkat çekici yeniliği FP4 ve FP6 hassasiyet formatları ile mikro-tensör ölçeklendirme teknolojisidir. FP4 formatında 20 petaFLOPS hesaplama gücü sunan mimari, model ağırlıklarının bellek gereksinimini yarıya indirerek trilyon parametreli modellerin eğitimini ve çıkarımını daha önce mümkün olmayan ölçeklerde gerçekleştirmeye olanak tanır. Performans karşılaştırmalarında Blackwell, Hopper (H100) mimarisine göre çarpıcı üstünlükler sergiler: Llama 2 70B ince ayarında 2,2 kat, GPT-3 175B ön eğitiminde ise 2 kat hız artışı sağlar. GB200 NVL72 raf sistemi, büyük ölçekli LLM çıkarım görevlerinde H100'e kıyasla 30 kat performans iyileştirmesi sunarken enerji tüketimini 25 kat azaltır. Önceden 256 Hopper GPU gerektiren iş yükleri artık yalnızca 64 Blackwell GPU ile yürütülebilmektedir. Google, Meta, Microsoft ve Amazon gibi hiper ölçekli şirketler büyük yapay zeka modellerinin eğitimi ve çıkarım altyapısı için Blackwell'i benimsemiştir. NVIDIA bu teknolojiyi yapay zeka fabrikaları olarak konumlandırmakta ve trilyon parametreli modellerin ticari ölçekte çalışmasını mümkün kılan hesaplama altyapısı olarak tanımlamaktadır.
Continuous Batching (Sürekli Toplu İşlem)
Continuous Batching (Sürekli Toplu İşlem), LLM çıkarım sunucularında gelen istekleri statik batch'ler yerine sürekli, iterasyon bazlı dinamik gruplar hâlinde işleyen bir zamanlama tekniğidir. Geleneksel statik batching'de tüm istekler aynı uzunluğa tamamlanana kadar GPU boşta bekler; bu durum GPU kullanım oranını ciddi biçimde düşürür. Continuous batching ise her decoding adımında yeni isteklerin batch'e eklenmesine ve tamamlananların batch'ten çıkarılmasına olanak tanır. Tekniğin akademik temeli, Yu ve arkadaşlarının 2022'de yayımladığı "Orca: A Distributed Serving System for Transformer-Based Generative Models" çalışmasına dayanır. Bu makalede "iteration-level scheduling" adıyla tanımlanan yöntem, statik batch'e kıyasla 2-23× throughput artışı sağladığını kanıtladı. Pratik uygulamada ise 2023'te vLLM'nin PagedAttention ile birleştirdiği bu teknik, LLM servis altyapısında kalıcı bir standart hâline geldi. Teknik açıdan continuous batching; ön-doldurma (prefill) ve kod-çözme (decode) aşamalarının ayrılması, iterasyon düzeyinde zamanlama, verimli KV cache yönetimi ve öncelik kuyrukları bileşenlerine dayanır. Prefill aşamasında tüm prompt tokenleri bir kez işlenir; decode aşamasında her adımda tek token üretilir. Farklı isteklerin decode adımları eşzamanlı yürütüldüğünde GPU boşta kalmadan çalışmayı sürdürür; bu da KV cache alanının verimli kullanılmasını zorunlu kılar. Bellek yönetimi bu tekniğin kritik bir bileşenidir. PagedAttention, KV cache belleğini sanal sayfa tablosu modeline göre yönetir ve farklı uzunluktaki isteklerin yarattığı parçalanmayı önler. Çeşitli isteklerin KV state'leri aynı fiziksel GPU belleğinde örtüşmeden barındırılabilir; bu da sistemin eş zamanlı istek kapasitesini doğrudan artırır. Üretim ortamlarında continuous batching'i destekleyen başlıca framework'ler şunlardır: vLLM (PagedAttention ile), NVIDIA TensorRT-LLM, Hugging Face TGI (Text Generation Inference), SGLang (yapısal üretim için optimize) ve DeepSpeed-MII. GPU kapasitesi sabitken bu teknik, değişken uzunluktaki çok kullanıcılı API trafiğinde gecikme kararlılığını koruyarak saniyede işlenen token sayısını 10-20× artırabilmektedir. RAG pipeline'ları, ajansal AI sistemleri ve bulut LLM API'leri için temel bir altyapı bileşeni konumuna gelmiştir.
CUDA (Compute Unified Device Architecture)
CUDA (Compute Unified Device Architecture), NVIDIA tarafından 2006 yılında geliştirilen ve GPU'ları genel amaçlı hesaplama (GPGPU) için kullanmayı mümkün kılan paralel hesaplama platformu ve programlama modelidir. Grafik işleme birimlerinin binlerce çekirdeğini eş zamanlı olarak çalıştırma kapasitesini yapay zeka ve bilimsel hesaplamalar için açan bu teknoloji, modern derin öğrenmenin temel altyapısını oluşturur. CUDA, geleneksel CPU programlamadan temel bir paradigma değişikliği sunar. CPU'lar güçlü ancak sınırlı sayıda çekirdekle sıralı işlemler için optimize edilmişken; NVIDIA GPU'ları onlarca binden yüz binlerce CUDA çekirdeğiyle aynı anda binlerce işlem gerçekleştirebilir. Bu eşzamanlılık, matris çarpımı, konvolüsyon ve gradyan hesaplama gibi derin öğrenme operasyonlarını CPU'ya kıyasla 10–100 kat hızlandırır. CUDA'nın iş parçacığı hiyerarşisi üç katmandan oluşur: Temel birim olan iş parçacıkları (threads), bu iş parçacıklarını gruplandıran bloklar (blocks) ve blokları organize eden ızgaralar (grids). Bir CUDA çekirdeği (kernel) çağrıldığında GPU'da binlerce iş parçacığı eş zamanlı olarak çalışır; her blok içindeki iş parçacıkları paylaşılan belleği (shared memory) kullanarak birbirleriyle iletişim kurabilir. CUDA Toolkit, geliştiricilere nvcc derleyicisi, cuBLAS (lineer cebir), cuDNN (derin sinir ağları), cuFFT (Fourier dönüşümü) ve NCCL (çoklu GPU iletişimi) gibi optimize kütüphaneler sunar. PyTorch ve TensorFlow gibi modern derin öğrenme çerçeveleri arka planda CUDA üzerinde çalışır; böylece araştırmacılar düşük seviyeli GPU programlamasına girmeden yüksek performanslı model eğitimi gerçekleştirebilir. Günümüzde NVIDIA H100 gibi gelişmiş veri merkezi GPU'ları 16.896 CUDA çekirdeğine sahipken; bu çekirdeklere ek olarak Tensor Core adı verilen özel matris işlem birimleri de bulunur. Tensor Core'lar karışık hassasiyetli (FP16/BF16/INT8) matris çarpımlarını CUDA çekirdeklerine göre 4–16 kat daha hızlı gerçekleştirir ve büyük dil modellerinin eğitiminde kritik öneme sahiptir.
Flash Attention (Flash Attention)
Flash Attention, Transformer modellerinin dikkat mekanizmasini GPU yuksek bant genisligi bellegine (HBM - High Bandwidth Memory) erisimleri en aza indirecek sekilde yeniden duzenleyen IO-bilincloi bir hesaplama yontemidir. Standart dikkat algoritmasinin O(n²) bellek karmasikligi yerine O(n) bellek kullanimi saglar; bu fark ozellekle uzun baglam pencerelerinde dramatik bir verimlilik artisi anlamina gelir. Standart dikkat hesaplamasinda Q, K, V (sorgu, anahtar, deger) matrislerinin tam NxN boyutundaki dikkat matrisi GPU HBM'e yazilir ve tekrar okunur. N token sayisi arttikca bu matris icin gereken bellek ve HBM erisim sayisi karesiyle buyur; bu hem yavas hem bellek yogun bir yaklasimdir. Flash Attention'in cozumu tiling (karo) teknigidir. Giris matrisleri kucuk bloklara (tile) ayrılan bu yaklaşimda her blok GPU'nun hizli SRAM on bellegine yuklenir ve dikkat hesaplamasi orada tamamlanir. SRAM HBM'den cok daha hizli ve daha kucuk; Flash Attention, HBM yazma/okuma sayisini agresif sekilde azaltarak hesaplamanin bellege bagli (memory-bound) darbogazini ortadan kaldirir. Yeniden hesaplama (recomputation) teknigi geri yayilim sirasindaki bellek ihtiyacini yonetir. Ileri geciste ara sonuclar kaydedilmez; geri yayilim sirasinda gerektiginde yeniden hesaplanir. Bu, bellek tasarrufunu saglarken ekstra hesaplama maliyeti getirir; ancak bu denge cok kucuk bir maliyet olarak kalmaktadir. Tri Dao ve ekibi tarafindan gelistirilmis olan FlashAttention-1 2022'de yayimlanmis; FlashAttention-2 daha iyi is bolumu ve paralellestirme ile belirgin hizlanma saglamistir. FlashAttention-3, NVIDIA Hopper mimarisinin asenkron boru hatlarini ve FP8 destegiyle daha da yuksek verimlilik sunmaktadir. PyTorch'un scaled_dot_product_attention API'si Flash Attention'i varsayilan uygulama olarak entegre etmistir; bu nedenle gunumuzde cok sayida Transformer uygulamasi Flash Attention'dan dolayı, bunu fark etmeden yararlanmaktadir. **Sik Sorulan Sorular** **Flash Attention kullanmak icin ne yapmam gerekir?** PyTorch >= 2.0'da torch.nn.functional.scaled_dot_product_attention kullanan herhangi bir model Flash Attention'dan otomatik olarak yararlanir. flash-attn paketini kurarak HuggingFace Transformers ve diger cercevedeki modellere Flash Attention 2/3 entegre edilebilir. **Flash Attention hangi GPU'larda calisir?** FlashAttention-2 NVIDIA Ampere (A100) ve Hopper (H100) GPU'larinda en iyi performansi gosterir; RTX serisi tuketici GPU'larinda da calisir. FlashAttention-3 Hopper mimarisine ozellestirilmistir. **Flash Attention ciktiyi degistirir mi?** Hayir. Flash Attention standart dikkat ile mathematiksel olarak ayni sonucu uretir; fark yalnizca hesaplama verimliligindedir. **Uzun baglam neden Flash Attention olmadan bu kadar zorlayicidir?** 128K token icin standart dikkat n²=16.4 milyar eleman boyutunda bir matris gerektirir; bu GPU bellegini tamamen asabilir. Flash Attention bu sorunu tiling ile cozerek pratik uzun baglam islemesini mumkun kilar.
Google Colab Nedir? (Google Colaboratory)
Google Colaboratory (kısaca Colab), Google tarafından geliştirilen, tarayıcı üzerinden erişilebilen ücretsiz bir bulut Jupyter Notebook platformudur. Herhangi bir yerel kurulum gerektirmeksizin Python tabanlı makine öğrenimi ve yapay zeka projeleri geliştirmeye imkân tanır; NVIDIA GPU ve Google TPU donanımlarına bulut üzerinden erişim sunarak kod yazma, çalıştırma ve paylaşma sürecini kolaylaştırır. Ücretsiz hesaplarda NVIDIA T4 GPU'ya günlük sınırlı sürelerle erişim sunulur. Colab Pro (aylık yaklaşık 10 dolar) ve Pro+ abonelik planları ise V100 veya A100 GPU, uzatılmış çalışma süreleri ve arka planda yürütme gibi ek özellikler içerir. Notebook'lar Google Drive'da depolandığından ekip çalışması ve paylaşım oldukça pratiktir. TensorFlow, PyTorch, Keras ve Scikit-learn gibi popüler kütüphaneler Colab ortamına önceden kurulu gelir. Öğrenciler, araştırmacılar ve Kaggle yarışmacıları; büyük dil modeli ince ayarı, görüntü sınıflandırma, doğal dil işleme ve bilgisayarla görü gibi projeleri yerel donanım gerektirmeden doğrudan çalıştırabilir. 2024 itibarıyla Colab içinde Gemini AI asistanı entegrasyonu da sunulmaya başlanmıştır. Bazı önemli kısıtlamalar da göz önünde bulundurulmalıdır: Ücretsiz planda GPU süreleri belirsizdir ve yoğun talep dönemlerinde erişim kesilebilir. Oturumlar arasında dosya sistemi sıfırlandığından büyük veri setleri için Google Drive entegrasyonu ya da harici depolama gerekir. Uzun süreli model eğitimleri için ücretli plan ya da özel bulut altyapısı daha güvenilir bir seçenek olarak öne çıkar. Colab, yapay zeka öğrenmek isteyen herkes için düşük giriş eşiğiyle öne çıkan vazgeçilmez bir araçtır; hem bireysel öğrenme hem de hızlı prototipleme için idealdir.
HBM (Yüksek Bant Genişlikli Bellek) Nedir? (HBM (Yüksek Bant Genişlikli Bellek))
HBM (High Bandwidth Memory — Yüksek Bant Genişlikli Bellek), birden fazla DRAM yongasını dikey olarak üst üste yığan (3D stacking) ve bunları Through-Silicon Via (TSV) bağlantılarıyla birleştiren özel bir bellek mimarisidir. GDDR6 gibi geleneksel grafik belleklerinin bant genişliği sınırlarını aşmak amacıyla geliştirilmiş olan HBM, büyük dil modeli eğitimi ve çıkarımı gibi veri yoğun AI iş yüklerinde kritik bir rol oynamaktadır. HBM'nin temel yeniliği, birden fazla DRAM yongasını bir silikon ara katman (silicon interposer) üzerinde yan yana konumlandırmak ve her yığını TSV adı verilen dikey bakır bağlantılarla birbirine bağlamaktır. Bu yapı 1024 bit veya daha geniş bellek arayüzü oluşturarak GDDR6'nın 384 bitlik sınırını çok aşar. Yüksek arayüz genişliği düşük saat hızıyla birleşince hem yüksek bant genişliği hem de düşük güç tüketimi elde edilir; GDDR6'ya kıyasla yaklaşık yüzde 65 daha az enerji harcanır. HBM mimarisi 2013'ten bu yana hızla gelişmiştir. İlk nesil HBM 128 GB/s bant genişliği sunarken 2016'da gelen HBM2 bunu 256 GB/s'ye çıkardı. NVIDIA A100'de kullanılan HBM2E 410 GB/s ile transformer modellerinin ilk yaygınlaşma döneminin referans donanımı oldu. NVIDIA H100'de kullanılan HBM3 ise 3,35 TB/s bant genişliğiyle büyük dil modellerinin bellek darboğazını büyük ölçüde çözdü. HBM3E, H200 ve GB200 GPU'larında 4,8 TB/s bant genişliğiyle uzun bağlam pencereli modellerin çıkarımını kolaylaştırmaktadır. JEDEC'in Nisan 2025'te yayımladığı HBM4 spesifikasyonu 2048 bitlik arayüz ve yığın başına 2 TB/s bant genişliği vaat etmektedir. HBM arzı, AI donanım ekosistemi için stratejik bir kırılganlık noktası oluşturmaktadır. Pazar yalnızca üç tedarikçinin kontrolündedir: SK Hynix yüzde 62, Micron yüzde 21 ve Samsung yüzde 17 paya sahiptir. CoWoS ve diğer gelişmiş paketleme teknolojileri, HBM yığınlarını GPU dieleriyle yakın fiziksel konumda bir araya getirerek gecikmeyi azaltmaktadır. Tedarik kıtlığı, H100 üretim hızının temel sınırlayıcısı olmuş ve piyasa fiyatlarını önemli ölçüde etkilemiştir.
High Bandwidth Memory 3 (Yüksek Bant Genişlikli Bellek 3. Nesil)
HBM3 (High Bandwidth Memory 3), yüksek performanslı yapay zeka hızlandırıcıları ve grafik işlemcileri için tasarlanmış üçüncü nesil yüksek bant genişlikli bellek standardıdır. SK Hynix tarafından 2022 yılında ticarileştirilen HBM3, JEDEC tarafından standardize edilmiş olup önceki nesil HBM2e'ye kıyasla bant genişliğini yaklaşık iki katına çıkarmıştır. HBM3, yığılmış bellek dieları ile Through-Silicon Via (TSV) teknolojisini birleştirerek çok yüksek veri aktarım hızlarına ulaşır. Her bellek yığını saniyede 819 GB'a varan bant genişliği sunarken yığın başına 24 GB'a kadar kapasite sağlar. Bu özellikler, büyük dil modellerinin eğitimi ve çıkarımı gibi bellek yoğun yapay zeka iş yükleri için HBM3'ü kritik bir bileşen hâline getirir. NVIDIA H100 GPU'su, HBM3 bellekle donatılmış ilk yaygın yapay zeka hızlandırıcısıdır ve 80 GB bellek kapasitesi ile 3,35 TB/s toplam sistem bant genişliği sunar. AMD MI300X hızlandırıcısı ise birden fazla HBM3 yığınını bir araya getirerek 192 GB'a varan bellek kapasitesiyle öne çıkmaktadır. HBM3e (HBM3 Enhanced), 2024 yılında NVIDIA H200 GPU'su ile piyasaya sürülen geliştirilmiş versiyondur. Bant genişliğini yığın başına 1,2 TB/s düzeyine yükseltirken 141 GB kapasiteyle büyük ölçekli model çıkarımını güçlendirmiştir. Düşük güç tüketimi, kompakt fiziksel boyutlar ve yüksek erişim hızlarının kombinasyonu, HBM3 ve HBM3e'yi günümüz yapay zeka çağının temel bellek teknolojisi olarak konumlandırmaktadır.
NVLink (GPU Ara Bağlantısı)
NVLink, NVIDIA'nın GPU'lar arasında doğrudan, yüksek bant genişlikli ve düşük gecikmeli veri aktarımı kuran özel ara bağlantı teknolojisidir. Geleneksel PCIe veri yolunda GPU'lar birbirleriyle CPU üzerinden haberleşmek zorundadır; NVLink bu dolambaçlı yolu ortadan kaldırır ve bir GPU'nun diğerinin belleğine doğrudan erişmesine izin verir. Büyük dil modellerinin eğitiminde onlarca, hatta yüz binlerce GPU'nun aynı anda çalıştığı 2026 ortamında bu doğrudan bağlantı, çok-GPU sistemlerinin temel yapı taşı hâline geldi. Teknoloji 2016'da Pascal mimarili P100 GPU ile 160 GB/s toplam bant genişliğiyle tanıtıldı. Volta (V100) ile 300 GB/s'ye, Ampere (A100) ile 600 GB/s'ye, Hopper (H100/H200) ile 900 GB/s'ye çıkan değer, Blackwell (B200/GB200) mimarisindeki NVLink 5.0'da GPU başına 1,8 TB/s'ye ulaştı. Karşılaştırmak gerekirse PCIe 5.0 x16 yaklaşık 128 GB/s taşır; NVLink 5.0 bunun yaklaşık 14 katıdır. NVIDIA'nın yol haritasında 2026 sonunda gelmesi beklenen Vera Rubin platformuyla NVLink 6.0'ın bant genişliği GPU başına 3,6 TB/s'ye çıkacak. İkiden fazla GPU'yu birleştirmek için NVIDIA, NVSwitch anahtar yongasını geliştirdi. NVSwitch, tüm GPU'ları all-to-all (herkesten herkese) topolojide eşit bant genişliğiyle bağlar. Bu mimarinin en çarpıcı örneği GB200 NVL72 rafıdır: 72 Blackwell GPU tek bir NVLink alanında birleşir ve toplam 130 TB/s NVLink bant genişliğiyle tek bir dev GPU gibi programlanır. Mayıs 2025'te duyurulan NVLink Fusion programı, teknolojiyi ilk kez üçüncü taraflara açtı: MediaTek, Marvell, Fujitsu ve Qualcomm gibi firmalar kendi CPU ve özel yongalarını NVIDIA GPU'larına NVLink ile bağlayabiliyor. Buna karşılık AMD, Intel, Google ve Microsoft'un başını çektiği UALink konsorsiyumu, NVLink'e açık standart bir alternatif geliştirmeye çalışıyor. GPT-4 sonrası devasa modellerin eğitiminde gradyan senkronizasyonu ve tensor paralelliği trafiği PCIe kapasitesini kolayca aştığından, NVLink bugün yapay zeka altyapısındaki en kritik rekabet alanlarından biridir.
Tensor Core (Tensor Çekirdeği)
Tensor Core, NVIDIA'nın 2017'de Volta mimarisiyle (V100) tanıttığı, matris çarpma-biriktirme (Matrix Multiply-Accumulate, MMA: D = A × B + C) işlemini tek saat döngüsünde gerçekleştiren özel donanım birimidir. Derin öğrenme modellerinin hem eğitimi hem çıkarımı dev matris çarpmalarından oluştuğu için bu birimler, modern yapay zekâ hesaplamasının fiili motoru konumundadır. Klasik CUDA çekirdekleri genel amaçlı skaler ve vektör işlemler için tasarlanmıştır; Tensor Core ise sabit işlevli bir matris motorudur. Bir warp (32 iş parçacığı), `wmma` API'si üzerinden 16×16 matrisleri 4×4 bloklara bölerek işler ve aynı hassasiyetteki FP32 CUDA hesabına kıyasla teorik tepe verimini kata katlar: FP16 modunda yaklaşık 8×, düşük bitli formatlarda çok daha fazlası. En kritik yetenek karma hassasiyettir (mixed precision): çarpma FP16, BF16 veya FP8 gibi kısa formatlarda yapılırken biriktirme FP32'de tutulur. Böylece bellek bant genişliği ihtiyacı yarıya iner, model doğruluğu büyük ölçüde korunur. PyTorch'ta `torch.autocast`, TensorFlow'da `tf.keras.mixed_precision` bu donanımı şeffaf biçimde devreye alır; cuBLAS, cuDNN ve TensorRT kütüphaneleri de arka planda Tensor Core kullanır. Nesil gelişimi hızlıdır: Volta FP16 ile başladı, Turing (2018) INT8/INT4 ekledi, Ampere (A100, 2020) TF32, BF16 ve 2:4 yapısal seyreklik getirdi, Hopper (H100, 2022) FP8 ve Transformer Engine ile LLM eğitiminin standardı oldu. Blackwell (B200/GB200, 2024) 5. nesil Tensor Core'larda FP4 ve FP6 formatlarını, 2. nesil Transformer Engine'i ve mikro ölçekleme (MX) veri tiplerini tanıttı; B200 tek başına FP4'te 9 PFLOPS'u aşan yoğun matris verimi sunar. 2026 itibarıyla GPT, Claude, Gemini ve Llama sınıfı modellerin eğitimi on binlerce Blackwell GPU'luk kümelerde, çıkarımı ise FP8/FP4 nicemlemeyle Tensor Core'lar üzerinde koşar; NVIDIA'nın Rubin mimarisi de 2026 yol haritasında aynı çizgiyi sürdürür.
VRAM (GPU Belleği)
VRAM (Video RAM), GPU'nun (grafik işlemci birimi) üzerinde bulunan ve model ağırlıkları, aktivasyonlar ile ara hesaplama verilerini tutan yüksek bant genişlikli bellektir. Sistem RAM'i CPU'ya hizmet ederken VRAM doğrudan GPU çekirdeklerine bağlıdır ve GDDR7 ile 1 TB/s'nin üzerinde, HBM3e ile 8 TB/s'ye varan veri aktarım hızına ulaşır. Bu hız farkı, binlerce çekirdeğin aynı anda veri beklediği paralel hesaplamada belirleyicidir. Yapay zeka tarafında VRAM, çalıştırılabilecek modelin üst sınırını çizen ana donanım kısıtıdır. Bir büyük dil modelinin (LLM) tüm ağırlıkları çıkarım sırasında VRAM'e yüklenir: 7B parametreli bir model FP16 hassasiyetle yaklaşık 14 GB, 4-bit kuantizasyonla 4-5 GB yer kaplar; 70B sınıfı bir model ise FP16'da 140 GB isteyip INT4 ile 35-40 GB'a iner. Ağırlıkların üzerine, bağlam uzunluğuyla büyüyen KV cache ve batch verisi eklenir; 128K token bağlam tek başına gigabaytlarca ek VRAM tüketebilir. Kapasite aşıldığında model ya hiç yüklenmez ya da sistem RAM'ine taşarak (CPU offload) on kata varan yavaşlamayla çalışır. 2026 itibarıyla kapasite yelpazesi geniştir: tüketici tarafında RTX 5090 32 GB GDDR7, RTX 4090 24 GB sunar; veri merkezinde H100 80 GB, H200 141 GB, Blackwell B200 ise 192 GB HBM3e taşır. Apple Silicon farklı bir yol izler: M3 Ultra'da 512 GB'a çıkan birleşik bellek (unified memory), CPU ve GPU tarafından ortak kullanılır ve ayrı VRAM kavramını ortadan kaldırır. Yerel LLM çalıştırma, Stable Diffusion/Flux ile görüntü üretme veya LoRA ince ayarı planlayan herkes için ilk sorulacak soru işlemci hızı değil, kaç GB VRAM olduğudur.
WebGPU (WebGPU)
WebGPU, modern web tarayıcılarına düşük seviyeli GPU programlama kapasitesi sunan yeni nesil bir web standardıdır. W3C tarafından geliştirilen ve 2023 yılında Chrome ve Firefox'ta kararlı desteğe kavuşan WebGPU, eski WebGL API'sinin yerine geçerek grafik ve genel amaçlı GPU hesaplama (GPGPU) yeteneklerini tarayıcıya taşır. WebGPU'nun yapay zeka açısından önemi büyüktür: GPU'nun paralel hesaplama gücü artık tarayıcı içindeki makine öğrenmesi modellerine doğrudan erişilebilir hale gelmiştir. TensorFlow.js ve ONNX Runtime Web, WebGPU arka ucu aracılığıyla görüntü sınıflandırma, doğal dil işleme ve ses tanıma gibi modelleri tarayıcıda saniyeler içinde çalıştırabilmektedir; bu işlemler için hiçbir bulut sunucusu gerekmez. WebGL ile kıyaslandığında WebGPU çok daha modern ve esnek bir programlama modeli sunar. WGSL (WebGPU Shading Language) adlı yeni bir gölgelendirici dili, hem grafik hem de compute shader yazımını birleştirip güçlendirir. Compute shader desteği WebGL'de sınırlıyken WebGPU bunu birinci sınıf özellik olarak sunar; bu da GPU üzerinde matris çarpımı, paralel sıralama ve nöral ağ çıkarımı gibi görevlerin verimli biçimde gerçekleştirilmesini mümkün kılar. Güvenlik, WebGPU tasarımının merkezindedir. Bellek izolasyonu, kaynak sınırlandırması ve tarayıcı güvenlik katmanları, GPU'ya doğrudan donanım erişiminin getireceği riskleri yönetir. Vulkan, Metal ve D3D12 gibi platform yerel grafik API'lerine uyarlanan bir soyutlama katmanı sayesinde Windows, macOS ve Linux üzerinde tutarlı bir davranış elde edilir. WebGPU, yerel AI çalıştırma vizyonunun web tarafındaki temel taşını oluşturur ve tarayıcıyı giderek daha güçlü bir AI çalışma ortamına dönüştürmektedir.
PCIe (PCI Express)
PCIe (PCI Express / Peripheral Component Interconnect Express), modern bilgisayarlarda GPU, NVMe SSD ve yüksek hızlı ağ kartları gibi bileşenleri ana karta bağlayan seri, nokta-nokta yüksek bant genişliği veri yolu standardıdır. Yapay zeka ve derin öğrenme iş yüklerinde GPU'nun CPU belleğinden eğitim verisini ve model ağırlıklarını ne kadar hızlı aktarabildiğini doğrudan belirleyen kritik bir arayüzdür. Teknik açıdan PCIe, x1, x4, x8 ve x16 olmak üzere dört temel şerit (lane) konfigürasyonunda çalışır. Yapay zeka eğitim ve çıkarım GPU'ları tipik olarak x16 tam bağlantıyla takılır. Her PCIe nesli, tek şerit teorik bant genişliğini yaklaşık iki katına çıkarır. PCIe 3.0 x16, çift yönde ~32 GB/s toplam bant genişliği sunarken PCIe 4.0 ~64 GB/s, PCIe 5.0 ~128 GB/s ve henüz piyasaya yeni giren PCIe 6.0 ~256 GB/s kapasitesine ulaşır. Gizli Kodlama (encoding) yükü bu teorik değerden yaklaşık %20 oranında düşer. Yapay zeka perspektifinden PCIe bant genişliği iki kritik yerde darboğaz oluşturur. Birincisi, CPU RAM'inden GPU VRAM'ine veri transferidir; batch yükleme süreçlerinde GPU'nun veri beklemesi "host-to-device transfer latency" olarak bilinir ve PCIe nesli ile doğrudan ilişkilidir. İkincisi, çok-GPU kurulumlarında GPU'lar arasındaki iletişimdir; NVLink veya CXL gibi doğrudan GPU-GPU köprüleri mevcut değilse, tüm GPU-GPU trafiği PCIe üzerinden CPU'ya ve oradan geri dönmek zorunda kalır. NVIDIA A100 ve H100 veri merkezi GPU'ları PCIe 4.0/5.0 x16 ile, tüketici segmentindeki RTX 4090 PCIe 4.0 x16 ile gelir. AMD Instinct MI300X, PCIe 5.0 x16 desteği sunar. Apple Silicon (M-serisi) çiplerinde CPU-GPU arasında PCIe değil, Unified Memory Architecture (UMA) kullandığından bu darboğaz kavramsal olarak ortadan kalkar. Türkiye'de üniversite araştırma grupları ve AI startup'ları GPU sunucu kurulumlarında PCIe nesil uyumluluğunu, özellikle PCIe 3.0'lı eski anakartlarda PCIe 4.0 GPU kullanımında oluşan bant genişliği kayıplarını göz önünde bulundurmaktadır.
vLLM (vLLM)
vLLM, UC Berkeley'de geliştirilen ve büyük dil modellerinin (LLM) üretim ortamında hızlı ve verimli biçimde sunulmasını sağlayan açık kaynaklı bir çıkarım (inference) kütüphanesidir. Temel yeniliği olan PagedAttention mekanizması, KV önbelleğini işletim sistemlerindeki sanal bellek yönetiminden ilham alarak sayfalara böler ve dinamik olarak tahsis eder. Bu yaklaşım bellek parçalanmasını minimuma indirerek GPU belleğinin çok daha verimli kullanılmasına olanak tanır. Continuous batching özelliğiyle birleşince vLLM, standart HuggingFace Transformers pipeline'larına kıyasla 24 kata kadar daha yüksek throughput elde edebilir. vLLM, 2023 yılında SOSP konferansında yayımlanan akademik makaleyle tanıtıldı ve kısa sürede yapay zeka topluluğunun en çok kullandığı LLM servis altyapısı haline geldi. Proje GitHub'da 40K'ı aşan yıldızla aktif bir geliştirici kitlesine sahip olmaya devam etmektedir. OpenAI uyumlu REST API sunan vLLM, mevcut sistemlere minimal değişiklikle entegre edilebilmektedir. Teknik açıdan vLLM; Llama, Mistral, Qwen, Gemma ve diğer popüler modelleri destekler. Tensor parallelism ve pipeline parallelism ile modeli birden fazla GPU'ya dağıtabilir, quantization (AWQ, GPTQ, bitsandbytes) ile bellek gereksinimini düşürür. LoRA adaptörlerini çalışma zamanında dinamik olarak yükleyip kaldırabilmesi birden fazla görev için tek bir model örneğini paylaşmaya imkân tanır. Türkiye'de yapay zeka tabanlı ürün geliştiren şirketler ve araştırma kurumları, vLLM'i özellikle maliyet optimizasyonu amacıyla tercih etmektedir. Aynı GPU kümesinde standart kütüphanelere kıyasla çok daha yüksek istek kapasitesi sunulabilmesi, bulut maliyetlerini önemli ölçüde düşürür. Yerli yapay zeka altyapılarında veri egemenliğini korurken yüksek performans elde etmek isteyen kurumlar için kritik bir araçtır. vLLM, OpenAI uyumlu API sunduğundan mevcut entegrasyonlar minimum değişiklikle kendi altyapısına taşınabilir; bu da geçiş sürecini hızlandıran önemli bir avantajdır. Akademik temelli olmasına karşın hızla olgunlaşan proje, kurumsal destek almak isteyen ekipler için de güvenilir bir tercih olmayı sürdürmektedir.