tag Donanım
Bu sayfada Donanım etiketi ile işaretlenmiş 27 yapay zeka kavramını bulabilirsiniz.
ARM (Advanced RISC Machines), Reduced Instruction Set Computing (RISC) felsefesini temel alan ve dünyada en yaygın kullanılan işlemci mimarilerinden biridir. 1990 yılında İngiliz şirketi ARM Holdings tarafından geliştirilen bu mimari, basit ama hızlı komut setleri kullanarak x86 tabanlı işlemcilere kıyasla çok daha düşük güç tüketir. Bu özellik, pil ömrünün kritik olduğu akıllı telefonlarda ARM'ı vazgeçilmez kılar: bugün piyasadaki her akıllı telefon ARM tabanlı bir işlemci kullanmaktadır. ARM Holdings, çip üretmek yerine mimarisini lisanslama modeliyle çalışır. Apple, Qualcomm, Samsung, MediaTek ve Nvidia gibi şirketler bu lisansı satın alarak kendi çiplerini tasarlar. Bu yaklaşım ekosisteme son derece geniş bir ürün yelpazesi kazandırmıştır. Apple'ın M1/M2/M3/M4 serisi ARM tabanlıdır ve entegre Neural Engine birimleri içerdiğinden makine öğrenmesi iş yüklerinde Intel ve AMD işlemcilerini performans ve enerji verimliliği açısından geride bırakmıştır. Yapay zeka açısından ARM mimarisinin önemi giderek artmaktadır. ARM Cortex-A serisi yüksek performanslı cihazlar için, Cortex-M serisi ise mikrodenetleyiciler ve kenar cihazlar için tasarlanmıştır. ARM'ın Ethos NPU (Neural Processing Unit) ailesi, büyük dil modellerinin ve görüntü tanıma algoritmalarının doğrudan cihazda (on-device) çalıştırılmasına olanak tanır; bu yaklaşım veri gizliliği, gecikme süresi ve bant genişliği açısından bulut tabanlı çözümlere kıyasla belirgin avantajlar sunar. Veri merkezlerinde de ARM dönüşümü hız kazanmaktadır. Amazon Web Services'in Graviton3 işlemcisi, aynı iş yükü için x86 sunucularına kıyasla yüzde kırk daha az enerji tüketmektedir. Ampere Altra ve Neoverse serisi gibi ARM tabanlı sunucu işlemcileri, büyük dil modeli çıkarımı (inference) ve model dağıtımı (deployment) için maliyet etkin alternatifler haline gelmiştir. Microsoft, Google ve Meta da kendi ARM tabanlı veri merkezi çiplerini geliştirmektedir. Bu dönüşüm, yapay zeka altyapısının enerji verimliliği ve sürdürülebilirlik baskıları altında ARM mimarisine yönelmesini hızlandırmaktadır.
ARM Çip (ARM Çip)
ARM (Advanced RISC Machines), Reduced Instruction Set Computing (RISC) felsefesini temel alan ve dünyada en yaygın kullanılan işlemci mimarilerinden biridir. 1990 yılında İngiliz şirketi ARM Holdings tarafından geliştirilen bu mimari, basit ama hızlı komut setleri kullanarak x86 tabanlı işlemcilere kıyasla çok daha düşük güç tüketir. Bu özellik, pil ömrünün kritik olduğu akıllı telefonlarda ARM'ı vazgeçilmez kılar: bugün piyasadaki her akıllı telefon ARM tabanlı bir işlemci kullanmaktadır. ARM Holdings, çip üretmek yerine mimarisini lisanslama modeliyle çalışır. Apple, Qualcomm, Samsung, MediaTek ve Nvidia gibi şirketler bu lisansı satın alarak kendi çiplerini tasarlar. Bu yaklaşım ekosisteme son derece geniş bir ürün yelpazesi kazandırmıştır. Apple'ın M1/M2/M3/M4 serisi ARM tabanlıdır ve entegre Neural Engine birimleri içerdiğinden makine öğrenmesi iş yüklerinde Intel ve AMD işlemcilerini performans ve enerji verimliliği açısından geride bırakmıştır. Yapay zeka açısından ARM mimarisinin önemi giderek artmaktadır. ARM Cortex-A serisi yüksek performanslı cihazlar için, Cortex-M serisi ise mikrodenetleyiciler ve kenar cihazlar için tasarlanmıştır. ARM'ın Ethos NPU (Neural Processing Unit) ailesi, büyük dil modellerinin ve görüntü tanıma algoritmalarının doğrudan cihazda (on-device) çalıştırılmasına olanak tanır; bu yaklaşım veri gizliliği, gecikme süresi ve bant genişliği açısından bulut tabanlı çözümlere kıyasla belirgin avantajlar sunar. Veri merkezlerinde de ARM dönüşümü hız kazanmaktadır. Amazon Web Services'in Graviton3 işlemcisi, aynı iş yükü için x86 sunucularına kıyasla yüzde kırk daha az enerji tüketmektedir. Ampere Altra ve Neoverse serisi gibi ARM tabanlı sunucu işlemcileri, büyük dil modeli çıkarımı (inference) ve model dağıtımı (deployment) için maliyet etkin alternatifler haline gelmiştir. Microsoft, Google ve Meta da kendi ARM tabanlı veri merkezi çiplerini geliştirmektedir. Bu dönüşüm, yapay zeka altyapısının enerji verimliliği ve sürdürülebilirlik baskıları altında ARM mimarisine yönelmesini hızlandırmaktadır.
Batch Size (Yığın (Küme) Boyutu)
Batch size (yığın boyutu), bir yapay sinir ağının eğitiminde her gradyan güncellemesinde aynı anda işlenen eğitim örneği sayısını belirleyen hiperparametredir. Model tüm veri setini tek seferde hafızaya almak yerine veriyi küçük gruplara böler; batch size 32 ise ağırlıklar her 32 örnekte bir güncellenir. 10.000 örneklik bir veri setinde bu, epoch başına yaklaşık 313 güncelleme adımı demektir. Bu tek sayının önemi iki eksende toplanır: donanım ve öğrenme dinamiği. Donanım tarafında batch; model ağırlıkları, optimizer durumları ve ara aktivasyonlarla birlikte GPU belleğine (VRAM) sığmak zorundadır. Değer büyüdükçe bellek tüketimi yaklaşık orantılı artar, sınır aşıldığında Out of Memory (OOM) hatası alınır. Öğrenme tarafında ise küçük batch'ler gürültülü ama düzenleyici etki yapan gradyan tahminleri üretir ve genellemeyi iyileştirebilir; büyük batch'ler daha kararlı gradyanlar ve yüksek GPU verimliliği sunar ama keskin minimumlara (sharp minima) takılıp test performansını düşürme riski taşır. Pratikte üç yaklaşım ayırt edilir: batch size 1 ile çalışan stochastic gradient descent (SGD), tüm veriyi tek seferde işleyen full batch ve ikisinin ortasındaki mini-batch. Modern derin öğrenmede standart, 32-256 aralığındaki mini-batch değerleridir; "batch size" dendiğinde çoğunlukla bu kastedilir. Batch size tek başına değil, learning rate ile birlikte ayarlanır: batch büyütüldüğünde öğrenme hızı da genellikle orantılı artırılır (linear scaling rule) ve warmup uygulanır. Ölçek büyüdükçe kavram şekil değiştirir: büyük dil modeli ön eğitiminde global batch örnek sayısıyla değil token sayısıyla ifade edilir. Llama 3 405B'nin ön eğitiminde global batch 16 milyon token'a kadar çıkarılmıştır; bu ölçek tek GPU'ya sığmadığı için gradient accumulation ve data parallel dağıtım zorunludur. Günlük pratikte ise VRAM yetmediğinde gradient accumulation ile büyük sanal batch simüle edilir, bf16 mixed precision ve gradient checkpointing bellek ihtiyacını ciddi ölçüde azaltır. Doğru batch size veri setine, mimariye ve donanıma göre deneysel seçilir; 32 veya 64 ile başlayıp validation loss izleyerek ayarlamak en yaygın yöntemdir.
BCI (Beyin-Bilgisayar Arayüzü) (Beyin-Bilgisayar Arayüzü)
Beyin-Bilgisayar Arayüzü (BCI — Brain-Computer Interface), beyindeki elektriksel sinyalleri doğrudan okuyarak bilgisayar, protez veya diğer cihazlara komut göndermek için kullanılan bir teknolojidir. Geleneksel insan-bilgisayar etkileşimi klavye, fare veya dokunmatik ekran aracılığıyla kasların kontrolüne dayanırken BCI, sinir sisteminin sinyal zincirini daha erken bir noktada keserek doğrudan nöral aktivasyonları arayüze dönüştürür. BCI sistemleri iki ana kategoride incelenir: invaziv ve non-invaziv. İnvaziv BCI'larda elektrotlar beynin korteks katmanına cerrahi müdahaleyle yerleştirilir; yüksek sinyal kalitesi sunar ancak enfeksiyon ve doku tepkimesi riskleri taşır. Non-invaziv BCI'larda ise EEG (elektroensefalografi) başlıkları kafa derisi üzerindeki elektriksel aktiviteyi ölçer; pratik ve güvenli olmakla birlikte sinyal gürültüsü daha yüksektir. Bu iki uç arasında intrakraniyal ama korteks altı yaklaşımlar olan ECoG (elektrokortikografi) da araştırılmaktadır. Sinyal işleme zinciri BCI'nın kalbidir: ham EEG verisi filtreleme, özellik çıkarma ve makine öğrenmesi sınıflandırıcısından geçerek kullanılabilir komutlara dönüştürülür. Özellik çıkarmada alfa/beta ritmi güç bantları ve olay ilişkili potansiyeller (P300 gibi) kullanılır. Derin öğrenme tabanlı CNN ve LSTM modelleri, motor imgeleme sınıflandırmasında geleneksel yöntemlerin önüne geçmiştir. Neuralink, BrainGate ve Synchron gibi şirketler invaziv BCI'yı felçli hastaların iletişim ve hareket kazanmasına yönelik kliniklere taşımaktadır. 2023 itibarıyla Neuralink'in N1 çipi insan deneklerine implante edilmiş; kullanıcılar yalnızca düşünceyle bilgisayar imlecini kontrol etmiştir. Yapay zeka, BCI'ın ham sinyal yorumlama kapasitesini önemli ölçüde artırmaktadır: transfer öğrenme kişiler arası model uyarlamasını kolaylaştırırken üretici modeller sentetik EEG verisi üreterek eğitim kümesini genişletir. Etik açıdan nöral veri gizliliği, zihinsel mahremiyetin korunması ve nöroteknolojiyle artan bilişsel eşitsizlik, BCI alanının en tartışmalı konuları arasındadır. Bu alanda düzenleyici çerçeveler henüz teknolojik gelişimin gerisinde kalmakta olup uluslararası standartlaşma çalışmaları sürmektedir.
GPU (Graphics Processing Unit) (Grafik İşlemci (Ekran Kartı))
GPU (Graphics Processing Unit — Grafik İşleme Birimi), başlangıçta bilgisayar grafiklerini hesaplamak için tasarlanmış; fakat binlerce küçük çekirdekli paralel mimarisi ile yapay zeka ve yüksek performanslı hesaplama (HPC) alanında vazgeçilmez hale gelmiş bir işlemci türüdür. Günümüzde derin öğrenme eğitimi ve çıkarsama işlemlerinin büyük çoğunluğu GPU üzerinde gerçekleşmektedir. GPU'ların paralel mimarisi, AI hesaplamalarında kritik öneme sahip matris çarpma ve tensor işlemlerine çok iyi uymaktadır. NVIDIA'nın CUDA (Compute Unified Device Architecture) platformu, geliştiricilere GPU üzerinde genel amaçlı hesaplama yapmayı mümkün kılan ilk geniş kapsamlı yazılım katmanıydı. 2007'de tanıtılan CUDA, bugün de derin öğrenme ekosisteminin temelini oluşturmaktadır. NVIDIA'nın AI odaklı GPU'ları GPU mimarisinin evrimini yönlendirmiştir: Tesla (2008), Kepler, Maxwell, Pascal, Volta, Ampere ve son olarak Hopper mimarisi (H100). A100 ve H100, LLM eğitiminde standart haline gelmiştir. AMD ise ROCm platformu ve MI300X çipleriyle bu pazara rakip olarak girmektedir. Apple'ın M serisi çipler ise birleşik bellek mimarisiyle AI çıkarsama için enerji verimli alternatif sunmaktadır. Derin öğrenme çerçeveleri (TensorFlow, PyTorch) GPU desteğini neredeyse tamamen CUDA/cuDNN (NVIDIA) üzerinden sağlar. Tensor Core'lar, H100 gibi modern çipler üzerinde yarı hassas (FP16/BF16) matris işlemlerini 10-100 kat hızlandırır. GPU belleği (VRAM) model büyüklüğünü doğrudan sınırlar; 80GB VRAM'e sahip H100, 70 milyar parametreli bir modeli tam hassasiyetle tutabilir. Bulut GPU hizmetleri (AWS EC2 P4d, Google Cloud A100, Azure NDv4) on-premises donanım yatırımı yapmadan büyük ölçekli model eğitimi olanağı tanır. Multi-GPU konfigürasyonlarında NVLink ve InfiniBand bant genişliği, eğitim süresini doğrusal ölçekte kısaltmaktadır. GPU kapasitesi, modern yapay zeka sistemlerinin ölçeğini doğrudan belirleyen temel mühendislik kısıtlarından biri olmaya devam etmektedir. Enerji tüketimi ve soğutma maliyetleri de GPU seçimini etkileyen önemli faktörler arasındadır; H100 çipinin maksimum güç tüketimi 700W düzeyindedir.
Neuromorphic Computing (Nöromorfik Bilişim)
Nöromorif hesaplama (neuromorphic computing), biyolojik sinir sistemlerinin yapısını ve çalışma prensiplerini donanım düzeyinde taklit eden bir hesaplama paradigmasıdır. Geleneksel von Neumann mimarisi işlemci ve belleği fiziksel olarak ayırırken, nöromorif çipler nöronları ve sinaptik bağlantıları donanımda doğrudan gerçekleştirerek bu temel uçurumu kapatır. Bu iki katman arasındaki veri transferi, "bellek duvarı" (memory wall) olarak bilinen ve modern GPU ve CPU sistemlerinde ciddi bir darboğaz oluşturan sorunun ana kaynağıdır. Nöromorif hesaplamanın temel çalışma birimi ateşleyen nöron (spiking neuron) modelidir. Biyolojik nöronlar gibi bilgiyi sürekli analog değerler yerine zamansal olaylar (spikes) biçiminde iletir; nöron ancak belirli bir eşik aşıldığında ateşler. Bu olay-güdümlü (event-driven) yapı, klasik işlemcilerin sabit saat döngüsü yerine yalnızca aktivite gerçekleştiğinde enerji harcamasını mümkün kılar; böylece dramatik bir güç tasarrufu elde edilir. Ölçek açısından değerlendirildiğinde, insan beyni yaklaşık 86 milyar nöronu 20 watt güçle işletirken modern GPU'lar çok daha dar bir görev için kilowatt düzeyinde güç tüketir. Intel'in Loihi ve Loihi 2 çipleri, IBM'in TrueNorth mimarisi ile BrainScaleS ve SpiNNaker akademik platformları bu alanın öncü örnekleridir. Loihi 2, 128 nöromorf çekirdekte 1 milyon nöronu ve 120 milyon sinaptik bağlantıyı destekler; yerleşik öğrenme kuralları (STDP) çipin kendisi üzerinde çevrimiçi adaptasyona imkân tanır. Intel Labs'ın belirli çıkarım görevlerinde raporladığı enerji verimliliği, geleneksel GPU çözümlerine kıyasla yüzlerce kata ulaşmaktadır. Nöromorif yaklaşım, düşük güç tüketiminin kritik olduğu kenar (edge) uygulamalarında, işitme cihazlarından otonom araç sensörlerine, uzay sistemlerinden giyilebilir sağlık monitörlerine kadar geniş bir yelpazede güçlü bir alternatif oluşturmaktadır. Öte yandan, programlama güçlüğü, araç zincirinin olgunlaşmamış olması ve büyük ölçekli derin sinir ağlarıyla entegrasyon sınırlamaları başlıca engeller arasındadır. Enerji kısıtlı yapay zeka uygulamalarına yönelik ilginin artmasıyla bu alandaki araştırma yatırımları hız kazanmaktadır.
Nöromorfik Çip (Nöromorfik Çip)
Nöromorfik çip (neuromorphic chip), insan beyninin nörobiyolojik mimarisini taklit eden özel tasarım yapay zeka donanımıdır. Geleneksel Von Neumann mimarilerinin aksine bu çipler, anlık voltaj geçişleri (spike) ile iletişim kuran biyolojik nöronlardan esinlenen hesaplama birimleri kullanır. Intel'in Loihi serisi ve IBM'in TrueNorth çipi bu alandaki en bilinen ticari örnekler arasında yer almaktadır. Geleneksel GPU ve CPU tabanlı yapay zeka işlemcileri, matris çarpımlarını yoğun paralel hesaplama ile gerçekleştirir ve bu süreçte sürekli güç tüketir. Nöromorfik çipler ise yalnızca bir olay (spike) gerçekleştiğinde enerji harcar; bu olay güdümlü hesaplama modeli güç tüketimini dramatik biçimde azaltır. Intel Loihi 2, belirli seyrek veri kümeleri üzerinde geleneksel GPU'lara kıyasla yüzde seksen daha düşük enerji tüketimiyle çalışabilmektedir. Bu özellik, pil ömrünün kısıtlı olduğu kenar cihazları için son derece değerlidir. IoT sensörleri, giyilebilir teknoloji ve otonom araçlar bu avantajdan en fazla yararlanan platformlar arasındadır. Nöromorfik çipler, geleneksel yapay sinir ağları yerine biyo-ilhamlı hesaplama modeli olan Spiking Neural Networks (SNN) üzerinde çalışır. SNN'ler zamansal bilgiyi doğal olarak kodlar ve düşük gecikme süresiyle sürekli veri akışlarını işleyebilir; bu özellik gerçek zamanlı duyusal işleme için belirgin avantajlar sunar. Robotik sistemlerde proprioseptif geri bildirim, işitsel sahne analizi ve nöroprotetik cihazlar nöromorfik hesaplamanın öncü uygulama alanları arasında öne çıkmaktadır. Büyük ölçekli yapay zeka modellerinin enerji ayak izinin artmasıyla birlikte nöromorfik mimariler araştırma gündeminde giderek daha fazla yer bulmaktadır. Alanın önündeki temel engeller arasında SNN eğitiminin karmaşıklığı ve büyük ölçekli derin öğrenme modellerinin nöromorfik donanıma etkin biçimde aktarılamaması sayılmaktadır. Bu zorlukların aşılması, enerji verimli büyük ölçek yapay zeka donanımına geçişi hızlandıracak ve veri merkezlerinin toplam enerji tüketimini önemli ölçüde azaltacaktır.
NPU (Neural Processing Unit) (Nöral İşlem Birimi (Yapay Zeka Çipi))
NPU (Nöral İşlem Birimi — Neural Processing Unit), yapay zeka modellerinin çıkarım (inference) hesaplamalarını CPU ve GPU'ya kıyasla çok daha verimli şekilde yürütmek için tasarlanmış özel amaçlı bir donanım birimidir. Modern akıllı telefonlardan dizüstü bilgisayarlara ve veri merkezi hızlandırıcılarına kadar geniş bir yelpazeye entegre edilmektedir. Sinir ağı hesaplamaları özünde yoğun matris çarpımına dayanır. Genel amaçlı CPU bu işlemleri sıralı biçimde yürütürken, GPU binlerce çekirdekle paralel hesaplama sağlar; NPU ise bu matris çarpımlarını gerçekleştirmek için özel systolic array veya tensor çekirdeği içerir. Bu yapı, CPU'dan 10-100 kat, GPU'ya kıyasla ise çok daha düşük güç tüketimiyle çıkarım yapmasını mümkün kılar. Apple, Neural Engine adını verdiği NPU birimini 2017'deki A11 Bionic çipiyle cihazlarına entegre etti. Günümüzde M4 çipindeki Neural Engine 38 TOPS (saniyede trilyon işlem) kapasitesine ulaşmıştır. Qualcomm Hexagon NPU Android ekosisteminin bel kemiğini oluştururken, Google Tensor serisindeki NPU Pixel cihazlarında ses tanıma ve fotoğraf işlemeyi optimize eder. Edge AI kavramı NPU'nun en kritik kullanım alanıdır: veri buluta gönderilmeden, internet bağlantısı olmadan, pili koruyarak cihazın içinde gerçek zamanlı yapay zeka çalışır. Portre modu kamera efektleri, wake word tespiti, yüz tanıma ve gerçek zamanlı çeviri bu sayede mümkün olmaktadır. Microsoft, Copilot+ PC sertifikasyonu için NPU'da en az 40 TOPS performans şartı koymuştur. Bu gelişme, NPU'yu mobil dünyadan PC platformuna taşıyan önemli bir dönüm noktasıdır. Yazılım tarafında Apple Core ML, Qualcomm QNN SDK, Intel OpenVINO ve Windows ML çerçeveleri NPU'dan yararlanmak isteyen geliştiricilere API erişimi sunar. Türk yazılım geliştiricileri için NPU fırsatı şudur: yerel AI modelleri (Local LLM) artık bulut maliyeti olmadan son kullanıcı cihazında çalışabilir; bu da gizlilik hassas uygulamalar ve düşük gecikme gereksinimi olan senaryolar için bulut alternatifleri doğurur.
Quantization (Kuantizasyon (Model Küçültme))
Quantization (niceleme), sinir agi modellerindeki parametre degerlerinin yuksek hassasiyetli sayisal formattan (genellikle 32-bit kayan nokta, float32) daha dusuk bit genisligine (8-bit tam sayi veya 4-bit gibi) donusturulme islemidir. Bu donusum model boyutunu kucultmesi, cikarim hizini artirmasi ve guc tuketimini dusurmesinin yaninda, modeli kaynak kisitli ortamlarda - ornegin akilli telefon veya kenarda calisabilen cihazlarda - calistirmaya olanak tanir. Nicelemenin temelinde bir uzlasim yatar: hassasiyet azaldikca model hafizasi ve hesaplama maliyeti duser, ancak tahmin kalitesi potansiyel olarak azalabilir. Uygulamada, ozellikle INT8 dzeyinde, bu kalite kaybi cogu gorev icin ihmal edilebilir seviyede kalir. GPTQ veya bitsandbytes gibi kutuphaneler, niceleme hatasini en aza indirmek icin kalibrasyon verisi kullanarak agirlik matrislerini yeniden optimize eder. Iki ana yaklasim mevcuttur. Post-Training Quantization (PTQ) halihazirda egitilmis bir modele uygulanir; ekstra egitim gerektirmez ve hizlidir. Quantization-Aware Training (QAT) ise niceleme etkisini eğitim dongusu icerisine dahil eder; model, daha dusuk hassasiyetle bile dogru tahmin uretmeyi ogrenir. QAT genellikle PTQ'ya kiyasla daha iyi nihai kalite sunar ama ek hesaplama maliyeti getirir. Buyuk dil modellerinin (LLM) giderek buyumesiyle quantization zorunlu bir pratik haline gelmistir. GPT-3 seviyesinde bir model tam hassasiyetle yuzlerce gigabayt RAM gerektirir; INT4 nicelemeyle bu rakam onlarca gigabayta iner ve ticarette satilan bir laptopla calistirmak mumkun olur. llama.cpp projesi ve GGUF formati, bu olasiligi genis bir topluluga acmistir: Q4_K_M, Q5_K_S gibi semboller bit genisligi ile kalite stratejisini kodlar. Donanim ekosistemi de nicelemeyi etkin sekilde destekler. NVIDIA'nin Tensor Core mimarisi INT8 ve FP8 cikarimini donanim katmaninda hizlandirir; bu sayede veri merkezi GPU'larinda ayni enerji butcesiyle cok daha yuksek islem hacmi elde edilir. Apple Silicon'un Unified Memory mimarisi ise CPU ve GPU'nun ayni bellek havuzunu paylasmasina izin vererek quantized LLM'lerin tuketu cihazlarda akici calismasi icin dogal bir avantaj sunar. **Sik Sorulan Sorular** **INT8 ile INT4 niceleme arasinda kalite farki buyuk mudur?** INT8, cogulukla ihmal edilebilir kalite kaybı uretir. INT4 ise modele ve goreve bagimlidir: genel dil anlama gorevlerinde sinirli etki gorulurken kucuk modeller veya hassas gorevlerde kayip daha belirgin olabilir. **Bir modeli niceleme yapmak icin ne gereklidir?** bitsandbytes veya AutoGPTQ kutuphanesiyle birkaç satirda Python kodla herhangi bir Hugging Face modeli niceleye bilirsiniz; kalibrasyon icin kucuk bir veri kumesi onerilen uygulamalardan biridir. **Quantization modelin egitim verilerini degistirir mi?** Hayir. Niceleme yalnizca cikarim asamasini etkiler; egitim verisi veya egitim sureci degismez. **Hangi modeller niceleye en uyundur?** Buyuk, asiri parametreli modeller genellikle niceleye daha direnclidir; parametreler arasinda islevsel fazlalik bulundugu icin bazi bilgi kaybi tolere edilebilir.
TPU (Tensor Processing Unit) (Tensör İşlem Birimi)
TPU (Tensor Processing Unit), Google tarafından büyük ölçekli makine öğrenimi iş yüklerini, özellikle derin sinir ağı eğitimini ve çıkarsama işlemlerini hızlandırmak için tasarlanmış özel amaçlı bir entegre devre (ASIC — Application-Specific Integrated Circuit). 2016 yılında Google'ın dahili kullanım için geliştirdiği bu donanım, 2018'den itibaren Google Cloud üzerinden dış kullanıcılara da sunulmuştur. TPU'lar, matris çarpma işlemlerine (matrix multiplication) özelleşmiş yapılarından dolayı standart CPU ve GPU'dan farklılaşır. Derin öğrenme modellerindeki en hesaplama yoğun operasyon — örneğin transformer'ların dikkat hesaplaması veya konvolüsyonel katmanlar — matris çarpımı içerir. TPU'nun Systolic Array mimarisi bu operasyonu paralel ve yüksek bant genişliğiyle gerçekleştirir. Systolic Array'de matris elemanları bir dizi hesaplama birimine dalga biçiminde akar; bu yaklaşım bellekten okuma sayısını minimize ederek bellek bant genişliğini verimli kullanır. TPU sürümleri tarihsel gelişimi yansıtır: TPU v1 (2016) yalnızca çıkarsama yaparken; TPU v2 ve v3 hem eğitim hem çıkarsamayı destekler. TPU v4 ile birlikte büyük dil modellerinin (LLM) eğitimi için optimize özellikler eklendi. 2024'te duyurulan TPU v6 Trillium ise enerji verimliliği ve çip başına hesaplama yoğunluğunu daha da artırdı. Google'ın PaLM, Gemini ve AlphaFold modelleri TPU kümelerinde (pod) eğitilmiştir. Google Cloud TPU Pod'ları, binlerce TPU çekirdeğini yüksek bant genişlikli ağla birleştirir. TPU v4 Pod 4.096 çip ve 600 Gbps ağ bağlantısı içerir. Bu mimari, model paralelliği ve veri paralelliğini eş zamanlı uygulamaya olanak tanır: model çok büyükse katmanlar çiplere bölünür, veri büyükse her çip farklı mini-batch işler. Gemini Ultra bu ölçekte bir altyapıda eğitilmiştir. Yazılım açısından JAX, TensorFlow ve PyTorch XLA ile TPU'lar programlanabilir. JAX, Python kodunu XLA (Accelerated Linear Algebra) derleyicisiyle TPU üzerinde çalıştırır; jax.jit() ile fonksiyon derlenir, pmap() ile çok cihazlı paralel yürütme yapılır. Kullanıcılar Google Colab veya Cloud TPU aracılığıyla TPU'ya erişebilir. Google Research TPU programı ise araştırmacılara ücretsiz erişim imkânı tanır.
AI Hızlandırıcı (Yapay Zeka Hızlandırıcısı)
AI Hızlandırıcı (İng. AI Accelerator), derin öğrenme ve makine öğrenimi iş yüklerini geleneksel merkezi işlem birimlerine (CPU) kıyasla çok daha verimli ve hızlı işlemek amacıyla geliştirilmiş özel amaçlı donanım birimleridir. Yapay zeka modellerinin eğitim ve çıkarım (inference) aşamalarında milyarlarca matris çarpımı, vektör toplama ve aktivasyon fonksiyonu hesabı gerçekleştirilir; bu işlemler genel amaçlı CPU mimarilerinde ciddi darboğazlar oluşturur. AI hızlandırıcılar, sinir ağı operasyonlarına doğrudan optimize edilmiş paralel işlem birimleri ve özel bellek mimarileriyle bu sorunu çözer. Bu alanda en yaygın kullanılan türler şunlardır: GPU (Grafik İşlem Birimi) — binlerce küçük çekirdeğiyle yüksek paralel işlem kapasitesi sunan ilk popüler AI hızlandırıcı; TPU (Tensör İşlem Birimi) — Google'ın TensorFlow iş yükleri için geliştirdiği özel ASIC; NPU (Sinirsel İşlem Birimi) — akıllı telefon ve IoT cihazlarına entegre, düşük güçte çıkarım yapan çip; FPGA (Sahaya Programlanabilir Kapı Dizisi) — yeniden yapılandırılabilir mimarisiyle esnek optimizasyon imkânı sunan donanım; ASIC (Uygulamaya Özel Entegre Devre) — tek bir iş yükü için tasarlanmış, en yüksek verimlilik oranına ulaşan çip. Hızlandırıcıların performansı; saniyede gerçekleştirilebilen kayan noktalı işlem sayısı (TFLOPS), yüksek bant genişlikli bellek (HBM) kapasitesi, bellek bant genişliği ve chip-to-chip iletişim hızı (NVLink, InfiniBand) gibi metriklerle ölçülür. Enerji verimliliği FLOPS/Watt biriminde ifade edilir ve veri merkezi işletme maliyetlerini doğrudan etkiler. Büyük dil modelleri (LLM) trilyonlarca parametreye ulaştıkça yüzlerce ila binlerce hızlandırıcının NVLink veya InfiniBand ile birbirine bağlandığı kümeler (accelerator clusters) ortaya çıkmıştır. NVIDIA H100/H200 Hopper ve Blackwell serileri, Google Trillium (TPU v6), AWS Trainium2 ve Groq LPU günümüz yapay zeka altyapısının bel kemiğini oluşturmaktadır. Öte yandan uç yapay zeka (edge AI) alanında NPU'lar akıllı telefon, güvenlik kamerası ve araç içi sistemlere gömülerek bulut bağlantısı gerektirmeden gerçek zamanlı çıkarım yapabilmektedir. Bu iki eğilim — bulut kümelerindeki devasa ölçek ve uçtaki düşük güçlü çıkarım — modern AI hızlandırıcı ekosisteminin iki kutbunu tanımlamaktadır.
ASIC (Uygulama Özel Entegre Devre)
ASIC (Application Specific Integrated Circuit — Uygulama Özel Entegre Devre), belirli bir görevi yerine getirmek amacıyla özel olarak tasarlanmış bir entegre devre türüdür. Genel amaçlı CPU veya GPU'ların aksine, ASIC yalnızca tek bir işlev için optimize edilir; bu da onu söz konusu görev için son derece hızlı, enerji verimli ve maliyet etkin hale getirir. Yapay zeka alanında ASIC'ler, sinir ağı eğitimi ve çıkarımı (inference) için kritik bir donanım çözümü olarak öne çıkmaktadır. Bir ASIC, üretildikten sonra yeniden programlanamaz; ancak bu esneklik eksikliği, tasarımın hedef göreve göre mükemmel biçimde optimize edilmesini mümkün kılar. Google'ın TPU'su (Tensor Processing Unit), matris çarpımı ve tensör işlemleri için geliştirilmiş bir yapay zeka ASIC'idir. Apple'ın Neural Engine'i, Tesla'nın FSD (Full Self-Driving) çipi ve Huawei'nin Ascend serisi de bu kategoride değerlendirilen önde gelen örneklerdir. 2026 yılı itibarıyla özel yapay zeka ASIC'lerinin pazar büyümesi genel amaçlı GPU büyümesinin neredeyse üç katına ulaşmıştır. TrendForce verilerine göre ASIC sevkiyatları yıllık bazda yüzde 44,6 büyürken genel amaçlı GPU'lar yalnızca yüzde 16,1 büyüme kaydetmiştir. Bu eğilim, yapay zeka altyapısında özel silikon çözümlerine olan talebin ne denli hızlandığını açıkça ortaya koymaktadır. Bloomberg Intelligence, 2033 yılına kadar özel AI ASIC pazarının yüzde 27 bileşik yıllık büyüme oranıyla 118 milyar dolara ulaşacağını öngörmektedir. ASIC tasarımı, maskeler ve doğrulama süreçleri nedeniyle yüksek başlangıç (NRE — Non-Recurring Engineering) maliyeti gerektirdiğinden genellikle büyük ölçekli ve uzun vadeli üretim kararları için tercih edilir. Ancak yüksek hacimli çıkarım iş yüklerinde genel amaçlı alternatiflere kıyasla yüzde 40-65 arasında toplam sahip olma maliyeti (TCO) avantajı sağladığı bilinmektedir. Modern ASIC tasarımında chiplet mimarisi de yaygınlaşmaktadır: tek bir pakette birleştirilen I/O, hesaplama, bellek ve analog parçaları ayrı kalıplar olarak üretilerek performans ve verimlilik maksimize edilmektedir.
Chiplet (Çiplet Mimarisi)
Chiplet, geleneksel tek-parça silikon üretim anlayışını köklü biçimde değiştiren modern bir yarı iletken tasarım paradigmasıdır. Klasik yaklaşımda tüm işlemci fonksiyonları tek ve büyük bir silikon kalıbı (monolitik die) üzerinde birleştirilirdi; ancak kalıp büyüdükçe üretim sırasında herhangi bir noktadaki kusur tüm çipi kullanılmaz kılar, verim düşer ve maliyet hızla artar. Chiplet mimarisinde ise farklı fonksiyonlar — işlem çekirdekleri, bellek denetleyicileri, G/Ç arabirimleri, güvenlik motorları — küçük ve bağımsız silikon die'larına ayrılır. Her chiplet ayrı ayrı test edilir; kusurlu olanlar elenir, sağlam olanlar paketleme aşamasına alınır. Bu yaklaşım toplam maliyeti önemli ölçüde düşürürken işlevsel birim başına verimi artırır. Chipletler birbirine gelişmiş paketleme teknolojileriyle bağlanır: CoWoS (Chip on Wafer on Substrate), EMIB (Embedded Multi-die Interconnect Bridge) ve doğrudan kalıp-üstü bağlantılar bu teknolojilerin başında gelir. UCIe (Universal Chiplet Interconnect Express) standardı, farklı üreticilerin chipletlerini birlikte çalıştırmayı mümkün kılmayı hedefleyen açık bir arayüz tanımlar. Yapay zeka donanımı bu mimariyi en yoğun biçimde benimseyen alandır. AMD MI300X hızlandırıcısı, GPU hesaplama chipletlerini, CPU chipletlerini ve HBM3 bellek yığınlarını tek bir paket içinde bir araya getirir; bu sayede 192 GB birleşik bellek kapasitesi ve 5,3 TB/s bellek bant genişliği elde edilir. Intel Gaudi 3, NVIDIA Blackwell ve Google TPU serileri de çok-die paketleme yaklaşımlarından yararlanmaktadır. Süreç düğümü esnekliği chiplet mimarisinin stratejik avantajlarından biridir: hesaplama yoğun çekirdekler 3-4 nm'de, G/Ç blokları daha olgun ve ekonomik 12-16 nm düğümde üretilebilir. Heterojen entegrasyon olarak da adlandırılan bu yaklaşım, Moore Yasası'nın fiziksel sınırlarına yaklaşıldığı dönemde yüksek performanslı silikon tasarımın sürdürülebilir yolunu oluşturmaktadır. Aynı chiplet koleksiyonundan farklı müşteri segmentlerine yönelik ürünler oluşturmak, zaman-pazara süresini ve geliştirme maliyetini önemli ölçüde azaltmaktadır.
Groq LPU (Groq LPU (Dil İşlem Birimi))
Groq LPU (Language Processing Unit — Dil İşlem Birimi), Google'in TPU ekibinin eski mühendisi Jonathan Ross tarafından 2016 yılında kurulan Groq şirketinin geliştirdiği, büyük dil modeli çıkarımı için tasarlanmış özel amaçlı bir çip mimarisidir. Geleneksel GPU'ların paralel matris hesaplamalarına göre optimize edilmiş mimarisi yerine LPU, otoregresif token üretiminin doğrusal ve belirleyici yapısına özel olarak tasarlanmıştır. LPU mimarisinin temel bileşeni TSP'dir (Tensor Streaming Processor). TSP, bellek bant genişliği darboğazını ortadan kaldırmak için hesaplama ile belleği tek bir fiziksel katmana entegre eder; bu sayede her hesap döngüsünde veri yükü ve boşaltımı için bekleme süresi minimuma iner. GPU tabanlı çıkarımda en büyük gecikme kaynağı olan DRAM erişim gecikmesi, LPU mimarisinde büyük ölçüde elimine edilir. Performans açısından Groq GroqCloud platformu, Llama 3.1 70B modeli için saniyede 800 tokenın üzerinde, Mixtral 8x7B için ise saniyede 500 tokenın üzerinde işleme hızına ulaşmaktadır. Bu rakamlar, aynı modelleri çalıştıran NVIDIA H100 GPU kümelerinin tipik 50-120 t/s performansının çok üzerindedir. Groq bu avantajı "deterministic compute" ilkesine dayandırır: GPU'larda çekirdek zamanlaması dinamik olduğundan gecikme değişkendir; LPU'da ise tüm işlemler sabit bir zaman çizelgesinde yürütülür, bu da hem gecikmeyi hem de değişkenliği azaltır. GroqCloud, geliştiricilere OpenAI API ile uyumlu bir REST arayüzü sunar; bu sayede mevcut uygulamalar minimum kod değişikliğiyle Groq altyapısına geçebilir. Desteklenen modeller arasında Meta Llama 3 serisi, Mistral, Gemma ve Whisper yer almaktadır. Ücretsiz kademede dakika başına belirli token limiti ile kullanım mümkündür; kurumsal planlar daha yüksek kota ve SLA güvenceleri sunar. Rekabet ortamı açısından Groq, Cerebras WSE-3 (wafer-scale engine) ve özelleştirilmiş çıkarım hızlandırıcıları üreten SambaNova, Tenstorrent gibi şirketlerle yarışmaktadır. Veri merkezi ölçeğinde NVIDIA yeni çıkarım odaklı ürünler geliştirmektedir. Groq'un en önemli avantajı hazır API erişimi ve son derece düşük gecikme süresidir; bu, gerçek zamanlı konuşma asistanları, kod tamamlama ve anlık arama uygulamaları için tercih edilen platform haline gelmesini sağlar.
Neuromorphic Computing (Nöromorfik Bilişim)
Nöromorfik Bilişim (Neuromorphic Computing), insan beyninin biyolojik yapısını ilham alarak tasarlanan; nöronları, sinapsları ve elektriksel uyarı (spike) iletimini donanım düzeyinde taklit eden hesaplama mimarisinin genel adıdır. Kavram, 1980'lerde VLSI mühendisi Carver Mead tarafından ortaya atılmış; günümüzde Intel Loihi 2, IBM NorthPole ve BrainChip Akida gibi çiplerle araştırma ve kenar-bilişim uygulamalarında hayata geçirilmektedir. Geleneksel Von Neumann mimarisinde işlemci ve bellek fiziksel olarak ayrıdır; bu ayrılık veri transferini bir darboğaza dönüştürür. Nöromorfik çipler hesaplamayı ve belleği aynı fiziksel konumda birleştirerek bu 'von Neumann darboğazı'nı ortadan kaldırır. Temel hesaplama birimi, klasik sinir ağlarının sürekli sayısal değerler üretmesinden farklı olarak biyolojik nöronu taklit eden 'fırlama nöron' (spiking neuron) modelidir: nöron yalnızca anlamlı bir uyarı eşiğini aştığında iletişim kurar; bu olay-güdümlü (event-driven) yaklaşım boşta çalışma sürelerinde neredeyse sıfır enerji tüketimi sağlar. 2026 itibarıyla nöromorfik çiplerin enerji verimliliği çarpıcı boyutlara ulaşmıştır: IBM NorthPole, görüntü tanıma görevlerinde NVIDIA H100 GPU'ya kıyasla 22-25 kat daha az enerji harcarken Intel Loihi 2, belirli uyarlamalı görevlerde geleneksel işlemcilere göre 1.000 kata kadar avantaj sunar. BrainChip Akida ve Innatera T1 gibi uç bilişim çipleri miliWatt altı güç tüketimiyle IoT sensörlerinde çalışmaktadır. Temel kısıt, standart derin öğrenme çerçeveleriyle (PyTorch, TensorFlow) doğrudan uyumsuzluktur; nöromorfik donanım, Spiking Neural Network (SNN) algoritmalarını ve özel programlama ortamlarını gerektirir. 2026 itibarıyla büyük ölçekli ticari dağıtım hâlâ araştırma ortaklarıyla sınırlıdır; bununla birlikte, sınır yapay zekası, IoT ve gerçek zamanlı otonom sistemler için en umut verici enerji-verimli hesaplama paradigması olarak konumlanmaktadır. Programlama kısıtını aşmaya yönelik olarak Intel'in açık kaynaklı Lava çerçevesi ile snnTorch kütüphanesi SNN geliştirmeyi kolaylaştırmaktadır; DARPA SYNAPSE ve Avrupa Human Brain Project gibi araştırma programları ise bu alanın uzun vadeli gelişimini destekleyen kamu finansmanı sunmaktadır.
VRAM (GPU Belleği)
VRAM (Video RAM), GPU'nun (grafik işlemci birimi) üzerinde bulunan ve model ağırlıkları, aktivasyonlar ile ara hesaplama verilerini tutan yüksek bant genişlikli bellektir. Sistem RAM'i CPU'ya hizmet ederken VRAM doğrudan GPU çekirdeklerine bağlıdır ve GDDR7 ile 1 TB/s'nin üzerinde, HBM3e ile 8 TB/s'ye varan veri aktarım hızına ulaşır. Bu hız farkı, binlerce çekirdeğin aynı anda veri beklediği paralel hesaplamada belirleyicidir. Yapay zeka tarafında VRAM, çalıştırılabilecek modelin üst sınırını çizen ana donanım kısıtıdır. Bir büyük dil modelinin (LLM) tüm ağırlıkları çıkarım sırasında VRAM'e yüklenir: 7B parametreli bir model FP16 hassasiyetle yaklaşık 14 GB, 4-bit kuantizasyonla 4-5 GB yer kaplar; 70B sınıfı bir model ise FP16'da 140 GB isteyip INT4 ile 35-40 GB'a iner. Ağırlıkların üzerine, bağlam uzunluğuyla büyüyen KV cache ve batch verisi eklenir; 128K token bağlam tek başına gigabaytlarca ek VRAM tüketebilir. Kapasite aşıldığında model ya hiç yüklenmez ya da sistem RAM'ine taşarak (CPU offload) on kata varan yavaşlamayla çalışır. 2026 itibarıyla kapasite yelpazesi geniştir: tüketici tarafında RTX 5090 32 GB GDDR7, RTX 4090 24 GB sunar; veri merkezinde H100 80 GB, H200 141 GB, Blackwell B200 ise 192 GB HBM3e taşır. Apple Silicon farklı bir yol izler: M3 Ultra'da 512 GB'a çıkan birleşik bellek (unified memory), CPU ve GPU tarafından ortak kullanılır ve ayrı VRAM kavramını ortadan kaldırır. Eğitim senaryolarında VRAM ihtiyacı çıkarımın çok üzerine çıkar; geri yayılım aktivasyonları ve Adam optimizer durum tensörleri parametrelerin 3-4 katı ek bellek tüketir. LoRA ve QLoRA gibi parametre verimli ince ayar yöntemleri bu kısıtlamayı önemli ölçüde hafifletir. Gradyan kontrol noktası alma (gradient checkpointing) tekniği ise bellek-hesaplama takasıyla daha büyük batch boyutlarına izin verir. Yerel LLM çalıştırma, Stable Diffusion/Flux ile görüntü üretme veya LoRA ince ayarı planlayan herkes için ilk sorulacak soru işlemci hızı değil, kaç GB VRAM olduğudur. Model seçiminden donanım alımına kadar her kararda VRAM kapasitesi belirleyici etkendir.
Apple Silicon Nedir? M-Serisi Çip Ailesi (Apple Silicon)
Apple Silicon, Apple'ın 2020 yılında başlattığı ARM tabanlı SoC (System-on-Chip) işlemci ailesidir. M1 çipiyle Intel tabanlı Mac mimarisinin yerini alan bu platform; CPU, GPU, Neural Engine ve Birleşik Belleği tek bir pakette toplayan tümleşik tasarımıyla güç verimliliği ve yapay zeka kapasitesinde sektör standardını yeniden belirlemiştir. Birleşik Bellek Mimarisi (Unified Memory) açısından bakıldığında, CPU, GPU ve Neural Engine aynı fiziksel bellek havuzunu paylaşır; verinin birimler arasında kopyalanma ihtiyacı ortadan kalkar. Bu mimari, 70 milyar parametreli büyük dil modellerinin ayrı bir GPU olmaksızın doğrudan Mac üzerinde çalışmasına olanak tanır. M6 Ultra modeli 1,2 TB/s bellek bant genişliği sunarken Intel rakiplerine göre 2,5 kat daha yüksek güç verimliliği sergiler. Neural Engine, çip içindeki 16 çekirdekli NPU (Sinir İşlemci Birimi) bileşenidir. Transformer dikkat mekanizmaları, evrişimli ağ çıkarımı ve ses/görüntü sınıflandırma gibi makine öğrenimi iş yüklerini CPU ve GPU'ya kıyasla çok daha düşük güç harcayarak gerçekleştirir. M4 modeli saniyede 38 trilyon işlem (38 TOPS) kapasitesiyle M1'e kıyasla üç kat hız artışı kaydeder. Ağustos 2026'da duyurulan M6 ise TSMC'nin 2nm süreci üzerinde çift 16 çekirdekli Neural Engine yapısıyla bu performansı bir kez daha ikiye katlar. Yapay zeka geliştirme ekosistemi açısından Apple Silicon, büyük dil modellerini yerel ortamda çalıştırmak isteyen araştırmacı ve geliştirici topluluğu için popüler bir platform haline gelmiştir. MLX (Apple'ın açık kaynak ML çerçevesi), llama.cpp ve Ollama gibi araçlar Metal GPU API'sini ve Unified Memory'yi doğrudan hedefleyerek 7B–70B parametre aralığındaki modelleri saniyede 30–80 token hızında çalıştırabilmektedir. CoreML ve Create ML çerçeveleri ise geliştiricilerin özel modellerini Apple Silicon'a dönüştürüp optimize etmesine olanak tanır. Apple Intelligence — yazı özetleme, akıllı yanıt üretimi, görsel zeka ve Siri'nin gelişmiş yetenekleri — bu çipler üzerinde tamamen yerel olarak yürütülür; kullanıcı verileri bulut sunucularına iletilmez. M1 ve sonraki tüm Apple Silicon çipleri bu özellikleri desteklemektedir.
NPU Mimarisi Nedir? Sinir Ağı İşlemci Tasarımı (NPU Mimarisi)
NPU mimarisi (Nöral İşlem Birimi Mimarisi), yapay zeka ve derin öğrenme iş yüklerini işlemek için CPU veya GPU'dan bağımsız olarak tasarlanmış özel bir donanım bileşenidir. CPU'ların genel amaçlı sıralı hesaplama mimarisinden ve GPU'ların büyük ölçekli paralel grafik işlem özelliğinden farklı olarak NPU'lar, sinir ağlarında en sık kullanılan matris çarpımı, konvolüsyon ve aktivasyon fonksiyonu hesaplamalarını doğrudan donanım düzeyinde gerçekleştirmek için özelleştirilmiştir. Bir NPU'nun temel yapısal bileşenleri şunlardır: çok sayıda sistematik biçimde düzenlenmiş çarpma-toplama (MAC, Multiply-Accumulate) birimi, aktivasyon fonksiyonları için tasarlanmış özel devreler, düşük bant genişliği sorununu gidermek için entegre on-chip bellek tamponları ve modelden modele değişen veri akışlarını destekleyen yeniden yapılandırılabilir veri yolları. Çoğu modern NPU ayrıca INT8, FP16 ya da BF16 gibi düşük hassasiyetli sayı formatlarını destekler; bu sayede güç tüketimini önemli ölçüde azaltırken işlem kapasitesini artırır. Kullanım senaryosu açısından NPU'lar özellikle uç cihazlarda öne çıkmaktadır. Apple'ın M4 çipindeki Neural Engine (38 TOPS), Qualcomm Snapdragon serisi Hexagon NPU'su ve Intel'in Meteor Lake serilerindeki NPU modülleri (40+ TOPS) doğrudan tüketici donanımında çalışan güçlü AI ivedilendiricilerine örnek gösterilebilir. Microsoft'un Copilot+ PC sertifikasyonu da en az 40 TOPS NPU kapasitesini zorunlu kılmaktadır. NPU mimarisi, AI iş yüklerinin giderek artan yoğunluğuna karşı güç-verimlilik (TOPS/Watt) dengesini en üst düzeye çıkarmak amacıyla tasarlanmış, modern SoC tasarımının vazgeçilmez bir bileşenidir. NPU tasarımında öne çıkan bir diğer boyut, yazılım ekosistemidir. Bir NPU ne kadar yüksek TOPS sunsa da üzerinde çalışan yapay zeka çerçevelerinin (TensorFlow Lite, ONNX Runtime, Core ML gibi) o donanımı verimli biçimde kullanabilmesi gerekir. Bu nedenle donanım üreticileri, NPU'larını popüler ML çerçeveleriyle entegre eden sürücü ve derleyici katmanlarına büyük yatırım yapar. Qualcomm'un AI Engine Direct SDK'sı, Apple'ın Core ML'i ve Intel'in OpenVINO araç seti bu ekosistem katmanlarının somut örnekleridir. Dataflow mimarisi açısından ise NPU'lar genellikle sistolic array düzenini benimser: her MAC birimi hesapladığı kısmi sonucu komşu birimine iletir ve bu zincirleme yapı dış bellek erişimini minimuma indirir. Bu tasarım, transformer modellerinin dikkat mekanizmasındaki büyük matris çarpımlarını ve konvolüsyonel ağların filtre uygulamalarını özellikle verimli biçimde işlemesini mümkün kılar. Gelecekte harmanlanmış hassasiyet (mixed precision) ve dinamik bit genişliği desteği, NPU'ların büyük dil modellerini uç cihazlarda çalıştırma kapasitesini daha da genişletecektir.
PCIe (PCI Express)
PCIe (PCI Express / Peripheral Component Interconnect Express), modern bilgisayarlarda GPU, NVMe SSD ve yüksek hızlı ağ kartları gibi bileşenleri ana karta bağlayan seri, nokta-nokta yüksek bant genişliği veri yolu standardıdır. Yapay zeka ve derin öğrenme iş yüklerinde GPU'nun CPU belleğinden eğitim verisini ve model ağırlıklarını ne kadar hızlı aktarabildiğini doğrudan belirleyen kritik bir arayüzdür. Teknik açıdan PCIe, x1, x4, x8 ve x16 olmak üzere dört temel şerit (lane) konfigürasyonunda çalışır. Yapay zeka eğitim ve çıkarım GPU'ları tipik olarak x16 tam bağlantıyla takılır. Her PCIe nesli, tek şerit teorik bant genişliğini yaklaşık iki katına çıkarır. PCIe 3.0 x16, çift yönde ~32 GB/s toplam bant genişliği sunarken PCIe 4.0 ~64 GB/s, PCIe 5.0 ~128 GB/s ve henüz piyasaya yeni giren PCIe 6.0 ~256 GB/s kapasitesine ulaşır. Gizli Kodlama (encoding) yükü bu teorik değerden yaklaşık %20 oranında düşer. Yapay zeka perspektifinden PCIe bant genişliği iki kritik yerde darboğaz oluşturur. Birincisi, CPU RAM'inden GPU VRAM'ine veri transferidir; batch yükleme süreçlerinde GPU'nun veri beklemesi "host-to-device transfer latency" olarak bilinir ve PCIe nesli ile doğrudan ilişkilidir. İkincisi, çok-GPU kurulumlarında GPU'lar arasındaki iletişimdir; NVLink veya CXL gibi doğrudan GPU-GPU köprüleri mevcut değilse, tüm GPU-GPU trafiği PCIe üzerinden CPU'ya ve oradan geri dönmek zorunda kalır. NVIDIA A100 ve H100 veri merkezi GPU'ları PCIe 4.0/5.0 x16 ile, tüketici segmentindeki RTX 4090 PCIe 4.0 x16 ile gelir. AMD Instinct MI300X, PCIe 5.0 x16 desteği sunar. Apple Silicon (M-serisi) çiplerinde CPU-GPU arasında PCIe değil, Unified Memory Architecture (UMA) kullandığından bu darboğaz kavramsal olarak ortadan kalkar. Türkiye'de üniversite araştırma grupları ve AI startup'ları GPU sunucu kurulumlarında PCIe nesil uyumluluğunu, özellikle PCIe 3.0'lı eski anakartlarda PCIe 4.0 GPU kullanımında oluşan bant genişliği kayıplarını göz önünde bulundurmaktadır.
Sistolik Dizi (Sistolik Dizi)
Sistolik dizi (systolic array), işlem elemanlarının (PE — processing element) düzenli bir ızgara topolojisinde dizilerek verinin komşu elemanlar arasında ritmik (darbeli) bir akışla işlendiği özel amaçlı paralel donanım mimarisidir. 1978'de Carnegie Mellon Üniversitesi'nden H.T. Kung ve Charles Leiserson tarafından önerilen bu mimari, "veri kalbe kan gibi pompalanır" metaforundan adını alır. Sistolik dizinin temel çalışma prensibi şudur: her saat döngüsünde veriler ızgara boyunca bir adım kayar; her işlem elemanı kendisine gelen kısmi sonucu bir önceki eleman verisiyle birleştirerek bir sonraki elemana iletir. Bu yaklaşım, verinin tek bir merkezi belleğe gidip gelmesi yerine işlem elemanları arasında yerel olarak akmasını sağlar; böylece bellek bant genişliği darboğazı dramatik biçimde azaltılır. Ağırlık matrisi çiplere yüklendikten sonra sabit kalır; aktivasyonlar ise dizi üzerinden dalgalar halinde geçer. Bu veri yeniden kullanım stratejisi, derin öğrenmenin baskın hesaplaması olan matris-matris çarpımını son derece enerji verimli kılar. Yapay zeka donanımlarında sistolik dizi mimarisi kritik bir rol üstlenmektedir. Google'ın Tensör İşleme Birimi (TPU), 2016 yılında 256×256 sistolik dizi üzerine inşa edilmiş olarak duyurulmuş ve sinir ağı matris çarpımları için saniyede 92 teraops performans sunmuştur. TPU v4 ve v5 nesilleri bu prensibi daha büyük diziler ve yüksek bant genişlikli HBM bellekle birleştirerek ölçeklemiştir. Groq'un LPU (Language Processing Unit) mimarisi de benzer bir veri akış prensibini benimser; ağırlıkları çipe sabitleyip token akışını deterministik bir hattan geçirerek çıkarımda rekor düşük gecikme elde eder. GPU'larla karşılaştırıldığında sistolik diziler farklı bir hesaplama paradigmasını temsil eder. GPU genel amaçlı paralel hesaplama için binlerce çekirdek içerirken, sistolik dizi belirli bir hesaplama kalıbı (özellikle matris-matris çarpımı) için optimize edilmiş özel bir hattır. Bu nedenle çıkarım (inference) gibi sabit hesaplama kalıbı gerektiren görevlerde daha verimlidir. Yazılım esnekliği daha kısıtlı olsa da watt başına işlem kapasitesi açısından sistolik diziler öne çıkar ve yapay zeka hızlandırıcı tasarımında belirleyici bir mimari seçenek olmaya devam etmektedir.
TPU Mimarisi (TPU Mimarisi)
TPU Mimarisi (Tensor Processing Unit Architecture), Google tarafından matris çarpımı ve lineer cebir işlemlerini maksimum verimlilikle gerçekleştirmek için özel olarak tasarlanan donanım işlemci mimarisini ifade eder. GPU ve CPU'nun aksine genel amaçlı hesaplama için değil, özellikle derin öğrenme modellerinin eğitimi ve çıkarımı (inference) için optimize edilmiş olan TPU, ilk olarak 2016 yılında Google veri merkezlerinde kullanılmaya başlanmıştır. TPU mimarisinin temel yapı taşı sistolik dizi (systolic array) adı verilen ve binlerce çarpma-toplama (multiply-accumulate) biriminin birbirine doğrudan bağlı olduğu matris yapısıdır. Bu mimaride veri bir kez bellekten yüklenir ve dizi boyunca akarak defalarca yeniden kullanılır; böylece bellek bant genişliği talebi dramatik biçimde düşürülür. TPU v1, 700 MHz saat hızında 65.536 çarpma-toplama işlemini eş zamanlı gerçekleştirebilir ve saniyede 92 trilyon 8-bit işlem kapasitesine sahipken yalnızca 40 watt güç tüketir. Her TPU TensorCore birimi; matris çarpımı birimi (MXU), vektör birimi ve skaler birimden oluşur. TPU v4 ve v5'te MXU boyutu 256×256'ya çıkarılmış, HBM (High Bandwidth Memory) kullanımıyla bant genişliği daha da artırılmıştır. TPU v4 Pod, 4.096 çipi ICI (Inter-Chip Interconnect) ağıyla birleştirerek eksa-FLOPS ölçeğinde hesaplama kapasitesi sunar; Gemini ve PaLM gibi büyük dil modellerinin eğitimi bu altyapıda gerçekleştirilmiştir. GPU'yla karşılaştırıldığında TPU'nun belirgin avantajları ve kısıtlamaları vardır. Avantajlar: watt başına daha yüksek matris çarpımı throughput'u, bellek yeniden kullanımı verimliliği, Pod topolojisinde doğrusal ölçeklenme. Kısıtlamalar: genel amaçlı programlama esnekliğinin düşük olması, XLA (Accelerated Linear Algebra) derleyicisiyle sıkı entegrasyon gerekliliği ve bazı dinamik iş yüklerinde GPU'nun gerisinde kalması. Google Cloud üzerinden TPU VM ve TPU Pod yapılandırmaları olarak erişilebilen bu işlemciler, JAX, TensorFlow ve torch_xla aracılığıyla PyTorch ile çalışır. Yapay zeka donanımı ekosistemine göre yeni nesil TPU 8t (eğitim) ve TPU 8i (çıkarım) varyantları, farklı hesaplama gereksinimlerine özgü optimizasyon fırsatı sunar. TPU mimarisi, NVIDIA GPU'larına rakip en güçlü yapay zeka hızlandırıcı platformu konumunu korumaktadır.
Blackwell (NVIDIA Blackwell GPU Mimarisi)
Blackwell, NVIDIA tarafından Mart 2024'te duyurulan beşinci nesil GPU mimarisidir ve yapay zeka altyapısında çığır açan bir ilerlemeyi temsil eder. İsmi, olasılık teorisi ve istatistiğe katkılarıyla tanınan Afrikalı-Amerikalı matematikçi ve akademisyen David Blackwell'den almaktadır. Mimari, TSMC'nin gelişmiş 4NP üretim süreci üzerine inşa edilmiş çift-die (dual-die) chiplet tasarımı kullanır ve toplamda 208 milyar transistör içerir; bu rakam selefinin (Hopper/H100) neredeyse iki katıdır. Blackwell ailesi birden fazla GPU çeşidini kapsar: B100 giriş seviyesi varyant, B200 amiral gemisi GPU ve GB200 Grace-Blackwell Süperçip modülü. Bellek kapasitesi açısından B200, 192 GB HBM3e belleğe ve 8 TB/s bellek bant genişliğine sahiptir. Blackwell Ultra serisiyle birlikte gelen B300 modeli ise bu değeri 288 GB HBM3e'ye çıkarmıştır. GB200 NVL72 raf sistemi, 72 adet B200 GPU ile 36 adet Grace CPU'yu tek bir sıvı soğutmalı rafta birleştirerek toplamda 13,5 TB HBM3e bellek kapasitesi ve 1,4 eksaFLOPS hesaplama gücü sunar. Beşinci nesil NVLink (NVLink 5.0), her GPU için 1,8 TB/s çift yönlü bant genişliği sağlayarak Hopper'daki NVLink 4'e göre bant genişliğini ikiye katlar. Çift-die mimarisinin iç bağlantısında ise 10 TB/s bant genişliği elde edilmektedir; bu sayede iki die arasındaki veri transferi neredeyse engelsiz gerçekleşir. Blackwell'in en dikkat çekici yeniliği FP4 ve FP6 hassasiyet formatları ile mikro-tensör ölçeklendirme teknolojisidir. FP4 formatında 20 petaFLOPS hesaplama gücü sunan mimari, model ağırlıklarının bellek gereksinimini yarıya indirerek trilyon parametreli modellerin eğitimini ve çıkarımını daha önce mümkün olmayan ölçeklerde gerçekleştirmeye olanak tanır. Performans karşılaştırmalarında Blackwell, Hopper (H100) mimarisine göre çarpıcı üstünlükler sergiler: Llama 2 70B ince ayarında 2,2 kat, GPT-3 175B ön eğitiminde ise 2 kat hız artışı sağlar. GB200 NVL72 raf sistemi, büyük ölçekli LLM çıkarım görevlerinde H100'e kıyasla 30 kat performans iyileştirmesi sunarken enerji tüketimini 25 kat azaltır. Önceden 256 Hopper GPU gerektiren iş yükleri artık yalnızca 64 Blackwell GPU ile yürütülebilmektedir. Google, Meta, Microsoft ve Amazon gibi hiper ölçekli şirketler büyük yapay zeka modellerinin eğitimi ve çıkarım altyapısı için Blackwell'i benimsemiştir. NVIDIA bu teknolojiyi yapay zeka fabrikaları olarak konumlandırmakta ve trilyon parametreli modellerin ticari ölçekte çalışmasını mümkün kılan hesaplama altyapısı olarak tanımlamaktadır.
CXL (Compute Express Link) (Compute Express Link)
CXL (Compute Express Link), PCIe (Peripheral Component Interconnect Express) fiziksel katmanı üzerine inşa edilmiş, açık endüstri standardı bir ara bağlantı (interconnect) protokolüdür. 2019 yılında Intel öncülüğünde duyurulan ve AMD, ARM, Google, Meta, Microsoft, Samsung ve SK Hynix gibi önde gelen teknoloji şirketlerinin desteğiyle büyüyen bu standart; CPU'lar, GPU'lar, FPGA'lar, yapay zeka hızlandırıcıları ve akıllı bellek modülleri arasında düşük gecikmeli, yüksek bant genişlikli ve tutarlı (coherent) veri alışverişi sağlar. Geleneksel bellek mimarilerinde her işlemci yalnızca kendi yerel DRAM veya HBM belleğine doğrudan erişebilir; bu durum özellikle yüz milyar parametreyi aşan büyük dil modellerinin (LLM) çıkarım (inference) aşamasında kritik bir bellek duvarı (memory wall) darboğazı yaratır. CXL, bu sorunu bellek havuzlama (memory pooling) ve bellek genişletme (memory expansion) yetenekleriyle aşar: DRAM veya CXL-Flash tabanlı harici bellek kartları, CXL bağlantısı üzerinden CPU ve GPU'ya sanki yerel bellek gibi düşük gecikmeyle sunulabilir; böylece her sunucu nodunun bellek kapasitesi, pahalı HBM yığınları gerektirmeksizin ekonomik biçimde artırılabilir. CXL standardı üç temel protokol alt katmanından oluşur: CXL.io, PCIe tabanlı I/O işlemlerini; CXL.cache, hızlandırıcıların host belleğine önbellek-tutarlı erişimini; CXL.mem ise host'un hızlandırıcı veya harici belleğine tutarlı erişimini yönetir. Standart hızla evrimleşmiş: CXL 1.0 (2019) temel bağlantı ve tutarlılık altyapısını; CXL 2.0 (2020) bellek havuzlamayı ve anahtarlama desteğini; CXL 3.0 (2022) ise çok-seviyeli fabric topolojisini ve gelişmiş eşler arası bellek paylaşımını getirmiştir. Yapay zeka altyapısı tasarımcıları açısından CXL'in önemi giderek artmaktadır. Özellikle büyük LLM'lerin KV önbelleği (key-value cache) için gereken terabayt seviyesindeki bellek gereksinimini karşılamak amacıyla CXL tabanlı bellek genişletme kartları veri merkezlerinde yaygınlaşmaktadır. Samsung, SK Hynix ve Micron gibi bellek üreticileri ticari CXL DRAM modülleri üretmekte; AWS, Google Cloud ve Microsoft Azure gibi büyük bulut hizmet sağlayıcıları bu teknolojiyi yeni nesil sunucu tasarımlarına entegre etmektedir.
Die Stacking Nedir? 3D Çip Entegrasyonu Rehberi (Die Yığma)
Die stacking (die yığma veya 3B entegre devre), birden fazla yarı iletken çip katmanının (die) dikey olarak üst üste istiflendiği ve Through-Silicon Via (TSV) ya da hibrit bağlama yöntemiyle birbirine bağlandığı ileri bir paketleme teknolojisidir. Bu teknik sayesinde çipler arasındaki iletişim mesafesi dramatik biçimde kısalır; sinyal gecikmeleri azalır, bant genişliği artar ve bit başına enerji tüketimi düşer. Die stacking'in en yaygın örneği HBM (High Bandwidth Memory) bellektir. HBM'de 4-12 DRAM katmanı dikey olarak üst üste istiflenip bir interposer üzerinde GPU veya AI işlemcisiyle yan yana konumlandırılır. NVIDIA H100'deki HBM3 bellekler 3,35 TB/s'ye varan bant genişliği sunarak yapay zeka modellerinin eğitimindeki bellek darboğazını büyük ölçüde ortadan kaldırır. AMD 3D V-Cache teknolojisi, TSMC'nin SoIC (System-on-Integrated-Chip) hibrit bağlama prosesiyle SRAM katmanlarını doğrudan CPU üzerine istifler. 9 µm pitch ile gerçekleştirilen bu bağlantı, geleneksel yöntemlere göre 15 kat daha yoğun bir ara yüz sunar ve L3 önbellek kapasitesini 2-3 katına çıkarır. Intel'in Foveros teknolojisi ise farklı süreç düğümlerinde üretilmiş katmanları—örneğin 7 nm hesap die'ı ile 22 nm G/Ç die'ını—tek paket içinde birleştirerek heterojen entegrasyona olanak tanır. TSMC SoIC ve Intel Foveros Direct gibi modern çözümler, yapay zeka hızlandırıcı tasarımının temel bileşeni hâline gelmektedir. Die stacking'in önemi yalnızca performansla sınırlı değildir; güç verimliliği açısından da belirleyici bir rol oynar. Geleneksel PCB üzerindeki yatay hat bağlantılarına kıyasla TSV tabanlı dikey bağlantılar, bellek-işlemci arası veri transferinde watt başına bant genişliğini önemli ölçüde artırır. Bu durum özellikle enerji kısıtlı veri merkezi ortamlarında ve uç (edge) yapay zeka uygulamalarında kritik avantaj sunar. Gelecek nesil AI çipleri için Çekmece Tipi Bellek (CXL tabanlı) ve monolitik 3D entegrasyon gibi yaklaşımlar bu teknolojinin evrimini şekillendirecektir.
DPU (Veri İşleme Birimi)
DPU (Data Processing Unit — Veri İşleme Birimi), CPU ve GPU'nun yanında modern bilişimin üçüncü işlemci sütunu olarak konumlanan, ağ, depolama ve güvenlik altyapısını donanım düzeyinde yönetmek için tasarlanmış özel bir işlemci birimidir. NVIDIA, 2020 yılında BlueField-2 ile bu kavramı veri merkezi sektörüne kazandırdı; teknolojinin temeli ise daha önce SmartNIC ve altyapı yük boşaltma (infrastructure offload) işlemcileri olarak bilinen çözümlere dayanır. Geleneksel veri merkezlerinde ağ trafiği yönetimi, şifreleme, depolama sanallaştırma ve güvenlik duvarı gibi altyapı görevleri CPU çekirdeklerinin önemli bir bölümünü tüketir. DPU, bu görevleri altyapı bant hızında (line rate) gerçekleştiren donanım hızlandırıcılar aracılığıyla üstlenir ve CPU'nun tüm kapasitesini uygulama mantığı ile yapay zeka hesaplamaya yönlendirir. Yapay zeka kümelerinde DPU'nun rolü özellikle kritiktir. Yüzlerce veya binlerce GPU'dan oluşan ölçekli eğitim kümelerinde GPU'lar sürekli olarak gradyan senkronizasyonu, model parametresi aktarımı ve kontrol noktası (checkpoint) G/Ç işlemleri için ağı kullanır. Bu trafik, geleneksel mimaride host CPU'nun omuzlarına yüklenir; küme büyüdükçe CPU darboğazı GPU kullanım verimliliğini düşürür. DPU, RDMA ve RoCE (RDMA over Converged Ethernet) işlemlerini doğrudan kendi üzerindeki donanım motorlarında çalıştırarak bu yükü host sistemden tamamen kaldırır. NVIDIA BlueField-3, günümüzün en yaygın DPU'su olarak öne çıkar. TSMC 5 nm sürecinde üretilen BlueField-3, 22 milyar transistör barındırır, 400 Gb/sn ağ çıkışı sunar ve Arm Cortex-A78 çekirdekleri üzerinde bağımsız bir Linux işletim sistemi çalıştırır. NVIDIA'nın açıkladığına göre tek bir BlueField-3, yaklaşık 300 CPU çekirdeğinin üstlenebileceği altyapı yükünü karşılayabilmektedir. Marvell OCTEON 10 ve Intel IPU (Infrastructure Processing Unit) bu alandaki başlıca rakip çözümler arasında yer alır. Güvenlik perspektifinden DPU, host işletim sisteminden bağımsız ayrı bir koruma alanı oluşturur. Kiracı iş yükleri, DPU üzerinde çalışan ağ izleme, şifreleme veya güvenlik duvarı kurallarına müdahale edemez; bu özellik çok kiracılı bulut altyapılarında sıfır güven (zero-trust) mimarisinin donanım temelini sağlar. Enerji verimliliği boyutunda genel amaçlı bir CPU'nun altyapı görevleri için harcadığı enerji ile amaca özel DPU donanımının harcadığı enerji arasındaki fark büyüktür. Veri merkezleri fiziksel güç yoğunluk sınırlarına yaklaştıkça DPU, toplam sistem verimliliğine orantısız biçimde olumlu katkı sağlar.
Heterogeneous Computing (Heterojen Hesaplama)
Heterojen hesaplama (heterogeneous computing), bir sistem içinde birden fazla farklı işlemci türünü — CPU, GPU, NPU, FPGA, DSP gibi — bir arada kullanan hesaplama mimarisidir. Bu yaklaşımın temel felsefesi, her iş yükünün doğası gereği farklı donanım özellikleri gerektirdiğidir: CPU'lar karmaşık kontrol akışları ve seri işlemler için idealken, GPU'lar binlerce çekirdeğiyle paralel matris işlemlerinde üstündür; NPU'lar ise sinir ağı çıkarımını düşük güç tüketimiyle gerçekleştirir. Yapay zeka uygulamalarında heterojen hesaplama son derece kritik hale gelmiştir. Büyük dil modellerinin (LLM) eğitimi GPU kümelerinde yapılırken, mobil cihazlarda çıkarım NPU'ların devreye girdiği hafif motor çözümleri sayesinde gerçek zamanlı ilerler. Apple M-serisi çipleri bu yaklaşımın somut örneğidir: aynı pakette yüksek performanslı CPU çekirdekleri, entegre GPU ve 16 çekirdekli Neural Engine birlikte çalışır; tüm bu birimler birleşik bellek mimarisi üzerinden veri alışverişi yapar ve kopyalama gecikmelerini minimize eder. Qualcomm Snapdragon platformu da benzer bir yapıya sahiptir: Kryo CPU çekirdekleri, Adreno GPU ve Hexagon DSP/Tensor Accelerator aynı SoC içinde yer alır. Veri merkezi tarafında ise NVIDIA Grace Hopper, 72 çekirdekli Arm CPU'yu H100 GPU ile yüksek bant genişlikli NVLink üzerinden birleştirerek LLM servis iş yüklerinde saniyede milyonlarca token işlem kapasitesi sunar. Heterojen hesaplamanın temel zorlukları programlama karmaşıklığı, bellek yönetimi ve veri taşıma yüküdür. Farklı işlemcilerin iş birliği yapabilmesi için OpenCL, SYCL, CUDA, HIP veya Intel oneAPI gibi programlama modelleri kullanılır. PCIe Gen 5 aracılığıyla CPU ile ayrık GPU arasında yaklaşık 32 GB/sn bant genişliği sağlanırken, NVIDIA NVLink bu değeri 900 GB/sn'ye taşır; ancak her iki durumda da bellek aktarım gecikmesi bir performans darboğazı oluşturabilir. Günümüzde heterojen hesaplama; akıllı telefon SoC'lerinden bulut sunucu kümelerine, otonom araç bilgisayarlarından endüstriyel IoT kenar (edge) cihazlarına kadar geniş bir yelpazede uygulanmaktadır. Yapay zekanın her alana yayılmasıyla birlikte bu mimari yaklaşım, güç verimliliği ve hesaplama performansı arasındaki dengeyi kuran temel tasarım paradigması haline gelmiştir.
In-Memory Computing Nedir? Bellek-İçi AI Hesaplama (Bellek-İçi Hesaplama)
In-Memory Computing (Bellek-İçi Hesaplama), verilerin geleneksel disk tabanlı depolama yerine doğrudan RAM veya yüksek bant genişlikli bellek (HBM) üzerinde işlenmesi paradigmasıdır. Geleneksel mimaride CPU veya GPU, hesaplama yaparken model ağırlıklarını ve aktivasyonları bellekten defalarca okumak zorundadır; bu veri transferi, özellikle büyük dil modellerinin (LLM) çıkarım aşamasında ciddi bir darboğaz oluşturur. İşlemcinin bekleyerek geçirdiği bu süre, toplam çıkarım gecikmesinin büyük bölümünü oluşturur. Processing-in-Memory (PIM) ya da Near-Memory Computing olarak da bilinen bu yaklaşımda, hesaplama mantığı doğrudan bellek çipleri içine entegre edilir. Böylece veri işlemciye taşınmak yerine, işlemci verinin bulunduğu yerde çalışır. Bir LPDDR5 DRAM çipinin harici G/Ç bant genişliği yaklaşık 51,2 GB/s ile sınırlıyken, dahili all-bank bant genişliği 409,6 GB/s'ye ulaşabilir; bu yaklaşık 8 katlık artış, verinin yanında hesaplama yapmanın sağladığı temel avantajdır. Samsung (AxDIMM/HBM-PIM), SK Hynix (AiM — Accelerator-in-Memory) ve UPmem gibi şirketler, AI iş yüklerine özgü ticari PIM çözümleri geliştirmektedir. GPU+HBM-PIM entegrasyonu, yalnızca GPU mimarisine kıyasla LLM çıkarımında 3,24 kat hızlanma ve yüzde 60 enerji tasarrufu sağlayabilmektedir. Transformer mimarilerindeki matris-vektör çarpımı (GEMV) ve dikkat mekanizmaları, hesaplama kapasitesinden çok bellek bant genişliğine duyarlıdır; bu nedenle bellek-içi hesaplama bir sonraki nesil AI donanımının temel bileşeni olmaya adaydır. Edge AI cihazlarında ise RISC-V tabanlı PIM modülleri, nöral ağ çıkarımını düşük güç bütçesiyle gerçekleştirmeyi mümkün kılar. Bellek-içi hesaplama paradigması, yalnızca AI iş yüklerini değil veri analitiği ve genomik gibi bellek-bağımlı alanlarda da dönüşüm yaratmaktadır. UPmem'in DIMM modülleri, DNA dizi hizalama algoritmalarında CPU'ya kıyasla 18 kata varan hızlanma bildirmiştir. Bu geniş uygulama yelpazesi, PIM'in yalnızca bir AI donanım optimizasyonu değil, hesaplama mimarisinin köklü bir yeniden tanımlanması olduğunu ortaya koymaktadır. HBM3 ve HBM3e ile entegre PIM çözümlerinin 2025-2026 yıllarında veri merkezi uygulamalarına girmesiyle birlikte bu paradigmanın endüstriyel ölçekte benimsenmesi hızlanması beklenmektedir.
Memory Bandwidth (Bellek Bant Genişliği)
Bellek bant genişliği (memory bandwidth), bir işlemci ya da hızlandırıcının bellek sistemiyle veri alışverişini saniyede gerçekleştirebileceği maksimum kapasitedir. GB/s veya TB/s birimiyle ölçülen bu metrik, yapay zeka iş yüklerinin büyük çoğunluğu için ham işlem gücünden çok daha belirleyici bir performans faktörü olmaktadır. Bant genişliği, bellek teknolojisi ve veri yolu genişliğiyle doğrudan orantılıdır. DDR5 sistem belleği yaklaşık 100 GB/s sunarken GDDR6X (RTX 4090) 1 TB/s düzeyine, HBM2e (A100) ise 2 TB/s'ye ulaşmaktadır. H100 SXM5'in kullandığı HBM3 teknolojisi 3,35 TB/s ile günümüzdeki en yüksek değerleri temsil etmektedir. Apple M serisi çipler, CPU ve GPU'nun ortak eriştiği birleşik bellek (unified memory) mimarisiyle yaklaşık 400 GB/s bant genişliği ve düşük güç tüketimi kombinasyonunu kenar cihazlara taşır. Büyük dil modellerinin (LLM) çıkarım aşamasında bant genişliği kritik öneme sahiptir. 70 milyar parametreli bir model FP16 hassasiyetiyle 140 GB yer kaplar; her yeni token üretiminde bu ağırlıkların büyük bölümü bellekten işlemciye aktarılır. Matris-vektör çarpımına dayalı bu işlemlerin aritmetik yoğunluğu düşük olduğundan sistem bellek sınırlı (memory-bound) biçimde çalışır: hesap kapasitesi artırılsa bile bant genişliği yeterli değilse token üretim hızı iyileşmez. Roofline modeli bu dengeyi görselleştirir ve bir çekirdeğin nerede darboğaz oluşturduğunu açıkça ortaya koyar. Yatay eksen aritmetik yoğunluğu (FLOP/bayt), dikey eksen ise ulaşılabilir performansı (TFLOPS) gösterir. Bant genişliği kısıtını aşmak için FlashAttention algoritması HBM trafiğini O(n²) düzeyinden O(n) düzeyine indirirken, model nicelleştirme (FP32'den INT4'e dönüşüm) ağırlık boyutunu sekiz kat küçülterek aynı bant genişliğinden sekiz kat daha fazla token üretilmesine olanak tanır. NVLink ve CXL tabanlı bellek genişletme teknolojileri de bant genişliği kapasitesini artırmak için yaygın biçimde başvurulan çözümler arasındadır.