tag Donanım
Bu sayfada Donanım etiketi ile işaretlenmiş 22 yapay zeka kavramını bulabilirsiniz.
ARM (Advanced RISC Machines), Reduced Instruction Set Computing (RISC) felsefesini temel alan ve dünyada en yaygın kullanılan işlemci mimarilerinden biridir. 1990 yılında İngiliz şirketi ARM Holdings tarafından geliştirilen bu mimari, basit ama hızlı komut setleri sayesinde x86 tabanlı işlemcilere kıyasla çok daha düşük güç tüketir. Bu özellik, pil ömrünün kritik olduğu akıllı telefonlarda ARM'ı vazgeçilmez kılar: bugün piyasadaki her akıllı telefon ARM tabanlı bir işlemci kullanmaktadır. ARM Holdings, çip üretmek yerine mimarisini lisanslama modeliyle çalışır. Apple, Qualcomm, Samsung, MediaTek ve Nvidia gibi şirketler bu lisansı satın alarak kendi çiplerini tasarlar. Bu yaklaşım, ARM ekosisteminin son derece geniş ve çeşitli bir ürün yelpazesi oluşturmasını sağlamıştır. Apple'ın M1/M2/M3/M4 serisi ARM tabanlıdır ve özel Neural Engine birimleri içerdiğinden makine öğrenmesi görevlerinde Intel ve AMD işlemcilerini geride bırakmıştır. Yapay zeka açısından ARM'ın önemi giderek artmaktadır. ARM Cortex-A serisi yüksek performanslı cihazlar için, Cortex-M serisi ise mikrodenetleyiciler ve kenar cihazlar için tasarlanmıştır. ARM'ın Ethos NPU (Neural Processing Unit) ailesi, büyük dil modellerinin ve görüntü tanıma algoritmalarının doğrudan cihazda (on-device) çalıştırılmasına olanak tanır; bu da veri gizliliği, gecikme süresi ve bant genişliği açısından bulut çözümlerine göre önemli avantajlar sunar. Veri merkezlerinde de ARM dönüşümü yaşanmaktadır. Amazon Web Services'in Graviton3 işlemcisi, aynı iş yükü için x86 sunucularına kıyasla yüzde kırk daha az enerji tüketmektedir. Bu gelişme, büyük dil modeli çıkarımı (inference) ve model kenar cihazlara dağıtımı (edge deployment) için ARM mimarisini stratejik bir tercih haline getirmektedir.
ARM Çip (ARM Çip)
ARM (Advanced RISC Machines), Reduced Instruction Set Computing (RISC) felsefesini temel alan ve dünyada en yaygın kullanılan işlemci mimarilerinden biridir. 1990 yılında İngiliz şirketi ARM Holdings tarafından geliştirilen bu mimari, basit ama hızlı komut setleri sayesinde x86 tabanlı işlemcilere kıyasla çok daha düşük güç tüketir. Bu özellik, pil ömrünün kritik olduğu akıllı telefonlarda ARM'ı vazgeçilmez kılar: bugün piyasadaki her akıllı telefon ARM tabanlı bir işlemci kullanmaktadır. ARM Holdings, çip üretmek yerine mimarisini lisanslama modeliyle çalışır. Apple, Qualcomm, Samsung, MediaTek ve Nvidia gibi şirketler bu lisansı satın alarak kendi çiplerini tasarlar. Bu yaklaşım, ARM ekosisteminin son derece geniş ve çeşitli bir ürün yelpazesi oluşturmasını sağlamıştır. Apple'ın M1/M2/M3/M4 serisi ARM tabanlıdır ve özel Neural Engine birimleri içerdiğinden makine öğrenmesi görevlerinde Intel ve AMD işlemcilerini geride bırakmıştır. Yapay zeka açısından ARM'ın önemi giderek artmaktadır. ARM Cortex-A serisi yüksek performanslı cihazlar için, Cortex-M serisi ise mikrodenetleyiciler ve kenar cihazlar için tasarlanmıştır. ARM'ın Ethos NPU (Neural Processing Unit) ailesi, büyük dil modellerinin ve görüntü tanıma algoritmalarının doğrudan cihazda (on-device) çalıştırılmasına olanak tanır; bu da veri gizliliği, gecikme süresi ve bant genişliği açısından bulut çözümlerine göre önemli avantajlar sunar. Veri merkezlerinde de ARM dönüşümü yaşanmaktadır. Amazon Web Services'in Graviton3 işlemcisi, aynı iş yükü için x86 sunucularına kıyasla yüzde kırk daha az enerji tüketmektedir. Bu gelişme, büyük dil modeli çıkarımı (inference) ve model kenar cihazlara dağıtımı (edge deployment) için ARM mimarisini stratejik bir tercih haline getirmektedir.
Batch Size (Yığın (Küme) Boyutu)
Batch size (yığın boyutu), bir yapay sinir ağının eğitiminde her gradyan güncellemesinde aynı anda işlenen eğitim örneği sayısını belirleyen hiperparametredir. Model tüm veri setini tek seferde hafızaya almak yerine veriyi küçük gruplara böler; batch size 32 ise ağırlıklar her 32 örnekte bir güncellenir. 10.000 örneklik bir veri setinde bu, epoch başına yaklaşık 313 güncelleme adımı demektir. Bu tek sayının önemi iki eksende toplanır: donanım ve öğrenme dinamiği. Donanım tarafında batch; model ağırlıkları, optimizer durumları ve ara aktivasyonlarla birlikte GPU belleğine (VRAM) sığmak zorundadır. Değer büyüdükçe bellek tüketimi yaklaşık orantılı artar, sınır aşıldığında Out of Memory (OOM) hatası alınır. Öğrenme tarafında ise küçük batch'ler gürültülü ama düzenleyici etki yapan gradyan tahminleri üretir ve genellemeyi iyileştirebilir; büyük batch'ler daha kararlı gradyanlar ve yüksek GPU verimliliği sunar ama keskin minimumlara (sharp minima) takılıp test performansını düşürme riski taşır. Pratikte üç yaklaşım ayırt edilir: batch size 1 ile çalışan stochastic gradient descent (SGD), tüm veriyi tek seferde işleyen full batch ve ikisinin ortasındaki mini-batch. Modern derin öğrenmede standart, 32-256 aralığındaki mini-batch değerleridir; "batch size" dendiğinde çoğunlukla bu kastedilir. Batch size tek başına değil, learning rate ile birlikte ayarlanır: batch büyütüldüğünde öğrenme hızı da genellikle orantılı artırılır (linear scaling rule) ve warmup uygulanır. Ölçek büyüdükçe kavram şekil değiştirir: büyük dil modeli ön eğitiminde global batch örnek sayısıyla değil token sayısıyla ifade edilir. Llama 3 405B'nin ön eğitiminde global batch 16 milyon token'a kadar çıkarılmıştır; bu ölçek tek GPU'ya sığmadığı için gradient accumulation ve data parallel dağıtım zorunludur. Günlük pratikte ise VRAM yetmediğinde gradient accumulation ile büyük sanal batch simüle edilir, bf16 mixed precision ve gradient checkpointing bellek ihtiyacını ciddi ölçüde azaltır. Doğru batch size veri setine, mimariye ve donanıma göre deneysel seçilir; 32 veya 64 ile başlayıp validation loss izleyerek ayarlamak en yaygın yöntemdir.
Brain-Computer Interface (BCI) (Beyin-Bilgisayar Arayüzü)
Beyin-Bilgisayar Arayuzu (BCI — Brain-Computer Interface), beyindeki elektriksel sinyalleri dogan olarak okuyarak bilgisayar, protez veya diger cihazlara komut gondermek icin kullanılan bir teknoloji. Geleneksel insan-bilgisayar etkilesimi (klavye, fare, dokunmatik ekran) gibi sinir sisteminin kaslar uzerindeki kontrolune degil, dogrudan sinir sinyallerine dayanir. BCI sistemleri iki ana kategoride incelenir: invaziv (invasive) ve non-invaziv. Invaziv BCI'larda elektrotlar beynin korteks katmanina cerrahi olarak implante edilir; cok daha yuksek sinyal kalitesi saglar. Neuralink'in N1 cipinin 2024'te deneysel insan denemelerinde kullanilmaya baslanmasi bu kategorinin cok bilinen ornegi. Non-invaziv BCI'larda EEG (elektroensefalografi) en yaygin yontemdir: saç derisi uzerindeki elektrotlar dalgali elektriksel sinyalleri kaydeder; kolay kullanim saglarken sinyal kalitesi dusuk kalir. BCI arastirmasiın onculerinden BrainGate projesi, felcli hastalarin yalnizca dusunceleriyle bilgisayar imlecini hareket ettirebildigini gosterdi. Cochlear implantlar (kulak implantlari) ise isitmesi olmayan bireylere duyma hissi saglayan bir tur BCI olarak kabul edilir. Derin beyin stimulasyonu ise Parkinson hastalarına yardimci olmak icin kullanilmaktadir. Yapay zeka ve BCI'nin birlesimi, sinyal islemede onemli ilerlemeler saglamistir. EEG sinyallerinin derin ogrenmeyle siniflandirilmasi, mavi is komutu ve niyet cikarsama dogruluğunu belirgin bicimde artirmaktadir. Motorlu ekzoskelet kontrolu, iletisim cihazlari ve sanal gerceklik deneyimi gibi uygulamalar bu entegrasyondan en cok yararlanan alanlardır.
GPU (Graphics Processing Unit) (Grafik İşlemci (Ekran Kartı))
GPU (Graphics Processing Unit — Grafik Isleme Birimi), baslangiçta bilgisayar grafiklerini hesaplamak icin tasarlanmis; fakat binlerce kucuk cekirdekli paralel mimarisi sayesinde yapay zeka ve yuksek performansli hesaplama (HPC) alanında vazgecilmez hale gelmis bir işlemci türüdür. Gunumuzde derin ogrenme egitimi ve cikarsama islemlerinin buyuk cogunlugu GPU uzerinde gerceklesmektedir. GPU'ların paralel mimarisi, AI hesaplamalarında kritik oneme sahip matris cogaltma ve tensor islemlerine cok iyi uymaktadir. NVIDIA'nin CUDA (Compute Unified Device Architecture) platformu, gelistiricilere GPU uzerinde genel amacli hesaplama yapmayi mumkun kilan ilk genis kapsamli yazilim katmaniydi. 2007'de tanıtılan CUDA, bugün de derin ogrenme ekosisteminin temelini olusturmaktadir. NVIDIA'nın AI odakli GPU'lari GPU mimarisinin evrimini yonlendirmistir: Tesla (2008), Kepler, Maxwell, Pascal, Volta, Ampere ve son olarak Hopper mimarisi (H100). A100 ve H100, LLM egitiminde standart haline gelmistir. AMD ise ROCm platformu ve MI300X cipleriyle bu pazara rakip olarak girmektedir. Apple'in M serisi cipler ise unifikasyon bellek mimarisiyle AI cikarsama icin enerji verimli alternatif sunmaktadir. Derin ogrenme cerceveleri (TensorFlow, PyTorch) GPU destegini neredeyse tamamen CUDA/cuDNN (NVIDIA) uzerinden saglar. Tensor Core'lar, H100 gibi modern cipler uzerinde yari hassas (FP16/BF16) matris islemlerini 10-100 kat hızlandirir. GPU belleği (VRAM) model buyuklugunu dogrudan sınırlar; 80GB VRAM'e sahip H100, 70 milyar parameterli bir modeli tam hassasiyetle tutabilir.
Neuromorphic Computing (Nöromorfik Bilişim)
Nöromorif hesaplama (neuromorphic computing), biyolojik sinir sistemlerinin yapısını ve çalışma prensiplerini donanım düzeyinde taklit eden bir hesaplama paradigmasıdır. Geleneksel von Neumann mimarisi işlemci ve belleği fiziksel olarak ayırırken, nöromorif çipler nöronları ve sinaptik bağlantıları donanımda doğrudan gerçekleştirerek bu uçurumu kapatır. Nöromorif hesaplamanın temel çalışma birimi ateşleyen nöron (spiking neuron) modelidir. Biyolojik nöronlar gibi bilgiyi sürekli analog değerler yerine zamansal olaylar (spikes) biçiminde iletir; nöron ancak belirli bir eşik aşıldığında ateşler. Bu olay-güdümlü (event-driven) yapı, klasik işlemcilerin sabit saat döngüsü yerine yalnızca aktivite olduğunda enerji harcamasını sağlar; bu da dramatik güç tasarrufu anlamına gelir. Intel'in Loihi ve Loihi 2 çipleri, IBM'in TrueNorth mimarisi ile BrainScaleS ve SpiNNaker akademik platformları bu alanın öncü örnekleridir. Loihi 2, 128 nöromorf çekirdekte 1 milyon nöronu simüle edebilir ve adaptif öğrenme kurallarını destekler. Intel Labs'ın raporlarına göre belirli çıkarım görevlerinde geleneksel GPU'ya kıyasla yüzlerce kat enerji verimliliği sağlanmıştır. Nöromorif hesaplama, düşük güç tüketimi kritik olan kenar (edge) uygulamalarında, duyusal işlemede ve robotik kontrolde güçlüdür. İşitme cihazı, otonom araç sensörleri ve giyilebilir sağlık monitörü gibi pille çalışan cihazlar potansiyel uygulama alanlarını oluşturmaktadır. Bununla birlikte nöromorif hesaplama, programlama güçlüğü, donanım-yazılım araç zinciri olgunlaşmamışlığı ve büyük ölçekli yapay sinir ağlarıyla entegrasyon sınırlamaları gibi zorluklarla boğuşmaktadır. Ancak enerji kısıtlı AI uygulamalarının artan önemi bu alandaki araştırma yatırımını hızla artırmaktadır.
Nöromorfik Çip (Nöromorfik Çip)
Nöromorfik çip (neuromorphic chip), insan beyninin nörobiyolojik mimarisini taklit eden özel tasarım tümleşik devrelerdir. Geleneksel von Neumann mimarisinde bellek ve işlemci ayrı bileşenler olarak çalışırken, nöromorfik çiplerde her hesaplama birimi (yapay nöron) hem yerel bellek hem de işlem kapasitesine sahiptir; bu sayede veri yolu darboğazı (memory wall) büyük ölçüde ortadan kalkar. Çalışma prensibi biyolojik nöronların "spike" adı verilen elektriksel atımlarını modellemektedir. Olaya dayalı (event-driven) bu mimari sayesinde yalnızca aktif nöronlar güç harcar; pasif nöronlar enerji tüketmez. Bu özellik, geleneksel GPU'lara kıyasla 100–1000 kat daha düşük güç tüketimi sağlar. Öne çıkan örnekler arasında Intel Loihi 2 (1 milyon nöron, gerçek zamanlı duyusal işleme), IBM TrueNorth (4096 çekirdek, 256 nöron/çekirdek, 70mW güç), Manchester Üniversitesi'nin SpiNNaker sistemi ve Avrupa Human Brain Project kapsamındaki BrainScaleS wafer ölçekli mimarisi yer alır. Uygulama alanları arasında edge AI çıkarımı, IoT sensör füzyonu, robotik algı sistemleri ve sürekli öğrenme (continual learning) senaryoları bulunur. Düşük gecikme ve pil dostu çalışma özellikleriyle otonom araçlar, akıllı kameralar ve giyilebilir tıbbi cihazlarda tercih edilmektedir. Nöromorfik çipler, Spiking Neural Network (SNN) modellerini verimli biçimde çalıştıran tek donanım mimarisini temsil eder. Biyomimetik hesaplama alanındaki bu yaklaşım, büyük dil modellerinin yüksek enerji talebine karşı uzun vadeli bir alternatif olarak araştırma gündeminde önemli yer tutmaktadır.
NPU (Neural Processing Unit) (Nöral İşlem Birimi (Yapay Zeka Çipi))
NPU (Nöral İşlem Birimi — Neural Processing Unit), yapay zeka modellerinin çıkarım (inference) hesaplamalarını CPU ve GPU'ya kıyasla çok daha verimli şekilde yürütmek için tasarlanmış özel amaçlı bir donanım birimidir. Modern akıllı telefonlardan dizüstü bilgisayarlara ve veri merkezi hızlandırıcılarına kadar geniş bir yelpazeye entegre edilmektedir. Sinir ağı hesaplamaları özünde yoğun matris çarpımına dayanır. Genel amaçlı CPU bu işlemleri sıralı biçimde yürütürken, GPU binlerce çekirdekle paralel hesaplama sağlar; NPU ise bu matris çarpımlarını gerçekleştirmek için özel systolic array veya tensor çekirdeği içerir. Bu yapı, CPU'dan 10-100 kat, GPU'ya kıyasla ise çok daha düşük güç tüketimiyle çıkarım yapmasını mümkün kılar. Apple, Neural Engine adını verdiği NPU birimini 2017'deki A11 Bionic çipiyle cihazlarına entegre etti. Günümüzde M4 çipindeki Neural Engine 38 TOPS (saniyede trilyon işlem) kapasitesine ulaşmıştır. Qualcomm Hexagon NPU Android ekosisteminin bel kemiğini oluştururken, Google Tensor serisindeki NPU Pixel cihazlarında ses tanıma ve fotoğraf işlemeyi optimize eder. Edge AI kavramı NPU'nun en kritik kullanım alanıdır: veri buluta gönderilmeden, internet bağlantısı olmadan, pili koruyarak cihazın içinde gerçek zamanlı yapay zeka çalışır. Portre modu kamera efektleri, wake word tespiti, yüz tanıma ve gerçek zamanlı çeviri bu sayede mümkün olmaktadır. Microsoft, Copilot+ PC sertifikasyonu için NPU'da en az 40 TOPS performans şartı koymuştur. Bu gelişme, NPU'yu mobil dünyadan PC platformuna taşıyan önemli bir dönüm noktasıdır. Yazılım tarafında Apple Core ML, Qualcomm QNN SDK, Intel OpenVINO ve Windows ML çerçeveleri NPU'dan yararlanmak isteyen geliştiricilere API erişimi sunar. Türk yazılım geliştiricileri için NPU fırsatı şudur: yerel AI modelleri (Local LLM) artık bulut maliyeti olmadan son kullanıcı cihazında çalışabilir; bu da gizlilik hassas uygulamalar ve düşük gecikme gereksinimi olan senaryolar için bulut alternatifleri doğurur.
Quantization (Kuantizasyon (Model Küçültme))
Quantization (niceleme), sinir agi modellerindeki parametre degerlerinin yuksek hassasiyetli sayisal formattan (genellikle 32-bit kayan nokta, float32) daha dusuk bit genisligine (8-bit tam sayi veya 4-bit gibi) donusturulme islemidir. Bu donusum model boyutunu kucultmesi, cikarim hizini artirmasi ve guc tuketimini dusurmesinin yaninda, modeli kaynak kisitli ortamlarda - ornegin akilli telefon veya kenarda calisabilen cihazlarda - calistirmaya olanak tanir. Nicelemenin temelinde bir uzlasim yatar: hassasiyet azaldikca model hafizasi ve hesaplama maliyeti duser, ancak tahmin kalitesi potansiyel olarak azalabilir. Uygulamada, ozellikle INT8 dzeyinde, bu kalite kaybi cogu gorev icin ihmal edilebilir seviyede kalir. GPTQ veya bitsandbytes gibi kutuphaneler, niceleme hatasini en aza indirmek icin kalibrasyon verisi kullanarak agirlik matrislerini yeniden optimize eder. Iki ana yaklasim mevcuttur. Post-Training Quantization (PTQ) halihazirda egitilmis bir modele uygulanir; ekstra egitim gerektirmez ve hizlidir. Quantization-Aware Training (QAT) ise niceleme etkisini eğitim dongusu icerisine dahil eder; model, daha dusuk hassasiyetle bile dogru tahmin uretmeyi ogrenir. QAT genellikle PTQ'ya kiyasla daha iyi nihai kalite sunar ama ek hesaplama maliyeti getirir. Buyuk dil modellerinin (LLM) giderek buyumesiyle quantization zorunlu bir pratik haline gelmistir. GPT-3 seviyesinde bir model tam hassasiyetle yuzlerce gigabayt RAM gerektirir; INT4 nicelemeyle bu rakam onlarca gigabayta iner ve ticarette satilan bir laptopla calistirmak mumkun olur. llama.cpp projesi ve GGUF formati, bu olasiligi genis bir topluluga acmistir: Q4_K_M, Q5_K_S gibi semboller bit genisligi ile kalite stratejisini kodlar. Donanim ekosistemi de nicelemeyi etkin sekilde destekler. NVIDIA'nin Tensor Core mimarisi INT8 ve FP8 cikarimini donanim katmaninda hizlandirir; bu sayede veri merkezi GPU'larinda ayni enerji butcesiyle cok daha yuksek islem hacmi elde edilir. Apple Silicon'un Unified Memory mimarisi ise CPU ve GPU'nun ayni bellek havuzunu paylasmasina izin vererek quantized LLM'lerin tuketu cihazlarda akici calismasi icin dogal bir avantaj sunar. **Sik Sorulan Sorular** **INT8 ile INT4 niceleme arasinda kalite farki buyuk mudur?** INT8, cogulukla ihmal edilebilir kalite kaybı uretir. INT4 ise modele ve goreve bagimlidir: genel dil anlama gorevlerinde sinirli etki gorulurken kucuk modeller veya hassas gorevlerde kayip daha belirgin olabilir. **Bir modeli niceleme yapmak icin ne gereklidir?** bitsandbytes veya AutoGPTQ kutuphanesiyle birkaç satirda Python kodla herhangi bir Hugging Face modeli niceleye bilirsiniz; kalibrasyon icin kucuk bir veri kumesi onerilen uygulamalardan biridir. **Quantization modelin egitim verilerini degistirir mi?** Hayir. Niceleme yalnizca cikarim asamasini etkiler; egitim verisi veya egitim sureci degismez. **Hangi modeller niceleye en uyundur?** Buyuk, asiri parametreli modeller genellikle niceleye daha direnclidir; parametreler arasinda islevsel fazlalik bulundugu icin bazi bilgi kaybi tolere edilebilir.
TPU (Tensor Processing Unit) (Tensör İşlem Birimi)
TPU (Tensor Processing Unit), Google tarafindan buyuk olcekli makine ogrenmesi is yuklerini, ozellikle derin sinir agi egitimini ve cikarsama islemlerini hizlandirmak icin tasarlanmis ozel amacli bir entegre devre (ASIC — Application-Specific Integrated Circuit). 2016 yilinda Google'in dahili kullanim icin gelistirmis; 2018'den itibaren Google Cloud uzerinden dis kullanicilara da sunulmustur. TPU'lar, matris cogaltma islemlerine (matrix multiplication) ozellesmis yapilarindan dolayi standart CPU ve GPU'dan farkliliklar ortaya koyar. Derin ogrenme modellerindeki en hesaplama yogun operasyon — ornegin transformer'larin dikkat hesaplama veya convolutional katmanlar — matris cogaltma icerir. TPU'nun Systolic Array mimarisi bu operasyonu paralel ve yuksek bant genisligiyle gerceklestirir. TPU surumleri tarihsel gelisimini yansitiyor: TPU v1 yalnizca cikarsama; TPU v2 ve v3 hem egitim hem cikarsama; TPU v4 ve v5 cok buyuk modellerin (LLM) egitimi icin optimize edilmistir. Google'ın PaLM, Gemini ve AlphaFold modelleri TPU kümelerinde (pod) egitilmistir. Google Cloud TPU Pods, binlerce TPU v4 cekirdegini yuksek bant genislikli agla birlestirerek devasa modellerin egitilmesini olanaklı kilar. JAX (Google'in otomatik turv ve XLA derleme kutuphanesi), TensorFlow ve PyTorch XLA modu ile TPU'lar programlanabilir. Kullanicilara Google Colab veya Cloud TPU uzerinden erisim saglanmaktadir.
AI Hızlandırıcı (Yapay Zeka Hızlandırıcısı)
AI Hızlandırıcı (İng. AI Accelerator), derin öğrenme ve makine öğrenimi iş yüklerini geleneksel merkezi işlem birimlerine (CPU) kıyasla çok daha verimli ve hızlı işlemek amacıyla geliştirilmiş özel amaçlı donanım birimleridir. Yapay zeka modellerinin eğitim ve çıkarım (inference) aşamalarında milyarlarca matris çarpımı, vektör toplama ve aktivasyon fonksiyonu hesabı gerçekleştirilir; bu işlemler genel amaçlı CPU mimarilerinde ciddi darboğazlar oluşturur. AI hızlandırıcılar, sinir ağı operasyonlarına doğrudan optimize edilmiş paralel işlem birimleri ve özel bellek mimarileriyle bu sorunu çözer. Bu alanda en yaygın kullanılan türler şunlardır: GPU (Grafik İşlem Birimi) — binlerce küçük çekirdeğiyle yüksek paralel işlem kapasitesi sunan ilk popüler AI hızlandırıcı; TPU (Tensör İşlem Birimi) — Google'ın TensorFlow iş yükleri için geliştirdiği özel ASIC; NPU (Sinirsel İşlem Birimi) — akıllı telefon ve IoT cihazlarına entegre, düşük güçte çıkarım yapan çip; FPGA (Sahaya Programlanabilir Kapı Dizisi) — yeniden yapılandırılabilir mimarisiyle esnek optimizasyon imkânı sunan donanım; ASIC (Uygulamaya Özel Entegre Devre) — tek bir iş yükü için tasarlanmış, en yüksek verimlilik oranına ulaşan çip. Hızlandırıcıların performansı; saniyede gerçekleştirilebilen kayan noktalı işlem sayısı (TFLOPS), yüksek bant genişlikli bellek (HBM) kapasitesi, bellek bant genişliği ve chip-to-chip iletişim hızı (NVLink, InfiniBand) gibi metriklerle ölçülür. Enerji verimliliği FLOPS/Watt biriminde ifade edilir ve veri merkezi işletme maliyetlerini doğrudan etkiler. Büyük dil modelleri (LLM) trilyonlarca parametreye ulaştıkça yüzlerce ila binlerce hızlandırıcının NVLink veya InfiniBand ile birbirine bağlandığı kümeler (accelerator clusters) ortaya çıkmıştır. NVIDIA H100/H200 Hopper ve Blackwell serileri, Google Trillium (TPU v6), AWS Trainium2 ve Groq LPU günümüz yapay zeka altyapısının bel kemiğini oluşturmaktadır. Öte yandan uç yapay zeka (edge AI) alanında NPU'lar akıllı telefon, güvenlik kamerası ve araç içi sistemlere gömülerek bulut bağlantısı gerektirmeden gerçek zamanlı çıkarım yapabilmektedir. Bu iki eğilim — bulut kümelerindeki devasa ölçek ve uçtaki düşük güçlü çıkarım — modern AI hızlandırıcı ekosisteminin iki kutbunu tanımlamaktadır.
ASIC (Uygulama Özel Entegre Devre)
ASIC (Application Specific Integrated Circuit — Uygulama Özel Entegre Devre), belirli bir görevi yerine getirmek amacıyla özel olarak tasarlanmış bir entegre devre türüdür. Genel amaçlı CPU veya GPU'ların aksine, ASIC yalnızca tek bir işlev için optimize edilir; bu da onu söz konusu görev için son derece hızlı, enerji verimli ve maliyet etkin hale getirir. Yapay zeka alanında ASIC'ler, sinir ağı eğitimi ve çıkarımı (inference) için kritik bir donanım çözümü olarak öne çıkmaktadır. Bir ASIC, üretildikten sonra yeniden programlanamaz; ancak bu esneklik eksikliği, tasarımın hedef göreve göre mükemmel biçimde optimize edilmesini mümkün kılar. Google'ın TPU'su (Tensor Processing Unit), matris çarpımı ve tensör işlemleri için geliştirilmiş bir yapay zeka ASIC'idir. Apple'ın Neural Engine'i, Tesla'nın FSD (Full Self-Driving) çipi ve Huawei'nin Ascend serisi de bu kategoride değerlendirilen önde gelen örneklerdir. 2026 yılı itibarıyla özel yapay zeka ASIC'lerinin pazar büyümesi genel amaçlı GPU büyümesinin neredeyse üç katına ulaşmıştır. TrendForce verilerine göre ASIC sevkiyatları yıllık bazda yüzde 44,6 büyürken genel amaçlı GPU'lar yalnızca yüzde 16,1 büyüme kaydetmiştir. Bu eğilim, yapay zeka altyapısında özel silikon çözümlerine olan talebin ne denli hızlandığını açıkça ortaya koymaktadır. Bloomberg Intelligence, 2033 yılına kadar özel AI ASIC pazarının yüzde 27 bileşik yıllık büyüme oranıyla 118 milyar dolara ulaşacağını öngörmektedir. ASIC tasarımı, maskeler ve doğrulama süreçleri nedeniyle yüksek başlangıç (NRE — Non-Recurring Engineering) maliyeti gerektirdiğinden genellikle büyük ölçekli ve uzun vadeli üretim kararları için tercih edilir. Ancak yüksek hacimli çıkarım iş yüklerinde genel amaçlı alternatiflere kıyasla yüzde 40-65 arasında toplam sahip olma maliyeti (TCO) avantajı sağladığı bilinmektedir. Modern ASIC tasarımında chiplet mimarisi de yaygınlaşmaktadır: tek bir pakette birleştirilen I/O, hesaplama, bellek ve analog parçaları ayrı kalıplar olarak üretilerek performans ve verimlilik maksimize edilmektedir.
Chiplet (Çiplet Mimarisi)
Chiplet, geleneksel tek-parça silikon üretim anlayışını köklü biçimde değiştiren modern bir yarı iletken tasarım paradigmasıdır. Klasik yaklaşımda tüm işlemci fonksiyonları tek ve büyük bir silikon kalıbı (monolitik die) üzerinde birleştirilirdi; ancak kalıp büyüdükçe üretim verimi düşer, maliyetler katlanır ve termal yönetim zorlaşır. Chiplet mimarisinde büyük kalıp yerine birden fazla küçük, uzmanlaşmış die ayrı ayrı üretilir. CPU çekirdeği, bellek denetleyicisi, G/Ç arabirimi ve yapay zeka hesaplama birimi gibi farklı işlevler ayrı chiplet modülleri olarak tasarlanır. Bu bileşenler gelişmiş paketleme teknolojileri (2.5D, 3D entegrasyon) aracılığıyla tek bir paket içinde bir araya getirilir. AMD 2017 yılında piyasaya sürdüğü EPYC sunucu işlemcileriyle bu paradigmayı ana akım haline getirdi. Şirket; CPU çekirdek komplekslerini (CCD) yüksek hacimli bir 7 nm sürecinde, I/O denetleyicisini ise daha olgun bir 14 nm sürecinde üreterek verim ve maliyet optimizasyonu sağladı. Yapay zeka hızlandırma alanında chipletler artık olmazsa olmaz bir konumdadır. AMD Instinct MI300X, sekiz hesaplama chipletiyle birleştirilen HBM3 bellek yığınlarından oluşan 192 GB kapasitesiyle büyük dil modellerinin eğitimi ve çıkarımı için kritik bir platform sağlar. Intel Ponte Vecchio ve NVIDIA'nın gelecek nesil tasarımları da benzer yaklaşımları benimser. Çipletler arasındaki iletişim için UCIe (Universal Chiplet Interconnect Express) gibi açık endüstri standartları geliştirilmektedir. Bu standartlar farklı üreticilerden gelen chipletlerin birlikte çalışabilmesini ve bir LEGO sistemi gibi özelleştirilebilir AI işlemcileri oluşturulmasını hedefler. Chiplet ekonomisi, özellikle veri merkezi AI iş yüklerinde donanım seçeneklerini köklü biçimde genişletti.
InfiniBand (Yüksek Hızlı AI Ağ Protokolü)
InfiniBand, sunucular, GPU kümeleri ve depolama sistemleri arasında yüksek bant genişliği ve son derece düşük gecikme süresi sağlayan bir ağ iletişim standardı ve protokolüdür. 1999 yılında geliştirilmiş olan InfiniBand, özellikle yüksek performanslı bilişim (HPC) ve büyük ölçekli yapay zeka eğitim altyapılarında kritik bir bileşen olarak kullanılmaktadır. NVIDIA'nın satın aldığı Mellanox tarafından geliştirilen bu teknoloji, günümüzdeki en büyük AI süperbilgisayarlarının temel ağ altyapısını oluşturmaktadır.
VRAM (GPU Belleği)
VRAM (Video RAM), GPU'nun (grafik işlemci birimi) üzerinde bulunan ve model ağırlıkları, aktivasyonlar ile ara hesaplama verilerini tutan yüksek bant genişlikli bellektir. Sistem RAM'i CPU'ya hizmet ederken VRAM doğrudan GPU çekirdeklerine bağlıdır ve GDDR7 ile 1 TB/s'nin üzerinde, HBM3e ile 8 TB/s'ye varan veri aktarım hızına ulaşır. Bu hız farkı, binlerce çekirdeğin aynı anda veri beklediği paralel hesaplamada belirleyicidir. Yapay zeka tarafında VRAM, çalıştırılabilecek modelin üst sınırını çizen ana donanım kısıtıdır. Bir büyük dil modelinin (LLM) tüm ağırlıkları çıkarım sırasında VRAM'e yüklenir: 7B parametreli bir model FP16 hassasiyetle yaklaşık 14 GB, 4-bit kuantizasyonla 4-5 GB yer kaplar; 70B sınıfı bir model ise FP16'da 140 GB isteyip INT4 ile 35-40 GB'a iner. Ağırlıkların üzerine, bağlam uzunluğuyla büyüyen KV cache ve batch verisi eklenir; 128K token bağlam tek başına gigabaytlarca ek VRAM tüketebilir. Kapasite aşıldığında model ya hiç yüklenmez ya da sistem RAM'ine taşarak (CPU offload) on kata varan yavaşlamayla çalışır. 2026 itibarıyla kapasite yelpazesi geniştir: tüketici tarafında RTX 5090 32 GB GDDR7, RTX 4090 24 GB sunar; veri merkezinde H100 80 GB, H200 141 GB, Blackwell B200 ise 192 GB HBM3e taşır. Apple Silicon farklı bir yol izler: M3 Ultra'da 512 GB'a çıkan birleşik bellek (unified memory), CPU ve GPU tarafından ortak kullanılır ve ayrı VRAM kavramını ortadan kaldırır. Yerel LLM çalıştırma, Stable Diffusion/Flux ile görüntü üretme veya LoRA ince ayarı planlayan herkes için ilk sorulacak soru işlemci hızı değil, kaç GB VRAM olduğudur.
NPU Mimarisi Nedir? Sinir Ağı İşlemci Tasarımı (NPU Mimarisi)
NPU mimarisi (Nöral İşlem Birimi Mimarisi), yapay zeka ve derin öğrenme iş yüklerini işlemek için CPU veya GPU'dan bağımsız olarak tasarlanmış özel bir donanım bileşenidir. CPU'ların genel amaçlı sıralı hesaplama mimarisinden ve GPU'ların büyük ölçekli paralel grafik işlem özelliğinden farklı olarak NPU'lar, sinir ağlarında en sık kullanılan matris çarpımı, konvolüsyon ve aktivasyon fonksiyonu hesaplamalarını doğrudan donanım düzeyinde gerçekleştirmek için özelleştirilmiştir. Bir NPU'nun temel yapısal bileşenleri şunlardır: çok sayıda sistematik biçimde düzenlenmiş çarpma-toplama (MAC, Multiply-Accumulate) birimi, aktivasyon fonksiyonları için tasarlanmış özel devreler, düşük bant genişliği sorununu gidermek için entegre on-chip bellek tamponları ve modelden modele değişen veri akışlarını destekleyen yeniden yapılandırılabilir veri yolları. Çoğu modern NPU ayrıca INT8, FP16 ya da BF16 gibi düşük hassasiyetli sayı formatlarını destekler; bu sayede güç tüketimini önemli ölçüde azaltırken işlem kapasitesini artırır. Kullanım senaryosu açısından NPU'lar özellikle uç cihazlarda öne çıkmaktadır. Apple'ın M4 çipindeki Neural Engine (38 TOPS), Qualcomm Snapdragon serisi Hexagon NPU'su ve Intel'in Meteor Lake serilerindeki NPU modülleri (40+ TOPS) doğrudan tüketici donanımında çalışan güçlü AI ivedilendiricilerine örnek gösterilebilir. Microsoft'un Copilot+ PC sertifikasyonu da en az 40 TOPS NPU kapasitesini zorunlu kılmaktadır. NPU mimarisi, AI iş yüklerinin giderek artan yoğunluğuna karşı güç-verimlilik (TOPS/Watt) dengesini en üst düzeye çıkarmak amacıyla tasarlanmış, modern SoC tasarımının vazgeçilmez bir bileşenidir.
SoC (System-on-Chip) (Sistem Üzeri Çip)
SoC (System-on-Chip / Sistem Üzeri Çip), işlemci (CPU), grafik birimi (GPU), sinir işlemcisi (NPU), bellek kontrolcüsü ve G/Ç birimlerini tek bir silikon yonga üzerinde entegre eden devre mimarisidir. Yapay zeka uygulamalarında SoC'ler, birleşik bellek mimarisi (Unified Memory Architecture) sayesinde bant genişliği darboğazını ortadan kaldırır; uç cihazlarda (edge AI) düşük güç tüketimiyle yüksek hızlı çıkarım (inference) yapılmasına olanak tanır.
TPU Mimarisi (TPU Mimarisi)
TPU Mimarisi (Tensor Processing Unit Architecture), Google tarafından matris çarpımı ve lineer cebir işlemlerini maksimum verimlilikle gerçekleştirmek için özel olarak tasarlanan donanım işlemci mimarisini ifade eder. GPU ve CPU'nun aksine genel amaçlı hesaplama için değil, özellikle derin öğrenme modellerinin eğitimi ve çıkarımı (inference) için optimize edilmiş olan TPU, ilk olarak 2016 yılında Google veri merkezlerinde kullanılmaya başlanmıştır. TPU mimarisinin temel yapı taşı sistolik dizi (systolic array) adı verilen ve binlerce çarpma-toplama (multiply-accumulate) biriminin birbirine doğrudan bağlı olduğu matris yapısıdır. Bu mimaride veri bir kez bellekten yüklenir ve dizi boyunca akarak defalarca yeniden kullanılır; böylece bellek bant genişliği talebi dramatik biçimde düşürülür. TPU v1, 700 MHz saat hızında 65.536 çarpma-toplama işlemini eş zamanlı gerçekleştirebilir ve saniyede 92 trilyon 8-bit işlem kapasitesine sahipken yalnızca 40 watt güç tüketir. Her TPU TensorCore birimi; matris çarpımı birimi (MXU), vektör birimi ve skaler birimden oluşur. TPU v5 ve sonraki nesillerde MXU boyutu 256×256'ya çıkarılmış, HBM (High Bandwidth Memory) kullanımıyla bant genişliği daha da artırılmıştır. Yeni nesil TPU'lar eğitim (TPU 8t) ve çıkarım (TPU 8i) için ayrı varyantlar olarak sunulmakta; bu sayede farklı hesaplama gereksinimlerine özgü donanım optimizasyonu sağlanmaktadır. Google'ın TPU'ları günümüzde Google Cloud üzerinden TPU VM ve TPU Pod yapılandırmaları şeklinde erişilebilmektedir. Bir TPU Pod, binlerce TPU çekirdeğini yüksek hızlı ara bağlantılarla birleştirerek eksa-ölçek hesaplama kapasitesi sunar. ChatGPT, Gemini ve benzeri büyük dil modellerinin eğitiminde kullanılan en kritik donanım altyapılarından birini oluşturan TPU mimarisi, NVIDIA GPU'larına alternatif en güçlü yapay zeka hızlandırıcı platformu konumundadır.
Die Stacking Nedir? 3D Çip Entegrasyonu Rehberi (Die Yığma)
Die stacking (die yığma veya 3B entegre devre), birden fazla yarı iletken çip katmanının (die) dikey olarak üst üste istiflendiği ve Through-Silicon Via (TSV) ya da hibrit bağlama yöntemiyle birbirine bağlandığı ileri bir paketleme teknolojisidir. Bu teknik sayesinde çipler arasındaki iletişim mesafesi dramatik biçimde kısalır; sinyal gecikmeleri azalır, bant genişliği artar ve bit başına enerji tüketimi düşer. Die stacking'in en yaygın örneği HBM (High Bandwidth Memory) bellektir. HBM'de 4-12 DRAM katmanı dikey olarak üst üste istiflenip bir interposer üzerinde GPU veya AI işlemcisiyle yan yana konumlandırılır. NVIDIA H100'deki HBM3 bellekler 3,35 TB/s'ye varan bant genişliği sunarak yapay zeka modellerinin eğitimindeki bellek darboğazını büyük ölçüde ortadan kaldırır. AMD 3D V-Cache teknolojisi, TSMC'nin SoIC (System-on-Integrated-Chip) hibrit bağlama prosesiyle SRAM katmanlarını doğrudan CPU üzerine istifler. 9 µm pitch ile gerçekleştirilen bu bağlantı, geleneksel yöntemlere göre 15 kat daha yoğun bir ara yüz sunar ve L3 önbellek kapasitesini 2-3 katına çıkarır. Intel'in Foveros teknolojisi ise farklı süreç düğümlerinde üretilmiş katmanları—örneğin 7 nm hesap die'ı ile 22 nm G/Ç die'ını—tek paket içinde birleştirerek heterojen entegrasyona olanak tanır. TSMC SoIC ve Intel Foveros Direct gibi modern çözümler, yapay zeka hızlandırıcı tasarımının temel bileşeni hâline gelmektedir.
DPU (Veri İşleme Birimi)
DPU (Data Processing Unit — Veri İşleme Birimi), CPU ve GPU'nun yanında modern bilişimin üçüncü işlemci sütunu olarak konumlanan, ağ, depolama ve güvenlik altyapısını donanım düzeyinde yönetmek için tasarlanmış özel bir işlemci birimidir. NVIDIA, 2020 yılında BlueField-2 ile bu kavramı veri merkezi sektörüne kazandırdı; teknolojinin temeli ise daha önce SmartNIC ve altyapı yük boşaltma (infrastructure offload) işlemcileri olarak bilinen çözümlere dayanır. Geleneksel veri merkezlerinde ağ trafiği yönetimi, şifreleme, depolama sanallaştırma ve güvenlik duvarı gibi altyapı görevleri CPU çekirdeklerinin önemli bir bölümünü tüketir. DPU, bu görevleri altyapı bant hızında (line rate) gerçekleştiren donanım hızlandırıcılar aracılığıyla üstlenir ve CPU'nun tüm kapasitesini uygulama mantığı ile yapay zeka hesaplamaya yönlendirir. Yapay zeka kümelerinde DPU'nun rolü özellikle kritiktir. Yüzlerce veya binlerce GPU'dan oluşan ölçekli eğitim kümelerinde GPU'lar sürekli olarak gradyan senkronizasyonu, model parametresi aktarımı ve kontrol noktası (checkpoint) G/Ç işlemleri için ağı kullanır. Bu trafik, geleneksel mimaride host CPU'nun omuzlarına yüklenir; küme büyüdükçe CPU darboğazı GPU kullanım verimliliğini düşürür. DPU, RDMA ve RoCE (RDMA over Converged Ethernet) işlemlerini doğrudan kendi üzerindeki donanım motorlarında çalıştırarak bu yükü host sistemden tamamen kaldırır. NVIDIA BlueField-3, günümüzün en yaygın DPU'su olarak öne çıkar. TSMC 5 nm sürecinde üretilen BlueField-3, 22 milyar transistör barındırır, 400 Gb/sn ağ çıkışı sunar ve Arm Cortex-A78 çekirdekleri üzerinde bağımsız bir Linux işletim sistemi çalıştırır. NVIDIA'nın açıkladığına göre tek bir BlueField-3, yaklaşık 300 CPU çekirdeğinin üstlenebileceği altyapı yükünü karşılayabilmektedir. Marvell OCTEON 10 ve Intel IPU (Infrastructure Processing Unit) bu alandaki başlıca rakip çözümler arasında yer alır. Güvenlik perspektifinden DPU, host işletim sisteminden bağımsız ayrı bir koruma alanı oluşturur. Kiracı iş yükleri, DPU üzerinde çalışan ağ izleme, şifreleme veya güvenlik duvarı kurallarına müdahale edemez; bu özellik çok kiracılı bulut altyapılarında sıfır güven (zero-trust) mimarisinin donanım temelini sağlar. Enerji verimliliği boyutunda genel amaçlı bir CPU'nun altyapı görevleri için harcadığı enerji ile amaca özel DPU donanımının harcadığı enerji arasındaki fark büyüktür. Veri merkezleri fiziksel güç yoğunluk sınırlarına yaklaştıkça DPU, toplam sistem verimliliğine orantısız biçimde olumlu katkı sağlar.
HBM (Yüksek Bant Genişlikli Bellek) Nedir? (HBM (Yüksek Bant Genişlikli Bellek))
HBM (High Bandwidth Memory), birden fazla DRAM yongasını dikey olarak üst üste yığan (3D stacking) ve bunları Through-Silicon Via (TSV) bağlantılarıyla birleştiren bir bellek mimarisidir. GDDR6 gibi geleneksel grafik belleklerinin bant genişliği sınırlarını aşmak için geliştirilmiştir. NVIDIA H100'de kullanılan HBM3, 3,35 TB/s bant genişliğiyle büyük dil modeli eğitiminde kritik bir darboğazı ortadan kaldırır.
In-Memory Computing Nedir? Bellek-İçi AI Hesaplama (Bellek-İçi Hesaplama)
In-Memory Computing (Bellek-İçi Hesaplama), verilerin geleneksel disk tabanlı depolama yerine doğrudan RAM veya yüksek bant genişlikli bellek (HBM) üzerinde işlenmesi paradigmasıdır. Geleneksel mimaride CPU veya GPU, hesaplama yaparken model ağırlıklarını ve aktivasyonları bellekten defalarca okumak zorundadır; bu veri transferi, özellikle büyük dil modellerinin (LLM) çıkarım aşamasında ciddi bir darboğaz oluşturur. İşlemcinin bekleyerek geçirdiği bu süre, toplam çıkarım gecikmesinin büyük bölümünü oluşturur. Processing-in-Memory (PIM) ya da Near-Memory Computing olarak da bilinen bu yaklaşımda, hesaplama mantığı doğrudan bellek çipleri içine entegre edilir. Böylece veri işlemciye taşınmak yerine, işlemci verinin bulunduğu yerde çalışır. Bir LPDDR5 DRAM çipinin harici G/Ç bant genişliği yaklaşık 51,2 GB/s ile sınırlıyken, dahili all-bank bant genişliği 409,6 GB/s'ye ulaşabilir; bu yaklaşık 8 katlık artış, verinin yanında hesaplama yapmanın sağladığı temel avantajdır. Samsung (AxDIMM/HBM-PIM), SK Hynix (AiM — Accelerator-in-Memory) ve UPmem gibi şirketler, AI iş yüklerine özgü ticari PIM çözümleri geliştirmektedir. GPU+HBM-PIM entegrasyonu, yalnızca GPU mimarisine kıyasla LLM çıkarımında 3,24 kat hızlanma ve yüzde 60 enerji tasarrufu sağlayabilmektedir. Transformer mimarilerindeki matris-vektör çarpımı (GEMV) ve dikkat mekanizmaları, hesaplama kapasitesinden çok bellek bant genişliğine duyarlıdır; bu nedenle bellek-içi hesaplama bir sonraki nesil AI donanımının temel bileşeni olmaya adaydır. Edge AI cihazlarında ise RISC-V tabanlı PIM modülleri, nöral ağ çıkarımını düşük güç bütçesiyle gerçekleştirmeyi mümkün kılar.
Wafer Nedir? Yapay Zeka Çiplerinin Hammaddesi (Silikon Vaferi)
Silikon vafer (wafer), yarı iletken çip üretiminin temelini oluşturan, yüksek saflıkta silikon kristalinden kesilmiş ince ve yuvarlak disk biçimindeki levhadır. GPU, TPU, NPU ve ASIC gibi yapay zeka ivedileyicilerinin tamamı bu diskler üzerine foto-litografi, oyma, kaplama ve diğer kimyasal işlemler uygulanarak üretilir. Tek bir wafer üzerinde aynı anda yüzlerden binlerce özdeş çip (die) üretilebilir; bu da büyük ölçekli seri üretimi ve düşük birim maliyeti mümkün kılar. Endüstri standardı wafer çapı günümüzde 300 mm (12 inç) düzeyindedir. NVIDIA H100, Google TPU v5 ve Apple M serisi gibi günümüz AI çiplerinin tamamı bu boyuttaki wafer'lar üzerinde TSMC, Samsung veya Intel Foundry gibi fabrikasyon tesislerinde (fab) üretilmektedir. Wafer verimi (yield), üretim kalitesini ve doğrudan çip maliyetini belirleyen kritik performans göstergesidir.