category Donanım ve Çipler
Yapay zeka hızlandırıcıları ve işlemciler
ARM Çip (ARM Çip)
ARM (Advanced RISC Machines), Reduced Instruction Set Computing (RISC) felsefesini temel alan ve dünyada en yaygın kullanılan işlemci mimarilerinden biridir. 1990 yılında İngiliz şirketi ARM Holdings tarafından geliştirilen bu mimari, basit ama hızlı komut setleri sayesinde x86 tabanlı işlemcilere kıyasla çok daha düşük güç tüketir. Bu özellik, pil ömrünün kritik olduğu akıllı telefonlarda ARM'ı vazgeçilmez kılar: bugün piyasadaki her akıllı telefon ARM tabanlı bir işlemci kullanmaktadır. ARM Holdings, çip üretmek yerine mimarisini lisanslama modeliyle çalışır. Apple, Qualcomm, Samsung, MediaTek ve Nvidia gibi şirketler bu lisansı satın alarak kendi çiplerini tasarlar. Bu yaklaşım, ARM ekosisteminin son derece geniş ve çeşitli bir ürün yelpazesi oluşturmasını sağlamıştır. Apple'ın M1/M2/M3/M4 serisi ARM tabanlıdır ve özel Neural Engine birimleri içerdiğinden makine öğrenmesi görevlerinde Intel ve AMD işlemcilerini geride bırakmıştır. Yapay zeka açısından ARM'ın önemi giderek artmaktadır. ARM Cortex-A serisi yüksek performanslı cihazlar için, Cortex-M serisi ise mikrodenetleyiciler ve kenar cihazlar için tasarlanmıştır. ARM'ın Ethos NPU (Neural Processing Unit) ailesi, büyük dil modellerinin ve görüntü tanıma algoritmalarının doğrudan cihazda (on-device) çalıştırılmasına olanak tanır; bu da veri gizliliği, gecikme süresi ve bant genişliği açısından bulut çözümlerine göre önemli avantajlar sunar. Veri merkezlerinde de ARM dönüşümü yaşanmaktadır. Amazon Web Services'in Graviton3 işlemcisi, aynı iş yükü için x86 sunucularına kıyasla yüzde kırk daha az enerji tüketmektedir. Bu gelişme, büyük dil modeli çıkarımı (inference) ve model kenar cihazlara dağıtımı (edge deployment) için ARM mimarisini stratejik bir tercih haline getirmektedir.
ASIC (Uygulama Özel Entegre Devre)
ASIC (Application Specific Integrated Circuit — Uygulama Özel Entegre Devre), belirli bir görevi yerine getirmek amacıyla özel olarak tasarlanmış bir entegre devre türüdür. Genel amaçlı CPU veya GPU'ların aksine, ASIC yalnızca tek bir işlev için optimize edilir; bu da onu söz konusu görev için son derece hızlı, enerji verimli ve maliyet etkin hale getirir. Yapay zeka alanında ASIC'ler, sinir ağı eğitimi ve çıkarımı (inference) için kritik bir donanım çözümü olarak öne çıkmaktadır. Bir ASIC, üretildikten sonra yeniden programlanamaz; ancak bu esneklik eksikliği, tasarımın hedef göreve göre mükemmel biçimde optimize edilmesini mümkün kılar. Google'ın TPU'su (Tensor Processing Unit), matris çarpımı ve tensör işlemleri için geliştirilmiş bir yapay zeka ASIC'idir. Apple'ın Neural Engine'i, Tesla'nın FSD (Full Self-Driving) çipi ve Huawei'nin Ascend serisi de bu kategoride değerlendirilen önde gelen örneklerdir. 2026 yılı itibarıyla özel yapay zeka ASIC'lerinin pazar büyümesi genel amaçlı GPU büyümesinin neredeyse üç katına ulaşmıştır. TrendForce verilerine göre ASIC sevkiyatları yıllık bazda yüzde 44,6 büyürken genel amaçlı GPU'lar yalnızca yüzde 16,1 büyüme kaydetmiştir. Bu eğilim, yapay zeka altyapısında özel silikon çözümlerine olan talebin ne denli hızlandığını açıkça ortaya koymaktadır. Bloomberg Intelligence, 2033 yılına kadar özel AI ASIC pazarının yüzde 27 bileşik yıllık büyüme oranıyla 118 milyar dolara ulaşacağını öngörmektedir. ASIC tasarımı, maskeler ve doğrulama süreçleri nedeniyle yüksek başlangıç (NRE — Non-Recurring Engineering) maliyeti gerektirdiğinden genellikle büyük ölçekli ve uzun vadeli üretim kararları için tercih edilir. Ancak yüksek hacimli çıkarım iş yüklerinde genel amaçlı alternatiflere kıyasla yüzde 40-65 arasında toplam sahip olma maliyeti (TCO) avantajı sağladığı bilinmektedir. Modern ASIC tasarımında chiplet mimarisi de yaygınlaşmaktadır: tek bir pakette birleştirilen I/O, hesaplama, bellek ve analog parçaları ayrı kalıplar olarak üretilerek performans ve verimlilik maksimize edilmektedir.
Blackwell (NVIDIA Blackwell GPU Mimarisi)
Blackwell, NVIDIA tarafından Mart 2024'te duyurulan beşinci nesil GPU mimarisidir ve yapay zeka altyapısında çığır açan bir ilerlemeyi temsil eder. İsmi, olasılık teorisi ve istatistiğe katkılarıyla tanınan Afrikalı-Amerikalı matematikçi ve akademisyen David Blackwell'den almaktadır. Mimari, TSMC'nin gelişmiş 4NP üretim süreci üzerine inşa edilmiş çift-die (dual-die) chiplet tasarımı kullanır ve toplamda 208 milyar transistör içerir; bu rakam selefinin (Hopper/H100) neredeyse iki katıdır. Blackwell ailesi birden fazla GPU çeşidini kapsar: B100 giriş seviyesi varyant, B200 amiral gemisi GPU ve GB200 Grace-Blackwell Süperçip modülü. Bellek kapasitesi açısından B200, 192 GB HBM3e belleğe ve 8 TB/s bellek bant genişliğine sahiptir. Blackwell Ultra serisiyle birlikte gelen B300 modeli ise bu değeri 288 GB HBM3e'ye çıkarmıştır. GB200 NVL72 raf sistemi, 72 adet B200 GPU ile 36 adet Grace CPU'yu tek bir sıvı soğutmalı rafta birleştirerek toplamda 13,5 TB HBM3e bellek kapasitesi ve 1,4 eksaFLOPS hesaplama gücü sunar. Beşinci nesil NVLink (NVLink 5.0), her GPU için 1,8 TB/s çift yönlü bant genişliği sağlayarak Hopper'daki NVLink 4'e göre bant genişliğini ikiye katlar. Çift-die mimarisinin iç bağlantısında ise 10 TB/s bant genişliği elde edilmektedir; bu sayede iki die arasındaki veri transferi neredeyse engelsiz gerçekleşir. Blackwell'in en dikkat çekici yeniliği FP4 ve FP6 hassasiyet formatları ile mikro-tensör ölçeklendirme teknolojisidir. FP4 formatında 20 petaFLOPS hesaplama gücü sunan mimari, model ağırlıklarının bellek gereksinimini yarıya indirerek trilyon parametreli modellerin eğitimini ve çıkarımını daha önce mümkün olmayan ölçeklerde gerçekleştirmeye olanak tanır. Performans karşılaştırmalarında Blackwell, Hopper (H100) mimarisine göre çarpıcı üstünlükler sergiler: Llama 2 70B ince ayarında 2,2 kat, GPT-3 175B ön eğitiminde ise 2 kat hız artışı sağlar. GB200 NVL72 raf sistemi, büyük ölçekli LLM çıkarım görevlerinde H100'e kıyasla 30 kat performans iyileştirmesi sunarken enerji tüketimini 25 kat azaltır. Önceden 256 Hopper GPU gerektiren iş yükleri artık yalnızca 64 Blackwell GPU ile yürütülebilmektedir. Google, Meta, Microsoft ve Amazon gibi hiper ölçekli şirketler büyük yapay zeka modellerinin eğitimi ve çıkarım altyapısı için Blackwell'i benimsemiştir. NVIDIA bu teknolojiyi yapay zeka fabrikaları olarak konumlandırmakta ve trilyon parametreli modellerin ticari ölçekte çalışmasını mümkün kılan hesaplama altyapısı olarak tanımlamaktadır.
Cerebras Nedir? Yapay Zeka için Wafer Scale Engine (Gofret Ölçekli Motor)
Cerebras Systems, 2016 yılında kurulan ve yapay zeka donanımında temelden farklı bir yaklaşım benimseyen Amerikan teknoloji şirketidir. Şirketin temel ürünü olan Wafer Scale Engine (WSE — Gofret Ölçekli Motor), tek bir silikon yonga üzerinde 900.000 çekirdek ve 44 GB çip içi SRAM bellek barındıran, tarihin en büyük üretilmiş çipidir; NVIDIA B200'den 58 kat daha geniş yüzey alanına sahiptir. Geleneksel GPU tabanlı sistemlerde büyük dil modellerinin çıkarımı (inference) sırasında model ağırlıklarının harici HBM belleğinden tekrar tekrar yüklenmesi kritik bir darboğaz oluşturur. WSE, 21 petabayt/saniye çip içi bant genişliği sunarak bu bellek duvarını mimari düzeyde aşar: model ağırlıkları çipte kalır, yükleme gecikmesi sıfıra yaklaşır. Cerebras Inference platformu bu avantajla Llama 3.1 70B modelinde saniyede 2.100'ü aşkın token üretebilirken GPU tabanlı rakipler yüzlerde kalır. Cerebras'ın iş modeli hem donanım satışını hem bulut tabanlı inference hizmetini kapsar. API üzerinden erişilebilen Cerebras Cloud, dakika başı fiyatlandırmayla bireysel geliştiricilere ve kuruluşlara ultra düşük gecikme süreli çıkarım imkânı sunar. Gerçek zamanlı konuşma uygulamaları, kod tamamlama ve hukuk ile tıp alanlarındaki uzun bağlam gerektiren görevler bu platformun öne çıktığı kullanım senaryolarıdır. API'si OpenAI formatıyla uyumludur; mevcut OpenAI çağrıları minimum değişiklikle Cerebras'a taşınabilir. Şirket Mayıs 2026'da halka açılarak hisse başına 185 dolardan 5,55 milyar dolar topladı; ilk işlem gününde hisseleri neredeyse iki katına çıktı. Bu finansal başarı, GPU'ya alternatif yapay zeka donanımı alanının güçlü bir yatırımcı ilgisi çektiğini kanıtlamıştır. Ekosistem açısından Llama 3.1/3.3, DeepSeek-R1 ve diğer açık ağırlıklı modelleri destekler. Cerebras, NVIDIA'nın veri merkezi egemenliğini sorgulayan az sayıdaki gerçek GPU rakiplerinden biri olarak yapay zeka donanım ekosisteminde stratejik bir konuma yerleşmiştir.
Chip Design Nedir? Entegre Devre Tasarım Süreci (Çip Tasarımı)
Chip tasarimi (chip design), bir yariiletken entegre devrenin islevsel gereksinimlerinden baslayarak fiziksel silikon katmanina kadar tum tasarim asamalarini kapsayan, son derece karmasik ve disiplinlerarasi bir muhendislik alanidur. Modern bir cip milyarlarca transistor icerdiginde bu tasarimi manuellle gerceklestirmek imkansizdir; Electronic Design Automation (EDA) araclari bu sureci yurutebilir kilan yazilim katmanini olusturur. Tasarim akisi birden fazla abstraksiyon katmanindan gecer. En ust duzeyinde mimari tasarim, ipin ne yapacagini tanimlar. Register-Transfer Level (RTL) asamasinda Verilog veya VHDL gibi donanim tanimlama dilleriyle mantiksal devreler kodlanir. Sentez asamasinda bu RTL kodu, belirli bir teknoloji kutuphanesi ve performans kisitlamalariyla standart hucrelere (standart cells) donusturulur. Place-and-route (yerlesim ve yonlendirme) asamasinda sentezlenmis devre elemanlari fiziksel olarak cipse yerlestirilir ve metal katmanlarla birlestirilir. Fiziksel dogrulama (DRC, LVS) tasarimin imalat kurallarina uygun olup olmadigini kontrol eder. Son olarak GDSII dosyasi foundry'ye gonderilir. AI'in chip tasarımına entegrasyonu son yillarda hizlanmistir. Google'in 2021 yilında Nature dergisinde yayinlanan makalesi, pekistirmeli ogrenme kullanan bir sistemin GPU cip yerlesim gorevini uzman insanlarla rekabet edecek duzeyde gerceklestirebildigini gostermistir. Synopsys ve Cadence gibi EDA sirketleri AI destekli optimizasyon araclari piyasaya surmustir. Generatif AI'in RTL kod uretimi ve dogrulama test ornekleri olusturma konularinda da deneyler yapilmaktadir. Fabless model, tasarim ve uretimi birbirinden ayirmistir. Qualcomm, NVIDIA, AMD ve Apple gibi fabless sirketler ciplerini tasarlarken uretimi TSMC, Samsung Foundry ve Intel Foundry gibi fab sirketlerine birakmaktadir. Bu is bolumu, tasarim inovasyonunun uretim altyapisina yatirim yapilmadan gerceklestirilebilmesine olanak tanımistir. **Sik Sorulan Sorular** **Chip tasarimi ogrenmeye nereden baslarim?** Verilog veya VHDL dilleriyle baslayip gercek donanim geri bildirim dongusu icin FPGA kullanmak yaygın bir giris yoludur. Cocotb ile Python tabanli dogrulama ve acik kaynak OpenROAD EDA araclari ogrenmek icin pratik seçeneklerdir. **AI chip tasarımında insanlarin yerini alacak mi?** Kisa vadede hayir. AI belirli tasarim alt gorevlerini (placement, parametre optimizasyonu) hizlandirirken mimari karar verme ve gereksinim analizi hala insan uzmanligi gerektirmektedir. **FPGA ile ASIC arasindaki fark nedir?** FPGA, saha programlanabilir bir donanımdir; tasarim degistirilebilir. ASIC (Application-Specific Integrated Circuit) belirli bir uygulama icin ozel uretilmis, degistirilemez bir cipttir; daha yuksek performans ve dusuk guc tuketimi saglar ama tasarim maliyeti ve suresi cok daha yuksektir. **Cip tasarim sureci ne kadar surer?** Basit bir cip aylar alirken karmasik bir SoC (System-on-Chip) 3-5 yil alabilir. Dogrulama, genellikle RTL kodlama ile birlikteyken toplam surecin yuzde ellisinden fazlasini kaplar.
Chiplet (Çiplet Mimarisi)
Chiplet, geleneksel tek-parça silikon üretim anlayışını köklü biçimde değiştiren modern bir yarı iletken tasarım paradigmasıdır. Klasik yaklaşımda tüm işlemci fonksiyonları tek ve büyük bir silikon kalıbı (monolitik die) üzerinde birleştirilirdi; ancak kalıp büyüdükçe üretim verimi düşer, maliyetler katlanır ve termal yönetim zorlaşır. Chiplet mimarisinde büyük kalıp yerine birden fazla küçük, uzmanlaşmış die ayrı ayrı üretilir. CPU çekirdeği, bellek denetleyicisi, G/Ç arabirimi ve yapay zeka hesaplama birimi gibi farklı işlevler ayrı chiplet modülleri olarak tasarlanır. Bu bileşenler gelişmiş paketleme teknolojileri (2.5D, 3D entegrasyon) aracılığıyla tek bir paket içinde bir araya getirilir. AMD 2017 yılında piyasaya sürdüğü EPYC sunucu işlemcileriyle bu paradigmayı ana akım haline getirdi. Şirket; CPU çekirdek komplekslerini (CCD) yüksek hacimli bir 7 nm sürecinde, I/O denetleyicisini ise daha olgun bir 14 nm sürecinde üreterek verim ve maliyet optimizasyonu sağladı. Yapay zeka hızlandırma alanında chipletler artık olmazsa olmaz bir konumdadır. AMD Instinct MI300X, sekiz hesaplama chipletiyle birleştirilen HBM3 bellek yığınlarından oluşan 192 GB kapasitesiyle büyük dil modellerinin eğitimi ve çıkarımı için kritik bir platform sağlar. Intel Ponte Vecchio ve NVIDIA'nın gelecek nesil tasarımları da benzer yaklaşımları benimser. Çipletler arasındaki iletişim için UCIe (Universal Chiplet Interconnect Express) gibi açık endüstri standartları geliştirilmektedir. Bu standartlar farklı üreticilerden gelen chipletlerin birlikte çalışabilmesini ve bir LEGO sistemi gibi özelleştirilebilir AI işlemcileri oluşturulmasını hedefler. Chiplet ekonomisi, özellikle veri merkezi AI iş yüklerinde donanım seçeneklerini köklü biçimde genişletti.
CUDA (Compute Unified Device Architecture)
CUDA (Compute Unified Device Architecture), NVIDIA tarafından 2006 yılında geliştirilen ve GPU'ları genel amaçlı hesaplama (GPGPU) için kullanmayı mümkün kılan paralel hesaplama platformu ve programlama modelidir. Grafik işleme birimlerinin binlerce çekirdeğini eş zamanlı olarak çalıştırma kapasitesini yapay zeka ve bilimsel hesaplamalar için açan bu teknoloji, modern derin öğrenmenin temel altyapısını oluşturur. CUDA, geleneksel CPU programlamadan temel bir paradigma değişikliği sunar. CPU'lar güçlü ancak sınırlı sayıda çekirdekle sıralı işlemler için optimize edilmişken; NVIDIA GPU'ları onlarca binden yüz binlerce CUDA çekirdeğiyle aynı anda binlerce işlem gerçekleştirebilir. Bu eşzamanlılık, matris çarpımı, konvolüsyon ve gradyan hesaplama gibi derin öğrenme operasyonlarını CPU'ya kıyasla 10–100 kat hızlandırır. CUDA'nın iş parçacığı hiyerarşisi üç katmandan oluşur: Temel birim olan iş parçacıkları (threads), bu iş parçacıklarını gruplandıran bloklar (blocks) ve blokları organize eden ızgaralar (grids). Bir CUDA çekirdeği (kernel) çağrıldığında GPU'da binlerce iş parçacığı eş zamanlı olarak çalışır; her blok içindeki iş parçacıkları paylaşılan belleği (shared memory) kullanarak birbirleriyle iletişim kurabilir. CUDA Toolkit, geliştiricilere nvcc derleyicisi, cuBLAS (lineer cebir), cuDNN (derin sinir ağları), cuFFT (Fourier dönüşümü) ve NCCL (çoklu GPU iletişimi) gibi optimize kütüphaneler sunar. PyTorch ve TensorFlow gibi modern derin öğrenme çerçeveleri arka planda CUDA üzerinde çalışır; böylece araştırmacılar düşük seviyeli GPU programlamasına girmeden yüksek performanslı model eğitimi gerçekleştirebilir. Günümüzde NVIDIA H100 gibi gelişmiş veri merkezi GPU'ları 16.896 CUDA çekirdeğine sahipken; bu çekirdeklere ek olarak Tensor Core adı verilen özel matris işlem birimleri de bulunur. Tensor Core'lar karışık hassasiyetli (FP16/BF16/INT8) matris çarpımlarını CUDA çekirdeklerine göre 4–16 kat daha hızlı gerçekleştirir ve büyük dil modellerinin eğitiminde kritik öneme sahiptir.
CXL (Compute Express Link) (Compute Express Link)
CXL (Compute Express Link), PCIe (Peripheral Component Interconnect Express) fiziksel katmanı üzerine inşa edilmiş, açık endüstri standardı bir ara bağlantı (interconnect) protokolüdür. 2019 yılında Intel öncülüğünde duyurulan ve AMD, ARM, Google, Meta, Microsoft, Samsung ve SK Hynix gibi önde gelen teknoloji şirketlerinin desteğiyle büyüyen bu standart; CPU'lar, GPU'lar, FPGA'lar, yapay zeka hızlandırıcıları ve akıllı bellek modülleri arasında düşük gecikmeli, yüksek bant genişlikli ve tutarlı (coherent) veri alışverişi sağlar. Geleneksel bellek mimarilerinde her işlemci yalnızca kendi yerel DRAM veya HBM belleğine doğrudan erişebilir; bu durum özellikle yüz milyar parametreyi aşan büyük dil modellerinin (LLM) çıkarım (inference) aşamasında kritik bir bellek duvarı (memory wall) darboğazı yaratır. CXL, bu sorunu bellek havuzlama (memory pooling) ve bellek genişletme (memory expansion) yetenekleriyle aşar: DRAM veya CXL-Flash tabanlı harici bellek kartları, CXL bağlantısı üzerinden CPU ve GPU'ya sanki yerel bellek gibi düşük gecikmeyle sunulabilir; böylece her sunucu nodunun bellek kapasitesi, pahalı HBM yığınları gerektirmeksizin ekonomik biçimde artırılabilir. CXL standardı üç temel protokol alt katmanından oluşur: CXL.io, PCIe tabanlı I/O işlemlerini; CXL.cache, hızlandırıcıların host belleğine önbellek-tutarlı erişimini; CXL.mem ise host'un hızlandırıcı veya harici belleğine tutarlı erişimini yönetir. Standart hızla evrimleşmiş: CXL 1.0 (2019) temel bağlantı ve tutarlılık altyapısını; CXL 2.0 (2020) bellek havuzlamayı ve anahtarlama desteğini; CXL 3.0 (2022) ise çok-seviyeli fabric topolojisini ve gelişmiş eşler arası bellek paylaşımını getirmiştir. Yapay zeka altyapısı tasarımcıları açısından CXL'in önemi giderek artmaktadır. Özellikle büyük LLM'lerin KV önbelleği (key-value cache) için gereken terabayt seviyesindeki bellek gereksinimini karşılamak amacıyla CXL tabanlı bellek genişletme kartları veri merkezlerinde yaygınlaşmaktadır. Samsung, SK Hynix ve Micron gibi bellek üreticileri ticari CXL DRAM modülleri üretmekte; AWS, Google Cloud ve Microsoft Azure gibi büyük bulut hizmet sağlayıcıları bu teknolojiyi yeni nesil sunucu tasarımlarına entegre etmektedir.
Die Stacking Nedir? 3D Çip Entegrasyonu Rehberi (Die Yığma)
Die stacking (die yığma veya 3B entegre devre), birden fazla yarı iletken çip katmanının (die) dikey olarak üst üste istiflendiği ve Through-Silicon Via (TSV) ya da hibrit bağlama yöntemiyle birbirine bağlandığı ileri bir paketleme teknolojisidir. Bu teknik sayesinde çipler arasındaki iletişim mesafesi dramatik biçimde kısalır; sinyal gecikmeleri azalır, bant genişliği artar ve bit başına enerji tüketimi düşer. Die stacking'in en yaygın örneği HBM (High Bandwidth Memory) bellektir. HBM'de 4-12 DRAM katmanı dikey olarak üst üste istiflenip bir interposer üzerinde GPU veya AI işlemcisiyle yan yana konumlandırılır. NVIDIA H100'deki HBM3 bellekler 3,35 TB/s'ye varan bant genişliği sunarak yapay zeka modellerinin eğitimindeki bellek darboğazını büyük ölçüde ortadan kaldırır. AMD 3D V-Cache teknolojisi, TSMC'nin SoIC (System-on-Integrated-Chip) hibrit bağlama prosesiyle SRAM katmanlarını doğrudan CPU üzerine istifler. 9 µm pitch ile gerçekleştirilen bu bağlantı, geleneksel yöntemlere göre 15 kat daha yoğun bir ara yüz sunar ve L3 önbellek kapasitesini 2-3 katına çıkarır. Intel'in Foveros teknolojisi ise farklı süreç düğümlerinde üretilmiş katmanları—örneğin 7 nm hesap die'ı ile 22 nm G/Ç die'ını—tek paket içinde birleştirerek heterojen entegrasyona olanak tanır. TSMC SoIC ve Intel Foveros Direct gibi modern çözümler, yapay zeka hızlandırıcı tasarımının temel bileşeni hâline gelmektedir.
DPU (Veri İşleme Birimi)
DPU (Data Processing Unit — Veri İşleme Birimi), CPU ve GPU'nun yanında modern bilişimin üçüncü işlemci sütunu olarak konumlanan, ağ, depolama ve güvenlik altyapısını donanım düzeyinde yönetmek için tasarlanmış özel bir işlemci birimidir. NVIDIA, 2020 yılında BlueField-2 ile bu kavramı veri merkezi sektörüne kazandırdı; teknolojinin temeli ise daha önce SmartNIC ve altyapı yük boşaltma (infrastructure offload) işlemcileri olarak bilinen çözümlere dayanır. Geleneksel veri merkezlerinde ağ trafiği yönetimi, şifreleme, depolama sanallaştırma ve güvenlik duvarı gibi altyapı görevleri CPU çekirdeklerinin önemli bir bölümünü tüketir. DPU, bu görevleri altyapı bant hızında (line rate) gerçekleştiren donanım hızlandırıcılar aracılığıyla üstlenir ve CPU'nun tüm kapasitesini uygulama mantığı ile yapay zeka hesaplamaya yönlendirir. Yapay zeka kümelerinde DPU'nun rolü özellikle kritiktir. Yüzlerce veya binlerce GPU'dan oluşan ölçekli eğitim kümelerinde GPU'lar sürekli olarak gradyan senkronizasyonu, model parametresi aktarımı ve kontrol noktası (checkpoint) G/Ç işlemleri için ağı kullanır. Bu trafik, geleneksel mimaride host CPU'nun omuzlarına yüklenir; küme büyüdükçe CPU darboğazı GPU kullanım verimliliğini düşürür. DPU, RDMA ve RoCE (RDMA over Converged Ethernet) işlemlerini doğrudan kendi üzerindeki donanım motorlarında çalıştırarak bu yükü host sistemden tamamen kaldırır. NVIDIA BlueField-3, günümüzün en yaygın DPU'su olarak öne çıkar. TSMC 5 nm sürecinde üretilen BlueField-3, 22 milyar transistör barındırır, 400 Gb/sn ağ çıkışı sunar ve Arm Cortex-A78 çekirdekleri üzerinde bağımsız bir Linux işletim sistemi çalıştırır. NVIDIA'nın açıkladığına göre tek bir BlueField-3, yaklaşık 300 CPU çekirdeğinin üstlenebileceği altyapı yükünü karşılayabilmektedir. Marvell OCTEON 10 ve Intel IPU (Infrastructure Processing Unit) bu alandaki başlıca rakip çözümler arasında yer alır. Güvenlik perspektifinden DPU, host işletim sisteminden bağımsız ayrı bir koruma alanı oluşturur. Kiracı iş yükleri, DPU üzerinde çalışan ağ izleme, şifreleme veya güvenlik duvarı kurallarına müdahale edemez; bu özellik çok kiracılı bulut altyapılarında sıfır güven (zero-trust) mimarisinin donanım temelini sağlar. Enerji verimliliği boyutunda genel amaçlı bir CPU'nun altyapı görevleri için harcadığı enerji ile amaca özel DPU donanımının harcadığı enerji arasındaki fark büyüktür. Veri merkezleri fiziksel güç yoğunluk sınırlarına yaklaştıkça DPU, toplam sistem verimliliğine orantısız biçimde olumlu katkı sağlar.
Edge Computing (Uç Bilişim)
Edge Computing (Uç Bilişim), veri işleme ve hesaplama görevlerini merkezi veri merkezlerinden uzaklaştırarak veriyi üreten kaynaklara —sensörler, IoT cihazları, akıllı kameralar ve mobil aygıtlar— yakın noktalara taşıyan dağıtık bilişim paradigmasıdır. Geleneksel bulut bilişimde tüm veriler uzak sunuculara gönderilir ve işleme orada gerçekleşir; edge computing ise bu hesaplamaların büyük bölümünü ağın "ucunda" (edge), yani verinin üretildiği yere en yakın noktada gerçekleştirir. Bu yaklaşım birkaç temel avantaj sunar. İlk olarak gecikme (latency) dramatik biçimde azalır: otonom araçlar, endüstriyel robotlar ve gerçek zamanlı görüntü analiz sistemleri, kararların milisaniyeler içinde verilmesini gerektirir. Buluta gidiş-dönüş süresi bu gecikmeyi karşılayamaz; edge işlem ise kararı neredeyse anında verebilir. İkinci olarak bant genişliği kullanımı düşer: bir fabrikadaki yüzlerce kamera ham video akışını merkeze göndermek yerine sadece analiz sonuçlarını (örneğin hata tespiti uyarıları) buluta iletir. Üçüncüsü veri gizliliği ve güvenlik artar; hassas veriler yerel olarak işlenir, merkezi bir konuma aktarılmaz. Yapay zeka uygulamaları açısından edge computing, Edge AI kavramını doğurmuştur: eğitilmiş modeller doğrudan edge cihazlarda çalıştırılır. Bu amaçla NPU, ASIC ve özel işlemciler geliştirilmiş; model sıkıştırma teknikleri (quantization, pruning) kritik önem kazanmıştır. Akıllı şehirler, endüstri 4.0, sağlık teknolojileri ve otonom sistemler edge computing'in en yaygın uygulama alanlarıdır. 5G altyapısının yaygınlaşmasıyla birlikte edge computing kapasitesi ve benimsenmesi küresel ölçekte hızla artmaktadır. Robotik, sağlık izleme ve endüstriyel otomasyon gibi kritik sektörler bu dönüşümün merkezindedir.
FPGA (Yeniden Programlanabilir Kapı Dizisi)
FPGA (Field-Programmable Gate Array — Yeniden Programlanabilir Kapı Dizisi), üretim sonrasında yeniden yapılandırılabilen entegre devrelerdir. Yapay zeka uygulamalarında FPGA'lar; CPU'ların genel amaçlı esnekliği, GPU'ların yüksek paralel hesap gücü ve özel ASIC çiplerin maksimum verimliliği arasında benzersiz bir denge noktası oluşturur. Donanımın yazılım gibi değiştirilebildiği bu yapı, belirli sinir ağı modellerine veya makine öğrenimi iş yüklerine göre özelleştirilmiş devreler tasarlamayı mümkün kılar. Yapay zeka çıkarım görevlerinde FPGA'lar birçok avantaj sunar: GPU'lara kıyasla belirgin biçimde daha düşük enerji tüketimi, mikrosaniye düzeyinde gecikme süreleri ve batch processing yerine gerçek zamanlı tek örnek çıkarımda üstün performans. Intel Agilex ve AMD Xilinx Versal gibi modern FPGA platformları, AI motoru bloklarını donanım düzeyinde entegre ederek nöral ağ hesaplamalarını doğrudan silikon üzerinde gerçekleştirir. Microsoft'un Project Catapult projesi, Bing arama altyapısında FPGA'ları kullanarak hem gecikmeyi düşürmüş hem de enerji verimliliğini artırmıştır. Kenar bilişim (edge AI) alanında ise FPGA'lar; güç bütçesinin kritik olduğu otonom araçlar, sanayi robotları ve medikal görüntüleme cihazları gibi gömülü sistemlerde tercih edilen donanım hızlandırıcısı konumundadır. FPGA programlaması geleneksel olarak VHDL veya Verilog gibi donanım tanımlama dilleriyle (HDL) yapılırken, günümüzde Intel OneAPI ve Xilinx Vitis AI gibi Yüksek Seviyeli Sentez (HLS) araçları PyTorch ve TensorFlow modellerini doğrudan FPGA bitstream formatına dönüştürmektedir. INT8 veya INT4 gibi düşük hassasiyetli sayısal formatlar kullanılarak sinir ağı çıkarımı optimize edilebilir; bu sayede hem bellek bant genişliği hem de toplam güç tüketimi önemli ölçüde azalır.
GPU (Graphics Processing Unit) (Grafik İşlemci (Ekran Kartı))
GPU (Graphics Processing Unit — Grafik Isleme Birimi), baslangiçta bilgisayar grafiklerini hesaplamak icin tasarlanmis; fakat binlerce kucuk cekirdekli paralel mimarisi sayesinde yapay zeka ve yuksek performansli hesaplama (HPC) alanında vazgecilmez hale gelmis bir işlemci türüdür. Gunumuzde derin ogrenme egitimi ve cikarsama islemlerinin buyuk cogunlugu GPU uzerinde gerceklesmektedir. GPU'ların paralel mimarisi, AI hesaplamalarında kritik oneme sahip matris cogaltma ve tensor islemlerine cok iyi uymaktadir. NVIDIA'nin CUDA (Compute Unified Device Architecture) platformu, gelistiricilere GPU uzerinde genel amacli hesaplama yapmayi mumkun kilan ilk genis kapsamli yazilim katmaniydi. 2007'de tanıtılan CUDA, bugün de derin ogrenme ekosisteminin temelini olusturmaktadir. NVIDIA'nın AI odakli GPU'lari GPU mimarisinin evrimini yonlendirmistir: Tesla (2008), Kepler, Maxwell, Pascal, Volta, Ampere ve son olarak Hopper mimarisi (H100). A100 ve H100, LLM egitiminde standart haline gelmistir. AMD ise ROCm platformu ve MI300X cipleriyle bu pazara rakip olarak girmektedir. Apple'in M serisi cipler ise unifikasyon bellek mimarisiyle AI cikarsama icin enerji verimli alternatif sunmaktadir. Derin ogrenme cerceveleri (TensorFlow, PyTorch) GPU destegini neredeyse tamamen CUDA/cuDNN (NVIDIA) uzerinden saglar. Tensor Core'lar, H100 gibi modern cipler uzerinde yari hassas (FP16/BF16) matris islemlerini 10-100 kat hızlandirir. GPU belleği (VRAM) model buyuklugunu dogrudan sınırlar; 80GB VRAM'e sahip H100, 70 milyar parameterli bir modeli tam hassasiyetle tutabilir.
Groq (LPU) (Dil İşleme Birimi)
Groq, 2016 yılında Google TPU tasarımcısı Jonathan Ross tarafından kurulan ve büyük dil modellerinin (LLM) çıkarım (inference) hızını köklü biçimde artıran bir yapay zeka donanım şirketidir. Şirket, NVIDIA GPU'larından farklı bir tasarım felsefesiyle geliştirdiği LPU (Language Processing Unit — Dil İşleme Birimi) adını verdiği özel çiple tanınmaktadır. GPU'lar, matris çarpımlarındaki paralel işlem kapasiteleri nedeniyle model eğitiminde son derece etkilidirler; ancak otoregressif metin üretiminde belirgin bir darboğazla karşılaşırlar. Her yeni token üretilirken model ağırlıklarının tamamı yüksek bant genişlikli bellekten (HBM) okunmak zorundadır ve bu tekrarlayan döngü GPU mimarisini verimsiz kılar. Groq'un LPU mimarisi bu sorunu kökten ele alır: sabit bir hesaplama grafiği üzerinde çalışan tek çekirdekli deterministik akış tasarımıyla bellek bant genişliği darboğazını ortadan kaldırır. Bu mimari tercihin pratik sonuçları somuttur. LPU, Llama 3 70B gibi büyük açık kaynaklı modelleri saniyede 800'ün üzerinde token hızıyla çalıştırabilir; bu değer NVIDIA H100 kümesine kıyasla 5-10 kat daha yüksektir. Düşük gecikme ve yüksek verim, gerçek zamanlı ses çevirisi, konuşma asistanları ve yüksek trafikli sohbet uygulamaları gibi gecikme kritik senaryolarda belirgin avantaj oluşturmaktadır. Groq, donanımını GroqCloud adlı bulut API'si üzerinden geliştirici erişimine açmaktadır. Bu API, OpenAI istemcisiyle tam uyumlu olduğundan mevcut kodlarda yalnızca model adını değiştirmek yeterlidir. Desteklenen modeller arasında Llama 3 ailesi, Mixtral, Gemma ve Whisper yer almaktadır. Whisper entegrasyonu, düşük gecikmeli ses-metin dönüştürme iş akışlarında özellikle dikkat çekicidir. Rekabet ortamında Groq; AWS Inferentia, Cerebras CS-3 ve NVIDIA'nın Blackwell serisi sistemleriyle yarışmaktadır. Şirketin mevcut odak noktası tamamen çıkarım iş yüklerine yöneliktir; model eğitimi hizmetleri şu an kapsam dışındadır. GroqCloud'un ücretsiz katmanı, prototip geliştiricilerin dakika başına token kotasıyla sistemi denemesine olanak tanımaktadır; ücretli katmanlarda maliyet 1 milyon token başına 0.05-0.27 dolar arasında değişmektedir.
Groq LPU (Groq LPU (Dil İşlem Birimi))
Groq LPU (Language Processing Unit — Dil İşlem Birimi), Google'in TPU ekibinin eski mühendisi Jonathan Ross tarafından 2016 yılında kurulan Groq şirketinin geliştirdiği, büyük dil modeli çıkarımı için tasarlanmış özel amaçlı bir çip mimarisidir. Geleneksel GPU'ların paralel matris hesaplamalarına göre optimize edilmiş mimarisi yerine LPU, otoregresif token üretiminin doğrusal ve belirleyici yapısına özel olarak tasarlanmıştır. LPU mimarisinin temel bileşeni TSP'dir (Tensor Streaming Processor). TSP, bellek bant genişliği darboğazını ortadan kaldırmak için hesaplama ile belleği tek bir fiziksel katmana entegre eder; bu sayede her hesap döngüsünde veri yükü ve boşaltımı için bekleme süresi minimuma iner. GPU tabanlı çıkarımda en büyük gecikme kaynağı olan DRAM erişim gecikmesi, LPU mimarisinde büyük ölçüde elimine edilir. Performans açısından Groq GroqCloud platformu, Llama 3.1 70B modeli için saniyede 800 tokenın üzerinde, Mixtral 8x7B için ise saniyede 500 tokenın üzerinde işleme hızına ulaşmaktadır. Bu rakamlar, aynı modelleri çalıştıran NVIDIA H100 GPU kümelerinin tipik 50-120 t/s performansının çok üzerindedir. Groq bu avantajı "deterministic compute" ilkesine dayandırır: GPU'larda çekirdek zamanlaması dinamik olduğundan gecikme değişkendir; LPU'da ise tüm işlemler sabit bir zaman çizelgesinde yürütülür, bu da hem gecikmeyi hem de değişkenliği azaltır. GroqCloud, geliştiricilere OpenAI API ile uyumlu bir REST arayüzü sunar; bu sayede mevcut uygulamalar minimum kod değişikliğiyle Groq altyapısına geçebilir. Desteklenen modeller arasında Meta Llama 3 serisi, Mistral, Gemma ve Whisper yer almaktadır. Ücretsiz kademede dakika başına belirli token limiti ile kullanım mümkündür; kurumsal planlar daha yüksek kota ve SLA güvenceleri sunar. Rekabet ortamı açısından Groq, Cerebras WSE-3 (wafer-scale engine) ve özelleştirilmiş çıkarım hızlandırıcıları üreten SambaNova, Tenstorrent gibi şirketlerle yarışmaktadır. Veri merkezi ölçeğinde NVIDIA yeni çıkarım odaklı ürünler geliştirmektedir. Groq'un en önemli avantajı hazır API erişimi ve son derece düşük gecikme süresidir; bu, gerçek zamanlı konuşma asistanları, kod tamamlama ve anlık arama uygulamaları için tercih edilen platform haline gelmesini sağlar.
HBM (Yüksek Bant Genişlikli Bellek) Nedir? (HBM (Yüksek Bant Genişlikli Bellek))
HBM (High Bandwidth Memory — Yüksek Bant Genişlikli Bellek), birden fazla DRAM yongasını dikey olarak üst üste yığan (3D stacking) ve bunları Through-Silicon Via (TSV) bağlantılarıyla birleştiren özel bir bellek mimarisidir. GDDR6 gibi geleneksel grafik belleklerinin bant genişliği sınırlarını aşmak amacıyla geliştirilmiş olan HBM, büyük dil modeli eğitimi ve çıkarımı gibi veri yoğun AI iş yüklerinde kritik bir rol oynamaktadır. HBM'nin temel yeniliği, birden fazla DRAM yongasını bir silikon ara katman (silicon interposer) üzerinde yan yana konumlandırmak ve her yığını TSV adı verilen dikey bakır bağlantılarla birbirine bağlamaktır. Bu yapı 1024 bit veya daha geniş bellek arayüzü oluşturarak GDDR6'nın 384 bitlik sınırını çok aşar. Yüksek arayüz genişliği düşük saat hızıyla birleşince hem yüksek bant genişliği hem de düşük güç tüketimi elde edilir; GDDR6'ya kıyasla yaklaşık yüzde 65 daha az enerji harcanır. HBM mimarisi 2013'ten bu yana hızla gelişmiştir. İlk nesil HBM 128 GB/s bant genişliği sunarken 2016'da gelen HBM2 bunu 256 GB/s'ye çıkardı. NVIDIA A100'de kullanılan HBM2E 410 GB/s ile transformer modellerinin ilk yaygınlaşma döneminin referans donanımı oldu. NVIDIA H100'de kullanılan HBM3 ise 3,35 TB/s bant genişliğiyle büyük dil modellerinin bellek darboğazını büyük ölçüde çözdü. HBM3E, H200 ve GB200 GPU'larında 4,8 TB/s bant genişliğiyle uzun bağlam pencereli modellerin çıkarımını kolaylaştırmaktadır. JEDEC'in Nisan 2025'te yayımladığı HBM4 spesifikasyonu 2048 bitlik arayüz ve yığın başına 2 TB/s bant genişliği vaat etmektedir. HBM arzı, AI donanım ekosistemi için stratejik bir kırılganlık noktası oluşturmaktadır. Pazar yalnızca üç tedarikçinin kontrolündedir: SK Hynix yüzde 62, Micron yüzde 21 ve Samsung yüzde 17 paya sahiptir. CoWoS ve diğer gelişmiş paketleme teknolojileri, HBM yığınlarını GPU dieleriyle yakın fiziksel konumda bir araya getirerek gecikmeyi azaltmaktadır. Tedarik kıtlığı, H100 üretim hızının temel sınırlayıcısı olmuş ve piyasa fiyatlarını önemli ölçüde etkilemiştir.
High Bandwidth Memory (Yüksek Bant Genişlikli Bellek)
High Bandwidth Memory (HBM), yapay zeka ivedileyicileri, grafik işlemciler (GPU) ve yüksek performanslı hesaplama (HPC) sistemlerinde kullanılan, sıradan DDR veya GDDR belleklerden çok daha geniş bant genişliği sunan 3B yığımlı bellek teknolojisidir. HBM'nin temel yeniliği, birden fazla DRAM çipini Through-Silicon Via (TSV) adı verilen minik dikey iletkenler aracılığıyla üst üste katmanlayarak çok sayıda veri hattını aynı anda açmasıdır. Bu yığınlar, silikon bir interposer üzerine oturarak işlemciye son derece yakın konumlandırılır; bu sayede veri yolu uzunluğu azalır, gecikme düşer ve saniyede birkaç terabayt mertebesinde veri aktarımı mümkün hale gelir. Geleneksel GDDR belleklerde bant genişliği, bellek çiplerinin PCB üzerinde yan yana dizilmesinden kaynaklanan kablo kısıtlamalarıyla sınırlanır; oysa HBM'de 1024–2048 bit genişliğindeki geniş ara yüzü bu sorunu köklü biçimde çözer. HBM teknolojisinin gelişimi 2013 yılında AMD ve SK Hynix tarafından ortaklaşa başlatılmış, JEDEC standartlarıyla şekillenmiştir. İlk nesil HBM (2015) 128 GB/s bant genişliğiyle başlarken, 2025'te tamamlanan HBM4 standardı yığın başına 2 TB/s eşiğini aşmıştır. NVIDIA H100 ve H200 gibi veri merkezi GPU'larında 80–141 GB HBM3/HBM3e, AMD Instinct MI430X'te ise 432 GB HBM4 kullanılmaktadır. Büyük dil modellerini (LLM) verimli şekilde çalıştırabilmek için gereken devasa parametre yükü göz önüne alındığında, HBM birkaç yıl içinde yapay zeka donanımının olmazsa olmaz bileşeni konumuna gelmiştir. 2025 itibarıyla küresel HBM pazarı 38 milyar dolara ulaşmış; SK Hynix yüzde 62 pay ile sektöre liderlik etmekte, onu Micron ve Samsung izlemektedir.
High Bandwidth Memory 3 (Yüksek Bant Genişlikli Bellek 3. Nesil)
HBM3 (High Bandwidth Memory 3), yüksek performanslı yapay zeka hızlandırıcıları ve grafik işlemcileri için tasarlanmış üçüncü nesil yüksek bant genişlikli bellek standardıdır. SK Hynix tarafından 2022 yılında ticarileştirilen HBM3, JEDEC tarafından standardize edilmiş olup önceki nesil HBM2e'ye kıyasla bant genişliğini yaklaşık iki katına çıkarmıştır. HBM3, yığılmış bellek dieları ile Through-Silicon Via (TSV) teknolojisini birleştirerek çok yüksek veri aktarım hızlarına ulaşır. Her bellek yığını saniyede 819 GB'a varan bant genişliği sunarken yığın başına 24 GB'a kadar kapasite sağlar. Bu özellikler, büyük dil modellerinin eğitimi ve çıkarımı gibi bellek yoğun yapay zeka iş yükleri için HBM3'ü kritik bir bileşen hâline getirir. NVIDIA H100 GPU'su, HBM3 bellekle donatılmış ilk yaygın yapay zeka hızlandırıcısıdır ve 80 GB bellek kapasitesi ile 3,35 TB/s toplam sistem bant genişliği sunar. AMD MI300X hızlandırıcısı ise birden fazla HBM3 yığınını bir araya getirerek 192 GB'a varan bellek kapasitesiyle öne çıkmaktadır. HBM3e (HBM3 Enhanced), 2024 yılında NVIDIA H200 GPU'su ile piyasaya sürülen geliştirilmiş versiyondur. Bant genişliğini yığın başına 1,2 TB/s düzeyine yükseltirken 141 GB kapasiteyle büyük ölçekli model çıkarımını güçlendirmiştir. Düşük güç tüketimi, kompakt fiziksel boyutlar ve yüksek erişim hızlarının kombinasyonu, HBM3 ve HBM3e'yi günümüz yapay zeka çağının temel bellek teknolojisi olarak konumlandırmaktadır.
In-Memory Computing Nedir? Bellek-İçi AI Hesaplama (Bellek-İçi Hesaplama)
In-Memory Computing (Bellek-İçi Hesaplama), verilerin geleneksel disk tabanlı depolama yerine doğrudan RAM veya yüksek bant genişlikli bellek (HBM) üzerinde işlenmesi paradigmasıdır. Geleneksel mimaride CPU veya GPU, hesaplama yaparken model ağırlıklarını ve aktivasyonları bellekten defalarca okumak zorundadır; bu veri transferi, özellikle büyük dil modellerinin (LLM) çıkarım aşamasında ciddi bir darboğaz oluşturur. İşlemcinin bekleyerek geçirdiği bu süre, toplam çıkarım gecikmesinin büyük bölümünü oluşturur. Processing-in-Memory (PIM) ya da Near-Memory Computing olarak da bilinen bu yaklaşımda, hesaplama mantığı doğrudan bellek çipleri içine entegre edilir. Böylece veri işlemciye taşınmak yerine, işlemci verinin bulunduğu yerde çalışır. Bir LPDDR5 DRAM çipinin harici G/Ç bant genişliği yaklaşık 51,2 GB/s ile sınırlıyken, dahili all-bank bant genişliği 409,6 GB/s'ye ulaşabilir; bu yaklaşık 8 katlık artış, verinin yanında hesaplama yapmanın sağladığı temel avantajdır. Samsung (AxDIMM/HBM-PIM), SK Hynix (AiM — Accelerator-in-Memory) ve UPmem gibi şirketler, AI iş yüklerine özgü ticari PIM çözümleri geliştirmektedir. GPU+HBM-PIM entegrasyonu, yalnızca GPU mimarisine kıyasla LLM çıkarımında 3,24 kat hızlanma ve yüzde 60 enerji tasarrufu sağlayabilmektedir. Transformer mimarilerindeki matris-vektör çarpımı (GEMV) ve dikkat mekanizmaları, hesaplama kapasitesinden çok bellek bant genişliğine duyarlıdır; bu nedenle bellek-içi hesaplama bir sonraki nesil AI donanımının temel bileşeni olmaya adaydır. Edge AI cihazlarında ise RISC-V tabanlı PIM modülleri, nöral ağ çıkarımını düşük güç bütçesiyle gerçekleştirmeyi mümkün kılar.
Inference Accelerator (Çıkarım Hızlandırıcısı)
Inference Accelerator (Çıkarım Hızlandırıcısı), önceden eğitilmiş yapay zeka ve derin öğrenme modellerini üretim ortamında düşük gecikme, yüksek verim ve enerji verimliliğiyle çalıştırmak üzere tasarlanmış özel amaçlı donanım birimidir. Genel amaçlı GPU'lar model eğitimi için optimize edilirken, çıkarım hızlandırıcılar tek bir amaca odaklanır: eğitilmiş modelden mümkün olan en hızlı ve en az güç tüketen biçimde tahmin üretmek. Bu uzmanlaşmanın temelinde hassasiyet farkı yatar. Eğitim aşaması, gradyan stabilitesi için FP32 veya BF16 tam hassasiyete ihtiyaç duyar; ancak çıkarım aşamasında INT8, FP8 veya INT4 gibi düşük hassasiyetli veri tipleri modelin doğruluğunu kayda değer biçimde düşürmeden 4-8 kat daha küçük bellek alanı ve 2-4 kat daha hızlı hesaplama sağlar. Çıkarım hızlandırıcılar bu avantajı donanım düzeyinde kökten sömürür. Başlıca donanım kategorileri üç gruba ayrılır. ASIC tabanlı bulut hızlandırıcılar, transformatör mimarileri ve büyük dil modelleri için tasarlanmış özel silikon çiplerdir; Google TPU v5e, AWS Inferentia 2, Qualcomm Cloud AI 100 ve Microsoft Azure Maia 100 bu kategorinin öncü örnekleridir. GPU tabanlı çıkarım sistemleri kategorisinde NVIDIA L4, yalnızca 72 watt tüketimiyle maliyet etkin sunucu çıkarımı için optimize edilmiştir. Uç ve mobil NPU'lar ise Apple Neural Engine (M4 yonga setinde), Qualcomm Hexagon 698 ve NVIDIA Jetson Orin aracılığıyla akıllı telefon, gömülü sistem ve otonom araç uygulamalarında modelleri yerel olarak çalıştırır. Yazılım ekosistemi performansı donanım kadar belirler: NVIDIA TensorRT model grafiklerini otomatik optimize eder, Intel OpenVINO Intel işlemcilere yönelik benzer işlevi görür, ONNX Runtime farklı donanımlar arasında taşınabilirlik sağlar. Temel performans metrikleri arasında TOPS (Tera Operations Per Second), token/saniye, gecikme süresi ve TOPS/Watt enerji verimliliği yer alır. Türkiye'deki yapay zeka şirketleri ve bulut servis kullanıcıları üretim dağıtımlarında genellikle AWS inf2 örneklerini veya NVIDIA T4/L4 GPU'larını tercih etmektedir.
InfiniBand (Yüksek Hızlı AI Ağ Protokolü)
InfiniBand, 1999 yılında geliştirilen ve yüksek performanslı bilişim (HPC) ile büyük ölçekli yapay zeka altyapılarında GPU'lar, sunucular ve depolama sistemleri arasında yüksek bant genişliği ve son derece düşük gecikme süresi sağlayan bir ağ iletişim standardı ve protokolüdür. Protokol; SDR (2 Gb/s) ile başlayan nesil silsilesini HDR (200 Gb/s), NDR (400 Gb/s) ve son olarak XDR (800 Gb/s) ile sürdürmektedir. InfiniBand'ın temel ayırt edici özelliği RDMA (Remote Direct Memory Access — Uzaktan Doğrudan Bellek Erişimi) desteğidir. RDMA, bir sunucunun başka bir sunucunun belleğine CPU ve işletim sistemi yığını atlanarak doğrudan erişmesine olanak tanır. Kernel bypass olarak da bilinen bu mimari iki kritik kazanım sunar: gecikme süresini bir mikrosaniyenin altına çekmek ve CPU'nun ağ işleme yükünü minimuma indirmek. Yüksek frekanslı veri transferi gerektiren derin öğrenme iş yüklerinde bu özellik belirleyici bir avantaj ortaya koyar. Büyük dil modellerinin (LLM) eğitiminde yüzlerce ya da binlerce GPU'nun koordineli çalışması gerekir. Bu ölçekte AllReduce, AllGather ve ReduceScatter gibi kollektif iletişim işlemleri — NVIDIA'nın NCCL kütüphanesiyle yönetilen — sürekli ve yüksek hacimli gradient senkronizasyonu gerektirir. Ağ gecikmesi ve bant genişliği, GPU Model Flops Utilization (MFU) oranını doğrudan etkiler. NVIDIA DGX SuperPOD, Meta'nın AI Research SuperCluster (RSC) ve OpenAI'nın büyük eğitim kümelerinin temel ağ omurgasını InfiniBand oluşturmaktadır. 2020 yılında NVIDIA'nın Mellanox'u 6,9 milyar dolara satın almasıyla InfiniBand, NVIDIA ekosisteminin ayrılmaz bir parçası hâline geldi. GPUDirect RDMA teknolojisi, GPU belleklerinden sistem belleği ve CPU atlanarak doğrudan diğer GPU'lara veri aktarılmasına olanak tanır. Düğüm içi iletişim NVLink üzerinden (H100'de 900 GB/s) yapılırken düğümler arası iletişim NDR InfiniBand (~50 GB/s) ile sağlanmaktadır; bu bant genişliği farkı paralel eğitim stratejilerinin planlanmasında göz önünde bulundurulması gereken temel bir kısıttır. Ethernet tabanlı alternatifler — standart 400GbE veya RoCE (RDMA over Converged Ethernet) — mevcut altyapı yatırımını koruyarak daha düşük maliyet sunar; ancak büyük ölçekli AI kümelerinde InfiniBand'ın deterministik gecikme garantisi ve güvenilirlik üstünlüğü birinci tercih konumunu sürdürmektedir. Bulut tarafında AWS Elastic Fabric Adapter (EFA), Google Cloud'un Jupiter ağı ve Azure'un ND serisi InfiniBand veya InfiniBand benzeri altyapı üzerine kuruludur.
LPU (LPU (Language Processing Unit))
LPU (Language Processing Unit), yapay zeka startup'ı Groq tarafından geliştirilen ve büyük dil modellerinin (LLM) gerçek zamanlı çıkarımını hızlandırmak için sıfırdan tasarlanan özel bir işlem birimidir. Geleneksel GPU mimarilerinin paralel hesaplama odaklı tasarımının aksine, LPU bellek bant genişliği darboğazını ortadan kaldırmak üzere optimize edilmiştir; bu sayede token üretimini saniyede yüzlerce token hızına taşır ve kullanıcı tarafından fark edilebilir gecikmeyi milisaniyeler düzeyine indirir. LPU'nun merkezi yeniliği, doğrusal zamanlı hesaplama motoru (Linear Compute Engine, LCE) mimarisidir. Transformer modellerinin dikkat mekanizması (attention) ve ileri besleme (feed-forward) katmanları için gereken matris çarpımlarını sıralı ve deterministik bir boru hattında çalıştırır; bu da GPU'lardaki rastgele bellek erişim gecikmelerini yapısal olarak engeller. Çip üzerindeki büyük SRAM tamponları, model ağırlıklarının önbelleklenmesini sağlayarak HBM'e bağımlılığı azaltır. Groq, LPU'yu 2023 yılında kamuoyuna tanıttı ve Meta'nın Llama 2 modelini çalıştıran Groq Cloud servisiyle saniyede 500 token üzerinde hız değerleri yayımladı; bu rakam o dönemin GPU tabanlı çıkarım servislerinin 5-10 katıydı. LPU, özellikle etkileşimli sohbet botları, gerçek zamanlı ses transkripsiyonu ve düşük gecikme gerektiren ajan iş akışlarında belirgin avantaj sunar. Donanım perspektifinden LPU, tek bir yonga üzerinde sıkı bütünleştirilmiş hesap ve bellek bloklarına dayanır. Ancak GPU'lara kıyasla genel programlanabilirlik kısıtlıdır; eğitim workload'ları için değil, yalnızca çıkarım için optimize edilmiştir. Groq'un açıkladığı ölçekleme yolu, binlerce LPU'yu rack düzeyinde birbirine bağlayan bir ağ yapısına dayanmaktadır.
Mixed Precision Training Nedir? FP16/BF16 ile Hızlı AI Eğitimi (Karışık Kesinlikli Eğitim)
Karışık Kesinlikli Eğitim (Mixed-Precision Training), derin öğrenme modellerinin eğitim sürecini hızlandırmak ve bellek kullanımını optimize etmek amacıyla farklı kayan nokta kesinliklerini bir arada kullanan bir tekniktir. Yöntem, ileri ve geri yayılım hesaplamaları ile matris çarpımları için düşük kesinlikli sayı formatları (FP16 veya BF16) kullanırken, model ağırlıklarının ana kopyasını ve kayıp biriktirmesini tam kesinlikte (FP32) tutar. Bu hibrit yaklaşım, sayısal kararlılığı ve model doğruluğunu korurken bellek tüketimini yaklaşık %50 azaltır ve eğitim hızını 2-3 kat artırır. Teknik, NVIDIA'nın Volta ve Turing GPU mimarilerinde Tensor Core'ların tanıtılmasıyla pratik hale gelmiştir. PyTorch (torch.cuda.amp) ve TensorFlow gibi popüler çerçeveler, Otomatik Karışık Kesinlik (AMP) araçlarıyla geliştiricilerin bu tekniği minimal kod değişikliğiyle uygulamasını kolaylaştırır. İki düşük kesinlikli format arasında önemli bir ayrım bulunur: FP16, 10-bit mantis ile yüksek hassasiyet sunar ancak dar bir dinamik aralığa sahipken; BF16 (Brain Float 16), FP32 ile aynı 8-bit üstel aralığı kullanarak taşma ve alt-taşma sorunlarını büyük ölçüde giderir. Bu nedenle büyük dil modeli eğitiminde BF16, FP16'ya kıyasla daha stabil bir seçenek olarak öne çıkmaktadır. Gradient underflow riskine karşı dinamik kayıp ölçeklendirmesi (loss scaling) uygulanır; kayıp değeri geri yayılım öncesinde büyütülür, gradyanlar hesaplandıktan sonra ölçek geri alınır. Karışık kesinlikli eğitim, 2017 yılında Micikevicius ve ekibi tarafından Baidu Research ile NVIDIA işbirliğiyle geliştirilmiş ve ICLR 2018'de yayımlanmıştır. GPT, LLaMA, Stable Diffusion ve Vision Transformer (ViT) gibi modern modellerin eğitiminde endüstri standardı haline gelen bu teknik, sınırlı GPU bütçesiyle daha büyük modeller eğitmeyi ya da aynı donanımda daha büyük toplu iş boyutları (batch size) kullanmayı mümkün kılmaktadır. Gradient birikim (gradient accumulation) stratejisiyle birleştirildiğinde efektif batch boyutu daha da artırılabilir.
Nöromorfik Çip (Nöromorfik Çip)
Nöromorfik çip (neuromorphic chip), insan beyninin nörobiyolojik mimarisini taklit eden özel tasarım tümleşik devrelerdir. Geleneksel von Neumann mimarisinde bellek ve işlemci ayrı bileşenler olarak çalışırken, nöromorfik çiplerde her hesaplama birimi (yapay nöron) hem yerel bellek hem de işlem kapasitesine sahiptir; bu sayede veri yolu darboğazı (memory wall) büyük ölçüde ortadan kalkar. Çalışma prensibi biyolojik nöronların "spike" adı verilen elektriksel atımlarını modellemektedir. Olaya dayalı (event-driven) bu mimari sayesinde yalnızca aktif nöronlar güç harcar; pasif nöronlar enerji tüketmez. Bu özellik, geleneksel GPU'lara kıyasla 100–1000 kat daha düşük güç tüketimi sağlar. Öne çıkan örnekler arasında Intel Loihi 2 (1 milyon nöron, gerçek zamanlı duyusal işleme), IBM TrueNorth (4096 çekirdek, 256 nöron/çekirdek, 70mW güç), Manchester Üniversitesi'nin SpiNNaker sistemi ve Avrupa Human Brain Project kapsamındaki BrainScaleS wafer ölçekli mimarisi yer alır. Uygulama alanları arasında edge AI çıkarımı, IoT sensör füzyonu, robotik algı sistemleri ve sürekli öğrenme (continual learning) senaryoları bulunur. Düşük gecikme ve pil dostu çalışma özellikleriyle otonom araçlar, akıllı kameralar ve giyilebilir tıbbi cihazlarda tercih edilmektedir. Nöromorfik çipler, Spiking Neural Network (SNN) modellerini verimli biçimde çalıştıran tek donanım mimarisini temsil eder. Biyomimetik hesaplama alanındaki bu yaklaşım, büyük dil modellerinin yüksek enerji talebine karşı uzun vadeli bir alternatif olarak araştırma gündeminde önemli yer tutmaktadır.
NPU (Neural Processing Unit) (Nöral İşlem Birimi (Yapay Zeka Çipi))
NPU (Nöral İşlem Birimi — Neural Processing Unit), yapay zeka modellerinin çıkarım (inference) hesaplamalarını CPU ve GPU'ya kıyasla çok daha verimli şekilde yürütmek için tasarlanmış özel amaçlı bir donanım birimidir. Modern akıllı telefonlardan dizüstü bilgisayarlara ve veri merkezi hızlandırıcılarına kadar geniş bir yelpazeye entegre edilmektedir. Sinir ağı hesaplamaları özünde yoğun matris çarpımına dayanır. Genel amaçlı CPU bu işlemleri sıralı biçimde yürütürken, GPU binlerce çekirdekle paralel hesaplama sağlar; NPU ise bu matris çarpımlarını gerçekleştirmek için özel systolic array veya tensor çekirdeği içerir. Bu yapı, CPU'dan 10-100 kat, GPU'ya kıyasla ise çok daha düşük güç tüketimiyle çıkarım yapmasını mümkün kılar. Apple, Neural Engine adını verdiği NPU birimini 2017'deki A11 Bionic çipiyle cihazlarına entegre etti. Günümüzde M4 çipindeki Neural Engine 38 TOPS (saniyede trilyon işlem) kapasitesine ulaşmıştır. Qualcomm Hexagon NPU Android ekosisteminin bel kemiğini oluştururken, Google Tensor serisindeki NPU Pixel cihazlarında ses tanıma ve fotoğraf işlemeyi optimize eder. Edge AI kavramı NPU'nun en kritik kullanım alanıdır: veri buluta gönderilmeden, internet bağlantısı olmadan, pili koruyarak cihazın içinde gerçek zamanlı yapay zeka çalışır. Portre modu kamera efektleri, wake word tespiti, yüz tanıma ve gerçek zamanlı çeviri bu sayede mümkün olmaktadır. Microsoft, Copilot+ PC sertifikasyonu için NPU'da en az 40 TOPS performans şartı koymuştur. Bu gelişme, NPU'yu mobil dünyadan PC platformuna taşıyan önemli bir dönüm noktasıdır. Yazılım tarafında Apple Core ML, Qualcomm QNN SDK, Intel OpenVINO ve Windows ML çerçeveleri NPU'dan yararlanmak isteyen geliştiricilere API erişimi sunar. Türk yazılım geliştiricileri için NPU fırsatı şudur: yerel AI modelleri (Local LLM) artık bulut maliyeti olmadan son kullanıcı cihazında çalışabilir; bu da gizlilik hassas uygulamalar ve düşük gecikme gereksinimi olan senaryolar için bulut alternatifleri doğurur.
NPU Mimarisi Nedir? Sinir Ağı İşlemci Tasarımı (NPU Mimarisi)
NPU mimarisi (Nöral İşlem Birimi Mimarisi), yapay zeka ve derin öğrenme iş yüklerini işlemek için CPU veya GPU'dan bağımsız olarak tasarlanmış özel bir donanım bileşenidir. CPU'ların genel amaçlı sıralı hesaplama mimarisinden ve GPU'ların büyük ölçekli paralel grafik işlem özelliğinden farklı olarak NPU'lar, sinir ağlarında en sık kullanılan matris çarpımı, konvolüsyon ve aktivasyon fonksiyonu hesaplamalarını doğrudan donanım düzeyinde gerçekleştirmek için özelleştirilmiştir. Bir NPU'nun temel yapısal bileşenleri şunlardır: çok sayıda sistematik biçimde düzenlenmiş çarpma-toplama (MAC, Multiply-Accumulate) birimi, aktivasyon fonksiyonları için tasarlanmış özel devreler, düşük bant genişliği sorununu gidermek için entegre on-chip bellek tamponları ve modelden modele değişen veri akışlarını destekleyen yeniden yapılandırılabilir veri yolları. Çoğu modern NPU ayrıca INT8, FP16 ya da BF16 gibi düşük hassasiyetli sayı formatlarını destekler; bu sayede güç tüketimini önemli ölçüde azaltırken işlem kapasitesini artırır. Kullanım senaryosu açısından NPU'lar özellikle uç cihazlarda öne çıkmaktadır. Apple'ın M4 çipindeki Neural Engine (38 TOPS), Qualcomm Snapdragon serisi Hexagon NPU'su ve Intel'in Meteor Lake serilerindeki NPU modülleri (40+ TOPS) doğrudan tüketici donanımında çalışan güçlü AI ivedilendiricilerine örnek gösterilebilir. Microsoft'un Copilot+ PC sertifikasyonu da en az 40 TOPS NPU kapasitesini zorunlu kılmaktadır. NPU mimarisi, AI iş yüklerinin giderek artan yoğunluğuna karşı güç-verimlilik (TOPS/Watt) dengesini en üst düzeye çıkarmak amacıyla tasarlanmış, modern SoC tasarımının vazgeçilmez bir bileşenidir.
NVIDIA H100 (NVIDIA H100)
NVIDIA H100, 2022 yılında duyurulan ve Hopper mikromimarisi (GH100 die) üzerine inşa edilen yüksek performanslı veri merkezi GPU'sudur. GPT-4, Llama ve diğer büyük dil modelleri dahil pek çok öncü yapay zeka modelinin eğitiminde kullanılan H100, bu alanda endüstri standardı konumuna gelmiştir. H100'ün en dikkat çekici yeniliği Transformer Engine'dir. Bu bileşen, FP8 ile FP16/BF16 hassasiyeti arasında katman bazında otomatik geçiş yaparak hem hesaplama hızını hem de model doğruluğunu korur. FP8 modunda seyrek (sparse) matris çarpımında 4 petaFLOPS, FP16'da ise 2 petaFLOPS zirve kapasitesine ulaşır. Bellek cephesinde, 80 GB HBM3 ve 3,35 TB/sn bant genişliğiyle büyük model ağırlıklarını verimli şekilde barındırır. NVLink 4.0 ile çip başına 900 GB/sn çift yönlü bant genişliği sağlanır; NVSwitch aracılığıyla 16 H100'ün sorunsuzca birbirine bağlanmasına olanak tanır. Bu ölçeklendirme kabiliyeti, yüzlerce milyar parametreli modellerin eğitimini pratik hale getirir. H100, SXM5 (sunucu kartı, 700 W) ve PCIe (350 W) olmak üzere iki formda sunulur. AWS, Microsoft Azure ve Google Cloud gibi büyük bulut sağlayıcıları H100 tabanlı sanal makine örnekleri sunar; piyasa fiyatı birim başına 25.000–40.000 ABD doları aralığındadır. Ardından gelen H200 modeli 141 GB HBM3e bellekle geliştirilmiş; Blackwell mimarisindeki B100 ve B200 serileri ise performans çıtasını daha da yükseltmiştir.
NVLink (GPU Ara Bağlantısı)
NVLink, NVIDIA'nın GPU'lar arasında doğrudan, yüksek bant genişlikli ve düşük gecikmeli veri aktarımı kuran özel ara bağlantı teknolojisidir. Geleneksel PCIe veri yolunda GPU'lar birbirleriyle CPU üzerinden haberleşmek zorundadır; NVLink bu dolambaçlı yolu ortadan kaldırır ve bir GPU'nun diğerinin belleğine doğrudan erişmesine izin verir. Büyük dil modellerinin eğitiminde onlarca, hatta yüz binlerce GPU'nun aynı anda çalıştığı 2026 ortamında bu doğrudan bağlantı, çok-GPU sistemlerinin temel yapı taşı hâline geldi. Teknoloji 2016'da Pascal mimarili P100 GPU ile 160 GB/s toplam bant genişliğiyle tanıtıldı. Volta (V100) ile 300 GB/s'ye, Ampere (A100) ile 600 GB/s'ye, Hopper (H100/H200) ile 900 GB/s'ye çıkan değer, Blackwell (B200/GB200) mimarisindeki NVLink 5.0'da GPU başına 1,8 TB/s'ye ulaştı. Karşılaştırmak gerekirse PCIe 5.0 x16 yaklaşık 128 GB/s taşır; NVLink 5.0 bunun yaklaşık 14 katıdır. NVIDIA'nın yol haritasında 2026 sonunda gelmesi beklenen Vera Rubin platformuyla NVLink 6.0'ın bant genişliği GPU başına 3,6 TB/s'ye çıkacak. İkiden fazla GPU'yu birleştirmek için NVIDIA, NVSwitch anahtar yongasını geliştirdi. NVSwitch, tüm GPU'ları all-to-all (herkesten herkese) topolojide eşit bant genişliğiyle bağlar. Bu mimarinin en çarpıcı örneği GB200 NVL72 rafıdır: 72 Blackwell GPU tek bir NVLink alanında birleşir ve toplam 130 TB/s NVLink bant genişliğiyle tek bir dev GPU gibi programlanır. Mayıs 2025'te duyurulan NVLink Fusion programı, teknolojiyi ilk kez üçüncü taraflara açtı: MediaTek, Marvell, Fujitsu ve Qualcomm gibi firmalar kendi CPU ve özel yongalarını NVIDIA GPU'larına NVLink ile bağlayabiliyor. Buna karşılık AMD, Intel, Google ve Microsoft'un başını çektiği UALink konsorsiyumu, NVLink'e açık standart bir alternatif geliştirmeye çalışıyor. GPT-4 sonrası devasa modellerin eğitiminde gradyan senkronizasyonu ve tensor paralelliği trafiği PCIe kapasitesini kolayca aştığından, NVLink bugün yapay zeka altyapısındaki en kritik rekabet alanlarından biridir.
PCIe (PCI Express)
PCIe (PCI Express / Peripheral Component Interconnect Express), modern bilgisayarlarda GPU, NVMe SSD ve yüksek hızlı ağ kartları gibi bileşenleri ana karta bağlayan seri, nokta-nokta yüksek bant genişliği veri yolu standardıdır. Yapay zeka ve derin öğrenme iş yüklerinde GPU'nun CPU belleğinden eğitim verisini ve model ağırlıklarını ne kadar hızlı aktarabildiğini doğrudan belirleyen kritik bir arayüzdür. Teknik açıdan PCIe, x1, x4, x8 ve x16 olmak üzere dört temel şerit (lane) konfigürasyonunda çalışır. Yapay zeka eğitim ve çıkarım GPU'ları tipik olarak x16 tam bağlantıyla takılır. Her PCIe nesli, tek şerit teorik bant genişliğini yaklaşık iki katına çıkarır. PCIe 3.0 x16, çift yönde ~32 GB/s toplam bant genişliği sunarken PCIe 4.0 ~64 GB/s, PCIe 5.0 ~128 GB/s ve henüz piyasaya yeni giren PCIe 6.0 ~256 GB/s kapasitesine ulaşır. Gizli Kodlama (encoding) yükü bu teorik değerden yaklaşık %20 oranında düşer. Yapay zeka perspektifinden PCIe bant genişliği iki kritik yerde darboğaz oluşturur. Birincisi, CPU RAM'inden GPU VRAM'ine veri transferidir; batch yükleme süreçlerinde GPU'nun veri beklemesi "host-to-device transfer latency" olarak bilinir ve PCIe nesli ile doğrudan ilişkilidir. İkincisi, çok-GPU kurulumlarında GPU'lar arasındaki iletişimdir; NVLink veya CXL gibi doğrudan GPU-GPU köprüleri mevcut değilse, tüm GPU-GPU trafiği PCIe üzerinden CPU'ya ve oradan geri dönmek zorunda kalır. NVIDIA A100 ve H100 veri merkezi GPU'ları PCIe 4.0/5.0 x16 ile, tüketici segmentindeki RTX 4090 PCIe 4.0 x16 ile gelir. AMD Instinct MI300X, PCIe 5.0 x16 desteği sunar. Apple Silicon (M-serisi) çiplerinde CPU-GPU arasında PCIe değil, Unified Memory Architecture (UMA) kullandığından bu darboğaz kavramsal olarak ortadan kalkar. Türkiye'de üniversite araştırma grupları ve AI startup'ları GPU sunucu kurulumlarında PCIe nesil uyumluluğunu, özellikle PCIe 3.0'lı eski anakartlarda PCIe 4.0 GPU kullanımında oluşan bant genişliği kayıplarını göz önünde bulundurmaktadır.
Photonic Chip (Fotonik Çip)
Fotonik Çip, geleneksel elektronik devrelerde kullanılan elektron akışı yerine foton (ışık parçacığı) akışını kullanarak hesaplama işlemlerini gerçekleştiren yeni nesil bir işlemci teknolojisidir. Yapay zeka uygulamalarında son derece kritik bir yer edinen bu teknoloji, özellikle derin öğrenme modellerinin matris çarpımı ve evrişim işlemlerinde olağanüstü hız ve enerji verimliliği sunmaktadır. Geleneksel silikon tabanlı çiplerde elektron hareketi ısı üretir ve bu ısı hem enerji kaybına hem de performans sınırlamalarına yol açar. Fotonik çipler ise ışığın optik interferans (girişim) ilkesini kullanarak aynı işlemleri çok daha az ısı ve enerji tüketerek gerçekleştirir. Araştırmalar, fotonik çiplerin geleneksel elektronik çiplere kıyasla 30 kat daha az enerji tüketirken 50 kat daha yüksek performans sergilediğini göstermektedir. Her işlem başına yalnızca 4 femtojoule enerji harcanması, bu teknolojiyi veri merkezi ölçekli yapay zeka sistemleri için son derece cazip kılmaktadır. Bu teknoloji özellikle görüntü sınıflandırma, video analizi ve gerçek zamanlı nesne tanıma gibi bilgisayarlı görme uygulamalarında büyük avantaj sağlar. Pennsylvania Üniversitesi'nden araştırmacılar, fotonik çiplerin saniyede 2 milyar görüntüyü işlediğini göstermiştir; bu, NVIDIA GPU'larının 100 katı bir hıza karşılık gelmektedir. Lightmatter (Envise platformu), Q.ANT (NPU 2 işlemcisi) ve Intel (entegre foton çipleti) bu alandaki öncü şirketler arasında yer almaktadır. Lightmatter, 4,4 milyar dolar değerlemeyle 850 milyon dolar finansman sağlamıştır. Optik işlemci pazarının 2027'deki 50 milyon dolardan 2034'e kadar 3 milyar dolara ulaşması beklenmektedir. Bununla birlikte fotonik çiplerin bazı sınırlamaları da bulunmaktadır: bellek yoğun işlemlerde GPU'ların gerisinde kalabilmekte, üretim maliyetleri hâlâ yüksektir ve programlama araçları olgunlaşma aşamasındadır. Ancak yapay zekanın enerji tüketimi giderek arttıkça fotonik çipler, sürdürülebilir AI altyapısının vazgeçilmez bir parçası hâline gelecektir.
Quantum Machine Learning (Kuantum Makine Öğrenimi)
Kuantum makine öğrenimi (QML), kuantum bilgisayarların süperpozisyon, dolanıklık (entanglement) ve kuantum girişimi (interference) gibi temel mekanik özelliklerini klasik makine öğrenmesi algoritmalarıyla birleştiren disiplinlerarası bir araştırma alanıdır. Temel hedef; büyük veri kümelerini analiz etmek, karmaşık optimizasyon problemlerini çözmek ve yeni kuantum özgün modeller geliştirmek için kuantum bilgisayarların potansiyel hesaplama hızı avantajından yararlanmaktır. QML yaklaşımları üç ana kategoride incelenir: Birincisi, kuantumdan ilham alan algoritmalar (quantum-inspired) klasik donanımda kuantum prensiplerini taklit eder. İkincisi, hibrit kuantum-klasik algoritmalar hesaplamayı kuantum ve klasik işlemciler arasında bölerek bugünün gürültülü ara ölçekli kuantum (NISQ) cihazlarında çalışabilir. Üçüncüsü ise tamamen kuantum algoritmalar teorik olarak tam ölçekli evrensel kuantum bilgisayarı gerektirir. En yaygın QML algoritmaları arasında Kuantum Destek Vektör Makinesi (QSVM), Kuantum Sinir Ağları (QNN), Değişimsel Kuantum Özdeğer Çözücü (VQE) ve Kuantum Yaklaşık Optimizasyon Algoritması (QAOA) sayılabilir. VQE, parametre ayarını klasik optimizatöre bırakırken kuantum durumlarını donanım üzerinde ölçen hibrit bir yapı sunar; bu sayede NISQ cihazlarında da uygulanabilir hale gelir. Uygulama alanları arasında ilaç keşfi ve moleküler simülasyon, finansal portföy optimizasyonu, malzeme bilimi, kriptografi ve lojistik planlaması öne çıkar. IBM Qiskit, Google Cirq, Xanadu PennyLane ve TensorFlow Quantum gibi çerçeveler araştırmacılara kuantum devrelerini simüle etme ve gerçek kuantum donanımına erişim imkânı sunar. Klasik makine öğrenmesine kıyasla "kuantum üstünlüğü" henüz pratikte genel olarak ortaya konulamamıştır; ancak HHL algoritması gibi belirli problem sınıflarında teorik üstel hız kazanımı kanıtlanmıştır. QML, günümüzde ağırlıklı olarak teorik ve deneysel aşamada olmakla birlikte, gelecekte hesaplama yoğun yapay zeka modellerinin eğitimini kökten dönüştürebilecek potansiyele sahiptir.
RISC-V Nedir? Açık Kaynak İşlemci Mimarisi ve Yapay Zeka (RISC-V)
RISC-V (okunuşu: risk-five), 2010 yılında Kaliforniya Üniversitesi Berkeley'de David Patterson ve Krste Asanović öncülüğünde geliştirilen açık kaynak komut seti mimarisinin (ISA) adıdır. "RISC" kısaltması İngilizce Reduced Instruction Set Computer (Azaltılmış Komut Kümeli Bilgisayar) teriminden gelir; "V" ise mimarinin beşinci nesil olduğuna işaret eder. Geleneksel işlemci mimarilerinden (Intel x86, ARM) farklı olarak RISC-V, telif hakkı veya lisans bedeli gerektirmeyen özgür bir standarttır. Bu durum, büyük ve küçük her ölçekteki şirketin kendi özel donanım çiplerini tasarlamasının önündeki maliyet engellerini ortadan kaldırmaktadır. Yapay zeka uygulamalarında RISC-V'nin önemi hızla artmaktadır. Kenar bilişim (edge AI) cihazlarında, mikrodenetleyicilerden güçlü çıkarım çiplerine kadar geniş bir yelpazede RISC-V çekirdekleri tercih edilmektedir. Alibaba'nın T-Head birimi RISC-V tabanlı XuanTie serisi çipleriyle yapay zeka iş yüklerini işlerken; Avrupa Birliği'nin Avrupa İşlemci Girişimi (EPI) projesi, teknolojik egemenlik kaygısıyla RISC-V mimarisine yatırım yapmaktadır. Öne çıkan RISC-V ekosistem oyuncuları şunlardır: SiFive (özelleştirilmiş RISC-V çekirdekleri), StarFive (tek kart bilgisayarlar), Espressif (ESP32 mikrodenetleyiciler), GreenWaves Technologies (GAP9 yapay zeka işlemcisi) ve Kendryte (K210 kenar çıkarım çipi). RISC-V International, mimarinin standartlarını ve gelişimini koordine eden uluslararası yönetim kuruluşudur. RISC-V'nin yapay zeka iş yükleri için güçlü yönleri arasında özelleştirilebilir vektör uzantıları (RISC-V Vector Extension, RVV), sıfır lisans maliyeti, düşük güç tüketimi ve açık kaynak donanımın getirdiği şeffaf güvenlik denetimi yer almaktadır. Kısıtlamaları ise ARM ve x86 ile kıyaslandığında görece sınırlı yazılım ekosistemi ve araç zincirlerinin olgunlaşma sürecinde olmasıdır. Açık kaynak donanım hareketi yapay zeka çip tasarımını demokratikleştirme potansiyeli taşıdığından, RISC-V önümüzdeki yıllarda kritik bir altyapı bileşeni hâline gelebilir.
Sistolik Dizi (Sistolik Dizi)
Sistolik dizi (systolic array), işlem elemanlarının (PE — processing element) düzenli bir ızgara topolojisinde dizilerek verinin komşu elemanlar arasında ritmik (darbeli) bir akışla işlendiği özel amaçlı paralel donanım mimarisidir. 1978'de Carnegie Mellon Üniversitesi'nden H.T. Kung ve Charles Leiserson tarafından önerilen bu mimari, "veri kalbe kan gibi pompalanır" metaforundan adını alır. Sistolik dizinin temel çalışma prensibi şudur: her saat döngüsünde veriler ızgara boyunca bir adım kayar; her işlem elemanı kendisine gelen kısmi sonucu bir önceki eleman verisiyle birleştirerek bir sonraki elemana iletir. Bu yaklaşım, verinin tek bir merkezi belleğe gidip gelmesi yerine işlem elemanları arasında yerel olarak akmasını sağlar; böylece bellek bant genişliği darboğazı dramatik biçimde azaltılır. Yapay zeka donanımlarında sistolik dizi mimarisi kritik bir rol üstlenmektedir. Google'ın Tensör İşleme Birimi (TPU), 2016 yılında 256×256 sistollik dizi üzerine inşa edilmiş olarak duyurulmuş ve sinir ağı matris çarpımları için saniyede 92 teraflops performans sunmuştur. Matris çarpımı — derin öğrenme modellerinin en temel hesaplama ilkeli — sistolik mimaride son derece verimli gerçekleştirilir: ağırlık matrisi sabit tutulurken aktivasyonlar dizi üzerinden akar ya da tam tersi bir akış uygulanır. GPU'larla karşılaştırıldığında sistolik diziler farklı bir hesaplama paradigmasını temsil eder. GPU genel amaçlı paralel hesaplama için binlerce çekirdek içerirken, sistolik dizi belirli bir hesaplama kalıbı (özellikle matris-matris çarpımı) için optimize edilmiş özel bir hattır. Bu nedenle eğitim gibi çeşitli iş yüklerine kıyasla çıkarım (inference) gibi sabit hesaplama kalıbı gerektiren görevlerde daha verimlidir. Google TPU v4 ve v5 ile Groq LPU da bu mimarinin modern temsilcileridir.
SoC (System-on-Chip) (Sistem Üzeri Çip)
SoC (System-on-Chip / Sistem Üzeri Çip), merkezi işlem birimi (CPU), grafik işlemcisi (GPU), sinir ağı işlemcisi (NPU), bellek kontrolcüsü, codec birimleri ve giriş/çıkış arabirimlerini tek bir silikon yonga üzerinde entegre eden devre mimarisidir. Geleneksel mimarilerde bu bileşenler ayrı entegre devreler olarak ana kart üzerinde konumlandırılırdı; SoC tasarımı bu parçaları tek pakette birleştirerek bileşenler arası veri taşıma gecikmesini ve enerji tüketimini önemli ölçüde azaltır. Yapay zeka uygulamaları açısından SoC mimarisinin en kritik özelliği Birleşik Bellek Mimarisi'dir (UMA — Unified Memory Architecture). UMA'da CPU, GPU ve NPU ayrı bellek havuzları yerine ortak bir fiziksel bellek alanını paylaşır; bu sayede büyük dil modelleri (LLM) veya görüntü üretim modelleri çalıştırılırken veri kopyalama yükü ortadan kalkar ve bellek bant genişliği son derece verimli kullanılır. Apple'ın M-serisi (M1, M2, M3, M4) bu yaklaşımın en dikkat çekici ticari uygulamasıdır: M4 yongasındaki 16 çekirdekli Neural Engine, 38 TOPS (saniyede trilyon işlem) kapasitesiyle Mac ve iPhone'da on-device AI çıkarımına olanak tanır. Mobil alanda Qualcomm Snapdragon 8 Elite'in Hexagon NPU birimi 45 TOPS performansıyla akıllı telefon AI işlemlerini hızlandırırken, Google'ın kendi geliştirdiği Tensor SoC'u Pixel cihazlarda Gemini Nano modelini doğrudan çalıştıracak biçimde optimize edilmiştir. Endüstriyel ve otonom araç uygulamalarında ise NVIDIA Jetson Orin, 275 TOPS kapasitesiyle robotik ve sürücüsüz araç sistemleri için tercih edilen platformdur. SoC mimarisi ayrık GPU, TPU veya ASIC çözümlerine kıyasla farklı bir ödünleşim sunar: programlanabilirlik ve çoklu iş yükü esnekliği ön plandadır; belirli bir hesaplama türüne kesin olarak optimize edilmiş ASIC'ler kadar verimli olmasa da tek çipta hem ses işleme hem görüntü analizi hem de LLM çıkarımı eş zamanlı yürütülebilir. Bu esneklik, özellikle uç cihazlarda (edge AI) buluta bağlılık olmaksızın gerçek zamanlı yapay zeka işlemlerini mümkün kılar ve veri gizliliği açısından da önemli avantaj sunar. Türkiye'de savunma sanayii ve otomotiv sektörü kapsamında yerli SoC tasarım kapasitesi oluşturma çalışmaları orta vadeli hedefler arasındadır. Microsoft Copilot+ PC programı, piyasaya 40 TOPS NPU gerekliliği getirerek Qualcomm, Intel ve AMD'yi SoC tasarımlarını yenilemeye yöneltti; bu gelişme SoC ekosisteminin tüketici elektroniğindeki merkezi rolünü pekiştirdi.
Tensor Core (Tensor Çekirdeği)
Tensor Core, NVIDIA'nın 2017'de Volta mimarisiyle (V100) tanıttığı, matris çarpma-biriktirme (Matrix Multiply-Accumulate, MMA: D = A × B + C) işlemini tek saat döngüsünde gerçekleştiren özel donanım birimidir. Derin öğrenme modellerinin hem eğitimi hem çıkarımı dev matris çarpmalarından oluştuğu için bu birimler, modern yapay zekâ hesaplamasının fiili motoru konumundadır. Klasik CUDA çekirdekleri genel amaçlı skaler ve vektör işlemler için tasarlanmıştır; Tensor Core ise sabit işlevli bir matris motorudur. Bir warp (32 iş parçacığı), `wmma` API'si üzerinden 16×16 matrisleri 4×4 bloklara bölerek işler ve aynı hassasiyetteki FP32 CUDA hesabına kıyasla teorik tepe verimini kata katlar: FP16 modunda yaklaşık 8×, düşük bitli formatlarda çok daha fazlası. En kritik yetenek karma hassasiyettir (mixed precision): çarpma FP16, BF16 veya FP8 gibi kısa formatlarda yapılırken biriktirme FP32'de tutulur. Böylece bellek bant genişliği ihtiyacı yarıya iner, model doğruluğu büyük ölçüde korunur. PyTorch'ta `torch.autocast`, TensorFlow'da `tf.keras.mixed_precision` bu donanımı şeffaf biçimde devreye alır; cuBLAS, cuDNN ve TensorRT kütüphaneleri de arka planda Tensor Core kullanır. Nesil gelişimi hızlıdır: Volta FP16 ile başladı, Turing (2018) INT8/INT4 ekledi, Ampere (A100, 2020) TF32, BF16 ve 2:4 yapısal seyreklik getirdi, Hopper (H100, 2022) FP8 ve Transformer Engine ile LLM eğitiminin standardı oldu. Blackwell (B200/GB200, 2024) 5. nesil Tensor Core'larda FP4 ve FP6 formatlarını, 2. nesil Transformer Engine'i ve mikro ölçekleme (MX) veri tiplerini tanıttı; B200 tek başına FP4'te 9 PFLOPS'u aşan yoğun matris verimi sunar. 2026 itibarıyla GPT, Claude, Gemini ve Llama sınıfı modellerin eğitimi on binlerce Blackwell GPU'luk kümelerde, çıkarımı ise FP8/FP4 nicemlemeyle Tensor Core'lar üzerinde koşar; NVIDIA'nın Rubin mimarisi de 2026 yol haritasında aynı çizgiyi sürdürür.
TPU (Tensor Processing Unit) (Tensör İşlem Birimi)
TPU (Tensor Processing Unit), Google tarafından büyük ölçekli makine öğrenimi iş yüklerini, özellikle derin sinir ağı eğitimini ve çıkarsama işlemlerini hızlandırmak için tasarlanmış özel amaçlı bir entegre devre (ASIC — Application-Specific Integrated Circuit). 2016 yılında Google'ın dahili kullanım için geliştirdiği bu donanım, 2018'den itibaren Google Cloud üzerinden dış kullanıcılara da sunulmuştur. TPU'lar, matris çarpma işlemlerine (matrix multiplication) özelleşmiş yapılarından dolayı standart CPU ve GPU'dan farklılaşır. Derin öğrenme modellerindeki en hesaplama yoğun operasyon — örneğin transformer'ların dikkat hesaplaması veya konvolüsyonel katmanlar — matris çarpımı içerir. TPU'nun Systolic Array mimarisi bu operasyonu paralel ve yüksek bant genişliğiyle gerçekleştirir. Systolic Array'de matris elemanları bir dizi hesaplama birimine dalga biçiminde akar; bu yaklaşım bellekten okuma sayısını minimize ederek bellek bant genişliğini verimli kullanır. TPU sürümleri tarihsel gelişimi yansıtır: TPU v1 (2016) yalnızca çıkarsama yaparken; TPU v2 ve v3 hem eğitim hem çıkarsamayı destekler. TPU v4 ile birlikte büyük dil modellerinin (LLM) eğitimi için optimize özellikler eklendi. 2024'te duyurulan TPU v6 Trillium ise enerji verimliliği ve çip başına hesaplama yoğunluğunu daha da artırdı. Google'ın PaLM, Gemini ve AlphaFold modelleri TPU kümelerinde (pod) eğitilmiştir. Google Cloud TPU Pod'ları, binlerce TPU çekirdeğini yüksek bant genişlikli ağla birleştirir. TPU v4 Pod 4.096 çip ve 600 Gbps ağ bağlantısı içerir. Bu mimari, model paralelliği ve veri paralelliğini eş zamanlı uygulamaya olanak tanır: model çok büyükse katmanlar çiplere bölünür, veri büyükse her çip farklı mini-batch işler. Gemini Ultra bu ölçekte bir altyapıda eğitilmiştir. Yazılım açısından JAX, TensorFlow ve PyTorch XLA ile TPU'lar programlanabilir. JAX, Python kodunu XLA (Accelerated Linear Algebra) derleyicisiyle TPU üzerinde çalıştırır; jax.jit() ile fonksiyon derlenir, pmap() ile çok cihazlı paralel yürütme yapılır. Kullanıcılar Google Colab veya Cloud TPU aracılığıyla TPU'ya erişebilir. Google Research TPU programı ise araştırmacılara ücretsiz erişim imkânı tanır.
TPU Mimarisi (TPU Mimarisi)
TPU Mimarisi (Tensor Processing Unit Architecture), Google tarafından matris çarpımı ve lineer cebir işlemlerini maksimum verimlilikle gerçekleştirmek için özel olarak tasarlanan donanım işlemci mimarisini ifade eder. GPU ve CPU'nun aksine genel amaçlı hesaplama için değil, özellikle derin öğrenme modellerinin eğitimi ve çıkarımı (inference) için optimize edilmiş olan TPU, ilk olarak 2016 yılında Google veri merkezlerinde kullanılmaya başlanmıştır. TPU mimarisinin temel yapı taşı sistolik dizi (systolic array) adı verilen ve binlerce çarpma-toplama (multiply-accumulate) biriminin birbirine doğrudan bağlı olduğu matris yapısıdır. Bu mimaride veri bir kez bellekten yüklenir ve dizi boyunca akarak defalarca yeniden kullanılır; böylece bellek bant genişliği talebi dramatik biçimde düşürülür. TPU v1, 700 MHz saat hızında 65.536 çarpma-toplama işlemini eş zamanlı gerçekleştirebilir ve saniyede 92 trilyon 8-bit işlem kapasitesine sahipken yalnızca 40 watt güç tüketir. Her TPU TensorCore birimi; matris çarpımı birimi (MXU), vektör birimi ve skaler birimden oluşur. TPU v5 ve sonraki nesillerde MXU boyutu 256×256'ya çıkarılmış, HBM (High Bandwidth Memory) kullanımıyla bant genişliği daha da artırılmıştır. Yeni nesil TPU'lar eğitim (TPU 8t) ve çıkarım (TPU 8i) için ayrı varyantlar olarak sunulmakta; bu sayede farklı hesaplama gereksinimlerine özgü donanım optimizasyonu sağlanmaktadır. Google'ın TPU'ları günümüzde Google Cloud üzerinden TPU VM ve TPU Pod yapılandırmaları şeklinde erişilebilmektedir. Bir TPU Pod, binlerce TPU çekirdeğini yüksek hızlı ara bağlantılarla birleştirerek eksa-ölçek hesaplama kapasitesi sunar. ChatGPT, Gemini ve benzeri büyük dil modellerinin eğitiminde kullanılan en kritik donanım altyapılarından birini oluşturan TPU mimarisi, NVIDIA GPU'larına alternatif en güçlü yapay zeka hızlandırıcı platformu konumundadır.
Wafer Nedir? Yapay Zeka Çiplerinin Hammaddesi (Silikon Vaferi)
Silikon vafer (wafer), yarı iletken çip üretiminin temelini oluşturan, yüksek saflıkta silikon kristalinden kesilmiş ince ve yuvarlak disk biçimindeki levhadır. GPU, TPU, NPU ve ASIC gibi yapay zeka ivedileyicilerinin tamamı bu diskler üzerine foto-litografi, oyma, kaplama ve diğer kimyasal işlemler uygulanarak üretilir. Tek bir wafer üzerinde aynı anda yüzlerden binlerce özdeş çip (die) üretilebilir; bu da büyük ölçekli seri üretimi ve düşük birim maliyeti mümkün kılar. Endüstri standardı wafer çapı günümüzde 300 mm (12 inç) düzeyindedir. NVIDIA H100 ve H200, Google TPU v5 ile Apple M4 gibi günümüz AI çiplerinin tamamı bu boyuttaki wafer'lar üzerinde TSMC, Samsung veya Intel Foundry gibi fabrikasyon tesislerinde üretilmektedir. Wafer verimi (yield), üretim kalitesinin ve doğrudan çip maliyetinin birincil göstergesidir: hatasız üretilen die sayısı arttıkça birim maliyet düşer. Wafer üretim süreci Czochralski kristal büyütme yöntemiyle başlar. Yüksek saflıkta eritilen silikon, dönen bir tohum kristalinin etrafında yavaşça çekilerek silindirik bir ingot oluşturulur. Bu ingot elmas telli makinelerle 0,7-1 mm kalınlıkta dilimlenip kimyasal-mekanik planarizasyon (CMP) ile atomik düzeyde pürüzsüzleştirilir. Litografi aşamasında EUV (Extreme Ultraviolet) ışığı kullanılarak transistörler ve bağlantı yolları wafer yüzeyine aktarılır; 3 nm ve altı geometrilerde bu adım ASML'nin ürettiği 150 milyon dolar değerindeki özel EUV makinelerini zorunlu kılar. Fabless iş modeli, NVIDIA, AMD ve Apple gibi tasarım şirketleri ile TSMC, Samsung gibi üretici foundry'ler arasındaki iş bölümünü tanımlar. Bu yapı, tasarım ekiplerine çip mimarisine odaklanma imkânı verirken pahalı fabrikasyon yatırımlarını foundry'lere bırakır. 2020-2022 küresel çip krizinde ortaya çıkan wafer kapasitesi darboğazı, yapay zeka çip arzını ciddi biçimde etkileyerek tedarik zinciri güvenliğini jeopolitik gündemin merkezine taşımıştır.