category Donanım ve Çipler
Yapay zeka hızlandırıcıları ve işlemciler
ASIC (Uygulama Özel Entegre Devre)
ASIC (Application Specific Integrated Circuit — Uygulama Özel Entegre Devre), belirli bir görevi yerine getirmek amacıyla özel olarak tasarlanmış bir entegre devre türüdür. Genel amaçlı CPU veya GPU'ların aksine, ASIC yalnızca tek bir işlev için optimize edilir; bu da onu söz konusu görev için son derece hızlı, enerji verimli ve maliyet etkin hale getirir. Yapay zeka alanında ASIC'ler, sinir ağı eğitimi ve çıkarımı (inference) için kritik bir donanım çözümü olarak öne çıkmaktadır. Bir ASIC, üretildikten sonra yeniden programlanamaz; ancak bu esneklik eksikliği, tasarımın hedef göreve göre mükemmel biçimde optimize edilmesini mümkün kılar. Google'ın TPU'su (Tensor Processing Unit), matris çarpımı ve tensör işlemleri için geliştirilmiş bir yapay zeka ASIC'idir. Apple'ın Neural Engine'i, Tesla'nın FSD (Full Self-Driving) çipi ve Huawei'nin Ascend serisi de bu kategoride değerlendirilen önde gelen örneklerdir. 2026 yılı itibarıyla özel yapay zeka ASIC'lerinin pazar büyümesi genel amaçlı GPU büyümesinin neredeyse üç katına ulaşmıştır. TrendForce verilerine göre ASIC sevkiyatları yıllık bazda yüzde 44,6 büyürken genel amaçlı GPU'lar yalnızca yüzde 16,1 büyüme kaydetmiştir. Bu eğilim, yapay zeka altyapısında özel silikon çözümlerine olan talebin ne denli hızlandığını açıkça ortaya koymaktadır. Bloomberg Intelligence, 2033 yılına kadar özel AI ASIC pazarının yüzde 27 bileşik yıllık büyüme oranıyla 118 milyar dolara ulaşacağını öngörmektedir. ASIC tasarımı, maskeler ve doğrulama süreçleri nedeniyle yüksek başlangıç (NRE — Non-Recurring Engineering) maliyeti gerektirdiğinden genellikle büyük ölçekli ve uzun vadeli üretim kararları için tercih edilir. Ancak yüksek hacimli çıkarım iş yüklerinde genel amaçlı alternatiflere kıyasla yüzde 40-65 arasında toplam sahip olma maliyeti (TCO) avantajı sağladığı bilinmektedir. Modern ASIC tasarımında chiplet mimarisi de yaygınlaşmaktadır: tek bir pakette birleştirilen I/O, hesaplama, bellek ve analog parçaları ayrı kalıplar olarak üretilerek performans ve verimlilik maksimize edilmektedir.
Cerebras Nedir? Yapay Zeka için Wafer Scale Engine (Gofret Ölçekli Motor)
Cerebras Systems, 2016 yılında kurulan ve yapay zeka donanımında temelden farklı bir yaklaşım benimseyen Amerikan teknoloji şirketidir. Şirketin temel ürünü olan Wafer Scale Engine (WSE — Gofret Ölçekli Motor), tek bir silikon yonga üzerinde 900.000 çekirdek ve 44 GB çip içi bellek barındıran, tarihin en büyük üretilmiş çipidir; NVIDIA B200'den 58 kat daha büyüktür.Geleneksel GPU tabanlı sistemlerde büyük dil modellerinin çıkarımı (inference) sırasında model ağırlıklarının harici bellekten tekrar tekrar yüklenmesi kritik bir darboğaz oluşturur. WSE, 21 petabayt/saniye çip içi bant genişliği sunarak bu bellek duvarını ortadan kaldırır. Sonuç olarak Cerebras Inference platformu, Llama 3.1 70B modelinde saniyede 2.100+ token üretebilirken GPU tabanlı rakipler saniyede yüzlerce tokenda kalır.Cerebras 2026 yılında halka açık bir şirket haline geldi; Mayıs 2026'daki IPO'sunda hisse başına 185 dolardan 5,55 milyar dolar topladı ve ilk işlem gününde hisseleri neredeyse iki katına çıktı. Bu gelişme, GPU'ya alternatif yapay zeka donanımı alanının ne denli güçlü bir yatırımcı ilgisi çektiğini göstermektedir.
Chip Design Nedir? Entegre Devre Tasarım Süreci (Çip Tasarımı)
Chip design (çip tasarımı), işlemci, GPU veya özel amaçlı yapay zeka hızlandırıcısı gibi yarı iletken entegre devrelerin tasarım, doğrulama ve üretim hazırlığı sürecini kapsar. RTL (Register Transfer Level) tanımıyla başlayan süreç; mantık sentezi, fiziksel yerleştirme, yönlendirme (place & route) ve üretim doğrulama aşamalarını içerir. EDA (Electronic Design Automation) yazılımları bu karmaşık süreci otomatize eder. Modern yapay zeka çipleri olan GPU, TPU, NPU ve ASIC'ler bu metodoloji ile tasarlanmaktadır.
Chiplet (Çiplet Mimarisi)
Chiplet, geleneksel tek-parça silikon üretim anlayışını köklü biçimde değiştiren modern bir yarı iletken tasarım paradigmasıdır. Klasik yaklaşımda tüm işlemci fonksiyonları tek ve büyük bir silikon kalıbı (monolitik die) üzerinde birleştirilirdi; ancak kalıp büyüdükçe üretim verimi düşer, maliyetler katlanır ve termal yönetim zorlaşır. Chiplet mimarisinde büyük kalıp yerine birden fazla küçük, uzmanlaşmış die ayrı ayrı üretilir. CPU çekirdeği, bellek denetleyicisi, G/Ç arabirimi ve yapay zeka hesaplama birimi gibi farklı işlevler ayrı chiplet modülleri olarak tasarlanır. Bu bileşenler gelişmiş paketleme teknolojileri (2.5D, 3D entegrasyon) aracılığıyla tek bir paket içinde bir araya getirilir. AMD 2017 yılında piyasaya sürdüğü EPYC sunucu işlemcileriyle bu paradigmayı ana akım haline getirdi. Şirket; CPU çekirdek komplekslerini (CCD) yüksek hacimli bir 7 nm sürecinde, I/O denetleyicisini ise daha olgun bir 14 nm sürecinde üreterek verim ve maliyet optimizasyonu sağladı. Yapay zeka hızlandırma alanında chipletler artık olmazsa olmaz bir konumdadır. AMD Instinct MI300X, sekiz hesaplama chipletiyle birleştirilen HBM3 bellek yığınlarından oluşan 192 GB kapasitesiyle büyük dil modellerinin eğitimi ve çıkarımı için kritik bir platform sağlar. Intel Ponte Vecchio ve NVIDIA'nın gelecek nesil tasarımları da benzer yaklaşımları benimser. Çipletler arasındaki iletişim için UCIe (Universal Chiplet Interconnect Express) gibi açık endüstri standartları geliştirilmektedir. Bu standartlar farklı üreticilerden gelen chipletlerin birlikte çalışabilmesini ve bir LEGO sistemi gibi özelleştirilebilir AI işlemcileri oluşturulmasını hedefler. Chiplet ekonomisi, özellikle veri merkezi AI iş yüklerinde donanım seçeneklerini köklü biçimde genişletti.
CUDA (Compute Unified Device Architecture)
CUDA (Compute Unified Device Architecture), NVIDIA tarafından 2006 yılında geliştirilen ve GPU'ları genel amaçlı hesaplama (GPGPU) için kullanmayı mümkün kılan paralel hesaplama platformu ve programlama modelidir. Grafik işleme birimlerinin binlerce çekirdeğini eş zamanlı olarak çalıştırma kapasitesini yapay zeka ve bilimsel hesaplamalar için açan bu teknoloji, modern derin öğrenmenin temel altyapısını oluşturur. CUDA, geleneksel CPU programlamadan temel bir paradigma değişikliği sunar. CPU'lar güçlü ancak sınırlı sayıda çekirdekle sıralı işlemler için optimize edilmişken; NVIDIA GPU'ları onlarca binden yüz binlerce CUDA çekirdeğiyle aynı anda binlerce işlem gerçekleştirebilir. Bu eşzamanlılık, matris çarpımı, konvolüsyon ve gradyan hesaplama gibi derin öğrenme operasyonlarını CPU'ya kıyasla 10–100 kat hızlandırır. CUDA'nın iş parçacığı hiyerarşisi üç katmandan oluşur: Temel birim olan iş parçacıkları (threads), bu iş parçacıklarını gruplandıran bloklar (blocks) ve blokları organize eden ızgaralar (grids). Bir CUDA çekirdeği (kernel) çağrıldığında GPU'da binlerce iş parçacığı eş zamanlı olarak çalışır; her blok içindeki iş parçacıkları paylaşılan belleği (shared memory) kullanarak birbirleriyle iletişim kurabilir. CUDA Toolkit, geliştiricilere nvcc derleyicisi, cuBLAS (lineer cebir), cuDNN (derin sinir ağları), cuFFT (Fourier dönüşümü) ve NCCL (çoklu GPU iletişimi) gibi optimize kütüphaneler sunar. PyTorch ve TensorFlow gibi modern derin öğrenme çerçeveleri arka planda CUDA üzerinde çalışır; böylece araştırmacılar düşük seviyeli GPU programlamasına girmeden yüksek performanslı model eğitimi gerçekleştirebilir. Günümüzde NVIDIA H100 gibi gelişmiş veri merkezi GPU'ları 16.896 CUDA çekirdeğine sahipken; bu çekirdeklere ek olarak Tensor Core adı verilen özel matris işlem birimleri de bulunur. Tensor Core'lar karışık hassasiyetli (FP16/BF16/INT8) matris çarpımlarını CUDA çekirdeklerine göre 4–16 kat daha hızlı gerçekleştirir ve büyük dil modellerinin eğitiminde kritik öneme sahiptir.
Die Stacking Nedir? 3D Çip Entegrasyonu Rehberi (Die Yığma)
Die stacking (die yığma veya 3B entegre devre), birden fazla yarı iletken çip katmanının (die) dikey olarak üst üste istiflendiği ve Through-Silicon Via (TSV) ya da hibrit bağlama yöntemiyle birbirine bağlandığı ileri bir paketleme teknolojisidir. Bu teknik sayesinde çipler arasındaki iletişim mesafesi dramatik biçimde kısalır; sinyal gecikmeleri azalır, bant genişliği artar ve bit başına enerji tüketimi düşer. Die stacking'in en yaygın örneği HBM (High Bandwidth Memory) bellektir. HBM'de 4-12 DRAM katmanı dikey olarak üst üste istiflenip bir interposer üzerinde GPU veya AI işlemcisiyle yan yana konumlandırılır. NVIDIA H100'deki HBM3 bellekler 3,35 TB/s'ye varan bant genişliği sunarak yapay zeka modellerinin eğitimindeki bellek darboğazını büyük ölçüde ortadan kaldırır. AMD 3D V-Cache teknolojisi, TSMC'nin SoIC (System-on-Integrated-Chip) hibrit bağlama prosesiyle SRAM katmanlarını doğrudan CPU üzerine istifler. 9 µm pitch ile gerçekleştirilen bu bağlantı, geleneksel yöntemlere göre 15 kat daha yoğun bir ara yüz sunar ve L3 önbellek kapasitesini 2-3 katına çıkarır. Intel'in Foveros teknolojisi ise farklı süreç düğümlerinde üretilmiş katmanları—örneğin 7 nm hesap die'ı ile 22 nm G/Ç die'ını—tek paket içinde birleştirerek heterojen entegrasyona olanak tanır. TSMC SoIC ve Intel Foveros Direct gibi modern çözümler, yapay zeka hızlandırıcı tasarımının temel bileşeni hâline gelmektedir.
Edge Computing (Uç Bilişim)
Edge Computing (Uç Bilişim), veri işleme ve hesaplama görevlerini merkezi veri merkezlerinden uzaklaştırarak veriyi üreten kaynaklara —sensörler, IoT cihazları, akıllı kameralar ve mobil aygıtlar— yakın noktalara taşıyan dağıtık bilişim paradigmasıdır. Geleneksel bulut bilişimde tüm veriler uzak sunuculara gönderilir ve işleme orada gerçekleşir; edge computing ise bu hesaplamaların büyük bölümünü ağın "ucunda" (edge), yani verinin üretildiği yere en yakın noktada gerçekleştirir. Bu yaklaşım birkaç temel avantaj sunar. İlk olarak gecikme (latency) dramatik biçimde azalır: otonom araçlar, endüstriyel robotlar ve gerçek zamanlı görüntü analiz sistemleri, kararların milisaniyeler içinde verilmesini gerektirir. Buluta gidiş-dönüş süresi bu gecikmeyi karşılayamaz; edge işlem ise kararı neredeyse anında verebilir. İkinci olarak bant genişliği kullanımı düşer: bir fabrikadaki yüzlerce kamera ham video akışını merkeze göndermek yerine sadece analiz sonuçlarını (örneğin hata tespiti uyarıları) buluta iletir. Üçüncüsü veri gizliliği ve güvenlik artar; hassas veriler yerel olarak işlenir, merkezi bir konuma aktarılmaz. Yapay zeka uygulamaları açısından edge computing, Edge AI kavramını doğurmuştur: eğitilmiş modeller doğrudan edge cihazlarda çalıştırılır. Bu amaçla NPU, ASIC ve özel işlemciler geliştirilmiş; model sıkıştırma teknikleri (quantization, pruning) kritik önem kazanmıştır. Akıllı şehirler, endüstri 4.0, sağlık teknolojileri ve otonom sistemler edge computing'in en yaygın uygulama alanlarıdır. 5G altyapısının yaygınlaşmasıyla birlikte edge computing kapasitesi ve benimsenmesi küresel ölçekte hızla artmaktadır. Robotik, sağlık izleme ve endüstriyel otomasyon gibi kritik sektörler bu dönüşümün merkezindedir.
FPGA (Yeniden Programlanabilir Kapı Dizisi)
FPGA (Field-Programmable Gate Array — Yeniden Programlanabilir Kapı Dizisi), üretim sonrasında yeniden yapılandırılabilen entegre devrelerdir. Yapay zeka uygulamalarında FPGA'lar; CPU'ların genel amaçlı esnekliği, GPU'ların yüksek paralel hesap gücü ve özel ASIC çiplerin maksimum verimliliği arasında benzersiz bir denge noktası oluşturur. Donanımın yazılım gibi değiştirilebildiği bu yapı, belirli sinir ağı modellerine veya makine öğrenimi iş yüklerine göre özelleştirilmiş devreler tasarlamayı mümkün kılar. Yapay zeka çıkarım görevlerinde FPGA'lar birçok avantaj sunar: GPU'lara kıyasla belirgin biçimde daha düşük enerji tüketimi, mikrosaniye düzeyinde gecikme süreleri ve batch processing yerine gerçek zamanlı tek örnek çıkarımda üstün performans. Intel Agilex ve AMD Xilinx Versal gibi modern FPGA platformları, AI motoru bloklarını donanım düzeyinde entegre ederek nöral ağ hesaplamalarını doğrudan silikon üzerinde gerçekleştirir. Microsoft'un Project Catapult projesi, Bing arama altyapısında FPGA'ları kullanarak hem gecikmeyi düşürmüş hem de enerji verimliliğini artırmıştır. Kenar bilişim (edge AI) alanında ise FPGA'lar; güç bütçesinin kritik olduğu otonom araçlar, sanayi robotları ve medikal görüntüleme cihazları gibi gömülü sistemlerde tercih edilen donanım hızlandırıcısı konumundadır. FPGA programlaması geleneksel olarak VHDL veya Verilog gibi donanım tanımlama dilleriyle (HDL) yapılırken, günümüzde Intel OneAPI ve Xilinx Vitis AI gibi Yüksek Seviyeli Sentez (HLS) araçları PyTorch ve TensorFlow modellerini doğrudan FPGA bitstream formatına dönüştürmektedir. INT8 veya INT4 gibi düşük hassasiyetli sayısal formatlar kullanılarak sinir ağı çıkarımı optimize edilebilir; bu sayede hem bellek bant genişliği hem de toplam güç tüketimi önemli ölçüde azalır.
GPU (Graphics Processing Unit) (Grafik İşlemci (Ekran Kartı))
GPU (Grafik İşlemci), başlangıçta bilgisayar oyunlarındaki pikselleri ve 3D grafikleri ekrana hızlıca çizmek için tasarlanmış, ancak yapısındaki binlerce küçük çekirdek sayesinde aynı anda binlerce basit matematiksel işlemi (Paralel İşlem) yapabildiği keşfedilince yapay zeka ve derin öğrenme devriminin en kritik "Motoruna" dönüşmüş donanım birimidir.
Groq (LPU) (Dil İşleme Birimi)
Groq, büyük dil modellerinin (LLM) cevap verme hızını inanılmaz bir seviyeye çıkaran, kendisini GPU değil "LPU (Language Processing Unit - Dil İşleme Birimi)" olarak adlandıran devrimsel bir donanım mimarisi ve girişim şirketidir. ChatGPT veya LLaMA modellerini NVIDIA GPU'lardan neredeyse 10 kat daha hızlı (saniyede 800+ kelime) çalıştırabilmesiyle şok etkisi yaratmıştır.
HBM (Yüksek Bant Genişlikli Bellek) Nedir? (HBM (Yüksek Bant Genişlikli Bellek))
HBM (High Bandwidth Memory), birden fazla DRAM yongasını dikey olarak üst üste yığan (3D stacking) ve bunları Through-Silicon Via (TSV) bağlantılarıyla birleştiren bir bellek mimarisidir. GDDR6 gibi geleneksel grafik belleklerinin bant genişliği sınırlarını aşmak için geliştirilmiştir. NVIDIA H100'de kullanılan HBM3, 3,35 TB/s bant genişliğiyle büyük dil modeli eğitiminde kritik bir darboğazı ortadan kaldırır.
High Bandwidth Memory (Yüksek Bant Genişlikli Bellek)
High Bandwidth Memory (HBM), yapay zeka ivedileyicileri, grafik işlemciler (GPU) ve yüksek performanslı hesaplama (HPC) sistemlerinde kullanılan, sıradan DDR veya GDDR belleklerden çok daha geniş bant genişliği sunan 3B yığımlı bellek teknolojisidir. HBM'nin temel yeniliği, birden fazla DRAM çipini Through-Silicon Via (TSV) adı verilen minik dikey iletkenler aracılığıyla üst üste katmanlayarak çok sayıda veri hattını aynı anda açmasıdır. Bu yığınlar, silikon bir interposer üzerine oturarak işlemciye son derece yakın konumlandırılır; bu sayede veri yolu uzunluğu azalır, gecikme düşer ve saniyede birkaç terabayt mertebesinde veri aktarımı mümkün hale gelir. Geleneksel GDDR belleklerde bant genişliği, bellek çiplerinin PCB üzerinde yan yana dizilmesinden kaynaklanan kablo kısıtlamalarıyla sınırlanır; oysa HBM'de 1024–2048 bit genişliğindeki geniş ara yüzü bu sorunu köklü biçimde çözer. HBM teknolojisinin gelişimi 2013 yılında AMD ve SK Hynix tarafından ortaklaşa başlatılmış, JEDEC standartlarıyla şekillenmiştir. İlk nesil HBM (2015) 128 GB/s bant genişliğiyle başlarken, 2025'te tamamlanan HBM4 standardı yığın başına 2 TB/s eşiğini aşmıştır. NVIDIA H100 ve H200 gibi veri merkezi GPU'larında 80–141 GB HBM3/HBM3e, AMD Instinct MI430X'te ise 432 GB HBM4 kullanılmaktadır. Büyük dil modellerini (LLM) verimli şekilde çalıştırabilmek için gereken devasa parametre yükü göz önüne alındığında, HBM birkaç yıl içinde yapay zeka donanımının olmazsa olmaz bileşeni konumuna gelmiştir. 2025 itibarıyla küresel HBM pazarı 38 milyar dolara ulaşmış; SK Hynix yüzde 62 pay ile sektöre liderlik etmekte, onu Micron ve Samsung izlemektedir.
In-Memory Computing Nedir? Bellek-İçi AI Hesaplama (Bellek-İçi Hesaplama)
In-Memory Computing (Bellek-İçi Hesaplama), verilerin geleneksel disk tabanlı depolama yerine doğrudan RAM veya yüksek bant genişlikli bellek (HBM) üzerinde işlenmesi paradigmasıdır. Geleneksel mimaride CPU veya GPU, hesaplama yaparken model ağırlıklarını ve aktivasyonları bellekten defalarca okumak zorundadır; bu veri transferi, özellikle büyük dil modellerinin (LLM) çıkarım aşamasında ciddi bir darboğaz oluşturur. İşlemcinin bekleyerek geçirdiği bu süre, toplam çıkarım gecikmesinin büyük bölümünü oluşturur. Processing-in-Memory (PIM) ya da Near-Memory Computing olarak da bilinen bu yaklaşımda, hesaplama mantığı doğrudan bellek çipleri içine entegre edilir. Böylece veri işlemciye taşınmak yerine, işlemci verinin bulunduğu yerde çalışır. Bir LPDDR5 DRAM çipinin harici G/Ç bant genişliği yaklaşık 51,2 GB/s ile sınırlıyken, dahili all-bank bant genişliği 409,6 GB/s'ye ulaşabilir; bu yaklaşık 8 katlık artış, verinin yanında hesaplama yapmanın sağladığı temel avantajdır. Samsung (AxDIMM/HBM-PIM), SK Hynix (AiM — Accelerator-in-Memory) ve UPmem gibi şirketler, AI iş yüklerine özgü ticari PIM çözümleri geliştirmektedir. GPU+HBM-PIM entegrasyonu, yalnızca GPU mimarisine kıyasla LLM çıkarımında 3,24 kat hızlanma ve yüzde 60 enerji tasarrufu sağlayabilmektedir. Transformer mimarilerindeki matris-vektör çarpımı (GEMV) ve dikkat mekanizmaları, hesaplama kapasitesinden çok bellek bant genişliğine duyarlıdır; bu nedenle bellek-içi hesaplama bir sonraki nesil AI donanımının temel bileşeni olmaya adaydır. Edge AI cihazlarında ise RISC-V tabanlı PIM modülleri, nöral ağ çıkarımını düşük güç bütçesiyle gerçekleştirmeyi mümkün kılar.
InfiniBand (Yüksek Hızlı AI Ağ Protokolü)
InfiniBand, sunucular, GPU kümeleri ve depolama sistemleri arasında yüksek bant genişliği ve son derece düşük gecikme süresi sağlayan bir ağ iletişim standardı ve protokolüdür. 1999 yılında geliştirilmiş olan InfiniBand, özellikle yüksek performanslı bilişim (HPC) ve büyük ölçekli yapay zeka eğitim altyapılarında kritik bir bileşen olarak kullanılmaktadır. NVIDIA'nın satın aldığı Mellanox tarafından geliştirilen bu teknoloji, günümüzdeki en büyük AI süperbilgisayarlarının temel ağ altyapısını oluşturmaktadır.
Mixed Precision Training Nedir? FP16/BF16 ile Hızlı AI Eğitimi (Karışık Kesinlikli Eğitim)
Karışık Kesinlikli Eğitim (Mixed-Precision Training), derin öğrenme modellerinin eğitim sürecini hızlandırmak ve bellek kullanımını optimize etmek amacıyla farklı kayan nokta kesinliklerini bir arada kullanan bir tekniktir. Yöntem, ileri ve geri yayılım hesaplamaları ile matris çarpımları için düşük kesinlikli sayı formatları (FP16 veya BF16) kullanırken, model ağırlıklarının ana kopyasını ve kayıp biriktirmesini tam kesinlikte (FP32) tutar. Bu hibrit yaklaşım, sayısal kararlılığı ve model doğruluğunu korurken bellek tüketimini yaklaşık %50 azaltır ve eğitim hızını 2-3 kat artırır. Teknik, NVIDIA'nın Volta ve Turing GPU mimarilerinde Tensor Core'ların tanıtılmasıyla pratik hale gelmiştir. PyTorch ve TensorFlow gibi popüler çerçeveler, Otomatik Karışık Kesinlik (AMP) araçlarıyla geliştiricilerin bu tekniği minimal kod değişikliğiyle uygulamasını sağlar. Karışık kesinlikli eğitim, özellikle büyük dil modelleri ve transformer mimarileri için endüstri standardı haline gelmiştir. Micikevicius ve ekibi tarafından BAIDU Research ve NVIDIA işbirliğiyle geliştirilen bu yaklaşım, ICLR 2018'de sunulmuştur.
NPU (Neural Processing Unit) (Nöral İşlem Birimi (Yapay Zeka Çipi))
NPU (Nöral İşlem Birimi), akıllı telefonlarımızın ve yeni nesil ince dizüstü bilgisayarlarımızın ana işlemcilerinin (SoC) içine yerleştirilen, fotoğraf netleştirme, yüz tanıma veya sesten metne çeviri gibi yapay zeka görevlerini cihazın şarjını bitirmeden, buluta (internete) bağlanmadan cihazın içinde anında (Edge AI) gerçekleştirmek için ayrılmış donanım motorudur.
NPU Mimarisi Nedir? Sinir Ağı İşlemci Tasarımı (NPU Mimarisi)
NPU mimarisi (Nöral İşlem Birimi Mimarisi), yapay zeka ve derin öğrenme iş yüklerini işlemek için CPU veya GPU'dan bağımsız olarak tasarlanmış özel bir donanım bileşenidir. CPU'ların genel amaçlı sıralı hesaplama mimarisinden ve GPU'ların büyük ölçekli paralel grafik işlem özelliğinden farklı olarak NPU'lar, sinir ağlarında en sık kullanılan matris çarpımı, konvolüsyon ve aktivasyon fonksiyonu hesaplamalarını doğrudan donanım düzeyinde gerçekleştirmek için özelleştirilmiştir. Bir NPU'nun temel yapısal bileşenleri şunlardır: çok sayıda sistematik biçimde düzenlenmiş çarpma-toplama (MAC, Multiply-Accumulate) birimi, aktivasyon fonksiyonları için tasarlanmış özel devreler, düşük bant genişliği sorununu gidermek için entegre on-chip bellek tamponları ve modelden modele değişen veri akışlarını destekleyen yeniden yapılandırılabilir veri yolları. Çoğu modern NPU ayrıca INT8, FP16 ya da BF16 gibi düşük hassasiyetli sayı formatlarını destekler; bu sayede güç tüketimini önemli ölçüde azaltırken işlem kapasitesini artırır. Kullanım senaryosu açısından NPU'lar özellikle uç cihazlarda öne çıkmaktadır. Apple'ın M4 çipindeki Neural Engine (38 TOPS), Qualcomm Snapdragon serisi Hexagon NPU'su ve Intel'in Meteor Lake serilerindeki NPU modülleri (40+ TOPS) doğrudan tüketici donanımında çalışan güçlü AI ivedilendiricilerine örnek gösterilebilir. Microsoft'un Copilot+ PC sertifikasyonu da en az 40 TOPS NPU kapasitesini zorunlu kılmaktadır. NPU mimarisi, AI iş yüklerinin giderek artan yoğunluğuna karşı güç-verimlilik (TOPS/Watt) dengesini en üst düzeye çıkarmak amacıyla tasarlanmış, modern SoC tasarımının vazgeçilmez bir bileşenidir.
NVLink (GPU Ara Bağlantısı)
NVLink, NVIDIA'nın geliştirdiği yüksek bant genişlikli, düşük gecikmeli GPU-GPU ara bağlantı teknolojisidir. Geleneksel PCIe (Peripheral Component Interconnect Express) mimarisinin getirdiği darboğazları aşmak amacıyla tasarlanan NVLink, birden fazla GPU'nun doğrudan birbirine bağlanmasını ve veri paylaşmasını sağlar. Bu sayede büyük dil modellerinin (LLM) ve derin öğrenme modellerinin eğitiminde kritik rol oynayan çok-GPU sistemlerinde, işlemciler arasındaki veri aktarım hızı dramatik biçimde artırılır. NVLink, 2016 yılında Pascal mimarisini kullanan P100 GPU'larla birlikte ilk kez duyuruldu ve 160 GB/s toplam bant genişliği sundu. Sonraki Volta nesliyle (V100) 300 GB/s'ye yükselen bu değer, Ampere (A100) ile 600 GB/s, Hopper (H100/H200) ile 900 GB/s ve en güncel Blackwell (GB200) mimarisinde 1,8 TB/s'ye ulaştı. Karşılaştırma açısından PCIe 5.0 x16, yaklaşık 128 GB/s bant genişliği sunarken NVLink 5.0 bu değerin yaklaşık 14 katı kapasiteye sahiptir. İkiden fazla GPU'yu birbirine bağlamak için NVIDIA NVSwitch adlı özel anahtar yonca tasarladı. NVSwitch, tüm GPU'ların birbirine tam ağ (all-to-all) topolojisinde bağlanmasını sağlayarak DGX ve HGX sunucu sistemlerinde 8 GPU'yu tek bir sanal GPU gibi kullanmaya imkân tanır. Bu mimari, tensor paralelliği ve pipeline paralelliği gibi dağıtık eğitim yöntemlerinin verimini büyük ölçüde artırır. Yapay zeka alanında NVLink'in önemi giderek büyümektedir. GPT-4, Llama ve benzeri devasa modellerin eğitiminde gradient senkronizasyonu için gereken veri aktarımı PCIe'nin kapasitesini kolaylıkla aşmaktadır. NVLink, bu senkronizasyon adımlarını saniyeler yerine milisaniyeler içinde tamamlayarak GPU'ların boşta bekleme süresini minimize eder ve eğitim verimliliğini katlar.
Photonic Chip (Fotonik Çip)
Fotonik Çip, geleneksel elektronik devrelerde kullanılan elektron akışı yerine foton (ışık parçacığı) akışını kullanarak hesaplama işlemlerini gerçekleştiren yeni nesil bir işlemci teknolojisidir. Yapay zeka uygulamalarında son derece kritik bir yer edinen bu teknoloji, özellikle derin öğrenme modellerinin matris çarpımı ve evrişim işlemlerinde olağanüstü hız ve enerji verimliliği sunmaktadır. Geleneksel silikon tabanlı çiplerde elektron hareketi ısı üretir ve bu ısı hem enerji kaybına hem de performans sınırlamalarına yol açar. Fotonik çipler ise ışığın optik interferans (girişim) ilkesini kullanarak aynı işlemleri çok daha az ısı ve enerji tüketerek gerçekleştirir. Araştırmalar, fotonik çiplerin geleneksel elektronik çiplere kıyasla 30 kat daha az enerji tüketirken 50 kat daha yüksek performans sergilediğini göstermektedir. Her işlem başına yalnızca 4 femtojoule enerji harcanması, bu teknolojiyi veri merkezi ölçekli yapay zeka sistemleri için son derece cazip kılmaktadır. Bu teknoloji özellikle görüntü sınıflandırma, video analizi ve gerçek zamanlı nesne tanıma gibi bilgisayarlı görme uygulamalarında büyük avantaj sağlar. Pennsylvania Üniversitesi'nden araştırmacılar, fotonik çiplerin saniyede 2 milyar görüntüyü işlediğini göstermiştir; bu, NVIDIA GPU'larının 100 katı bir hıza karşılık gelmektedir. Lightmatter (Envise platformu), Q.ANT (NPU 2 işlemcisi) ve Intel (entegre foton çipleti) bu alandaki öncü şirketler arasında yer almaktadır. Lightmatter, 4,4 milyar dolar değerlemeyle 850 milyon dolar finansman sağlamıştır. Optik işlemci pazarının 2027'deki 50 milyon dolardan 2034'e kadar 3 milyar dolara ulaşması beklenmektedir. Bununla birlikte fotonik çiplerin bazı sınırlamaları da bulunmaktadır: bellek yoğun işlemlerde GPU'ların gerisinde kalabilmekte, üretim maliyetleri hâlâ yüksektir ve programlama araçları olgunlaşma aşamasındadır. Ancak yapay zekanın enerji tüketimi giderek arttıkça fotonik çipler, sürdürülebilir AI altyapısının vazgeçilmez bir parçası hâline gelecektir.
Quantum Machine Learning (Kuantum Makine Öğrenimi)
Kuantum makine öğrenimi (QML), kuantum bilgisayarların süperpozisyon, dolanıklık (entanglement) ve kuantum girişimi (interference) gibi temel mekanik özelliklerini klasik makine öğrenmesi algoritmalarıyla birleştiren disiplinlerarası bir araştırma alanıdır. Temel hedef; büyük veri kümelerini analiz etmek, karmaşık optimizasyon problemlerini çözmek ve yeni kuantum özgün modeller geliştirmek için kuantum bilgisayarların potansiyel hesaplama hızı avantajından yararlanmaktır. QML yaklaşımları üç ana kategoride incelenir: Birincisi, kuantumdan ilham alan algoritmalar (quantum-inspired) klasik donanımda kuantum prensiplerini taklit eder. İkincisi, hibrit kuantum-klasik algoritmalar hesaplamayı kuantum ve klasik işlemciler arasında bölerek bugünün gürültülü ara ölçekli kuantum (NISQ) cihazlarında çalışabilir. Üçüncüsü ise tamamen kuantum algoritmalar teorik olarak tam ölçekli evrensel kuantum bilgisayarı gerektirir. En yaygın QML algoritmaları arasında Kuantum Destek Vektör Makinesi (QSVM), Kuantum Sinir Ağları (QNN), Değişimsel Kuantum Özdeğer Çözücü (VQE) ve Kuantum Yaklaşık Optimizasyon Algoritması (QAOA) sayılabilir. VQE, parametre ayarını klasik optimizatöre bırakırken kuantum durumlarını donanım üzerinde ölçen hibrit bir yapı sunar; bu sayede NISQ cihazlarında da uygulanabilir hale gelir. Uygulama alanları arasında ilaç keşfi ve moleküler simülasyon, finansal portföy optimizasyonu, malzeme bilimi, kriptografi ve lojistik planlaması öne çıkar. IBM Qiskit, Google Cirq, Xanadu PennyLane ve TensorFlow Quantum gibi çerçeveler araştırmacılara kuantum devrelerini simüle etme ve gerçek kuantum donanımına erişim imkânı sunar. Klasik makine öğrenmesine kıyasla "kuantum üstünlüğü" henüz pratikte genel olarak ortaya konulamamıştır; ancak HHL algoritması gibi belirli problem sınıflarında teorik üstel hız kazanımı kanıtlanmıştır. QML, günümüzde ağırlıklı olarak teorik ve deneysel aşamada olmakla birlikte, gelecekte hesaplama yoğun yapay zeka modellerinin eğitimini kökten dönüştürebilecek potansiyele sahiptir.
SoC (System-on-Chip) (Sistem Üzeri Çip)
SoC (System-on-Chip / Sistem Üzeri Çip), işlemci (CPU), grafik birimi (GPU), sinir işlemcisi (NPU), bellek kontrolcüsü ve G/Ç birimlerini tek bir silikon yonga üzerinde entegre eden devre mimarisidir. Yapay zeka uygulamalarında SoC'ler, birleşik bellek mimarisi (Unified Memory Architecture) sayesinde bant genişliği darboğazını ortadan kaldırır; uç cihazlarda (edge AI) düşük güç tüketimiyle yüksek hızlı çıkarım (inference) yapılmasına olanak tanır.
Tensor Core (Tensor Çekirdeği)
Tensor Core, NVIDIA tarafından 2017 yılında Volta mimarisinde (V100) tanıtılan ve sonraki GPU nesillerinde (Turing, Ampere, Hopper, Ada Lovelace) kapsamlı biçimde geliştirilen özel donanım birimleridir. Bu birimler, derin öğrenme modellerinin eğitimi ve çıkarımı sırasında merkezi bir rol oynayan matris çarpma-biriktirme (Matrix Multiply-Accumulate, MMA: D = A × B + C) operasyonlarını son derece verimli biçimde gerçekleştirmek amacıyla tasarlanmıştır. Klasik CUDA çekirdekleri genel amaçlı skaler ve vektör işlemler için tasarlanmışken, Tensor Core'lar tek bir saat döngüsünde 4×4 matris boyutunda çarpma ve biriktirme yapabilir. Bu yapı, yapay sinir ağlarının ileri ve geri yayılım hesaplamalarında kullanılan devasa matris çarpmalarını dramatik biçimde hızlandırır. Bir warp (32 iş parçacığı), wmma (warp-level matrix multiply-accumulate) API'si aracılığıyla 16×16 boyutundaki matrisleri Tensor Core bloklarında işler; bu paralel mod, FP32 CUDA çekirdeklerine kıyasla teorik tepe performansını yaklaşık bir ordem büyüklüğünde artırır. Tensor Core'ların en kritik özelliği karma hassasiyet hesaplamayı (mixed-precision) desteklemeleridir: çarpma işlemleri FP16 ya da BF16 gibi daha kısa bitli formatlarda gerçekleştirilir, biriktirme ise FP32 ile yapılır. Bu tasarım sayesinde bellek bant genişliği kullanımı yarıya iner ve eğitim hızı önemli ölçüde artar; model doğruluğu ise büyük ölçüde korunur. Nesil bazında gelişime bakıldığında: Volta'da FP16 desteğiyle başlayan Tensor Core'lar Turing'de INT8 ve INT4 desteği kazandı, Ampere (A100) ile TF32 ve BF16 ve yapısal seyreklik (structured sparsity) desteği eklendi, Hopper (H100) ile FP8 desteği ve Transformer Engine entegrasyonu getirilerek A100'e kıyasla yaklaşık 6 kat daha yüksek verim elde edildi. PyTorch'ta torch.cuda.amp.autocast(), TensorFlow'da tf.keras.mixed_precision aracılığıyla bu donanım şeffaf biçimde kullanılır.
TPU (Tensor Processing Unit) (Tensör İşlem Birimi)
TPU (Tensör İşlem Birimi), Google tarafından sadece ve sadece kendi yapay zeka yazılımı (TensorFlow) ve derin öğrenme modellerinin matris (Tensör) hesaplamalarını dünyadaki her şeyden daha hızlı yapmak için özel olarak tasarlanmış (ASIC), satılmayan ancak Google Cloud üzerinden kiralanabilen yapay zeka hızlandırıcı çipleridir.
TPU Mimarisi (TPU Mimarisi)
TPU Mimarisi (Tensor Processing Unit Architecture), Google tarafından matris çarpımı ve lineer cebir işlemlerini maksimum verimlilikle gerçekleştirmek için özel olarak tasarlanan donanım işlemci mimarisini ifade eder. GPU ve CPU'nun aksine genel amaçlı hesaplama için değil, özellikle derin öğrenme modellerinin eğitimi ve çıkarımı (inference) için optimize edilmiş olan TPU, ilk olarak 2016 yılında Google veri merkezlerinde kullanılmaya başlanmıştır. TPU mimarisinin temel yapı taşı sistolik dizi (systolic array) adı verilen ve binlerce çarpma-toplama (multiply-accumulate) biriminin birbirine doğrudan bağlı olduğu matris yapısıdır. Bu mimaride veri bir kez bellekten yüklenir ve dizi boyunca akarak defalarca yeniden kullanılır; böylece bellek bant genişliği talebi dramatik biçimde düşürülür. TPU v1, 700 MHz saat hızında 65.536 çarpma-toplama işlemini eş zamanlı gerçekleştirebilir ve saniyede 92 trilyon 8-bit işlem kapasitesine sahipken yalnızca 40 watt güç tüketir. Her TPU TensorCore birimi; matris çarpımı birimi (MXU), vektör birimi ve skaler birimden oluşur. TPU v5 ve sonraki nesillerde MXU boyutu 256×256'ya çıkarılmış, HBM (High Bandwidth Memory) kullanımıyla bant genişliği daha da artırılmıştır. Yeni nesil TPU'lar eğitim (TPU 8t) ve çıkarım (TPU 8i) için ayrı varyantlar olarak sunulmakta; bu sayede farklı hesaplama gereksinimlerine özgü donanım optimizasyonu sağlanmaktadır. Google'ın TPU'ları günümüzde Google Cloud üzerinden TPU VM ve TPU Pod yapılandırmaları şeklinde erişilebilmektedir. Bir TPU Pod, binlerce TPU çekirdeğini yüksek hızlı ara bağlantılarla birleştirerek eksa-ölçek hesaplama kapasitesi sunar. ChatGPT, Gemini ve benzeri büyük dil modellerinin eğitiminde kullanılan en kritik donanım altyapılarından birini oluşturan TPU mimarisi, NVIDIA GPU'larına alternatif en güçlü yapay zeka hızlandırıcı platformu konumundadır.
Wafer Nedir? Yapay Zeka Çiplerinin Hammaddesi (Silikon Vaferi)
Silikon vafer (wafer), yarı iletken çip üretiminin temelini oluşturan, yüksek saflıkta silikon kristalinden kesilmiş ince ve yuvarlak disk biçimindeki levhadır. GPU, TPU, NPU ve ASIC gibi yapay zeka ivedileyicilerinin tamamı bu diskler üzerine foto-litografi, oyma, kaplama ve diğer kimyasal işlemler uygulanarak üretilir. Tek bir wafer üzerinde aynı anda yüzlerden binlerce özdeş çip (die) üretilebilir; bu da büyük ölçekli seri üretimi ve düşük birim maliyeti mümkün kılar. Endüstri standardı wafer çapı günümüzde 300 mm (12 inç) düzeyindedir. NVIDIA H100, Google TPU v5 ve Apple M serisi gibi günümüz AI çiplerinin tamamı bu boyuttaki wafer'lar üzerinde TSMC, Samsung veya Intel Foundry gibi fabrikasyon tesislerinde (fab) üretilmektedir. Wafer verimi (yield), üretim kalitesini ve doğrudan çip maliyetini belirleyen kritik performans göstergesidir.