category Donanım ve Çipler

Yapay zeka hızlandırıcıları ve işlemciler

code_blocks

Apple Silicon (Apple Silicon)

Apple Silicon, Apple'ın 2020 yılında başlattığı ARM tabanlı SoC (System-on-Chip) işlemci ailesidir. M1 çipiyle Intel tabanlı Mac mimarisinin yerini alan bu platform; CPU, GPU, Neural Engine ve Birleşik Belleği tek bir pakette toplayan tümleşik tasarımıyla güç verimliliği ve yapay zeka kapasitesinde sektör standardını yeniden belirlemiştir. Birleşik Bellek Mimarisi (Unified Memory) açısından bakıldığında, CPU, GPU ve Neural Engine aynı fiziksel bellek havuzunu paylaşır; verinin birimler arasında kopyalanma ihtiyacı ortadan kalkar. Bu mimari, 70 milyar parametreli büyük dil modellerinin ayrı bir GPU olmaksızın doğrudan Mac üzerinde çalışmasına olanak tanır. M6 Ultra modeli 1,2 TB/s bellek bant genişliği sunarken Intel rakiplerine göre 2,5 kat daha yüksek güç verimliliği sergiler. Neural Engine, çip içindeki 16 çekirdekli NPU (Sinir İşlemci Birimi) bileşenidir. Transformer dikkat mekanizmaları, evrişimli ağ çıkarımı ve ses/görüntü sınıflandırma gibi makine öğrenimi iş yüklerini CPU ve GPU'ya kıyasla çok daha düşük güç harcayarak gerçekleştirir. M4 modeli saniyede 38 trilyon işlem (38 TOPS) kapasitesiyle M1'e kıyasla üç kat hız artışı kaydeder. Ağustos 2026'da duyurulan M6 ise TSMC'nin 2nm süreci üzerinde çift 16 çekirdekli Neural Engine yapısıyla bu performansı bir kez daha ikiye katlar. Yapay zeka geliştirme ekosistemi açısından Apple Silicon, büyük dil modellerini yerel ortamda çalıştırmak isteyen araştırmacı ve geliştirici topluluğu için popüler bir platform haline gelmiştir. MLX (Apple'ın açık kaynak ML çerçevesi), llama.cpp ve Ollama gibi araçlar Metal GPU API'sini ve Unified Memory'yi doğrudan hedefleyerek 7B–70B parametre aralığındaki modelleri saniyede 30–80 token hızında çalıştırabilmektedir. CoreML ve Create ML çerçeveleri ise geliştiricilerin özel modellerini Apple Silicon'a dönüştürüp optimize etmesine olanak tanır. Apple Intelligence — yazı özetleme, akıllı yanıt üretimi, görsel zeka ve Siri'nin gelişmiş yetenekleri — bu çipler üzerinde tamamen yerel olarak yürütülür; kullanıcı verileri bulut sunucularına iletilmez. M1 ve sonraki tüm Apple Silicon çipleri bu özellikleri desteklemektedir.

arrow_forward code_blocks

ARM Çip (ARM Çip)

ARM (Advanced RISC Machines), Reduced Instruction Set Computing (RISC) felsefesini temel alan ve dünyada en yaygın kullanılan işlemci mimarilerinden biridir. 1990 yılında İngiliz şirketi ARM Holdings tarafından geliştirilen bu mimari, basit ama hızlı komut setleri kullanarak x86 tabanlı işlemcilere kıyasla çok daha düşük güç tüketir. Bu özellik, pil ömrünün kritik olduğu akıllı telefonlarda ARM'ı vazgeçilmez kılar: bugün piyasadaki her akıllı telefon ARM tabanlı bir işlemci kullanmaktadır. ARM Holdings, çip üretmek yerine mimarisini lisanslama modeliyle çalışır. Apple, Qualcomm, Samsung, MediaTek ve Nvidia gibi şirketler bu lisansı satın alarak kendi çiplerini tasarlar. Bu yaklaşım ekosisteme son derece geniş bir ürün yelpazesi kazandırmıştır. Apple'ın M1/M2/M3/M4 serisi ARM tabanlıdır ve entegre Neural Engine birimleri içerdiğinden makine öğrenmesi iş yüklerinde Intel ve AMD işlemcilerini performans ve enerji verimliliği açısından geride bırakmıştır. Yapay zeka açısından ARM mimarisinin önemi giderek artmaktadır. ARM Cortex-A serisi yüksek performanslı cihazlar için, Cortex-M serisi ise mikrodenetleyiciler ve kenar cihazlar için tasarlanmıştır. ARM'ın Ethos NPU (Neural Processing Unit) ailesi, büyük dil modellerinin ve görüntü tanıma algoritmalarının doğrudan cihazda (on-device) çalıştırılmasına olanak tanır; bu yaklaşım veri gizliliği, gecikme süresi ve bant genişliği açısından bulut tabanlı çözümlere kıyasla belirgin avantajlar sunar. Veri merkezlerinde de ARM dönüşümü hız kazanmaktadır. Amazon Web Services'in Graviton3 işlemcisi, aynı iş yükü için x86 sunucularına kıyasla yüzde kırk daha az enerji tüketmektedir. Ampere Altra ve Neoverse serisi gibi ARM tabanlı sunucu işlemcileri, büyük dil modeli çıkarımı (inference) ve model dağıtımı (deployment) için maliyet etkin alternatifler haline gelmiştir. Microsoft, Google ve Meta da kendi ARM tabanlı veri merkezi çiplerini geliştirmektedir. Bu dönüşüm, yapay zeka altyapısının enerji verimliliği ve sürdürülebilirlik baskıları altında ARM mimarisine yönelmesini hızlandırmaktadır.

arrow_forward memory

ASIC (Uygulama Özel Entegre Devre)

ASIC (Application Specific Integrated Circuit — Uygulama Özel Entegre Devre), belirli bir görevi yerine getirmek amacıyla özel olarak tasarlanmış bir entegre devre türüdür. Genel amaçlı CPU veya GPU'ların aksine, ASIC yalnızca tek bir işlev için optimize edilir; bu da onu söz konusu görev için son derece hızlı, enerji verimli ve maliyet etkin hale getirir. Yapay zeka alanında ASIC'ler, sinir ağı eğitimi ve çıkarımı (inference) için kritik bir donanım çözümü olarak öne çıkmaktadır. Bir ASIC, üretildikten sonra yeniden programlanamaz; ancak bu esneklik eksikliği, tasarımın hedef göreve göre mükemmel biçimde optimize edilmesini mümkün kılar. Google'ın TPU'su (Tensor Processing Unit), matris çarpımı ve tensör işlemleri için geliştirilmiş bir yapay zeka ASIC'idir. Apple'ın Neural Engine'i, Tesla'nın FSD (Full Self-Driving) çipi ve Huawei'nin Ascend serisi de bu kategoride değerlendirilen önde gelen örneklerdir. 2026 yılı itibarıyla özel yapay zeka ASIC'lerinin pazar büyümesi genel amaçlı GPU büyümesinin neredeyse üç katına ulaşmıştır. TrendForce verilerine göre ASIC sevkiyatları yıllık bazda yüzde 44,6 büyürken genel amaçlı GPU'lar yalnızca yüzde 16,1 büyüme kaydetmiştir. Bu eğilim, yapay zeka altyapısında özel silikon çözümlerine olan talebin ne denli hızlandığını açıkça ortaya koymaktadır. Bloomberg Intelligence, 2033 yılına kadar özel AI ASIC pazarının yüzde 27 bileşik yıllık büyüme oranıyla 118 milyar dolara ulaşacağını öngörmektedir. ASIC tasarımı, maskeler ve doğrulama süreçleri nedeniyle yüksek başlangıç (NRE — Non-Recurring Engineering) maliyeti gerektirdiğinden genellikle büyük ölçekli ve uzun vadeli üretim kararları için tercih edilir. Ancak yüksek hacimli çıkarım iş yüklerinde genel amaçlı alternatiflere kıyasla yüzde 40-65 arasında toplam sahip olma maliyeti (TCO) avantajı sağladığı bilinmektedir. Modern ASIC tasarımında chiplet mimarisi de yaygınlaşmaktadır: tek bir pakette birleştirilen I/O, hesaplama, bellek ve analog parçaları ayrı kalıplar olarak üretilerek performans ve verimlilik maksimize edilmektedir.

arrow_forward code_blocks

Blackwell (NVIDIA Blackwell GPU Mimarisi)

Blackwell, NVIDIA tarafından Mart 2024'te duyurulan beşinci nesil GPU mimarisidir ve yapay zeka altyapısında çığır açan bir ilerlemeyi temsil eder. İsmi, olasılık teorisi ve istatistiğe katkılarıyla tanınan Afrikalı-Amerikalı matematikçi ve akademisyen David Blackwell'den almaktadır. Mimari, TSMC'nin gelişmiş 4NP üretim süreci üzerine inşa edilmiş çift-die (dual-die) chiplet tasarımı kullanır ve toplamda 208 milyar transistör içerir; bu rakam selefinin (Hopper/H100) neredeyse iki katıdır. Blackwell ailesi birden fazla GPU çeşidini kapsar: B100 giriş seviyesi varyant, B200 amiral gemisi GPU ve GB200 Grace-Blackwell Süperçip modülü. Bellek kapasitesi açısından B200, 192 GB HBM3e belleğe ve 8 TB/s bellek bant genişliğine sahiptir. Blackwell Ultra serisiyle birlikte gelen B300 modeli ise bu değeri 288 GB HBM3e'ye çıkarmıştır. GB200 NVL72 raf sistemi, 72 adet B200 GPU ile 36 adet Grace CPU'yu tek bir sıvı soğutmalı rafta birleştirerek toplamda 13,5 TB HBM3e bellek kapasitesi ve 1,4 eksaFLOPS hesaplama gücü sunar. Beşinci nesil NVLink (NVLink 5.0), her GPU için 1,8 TB/s çift yönlü bant genişliği sağlayarak Hopper'daki NVLink 4'e göre bant genişliğini ikiye katlar. Çift-die mimarisinin iç bağlantısında ise 10 TB/s bant genişliği elde edilmektedir; bu sayede iki die arasındaki veri transferi neredeyse engelsiz gerçekleşir. Blackwell'in en dikkat çekici yeniliği FP4 ve FP6 hassasiyet formatları ile mikro-tensör ölçeklendirme teknolojisidir. FP4 formatında 20 petaFLOPS hesaplama gücü sunan mimari, model ağırlıklarının bellek gereksinimini yarıya indirerek trilyon parametreli modellerin eğitimini ve çıkarımını daha önce mümkün olmayan ölçeklerde gerçekleştirmeye olanak tanır. Performans karşılaştırmalarında Blackwell, Hopper (H100) mimarisine göre çarpıcı üstünlükler sergiler: Llama 2 70B ince ayarında 2,2 kat, GPT-3 175B ön eğitiminde ise 2 kat hız artışı sağlar. GB200 NVL72 raf sistemi, büyük ölçekli LLM çıkarım görevlerinde H100'e kıyasla 30 kat performans iyileştirmesi sunarken enerji tüketimini 25 kat azaltır. Önceden 256 Hopper GPU gerektiren iş yükleri artık yalnızca 64 Blackwell GPU ile yürütülebilmektedir. Google, Meta, Microsoft ve Amazon gibi hiper ölçekli şirketler büyük yapay zeka modellerinin eğitimi ve çıkarım altyapısı için Blackwell'i benimsemiştir. NVIDIA bu teknolojiyi yapay zeka fabrikaları olarak konumlandırmakta ve trilyon parametreli modellerin ticari ölçekte çalışmasını mümkün kılan hesaplama altyapısı olarak tanımlamaktadır.

arrow_forward memory

Cerebras (Gofret Ölçekli Motor)

Cerebras Systems, 2016 yılında kurulan ve yapay zeka donanımında temelden farklı bir yaklaşım benimseyen Amerikan teknoloji şirketidir. Şirketin temel ürünü olan Wafer Scale Engine (WSE — Gofret Ölçekli Motor), tek bir silikon yonga üzerinde 900.000 çekirdek ve 44 GB çip içi SRAM bellek barındıran, tarihin en büyük üretilmiş çipidir; NVIDIA B200'den 58 kat daha geniş yüzey alanına sahiptir. Geleneksel GPU tabanlı sistemlerde büyük dil modellerinin çıkarımı (inference) sırasında model ağırlıklarının harici HBM belleğinden tekrar tekrar yüklenmesi kritik bir darboğaz oluşturur. WSE, 21 petabayt/saniye çip içi bant genişliği sunarak bu bellek duvarını mimari düzeyde aşar: model ağırlıkları çipte kalır, yükleme gecikmesi sıfıra yaklaşır. Cerebras Inference platformu bu avantajla Llama 3.1 70B modelinde saniyede 2.100'ü aşkın token üretebilirken GPU tabanlı rakipler yüzlerde kalır. Cerebras'ın iş modeli hem donanım satışını hem bulut tabanlı inference hizmetini kapsar. API üzerinden erişilebilen Cerebras Cloud, dakika başı fiyatlandırmayla bireysel geliştiricilere ve kuruluşlara ultra düşük gecikme süreli çıkarım imkânı sunar. Gerçek zamanlı konuşma uygulamaları, kod tamamlama ve hukuk ile tıp alanlarındaki uzun bağlam gerektiren görevler bu platformun öne çıktığı kullanım senaryolarıdır. API'si OpenAI formatıyla uyumludur; mevcut OpenAI çağrıları minimum değişiklikle Cerebras'a taşınabilir. Şirket Mayıs 2026'da halka açılarak hisse başına 185 dolardan 5,55 milyar dolar topladı; ilk işlem gününde hisseleri neredeyse iki katına çıktı. Bu finansal başarı, GPU'ya alternatif yapay zeka donanımı alanının güçlü bir yatırımcı ilgisi çektiğini kanıtlamıştır. Ekosistem açısından Llama 3.1/3.3, DeepSeek-R1 ve diğer açık ağırlıklı modelleri destekler. Cerebras, NVIDIA'nın veri merkezi egemenliğini sorgulayan az sayıdaki gerçek GPU rakiplerinden biri olarak yapay zeka donanım ekosisteminde stratejik bir konuma yerleşmiştir.

arrow_forward code_blocks

Chip Design (Çip Tasarımı)

Chip tasarimi (chip design), bir yariiletken entegre devrenin islevsel gereksinimlerinden baslayarak fiziksel silikon katmanina kadar tum tasarim asamalarini kapsayan, son derece karmasik ve disiplinlerarasi bir muhendislik alanidur. Modern bir cip milyarlarca transistor icerdiginde bu tasarimi manuellle gerceklestirmek imkansizdir; Electronic Design Automation (EDA) araclari bu sureci yurutebilir kilan yazilim katmanini olusturur. Tasarim akisi birden fazla abstraksiyon katmanindan gecer. En ust duzeyinde mimari tasarim, ipin ne yapacagini tanimlar. Register-Transfer Level (RTL) asamasinda Verilog veya VHDL gibi donanim tanimlama dilleriyle mantiksal devreler kodlanir. Sentez asamasinda bu RTL kodu, belirli bir teknoloji kutuphanesi ve performans kisitlamalariyla standart hucrelere (standart cells) donusturulur. Place-and-route (yerlesim ve yonlendirme) asamasinda sentezlenmis devre elemanlari fiziksel olarak cipse yerlestirilir ve metal katmanlarla birlestirilir. Fiziksel dogrulama (DRC, LVS) tasarimin imalat kurallarina uygun olup olmadigini kontrol eder. Son olarak GDSII dosyasi foundry'ye gonderilir. AI'in chip tasarımına entegrasyonu son yillarda hizlanmistir. Google'in 2021 yilında Nature dergisinde yayinlanan makalesi, pekistirmeli ogrenme kullanan bir sistemin GPU cip yerlesim gorevini uzman insanlarla rekabet edecek duzeyde gerceklestirebildigini gostermistir. Synopsys ve Cadence gibi EDA sirketleri AI destekli optimizasyon araclari piyasaya surmustir. Generatif AI'in RTL kod uretimi ve dogrulama test ornekleri olusturma konularinda da deneyler yapilmaktadir. Fabless model, tasarim ve uretimi birbirinden ayirmistir. Qualcomm, NVIDIA, AMD ve Apple gibi fabless sirketler ciplerini tasarlarken uretimi TSMC, Samsung Foundry ve Intel Foundry gibi fab sirketlerine birakmaktadir. Bu is bolumu, tasarim inovasyonunun uretim altyapisina yatirim yapilmadan gerceklestirilebilmesine olanak tanımistir. **Sik Sorulan Sorular** **Chip tasarimi ogrenmeye nereden baslarim?** Verilog veya VHDL dilleriyle baslayip gercek donanim geri bildirim dongusu icin FPGA kullanmak yaygın bir giris yoludur. Cocotb ile Python tabanli dogrulama ve acik kaynak OpenROAD EDA araclari ogrenmek icin pratik seçeneklerdir. **AI chip tasarımında insanlarin yerini alacak mi?** Kisa vadede hayir. AI belirli tasarim alt gorevlerini (placement, parametre optimizasyonu) hizlandirirken mimari karar verme ve gereksinim analizi hala insan uzmanligi gerektirmektedir. **FPGA ile ASIC arasindaki fark nedir?** FPGA, saha programlanabilir bir donanımdir; tasarim degistirilebilir. ASIC (Application-Specific Integrated Circuit) belirli bir uygulama icin ozel uretilmis, degistirilemez bir cipttir; daha yuksek performans ve dusuk guc tuketimi saglar ama tasarim maliyeti ve suresi cok daha yuksektir. **Cip tasarim sureci ne kadar surer?** Basit bir cip aylar alirken karmasik bir SoC (System-on-Chip) 3-5 yil alabilir. Dogrulama, genellikle RTL kodlama ile birlikteyken toplam surecin yuzde ellisinden fazlasini kaplar.

arrow_forward memory

Chiplet (Çiplet Mimarisi)

Chiplet, geleneksel tek-parça silikon üretim anlayışını köklü biçimde değiştiren modern bir yarı iletken tasarım paradigmasıdır. Klasik yaklaşımda tüm işlemci fonksiyonları tek ve büyük bir silikon kalıbı (monolitik die) üzerinde birleştirilirdi; ancak kalıp büyüdükçe üretim sırasında herhangi bir noktadaki kusur tüm çipi kullanılmaz kılar, verim düşer ve maliyet hızla artar. Chiplet mimarisinde ise farklı fonksiyonlar — işlem çekirdekleri, bellek denetleyicileri, G/Ç arabirimleri, güvenlik motorları — küçük ve bağımsız silikon die'larına ayrılır. Her chiplet ayrı ayrı test edilir; kusurlu olanlar elenir, sağlam olanlar paketleme aşamasına alınır. Bu yaklaşım toplam maliyeti önemli ölçüde düşürürken işlevsel birim başına verimi artırır. Chipletler birbirine gelişmiş paketleme teknolojileriyle bağlanır: CoWoS (Chip on Wafer on Substrate), EMIB (Embedded Multi-die Interconnect Bridge) ve doğrudan kalıp-üstü bağlantılar bu teknolojilerin başında gelir. UCIe (Universal Chiplet Interconnect Express) standardı, farklı üreticilerin chipletlerini birlikte çalıştırmayı mümkün kılmayı hedefleyen açık bir arayüz tanımlar. Yapay zeka donanımı bu mimariyi en yoğun biçimde benimseyen alandır. AMD MI300X hızlandırıcısı, GPU hesaplama chipletlerini, CPU chipletlerini ve HBM3 bellek yığınlarını tek bir paket içinde bir araya getirir; bu sayede 192 GB birleşik bellek kapasitesi ve 5,3 TB/s bellek bant genişliği elde edilir. Intel Gaudi 3, NVIDIA Blackwell ve Google TPU serileri de çok-die paketleme yaklaşımlarından yararlanmaktadır. Süreç düğümü esnekliği chiplet mimarisinin stratejik avantajlarından biridir: hesaplama yoğun çekirdekler 3-4 nm'de, G/Ç blokları daha olgun ve ekonomik 12-16 nm düğümde üretilebilir. Heterojen entegrasyon olarak da adlandırılan bu yaklaşım, Moore Yasası'nın fiziksel sınırlarına yaklaşıldığı dönemde yüksek performanslı silikon tasarımın sürdürülebilir yolunu oluşturmaktadır. Aynı chiplet koleksiyonundan farklı müşteri segmentlerine yönelik ürünler oluşturmak, zaman-pazara süresini ve geliştirme maliyetini önemli ölçüde azaltmaktadır.

arrow_forward memory

CUDA (Compute Unified Device Architecture)

CUDA (Compute Unified Device Architecture), NVIDIA tarafından 2006 yılında geliştirilen ve GPU'ları genel amaçlı hesaplama (GPGPU) için kullanmayı mümkün kılan paralel hesaplama platformu ve programlama modelidir. Grafik işleme birimlerinin binlerce çekirdeğini eş zamanlı olarak çalıştırma kapasitesini yapay zeka ve bilimsel hesaplamalar için açan bu teknoloji, modern derin öğrenmenin temel altyapısını oluşturur. CUDA, geleneksel CPU programlamadan temel bir paradigma değişikliği sunar. CPU'lar güçlü ancak sınırlı sayıda çekirdekle sıralı işlemler için optimize edilmişken; NVIDIA GPU'ları onlarca binden yüz binlerce CUDA çekirdeğiyle aynı anda binlerce işlem gerçekleştirebilir. Bu eşzamanlılık, matris çarpımı, konvolüsyon ve gradyan hesaplama gibi derin öğrenme operasyonlarını CPU'ya kıyasla 10–100 kat hızlandırır. CUDA'nın iş parçacığı hiyerarşisi üç katmandan oluşur: Temel birim olan iş parçacıkları (threads), bu iş parçacıklarını gruplandıran bloklar (blocks) ve blokları organize eden ızgaralar (grids). Bir CUDA çekirdeği (kernel) çağrıldığında GPU'da binlerce iş parçacığı eş zamanlı olarak çalışır; her blok içindeki iş parçacıkları paylaşılan belleği (shared memory) kullanarak birbirleriyle iletişim kurabilir. CUDA'nın bellek hiyerarşisi de performans açısından kritik rol oynar. Global bellek geniş kapasiteli (~80 GB/s bant genişliği) ancak yüksek gecikmeli; paylaşılan bellek ise blok başına ~100 KB kapasitesiyle SRAM hızında (~8 TB/s) çalışır. Verimli CUDA kodu, veri hareketini minimize ederek paylaşılan belleği akıllıca kullanır. Kaydediciler (registers), sabit bellek (constant memory) ve doku belleği (texture memory) ise erişim desenlerine göre optimize edilmiş ek bellek katmanları sunar. CUDA Toolkit, geliştiricilere nvcc derleyicisi, cuBLAS (lineer cebir), cuDNN (derin sinir ağları), cuFFT (Fourier dönüşümü) ve NCCL (çoklu GPU iletişimi) gibi optimize kütüphaneler sunar. Günümüzde FlashAttention ve TensorRT-LLM gibi araçlar CUDA kernellerini büyük dil modellerinin çıkarım aşaması için özelleştirerek LLM hızını 2–4 kat artırmaktadır. NVIDIA H100 gibi gelişmiş veri merkezi GPU'ları 16.896 CUDA çekirdeğine ek olarak FP16/BF16/INT8 matris işlemlerini 4–16 kat hızlandıran Tensor Core'lar içerir.

arrow_forward hub

CXL (Compute Express Link) (Compute Express Link)

CXL (Compute Express Link), PCIe (Peripheral Component Interconnect Express) fiziksel katmanı üzerine inşa edilmiş, açık endüstri standardı bir ara bağlantı (interconnect) protokolüdür. 2019 yılında Intel öncülüğünde duyurulan ve AMD, ARM, Google, Meta, Microsoft, Samsung ve SK Hynix gibi önde gelen teknoloji şirketlerinin desteğiyle büyüyen bu standart; CPU'lar, GPU'lar, FPGA'lar, yapay zeka hızlandırıcıları ve akıllı bellek modülleri arasında düşük gecikmeli, yüksek bant genişlikli ve tutarlı (coherent) veri alışverişi sağlar. Geleneksel bellek mimarilerinde her işlemci yalnızca kendi yerel DRAM veya HBM belleğine doğrudan erişebilir; bu durum özellikle yüz milyar parametreyi aşan büyük dil modellerinin (LLM) çıkarım (inference) aşamasında kritik bir bellek duvarı (memory wall) darboğazı yaratır. CXL, bu sorunu bellek havuzlama (memory pooling) ve bellek genişletme (memory expansion) yetenekleriyle aşar: DRAM veya CXL-Flash tabanlı harici bellek kartları, CXL bağlantısı üzerinden CPU ve GPU'ya sanki yerel bellek gibi düşük gecikmeyle sunulabilir; böylece her sunucu nodunun bellek kapasitesi, pahalı HBM yığınları gerektirmeksizin ekonomik biçimde artırılabilir. CXL standardı üç temel protokol alt katmanından oluşur: CXL.io, PCIe tabanlı I/O işlemlerini; CXL.cache, hızlandırıcıların host belleğine önbellek-tutarlı erişimini; CXL.mem ise host'un hızlandırıcı veya harici belleğine tutarlı erişimini yönetir. Standart hızla evrimleşmiş: CXL 1.0 (2019) temel bağlantı ve tutarlılık altyapısını; CXL 2.0 (2020) bellek havuzlamayı ve anahtarlama desteğini; CXL 3.0 (2022) ise çok-seviyeli fabric topolojisini ve gelişmiş eşler arası bellek paylaşımını getirmiştir. Yapay zeka altyapısı tasarımcıları açısından CXL'in önemi giderek artmaktadır. Özellikle büyük LLM'lerin KV önbelleği (key-value cache) için gereken terabayt seviyesindeki bellek gereksinimini karşılamak amacıyla CXL tabanlı bellek genişletme kartları veri merkezlerinde yaygınlaşmaktadır. Samsung, SK Hynix ve Micron gibi bellek üreticileri ticari CXL DRAM modülleri üretmekte; AWS, Google Cloud ve Microsoft Azure gibi büyük bulut hizmet sağlayıcıları bu teknolojiyi yeni nesil sunucu tasarımlarına entegre etmektedir.

arrow_forward 🔲

Die Stacking (Die Yığma)

Die stacking (die yığma veya 3B entegre devre), birden fazla yarı iletken çip katmanının (die) dikey olarak üst üste istiflendiği ve Through-Silicon Via (TSV) ya da hibrit bağlama yöntemiyle birbirine bağlandığı ileri bir paketleme teknolojisidir. Bu teknik sayesinde çipler arasındaki iletişim mesafesi dramatik biçimde kısalır; sinyal gecikmeleri azalır, bant genişliği artar ve bit başına enerji tüketimi düşer. Die stacking'in en yaygın örneği HBM (High Bandwidth Memory) bellektir. HBM'de 4-12 DRAM katmanı dikey olarak üst üste istiflenip bir interposer üzerinde GPU veya AI işlemcisiyle yan yana konumlandırılır. NVIDIA H100'deki HBM3 bellekler 3,35 TB/s'ye varan bant genişliği sunarak yapay zeka modellerinin eğitimindeki bellek darboğazını büyük ölçüde ortadan kaldırır. AMD 3D V-Cache teknolojisi, TSMC'nin SoIC (System-on-Integrated-Chip) hibrit bağlama prosesiyle SRAM katmanlarını doğrudan CPU üzerine istifler. 9 µm pitch ile gerçekleştirilen bu bağlantı, geleneksel yöntemlere göre 15 kat daha yoğun bir ara yüz sunar ve L3 önbellek kapasitesini 2-3 katına çıkarır. Intel'in Foveros teknolojisi ise farklı süreç düğümlerinde üretilmiş katmanları—örneğin 7 nm hesap die'ı ile 22 nm G/Ç die'ını—tek paket içinde birleştirerek heterojen entegrasyona olanak tanır. TSMC SoIC ve Intel Foveros Direct gibi modern çözümler, yapay zeka hızlandırıcı tasarımının temel bileşeni hâline gelmektedir. Die stacking'in önemi yalnızca performansla sınırlı değildir; güç verimliliği açısından da belirleyici bir rol oynar. Geleneksel PCB üzerindeki yatay hat bağlantılarına kıyasla TSV tabanlı dikey bağlantılar, bellek-işlemci arası veri transferinde watt başına bant genişliğini önemli ölçüde artırır. Bu durum özellikle enerji kısıtlı veri merkezi ortamlarında ve uç (edge) yapay zeka uygulamalarında kritik avantaj sunar. Gelecek nesil AI çipleri için Çekmece Tipi Bellek (CXL tabanlı) ve monolitik 3D entegrasyon gibi yaklaşımlar bu teknolojinin evrimini şekillendirecektir.

arrow_forward developer_board

DPU (Veri İşleme Birimi)

DPU (Data Processing Unit — Veri İşleme Birimi), CPU ve GPU'nun yanında modern bilişimin üçüncü işlemci sütunu olarak konumlanan, ağ, depolama ve güvenlik altyapısını donanım düzeyinde yönetmek için tasarlanmış özel bir işlemci birimidir. NVIDIA, 2020 yılında BlueField-2 ile bu kavramı veri merkezi sektörüne kazandırdı; teknolojinin temeli ise daha önce SmartNIC ve altyapı yük boşaltma (infrastructure offload) işlemcileri olarak bilinen çözümlere dayanır. Geleneksel veri merkezlerinde ağ trafiği yönetimi, şifreleme, depolama sanallaştırma ve güvenlik duvarı gibi altyapı görevleri CPU çekirdeklerinin önemli bir bölümünü tüketir. DPU, bu görevleri altyapı bant hızında (line rate) gerçekleştiren donanım hızlandırıcılar aracılığıyla üstlenir ve CPU'nun tüm kapasitesini uygulama mantığı ile yapay zeka hesaplamaya yönlendirir. Yapay zeka kümelerinde DPU'nun rolü özellikle kritiktir. Yüzlerce veya binlerce GPU'dan oluşan ölçekli eğitim kümelerinde GPU'lar sürekli olarak gradyan senkronizasyonu, model parametresi aktarımı ve kontrol noktası (checkpoint) G/Ç işlemleri için ağı kullanır. Bu trafik, geleneksel mimaride host CPU'nun omuzlarına yüklenir; küme büyüdükçe CPU darboğazı GPU kullanım verimliliğini düşürür. DPU, RDMA ve RoCE (RDMA over Converged Ethernet) işlemlerini doğrudan kendi üzerindeki donanım motorlarında çalıştırarak bu yükü host sistemden tamamen kaldırır. NVIDIA BlueField-3, günümüzün en yaygın DPU'su olarak öne çıkar. TSMC 5 nm sürecinde üretilen BlueField-3, 22 milyar transistör barındırır, 400 Gb/sn ağ çıkışı sunar ve Arm Cortex-A78 çekirdekleri üzerinde bağımsız bir Linux işletim sistemi çalıştırır. NVIDIA'nın açıkladığına göre tek bir BlueField-3, yaklaşık 300 CPU çekirdeğinin üstlenebileceği altyapı yükünü karşılayabilmektedir. Marvell OCTEON 10 ve Intel IPU (Infrastructure Processing Unit) bu alandaki başlıca rakip çözümler arasında yer alır. Güvenlik perspektifinden DPU, host işletim sisteminden bağımsız ayrı bir koruma alanı oluşturur. Kiracı iş yükleri, DPU üzerinde çalışan ağ izleme, şifreleme veya güvenlik duvarı kurallarına müdahale edemez; bu özellik çok kiracılı bulut altyapılarında sıfır güven (zero-trust) mimarisinin donanım temelini sağlar. Enerji verimliliği boyutunda genel amaçlı bir CPU'nun altyapı görevleri için harcadığı enerji ile amaca özel DPU donanımının harcadığı enerji arasındaki fark büyüktür. Veri merkezleri fiziksel güç yoğunluk sınırlarına yaklaştıkça DPU, toplam sistem verimliliğine orantısız biçimde olumlu katkı sağlar.

arrow_forward device_hub

Edge Computing (Uç Bilişim)

Edge Computing (Uç Bilişim), veri işleme ve hesaplama görevlerini merkezi veri merkezlerinden uzaklaştırarak veriyi üreten kaynaklara —sensörler, IoT cihazları, akıllı kameralar ve mobil aygıtlar— yakın noktalara taşıyan dağıtık bilişim paradigmasıdır. Geleneksel bulut bilişimde tüm veriler uzak sunuculara gönderilir ve işleme orada gerçekleşir; edge computing ise bu hesaplamaların büyük bölümünü ağın "ucunda" (edge), yani verinin üretildiği yere en yakın noktada gerçekleştirir. Bu yaklaşım birkaç temel avantaj sunar. İlk olarak gecikme (latency) dramatik biçimde azalır: otonom araçlar, endüstriyel robotlar ve gerçek zamanlı görüntü analiz sistemleri, kararların milisaniyeler içinde verilmesini gerektirir. Buluta gidiş-dönüş süresi bu gecikmeyi karşılayamaz; edge işlem ise kararı neredeyse anında verebilir. İkinci olarak bant genişliği kullanımı düşer: bir fabrikadaki yüzlerce kamera ham video akışını merkeze göndermek yerine yalnızca analiz sonuçlarını buluta iletir. Üçüncüsü veri gizliliği ve güvenlik artar; hassas veriler yerel olarak işlenir, merkezi bir konuma aktarılmaz. Yapay zeka uygulamaları açısından edge computing, Edge AI kavramını doğurmuştur: eğitilmiş modeller doğrudan edge cihazlarda çalıştırılır. Bu amaçla NPU, ASIC ve özel işlemciler geliştirilmiş; model sıkıştırma teknikleri (quantization, pruning) kritik önem kazanmıştır. Akıllı şehirler, endüstri 4.0, sağlık teknolojileri ve otonom sistemler edge computing'in en yaygın uygulama alanlarıdır. 5G altyapısının yaygınlaşmasıyla birlikte edge computing kapasitesi ve benimsenmesi küresel ölçekte hızla artmaktadır. Robotik, sağlık izleme ve endüstriyel otomasyon gibi kritik sektörler bu dönüşümün merkezindedir. Mimari olarak edge computing üç katmanda incelenir: cihaz katmanı (sensörler, kameralar), edge katmanı (yerel gateway ve mikro veri merkezleri) ve bulut katmanı (uzun vadeli depolama ve toplu analiz). Bu hiyerarşi, hesaplamayı iş yükünün gerektirdiği yere yönlendiren esnek bir altyapı sunar. Bu mimari dönüşüm, gerçek zamanlı yapay zeka uygulamalarının temel altyapısını oluşturmaktadır.

arrow_forward memory

FPGA (Yeniden Programlanabilir Kapı Dizisi)

FPGA (Field-Programmable Gate Array — Yeniden Programlanabilir Kapı Dizisi), üretim sonrasında yeniden yapılandırılabilen entegre devrelerdir. Yapay zeka uygulamalarında FPGA'lar; CPU'ların genel amaçlı esnekliğini GPU'ların yüksek paralelliğiyle birleştiren hibrit bir alternatif sunar ve özellikle çıkarım (inference) aşamasında belirgin avantajlar ortaya koyar. FPGA, temelinde binlerce veya milyonlarca programlanabilir mantık bloku (CLB — Configurable Logic Block), flip-flop, DSP dilimleri ve bellek blokları (BRAM) içerir. Bunlar, SRAM tabanlı bir yapılandırma belleği (configuration memory) aracılığıyla kullanıcı tanımlı bir devre topolojisine bağlanır. Yapay zeka iş yükleri için kritik olan DSP dilimleri, çarpma-toplama (multiply-accumulate — MAC) işlemlerini yüksek hızda ve düşük güçle yürütür; bu işlem, sinir ağı çıkarımının temel hesaplama adımıdır. GPU'larla karşılaştırıldığında FPGA'nın belirgin üstünlükleri şunlardır: birincisi, belirleyici ve ultra düşük gecikme (deterministic low latency) — FPGA, pipeline mimarisinde veriyi kayan bant hattı gibi işlediğinden tutarsız öbek (batch) bekleme süreleri ortadan kalkar; ikincisi, yüksek enerji verimliliği — Microsoft'un Brainwave projesinde tanıtılan FPGA tabanlı çıkarım sistemi, aynı performans için GPU'ya kıyasla enerji tüketimini önemli ölçüde düşürmüştür; üçüncüsü, doğrudan bellek erişimi — özel veri yolları aracılığıyla bant genişliği darboğazları azalır. Edge AI (kenar yapay zekası) senaryolarında FPGA'lar özellikle ön plana çıkar. Otonom araçlarda sensör füzyonu, tıbbi görüntülemede gerçek zamanlı sınıflandırma, endüstriyel denetimde görüntü işleme ve 5G baz istasyonlarında sinyal işleme bu kullanım alanlarının başında gelir. Xilinx (AMD) ve Intel (Altera) piyasadaki iki ana FPGA üreticisidir; her iki şirket de Vitis AI (AMD) ve OpenVINO (Intel) gibi yapay zeka geliştirme ortamları sunarak yazılım geliştiricilerin FPGA programlamasına erişimini kolaylaştırmaktadır. Quantization (niceleme) ve model pruning (budama) teknikleriyle küçültülmüş modeller FPGA üzerinde özellikle verimli çalışır; INT8 veya INT4 aritmetiği, kaynak kullanımını FP32'ye kıyasla dramatik biçimde azaltır. FPGA'ların yeniden programlanabilirlik özelliği, standart değişikliklerinin sık yaşandığı iletişim ve savunma gibi sektörlerde donanım tasarımı maliyetlerini düşürür.

arrow_forward developer_board

GPU (Graphics Processing Unit) (Grafik İşlemci (Ekran Kartı))

GPU (Graphics Processing Unit — Grafik İşleme Birimi), başlangıçta bilgisayar grafiklerini hesaplamak için tasarlanmış; fakat binlerce küçük çekirdekli paralel mimarisi ile yapay zeka ve yüksek performanslı hesaplama (HPC) alanında vazgeçilmez hale gelmiş bir işlemci türüdür. Günümüzde derin öğrenme eğitimi ve çıkarsama işlemlerinin büyük çoğunluğu GPU üzerinde gerçekleşmektedir. GPU'ların paralel mimarisi, AI hesaplamalarında kritik öneme sahip matris çarpma ve tensor işlemlerine çok iyi uymaktadır. NVIDIA'nın CUDA (Compute Unified Device Architecture) platformu, geliştiricilere GPU üzerinde genel amaçlı hesaplama yapmayı mümkün kılan ilk geniş kapsamlı yazılım katmanıydı. 2007'de tanıtılan CUDA, bugün de derin öğrenme ekosisteminin temelini oluşturmaktadır. NVIDIA'nın AI odaklı GPU'ları GPU mimarisinin evrimini yönlendirmiştir: Tesla (2008), Kepler, Maxwell, Pascal, Volta, Ampere ve son olarak Hopper mimarisi (H100). A100 ve H100, LLM eğitiminde standart haline gelmiştir. AMD ise ROCm platformu ve MI300X çipleriyle bu pazara rakip olarak girmektedir. Apple'ın M serisi çipler ise birleşik bellek mimarisiyle AI çıkarsama için enerji verimli alternatif sunmaktadır. Derin öğrenme çerçeveleri (TensorFlow, PyTorch) GPU desteğini neredeyse tamamen CUDA/cuDNN (NVIDIA) üzerinden sağlar. Tensor Core'lar, H100 gibi modern çipler üzerinde yarı hassas (FP16/BF16) matris işlemlerini 10-100 kat hızlandırır. GPU belleği (VRAM) model büyüklüğünü doğrudan sınırlar; 80GB VRAM'e sahip H100, 70 milyar parametreli bir modeli tam hassasiyetle tutabilir. Bulut GPU hizmetleri (AWS EC2 P4d, Google Cloud A100, Azure NDv4) on-premises donanım yatırımı yapmadan büyük ölçekli model eğitimi olanağı tanır. Multi-GPU konfigürasyonlarında NVLink ve InfiniBand bant genişliği, eğitim süresini doğrusal ölçekte kısaltmaktadır. GPU kapasitesi, modern yapay zeka sistemlerinin ölçeğini doğrudan belirleyen temel mühendislik kısıtlarından biri olmaya devam etmektedir. Enerji tüketimi ve soğutma maliyetleri de GPU seçimini etkileyen önemli faktörler arasındadır; H100 çipinin maksimum güç tüketimi 700W düzeyindedir.

arrow_forward bolt

Groq (LPU) (Dil İşleme Birimi)

Groq, 2016 yılında Google TPU tasarımcısı Jonathan Ross tarafından kurulan ve büyük dil modellerinin (LLM) çıkarım (inference) hızını köklü biçimde artıran bir yapay zeka donanım şirketidir. Şirket, NVIDIA GPU'larından farklı bir tasarım felsefesiyle geliştirdiği LPU (Language Processing Unit — Dil İşleme Birimi) adını verdiği özel çiple tanınmaktadır. GPU'lar, matris çarpımlarındaki paralel işlem kapasiteleri nedeniyle model eğitiminde son derece etkilidirler; ancak otoregressif metin üretiminde belirgin bir darboğazla karşılaşırlar. Her yeni token üretilirken model ağırlıklarının tamamı yüksek bant genişlikli bellekten (HBM) okunmak zorundadır ve bu tekrarlayan döngü GPU mimarisini verimsiz kılar. Groq'un LPU mimarisi bu sorunu kökten ele alır: sabit bir hesaplama grafiği üzerinde çalışan tek çekirdekli deterministik akış tasarımıyla bellek bant genişliği darboğazını ortadan kaldırır. Bu mimari tercihin pratik sonuçları somuttur. LPU, Llama 3 70B gibi büyük açık kaynaklı modelleri saniyede 800'ün üzerinde token hızıyla çalıştırabilir; bu değer NVIDIA H100 kümesine kıyasla 5-10 kat daha yüksektir. Düşük gecikme ve yüksek verim, gerçek zamanlı ses çevirisi, konuşma asistanları ve yüksek trafikli sohbet uygulamaları gibi gecikme kritik senaryolarda belirgin avantaj oluşturmaktadır. Groq, donanımını GroqCloud adlı bulut API'si üzerinden geliştirici erişimine açmaktadır. Bu API, OpenAI istemcisiyle tam uyumlu olduğundan mevcut kodlarda yalnızca model adını değiştirmek yeterlidir. Desteklenen modeller arasında Llama 3 ailesi, Mixtral, Gemma ve Whisper yer almaktadır. Whisper entegrasyonu, düşük gecikmeli ses-metin dönüştürme iş akışlarında özellikle dikkat çekicidir. Rekabet ortamında Groq; AWS Inferentia, Cerebras CS-3 ve NVIDIA'nın Blackwell serisi sistemleriyle yarışmaktadır. Şirketin mevcut odak noktası tamamen çıkarım iş yüklerine yöneliktir; model eğitimi hizmetleri şu an kapsam dışındadır. GroqCloud'un ücretsiz katmanı, prototip geliştiricilerin dakika başına token kotasıyla sistemi denemesine olanak tanımaktadır; ücretli katmanlarda maliyet 1 milyon token başına 0.05-0.27 dolar arasında değişmektedir.

arrow_forward code_blocks

H200 (NVIDIA H200 GPU)

H200, NVIDIA'nın veri merkezi GPU ailesinde Hopper mimarisinin en üst modeli olarak 2023 yılında duyurulmuş ve 2024 yılında kullanıma sunulmuş bir yapay zeka hızlandırıcısıdır. H100'ün doğrudan halefi olan H200'ün en çarpıcı özelliği, öncülünün 80 GB HBM3 belleğinin neredeyse iki katına ulaşan 141 GB HBM3e bellek kapasitesidir. Bu artış, bellek bant genişliğini 3,35 TB/s'den 4,8 TB/s'ye çıkararak büyük dil modellerinin (LLM) çıkarım (inference) süreçlerinde önemli bir hız avantajı sağlar. Yüksek bellek kapasitesi sayesinde LLaMA-3 70B, Falcon-180B veya benzeri büyük modeller tek bir GPU üzerinde tamamen barındırılabilir; bu durum model parçalama (tensor/pipeline parallelism) ihtiyacını azaltır ve istek başına gecikmeyi düşürür. H200, Amazon Web Services (p5e.48xlarge), Microsoft Azure (ND H200 v5 Series) ve Google Cloud gibi başlıca bulut sağlayıcıları aracılığıyla kiralık olarak sunulmaktadır. NVIDIA'nın GH200 Grace Hopper Süper Çip yapılandırmasında H200 GPU, NVIDIA Grace ARM işlemciyle 900 GB/s bant genişliğine sahip NVLink-C2C bağlantısıyla entegre edilmekte; bu da CPU-GPU veri aktarım darboğazını ortadan kaldırmaktadır. H200, eğitim görevlerinde H100 ile benzer hesaplama kapasitesini korurken, bellek yoğun LLM çıkarımında üç kata kadar daha yüksek verim sağlar. Yeni nesil Blackwell mimarisine (B100, B200) geçiş yapılana dek H200, yüksek performanslı yapay zeka altyapısının standardı olmayı sürdürmektedir.

arrow_forward code_blocks

HBM (Yüksek Bant Genişlikli Bellek) (HBM (Yüksek Bant Genişlikli Bellek))

HBM (High Bandwidth Memory — Yüksek Bant Genişlikli Bellek), birden fazla DRAM yongasını dikey olarak üst üste yığan (3D stacking) ve bunları Through-Silicon Via (TSV) bağlantılarıyla birleştiren özel bir bellek mimarisidir. GDDR6 gibi geleneksel grafik belleklerinin bant genişliği sınırlarını aşmak amacıyla geliştirilmiş olan HBM, büyük dil modeli eğitimi ve çıkarımı gibi veri yoğun AI iş yüklerinde kritik bir rol oynamaktadır. HBM'nin temel yeniliği, birden fazla DRAM yongasını bir silikon ara katman (silicon interposer) üzerinde yan yana konumlandırmak ve her yığını TSV adı verilen dikey bakır bağlantılarla birbirine bağlamaktır. Bu yapı 1024 bit veya daha geniş bellek arayüzü oluşturarak GDDR6'nın 384 bitlik sınırını çok aşar. Yüksek arayüz genişliği düşük saat hızıyla birleşince hem yüksek bant genişliği hem de düşük güç tüketimi elde edilir; GDDR6'ya kıyasla yaklaşık yüzde 65 daha az enerji harcanır. HBM mimarisi 2013'ten bu yana hızla gelişmiştir. İlk nesil HBM 128 GB/s bant genişliği sunarken 2016'da gelen HBM2 bunu 256 GB/s'ye çıkardı. NVIDIA A100'de kullanılan HBM2E 410 GB/s ile transformer modellerinin ilk yaygınlaşma döneminin referans donanımı oldu. NVIDIA H100'de kullanılan HBM3 ise 3,35 TB/s bant genişliğiyle büyük dil modellerinin bellek darboğazını büyük ölçüde çözdü. HBM3E, H200 ve GB200 GPU'larında 4,8 TB/s bant genişliğiyle uzun bağlam pencereli modellerin çıkarımını kolaylaştırmaktadır. JEDEC'in Nisan 2025'te yayımladığı HBM4 spesifikasyonu 2048 bitlik arayüz ve yığın başına 2 TB/s bant genişliği vaat etmektedir. HBM arzı, AI donanım ekosistemi için stratejik bir kırılganlık noktası oluşturmaktadır. Pazar yalnızca üç tedarikçinin kontrolündedir: SK Hynix yüzde 62, Micron yüzde 21 ve Samsung yüzde 17 paya sahiptir. CoWoS ve diğer gelişmiş paketleme teknolojileri, HBM yığınlarını GPU dieleriyle yakın fiziksel konumda bir araya getirerek gecikmeyi azaltmaktadır. Tedarik kıtlığı, H100 üretim hızının temel sınırlayıcısı olmuş ve piyasa fiyatlarını önemli ölçüde etkilemiştir.

arrow_forward code_blocks

Heterogeneous Computing (Heterojen Hesaplama)

Heterojen hesaplama (heterogeneous computing), bir sistem içinde birden fazla farklı işlemci türünü — CPU, GPU, NPU, FPGA, DSP gibi — bir arada kullanan hesaplama mimarisidir. Bu yaklaşımın temel felsefesi, her iş yükünün doğası gereği farklı donanım özellikleri gerektirdiğidir: CPU'lar karmaşık kontrol akışları ve seri işlemler için idealken, GPU'lar binlerce çekirdeğiyle paralel matris işlemlerinde üstündür; NPU'lar ise sinir ağı çıkarımını düşük güç tüketimiyle gerçekleştirir. Yapay zeka uygulamalarında heterojen hesaplama son derece kritik hale gelmiştir. Büyük dil modellerinin (LLM) eğitimi GPU kümelerinde yapılırken, mobil cihazlarda çıkarım NPU'ların devreye girdiği hafif motor çözümleri sayesinde gerçek zamanlı ilerler. Apple M-serisi çipleri bu yaklaşımın somut örneğidir: aynı pakette yüksek performanslı CPU çekirdekleri, entegre GPU ve 16 çekirdekli Neural Engine birlikte çalışır; tüm bu birimler birleşik bellek mimarisi üzerinden veri alışverişi yapar ve kopyalama gecikmelerini minimize eder. Qualcomm Snapdragon platformu da benzer bir yapıya sahiptir: Kryo CPU çekirdekleri, Adreno GPU ve Hexagon DSP/Tensor Accelerator aynı SoC içinde yer alır. Veri merkezi tarafında ise NVIDIA Grace Hopper, 72 çekirdekli Arm CPU'yu H100 GPU ile yüksek bant genişlikli NVLink üzerinden birleştirerek LLM servis iş yüklerinde saniyede milyonlarca token işlem kapasitesi sunar. Heterojen hesaplamanın temel zorlukları programlama karmaşıklığı, bellek yönetimi ve veri taşıma yüküdür. Farklı işlemcilerin iş birliği yapabilmesi için OpenCL, SYCL, CUDA, HIP veya Intel oneAPI gibi programlama modelleri kullanılır. PCIe Gen 5 aracılığıyla CPU ile ayrık GPU arasında yaklaşık 32 GB/sn bant genişliği sağlanırken, NVIDIA NVLink bu değeri 900 GB/sn'ye taşır; ancak her iki durumda da bellek aktarım gecikmesi bir performans darboğazı oluşturabilir. Günümüzde heterojen hesaplama; akıllı telefon SoC'lerinden bulut sunucu kümelerine, otonom araç bilgisayarlarından endüstriyel IoT kenar (edge) cihazlarına kadar geniş bir yelpazede uygulanmaktadır. Yapay zekanın her alana yayılmasıyla birlikte bu mimari yaklaşım, güç verimliliği ve hesaplama performansı arasındaki dengeyi kuran temel tasarım paradigması haline gelmiştir.

arrow_forward memory

High Bandwidth Memory (Yüksek Bant Genişlikli Bellek)

High Bandwidth Memory (HBM), yapay zeka ivedileyicileri, grafik işlemciler (GPU) ve yüksek performanslı hesaplama (HPC) sistemlerinde kullanılan, sıradan DDR veya GDDR belleklerden çok daha geniş bant genişliği sunan üç boyutlu yığımlı bellek teknolojisidir. HBM'nin temel yeniliği, birden fazla DRAM çipini Through-Silicon Via (TSV) adı verilen minik dikey iletkenler aracılığıyla üst üste katmanlayarak çok sayıda veri hattını aynı anda açmasıdır. Bu yığınlar, silikon bir interposer üzerine oturarak işlemciye son derece yakın konumlandırılır; bu yolla veri yolu uzunluğu azalır, gecikme düşer ve saniyede birkaç terabayt mertebesinde veri aktarımı mümkün hale gelir. Geleneksel GDDR belleklerde bant genişliği, bellek çiplerinin PCB üzerinde yan yana dizilmesinden kaynaklanan fiziksel kablo kısıtlamalarıyla sınırlanır; oysa HBM'de 1024 ila 2048 bit genişliğindeki geniş arabirim bu sorunu köklü biçimde ortadan kaldırır. Aynı güç bütçesi içinde GDDR belleğin beş ila yirmi katı bant genişliğine ulaşılabilir; bu fark, yoğun paralel matris çarpımı operasyonlarına dayanan yapay zeka iş yüklerinde kritik bir performans avantajı anlamına gelir. HBM teknolojisinin gelişimi 2013 yılında AMD ve SK Hynix tarafından ortaklaşa başlatılmış; JEDEC standartları çerçevesinde nesil nesil ilerlemiştir. İlk nesil HBM (2015) yığın başına 128 GB/s bant genişliğiyle başlarken, HBM2 (2016) bu değeri 256 GB/s'ye taşıdı. HBM2E ile birlikte 460 GB/s eşiği aşıldı; HBM3 ise yığın başına 819 GB/s'yi geçti. 2025'te tamamlanan HBM4 standardı, yığın başına 2 TB/s eşiğini aşarak yapay zeka ivedileyicilerinin bellek darboğazını bir kez daha genişletti. Güncel yapay zeka donanımlarında HBM'nin kullanım yoğunluğu dikkat çekicidir. NVIDIA H100'de 80 GB HBM3, H200'de 141 GB HBM3e, AMD Instinct MI300X'te 192 GB HBM3 kullanılmaktadır. Büyük dil modellerini verimli biçimde çalıştırmak için gereken devasa parametre yükü, dikkat mekanizmalarının (attention) aktarım yoğunluğu ve KV önbellek gereksinimleri göz önünde bulundurulduğunda HBM, yapay zeka donanımının vazgeçilmez bir bileşeni konumuna gelmiştir. Pazar ekonomisi açısından değerlendirildiğinde 2025 itibarıyla küresel HBM pazarı 38 milyar dolara ulaşmış; SK Hynix yüzde altmış ikilik payla sektöre liderlik etmekte, onu Micron ve Samsung izlemektedir. Coğrafi yoğunlaşma ve jeopolitik gerilimler nedeniyle arz zinciri riskleri bulunmaktadır; bu durum Batılı hükümetleri alternatif üretim kapasitesi oluşturmaya yönelik teşvik politikaları geliştirmeye yöneltmiştir. HBM4 ve ötesi için yeni yığımlama ve paketleme teknolojileri araştırılmaya devam etmekte; fotoniğe dayalı yüksek hızlı veri iletimi gibi uzun vadeli alternatifler de gündemdeki yerini korumaktadır.

arrow_forward code_blocks

High Bandwidth Memory 3 (Yüksek Bant Genişlikli Bellek 3. Nesil)

HBM3 (High Bandwidth Memory 3), yüksek performanslı yapay zeka hızlandırıcıları ve grafik işlemcileri için tasarlanmış üçüncü nesil yüksek bant genişlikli bellek standardıdır. SK Hynix tarafından 2022 yılında ticarileştirilen HBM3, JEDEC tarafından standardize edilmiş olup önceki nesil HBM2e'ye kıyasla bant genişliğini yaklaşık iki katına çıkarmıştır. HBM3, yığılmış bellek dieları ile Through-Silicon Via (TSV) teknolojisini birleştirerek çok yüksek veri aktarım hızlarına ulaşır. Her bellek yığını saniyede 819 GB'a varan bant genişliği sunarken yığın başına 24 GB'a kadar kapasite sağlar. Bu özellikler, büyük dil modellerinin eğitimi ve çıkarımı gibi bellek yoğun yapay zeka iş yükleri için HBM3'ü kritik bir bileşen hâline getirir. Geleneksel GDDR bellekle kıyaslandığında HBM3, aynı güç bütçesiyle 5-10 kat daha yüksek bant genişliği ve belirgin ölçüde daha düşük gecikme süresi sunar. TSV teknolojisi sayesinde bellek yığınları işlemcinin yanına doğrudan yerleştirilir; bu da veri yolu uzunluğunu minimuma indirerek enerji verimliliğini artırır. NVIDIA H100 GPU'su, HBM3 bellekle donatılmış ilk yaygın yapay zeka hızlandırıcısıdır ve 80 GB bellek kapasitesi ile 3,35 TB/s toplam sistem bant genişliği sunar. AMD MI300X hızlandırıcısı ise birden fazla HBM3 yığınını bir araya getirerek 192 GB'a varan bellek kapasitesiyle öne çıkmaktadır. Google'ın TPU v5 serisi de HBM3 tabanlı bellek mimarisini benimsemiştir. HBM3e (HBM3 Enhanced), 2024 yılında NVIDIA H200 GPU'su ile piyasaya sürülen geliştirilmiş versiyondur. Bant genişliğini yığın başına 1,2 TB/s düzeyine yükseltirken 141 GB kapasiteyle büyük ölçekli model çıkarımını güçlendirmiştir. Yapay zeka hızlandırıcısı talebinin hızla büyümesiyle birlikte HBM üretim kapasitesi küresel tedarik zincirinde kritik bir darboğaz hâline gelmiş; SK Hynix, Samsung ve Micron bu alanda yatırımlarını hızlandırmıştır. Bir sonraki nesil HBM4'ün 2025-2026 döneminde piyasaya girmesi beklenmektedir.

arrow_forward developer_board

Hopper Architecture (Hopper Mimarisi)

Hopper Mimarisi, NVIDIA tarafından Mart 2022'de GTC (GPU Technology Conference) etkinliğinde tanıtılan ve büyük ölçekli yapay zeka modelleri ile yüksek performanslı hesaplama (HPC) iş yükleri için tasarlanmış yedinci nesil GPU mikro-mimarisidir. Bilgisayar biliminin öncüsü, ilk derleyici kavramının geliştiricisi ve COBOL standartlaşmasının mimarlarından biri olan Grace Hopper'ın anısına adlandırılan bu mimari, önceki nesil Ampere mimarisini (A100) veri merkezi segmentinde devralmıştır. Mimarinin en önemli yeniliği Transformer Engine adı verilen özel hesaplama birimidir. Bu birim, derin öğrenme modellerinin eğitimi sırasında FP8 ve FP16 sayısal hassasiyetleri arasında her işlem için otomatik ve dinamik geçiş yaparak hem hesaplama hızını hem de enerji verimliliğini önemli ölçüde artırır. FP8 hassasiyetindeki yeni Tensor Core'lar E4M3 (4 üs, 3 mantis biti) ve E5M2 (5 üs, 2 mantis biti) olmak üzere iki veri türünü destekler; bu sayede büyük dil modellerinin eğitim süresi, A100'e kıyasla FP8 düzeyinde 6 kata kadar kısaltılabilmektedir. Hopper GPU'ları TSMC 4N (4nm sınıfı) üretim süreciyle üretilmekte olup 80 milyar transistör içermektedir. HBM3 bellek teknolojisiyle 3 TB/s'ye ulaşan bellek bant genişliği, büyük model matrislerinin GPU'ya aktarımında darboğaz oluşmasını engeller. Dördüncü nesil NVLink bağlantısı (NVLink 4.0) ise çoklu GPU kümelerinde GPU'lar arası veri aktarım hızını önceki nesle göre iki katına çıkararak model paralelliğini kolaylaştırır. Multi-Instance GPU (MIG) teknolojisiyle tek bir H100 GPU'su, birbirinden yalıtılmış en fazla 7 bağımsız GPU örneğine bölünebilir. Bu özellik bulut servis sağlayıcıları için kaynak paylaşımı ve maliyet optimizasyonu açısından kritik önem taşır. Ek olarak Confidential Computing desteği, farklı kiracılara ait iş yüklerinin donanım düzeyinde şifrelenerek birbirinden korunmasına olanak tanır. PCIe Gen5 desteği de CPU ile GPU arasındaki veri transferini hızlandırmaktadır. Hopper mimarisinin veri merkezindeki öne çıkan ürünleri H100 ve H200 GPU'larıdır. Bu GPU'lar, GPT-4, LLaMA, Gemini ve benzeri büyük dil modellerinin eğitiminde dünya genelindeki veri merkezlerinde yaygın biçimde kullanılmaktadır. Hopper'ın ardından NVIDIA, 2024 yılında Blackwell mimarisini (B100, B200) duyurmuştur.

arrow_forward code_blocks

HPC (High Performance Computing) (Yüksek Başarımlı Hesaplama (HPC))

HPC (High Performance Computing), yani Yüksek Başarımlı Hesaplama; milyarlarca aritmetik işlemi saniyede eş zamanlı gerçekleştirebilen süper bilgisayar kümeleri, özel hızlandırıcı çipler ve yüksek hızlı ağlardan oluşan bilişim altyapılarına verilen genel addır. Geleneksel tek bir iş istasyonunun gücünü çok aşan bu sistemler; iklim modelleme, nükleer simülasyon, ilaç keşfi ve en önemlisi yapay zeka model eğitimi gibi hesaplama yoğun görevler için vazgeçilmezdir. Yapay zeka bağlamında HPC'nin önemi katlanarak artmaktadır: GPT-4 büyüklüğünde bir dil modeli, binlerce GPU'nun haftalarca paralel çalışmasını gerektirmektedir. NVIDIA'nın DGX SuperPOD kümeleri, Meta'nın RSC (Research SuperCluster) altyapısı ve Google'ın TPU Pod sistemleri, AI eğitiminde kullanılan önde gelen HPC örnekleridir. Temel HPC bileşenleri şunlardır: çok çekirdekli CPU ve GPU düğümleri, düşük gecikmeli ve yüksek bant genişliğine sahip ağ ara yüzleri (InfiniBand, NVLink), yüksek bant genişlikli depolama sistemleri (Lustre, GPFS) ve iş yükü zamanlayıcıları (SLURM, PBS Pro). Performans ölçümü FLOPS (floating-point operations per second) cinsinden yapılır; günümüzdeki öncü sistemler exaFLOPS (10^18 işlem/saniye) sınırına yaklaşmaktadır. Türkiye'de TÜBİTAK ULAKBİM bünyesindeki Truba kümesi, üniversiteler ve araştırma kurumları için HPC kapasitesi sunmaktadır. Bulut sağlayıcılar (AWS HPC, Azure HPC, Google Cloud HPC) ise on-premise yatırım gerektirmeksizin talep anında ölçeklenebilen esnek HPC ortamları sağlamaktadır.

arrow_forward memory

In-Memory Computing (Bellek-İçi Hesaplama)

In-Memory Computing (Bellek-İçi Hesaplama), verilerin geleneksel disk tabanlı depolama yerine doğrudan RAM veya yüksek bant genişlikli bellek (HBM) üzerinde işlenmesi paradigmasıdır. Geleneksel mimaride CPU veya GPU, hesaplama yaparken model ağırlıklarını ve aktivasyonları bellekten defalarca okumak zorundadır; bu veri transferi, özellikle büyük dil modellerinin (LLM) çıkarım aşamasında ciddi bir darboğaz oluşturur. İşlemcinin bekleyerek geçirdiği bu süre, toplam çıkarım gecikmesinin büyük bölümünü oluşturur. Processing-in-Memory (PIM) ya da Near-Memory Computing olarak da bilinen bu yaklaşımda, hesaplama mantığı doğrudan bellek çipleri içine entegre edilir. Böylece veri işlemciye taşınmak yerine, işlemci verinin bulunduğu yerde çalışır. Bir LPDDR5 DRAM çipinin harici G/Ç bant genişliği yaklaşık 51,2 GB/s ile sınırlıyken, dahili all-bank bant genişliği 409,6 GB/s'ye ulaşabilir; bu yaklaşık 8 katlık artış, verinin yanında hesaplama yapmanın sağladığı temel avantajdır. Samsung (AxDIMM/HBM-PIM), SK Hynix (AiM — Accelerator-in-Memory) ve UPmem gibi şirketler, AI iş yüklerine özgü ticari PIM çözümleri geliştirmektedir. GPU+HBM-PIM entegrasyonu, yalnızca GPU mimarisine kıyasla LLM çıkarımında 3,24 kat hızlanma ve yüzde 60 enerji tasarrufu sağlayabilmektedir. Transformer mimarilerindeki matris-vektör çarpımı (GEMV) ve dikkat mekanizmaları, hesaplama kapasitesinden çok bellek bant genişliğine duyarlıdır; bu nedenle bellek-içi hesaplama bir sonraki nesil AI donanımının temel bileşeni olmaya adaydır. Edge AI cihazlarında ise RISC-V tabanlı PIM modülleri, nöral ağ çıkarımını düşük güç bütçesiyle gerçekleştirmeyi mümkün kılar. Bellek-içi hesaplama paradigması, yalnızca AI iş yüklerini değil veri analitiği ve genomik gibi bellek-bağımlı alanlarda da dönüşüm yaratmaktadır. UPmem'in DIMM modülleri, DNA dizi hizalama algoritmalarında CPU'ya kıyasla 18 kata varan hızlanma bildirmiştir. Bu geniş uygulama yelpazesi, PIM'in yalnızca bir AI donanım optimizasyonu değil, hesaplama mimarisinin köklü bir yeniden tanımlanması olduğunu ortaya koymaktadır. HBM3 ve HBM3e ile entegre PIM çözümlerinin 2025-2026 yıllarında veri merkezi uygulamalarına girmesiyle birlikte bu paradigmanın endüstriyel ölçekte benimsenmesi hızlanması beklenmektedir.

arrow_forward memory

Inference Accelerator (Çıkarım Hızlandırıcısı)

Inference Accelerator (Çıkarım Hızlandırıcısı), önceden eğitilmiş yapay zeka ve derin öğrenme modellerini üretim ortamında düşük gecikme, yüksek verim ve enerji verimliliğiyle çalıştırmak üzere tasarlanmış özel amaçlı donanım birimidir. Genel amaçlı GPU'lar model eğitimi için optimize edilirken, çıkarım hızlandırıcılar tek bir amaca odaklanır: eğitilmiş modelden mümkün olan en hızlı ve en az güç tüketen biçimde tahmin üretmek. Bu uzmanlaşmanın temelinde hassasiyet farkı yatar. Eğitim aşaması, gradyan stabilitesi için FP32 veya BF16 tam hassasiyete ihtiyaç duyar; ancak çıkarım aşamasında INT8, FP8 veya INT4 gibi düşük hassasiyetli veri tipleri modelin doğruluğunu kayda değer biçimde düşürmeden 4-8 kat daha küçük bellek alanı ve 2-4 kat daha hızlı hesaplama sağlar. Çıkarım hızlandırıcılar bu avantajı donanım düzeyinde kökten sömürür. Başlıca donanım kategorileri üç gruba ayrılır. ASIC tabanlı bulut hızlandırıcılar, transformatör mimarileri ve büyük dil modelleri için tasarlanmış özel silikon çiplerdir; Google TPU v5e, AWS Inferentia 2, Qualcomm Cloud AI 100 ve Microsoft Azure Maia 100 bu kategorinin öncü örnekleridir. GPU tabanlı çıkarım sistemleri kategorisinde NVIDIA L4, yalnızca 72 watt tüketimiyle maliyet etkin sunucu çıkarımı için optimize edilmiştir. Uç ve mobil NPU'lar ise Apple Neural Engine (M4 yonga setinde), Qualcomm Hexagon 698 ve NVIDIA Jetson Orin aracılığıyla akıllı telefon, gömülü sistem ve otonom araç uygulamalarında modelleri yerel olarak çalıştırır. Yazılım ekosistemi performansı donanım kadar belirler: NVIDIA TensorRT model grafiklerini otomatik optimize eder, Intel OpenVINO Intel işlemcilere yönelik benzer işlevi görür, ONNX Runtime farklı donanımlar arasında taşınabilirlik sağlar. Temel performans metrikleri arasında TOPS (Tera Operations Per Second), token/saniye, gecikme süresi ve TOPS/Watt enerji verimliliği yer alır. Türkiye'deki yapay zeka şirketleri ve bulut servis kullanıcıları üretim dağıtımlarında genellikle AWS inf2 örneklerini veya NVIDIA T4/L4 GPU'larını tercih etmektedir.

arrow_forward code_blocks

InfiniBand (Yüksek Hızlı AI Ağ Protokolü)

InfiniBand, 1999 yılında geliştirilen ve yüksek performanslı bilişim (HPC) ile büyük ölçekli yapay zeka altyapılarında GPU'lar, sunucular ve depolama sistemleri arasında yüksek bant genişliği ve son derece düşük gecikme süresi sağlayan bir ağ iletişim standardı ve protokolüdür. Protokol; SDR (2 Gb/s) ile başlayan nesil silsilesini HDR (200 Gb/s), NDR (400 Gb/s) ve son olarak XDR (800 Gb/s) ile sürdürmektedir. InfiniBand'ın temel ayırt edici özelliği RDMA (Remote Direct Memory Access — Uzaktan Doğrudan Bellek Erişimi) desteğidir. RDMA, bir sunucunun başka bir sunucunun belleğine CPU ve işletim sistemi yığını atlanarak doğrudan erişmesine olanak tanır. Kernel bypass olarak da bilinen bu mimari iki kritik kazanım sunar: gecikme süresini bir mikrosaniyenin altına çekmek ve CPU'nun ağ işleme yükünü minimuma indirmek. Yüksek frekanslı veri transferi gerektiren derin öğrenme iş yüklerinde bu özellik belirleyici bir avantaj ortaya koyar. Büyük dil modellerinin (LLM) eğitiminde yüzlerce ya da binlerce GPU'nun koordineli çalışması gerekir. Bu ölçekte AllReduce, AllGather ve ReduceScatter gibi kollektif iletişim işlemleri — NVIDIA'nın NCCL kütüphanesiyle yönetilen — sürekli ve yüksek hacimli gradient senkronizasyonu gerektirir. Ağ gecikmesi ve bant genişliği, GPU Model Flops Utilization (MFU) oranını doğrudan etkiler. NVIDIA DGX SuperPOD, Meta'nın AI Research SuperCluster (RSC) ve OpenAI'nın büyük eğitim kümelerinin temel ağ omurgasını InfiniBand oluşturmaktadır. 2020 yılında NVIDIA'nın Mellanox'u 6,9 milyar dolara satın almasıyla InfiniBand, NVIDIA ekosisteminin ayrılmaz bir parçası hâline geldi. GPUDirect RDMA teknolojisi, GPU belleklerinden sistem belleği ve CPU atlanarak doğrudan diğer GPU'lara veri aktarılmasına olanak tanır. Düğüm içi iletişim NVLink üzerinden (H100'de 900 GB/s) yapılırken düğümler arası iletişim NDR InfiniBand (~50 GB/s) ile sağlanmaktadır; bu bant genişliği farkı paralel eğitim stratejilerinin planlanmasında göz önünde bulundurulması gereken temel bir kısıttır. Ethernet tabanlı alternatifler — standart 400GbE veya RoCE (RDMA over Converged Ethernet) — mevcut altyapı yatırımını koruyarak daha düşük maliyet sunar; ancak büyük ölçekli AI kümelerinde InfiniBand'ın deterministik gecikme garantisi ve güvenilirlik üstünlüğü birinci tercih konumunu sürdürmektedir. Bulut tarafında AWS Elastic Fabric Adapter (EFA), Google Cloud'un Jupiter ağı ve Azure'un ND serisi InfiniBand veya InfiniBand benzeri altyapı üzerine kuruludur.

arrow_forward code_blocks

Intel Gaudi (Intel Gaudi)

Intel Gaudi, Intel'in 2019 yılında yaklaşık 2 milyar dolara satın aldığı İsrailli yapay zeka çip firması Habana Labs tarafından geliştirilen AI hızlandırıcı serisidir. Seri, derin öğrenme modellerinin eğitimi ve büyük dil modellerinin çıkarımı (inference) için özel olarak tasarlanmıştır. Gaudi 3, serinin en güncel neslidir. TSMC'nin 5 nm süreci üzerinde üretilmektedir. 64 Tensör İşlem Çekirdeği (TPC) ve 8 Matris Çarpma Motoru (MME) barındırır. Bellek tarafında 128 GB HBM2E ve 3,7 TB/s bant genişliği sunar. Ağ bağlantısı için 24 adet 200 GbE bağlantı noktası entegre edilmiş olup küme düzeyinde 9,6 Tbps çift yönlü bant genişliği sağlar. BF16/FP8 operasyonlarında 1.835 TFLOPS hesaplama kapasitesi sunan Gaudi 3, NVIDIA H100 ve H200 karşısında fiyat-performans avantajıyla konumlandırılmaktadır; birim fiyatı H100'ün belirgin şekilde altındadır. Intel'in yayımladığı kıyaslama verilerine göre LLaMA ve Mistral gibi büyük dil modellerinde H100'e kıyasla 2 kat daha yüksek çıkarım hızı elde edilmektedir. Gaudi'nin önemli bir özelliği, standart Ethernet ağ mimarisini kullanmasıdır. NVLink gibi tescilli ağ çözümlerine gerek kalmadan çok düğümlü kümeler kurulmasını mümkün kılar. Yazılım ekosistemi PyTorch, TensorFlow ve Intel'in kendi SynapseAI SDK'sı üzerine kuruludur. AWS DL1 ve DL2 bulut örnekleri, IBM Cloud ve Supermicro sunucularında kullanıma sunulmuştur. Temel zorluk, NVIDIA'nın CUDA ekosistemine kıyasla mevcut yapay zeka kütüphanelerinin büyük bölümünün öncelikle CUDA için optimize edilmiş olmasıdır. Geliştiricilerin Gaudi'ye geçişte mevcut kodlarını uyarlamaları gerekmektedir. Bu durum, kurumsal benimsemede önemli bir sürtünme noktası olmayı korumaktadır.

arrow_forward code_blocks

LPU (LPU (Language Processing Unit))

LPU (Language Processing Unit), yapay zeka girişimi Groq tarafından geliştirilen ve büyük dil modellerinin (LLM) gerçek zamanlı çıkarımını hızlandırmak için sıfırdan tasarlanan özel bir işlem birimidir. Geleneksel GPU mimarilerinin paralel hesaplama odaklı tasarımının aksine, LPU bellek bant genişliği darboğazını ortadan kaldırmak üzere optimize edilmiştir. Büyük dil modelleri GPU kümelerinde çalışırken iki kritik sorunla karşılaşır: hesaplama yoğunluğu ve bellek erişim gecikmesi. Transformer mimarisinin dikkat mekanizması, her token üretiminde model ağırlıklarını yeniden belleğe yüklemek zorundadır; bu durum DRAM trafiğini artırır ve yanıt süresini saniyeler mertebesine taşır. LPU bu sorunu kökten farklı bir mimariyle çözer. LPU'nun temel bileşenleri şu şekilde sıralanabilir: Linear Compute Engine (LCE), hesaplama adımlarını sabit ve deterministik sırada icra eder; GPU'lardaki dinamik iş planlamasından farklı olarak her işlemin ne zaman tamamlanacağı önceden bilinir. Çip üstü SRAM tamponu ise model ağırlıklarının büyük bölümünü çip üzerinde tutar; harici DRAM erişimini büyük ölçüde azaltır. Deterministic Execution özelliği sayesinde her token için gereken süre mikrosaniye hassasiyetiyle öngörülebilir; bu tutarlılık gerçek zamanlı ses ve sohbet uygulamalarında kritik önem taşır. Scale-Out ağ mimarisi ise binlerce LPU'yu düşük gecikmeli özel fabric üzerinden birbirine bağlar ve büyük modellerin (70B+) birden fazla çipte paralel çalışmasına olanak tanır. Performans açısından Groq'un kamuoyuna paylaştığı kıyaslama verileri, LPU'nun Llama 2 70B modelinde saniyede 300 token'ı aşan çıkarım hızına ulaştığını göstermektedir; bu değer A100 GPU kümelerinin birçok uygulamadaki çıktısından çok daha yüksektir. Düşük ve öngörülebilir gecikme, LPU'yu gerçek zamanlı sohbet botları, sesli asistanlar, kod tamamlama ve canlı çeviri gibi gecikmeden hassas yapay zeka uygulamaları için özellikle uygun kılar. Kısıtlamalar açısından bakıldığında LPU, GPU'ların eğitim aşamasındaki esnekliğinden yoksundur; yalnızca çıkarım için optimize edilmiştir ve model ağırlıkları değiştikçe yeniden yapılandırma gerektirebilir. GPU ekosisteminin olgunluğuna kıyasla araç, kütüphane ve topluluk desteği henüz daha dar bir yelpazeyi kapsar. Bununla birlikte LPU, hız ve gecikme öncelikli üretim dağıtımlarında giderek daha fazla tercih edilen bir donanım mimarisi haline gelmektedir.

arrow_forward code_blocks

Memory Bandwidth (Bellek Bant Genişliği)

Bellek bant genişliği (memory bandwidth), bir işlemci ya da hızlandırıcının bellek sistemiyle veri alışverişini saniyede gerçekleştirebileceği maksimum kapasitedir. GB/s veya TB/s birimiyle ölçülen bu metrik, yapay zeka iş yüklerinin büyük çoğunluğu için ham işlem gücünden çok daha belirleyici bir performans faktörü olmaktadır. Bant genişliği, bellek teknolojisi ve veri yolu genişliğiyle doğrudan orantılıdır. DDR5 sistem belleği yaklaşık 100 GB/s sunarken GDDR6X (RTX 4090) 1 TB/s düzeyine, HBM2e (A100) ise 2 TB/s'ye ulaşmaktadır. H100 SXM5'in kullandığı HBM3 teknolojisi 3,35 TB/s ile günümüzdeki en yüksek değerleri temsil etmektedir. Apple M serisi çipler, CPU ve GPU'nun ortak eriştiği birleşik bellek (unified memory) mimarisiyle yaklaşık 400 GB/s bant genişliği ve düşük güç tüketimi kombinasyonunu kenar cihazlara taşır. Büyük dil modellerinin (LLM) çıkarım aşamasında bant genişliği kritik öneme sahiptir. 70 milyar parametreli bir model FP16 hassasiyetiyle 140 GB yer kaplar; her yeni token üretiminde bu ağırlıkların büyük bölümü bellekten işlemciye aktarılır. Matris-vektör çarpımına dayalı bu işlemlerin aritmetik yoğunluğu düşük olduğundan sistem bellek sınırlı (memory-bound) biçimde çalışır: hesap kapasitesi artırılsa bile bant genişliği yeterli değilse token üretim hızı iyileşmez. Roofline modeli bu dengeyi görselleştirir ve bir çekirdeğin nerede darboğaz oluşturduğunu açıkça ortaya koyar. Yatay eksen aritmetik yoğunluğu (FLOP/bayt), dikey eksen ise ulaşılabilir performansı (TFLOPS) gösterir. Bant genişliği kısıtını aşmak için FlashAttention algoritması HBM trafiğini O(n²) düzeyinden O(n) düzeyine indirirken, model nicelleştirme (FP32'den INT4'e dönüşüm) ağırlık boyutunu sekiz kat küçülterek aynı bant genişliğinden sekiz kat daha fazla token üretilmesine olanak tanır. NVLink ve CXL tabanlı bellek genişletme teknolojileri de bant genişliği kapasitesini artırmak için yaygın biçimde başvurulan çözümler arasındadır.

arrow_forward ⚡

Mixed Precision Training (Karışık Kesinlikli Eğitim)

Karışık Kesinlikli Eğitim (Mixed-Precision Training), derin öğrenme modellerinin eğitim sürecini hızlandırmak ve bellek kullanımını optimize etmek amacıyla farklı kayan nokta kesinliklerini bir arada kullanan bir tekniktir. Yöntem, ileri ve geri yayılım hesaplamaları ile matris çarpımları için düşük kesinlikli sayı formatları (FP16 veya BF16) kullanırken, model ağırlıklarının ana kopyasını ve kayıp biriktirmesini tam kesinlikte (FP32) tutar. Bu hibrit yaklaşım, sayısal kararlılığı ve model doğruluğunu korurken bellek tüketimini yaklaşık %50 azaltır ve eğitim hızını 2-3 kat artırır. Teknik, NVIDIA'nın Volta ve Turing GPU mimarilerinde Tensor Core'ların tanıtılmasıyla pratik hale gelmiştir. PyTorch (torch.cuda.amp) ve TensorFlow gibi popüler çerçeveler, Otomatik Karışık Kesinlik (AMP) araçlarıyla geliştiricilerin bu tekniği minimal kod değişikliğiyle uygulamasını kolaylaştırır. İki düşük kesinlikli format arasında önemli bir ayrım bulunur: FP16, 10-bit mantis ile yüksek hassasiyet sunar ancak dar bir dinamik aralığa sahipken; BF16 (Brain Float 16), FP32 ile aynı 8-bit üstel aralığı kullanarak taşma ve alt-taşma sorunlarını büyük ölçüde giderir. Bu nedenle büyük dil modeli eğitiminde BF16, FP16'ya kıyasla daha stabil bir seçenek olarak öne çıkmaktadır. Gradient underflow riskine karşı dinamik kayıp ölçeklendirmesi (loss scaling) uygulanır; kayıp değeri geri yayılım öncesinde büyütülür, gradyanlar hesaplandıktan sonra ölçek geri alınır. Karışık kesinlikli eğitim, 2017 yılında Micikevicius ve ekibi tarafından Baidu Research ile NVIDIA işbirliğiyle geliştirilmiş ve ICLR 2018'de yayımlanmıştır. GPT, LLaMA, Stable Diffusion ve Vision Transformer (ViT) gibi modern modellerin eğitiminde endüstri standardı haline gelen bu teknik, sınırlı GPU bütçesiyle daha büyük modeller eğitmeyi ya da aynı donanımda daha büyük toplu iş boyutları (batch size) kullanmayı mümkün kılmaktadır. Gradient birikim (gradient accumulation) stratejisiyle birleştirildiğinde efektif batch boyutu daha da artırılabilir.

arrow_forward code_blocks

Neuromorphic Computing (Nöromorfik Bilişim)

Nöromorfik Bilişim (Neuromorphic Computing), insan beyninin biyolojik yapısını ilham alarak tasarlanan; nöronları, sinapsları ve elektriksel uyarı (spike) iletimini donanım düzeyinde taklit eden hesaplama mimarisinin genel adıdır. Kavram, 1980'lerde VLSI mühendisi Carver Mead tarafından ortaya atılmış; günümüzde Intel Loihi 2, IBM NorthPole ve BrainChip Akida gibi çiplerle araştırma ve kenar-bilişim uygulamalarında hayata geçirilmektedir. Geleneksel Von Neumann mimarisinde işlemci ve bellek fiziksel olarak ayrıdır; bu ayrılık veri transferini bir darboğaza dönüştürür. Nöromorfik çipler hesaplamayı ve belleği aynı fiziksel konumda birleştirerek bu 'von Neumann darboğazı'nı ortadan kaldırır. Temel hesaplama birimi, klasik sinir ağlarının sürekli sayısal değerler üretmesinden farklı olarak biyolojik nöronu taklit eden 'fırlama nöron' (spiking neuron) modelidir: nöron yalnızca anlamlı bir uyarı eşiğini aştığında iletişim kurar; bu olay-güdümlü (event-driven) yaklaşım boşta çalışma sürelerinde neredeyse sıfır enerji tüketimi sağlar. 2026 itibarıyla nöromorfik çiplerin enerji verimliliği çarpıcı boyutlara ulaşmıştır: IBM NorthPole, görüntü tanıma görevlerinde NVIDIA H100 GPU'ya kıyasla 22-25 kat daha az enerji harcarken Intel Loihi 2, belirli uyarlamalı görevlerde geleneksel işlemcilere göre 1.000 kata kadar avantaj sunar. BrainChip Akida ve Innatera T1 gibi uç bilişim çipleri miliWatt altı güç tüketimiyle IoT sensörlerinde çalışmaktadır. Temel kısıt, standart derin öğrenme çerçeveleriyle (PyTorch, TensorFlow) doğrudan uyumsuzluktur; nöromorfik donanım, Spiking Neural Network (SNN) algoritmalarını ve özel programlama ortamlarını gerektirir. 2026 itibarıyla büyük ölçekli ticari dağıtım hâlâ araştırma ortaklarıyla sınırlıdır; bununla birlikte, sınır yapay zekası, IoT ve gerçek zamanlı otonom sistemler için en umut verici enerji-verimli hesaplama paradigması olarak konumlanmaktadır. Programlama kısıtını aşmaya yönelik olarak Intel'in açık kaynaklı Lava çerçevesi ile snnTorch kütüphanesi SNN geliştirmeyi kolaylaştırmaktadır; DARPA SYNAPSE ve Avrupa Human Brain Project gibi araştırma programları ise bu alanın uzun vadeli gelişimini destekleyen kamu finansmanı sunmaktadır.

arrow_forward code_blocks

Nöromorfik Çip (Nöromorfik Çip)

Nöromorfik çip (neuromorphic chip), insan beyninin nörobiyolojik mimarisini taklit eden özel tasarım yapay zeka donanımıdır. Geleneksel Von Neumann mimarilerinin aksine bu çipler, anlık voltaj geçişleri (spike) ile iletişim kuran biyolojik nöronlardan esinlenen hesaplama birimleri kullanır. Intel'in Loihi serisi ve IBM'in TrueNorth çipi bu alandaki en bilinen ticari örnekler arasında yer almaktadır. Geleneksel GPU ve CPU tabanlı yapay zeka işlemcileri, matris çarpımlarını yoğun paralel hesaplama ile gerçekleştirir ve bu süreçte sürekli güç tüketir. Nöromorfik çipler ise yalnızca bir olay (spike) gerçekleştiğinde enerji harcar; bu olay güdümlü hesaplama modeli güç tüketimini dramatik biçimde azaltır. Intel Loihi 2, belirli seyrek veri kümeleri üzerinde geleneksel GPU'lara kıyasla yüzde seksen daha düşük enerji tüketimiyle çalışabilmektedir. Bu özellik, pil ömrünün kısıtlı olduğu kenar cihazları için son derece değerlidir. IoT sensörleri, giyilebilir teknoloji ve otonom araçlar bu avantajdan en fazla yararlanan platformlar arasındadır. Nöromorfik çipler, geleneksel yapay sinir ağları yerine biyo-ilhamlı hesaplama modeli olan Spiking Neural Networks (SNN) üzerinde çalışır. SNN'ler zamansal bilgiyi doğal olarak kodlar ve düşük gecikme süresiyle sürekli veri akışlarını işleyebilir; bu özellik gerçek zamanlı duyusal işleme için belirgin avantajlar sunar. Robotik sistemlerde proprioseptif geri bildirim, işitsel sahne analizi ve nöroprotetik cihazlar nöromorfik hesaplamanın öncü uygulama alanları arasında öne çıkmaktadır. Büyük ölçekli yapay zeka modellerinin enerji ayak izinin artmasıyla birlikte nöromorfik mimariler araştırma gündeminde giderek daha fazla yer bulmaktadır. Alanın önündeki temel engeller arasında SNN eğitiminin karmaşıklığı ve büyük ölçekli derin öğrenme modellerinin nöromorfik donanıma etkin biçimde aktarılamaması sayılmaktadır. Bu zorlukların aşılması, enerji verimli büyük ölçek yapay zeka donanımına geçişi hızlandıracak ve veri merkezlerinin toplam enerji tüketimini önemli ölçüde azaltacaktır.

arrow_forward smartphone

NPU (Neural Processing Unit) (Nöral İşlem Birimi (Yapay Zeka Çipi))

NPU (Nöral İşlem Birimi — Neural Processing Unit), yapay zeka modellerinin çıkarım (inference) hesaplamalarını CPU ve GPU'ya kıyasla çok daha verimli şekilde yürütmek için tasarlanmış özel amaçlı bir donanım birimidir. Modern akıllı telefonlardan dizüstü bilgisayarlara ve veri merkezi hızlandırıcılarına kadar geniş bir yelpazeye entegre edilmektedir. Sinir ağı hesaplamaları özünde yoğun matris çarpımına dayanır. Genel amaçlı CPU bu işlemleri sıralı biçimde yürütürken, GPU binlerce çekirdekle paralel hesaplama sağlar; NPU ise bu matris çarpımlarını gerçekleştirmek için özel systolic array veya tensor çekirdeği içerir. Bu yapı, CPU'dan 10-100 kat, GPU'ya kıyasla ise çok daha düşük güç tüketimiyle çıkarım yapmasını mümkün kılar. Apple, Neural Engine adını verdiği NPU birimini 2017'deki A11 Bionic çipiyle cihazlarına entegre etti. Günümüzde M4 çipindeki Neural Engine 38 TOPS (saniyede trilyon işlem) kapasitesine ulaşmıştır. Qualcomm Hexagon NPU Android ekosisteminin bel kemiğini oluştururken, Google Tensor serisindeki NPU Pixel cihazlarında ses tanıma ve fotoğraf işlemeyi optimize eder. Edge AI kavramı NPU'nun en kritik kullanım alanıdır: veri buluta gönderilmeden, internet bağlantısı olmadan, pili koruyarak cihazın içinde gerçek zamanlı yapay zeka çalışır. Portre modu kamera efektleri, wake word tespiti, yüz tanıma ve gerçek zamanlı çeviri bu sayede mümkün olmaktadır. Microsoft, Copilot+ PC sertifikasyonu için NPU'da en az 40 TOPS performans şartı koymuştur. Bu gelişme, NPU'yu mobil dünyadan PC platformuna taşıyan önemli bir dönüm noktasıdır. Yazılım tarafında Apple Core ML, Qualcomm QNN SDK, Intel OpenVINO ve Windows ML çerçeveleri NPU'dan yararlanmak isteyen geliştiricilere API erişimi sunar. Türk yazılım geliştiricileri için NPU fırsatı şudur: yerel AI modelleri (Local LLM) artık bulut maliyeti olmadan son kullanıcı cihazında çalışabilir; bu da gizlilik hassas uygulamalar ve düşük gecikme gereksinimi olan senaryolar için bulut alternatifleri doğurur.

arrow_forward memory

NPU Mimarisi (NPU Mimarisi)

NPU mimarisi (Nöral İşlem Birimi Mimarisi), yapay zeka ve derin öğrenme iş yüklerini işlemek için CPU veya GPU'dan bağımsız olarak tasarlanmış özel bir donanım bileşenidir. CPU'ların genel amaçlı sıralı hesaplama mimarisinden ve GPU'ların büyük ölçekli paralel grafik işlem özelliğinden farklı olarak NPU'lar, sinir ağlarında en sık kullanılan matris çarpımı, konvolüsyon ve aktivasyon fonksiyonu hesaplamalarını doğrudan donanım düzeyinde gerçekleştirmek için özelleştirilmiştir. Bir NPU'nun temel yapısal bileşenleri şunlardır: çok sayıda sistematik biçimde düzenlenmiş çarpma-toplama (MAC, Multiply-Accumulate) birimi, aktivasyon fonksiyonları için tasarlanmış özel devreler, düşük bant genişliği sorununu gidermek için entegre on-chip bellek tamponları ve modelden modele değişen veri akışlarını destekleyen yeniden yapılandırılabilir veri yolları. Çoğu modern NPU ayrıca INT8, FP16 ya da BF16 gibi düşük hassasiyetli sayı formatlarını destekler; bu sayede güç tüketimini önemli ölçüde azaltırken işlem kapasitesini artırır. Kullanım senaryosu açısından NPU'lar özellikle uç cihazlarda öne çıkmaktadır. Apple'ın M4 çipindeki Neural Engine (38 TOPS), Qualcomm Snapdragon serisi Hexagon NPU'su ve Intel'in Meteor Lake serilerindeki NPU modülleri (40+ TOPS) doğrudan tüketici donanımında çalışan güçlü AI ivedilendiricilerine örnek gösterilebilir. Microsoft'un Copilot+ PC sertifikasyonu da en az 40 TOPS NPU kapasitesini zorunlu kılmaktadır. NPU mimarisi, AI iş yüklerinin giderek artan yoğunluğuna karşı güç-verimlilik (TOPS/Watt) dengesini en üst düzeye çıkarmak amacıyla tasarlanmış, modern SoC tasarımının vazgeçilmez bir bileşenidir. NPU tasarımında öne çıkan bir diğer boyut, yazılım ekosistemidir. Bir NPU ne kadar yüksek TOPS sunsa da üzerinde çalışan yapay zeka çerçevelerinin (TensorFlow Lite, ONNX Runtime, Core ML gibi) o donanımı verimli biçimde kullanabilmesi gerekir. Bu nedenle donanım üreticileri, NPU'larını popüler ML çerçeveleriyle entegre eden sürücü ve derleyici katmanlarına büyük yatırım yapar. Qualcomm'un AI Engine Direct SDK'sı, Apple'ın Core ML'i ve Intel'in OpenVINO araç seti bu ekosistem katmanlarının somut örnekleridir. Dataflow mimarisi açısından ise NPU'lar genellikle sistolic array düzenini benimser: her MAC birimi hesapladığı kısmi sonucu komşu birimine iletir ve bu zincirleme yapı dış bellek erişimini minimuma indirir. Bu tasarım, transformer modellerinin dikkat mekanizmasındaki büyük matris çarpımlarını ve konvolüsyonel ağların filtre uygulamalarını özellikle verimli biçimde işlemesini mümkün kılar. Gelecekte harmanlanmış hassasiyet (mixed precision) ve dinamik bit genişliği desteği, NPU'ların büyük dil modellerini uç cihazlarda çalıştırma kapasitesini daha da genişletecektir.

arrow_forward code_blocks

NVIDIA H100 (NVIDIA H100)

NVIDIA H100, 2022 yılında duyurulan ve Hopper mikromimarisi (GH100 die) üzerine inşa edilen yüksek performanslı veri merkezi GPU'sudur. GPT-4, Llama ve diğer büyük dil modelleri dahil pek çok öncü yapay zeka modelinin eğitiminde kullanılan H100, bu alanda endüstri standardı konumuna gelmiştir. H100'ün en dikkat çekici yeniliği Transformer Engine'dir. Bu bileşen, FP8 ile FP16/BF16 hassasiyeti arasında katman bazında otomatik geçiş yaparak hem hesaplama hızını hem de model doğruluğunu korur. FP8 modunda seyrek (sparse) matris çarpımında 4 petaFLOPS, FP16'da ise 2 petaFLOPS zirve kapasitesine ulaşır. Bellek cephesinde, 80 GB HBM3 ve 3,35 TB/sn bant genişliğiyle büyük model ağırlıklarını verimli şekilde barındırır. NVLink 4.0 ile çip başına 900 GB/sn çift yönlü bant genişliği sağlanır; NVSwitch aracılığıyla 16 H100'ün sorunsuzca birbirine bağlanmasına olanak tanır. Bu ölçeklendirme kabiliyeti, yüzlerce milyar parametreli modellerin eğitimini pratik hale getirir. H100, SXM5 (sunucu kartı, 700 W) ve PCIe (350 W) olmak üzere iki formda sunulur. AWS, Microsoft Azure ve Google Cloud gibi büyük bulut sağlayıcıları H100 tabanlı sanal makine örnekleri sunar; piyasa fiyatı birim başına 25.000–40.000 ABD doları aralığındadır. Ardından gelen H200 modeli 141 GB HBM3e bellekle geliştirilmiş; Blackwell mimarisindeki B100 ve B200 serileri ise performans çıtasını daha da yükseltmiştir. H100'ün programlama modeli, CUDA ekosistemi ve cuDNN, cuBLAS gibi kütüphaneler üzerine kuruludur; PyTorch ve JAX çerçeveleri bu optimizasyonları otomatik kullanır. Güvenli Çok Kiracılı Ortam (MIG — Multi-Instance GPU) özelliği, tek bir H100'ü yedi izole bölüme ayırarak bulut sağlayıcılarının kaynakları daha verimli paylaştırmasına olanak tanır. TensorRT ve Triton Inference Server ile birleştiğinde H100, eğitim kadar çıkarım (inference) iş yükleri için de endüstri referans noktasıdır.

arrow_forward cable

NVLink (GPU Ara Bağlantısı)

NVLink, NVIDIA'nın GPU'lar arasında doğrudan, yüksek bant genişlikli ve düşük gecikmeli veri aktarımı kuran özel ara bağlantı teknolojisidir. Geleneksel PCIe veri yolunda GPU'lar birbirleriyle CPU üzerinden haberleşmek zorundadır; NVLink bu dolambaçlı yolu ortadan kaldırır ve bir GPU'nun diğerinin belleğine doğrudan erişmesine izin verir. Büyük dil modellerinin eğitiminde onlarca, hatta yüz binlerce GPU'nun aynı anda çalıştığı 2026 ortamında bu doğrudan bağlantı, çok-GPU sistemlerinin temel yapı taşı hâline geldi. Teknoloji 2016'da Pascal mimarili P100 GPU ile 160 GB/s toplam bant genişliğiyle tanıtıldı. Volta (V100) ile 300 GB/s'ye, Ampere (A100) ile 600 GB/s'ye, Hopper (H100/H200) ile 900 GB/s'ye çıkan değer, Blackwell (B200/GB200) mimarisindeki NVLink 5.0'da GPU başına 1,8 TB/s'ye ulaştı. Karşılaştırmak gerekirse PCIe 5.0 x16 yaklaşık 128 GB/s taşır; NVLink 5.0 bunun yaklaşık 14 katıdır. NVIDIA'nın yol haritasında 2026 sonunda gelmesi beklenen Vera Rubin platformuyla NVLink 6.0'ın bant genişliği GPU başına 3,6 TB/s'ye çıkacak. İkiden fazla GPU'yu birleştirmek için NVIDIA, NVSwitch anahtar yongasını geliştirdi. NVSwitch, tüm GPU'ları all-to-all (herkesten herkese) topolojide eşit bant genişliğiyle bağlar. Bu mimarinin en çarpıcı örneği GB200 NVL72 rafıdır: 72 Blackwell GPU tek bir NVLink alanında birleşir ve toplam 130 TB/s NVLink bant genişliğiyle tek bir dev GPU gibi programlanır. Mayıs 2025'te duyurulan NVLink Fusion programı, teknolojiyi ilk kez üçüncü taraflara açtı: MediaTek, Marvell, Fujitsu ve Qualcomm gibi firmalar kendi CPU ve özel yongalarını NVIDIA GPU'larına NVLink ile bağlayabiliyor. Buna karşılık AMD, Intel, Google ve Microsoft'un başını çektiği UALink konsorsiyumu, NVLink'e açık standart bir alternatif geliştirmeye çalışıyor. GPT-4 sonrası devasa modellerin eğitiminde gradyan senkronizasyonu ve tensor paralelliği trafiği PCIe kapasitesini kolayca aştığından, NVLink bugün yapay zeka altyapısındaki en kritik rekabet alanlarından biridir.

arrow_forward code_blocks

PCIe (PCI Express)

PCIe (PCI Express / Peripheral Component Interconnect Express), modern bilgisayarlarda GPU, NVMe SSD ve yüksek hızlı ağ kartları gibi bileşenleri ana karta bağlayan seri, nokta-nokta yüksek bant genişliği veri yolu standardıdır. Yapay zeka ve derin öğrenme iş yüklerinde GPU'nun CPU belleğinden eğitim verisini ve model ağırlıklarını ne kadar hızlı aktarabildiğini doğrudan belirleyen kritik bir arayüzdür. Teknik açıdan PCIe, x1, x4, x8 ve x16 olmak üzere dört temel şerit (lane) konfigürasyonunda çalışır. Yapay zeka eğitim ve çıkarım GPU'ları tipik olarak x16 tam bağlantıyla takılır. Her PCIe nesli, tek şerit teorik bant genişliğini yaklaşık iki katına çıkarır. PCIe 3.0 x16, çift yönde ~32 GB/s toplam bant genişliği sunarken PCIe 4.0 ~64 GB/s, PCIe 5.0 ~128 GB/s ve henüz piyasaya yeni giren PCIe 6.0 ~256 GB/s kapasitesine ulaşır. Gizli Kodlama (encoding) yükü bu teorik değerden yaklaşık %20 oranında düşer. Yapay zeka perspektifinden PCIe bant genişliği iki kritik yerde darboğaz oluşturur. Birincisi, CPU RAM'inden GPU VRAM'ine veri transferidir; batch yükleme süreçlerinde GPU'nun veri beklemesi "host-to-device transfer latency" olarak bilinir ve PCIe nesli ile doğrudan ilişkilidir. İkincisi, çok-GPU kurulumlarında GPU'lar arasındaki iletişimdir; NVLink veya CXL gibi doğrudan GPU-GPU köprüleri mevcut değilse, tüm GPU-GPU trafiği PCIe üzerinden CPU'ya ve oradan geri dönmek zorunda kalır. NVIDIA A100 ve H100 veri merkezi GPU'ları PCIe 4.0/5.0 x16 ile, tüketici segmentindeki RTX 4090 PCIe 4.0 x16 ile gelir. AMD Instinct MI300X, PCIe 5.0 x16 desteği sunar. Apple Silicon (M-serisi) çiplerinde CPU-GPU arasında PCIe değil, Unified Memory Architecture (UMA) kullandığından bu darboğaz kavramsal olarak ortadan kalkar. Türkiye'de üniversite araştırma grupları ve AI startup'ları GPU sunucu kurulumlarında PCIe nesil uyumluluğunu, özellikle PCIe 3.0'lı eski anakartlarda PCIe 4.0 GPU kullanımında oluşan bant genişliği kayıplarını göz önünde bulundurmaktadır.

arrow_forward developer_board

Photonic Chip (Fotonik Çip)

Fotonik Çip, geleneksel elektronik devrelerde kullanılan elektron akışı yerine foton (ışık parçacığı) akışını kullanarak hesaplama işlemlerini gerçekleştiren yeni nesil bir işlemci teknolojisidir. Yapay zeka uygulamalarında son derece kritik bir yer edinen bu teknoloji, özellikle derin öğrenme modellerinin matris çarpımı ve evrişim işlemlerinde olağanüstü hız ve enerji verimliliği sunmaktadır. Geleneksel silikon tabanlı çiplerde elektron hareketi ısı üretir ve bu ısı hem enerji kaybına hem de performans sınırlamalarına yol açar. Fotonik çipler ise ışığın optik interferans (girişim) ilkesini kullanarak aynı işlemleri çok daha az ısı ve enerji tüketerek gerçekleştirir. Araştırmalar, fotonik çiplerin geleneksel elektronik çiplere kıyasla 30 kat daha az enerji tüketirken 50 kat daha yüksek performans sergilediğini göstermektedir. Her işlem başına yalnızca 4 femtojoule enerji harcanması, bu teknolojiyi veri merkezi ölçekli yapay zeka sistemleri için son derece cazip kılmaktadır. Bu teknoloji özellikle görüntü sınıflandırma, video analizi ve gerçek zamanlı nesne tanıma gibi bilgisayarlı görme uygulamalarında büyük avantaj sağlar. Pennsylvania Üniversitesi'nden araştırmacılar, fotonik çiplerin saniyede 2 milyar görüntüyü işlediğini göstermiştir; bu, NVIDIA GPU'larının 100 katı bir hıza karşılık gelmektedir. Lightmatter (Envise platformu), Q.ANT (NPU 2 işlemcisi) ve Intel (entegre foton çipleti) bu alandaki öncü şirketler arasında yer almaktadır. Lightmatter, 4,4 milyar dolar değerlemeyle 850 milyon dolar finansman sağlamıştır. Optik işlemci pazarının 2027'deki 50 milyon dolardan 2034'e kadar 3 milyar dolara ulaşması beklenmektedir. Bununla birlikte fotonik çiplerin bazı sınırlamaları da bulunmaktadır: bellek yoğun işlemlerde GPU'ların gerisinde kalabilmekte, üretim maliyetleri hâlâ yüksektir ve programlama araçları olgunlaşma aşamasındadır. Ancak yapay zekanın enerji tüketimi giderek arttıkça fotonik çipler, sürdürülebilir AI altyapısının vazgeçilmez bir parçası hâline gelecektir.

arrow_forward code_blocks

Quantum Machine Learning (Kuantum Makine Öğrenimi)

Quantum Machine Learning (QML — Kuantum Makine Öğrenimi), kuantum hesaplama ilkeleriyle klasik makine öğrenmesi algoritmalarını birleştiren disiplinlerarası bir araştırma alanıdır. QML, kuantum bilgisayarların süperpozisyon, dolanıklık (entanglement) ve girişim (interference) özelliklerinden yararlanarak belirli öğrenme ve optimizasyon görevlerini klasik bilgisayarlara kıyasla daha hızlı ya da daha verimli biçimde gerçekleştirmeyi hedefler. Kuantum bitleri (kübit), süperpozisyon ile aynı anda 0 ve 1 durumlarının doğrusal birleşiminde bulunabilir; bu özellik, belirli hesaplamaların paralel yürütülmesini olanaklı kılar. İki kübit arasındaki kuantum dolanıklığı ise aralarında klasik iletişim gerekmeksizin güçlü korelasyonlar oluşturur. Teorik analizler, doğrusal denklem sistemlerinde üstel hızlanma (HHL algoritması) ve yapılandırılmamış aramada karesel hızlanma (Grover algoritması) öngörmektedir. Temel QML yaklaşımları arasında Kuantum Destek Vektör Makineleri (QSVM), Değişimsel Kuantum Devreler (VQC), Kuantum Sinir Ağları (QNN) ve Kuantum Yaklaşık Optimizasyon Algoritması (QAOA) öne çıkmaktadır. VQC'ler parametrik kuantum kapılarıyla oluşturulmuş ve klasik optimizörlerle eğitilen hibrit devrelerdir; NISQ (Noisy Intermediate-Scale Quantum) çağının en gerçekçi yaklaşımı olarak kabul görmektedir. Değişimsel Kuantum Özdeğer Çözücüsü (VQE) ise kimya simülasyonu ve ilaç keşfinde moleküler enerji hesaplamak için kullanılmaktadır. NISQ çağında mevcut kuantum işlemciler yüzlerce fiziksel kübit içermekte; ancak gürültü ve hata oranları yüksek kalmaktadır. Genel amaçlı makine öğrenmesi görevlerinde kanıtlanmış bir kuantum hızlanması henüz pratik ölçekte gösterilememiştir. PennyLane, Qiskit Machine Learning ve TensorFlow Quantum gibi açık kütüphaneler, klasik ML araçlarıyla entegre hibrit iş akışları geliştirmeyi kolaylaştırmakta ve araştırmacıların gerçek kuantum donanımlarında deney yapmasını erişilebilir kılmaktadır. Bu araç ekosistemi, QML'nin teorik potansiyelini pratik uygulamaya taşımanın önündeki en kritik köprü işlevi görmektedir. Kuantum hesaplama, ilaç molekülü tasarımını, kriptografiyi ve finans portföy optimizasyonunu dönüştürme potansiyeli taşımakta; QML bu potansiyelin makine öğrenmesi boyutunu oluşturmaktadır.

arrow_forward code_blocks

RISC-V (RISC-V)

RISC-V (okunuşu: risk-five), 2010 yılında Kaliforniya Üniversitesi Berkeley'de David Patterson ve Krste Asanović öncülüğünde geliştirilen açık kaynak komut seti mimarisinin (ISA) adıdır. "RISC" kısaltması İngilizce Reduced Instruction Set Computer (Azaltılmış Komut Kümeli Bilgisayar) teriminden gelir; "V" ise mimarinin beşinci nesil olduğuna işaret eder. Geleneksel işlemci mimarilerinden (Intel x86, ARM) farklı olarak RISC-V, telif hakkı veya lisans bedeli gerektirmeyen özgür bir standarttır. Bu durum, büyük ve küçük her ölçekteki şirketin kendi özel donanım çiplerini tasarlamasının önündeki maliyet engellerini ortadan kaldırmaktadır. RISC-V International, mimarinin standartlarını ve gelişimini koordine eden uluslararası yönetim kuruluşudur; üyeler arasında Google, Nvidia, Qualcomm ve onlarca üniversite bulunmaktadır. Yapay zeka uygulamalarında RISC-V'nin önemi hızla artmaktadır. Kenar bilişim (edge AI) cihazlarında, mikrodenetleyicilerden güçlü çıkarım çiplerine kadar geniş bir yelpazede RISC-V çekirdekleri tercih edilmektedir. Alibaba'nın T-Head birimi, RISC-V tabanlı XuanTie serisi çipleriyle yapay zeka iş yüklerini işlerken; Avrupa Birliği'nin Avrupa İşlemci Girişimi (EPI) projesi, teknolojik egemenlik kaygısıyla RISC-V mimarisine stratejik yatırım yapmaktadır. RISC-V ekosisteminin öne çıkan oyuncuları şunlardır: SiFive (özelleştirilmiş RISC-V çekirdekleri), StarFive (tek kart bilgisayarlar), Espressif (ESP32 ve ESP32-C serisi mikrodenetleyiciler), GreenWaves Technologies (GAP9 yapay zeka işlemcisi) ve Kendryte (K210 kenar çıkarım çipi). Her biri, mimarinin özelleştirilebilirliğini farklı uygulama alanlarına taşımaktadır. RISC-V'nin yapay zeka iş yükleri için güçlü yönleri arasında özelleştirilebilir vektör uzantıları (RISC-V Vector Extension, RVV), sıfır lisans maliyeti, düşük güç tüketimi ve şeffaf güvenlik denetimi yer almaktadır. RVV uzantısı, SIMD işlemlerini destekleyerek makine öğrenimi çıkarım görevlerini çok daha verimli hale getirir. Kısıtlamaları ise ARM ve x86 ile kıyaslandığında görece sınırlı yazılım ekosistemi ve araç zincirlerinin olgunlaşma sürecinde olmasıdır. Açık kaynak donanım hareketi yapay zeka çip tasarımını demokratikleştirme potansiyeli taşıdığından, RISC-V önümüzdeki yıllarda kritik bir altyapı bileşeni haline gelecektir.

arrow_forward code_blocks

Sistolik Dizi (Sistolik Dizi)

Sistolik dizi (systolic array), işlem elemanlarının (PE — processing element) düzenli bir ızgara topolojisinde dizilerek verinin komşu elemanlar arasında ritmik (darbeli) bir akışla işlendiği özel amaçlı paralel donanım mimarisidir. 1978'de Carnegie Mellon Üniversitesi'nden H.T. Kung ve Charles Leiserson tarafından önerilen bu mimari, "veri kalbe kan gibi pompalanır" metaforundan adını alır. Sistolik dizinin temel çalışma prensibi şudur: her saat döngüsünde veriler ızgara boyunca bir adım kayar; her işlem elemanı kendisine gelen kısmi sonucu bir önceki eleman verisiyle birleştirerek bir sonraki elemana iletir. Bu yaklaşım, verinin tek bir merkezi belleğe gidip gelmesi yerine işlem elemanları arasında yerel olarak akmasını sağlar; böylece bellek bant genişliği darboğazı dramatik biçimde azaltılır. Ağırlık matrisi çiplere yüklendikten sonra sabit kalır; aktivasyonlar ise dizi üzerinden dalgalar halinde geçer. Bu veri yeniden kullanım stratejisi, derin öğrenmenin baskın hesaplaması olan matris-matris çarpımını son derece enerji verimli kılar. Yapay zeka donanımlarında sistolik dizi mimarisi kritik bir rol üstlenmektedir. Google'ın Tensör İşleme Birimi (TPU), 2016 yılında 256×256 sistolik dizi üzerine inşa edilmiş olarak duyurulmuş ve sinir ağı matris çarpımları için saniyede 92 teraops performans sunmuştur. TPU v4 ve v5 nesilleri bu prensibi daha büyük diziler ve yüksek bant genişlikli HBM bellekle birleştirerek ölçeklemiştir. Groq'un LPU (Language Processing Unit) mimarisi de benzer bir veri akış prensibini benimser; ağırlıkları çipe sabitleyip token akışını deterministik bir hattan geçirerek çıkarımda rekor düşük gecikme elde eder. GPU'larla karşılaştırıldığında sistolik diziler farklı bir hesaplama paradigmasını temsil eder. GPU genel amaçlı paralel hesaplama için binlerce çekirdek içerirken, sistolik dizi belirli bir hesaplama kalıbı (özellikle matris-matris çarpımı) için optimize edilmiş özel bir hattır. Bu nedenle çıkarım (inference) gibi sabit hesaplama kalıbı gerektiren görevlerde daha verimlidir. Yazılım esnekliği daha kısıtlı olsa da watt başına işlem kapasitesi açısından sistolik diziler öne çıkar ve yapay zeka hızlandırıcı tasarımında belirleyici bir mimari seçenek olmaya devam etmektedir.

arrow_forward code_blocks

SoC (System-on-Chip) (Sistem Üzeri Çip)

SoC (System-on-Chip / Sistem Üzeri Çip), merkezi işlem birimi (CPU), grafik işlemcisi (GPU), sinir ağı işlemcisi (NPU), bellek kontrolcüsü, codec birimleri ve giriş/çıkış arabirimlerini tek bir silikon yonga üzerinde entegre eden devre mimarisidir. Geleneksel mimarilerde bu bileşenler ayrı entegre devreler olarak ana kart üzerinde konumlandırılırdı; SoC tasarımı bu parçaları tek pakette birleştirerek bileşenler arası veri taşıma gecikmesini ve enerji tüketimini önemli ölçüde azaltır. Yapay zeka uygulamaları açısından SoC mimarisinin en kritik özelliği Birleşik Bellek Mimarisi'dir (UMA — Unified Memory Architecture). UMA'da CPU, GPU ve NPU ayrı bellek havuzları yerine ortak bir fiziksel bellek alanını paylaşır; bu sayede büyük dil modelleri (LLM) veya görüntü üretim modelleri çalıştırılırken veri kopyalama yükü ortadan kalkar ve bellek bant genişliği son derece verimli kullanılır. Apple'ın M-serisi (M1, M2, M3, M4) bu yaklaşımın en dikkat çekici ticari uygulamasıdır: M4 yongasındaki 16 çekirdekli Neural Engine, 38 TOPS (saniyede trilyon işlem) kapasitesiyle Mac ve iPhone'da on-device AI çıkarımına olanak tanır. Mobil alanda Qualcomm Snapdragon 8 Elite'in Hexagon NPU birimi 45 TOPS performansıyla akıllı telefon AI işlemlerini hızlandırırken, Google'ın kendi geliştirdiği Tensor SoC'u Pixel cihazlarda Gemini Nano modelini doğrudan çalıştıracak biçimde optimize edilmiştir. Endüstriyel ve otonom araç uygulamalarında ise NVIDIA Jetson Orin, 275 TOPS kapasitesiyle robotik ve sürücüsüz araç sistemleri için tercih edilen platformdur. SoC mimarisi ayrık GPU, TPU veya ASIC çözümlerine kıyasla farklı bir ödünleşim sunar: programlanabilirlik ve çoklu iş yükü esnekliği ön plandadır; belirli bir hesaplama türüne kesin olarak optimize edilmiş ASIC'ler kadar verimli olmasa da tek çipta hem ses işleme hem görüntü analizi hem de LLM çıkarımı eş zamanlı yürütülebilir. Bu esneklik, özellikle uç cihazlarda (edge AI) buluta bağlılık olmaksızın gerçek zamanlı yapay zeka işlemlerini mümkün kılar ve veri gizliliği açısından da önemli avantaj sunar. Türkiye'de savunma sanayii ve otomotiv sektörü kapsamında yerli SoC tasarım kapasitesi oluşturma çalışmaları orta vadeli hedefler arasındadır. Microsoft Copilot+ PC programı, piyasaya 40 TOPS NPU gerekliliği getirerek Qualcomm, Intel ve AMD'yi SoC tasarımlarını yenilemeye yöneltti; bu gelişme SoC ekosisteminin tüketici elektroniğindeki merkezi rolünü pekiştirdi.

arrow_forward developer_board

Tensor Core (Tensor Çekirdeği)

Tensor Core, NVIDIA'nın 2017'de Volta mimarisiyle (V100) tanıttığı, matris çarpma-biriktirme (Matrix Multiply-Accumulate, MMA: D = A × B + C) işlemini tek saat döngüsünde gerçekleştiren özel donanım birimidir. Derin öğrenme modellerinin hem eğitimi hem çıkarımı dev matris çarpmalarından oluştuğu için bu birimler, modern yapay zekâ hesaplamasının fiili motoru konumundadır. Klasik CUDA çekirdekleri genel amaçlı skaler ve vektör işlemler için tasarlanmıştır; Tensor Core ise sabit işlevli bir matris motorudur. Bir warp (32 iş parçacığı), `wmma` API'si üzerinden 16×16 matrisleri 4×4 bloklara bölerek işler ve aynı hassasiyetteki FP32 CUDA hesabına kıyasla teorik tepe verimini kata katlar: FP16 modunda yaklaşık 8×, düşük bitli formatlarda çok daha fazlası. En kritik yetenek karma hassasiyettir (mixed precision): çarpma FP16, BF16 veya FP8 gibi kısa formatlarda yapılırken biriktirme FP32'de tutulur. Böylece bellek bant genişliği ihtiyacı yarıya iner, model doğruluğu büyük ölçüde korunur. PyTorch'ta `torch.autocast`, TensorFlow'da `tf.keras.mixed_precision` bu donanımı şeffaf biçimde devreye alır; cuBLAS, cuDNN ve TensorRT kütüphaneleri de arka planda Tensor Core kullanır. Nesil gelişimi hızlıdır: Volta FP16 ile başladı, Turing (2018) INT8/INT4 ekledi, Ampere (A100, 2020) TF32, BF16 ve 2:4 yapısal seyreklik getirdi, Hopper (H100, 2022) FP8 ve Transformer Engine ile LLM eğitiminin standardı oldu. Blackwell (B200/GB200, 2024) 5. nesil Tensor Core'larda FP4 ve FP6 formatlarını, 2. nesil Transformer Engine'i ve mikro ölçekleme (MX) veri tiplerini tanıttı; B200 tek başına FP4'te 9 PFLOPS'u aşan yoğun matris verimi sunar. 2026 itibarıyla GPT, Claude, Gemini ve Llama sınıfı modellerin eğitimi on binlerce Blackwell GPU'luk kümelerde, çıkarımı ise FP8/FP4 nicemlemeyle Tensor Core'lar üzerinde koşar; NVIDIA'nın Rubin mimarisi de 2026 yol haritasında aynı çizgiyi sürdürür.

arrow_forward memory

TinyML (TinyML)

TinyML (Tiny Machine Learning), eğitilmiş makine öğrenmesi modellerini mikrodenetleyiciler, sensörler ve gömülü sistemler gibi milivat düzeyinde güç tüketen cihazlarda çalıştırmayı mümkün kılan yazılım-donanım disiplinidir. Terim, "tiny" (küçük) ve "machine learning" (makine öğrenmesi) kelimelerinin birleşiminden oluşur; hedefi sunucu altyapısı olmadan, düzinelerce kilobayt bellek ve yüz milivat altında güçle gerçek zamanlı çıkarım yapmaktır. Geleneksel yapay zeka modelleri GPU'lu sunucularda çalışırken TinyML modelleri bir pul kadar küçük devre kartlarında — ARM Cortex-M serisi işlemciler, Arduino, ESP32, STM32 veya Nordic nRF52840 — koşar. Bu "uç çıkarım" (edge inference) yaklaşımı üç kritik avantaj sunar: gizlilik (ham veri buluta gitmez), gecikme (internet bağlantısı gerekmez, yanıt milisaniye mertebesindedir) ve enerji verimliliği (pil ömrü yıllara uzayabilir). Model küçültme teknolojisi TinyML'in bel kemiğidir. Kuantizasyon (quantization), ağırlıkları 32-bit kayan noktalı sayıdan 8-bit ya da 4-bit tamsayıya indirerek model boyutunu 4-8× küçültür ve bellek bant genişliği gereksinimini düşürür. Budama (pruning), düşük katkılı nöronları kaldırarak seyrek (sparse) ağlar oluşturur. Bilgi damıtma (knowledge distillation) ise büyük öğretmen modelinin davranışını küçük öğrenci modeline aktarır. Bu yöntemlerin bileşimi çoğu zaman yüz kilobaytın altında, doğruluğu kabul edilebilir modeller üretir. Başlıca framework'ler TensorFlow Lite Micro (TFLM), Edge Impulse ve Arduino'nun TensorFlow kütüphanesidir. TFLM, TensorFlow modellerini FlatBuffer formatına dönüştürerek C++ runtime'ı aracılığıyla doğrudan mikrodenetleyicide çalıştırır. Edge Impulse bulut tabanlı bir eğitim ve dağıtım platformu sunarak sensör verisi toplamayı, model eğitimini ve hedef cihaza aktarımı tek çatı altında birleştirir. Uygulama alanları geniştir: akıllı termostatlar konuşma komutu tanır; endüstriyel sensörler titreşim analizi yaparak arıza öngörüsü üretir; tıbbi giyilebilir cihazlar kalp ritmi anomalisi saptarken baterya şarjını haftalarca korur; tarımsal IoT düğümleri görüntü işleme ile zararlı böcekleri tespit eder. Türkiye'de akıllı tarım, enerji izleme ve sağlık sensörü projelerinde TinyML bileşenleri artan sıklıkla kullanılmaktadır. 2026 itibarıyla RISC-V tabanlı AI hızlandırıcılar ve analog hesaplama bu alanın sınırlarını genişletmektedir. Öte yandan model doğruluğu, veri setinin temsil sorunu ve karmaşık donanım ekosistemi başlıca açık araştırma sorunları olarak kalmaktadır.

arrow_forward dns

TPU (Tensor Processing Unit) (Tensör İşlem Birimi)

TPU (Tensor Processing Unit), Google tarafından büyük ölçekli makine öğrenimi iş yüklerini, özellikle derin sinir ağı eğitimini ve çıkarsama işlemlerini hızlandırmak için tasarlanmış özel amaçlı bir entegre devre (ASIC — Application-Specific Integrated Circuit). 2016 yılında Google'ın dahili kullanım için geliştirdiği bu donanım, 2018'den itibaren Google Cloud üzerinden dış kullanıcılara da sunulmuştur. TPU'lar, matris çarpma işlemlerine (matrix multiplication) özelleşmiş yapılarından dolayı standart CPU ve GPU'dan farklılaşır. Derin öğrenme modellerindeki en hesaplama yoğun operasyon — örneğin transformer'ların dikkat hesaplaması veya konvolüsyonel katmanlar — matris çarpımı içerir. TPU'nun Systolic Array mimarisi bu operasyonu paralel ve yüksek bant genişliğiyle gerçekleştirir. Systolic Array'de matris elemanları bir dizi hesaplama birimine dalga biçiminde akar; bu yaklaşım bellekten okuma sayısını minimize ederek bellek bant genişliğini verimli kullanır. TPU sürümleri tarihsel gelişimi yansıtır: TPU v1 (2016) yalnızca çıkarsama yaparken; TPU v2 ve v3 hem eğitim hem çıkarsamayı destekler. TPU v4 ile birlikte büyük dil modellerinin (LLM) eğitimi için optimize özellikler eklendi. 2024'te duyurulan TPU v6 Trillium ise enerji verimliliği ve çip başına hesaplama yoğunluğunu daha da artırdı. Google'ın PaLM, Gemini ve AlphaFold modelleri TPU kümelerinde (pod) eğitilmiştir. Google Cloud TPU Pod'ları, binlerce TPU çekirdeğini yüksek bant genişlikli ağla birleştirir. TPU v4 Pod 4.096 çip ve 600 Gbps ağ bağlantısı içerir. Bu mimari, model paralelliği ve veri paralelliğini eş zamanlı uygulamaya olanak tanır: model çok büyükse katmanlar çiplere bölünür, veri büyükse her çip farklı mini-batch işler. Gemini Ultra bu ölçekte bir altyapıda eğitilmiştir. Yazılım açısından JAX, TensorFlow ve PyTorch XLA ile TPU'lar programlanabilir. JAX, Python kodunu XLA (Accelerated Linear Algebra) derleyicisiyle TPU üzerinde çalıştırır; jax.jit() ile fonksiyon derlenir, pmap() ile çok cihazlı paralel yürütme yapılır. Kullanıcılar Google Colab veya Cloud TPU aracılığıyla TPU'ya erişebilir. Google Research TPU programı ise araştırmacılara ücretsiz erişim imkânı tanır.

arrow_forward developer_board

TPU Mimarisi (TPU Mimarisi)

TPU Mimarisi (Tensor Processing Unit Architecture), Google tarafından matris çarpımı ve lineer cebir işlemlerini maksimum verimlilikle gerçekleştirmek için özel olarak tasarlanan donanım işlemci mimarisini ifade eder. GPU ve CPU'nun aksine genel amaçlı hesaplama için değil, özellikle derin öğrenme modellerinin eğitimi ve çıkarımı (inference) için optimize edilmiş olan TPU, ilk olarak 2016 yılında Google veri merkezlerinde kullanılmaya başlanmıştır. TPU mimarisinin temel yapı taşı sistolik dizi (systolic array) adı verilen ve binlerce çarpma-toplama (multiply-accumulate) biriminin birbirine doğrudan bağlı olduğu matris yapısıdır. Bu mimaride veri bir kez bellekten yüklenir ve dizi boyunca akarak defalarca yeniden kullanılır; böylece bellek bant genişliği talebi dramatik biçimde düşürülür. TPU v1, 700 MHz saat hızında 65.536 çarpma-toplama işlemini eş zamanlı gerçekleştirebilir ve saniyede 92 trilyon 8-bit işlem kapasitesine sahipken yalnızca 40 watt güç tüketir. Her TPU TensorCore birimi; matris çarpımı birimi (MXU), vektör birimi ve skaler birimden oluşur. TPU v4 ve v5'te MXU boyutu 256×256'ya çıkarılmış, HBM (High Bandwidth Memory) kullanımıyla bant genişliği daha da artırılmıştır. TPU v4 Pod, 4.096 çipi ICI (Inter-Chip Interconnect) ağıyla birleştirerek eksa-FLOPS ölçeğinde hesaplama kapasitesi sunar; Gemini ve PaLM gibi büyük dil modellerinin eğitimi bu altyapıda gerçekleştirilmiştir. GPU'yla karşılaştırıldığında TPU'nun belirgin avantajları ve kısıtlamaları vardır. Avantajlar: watt başına daha yüksek matris çarpımı throughput'u, bellek yeniden kullanımı verimliliği, Pod topolojisinde doğrusal ölçeklenme. Kısıtlamalar: genel amaçlı programlama esnekliğinin düşük olması, XLA (Accelerated Linear Algebra) derleyicisiyle sıkı entegrasyon gerekliliği ve bazı dinamik iş yüklerinde GPU'nun gerisinde kalması. Google Cloud üzerinden TPU VM ve TPU Pod yapılandırmaları olarak erişilebilen bu işlemciler, JAX, TensorFlow ve torch_xla aracılığıyla PyTorch ile çalışır. Yapay zeka donanımı ekosistemine göre yeni nesil TPU 8t (eğitim) ve TPU 8i (çıkarım) varyantları, farklı hesaplama gereksinimlerine özgü optimizasyon fırsatı sunar. TPU mimarisi, NVIDIA GPU'larına rakip en güçlü yapay zeka hızlandırıcı platformu konumunu korumaktadır.

arrow_forward code_blocks

Wafer (Silikon Vaferi)

Silikon vafer (wafer), yarı iletken çip üretiminin temelini oluşturan, yüksek saflıkta silikon kristalinden kesilmiş ince ve yuvarlak disk biçimindeki levhadır. GPU, TPU, NPU ve ASIC gibi yapay zeka ivedileyicilerinin tamamı bu diskler üzerine foto-litografi, oyma, kaplama ve diğer kimyasal işlemler uygulanarak üretilir. Tek bir wafer üzerinde aynı anda yüzlerden binlerce özdeş çip (die) üretilebilir; bu da büyük ölçekli seri üretimi ve düşük birim maliyeti mümkün kılar. Endüstri standardı wafer çapı günümüzde 300 mm (12 inç) düzeyindedir. NVIDIA H100 ve H200, Google TPU v5 ile Apple M4 gibi günümüz AI çiplerinin tamamı bu boyuttaki wafer'lar üzerinde TSMC, Samsung veya Intel Foundry gibi fabrikasyon tesislerinde üretilmektedir. Wafer verimi (yield), üretim kalitesinin ve doğrudan çip maliyetinin birincil göstergesidir: hatasız üretilen die sayısı arttıkça birim maliyet düşer. Wafer üretim süreci Czochralski kristal büyütme yöntemiyle başlar. Yüksek saflıkta eritilen silikon, dönen bir tohum kristalinin etrafında yavaşça çekilerek silindirik bir ingot oluşturulur. Bu ingot elmas telli makinelerle 0,7-1 mm kalınlıkta dilimlenip kimyasal-mekanik planarizasyon (CMP) ile atomik düzeyde pürüzsüzleştirilir. Litografi aşamasında EUV (Extreme Ultraviolet) ışığı kullanılarak transistörler ve bağlantı yolları wafer yüzeyine aktarılır; 3 nm ve altı geometrilerde bu adım ASML'nin ürettiği 150 milyon dolar değerindeki özel EUV makinelerini zorunlu kılar. Fabless iş modeli, NVIDIA, AMD ve Apple gibi tasarım şirketleri ile TSMC, Samsung gibi üretici foundry'ler arasındaki iş bölümünü tanımlar. Bu yapı, tasarım ekiplerine çip mimarisine odaklanma imkânı verirken pahalı fabrikasyon yatırımlarını foundry'lere bırakır. 2020-2022 küresel çip krizinde ortaya çıkan wafer kapasitesi darboğazı, yapay zeka çip arzını ciddi biçimde etkileyerek tedarik zinciri güvenliğini jeopolitik gündemin merkezine taşımıştır.

arrow_forward