tag AIDonanım
Groq (LPU) (Dil İşleme Birimi)
Bu sayfada AIDonanım (Groq (LPU) (Dil İşleme Birimi)) etiketi ile işaretlenmiş 8 yapay zeka kavramını bulabilirsiniz.
Groq, 2016 yılında Google TPU tasarımcısı Jonathan Ross tarafından kurulan ve büyük dil modellerinin (LLM) çıkarım (inference) hızını köklü biçimde artıran bir yapay zeka donanım şirketidir. Şirket, NVIDIA GPU'larından farklı bir tasarım felsefesiyle geliştirdiği LPU (Language Processing Unit — Dil İşleme Birimi) adını verdiği özel çiple tanınmaktadır. GPU'lar, matris çarpımlarındaki paralel işlem kapasiteleri nedeniyle model eğitiminde son derece etkilidirler; ancak otoregressif metin üretiminde belirgin bir darboğazla karşılaşırlar. Her yeni token üretilirken model ağırlıklarının tamamı yüksek bant genişlikli bellekten (HBM) okunmak zorundadır ve bu tekrarlayan döngü GPU mimarisini verimsiz kılar. Groq'un LPU mimarisi bu sorunu kökten ele alır: sabit bir hesaplama grafiği üzerinde çalışan tek çekirdekli deterministik akış tasarımıyla bellek bant genişliği darboğazını ortadan kaldırır. Bu mimari tercihin pratik sonuçları somuttur. LPU, Llama 3 70B gibi büyük açık kaynaklı modelleri saniyede 800'ün üzerinde token hızıyla çalıştırabilir; bu değer NVIDIA H100 kümesine kıyasla 5-10 kat daha yüksektir. Düşük gecikme ve yüksek verim, gerçek zamanlı ses çevirisi, konuşma asistanları ve yüksek trafikli sohbet uygulamaları gibi gecikme kritik senaryolarda belirgin avantaj oluşturmaktadır. Groq, donanımını GroqCloud adlı bulut API'si üzerinden geliştirici erişimine açmaktadır. Bu API, OpenAI istemcisiyle tam uyumlu olduğundan mevcut kodlarda yalnızca model adını değiştirmek yeterlidir. Desteklenen modeller arasında Llama 3 ailesi, Mixtral, Gemma ve Whisper yer almaktadır. Whisper entegrasyonu, düşük gecikmeli ses-metin dönüştürme iş akışlarında özellikle dikkat çekicidir. Rekabet ortamında Groq; AWS Inferentia, Cerebras CS-3 ve NVIDIA'nın Blackwell serisi sistemleriyle yarışmaktadır. Şirketin mevcut odak noktası tamamen çıkarım iş yüklerine yöneliktir; model eğitimi hizmetleri şu an kapsam dışındadır. GroqCloud'un ücretsiz katmanı, prototip geliştiricilerin dakika başına token kotasıyla sistemi denemesine olanak tanımaktadır; ücretli katmanlarda maliyet 1 milyon token başına 0.05-0.27 dolar arasında değişmektedir.
Groq (LPU) (Dil İşleme Birimi)
Groq, 2016 yılında Google TPU tasarımcısı Jonathan Ross tarafından kurulan ve büyük dil modellerinin (LLM) çıkarım (inference) hızını köklü biçimde artıran bir yapay zeka donanım şirketidir. Şirket, NVIDIA GPU'larından farklı bir tasarım felsefesiyle geliştirdiği LPU (Language Processing Unit — Dil İşleme Birimi) adını verdiği özel çiple tanınmaktadır. GPU'lar, matris çarpımlarındaki paralel işlem kapasiteleri nedeniyle model eğitiminde son derece etkilidirler; ancak otoregressif metin üretiminde belirgin bir darboğazla karşılaşırlar. Her yeni token üretilirken model ağırlıklarının tamamı yüksek bant genişlikli bellekten (HBM) okunmak zorundadır ve bu tekrarlayan döngü GPU mimarisini verimsiz kılar. Groq'un LPU mimarisi bu sorunu kökten ele alır: sabit bir hesaplama grafiği üzerinde çalışan tek çekirdekli deterministik akış tasarımıyla bellek bant genişliği darboğazını ortadan kaldırır. Bu mimari tercihin pratik sonuçları somuttur. LPU, Llama 3 70B gibi büyük açık kaynaklı modelleri saniyede 800'ün üzerinde token hızıyla çalıştırabilir; bu değer NVIDIA H100 kümesine kıyasla 5-10 kat daha yüksektir. Düşük gecikme ve yüksek verim, gerçek zamanlı ses çevirisi, konuşma asistanları ve yüksek trafikli sohbet uygulamaları gibi gecikme kritik senaryolarda belirgin avantaj oluşturmaktadır. Groq, donanımını GroqCloud adlı bulut API'si üzerinden geliştirici erişimine açmaktadır. Bu API, OpenAI istemcisiyle tam uyumlu olduğundan mevcut kodlarda yalnızca model adını değiştirmek yeterlidir. Desteklenen modeller arasında Llama 3 ailesi, Mixtral, Gemma ve Whisper yer almaktadır. Whisper entegrasyonu, düşük gecikmeli ses-metin dönüştürme iş akışlarında özellikle dikkat çekicidir. Rekabet ortamında Groq; AWS Inferentia, Cerebras CS-3 ve NVIDIA'nın Blackwell serisi sistemleriyle yarışmaktadır. Şirketin mevcut odak noktası tamamen çıkarım iş yüklerine yöneliktir; model eğitimi hizmetleri şu an kapsam dışındadır. GroqCloud'un ücretsiz katmanı, prototip geliştiricilerin dakika başına token kotasıyla sistemi denemesine olanak tanımaktadır; ücretli katmanlarda maliyet 1 milyon token başına 0.05-0.27 dolar arasında değişmektedir.
HBM (Yüksek Bant Genişlikli Bellek) Nedir? (HBM (Yüksek Bant Genişlikli Bellek))
HBM (High Bandwidth Memory — Yüksek Bant Genişlikli Bellek), birden fazla DRAM yongasını dikey olarak üst üste yığan (3D stacking) ve bunları Through-Silicon Via (TSV) bağlantılarıyla birleştiren özel bir bellek mimarisidir. GDDR6 gibi geleneksel grafik belleklerinin bant genişliği sınırlarını aşmak amacıyla geliştirilmiş olan HBM, büyük dil modeli eğitimi ve çıkarımı gibi veri yoğun AI iş yüklerinde kritik bir rol oynamaktadır. HBM'nin temel yeniliği, birden fazla DRAM yongasını bir silikon ara katman (silicon interposer) üzerinde yan yana konumlandırmak ve her yığını TSV adı verilen dikey bakır bağlantılarla birbirine bağlamaktır. Bu yapı 1024 bit veya daha geniş bellek arayüzü oluşturarak GDDR6'nın 384 bitlik sınırını çok aşar. Yüksek arayüz genişliği düşük saat hızıyla birleşince hem yüksek bant genişliği hem de düşük güç tüketimi elde edilir; GDDR6'ya kıyasla yaklaşık yüzde 65 daha az enerji harcanır. HBM mimarisi 2013'ten bu yana hızla gelişmiştir. İlk nesil HBM 128 GB/s bant genişliği sunarken 2016'da gelen HBM2 bunu 256 GB/s'ye çıkardı. NVIDIA A100'de kullanılan HBM2E 410 GB/s ile transformer modellerinin ilk yaygınlaşma döneminin referans donanımı oldu. NVIDIA H100'de kullanılan HBM3 ise 3,35 TB/s bant genişliğiyle büyük dil modellerinin bellek darboğazını büyük ölçüde çözdü. HBM3E, H200 ve GB200 GPU'larında 4,8 TB/s bant genişliğiyle uzun bağlam pencereli modellerin çıkarımını kolaylaştırmaktadır. JEDEC'in Nisan 2025'te yayımladığı HBM4 spesifikasyonu 2048 bitlik arayüz ve yığın başına 2 TB/s bant genişliği vaat etmektedir. HBM arzı, AI donanım ekosistemi için stratejik bir kırılganlık noktası oluşturmaktadır. Pazar yalnızca üç tedarikçinin kontrolündedir: SK Hynix yüzde 62, Micron yüzde 21 ve Samsung yüzde 17 paya sahiptir. CoWoS ve diğer gelişmiş paketleme teknolojileri, HBM yığınlarını GPU dieleriyle yakın fiziksel konumda bir araya getirerek gecikmeyi azaltmaktadır. Tedarik kıtlığı, H100 üretim hızının temel sınırlayıcısı olmuş ve piyasa fiyatlarını önemli ölçüde etkilemiştir.
High Bandwidth Memory 3 (Yüksek Bant Genişlikli Bellek 3. Nesil)
HBM3 (High Bandwidth Memory 3), yüksek performanslı yapay zeka hızlandırıcıları ve grafik işlemcileri için tasarlanmış üçüncü nesil yüksek bant genişlikli bellek standardıdır. SK Hynix tarafından 2022 yılında ticarileştirilen HBM3, JEDEC tarafından standardize edilmiş olup önceki nesil HBM2e'ye kıyasla bant genişliğini yaklaşık iki katına çıkarmıştır. HBM3, yığılmış bellek dieları ile Through-Silicon Via (TSV) teknolojisini birleştirerek çok yüksek veri aktarım hızlarına ulaşır. Her bellek yığını saniyede 819 GB'a varan bant genişliği sunarken yığın başına 24 GB'a kadar kapasite sağlar. Bu özellikler, büyük dil modellerinin eğitimi ve çıkarımı gibi bellek yoğun yapay zeka iş yükleri için HBM3'ü kritik bir bileşen hâline getirir. Geleneksel GDDR bellekle kıyaslandığında HBM3, aynı güç bütçesiyle 5-10 kat daha yüksek bant genişliği ve belirgin ölçüde daha düşük gecikme süresi sunar. TSV teknolojisi sayesinde bellek yığınları işlemcinin yanına doğrudan yerleştirilir; bu da veri yolu uzunluğunu minimuma indirerek enerji verimliliğini artırır. NVIDIA H100 GPU'su, HBM3 bellekle donatılmış ilk yaygın yapay zeka hızlandırıcısıdır ve 80 GB bellek kapasitesi ile 3,35 TB/s toplam sistem bant genişliği sunar. AMD MI300X hızlandırıcısı ise birden fazla HBM3 yığınını bir araya getirerek 192 GB'a varan bellek kapasitesiyle öne çıkmaktadır. Google'ın TPU v5 serisi de HBM3 tabanlı bellek mimarisini benimsemiştir. HBM3e (HBM3 Enhanced), 2024 yılında NVIDIA H200 GPU'su ile piyasaya sürülen geliştirilmiş versiyondur. Bant genişliğini yığın başına 1,2 TB/s düzeyine yükseltirken 141 GB kapasiteyle büyük ölçekli model çıkarımını güçlendirmiştir. Yapay zeka hızlandırıcısı talebinin hızla büyümesiyle birlikte HBM üretim kapasitesi küresel tedarik zincirinde kritik bir darboğaz hâline gelmiş; SK Hynix, Samsung ve Micron bu alanda yatırımlarını hızlandırmıştır. Bir sonraki nesil HBM4'ün 2025-2026 döneminde piyasaya girmesi beklenmektedir.
Inference Accelerator (Çıkarım Hızlandırıcısı)
Inference Accelerator (Çıkarım Hızlandırıcısı), önceden eğitilmiş yapay zeka ve derin öğrenme modellerini üretim ortamında düşük gecikme, yüksek verim ve enerji verimliliğiyle çalıştırmak üzere tasarlanmış özel amaçlı donanım birimidir. Genel amaçlı GPU'lar model eğitimi için optimize edilirken, çıkarım hızlandırıcılar tek bir amaca odaklanır: eğitilmiş modelden mümkün olan en hızlı ve en az güç tüketen biçimde tahmin üretmek. Bu uzmanlaşmanın temelinde hassasiyet farkı yatar. Eğitim aşaması, gradyan stabilitesi için FP32 veya BF16 tam hassasiyete ihtiyaç duyar; ancak çıkarım aşamasında INT8, FP8 veya INT4 gibi düşük hassasiyetli veri tipleri modelin doğruluğunu kayda değer biçimde düşürmeden 4-8 kat daha küçük bellek alanı ve 2-4 kat daha hızlı hesaplama sağlar. Çıkarım hızlandırıcılar bu avantajı donanım düzeyinde kökten sömürür. Başlıca donanım kategorileri üç gruba ayrılır. ASIC tabanlı bulut hızlandırıcılar, transformatör mimarileri ve büyük dil modelleri için tasarlanmış özel silikon çiplerdir; Google TPU v5e, AWS Inferentia 2, Qualcomm Cloud AI 100 ve Microsoft Azure Maia 100 bu kategorinin öncü örnekleridir. GPU tabanlı çıkarım sistemleri kategorisinde NVIDIA L4, yalnızca 72 watt tüketimiyle maliyet etkin sunucu çıkarımı için optimize edilmiştir. Uç ve mobil NPU'lar ise Apple Neural Engine (M4 yonga setinde), Qualcomm Hexagon 698 ve NVIDIA Jetson Orin aracılığıyla akıllı telefon, gömülü sistem ve otonom araç uygulamalarında modelleri yerel olarak çalıştırır. Yazılım ekosistemi performansı donanım kadar belirler: NVIDIA TensorRT model grafiklerini otomatik optimize eder, Intel OpenVINO Intel işlemcilere yönelik benzer işlevi görür, ONNX Runtime farklı donanımlar arasında taşınabilirlik sağlar. Temel performans metrikleri arasında TOPS (Tera Operations Per Second), token/saniye, gecikme süresi ve TOPS/Watt enerji verimliliği yer alır. Türkiye'deki yapay zeka şirketleri ve bulut servis kullanıcıları üretim dağıtımlarında genellikle AWS inf2 örneklerini veya NVIDIA T4/L4 GPU'larını tercih etmektedir.
InfiniBand (Yüksek Hızlı AI Ağ Protokolü)
InfiniBand, 1999 yılında geliştirilen ve yüksek performanslı bilişim (HPC) ile büyük ölçekli yapay zeka altyapılarında GPU'lar, sunucular ve depolama sistemleri arasında yüksek bant genişliği ve son derece düşük gecikme süresi sağlayan bir ağ iletişim standardı ve protokolüdür. Protokol; SDR (2 Gb/s) ile başlayan nesil silsilesini HDR (200 Gb/s), NDR (400 Gb/s) ve son olarak XDR (800 Gb/s) ile sürdürmektedir. InfiniBand'ın temel ayırt edici özelliği RDMA (Remote Direct Memory Access — Uzaktan Doğrudan Bellek Erişimi) desteğidir. RDMA, bir sunucunun başka bir sunucunun belleğine CPU ve işletim sistemi yığını atlanarak doğrudan erişmesine olanak tanır. Kernel bypass olarak da bilinen bu mimari iki kritik kazanım sunar: gecikme süresini bir mikrosaniyenin altına çekmek ve CPU'nun ağ işleme yükünü minimuma indirmek. Yüksek frekanslı veri transferi gerektiren derin öğrenme iş yüklerinde bu özellik belirleyici bir avantaj ortaya koyar. Büyük dil modellerinin (LLM) eğitiminde yüzlerce ya da binlerce GPU'nun koordineli çalışması gerekir. Bu ölçekte AllReduce, AllGather ve ReduceScatter gibi kollektif iletişim işlemleri — NVIDIA'nın NCCL kütüphanesiyle yönetilen — sürekli ve yüksek hacimli gradient senkronizasyonu gerektirir. Ağ gecikmesi ve bant genişliği, GPU Model Flops Utilization (MFU) oranını doğrudan etkiler. NVIDIA DGX SuperPOD, Meta'nın AI Research SuperCluster (RSC) ve OpenAI'nın büyük eğitim kümelerinin temel ağ omurgasını InfiniBand oluşturmaktadır. 2020 yılında NVIDIA'nın Mellanox'u 6,9 milyar dolara satın almasıyla InfiniBand, NVIDIA ekosisteminin ayrılmaz bir parçası hâline geldi. GPUDirect RDMA teknolojisi, GPU belleklerinden sistem belleği ve CPU atlanarak doğrudan diğer GPU'lara veri aktarılmasına olanak tanır. Düğüm içi iletişim NVLink üzerinden (H100'de 900 GB/s) yapılırken düğümler arası iletişim NDR InfiniBand (~50 GB/s) ile sağlanmaktadır; bu bant genişliği farkı paralel eğitim stratejilerinin planlanmasında göz önünde bulundurulması gereken temel bir kısıttır. Ethernet tabanlı alternatifler — standart 400GbE veya RoCE (RDMA over Converged Ethernet) — mevcut altyapı yatırımını koruyarak daha düşük maliyet sunar; ancak büyük ölçekli AI kümelerinde InfiniBand'ın deterministik gecikme garantisi ve güvenilirlik üstünlüğü birinci tercih konumunu sürdürmektedir. Bulut tarafında AWS Elastic Fabric Adapter (EFA), Google Cloud'un Jupiter ağı ve Azure'un ND serisi InfiniBand veya InfiniBand benzeri altyapı üzerine kuruludur.
NVIDIA H100 (NVIDIA H100)
NVIDIA H100, 2022 yılında duyurulan ve Hopper mikromimarisi (GH100 die) üzerine inşa edilen yüksek performanslı veri merkezi GPU'sudur. GPT-4, Llama ve diğer büyük dil modelleri dahil pek çok öncü yapay zeka modelinin eğitiminde kullanılan H100, bu alanda endüstri standardı konumuna gelmiştir. H100'ün en dikkat çekici yeniliği Transformer Engine'dir. Bu bileşen, FP8 ile FP16/BF16 hassasiyeti arasında katman bazında otomatik geçiş yaparak hem hesaplama hızını hem de model doğruluğunu korur. FP8 modunda seyrek (sparse) matris çarpımında 4 petaFLOPS, FP16'da ise 2 petaFLOPS zirve kapasitesine ulaşır. Bellek cephesinde, 80 GB HBM3 ve 3,35 TB/sn bant genişliğiyle büyük model ağırlıklarını verimli şekilde barındırır. NVLink 4.0 ile çip başına 900 GB/sn çift yönlü bant genişliği sağlanır; NVSwitch aracılığıyla 16 H100'ün sorunsuzca birbirine bağlanmasına olanak tanır. Bu ölçeklendirme kabiliyeti, yüzlerce milyar parametreli modellerin eğitimini pratik hale getirir. H100, SXM5 (sunucu kartı, 700 W) ve PCIe (350 W) olmak üzere iki formda sunulur. AWS, Microsoft Azure ve Google Cloud gibi büyük bulut sağlayıcıları H100 tabanlı sanal makine örnekleri sunar; piyasa fiyatı birim başına 25.000–40.000 ABD doları aralığındadır. Ardından gelen H200 modeli 141 GB HBM3e bellekle geliştirilmiş; Blackwell mimarisindeki B100 ve B200 serileri ise performans çıtasını daha da yükseltmiştir. H100'ün programlama modeli, CUDA ekosistemi ve cuDNN, cuBLAS gibi kütüphaneler üzerine kuruludur; PyTorch ve JAX çerçeveleri bu optimizasyonları otomatik kullanır. Güvenli Çok Kiracılı Ortam (MIG — Multi-Instance GPU) özelliği, tek bir H100'ü yedi izole bölüme ayırarak bulut sağlayıcılarının kaynakları daha verimli paylaştırmasına olanak tanır. TensorRT ve Triton Inference Server ile birleştiğinde H100, eğitim kadar çıkarım (inference) iş yükleri için de endüstri referans noktasıdır.
Wafer Nedir? Yapay Zeka Çiplerinin Hammaddesi (Silikon Vaferi)
Silikon vafer (wafer), yarı iletken çip üretiminin temelini oluşturan, yüksek saflıkta silikon kristalinden kesilmiş ince ve yuvarlak disk biçimindeki levhadır. GPU, TPU, NPU ve ASIC gibi yapay zeka ivedileyicilerinin tamamı bu diskler üzerine foto-litografi, oyma, kaplama ve diğer kimyasal işlemler uygulanarak üretilir. Tek bir wafer üzerinde aynı anda yüzlerden binlerce özdeş çip (die) üretilebilir; bu da büyük ölçekli seri üretimi ve düşük birim maliyeti mümkün kılar. Endüstri standardı wafer çapı günümüzde 300 mm (12 inç) düzeyindedir. NVIDIA H100 ve H200, Google TPU v5 ile Apple M4 gibi günümüz AI çiplerinin tamamı bu boyuttaki wafer'lar üzerinde TSMC, Samsung veya Intel Foundry gibi fabrikasyon tesislerinde üretilmektedir. Wafer verimi (yield), üretim kalitesinin ve doğrudan çip maliyetinin birincil göstergesidir: hatasız üretilen die sayısı arttıkça birim maliyet düşer. Wafer üretim süreci Czochralski kristal büyütme yöntemiyle başlar. Yüksek saflıkta eritilen silikon, dönen bir tohum kristalinin etrafında yavaşça çekilerek silindirik bir ingot oluşturulur. Bu ingot elmas telli makinelerle 0,7-1 mm kalınlıkta dilimlenip kimyasal-mekanik planarizasyon (CMP) ile atomik düzeyde pürüzsüzleştirilir. Litografi aşamasında EUV (Extreme Ultraviolet) ışığı kullanılarak transistörler ve bağlantı yolları wafer yüzeyine aktarılır; 3 nm ve altı geometrilerde bu adım ASML'nin ürettiği 150 milyon dolar değerindeki özel EUV makinelerini zorunlu kılar. Fabless iş modeli, NVIDIA, AMD ve Apple gibi tasarım şirketleri ile TSMC, Samsung gibi üretici foundry'ler arasındaki iş bölümünü tanımlar. Bu yapı, tasarım ekiplerine çip mimarisine odaklanma imkânı verirken pahalı fabrikasyon yatırımlarını foundry'lere bırakır. 2020-2022 küresel çip krizinde ortaya çıkan wafer kapasitesi darboğazı, yapay zeka çip arzını ciddi biçimde etkileyerek tedarik zinciri güvenliğini jeopolitik gündemin merkezine taşımıştır.
Photonic Chip (Fotonik Çip)
Fotonik Çip, geleneksel elektronik devrelerde kullanılan elektron akışı yerine foton (ışık parçacığı) akışını kullanarak hesaplama işlemlerini gerçekleştiren yeni nesil bir işlemci teknolojisidir. Yapay zeka uygulamalarında son derece kritik bir yer edinen bu teknoloji, özellikle derin öğrenme modellerinin matris çarpımı ve evrişim işlemlerinde olağanüstü hız ve enerji verimliliği sunmaktadır. Geleneksel silikon tabanlı çiplerde elektron hareketi ısı üretir ve bu ısı hem enerji kaybına hem de performans sınırlamalarına yol açar. Fotonik çipler ise ışığın optik interferans (girişim) ilkesini kullanarak aynı işlemleri çok daha az ısı ve enerji tüketerek gerçekleştirir. Araştırmalar, fotonik çiplerin geleneksel elektronik çiplere kıyasla 30 kat daha az enerji tüketirken 50 kat daha yüksek performans sergilediğini göstermektedir. Her işlem başına yalnızca 4 femtojoule enerji harcanması, bu teknolojiyi veri merkezi ölçekli yapay zeka sistemleri için son derece cazip kılmaktadır. Bu teknoloji özellikle görüntü sınıflandırma, video analizi ve gerçek zamanlı nesne tanıma gibi bilgisayarlı görme uygulamalarında büyük avantaj sağlar. Pennsylvania Üniversitesi'nden araştırmacılar, fotonik çiplerin saniyede 2 milyar görüntüyü işlediğini göstermiştir; bu, NVIDIA GPU'larının 100 katı bir hıza karşılık gelmektedir. Lightmatter (Envise platformu), Q.ANT (NPU 2 işlemcisi) ve Intel (entegre foton çipleti) bu alandaki öncü şirketler arasında yer almaktadır. Lightmatter, 4,4 milyar dolar değerlemeyle 850 milyon dolar finansman sağlamıştır. Optik işlemci pazarının 2027'deki 50 milyon dolardan 2034'e kadar 3 milyar dolara ulaşması beklenmektedir. Bununla birlikte fotonik çiplerin bazı sınırlamaları da bulunmaktadır: bellek yoğun işlemlerde GPU'ların gerisinde kalabilmekte, üretim maliyetleri hâlâ yüksektir ve programlama araçları olgunlaşma aşamasındadır. Ancak yapay zekanın enerji tüketimi giderek arttıkça fotonik çipler, sürdürülebilir AI altyapısının vazgeçilmez bir parçası hâline gelecektir.