tag Inference
Bu sayfada Inference etiketi ile işaretlenmiş 14 yapay zeka kavramını bulabilirsiniz.
Çıkarım (Inference), eğitilmiş bir yapay zeka modelinin yeni girdilere yanıt üretmek için kullanıldığı süreçtir. Eğitim aşamasının aksine çıkarım sırasında model ağırlıkları güncellenmez; model yalnızca ileri besleme (forward pass) yapar. Büyük dil modellerinde çıkarım iki belirgin aşamaya ayrılır. Prefill aşamasında tüm girdi tokenleri paralel olarak transformer katmanlarından geçirilir ve KV önbelleği (KV cache) doldurulur; bu aşama GPU'nun hesaplama kapasitesini yoğun kullanır. Decode aşamasında ise model her adımda yalnızca bir token üretir ve KV önbelleğini günceller; bu aşama bellek bant genişliğiyle sınırlıdır (memory-bound). Çıkarım performansı üç temel metrikle ölçülür: ilk token süresi (TTFT — time to first token), token başına gecikme (TPOT — time per output token) ve verim (throughput — saniyede toplam üretilen token). Etkileşimli uygulamalar düşük TTFT'yi, toplu işlem sistemleri ise yüksek verimi önceliklendirir. Çıkarım iki temel ortamda gerçekleştirilebilir. Bulut çıkarımında modeller veri merkezlerindeki sunucu GPU kümelerinde çalışır; ölçeklenebilirlik, büyük model desteği ve yönetilen altyapı avantajı sunar ancak veri dışarıya çıkar. Uç çıkarımda (edge inference) model kullanıcının cihazında çalışır; gecikme azalır, veri gizliliği artar ve çevrimdışı kullanım mümkün olur. Apple Silicon, Qualcomm Snapdragon ve NVIDIA Jetson gibi platformlardaki nöral işlemci birimleri (NPU) bu amaçla optimize edilmiştir; nicellenmiş küçük modeller (1B–7B, INT4) akıllı telefon ve dizüstü bilgisayarlarda gerçek zamanlı çalışabilmektedir. Gizlilik gerektiren uygulamalar (sağlık, finans) uç çıkarımı tercih eder. Üretim sistemleri için çıkarım optimizasyonu kritik öneme sahiptir: niceleme (INT8/INT4) model boyutunu küçültür; PagedAttention ve continuous batching GPU belleğini verimli kullanır; Flash Attention dikkat hesaplama hızını artırır; spekülatif kod çözme ise küçük bir taslak modelle büyük modelin doğrulamasını birleştirerek çözme hızını %2–3× artırabilir. vLLM, TGI, TensorRT-LLM ve Ollama bu amaçla kullanılan popüler açık kaynak araçlardır.
Cerebras (Gofret Ölçekli Motor)
Cerebras Systems, 2016 yılında kurulan ve yapay zeka donanımında temelden farklı bir yaklaşım benimseyen Amerikan teknoloji şirketidir. Şirketin temel ürünü olan Wafer Scale Engine (WSE — Gofret Ölçekli Motor), tek bir silikon yonga üzerinde 900.000 çekirdek ve 44 GB çip içi SRAM bellek barındıran, tarihin en büyük üretilmiş çipidir; NVIDIA B200'den 58 kat daha geniş yüzey alanına sahiptir. Geleneksel GPU tabanlı sistemlerde büyük dil modellerinin çıkarımı (inference) sırasında model ağırlıklarının harici HBM belleğinden tekrar tekrar yüklenmesi kritik bir darboğaz oluşturur. WSE, 21 petabayt/saniye çip içi bant genişliği sunarak bu bellek duvarını mimari düzeyde aşar: model ağırlıkları çipte kalır, yükleme gecikmesi sıfıra yaklaşır. Cerebras Inference platformu bu avantajla Llama 3.1 70B modelinde saniyede 2.100'ü aşkın token üretebilirken GPU tabanlı rakipler yüzlerde kalır. Cerebras'ın iş modeli hem donanım satışını hem bulut tabanlı inference hizmetini kapsar. API üzerinden erişilebilen Cerebras Cloud, dakika başı fiyatlandırmayla bireysel geliştiricilere ve kuruluşlara ultra düşük gecikme süreli çıkarım imkânı sunar. Gerçek zamanlı konuşma uygulamaları, kod tamamlama ve hukuk ile tıp alanlarındaki uzun bağlam gerektiren görevler bu platformun öne çıktığı kullanım senaryolarıdır. API'si OpenAI formatıyla uyumludur; mevcut OpenAI çağrıları minimum değişiklikle Cerebras'a taşınabilir. Şirket Mayıs 2026'da halka açılarak hisse başına 185 dolardan 5,55 milyar dolar topladı; ilk işlem gününde hisseleri neredeyse iki katına çıktı. Bu finansal başarı, GPU'ya alternatif yapay zeka donanımı alanının güçlü bir yatırımcı ilgisi çektiğini kanıtlamıştır. Ekosistem açısından Llama 3.1/3.3, DeepSeek-R1 ve diğer açık ağırlıklı modelleri destekler. Cerebras, NVIDIA'nın veri merkezi egemenliğini sorgulayan az sayıdaki gerçek GPU rakiplerinden biri olarak yapay zeka donanım ekosisteminde stratejik bir konuma yerleşmiştir.
Continuous Batching (Sürekli Toplu İşlem)
Continuous Batching (Sürekli Toplu İşlem), LLM çıkarım sunucularında gelen istekleri statik batch'ler yerine sürekli, iterasyon bazlı dinamik gruplar hâlinde işleyen bir zamanlama tekniğidir. Geleneksel statik batching'de tüm istekler aynı uzunluğa tamamlanana kadar GPU boşta bekler; bu durum GPU kullanım oranını ciddi biçimde düşürür. Continuous batching ise her decoding adımında yeni isteklerin batch'e eklenmesine ve tamamlananların batch'ten çıkarılmasına olanak tanır. Tekniğin akademik temeli, Yu ve arkadaşlarının 2022'de yayımladığı "Orca: A Distributed Serving System for Transformer-Based Generative Models" çalışmasına dayanır. Bu makalede "iteration-level scheduling" adıyla tanımlanan yöntem, statik batch'e kıyasla 2-23× throughput artışı sağladığını kanıtladı. Pratik uygulamada ise 2023'te vLLM'nin PagedAttention ile birleştirdiği bu teknik, LLM servis altyapısında kalıcı bir standart hâline geldi. Teknik açıdan continuous batching; ön-doldurma (prefill) ve kod-çözme (decode) aşamalarının ayrılması, iterasyon düzeyinde zamanlama, verimli KV cache yönetimi ve öncelik kuyrukları bileşenlerine dayanır. Prefill aşamasında tüm prompt tokenleri bir kez işlenir; decode aşamasında her adımda tek token üretilir. Farklı isteklerin decode adımları eşzamanlı yürütüldüğünde GPU boşta kalmadan çalışmayı sürdürür; bu da KV cache alanının verimli kullanılmasını zorunlu kılar. Bellek yönetimi bu tekniğin kritik bir bileşenidir. PagedAttention, KV cache belleğini sanal sayfa tablosu modeline göre yönetir ve farklı uzunluktaki isteklerin yarattığı parçalanmayı önler. Çeşitli isteklerin KV state'leri aynı fiziksel GPU belleğinde örtüşmeden barındırılabilir; bu da sistemin eş zamanlı istek kapasitesini doğrudan artırır. Üretim ortamlarında continuous batching'i destekleyen başlıca framework'ler şunlardır: vLLM (PagedAttention ile), NVIDIA TensorRT-LLM, Hugging Face TGI (Text Generation Inference), SGLang (yapısal üretim için optimize) ve DeepSpeed-MII. GPU kapasitesi sabitken bu teknik, değişken uzunluktaki çok kullanıcılı API trafiğinde gecikme kararlılığını koruyarak saniyede işlenen token sayısını 10-20× artırabilmektedir. RAG pipeline'ları, ajansal AI sistemleri ve bulut LLM API'leri için temel bir altyapı bileşeni konumuna gelmiştir.
Groq (LPU) (Dil İşleme Birimi)
Groq, 2016 yılında Google TPU tasarımcısı Jonathan Ross tarafından kurulan ve büyük dil modellerinin (LLM) çıkarım (inference) hızını köklü biçimde artıran bir yapay zeka donanım şirketidir. Şirket, NVIDIA GPU'larından farklı bir tasarım felsefesiyle geliştirdiği LPU (Language Processing Unit — Dil İşleme Birimi) adını verdiği özel çiple tanınmaktadır. GPU'lar, matris çarpımlarındaki paralel işlem kapasiteleri nedeniyle model eğitiminde son derece etkilidirler; ancak otoregressif metin üretiminde belirgin bir darboğazla karşılaşırlar. Her yeni token üretilirken model ağırlıklarının tamamı yüksek bant genişlikli bellekten (HBM) okunmak zorundadır ve bu tekrarlayan döngü GPU mimarisini verimsiz kılar. Groq'un LPU mimarisi bu sorunu kökten ele alır: sabit bir hesaplama grafiği üzerinde çalışan tek çekirdekli deterministik akış tasarımıyla bellek bant genişliği darboğazını ortadan kaldırır. Bu mimari tercihin pratik sonuçları somuttur. LPU, Llama 3 70B gibi büyük açık kaynaklı modelleri saniyede 800'ün üzerinde token hızıyla çalıştırabilir; bu değer NVIDIA H100 kümesine kıyasla 5-10 kat daha yüksektir. Düşük gecikme ve yüksek verim, gerçek zamanlı ses çevirisi, konuşma asistanları ve yüksek trafikli sohbet uygulamaları gibi gecikme kritik senaryolarda belirgin avantaj oluşturmaktadır. Groq, donanımını GroqCloud adlı bulut API'si üzerinden geliştirici erişimine açmaktadır. Bu API, OpenAI istemcisiyle tam uyumlu olduğundan mevcut kodlarda yalnızca model adını değiştirmek yeterlidir. Desteklenen modeller arasında Llama 3 ailesi, Mixtral, Gemma ve Whisper yer almaktadır. Whisper entegrasyonu, düşük gecikmeli ses-metin dönüştürme iş akışlarında özellikle dikkat çekicidir. Rekabet ortamında Groq; AWS Inferentia, Cerebras CS-3 ve NVIDIA'nın Blackwell serisi sistemleriyle yarışmaktadır. Şirketin mevcut odak noktası tamamen çıkarım iş yüklerine yöneliktir; model eğitimi hizmetleri şu an kapsam dışındadır. GroqCloud'un ücretsiz katmanı, prototip geliştiricilerin dakika başına token kotasıyla sistemi denemesine olanak tanımaktadır; ücretli katmanlarda maliyet 1 milyon token başına 0.05-0.27 dolar arasında değişmektedir.
Inference (Çıkarım (Model Çıkarımı))
Çıkarım (Inference), eğitilmiş bir yapay zeka modelinin yeni girdilere yanıt üretmek için kullanıldığı süreçtir. Eğitim aşamasının aksine çıkarım sırasında model ağırlıkları güncellenmez; model yalnızca ileri besleme (forward pass) yapar. Büyük dil modellerinde çıkarım iki belirgin aşamaya ayrılır. Prefill aşamasında tüm girdi tokenleri paralel olarak transformer katmanlarından geçirilir ve KV önbelleği (KV cache) doldurulur; bu aşama GPU'nun hesaplama kapasitesini yoğun kullanır. Decode aşamasında ise model her adımda yalnızca bir token üretir ve KV önbelleğini günceller; bu aşama bellek bant genişliğiyle sınırlıdır (memory-bound). Çıkarım performansı üç temel metrikle ölçülür: ilk token süresi (TTFT — time to first token), token başına gecikme (TPOT — time per output token) ve verim (throughput — saniyede toplam üretilen token). Etkileşimli uygulamalar düşük TTFT'yi, toplu işlem sistemleri ise yüksek verimi önceliklendirir. Çıkarım iki temel ortamda gerçekleştirilebilir. Bulut çıkarımında modeller veri merkezlerindeki sunucu GPU kümelerinde çalışır; ölçeklenebilirlik, büyük model desteği ve yönetilen altyapı avantajı sunar ancak veri dışarıya çıkar. Uç çıkarımda (edge inference) model kullanıcının cihazında çalışır; gecikme azalır, veri gizliliği artar ve çevrimdışı kullanım mümkün olur. Apple Silicon, Qualcomm Snapdragon ve NVIDIA Jetson gibi platformlardaki nöral işlemci birimleri (NPU) bu amaçla optimize edilmiştir; nicellenmiş küçük modeller (1B–7B, INT4) akıllı telefon ve dizüstü bilgisayarlarda gerçek zamanlı çalışabilmektedir. Gizlilik gerektiren uygulamalar (sağlık, finans) uç çıkarımı tercih eder. Üretim sistemleri için çıkarım optimizasyonu kritik öneme sahiptir: niceleme (INT8/INT4) model boyutunu küçültür; PagedAttention ve continuous batching GPU belleğini verimli kullanır; Flash Attention dikkat hesaplama hızını artırır; spekülatif kod çözme ise küçük bir taslak modelle büyük modelin doğrulamasını birleştirerek çözme hızını %2–3× artırabilir. vLLM, TGI, TensorRT-LLM ve Ollama bu amaçla kullanılan popüler açık kaynak araçlardır.
KV Cache (Anahtar-Değer Önbelleği)
KV Cache (Key-Value Cache — Anahtar-Değer Önbelleği), transformer tabanlı büyük dil modellerinin otomatik regresif çıkarımında hesaplama verimliliğini artıran temel bir bellek optimizasyon mekanizmasıdır. Token üretiminde her adımda tüm geçmiş tokenların dikkat hesaplamalarını yeniden yapmak yerine, daha önce hesaplanan anahtar (Key) ve değer (Value) matrislerini bellekte saklayarak bu maliyeti ortadan kaldırır. Böylece naif O(n²) karmaşıklık O(n)'e indirilir ve model, uzun bağlamlarda bile tutarlı bir hızda yanıt üretebilir. Transformer mimarisindeki çok-başlı dikkat (multi-head attention) katmanında, her token için K ve V vektörleri hesaplanır. Otoregresif üretimde n token zaten üretilmişse, n+1. token için önceki n tokenın K ve V değerleri önbellekten okunabilir; yalnızca yeni tokena ait hesaplama yapılır ve sonuç önbelleğe eklenir. Bu süreç her üretim adımında yalnızca artımlı bir işlem gerektirir ve toplam çıkarım hızını dramatik biçimde artırır. Bellek tüketimi KV Cache'in en kritik tasarım kısıtıdır. Hesaplama formülü şudur: 2 × katman_sayısı × kafa_sayısı × kafa_boyutu × dizi_uzunluğu × bit_genişliği. 7 milyar parametreli bir modelde 4096 token bağlam için FP16 ile yaklaşık 500 MB gerekir; 128K token bağlamda bu değer 10–15 GB'a ulaşabilir. Toplu çıkarımda farklı uzunluktaki isteklerin KV Cache'leri VRAM'i model ağırlıklarıyla rekabet eder biçimde tüketir ve bu durum maksimum batch boyutunu sınırlandırır. Bu baskıyı hafifletmek için sektörde birkaç kritik yöntem geliştirilmiştir. Grouped Query Attention (GQA) ve Multi-Query Attention (MQA), birden fazla sorgu kafasına tek bir K-V matrisi atayarak önbellek boyutunu önemli ölçüde küçültür; Llama 3, Gemma ve Mistral bu tekniği standart olarak kullanır. KV cache kuantizasyonu (INT8/FP8) bellek tüketimini 2–4 kat azaltırken kalite kaybını sınırlı tutar. vLLM'in Paged Attention yöntemi, cache'i sabit boyutlu sayfalar hâlinde yönetir ve bellek parçalanması sorununu ortadan kaldırır. API düzeyinde Prompt Caching ise tekrar eden sistem promptlarının K-V hesaplamalarını sunucu tarafında saklayarak hem gecikmeyi hem de maliyeti düşürür; Anthropic Claude, OpenAI ve Google bu özelliği prefix caching adıyla sunar. DeepSeek'in Multi-head Latent Attention (MLA) mimarisi, K-V vektörlerini sıkıştırılmış bir gizli uzaya projekte ederek önbellek boyutunu dramatik biçimde küçültür ve uzun bağlam işlemeyi yeniden tanımlar.
Otoregresif Kod Çözme (Otoregresif Kod Çözme)
Otoregresif Kod Çözme (Autoregressive Decoding), bir dil modelinin metin üretirken her yeni tokeni yalnızca önceki tokenlerden türeterek sırayla ürettiği standart çıkarım yöntemidir. Modelin çıktı dizisi soldan sağa doğru inşa edilir; her adımda tüm önceki bağlam koşullu olasılık dağılımını belirler ve buradan bir sonraki token örneklenir ya da seçilir. Matematikte otoregresif süreç, bir serinin her terimini kendinden önceki terimlere bağlı bir fonksiyon olarak ifade eder. Dil modellerinde bu P(x_t | x_1, ..., x_{t-1}) biçiminde yazılır: t. tokenin olasılığı, 1'den t-1'e kadar tüm önceki tokenlere koşulludur. GPT ailesi başta olmak üzere tüm kausal dil modelleri bu paradigmayı kullanır. Kod çözme stratejisi, üretilen metnin kalitesini ve çeşitliliğini doğrudan etkiler. Açgözlü kod çözme (greedy decoding), her adımda en yüksek olasılıklı tokeni seçer; hızlıdır ancak tekrarlayan çıktılar üretebilir. Işın araması (beam search), K olası diziyi paralel takip ederek toplam puan açısından en iyi tam diziyi arar; çeviri gibi görevlerde kaliteyi artırır. Sıcaklık örneklemesi (temperature sampling), olasılık dağılımını keskinleştirerek veya yumuşatarak çıktı çeşitliliğini ayarlar. Top-p (nucleus) ve top-k örnekleme ise düşük olasılıklı tokenleri keserek anlamsız çıktı riskini azaltır. Otoregresif kod çözmenin temel performans sorunu, her tokenin sırayla üretilmesidir; bu durum gecikmeyi (latency) artırır ve GPU paralelizmini kısıtlar. KV önbelleği (KV cache), önceki adımlarda hesaplanan anahtar-değer matrislerini saklayarak yeniden hesaplanmalarını önler ve çıkarımı önemli ölçüde hızlandırır. Spekülatif kod çözme (speculative decoding) ise küçük bir taslak model kullanarak büyük modelin doğrulamasını paralel yürütür; böylece birden fazla token tek geçişte onaylanabilir. Flash Attention ve sürekli toplu işleme (continuous batching) gibi teknikler de üretim sistemlerindeki verimliliği artıran önemli optimizasyonlar arasında yer alır. Bu yöntemler, yüksek trafikli LLM hizmeti senaryolarında gecikmeyi düşürmek ve GPU kullanımını artırmak amacıyla birlikte uygulanmaktadır.
Speculative Decoding (Spekülatif Kod Çözme)
Speculative Decoding (Spekülatif Kod Çözme), büyük dil modellerinin (LLM) otoregresif çıkarım hızını artırmak için tasarlanmış lossless bir optimizasyon tekniğidir. Klasik otoregresif çıkarımda her token, hedef modelin (target model) tek bir ileri geçişini (forward pass) gerektirir; bu süreç GPU'nun hesap kapasitesini tam verimde kullanmaz ve bellek bant genişliği darboğazına yol açar. Speculative decoding bu sorunu iki model mimarisiyle çözer: küçük, hızlı bir taslak model (draft model) ve büyük, kaliteli bir hedef model. Her adımda taslak model γ token önerir (genellikle γ = 4–8). Hedef model bu γ tokeni tek bir toplu ileri geçişte paralel olarak doğrular; yani γ+1 token için gereken hesaplama maliyeti, tek token üretme maliyetiyle yaklaşık eşittir. Spekülatif örnekleme (speculative sampling) kuralı, her tokenin hedef modelin olasılık dağılımıyla uyumluluk olasılığına göre kabul veya reddedilmesini belirler. İlk ret noktasından itibaren hedef modelin kendi tahminleri devreye girer. Bu prosedür, hedef modelin doğrudan örneklemesiyle istatistiksel olarak özdeş bir çıktı dağılımı üretir; dolayısıyla lossless bir hızlanmadır. Gerçek uygulamalarda hız kazanımı, taslak modelin kabul oranına (acceptance rate) bağlıdır. Kod tamamlama ve formüllü metinler gibi düşük entropili çıktılarda kabul oranı %80–90'a ulaşabilir ve 2×–4× duvar saati hızlanması gözlemlenir. Buna karşın yüksek entropi gerektiren yaratıcı metinlerde kazanım azalır. Tekniğin çeşitli biçimleri geliştirilmiştir. Medusa, hedef modele ek taslak başları (heads) ekleyerek ayrı bir draft modeline olan ihtiyacı ortadan kaldırır. EAGLE ve EAGLE-2, gizli katman aktivasyonlarından beslenen tek katmanlı ağ yapısıyla çok yüksek kabul oranları elde eder. Self-speculative yöntemler ise hedef modelin erken çıkış katmanlarını taslak olarak kullanır; bu sayede ikinci bir modele gerek kalmaz. Üretim ortamında Google Gemini, Anthropic Claude, vLLM ve SGLang speculative decoding'i aktif biçimde kullanmaktadır. Gerçek zamanlı sohbet asistanları ve anlık kod tamamlama araçları, düşük gecikme gereksinimi nedeniyle bu teknikten en fazla kazanım elde eden uygulama alanlarıdır.
Taslak Model (Taslak Model)
Taslak Model (Draft Model), spekülatif kod çözme (speculative decoding) yönteminde büyük doğrulayıcı modele aday token dizileri öneren küçük ve hızlı dil modelidir. Spekülatif kod çözmenin temel iddiası şudur: büyük modelin her token üretimi için yaptığı hesaplamanın büyük bölümünü küçük bir model ucuza gerçekleştirebilir; büyük model yalnızca bu önerileri toplu biçimde doğrulama veya reddetme rolünü üstlenir. Spekülatif kod çözme sürecinde taslak model γ (genellikle 4–8) adet token sırayla üretir. Ardından büyük doğrulayıcı model bu γ tokeni tek bir ileri geçişte (forward pass) paralel olarak değerlendirir. Kabul veya ret kararı her token için bağımsız olasılık karşılaştırmasıyla verilir; büyük modelin dağılımından belirgin biçimde sapan tokenler reddedilir. Reddedilen ilk token noktasından büyük model sıralı kod çözmeye geri döner. Bu mekanizma modelin çıktı dağılımını değiştirmez; yalnızca gecikme süresini azaltır. Taslak modelin seçimi kritiktir. Büyük modelle aynı model ailesinden gelen küçük bir versiyon (örneğin Llama 3 70B ile doğrulama yapılırken Llama 3 8B taslak olarak kullanılması) yüksek token kabul oranı (token acceptance rate) sağlar; taslak modelin dil dağılımı doğrulayıcıya yakın olduğunda daha az token reddedilir. Farklı mimari veya eğitim verisinden gelen bir model düşük kabul oranına yol açar ve spekülatif kod çözmenin avantajını ortadan kaldırır. Taslak modelin bellek varlığı düşük olduğundan spekülatif kod çözme GPU bellek tüketimini artırsa da net verim kazancı önemlidir: iyi ayarlanmış senaryolarda büyük modelin tek başına çalışmasına kıyasla 2–3 kat hız artışı gözlemlenir. Bu hız artışı, üretim altyapısında kullanıcı bekleme süresini ve token başına düşen maliyet (cost per token) değerini doğrudan etkiler. Farklı taslak model yaklaşımları da mevcuttur. Google'ın Medusa çerçevesi, ayrı bir taslak model yerine doğrulayıcı modelin üstüne ek kafa (head) katmanları ekleyerek aday tokenler üretir; böylece ek bir model yükleme yüküne gerek kalmaz. EAGLE (Extrapolation Algorithm for Greater Language-model Efficiency) ise özellik katmanını doğrudan yeniden kullanan hibrit bir yaklaşım sunar. Her iki yöntem de tek bir modelin içinde spekülatif üretimi mümkün kılar. Üretim ortamlarında (vLLM, TensorRT-LLM, Hugging Face TGI) spekülatif kod çözme eklentiler ya da yerleşik parametreler aracılığıyla etkinleştirilebilir hâle gelmiştir.
Test-Time Compute (Test Anı Hesaplama)
Test zamanı hesaplama (test-time compute veya inference-time compute), bir yapay zeka modelinin çıkarsama (inference) aşamasında daha fazla hesaplama kaynağı kullanarak doğruluğunu artırma yaklaşımıdır. Eğitim sırasında sabitlenen parametreler sonrasında modele daha fazla "düşünme" süresi veya daha fazla hesaplama bütçesi ayrılarak daha iyi sonuçlar üretmesi hedeflenir. Bu kavram, OpenAI'nin o1 modeliyle geniş kitlelerce bilinir hale gelmiştir. o1, kullanıcının göremediği dahili bir "düşünce zinciri" (chain of thought) aracılığıyla zor problemler üzerinde daha uzun hesaplama yapar. Matematiksel kanıt, karmaşık kod yazımı veya çok adımlı mantık görevi gibi senaryolarda o1'in ekstra çıkarsama süresi doğruluğu belirgin şekilde artırır. Test zamanı hesaplamanın ana yöntemleri şunlardır: zincir düşünce (chain-of-thought) gerçekleştirme — modelin yanıt vermeden önce ara akıl yürütme adımlarını yazmasını sağlamak; arama (search) — Monte Carlo Tree Search veya beam search ile çok sayıda olası yanıt yolunu keşfetmek; oylama (voting / majority voting) — birden fazla yanıt üretip çoğunluk oylamasıyla en uygun şekilde seçmek; revizyon — modelin kendi yanıtını daha sonra gözden geçirip geri bildirim vermesi. Test zamanı hesaplama, "ölçekleme yasalarının" (scaling laws) yeni bir boyutudur. Geleneksel ölçekleme yasaları eğitim veri büyüklüğü ve model parametresi sayısıyla ilgilenirken test zamanı ölçekleme çıkarsama bütçesiyle ilgilenmektedir. Bu yaklaşım, daha ucuz ve küçük modellerin daha güçlü modellere kıyasla uzun çıkarsama bütçesiyle rekabetçi sonuçlar üretebileceğini göstermiştir. Pratikte test zamanı hesaplama, adım adım muhakeme gerektiren görevlerde en belirgin faydayı sunar. Matematik olimpiyat soruları, çok adımlı programlama problemleri ve bilimsel çıkarsama görevlerinde test zamanı bütçesi artırıldıkça doğruluk eğrisi belirgin biçimde yükselir. Buna karşın, tek adımlı bilgi soruları veya yaratıcı yazarlık gibi görevlerde ek hesaplama her zaman orantılı bir iyileşme getirmez. Bu nedenle görev tipine ve maliyet kısıtına göre compute-optimal çıkarsama bütçesi belirlenmesi, production sistemlerinde kritik bir tasarım kararı haline gelmiştir. DeepMind'in AlphaCode 2 ve Google'ın Gemini modellerinde uygulanan verifier-guided search yaklaşımı, bir doğrulayıcı modelin aday yanıtları puanlamasına ve en yüksek puanlı yanıtın seçilmesine dayanır. Bu mimari, yalnızca tek yanıt üreten standart çıkarsama stratejisine kıyasla özellikle kodlama ve matematiksel ispat görevlerinde kayda değer doğruluk artışı sağlar.
Token Kabul Oranı (Token Kabul Oranı)
Token Kabul Oranı (Token Acceptance Rate), spekülatif kod çözme sistemlerinde taslak modelin önerdiği tokenlerin büyük doğrulayıcı model tarafından kabul edilme yüzdesini ölçen verim metriğidir. Bu oran, spekülatif kod çözmenin pratikte ne kadar etkin çalıştığını değerlendirmenin temel göstergesidir. Spekülatif kod çözmede taslak model γ adet aday token önerir; doğrulayıcı model bunları değerlendirerek kabul veya reddeder. Eğer γ=8 öneride 6 tanesi kabul ediliyorsa token kabul oranı %75'tir. Kabul oranı yüksek olduğunda her doğrulayıcı geçişinden daha fazla yeni token kazanılır; bu durum fiili hız çarpanını artırır. Kabul oranı düştükçe spekülatif kod çözme geleneksel otoregresif kod çözmeye kıyasla avantajını yitirir ve belirli bir eşiğin altında geleneksel kod çözme daha verimli hale gelir. Token kabul oranını etkileyen başlıca faktörler şunlardır: taslak modelin büyük modelle dağılım uyumu (kalibrasyonu), görev tipi, bağlam uzunluğu ve sıcaklık değeri. Aynı model ailesinden seçilen taslak modeller, örneğin LLaMA 3 8B ile LLaMA 3 70B kombinasyonu, dağılım uyumu yüksek olduğundan genellikle %80 üzerinde kabul oranı sağlar. Çeviri ve kod tamamlama gibi tahmin edilebilir görevler yaratıcı metin üretimine kıyasla çok daha yüksek kabul oranı verir. Token kabul oranı ile ortalama kabul uzunluğu (average accepted length, α) arasında doğrudan bir ilişki bulunmaktadır. α değeri her doğrulayıcı geçişinde kabul edilen ortalama token sayısını gösterir ve teorik hız çarpanı (1 + α) olarak hesaplanır. Örneğin α=3 olduğunda teorik hız 4× artar. Pratikte bu değer GPU bellek bant genişliği ve model boyutu gibi donanım faktörlerine bağlı olarak değişir. Üretim sistemlerinde token kabul oranı sürekli izlenmeli ve dinamik γ seçimiyle optimize edilmelidir. Anlık oranda yaşanan düşüş, taslak modelin bağlamı iyi modelleyemediğine ya da sıcaklık ayarının yeniden gözden geçirilmesi gerektiğine işaret edebilir. Medusa kafaları ve SpecDec varyantları gibi ileri teknikler kabul oranını daha da artırırken sistem karmaşıklığını yönetilebilir düzeyde tutmayı hedeflemektedir.
Autoregressive Model (Otoregresif Model)
Otoregresif model (Autoregressive Model), bir dizideki her yeni öğeyi, o ana kadar üretilen öğelere koşullu olasılık dağılımlarına dayalı biçimde tahmin eden üretken bir model mimarisidir. "Auto" (öz) ve "regresif" (geçmiş değerlere dayalı tahmin) sözcüklerinin birleşiminden oluşur; model, kendi önceki çıktılarını girdi olarak kullanarak bir sonraki adımı belirler. GPT ve Claude gibi büyük dil modellerinin (LLM) temel üretim mekanizması otoregresiftir: model her defasında tek bir token üretir ve bu tokeni bağlamına ekleyerek sonraki tokeni tahmin eder. Bu işlem, bir durma koşulu ("<eos>" tokeni veya maksimum uzunluk) karşılanana kadar tekrarlanır. Matematiksel olarak, bir x dizisi için otoregresif model P(x) = ∏ P(xₜ | x₁, x₂, …, x_{t-1}) biçiminde çarpanlarına ayrışır; yani dizinin tam olasılığı, her bir öğenin tüm öncekiler verildiğindeki koşullu olasılıklarının çarpımıdır. Otoregresif modellerin eğitimi, "öğretmen zorlaması" (teacher forcing) tekniğiyle gerçekleştirilir: eğitim sırasında modelin kendi tahminleri yerine gerçek token dizisi koşul olarak verilir; bu sayede eğitim kararlı ve hızlı olur. Çıkarım (inference) sırasında ise model kendi ürettiklerini kullanmak zorundadır — bu iki aşama arasındaki fark, özellikle uzun dizilerde "açık döngü" hatasına yol açabilir. Mimari açıdan bakıldığında, Transformer'ın decoder-only versiyonları (GPT ailesi) en yaygın otoregresif LLM yapısıdır; encoder-decoder modeller (T5, BART) ise yalnızca dekoder kısmında otoregresif üretim yapar. Ses alanında WaveNet ve AudioLM, görüntü alanında ise PixelCNN ve iGPT otoregresif modellere örnek verilebilir. Ana sınırlama, her token'ın sırayla üretilmesi nedeniyle paralelleştirmenin mümkün olmamasıdır; bu durum uzun dizilerde çıkarım maliyetini artırır. Spekülatif kod çözme (speculative decoding), tahmin adımlarını paralele alarak bu sorunu kısmen çözer. Diffüzyon modelleri ve akış eşleştirme (flow matching) yöntemleri otoregresif olmayan alternatifler sunar; ancak metin üretiminde otoregresif yaklaşım 2026 itibarıyla hâlâ hâkim paradigma olmaya devam etmektedir.
Intel Gaudi (Intel Gaudi)
Intel Gaudi, Intel'in 2019 yılında yaklaşık 2 milyar dolara satın aldığı İsrailli yapay zeka çip firması Habana Labs tarafından geliştirilen AI hızlandırıcı serisidir. Seri, derin öğrenme modellerinin eğitimi ve büyük dil modellerinin çıkarımı (inference) için özel olarak tasarlanmıştır. Gaudi 3, serinin en güncel neslidir. TSMC'nin 5 nm süreci üzerinde üretilmektedir. 64 Tensör İşlem Çekirdeği (TPC) ve 8 Matris Çarpma Motoru (MME) barındırır. Bellek tarafında 128 GB HBM2E ve 3,7 TB/s bant genişliği sunar. Ağ bağlantısı için 24 adet 200 GbE bağlantı noktası entegre edilmiş olup küme düzeyinde 9,6 Tbps çift yönlü bant genişliği sağlar. BF16/FP8 operasyonlarında 1.835 TFLOPS hesaplama kapasitesi sunan Gaudi 3, NVIDIA H100 ve H200 karşısında fiyat-performans avantajıyla konumlandırılmaktadır; birim fiyatı H100'ün belirgin şekilde altındadır. Intel'in yayımladığı kıyaslama verilerine göre LLaMA ve Mistral gibi büyük dil modellerinde H100'e kıyasla 2 kat daha yüksek çıkarım hızı elde edilmektedir. Gaudi'nin önemli bir özelliği, standart Ethernet ağ mimarisini kullanmasıdır. NVLink gibi tescilli ağ çözümlerine gerek kalmadan çok düğümlü kümeler kurulmasını mümkün kılar. Yazılım ekosistemi PyTorch, TensorFlow ve Intel'in kendi SynapseAI SDK'sı üzerine kuruludur. AWS DL1 ve DL2 bulut örnekleri, IBM Cloud ve Supermicro sunucularında kullanıma sunulmuştur. Temel zorluk, NVIDIA'nın CUDA ekosistemine kıyasla mevcut yapay zeka kütüphanelerinin büyük bölümünün öncelikle CUDA için optimize edilmiş olmasıdır. Geliştiricilerin Gaudi'ye geçişte mevcut kodlarını uyarlamaları gerekmektedir. Bu durum, kurumsal benimsemede önemli bir sürtünme noktası olmayı korumaktadır.
Triton Inference Server (Triton Çıkarım Sunucusu)
Triton Inference Server, NVIDIA tarafından 2018 yılında açık kaynak olarak yayımlanan, üretim ortamlarında yapay zeka modellerini yüksek verimlilikle sunan bir çıkarım sunucusudur. Mart 2025'te NVIDIA Dynamo platformuyla birleştirilerek NVIDIA Dynamo-Triton adını alan bu proje, PyTorch, TensorRT, ONNX Runtime, TensorFlow, OpenVINO ve vLLM gibi popüler çerçevelerden gelen modelleri tek bir süreç içinde barındırır. Temel mimarisinde Triton, her arka uç (backend) için ayrı çalışma ortamları oluşturur ve gelen istekleri paralel olarak yönlendirir. Dinamik yığınlama (dynamic batching), birden fazla isteği tek geçişte birleştirerek GPU kullanımını artırır. Ensemble Pipeline özelliği ise önişleme, model çıkarımı ve sonişleme adımlarını tek bir uçtan uca akış olarak tanımlamayı mümkün kılar. Bu yapı, karmaşık AI boru hatlarının tek bir konfigürasyon dosyasıyla yönetilmesini kolaylaştırır. Desteklediği donanım açısından Triton; NVIDIA GPU, x86 ve ARM tabanlı CPU ile AWS Inferentia üzerinde çalışabilir. Bulut, veri merkezi ve uç bilişim (edge) ortamlarına aynı yapılandırmayla dağıtım yapılabilmesi, yönetim maliyetlerini önemli ölçüde düşürür. MLOps entegrasyonu açısından Kubernetes ile ölçeklendirme, Prometheus ile izleme ve MLflow ile model kayıt akışlarına kolayca entegre edilebilir. Model Registry'den yeni sürüm yüklendiğinde Triton, hizmet kesilmesi olmadan güncelleme yapabilir. Büyük dil modellerini sunarken vLLM backend'i etkinleştirilebilir; bu bileşen sayfa dikkatini (paged attention) ve KV-cache yönetimini Triton çatısı altında gerçekleştirir. Aynı sunucuda LLM, görüntü enkoderi ve ses sınıflandırıcı gibi birden fazla model türünü paralel çalıştırmak gerektiğinde Triton vazgeçilmez bir araç hâline gelir. 2025-2026 itibarıyla Google Vertex AI, AWS SageMaker ve Azure ML gibi büyük bulut platformları Triton'ı birincil çıkarım motoru olarak benimsemiştir. Aralık 2025 sürümüyle vLLM backend'in ağırlık paylaşımı ve speculative decoding desteği de önemli ölçüde güçlendirildi. BSD-3 lisansıyla dağıtılan Triton, kurumsal ML ekiplerinin üretim ortamında güvenle tercih ettiği açık kaynak bir çözüm olmayı sürdürmektedir.
vLLM (vLLM)
vLLM, UC Berkeley'de geliştirilen ve büyük dil modellerinin (LLM) üretim ortamında hızlı ve verimli biçimde sunulmasını sağlayan açık kaynaklı bir çıkarım (inference) kütüphanesidir. Temel yeniliği olan PagedAttention mekanizması, KV önbelleğini işletim sistemlerindeki sanal bellek yönetiminden ilham alarak sayfalara böler ve dinamik olarak tahsis eder. Bu yaklaşım bellek parçalanmasını minimuma indirerek GPU belleğinin çok daha verimli kullanılmasına olanak tanır. Continuous batching özelliğiyle birleşince vLLM, standart HuggingFace Transformers pipeline'larına kıyasla 24 kata kadar daha yüksek throughput elde edebilir. vLLM, 2023 yılında SOSP konferansında yayımlanan akademik makaleyle tanıtıldı ve kısa sürede yapay zeka topluluğunun en çok kullandığı LLM servis altyapısı haline geldi. Proje GitHub'da 40K'ı aşan yıldızla aktif bir geliştirici kitlesine sahip olmaya devam etmektedir. OpenAI uyumlu REST API sunan vLLM, mevcut sistemlere minimal değişiklikle entegre edilebilmektedir. Teknik açıdan vLLM; Llama, Mistral, Qwen, Gemma ve diğer popüler modelleri destekler. Tensor parallelism ve pipeline parallelism ile modeli birden fazla GPU'ya dağıtabilir, quantization (AWQ, GPTQ, bitsandbytes) ile bellek gereksinimini düşürür. LoRA adaptörlerini çalışma zamanında dinamik olarak yükleyip kaldırabilmesi birden fazla görev için tek bir model örneğini paylaşmaya imkân tanır. Türkiye'de yapay zeka tabanlı ürün geliştiren şirketler ve araştırma kurumları, vLLM'i özellikle maliyet optimizasyonu amacıyla tercih etmektedir. Aynı GPU kümesinde standart kütüphanelere kıyasla çok daha yüksek istek kapasitesi sunulabilmesi, bulut maliyetlerini önemli ölçüde düşürür. Yerli yapay zeka altyapılarında veri egemenliğini korurken yüksek performans elde etmek isteyen kurumlar için kritik bir araçtır. vLLM, OpenAI uyumlu API sunduğundan mevcut entegrasyonlar minimum değişiklikle kendi altyapısına taşınabilir; bu da geçiş sürecini hızlandıran önemli bir avantajdır. Akademik temelli olmasına karşın hızla olgunlaşan proje, kurumsal destek almak isteyen ekipler için de güvenilir bir tercih olmayı sürdürmektedir.