tag Inference
Bu sayfada Inference etiketi ile işaretlenmiş 11 yapay zeka kavramını bulabilirsiniz.
Çıkarım (Inference), eğitilmiş bir yapay zeka modelinin yeni girdilere yanıt üretmek için kullanıldığı süreçtir. Eğitim aşamasının aksine, çıkarım sırasında model ağırlıkları güncellenmez; model yalnızca ileri besleme (forward pass) yapar. Büyük dil modellerinde çıkarım, prefill ve decode olmak üzere iki aşamadan oluşur. Prefill aşamasında giriş tokenlerinin tamamı paralel olarak işlenir ve KV önbelleği (KV cache) doldurulur; bu aşama GPU paralelizminden yüksek oranda yararlanır. Decode aşamasında ise model her seferinde bir token üretir ve KV önbelleğini günceller; bu aşama bellek bant genişliğiyle sınırlıdır (memory-bound). Çıkarım optimizasyonu, üretim sistemlerinde kritik öneme sahiptir. Temel metrikler: gecikme (latency — ilk token süresi ve token başına süre), verim (throughput — saniyede üretilen token sayısı), bellek kullanımı. Başlıca optimizasyon teknikleri şunlardır: Niceleme (Quantization): FP16/BF16, INT8, INT4 ile model boyutunu küçültme. KV Cache Yönetimi: PagedAttention ve prefix caching ile bellek verimliliği. Batch Processing: Birden fazla isteği birleştiren continuous batching. Flash Attention: Bellek verimli dikkat hesaplama. Spekülatif Kod Çözme: Küçük taslak modelle büyük modeli hızlandırma. Çıkarım altyapısı için vLLM, TGI (Text Generation Inference), TensorRT-LLM ve Ollama gibi özelleşmiş araçlar geliştirilmiştir. Bulut sağlayıcılar (OpenAI API, Anthropic API, AWS Bedrock) çıkarım altyapısını hizmet olarak sunar.
Cerebras Nedir? Yapay Zeka için Wafer Scale Engine (Gofret Ölçekli Motor)
Cerebras Systems, 2016 yılında kurulan ve yapay zeka donanımında temelden farklı bir yaklaşım benimseyen Amerikan teknoloji şirketidir. Şirketin temel ürünü olan Wafer Scale Engine (WSE — Gofret Ölçekli Motor), tek bir silikon yonga üzerinde 900.000 çekirdek ve 44 GB çip içi SRAM bellek barındıran, tarihin en büyük üretilmiş çipidir; NVIDIA B200'den 58 kat daha geniş yüzey alanına sahiptir. Geleneksel GPU tabanlı sistemlerde büyük dil modellerinin çıkarımı (inference) sırasında model ağırlıklarının harici HBM belleğinden tekrar tekrar yüklenmesi kritik bir darboğaz oluşturur. WSE, 21 petabayt/saniye çip içi bant genişliği sunarak bu bellek duvarını mimari düzeyde aşar: model ağırlıkları çipte kalır, yükleme gecikmesi sıfıra yaklaşır. Cerebras Inference platformu bu avantajla Llama 3.1 70B modelinde saniyede 2.100'ü aşkın token üretebilirken GPU tabanlı rakipler yüzlerde kalır. Cerebras'ın iş modeli hem donanım satışını hem bulut tabanlı inference hizmetini kapsar. API üzerinden erişilebilen Cerebras Cloud, dakika başı fiyatlandırmayla bireysel geliştiricilere ve kuruluşlara ultra düşük gecikme süreli çıkarım imkânı sunar. Gerçek zamanlı konuşma uygulamaları, kod tamamlama ve hukuk ile tıp alanlarındaki uzun bağlam gerektiren görevler bu platformun öne çıktığı kullanım senaryolarıdır. API'si OpenAI formatıyla uyumludur; mevcut OpenAI çağrıları minimum değişiklikle Cerebras'a taşınabilir. Şirket Mayıs 2026'da halka açılarak hisse başına 185 dolardan 5,55 milyar dolar topladı; ilk işlem gününde hisseleri neredeyse iki katına çıktı. Bu finansal başarı, GPU'ya alternatif yapay zeka donanımı alanının güçlü bir yatırımcı ilgisi çektiğini kanıtlamıştır. Ekosistem açısından Llama 3.1/3.3, DeepSeek-R1 ve diğer açık ağırlıklı modelleri destekler. Cerebras, NVIDIA'nın veri merkezi egemenliğini sorgulayan az sayıdaki gerçek GPU rakiplerinden biri olarak yapay zeka donanım ekosisteminde stratejik bir konuma yerleşmiştir.
Continuous Batching (Sürekli Toplu İşlem)
Continuous Batching (Sürekli Toplu İşlem), LLM çıkarım sunucularında gelen istekleri statik batch'ler yerine sürekli, iterasyon bazlı dinamik gruplar hâlinde işleyen bir zamanlama tekniğidir. Geleneksel statik batching'de tüm istekler aynı uzunluğa tamamlanana kadar GPU boşta bekler; bu durum GPU kullanım oranını ciddi biçimde düşürür. Continuous batching ise her decoding adımında yeni isteklerin batch'e eklenmesine ve tamamlananların batch'ten çıkarılmasına olanak tanır. Tekniğin akademik temeli, Yu ve arkadaşlarının 2022'de yayımladığı "Orca: A Distributed Serving System for Transformer-Based Generative Models" çalışmasına dayanır. Bu makalede "iteration-level scheduling" adıyla tanımlanan yöntem, statik batch'e kıyasla 2-23× throughput artışı sağladığını kanıtladı. Pratik uygulamada ise 2023'te vLLM'nin PagedAttention ile birleştirdiği bu teknik, LLM servis altyapısında kalıcı bir standart hâline geldi. Teknik açıdan continuous batching; ön-doldurma (prefill) ve kod-çözme (decode) aşamalarının ayrılması, iterasyon düzeyinde zamanlama, verimli KV cache yönetimi ve öncelik kuyrukları bileşenlerine dayanır. Prefill aşamasında tüm prompt tokenleri bir kez işlenir; decode aşamasında her adımda tek token üretilir. Farklı isteklerin decode adımları eşzamanlı yürütüldüğünde GPU boşta kalmadan çalışmayı sürdürür; bu da KV cache alanının verimli kullanılmasını zorunlu kılar. Bellek yönetimi bu tekniğin kritik bir bileşenidir. PagedAttention, KV cache belleğini sanal sayfa tablosu modeline göre yönetir ve farklı uzunluktaki isteklerin yarattığı parçalanmayı önler. Çeşitli isteklerin KV state'leri aynı fiziksel GPU belleğinde örtüşmeden barındırılabilir; bu da sistemin eş zamanlı istek kapasitesini doğrudan artırır. Üretim ortamlarında continuous batching'i destekleyen başlıca framework'ler şunlardır: vLLM (PagedAttention ile), NVIDIA TensorRT-LLM, Hugging Face TGI (Text Generation Inference), SGLang (yapısal üretim için optimize) ve DeepSpeed-MII. GPU kapasitesi sabitken bu teknik, değişken uzunluktaki çok kullanıcılı API trafiğinde gecikme kararlılığını koruyarak saniyede işlenen token sayısını 10-20× artırabilmektedir. RAG pipeline'ları, ajansal AI sistemleri ve bulut LLM API'leri için temel bir altyapı bileşeni konumuna gelmiştir.
Groq (LPU) (Dil İşleme Birimi)
Groq, 2016 yılında Google TPU tasarımcısı Jonathan Ross tarafından kurulan ve büyük dil modellerinin (LLM) çıkarım (inference) hızını köklü biçimde artıran bir yapay zeka donanım şirketidir. Şirket, NVIDIA GPU'larından farklı bir tasarım felsefesiyle geliştirdiği LPU (Language Processing Unit — Dil İşleme Birimi) adını verdiği özel çiple tanınmaktadır. GPU'lar, matris çarpımlarındaki paralel işlem kapasiteleri nedeniyle model eğitiminde son derece etkilidirler; ancak otoregressif metin üretiminde belirgin bir darboğazla karşılaşırlar. Her yeni token üretilirken model ağırlıklarının tamamı yüksek bant genişlikli bellekten (HBM) okunmak zorundadır ve bu tekrarlayan döngü GPU mimarisini verimsiz kılar. Groq'un LPU mimarisi bu sorunu kökten ele alır: sabit bir hesaplama grafiği üzerinde çalışan tek çekirdekli deterministik akış tasarımıyla bellek bant genişliği darboğazını ortadan kaldırır. Bu mimari tercihin pratik sonuçları somuttur. LPU, Llama 3 70B gibi büyük açık kaynaklı modelleri saniyede 800'ün üzerinde token hızıyla çalıştırabilir; bu değer NVIDIA H100 kümesine kıyasla 5-10 kat daha yüksektir. Düşük gecikme ve yüksek verim, gerçek zamanlı ses çevirisi, konuşma asistanları ve yüksek trafikli sohbet uygulamaları gibi gecikme kritik senaryolarda belirgin avantaj oluşturmaktadır. Groq, donanımını GroqCloud adlı bulut API'si üzerinden geliştirici erişimine açmaktadır. Bu API, OpenAI istemcisiyle tam uyumlu olduğundan mevcut kodlarda yalnızca model adını değiştirmek yeterlidir. Desteklenen modeller arasında Llama 3 ailesi, Mixtral, Gemma ve Whisper yer almaktadır. Whisper entegrasyonu, düşük gecikmeli ses-metin dönüştürme iş akışlarında özellikle dikkat çekicidir. Rekabet ortamında Groq; AWS Inferentia, Cerebras CS-3 ve NVIDIA'nın Blackwell serisi sistemleriyle yarışmaktadır. Şirketin mevcut odak noktası tamamen çıkarım iş yüklerine yöneliktir; model eğitimi hizmetleri şu an kapsam dışındadır. GroqCloud'un ücretsiz katmanı, prototip geliştiricilerin dakika başına token kotasıyla sistemi denemesine olanak tanımaktadır; ücretli katmanlarda maliyet 1 milyon token başına 0.05-0.27 dolar arasında değişmektedir.
Inference (Çıkarım (Model Çıkarımı))
Çıkarım (Inference), eğitilmiş bir yapay zeka modelinin yeni girdilere yanıt üretmek için kullanıldığı süreçtir. Eğitim aşamasının aksine, çıkarım sırasında model ağırlıkları güncellenmez; model yalnızca ileri besleme (forward pass) yapar. Büyük dil modellerinde çıkarım, prefill ve decode olmak üzere iki aşamadan oluşur. Prefill aşamasında giriş tokenlerinin tamamı paralel olarak işlenir ve KV önbelleği (KV cache) doldurulur; bu aşama GPU paralelizminden yüksek oranda yararlanır. Decode aşamasında ise model her seferinde bir token üretir ve KV önbelleğini günceller; bu aşama bellek bant genişliğiyle sınırlıdır (memory-bound). Çıkarım optimizasyonu, üretim sistemlerinde kritik öneme sahiptir. Temel metrikler: gecikme (latency — ilk token süresi ve token başına süre), verim (throughput — saniyede üretilen token sayısı), bellek kullanımı. Başlıca optimizasyon teknikleri şunlardır: Niceleme (Quantization): FP16/BF16, INT8, INT4 ile model boyutunu küçültme. KV Cache Yönetimi: PagedAttention ve prefix caching ile bellek verimliliği. Batch Processing: Birden fazla isteği birleştiren continuous batching. Flash Attention: Bellek verimli dikkat hesaplama. Spekülatif Kod Çözme: Küçük taslak modelle büyük modeli hızlandırma. Çıkarım altyapısı için vLLM, TGI (Text Generation Inference), TensorRT-LLM ve Ollama gibi özelleşmiş araçlar geliştirilmiştir. Bulut sağlayıcılar (OpenAI API, Anthropic API, AWS Bedrock) çıkarım altyapısını hizmet olarak sunar.
KV Cache (Anahtar-Değer Önbelleği)
KV Cache (Key-Value Cache — Anahtar-Değer Önbelleği), transformer tabanlı büyük dil modellerinin otomatik regresif çıkarımında hesaplama verimliliğini artıran temel bir bellek optimizasyon mekanizmasıdır. Token üretiminde her adımda tüm geçmiş tokenların dikkat hesaplamalarını yeniden yapmak yerine, daha önce hesaplanan anahtar (Key) ve değer (Value) matrislerini bellekte saklayarak bu maliyeti ortadan kaldırır. Böylece naif O(n²) karmaşıklık O(n)'e indirilir ve model, uzun bağlamlarda bile tutarlı bir hızda yanıt üretebilir. Transformer mimarisindeki çok-başlı dikkat (multi-head attention) katmanında, her token için K ve V vektörleri hesaplanır. Otoregresif üretimde n token zaten üretilmişse, n+1. token için önceki n tokenın K ve V değerleri önbellekten okunabilir; yalnızca yeni tokena ait hesaplama yapılır ve sonuç önbelleğe eklenir. Bu süreç her üretim adımında yalnızca artımlı bir işlem gerektirir ve toplam çıkarım hızını dramatik biçimde artırır. Bellek tüketimi KV Cache'in en kritik tasarım kısıtıdır. Hesaplama formülü şudur: 2 × katman_sayısı × kafa_sayısı × kafa_boyutu × dizi_uzunluğu × bit_genişliği. 7 milyar parametreli bir modelde 4096 token bağlam için FP16 ile yaklaşık 500 MB gerekir; 128K token bağlamda bu değer 10–15 GB'a ulaşabilir. Toplu çıkarımda farklı uzunluktaki isteklerin KV Cache'leri VRAM'i model ağırlıklarıyla rekabet eder biçimde tüketir ve bu durum maksimum batch boyutunu sınırlandırır. Bu baskıyı hafifletmek için sektörde birkaç kritik yöntem geliştirilmiştir. Grouped Query Attention (GQA) ve Multi-Query Attention (MQA), birden fazla sorgu kafasına tek bir K-V matrisi atayarak önbellek boyutunu önemli ölçüde küçültür; Llama 3, Gemma ve Mistral bu tekniği standart olarak kullanır. KV cache kuantizasyonu (INT8/FP8) bellek tüketimini 2–4 kat azaltırken kalite kaybını sınırlı tutar. vLLM'in Paged Attention yöntemi, cache'i sabit boyutlu sayfalar hâlinde yönetir ve bellek parçalanması sorununu ortadan kaldırır. API düzeyinde Prompt Caching ise tekrar eden sistem promptlarının K-V hesaplamalarını sunucu tarafında saklayarak hem gecikmeyi hem de maliyeti düşürür; Anthropic Claude, OpenAI ve Google bu özelliği prefix caching adıyla sunar. DeepSeek'in Multi-head Latent Attention (MLA) mimarisi, K-V vektörlerini sıkıştırılmış bir gizli uzaya projekte ederek önbellek boyutunu dramatik biçimde küçültür ve uzun bağlam işlemeyi yeniden tanımlar.
Otoregresif Kod Çözme (Otoregresif Kod Çözme)
Otoregresif Kod Çözme (Autoregressive Decoding), bir dil modelinin metin üretirken her yeni tokeni yalnızca önceki tokenlerden türeterek sırayla ürettiği standart çıkarım yöntemidir. Modelin çıktı dizisi soldan sağa doğru inşa edilir; her adımda tüm önceki bağlam koşullu olasılık dağılımını belirler ve buradan bir sonraki token örneklenir ya da seçilir. Matematikte otoregresif süreç, bir serinin her terimini kendinden önceki terimlere bağlı bir fonksiyon olarak ifade eder. Dil modellerinde bu P(x_t | x_1, ..., x_{t-1}) şeklinde yazılır: t. tokenin olasılığı 1'den t-1'e kadar tüm önceki tokenlere koşulludur. GPT ailesi başta olmak üzere tüm kausal dil modelleri bu paradigmayı kullanır. Kod çözme stratejisi, üretilen metnin kalitesini ve çeşitliliğini doğrudan etkiler. Açgözlü kod çözme (greedy decoding) her adımda en yüksek olasılıklı tokeni seçer; hızlıdır ancak tekrarlayan veya monoton çıktılar üretebilir. Işın araması (beam search), K olası diziyi paralel takip ederek toplu puan açısından en iyi tam diziyi arar; çeviri gibi görevlerde kaliteyi artırır. Sıcaklık örneklemesi (temperature sampling), olasılık dağılımını keskinleştirerek veya yumuşatarak çıktı çeşitliliğini ayarlar. Top-p (nucleus) ve top-k örnekleme ise düşük olasılıklı tokenleri keserek saçmalama riskini azaltır. Otoregresif kod çözmenin temel performans sorunu her tokenin sırayla üretilmesidir; bu durum gecikmeyi (latency) artırır ve GPU paralelizmini sınırlar. KV önbelleği (KV cache), önceki adımlarda hesaplanan anahtar-değer matrislerini saklayarak tekrar hesaplanmalarını önler ve çıkarımı hızlandırır. Spekülatif kod çözme (speculative decoding) ise küçük bir taslak model kullanarak büyük modelin doğrulamasını paralel yürütür ve verim artışı sağlar.
Speculative Decoding (Spekülatif Kod Çözme)
Speculative Decoding (Spekülatif Kod Çözme), büyük dil modellerinin (LLM) otoregresif çıkarım hızını artırmak için tasarlanmış lossless bir optimizasyon tekniğidir. Klasik otoregresif çıkarımda her token, hedef modelin (target model) tek bir ileri geçişini (forward pass) gerektirir; bu süreç GPU'nun hesap kapasitesini tam verimde kullanmaz ve bellek bant genişliği darboğazına yol açar. Speculative decoding bu sorunu iki model mimarisiyle çözer: küçük, hızlı bir taslak model (draft model) ve büyük, kaliteli bir hedef model. Her adımda taslak model γ token önerir (genellikle γ = 4–8). Hedef model bu γ tokeni tek bir toplu ileri geçişte paralel olarak doğrular; yani γ+1 token için gereken hesaplama maliyeti, tek token üretme maliyetiyle yaklaşık eşittir. Spekülatif örnekleme (speculative sampling) kuralı, her tokenin hedef modelin olasılık dağılımıyla uyumluluk olasılığına göre kabul veya reddedilmesini belirler. İlk ret noktasından itibaren hedef modelin kendi tahminleri devreye girer. Bu prosedür, hedef modelin doğrudan örneklemesiyle istatistiksel olarak özdeş bir çıktı dağılımı üretir; dolayısıyla lossless bir hızlanmadır. Gerçek uygulamalarda hız kazanımı, taslak modelin kabul oranına (acceptance rate) bağlıdır. Kod tamamlama ve formüllü metinler gibi düşük entropili çıktılarda kabul oranı %80–90'a ulaşabilir ve 2×–4× duvar saati hızlanması gözlemlenir. Buna karşın yüksek entropi gerektiren yaratıcı metinlerde kazanım azalır. Tekniğin çeşitli biçimleri geliştirilmiştir. Medusa, hedef modele ek taslak başları (heads) ekleyerek ayrı bir draft modeline olan ihtiyacı ortadan kaldırır. EAGLE ve EAGLE-2, gizli katman aktivasyonlarından beslenen tek katmanlı ağ yapısıyla çok yüksek kabul oranları elde eder. Self-speculative yöntemler ise hedef modelin erken çıkış katmanlarını taslak olarak kullanır; bu sayede ikinci bir modele gerek kalmaz. Üretim ortamında Google Gemini, Anthropic Claude, vLLM ve SGLang speculative decoding'i aktif biçimde kullanmaktadır. Gerçek zamanlı sohbet asistanları ve anlık kod tamamlama araçları, düşük gecikme gereksinimi nedeniyle bu teknikten en fazla kazanım elde eden uygulama alanlarıdır.
Taslak Model (Taslak Model)
Taslak Model (Draft Model), spekülatif kod çözme (speculative decoding) yönteminde büyük doğrulayıcı modele aday token dizileri öneren küçük ve hızlı dil modelidir. Spekülatif kod çözmenin temel iddiası şudur: büyük modelin her token üretimi için yaptığı hesaplamanın büyük bölümünü küçük bir model ucuza gerçekleştirebilir; büyük model yalnızca bu önerileri toplu biçimde doğrulama veya reddetme rolünü üstlenir. Spekülatif kod çözme sürecinde taslak model γ adet token sırayla üretir. Ardından büyük doğrulayıcı model bu γ tokeni tek bir ileri geçişte (forward pass) paralel olarak değerlendirir. Kabul veya ret kararı her token için bağımsız olasılık karşılaştırmasıyla verilir; büyük modelin dağılımından belirgin biçimde sapan tokenler reddedilir. Reddedilen ilk token noktasından büyük model sıralı kod çözmeye geri döner. Bu mekanizma modelin çıktı dağılımını değiştirmez; yalnızca gecikme süresini azaltır. Taslak modelin seçimi kritiktir. Büyük modelle aynı model ailesinden gelen küçük bir versiyon (örneğin Llama 3 70B ile doğrulama yapılırken Llama 3 8B taslak olarak kullanılması) yüksek token kabul oranı sağlar; taslak modelin dil dağılımı doğrulayıcıya yakın olduğunda daha az token reddedilir. Farklı mimari veya eğitimdeki bir model düşük kabul oranına yol açar ve spekülatif kod çözmenin avantajını ortadan kaldırır. Taslak modelin bellek varlığı düşük olduğundan spekülatif kod çözme GPU bellek tüketimini artırsa da net verim kazancı önemlidir: iyi ayarlanmış senaryolarda büyük modelin tek başına çalışmasına kıyasla 2–3 kat hız artışı gözlemlenir. Google'ın Medusa yaklaşımı ise ayrı bir taslak model yerine doğrulayıcı modelin kafasına ek kafa katmanları ekleyerek aday tokenler üretir.
Test-Time Compute (Test Anı Hesaplama)
Test zamani hesaplama (test-time compute veya inference-time compute), bir yapay zeka modelinin cikarsama (inference) asamasinda daha fazla hesaplama kaynagi kullanarak dogrulugunu artirma yaklasimidır. Egitim sirasında sabitlenen parametreler sonrasinda modelin daha fazla 'dusunme' suresi veya daha fazla hesaplama butcesi ayrılarak daha iyi sonuclar uretmesi hedefler. Bu kavram, OpenAI'nin o1 modeliyle genis kitlelerce bilinir hale gelmistir. o1, kullanicinin gorunmez bir 'dusunce zinciri' (chain of thought) araciligiyla zor problemler uzerinde daha uzun hesaplama yapar. Matematiksel kanit, karmasik kod yazimi veya cok adimli mantik gorevi gibi senaryolarda o1'in ekstra cikarsama suresi dogruluğu belirgin sekilde arttirir. Test zamani hesaplamanin ana yontemleri sunlardir: zincir dusunce (chain-of-thought) gerceklestirme — modelin yanit vermeden once ara akil yurutme adimlarini yazmasini saglamak; arama (search) — Monte Carlo Tree Search veya beam search ile cok sayida olasi yanit yolunu kesfetmek; oylama (voting / majority voting) — birden fazla yanit uretip cogunluk oylamasiyla en uygun sekilde secmek; revizy on — modelin kendi yanıtini daha sonra gozden gecirip geri bildirim vermesi. Test zamani hesaplama, 'olcekleme yasalarinin' (scaling laws) yeni bir boyutudur. Geleneksel olcekleme yasalari egitim veri buyuklugu ve model parametresi sayısıyla ilgilenirken test zamani olcekleme cikarsama butcesiyle ilgilenmektedir. Bu yaklasim, daha ucuz ve kucuk modellerin daha guclu modellere kıyasla uzun cikarsama butcesiyle rekabetci sonuclar uretebilecegini gostermistir.
Token Kabul Oranı (Token Kabul Oranı)
Token Kabul Oranı (Token Acceptance Rate), spekülatif kod çözme sistemlerinde taslak modelin önerdiği tokenlerin büyük doğrulayıcı model tarafından kabul edilme yüzdesini ölçen verim metriğidir. Bu oran, spekülatif kod çözmenin pratikte ne kadar etkin çalıştığını değerlendirmenin temel göstergesidir. Spekülatif kod çözmede taslak model γ adet aday token önerir; doğrulayıcı model bunları değerlendirerek kabul veya reddeder. Eğer γ=8 öneride 6 tanesi kabul ediliyorsa token kabul oranı %75'tir. Kabul oranı yüksek olduğunda her doğrulayıcı geçişinden daha fazla yeni token kazanılır; bu durum fiili hız çarpanını artırır. Kabul oranı düştükçe spekülatif kod çözme geleneksel otoregresif kod çözmeye kıyasla avantajını yitirir ve belirli bir eşiğin altında geleneksel kod çözme daha verimli hâle gelir. Token kabul oranını etkileyen başlıca faktörler şunlardır: taslak modelin büyük modelle dağılım uyumu (kalibrasyonu), görev tipi, kontekst uzunluğu ve sıcaklık değeri. Aynı model ailesinden seçilen taslak modeller (LLaMA 3 8B + LLaMA 3 70B) dağılım uyumu yüksek olduğundan genellikle %80 üzerinde kabul oranı sağlar. Çeviri ve kod tamamlama gibi tahmin edilebilir görevler yaratıcı metin üretimine kıyasla daha yüksek kabul oranı verir. Token kabul oranı ile ortalama kabul uzunluğu (average accepted length, α) arasında doğrudan ilişki vardır. α değeri her doğrulayıcı geçişinde kabul edilen ortalama token sayısını gösterir ve teorik hız çarpanı (1 + α) olarak hesaplanır. Örneğin α=3 olduğunda teorik hız 4× artar. Pratikte bu değer GPU bellek bant genişliği ve model boyutu gibi faktörlere bağlı olarak değişir.
vLLM (vLLM)
vLLM, UC Berkeley'de geliştirilen ve büyük dil modellerinin (LLM) üretim ortamında hızlı ve verimli biçimde sunulmasını sağlayan açık kaynaklı bir çıkarım (inference) kütüphanesidir. Temel yeniliği olan PagedAttention mekanizması, KV önbelleğini işletim sistemlerindeki sanal bellek yönetiminden ilham alarak sayfalara böler ve dinamik olarak tahsis eder. Bu yaklaşım bellek parçalanmasını minimuma indirerek GPU belleğinin çok daha verimli kullanılmasına olanak tanır. Continuous batching özelliğiyle birleşince vLLM, standart HuggingFace Transformers pipeline'larına kıyasla 24 kata kadar daha yüksek throughput elde edebilir. vLLM, 2023 yılında SOSP konferansında yayımlanan akademik makaleyle tanıtıldı ve kısa sürede yapay zeka topluluğunun en çok kullandığı LLM servis altyapısı haline geldi. Proje GitHub'da 40K'ı aşan yıldızla aktif bir geliştirici kitlesine sahip olmaya devam etmektedir. OpenAI uyumlu REST API sunan vLLM, mevcut sistemlere minimal değişiklikle entegre edilebilmektedir. Teknik açıdan vLLM; Llama, Mistral, Qwen, Gemma ve diğer popüler modelleri destekler. Tensor parallelism ve pipeline parallelism ile modeli birden fazla GPU'ya dağıtabilir, quantization (AWQ, GPTQ, bitsandbytes) ile bellek gereksinimini düşürür. LoRA adaptörlerini çalışma zamanında dinamik olarak yükleyip kaldırabilmesi birden fazla görev için tek bir model örneğini paylaşmaya imkân tanır. Türkiye'de yapay zeka tabanlı ürün geliştiren şirketler ve araştırma kurumları, vLLM'i özellikle maliyet optimizasyonu amacıyla tercih etmektedir. Aynı GPU kümesinde standart kütüphanelere kıyasla çok daha yüksek istek kapasitesi sunulabilmesi, bulut maliyetlerini önemli ölçüde düşürür. Yerli yapay zeka altyapılarında veri egemenliğini korurken yüksek performans elde etmek isteyen kurumlar için kritik bir araçtır. vLLM, OpenAI uyumlu API sunduğundan mevcut entegrasyonlar minimum değişiklikle kendi altyapısına taşınabilir; bu da geçiş sürecini hızlandıran önemli bir avantajdır. Akademik temelli olmasına karşın hızla olgunlaşan proje, kurumsal destek almak isteyen ekipler için de güvenilir bir tercih olmayı sürdürmektedir.