Taslak Model

#TaslakModel #SpekulatifKodCozme #Inference #LLM #Gecikme

Taslak Model, spekülatif kod çözmede büyük doğrulayıcı modele hızlıca aday token dizileri öneren küçük ve hızlı dil modelidir.

Taslak Model (Draft Model), spekülatif kod çözme (speculative decoding) yönteminde büyük doğrulayıcı modele aday token dizileri öneren küçük ve hızlı dil modelidir. Spekülatif kod çözmenin temel iddiası şudur: büyük modelin her token üretimi için yaptığı hesaplamanın büyük bölümünü küçük bir model ucuza gerçekleştirebilir; büyük model yalnızca bu önerileri toplu biçimde doğrulama veya reddetme rolünü üstlenir. Spekülatif kod çözme sürecinde taslak model γ (genellikle 4–8) adet token sırayla üretir. Ardından büyük doğrulayıcı model bu γ tokeni tek bir ileri geçişte (forward pass) paralel olarak değerlendirir. Kabul veya ret kararı her token için bağımsız olasılık karşılaştırmasıyla verilir; büyük modelin dağılımından belirgin biçimde sapan tokenler reddedilir. Reddedilen ilk token noktasından büyük model sıralı kod çözmeye geri döner. Bu mekanizma modelin çıktı dağılımını değiştirmez; yalnızca gecikme süresini azaltır. Taslak modelin seçimi kritiktir. Büyük modelle aynı model ailesinden gelen küçük bir versiyon (örneğin Llama 3 70B ile doğrulama yapılırken Llama 3 8B taslak olarak kullanılması) yüksek token kabul oranı (token acceptance rate) sağlar; taslak modelin dil dağılımı doğrulayıcıya yakın olduğunda daha az token reddedilir. Farklı mimari veya eğitim verisinden gelen bir model düşük kabul oranına yol açar ve spekülatif kod çözmenin avantajını ortadan kaldırır. Taslak modelin bellek varlığı düşük olduğundan spekülatif kod çözme GPU bellek tüketimini artırsa da net verim kazancı önemlidir: iyi ayarlanmış senaryolarda büyük modelin tek başına çalışmasına kıyasla 2–3 kat hız artışı gözlemlenir. Bu hız artışı, üretim altyapısında kullanıcı bekleme süresini ve token başına düşen maliyet (cost per token) değerini doğrudan etkiler. Farklı taslak model yaklaşımları da mevcuttur. Google'ın Medusa çerçevesi, ayrı bir taslak model yerine doğrulayıcı modelin üstüne ek kafa (head) katmanları ekleyerek aday tokenler üretir; böylece ek bir model yükleme yüküne gerek kalmaz. EAGLE (Extrapolation Algorithm for Greater Language-model Efficiency) ise özellik katmanını doğrudan yeniden kullanan hibrit bir yaklaşım sunar. Her iki yöntem de tek bir modelin içinde spekülatif üretimi mümkün kılar. Üretim ortamlarında (vLLM, TensorRT-LLM, Hugging Face TGI) spekülatif kod çözme eklentiler ya da yerleşik parametreler aracılığıyla etkinleştirilebilir hâle gelmiştir.

Spekülatif Kod Çözme Nasıl Çalışır?

Taslak model γ (genellikle 4–8) token sırayla üretir ve bunları doğrulayıcı modele iletir. Doğrulayıcı model, bu γ tokeni paralel olarak tek bir ileri geçişte değerlendirir ve her token için kendi dağılımını hesaplar. Kabul-ret kararı olasılık oranıyla belirlenir: taslak modelin seçimi büyük modelin seçimiyle uyuşuyorsa kabul edilir; büyük modelin dağılımından çok saptıysa reddedilir ve bu noktadan büyük model devralır. Temel özellik: hiçbir durumda çıktı dağılımı değişmez, yalnızca hız artar.

Taslak Model Örnekleri

GPT-4 + GPT-4o-mini

OpenAI API'sinde spekülatif decoding: gpt-4o-mini taslak token önerir, gpt-4 doğrular. Kullanıcı başına maliyet %30-50 azalırken yanıt hızı artar.

Llama 3.1 405B + 8B

Meta'nın büyük modeline eşlik eden 8B taslak model. Self-hosted ortamlarda VRAM kullanımını optimize etmek için tercih edilir.

Medusa Kafası

Tek model üzerine eklenen çoklu tahmin kafaları; ek taslak model gerektirmez. Her kafa farklı konum için token önerir, ana model toplu doğrular.

Eagle / EAGLE-2

Taslak modeli ana modelin gizli durumlarına erişerek eğiten yaklaşım. Standart spekülatif decoding'e kıyasla %20-30 ek hız kazanımı sağlar.

Taslak Model Seçim Kriterleri

  • check_circle Aynı Mimari Ailesi: Doğrulayıcıyla aynı aileden küçük model (8B vs 70B) dağılım uyumu sağlar; yüksek kabul oranı verir.
  • check_circle Düşük Gecikme: Taslak modelin γ token üretme süresi, doğrulayıcının bir token üretme süresinden kısa olmalıdır; aksi hâlde net kazanç sıfırlanır.
  • check_circle Bellek Baskısı: Her iki model GPU belleğinde eş zamanlı çalışır; bu nedenle toplam VRAM kapasitesi dikkate alınmalıdır.
  • check_circle Kabul Oranı (Acceptance Rate): Pratikte 0.7–0.9 arasında kabul oranı hedeflenir. Düşük oran, net hız artışını ortadan kaldırır.

Kullanım Alanları

  • check_circle Gerçek Zamanlı Sohbet Arayüzleri: Kullanıcıya sunulan ilk token gecikmesi (TTFT) ve token üretim hızı (TPS) spekülatif kod çözmeyle belirgin biçimde iyileşir.
  • check_circle Uzun Belge Üretimi: Kod tamamlama, makale taslağı ve çeviri gibi uzun çıktı gerektiren görevlerde hız farkı katlanarak büyür.
  • check_circle Üretim Ölçeğinde API Sunucuları: vLLM ve TensorRT-LLM gibi framework'ler spekülatif kod çözmeyi yerel destek olarak sunar; throughput ve maliyet optimizasyonu için tercih edilir.
  • check_circle Uç Cihaz (Edge) Dağıtımı: Küçük taslak + orta doğrulayıcı kombinasyonu, sınırlı donanımda kabul edilebilir gecikme ile yüksek kaliteli çıktı elde etmeyi kolaylaştırır.

tune Spekülatif Kod Çözme Parametreleri

  • check_circle Taslak uzunluğu (k): Her adımda taslak modelin ürettiği token sayısı. k=4-8 genellikle optimal; fazla büyük k doğrulama bekleme süresini artırır.
  • check_circle Kabul eşiği (α): Büyük modelin taslak tokeni kabul etme olasılık eşiği. Düşük α daha fazla red → daha az hızlanma; yüksek α kaliteyi riske atar.
  • check_circle Sıcaklık uyumu: Taslak ve hedef model aynı örnekleme sıcaklığıyla çalışmalı; aksi hâlde dağılım uyumsuzluğu red oranını artırır.
  • check_circle Batch boyutu: Spekülatif decoding tek istek için tasarlanmıştır; yüksek batch senaryolarında avantajı azalır.
  • check_circle Önbellek paylaşımı (KV-cache): Taslak ve hedef model KV-cache paylaşabilirse bellek bant genişliği tasarrufu sağlanır.

Sıkça Sorulan Sorular

  • check_circle Taslak model çıktı kalitesini düşürür mü? Hayır. Spekülatif kod çözme matematiksel olarak doğrulayıcının dağılımına eşdeğer çıktı üretir; taslak model yalnızca hız için bir ara katman işlevi görür.
  • check_circle Hangi çerçeveler spekülatif kod çözmeyi destekler? vLLM, Hugging Face TGI, TensorRT-LLM ve llama.cpp başlıca destekleyen çerçeveler arasındadır. Her biri kendi yapılandırma parametreleriyle bu özelliği etkinleştirir.
  • check_circle Medusa ile taslak model arasındaki fark nedir? Geleneksel yöntemde iki ayrı model kullanılır. Medusa ise doğrulayıcı modelin üstüne ek kafa katmanları ekleyerek tek model içinde aday token üretir; ek bellek yükü daha azdır.
  • check_circle Spekülatif kod çözme hangi durumlarda işe yaramaz? Taslak modelin kabul oranı düşükse (farklı mimari, kötü hizalama) ya da üretim γ değeri yanlış ayarlandıysa beklenen hız artışı gerçekleşmeyebilir veya gecikme artabilir.