fast_forward Speculative Decoding Nasıl Çalışır?
Süreç iki modele dayanır: Taslak model (küçük, hızlı) ve Hedef model (büyük, kaliteli). Her adımda: (1) Taslak model γ token üretir (genellikle γ=4-8). (2) Hedef model bu tokenleri tek seferde paralel işleyip olasılık dağılımlarını hesaplar. (3) Spekülatif örnekleme kuralına göre tokenler kabul/ret edilir. (4) İlk ret noktasından sonra hedef modelin öngörüsü alınır. Tüm bu süreç hedef modelin tek token üretme süresine yakın tamamlanır.
Yaygın Uygulamalar
compress Küçük Taslak Model
Örneğin Llama 70B için Llama 7B taslak olur. Aynı tokenizer ve vokabüler paylaşılması şarttır. vLLM ve llama.cpp bu yaklaşımı destekler.
device_hub Medusa
Tek modele birden fazla taslak kafa (head) ekler; ayrı model gerekmez. Her kafa bir sonraki pozisyonu tahmin eder. Küçük bellek yüküyle hızlanma sağlar.
speed EAGLE / EAGLE-2
Hedef modelin gizli katman aktivasyonlarından beslenen taslak kafa. Çok yüksek kabul oranıyla 3-4× hızlanma. Açık kaynak; HuggingFace'de mevcuttur.
Spekülatif Kod Çözmenin Çalışma Mekanizması
- check_circle Taslak Model ve Doğrulama: Küçük taslak model (draft): büyük hedef modelden 5-10× küçük; hızlıca k token üretir. Büyük hedef model: üretilen k token'ı paralel doğrular — kabul/red kararı verir. Kabul edilen token'lar tutulur; ilk reddedilen noktada hedef model kendi token'ını üretir.
- check_circle Hız Kazanımı Mekanizması: Hedef modelin tek forward pass'ı k+1 token doğrulayabilir — sadece 1 token üretmekle aynı maliyet. k token beklenti: kabul oranı yüksekse çok token kazanılır. Tipik hız artışı: 2-3× daha hızlı çıkarım — aynı donanımda, aynı kalitede.
- check_circle Taslak Model Seçimi: N-gram: geçmiş token'lardan taslak üret — ek model yok. Küçük dil modeli: Llama 3 70B için Llama 3 8B taslak. Self-speculative: aynı modelin erken çıkış katmanları taslak olarak. Medusa: bir forward pass'ta birden fazla taslak başlığı.
Spekülatif Kod Çözmenin Uygulamaları ve Sınırları
Kullanım alanları: gerçek zamanlı konuşma asistanı, anlık kod tamamlama, düşük gecikme chatbot. Google Gemini çıkarım hızlandırması: spekülatif decoding kullanılıyor. Hugging Face Assisted Generation: transformers kütüphanesi built-in speculative decoding desteği. llama.cpp: speculative decoding opsiyonu mevcut. Sınırlar: kabul oranı düşükse (taslak zayıf) fayda azalır; bellek: taslak model ek VRAM gerektirir. En iyi sonuç: taslak ve hedef model aynı tokenizer — farklı tokenizer çalışmaz. Kontrol: belirleyici — çıktı kalitesi token başına örneklemeyle tam aynı.
quiz Sık Sorulan Sorular
- check_circle Çıktı kalitesi düşer mi?: Hayır. Orijinal spekülatif örnekleme matematiksel olarak hedef modelin örneklemesiyle eşdeğerdir (lossless). Greedy veya temperature örneklemede çıktı aynıdır.
- check_circle Tüm modeller için uygun mu?: En etkilidir: yavaş otoregresif modeller + düşük batch size + yüksek kabul oranı gerektiren dağılım benzeri modeller. Çok kısa üretimde veya yüksek temperature'da kazanım azalır.
- check_circle Nerede kullanılıyor?: Google'ın Gemini API, Anthropic'in Claude API, vLLM, llama.cpp ve SGLang; speculative decoding'i production'da kullanmaktadır.
- check_circle Spekülatif kod çözme nedir?: Büyük dil modelinin çıkarımını hızlandırmak için küçük bir taslak modelin token önerdiği, büyük modelin bu önerileri paralel doğruladığı tekniktir. Çıktı kalitesini düşürmeden 2-3× hız artışı sağlar.
- check_circle Spekülatif kod çözme güvenilir mi?: Evet. Matematiksel olarak ispat edilmiş: spekülatif decoding çıktısı hedef modelin doğrudan üretimindekiyle istatistiksel olarak özdeş. Farklı token üretilmez — yalnızca hızlanır.
- check_circle Spekülatif kod çözme nasıl aktive edilir?: Hugging Face: generate() çağrısına assistant_model=draft_model parametresi. llama.cpp: -md <draft_model_path> ve -ngld <lookahead> argümanları. vLLM: spekülatif decoding yerleşik destekli — yapılandırma dosyasında aktive.
- check_circle Hangi durumlarda en fazla hız kazanılır?: Taslak modelin kabul oranı yüksek olduğunda: benzer eğitim dağılımı, aynı tokenizer. Düşük entropi bölgeler: formül, kod template, tekrarlı yapı. Yüksek entropi (yaratıcı metin): kabul oranı düşer, kazanım azalır.