Token Kabul Oranı

#TokenKabulOrani #SpekulatifKodCozme #Inference #Gecikme #Verim

Token Kabul Oranı, spekülatif kod çözmede taslak modelin önerileri arasından doğrulayıcı tarafından kabul edilen tokenlerin yüzdesini gösteren verim metriğidir.

Token Kabul Oranı (Token Acceptance Rate), spekülatif kod çözme sistemlerinde taslak modelin önerdiği tokenlerin büyük doğrulayıcı model tarafından kabul edilme yüzdesini ölçen verim metriğidir. Bu oran, spekülatif kod çözmenin pratikte ne kadar etkin çalıştığını değerlendirmenin temel göstergesidir. Spekülatif kod çözmede taslak model γ adet aday token önerir; doğrulayıcı model bunları değerlendirerek kabul veya reddeder. Eğer γ=8 öneride 6 tanesi kabul ediliyorsa token kabul oranı %75'tir. Kabul oranı yüksek olduğunda her doğrulayıcı geçişinden daha fazla yeni token kazanılır; bu durum fiili hız çarpanını artırır. Kabul oranı düştükçe spekülatif kod çözme geleneksel otoregresif kod çözmeye kıyasla avantajını yitirir ve belirli bir eşiğin altında geleneksel kod çözme daha verimli hale gelir. Token kabul oranını etkileyen başlıca faktörler şunlardır: taslak modelin büyük modelle dağılım uyumu (kalibrasyonu), görev tipi, bağlam uzunluğu ve sıcaklık değeri. Aynı model ailesinden seçilen taslak modeller, örneğin LLaMA 3 8B ile LLaMA 3 70B kombinasyonu, dağılım uyumu yüksek olduğundan genellikle %80 üzerinde kabul oranı sağlar. Çeviri ve kod tamamlama gibi tahmin edilebilir görevler yaratıcı metin üretimine kıyasla çok daha yüksek kabul oranı verir. Token kabul oranı ile ortalama kabul uzunluğu (average accepted length, α) arasında doğrudan bir ilişki bulunmaktadır. α değeri her doğrulayıcı geçişinde kabul edilen ortalama token sayısını gösterir ve teorik hız çarpanı (1 + α) olarak hesaplanır. Örneğin α=3 olduğunda teorik hız 4× artar. Pratikte bu değer GPU bellek bant genişliği ve model boyutu gibi donanım faktörlerine bağlı olarak değişir. Üretim sistemlerinde token kabul oranı sürekli izlenmeli ve dinamik γ seçimiyle optimize edilmelidir. Anlık oranda yaşanan düşüş, taslak modelin bağlamı iyi modelleyemediğine ya da sıcaklık ayarının yeniden gözden geçirilmesi gerektiğine işaret edebilir. Medusa kafaları ve SpecDec varyantları gibi ileri teknikler kabul oranını daha da artırırken sistem karmaşıklığını yönetilebilir düzeyde tutmayı hedeflemektedir.

Token Kabul Oranı Nasıl Hesaplanır?

Her doğrulayıcı geçişinde taslak modelin önerdiği γ tokenin kaçının kabul edildiği sayılır. Kabul oranı (α_rate) = kabul edilen token sayısı / γ olarak tanımlanır. Ortalama kabul uzunluğu α = γ × α_rate formülüyle bulunur. Bir üretim oturumunda bu değer sürekli izlenerek optimal γ değeri dinamik olarak ayarlanabilir. Kabul oranı %50'nin altına düşüyorsa taslak model seçimi veya γ değeri yeniden değerlendirilmelidir.

Kabul Oranını Etkileyen Faktörler

  • check_circle Model Ailesi Uyumu: Taslak ve doğrulayıcı aynı aileden gelirse dağılım farkı küçük olur ve kabul oranı artar.
  • check_circle Görev Türü: Kod tamamlama ve çeviri gibi belirleyici görevlerde kabul oranı yaratıcı metin üretimine göre yüksektir.
  • check_circle Sıcaklık (Temperature): Yüksek sıcaklık olasılık dağılımını genişletir; taslak model önerileri daha çeşitli hâle gelir ve kabul oranı düşer.
  • check_circle Kontekst Uzunluğu: Uzun bağlamlarda dil modelinin belirsizliği azalır; taslak model bir sonraki tokeni daha iyi tahmin eder ve oran artar.

Verim Optimizasyon Stratejileri

  • check_circle Dinamik γ Seçimi: Anlık kabul oranına göre taslak uzunluğu γ dinamik ayarlanır; düşük oranda γ küçültülür, yüksek oranda artırılır.
  • check_circle Görev Odaklı Taslak Model: Genel modeli yerine domain-specific taslak model kullanmak ilgili görevlerde kabul oranını artırır.
  • check_circle Medusa Kafaları: Doğrulayıcıya eklenmiş ek kafa katmanları ayrı model gerektirmeden yüksek kabul oranı sağlayabilir.
  • check_circle Kabul Oranı İzleme: Üretim sisteminde gerçek zamanlı oran takibi yapılarak alt eşik aşıldığında spekülatif mod otomatik devre dışı bırakılır.

Spekülatif Kod Çözme ve Kabul Oranı

Standart Spekülatif Decoding

Taslak model k token önerir; büyük model toplu doğrular. Kabul oranı α = kabul edilen / önerilen token. α yüksekse hız kazanımı artar; α düşük → sık red → overhead.

Medusa Başlıkları

Birden fazla kafanın her biri farklı konumda token önerir. Kabul oranı kafa bazında değişir; paralel doğrulama ana model ile yapılır. Ek taslak model gerektirmez.

Token Speculative Sampling

Kabul/ret kararı olasılıksal — büyük model tam red yerine düzeltilmiş token döndürebilir. Bu yaklaşım dağılım bütünlüğünü korur; tamamen deterministik red'den daha iyi kalite sağlar.

Draft Model Kalibrasyon

Aynı domain metni üzerinde ince ayar yapılmış taslak model kabul oranını artırır. GPT-4 + GPT-4o-mini çifti, aynı aileden olmayan modellere kıyasla daha yüksek α gösterir.

analytics Kabul Oranı İzleme ve Optimizasyon

  • check_circle Ölçüm: Her inference adımında accept/total sayacı tut; 1000 token penceresinde hareketli ortalama hesapla. α < 0.6 → taslak model veya sıcaklık parametrelerini gözden geçir.
  • check_circle Sıcaklık eşleştirmesi: Taslak ve hedef modeli aynı temperature ile çalıştır; uyumsuz dağılımlar red oranını artırır.
  • check_circle Domain uyumu: Kod üretiminde kod üzerinde eğitilmiş taslak model, genel taslak modele kıyasla %10-20 daha yüksek α sağlar.
  • check_circle k parametresi: Spekülatif adım sayısı. k=4-6 çoğu model için optimum; k büyük olunca paralel doğrulama avantajı azalır.
  • check_circle Gerçek zamanlı dashboard: vLLM ve TGI bu metriği Prometheus formatında dışa aktarır; Grafana paneline ekle.

Sıkça Sorulan Sorular

  • check_circle Token kabul oranı %100 olabilir mi? Teorik olarak mümkün değildir; taslak ve doğrulayıcı modelin dağılımları asla özdeş değildir. Pratikte %85–90 üzeri mükemmel sayılır ve 3× üzeri fiili hız kazancına karşılık gelir.
  • check_circle Düşük kabul oranında spekülatif kod çözme kullanmaya devam etmeli miyim? Hayır. Kabul oranı çok düşük olduğunda (<%50) spekülatif kod çözme ek yük nedeniyle geleneksel otoregresif kod çözmeden daha yavaş kalabilir. Taslak modeli değiştirin veya spekülatif modu devre dışı bırakın.
  • check_circle Token kabul oranı model doğruluğunu etkiler mi? Hayır. Spekülatif kod çözmenin matematiksel garantisi, herhangi bir kabul oranında çıktı dağılımının büyük modelin sıralı üretimiyle özdeş olduğudur. Oran yalnızca hızı etkiler, kaliteyi değil.
  • check_circle Token kabul oranı ile gecikme (latency) arasındaki ilişki nedir? Kabul oranı yükseldikçe her doğrulayıcı geçişinde daha fazla token üretilir; bu da aynı gecikme bütçesiyle daha fazla çıktı anlamına gelir. Pratikte %80 kabul oranı, otoregresif kod çözmeye kıyasla 2-4× gecikme iyileştirmesi sağlayabilir.