Token Kabul Oranı

#TokenKabulOrani #SpekulatifKodCozme #Inference #Gecikme #Verim

Token Kabul Oranı, spekülatif kod çözmede taslak modelin önerileri arasından doğrulayıcı tarafından kabul edilen tokenlerin yüzdesini gösteren verim metriğidir.

Token Kabul Oranı (Token Acceptance Rate), spekülatif kod çözme sistemlerinde taslak modelin önerdiği tokenlerin büyük doğrulayıcı model tarafından kabul edilme yüzdesini ölçen verim metriğidir. Bu oran, spekülatif kod çözmenin pratikte ne kadar etkin çalıştığını değerlendirmenin temel göstergesidir. Spekülatif kod çözmede taslak model γ adet aday token önerir; doğrulayıcı model bunları değerlendirerek kabul veya reddeder. Eğer γ=8 öneride 6 tanesi kabul ediliyorsa token kabul oranı %75'tir. Kabul oranı yüksek olduğunda her doğrulayıcı geçişinden daha fazla yeni token kazanılır; bu durum fiili hız çarpanını artırır. Kabul oranı düştükçe spekülatif kod çözme geleneksel otoregresif kod çözmeye kıyasla avantajını yitirir ve belirli bir eşiğin altında geleneksel kod çözme daha verimli hâle gelir. Token kabul oranını etkileyen başlıca faktörler şunlardır: taslak modelin büyük modelle dağılım uyumu (kalibrasyonu), görev tipi, kontekst uzunluğu ve sıcaklık değeri. Aynı model ailesinden seçilen taslak modeller (LLaMA 3 8B + LLaMA 3 70B) dağılım uyumu yüksek olduğundan genellikle %80 üzerinde kabul oranı sağlar. Çeviri ve kod tamamlama gibi tahmin edilebilir görevler yaratıcı metin üretimine kıyasla daha yüksek kabul oranı verir. Token kabul oranı ile ortalama kabul uzunluğu (average accepted length, α) arasında doğrudan ilişki vardır. α değeri her doğrulayıcı geçişinde kabul edilen ortalama token sayısını gösterir ve teorik hız çarpanı (1 + α) olarak hesaplanır. Örneğin α=3 olduğunda teorik hız 4× artar. Pratikte bu değer GPU bellek bant genişliği ve model boyutu gibi faktörlere bağlı olarak değişir.

Token Kabul Oranı Nasıl Hesaplanır?

Her doğrulayıcı geçişinde taslak modelin önerdiği γ tokenin kaçının kabul edildiği sayılır. Kabul oranı (α_rate) = kabul edilen token sayısı / γ olarak tanımlanır. Ortalama kabul uzunluğu α = γ × α_rate formülüyle bulunur. Bir üretim oturumunda bu değer sürekli izlenerek optimal γ değeri dinamik olarak ayarlanabilir. Kabul oranı %50'nin altına düşüyorsa taslak model seçimi veya γ değeri yeniden değerlendirilmelidir.

Kabul Oranını Etkileyen Faktörler

Model Ailesi Uyumu

Taslak ve doğrulayıcı aynı aileden gelirse dağılım farkı küçük olur ve kabul oranı artar.

Görev Türü

Kod tamamlama ve çeviri gibi belirleyici görevlerde kabul oranı yaratıcı metin üretimine göre yüksektir.

Sıcaklık (Temperature)

Yüksek sıcaklık olasılık dağılımını genişletir; taslak model önerileri daha çeşitli hâle gelir ve kabul oranı düşer.

Kontekst Uzunluğu

Uzun bağlamlarda dil modelinin belirsizliği azalır; taslak model bir sonraki tokeni daha iyi tahmin eder ve oran artar.

Verim Optimizasyon Stratejileri

  • check_circle Dinamik γ Seçimi: Anlık kabul oranına göre taslak uzunluğu γ dinamik ayarlanır; düşük oranda γ küçültülür, yüksek oranda artırılır.
  • check_circle Görev Odaklı Taslak Model: Genel modeli yerine domain-specific taslak model kullanmak ilgili görevlerde kabul oranını artırır.
  • check_circle Medusa Kafaları: Doğrulayıcıya eklenmiş ek kafa katmanları ayrı model gerektirmeden yüksek kabul oranı sağlayabilir.
  • check_circle Kabul Oranı İzleme: Üretim sisteminde gerçek zamanlı oran takibi yapılarak alt eşik aşıldığında spekülatif mod otomatik devre dışı bırakılır.

Sıkça Sorulan Sorular

  • check_circle Token kabul oranı %100 olabilir mi?: Teorik olarak mümkün değildir; taslak ve doğrulayıcı modelin dağılımları asla özdeş değildir. Pratikte %85–90 üzeri mükemmel sayılır ve 3× üzeri fiili hız kazancına karşılık gelir.
  • check_circle Düşük kabul oranında spekülatif kod çözme kullanmaya devam etmeli miyim?: Hayır. Kabul oranı çok düşük olduğunda (<%50) spekülatif kod çözme ek yük nedeniyle geleneksel otoregresif kod çözmeden daha yavaş kalabilir. Taslak modeli değiştirin veya spekülatif modu devre dışı bırakın.
  • check_circle Token kabul oranı model doğruluğunu etkiler mi?: Hayır. Spekülatif kod çözmenin matematiksel garantisi, herhangi bir kabul oranında çıktı dağılımının büyük modelin sıralı üretimiyle özdeş olduğudur. Oran yalnızca hızı etkiler, kaliteyi değil.