tag Verim

Token Kabul Oranı (Token Kabul Oranı)

Bu sayfada Verim (Token Kabul Oranı (Token Kabul Oranı)) etiketi ile işaretlenmiş 1 yapay zeka kavramını bulabilirsiniz.

Token Kabul Oranı (Token Acceptance Rate), spekülatif kod çözme sistemlerinde taslak modelin önerdiği tokenlerin büyük doğrulayıcı model tarafından kabul edilme yüzdesini ölçen verim metriğidir. Bu oran, spekülatif kod çözmenin pratikte ne kadar etkin çalıştığını değerlendirmenin temel göstergesidir. Spekülatif kod çözmede taslak model γ adet aday token önerir; doğrulayıcı model bunları değerlendirerek kabul veya reddeder. Eğer γ=8 öneride 6 tanesi kabul ediliyorsa token kabul oranı %75'tir. Kabul oranı yüksek olduğunda her doğrulayıcı geçişinden daha fazla yeni token kazanılır; bu durum fiili hız çarpanını artırır. Kabul oranı düştükçe spekülatif kod çözme geleneksel otoregresif kod çözmeye kıyasla avantajını yitirir ve belirli bir eşiğin altında geleneksel kod çözme daha verimli hale gelir. Token kabul oranını etkileyen başlıca faktörler şunlardır: taslak modelin büyük modelle dağılım uyumu (kalibrasyonu), görev tipi, bağlam uzunluğu ve sıcaklık değeri. Aynı model ailesinden seçilen taslak modeller, örneğin LLaMA 3 8B ile LLaMA 3 70B kombinasyonu, dağılım uyumu yüksek olduğundan genellikle %80 üzerinde kabul oranı sağlar. Çeviri ve kod tamamlama gibi tahmin edilebilir görevler yaratıcı metin üretimine kıyasla çok daha yüksek kabul oranı verir. Token kabul oranı ile ortalama kabul uzunluğu (average accepted length, α) arasında doğrudan bir ilişki bulunmaktadır. α değeri her doğrulayıcı geçişinde kabul edilen ortalama token sayısını gösterir ve teorik hız çarpanı (1 + α) olarak hesaplanır. Örneğin α=3 olduğunda teorik hız 4× artar. Pratikte bu değer GPU bellek bant genişliği ve model boyutu gibi donanım faktörlerine bağlı olarak değişir. Üretim sistemlerinde token kabul oranı sürekli izlenmeli ve dinamik γ seçimiyle optimize edilmelidir. Anlık oranda yaşanan düşüş, taslak modelin bağlamı iyi modelleyemediğine ya da sıcaklık ayarının yeniden gözden geçirilmesi gerektiğine işaret edebilir. Medusa kafaları ve SpecDec varyantları gibi ileri teknikler kabul oranını daha da artırırken sistem karmaşıklığını yönetilebilir düzeyde tutmayı hedeflemektedir.

speed

Token Kabul Oranı (Token Kabul Oranı)

Token Kabul Oranı (Token Acceptance Rate), spekülatif kod çözme sistemlerinde taslak modelin önerdiği tokenlerin büyük doğrulayıcı model tarafından kabul edilme yüzdesini ölçen verim metriğidir. Bu oran, spekülatif kod çözmenin pratikte ne kadar etkin çalıştığını değerlendirmenin temel göstergesidir. Spekülatif kod çözmede taslak model γ adet aday token önerir; doğrulayıcı model bunları değerlendirerek kabul veya reddeder. Eğer γ=8 öneride 6 tanesi kabul ediliyorsa token kabul oranı %75'tir. Kabul oranı yüksek olduğunda her doğrulayıcı geçişinden daha fazla yeni token kazanılır; bu durum fiili hız çarpanını artırır. Kabul oranı düştükçe spekülatif kod çözme geleneksel otoregresif kod çözmeye kıyasla avantajını yitirir ve belirli bir eşiğin altında geleneksel kod çözme daha verimli hale gelir. Token kabul oranını etkileyen başlıca faktörler şunlardır: taslak modelin büyük modelle dağılım uyumu (kalibrasyonu), görev tipi, bağlam uzunluğu ve sıcaklık değeri. Aynı model ailesinden seçilen taslak modeller, örneğin LLaMA 3 8B ile LLaMA 3 70B kombinasyonu, dağılım uyumu yüksek olduğundan genellikle %80 üzerinde kabul oranı sağlar. Çeviri ve kod tamamlama gibi tahmin edilebilir görevler yaratıcı metin üretimine kıyasla çok daha yüksek kabul oranı verir. Token kabul oranı ile ortalama kabul uzunluğu (average accepted length, α) arasında doğrudan bir ilişki bulunmaktadır. α değeri her doğrulayıcı geçişinde kabul edilen ortalama token sayısını gösterir ve teorik hız çarpanı (1 + α) olarak hesaplanır. Örneğin α=3 olduğunda teorik hız 4× artar. Pratikte bu değer GPU bellek bant genişliği ve model boyutu gibi donanım faktörlerine bağlı olarak değişir. Üretim sistemlerinde token kabul oranı sürekli izlenmeli ve dinamik γ seçimiyle optimize edilmelidir. Anlık oranda yaşanan düşüş, taslak modelin bağlamı iyi modelleyemediğine ya da sıcaklık ayarının yeniden gözden geçirilmesi gerektiğine işaret edebilir. Medusa kafaları ve SpecDec varyantları gibi ileri teknikler kabul oranını daha da artırırken sistem karmaşıklığını yönetilebilir düzeyde tutmayı hedeflemektedir.

arrow_forward