tag top-k

Top-P (Nucleus Sampling) (Top-P Örneklemesi)

Bu sayfada top-k (Top-P (Nucleus Sampling) (Top-P Örneklemesi)) etiketi ile işaretlenmiş 1 yapay zeka kavramını bulabilirsiniz.

Top-P, ya da çekirdek örneklemesi (nucleus sampling), büyük dil modellerinin bir sonraki tokenı seçerken kullandığı olasılık temelli filtreleme yöntemidir. Standart örneklemede model, sözlükteki her tokena bir olasılık atar ve bu dağılımdan rastgele çeker; bu durum düşük olasılıklı tokenların da zaman zaman seçilmesine yol açabilir. Top-P bu sorunu gidermek için en olası tokenları büyükten küçüğe sıralar, olasılıkları soldan toplamaya başlar ve toplam P eşiğini aştığı anda listeyi keser. Kalan her token o adımda tamamen elenir ve seçim yalnızca bu çekirdek (nucleus) kümesinden yapılır. Yöntemin en önemli özelliği dinamizmidir. Sabit sayıda aday kullanan Top-K'nın aksine, Top-P'nin aday sayısı her adımda değişir: model bir sonraki tokendan eminden olduğunda (tek bir tokena 0,95 olasılık verdiğinde) liste neredeyse tek elemana iner; model kararsız kaldığında olasılıklar yayılır ve çekirdek onlarca adayı içerebilir. Aday havuzunun genişliği doğrudan modelin kendi güvenini yansıtır. Yöntem, Holtzman ve arkadaşlarının 2019 tarihli 'The Curious Case of Neural Text Degeneration' çalışmasıyla yaygınlaştı. Araştırmacılar, standart örneklemenin uzun metinlerde tekrarlı ve anlamsız diziler ürettiğini gösterdi; çekirdek örneklemesi bu kalıpları belirgin şekilde azalttı. O günden bu yana OpenAI, Anthropic, Cohere ve yerel çalıştırma araçlarının tamamı (Ollama, vLLM, Hugging Face) parametreyi destekler hale geldi. Pratik ayar rehberi: top_p=0,1–0,3 araç çağırma, sınıflandırma ve yapılandırılmış çıktı üretimi gibi kesin cevap gerektiren işler için uygundur; çekirdek daraltılarak hata olasılığı düşürülür. top_p=0,9–1,0 yaratıcı yazı, reklam metni ve beyin fırtınasında kelime çeşitliliğini artırır. Kod üretimi için 0,5–0,8 dengeli bir başlangıç noktasıdır. Temperature ile aynı anda değiştirmek iki boyutu birden etkiler ve davranışı öngörülemez hale getirir; genel öneri yalnızca birini ayarlayıp diğerini varsayılan değerde bırakmaktır. top_p=0 yazmak çoğu kütüphanede tek en olası tokenu seçer ama bu davranış her ortamda garanti edilmez; deterministik çıktı için temperature=0 tercih edilmeli, gerekirse seed de sabitlenmelidir.

code_blocks

Top-P (Nucleus Sampling) (Top-P Örneklemesi)

Top-P, ya da çekirdek örneklemesi (nucleus sampling), büyük dil modellerinin bir sonraki tokenı seçerken kullandığı olasılık temelli filtreleme yöntemidir. Standart örneklemede model, sözlükteki her tokena bir olasılık atar ve bu dağılımdan rastgele çeker; bu durum düşük olasılıklı tokenların da zaman zaman seçilmesine yol açabilir. Top-P bu sorunu gidermek için en olası tokenları büyükten küçüğe sıralar, olasılıkları soldan toplamaya başlar ve toplam P eşiğini aştığı anda listeyi keser. Kalan her token o adımda tamamen elenir ve seçim yalnızca bu çekirdek (nucleus) kümesinden yapılır. Yöntemin en önemli özelliği dinamizmidir. Sabit sayıda aday kullanan Top-K'nın aksine, Top-P'nin aday sayısı her adımda değişir: model bir sonraki tokendan eminden olduğunda (tek bir tokena 0,95 olasılık verdiğinde) liste neredeyse tek elemana iner; model kararsız kaldığında olasılıklar yayılır ve çekirdek onlarca adayı içerebilir. Aday havuzunun genişliği doğrudan modelin kendi güvenini yansıtır. Yöntem, Holtzman ve arkadaşlarının 2019 tarihli 'The Curious Case of Neural Text Degeneration' çalışmasıyla yaygınlaştı. Araştırmacılar, standart örneklemenin uzun metinlerde tekrarlı ve anlamsız diziler ürettiğini gösterdi; çekirdek örneklemesi bu kalıpları belirgin şekilde azalttı. O günden bu yana OpenAI, Anthropic, Cohere ve yerel çalıştırma araçlarının tamamı (Ollama, vLLM, Hugging Face) parametreyi destekler hale geldi. Pratik ayar rehberi: top_p=0,1–0,3 araç çağırma, sınıflandırma ve yapılandırılmış çıktı üretimi gibi kesin cevap gerektiren işler için uygundur; çekirdek daraltılarak hata olasılığı düşürülür. top_p=0,9–1,0 yaratıcı yazı, reklam metni ve beyin fırtınasında kelime çeşitliliğini artırır. Kod üretimi için 0,5–0,8 dengeli bir başlangıç noktasıdır. Temperature ile aynı anda değiştirmek iki boyutu birden etkiler ve davranışı öngörülemez hale getirir; genel öneri yalnızca birini ayarlayıp diğerini varsayılan değerde bırakmaktır. top_p=0 yazmak çoğu kütüphanede tek en olası tokenu seçer ama bu davranış her ortamda garanti edilmez; deterministik çıktı için temperature=0 tercih edilmeli, gerekirse seed de sabitlenmelidir.

arrow_forward