tag Temperature
Bu sayfada Temperature etiketi ile işaretlenmiş 2 yapay zeka kavramını bulabilirsiniz.
Yumuşak etiketler (soft labels), bir sınıflandırma modelinin kesin ('kedi: 1, köpek: 0') one-hot kodlu etiketler (sert etiketler, hard labels) yerine olasılık dağılımlarını ('kedi: 0.8, köpek: 0.15, diğer: 0.05') hedef olarak kullanmasını ifade eder. Bu yaklaşım özellikle bilgi damıtma (knowledge distillation) sürecinde öğretmen modelin ürettiği tahmin dağılımlarını öğrenci modele aktarmanın yolu olarak kritik bir rol üstlenir. Sert etiketlerin aksine yumuşak etiketler 'karanlık bilgi' (dark knowledge) taşır: öğretmen model, yanlış sınıflar için de sıfır olmayan küçük olasılıklar atar. Örneğin bir 'kedi' görüntüsü için model 'kaplan: 0.03' skoru verebilir — bu, iki sınıf arasındaki görsel benzerliği kodlar. Öğrenci model bu ilişkileri öğrenince genelleme kapasitesi artar ve daha az veriyle daha iyi performans elde edebilir. Sıcaklık parametresi (temperature), yumuşak etiket üretiminde belirleyici rol oynar. T > 1 değerleri softmax dağılımını daha düz ve bilgisi zengin hale getirir; T = 1 standart softmax çıktısına karşılık gelir. Damıtma sürecinde kayıp fonksiyonu iki bileşenden oluşur: öğretmenin yumuşak etiketleriyle hesaplanan KL-ıraksama kaybı ve gerçek etiketlerle hesaplanan çapraz entropi kaybı. Geoffrey Hinton'ın 2015 tarihli öncü çalışması bu temeli atmış ve modern model sıkıştırma tekniklerinin yolunu açmıştır. Yumuşak etiketler yalnızca bilgi damıtmayla sınırlı değildir. Etiket düzgünleştirme (label smoothing), one-hot kodlamanın yerine her sınıfa küçük bir olasılık payı atayarak modeli aşırı güvenden korur; Transformer tabanlı modellerin eğitiminde yaygın biçimde kullanılır. Ayrıca birden fazla etiketleyicinin anlaşmazlık oranlarından türetilen yumuşak etiketler, insan belirsizliğini model eğitimine dahil etmek için tercih edilen bir yöntemdir. LLM distilasyonu bağlamında ise GPT-4 gibi büyük modellerin token olasılık dağılımları, küçük modellerin eğitiminde zengin ve maliyet-etkin bir denetim sinyali olarak kullanılmaktadır.
Soft Labels (Yumuşak Etiketler (Soft Labels))
Yumuşak etiketler (soft labels), bir sınıflandırma modelinin kesin ('kedi: 1, köpek: 0') one-hot kodlu etiketler (sert etiketler, hard labels) yerine olasılık dağılımlarını ('kedi: 0.8, köpek: 0.15, diğer: 0.05') hedef olarak kullanmasını ifade eder. Bu yaklaşım özellikle bilgi damıtma (knowledge distillation) sürecinde öğretmen modelin ürettiği tahmin dağılımlarını öğrenci modele aktarmanın yolu olarak kritik bir rol üstlenir. Sert etiketlerin aksine yumuşak etiketler 'karanlık bilgi' (dark knowledge) taşır: öğretmen model, yanlış sınıflar için de sıfır olmayan küçük olasılıklar atar. Örneğin bir 'kedi' görüntüsü için model 'kaplan: 0.03' skoru verebilir — bu, iki sınıf arasındaki görsel benzerliği kodlar. Öğrenci model bu ilişkileri öğrenince genelleme kapasitesi artar ve daha az veriyle daha iyi performans elde edebilir. Sıcaklık parametresi (temperature), yumuşak etiket üretiminde belirleyici rol oynar. T > 1 değerleri softmax dağılımını daha düz ve bilgisi zengin hale getirir; T = 1 standart softmax çıktısına karşılık gelir. Damıtma sürecinde kayıp fonksiyonu iki bileşenden oluşur: öğretmenin yumuşak etiketleriyle hesaplanan KL-ıraksama kaybı ve gerçek etiketlerle hesaplanan çapraz entropi kaybı. Geoffrey Hinton'ın 2015 tarihli öncü çalışması bu temeli atmış ve modern model sıkıştırma tekniklerinin yolunu açmıştır. Yumuşak etiketler yalnızca bilgi damıtmayla sınırlı değildir. Etiket düzgünleştirme (label smoothing), one-hot kodlamanın yerine her sınıfa küçük bir olasılık payı atayarak modeli aşırı güvenden korur; Transformer tabanlı modellerin eğitiminde yaygın biçimde kullanılır. Ayrıca birden fazla etiketleyicinin anlaşmazlık oranlarından türetilen yumuşak etiketler, insan belirsizliğini model eğitimine dahil etmek için tercih edilen bir yöntemdir. LLM distilasyonu bağlamında ise GPT-4 gibi büyük modellerin token olasılık dağılımları, küçük modellerin eğitiminde zengin ve maliyet-etkin bir denetim sinyali olarak kullanılmaktadır.
Top-P (Nucleus Sampling) (Top-P Örneklemesi)
Top-P, ya da çekirdek örneklemesi (nucleus sampling), büyük dil modellerinin bir sonraki tokenı seçerken kullandığı olasılık temelli filtreleme yöntemidir. Standart örneklemede model, sözlükteki her tokena bir olasılık atar ve bu dağılımdan rastgele çeker; bu durum düşük olasılıklı tokenların da zaman zaman seçilmesine yol açabilir. Top-P bu sorunu gidermek için en olası tokenları büyükten küçüğe sıralar, olasılıkları soldan toplamaya başlar ve toplam P eşiğini aştığı anda listeyi keser. Kalan her token o adımda tamamen elenir ve seçim yalnızca bu çekirdek (nucleus) kümesinden yapılır. Yöntemin en önemli özelliği dinamizmidir. Sabit sayıda aday kullanan Top-K'nın aksine, Top-P'nin aday sayısı her adımda değişir: model bir sonraki tokendan eminden olduğunda (tek bir tokena 0,95 olasılık verdiğinde) liste neredeyse tek elemana iner; model kararsız kaldığında olasılıklar yayılır ve çekirdek onlarca adayı içerebilir. Aday havuzunun genişliği doğrudan modelin kendi güvenini yansıtır. Yöntem, Holtzman ve arkadaşlarının 2019 tarihli 'The Curious Case of Neural Text Degeneration' çalışmasıyla yaygınlaştı. Araştırmacılar, standart örneklemenin uzun metinlerde tekrarlı ve anlamsız diziler ürettiğini gösterdi; çekirdek örneklemesi bu kalıpları belirgin şekilde azalttı. O günden bu yana OpenAI, Anthropic, Cohere ve yerel çalıştırma araçlarının tamamı (Ollama, vLLM, Hugging Face) parametreyi destekler hale geldi. Pratik ayar rehberi: top_p=0,1–0,3 araç çağırma, sınıflandırma ve yapılandırılmış çıktı üretimi gibi kesin cevap gerektiren işler için uygundur; çekirdek daraltılarak hata olasılığı düşürülür. top_p=0,9–1,0 yaratıcı yazı, reklam metni ve beyin fırtınasında kelime çeşitliliğini artırır. Kod üretimi için 0,5–0,8 dengeli bir başlangıç noktasıdır. Temperature ile aynı anda değiştirmek iki boyutu birden etkiler ve davranışı öngörülemez hale getirir; genel öneri yalnızca birini ayarlayıp diğerini varsayılan değerde bırakmaktır. top_p=0 yazmak çoğu kütüphanede tek en olası tokenu seçer ama bu davranış her ortamda garanti edilmez; deterministik çıktı için temperature=0 tercih edilmeli, gerekirse seed de sabitlenmelidir.