Soft Labels (Yumuşak Etiketler (Soft Labels))
Yumuşak etiketler (soft labels), bir sınıflandırma modelinin kesin ('kedi: 1, köpek: 0') one-hot kodlu etiketler (sert etiketler, hard labels) yerine olasılık dağılımlarını ('kedi: 0.8, köpek: 0.15, diğer: 0.05') hedef olarak kullanmasını ifade eder. Bu yaklaşım özellikle bilgi damıtma (knowledge distillation) sürecinde öğretmen modelin ürettiği tahmin dağılımlarını öğrenci modele aktarmanın yolu olarak kritik bir rol üstlenir.
Sert etiketlerin aksine yumuşak etiketler 'karanlık bilgi' (dark knowledge) taşır: öğretmen model, yanlış sınıflar için de sıfır olmayan küçük olasılıklar atar. Örneğin bir 'kedi' görüntüsü için model 'kaplan: 0.03' skoru verebilir — bu, iki sınıf arasındaki görsel benzerliği kodlar. Öğrenci model bu ilişkileri öğrenince genelleme kapasitesi artar.
Sıcaklık parametresi (temperature), yumuşak etiket üretiminde kritiktir. T > 1 değerleri dağılımı daha yumuşak ve bilgisi zengin hale getirir; T = 1 standart softmax çıktısına karşılık gelir. Damıtma sürecinde öğretmen hem yüksek T ile üretilen yumuşak etiketleri hem de gerçek etiketler üzerinden hesaplanan doğruluk kaybını birlikte öğrenciye aktarır. Geoffrey Hinton'ın 2015 tarihli öncü çalışması bu temeli atmıştır.