Temperature Scaling (Sıcaklık Ölçekleme (Temperature Scaling))

Sıcaklık ölçekleme (temperature scaling), bir sınıflandırma modelinin softmax çıktı olasılıklarını T (sıcaklık) parametresiyle düzenleyen bir kalibrasyon ve kontrol tekniğidir. Softmax fonksiyonunun girdileri (logitler) T'ye bölünür: T > 1 dağılımı düzleştirir (daha belirsiz, daha yumuşak); 0 < T < 1 ise zirveli ve keskin dağılım üretir. T → 0 limitinde model en yüksek logitli sınıfı kesinlikle seçer (greedy); T → ∞ limitinde tüm sınıflar eşit olasılık alır. Sıcaklık ölçeklemenin iki temel kullanım alanı vardır. Birincisi model kalibrasyonu: derin sinir ağları genellikle aşırı güvenli (overconfident) tahminler üretir — gerçekte %70 doğru olan durumlarda %95 olasılık söyleyebilirler. Eğitim sonrası ayrılmış bir doğrulama kümesinde T optimize edilerek modelin güveni gerçek doğrulukla hizalanır. İkincisi bilgi damıtma: öğretmen modelin yumuşak etiketleri yüksek T değerleriyle düzleştirilir; bu sayede sınıflar arası benzerlik bilgisini barındıran zengin eğitim sinyalleri öğrenci modele aktarılır. LLM metin üretiminde sıcaklık farklı bir bağlamda kullanılır: bir sonraki token seçimindeki rastgeleliği kontrol eder. Yüksek sıcaklık (T ≈ 0.8-1.0) daha yaratıcı ve çeşitli metinler; düşük sıcaklık (T ≈ 0.1-0.3) daha deterministik ve öngörülebilir çıktılar üretir. Bu ayar, API çağrılarında `temperature` parametresiyle doğrudan kontrol edilebilir.