tag Kalibrasyon

Temperature Scaling (Sıcaklık Ölçekleme (Temperature Scaling))

Bu sayfada Kalibrasyon (Temperature Scaling (Sıcaklık Ölçekleme (Temperature Scaling))) etiketi ile işaretlenmiş 1 yapay zeka kavramını bulabilirsiniz.

Sıcaklık ölçekleme (temperature scaling), bir sınıflandırma modelinin softmax çıktı olasılıklarını T (sıcaklık) parametresiyle düzenleyen bir kalibrasyon ve kontrol tekniğidir. Softmax fonksiyonunun girdileri (logitler) T'ye bölünür: T > 1 dağılımı düzleştirir (daha belirsiz, daha yumuşak); 0 < T < 1 ise zirveli ve keskin dağılım üretir. T → 0 limitinde model en yüksek logitli sınıfı kesinlikle seçer (greedy); T → ∞ limitinde tüm sınıflar eşit olasılık alır. Sıcaklık ölçeklemenin iki temel kullanım alanı vardır. Birincisi model kalibrasyonu: derin sinir ağları genellikle aşırı güvenli (overconfident) tahminler üretir — gerçekte %70 doğru olan durumlarda %95 olasılık söyleyebilirler. Guo et al. (2017) bu sorunu kapsamlı biçimde belgeledi; eğitim sonrası ayrılmış bir doğrulama kümesinde T optimize edilerek modelin güveni gerçek doğrulukla hizalanır. İkincisi bilgi damıtma: öğretmen modelin yumuşak etiketleri yüksek T değerleriyle düzleştirilir; bu sayede sınıflar arası benzerlik bilgisini barındıran zengin eğitim sinyalleri öğrenci modele aktarılır. LLM metin üretiminde sıcaklık farklı bir bağlamda kullanılır: bir sonraki token seçimindeki rastgeleliği kontrol eder. Yüksek sıcaklık (T ≈ 0.8–1.0) daha yaratıcı ve çeşitli metinler; düşük sıcaklık (T ≈ 0.1–0.3) daha deterministik ve öngörülebilir çıktılar üretir. Bu ayar, API çağrılarında `temperature` parametresiyle doğrudan kontrol edilebilir. Tıbbi AI, hukuk asistanları ve finansal karar destek sistemleri gibi güven kritik uygulamalarda doğru kalibrasyon hayati önem taşır. Platt scaling ve histogram binning gibi alternatif yöntemlere kıyasla temperature scaling yalnızca tek bir parametre optimize ettiğinden aşırı uyuma (overfitting) karşı özellikle dayanıklıdır. Büyük dil modellerinde bile küçük bir doğrulama kümesiyle güvenilir biçimde uygulanabilmesi, bu tekniği endüstriyel AI sistemlerinin önemli bir kalibrasyon adımı haline getirmektedir. Geniş ölçekli üretim ortamlarında minimal hesaplama maliyetiyle uygulanabilirliğini korur.

thermostat

Temperature Scaling (Sıcaklık Ölçekleme (Temperature Scaling))

Sıcaklık ölçekleme (temperature scaling), bir sınıflandırma modelinin softmax çıktı olasılıklarını T (sıcaklık) parametresiyle düzenleyen bir kalibrasyon ve kontrol tekniğidir. Softmax fonksiyonunun girdileri (logitler) T'ye bölünür: T > 1 dağılımı düzleştirir (daha belirsiz, daha yumuşak); 0 < T < 1 ise zirveli ve keskin dağılım üretir. T → 0 limitinde model en yüksek logitli sınıfı kesinlikle seçer (greedy); T → ∞ limitinde tüm sınıflar eşit olasılık alır. Sıcaklık ölçeklemenin iki temel kullanım alanı vardır. Birincisi model kalibrasyonu: derin sinir ağları genellikle aşırı güvenli (overconfident) tahminler üretir — gerçekte %70 doğru olan durumlarda %95 olasılık söyleyebilirler. Guo et al. (2017) bu sorunu kapsamlı biçimde belgeledi; eğitim sonrası ayrılmış bir doğrulama kümesinde T optimize edilerek modelin güveni gerçek doğrulukla hizalanır. İkincisi bilgi damıtma: öğretmen modelin yumuşak etiketleri yüksek T değerleriyle düzleştirilir; bu sayede sınıflar arası benzerlik bilgisini barındıran zengin eğitim sinyalleri öğrenci modele aktarılır. LLM metin üretiminde sıcaklık farklı bir bağlamda kullanılır: bir sonraki token seçimindeki rastgeleliği kontrol eder. Yüksek sıcaklık (T ≈ 0.8–1.0) daha yaratıcı ve çeşitli metinler; düşük sıcaklık (T ≈ 0.1–0.3) daha deterministik ve öngörülebilir çıktılar üretir. Bu ayar, API çağrılarında `temperature` parametresiyle doğrudan kontrol edilebilir. Tıbbi AI, hukuk asistanları ve finansal karar destek sistemleri gibi güven kritik uygulamalarda doğru kalibrasyon hayati önem taşır. Platt scaling ve histogram binning gibi alternatif yöntemlere kıyasla temperature scaling yalnızca tek bir parametre optimize ettiğinden aşırı uyuma (overfitting) karşı özellikle dayanıklıdır. Büyük dil modellerinde bile küçük bir doğrulama kümesiyle güvenilir biçimde uygulanabilmesi, bu tekniği endüstriyel AI sistemlerinin önemli bir kalibrasyon adımı haline getirmektedir. Geniş ölçekli üretim ortamlarında minimal hesaplama maliyetiyle uygulanabilirliğini korur.

arrow_forward