Calibration (Model Kalibrasyonu)

#model-degerlendirme #guven-tahmini #siniflandirma #llm-guvenirligi

Bir makine öğrenimi modelinin tahmin güven skorlarının gerçek olay frekanslarıyla ne kadar örtüştüğünü ölçen güvenilirlik değerlendirme kavramı.

Kalibrasyon (Model Calibration), bir makine öğrenimi modelinin ürettiği olasılık tahminlerinin gerçek olayların gözlemlenen sıklığıyla ne ölçüde örtüştüğünü ifade eden bir güvenilirlik kavramıdır. İyi kalibre edilmiş bir model, %80 olasılık verdiği örneklerin yaklaşık %80'inde gerçekten doğru sonuç üretir; %95 dediği durumların da büyük bölümünde haklı çıkar. Bu özellik doğruluk (accuracy) metriğinden bağımsızdır: yüksek doğruluklu bir model, güven skorlarını sistematik biçimde abartıyorsa zayıf kalibre edilmiş sayılır. Tıbbi teşhis, kredi riski değerlendirmesi ve özerk sistemler gibi kararların olasılık eşiklerine bağlandığı uygulamalarda kalibrasyon, tahmin doğruluğu kadar kritik bir öneme sahiptir. Kalibrasyon kalitesini ölçmek için en yaygın metrik Beklenen Kalibrasyon Hatası'dır (Expected Calibration Error, ECE). Bu metrik, güven aralıklarına (confidence bins) bölünmüş örneklerde ortalama güven ile ortalama doğruluk arasındaki mutlak farkı, her kutudaki örnek sayısıyla ağırlıklandırarak tek bir sayıya indirger. Maximum Calibration Error (MCE) ise en kötü kutudaki sapmayı raporlar ve güvenlik açısından hassas senaryolarda tercih edilir. Reliability diagram (güvenilirlik diyagramı) görsel değerlendirme aracıdır: yatay eksende tahmin güveni, dikey eksende gözlemlenen doğruluk yer alır ve ideal kalibrasyon 45 derecelik köşegen çizgiyle temsil edilir. Modelin eğrisi bu çizginin altında kalıyorsa, yani gözlemlenen doğruluk beyan edilen güvenden düşükse model aşırı güvenli (overconfident); üzerindeyse düşük güvenli (underconfident) demektir. Kalibrasyon bozukluğunu gidermek için modeli yeniden eğitmeyen post-hoc yöntemler kullanılır. Platt Scaling, ham skorları lojistik regresyonla olasılığa dönüştürür; Temperature Scaling, softmax girdisi olan logitleri tek bir skaler parametreye (T) bölerek dağılımı yumuşatır ya da keskinleştirir ve çoğu derin ağda daha basit olmasına rağmen daha iyi genelleşir; Isotonic Regression ise parametrik varsayım yapmadan monoton bir eşleme öğrenir. Bu yöntemlerin tümü küçük bir doğrulama kümesi üzerinde dakikalar içinde uygulanabildiğinden üretim ortamında yaygın biçimde tercih edilir. Büyük dil modellerinde kalibrasyon, modelin kendi bilgisizliğini ne kadar dürüst temsil ettiğiyle ilgilidir; yanlış bilgiyi yüksek kesinlikle sunan bir model halüsinasyon riskini büyütür. Bu nedenle kalibrasyon ölçümü, LLM değerlendirme protokollerinde ve seçici tahmin (selective prediction) gibi 'bilmiyorum' deme mekanizmalarının tasarımında temel araçlardan biridir.

Kalibrasyon Nedir?

Model kalibrasyonu, bir sınıflandırıcı veya regresyon modelinin tahmin ettiği olasılıkların gerçek dünya frekanslarıyla uyumunu ölçer. Bir model %70 güvenle 'pozitif' dediği örneklerin gerçekte %70'inde doğruysa mükemmel kalibre edilmiştir. Tersine, nöral ağlar ve gradyan artırma yöntemleri genellikle aşırı güvene (overconfidence) meyillidir: %95 güven beyan ettikleri örneklerin gerçekte çok daha az bir oranında haklı çıkabilirler. Bu tutarsızlık, kullanıcıların model kararlarına duydukları güveni yanlış biçimlendirerek otomasyon kaynaklı hatalara zemin hazırlar. Kalibrasyon, doğruluk (accuracy) metriğinden bağımsızdır; yüksek doğruluklu bir model pekala zayıf kalibre edilmiş olabilir. Bu nedenle klinik karar destek sistemleri, sigorta risk modelleri ve finansal tahmin araçları gibi alanlarda kalibrasyon ayrıca ölçülüp raporlanır.

Beklenen Kalibrasyon Hatası (ECE) ve Reliability Diagram

Beklenen Kalibrasyon Hatası (ECE), güven skorlarını eşit aralıklı kutulara (ör. %0-10, %10-20, ...) böler; her kutudaki örneklerin ortalama güven düzeyiyle ortalama doğruluğunu karşılaştırır ve bu farkları örnek sayısıyla ağırlıklı olarak toplar. ECE = 0 mükemmel kalibrasyon, ECE = 1 ise tam tersini ifade eder. Maximum Calibration Error (MCE) en kötü kutudaki hatayı raporladığından güvenlik açısından kritik senaryolarda tercih edilir. Reliability diagram bu metrikleri görselleştirir: yatay eksen tahmin güvenini, dikey eksen gözlemlenen doğruluğu gösterir; ideal kalibrasyon köşegen çizgiyle örtüşür. Modern derin sinir ağlarının büyük çoğunluğu bu diyagramda köşegenin altında kalır, yani beyan ettikleri güven gözlemlenen doğruluğun üzerindedir. Bu overconfidence eğilimi, ImageNet gibi büyük ölçekli eğitimden ve derin, geniş mimarilerden kaynaklanan yaygın bir kalibrasyon sorunudur ve post-hoc tekniklere olan ihtiyacı doğurur.

Kalibrasyon Teknikleri

  • check_circle Platt Scaling: Ham model çıktısını (logit) giriş olarak alıp lojistik regresyon eğiten basit ve hızlı bir post-hoc yöntemdir. Küçük doğrulama kümelerinde etkili çalışır; çok sınıflı problemlerde sınıf bazında ayrı regresyon uygulanır.
  • check_circle Temperature Scaling: Softmax logitlerini T skaler parametresiyle bölerek dağılımı düzleştirir (T > 1 ise daha düşük güven) veya sivrileştirir (T < 1 ise daha yüksek güven). Doğrulama kümesinde NLL kaybını minimize ederek T öğrenilir; çoğu uygulamada Platt Scaling'den daha iyi genelleşir.
  • check_circle Isotonic Regression: Monoton artan bir fonksiyon uydurarak güven skorlarını gerçek frekanslara eşler; parametrik varsayım gerektirmez. Büyük doğrulama kümelerinde en esnek seçenektir; küçük kümede aşırı uyuma (overfitting) eğilimlidir.
  • check_circle Beta Calibration: Beta dağılımı parametrelerini kullanarak hem overconfidence hem underconfidence senaryolarını ayrı ayrı modeller. İkili sınıflandırma görevlerinde Platt Scaling'e kıyasla daha iyi kalibrasyon sonucu verebilir.
  • check_circle Conformal Prediction: Kalibrasyon kavramını tahmin aralıklarına genişleten bir çerçevedir. Verilen hata oranına (ör. %10) karşılık gelecek tahmin kümesini garanti altına alır; dağılım varsayımından bağımsız istatistiksel güvence sunar.

Kullanım Alanları

  • check_circle Tıbbi Karar Destek: Kanser tarama modelleri hastalık riski skoru verir; klinisyen bu skoru güvenilirlik düzeyiyle birlikte yorumlamak zorundadır. Zayıf kalibre edilmiş bir model, düşük riskli hasta grubuna yanlış güvence vererek klinisyeni yanıltabilir.
  • check_circle Finans ve Kredi Riski: Kredi skorlama modelleri temerrüt olasılığını ölçer; Basel III gibi düzenleyici çerçeveler modelin gözlemlenen temerrüt oranıyla tutarlı olmasını zorunlu kılar. Kalibrasyon denetimleri bu uyumluluk sürecinin temel bileşenidir.
  • check_circle Nesne Tespiti ve Otonom Sürüş: YOLO ve Faster R-CNN gibi modeller nesne sınırı ve sınıf güveni üretir; otonom araç sistemleri bu güven skorlarına dayanarak manevra kararı verir. Overconfident dedektörler gerçek engelleri kaçırırken underconfident dedektörler gereksiz frenlemeye neden olabilir.
  • check_circle Büyük Dil Modelleri: LLM'lerin token bazlı olasılıkları, kendi doğruluk kalibrasyonlarının göstergesi olarak kullanılır. Kötü kalibre edilmiş modeller yanlış bilgiyi yüksek güvenle sunarak halüsinasyon sorununu derinleştirir; kalibrasyon ölçümü güvenilirlik araştırmalarının merkezinde yer alır.

LLM'lerde Kalibrasyon ve Halüsinasyon

Büyük dil modellerinde kalibrasyon, modelin belirsizliğini (uncertainty) ne kadar dürüst ifade ettiğiyle doğrudan ilişkilidir. Araştırmalar, GPT ve Llama ailesi modellerin sıklıkla overconfident davrandığını, yani doğruluğundan emin olmadığı bilgileri yüksek kesinlikle sunduğunu göstermektedir. Token olasılıkları kalibrasyon ölçütü olarak kullanılabilir; ancak instruction-tuned ve RLHF uygulanan modellerde bu olasılıkların ham log-likelihood değerini doğrudan yorumlamak yanıltıcı olabilir, çünkü hizalama eğitimi dağılımı keskinleştirir. Verbalized confidence ('Bu konuda %80 eminim' gibi ifadeler) ile olgusal doğruluk arasındaki korelasyonu ölçen araştırmalar, kalibrasyonun LLM güvenilirliğini değerlendirme protokollerinde standart bir bileşen haline gelmesine öncülük etmektedir. Selective prediction (modelin cevap vermek yerine 'bilmiyorum' demesine izin verme) bu alandaki pratik çözüm yollarından biridir.

Sık Sorulan Sorular

  • check_circle Doğruluk yüksekse kalibrasyon neden önemli? Doğruluk yalnızca kaç örneğin doğru sınıflandırıldığını söyler; kalibrasyon ise modelin kendi hatalarından ne kadar haberdar olduğunu gösterir. Yüksek doğruluklu ama overconfident bir model, belirsiz sınır örneklerini hatalı sınıflandırdığında bunu yüksek güven skoruyla yapar; bu durum kritik uygulamalarda daha tehlikelidir.
  • check_circle Temperature Scaling nasıl uygulanır? Modelin doğrulama kümesi üzerindeki logitlerini alın; NLL kaybını T parametresine göre optimize edin (genellikle scipy.optimize.minimize ile). Bulunan T değerini test zamanında tüm logitlere uygulayın: softmax(logits/T). T = 1 ise davranış değişmez; T > 1 olasılıkları yumuşatır.
  • check_circle ECE ne kadar olmalı? Uygulama bağlamına göre değişir; tıbbi ve hukuki sistemlerde ECE < %2 hedeflenir. Genel amaçlı görüntü sınıflandırıcılarda temperature scaling sonrası ECE < %5 kabul edilebilir. Ham ResNet-50 gibi modellerin ECE'si çoğu veri kümesinde %3-10 arasında olup post-hoc kalibrasyon bunu %2'nin altına indirebilir.
  • check_circle Kalibrasyon ile uncertainty quantification aynı şey mi? Bağlantılıdırlar ama aynı değildir. Kalibrasyon, olasılık tahminlerinin gerçeklikle uyumunu ölçer (frekantist perspektif). Uncertainty quantification epistemik (bilgi eksikliğinden kaynaklı) ve aleatorik (verinin doğasından kaynaklı) belirsizliği ayrıştırır. Bayesçi yöntemler her ikisini birlikte ele alırken post-hoc kalibrasyon yalnızca olasılık uyumuna odaklanır.
  • check_circle Sınıf dengesizliği kalibrasyonu etkiler mi? Evet. Nadir sınıflar için model genellikle underconfident olurken çoğunluk sınıfı için overconfident olabilir. Class-conditional calibration ayrıca ölçülmeli; gerekirse sınıf bazında ayrı kalibrasyon uygulanmalıdır. ECE'nin sınıf ağırlıklı versiyonu (classwise ECE) bu durumu daha iyi yakalar.
  • check_circle scikit-learn'de kalibrasyon nasıl yapılır? CalibratedClassifierCV(estimator, method='sigmoid' veya 'isotonic', cv='prefit') sınıfıyla: önce modeli eğitin, ardından CalibratedClassifierCV ile doğrulama kümesinde kalibre edin. calibration_curve() fonksiyonu reliability diagram verisini üretir; from sklearn.calibration import calibration_curve ile içe aktarılır.