tag guven-tahmini

Bu sayfada guven-tahmini etiketi ile işaretlenmiş 1 yapay zeka kavramını bulabilirsiniz.

Kalibrasyon (Model Calibration), bir makine öğrenimi modelinin ürettiği olasılık tahminlerinin gerçek olayların gözlemlenen sıklığıyla ne ölçüde örtüştüğünü ifade eden bir güvenilirlik kavramıdır. İyi kalibre edilmiş bir model, %80 olasılık verdiği örneklerin yaklaşık %80'inde gerçekten doğru sonuç üretir; %95 dediği durumların da büyük bölümünde haklı çıkar. Bu özellik doğruluk (accuracy) metriğinden bağımsızdır: yüksek doğruluklu bir model, güven skorlarını sistematik biçimde abartıyorsa zayıf kalibre edilmiş sayılır. Tıbbi teşhis, kredi riski değerlendirmesi ve özerk sistemler gibi kararların olasılık eşiklerine bağlandığı uygulamalarda kalibrasyon, tahmin doğruluğu kadar kritik bir öneme sahiptir. Kalibrasyon kalitesini ölçmek için en yaygın metrik Beklenen Kalibrasyon Hatası'dır (Expected Calibration Error, ECE). Bu metrik, güven aralıklarına (confidence bins) bölünmüş örneklerde ortalama güven ile ortalama doğruluk arasındaki mutlak farkı, her kutudaki örnek sayısıyla ağırlıklandırarak tek bir sayıya indirger. Maximum Calibration Error (MCE) ise en kötü kutudaki sapmayı raporlar ve güvenlik açısından hassas senaryolarda tercih edilir. Reliability diagram (güvenilirlik diyagramı) görsel değerlendirme aracıdır: yatay eksende tahmin güveni, dikey eksende gözlemlenen doğruluk yer alır ve ideal kalibrasyon 45 derecelik köşegen çizgiyle temsil edilir. Modelin eğrisi bu çizginin altında kalıyorsa, yani gözlemlenen doğruluk beyan edilen güvenden düşükse model aşırı güvenli (overconfident); üzerindeyse düşük güvenli (underconfident) demektir. Kalibrasyon bozukluğunu gidermek için modeli yeniden eğitmeyen post-hoc yöntemler kullanılır. Platt Scaling, ham skorları lojistik regresyonla olasılığa dönüştürür; Temperature Scaling, softmax girdisi olan logitleri tek bir skaler parametreye (T) bölerek dağılımı yumuşatır ya da keskinleştirir ve çoğu derin ağda daha basit olmasına rağmen daha iyi genelleşir; Isotonic Regression ise parametrik varsayım yapmadan monoton bir eşleme öğrenir. Bu yöntemlerin tümü küçük bir doğrulama kümesi üzerinde dakikalar içinde uygulanabildiğinden üretim ortamında yaygın biçimde tercih edilir. Büyük dil modellerinde kalibrasyon, modelin kendi bilgisizliğini ne kadar dürüst temsil ettiğiyle ilgilidir; yanlış bilgiyi yüksek kesinlikle sunan bir model halüsinasyon riskini büyütür. Bu nedenle kalibrasyon ölçümü, LLM değerlendirme protokollerinde ve seçici tahmin (selective prediction) gibi 'bilmiyorum' deme mekanizmalarının tasarımında temel araçlardan biridir.

code_blocks

Calibration (Model Kalibrasyonu)

Kalibrasyon (Model Calibration), bir makine öğrenimi modelinin ürettiği olasılık tahminlerinin gerçek olayların gözlemlenen sıklığıyla ne ölçüde örtüştüğünü ifade eden bir güvenilirlik kavramıdır. İyi kalibre edilmiş bir model, %80 olasılık verdiği örneklerin yaklaşık %80'inde gerçekten doğru sonuç üretir; %95 dediği durumların da büyük bölümünde haklı çıkar. Bu özellik doğruluk (accuracy) metriğinden bağımsızdır: yüksek doğruluklu bir model, güven skorlarını sistematik biçimde abartıyorsa zayıf kalibre edilmiş sayılır. Tıbbi teşhis, kredi riski değerlendirmesi ve özerk sistemler gibi kararların olasılık eşiklerine bağlandığı uygulamalarda kalibrasyon, tahmin doğruluğu kadar kritik bir öneme sahiptir. Kalibrasyon kalitesini ölçmek için en yaygın metrik Beklenen Kalibrasyon Hatası'dır (Expected Calibration Error, ECE). Bu metrik, güven aralıklarına (confidence bins) bölünmüş örneklerde ortalama güven ile ortalama doğruluk arasındaki mutlak farkı, her kutudaki örnek sayısıyla ağırlıklandırarak tek bir sayıya indirger. Maximum Calibration Error (MCE) ise en kötü kutudaki sapmayı raporlar ve güvenlik açısından hassas senaryolarda tercih edilir. Reliability diagram (güvenilirlik diyagramı) görsel değerlendirme aracıdır: yatay eksende tahmin güveni, dikey eksende gözlemlenen doğruluk yer alır ve ideal kalibrasyon 45 derecelik köşegen çizgiyle temsil edilir. Modelin eğrisi bu çizginin altında kalıyorsa, yani gözlemlenen doğruluk beyan edilen güvenden düşükse model aşırı güvenli (overconfident); üzerindeyse düşük güvenli (underconfident) demektir. Kalibrasyon bozukluğunu gidermek için modeli yeniden eğitmeyen post-hoc yöntemler kullanılır. Platt Scaling, ham skorları lojistik regresyonla olasılığa dönüştürür; Temperature Scaling, softmax girdisi olan logitleri tek bir skaler parametreye (T) bölerek dağılımı yumuşatır ya da keskinleştirir ve çoğu derin ağda daha basit olmasına rağmen daha iyi genelleşir; Isotonic Regression ise parametrik varsayım yapmadan monoton bir eşleme öğrenir. Bu yöntemlerin tümü küçük bir doğrulama kümesi üzerinde dakikalar içinde uygulanabildiğinden üretim ortamında yaygın biçimde tercih edilir. Büyük dil modellerinde kalibrasyon, modelin kendi bilgisizliğini ne kadar dürüst temsil ettiğiyle ilgilidir; yanlış bilgiyi yüksek kesinlikle sunan bir model halüsinasyon riskini büyütür. Bu nedenle kalibrasyon ölçümü, LLM değerlendirme protokollerinde ve seçici tahmin (selective prediction) gibi 'bilmiyorum' deme mekanizmalarının tasarımında temel araçlardan biridir.

arrow_forward