tag ROCAUC

Bu sayfada ROCAUC etiketi ile işaretlenmiş 1 yapay zeka kavramını bulabilirsiniz.

ROC-AUC (Receiver Operating Characteristic - Eğri Altındaki Alan), ikili sınıflandırma modellerinin performansını karar eşiğinden bağımsız olarak değerlendiren temel bir metriktir. ROC eğrisi, modelin ürettiği olasılık tahminlerine farklı karar eşikleri uygulandığında elde edilen Gerçek Pozitif Oranı (TPR - Duyarlılık) ile Yanlış Pozitif Oranı (FPR - 1-Özgüllük) çiftlerini bir grafik üzerinde gösterir. AUC (Area Under the Curve) ise bu eğrinin altındaki alanı ifade eder ve modelin genel ayırt etme gücünü 0 ile 1 arasında tek bir sayıyla özetler. AUC değeri 1.0, modelin tüm pozitif ve negatif örnekleri mükemmel şekilde ayırt ettiğini; 0.5 ise modelin rastgele tahminle eşdeğer olduğunu gösterir. Pratikte 0.7-0.8 arası kabul edilebilir, 0.8-0.9 iyi, 0.9 üstü ise mükemmel performans olarak değerlendirilir. Sıfırın altındaki değerler modelin sistematik olarak yanlış sınıflandırma yaptığını işaret eder; bu nadir durum genellikle sınıf etiketlerinin ters çevrildiği anlamına gelir. ROC-AUC'nin en kritik avantajı dengesiz sınıf dağılımlarına karşı dayanıklı olmasıdır. Tıbbi tanı, dolandırıcılık tespiti ve kredi risk değerlendirmesi gibi nadir olayların baskın olduğu problemlerde doğruluk (accuracy) metriği yanıltıcı sonuçlar verebilirken, ROC-AUC gerçek model kalitesini doğru şekilde yansıtır. Örneğin, yüzde doksanı negatif sınıfa ait olan bir veri setinde, her örneği negatif tahmin eden bir model yüzde doksan doğruluk elde eder; ancak AUC skoru 0.5 olur ve modelin hiçbir ayırt etme gücü olmadığını açıkça ortaya koyar. Birden fazla modeli karşılaştırırken AUC skoru, hangi modelin tüm olası eşik değerleri boyunca daha tutarlı performans sergilediğini nesnel biçimde ortaya koyar. Bu özellik, eşik seçimini erteleyerek model seçim sürecini veriye dayalı kılar. Bununla birlikte, yüksek sınıf dengesizliğinin bulunduğu durumlarda Precision-Recall AUC (PR-AUC) tercih edilmesi önerilir; çünkü ROC-AUC negatif sınıftaki çok sayıda doğru tahmini ödüllendirerek gerçek pozitif başarısını gizleyebilir. Python ekosisteminde scikit-learn kütüphanesi, roc_auc_score() ve roc_curve() fonksiyonlarıyla bu metriğin hesaplanmasını kolaylaştırır. XGBoost, LightGBM ve sklearn pipeline'ları built-in AUC izleme destekler. Çok sınıflı problemlerde ise One-vs-Rest veya One-vs-One stratejisiyle makro ortalama AUC hesaplanabilir; bu yaklaşım her sınıfın ayırt etme gücünü ayrı ayrı raporlar.

code_blocks

ROC-AUC (ROC Eğrisi ve AUC)

ROC-AUC (Receiver Operating Characteristic - Eğri Altındaki Alan), ikili sınıflandırma modellerinin performansını karar eşiğinden bağımsız olarak değerlendiren temel bir metriktir. ROC eğrisi, modelin ürettiği olasılık tahminlerine farklı karar eşikleri uygulandığında elde edilen Gerçek Pozitif Oranı (TPR - Duyarlılık) ile Yanlış Pozitif Oranı (FPR - 1-Özgüllük) çiftlerini bir grafik üzerinde gösterir. AUC (Area Under the Curve) ise bu eğrinin altındaki alanı ifade eder ve modelin genel ayırt etme gücünü 0 ile 1 arasında tek bir sayıyla özetler. AUC değeri 1.0, modelin tüm pozitif ve negatif örnekleri mükemmel şekilde ayırt ettiğini; 0.5 ise modelin rastgele tahminle eşdeğer olduğunu gösterir. Pratikte 0.7-0.8 arası kabul edilebilir, 0.8-0.9 iyi, 0.9 üstü ise mükemmel performans olarak değerlendirilir. Sıfırın altındaki değerler modelin sistematik olarak yanlış sınıflandırma yaptığını işaret eder; bu nadir durum genellikle sınıf etiketlerinin ters çevrildiği anlamına gelir. ROC-AUC'nin en kritik avantajı dengesiz sınıf dağılımlarına karşı dayanıklı olmasıdır. Tıbbi tanı, dolandırıcılık tespiti ve kredi risk değerlendirmesi gibi nadir olayların baskın olduğu problemlerde doğruluk (accuracy) metriği yanıltıcı sonuçlar verebilirken, ROC-AUC gerçek model kalitesini doğru şekilde yansıtır. Örneğin, yüzde doksanı negatif sınıfa ait olan bir veri setinde, her örneği negatif tahmin eden bir model yüzde doksan doğruluk elde eder; ancak AUC skoru 0.5 olur ve modelin hiçbir ayırt etme gücü olmadığını açıkça ortaya koyar. Birden fazla modeli karşılaştırırken AUC skoru, hangi modelin tüm olası eşik değerleri boyunca daha tutarlı performans sergilediğini nesnel biçimde ortaya koyar. Bu özellik, eşik seçimini erteleyerek model seçim sürecini veriye dayalı kılar. Bununla birlikte, yüksek sınıf dengesizliğinin bulunduğu durumlarda Precision-Recall AUC (PR-AUC) tercih edilmesi önerilir; çünkü ROC-AUC negatif sınıftaki çok sayıda doğru tahmini ödüllendirerek gerçek pozitif başarısını gizleyebilir. Python ekosisteminde scikit-learn kütüphanesi, roc_auc_score() ve roc_curve() fonksiyonlarıyla bu metriğin hesaplanmasını kolaylaştırır. XGBoost, LightGBM ve sklearn pipeline'ları built-in AUC izleme destekler. Çok sınıflı problemlerde ise One-vs-Rest veya One-vs-One stratejisiyle makro ortalama AUC hesaplanabilir; bu yaklaşım her sınıfın ayırt etme gücünü ayrı ayrı raporlar.

arrow_forward