Precision-Recall Nedir? Kesinlik ve Duyarlılık Ölçütleri (Kesinlik-Duyarlılık)

#ModelDegerlendirme #MakineOgrenimi #Siniflandirma #Metrik

Sınıflandırma modellerinin doğruluk ve kapsama gücünü birbirini tamamlayan iki açıdan ölçen temel değerlendirme ölçütleri.

Precision (Kesinlik) ve Recall (Duyarlılık), makine öğrenmesinde sınıflandırma modellerinin performansını değerlendirmek için kullanılan iki temel ölçüttür. Her ikisi de Confusion Matrix üzerinden türetilir ve birbirini tamamlayan iki farklı perspektifi yansıtır. Precision formülü: TP / (TP + FP). Model "Evet" dediği tahminler arasında gerçekten doğru olanların oranıdır. Örneğin spam tespitinde yüksek Precision, meşru e-postaların yanlışlıkla spam klasörüne atılmadığı anlamına gelir. Recall formülü: TP / (TP + FN). Tüm gerçek pozitif örnekler arasında modelin doğru yakaladıklarının oranıdır. Tıbbi teşhiste yüksek Recall, hasta bireylerin gözden kaçırılmadığını garantiler. Precision-Recall Dengesi (Trade-off): İki ölçüt birbiriyle ters orantılıdır. Model eşik değeri düşürüldüğünde daha fazla pozitif tahmin yapılır, Recall yükselirken Precision düşer. Eşik yükseltildiğinde tam tersi gerçekleşir. Hangi dengenin tercih edileceği, uygulamanın kaçırma maliyetine ve yanlış alarm maliyetine göre belirlenir. F1-Score ve AUC-PR: İki ölçütü tek değerde özetlemek için harmonik ortalamayı kullanan F1-Score tercih edilir: 2 × (Precision × Recall) / (Precision + Recall). Precision-Recall Eğrisi (PR Curve), farklı eşiklerdeki dengeyi görselleştirir; eğrinin altındaki alan (AUC-PR) özellikle dengesiz (imbalanced) veri kümelerinde ROC-AUC'a göre daha bilgilendirici bir genel performans göstergesidir. LLM ve RAG sistemlerinde Precision@k ile Recall@k metrikleri, geri çekilen ilk k belge arasında kaçının alaka düzeyinde olduğunu ve tüm alakalı belgelerin ne kadarının döndürüldüğünü ölçer. RAGAS ve TruLens gibi RAG değerlendirme çerçeveleri bu ölçütleri merkeze alır.

Precision ve Recall Ne Anlama Gelir?

Precision (Kesinlik) ve Recall (Duyarlılık), sınıflandırma modellerinin performansını iki farklı açıdan sorgular. Precision "Modelimin pozitif dediği şeyler gerçekten pozitif mi?" sorusunu yanıtlarken, Recall "Gerçek pozitiflerin ne kadarını yakaladım?" sorusunu yanıtlar. İkisi de Confusion Matrix'ten türer: True Positive (TP), False Positive (FP) ve False Negative (FN) değerleri üzerinden hesaplanır.

Precision-Recall Dengesi ve F1-Score

Precision ve Recall birbiriyle ters orantılıdır: model eşik değeri (threshold) düşürüldüğünde daha fazla pozitif tahmin üretilir, Recall artar ancak Precision düşer. Bu dengeyi yönetmek için F1-Score kullanılır: 2 × (P × R) / (P + R). F1, iki ölçütün harmonik ortalamasıdır ve biri diğerinden çok düşükse ceza puanlar. Precision-Recall Eğrisi (PR Curve) farklı eşiklerdeki dengeyi görselleştirir; AUC-PR ise genel modeli tek sayıyla özetler.

LLM ve RAG Sistemlerinde Precision-Recall

Büyük dil modelleri ve Retrieval-Augmented Generation (RAG) sistemlerinin değerlendirilmesinde klasik sınıflandırma ölçütleri adapt edilmiştir. Precision@k, geri çekilen ilk k belge arasında kaçının alaka düzeyinde olduğunu ölçerken, Recall@k tüm alakalı belgelerden kaçının geri getirildiğini gösterir. RAGAS çerçevesi Context Precision ve Context Recall metriklerini kullanarak RAG boru hattının retrieval kalitesini ölçer. Ayrıca LLM çıktılarında hallüsinasyon tespitinde de precision/recall metrikleri başvurulan ölçütlerdir.