Outlier Detection Nedir? Aykırı Değer Tespiti (Aykırı Değer Tespiti)

#aykiri-deger #anomali-tespiti #isolation-forest #lof #veri-bilimi

Veri setindeki normal davranıştan anormal biçimde sapan gözlemleri otomatik olarak tanımlayan istatistik ve makine öğrenmesi tekniklerinin bütünü; dolandırıcılık tespiti, ağ güvenliği ve predictive maintenance'ta yaygın kullanılır.

Aykırı değer tespiti (outlier detection ya da anomaly detection), bir veri seti içinde normal davranıştan anormal biçimde sapan gözlemleri otomatik olarak tanımlayan makine öğrenmesi ve istatistik tekniklerinin bütünüdür. Aykırı değerler üç kaynaktan doğabilir: veri toplama ya da ölçüm hataları; nadir ama gerçek olaylar (dolandırıcılık işlemi, hastalık belirtisi); veya ilginç uç noktalar (pazar fırsatı, keşif). Kaynağı doğru saptamak uygulanacak yöntemi belirler. İstatistiksel yöntemler en basit ve yorumlanabilir yaklaşımlardır. IQR (Interquartile Range) yöntemi, birinci ve üçüncü çeyrekler arasındaki aralığın 1.5 katının dışında kalan değerleri aykırı sayar; tek değişkenli ve normal dağılıma yakın verilerde çalışır. Z-skoru, bir gözlemin ortalamastan standart sapma cinsinden uzaklığını ölçer; |z| > 3 eşiği sıkça kullanılır. Bu yöntemler çok boyutlu veri ve doğrusal olmayan dağılımlarda yetersiz kalır. Yoğunluk tabanlı yöntemler yerel komşuluk ilişkilerini kullanır. LOF (Local Outlier Factor, 2000), bir noktanın yerel yoğunluğunu komşularının yoğunluğuyla karşılaştırır; çevresine kıyasla boşlukta kalan noktalar yüksek LOF skoru alır. DBSCAN (Density-Based Spatial Clustering), minimum komşu sayısını karşılayamayan noktaları "gürültü" yani aykırı değer olarak etiketler; küme şeklini önceden belirtme zorunluluğu yoktur. Makine öğrenmesi tabanlı yöntemler yüksek boyutlu veride öne çıkar. Isolation Forest (Liu ve ark., 2008), rastgele özellik ve bölüm noktaları seçerek veriyi yinelemeli böler; az örnekli aykırı değerler ortalamadan çok daha kısa yolda izole edildiğinden ağaç derinliği kısa olur. Bu basit sezgi ölçeklenebilir ve paralel hesaplamaya uygundur. One-Class SVM, yalnızca normal sınıfın verisinden sıkı bir karar sınırı öğrenir; bu sınırın dışına düşen noktaları anormal kabul eder. Autoencoder tabanlı yöntemler ise giriş verisini düşük boyutlu gizli uzayda yeniden oluşturur; yeniden yapılandırma hatası (reconstruction error) yüksek olan örnekler modelin öğrendiği "normal" desenden uzaklaşmıştır. Uygulama alanları son derece geniştir: bankacılıkta kredi kartı dolandırıcılığı tespiti, endüstriyel IoT'da makine arıza öngörüsü (predictive maintenance), ağ güvenliğinde siber saldırı tespiti, sağlıkta nadir hastalık tanısı ve perakendede envanter sahtekarlığı bu alanların öne çıkanlarıdır. Denetlenmemiş (unsupervised) senaryolarda etiketli veri gerektirmeyen Isolation Forest ve LOF tercih edilirken, az sayıda bilinen anormallik örneği varsa yarı-denetimli (semi-supervised) yaklaşımlar değer katar.

Aykırı Değer Tespiti Nedir?

Aykırı değer tespiti (outlier detection), bir veri seti içinde normal davranıştan anormal biçimde sapan gözlemleri otomatik olarak tanımlayan teknikler bütünüdür. Aykırı değerler üç kaynaktan doğabilir: veri toplama veya ölçüm hataları; nadir ama gerçek olaylar (dolandırıcılık, hastalık belirtisi); ilginç uç noktalar (keşif, fırsatlar). 'Outlier detection' terimi genellikle veri ön işleme ve temizleme bağlamında, 'anomaly detection' ise gerçek zamanlı operasyonel sistemlerde (ağ güvenliği, sanayi IoT) kullanılır — pratikte örtüşen kavramlardır. Denetlenmemiş (unsupervised) yaklaşımlar etiketli veri gerektirmeden çalışır; bu özellik aykırı değer tespitini gerçek dünya uygulamaları için özellikle değerli kılar.

Üç Temel Yöntem Kategorisi

📐 İstatistiksel Yöntemler

IQR (Interquartile Range): birinci ve üçüncü çeyrekler arasındaki aralığın 1.5 katı dışında kalan değerler aykırı sayılır. Z-skoru: |z|>3 eşiği yaygın kuraldır. Gaussian Mixture Model: olasılık dağılımına uymayan noktaları anormal tanımlar. Bu yöntemler tek değişkenli veride hızlı ve yorumlanabilir; yüksek boyutlarda yetersiz kalır.

🔵 Yoğunluk Tabanlı Yöntemler

LOF (Local Outlier Factor, 2000): bir noktanın yerel yoğunluğunu komşularıyla karşılaştırır; çevresine göre boşlukta kalan noktalar yüksek skor alır. DBSCAN: minimum komşu sayısını karşılayamayan 'gürültü' noktaları aykırı değer olarak etiketler. Küme şeklini önceden belirtme gereği yoktur; karmaşık geometrilere uyum sağlar.

🌲 ML Tabanlı Yöntemler

Isolation Forest (2008): rastgele bölmeler ile veriyi izole eder; kısa yolda izole edilenler aykırıdır. One-Class SVM: yalnızca normal sınıftan öğrenerek sınır çizer. Autoencoder: yeniden yapılandırma hatası yüksek = anormal. Bu yöntemler yüksek boyutlu ve büyük veri setlerinde ölçeklenebilir.

Isolation Forest: Sezgi ve Uygulama

Isolation Forest, Liu ve arkadaşlarının 2008'de önerdiği ve yüksek boyutlu verilerde en sık tercih edilen denetimsiz aykırı değer tespit algoritmasıdır. Temel sezgisi şaşırtıcı derecede basittir: rasgelece seçilen bir özellik ve bölüm noktasıyla veriyi yinelemeli böldüğünüzde, az komşuya sahip aykırı değerler ortalama veri noktalarından çok daha kısa bir ağaç yolunda izole edilir. Bu kısa yol uzunluğu aykırılık skoru olarak kullanılır. Isolation Forest, mesafe veya yoğunluk hesaplamadığı için büyük veri setlerinde hızlı çalışır, paralel işlemeye uygundur ve varsayılan hiperparametre değerleriyle bile iyi sonuç üretir. Scikit-learn'de `IsolationForest(contamination=0.05)` ile tek satırda kullanılabilir; `contamination` parametresi veri setindeki tahmini aykırı değer oranını belirtir.

Uygulama Alanları

Outlier detection, yüksek riskli karar sistemlerinde kritik rol oynar. Bankacılık ve fintech'te kredi kartı dolandırıcılığı tespiti, işlem başına milisaniyeler içinde Isolation Forest veya autoencoder tabanlı modeller çalıştırır. Endüstriyel IoT'da titreşim, sıcaklık ve güç tüketimi sensörleri üzerindeki anormallikler makine arızasını öngörmek (predictive maintenance) için izlenir; bu sayede planlanmamış duruş süreleri azalır. Siber güvenlikte ağ trafiği analizinde LOF ve autoencoder tabanlı sistemler sıfır-gün saldırılarını normal trafik örüntüsünden saparak tespit eder. Sağlıkta EHR (elektronik sağlık kaydı) verilerinde nadir hastalık belirtilerini veya beklenmedik ilaç etkileşimlerini işaretlemek için bu algoritmalar klinisyenlerin dikkatini yönlendirmede giderek yaygınlaşmaktadır.

Doğru Yöntem Nasıl Seçilir?

Veri boyutu düşükse ve dağılım yaklaşık normalse IQR veya Z-skoru yeterli olabilir. Değişken sayısı onlarla ifade ediliyorsa LOF veya DBSCAN yerel yoğunluk özelliklerini yakalamaya uygundur ancak hesaplama karmaşıklığı O(n²) olduğundan büyük veri setlerinde yavaşlar. Yüzlerce veya binlerce özellik varsa Isolation Forest ölçeklenebilir ilk seçenektir. Etiketli anormallik örnekleri mevcutsa, One-Class SVM veya yarı-denetimli autoencoder daha düşük yanlış alarm oranı üretir. Gerçek zamanlı akış verisinde aykırı değer tespiti için RRCF (Robust Random Cut Forest) ve veri akışına uyarlanan online versiyonlar tercih edilir. Model performansını değerlendirmek için etiketli veri yoksa Precision at K ve AUC-ROC hesaplanabilir; etiketli veri varsa F1-skoru, özellikle düzensiz sınıf dağılımında belirleyici metrik olur.

Sık Sorulan Sorular

  • check_circle Outlier detection ile anomaly detection arasındaki fark nedir?: Terimler çoğu zaman birbirinin yerine kullanılsa da nüans vardır. Outlier detection genellikle veri ön işleme ve temizleme bağlamını vurgular: modeli eğitmeden önce veri kalitesini artırma amacı taşır. Anomaly detection ise operasyonel sistemlerde gerçek zamanlı izleme amacıyla kullanılır — ağ güvenliği, sanayi izleme. Pratikte kullanılan algoritmalar büyük ölçüde aynıdır.
  • check_circle Isolation Forest contamination parametresi ne anlama gelir?: contamination, veri setindeki tahmini aykırı değer oranını belirtir (örn. 0.05 = %5). Bu değer aykırılık skor eşiğini kalibre eder: çok düşük ayarlanırsa gerçek aykırılar kaçırılır, çok yüksek ayarlanırsa normal noktalar yanlış pozitif olarak işaretlenir. Gerçek aykırı oranı bilinmiyorsa 'auto' seçeneği eğitim verisinden tahmin eder.
  • check_circle LOF yüksek boyutlu veride neden sorunlu?: LOF, noktalar arası mesafeleri karşılaştırarak yerel yoğunluk hesaplar. Yüksek boyutlarda tüm noktalar birbirine benzer uzaklıkta kümelenir — 'boyutun laneti' olarak bilinen bu fenomen LOF'un yoğunluk ayrımını bulanıklaştırır. 50+ özellik için Isolation Forest veya autoencoder gibi boyut indirgemeyi içselleştiren yöntemler tercih edilmelidir.
  • check_circle Etiketlenmemiş veriyle model performansı nasıl ölçülür?: Etiket yoksa doğrudan doğruluk hesaplanamaz. Pratik alternatifler: (1) küçük bir alt örnek manuel etiketleyip Precision@K hesaplamak; (2) farklı algoritma ve hiperparametre kombinasyonlarını agreement (mutabakat) oranıyla karşılaştırmak; (3) alan uzmanı görüşüyle en yüksek skorlu örnekleri gözden geçirmek. Etiketli bir referans veri kümesi (KDDCup99, UNSW-NB15) üzerinde kıyaslama da yaygın bir yaklaşımdır.
  • check_circle Autoencoder tabanlı anomali tespiti nasıl çalışır?: Model yalnızca 'normal' veriyle eğitilir: giriş verisini düşük boyutlu gizli uzayda kodlar ve yeniden oluşturur. Normal örnekler düşük yeniden yapılandırma hatası üretir çünkü model bu örüntüleri ezberler. Test aşamasında yeniden yapılandırma hatası bir eşiğin üzerindeyse o örnek 'anomali' olarak işaretlenir. Görüntü, zaman serisi ve sensör verisi için özellikle etkilidir; CNN veya LSTM encoder ile birleştirilerek karmaşık yapılar modellenebilir.