tag aykırı-değer
Outlier Detection (Aykırı Değer Tespiti)
Bu sayfada aykırı-değer (Outlier Detection (Aykırı Değer Tespiti)) etiketi ile işaretlenmiş 2 yapay zeka kavramını bulabilirsiniz.
Aykırı değer tespiti (outlier detection ya da anomaly detection), bir veri seti içinde normal davranıştan anormal biçimde sapan gözlemleri otomatik olarak tanımlayan makine öğrenmesi ve istatistik tekniklerinin bütünüdür. Aykırı değerler üç kaynaktan doğabilir: veri toplama ya da ölçüm hataları; nadir ama gerçek olaylar (dolandırıcılık işlemi, hastalık belirtisi); veya ilginç uç noktalar (pazar fırsatı, keşif). Kaynağı doğru saptamak uygulanacak yöntemi belirler. İstatistiksel yöntemler en basit ve yorumlanabilir yaklaşımlardır. IQR (Interquartile Range) yöntemi, birinci ve üçüncü çeyrekler arasındaki aralığın 1.5 katının dışında kalan değerleri aykırı sayar; tek değişkenli ve normal dağılıma yakın verilerde çalışır. Z-skoru, bir gözlemin ortalamastan standart sapma cinsinden uzaklığını ölçer; |z| > 3 eşiği sıkça kullanılır. Bu yöntemler çok boyutlu veri ve doğrusal olmayan dağılımlarda yetersiz kalır. Yoğunluk tabanlı yöntemler yerel komşuluk ilişkilerini kullanır. LOF (Local Outlier Factor, 2000), bir noktanın yerel yoğunluğunu komşularının yoğunluğuyla karşılaştırır; çevresine kıyasla boşlukta kalan noktalar yüksek LOF skoru alır. DBSCAN (Density-Based Spatial Clustering), minimum komşu sayısını karşılayamayan noktaları "gürültü" yani aykırı değer olarak etiketler; küme şeklini önceden belirtme zorunluluğu yoktur. Makine öğrenmesi tabanlı yöntemler yüksek boyutlu veride öne çıkar. Isolation Forest (Liu ve ark., 2008), rastgele özellik ve bölüm noktaları seçerek veriyi yinelemeli böler; az örnekli aykırı değerler ortalamadan çok daha kısa yolda izole edildiğinden ağaç derinliği kısa olur. Bu basit sezgi ölçeklenebilir ve paralel hesaplamaya uygundur. One-Class SVM, yalnızca normal sınıfın verisinden sıkı bir karar sınırı öğrenir; bu sınırın dışına düşen noktaları anormal kabul eder. Autoencoder tabanlı yöntemler ise giriş verisini düşük boyutlu gizli uzayda yeniden oluşturur; yeniden yapılandırma hatası (reconstruction error) yüksek olan örnekler modelin öğrendiği "normal" desenden uzaklaşmıştır. Uygulama alanları son derece geniştir: bankacılıkta kredi kartı dolandırıcılığı tespiti, endüstriyel IoT'da makine arıza öngörüsü (predictive maintenance), ağ güvenliğinde siber saldırı tespiti, sağlıkta nadir hastalık tanısı ve perakendede envanter sahtekarlığı bu alanların öne çıkanlarıdır. Denetlenmemiş (unsupervised) senaryolarda etiketli veri gerektirmeyen Isolation Forest ve LOF tercih edilirken, az sayıda bilinen anormallik örneği varsa yarı-denetimli (semi-supervised) yaklaşımlar değer katar.
Outlier Detection (Aykırı Değer Tespiti)
Aykırı değer tespiti (outlier detection ya da anomaly detection), bir veri seti içinde normal davranıştan anormal biçimde sapan gözlemleri otomatik olarak tanımlayan makine öğrenmesi ve istatistik tekniklerinin bütünüdür. Aykırı değerler üç kaynaktan doğabilir: veri toplama ya da ölçüm hataları; nadir ama gerçek olaylar (dolandırıcılık işlemi, hastalık belirtisi); veya ilginç uç noktalar (pazar fırsatı, keşif). Kaynağı doğru saptamak uygulanacak yöntemi belirler. İstatistiksel yöntemler en basit ve yorumlanabilir yaklaşımlardır. IQR (Interquartile Range) yöntemi, birinci ve üçüncü çeyrekler arasındaki aralığın 1.5 katının dışında kalan değerleri aykırı sayar; tek değişkenli ve normal dağılıma yakın verilerde çalışır. Z-skoru, bir gözlemin ortalamastan standart sapma cinsinden uzaklığını ölçer; |z| > 3 eşiği sıkça kullanılır. Bu yöntemler çok boyutlu veri ve doğrusal olmayan dağılımlarda yetersiz kalır. Yoğunluk tabanlı yöntemler yerel komşuluk ilişkilerini kullanır. LOF (Local Outlier Factor, 2000), bir noktanın yerel yoğunluğunu komşularının yoğunluğuyla karşılaştırır; çevresine kıyasla boşlukta kalan noktalar yüksek LOF skoru alır. DBSCAN (Density-Based Spatial Clustering), minimum komşu sayısını karşılayamayan noktaları "gürültü" yani aykırı değer olarak etiketler; küme şeklini önceden belirtme zorunluluğu yoktur. Makine öğrenmesi tabanlı yöntemler yüksek boyutlu veride öne çıkar. Isolation Forest (Liu ve ark., 2008), rastgele özellik ve bölüm noktaları seçerek veriyi yinelemeli böler; az örnekli aykırı değerler ortalamadan çok daha kısa yolda izole edildiğinden ağaç derinliği kısa olur. Bu basit sezgi ölçeklenebilir ve paralel hesaplamaya uygundur. One-Class SVM, yalnızca normal sınıfın verisinden sıkı bir karar sınırı öğrenir; bu sınırın dışına düşen noktaları anormal kabul eder. Autoencoder tabanlı yöntemler ise giriş verisini düşük boyutlu gizli uzayda yeniden oluşturur; yeniden yapılandırma hatası (reconstruction error) yüksek olan örnekler modelin öğrendiği "normal" desenden uzaklaşmıştır. Uygulama alanları son derece geniştir: bankacılıkta kredi kartı dolandırıcılığı tespiti, endüstriyel IoT'da makine arıza öngörüsü (predictive maintenance), ağ güvenliğinde siber saldırı tespiti, sağlıkta nadir hastalık tanısı ve perakendede envanter sahtekarlığı bu alanların öne çıkanlarıdır. Denetlenmemiş (unsupervised) senaryolarda etiketli veri gerektirmeyen Isolation Forest ve LOF tercih edilirken, az sayıda bilinen anormallik örneği varsa yarı-denetimli (semi-supervised) yaklaşımlar değer katar.
Keşifsel Veri Analizi (EDA) (EDA)
Keşifsel Veri Analizi (Exploratory Data Analysis, EDA), ham veriden anlam çıkarmanın ilk ve en kritik adımıdır. John Tukey'in 1977'de kaleme aldığı aynı adlı eseriyle sistematik bir disiplin hâline gelen EDA, veri bilimcilerin bir veri kümesini modellemeden veya hipotez testine sokmadan önce derinlemesine incelediği keşifsel süreçtir. EDA'nın temel amacı şu soruları yanıtlamaktır: Veri nasıl dağılmış? Hangi değişkenler birbiriyle ilişkili? Aykırı değerler (outlier) var mı ve bunlar gerçek mi yoksa veri giriş hatası mı? Eksik değerler (missing values) hangi örüntüde oluşmuş? Hangi özellikler hedef değişkeni en çok etkiliyor? Bu soruları yanıtlamak için EDA iki temel yöntem sınıfına başvurur. Nicel yöntemler arasında merkezi eğilim ölçüleri (ortalama, medyan, mod), yayılım ölçüleri (standart sapma, varyans, çeyrekler arası aralık), çarpıklık ve basıklık katsayıları yer alır. Nitel/görsel yöntemler ise histogram, kutu grafiği (box plot), yoğunluk grafiği, dağılım matrisi (pair plot) ve korelasyon ısı haritası gibi araçlarla veriyi sezgisel biçimde anlaşılır kılar. Modern veri bilimi ekosisteminde EDA, Python'da Pandas, NumPy, Matplotlib, Seaborn ve Plotly kütüphaneleriyle; R'de ggplot2 ve dplyr ile yürütülür. Pandas Profiling ve ydata-profiling gibi otomatik EDA araçları tek bir komutla kapsamlı raporlar üretir. AutoEDA yaklaşımları büyük veri kümelerinde zaman tasarrufu sağlasa da deneyimli bir veri bilimcinin yorumunun yerini alamaz. EDA sürecinde izlenen tipik adımlar şöyle sıralanabilir: önce veri yapısı incelenir (shape, dtypes, head); ardından betimleyici istatistikler hesaplanır (describe); eksik değer örüntüleri ve oranları belirlenir; tek değişkenli dağılımlar görselleştirilir; iki değişkenli ilişkiler scatter plot ve korelasyon matrisiyle keşfedilir; son olarak çok değişkenli örüntüler ve gruplararası farklılıklar araştırılır. Bu adımlar doğrusal değil yinelemeli bir döngü oluşturur; her bulgu yeni sorular doğurur. EDA, özellik mühendisliği (feature engineering), veri temizleme ve model seçimi kararları üzerinde doğrudan etkilidir. Kötü anlaşılmış veriyle kurulan modeller ne kadar sofistike olursa olsun güvenilmez sonuçlar üretir; bu nedenle EDA 'çöp girer, çöp çıkar' ilkesinin pratikte uygulandığı kalkan katmanıdır. Regresyon, sınıflandırma veya kümeleme modellerinden önce mutlaka gerçekleştirilmesi gereken bu aşama, hem modelin doğruluğunu hem de yorumlanabilirliğini doğrudan şekillendirir.