Korelasyon Analizi

#VeriBilimi #MakineOgrenmesi #Algoritma #Matematik

İki veya daha fazla değişken arasındaki istatistiksel ilişkinin yönünü ve gücünü ölçen veri analizi yöntemi.

Korelasyon analizi, iki ya da daha fazla değişken arasındaki ilişkinin yönünü ve şiddetini istatistiksel olarak ölçen temel bir veri madenciliği ve analitik yöntemidir. Sonuç olarak elde edilen korelasyon katsayısı, -1 ile +1 arasında bir değer alır: +1 mükemmel pozitif ilişkiyi (bir değişken artarken diğeri de artar), -1 mükemmel negatif ilişkiyi (bir değişken artarken diğeri azalır) ve 0 ise değişkenler arasında doğrusal bir bağ olmadığını gösterir. **Temel Yöntemler** - **Pearson Korelasyonu:** Sürekli, normal dağılımlı veriler için uygundur. Değişkenler arasındaki doğrusal ilişkiyi ölçer. Korelasyon katsayısının mutlak değeri 0.7'nin üzerindeyse güçlü, 0.3–0.7 arasındaysa orta, 0.3'ün altındaysa zayıf ilişki olarak yorumlanır. - **Spearman Sıra Korelasyonu:** Sıralı (ordinal) veriler veya normal dağılım varsayımlarının karşılanamadığı sürekli veriler için tercih edilir. Değişkenlerin sıralı pozisyonlarına bakarak ilişkiyi ölçer; bu sayede aykırı değerlere karşı Pearson'a göre çok daha dayanıklıdır. - **Kendall Tau:** Küçük örneklem boyutlarında ve çok sayıda sıra eşitliği olan durumlarda Spearman'a alternatif olarak kullanılır. **Makine Öğrenmesinde Kullanım Alanları** Korelasyon analizi, makine öğrenmesi pipeline'larının ön işleme aşamasında kritik bir rol oynar: 1. **Özellik Seçimi (Feature Selection):** Birbirleriyle yüksek korelasyona sahip özellikler (çoklu doğrusallık / multicollinearity) tespit edilir ve fazlalık olanlar elenerek modelin aşırı öğrenmesi (overfitting) önlenir. 2. **Keşifsel Veri Analizi (EDA):** Korelasyon matrisi görselleştirmeleri (ısı haritaları), değişkenler arasındaki karmaşık ilişki ağını hızla anlamayı kolaylaştırır. 3. **Öneri Sistemleri:** Collaborative filtering algoritmalarında kullanıcı-öğe benzerliklerini hesaplamak için korelasyon ölçütleri kullanılır. 4. **Zaman Serisi Analizi:** Farklı zaman gecikmelerindeki değişkenler arasındaki ilişkiyi ortaya koymak için otokorelasyon ve çapraz korelasyon analizleri uygulanır. **Korelasyon ≠ Nedensellik** En sık yapılan hatalardan biri, korelasyonu nedensellikle karıştırmaktır. İki değişken arasında güçlü bir korelasyon gözlemlenmesi, birinin diğerine sebep olduğunu kanıtlamaz; her ikisini de etkileyen gizli bir üçüncü değişken (confounding factor) söz konusu olabilir. Bu nedenle korelasyon analizi bulguları, her zaman nedensellik çıkarımı (causal inference) yöntemleriyle desteklenmelidir.

Korelasyon Analizine Giriş

Korelasyon analizi iki ya da daha fazla değişken arasındaki ilişkinin yönünü ve şiddetini istatistiksel olarak ölçer. Korelasyon katsayısı −1 ile +1 arasında değer alır: +1 mükemmel pozitif ilişkiyi, −1 mükemmel negatif ilişkiyi, 0 ise doğrusal bir bağın bulunmadığını gösterir. Makine öğrenmesinde özellik seçimi, biyomedikal araştırmalarda risk faktörü tespiti ve finans dünyasında portföy çeşitlendirmesinde temel keşifsel analiz aracı olarak yer alır. En kritik uyarı: korelasyon nedensellik (causation) değildir; iki değişkenin birlikte değişmesi, birinin diğerine yol açtığı anlamına gelmez.

Başlıca Korelasyon Yöntemleri

  • check_circle Pearson Korelasyon Katsayısı: Sürekli, normal dağılımlı değişkenler arasındaki doğrusal ilişkiyi ölçer. En yaygın kullanılan korelasyon türüdür; iki değişkenin birlikte ne kadar sistematik değiştiğini standartlaştırılmış kovaryans olarak ifade eder.
  • check_circle Spearman Sıralama Korelasyonu: Ham değerler yerine sıralama değerlerini kullanır; normallik varsayımı gerektirmez, aykırı değerlere karşı dayanıklıdır. Ordinal (sıralı) ve çarpık dağılımlı veriler için uygundur.
  • check_circle Kendall Tau: Sıra uyumunu ve tutarsızlığı sayar; küçük örneklem boyutlarında Spearman'dan daha sağlam tahmin üretir. Bağlı (tied) değerlerin çok olduğu veri kümelerinde tercih edilir.
  • check_circle Point-Biserial Korelasyon: Bir sürekli değişken ile bir ikili değişken arasındaki ilişkiyi ölçer; klinik araştırmalarda hastalık varlığı/yokluğu ile biyobelirteç arasındaki ilişkide kullanılır.

Korelasyon Matrisini Yorumlamak

  • check_circle Katsayı Aralıkları: |r| > 0.7 güçlü, 0.4-0.7 orta, 0.1-0.4 zayıf, <0.1 ihmal edilebilir korelasyon kabul edilir. Bu eşikler alana göre değişir; sosyal bilimlerde 0.3 anlamlı sayılırken mühendislikte 0.9 bile yetersiz bulunabilir.
  • check_circle p-değeri ve İstatistiksel Anlamlılık: Büyük veri kümelerinde küçük fakat istatistiksel olarak anlamlı korelasyonlar pratikte önemsiz olabilir; hem etki büyüklüğü (|r|) hem de p-değeri birlikte yorumlanmalıdır.
  • check_circle Isı Haritası (Heatmap) Görselleştirmesi: Çok değişkenli veri kümelerinde korelasyon matrisi ısı haritasıyla gösterilir; kırmızı/mavi renk skalası ilişki yönünü, yoğunluğu şiddetini temsil eder. Seaborn veya Plotly ile standart araçtır.

Makine Öğrenmesinde Kullanımı

  • check_circle Özellik Seçimi: Hedef değişkenle düşük korelasyonlu özellikler çıkarılır (düşük bilgi taşır); birbirleriyle yüksek korelasyonlu özellikler arasından biri tutulur (multicollinearity azaltma).
  • check_circle Çoklu Doğrusallık (Multicollinearity) Tespiti: Doğrusal regresyonda birbirine çok yakın korelasyon gösteren değişkenler katsayı tahmincilerini kararsız kılar. VIF (Variance Inflation Factor) ile birlikte korelasyon matrisinden tespit edilir.
  • check_circle Veri Kalitesi Denetimi: Neredeyse mükemmel korelasyon (|r| ≈ 1) gösteren iki özellik genellikle veri sızıntısının (data leakage) belirtisidir; biri diğerinin gürültülü kopyası olabilir.
  • check_circle Öneri Sistemleri: Kullanıcı-öğe matrisinde benzer kullanıcıları veya öğeleri bulmak için Pearson veya kosinüs benzerliği kullanılır; temelde korelasyon tabanlı işbirlikçi filtrelemedir.

Yaygın Hatalar ve Uyarılar

  • check_circle Korelasyon ≠ Nedensellik: Dondurma satışı ile boğulma vakaları pozitif korelasyon gösterir; gerçek neden sıcak hava mevsimidir. Nedensellik için randomize kontrollü deney veya araçsal değişken analizi gerekir.
  • check_circle Saçma (Sahte) Korelasyon: Tamamen ilgisiz değişkenler küçük örneklemlerde yüksek korelasyon gösterebilir. Çok sayıda değişken test edildiğinde Bonferroni düzeltmesi gibi çoklu karşılaştırma düzeltmeleri uygulanmalıdır.
  • check_circle Doğrusal Olmayan İlişkiler: Pearson yalnızca doğrusal ilişkileri ölçer; U şeklindeki bir ilişki Pearson r=0 verebilirken ilişki gerçekten güçlü olabilir. Scatterplot ile görsel denetim zorunludur.

Sık Sorulan Sorular

  • check_circle Pearson ve Spearman arasında hangisini seçmeliyim? Veriler sürekli ve yaklaşık normal dağılımlıysa Pearson; normallik varsayımı sağlanamıyorsa, ordinal veri veya aykırı değer varsa Spearman. Şüphe durumunda her ikisini de raporlayıp karşılaştırmak iyi pratiktir.
  • check_circle Korelasyon sıfır olunca iki değişken birbirinden bağımsız mıdır? Pearson r=0 yalnızca doğrusal ilişki olmadığını gösterir; güçlü ancak doğrusal olmayan ilişkiler varken sıfır verebilir. Bağımsızlık korelasyonsuzluktan daha güçlü bir kavramdır ve ki-kare veya Mutual Information gibi testlerle incelenmelidir.
  • check_circle Makine öğrenmesinde korelasyon ne zaman özellik seçimi için yeterlidir? Basit doğrusal modeller için iyi bir başlangıç noktasıdır; ancak ağaç tabanlı modeller veya derin öğrenme için özellik önemi, SHAP veya mutual information tabanlı seçim daha güvenilir bilgi sağlar.
  • check_circle Korelasyon matrisinin boyutu çok büyükse ne yapmalıyım? Eşik altı korelasyonları filtrele (|r| < 0.3 gibi), hiyerarşik kümeleme ile grupla ve PCA gibi boyut indirgeme sonrasında azaltılmış uzayda korelasyon hesapla. Çok büyük matrislerde örnekleme de uygulanabilir.
  • check_circle Zaman serisi verisinde korelasyon nasıl yorumlanır? İki trend içeren zaman serisinin yanlış pozitif korelasyon üretmesi (spurious regression) riskine karşı veriler durağanlaştırılmalı (differencing) ve otokorelasyon denetlenmelidir. Çapraz korelasyon (cross-correlation) farklı gecikmeler için ilişkiyi analiz eder.