Data Mining (Veri Madenciliği)

#VeriBilimi #MakineOgrenmesi #BigData #Istatistik

Büyük veri kümelerinde gizli kalıp ve anlamlı ilişkileri otomatik olarak keşfetme süreci.

Veri madenciliği (data mining), büyük veri kümelerinde gizli kalıpları, anlamlı ilişkileri ve öngörülebilir örüntüleri otomatik olarak keşfetme sürecidir. İstatistik, makine öğrenmesi ve veritabanı yönetiminin kesişiminde konumlanan bu alan; ham verinin işlenmesiyle iş kararlarına zemin hazırlayan eyleme dönüştürülebilir bilgiye ulaşmayı hedefler. Veri madenciliği süreci tipik olarak CRISP-DM (Cross-Industry Standard Process for Data Mining) çerçevesiyle yürütülür. Bu altı aşamalı model; iş anlayışı, veri anlayışı, veri hazırlama, modelleme, değerlendirme ve dağıtım adımlarını kapsar. Her aşama birbirini besler ve yinelemeli bir döngü oluşturur; gerçek projelerde modelleme aşamasında elde edilen bulgular çoğunlukla veri hazırlama adımına geri dönüşü zorunlu kılar. Temel veri madenciliği teknikleri şunlardır: sınıflandırma (classification) — yeni örnekleri bilinen kategorilere atama; kümeleme (clustering) — etiket olmaksızın benzer örnekleri gruplama; birliktelik kuralı öğrenme (association rule learning) — birlikte gözüklenen ögeleri keşfetme; anomali tespiti (anomaly detection) — aykırı değerleri bulma; regresyon — sayısal değerleri tahmin etme. Birliktelik kuralı öğrenme, perakende sektöründe sepet analizi (market basket analysis) olarak bilinir. Apriori ve FP-Growth algoritmaları bu alanda en yaygın kullanılan yöntemlerdir. Destek (support) ve güven (confidence) metrikleri, kuralların istatistiksel anlamlılığını ölçer; yüksek kaldıraç (lift) değeri ise bir kuralın tesadüften ibaret olmadığını gösterir. Veri madenciliği; perakende (ürün önerisi, çapraz satış), finans (kredi risk skoru, sahtecilik tespiti), sağlık (tanı desteği, hasta gruplama), telekomunikasyon (churn tahmini) ve e-ticaret (kişiselleştirme motorları) gibi alanlarda kritik iş değeri üretir. Veri madenciliği ile veri bilimi arasındaki fark ise pratik bağlamda önem taşır: veri madenciliği daha dar kapsamlı, kalıp keşfine odaklı klasik bir disiplindir; veri bilimi ise istatistik, yazılım mühendisliği ve alan uzmanlığını bir araya getiren daha geniş bir alandır. Her ikisi de Python ekosistemi (scikit-learn, pandas) ve R (arules, caret) ile uygulanabilir.

Veri Madenciliği ile Veri Bilimi Farkı

Veri madenciliği, ham vereden kalıp keşfetmeye odaklı klasik bir alandır. Veri bilimi ise veri madenciliği, istatistik, makine öğrenmesi ve alan uzmanlığını bir araya getiren daha geniş bir disiplindir. Pratikte bu iki kavram sık sık birbirinin yerine kullanılmaktadır; ancak veri madenciliği terimi daha çok yapılandırılmış veritabanlarında kalıp araştırması anlamında, veri bilimi ise uçtan uca analitik iş akışları için tercih edilir. Python ve scikit-learn ile başlamak her ikisine de kapı açar.

Sınıflandırma ve Kümeleme

Sınıflandırma, eğitim sırasında etiketli örnekler kullanır; yeni gelen örneği önceden belirlenmiş kategorilere atar. Karar ağaçları, Naive Bayes ve SVM popüler sınıflandırma modelleridir. Kümeleme ise etiketsiz çalışır; verinin kendisi yapısal grupları ortaya çıkarır. K-Means sabit küme sayısıyla hızlı sonuç verir, DBSCAN ise yoğunluk tabanlı olup gürültülü verilerde daha sağlamdır. Hiyerarşik kümeleme ise farklı granülaritelerde görselleştirme (dendrogram) sunar.

Birliktelik Kuralı Öğrenme

Apriori algoritması, sıklıkla birlikte gözüklenen ögeleri destek (support) metriğiyle belirler; birlikte görünme yüzdesini karşılamayan kural adaylarını eler. Güven (confidence) ise A gelen örnekte B'nin ne sıklıkla göründüğünü ölçer. FP-Growth, Apriori'den çok daha verimlidir; büyük veri kümelerinde tek geçişte sık öge kümelerini keşfeder. Lift değeri 1'den büyükse kural rastlantısal değildir; perakende çapraz satış stratejilerinin temelini bu metrik oluşturur.

Uygulama Alanları

  • check_circle Perakende ve E-ticaret: Sepet analizi ile çapraz satış; kullanıcı davranışına dayalı öneri sistemleri
  • check_circle Finans: Kredi risk skoru, sahtecilik tespiti, piyasa anomali izleme
  • check_circle Sağlık: Hastalık tanı desteği, hasta gruplama ve klinik karar destek sistemleri
  • check_circle Telekomunikasyon: Müşteri kaybı (churn) tahmini ve erken uyarı sistemi tasarımı
  • check_circle Siber Güvenlik: Ağ trafiği anomali tespiti, saldırı imzası öğrenme

Churn Tahmini Örneği

Telekomunikasyon sektöründe müşteri kaybı (churn) tahmini klasik bir veri madenciliği uygulamasıdır. Geçmiş kullanım verileri, şikayet kayıtları ve sözleşme bitiş tarihleri özelliklere dönüştürülür; ayrılacak ve kalacak müşteri örnekleri ile sınıflandırıcı eğitilir. Model, yüksek churn riski taşıyan müşterileri önceden belirleyerek pazarlama ekibinin proaktif müdahale planlamasına olanak tanır. Hassasiyet (precision) ve geri çağırma (recall) dengesi bu tür asimetrik sınıflarda kritik ölçüttür.

Sık Sorulan Sorular

  • check_circle Veri madenciliği mi veri bilimi mi öğrenmeli? İkisi çok ilişkili; Python ve scikit-learn ile başlamak her ikisine de kapı açar. Veri madenciliği akademik ve kurumsal, veri bilimi daha geniş endüstri terimidir.
  • check_circle CRISP-DM zorunlu mu? Zorunlu değil; ancak yapılandırılmış bir proje çerçevesi sağladığı için ekip çalışmalarında ve müşteri projelerinde yaygın referanstır.
  • check_circle Kümeleme ile sınıflandırma farkı nedir? Sınıflandırma etiketli veri gerektirir (denetimli); kümeleme etiketsiz çalışır (denetimsiz) ve grupları veri kendi içindeki benzerlikten bulur.
  • check_circle Birliktelik kuralı hangi lift değerinde anlamlı? Lift > 1 pozitif ilişki olduğunu gösterir; pratik eşik olarak lift ≥ 1.5 genellikle kullanılır, ancak iş bağlamına göre değişir.