Data Mining (Veri Madenciliği)

#VeriBilimi #MakineOgrenmesi #BigData #Istatistik

Veri Madenciliği (Data Mining), istatistik, veritabanı sistemleri ve makine öğrenimi (AI) tekniklerini kullanarak, devasa büyüklükteki veri yığınlarının (Big Data) içindeki gizli kalıpları (paternler), kuralları ve ilişkileri insan müdahalesi olmadan otomatik olarak "kazıp" çıkarma işlemidir.

Veri Madenciliği (Data Mining), istatistik, veritabanı sistemleri ve makine öğrenimi (AI) tekniklerini kullanarak, devasa büyüklükteki veri yığınlarının (Big Data) içindeki gizli kalıpları (paternler), kuralları ve ilişkileri insan müdahalesi olmadan otomatik olarak "kazıp" çıkarma işlemidir. Amaç, ham veriyi ticari veya bilimsel bilgiye dönüştürmektir.

shopping_cart Bebek Bezi ve Bira Efsanesi

Veri madenciliğinin gücünü anlatan en meşhur hikayedir. Bir market zinciri milyonlarca fişi veri madenciliği (Association Rules) ile inceler. Algoritma şu gizli kuralı keşfeder: 'Cuma akşamları bebek bezi alan erkeklerin %80'i yanında bira da almaktadır.' İnsan zekasının veya normal SQL sorgusunun bulamayacağı bu kalıp sayesinde market bebek bezleri ile biraları yan yana raflara koyar ve satışları patlatır.

Temel Teknikleri

  • check_circle Birliktelik Kuralları (Association): Yukarıdaki örnekteki gibi 'Bunu alan bunu da alır' ilişkilerini keşfetmek.
  • check_circle Kümeleme (Clustering): Müşterileri yaş veya gelire göre değil, veri içindeki gizli davranışsal benzerliklerine göre gruplandırmak.
  • check_circle Sınıflandırma (Classification): Geçmiş veriye bakarak yeni gelen e-postanın spam kutusuna atılması gerektiğine karar vermek.

Veri Madenciliği Teknikleri

  • check_circle Sınıflandırma ve Kümeleme: Sınıflandırma: etiketli veriyle kategorize etme — müşteri terk tahmini, dolandırıcılık tespiti. Kümeleme: etiket olmadan doğal gruplar bulma — müşteri segmentasyonu, belge gruplama. K-means, DBSCAN, hiyerarşik kümeleme en yaygın algoritmalar.
  • check_circle İlişkilendirme Kuralları: Market basket analizi: hangi ürünler birlikte satın alınır? Apriori algoritması: sık geçen öğe kümeleri → ilişki kuralları. {ekmek, süt} → {yoğurt} — destek, güven, lift metrikleri. E-ticaret öneri ve raf düzenleme stratejilerinde yaygın.
  • check_circle Anomali Tespiti ve Örüntü Tanıma: Outlier analizi: normal davranıştan sapmayan örnekler tespit edilir. Kredi kartı sahteciliği, ağ saldırısı, endüstriyel sensör arızası. Örüntü tanıma: zaman serisi örüntüleri (mevsimsellik, trend, döngü). Sıralı örüntü madenciliği: kullanıcı davranış dizilerindeki tekrar eden yollar.
  • check_circle Metin Madenciliği (Text Mining): Yapılandırılmamış metinden bilgi çıkarımı. TF-IDF: belgedeki önemli anahtar kelimeler. Konu modelleme (LDA, BERTopic): belge koleksiyonundaki temalar. NER: metinden kişi, yer, organizasyon çıkarımı. Duygu analizi: ürün yorumu ve sosyal medya analizinde standart.

Veri Madenciliği Süreci ve Araçları

CRISP-DM metodolojisi: iş anlayışı → veri anlayışı → veri hazırlama → modelleme → değerlendirme → dağıtım. Araçlar: Python (pandas, scikit-learn, mlxtend), R (arules, cluster, text mining paketleri), Weka: görsel arayüzlü açık kaynak DM platformu. Büyük veri: Spark MLlib — dağıtık kümeleme ve sınıflandırma. Veri kalitesi: eksik veri, gürültü ve tutarsızlık madencilik sonucunu en çok etkileyen faktörler. Veri madenciliği vs. ML: DM keşif ve örüntü odaklı; ML tahmin ve genelleştirme odaklı — örtüşen ama farklı öncelikler.