tag unsupervised-learning
Association Rule Mining (Birliktelik Kuralı Madenciliği)
Bu sayfada unsupervised-learning (Association Rule Mining (Birliktelik Kuralı Madenciliği)) etiketi ile işaretlenmiş 2 yapay zeka kavramını bulabilirsiniz.
Birliktelik kuralı madenciliği (association rule mining), büyük işlem veritabanlarında öğeler arasındaki anlamlı birlikte-oluşum örüntülerini keşfeden denetimsiz bir makine öğrenmesi yöntemidir. Temel çıktısı "Eğer A ise B" biçiminde ifade edilen kurallar bütünüdür; bu kurallar destek (support), güven (confidence) ve kaldıraç (lift) metrikleriyle değerlendirilir. Destek, bir kural ya da öğe kümesinin tüm işlemler içindeki görülme sıklığını gösterir; çok düşük destekli kurallar istatistiksel açıdan anlamsız kabul edilir. Güven, A gerçekleştiğinde B'nin de gerçekleşme olasılığını, yani öngörücü gücü ölçer. Lift ise A ve B'nin bağımsız olması durumuna göre gözlemlenen birlikteliğin kaç kat daha güçlü olduğunu hesaplar: lift değeri birden büyükse pozitif ilişki, birden küçükse negatif ilişki vardır, bire eşitse iki öğe birbirinden bağımsızdır. Temel algoritmalar üç ana grupta toplanır. Apriori, anti-monoton özelliği kullanan klasik yaklaşımdır: seyrek olan bir kümenin üst kümesi de seyrek olacağından budama (pruning) ile aday küme uzayı sistematik biçimde daraltılır. FP-Growth ise veriyi bir ağaç yapısına (FP-Tree) sıkıştırarak tek geçişte sık öğe kümelerini çıkarır; bu yöntem Apriori'den 10 ila 100 kat daha hızlı çalışabilmektedir. Eclat, dikey veri biçimini kullanarak küme kesişim işlemiyle destek hesabını hızlandırır. Uygulama alanları son derece geniştir: e-ticaret öneri motorları, market sepet analizi, ilaç yan etki kombinasyonu tespiti, siber güvenlikte saldırı örüntüsü tanıma, finans sektöründe dolandırıcılık tespiti ve biyoinformatikte gen ifadesi analizi bu yöntemin aktif kullanım alanlarıdır. Kural patlaması (rule explosion) sorununa karşı chi-kare testi ve conviction gibi ek filtreler uygulanabilir; ancak kuralların nedensellik değil yalnızca korelasyon gösterdiği her zaman göz önünde bulundurulmalıdır. Veri kalitesi, minimum destek ve güven eşiklerinin doğru ayarlanması, elde edilen kuralların pratik değerini doğrudan belirler.
Association Rule Mining (Birliktelik Kuralı Madenciliği)
Birliktelik kuralı madenciliği (association rule mining), büyük işlem veritabanlarında öğeler arasındaki anlamlı birlikte-oluşum örüntülerini keşfeden denetimsiz bir makine öğrenmesi yöntemidir. Temel çıktısı "Eğer A ise B" biçiminde ifade edilen kurallar bütünüdür; bu kurallar destek (support), güven (confidence) ve kaldıraç (lift) metrikleriyle değerlendirilir. Destek, bir kural ya da öğe kümesinin tüm işlemler içindeki görülme sıklığını gösterir; çok düşük destekli kurallar istatistiksel açıdan anlamsız kabul edilir. Güven, A gerçekleştiğinde B'nin de gerçekleşme olasılığını, yani öngörücü gücü ölçer. Lift ise A ve B'nin bağımsız olması durumuna göre gözlemlenen birlikteliğin kaç kat daha güçlü olduğunu hesaplar: lift değeri birden büyükse pozitif ilişki, birden küçükse negatif ilişki vardır, bire eşitse iki öğe birbirinden bağımsızdır. Temel algoritmalar üç ana grupta toplanır. Apriori, anti-monoton özelliği kullanan klasik yaklaşımdır: seyrek olan bir kümenin üst kümesi de seyrek olacağından budama (pruning) ile aday küme uzayı sistematik biçimde daraltılır. FP-Growth ise veriyi bir ağaç yapısına (FP-Tree) sıkıştırarak tek geçişte sık öğe kümelerini çıkarır; bu yöntem Apriori'den 10 ila 100 kat daha hızlı çalışabilmektedir. Eclat, dikey veri biçimini kullanarak küme kesişim işlemiyle destek hesabını hızlandırır. Uygulama alanları son derece geniştir: e-ticaret öneri motorları, market sepet analizi, ilaç yan etki kombinasyonu tespiti, siber güvenlikte saldırı örüntüsü tanıma, finans sektöründe dolandırıcılık tespiti ve biyoinformatikte gen ifadesi analizi bu yöntemin aktif kullanım alanlarıdır. Kural patlaması (rule explosion) sorununa karşı chi-kare testi ve conviction gibi ek filtreler uygulanabilir; ancak kuralların nedensellik değil yalnızca korelasyon gösterdiği her zaman göz önünde bulundurulmalıdır. Veri kalitesi, minimum destek ve güven eşiklerinin doğru ayarlanması, elde edilen kuralların pratik değerini doğrudan belirler.
DBSCAN (Yoğunluk Tabanlı Kümeleme (DBSCAN))
DBSCAN (Density-Based Spatial Clustering of Applications with Noise), 1996 yılında Martin Ester ve ekibi tarafından tanıtılan, yoğunluk tabanlı bir kümeleme algoritmasıdır. K-Means gibi yöntemlerin aksine, küme sayısını önceden belirleme zorunluluğu taşımaz ve keyfi geometrik şekillerdeki kümeleri tespit edebilir. Bunun yanı sıra gürültü noktalarını açıkça etiketleyerek aykırı değer tespitine de doğal destek verir. Algoritma iki temel parametreye dayanır: ε (epsilon), bir noktanın komşuluk yarıçapını tanımlar; minPts ise bir bölgenin çekirdek nokta sayılabilmesi için gereken asgari komşu sayısıdır. DBSCAN her nokta için ε yarıçaplı komşuluk bölgesini inceler. MinPts veya daha fazla komşuya sahip noktalar çekirdek nokta olarak sınıflandırılır ve bir kümenin çekirdeğini oluşturur. Bir çekirdek noktanın ε-komşuluğunda bulunan ancak kendisi çekirdek olmayan noktalar kenar nokta (border point) adını alır. Hiçbir çekirdek noktanın ε-komşuluğunda yer almayan noktalar ise gürültü (noise) olarak etiketlenir ve -1 etiketi atanır. Algoritma, birbirine yoğunluk-bağlantılı tüm noktaları tek bir kümede toplar. Parametre seçimi DBSCAN'ın başarısını doğrudan belirler. ε için yaygın yöntem k-en yakın komşu (kNN) grafiğidir: her noktanın minPts'inci en yakın komşusuna mesafesi grafiğe dökülerek dirsek (elbow) noktası bulunur. minPts için genel kural, boyut sayısının iki katı (2×d) olmakla birlikte veri setinin yoğunluğuna göre ayarlanması önerilir. Büyük veri kümelerinde standart DBSCAN O(n²) zaman karmaşıklığı gösterir. Bu kısıtlamayı aşmak için HDBSCAN (Hierarchical DBSCAN), OPTICS ve Approximated DBSCAN gibi varyantlar geliştirilmiştir. HDBSCAN, sabit ε yerine adaptif yoğunluk eşiği kullanarak değişken yoğunluktaki karmaşık küme yapılarını başarıyla tespit eder ve Python'daki hdbscan kütüphanesiyle kolayca uygulanabilir. DBSCAN başlıca şu alanlarda kullanılır: coğrafi veri analizinde olay noktalarını doğal kümeler halinde gruplama, anomali tespitinde gürültü noktalarını anormallik göstergesi olarak değerlendirme, görüntü bölütlemede piksel uzayında renk ve doku benzerliğine göre bölge oluşturma ve müşteri segmentasyonunda keyfi şekilli davranış gruplarını belirleme. Scikit-learn'ün sklearn.cluster.DBSCAN sınıfı, algoritmayı yalnızca birkaç satır Python kodu ile kullanılabilir hale getirir.