tag FPGrowth
Association Rule Mining (Birliktelik Kuralı Madenciliği)
Bu sayfada FPGrowth (Association Rule Mining (Birliktelik Kuralı Madenciliği)) etiketi ile işaretlenmiş 3 yapay zeka kavramını bulabilirsiniz.
Birliktelik kuralı madenciliği (association rule mining), büyük işlem veritabanlarında öğeler arasındaki anlamlı birlikte-oluşum örüntülerini keşfeden denetimsiz bir makine öğrenmesi yöntemidir. Temel çıktısı "Eğer A ise B" biçiminde ifade edilen kurallar bütünüdür; bu kurallar destek (support), güven (confidence) ve kaldıraç (lift) metrikleriyle değerlendirilir. Destek, bir kural ya da öğe kümesinin tüm işlemler içindeki görülme sıklığını gösterir; çok düşük destekli kurallar istatistiksel açıdan anlamsız kabul edilir. Güven, A gerçekleştiğinde B'nin de gerçekleşme olasılığını, yani öngörücü gücü ölçer. Lift ise A ve B'nin bağımsız olması durumuna göre gözlemlenen birlikteliğin kaç kat daha güçlü olduğunu hesaplar: lift değeri birden büyükse pozitif ilişki, birden küçükse negatif ilişki vardır, bire eşitse iki öğe birbirinden bağımsızdır. Temel algoritmalar üç ana grupta toplanır. Apriori, anti-monoton özelliği kullanan klasik yaklaşımdır: seyrek olan bir kümenin üst kümesi de seyrek olacağından budama (pruning) ile aday küme uzayı sistematik biçimde daraltılır. FP-Growth ise veriyi bir ağaç yapısına (FP-Tree) sıkıştırarak tek geçişte sık öğe kümelerini çıkarır; bu yöntem Apriori'den 10 ila 100 kat daha hızlı çalışabilmektedir. Eclat, dikey veri biçimini kullanarak küme kesişim işlemiyle destek hesabını hızlandırır. Uygulama alanları son derece geniştir: e-ticaret öneri motorları, market sepet analizi, ilaç yan etki kombinasyonu tespiti, siber güvenlikte saldırı örüntüsü tanıma, finans sektöründe dolandırıcılık tespiti ve biyoinformatikte gen ifadesi analizi bu yöntemin aktif kullanım alanlarıdır. Kural patlaması (rule explosion) sorununa karşı chi-kare testi ve conviction gibi ek filtreler uygulanabilir; ancak kuralların nedensellik değil yalnızca korelasyon gösterdiği her zaman göz önünde bulundurulmalıdır. Veri kalitesi, minimum destek ve güven eşiklerinin doğru ayarlanması, elde edilen kuralların pratik değerini doğrudan belirler.
Association Rule Mining (Birliktelik Kuralı Madenciliği)
Birliktelik kuralı madenciliği (association rule mining), büyük işlem veritabanlarında öğeler arasındaki anlamlı birlikte-oluşum örüntülerini keşfeden denetimsiz bir makine öğrenmesi yöntemidir. Temel çıktısı "Eğer A ise B" biçiminde ifade edilen kurallar bütünüdür; bu kurallar destek (support), güven (confidence) ve kaldıraç (lift) metrikleriyle değerlendirilir. Destek, bir kural ya da öğe kümesinin tüm işlemler içindeki görülme sıklığını gösterir; çok düşük destekli kurallar istatistiksel açıdan anlamsız kabul edilir. Güven, A gerçekleştiğinde B'nin de gerçekleşme olasılığını, yani öngörücü gücü ölçer. Lift ise A ve B'nin bağımsız olması durumuna göre gözlemlenen birlikteliğin kaç kat daha güçlü olduğunu hesaplar: lift değeri birden büyükse pozitif ilişki, birden küçükse negatif ilişki vardır, bire eşitse iki öğe birbirinden bağımsızdır. Temel algoritmalar üç ana grupta toplanır. Apriori, anti-monoton özelliği kullanan klasik yaklaşımdır: seyrek olan bir kümenin üst kümesi de seyrek olacağından budama (pruning) ile aday küme uzayı sistematik biçimde daraltılır. FP-Growth ise veriyi bir ağaç yapısına (FP-Tree) sıkıştırarak tek geçişte sık öğe kümelerini çıkarır; bu yöntem Apriori'den 10 ila 100 kat daha hızlı çalışabilmektedir. Eclat, dikey veri biçimini kullanarak küme kesişim işlemiyle destek hesabını hızlandırır. Uygulama alanları son derece geniştir: e-ticaret öneri motorları, market sepet analizi, ilaç yan etki kombinasyonu tespiti, siber güvenlikte saldırı örüntüsü tanıma, finans sektöründe dolandırıcılık tespiti ve biyoinformatikte gen ifadesi analizi bu yöntemin aktif kullanım alanlarıdır. Kural patlaması (rule explosion) sorununa karşı chi-kare testi ve conviction gibi ek filtreler uygulanabilir; ancak kuralların nedensellik değil yalnızca korelasyon gösterdiği her zaman göz önünde bulundurulmalıdır. Veri kalitesi, minimum destek ve güven eşiklerinin doğru ayarlanması, elde edilen kuralların pratik değerini doğrudan belirler.
Frequent Pattern Mining (Sık Kalıp Madenciliği)
Sık Kalıp Madenciliği (Frequent Pattern Mining), büyük veri kümelerinde birlikte sıklıkla ortaya çıkan öğe gruplarını, dizisel kalıpları veya yapısal örüntüleri belirlemeyi hedefleyen temel bir veri madenciliği tekniğidir. "Sık" (frequent) kavramı, bir kalıbın belirli bir minimum destek eşiğini (minimum support threshold) aşması anlamına gelir; yani o kalıbın, tüm işlemlerin (transaction) en az belirlenen yüzdesinde bulunması gerekir. En yaygın kullanım senaryosu birliktelik kuralı madenciliğidir (association rule mining). Süpermarket sepet analizinde "ekmek alan müşteri yüzde seksen olasılıkla tereyağı da alır" türünden kurallar bu yöntemle keşfedilir. Amazon ve Netflix'in öneri sistemleri, kredi kartı dolandırıcılık tespiti ve ağ güvenliği anomali analizi de sık kalıp madenciliğini yoğun biçimde kullanır. Alandaki ilk ve en yaygın algoritma, 1994'te Agrawal ve Srikant tarafından önerilen Apriori'dir. Aday öğe seti üretimi ve budama (candidate generation and pruning) prensibiyle çalışır; her adımda veritabanını yeniden tarar. Bu tarama maliyeti büyük veri setlerinde belirgin bir darboğaz oluşturduğundan, 2000 yılında Jiawei Han ve arkadaşları FP-Growth (Frequent Pattern Growth) algoritmasını geliştirdi. FP-Growth, veriyi kompakt bir FP-Tree yapısına sıkıştırır ve tekrarlı veritabanı taramasını ortadan kaldırarak Apriori'den genellikle 10 ila 100 kat daha hızlı çalışır. Kalıpların değerini belirleyen üç temel ölçüt vardır: destek (support), güven (confidence) ve lift. Destek, bir kalıbın tüm işlemler içindeki görülme oranıdır. Güven, A → B kuralında A'nın geçtiği işlemlerin ne kadarında B'nin de geçtiğini gösterir. Lift ise A ve B'nin bağımsız rastlantısına kıyasla birlikte görülme oranını ölçer; 1'den büyük lift pozitif ilişkiye işaret eder. Bu üçlü, anlamlı ve uygulanabilir kuralları önemsiz korelasyonlardan ayırt etmek için birlikte kullanılır. Günümüzde sık kalıp madenciliği yalnızca kural keşfiyle sınırlı değildir; özellik mühendisliğinde anlamlı özellik kombinasyonlarını bulmak için denetimsiz ön analiz adımı olarak da kullanılır. Python'da mlxtend kütüphanesi apriori() ve fpgrowth() fonksiyonlarıyla, Apache Spark'ta ise MLlib'in FPGrowth modülüyle ölçeklenebilir uygulamalar hayata geçirilebilir.
Market Basket Analysis (Pazar Sepeti Analizi)
Pazar Sepeti Analizi (Market Basket Analysis), bir veri kümesindeki işlemler içinde birlikte ortaya çıkan nesne veya öğe gruplarını keşfetmek amacıyla kullanılan temel bir veri madenciliği tekniğidir. Adını, müşterilerin alışveriş sepetlerinde hangi ürünleri birlikte satın aldığını analiz eden perakende uygulamasından alır; ancak günümüzde e-ticaret öneri sistemlerinden sağlık bilişimine kadar geniş bir kullanım alanına kavuşmuştur. Teknik, birliktelik kuralı madenciliği (association rule mining) üzerine kurulmuştur ve üç temel metriği baz alır. Destek (support), bir öğe kümesinin tüm işlemler içindeki görülme sıklığını ölçer; ender görülen birliktelikleri analiz dışı bırakmaya yarar. Güven (confidence), belirli bir öncül öğe alındığında ardıl öğenin de alınma olasılığını ifade eder. Kaldıraç (lift), bu birlikteliğin bağımsız oluşumdan ne kadar güçlü olduğunu gösterir; Lift > 1 değeri gerçek bir ilişkiye, Lift < 1 ise negatif bir ilişkiye işaret eder. Analizde en yaygın kullanılan algoritmalar Apriori ve FP-Growth'tur. Apriori, sık geçen öğe kümelerini adım adım genişleterek bulur; ancak büyük veri setlerinde aday öğe sayısının hızla artması nedeniyle hesaplama maliyeti yüksek olabilir. FP-Growth ise veriyi sıkıştırılmış bir ağaç yapısı olan FP-Tree'de saklar; aday üretme adımını atlayarak çok daha verimli çalışır ve büyük ölçekli veri setleri için tercih edilen yöntem hâline gelmiştir. Pazar Sepeti Analizi; e-ticaret platformlarında "Bu ürünü alanlar bunu da aldı" türü öneri motorlarının temelini oluşturur. Mağaza rafı düzenlemesi, ürün paketleme (bundle) stratejileri, çapraz satış (cross-sell) ve yukarı satış (up-sell) kampanyaları için somut verilere dayalı kararlar almayı mümkün kılar. Sağlık sektöründe eş zamanlı reçete edilen ilaçların tespiti, bankacılıkta dolandırıcılık örüntüleri ve web analitiğinde birlikte ziyaret edilen sayfa kümeleri de aynı yöntemle araştırılır. Python ekosisteminde mlxtend kütüphanesi Apriori ve FP-Growth algoritmalarını; PySpark ise büyük ölçekli dağıtık ortamlar için birliktelik kuralı madenciliğini destekler. Verinin doğru ön işlenmesi — özellikle işlem matrisinin (transaction matrix) ikili formata dönüştürülmesi ve minimum destek eşiğinin belirlenmesi — analizin kalitesini doğrudan etkiler.