category Veri Madenciliği
Veri Madenciliği kategorisi, yapay zeka ve makine öğrenimi alanındaki 25 temel terim ve kavramı kapsar: Association Rule Mining, Causal AI Nedir? Nedensellik Tabanlı Yapay Zeka, Causal Inference Nedir? Nedensellik Çıkarımı, Collaborative Filtering, Community Detection, Concept Drift. Her terim için tanım, örnek ve ilgili kavramları bu sayfadan keşfedebilirsiniz.
Association Rule Mining (Birliktelik Kuralı Madenciliği)
Birliktelik Kuralı Madenciliği (Association Rule Mining), büyük veri setleri içindeki öğeler arasındaki ilişkileri, örüntüleri ve birlikte ortaya çıkma eğilimlerini keşfeden bir veri madenciliği yöntemidir. Bu teknik, belirli öğelerin bir arada bulunma sıklığını analiz ederek "Eğer X satın alınırsa, Y de satın alınır" gibi anlamlı kurallar çıkarır. 1993 yılında Agrawal ve Srikant tarafından geliştirilen Apriori algoritmasıyla önem kazanan bu yöntem, günümüzde e-ticaret öneri sistemlerinden ilaç araştırmalarına, siber güvenlikten finans sektörüne kadar geniş bir uygulama alanına sahiptir. Algoritma üç temel metriğe dayanır: Destek (Support), güven (Confidence) ve kaldıraç (Lift). Destek, bir kuralın veri kümesinde ne sıklıkla geçerli olduğunu gösterir. Güven, öncül (antecedent) gerçekleştiğinde sonucun (consequent) ne kadar olasılıkla gerçekleşeceğini ifade eder. Lift ise kuralın rastlantısallığın ötesinde ne kadar anlamlı olduğunu ölçer; lift değeri 1'den büyükse öğeler arasında pozitif bir ilişki vardır. Birliktelik kuralı madenciliğinin en tanınan uygulaması market sepeti analizidir (market basket analysis). Bir süpermarketin satış verilerini analiz ettiğinizde "bezle birlikte ıslak mendil de alınıyor" veya "bira alanlar cips de alıyor" gibi içgörüler elde edilebilir. Bu tür bilgiler raf düzeni optimizasyonu, çapraz satış stratejileri ve kişiselleştirilmiş pazarlama kampanyalarında kritik rol oynar. Amazon, Netflix ve Spotify gibi platformlar da birliktelik kuralı ilkelerinden yararlanarak kişiye özel ürün ve içerik önerileri sunar. Yöntem, denetimsiz öğrenme (unsupervised learning) kategorisinde değerlendirilir; önceden etiketlenmiş veriye gerek duymadan ham işlem kayıtlarından doğrudan anlam çıkarır.
Causal AI Nedir? Nedensellik Tabanlı Yapay Zeka (Nedensellik Tabanlı Yapay Zeka)
Causal AI (Nedensellik Tabanlı Yapay Zeka), geleneksel makine öğrenmesinin sınırlılığını aşan bir paradigmadır: yalnızca verideki korelasyonları öğrenmek yerine, değişkenler arasındaki nedensel ilişkileri modelleyerek 'X, Y'ye yol açıyor mu?' sorusunu yanıtlar. Judea Pearl'ün geliştirdiği do-calculus ve Yapısal Nedensel Modeller (SCM) teorik temelini oluşturur. Causal AI; gözlemsel, müdahalesel ve karşı-olgusal (counterfactual) düşünme olmak üzere Pearl'ün 'Nedensellik Merdiveni' adıyla tanımladığı üç düzeyde akıl yürütür. Bu yaklaşım, tıptan ekonomiye, politika değerlendirmesinden otonom sistemlere kadar pek çok alanda korelasyon tuzaklarını aşarak daha güvenilir kararlar alınmasını sağlar.
Causal Inference Nedir? Nedensellik Çıkarımı (Nedensellik Çıkarımı)
Causal Inference (Nedensellik Çıkarımı), veri içindeki değişkenler arasında yalnızca istatistiksel korelasyon bulmak yerine gerçek neden-sonuç ilişkilerini belirlemeyi hedefleyen bir yöntem ailesidir. Geleneksel makine öğrenimi 'A ve B birlikte değişiyor' der; nedensellik çıkarımı ise 'A, B'yi mi etkiliyor, yoksa B, A'yı mı, ya da ikisi de ortak bir gizli değişkenden mi kaynaklanıyor?' sorusunu yanıtlar. Judea Pearl'ün 2011 Turing Ödülü'ne değer görülen çalışmaları bu alanın temelini oluşturmuştur.
Collaborative Filtering (İşbirlikçi Filtreleme)
Collaborative Filtering (İşbirlikçi Filtreleme), kullanıcıların geçmiş davranışlarını ve tercihlerini analiz ederek kişiselleştirilmiş öneriler sunan temel bir makine öğrenimi tekniğidir. Bu yaklaşım, benzer tercihlere sahip kullanıcıların gelecekte de benzer şeyleri beğeneceği varsayımına dayanır. Netflix, Amazon, Spotify ve YouTube gibi büyük platformların tavsiye sistemlerinin temelini oluşturur. Collaborative Filtering iki ana kategoriye ayrılır: bellek tabanlı (memory-based) ve model tabanlı (model-based) yaklaşımlar. Bellek tabanlı yaklaşımlarda, kullanıcı-kullanıcı veya öğe-öğe benzerlik matrisleri hesaplanarak en yakın komşular belirlenir ve bu komşuların tercihlerine göre öneriler yapılır. Kullanıcı tabanlı (user-based) CF, hedef kullanıcıya en benzer kullanıcıları bulur ve onların beğendiği ancak hedef kullanıcının henüz görmediği öğeleri önerir. Öğe tabanlı (item-based) CF ise kullanıcının daha önce beğendiği öğelere en çok benzeyen yeni öğeleri bulur. Model tabanlı yaklaşımlarda matris çarpanlarına ayırma (matrix factorization) teknikleri kullanılır. Tekil Değer Ayrışımı (SVD) ve Dönüşümlü En Küçük Kareler (ALS) gibi yöntemler, kullanıcı-öğe etkileşim matrisini gizli özellik uzayına (latent feature space) yansıtarak büyük ölçekli sistemlerde verimli çalışır. 2009 Netflix Prize yarışmasında Simon Funk'ın SVD++ algoritması öneri kalitesini yüzde on beş oranında iyileştirerek bu yöntemlerin endüstriyel değerini kanıtlamıştır. Başlıca zorluklar şunlardır: yeni kullanıcı veya öğe için veri bulunmaması (soğuk başlama — cold start), kullanıcıların mevcut öğelerin yalnızca küçük bir kısmıyla etkileşime geçmesi nedeniyle seyrek matris oluşması (sparsity), ve sisteme gizlice sahte tercihler enjekte eden Shilling Attack tehditleri. Bu sorunların üstesinden gelmek için içerik tabanlı filtreleme ile hibrit sistemler oluşturulur. Derin öğrenme çağında Neural Collaborative Filtering (NCF) ve dikkat mekanizmalı modeller, geleneksel yöntemlere kıyasla önemli başarım artışları sağlamaktadır. Python ekosisteminde Surprise, LightFM ve implicit kütüphaneleri yaygın olarak kullanılmaktadır.
Community Detection (Topluluk Tespiti)
Topluluk tespiti (Community Detection), bir grafın (ağın) yoğun bağlantılı alt gruplarını — toplulukları — tespit etmeye yarayan graf analizi yöntemidir. Topluluklar, kendi içlerinde birbirleriyle yoğun bağlantılara sahip, diğer topluluklarla ise daha seyrek bağlantılı düğüm kümeleridir. Sosyal ağlarda, bilgi graflarında ve biyolojik ağlarda bu yapıları bulmak, sistemin modüler örgütlenmesini anlamamızı sağlar. Temel topluluk tespit algoritmaları şunlardır: Louvain algoritması (modülarite optimizasyonu), Girvan-Newman algoritması (arasındalık merkeziyeti tabanlı kenar silme), Leiden algoritması (Louvain'in geliştirilmiş hali), Spectral Clustering (grafın özvektörlerine dayalı kümeleme) ve Label Propagation (etiket yayılımı). Bu algoritmalar; her biri farklı zaman karmaşıklığı ve ölçeklenebilirlik özellikleri sunar. GraphRAG bağlamında topluluk tespiti kritik bir role sahiptir: Metin belgelerinden çıkarılan varlık grafiındaki topluluklar belirlenir ve her topluluk için özet rapor üretilir. Bu raporlar, genel sorulara (global queries) yanıt üretilirken bağlam olarak kullanılır; böylece standart RAG'ın zorluk çektiği geniş kapsamlı sorularda başarılı sonuçlar elde edilir.
Concept Drift (Kavram Kayması)
Kavram Kayması (Concept Drift), Data Drift ile çok sık karıştırılan ancak tamamen farklı olan bir model bozulma türüdür. Burada verinin kendisi değil, verinin ifade ettiği "Anlam (Hedef Kavram)" ve kurallar değişmiştir. Yapay zekanın öğrendiği matematiksel ilişkinin gerçek dünyada artık geçerli olmaması durumudur.
Data Drift (Veri Kayması (Bozulması))
Veri Kayması (Data Drift), bir yapay zeka modelinin canlı (prodüksiyon) ortamına alındıktan sonra tahminlerinin zamanla kötüleşmesi ve yanlış sonuçlar üretmeye başlaması durumudur. Bunun sebebi modelin kodunun bozulması değil; dünyadaki insanların, trendlerin, ekonominin veya modelin beslendiği gerçek verilerin karakteristik olarak değişmesidir (Eski eğitim verisinin bayatlaması).
Data Lake (Veri Gölü)
Data Lake, yapılandırılmış, yarı yapılandırılmamış ve yapılandırılmamış verilerin orijinal ham formatlarında depolandığı merkezi, ölçeklenebilir bir büyük veri deposudur. Geleneksel veri ambarlarının aksine, Data Lake veriye önceden bir şema uygulamaz; veriler ham hâlde saklanır ve sorgu anında şema belirlenir (schema-on-read yaklaşımı). Bu esneklik sayesinde log dosyaları, görüntüler, videolar, sensör verileri ve JSON/CSV gibi farklı formatlardaki veriler aynı depoda bir arada tutulabilir. "Data Lake" kavramı ilk olarak 2010 yılında Pentaho'nun CTO'su James Dixon tarafından kavramsallaştırılmıştır. Dixon, veri ambarlarını sunum için hazır su şişeleriyle kıyaslarken Data Lake'i kendi doğal ve safiyetini koruyan bir göle benzetti: tüm su kaynakları (veriler) doğal hâlde bu göle akar ve kullanıcılar ihtiyaçlarına göre bu gölden istedikleri miktarda ve formatta su alır. Bir Data Lake mimarisi genellikle birkaç katmandan oluşur. Ham veri bölgesi (Raw/Landing Zone), kaynak sistemlerden gelen verilerin doğrudan aktarıldığı, hiçbir dönüşüm yapılmadan saklandığı alandır. Rafine veri bölgesi (Curated Zone), temizleme, dönüştürme ve kalite kontrolünden geçirilmiş verileri barındırır. Tüketim bölgesi (Consumption Zone) ise iş analistleri, veri bilimciler ve makine öğrenmesi uygulamaları tarafından kullanıma hazır hâle getirilmiş verileri içerir. Data Lake'in başlıca avantajları arasında yüksek ölçeklenebilirlik, düşük birim depolama maliyeti ve veri formatı esnekliği sayılabilir. Ancak yeterli yönetim ve kataloglama araçları olmadığında "Data Swamp" (veri bataklığı) hâline gelebilir: verinin nereden geldiği, ne anlama geldiği ve nasıl kullanılacağı belirsizleşir. Bu sorunu çözmek için veri kataloğu (data catalog), veri soyu takibi (data lineage) ve meta veri yönetimi araçları kullanılır. Günümüzde AWS S3 + Glue, Azure Data Lake Storage Gen2, Google Cloud Storage ve Apache Hadoop HDFS popüler Data Lake altyapılarıdır. Modern Delta Lake, Apache Iceberg ve Apache Hudi açık tablo formatları ise ACID işlem desteği ve şema evrimi ekleyerek Data Lake ile Data Warehouse özelliklerini "Lakehouse" mimarisinde birleştirir; bu sayede hem ham veri depolama hem de güvenilir sorgu kapasitesi aynı platformda sağlanır.
Data Mining (Veri Madenciliği)
Veri Madenciliği (Data Mining), istatistik, veritabanı sistemleri ve makine öğrenimi (AI) tekniklerini kullanarak, devasa büyüklükteki veri yığınlarının (Big Data) içindeki gizli kalıpları (paternler), kuralları ve ilişkileri insan müdahalesi olmadan otomatik olarak "kazıp" çıkarma işlemidir. Amaç, ham veriyi ticari veya bilimsel bilgiye dönüştürmektir.
Data Quality (Veri Kalitesi)
Veri kalitesi (Data Quality), bir veri kümesinin belirli bir kullanım amacı için ne derece uygun olduğunu ifade eden çok boyutlu bir kavramdır. Yapay zeka, makine öğrenimi ve veri madenciliği projelerinde, veri kalitesi modelin ne kadar doğru ve güvenilir sonuç üreteceğini belirleyen temel etkendir. Veri kalitesi altı standart boyutla ölçülür. Doğruluk (accuracy), veri değerlerinin gerçek dünyadaki durumu yansıtıp yansıtmadığını ölçer. Tamlık (completeness), gerekli alanların eksiksiz biçimde dolu olup olmadığını denetler. Tutarlılık (consistency), aynı verinin farklı sistemler veya tablolar arasında çelişip çelişmediğini kontrol eder. Zamansallık (timeliness), verinin analiz amacına yetecek kadar güncel olup olmadığını sorgular. Geçerlilik (validity), verilerin tanımlanmış iş kurallarına ve formatlara uygunluğunu belirler. Benzersizlik (uniqueness) ise yinelenen kayıtları tespit eder. Sektörde yerleşik olan 'Çöp içeri, çöp dışarı' (Garbage In, Garbage Out) ilkesi, veri kalitesinin modeller üzerindeki doğrudan etkisini özetler. Hatalı veya eksik verilerle eğitilen bir yapay zeka modeli, gerçek dünya koşullarında güvenilmez tahminler üretir. Araştırmalar, veri bilimcilerinin zamanının yüzde altmış ila seksenini veri temizleme ve kalite iyileştirmeye ayırdığını ortaya koymaktadır. Veri kalitesini ölçmek ve artırmak için kullanılan başlıca araçlar arasında Great Expectations, dbt testleri, Apache Soda ve Pandas Profiling yer almaktadır. Bu araçlar veri boru hatlarına (pipeline) entegre edilerek kalite sorunlarını anlık raporlar ve anomalileri uyarı sistemlerine bildirir. Üretim ortamlarında sürekli veri kalitesi izleme (data quality monitoring), sapmalar gerçekleşir gerçekleşmez mühendis ekipleri uyarır. Regülasyon boyutunda AB Yapay Zeka Yasası (AI Act) Madde 10, yüksek riskli yapay zeka sistemlerinde veri yönetim uygulamalarını ve kalite metriklerini belgelemeyi yasal yükümlülük haline getirmiştir. ISO/IEC 25012 standardı da veri kalitesi özelliklerini sistematik biçimde tanımlar. Bu nedenle veri kalitesi artık yalnızca teknik bir uygulama değil, kurumsal yönetişim ve uyum çerçevelerinin ayrılmaz bir parçasıdır.
Digital Twin Nedir? Yapay Zeka ile Dijital İkiz (Dijital İkiz)
Digital twin (dijital ikiz), bir fiziksel varlığın, sistemin veya sürecin dijital ortamda birebir kopyasını oluşturan bir teknolojidir. Sensörlerden, IoT cihazlardan ve veri kaynaklarından beslenen bu sanal model, gerçek zamanlı olarak güncellenerek fiziksel varlığın davranışını ve performansını yansıtır. Yapay zeka ile güçlendirilen dijital ikizler, arıza tahmini, senaryo simülasyonu ve karar optimizasyonunda kullanılarak sanayiden sağlığa pek çok alanda dönüşüm sağlamaktadır.
Dizi Madenciliği (Sequence Mining) (Dizi Madenciliği)
Sequence mining (dizi madenciliği veya sıralı örüntü madenciliği), zaman içinde veya belirli bir sıraya göre gerçekleşen olaylardan oluşan veri kümelerinde sık tekrar eden alt dizileri keşfetmeye yarayan veri madenciliği tekniğidir. 1995 yılında Agrawal ve Srikant tarafından önerilen bu yaklaşım, Apriori ilkesini sıralı verilere uygular. Web tıklama akışlarından genomik veri analizine, e-ticaret sepet sıralarından telekomünikasyon çağrı örüntülerine kadar pek çok alanda kullanılır.
Entity Resolution (Varlık Çözümleme)
Varlık çözümleme (Entity Resolution), farklı veri kaynaklarında yer alan kayıtların aynı gerçek-dünya nesnesine ait olup olmadığını tespit eden ve bu kayıtları birleştiren veri entegrasyon sürecidir. "Record linkage" (kayıt bağlama), "entity matching" (varlık eşleştirme) veya "deduplication" (tekilleştirme) olarak da bilinen bu disiplin, büyük veri yönetimi ile bilgi grafiklerinin temel taşlarından birini oluşturur. Farklı sistemlerden gelen "Ali Veli", "A. Veli" ve "ali.veli@firma.com" gibi kayıtların aynı kişiyi temsil ettiğini, ya da iki ayrı ürün kataloğundaki "iPhone 15 Pro 256GB" ile "Apple iPhone 15Pro" girişlerinin aynı ürünü ifade ettiğini otomatik olarak anlamak, varlık çözümlemenin en yaygın kullanım senaryolarıdır. Süreç üç temel adımda ilerler. İlk adım olan "blocking" (engelleme) aşamasında, tüm olası çift kombinasyonlarını karşılaştırmak yerine yalnızca büyük olasılıkla eşleşecek kayıtlar bir araya getirilir; bu, hesaplama maliyetini dramatik biçimde düşürür. İkinci adımda, seçilen kayıt çiftleri arasındaki benzerlik ölçülür. Bu amaçla Jaccard benzerliği, Levenshtein mesafesi (düzenleme mesafesi) veya makine öğrenimi modelleri kullanılır. Son adımda sınıflandırma yapılarak iki kaydın aynı varlığa mı yoksa farklı varlıklara mı ait olduğu karara bağlanır. Derin öğrenme çağıyla birlikte BERT tabanlı modeller, anlamsal benzerliği değerlendirip yazım hataları, kısaltmalar ve farklı biçimlendirmeler gibi zorluklara karşı çok daha dayanıklı sonuçlar üretmektedir. DeepMatcher, Ditto ve Unicorn bu alanda öne çıkan açık kaynak araçlar arasındadır. Uygulama alanları oldukça geniştir: müşteri veri yönetimi (MDM), sağlık sektöründe hasta kaydı birleştirme, finansal işlemlerde dolandırıcılık tespiti, e-ticarette ürün kataloğu normalizasyonu ve Wikidata gibi bilgi grafiklerinin zenginleştirilmesi bu kapsamda değerlendirilebilir.
ETL (Extract, Transform, Load)
ETL (Extract, Transform, Load — Çıkar, Dönüştür, Yükle), farklı kaynak sistemlerden ham verinin toplanıp temizlenerek analitik bir hedefe aktarılmasını sağlayan veri entegrasyon sürecidir. Her veri mühendisliği ve veri ambarı projesinin omurgasını oluşturur; kaliteli veriyi olmayan hiçbir makine öğrenimi modeli ya da iş zekası raporu başarılı olamaz. Extract (Çıkarma) aşamasında veri; ilişkisel veritabanları, REST API'ları, dosya sistemleri (CSV, JSON, XML, Parquet), akış platformları (Kafka, Kinesis) veya SaaS uygulamalarından ham biçimde çekilir. Transform (Dönüştürme) aşamasında bu ham veri; temizlenir (eksik ve tutarsız değerler giderilir), normalize edilir (farklı kaynaklardaki kodlamalar birleştirilir), zenginleştirilir (dış referans tablolarıyla birleştirilir) ve hedef şemaya dönüştürülür. Load (Yükleme) aşamasında ise işlenmiş veri; veri ambarı, veri gölü veya analitik veritabanına yazılır. Modern mimarilerde ETL'nin yerini giderek ELT (Extract, Load, Transform) alıyor: ham veri önce bulut veri ambarına yükleniyor (Amazon Redshift, Google BigQuery, Snowflake), ardından dönüşümler SQL veya dbt (data build tool) aracılığıyla doğrudan hedefteki güçlü işlem kapasitesiyle gerçekleştiriliyor. Bu yaklaşım hem maliyet hem de sürdürülebilirlik açısından avantajlıdır. Makine öğrenimi hattında ETL, feature store'ları besleyen ve model eğitimi için veri setleri hazırlayan kritik bileşendir. Yaygın ETL araçları arasında Apache Airflow, dbt, Apache Spark, Fivetran, Talend ve AWS Glue sayılabilir. Büyük ölçekli sistemlerde mikro-toplu (micro-batch) ve akış (streaming) ETL da standart pratikler arasındadır.
Feature Selection (Özellik Seçimi)
Özellik seçimi (feature selection), makine öğrenmesi modelini eğitmek için kullanılacak en alakalı ve bilgilendirici özelliklerin (değişkenlerin) ham veri kümesinden belirlenmesi ve seçilmesi sürecidir. Gereksiz, gürültülü veya birbirleriyle yüksek korelasyonlu özelliklerin elenmesiyle model doğruluğu artırılır, eğitim süresi kısalır ve aşırı öğrenme (overfitting) riski azaltılır.
Graph Mining Nedir? Grafik Veri Madenciliği (Grafik Veri Madenciliği)
Graph Mining, düğümler (varlıklar) ve kenarlar (ilişkiler) ile temsil edilen graf yapısındaki gizli desenleri, toplulukları ve bilgileri keşfeden bir veri madenciliği alt dalıdır. Sosyal ağlar, biyolojik moleküler ağlar, bilgi grafları ve dolandırıcılık tespit sistemleri gibi birbirine bağlı veri kümelerinde kullanılır. Temel teknikler arasında sık geçen alt-graf madenciliği (gSpan, AGM), topluluk tespiti (Louvain, Girvan-Newman), bağlantı tahmini ve graf sınıflandırması yer alır. Modern yaklaşımlar GNN'leri entegre ederek Node2Vec ve GraphSAGE gibi yöntemlerle düğümleri yüksek boyutlu gömülü vektörlere dönüştürür. Facebook ve LinkedIn'de topluluk analizi, ilaç keşfinde protein-protein etkileşim ağları ve bankacılıkta işlem ağı tabanlı dolandırıcılık tespiti öne çıkan uygulama alanlarıdır.
Information Extraction Nedir? Bilgi Çıkarımı ve NLP (Bilgi Çıkarımı)
Bilgi Çıkarımı (Information Extraction - IE), ham ve yapılandırılmamış metin verilerinden otomatik olarak anlamlı, yapılandırılmış bilgilerin elde edilmesi sürecidir. Doğal dil işlemenin (NLP) temel alt alanlarından biri olan IE; kişi adları, yer isimleri, tarihler ve kurumlar gibi varlıkları tanımlamak, bu varlıklar arasındaki ilişkileri ortaya çıkarmak ve metinde geçen olayları tespit etmek için çeşitli makine öğrenmesi ve dil modeli tekniklerinden yararlanır. Sonuç olarak insanların yazdığı doğal dil metni, veritabanlarında sorgulanabilir ve algoritmalar tarafından işlenebilir formata dönüşür. IE sistemi tipik olarak birkaç ardışık aşamadan oluşur: Varlık İsmi Tanıma (Named Entity Recognition - NER) ile metindeki kişi, organizasyon, konum ve tarih gibi kavramlar etiketlenir; İlişki Çıkarımı (Relation Extraction) ile iki varlık arasındaki anlam bağı saptanır; Olay Çıkarımı (Event Extraction) ile belirli bir faaliyetin ne zaman, nerede ve kimler tarafından gerçekleştiğine dair bilgiler yapılandırılır. Modern sistemler bu görevleri gerçekleştirmek için BERT, GPT ve benzeri büyük dil modellerini (LLM) ön plana çıkarmaktadır. Bilgi Çıkarımı; haber madenciliği, biyomedikal literatür analizi, finansal doküman işleme ve hukuki metin analizi gibi çok sayıda uygulama alanında kritik bir rol üstlenmektedir. Büyük hacimli metin verilerini insan müdahalesi olmadan işleyebilen IE sistemleri, hem araştırmacılara hem de işletmelere zaman ve maliyet açısından önemli kazanımlar sağlamaktadır.
Jaccard Index (Jaccard İndeksi / Benzerliği)
İki kümenin birbirine ne kadar benzediğini ölçen istatistiksel bir formüldür. Kesişim alanının, birleşim alanına bölünmesiyle hesaplanır. Özellikle görüntü bölütleme (segmentasyon) ve metin benzerliği hesaplamalarında sıkça kullanılır.
Market Basket Analysis (Pazar Sepeti Analizi)
Pazar Sepeti Analizi (Market Basket Analysis), bir veri kümesindeki işlemler içinde birlikte ortaya çıkan nesne veya öğe gruplarını keşfetmek amacıyla kullanılan temel bir veri madenciliği tekniğidir. Adını, müşterilerin alışveriş sepetlerinde hangi ürünleri birlikte satın aldığını analiz eden perakende uygulamasından alır; ancak günümüzde e-ticaret öneri sistemlerinden sağlık bilişimine kadar geniş bir kullanım alanına kavuşmuştur. Teknik, birliktelik kuralı madenciliği üzerine kurulmuştur ve üç temel metriği baz alır: destek (support), güven (confidence) ve kaldıraç (lift). Destek, bir öğe kümesinin tüm işlemler içindeki görülme sıklığını ölçer. Güven, iki öğe birlikte göründüğünde öngörülen ilişkinin doğruluğunu ifade eder. Kaldıraç ise bu birlikteliğin rastlantısal mı yoksa gerçek bir bağıntıya mı dayandığını belirler; Lift > 1 değeri, söz konusu ilişkinin bağımsız oluşumdan daha kuvvetli olduğunu gösterir. Pazar Sepeti Analizi, e-ticaret platformlarında "Bu ürünü alanlar bunu da satın aldı" türündeki öneri sistemlerinin temelini oluşturur. Streaming platformlarında içerik önerisi, sağlık sektöründe ilaç etkileşim analizi, bankacılıkta dolandırıcılık tespiti ve web analizi gibi alanlarda da etkin biçimde kullanılmaktadır. Analiz sürecinde en yaygın kullanılan algoritmalar Apriori ve FP-Growth'tur. Apriori algoritması, sık geçen öğe kümelerini adım adım iteratif biçimde bulurken; FP-Growth, veriyi daha az bellekte tutan sıkıştırılmış bir ağaç yapısı (FP-Tree) üzerinde çalışır ve büyük veri setlerinde çok daha verimlidir. Sonuç olarak Pazar Sepeti Analizi, ham işlem verilerinden eyleme dönüştürülebilir içgörüler çıkarmak isteyen veri bilimciler ve analistler için temel araçlardan biridir. Makine öğrenimi ve derin öğrenme sistemleriyle entegre edildiğinde, dinamik ve kişiselleştirilmiş öneri motorlarının bel kemiğini oluşturur.
Opinion Mining Nedir? Görüş Madenciliği (Görüş Madenciliği)
Opinion Mining (Görüş Madenciliği), doğal dil işleme ve veri madenciliğinin kesişiminde yer alan bir alt disiplin olup metin verilerinden yapılandırılmış görüş bilgisi otomatik olarak çıkarmayı amaçlar. Sentiment Analysis (Duygu Analizi) yalnızca metnin genel olumlu/olumsuz/nötr tonunu belirlerken, Opinion Mining çok daha ince taneli bir yaklaşım sergiler: kim hangi varlık veya özellik hakkında ne tür bir görüş ifade etmektedir sorusunu yanıtlar. Bu bağlamda her görüş; bir kanaat sahibi (opinion holder), bir hedef varlık (target entity), bir özellik/boyut (aspect), bir duygu polaritesi (sentiment polarity) ve zaman bilgisinden oluşan beş unsurlu bir yapı (opinion quintuple) olarak temsil edilir. Örneğin bir ürün incelemesinde 'Bu telefonun pil ömrü berbat, kamera çözünürlüğü ise mükemmel' cümlesi iki ayrı görüş içermektedir: biri olumsuz pil ömrü görüşü, diğeri olumlu kamera görüşü. Opinion Mining bu iki görüşü hedef, özellik ve polarite bazında ayrıştırabilir. Teknikler arasında sözcük tabanlı yöntemler (SentiWordNet, VADER sözlükleri), makine öğrenmesi sınıflandırıcıları (SVM, Naive Bayes) ve özellikle Aspect-Based Sentiment Analysis (ABSA) görevleri için ince ayar yapılmış BERT, RoBERTa gibi derin öğrenme modelleri yer alır. Uygulama alanları arasında ürün inceleme analizi, marka ve itibar yönetimi, sosyal medya takibi, siyasi söylem analizi ve pazar araştırması öne çıkmaktadır. Büyük dil modellerinin (LLM) yaygınlaşmasıyla birlikte Opinion Mining görevleri sıfır atışlı öğrenme paradigmasıyla da çözülmeye başlanmış, insan düzeyine yakın doğruluk oranlarına ulaşılmıştır.
Örüntü Tanıma (Pattern Recognition) Nedir? (Örüntü Tanıma)
Örüntü tanıma (Pattern Recognition), ham verilerdeki anlamlı yapıları, tekrarlayan kalıpları ve ilişkileri otomatik olarak tespit edip sınıflandırmayı amaçlayan yapay zeka ve makine öğrenmesi disiplinidir. Görüntü, ses, metin ve zaman serileri gibi çeşitli veri tiplerinde çalışabilir; veri madenciliğinden bilgisayarlı görüşe, doğal dil işlemeden biyometriğe kadar geniş bir uygulama yelpazesi sunar.
Stream Mining Nedir? (Veri Akışı Madenciliği)
Stream Mining (Veri Akışı Madenciliği), kesintisiz ve sonsuz büyüklükteki veri akışlarından gerçek zamanlı olarak anlamlı örüntüler ve bilgiler çıkaran makine öğrenmesi dalıdır. Geleneksel veri madenciliğinin aksine, stream mining algoritmaları tüm veri setini bir veritabanında depolayıp sonradan analiz etmek yerine her bir veri örneğini yalnızca bir kez (tek geçiş) işler; bu sayede sınırlı bellek ve hesaplama kaynaklarıyla anlık kararlar üretir. Sürekli veri üreten kaynaklar arasında sosyal medya akışları, IoT sensör okumaları, bankacılık işlemleri, ağ trafiği günlükleri, borsa tick verileri ve çevrimiçi kullanıcı etkileşimleri sayılabilir. Bu veri kümeleri saatte milyonlarca ya da milyarlarca kayıt üretebilir; depolamadan önce analiz edilmesi zorunludur. Stream Mining'in temel teknik zorluğu konsept kaymasıdır (concept drift): Gerçek dünyada veri üretim mekanizması zamanla değişebilir ve modelin bu değişikliklere adaptasyon sağlaması gerekir. Hoeffding Tree algoritması (VFDT — Very Fast Decision Tree), Hoeffding sınırı teoremini kullanarak çok az örnekle güvenilir bölme kararları vererek büyük veri akışlarında gerçek zamanlı sınıflandırma yapar. MOA (Massive Online Analysis) ve River Python kütüphanesi bu alanda en yaygın kullanılan açık kaynak araçlardır. Stream Mining; sahtekârlık tespiti, ağ saldırısı algılama, gerçek zamanlı öneri sistemleri, endüstriyel ekipman arızası tahmini ve hava kalitesi izleme gibi gecikme toleransı olmayan uygulamalarda kritik rol üstlenir. Yapay zekanın gerçek zamanlı karar destek sistemlerine entegrasyonuyla birlikte bu alan giderek daha stratejik bir konuma gelmektedir.
Text Mining Nedir? Metin Madenciliği (Metin Madenciliği)
Text mining (metin madenciliği), büyük miktarda yapılandırılmamış metin verisinden anlamlı bilgi, örüntü ve ilişkileri otomatik olarak çıkaran bir veri analizi disiplinidir. Doğal dil işleme (NLP), istatistik ve makine öğrenimi tekniklerini birleştirerek ham metin kaynaklarını yapılandırılmış içgörülere dönüştürür. E-posta filtrelemesinden akademik literatür analizine, müşteri geri bildirimlerinden tıbbi kayıtlara kadar pek çok alanda kullanılan bu yöntem, insan için okunması zor olan büyük metin koleksiyonlarını anlamlı örüntülere indirger.
Veri Tekilleştirme (Data Deduplication) (Veri Tekilleştirme)
Veri tekilleştirme (data deduplication), bir veri kümesindeki yinelenen ya da tekrarlayan kayıtları tanımlayıp kaldıran veri madenciliği sürecidir. Aynı varlığı temsil eden birden fazla kayıt; farklı yazım biçimleri, eksik alanlar veya biçim tutarsızlıkları nedeniyle ortaya çıkabilir. Bu yinelemeler analiz kalitesini düşürür, makine öğrenmesi modellerini yanıltır ve depolama maliyetlerini artırır. Tam eşleşme tespiti (exact match) basit hashing yöntemleriyle yapılır; MinHash ve SimHash algoritmaları ise yakın-yineleme (near-duplicate) tespitinde büyük veri kümelerinde verimli çalışır. Kayıt bağlama (record linkage) tekniği, farklı kaynaklardaki kayıtları blok yöntemi veya sıralı komşuluk algoritması ile karşılaştırarak ikinci dereceden karmaşıklığı azaltır. Makine öğrenmesi tabanlı yaklaşımlar — SVM, Karar Ağacı, Random Forest ve derin öğrenme modelleri — klasik yöntemleri geride bırakmaktadır. Denetimli algoritmalar etiketli eğitim verisiyle yüksek hassasiyette yineleme tespiti yaparken, derin öğrenme modelleri metin, görsel ve yapısal veriler üzerinde özellik öğrenimi yaparak karmaşık benzerlikleri de yakalayabilir. LLM eğitim verilerinin hazırlanmasında veri tekilleştirme kritik bir adım haline gelmiştir: yinelenen belgeler modeli ezberlemeye yönlendirir ve genelleme yeteneğini azaltır. C4, The Pile ve FineWeb gibi büyük veri kümelerinde MinHash tabanlı tekilleştirme standart bir ön işleme adımı olarak uygulanmaktadır.
Web Scraping (Veri Kazıma (Web Kazıma))
Web Kazıma (Web Scraping), özel yazılımlar ve botlar kullanılarak internetteki yüz binlerce web sitesinin (haberler, forumlar, Wikipedia) sayfalarını ziyaret edip, içlerindeki yazıları, resimleri veya fiyat tablolarını saniyeler içinde otomatik olarak çekerek veritabanına kaydetme işlemidir. Yapay zeka devriminin görünmez hammaddesidir.