category Veri Madenciliği
Veri Madenciliği kategorisi, yapay zeka ve makine öğrenimi alanındaki 38 temel terim ve kavramı kapsar: Apriori Algorithm, Apriori Algoritması Nedir? Birliktelik Kuralı Madenciliği, Association Rule Mining, Causal AI Nedir? Nedensellik Tabanlı Yapay Zeka, Causal Inference Nedir? Nedensellik Çıkarımı, Class Imbalance. Her terim için tanım, örnek ve ilgili kavramları bu sayfadan keşfedebilirsiniz.
Apriori Algorithm (Apriori Algoritması)
Apriori, 1994 yılında Rakesh Agrawal ve Ramakrishnan Srikant tarafından geliştirilen temel bir birliktelik kuralı madenciliği algoritmasıdır. Adı, "apriori bilgi" kavramından gelir: algoritma, sık öğe kümelerini bulmak için önceden hesaplanmış küçük kümelerin sonuçlarını önsel bilgi olarak kullanır. Algoritmanın temel ilkesi Apriori Özelliği olarak bilinir: bir öğe kümesi seyrek (minimum destek eşiğinin altında) ise, bu kümenin tüm üst kümeleri de seyrek olacaktır. Bu anti-monotonluk özelliği, aday üretiminde büyük budama (pruning) sağlar ve arama uzayını önemli ölçüde daraltır. Algoritma üç aşamada ilerler: İlk aşamada minimum destek eşiğini karşılayan sık öğe kümeleri keşfedilir; tek öğeden başlanarak her iterasyonda k+1 öğeli adaylar üretilir, eşiği karşılamayanlar budanır. İkinci aşamada bu sık kümelerden minimum güven ve kaldıraç eşiklerini sağlayan birliktelik kuralları türetilir. Üçüncü aşamada kurallar destek, güven ve lift değerleriyle sıralanır. Apriori üç temel metrikle değerlendirilir. Destek (support), bir kural kombinasyonunun tüm işlemlerde görülme sıklığını gösterir. Güven (confidence), öncül verildiğinde sonucun ne kadar olası olduğunu ölçer. Kaldıraç (lift), birlikte görülmenin rastlantısal beklentinin kaç katı olduğunu hesaplar; lift değeri 1'den büyükse pozitif birliktelik vardır. Uygulama alanları oldukça geniştir: perakendede ürün yerleşimi ve promosyon stratejisi, e-ticarette çapraz satış ve kişiselleştirilmiş öneri sistemleri, sağlık sektöründe hastalık-semptom birlikteliği analizi ve siber güvenlikte ağ log'larında saldırı örüntüsü tespiti bunların başında gelir. Apriori'nin temel sınırlılığı, büyük veri kümelerinde çok sayıda veritabanı taraması yapmasıdır. Bu nedenle FP-Growth algoritması, tüm veriyi tek bir FP-ağacına sıkıştırarak yalnızca iki tam tarama yapar; büyük ölçekte Apriori'den genellikle 10-100 kat daha hızlıdır. Bununla birlikte Apriori, şeffaflığı ve adım adım takip edilebilirliği sayesinde veri madenciliği eğitiminde standart referans algoritması olmayı sürdürmektedir.
Apriori Algoritması Nedir? Birliktelik Kuralı Madenciliği (Apriori Algoritması)
Apriori, işlem veritabanlarındaki sık geçen öğe kümelerini (frequent itemsets) bulmak ve bunlardan birliktelik kuralları (association rules) çıkarmak için kullanılan temel veri madenciliği algoritmasıdır. Rakesh Agrawal ve Ramakrishnan Srikant tarafından IBM'de geliştirilerek 1994 VLDB konferansında yayımlanan bu yöntem, özellikle market sepeti analizi alanında devrim yaratan bir teknik oldu. Algoritma üç temel ölçüte dayanır. Destek (Support), bir öğe kümesinin tüm işlemler içindeki görünme oranıdır. Güven (Confidence), bir öncül kümesi satın alındığında ardıl kümesinin de satın alınma olasılığını ifade eder. Kaldıraç (Lift), gözlemlenen destek ile rasgele beklentinin oranıdır; lift>1 ise iki öğe arasında pozitif bir korelasyon vardır. Algoritma yinelemeli (iterative) bir yaklaşımla çalışır. İlk adımda her ürünün tek başına minimum destek eşiğini geçip geçmediği kontrol edilerek sık 1-öğe kümeleri belirlenir. Ardından bu sık kümeler birleştirilerek aday k-öğe kümeleri oluşturulur. Burada Apriori'nin güç noktası devreye girer: bir öğe kümesinin sık olması için tüm alt kümelerinin de sık olması zorunludur (downward closure özelliği). Bu kural, herhangi bir alt kümesi seyrek olan adayları tarama yapılmadan elemeye olanak tanır ve hesaplama maliyetini önemli ölçüde azaltır. Her adımda veritabanı taranarak destek sayımı yapılır; minimum destek eşiğinin altındakiler elenerek bir sonraki adıma geçilir. Pratik bir örnekle açıklamak gerekirse: 10.000 süpermarket işleminden 3.000'inde {ekmek, tereyağı} birlikte satın alınmışsa destek %30'dur. Ekmek alanların %72'si tereyağı da almışsa güven %72'dir. Bu durumda kaldıraç 1'den büyük olduğundan bu kural rasgele birlikteliğin ötesinde anlamlı bir ilişkiye işaret eder; çapraz satış veya raf düzenleme kararı için kullanılabilir. Algoritmanın temel sınırlılığı her öğe kümesi boyutu için veritabanının baştan taranmasıdır; büyük veri setlerinde bu çok sayıda G/Ç işlemi anlamına gelir. FP-Growth algoritması tek geçişte bir ağaç (FP-Tree) yapısı oluşturarak bu sorunu büyük ölçüde ortadan kaldırır ve pratikte Apriori'nin yerini almıştır. Python'da mlxtend.frequent_patterns.apriori fonksiyonuyla, büyük ölçekte ise PySpark MLlib'in FP-Growth implementasyonuyla kolayca uygulanabilir. Kullanım alanları arasında e-ticaret ürün öneri sistemleri, tıbbi tanı örüntü tespiti, web kullanım madenciliği, dolandırıcılık tespiti ve ağ güvenliği anomali analizi öne çıkar. Türkiye'deki e-ticaret platformları ve perakende CRM sistemleri bu tür birliktelik analizine dayanmaktadır.
Association Rule Mining (Birliktelik Kuralı Madenciliği)
Birliktelik Kuralı Madenciliği (Association Rule Mining), büyük veri setleri içindeki öğeler arasındaki ilişkileri, örüntüleri ve birlikte ortaya çıkma eğilimlerini keşfeden bir veri madenciliği yöntemidir. Bu teknik, belirli öğelerin bir arada bulunma sıklığını analiz ederek "Eğer X satın alınırsa, Y de satın alınır" gibi anlamlı kurallar çıkarır. 1993 yılında Agrawal ve Srikant tarafından geliştirilen Apriori algoritmasıyla önem kazanan bu yöntem, günümüzde e-ticaret öneri sistemlerinden ilaç araştırmalarına, siber güvenlikten finans sektörüne kadar geniş bir uygulama alanına sahiptir. Algoritma üç temel metriğe dayanır: Destek (Support), güven (Confidence) ve kaldıraç (Lift). Destek, bir kuralın veri kümesinde ne sıklıkla geçerli olduğunu gösterir. Güven, öncül (antecedent) gerçekleştiğinde sonucun (consequent) ne kadar olasılıkla gerçekleşeceğini ifade eder. Lift ise kuralın rastlantısallığın ötesinde ne kadar anlamlı olduğunu ölçer; lift değeri 1'den büyükse öğeler arasında pozitif bir ilişki vardır. Birliktelik kuralı madenciliğinin en tanınan uygulaması market sepeti analizidir (market basket analysis). Bir süpermarketin satış verilerini analiz ettiğinizde "bezle birlikte ıslak mendil de alınıyor" veya "bira alanlar cips de alıyor" gibi içgörüler elde edilebilir. Bu tür bilgiler raf düzeni optimizasyonu, çapraz satış stratejileri ve kişiselleştirilmiş pazarlama kampanyalarında kritik rol oynar. Amazon, Netflix ve Spotify gibi platformlar da birliktelik kuralı ilkelerinden yararlanarak kişiye özel ürün ve içerik önerileri sunar. Yöntem, denetimsiz öğrenme (unsupervised learning) kategorisinde değerlendirilir; önceden etiketlenmiş veriye gerek duymadan ham işlem kayıtlarından doğrudan anlam çıkarır.
Causal AI Nedir? Nedensellik Tabanlı Yapay Zeka (Nedensellik Tabanlı Yapay Zeka)
Nedensel AI (Causal AI), geleneksel makine ogrenimi sistemlerinin korelasyon kaliplarini ogrenme otesine gecip degiskenler arasindaki gercek neden-sonuc iliskilerini modellemeyi hedefleyen bir yapay zeka yaklasimidur. Temel sorusu "X, Y ile ne kadar iliskili?" degil, "X degistirdigimde Y ne olur?" veya "X olmasaydı Y ne olurdu?"dur. Judea Pearl'un nedensel merdiveni (causal ladder / ladder of causation), bu alandaki temel kavramsal cercevedir. Birinci basamak gozlemdir: veri analizi, korelasyon ve tahmin bu duzeydir; standart ML burada kalmaktadir. Ikinci basamak mudahaledir (intervention): do() operatoru ile bir degiskene mudahale ettigimizde ne olur sorusu sorulur; bu duzey RCT ve politika degerlendirmesi icin kritiktir. Ucuncu ve en guclu basamak karsi-olgusaldur (counterfactual): "Tedaviyi alsaydim ne olurdu?" veya "Bu terori olmasaydı X kac canı kurtardi?" gibi tanimsallik gerektiren sorular bu duzeydir. Yapisal Nedensel Model (Structural Causal Model - SCM), degiskenler arasindaki iliskileri Yonlu Asiklik Graf (DAG) ile temsil eder. Grafin her ok, nedensel bir iliskiyi ifade eder. d-ayrima ve arka kapi (backdoor) kriterleri, gozlemsel veri uzerinde hangi degiskenlerin kontrol edilip edilmemesi gerektigini belirler. Bu matematiksel kesinlik, nedensel cikarimi soyut yorumlamanin otesinde tutar. Saglik alaninda nedensel AI ozellikle kritik uygulamalar sunar. Bireysel Tedavi Etkisi (Individual Treatment Effect - ITE) hesaplamasi, belirli bir hastanin tedaviden fayda gorip gormeyecegini tahmin eder; ayni tedavi biri icin etkili diger biri icin etkisiz veya zararli olabilir. Standart RCT ortalamalari bu heterojenlik bilgisini gizler. Adil AI perspektifinden nedensel yaklasilm, hangi yollarin ayrimciliga yol actigini ayirt edebilir: hem dogrudan etkiler hem de dolayimi yollar modellenir. Bu, neden-sonuc tabanli bir adalet tanimina olanak tanir. **Sik Sorulan Sorular** **Nedensel AI ile klasik makine ogrenimi arasindaki temel fark nedir?** Klasik ML istatistiksel korelasyona dayali tahmin yapar; dagılım degistiginde (distribution shift) bozulabilir. Nedensel AI neden-sonuc iliskilerini modeller; mudahale sonuclarini onceden tahmin edip yeni senaryolara genelleme yapar. **Nedensel AI pratik sistemlerde kullanılıyor mu?** Evet. Amazon ve Meta A/B testi motoru gelistirilerinde nedensel cikarim teknikleri kullanmaktadir. Saglik alaninda kisisellestirilmis tedavi oneri sistemleri ITE modellemesini uygulamaktadir. **Buyuk dil modelleri nedensel akil yurutme yapabilir mi?** LLM'ler nedensel dil kaliplari ogrenerek bazi nedensel sorulari cevaplayabilir; ancak gercek yapisal nedensel akil yurutme gerceklestirdikleri tartismalıdır. Bunun icin genellikle dis bir DAG veya nedensel model katmani gerekir. **Nedensel AI ogrenmeye nereden baslarim?** Judea Pearl'un "The Book of Why" popular bilim kitabi ve "Causal Inference: The Mixtape" (Scott Cunningham) ucretsiz onlline erisislebilir iyi baslangic kaynaklaridur.
Causal Inference Nedir? Nedensellik Çıkarımı (Nedensellik Çıkarımı)
Nedensel cikarim (causal inference), iki degisken arasindaki iliskinin yalnizca korelasyon mu yoksa gercek nedensel baglanti mi oldugunu belirlemeye yonelik istatistiksel ve deneysel yontemler butunudur. "Korelasyon nedensellik degildir" ifadesi bu alanin temel motivasyonunu ozetler: buzullamanin azalmasi ile ayı saldırılarının artmasi korele olabilir; ancak ikisi arasinda nedensel bir baglanti aramak yanlis cikarima yol acar. Nedensel cikarimin altin standardi Randomize Kontrollu Deney (RCT)'dir. Bireyler veya birimler rastgele tedavi grubu (intervention alan) ve kontrol grubu (almayan) olarak atanir. Bu rastgele atama, gozlemlenmemis karıstırıcı degiskenlerin (confounders) gruplar arasinda dengeli dagilmasını saglar; boylece gozlemlenen fark yalnizca tedavi etkisine atfedilebilir. A/B testi, RCT'nin dijital ortamdaki en yaygin uygulamasidur. Gozlemsel verilerle calisirken, kontrollu deney mumkun olmadigi durumlarda, alternatif yontemlere basvurulur. Arasal degisken (instrumental variable) yontemi, tedaviyi etkiledigide ancak ciktiyi yalnizca tedavi uzerinden etkileyen bir "arac" degiskeni kullanarak nedensel etkiyi izole eder. Fark farklar (difference-in-differences), tedavi oncesi ve sonrasi trendlerin karsilastirilmasiyla etki hesaplanir. Regression Discontinuity Design (RDD), belirli bir esik degerinden once ve sonra tedavi alan gruplari karsilastirir. Judea Pearl'un yapisal nedensel model cercevesi, DAG (Yonlu Asiklik Graf) ile degiskenler arasindaki nedensel iliskileri gorsel ve matematiksel olarak temsil eder. do() operatoru, bir degiskene mudahale etmek ile yalnizca gozlemlemek arasindaki farki net biçimde ifade eder; bu nedensel merdivenin (korelasyon → mudahale → karsi-olgusal) matematiksel temeli saglar. **Sik Sorulan Sorular** **Neden korelasyon nedensellik degildir?** Korelasyon iki degiskenin birlikte hareket ettigini gosterir; ancak ucuncu bir degisken her ikisini de etkileyebilir (confounding) veya iliskinin yonu ters olabilir. Nedensel cikarim bu alternatifleri sistematik bicimde elemek icin tasarlanmistir. **Buyuk veri nedensellik sorununu cozer mi?** Hayir. Daha fazla gozlemsel veri toplanmasi korelasyonu kesinlestirip nedensellige donusturmez. Yalnizca daha buyuk bir verinin daha buyuk bir confounding problemini beraberinde getirmesi de mumkundur. **A/B testinin sinirliliklari nelerdir?** Spillover etkisi (kontrol grubunun tedavi grubundan etkilenmesi), kararlasma ogretisine (novelty effect) duyarlilik ve uzun vadeli etkileri yakalamada gucluk A/B testinin bilinen sinirliliklandirir. **Machine learning ile nedensel cikarim birlestirilebilir mi?** Evet. Double ML ve causal forests gibi yontemler ML'in tahmin gucunu nedensel cikarimin sertligiyle birlestirerek heterojen tedavi etkilerini bulmak icin kullanilmaktadir.
Class Imbalance (Sınıf Dengesizliği (Class Imbalance))
Sınıf Dengesizliği (Class Imbalance), bir sınıflandırma veri kümesinde farklı sınıflara ait örnek sayısının birbirine eşit olmaması durumudur. Gerçek dünya veri kümelerinin büyük çoğunluğu bu sorunu taşır: sahtekarlık tespitinde meşru işlemler sahte işlemlere göre yüzlerce kat fazla olabilirken, nadir hastalık teşhisinde hasta örnekleri sağlıklı bireylere oranla son derece azdır. Bir model dengesiz veriyle eğitildiğinde çoğunluk sınıfını tahmin etmeyi öğrenerek yüksek genel doğruluk (accuracy) elde eder; ancak gerçek hayatta kritik olan azınlık sınıfı için yetersiz kalır. Örneğin %99 sağlıklı ve %1 hasta içeren bir veri kümesinde model her zaman 'sağlıklı' tahmin yapsa da %99 doğruluk elde eder. Bu durum, doğruluğun yanlış bir başarı metriği olduğunu ortaya koyar; Precision, Recall, F1 ve AUC-ROC bu tür senaryolarda daha güvenilir metriklerdir. Dengesizlikle başa çıkmanın temel yöntemleri dört grupta toplanır. Veri düzeyinde yöntemler; azınlık sınıfını yapay olarak artıran aşırı örnekleme (oversampling) ve çoğunluk sınıfını azaltan alt örnekleme (undersampling) tekniklerini kapsar. SMOTE (Synthetic Minority Over-sampling Technique), 2002'de sunulmuş en yaygın aşırı örnekleme yöntemi olup mevcut azınlık örneklerini interpolasyon ile çoğaltır. Algoritma düzeyinde yöntemler ise hatalı sınıflandırılmış azınlık örneklerini daha ağır cezalandıran maliyet-duyarlı öğrenmeyi (cost-sensitive learning) kapsar. Sınıf ağırlıkları parametresi (class_weight='balanced' scikit-learn'de) otomatik dengeleme sunar. Ensemble yöntemleri arasında BalancedRandomForest ve EasyEnsemble öne çıkar. Son olarak eşik (threshold) ayarı, model tahmin olasılık eşiğini kaydırarak hassasiyet-geri çağırma dengesini yönetir. Türkiye'deki veri bilimi pratiğinde sahtekarlık tespiti, kredi risk modelleme ve hastalık erken tanı gibi yüksek değerli uygulamaların tamamı sınıf dengesizliği sorunuyla yüzleşmek zorundadır. Bu sorunun farkında olmadan geliştirilen modeller production ortamında ciddi hatalara yol açar.
Clustering (Kümeleme (Clustering))
Kümeleme (clustering), bir veri setindeki örnekleri önceden tanımlanmış etiketler kullanmadan, yalnızca verinin iç yapısına dayalı benzerlik ölçütlerine göre gruplara ayıran denetimsiz öğrenme tekniğidir. Her küme, üyeleri arasındaki mesafenin (veya başka bir benzerlik metriğinin) küme dışı noktalara göre daha küçük olduğu, homojen bir veri alt kümesidir. Kümeleme algoritmaları farklı geometrik varsayımlara dayanır; bu nedenle algoritma seçimi verinin şekline ve yoğunluğuna bağlıdır. K-Means, veriyi önceden belirtilen k merkeze (centroid) yakınlığa göre böler; kümelerin yaklaşık küresel ve eşit büyüklükte olduğu varsayımıyla çalışır. Hierarchical Clustering (hiyerarşik kümeleme), dendogram adı verilen ağaç yapısı üzerinden küme sayısına önceden karar vermeye gerek duymadan farklı granülerlikte kümeler sunar. DBSCAN (Density-Based Spatial Clustering of Applications with Noise) ise yoğunluk tabanlı çalışır; keyfi şekilli kümeleri bulabilir ve gürültü noktalarını aykırı değer olarak etiketler — bu özellik K-Means'e kıyasla önemli bir avantajdır. Küme kalitesini değerlendirmek için gerçek etiketler olmadan da kullanılabilen iç metrikler mevcuttur. Silhouette skoru, her noktanın kendi kümesine ne kadar yakın, komşu kümelere ne kadar uzak olduğunu -1 ile +1 arasında ölçer; yüksek skor iyi ayrışmış kümelere işaret eder. Davies-Bouldin indeksi ve Calinski-Harabasz skoru da benzer amaçla kullanılan yaygın metriklerdir. K-Means için en uygun k değerini bulmak amacıyla "dirsek yöntemi" (elbow method) ve silhouette analizi birlikte kullanılır. Pratik uygulamaları arasında müşteri segmentasyonu, belge sınıflandırma, anomali tespiti, görüntü renk nicemleme (color quantization), gen ifadesi analizi ve sosyal ağ topluluğu tespiti sayılabilir. Makine öğrenmesinde kümeleme ayrıca özellik mühendisliği aşamasında yeni değişkenler türetmek veya yarı-denetimli öğrenme için etiketleme maliyetini düşürmek amacıyla da kullanılır. Python'da scikit-learn kütüphanesi KMeans, DBSCAN, AgglomerativeClustering gibi tüm temel algoritmaları standart arayüzle sunar.
Collaborative Filtering (İşbirlikçi Filtreleme)
Collaborative Filtering (İşbirlikçi Filtreleme), kullanıcıların geçmiş davranışlarını ve tercihlerini analiz ederek kişiselleştirilmiş öneriler sunan temel bir makine öğrenimi tekniğidir. Bu yaklaşım, benzer tercihlere sahip kullanıcıların gelecekte de benzer şeyleri beğeneceği varsayımına dayanır. Netflix, Amazon, Spotify ve YouTube gibi büyük platformların tavsiye sistemlerinin temelini oluşturur. Collaborative Filtering iki ana kategoriye ayrılır: bellek tabanlı (memory-based) ve model tabanlı (model-based) yaklaşımlar. Bellek tabanlı yaklaşımlarda, kullanıcı-kullanıcı veya öğe-öğe benzerlik matrisleri hesaplanarak en yakın komşular belirlenir ve bu komşuların tercihlerine göre öneriler yapılır. Kullanıcı tabanlı (user-based) CF, hedef kullanıcıya en benzer kullanıcıları bulur ve onların beğendiği ancak hedef kullanıcının henüz görmediği öğeleri önerir. Öğe tabanlı (item-based) CF ise kullanıcının daha önce beğendiği öğelere en çok benzeyen yeni öğeleri bulur. Model tabanlı yaklaşımlarda matris çarpanlarına ayırma (matrix factorization) teknikleri kullanılır. Tekil Değer Ayrışımı (SVD) ve Dönüşümlü En Küçük Kareler (ALS) gibi yöntemler, kullanıcı-öğe etkileşim matrisini gizli özellik uzayına (latent feature space) yansıtarak büyük ölçekli sistemlerde verimli çalışır. 2009 Netflix Prize yarışmasında Simon Funk'ın SVD++ algoritması öneri kalitesini yüzde on beş oranında iyileştirerek bu yöntemlerin endüstriyel değerini kanıtlamıştır. Başlıca zorluklar şunlardır: yeni kullanıcı veya öğe için veri bulunmaması (soğuk başlama — cold start), kullanıcıların mevcut öğelerin yalnızca küçük bir kısmıyla etkileşime geçmesi nedeniyle seyrek matris oluşması (sparsity), ve sisteme gizlice sahte tercihler enjekte eden Shilling Attack tehditleri. Bu sorunların üstesinden gelmek için içerik tabanlı filtreleme ile hibrit sistemler oluşturulur. Derin öğrenme çağında Neural Collaborative Filtering (NCF) ve dikkat mekanizmalı modeller, geleneksel yöntemlere kıyasla önemli başarım artışları sağlamaktadır. Python ekosisteminde Surprise, LightFM ve implicit kütüphaneleri yaygın olarak kullanılmaktadır.
Community Detection (Topluluk Tespiti)
Topluluk tespiti (community detection), bir grafın (ağın) kendi içinde yoğun bağlantılı, diğer gruplardan görece seyrek bağlantılı alt yapılarını — toplulukları — ortaya çıkaran graf analizi yöntemidir. Sosyal ağlarda arkadaşlık kümeleri, web grafiklarında konu kümeleri, biyolojik ağlarda işlevsel protein modülleri ve bilgi graflarında kavram grupları bu yöntemle tespit edilebilir. Topluluk tespiti algoritmaları dört ana sınıfa ayrılır. Modülarite optimizasyonu sınıfında Louvain algoritması, grafı aşamalı olarak birleştirerek modülariteyi (Q) maksimize eder; O(n log n) karmaşıklığıyla milyonlarca düğüme ölçeklenir ve literatürün en yaygın kullanılan yöntemidir. Leiden algoritması Louvain'in geliştirilmiş halidir: lokal boşluk sorununu gidererek daha bağlantılı topluluklar üretir ve 2019'dan itibaren büyük ölçekli ağ analizinde standart hâle gelmiştir. Hiyerarşik bölme yöntemlerinde Girvan-Newman algoritması, arasındalık merkeziyeti (betweenness centrality) en yüksek kenarları iteratif biçimde çıkararak toplulukları ayırır; hesaplama maliyeti yüksek olduğundan büyük graflarda daha az tercih edilir. Spektral kümeleme, grafın Laplacian matrisinin özvektörlerini kullanarak düğümleri özellik uzayında kümelendirir ve görüntü segmentasyonu ile doküman kümeleme alanlarında öne çıkar. Etiket yayılımı (label propagation) ise her düğümün komşularındaki en yaygın etiketi benimsemesine dayanan hızlı ve paralel bir yöntemdir. Yapay zeka uygulamalarında topluluk tespiti kritik bir bileşen hâline gelmiştir. Microsoft'un GraphRAG sistemi (2024), metin belgelerinden çıkarılan varlık grafındaki toplulukları Leiden algoritmasıyla tespit eder ve her topluluk için hiyerarşik özet raporlar üretir. Bu raporlar, "sektörde hangi trendler öne çıkıyor?" gibi geniş kapsamlı sorgulara yanıt verirken bağlam olarak kullanılır — standart vektör RAG'ın başarısız olduğu global sorularda çarpıcı biçimde daha iyi sonuçlar elde eder. Öneri sistemlerinde kullanıcı-ürün grafındaki topluluklar, soğuk başlangıç (cold start) sorununu azaltmak için grup tabanlı öneriler üretmekte kullanılır. Doğruluk tespitinde (misinformation detection) sosyal ağ topluluklarının yapısı, koordineli dezenformasyon kampanyalarını tespit etmek için analiz edilmektedir.
Concept Drift (Kavram Kayması)
Kavram kayması (concept drift), makine öğrenmesi modellerinin eğitiminde kullanılan verinin istatistiksel dağılımının zamanla değişmesi ve bunun sonucunda modelin performansının düşmesi olgusudur. Model yayına alındıktan sonra gerçek dünya verisi sürekli evrilirken model, eğitimde öğrendiği eski kalıpları uygulamaya devam eder; bu uyumsuzluk tahmin hatalarının artmasına yol açar. Kavram kayması dört temel türde gözlemlenir: ani kayma (abrupt drift), ekonomik kriz veya yasal değişiklik gibi anlık olaylarda dağılımın topluca değişmesidir; kademeli kayma (gradual drift), uzun sürede yavaş yavaş meydana gelir; tekrarlayan kayma (recurring drift), mevsimsellik gibi periyodik değişimler içerir; kör nokta kayması (blind spot drift) ise eğitim verisinde hiç görünmemiş yeni veri türlerinin üretimde ortaya çıkmasıdır. Gerçek dünya senaryolarında bu türler iç içe geçebilir; bir e-ticaret platformu hem mevsimsel (recurring) hem de uzun dönemli tüketici tercihi değişimlerine (gradual) maruz kalabilir. Drift tespitinde istatistiksel testler (Kolmogorov-Smirnov, Chi-square), özellik dağılımı izleme (Population Stability Index — PSI), referans pencere ile kayan pencere karşılaştırma ve model performans metriklerinin takibi (doğruluk, AUC, RMSE) en yaygın yöntemlerdir. Evidently AI, River, NannyML ve Alibi-Detect bu analizler için açık kaynaklı araçlar sunar. Yanıt stratejileri arasında periyodik yeniden eğitim (scheduled retraining), drift algılandığında tetiklenen otomatik güncelleme (triggered retraining), her yeni örnekle güncellenen online öğrenme ve farklı döneme ait modelleri birleştiren ensemble yaklaşımları öne çıkar. MLOps altyapısı bu stratejileri drift → uyarı → yeniden eğitim döngüsüyle otomatik biçimde işletir. Kredi riski değerlendirmesinden öneri sistemlerine, doğal dil işlemeden görüntü tanımaya kadar üretimdeki tüm ML modelleri kavram kaymasına karşı savunmasızdır. Pandemi döneminde tüketici harcama kalıpları dramatik biçimde değişmiş, bu durum perakende öneri sistemlerinde ani doğruluk düşüşlerine yol açmıştır. Model izleme ve zamanında yeniden eğitim, güvenilir yapay zeka sistemlerinin temel bileşenleridir.
Data Drift (Veri Kayması (Bozulması))
Veri drift (data drift), bir makine ogrenimi modelinin egitildigi veri dagilimi ile modelin uretimde karsilastigi gercek dunya verisi arasindaki istatistiksel mesafenin zamanla buyumesidir. Bir model egitim sirasinda belirli bir veri dagilimini ogrendigi icin, bu dagilimdaki degisimler modelin ongorduguyle gercek dunyada karsilastiginni arasinda giderek buyuyen bir uyumsuzluk yaratir ve model performansinin bozulmasina yol acar. Drift cesitli bicimlerde gerceklesebilir. Kovaryet drift (covariate shift), girdi ozelliklerinin istatistiksel dagiliminin degismesiyle olur; ancak girdi-cikti iliskisi sabittir. Ornegin bir banka dolandiricilik modelinin egitildigi doneme kiyasla musteri yas profili veya islem buyuklukleri zamanla degisebilir. Kavram drift (concept drift) ise daha derin bir problemi temsil eder: girdi ile cikti arasindaki temel iliskinin kendisi degisir. COVID-19 pandemisi, tuketici aliskanliklarini o kadar kisa surede donusturdu ki yuzlerce sirkette alis-veri tahmin modelleri kritik performans kaybi yasadi. Drift tespiti icin cesitli istatistiksel testler kullanilir. Population Stability Index (PSI), egitim ve uretim verisinin dagilim farkliliğini sayisal olarak olcer; 0.1 altinda kritik, 0.25 uzerinde kritik drift isaretler. Kolmogorov-Smirnov testi iki dagilimlarin istatistiksel olarak anlamli farkliliği olup olmadigini test eder. KL Divergence, bir dagilimdaki bilginin digerini temsil etmek icin ne kadar eksik bilgi gerektirdigini olcer. Pratik MLOps sistemlerinde drift izleme gercek zamanli veya periyodik olarak yurutur. Bir esik gecilelince sistem uyari olusturur, log kaydeder ve bazen otomatik yeniden egitimi tetikler. Yeniden egitim her zaman dogru cevap degildir; kimi zaman ozellik muhendisligi veya modelin yeniden tasarlanmasi gerekir. Etiket gecikme sorunu da yogun gundeme gelir: drift tespitinin kalbi olan gercek etiketi elde etmek haftalar veya aylar alabilir. **Sik Sorulan Sorular** **Veri drift ile model drift arasindaki fark nedir?** Veri drift girdi dagiliminin degismesidir; model drift ise cikti kalitesinin bozulmasini ifade eder. Veri drift model driftin yaygin nedenlerinden biridir ancak tek nedeni degildir. **Drift ne siklukla kontrol edilmelidir?** Bu verinin degisim hizina baglidir. Finansal, hava durumu veya trafik verileri gunden gune bile ciddi drift gosterebilir. Urun tavsiye modelleri genellikle haftalik kontrol yeterlidir. **Drift tespitinde hangi araclar kullanilir?** Evidently AI, Arize, Whylogs, Fiddler ve bulut saglayicilarin yonetilen izleme servisleri yaygin seceneklerdir. Temel istatistiksel testler ise SciPy veya scikit-learn ile uygulanabilir. **Drift olmadan da model bozulabilir mi?** Evet. Model bozulmasi; veri altyapisindaki degisiklikler, bagimliliklarin guncellenmesi veya kodlama hatalari gibi teknik nedenlerle de olabilir; bunlar veri drift olmaksizin gerceklesir.
Data Lake (Veri Gölü)
Data Lake (Türkçe: Veri Gölü), yapılandırılmış, yarı yapılandırılmamış ve yapılandırılmamış verilerin orijinal ham formatlarında depolandığı merkezi, ölçeklenebilir bir büyük veri deposudur. Geleneksel veri ambarlarının aksine, Data Lake veriye önceden bir şema uygulamaz; veriler ham hâlde saklanır ve sorgu anında şema belirlenir (schema-on-read yaklaşımı). Bu esneklik aracılığıyla log dosyaları, görüntüler, videolar, sensör verileri ve JSON/CSV gibi farklı formatlardaki veriler aynı depoda bir arada tutulabilir. "Data Lake" kavramı ilk olarak 2010 yılında Pentaho'nun CTO'su James Dixon tarafından kavramsallaştırılmıştır. Dixon, veri ambarlarını sunum için hazır su şişeleriyle kıyaslarken Data Lake'i kendi doğal ve safiyetini koruyan bir göle benzetti: tüm su kaynakları (veriler) doğal hâlde bu göle akar ve kullanıcılar ihtiyaçlarına göre bu gölden istedikleri miktarda ve formatta su alır. Bir Data Lake mimarisi genellikle birkaç katmandan oluşur. Ham veri bölgesi (Raw/Landing Zone), kaynak sistemlerden gelen verilerin sıfır değişiklikle aktarıldığı giriş noktasıdır. Rafine veri bölgesi (Curated Zone), temizleme, dönüştürme ve kalite kontrolünden geçirilmiş verileri barındırır. Tüketim bölgesi (Consumption Zone) ise iş analistleri, veri bilimciler ve makine öğrenmesi uygulamaları tarafından kullanıma hazır hâle getirilmiş verileri içerir. Data Lake'in başlıca avantajları arasında yüksek ölçeklenebilirlik, düşük birim depolama maliyeti ve veri formatı esnekliği sayılabilir. Ancak yeterli yönetim ve kataloglama araçları olmadığında "Data Swamp" (Veri Bataklığı) hâline gelebilir: verinin nereden geldiği, ne anlama geldiği ve nasıl kullanılacağı belirsizleşir. Bu sorunu çözmek için veri kataloğu (data catalog), veri soyu takibi (data lineage) ve meta veri yönetimi araçları kullanılır. Günümüzde AWS S3 + Glue, Azure Data Lake Storage Gen2, Google Cloud Storage ve Apache Hadoop HDFS popüler Data Lake altyapılarıdır. Modern Delta Lake, Apache Iceberg ve Apache Hudi açık tablo formatları ise ACID işlem desteği ve şema evrimi ekleyerek Data Lake ile Data Warehouse özelliklerini "Lakehouse" mimarisinde birleştirir. Yapay zeka ve büyük dil modeli (LLM) alanında ise Data Lake, model öncesi (pre-training) ham veri havuzu ve fine-tuning veri kümesi deposu olarak kritik bir rol üstlenmektedir; bu nedenle modern yapay zeka altyapılarının ayrılmaz bir parçası hâline gelmektedir.
Data Mining (Veri Madenciliği)
Veri madenciligi (data mining), buyuk veri kumelerinde gizli kalıpları, anlamlı ilişkileri ve bilgiyi outomatic olarak kesfetme sureci. Istatistik, makine ogrenmesi ve veritabani yonetiminin kesisiminde yer alan bu alan; ham verinin islenmesiyle anlamlı is kararlarına yol acan bilgiye donusturulmesi hedefler. Veri madenciligi sureci tipik olarak CRISP-DM (Cross-Industry Standard Process for Data Mining) metodolojisiyle yurutulur: is anlayisi, veri anlayisi, veri hazirlama, modelleme, degerlendirme ve deployment asamalarindan olusur. Bu cerceve, veri bilimiyle buyuk olcude ortusmektedir. Temel veri madenciligi teknikleri sunlardir: siniflandirma (classification) — yeni ornekleri bilinen kategorilere atama; kumeleme (clustering) — etiket olmaksizin benzer ornekleri gruplama; birliktelik kurali ogrenme (association rule learning) — birlikte gozuklenen ogeleri kesfetme; anomali tespiti (anomaly detection) — aykiri degerleri bulma; regresyon — sayisal degerleri tahmin etme. Birliktelik kurali ogrenme, sepet analizi (market basket analysis) olarak bilinen uygulamada kucuk bir ornek olarak Apriori ve FP-Growth algoritmalari kullanilir. 'Bira alan musteri bez de satin alır' gibi iliskiler bu teknikle kesfedilmistir. Bu oneri motorlarinın, cross-selling stratejilerinin ve icerik onerisinin temelini olusturur. Veri madenciligi; perakende (urun onerisindeki), finans (kredi riski, sahtekarlık tespiti), saglik (tani destegi, hasta gruplama) ve telekomunikasyon (musteri kaybı tahmini — churn) gibi alanlarda yaygin kullanim alanlarina sahiptir.
Data Preprocessing (Veri Ön İşleme)
Veri Ön İşleme (Data Preprocessing), ham verinin makine öğrenmesi veya derin öğrenme modelleri tarafından işlenebilecek kalitede ve formatta hale getirilmesi için uygulanan dönüşüm süreçlerinin bütünüdür. Gerçek dünya verileri çoğunlukla eksik değerler, aykırı gözlemler, tutarsız formatlar ve gürültü içerir; veri ön işleme bu sorunları gidererek modelin sağlıklı kalıplar öğrenmesini sağlar. Temel adımlar şunlardır: Eksik değer yönetimi — boş hücreler ortalama, medyan veya KNN gibi yöntemlerle doldurulur ya da silinir. Aykırı değer tespiti ve giderimi — istatistiksel sınır dışına çıkan veri noktaları belirlenir, düzeltilir veya kaldırılır. Ölçeklendirme ve normalleştirme — farklı ölçeklerdeki sayısal değişkenler (örneğin yaş ile maaş) Min-Max normalleştirme veya Z-score standartlaştırma ile ortak bir aralığa çekilir; böylece mesafe tabanlı algoritmalar (KNN, SVM) ya da gradyan inişli modeller (sinir ağları) dengeli çalışır. Kategorik kodlama — metin tabanlı kategorik değişkenler One-Hot Encoding veya Label Encoding ile sayısal formata dönüştürülür. Boyut indirgeme — gereksiz veya birbiriyle yüksek korelasyonlu özellikler PCA gibi yöntemlerle elenerek model karmaşıklığı azaltılır. Veri ön işleme, makine öğrenmesi projesinin en fazla zaman harcanan aşamasıdır; veri bilimcilerin yaklaşık yüzde sekseni bu süreçte geçer. scikit-learn'ün Pipeline ve ColumnTransformer yapıları, bu adımları tutarlı ve tekrar kullanılabilir biçimde uygulamayı kolaylaştırır. Doğru veri ön işleme olmadan en güçlü algoritma bile güvenilir tahminler üretemez; bu nedenle model başarısının temeli veri kalitesidir.
Data Quality (Veri Kalitesi)
Veri kalitesi (Data Quality), bir veri kümesinin belirli bir kullanım amacı için ne derece uygun olduğunu ifade eden çok boyutlu bir kavramdır. Yapay zeka, makine öğrenimi ve veri madenciliği projelerinde, veri kalitesi modelin ne kadar doğru ve güvenilir sonuç üreteceğini belirleyen temel etkendir. Veri kalitesi altı standart boyutla ölçülür. Doğruluk (accuracy), veri değerlerinin gerçek dünyadaki durumu yansıtıp yansıtmadığını ölçer. Tamlık (completeness), gerekli alanların eksiksiz biçimde dolu olup olmadığını denetler. Tutarlılık (consistency), aynı verinin farklı sistemler veya tablolar arasında çelişip çelişmediğini kontrol eder. Zamansallık (timeliness), verinin analiz amacına yetecek kadar güncel olup olmadığını sorgular. Geçerlilik (validity), verilerin tanımlanmış iş kurallarına ve formatlara uygunluğunu belirler. Benzersizlik (uniqueness) ise yinelenen kayıtları tespit eder. Sektörde yerleşik olan 'Çöp içeri, çöp dışarı' (Garbage In, Garbage Out) ilkesi, veri kalitesinin modeller üzerindeki doğrudan etkisini özetler. Hatalı veya eksik verilerle eğitilen bir yapay zeka modeli, gerçek dünya koşullarında güvenilmez tahminler üretir. Araştırmalar, veri bilimcilerinin zamanının yüzde altmış ila seksenini veri temizleme ve kalite iyileştirmeye ayırdığını ortaya koymaktadır. Veri kalitesini ölçmek ve artırmak için kullanılan başlıca araçlar arasında Great Expectations, dbt testleri, Apache Soda ve Pandas Profiling yer almaktadır. Bu araçlar veri boru hatlarına (pipeline) entegre edilerek kalite sorunlarını anlık raporlar ve anomalileri uyarı sistemlerine bildirir. Üretim ortamlarında sürekli veri kalitesi izleme (data quality monitoring), sapmalar gerçekleşir gerçekleşmez mühendis ekipleri uyarır. Regülasyon boyutunda AB Yapay Zeka Yasası (AI Act) Madde 10, yüksek riskli yapay zeka sistemlerinde veri yönetim uygulamalarını ve kalite metriklerini belgelemeyi yasal yükümlülük haline getirmiştir. ISO/IEC 25012 standardı da veri kalitesi özelliklerini sistematik biçimde tanımlar. Bu nedenle veri kalitesi artık yalnızca teknik bir uygulama değil, kurumsal yönetişim ve uyum çerçevelerinin ayrılmaz bir parçasıdır.
DBSCAN (Yoğunluk Tabanlı Kümeleme (DBSCAN))
DBSCAN (Density-Based Spatial Clustering of Applications with Noise — Gürültüye Dayanıklı, Yoğunluk Tabanlı Uzamsal Kümeleme), veriyi kümelere ayırmak için noktaların birbirlerine olan yakınlığını ve yoğunluğunu kullanan bir kümeleme algoritmasıdır. Martin Ester, Hans-Peter Kriegel ve ekibi tarafından 1996'da önerilen bu algoritma, belirsiz şekilli (non-convex) kümeleri tanıma ve aykırı noktaları gürültü olarak tespit etme becerisiyle öne çıkar. DBSCAN iki temel parametre kullanır: epsilon (ε) ve minPts. Epsilon, bir noktanın komşuluk yarıçapını tanımlar; minPts ise bir noktanın çekirdek nokta (core point) sayılması için o yarıçap içinde bulunması gereken minimum komşu sayısıdır. Algoritma çekirdek noktaları, kenar noktaları ve gürültü noktalarını birbirinden ayırır: yeterince yoğun bölgelerdeki noktalar kümeler oluşturur, geri kalanlar gürültü olarak işaretlenir. K-Means'ın aksine DBSCAN küme sayısını önceden gerektirmez; verideki doğal yapıyı keşfeder. Küre şekilli olmayan, rastgele geometrik formdaki kümeleri başarıyla tespit edebilir. Gürültüye karşı sağlamlığı, coğrafi veri analizi ve anomali tespiti gibi gerçek dünya uygulamaları için son derece uygun bir araç haline getirir. Ancak çok boyutlu verilerde ε parametresini ayarlamak güçleşir ve boyutluluk lanetinden (curse of dimensionality) etkilenebilir. DBSCAN'ın geliştirilmiş varyantı HDBSCAN (Hierarchical DBSCAN), sabit epsilon yerine hiyerarşik bir yoğunluk eşiği kullanarak değişken yoğunluktaki kümeleri tanıyabilmektedir. Python'da scikit-learn kütüphanesi DBSCAN ve HDBSCAN için kullanıma hazır implementasyonlar sunar. Türkiye'de coğrafi bilgi sistemleri, perakende lokasyon analizi ve doğal afet noktası kümeleme çalışmalarında yaygın kullanım alanı bulmaktadır.
Digital Twin Nedir? Yapay Zeka ile Dijital İkiz (Dijital İkiz)
Digital twin (dijital ikiz), fiziksel bir nesnenin, sistemin veya sürecin gerçek zamanlı verilerle güncellenen yüksek doğruluklu sanal kopyasıdır. Bu kavramı ilk kez NASA'nın Apollo programında (1960'lar) uzay aracı modellemeleri için kullandığı görülse de "digital twin" terimi akademik literatüre 2002 yılında Michigan Üniversitesi'nden Michael Grieves tarafından tanıtılmıştır. Grieves, ürün yaşam döngüsü yönetimini (PLM) ele aldığı çalışmasında fiziksel ve sanal dünyalar arasındaki sürekli veri akışını olgunlaştırarak kavrama bugünkü anlamını verdi. Bir dijital ikiz üç temel bileşenden oluşur: (1) gerçek sistemden veri toplayan IoT sensörleri ve veri akışları; (2) bu verileri işleyerek fiziksel sistemin durumunu modelleyen sanal ortam; (3) simülasyon sonuçlarını gerçek sisteme geri bildiren eylemci (actuator) mekanizmaları. Bu döngüsel yapı, gerçek zamanlı izleme, arıza tespiti ve senaryo simülasyonunu tek çatı altında bir araya getirir. Yapay zeka bu çerçeveyi kökten dönüştürmektedir. Geleneksel dijital ikizler fiziğe dayalı belirleyici modeller kullanırken modern yaklaşımlar makine öğrenimi ve derin öğrenmeyi entegre ederek anormallikleri tespit edip arıza öncesi uyarı verebilen kestirimci sistemler oluşturmaktadır. Örneğin bir rüzgâr türbininin dijital ikizi, titreşim ve sıcaklık verilerini anlık işleyerek yatakların ne zaman değiştirilmesi gerektiğini haftalar öncesinden tahmin edebilir. GE Aviation'ın jet motoru dijital ikizleri, bakım döngüsünü optimize ederek motor başına yüz binlerce dolar tasarruf etmektedir. Agentic dijital ikizler ise yalnızca izlemekle kalmayıp özerk kararlar almaktadır: bir fabrikadaki otonom dijital ikiz, üretim hattındaki aksaklığı tespit ettiğinde vardiya planını yeniden düzenleyebilir ve tedarik zinciriyle koordinasyonu başlatabilir. Bu yaklaşım özellikle Endüstri 4.0 ve akıllı fabrika (smart factory) konseptlerinin merkezine oturmuştur. Pazar araştırma firmaları, küresel dijital ikiz pazarının 2032 yılına kadar 259 milyar dolara ulaşmasını öngörmektedir. Bu büyümenin başlıca itici güçleri arasında havacılık, enerji, sağlık ve akıllı şehir yatırımları yer almaktadır. Alandaki başlıca zorluklar ise yüksek veri entegrasyon maliyeti, siber güvenlik riskleri ve birlikte çalışabilirlik (interoperability) standartlarının henüz olgunlaşmamış olmasıdır.
Dizi Madenciliği (Sequence Mining) (Dizi Madenciliği)
Sequence mining (dizi madenciliği veya sıralı örüntü madenciliği), zaman içinde veya belirli bir sıraya göre gerçekleşen olaylardan oluşan veri kümelerinde sık tekrar eden alt dizileri keşfetmeye yarayan veri madenciliği tekniğidir. 1995 yılında Agrawal ve Srikant tarafından önerilen bu yaklaşım, Apriori ilkesini sıralı verilere uygular ve belirli bir minimum destek eşiğini aşan örüntüleri sistematik olarak tanımlar. Dizi madenciliğinde temel kavramlar şöyle özetlenebilir: Bir sıra (sequence), zaman damgalı olay listelerinden oluşur; örneğin bir kullanıcının web sitesindeki sayfa ziyaret sırası ya da bir hastanın tedavi basamakları. Alt dizi (subsequence) ise göreceli sırasını koruyarak bu listeden türetilir. Apriori prensibi, sık olan bir alt dizinin tüm alt kümelerinin de sık olduğunu garanti eder; bu özellik arama uzayını etkili biçimde budamaya yarar. Teknik açıdan üç nesil algoritma öne çıkar. İlk nesil GSP (1995) birden fazla veritabanı taraması gerektirirken, ikinci nesil SPADE (2001) dikey veri formatıyla tarama sayısını üçe indirir. Üçüncü nesil PrefixSpan (2001) önek büyütme yöntemiyle tek veritabanı taramasında çalışır ve günümüz uygulamalarında standart haline gelmiştir. Büyük veri senaryolarında SPAM, bit vektörü gösterimi ile bellek verimliliği açısından avantaj kazanır. Dizi madenciliği, birliktelik kural madenciliğinden (association rule mining) sıra bilgisini hesaba katmasıyla ayrılır: "A'dan sonra B, ardından C" gibi nedenselliğe yakın ilişkileri ortaya koyabilir. Bu özellik; e-ticaret öneri sistemlerinde müşteri yolculuklarını modellemek, genomik araştırmalarda DNA ve protein motiflerini keşfetmek, klinik bilişimde hastalık süreçlerini örüntülemek ve siber güvenlikte anormal davranış dizilerini tespit etmek gibi alanlarda vazgeçilmez kılar. Öte yandan yüksek boyutlu ve seyrek verilerle çalışırken hesaplama karmaşıklığı artabilir; gürültülü zaman serileri ve eksik gözlemler örüntü kalitesini olumsuz etkiler. Modern uygulamalarda PrefixSpan Python paketi ve Spark MLlib üzerinde dağıtık dizi analizi yaygın çözümler olarak benimsenmektedir.
Entity Resolution (Varlık Çözümleme)
Varlık çözümleme (Entity Resolution), farklı veri kaynaklarında yer alan kayıtların aynı gerçek-dünya nesnesine ait olup olmadığını tespit eden ve bu kayıtları birleştiren veri entegrasyon sürecidir. "Record linkage" (kayıt bağlama), "entity matching" (varlık eşleştirme) veya "deduplication" (tekilleştirme) olarak da bilinen bu disiplin, büyük veri yönetimi ile bilgi grafiklerinin temel taşlarından birini oluşturur. Farklı sistemlerden gelen "Ali Veli", "A. Veli" ve "ali.veli@firma.com" gibi kayıtların aynı kişiyi temsil ettiğini, ya da iki ayrı ürün kataloğundaki "iPhone 15 Pro 256GB" ile "Apple iPhone 15Pro" girişlerinin aynı ürünü ifade ettiğini otomatik olarak anlamak, varlık çözümlemenin en yaygın kullanım senaryolarıdır. Süreç üç temel adımda ilerler. İlk adım olan "blocking" (engelleme) aşamasında, tüm olası çift kombinasyonlarını karşılaştırmak yerine yalnızca büyük olasılıkla eşleşecek kayıtlar bir araya getirilir; bu, hesaplama maliyetini dramatik biçimde düşürür. İkinci adımda, seçilen kayıt çiftleri arasındaki benzerlik ölçülür. Bu amaçla Jaccard benzerliği, Levenshtein mesafesi (düzenleme mesafesi) veya makine öğrenimi modelleri kullanılır. Son adımda sınıflandırma yapılarak iki kaydın aynı varlığa mı yoksa farklı varlıklara mı ait olduğu karara bağlanır. Derin öğrenme çağıyla birlikte BERT tabanlı modeller, anlamsal benzerliği değerlendirip yazım hataları, kısaltmalar ve farklı biçimlendirmeler gibi zorluklara karşı çok daha dayanıklı sonuçlar üretmektedir. DeepMatcher, Ditto ve Unicorn bu alanda öne çıkan açık kaynak araçlar arasındadır. Uygulama alanları oldukça geniştir: müşteri veri yönetimi (MDM), sağlık sektöründe hasta kaydı birleştirme, finansal işlemlerde dolandırıcılık tespiti, e-ticarette ürün kataloğu normalizasyonu ve Wikidata gibi bilgi grafiklerinin zenginleştirilmesi bu kapsamda değerlendirilebilir.
ETL (Extract, Transform, Load)
ETL (Extract, Transform, Load — Çıkar, Dönüştür, Yükle), farklı kaynak sistemlerden ham verinin toplanıp temizlenerek analitik bir hedefe aktarılmasını sağlayan veri entegrasyon sürecidir. Her veri mühendisliği ve veri ambarı projesinin omurgasını oluşturur; kaliteli veriyi olmayan hiçbir makine öğrenimi modeli ya da iş zekası raporu başarılı olamaz. Extract (Çıkarma) aşamasında veri; ilişkisel veritabanları, REST API'ları, dosya sistemleri (CSV, JSON, XML, Parquet), akış platformları (Kafka, Kinesis) veya SaaS uygulamalarından ham biçimde çekilir. Transform (Dönüştürme) aşamasında bu ham veri; temizlenir (eksik ve tutarsız değerler giderilir), normalize edilir (farklı kaynaklardaki kodlamalar birleştirilir), zenginleştirilir (dış referans tablolarıyla birleştirilir) ve hedef şemaya dönüştürülür. Load (Yükleme) aşamasında ise işlenmiş veri; veri ambarı, veri gölü veya analitik veritabanına yazılır. Modern mimarilerde ETL'nin yerini giderek ELT (Extract, Load, Transform) alıyor: ham veri önce bulut veri ambarına yükleniyor (Amazon Redshift, Google BigQuery, Snowflake), ardından dönüşümler SQL veya dbt (data build tool) aracılığıyla doğrudan hedefteki güçlü işlem kapasitesiyle gerçekleştiriliyor. Bu yaklaşım hem maliyet hem de sürdürülebilirlik açısından avantajlıdır. Makine öğrenimi hattında ETL, feature store'ları besleyen ve model eğitimi için veri setleri hazırlayan kritik bileşendir. Yaygın ETL araçları arasında Apache Airflow, dbt, Apache Spark, Fivetran, Talend ve AWS Glue sayılabilir. Büyük ölçekli sistemlerde mikro-toplu (micro-batch) ve akış (streaming) ETL da standart pratikler arasındadır.
Feature Selection (Özellik Seçimi)
Ozellik secimi (feature selection), bir makine ogrenimi modelinin egitiminde kullanilacak en bilgilendirici ve gercek anlam tasiyan ozellik alt kumesini belirlemek amaciyla gereksiz, tekrarli veya alakasiz ozelliklerin elenme surecidir. Cok sayida ozellik her zaman daha iyi model anlamina gelmez; aksine fazla ozellik overfitting riskini arttirir, egitim suresini uzatir ve modelin yorumlanmasini guclestirir. Ozellik secimi uc ana kategoride incelenir. Filter yontemleri, model egitiminden bagimsiz olarak ozellikleri istatistiksel kriterlerle puanlar ve siralar. Chi-squared test, mutual information ve Pearson korelasyon katsayisi bu kategorinin temsil ornekleridir. Uygulamasi hizlidir ve overfitting riski tasimaz; ancak ozellikler arasindaki etkilesimi dikkate almaz. Wrapper yontemleri, secilen ozellik alt kumesini dogrudan bir model uzerinde dener ve performansa gore degerlendirme yapar. Recursive Feature Elimination (RFE), ozellik sayisini katlanarak azaltip her adimda modeli yeniden egiterek en kotu ozelligi eler; bu surec hedef ozellik sayisina ulasana kadar devam eder. Wrapper yontemleri genellikle filter yontemlerine kiyasla daha iyi ozellik alt kumesi bulur ancak hesaplama maliyeti cok yuksektir. Embedded yontemler ozellik secimini model egitim surecininin icine gommus sistemlerdir. LASSO (L1 duzenlemesi) bazi ozellik agirliklarini sifira indirerek otomatik secim saglar. Random Forest ve XGBoost gibi agac tabanli modeller egitim sirasinda her ozelligin onemi hesaplar; bu skorlar dusuk onemli ozellikleri elemede kullanilir. Boyutsallak laneti (curse of dimensionality), yuksek ozellikli uzaylarda orneklerin birbirinden uzaklasip mesafe bazli algoritmalarin anlamsizlasmasi olgusunu ifade eder. Ozellik secimi bu problemi dogrudan adreste. Ek olarak secimlerin yorumlanabilirligi saglar: hangi ozelliklerin modeli surdurup surdurmediginin anlasilmasi, hem ayiklama hem de alan uzmanlarindan geri bildirim alma acisindan kritik oneme sahiptir. **Sik Sorulan Sorular** **Ozellik secimi ile boyut indirgeme (PCA gibi) arasindaki fark nedir?** Ozellik secimi mevcut ozelliklerin bir alt kumesini tutar; orijinal ozellikler yorumlanabilirligini korur. PCA gibi boyut indirgeme yontemleri yeni, yapay ozellikler olusturur; yorumlanabilirlik kaybolur ama bazen daha iyi genelleme saglar. **Kac ozellik yeterlidir?** Genel kural yoktur; veri boyutuna, ornek sayisina ve modele bagimlidir. Cross-validation ile farkli ozellik sayilari denenerek elbow noktasi belirlenir. **Ozellik secimi her zaman gerekli midir?** Sinirli ornek sayisi veya yuksek boyutlu veri durumunda buyuk fayda saglar. Derin ogrenme modelleri ozellik muhendisligini buyuk olcude otomatiklestirebilir; bu durumda acik ozellik secimi daha az kritik olabilir. **Kategorik ozellikler icin hangi yontem kullanilir?** Chi-squared test veya mutual information filter yontemleri kategorik ozellikler icin uygundur. Tree-based modellerin onem skorlari ise kategorik ve sayisal ozelliklerin karisik oldugu veri kumelerinde pratik bir embedded yontemdir.
Frequent Pattern Mining (Sık Kalıp Madenciliği)
Sık Kalıp Madenciliği (Frequent Pattern Mining), büyük veri kümelerinde birlikte sıklıkla ortaya çıkan öğe gruplarını, dizisel kalıpları veya yapısal örüntüleri belirlemeyi hedefleyen temel bir veri madenciliği tekniğidir. "Sık" (frequent) kavramı, bir kalıbın belirli bir minimum destek eşiğini (minimum support threshold) aşması anlamına gelir; yani o kalıbın, tüm işlemlerin (transaction) en az belirlenen yüzdesinde bulunması gerekir. En yaygın kullanım senaryosu birliktelik kuralı madenciliğidir (association rule mining). Süpermarket sepet analizinde "ekmek alan müşteri yüzde seksen olasılıkla tereyağı da alır" türünden kurallar bu yöntemle keşfedilir. Amazon ve Netflix'in öneri sistemleri, kredi kartı dolandırıcılık tespiti ve ağ güvenliği anomali analizi de sık kalıp madenciliğini yoğun biçimde kullanır. Alandaki ilk ve en yaygın algoritma, 1994'te Agrawal ve Srikant tarafından önerilen Apriori'dir. Aday öğe seti üretimi ve budama (candidate generation and pruning) prensibiyle çalışır; her adımda veritabanını yeniden tarar. Bu tarama maliyeti büyük veri setlerinde belirgin bir darboğaz oluşturduğundan, 2000 yılında Jiawei Han ve arkadaşları FP-Growth (Frequent Pattern Growth) algoritmasını geliştirdi. FP-Growth, veriyi kompakt bir FP-Tree yapısına sıkıştırır ve tekrarlı veritabanı taramasını ortadan kaldırarak genellikle Apriori'den 10 ila 100 kat daha hızlı çalışır. Günümüzde sık kalıp madenciliği yalnızca kural keşfiyle sınırlı değildir; özellik mühendisliğinde anlamlı özellik kombinasyonlarını bulmak için denetimsiz ön analiz adımı olarak da kullanılır. Python'da mlxtend kütüphanesi apriori() ve fpgrowth() fonksiyonlarıyla, Apache Spark'ta ise MLlib'in FPGrowth modülüyle ölçeklenebilir uygulamalar hayata geçirilebilir. Minimum destek ve minimum güven (confidence) eşiklerinin veri setine özgü biçimde ayarlanması, anlamlı ve uygulanabilir kurallar elde etmenin anahtarıdır.
Graph Mining Nedir? Grafik Veri Madenciliği (Grafik Veri Madenciliği)
Graph Mining (Grafik Veri Madenciliği), düğümler (varlıklar) ve kenarlar (ilişkiler) ile temsil edilen graf yapısındaki gizli desenleri, toplulukları ve bilgileri keşfeden bir veri madenciliği alt dalıdır. Sosyal ağlar, biyolojik moleküler ağlar, bilgi grafları ve dolandırıcılık tespit sistemleri gibi birbirine bağlı veri kümelerinde yaygın biçimde uygulanır. Matematiksel temeli G = (V, E) formülüyle ifade edilir: V düğümler kümesi (kişiler, proteinler, web sayfaları), E ise bu varlıklar arasındaki ilişkiler kümesidir. Graflarda kenarlar yönlü (tek yönlü atıf, takip) veya yönsüz (karşılıklı arkadaşlık), ağırlıklı (etkileşim sıklığı) ya da ikili (var/yok) olabilir. Temel teknikler arasında sık geçen alt-graf madenciliği öne çıkar. gSpan (2002) algoritması, DFS kodlamasıyla sık tekrar eden yapıları verimli biçimde bulur ve kimyasal bileşik veri tabanlarında geniş uygulama alanı bulur. Topluluk tespitinde Louvain algoritması, modülarite değerini optimize ederek milyarlarca düğümlü ağlarda bile O(n log n) hızıyla çalışır. Bağlantı tahmini, mevcut graftan yeni olası kenarları öngörür; bu teknik öneri sistemleri ve ilaç-hedef etkileşim keşfinde kritik rol oynar. Modern Graph Mining, Graf Sinir Ağları (GNN) ile köklü bir dönüşüm geçirdi. GraphSAGE, Graph Attention Network (GAT) ve Graph Convolutional Network (GCN) gibi mimariler, komşu düğümlerden mesaj geçişi yoluyla bağlam-duyarlı gömmeler üretir. Bu yöntemler geleneksel istatistiksel yaklaşımları geride bırakarak siber güvenlik anomali tespiti, sahte haber yayılım modellemesi ve bilgi grafı tamamlama görevlerinde yeni performans standartları belirlemiştir. Uygulama alanları son derece geniştir: Facebook ve LinkedIn'de topluluk analizi, Google Knowledge Graph'ta varlık ilişki sorgulama, biyoinformatikte protein-protein etkileşim ağı analizi ve bankacılıkta işlem ağı tabanlı dolandırıcılık tespiti öne çıkan örneklerdir. Türkiye'de Kredi Kayıt Bürosu ve bankalar, olağandışı ödeme zincirlerini tespit etmek için graf tabanlı analiz yöntemlerinden yararlanmaktadır.
Information Extraction Nedir? Bilgi Çıkarımı ve NLP (Bilgi Çıkarımı)
Bilgi Çıkarımı (Information Extraction - IE), ham ve yapılandırılmamış metin verilerinden otomatik olarak anlamlı, yapılandırılmış bilgilerin elde edilmesi sürecidir. Doğal dil işlemenin (NLP) temel alt alanlarından biri olan IE; kişi adları, yer isimleri, tarihler ve kurumlar gibi varlıkları tanımlamak, bu varlıklar arasındaki ilişkileri ortaya çıkarmak ve metinde geçen olayları tespit etmek için çeşitli makine öğrenmesi ve dil modeli tekniklerinden yararlanır. Sonuç olarak insanların yazdığı doğal dil metni, veritabanlarında sorgulanabilir ve algoritmalar tarafından işlenebilir formata dönüşür. IE sistemi tipik olarak birkaç ardışık aşamadan oluşur: Varlık İsmi Tanıma (Named Entity Recognition - NER) ile metindeki kişi, organizasyon, konum ve tarih gibi kavramlar etiketlenir; İlişki Çıkarımı (Relation Extraction) ile iki varlık arasındaki anlam bağı saptanır; Olay Çıkarımı (Event Extraction) ile belirli bir faaliyetin ne zaman, nerede ve kimler tarafından gerçekleştiğine dair bilgiler yapılandırılır. Modern sistemler bu görevleri gerçekleştirmek için BERT, GPT ve benzeri büyük dil modellerini (LLM) ön plana çıkarmaktadır. Bilgi Çıkarımı; haber madenciliği, biyomedikal literatür analizi, finansal doküman işleme ve hukuki metin analizi gibi çok sayıda uygulama alanında kritik bir rol üstlenmektedir. Büyük hacimli metin verilerini insan müdahalesi olmadan işleyebilen IE sistemleri, hem araştırmacılara hem de işletmelere zaman ve maliyet açısından önemli kazanımlar sağlamaktadır.
Jaccard Index (Jaccard İndeksi / Benzerliği)
Jaccard Index (Jaccard Benzerlik Katsayısı), iki küme arasındaki benzerliği sayısal olarak ifade eden istatistiksel bir metriktir. 1901 yılında İsviçreli botanikçi Paul Jaccard tarafından farklı dağ habitatlarındaki bitki örtüsü benzerliğini ölçmek amacıyla önerilmiş; on yıllar sonra bilgisayar bilimi, bilgi getirme ve yapay zeka alanlarına taşınmıştır. Temel formül şudur: J(A, B) = |A ∩ B| / |A ∪ B| — yani iki kümenin kesişiminin boyutu, birleşiminin boyutuna bölünür. Sonuç 0 ile 1 arasında değişir: 0 iki kümenin hiçbir ortak elemanı olmadığını, 1 ise kümelerin birebir aynı olduğunu gösterir. Tamamlayıcısı olan Jaccard Uzaklığı (1 − J) farklılık ölçümü için kullanılır. Yapay zekada en yaygın biçimi nesne tespiti modellerini değerlendirirken kullanılan Intersection over Union (IoU)'dur. Modelin tahmin ettiği sınırlayıcı kutu ile etiketlenmiş gerçek kutu birer küme olarak ele alınır; IoU kesişim alanının birleşim alanına oranıdır. COCO ve PASCAL VOC kıyaslama protokolleri, bir tahmini "doğru" saymak için IoU ≥ 0,5 eşiğini kullanır. Semantik segmentasyonda her sınıf için hesaplanan Jaccard değerlerinin ortalaması olan mIoU (Mean Intersection over Union), yöntemleri karşılaştırmada standart metrik hâline gelmiştir. Metin ve veri uygulamalarında belgeler kelime kümelerine dönüştürüldüğünde Jaccard basit biçimde benzerlik ölçer; çoğaltım tespiti ve soru-yanıt eşleştirmede kullanılır. Öneri sistemlerinde kullanıcıların ortak etkileşimde bulunduğu öğeler küme olarak temsil edilir. Büyük ölçekli uygulamalarda MinHash algoritması Jaccard'ı yaklaşık olarak hesaplamak için küçük imzalar üretir; LSH (Locality-Sensitive Hashing) ile birleştirilince milyarlarca belge çiftinde verimli tekilleştirme mümkün hâle gelir. Diğer metriklerle karşılaştırıldığında Sørensen-Dice katsayısı (2|A∩B|/(|A|+|B|)) Jaccard'dan türetilebilir ve küçük segmentlere daha duyarlı olduğu için tıbbi görüntü analizinde tercih edilir. Kosinüs benzerliği vektör yönünü ölçerken frekans bilgisini korur; sürekli ve yüksek boyutlu temsillerde Jaccard'dan üstündür. Ağırlıklı Jaccard ise eleman frekansını hesaba katan çok-küme varyantıdır.
Korelasyon Analizi Nedir? Veri Madenciliğinde Değişken İlişkileri (Korelasyon Analizi)
Korelasyon analizi, iki ya da daha fazla değişken arasındaki ilişkinin yönünü ve şiddetini istatistiksel olarak ölçen temel bir veri madenciliği ve analitik yöntemidir. Sonuç olarak elde edilen korelasyon katsayısı, -1 ile +1 arasında bir değer alır: +1 mükemmel pozitif ilişkiyi (bir değişken artarken diğeri de artar), -1 mükemmel negatif ilişkiyi (bir değişken artarken diğeri azalır) ve 0 ise değişkenler arasında doğrusal bir bağ olmadığını gösterir. **Temel Yöntemler** - **Pearson Korelasyonu:** Sürekli, normal dağılımlı veriler için uygundur. Değişkenler arasındaki doğrusal ilişkiyi ölçer. Korelasyon katsayısının mutlak değeri 0.7'nin üzerindeyse güçlü, 0.3–0.7 arasındaysa orta, 0.3'ün altındaysa zayıf ilişki olarak yorumlanır. - **Spearman Sıra Korelasyonu:** Sıralı (ordinal) veriler veya normal dağılım varsayımlarının karşılanamadığı sürekli veriler için tercih edilir. Değişkenlerin sıralı pozisyonlarına bakarak ilişkiyi ölçer; bu sayede aykırı değerlere karşı Pearson'a göre çok daha dayanıklıdır. - **Kendall Tau:** Küçük örneklem boyutlarında ve çok sayıda sıra eşitliği olan durumlarda Spearman'a alternatif olarak kullanılır. **Makine Öğrenmesinde Kullanım Alanları** Korelasyon analizi, makine öğrenmesi pipeline'larının ön işleme aşamasında kritik bir rol oynar: 1. **Özellik Seçimi (Feature Selection):** Birbirleriyle yüksek korelasyona sahip özellikler (çoklu doğrusallık / multicollinearity) tespit edilir ve fazlalık olanlar elenerek modelin aşırı öğrenmesi (overfitting) önlenir. 2. **Keşifsel Veri Analizi (EDA):** Korelasyon matrisi görselleştirmeleri (ısı haritaları), değişkenler arasındaki karmaşık ilişki ağını hızla anlamayı kolaylaştırır. 3. **Öneri Sistemleri:** Collaborative filtering algoritmalarında kullanıcı-öğe benzerliklerini hesaplamak için korelasyon ölçütleri kullanılır. 4. **Zaman Serisi Analizi:** Farklı zaman gecikmelerindeki değişkenler arasındaki ilişkiyi ortaya koymak için otokorelasyon ve çapraz korelasyon analizleri uygulanır. **Korelasyon ≠ Nedensellik** En sık yapılan hatalardan biri, korelasyonu nedensellikle karıştırmaktır. İki değişken arasında güçlü bir korelasyon gözlemlenmesi, birinin diğerine sebep olduğunu kanıtlamaz; her ikisini de etkileyen gizli bir üçüncü değişken (confounding factor) söz konusu olabilir. Bu nedenle korelasyon analizi bulguları, her zaman nedensellik çıkarımı (causal inference) yöntemleriyle desteklenmelidir.
Link Prediction (Bağlantı Tahmini)
Bağlantı tahmini (İng. link prediction), graflar ve ağ yapılarındaki mevcut olmayan ya da gelecekte kurulacak kenarları öngörmeye yönelik bir makine öğrenimi ve veri madenciliği görevidir. Temel soru şudur: "Bu iki düğüm arasında bir bağlantı oluşacak mı?" Sosyal ağlarda arkadaş önerisi, bilgi graflarında eksik ilişkilerin tamamlanması, biyomedikal ağlarda protein-protein etkileşimlerinin keşfi, öneri sistemlerinde ürün birlikteliği analizi ve siber güvenlikte şüpheli bağlantı örüntülerinin tespiti bu görevin başlıca uygulama alanlarıdır. Geleneksel yaklaşımlar yerel komşuluk benzerliğine dayanır. Ortak Komşu (Common Neighbors) yöntemi, iki düğümün paylaşılan komşu sayısını bağlantı skoru olarak kullanır. Jaccard katsayısı bu değeri komşu kümelerinin birleşimine bölerek normalize eder. Adamic-Adar skoru ise az dereceye sahip ortak komşulara daha yüksek ağırlık atayarak bilgi-teorik bir perspektif ekler. Bu yöntemler yorumlanabilir olmakla birlikte küresel topolojiyi ve kenar semantiğini yakalayamaz. Gömme tabanlı yöntemler bu açığı kapatır. Node2Vec, rastgele yürüyüş stratejilerini Word2Vec atlama-gram modeliyle birleştirerek düğümleri düşük boyutlu latent uzaya yerleştirir. Bilgi grafları için TransE ve RotatE gibi ilişki gömme modelleri eksik üçüzleri (özne, ilişki, nesne) tamamlamada kullanılır ve kenar semantiğini doğrudan öğrenir. Graf Sinir Ağları (GNN), bağlantı tahminini uçtan uca öğrenilebilir bir göreve dönüştürmüştür. GraphSAGE rastgele komşuluk örneklemesiyle bellek verimliliği sağlar; GAT (Graph Attention Network) dikkat mekanizmasıyla komşulara ağırlık atar; SEAL çerçevesi ise yerel alt grafları doğrudan kenar sınıflandırması için eğitir. Başarım değerlendirmesinde AUC-ROC, Hits@K ve MRR (Ortalama Karşılıklı Sıra) metrikleri standart olarak kullanılır. Büyük dil modelleri de bilgi grafı tamamlama görevlerinde bağlantı tahmininden yararlanarak yapısal bilgiyi nöral akıl yürütmeyle birleştirmektedir.
Market Basket Analysis (Pazar Sepeti Analizi)
Pazar Sepeti Analizi (Market Basket Analysis), bir veri kümesindeki işlemler içinde birlikte ortaya çıkan nesne veya öğe gruplarını keşfetmek amacıyla kullanılan temel bir veri madenciliği tekniğidir. Adını, müşterilerin alışveriş sepetlerinde hangi ürünleri birlikte satın aldığını analiz eden perakende uygulamasından alır; ancak günümüzde e-ticaret öneri sistemlerinden sağlık bilişimine kadar geniş bir kullanım alanına kavuşmuştur. Teknik, birliktelik kuralı madenciliği üzerine kurulmuştur ve üç temel metriği baz alır: destek (support), güven (confidence) ve kaldıraç (lift). Destek, bir öğe kümesinin tüm işlemler içindeki görülme sıklığını ölçer. Güven, iki öğe birlikte göründüğünde öngörülen ilişkinin doğruluğunu ifade eder. Kaldıraç ise bu birlikteliğin rastlantısal mı yoksa gerçek bir bağıntıya mı dayandığını belirler; Lift > 1 değeri, söz konusu ilişkinin bağımsız oluşumdan daha kuvvetli olduğunu gösterir. Pazar Sepeti Analizi, e-ticaret platformlarında "Bu ürünü alanlar bunu da satın aldı" türündeki öneri sistemlerinin temelini oluşturur. Streaming platformlarında içerik önerisi, sağlık sektöründe ilaç etkileşim analizi, bankacılıkta dolandırıcılık tespiti ve web analizi gibi alanlarda da etkin biçimde kullanılmaktadır. Analiz sürecinde en yaygın kullanılan algoritmalar Apriori ve FP-Growth'tur. Apriori algoritması, sık geçen öğe kümelerini adım adım iteratif biçimde bulurken; FP-Growth, veriyi daha az bellekte tutan sıkıştırılmış bir ağaç yapısı (FP-Tree) üzerinde çalışır ve büyük veri setlerinde çok daha verimlidir. Sonuç olarak Pazar Sepeti Analizi, ham işlem verilerinden eyleme dönüştürülebilir içgörüler çıkarmak isteyen veri bilimciler ve analistler için temel araçlardan biridir. Makine öğrenimi ve derin öğrenme sistemleriyle entegre edildiğinde, dinamik ve kişiselleştirilmiş öneri motorlarının bel kemiğini oluşturur.
Named Entity Recognition (Adlandırılmış Varlık Tanıma)
Named Entity Recognition (NER), kısaca Adlandırılmış Varlık Tanıma, bir metindeki önceden tanımlanmış kategorilere ait varlıkları otomatik olarak tespit edip sınıflandıran temel bir Doğal Dil İşleme (NLP) tekniğidir. Bu kategoriler tipik olarak kişi adlarını (PER), kuruluşları (ORG), coğrafi yerleri (LOC), tarihleri ve para değerlerini kapsar. NER'in kökleri 1996'daki MUC-6 (Message Understanding Conference) konferansına dayanır; ilk sistemler kural tabanlı yaklaşımlar kullanıyordu. 2000'lerde Koşullu Rastgele Alan (CRF — Conditional Random Field) modellerinin yaygınlaşmasıyla istatistiksel yöntemler baskın hale geldi. Asıl dönüşüm ise 2018'de Google'ın BERT modelini yayımlamasıyla yaşandı; transformer mimarisi NER doğruluğunu dramatik biçimde artırdı. Günümüzde NER, BIO etiketleme şeması üzerinden çalışır: her token, varlığın Başlangıcı (B — Beginning), İç kısmı (I — Inside) veya Varlık Dışı (O — Outside) olarak işaretlenir. Örneğin "Boğaziçi Üniversitesi" ifadesi B-ORG ve I-ORG olarak etiketlenir. Modern BERT tabanlı modeller bu sınıflandırmayı token düzeyinde gerçekleştirerek %95+ F1 skoru elde eder. Türkçe için en yaygın kullanılan model BERTurk'tür. Stefan Schweter tarafından geliştirilen bu model, 35 GB Türkçe metinle eğitilmiş olup NER görevinde yaklaşık %97 doğruluk sağlamaktadır. Türkçe'nin eklemeli (agglutinative) yapısı NER'i güçleştirir; "Ankara'daki" gibi sözcükler tokenizasyon açısından özel dikkat gerektirir. NER'in uygulama alanları son derece geniştir: haber metinlerinden kişi ve kurum çıkarma, hukuk belgelerinde sözleşme taraflarını belirleme, sağlık alanında hasta-ilaç-hastalık tanıma ve arama motorlarında Knowledge Graph zenginleştirme bunların başında gelir. Büyük Dil Modelleri NER görevine girmeye başlasa da üretim ortamlarında BIO-encoder modeller hız ve güvenilirlik açısından hâlâ tercih edilmektedir.
Opinion Mining Nedir? Görüş Madenciliği (Görüş Madenciliği)
Opinion Mining (Görüş Madenciliği), doğal dil işleme ve veri madenciliğinin kesişiminde yer alan bir alt disiplin olup metin verilerinden yapılandırılmış görüş bilgisi otomatik olarak çıkarmayı amaçlar. Sentiment Analysis (Duygu Analizi) yalnızca metnin genel olumlu/olumsuz/nötr tonunu belirlerken, Opinion Mining çok daha ince taneli bir yaklaşım sergiler: kim hangi varlık veya özellik hakkında ne tür bir görüş ifade etmektedir sorusunu yanıtlar. Bu bağlamda her görüş; bir kanaat sahibi (opinion holder), bir hedef varlık (target entity), bir özellik/boyut (aspect), bir duygu polaritesi (sentiment polarity) ve zaman bilgisinden oluşan beş unsurlu bir yapı (opinion quintuple) olarak temsil edilir. Örneğin bir ürün incelemesinde 'Bu telefonun pil ömrü berbat, kamera çözünürlüğü ise mükemmel' cümlesi iki ayrı görüş içermektedir: biri olumsuz pil ömrü görüşü, diğeri olumlu kamera görüşü. Opinion Mining bu iki görüşü hedef, özellik ve polarite bazında ayrıştırabilir. Teknikler arasında sözcük tabanlı yöntemler (SentiWordNet, VADER sözlükleri), makine öğrenmesi sınıflandırıcıları (SVM, Naive Bayes) ve özellikle Aspect-Based Sentiment Analysis (ABSA) görevleri için ince ayar yapılmış BERT, RoBERTa gibi derin öğrenme modelleri yer alır. Uygulama alanları arasında ürün inceleme analizi, marka ve itibar yönetimi, sosyal medya takibi, siyasi söylem analizi ve pazar araştırması öne çıkmaktadır. Büyük dil modellerinin (LLM) yaygınlaşmasıyla birlikte Opinion Mining görevleri sıfır atışlı öğrenme paradigmasıyla da çözülmeye başlanmış, insan düzeyine yakın doğruluk oranlarına ulaşılmıştır.
Örüntü Tanıma (Pattern Recognition) Nedir? (Örüntü Tanıma)
Örüntü tanıma (Pattern Recognition), ham verilerdeki anlamlı yapıları, tekrarlayan kalıpları ve ilişkileri otomatik olarak tespit edip sınıflandırmayı amaçlayan yapay zeka ve makine öğrenmesi disiplinidir. Görüntü, ses, metin ve zaman serileri gibi çeşitli veri tiplerinde çalışabilir; veri madenciliğinden bilgisayarlı görüşe, doğal dil işlemeden biyometriye kadar geniş bir uygulama yelpazesi sunar. Disiplinin kökleri 1957'ye uzanır: Frank Rosenblatt'ın geliştirdiği Perceptron, biyolojik sinir hücrelerinden ilham alan ilk öğrenebilir örüntü tanıma sistemiydi. İlk dönemde istatistiksel yöntemler (Bayes sınıflandırıcıları, doğrusal diskriminant analizi) ve yapısal yaklaşımlar hâkimdi. 1980-2000 yılları arasında destek vektör makineleri (SVM) ve gizli Markov modelleri (HMM) öne çıktı; bu yöntemler konuşma tanıma ve el yazısı okumada önemli ilerleme kaydetti ve ticari ürünlere girdi. 2012 yılında AlexNet'in ImageNet yarışmasında hata oranını %26'dan %15'e düşürmesi, derin öğrenme tabanlı örüntü tanımanın dönüm noktası oldu. Evrişimli sinir ağları (CNN), görüntüdeki pikselleri doğrudan işleyerek hiyerarşik özellikleri katman katman otomatik keşfeder; elle öznitelik mühendisliği gerekmez. Transformer mimarileri ise metin, ses ve görüntüde aynı anda üstün performans sergileyerek örüntü tanımayı çok kipli (multimodal) bir alana taşıdı. Temel çalışma döngüsü beş adımdan oluşur: ham veri edinimi, ön işleme (gürültü giderme, normalizasyon), öznitelik çıkarımı, model eğitimi ve sınıflandırma/tahmin. Denetimsiz öğrenmede ise etiket kullanılmadan veri kümeleri bulunur; bu yöntem anomali tespiti ve müşteri segmentasyonunda özellikle değerlidir. Günümüzde örüntü tanıma; tıbbi görüntülemede kanser tespiti, otonom araçlarda nesne algılama, konuşma asistanlarında ses-metin dönüşümü, finansal sahtekârlık tespiti ve biyometrik kimlik doğrulama gibi kritik alanlarda rol üstlenmektedir. OpenCV, scikit-learn, TensorFlow ve PyTorch gibi açık kaynak kütüphaneler, bu tekniği araştırmacılardan endüstriyel mühendislere kadar geniş bir kitleye erişilebilir ve uygulanabilir kılmaktadır.
Stream Mining Nedir? (Veri Akışı Madenciliği)
Stream Mining (Veri Akışı Madenciliği), kesintisiz ve sonsuz büyüklükteki veri akışlarından gerçek zamanlı olarak anlamlı örüntüler ve bilgiler çıkaran makine öğrenmesi dalıdır. Geleneksel veri madenciliğinin aksine, stream mining algoritmaları tüm veri setini bir veritabanında depolayıp sonradan analiz etmek yerine her bir veri örneğini yalnızca bir kez (tek geçiş) işler; bu sayede sınırlı bellek ve hesaplama kaynaklarıyla anlık kararlar üretir. Sürekli veri üreten kaynaklar arasında sosyal medya akışları, IoT sensör okumaları, bankacılık işlemleri, ağ trafiği günlükleri, borsa tick verileri ve çevrimiçi kullanıcı etkileşimleri sayılabilir. Bu veri kümeleri saatte milyonlarca ya da milyarlarca kayıt üretebilir; depolamadan önce analiz edilmesi zorunludur. Stream Mining'in temel teknik zorluğu konsept kaymasıdır (concept drift): Gerçek dünyada veri üretim mekanizması zamanla değişebilir ve modelin bu değişikliklere adaptasyon sağlaması gerekir. Hoeffding Tree algoritması (VFDT — Very Fast Decision Tree), Hoeffding sınırı teoremini kullanarak çok az örnekle güvenilir bölme kararları vererek büyük veri akışlarında gerçek zamanlı sınıflandırma yapar. MOA (Massive Online Analysis) ve River Python kütüphanesi bu alanda en yaygın kullanılan açık kaynak araçlardır. Stream Mining; sahtekârlık tespiti, ağ saldırısı algılama, gerçek zamanlı öneri sistemleri, endüstriyel ekipman arızası tahmini ve hava kalitesi izleme gibi gecikme toleransı olmayan uygulamalarda kritik rol üstlenir. Yapay zekanın gerçek zamanlı karar destek sistemlerine entegrasyonuyla birlikte bu alan giderek daha stratejik bir konuma gelmektedir.
t-SNE Nedir? Boyut İndirgeme ve Görselleştirme Algoritması (t-SNE (T-Dağılımlı Stokastik Komşu Gömme))
t-SNE (t-Dağılımlı Stokastik Komşu Gömme; İng. t-Distributed Stochastic Neighbor Embedding), yüksek boyutlu veri kümelerini 2 veya 3 boyutlu uzayda görselleştirmek için kullanılan, doğrusal olmayan bir boyut indirgeme ve görselleştirme algoritmasıdır. 2008 yılında Laurens van der Maaten ve Geoffrey Hinton tarafından geliştirilmiş olan bu yöntem, özellikle büyük veri kümelerindeki gizli küme yapılarını ve örüntüleri ortaya çıkarmada son derece etkilidir. Algoritmanın çalışma prensibi iki temel aşamaya dayanır. İlk aşamada, yüksek boyutlu uzaydaki her nokta çifti arasındaki benzerlikler Gaussian dağılımı kullanılarak olasılık değerlerine dönüştürülür; birbirine yakın noktalar yüksek, uzak noktalar ise düşük olasılık değeri alır. İkinci aşamada, bu olasılık dağılımı düşük boyutlu uzayda Student-t dağılımıyla yeniden modellenir. Student-t dağılımının kalın kuyruğu, uzak noktaların düşük boyutlu uzayda daha da uzaklaşmasını sağlayarak 'kalabalık problemi' (crowding problem) olarak bilinen yapısal bozulmayı giderir. Algoritma, iki dağılım arasındaki Kullback-Leibler ıraksamasını minimize ederek düşük boyutlu temsilini gradyan inişi yöntemiyle optimize eder. t-SNE'nin en kritik hiperparametresi olan perplexity değeri (önerilen aralık: 5-50), her veri noktası için efektif komşu sayısını belirler. Düşük perplexity yerel yapıyı, yüksek perplexity ise küresel yapıyı ön plana çıkarır. Farklı çalıştırmalarda görsel düzen değişebileceğinden, t-SNE çıktılarının yorumlanmasında dikkatli olunması gerekir. Derin öğrenme modellerinin gömme vektörlerini keşfetme, görüntü sınıflandırma sonuçlarını analiz etme ve genomik veri görselleştirme gibi alanlarda yaygın biçimde kullanılan t-SNE, büyük veri kümelerinde yavaşlayabilir; bu durumda Barnes-Hut t-SNE ya da FIt-SNE gibi yaklaşık yöntemler önerilmektedir.
Text Classification Nedir? Metin Sınıflandırma (Metin Sınıflandırma)
Text classification (metin sınıflandırma), bir metin parçasının önceden tanımlanmış kategorilerden birine veya birkaçına otomatik olarak atanması görevidir. Doğal Dil İşleme'nin (NLP) temel taşlarından biri olan bu teknik; e-posta spam filtrelerinden duygu analizine, haber kategorizasyonundan müşteri hizmetleri otomasyonuna kadar geniş bir uygulama yelpazesine sahiptir. Makine öğrenimi tabanlı yaklaşımlarda metin önce sayısal temsillere dönüştürülür: TF-IDF vektörleri, Word2Vec embeddingler veya BERT gibi transformer tabanlı temsiller. Bu vektörler ardından Naive Bayes, Destek Vektör Makineleri (SVM) veya derin sinir ağları gibi sınıflandırıcılara beslenir. Modern uygulamalarda BERT, RoBERTa ve GPT gibi büyük dil modelleri ince ayar yapılarak (fine-tuning) olağanüstü doğruluk oranları elde edilmektedir. Üç temel türü vardır: ikili sınıflandırma (binary: spam/değil), çok sınıflı sınıflandırma (multi-class: spor/siyaset/ekonomi haber kategorizasyonu) ve çok etiketli sınıflandırma (multi-label: tek metne birden fazla kategori atama). Değerlendirme için salt doğruluk (accuracy) yetersiz kalabilir; sınıf dengesizliği durumlarında precision, recall ve F1 skoru daha güvenilir metriklerdir. Eşik bağımsız ölçüm için ROC-AUC kullanılır; kalibrasyon testi ise model güvenirliğini doğrular. Gerçek dünya uygulamalarının en yaygın zorluğu veri dengesizliğidir: örneğin yüzde bir spam, yüzde doksan dokuz normal e-posta dağılımı. Bu sorun SMOTE örnekleme, class-weight ayarlaması veya threshold kalibrasyonu ile giderilir. Sağlık alanında klinik not kategorizasyonu, hukuk sektöründe belge sınıflandırması ve içerik moderasyonunda zararlı içerik tespiti kritik kullanım alanlarıdır. SetFit gibi few-shot öğrenme çerçeveleri, contrastive learning ile yalnızca 8–64 etiketli örnek kullanarak tam ince ayar düzeyinde performans elde eder. Zero-shot sınıflandırmada GPT-4o veya Claude gibi büyük dil modelleri ek eğitim verisi olmaksızın kategori açıklamalarıyla doğru etiket ataması yapabilir. Türkçe için BERTurk, bert-base-turkish-cased ve XLM-R modelleri güçlü kıyaslama noktaları oluşturmaktadır.
Text Mining Nedir? Metin Madenciliği (Metin Madenciliği)
Text mining (metin madenciliği), büyük ve yapılandırılmamış metin veri kümelerinden örüntüler, ilişkiler ve anlamlı içgörüler çıkarmayı amaçlayan multidisipliner bir veri analizi alanıdır. Doğal dil işleme (NLP), istatistik ve makine öğrenimi yöntemlerini bir araya getiren text mining, günümüzde üretilen verinin tahminen yüzde seksenini oluşturan yapılandırılmamış metni işlenebilir bilgiye dönüştürür. KDD (Knowledge Discovery in Databases) sürecinin metin odaklı uzantısı olarak tanımlanan bu alan, 1990'larda üniversite araştırma laboratuvarlarında filizlenmiş ve sosyal medyanın patlamasıyla birlikte endüstriyel ölçeğe ulaşmıştır. Text mining pipeline'ı dört temel aşamadan oluşur: (1) Ön işleme — tokenizasyon, durak sözcük temizleme ve lemmatizasyon; (2) Özellik çıkarımı — TF-IDF, n-gram veya BERT gibi bağlam duyarlı vektörler; (3) Model uygulama — sınıflandırma, kümeleme, konu modelleme veya bilgi çıkarımı; (4) Yorumlama — çıktıların iş kararlarına veya araştırma bulgularına aktarılması. Bu dört adımlı süreç, ham bir tweet koleksiyonundan yöneticilere sunulacak marka algısı raporuna uzanan tüm iş akışlarını kapsar. Tarihsel olarak text mining, 1990'larda Naive Bayes ve TF-IDF tabanlı yöntemlerle gelişti; 2000'lerin ortasında SVM ile güçlendi. 2018'de Google'ın BERT modelini yayımlaması alanda köklü bir dönüşüm başlattı: bağlamı dikkate alan transformer mimarileri, belirsizlik giderme ve çok anlamlılık çözümlemesinde geleneksel yöntemleri geride bıraktı. Günümüzde GPT-4o gibi büyük dil modelleri sıfır atışlı metin sınıflandırması için kullanılırken, üretim iş yüklerinde ince ayarlı küçük modeller genellikle tercih edilmektedir. Türkçe gibi eklemeli dillerde tokenizasyon özellikle güçtür; tek bir köke eklenen onlarca ek aynı kelimenin onlarca farklı biçim almasına yol açar. BERTurk ve XLM-R, Türkçe metin madenciliği projelerinde önerilen temel modellerdir. Uygulama alanları son derece geniştir: sağlıkta elektronik kayıtlardan tanı ipuçları çıkarılması, finansta haber duyarlılığı sinyali üretilmesi, hukukta sözleşme analizi ve akademik literatürde bibliyometrik eğilim tespiti bunların başında gelir.
Time Series (Zaman Serisi)
Zaman serisi (time series), belirli aralıklarla ve kronolojik sırayla toplanan veri noktalarının dizisidir. Hava durumu ölçümleri, hisse senedi fiyatları, enerji tüketimi, hasta kalp ritmi ve web sitesi trafik verileri birer zaman serisi örneğidir. Veri noktaları arasındaki zaman aralığı dakika, saat, gün veya yıl olabilir; ancak her zaman düzenli ve sıralıdır. Bir zaman serisinin dört temel bileşeni vardır. Trend, verideki uzun vadeli artış ya da azalış yönünü gösterir; örneğin küresel internet kullanıcı sayısının on yıllık artışı. Mevsimsellik (seasonality), belirli periyotlarda tekrarlayan döngüsel örüntülerdir; yaz aylarında yükselen elektrik tüketimi buna örnektir. Döngüsellik (cyclicality), mevsimsellikten farklı olarak ekonomik koşullara bağlı uzun dönem dalgalanmalarını ifade eder. Gürültü (noise) ise açıklanamayan rastgele dalgalanmaları kapsar. Klasik istatistik yöntemleri arasında ARIMA (Autoregressive Integrated Moving Average), SARIMA ve Holt-Winters üstel düzleştirme öne çıkar. Bu yöntemler az veriyle iyi çalışır, yorumlanabilirdir ve hâlâ geniş kullanım alanı bulur. Derin öğrenme tarafında LSTM (Long Short-Term Memory) ve GRU (Gated Recurrent Unit) ağları, uzun dönem bağımlılıkları yakalamak için tasarlanmıştır. Transformer tabanlı mimariler (Temporal Fusion Transformer, PatchTST, N-BEATS) ise çok değişkenli ve büyük ölçekli zaman serilerinde son teknoloji performans göstermektedir. 2024-2026 döneminde foundation model yaklaşımı zaman serisi alanını dönüştürmektedir. Google'ın TimesFM, Amazon'un Chronos-2, Salesforce'un Moirai-2 ve Time-MoE gibi modeller milyonlarca zaman serisi üzerinde önceden eğitilmiş olup sıfır atışlı (zero-shot) tahmin yapabilmektedir. Bu modeller, her yeni veri seti için ayrı model eğitme zorunluluğunu ortadan kaldırır.
Veri Tekilleştirme (Data Deduplication) (Veri Tekilleştirme)
Veri tekilleştirme (data deduplication), bir veri kümesindeki yinelenen ya da tekrarlayan kayıtları tanımlayıp kaldıran veri madenciliği sürecidir. Aynı varlığı temsil eden birden fazla kayıt; farklı yazım biçimleri, eksik alanlar veya biçim tutarsızlıkları nedeniyle ortaya çıkabilir. Bu yinelemeler analiz kalitesini düşürür, makine öğrenmesi modellerini yanıltır ve depolama maliyetlerini artırır. Tam eşleşme tespiti (exact match) basit hashing yöntemleriyle yapılır; MinHash ve SimHash algoritmaları ise yakın-yineleme (near-duplicate) tespitinde büyük veri kümelerinde verimli çalışır. Kayıt bağlama (record linkage) tekniği, farklı kaynaklardaki kayıtları blok yöntemi veya sıralı komşuluk algoritması ile karşılaştırarak ikinci dereceden karmaşıklığı azaltır. Makine öğrenmesi tabanlı yaklaşımlar — SVM, Karar Ağacı, Random Forest ve derin öğrenme modelleri — klasik yöntemleri geride bırakmaktadır. Denetimli algoritmalar etiketli eğitim verisiyle yüksek hassasiyette yineleme tespiti yaparken, derin öğrenme Siamese Network mimarileri metin, görsel ve yapısal veriler üzerinde anlam düzeyinde benzerlik ölçümü yaparak karmaşık yinelemeleri de yakalayabilir. LLM eğitim verilerinin hazırlanmasında veri tekilleştirme kritik bir adım haline gelmiştir: yinelenen belgeler modeli ezberlemeye yönlendirir ve genelleme yeteneğini azaltır. C4, The Pile ve FineWeb gibi büyük veri kümelerinde MinHash tabanlı tekilleştirme standart bir ön işleme adımı olarak uygulanmaktadır. Bir tekilleştirme sisteminin kalitesi; kesinlik (precision), duyarlılık (recall) ve her ikisini dengeleyen F1-skoru ile ölçülür. Milyarlarca kayıt içeren sistemlerde aday uzayını daraltmak için önce blocking (benzer kayıtları gruplandırma), ardından ayrıntılı sınıflandırma adımı uygulanır; bu iki aşamalı yapı hesaplama maliyetini köklü biçimde düşürür. Kişisel sağlık ve finans verileriyle çalışan kurumlarda ham kayıtları açık etmeden tekilleştirme yapan gizlilik koruyucu kayıt bağlama (privacy-preserving record linkage) protokolleri tercih edilmektedir; bu protokoller GDPR ve KVKK uyumu açısından da kritik önem taşımaktadır.
Web Scraping (Veri Kazıma (Web Kazıma))
Web kazima (web scraping), bir web sitesinin HTML icerigini programatik olarak indirip anlamli verileri cikarma surecidir. Manuel kopya-yapistirmanin aksine, web kazima belirli bir hedef yapiya sahip veriler icin (fiyat takibi, arastirma verisi toplama, pazar analizi) buyuk olcekte otomasyon saglar. Temel web kazima sureci uc adimdan olusur: istek gonderme (HTTP GET/POST), HTML ayristirma (parsing) ve veri cikarma. Python'da Requests kutuphanesi HTTP isteklerini yonetirken BeautifulSoup veya lxml CSS selektorler ve XPath ifadeleriyle istenen elemanları ayıklar. Scrapy ise asenkron mimiriyisiyle binlerce sayfayi verimli sekilde gezebilen tam donanımli bir web kazima cercevesidir. Dinamik web siteleri, JavaScript ile iceriklerini tarayıcıda olusturdugundan geleneksel HTTP temelli kazima yetersiz kalır. Bu durumda Playwright veya Selenium gibi tarayici otomasyon araclari, gercek bir tarayici ortaminda sayfayi render ederek dinamik icerige erisimi mumkun kilar. Playwright, Chrome, Firefox ve WebKit destegi ve asenkron mimarisiyle modern tercih olmustur. Web kazimada etik ve hukuki boyutlar buyuk onem tasir. robots.txt dosyasi, site sahiplerinin hangi yollarin kazınmasını istemedigini belirtir; bu dosyaya uymak etik bir zorunluluktur. Hizmet sartlari (Terms of Service), bazi siteler icin kazima islemini yasal zeminde sinirlandirabilir; kisisel veri iceren icerik GDPR ve KVKK kapsaminda ek duyarlilik gerektirir. Sunuculara asiri istek gonderme, hedef siteyi yavaslatabir veya yasal sorumluluk dogurabilir; bu nedenle istekler arasinda makul gecikmeler birakmak standart uygulamadir. Anti-kazima teknolojileri de gelismistir: CAPTCHA, IP engelleme, istek parmak izi analizi ve JavaScript zorunlulugu bunlar arasindadir. Bu engelleri asmanın yollari arasinda proxy rotasyonu, kullanici-ajanı (user-agent) spoofing ve web scraping API hizmetleri (ScrapingBee, Apify, Bright Data) yer almaktadir.