tag veri madenciliği
Collaborative Filtering (İşbirlikçi Filtreleme)
Bu sayfada veri madenciliği (Collaborative Filtering (İşbirlikçi Filtreleme)) etiketi ile işaretlenmiş 16 yapay zeka kavramını bulabilirsiniz.
Collaborative Filtering (İşbirlikçi Filtreleme), kullanıcıların geçmiş davranışlarını ve tercihlerini analiz ederek kişiselleştirilmiş öneriler sunan temel bir makine öğrenimi tekniğidir. Bu yaklaşım, benzer tercihlere sahip kullanıcıların gelecekte de benzer şeyleri beğeneceği varsayımına dayanır. Netflix, Amazon, Spotify ve YouTube gibi büyük platformların tavsiye sistemlerinin temelini oluşturur. Collaborative Filtering iki ana kategoriye ayrılır: bellek tabanlı (memory-based) ve model tabanlı (model-based) yaklaşımlar. Bellek tabanlı yaklaşımlarda, kullanıcı-kullanıcı veya öğe-öğe benzerlik matrisleri hesaplanarak en yakın komşular belirlenir ve bu komşuların tercihlerine göre öneriler yapılır. Kullanıcı tabanlı (user-based) CF, hedef kullanıcıya en benzer kullanıcıları bulur ve onların beğendiği ancak hedef kullanıcının henüz görmediği öğeleri önerir. Öğe tabanlı (item-based) CF ise kullanıcının daha önce beğendiği öğelere en çok benzeyen yeni öğeleri bulur. Model tabanlı yaklaşımlarda matris çarpanlarına ayırma (matrix factorization) teknikleri kullanılır. Tekil Değer Ayrışımı (SVD) ve Dönüşümlü En Küçük Kareler (ALS) gibi yöntemler, kullanıcı-öğe etkileşim matrisini gizli özellik uzayına (latent feature space) yansıtarak büyük ölçekli sistemlerde verimli çalışır. 2009 Netflix Prize yarışmasında Simon Funk'ın SVD++ algoritması öneri kalitesini yüzde on beş oranında iyileştirerek bu yöntemlerin endüstriyel değerini kanıtlamıştır. Başlıca zorluklar şunlardır: yeni kullanıcı veya öğe için veri bulunmaması (soğuk başlama — cold start), kullanıcıların mevcut öğelerin yalnızca küçük bir kısmıyla etkileşime geçmesi nedeniyle seyrek matris oluşması (sparsity), ve sisteme gizlice sahte tercihler enjekte eden Shilling Attack tehditleri. Bu sorunların üstesinden gelmek için içerik tabanlı filtreleme ile hibrit sistemler oluşturulur. Derin öğrenme çağında Neural Collaborative Filtering (NCF) ve dikkat mekanizmalı modeller, geleneksel yöntemlere kıyasla önemli başarım artışları sağlamaktadır. Python ekosisteminde Surprise, LightFM ve implicit kütüphaneleri yaygın olarak kullanılmaktadır.
Collaborative Filtering (İşbirlikçi Filtreleme)
Collaborative Filtering (İşbirlikçi Filtreleme), kullanıcıların geçmiş davranışlarını ve tercihlerini analiz ederek kişiselleştirilmiş öneriler sunan temel bir makine öğrenimi tekniğidir. Bu yaklaşım, benzer tercihlere sahip kullanıcıların gelecekte de benzer şeyleri beğeneceği varsayımına dayanır. Netflix, Amazon, Spotify ve YouTube gibi büyük platformların tavsiye sistemlerinin temelini oluşturur. Collaborative Filtering iki ana kategoriye ayrılır: bellek tabanlı (memory-based) ve model tabanlı (model-based) yaklaşımlar. Bellek tabanlı yaklaşımlarda, kullanıcı-kullanıcı veya öğe-öğe benzerlik matrisleri hesaplanarak en yakın komşular belirlenir ve bu komşuların tercihlerine göre öneriler yapılır. Kullanıcı tabanlı (user-based) CF, hedef kullanıcıya en benzer kullanıcıları bulur ve onların beğendiği ancak hedef kullanıcının henüz görmediği öğeleri önerir. Öğe tabanlı (item-based) CF ise kullanıcının daha önce beğendiği öğelere en çok benzeyen yeni öğeleri bulur. Model tabanlı yaklaşımlarda matris çarpanlarına ayırma (matrix factorization) teknikleri kullanılır. Tekil Değer Ayrışımı (SVD) ve Dönüşümlü En Küçük Kareler (ALS) gibi yöntemler, kullanıcı-öğe etkileşim matrisini gizli özellik uzayına (latent feature space) yansıtarak büyük ölçekli sistemlerde verimli çalışır. 2009 Netflix Prize yarışmasında Simon Funk'ın SVD++ algoritması öneri kalitesini yüzde on beş oranında iyileştirerek bu yöntemlerin endüstriyel değerini kanıtlamıştır. Başlıca zorluklar şunlardır: yeni kullanıcı veya öğe için veri bulunmaması (soğuk başlama — cold start), kullanıcıların mevcut öğelerin yalnızca küçük bir kısmıyla etkileşime geçmesi nedeniyle seyrek matris oluşması (sparsity), ve sisteme gizlice sahte tercihler enjekte eden Shilling Attack tehditleri. Bu sorunların üstesinden gelmek için içerik tabanlı filtreleme ile hibrit sistemler oluşturulur. Derin öğrenme çağında Neural Collaborative Filtering (NCF) ve dikkat mekanizmalı modeller, geleneksel yöntemlere kıyasla önemli başarım artışları sağlamaktadır. Python ekosisteminde Surprise, LightFM ve implicit kütüphaneleri yaygın olarak kullanılmaktadır.
Data Quality (Veri Kalitesi)
Veri kalitesi (Data Quality), bir veri kümesinin belirli bir kullanım amacı için ne derece uygun olduğunu ifade eden çok boyutlu bir kavramdır. Yapay zeka, makine öğrenimi ve veri madenciliği projelerinde, veri kalitesi modelin ne kadar doğru ve güvenilir sonuç üreteceğini belirleyen temel etkendir. Veri kalitesi altı standart boyutla ölçülür. Doğruluk (accuracy), veri değerlerinin gerçek dünyadaki durumu yansıtıp yansıtmadığını ölçer. Tamlık (completeness), gerekli alanların eksiksiz biçimde dolu olup olmadığını denetler. Tutarlılık (consistency), aynı verinin farklı sistemler veya tablolar arasında çelişip çelişmediğini kontrol eder. Zamansallık (timeliness), verinin analiz amacına yetecek kadar güncel olup olmadığını sorgular. Geçerlilik (validity), verilerin tanımlanmış iş kurallarına ve formatlara uygunluğunu belirler. Benzersizlik (uniqueness) ise yinelenen kayıtları tespit eder. Sektörde yerleşik olan 'Çöp içeri, çöp dışarı' (Garbage In, Garbage Out) ilkesi, veri kalitesinin modeller üzerindeki doğrudan etkisini özetler. Hatalı veya eksik verilerle eğitilen bir yapay zeka modeli, gerçek dünya koşullarında güvenilmez tahminler üretir. Araştırmalar, veri bilimcilerinin zamanının yüzde altmış ila seksenini veri temizleme ve kalite iyileştirmeye ayırdığını ortaya koymaktadır. Veri kalitesini ölçmek ve artırmak için kullanılan başlıca araçlar arasında Great Expectations, dbt testleri, Apache Soda ve Pandas Profiling yer almaktadır. Bu araçlar veri boru hatlarına (pipeline) entegre edilerek kalite sorunlarını anlık raporlar ve anomalileri uyarı sistemlerine bildirir. Üretim ortamlarında sürekli veri kalitesi izleme (data quality monitoring), sapmalar gerçekleşir gerçekleşmez mühendis ekipleri uyarır. Regülasyon boyutunda AB Yapay Zeka Yasası (AI Act) Madde 10, yüksek riskli yapay zeka sistemlerinde veri yönetim uygulamalarını ve kalite metriklerini belgelemeyi yasal yükümlülük haline getirmiştir. ISO/IEC 25012 standardı da veri kalitesi özelliklerini sistematik biçimde tanımlar. Bu nedenle veri kalitesi artık yalnızca teknik bir uygulama değil, kurumsal yönetişim ve uyum çerçevelerinin ayrılmaz bir parçasıdır.
Entity Resolution (Varlık Çözümleme)
Varlık çözümleme (Entity Resolution), farklı veri kaynaklarında yer alan kayıtların aynı gerçek-dünya nesnesine ait olup olmadığını tespit eden ve bu kayıtları birleştiren veri entegrasyon sürecidir. "Record linkage" (kayıt bağlama), "entity matching" (varlık eşleştirme) veya "deduplication" (tekilleştirme) olarak da bilinen bu disiplin, büyük veri yönetimi ile bilgi grafiklerinin temel taşlarından birini oluşturur. Farklı sistemlerden gelen "Ali Veli", "A. Veli" ve "ali.veli@firma.com" gibi kayıtların aynı kişiyi temsil ettiğini, ya da iki ayrı ürün kataloğundaki "iPhone 15 Pro 256GB" ile "Apple iPhone 15Pro" girişlerinin aynı ürünü ifade ettiğini otomatik olarak anlamak, varlık çözümlemenin en yaygın kullanım senaryolarıdır. Süreç üç temel adımda ilerler. İlk adım olan "blocking" (engelleme) aşamasında, tüm olası çift kombinasyonlarını karşılaştırmak yerine yalnızca büyük olasılıkla eşleşecek kayıtlar bir araya getirilir; bu, hesaplama maliyetini dramatik biçimde düşürür. İkinci adımda, seçilen kayıt çiftleri arasındaki benzerlik ölçülür. Bu amaçla Jaccard benzerliği, Levenshtein mesafesi (düzenleme mesafesi) veya makine öğrenimi modelleri kullanılır. Son adımda sınıflandırma yapılarak iki kaydın aynı varlığa mı yoksa farklı varlıklara mı ait olduğu karara bağlanır. Derin öğrenme çağıyla birlikte BERT tabanlı modeller, anlamsal benzerliği değerlendirip yazım hataları, kısaltmalar ve farklı biçimlendirmeler gibi zorluklara karşı çok daha dayanıklı sonuçlar üretmektedir. DeepMatcher, Ditto ve Unicorn bu alanda öne çıkan açık kaynak araçlar arasındadır. Uygulama alanları oldukça geniştir: müşteri veri yönetimi (MDM), sağlık sektöründe hasta kaydı birleştirme, finansal işlemlerde dolandırıcılık tespiti, e-ticarette ürün kataloğu normalizasyonu ve Wikidata gibi bilgi grafiklerinin zenginleştirilmesi bu kapsamda değerlendirilebilir.
Jaccard Index (Jaccard İndeksi / Benzerliği)
Jaccard Index (Jaccard Benzerlik Katsayısı), iki küme arasındaki benzerliği sayısal olarak ifade eden istatistiksel bir metriktir. 1901 yılında İsviçreli botanikçi Paul Jaccard tarafından farklı dağ habitatlarındaki bitki örtüsü benzerliğini ölçmek amacıyla önerilmiş; on yıllar sonra bilgisayar bilimi, bilgi getirme ve yapay zeka alanlarına taşınmıştır. Temel formül şudur: J(A, B) = |A ∩ B| / |A ∪ B| — yani iki kümenin kesişiminin boyutu, birleşiminin boyutuna bölünür. Sonuç 0 ile 1 arasında değişir: 0 iki kümenin hiçbir ortak elemanı olmadığını, 1 ise kümelerin birebir aynı olduğunu gösterir. Tamamlayıcısı olan Jaccard Uzaklığı (1 − J) farklılık ölçümü için kullanılır. Yapay zekada en yaygın biçimi nesne tespiti modellerini değerlendirirken kullanılan Intersection over Union (IoU)'dur. Modelin tahmin ettiği sınırlayıcı kutu ile etiketlenmiş gerçek kutu birer küme olarak ele alınır; IoU kesişim alanının birleşim alanına oranıdır. COCO ve PASCAL VOC kıyaslama protokolleri, bir tahmini "doğru" saymak için IoU ≥ 0,5 eşiğini kullanır. Semantik segmentasyonda her sınıf için hesaplanan Jaccard değerlerinin ortalaması olan mIoU (Mean Intersection over Union), yöntemleri karşılaştırmada standart metrik hâline gelmiştir. Metin ve veri uygulamalarında belgeler kelime kümelerine dönüştürüldüğünde Jaccard basit biçimde benzerlik ölçer; çoğaltım tespiti ve soru-yanıt eşleştirmede kullanılır. Öneri sistemlerinde kullanıcıların ortak etkileşimde bulunduğu öğeler küme olarak temsil edilir. Büyük ölçekli uygulamalarda MinHash algoritması Jaccard'ı yaklaşık olarak hesaplamak için küçük imzalar üretir; LSH (Locality-Sensitive Hashing) ile birleştirilince milyarlarca belge çiftinde verimli tekilleştirme mümkün hâle gelir. Diğer metriklerle karşılaştırıldığında Sørensen-Dice katsayısı (2|A∩B|/(|A|+|B|)) Jaccard'dan türetilebilir ve küçük segmentlere daha duyarlı olduğu için tıbbi görüntü analizinde tercih edilir. Kosinüs benzerliği vektör yönünü ölçerken frekans bilgisini korur; sürekli ve yüksek boyutlu temsillerde Jaccard'dan üstündür. Ağırlıklı Jaccard ise eleman frekansını hesaba katan çok-küme varyantıdır.
Market Basket Analysis (Pazar Sepeti Analizi)
Pazar Sepeti Analizi (Market Basket Analysis), bir veri kümesindeki işlemler içinde birlikte ortaya çıkan nesne veya öğe gruplarını keşfetmek amacıyla kullanılan temel bir veri madenciliği tekniğidir. Adını, müşterilerin alışveriş sepetlerinde hangi ürünleri birlikte satın aldığını analiz eden perakende uygulamasından alır; ancak günümüzde e-ticaret öneri sistemlerinden sağlık bilişimine kadar geniş bir kullanım alanına kavuşmuştur. Teknik, birliktelik kuralı madenciliği üzerine kurulmuştur ve üç temel metriği baz alır: destek (support), güven (confidence) ve kaldıraç (lift). Destek, bir öğe kümesinin tüm işlemler içindeki görülme sıklığını ölçer. Güven, iki öğe birlikte göründüğünde öngörülen ilişkinin doğruluğunu ifade eder. Kaldıraç ise bu birlikteliğin rastlantısal mı yoksa gerçek bir bağıntıya mı dayandığını belirler; Lift > 1 değeri, söz konusu ilişkinin bağımsız oluşumdan daha kuvvetli olduğunu gösterir. Pazar Sepeti Analizi, e-ticaret platformlarında "Bu ürünü alanlar bunu da satın aldı" türündeki öneri sistemlerinin temelini oluşturur. Streaming platformlarında içerik önerisi, sağlık sektöründe ilaç etkileşim analizi, bankacılıkta dolandırıcılık tespiti ve web analizi gibi alanlarda da etkin biçimde kullanılmaktadır. Analiz sürecinde en yaygın kullanılan algoritmalar Apriori ve FP-Growth'tur. Apriori algoritması, sık geçen öğe kümelerini adım adım iteratif biçimde bulurken; FP-Growth, veriyi daha az bellekte tutan sıkıştırılmış bir ağaç yapısı (FP-Tree) üzerinde çalışır ve büyük veri setlerinde çok daha verimlidir. Sonuç olarak Pazar Sepeti Analizi, ham işlem verilerinden eyleme dönüştürülebilir içgörüler çıkarmak isteyen veri bilimciler ve analistler için temel araçlardan biridir. Makine öğrenimi ve derin öğrenme sistemleriyle entegre edildiğinde, dinamik ve kişiselleştirilmiş öneri motorlarının bel kemiğini oluşturur.
Named Entity Recognition (NER) (Varlık İsmi Tanıma)
Named Entity Recognition (NER / Isimli Varlik Tanima), bir metin parcasindaki kisi adlarini, yer adlarini, kurum isimlerini, tarihleri, para miktarlarini ve diger belirli varlik kategorilerini otomatik olarak tespit edip etiketleyen bir dogal dil isleme gorevidir. Anlam cikarmada temel bir adim olan NER, ham metinden yapisal bilgi uretmenin en onemli araclarindan biridir. Ornegin "Elon Musk 2024 yilinda Tesla'nin CEO'sunu degistirdi" cumlesinde NER sistemi "Elon Musk"i PERSON, "Tesla"yi ORG, "2024 yilinda"yi DATE olarak etiketler. Bu etiketleme; bilgi grafikleri olusturma, soru yanıtlama, belge ozetleme, biyomedikal veri analizi ve haber izleme gibi sistemlerin temel girdisini olusturur. NER yaklasimlar tarihsel olarak uc kusakta gelismistir. Ilk kusak kural tabanli sistemler el ile yazilmis duzenli ifadeler ve sozlukler kullaniyordu; bakimi guc ve yeni alanlara genellemesi zayifdi. Ikinci kusak istatistiksel modeller (Conditional Random Fields, CRF) elle hazirlanmis dilbilimsel ozellikler ve egriltilmis egitim verisi gerektiriyordu; CoNLL-2003 yarismasi bu donemde NER arastirmasinin referans noktasiydi. Ucuncu kusak derin ogrenme modelleri, ozellikle BiLSTM-CRF mimarisi, el ozellikleri ihtiyacini ortadan kaldirdi ve durum sanatini ileriye tasidi. BERT ve diger Transformer modelleri 2018 sonrasinda hemen hemen tum benchmark'larda BiLSTM-CRF'yi gecmistir. Guncel NER uygulamalarinda spaCy kutuphanesi gercek zamanli ve hafif kullanim icin yaygin tercih olurken Hugging Face Transformers ekosistemi token siniflandirma gorevi olarak egitilmis veya ince ayarlanmis modelleri kolayca kullanimakta sunar. Biyomedikal ve hukuk gibi alana ozgul sistemlerde genel NER modelleri yetersiz kalabilir; bu durumda alan verisiyle ince ayar veya sifirdan egitim gereklidir. NER'in pratik zorluklar arasinda belirsizlik onemsenmistir: "Apple" sirket mi yoksa meyve mi, "Paris" sehir mi yoksa kisi mi? Baglam penceresi ve coreference resolution bu belirsizlikleri cozmede kritik rol oynar. **Sik Sorulan Sorular** **NER ile metin siniflandirma arasindaki fark nedir?** Metin siniflandirma bir belgeye veya cumleye kresek bir etiket atar (pozitif/negatif duygu gibi). NER ise metin icerisindeki belirli token dizilerini bulur ve etiketler; mekanizma token duzeyinde calisir. **NER ciktilarini nasil degerlendiririm?** F1 skoru standart metrik olup hem tam eslesme hem de tur dogrulugunu gerektirir. Precision, modelin isaretledigi varliklarin ne kadari gercekten dogru; recall, gercek varliklarin ne kadari tespit edildi. **spaCy mi Transformers mi kullanayim?** Hiz ve hafiflik kritikse spaCy, maksimum dogruluk gerekiyorsa BERT tabanli model; her ikisini de deneyip belirli verinizde benchmark yapmak onerilen pratiktir. **NER her dilde esit iyi calisir mi?** Hayir. Turkce gibi morfolojik zengin dillerde NER daha zordur; kelime sinirlarinin belirlenmesi ve ek yapilari modeli zorlar. Dile ozgu veya cok dilli on egitimli modeller kullanmak sonuclari iyilestirir.
Opinion Mining Nedir? Görüş Madenciliği (Görüş Madenciliği)
Opinion Mining (Görüş Madenciliği), doğal dil işleme ve veri madenciliğinin kesişiminde yer alan bir alt disiplin olup metin verilerinden yapılandırılmış görüş bilgisi otomatik olarak çıkarmayı amaçlar. Sentiment Analysis (Duygu Analizi) yalnızca metnin genel olumlu/olumsuz/nötr tonunu belirlerken, Opinion Mining çok daha ince taneli bir yaklaşım sergiler: kim hangi varlık veya özellik hakkında ne tür bir görüş ifade etmektedir sorusunu yanıtlar. Bu bağlamda her görüş; bir kanaat sahibi (opinion holder), bir hedef varlık (target entity), bir özellik/boyut (aspect), bir duygu polaritesi (sentiment polarity) ve zaman bilgisinden oluşan beş unsurlu bir yapı (opinion quintuple) olarak temsil edilir. Örneğin bir ürün incelemesinde 'Bu telefonun pil ömrü berbat, kamera çözünürlüğü ise mükemmel' cümlesi iki ayrı görüş içermektedir: biri olumsuz pil ömrü görüşü, diğeri olumlu kamera görüşü. Opinion Mining bu iki görüşü hedef, özellik ve polarite bazında ayrıştırabilir. Teknikler arasında sözcük tabanlı yöntemler (SentiWordNet, VADER sözlükleri), makine öğrenmesi sınıflandırıcıları (SVM, Naive Bayes) ve özellikle Aspect-Based Sentiment Analysis (ABSA) görevleri için ince ayar yapılmış BERT, RoBERTa gibi derin öğrenme modelleri yer alır. Uygulama alanları arasında ürün inceleme analizi, marka ve itibar yönetimi, sosyal medya takibi, siyasi söylem analizi ve pazar araştırması öne çıkmaktadır. Büyük dil modellerinin (LLM) yaygınlaşmasıyla birlikte Opinion Mining görevleri sıfır atışlı öğrenme paradigmasıyla da çözülmeye başlanmış, insan düzeyine yakın doğruluk oranlarına ulaşılmıştır.
Topic Modeling (Konu Modelleme)
Konu modelleme (topic modeling), buyuk metin koleksiyonlarindaki gizli tematik yapilari otomatik olarak kesfeden bir dogal dil isleme teknigidir. Etiketlenmemis belgelerin icinde hangi konularin ne yogunlukta gectigi istatistiksel yontemlerle cikarilir; boylece binlerce hatta milyonlarca belgeyi elle incelemeye gerek kalmadan anlamsal gruplamalar elde etmek mumkun olur. Alanin en klasik algoritmasi Latent Dirichlet Allocation (LDA)'dir. LDA, her belgenin birden fazla konunun karisiminden olustugunu ve her konunun belirli kelimelerin olasilikli dagilimi oldugunu varsayar. Model, bu dagilimlari yinelemeli Bayes cikarimi yoluyla ogrenir. Ornegin bir haber arsivinde model kendi kendine 'ekonomi', 'spor', 'teknoloji' gibi temalari kesfedebilir; arastirmaci bu temalari yorumlar ve etiketler. Daha guncel yaklasimlar arasinda Non-Negative Matrix Factorization (NMF), Hierarchical LDA ve sinir agi tabanli yontemler yer almaktadir. BERTopic, BERT gibi donusturucu modellerin urettigi baglam duyarli gomulu vektorleri kumeleme algoritmasi ile birlestirerek cok daha anlamli konular elde etmektedir. Bu yontem, LDA'nin bag-of-words sinirliligini asarak cumle duzeyinde anlam yakalamaktadir. Uygulama alanlari genistir. Akademik literatur taramasinda binlerce makale otomatik olarak tematilandirilar; musteri geri bildirim analizinde sikayet kategorileri cikarilabilir; sosyal medya izlemede guncel tartismalar tespit edilebilir. Hukuki e-kesif sureclerinde milyonlarca e-posta konu bazli gruplanarak ilgili belgeler hizla bulunabilir. Konu modellemenin sinirliliklari da goz onunde bulundurulmalidir. Konu sayisinin onceden belirlenmesi gerekmesi, kisa metinlerde performansin dusmesi ve konularin yorumlanmasinin oznel kalmasi en sik karsilasilan zorluklardir. Bununla birlikte, buyuk veri kumelerinde insanin yapamayacagi hizda oruntu kesfetme kapasitesi bu teknigi metin madenciliginin vazgecilmez araclarindan biri yapmaktadir.
Web Scraping (Veri Kazıma (Web Kazıma))
Web kazima (web scraping), bir web sitesinin HTML icerigini programatik olarak indirip anlamli verileri cikarma surecidir. Manuel kopya-yapistirmanin aksine, web kazima belirli bir hedef yapiya sahip veriler icin (fiyat takibi, arastirma verisi toplama, pazar analizi) buyuk olcekte otomasyon saglar. Temel web kazima sureci uc adimdan olusur: istek gonderme (HTTP GET/POST), HTML ayristirma (parsing) ve veri cikarma. Python'da Requests kutuphanesi HTTP isteklerini yonetirken BeautifulSoup veya lxml CSS selektorler ve XPath ifadeleriyle istenen elemanları ayıklar. Scrapy ise asenkron mimiriyisiyle binlerce sayfayi verimli sekilde gezebilen tam donanımli bir web kazima cercevesidir. Dinamik web siteleri, JavaScript ile iceriklerini tarayıcıda olusturdugundan geleneksel HTTP temelli kazima yetersiz kalır. Bu durumda Playwright veya Selenium gibi tarayici otomasyon araclari, gercek bir tarayici ortaminda sayfayi render ederek dinamik icerige erisimi mumkun kilar. Playwright, Chrome, Firefox ve WebKit destegi ve asenkron mimarisiyle modern tercih olmustur. Web kazimada etik ve hukuki boyutlar buyuk onem tasir. robots.txt dosyasi, site sahiplerinin hangi yollarin kazınmasını istemedigini belirtir; bu dosyaya uymak etik bir zorunluluktur. Hizmet sartlari (Terms of Service), bazi siteler icin kazima islemini yasal zeminde sinirlandirabilir; kisisel veri iceren icerik GDPR ve KVKK kapsaminda ek duyarlilik gerektirir. Sunuculara asiri istek gonderme, hedef siteyi yavaslatabir veya yasal sorumluluk dogurabilir; bu nedenle istekler arasinda makul gecikmeler birakmak standart uygulamadir. Anti-kazima teknolojileri de gelismistir: CAPTCHA, IP engelleme, istek parmak izi analizi ve JavaScript zorunlulugu bunlar arasindadir. Bu engelleri asmanın yollari arasinda proxy rotasyonu, kullanici-ajanı (user-agent) spoofing ve web scraping API hizmetleri (ScrapingBee, Apify, Bright Data) yer almaktadir.
Association Rule Mining (Birliktelik Kuralı Madenciliği)
Birliktelik Kuralı Madenciliği (Association Rule Mining), büyük veri setleri içindeki öğeler arasındaki ilişkileri, örüntüleri ve birlikte ortaya çıkma eğilimlerini keşfeden bir veri madenciliği yöntemidir. Bu teknik, belirli öğelerin bir arada bulunma sıklığını analiz ederek "Eğer X satın alınırsa, Y de satın alınır" gibi anlamlı kurallar çıkarır. 1993 yılında Agrawal ve Srikant tarafından geliştirilen Apriori algoritmasıyla önem kazanan bu yöntem, günümüzde e-ticaret öneri sistemlerinden ilaç araştırmalarına, siber güvenlikten finans sektörüne kadar geniş bir uygulama alanına sahiptir. Algoritma üç temel metriğe dayanır: Destek (Support), güven (Confidence) ve kaldıraç (Lift). Destek, bir kuralın veri kümesinde ne sıklıkla geçerli olduğunu gösterir. Güven, öncül (antecedent) gerçekleştiğinde sonucun (consequent) ne kadar olasılıkla gerçekleşeceğini ifade eder. Lift ise kuralın rastlantısallığın ötesinde ne kadar anlamlı olduğunu ölçer; lift değeri 1'den büyükse öğeler arasında pozitif bir ilişki vardır. Birliktelik kuralı madenciliğinin en tanınan uygulaması market sepeti analizidir (market basket analysis). Bir süpermarketin satış verilerini analiz ettiğinizde "bezle birlikte ıslak mendil de alınıyor" veya "bira alanlar cips de alıyor" gibi içgörüler elde edilebilir. Bu tür bilgiler raf düzeni optimizasyonu, çapraz satış stratejileri ve kişiselleştirilmiş pazarlama kampanyalarında kritik rol oynar. Amazon, Netflix ve Spotify gibi platformlar da birliktelik kuralı ilkelerinden yararlanarak kişiye özel ürün ve içerik önerileri sunar. Yöntem, denetimsiz öğrenme (unsupervised learning) kategorisinde değerlendirilir; önceden etiketlenmiş veriye gerek duymadan ham işlem kayıtlarından doğrudan anlam çıkarır.
Dizi Madenciliği (Sequence Mining) (Dizi Madenciliği)
Sequence mining (dizi madenciliği veya sıralı örüntü madenciliği), zaman içinde veya belirli bir sıraya göre gerçekleşen olaylardan oluşan veri kümelerinde sık tekrar eden alt dizileri keşfetmeye yarayan veri madenciliği tekniğidir. 1995 yılında Agrawal ve Srikant tarafından önerilen bu yaklaşım, Apriori ilkesini sıralı verilere uygular. Web tıklama akışlarından genomik veri analizine, e-ticaret sepet sıralarından telekomünikasyon çağrı örüntülerine kadar pek çok alanda kullanılır.
Graph Mining Nedir? Grafik Veri Madenciliği (Grafik Veri Madenciliği)
Graph Mining, düğümler (varlıklar) ve kenarlar (ilişkiler) ile temsil edilen graf yapısındaki gizli desenleri, toplulukları ve bilgileri keşfeden bir veri madenciliği alt dalıdır. Sosyal ağlar, biyolojik moleküler ağlar, bilgi grafları ve dolandırıcılık tespit sistemleri gibi birbirine bağlı veri kümelerinde kullanılır. Temel teknikler arasında sık geçen alt-graf madenciliği (gSpan, AGM), topluluk tespiti (Louvain, Girvan-Newman), bağlantı tahmini ve graf sınıflandırması yer alır. Modern yaklaşımlar GNN'leri entegre ederek Node2Vec ve GraphSAGE gibi yöntemlerle düğümleri yüksek boyutlu gömülü vektörlere dönüştürür. Facebook ve LinkedIn'de topluluk analizi, ilaç keşfinde protein-protein etkileşim ağları ve bankacılıkta işlem ağı tabanlı dolandırıcılık tespiti öne çıkan uygulama alanlarıdır.
Örüntü Tanıma (Pattern Recognition) Nedir? (Örüntü Tanıma)
Örüntü tanıma (Pattern Recognition), ham verilerdeki anlamlı yapıları, tekrarlayan kalıpları ve ilişkileri otomatik olarak tespit edip sınıflandırmayı amaçlayan yapay zeka ve makine öğrenmesi disiplinidir. Görüntü, ses, metin ve zaman serileri gibi çeşitli veri tiplerinde çalışabilir; veri madenciliğinden bilgisayarlı görüşe, doğal dil işlemeden biyometriğe kadar geniş bir uygulama yelpazesi sunar.
Causal AI Nedir? Nedensellik Tabanlı Yapay Zeka (Nedensellik Tabanlı Yapay Zeka)
Nedensel AI (Causal AI), geleneksel makine ogrenimi sistemlerinin korelasyon kaliplarini ogrenme otesine gecip degiskenler arasindaki gercek neden-sonuc iliskilerini modellemeyi hedefleyen bir yapay zeka yaklasimidur. Temel sorusu "X, Y ile ne kadar iliskili?" degil, "X degistirdigimde Y ne olur?" veya "X olmasaydı Y ne olurdu?"dur. Judea Pearl'un nedensel merdiveni (causal ladder / ladder of causation), bu alandaki temel kavramsal cercevedir. Birinci basamak gozlemdir: veri analizi, korelasyon ve tahmin bu duzeydir; standart ML burada kalmaktadir. Ikinci basamak mudahaledir (intervention): do() operatoru ile bir degiskene mudahale ettigimizde ne olur sorusu sorulur; bu duzey RCT ve politika degerlendirmesi icin kritiktir. Ucuncu ve en guclu basamak karsi-olgusaldur (counterfactual): "Tedaviyi alsaydim ne olurdu?" veya "Bu terori olmasaydı X kac canı kurtardi?" gibi tanimsallik gerektiren sorular bu duzeydir. Yapisal Nedensel Model (Structural Causal Model - SCM), degiskenler arasindaki iliskileri Yonlu Asiklik Graf (DAG) ile temsil eder. Grafin her ok, nedensel bir iliskiyi ifade eder. d-ayrima ve arka kapi (backdoor) kriterleri, gozlemsel veri uzerinde hangi degiskenlerin kontrol edilip edilmemesi gerektigini belirler. Bu matematiksel kesinlik, nedensel cikarimi soyut yorumlamanin otesinde tutar. Saglik alaninda nedensel AI ozellikle kritik uygulamalar sunar. Bireysel Tedavi Etkisi (Individual Treatment Effect - ITE) hesaplamasi, belirli bir hastanin tedaviden fayda gorip gormeyecegini tahmin eder; ayni tedavi biri icin etkili diger biri icin etkisiz veya zararli olabilir. Standart RCT ortalamalari bu heterojenlik bilgisini gizler. Adil AI perspektifinden nedensel yaklasilm, hangi yollarin ayrimciliga yol actigini ayirt edebilir: hem dogrudan etkiler hem de dolayimi yollar modellenir. Bu, neden-sonuc tabanli bir adalet tanimina olanak tanir. **Sik Sorulan Sorular** **Nedensel AI ile klasik makine ogrenimi arasindaki temel fark nedir?** Klasik ML istatistiksel korelasyona dayali tahmin yapar; dagılım degistiginde (distribution shift) bozulabilir. Nedensel AI neden-sonuc iliskilerini modeller; mudahale sonuclarini onceden tahmin edip yeni senaryolara genelleme yapar. **Nedensel AI pratik sistemlerde kullanılıyor mu?** Evet. Amazon ve Meta A/B testi motoru gelistirilerinde nedensel cikarim teknikleri kullanmaktadir. Saglik alaninda kisisellestirilmis tedavi oneri sistemleri ITE modellemesini uygulamaktadir. **Buyuk dil modelleri nedensel akil yurutme yapabilir mi?** LLM'ler nedensel dil kaliplari ogrenerek bazi nedensel sorulari cevaplayabilir; ancak gercek yapisal nedensel akil yurutme gerceklestirdikleri tartismalıdır. Bunun icin genellikle dis bir DAG veya nedensel model katmani gerekir. **Nedensel AI ogrenmeye nereden baslarim?** Judea Pearl'un "The Book of Why" popular bilim kitabi ve "Causal Inference: The Mixtape" (Scott Cunningham) ucretsiz onlline erisislebilir iyi baslangic kaynaklaridur.
Feature Selection (Özellik Seçimi)
Ozellik secimi (feature selection), bir makine ogrenimi modelinin egitiminde kullanilacak en bilgilendirici ve gercek anlam tasiyan ozellik alt kumesini belirlemek amaciyla gereksiz, tekrarli veya alakasiz ozelliklerin elenme surecidir. Cok sayida ozellik her zaman daha iyi model anlamina gelmez; aksine fazla ozellik overfitting riskini arttirir, egitim suresini uzatir ve modelin yorumlanmasini guclestirir. Ozellik secimi uc ana kategoride incelenir. Filter yontemleri, model egitiminden bagimsiz olarak ozellikleri istatistiksel kriterlerle puanlar ve siralar. Chi-squared test, mutual information ve Pearson korelasyon katsayisi bu kategorinin temsil ornekleridir. Uygulamasi hizlidir ve overfitting riski tasimaz; ancak ozellikler arasindaki etkilesimi dikkate almaz. Wrapper yontemleri, secilen ozellik alt kumesini dogrudan bir model uzerinde dener ve performansa gore degerlendirme yapar. Recursive Feature Elimination (RFE), ozellik sayisini katlanarak azaltip her adimda modeli yeniden egiterek en kotu ozelligi eler; bu surec hedef ozellik sayisina ulasana kadar devam eder. Wrapper yontemleri genellikle filter yontemlerine kiyasla daha iyi ozellik alt kumesi bulur ancak hesaplama maliyeti cok yuksektir. Embedded yontemler ozellik secimini model egitim surecininin icine gommus sistemlerdir. LASSO (L1 duzenlemesi) bazi ozellik agirliklarini sifira indirerek otomatik secim saglar. Random Forest ve XGBoost gibi agac tabanli modeller egitim sirasinda her ozelligin onemi hesaplar; bu skorlar dusuk onemli ozellikleri elemede kullanilir. Boyutsallak laneti (curse of dimensionality), yuksek ozellikli uzaylarda orneklerin birbirinden uzaklasip mesafe bazli algoritmalarin anlamsizlasmasi olgusunu ifade eder. Ozellik secimi bu problemi dogrudan adreste. Ek olarak secimlerin yorumlanabilirligi saglar: hangi ozelliklerin modeli surdurup surdurmediginin anlasilmasi, hem ayiklama hem de alan uzmanlarindan geri bildirim alma acisindan kritik oneme sahiptir. **Sik Sorulan Sorular** **Ozellik secimi ile boyut indirgeme (PCA gibi) arasindaki fark nedir?** Ozellik secimi mevcut ozelliklerin bir alt kumesini tutar; orijinal ozellikler yorumlanabilirligini korur. PCA gibi boyut indirgeme yontemleri yeni, yapay ozellikler olusturur; yorumlanabilirlik kaybolur ama bazen daha iyi genelleme saglar. **Kac ozellik yeterlidir?** Genel kural yoktur; veri boyutuna, ornek sayisina ve modele bagimlidir. Cross-validation ile farkli ozellik sayilari denenerek elbow noktasi belirlenir. **Ozellik secimi her zaman gerekli midir?** Sinirli ornek sayisi veya yuksek boyutlu veri durumunda buyuk fayda saglar. Derin ogrenme modelleri ozellik muhendisligini buyuk olcude otomatiklestirebilir; bu durumda acik ozellik secimi daha az kritik olabilir. **Kategorik ozellikler icin hangi yontem kullanilir?** Chi-squared test veya mutual information filter yontemleri kategorik ozellikler icin uygundur. Tree-based modellerin onem skorlari ise kategorik ve sayisal ozelliklerin karisik oldugu veri kumelerinde pratik bir embedded yontemdir.
Veri Tekilleştirme (Data Deduplication) (Veri Tekilleştirme)
Veri tekilleştirme (data deduplication), bir veri kümesindeki yinelenen ya da tekrarlayan kayıtları tanımlayıp kaldıran veri madenciliği sürecidir. Aynı varlığı temsil eden birden fazla kayıt; farklı yazım biçimleri, eksik alanlar veya biçim tutarsızlıkları nedeniyle ortaya çıkabilir. Bu yinelemeler analiz kalitesini düşürür, makine öğrenmesi modellerini yanıltır ve depolama maliyetlerini artırır. Tam eşleşme tespiti (exact match) basit hashing yöntemleriyle yapılır; MinHash ve SimHash algoritmaları ise yakın-yineleme (near-duplicate) tespitinde büyük veri kümelerinde verimli çalışır. Kayıt bağlama (record linkage) tekniği, farklı kaynaklardaki kayıtları blok yöntemi veya sıralı komşuluk algoritması ile karşılaştırarak ikinci dereceden karmaşıklığı azaltır. Makine öğrenmesi tabanlı yaklaşımlar — SVM, Karar Ağacı, Random Forest ve derin öğrenme modelleri — klasik yöntemleri geride bırakmaktadır. Denetimli algoritmalar etiketli eğitim verisiyle yüksek hassasiyette yineleme tespiti yaparken, derin öğrenme modelleri metin, görsel ve yapısal veriler üzerinde özellik öğrenimi yaparak karmaşık benzerlikleri de yakalayabilir. LLM eğitim verilerinin hazırlanmasında veri tekilleştirme kritik bir adım haline gelmiştir: yinelenen belgeler modeli ezberlemeye yönlendirir ve genelleme yeteneğini azaltır. C4, The Pile ve FineWeb gibi büyük veri kümelerinde MinHash tabanlı tekilleştirme standart bir ön işleme adımı olarak uygulanmaktadır.