tag Veri Bilimi
Bu sayfada Veri Bilimi etiketi ile işaretlenmiş 44 yapay zeka kavramını bulabilirsiniz.
Veri bilimi; ham veri setlerinden anlamlı içgörüler, örüntüler ve tahminler çıkarmak için istatistik, matematik, makine öğrenmesi ve bilgisayar bilimini bir araya getiren disiplinlerarası bir alandır. İş dünyasından sağlık bilimine, finans sektöründen sosyal medya analizine kadar geniş bir yelpazede uygulanır. Bir veri bilimi projesi genellikle beş temel aşamadan oluşur: veri toplama ve temizleme (veri setlerinin %60-80'i bu aşamaya ayrılır), keşifsel veri analizi (EDA), model geliştirme ve eğitim, model değerlendirme ile son olarak dağıtım ve izleme. Bu süreç, CRISP-DM (Cross-Industry Standard Process for Data Mining) metodolojisiyle standart hale getirilmiştir. Python ve R, veri biliminin iki temel programlama dilidir. Python ekosistemi —Pandas, NumPy, Scikit-learn, TensorFlow ve PyTorch— endüstri standardı haline gelmiştir. SQL ise yapılandırılmış veritabanlarıyla çalışmak için vazgeçilmezdir. Veri bilimcisi olmak; istatistiksel düşünme, kodlama becerisi ve alan uzmanlığı üçgenini gerektirdiğinden bu meslektaşlar iş dünyasında oldukça değerlidir. 2024 verilerine göre ABD'de median veri bilimcisi maaşı yıllık 130.000 dolar civarındadır. Türkiye'de ise deneyimli veri bilimcilere olan talep her yıl hızla artmaktadır. Yapay zeka ve büyük dil modellerinin (LLM) yükselişiyle birlikte veri bilimi alanı dönüşüm geçirmektedir. Kod üretme, veri temizleme otomasyonu ve doğal dil tabanlı analiz gibi görevlerde yapay zeka desteği standart hale gelmekte; bu durum veri bilimcilerin daha stratejik ve yüksek değerli işlere odaklanmasını sağlamaktadır.
Feature Store (Özellik Deposu)
Özellik Deposu (Feature Store), makine öğrenmesi projelerinde özellik mühendisliği sürecini merkezi olarak yöneten, özelliklerin hesaplanmasını, saklanmasını, paylaşılmasını ve yeniden kullanılmasını sağlayan veri yönetim platformudur. Kısaca, ML modelleri için 'tek gerçek kaynak' işlevi görür. Tipik bir makine öğrenmesi iş akışında veri bilimciler zamanlarının büyük kısmını ham veriden özellik üretmeye harcar. Aynı özellikler farklı ekipler tarafından bağımsız biçimde yeniden hesaplanır, bu da hem hesaplama kaynağını israf eder hem de tutarsızlıklara yol açar. Üstelik eğitim ortamında hesaplanan özellikler ile servis (inference) ortamında hesaplanan özellikler arasında farklar oluşabilir — buna 'training-serving skew' denir ve model performansını ciddi ölçüde düşürebilir. Özellik deposu bu sorunları tek bir merkezi platform altında çözer. Modern bir özellik deposunun temel bileşenleri şunlardır: Çevrimdışı Mağaza (Offline Store), tarihsel özellik verilerini toplu işleme ve model eğitimi için saklar; bu katman genellikle bir veri ambarına (BigQuery, Snowflake) veya veri gölüne (S3, GCS) bağlanır. Çevrimiçi Mağaza (Online Store), düşük gecikmeli servis için anlık özellik değerlerini Redis, Cassandra veya DynamoDB gibi anahtar-değer depolarında tutar. Özellik Kayıt Defteri (Feature Registry), hangi özelliklerin kim tarafından tanımlandığını, nasıl hesaplandığını ve hangi modeller tarafından kullanıldığını belgeleyen katalog katmanıdır. Özellik Boru Hattı (Feature Pipeline), ham veriden özellik değerlerine ulaşan ETL/ELT süreçlerini otomatikleştirir ve özellik güncelliğini (freshness) yönetir. Özellik deposu kullanmanın temel faydaları şunlardır: Kod tekrarını önler ve hesaplama maliyetini azaltır; training-serving skew sorununu ortadan kaldırır; model yeniden üretebilirliğini (reproducibility) artırır; özellik keşfini kolaylaştırır ve veri bilimciler arasındaki iş birliğini güçlendirir. Popüler açık kaynak seçenekler arasında Feast ve Hopsworks yer alır. Bulut sağlayıcılar da bu alana girmiştir: AWS SageMaker Feature Store, Google Vertex AI Feature Store ve Databricks Feature Engineering en yaygın kullanılan yönetilen hizmetlerdir.
Anomaly Detection (Anomali (Aykırılık) Tespiti)
Anomali tespiti (anomaly detection), bir veri kumesindeki normal davanis kaliplarinin disina cikan noktayi, olayı veya davranisi otomatik olarak belirleyen makine ogrenmesi teknigidir. Sik kullanilan esdegerleri arasinda aykiri deger tespiti (outlier detection) ve novite tespiti (novelty detection) yer almaktadir. Dolandiricilik tespiti, ag guvenliği, uretim kalite kontrolu ve saglik izleme gibi kritik alanlarda hayati oneme sahiptir. Anomali tespit yontemleri uc ana kategoride incelenir. Istatistiksel yontemler, verinin normal dagilima uygunlugunu olcer ve Z-skoru, IQR gibi metriklerle aykiri degerleri saptarlar. Makine ogrenmesi tabanli yontemler ise Isolation Forest, Local Outlier Factor (LOF), One-Class SVM ve Autoencoder gibi algoritmalari kapsar. Derin ogrenme yaklasimlarinda LSTM tabanli zaman serisi anomali tespiti ve GAN tabanli sentetik normal veri olusturma one cikmakatdir. Denetimli, yarim denetimli ve denetimsiz anomali tespiti birbirinden farklidir. Denetimli yaklasimda hem normal hem de anormal orneklere ait etiketler gerekir; ancak gercek dunya verilerinde anomaliler nadir oldugu icin bu tur etiketli veri elde etmek genellikle guctur. Yarim denetimli yaklasimda yalnizca normal ornekler uzerinde egitim yapilir; test asamasinda bu normalden sapan ornekler anomali sayilir. Denetimsiz yontemler ise hicbir etiket olmaksizdan yogunluk tahmini veya kumeleme yoluyla aykiri degerleri bulur. Esik deger secimi anomali tespitinin en kritik adimlarindan biridir. Cok dusuk esik yanlıs pozitif (normal orneklerin anomali sanlmasi) uretirken cok yuksek esik gercek anomalilerin gozden kacmasina neden olur. Precision-Recall egrisi, bu dengeyi optimize etmek icin kullanilan temel gorsellestirme aracıdir. Gercek zamanli akis verilerinde (streaming data) anomali tespiti ayrica zorluk tasir. Apache Kafka ile entegre calisabilen Kafka Streams, Apache Flink veya Amazon Kinesis gibi platformlar, milyonlarca olayı saniyede isleme kapasitesi sunarken uygulanan modellerin cok hizli karar vermesi gerekir. Bu gereksinim, hafif ve hizli modellerin tercih edilmesini veya sinir aglarinin kuantizetasyon teknikleriyle sikistirilmasini zorunlu kılar.
Bias in AI (Yapay Zeka Önyargısı)
Yapay zeka önyargısı (AI bias), makine öğrenmesi sistemlerinin belirli birey veya gruplara karşı sistematik ve haksız biçimde tutarsız kararlar üretmesi durumudur. Bu önyargı genellikle eğitim verilerinden, model tasarımından veya değerlendirme süreçlerinden kaynaklanır ve ırkçılık, cinsiyetçilik, yaşçılık gibi toplumsal ayrımcılık biçimlerini dijital sistemlere taşıyabilir. Önyargının en yaygın kaynağı tarihsel verilerdir. İşe alım süreçlerinde erkeklerin çoğunlukta olduğu geçmiş verileri öğrenen bir model, kadın adayları daha düşük puanlandırabilir. Amazon'un 2018'de kamuoyuna sızan CV filtreleme modeli bu riski somutlaştırmış ve şirket sistemi kullanımdan kaldırmak zorunda kalmıştır. Benzer şekilde suç tahmin algoritmaları, tarihsel olarak daha fazla denetlenen topluluklara mensup bireyleri orantısız biçimde yüksek risk puanıyla değerlendirerek kendini besleyen bir döngü yaratabilir. Önyargı türleri teknik açıdan birkaç kategoriye ayrılır. Seçim önyargısı (selection bias), eğitim verisinin gerçek dünyayı temsil etmediği durumlarda ortaya çıkar. Ölçüm önyargısı, belirli gruplar için ölçüm kalitesinin düşük olmasından kaynaklanır; örneğin dermal sensörler koyu tenli bireylerde daha az doğru ölçüm yapabilir. Toplama önyargısı ise hangi verilerin toplanıp toplanmadığıyla ilgilidir. Adillik (fairness), yapay zeka önyargısı araştırmasının çekirdeğini oluşturur. Demografik eşitlik (demographic parity), eşit fırsat (equalized odds) ve bireysel adalet gibi farklı adillik tanımları vardır; önemli olan bu tanımların birbiriyle matematiksel olarak çelişebileceğinin farkında olmaktır. IBM Fairness 360 ve Aequitas gibi açık kaynaklı araçlar önyargı tespiti ve azaltma için kullanılır. Avrupa Yapay Zeka Yasası (EU AI Act), yüksek riskli AI sistemlerinde önyargı değerlendirmesini ve şeffaflık yükümlülüklerini zorunlu kılmaktadır. Bu düzenleme, AI önyargısının artık yalnızca teknik değil yasal bir sorumluluk haline geldiğini göstermektedir.
Big Data (Büyük Veri)
Buyuk veri (big data), geleneksel veri isleme araçlariyla yonetilemeyecek kadar buyuk, hizli uretilen veya karmasik yapidaki veri kumelerini tanimlar. Doug Laney'in 3V modeli bu alani karakterize etmek icin kullanilan klasik cercevedir: Volume (hacim — terabayt ve petabaytlarla olculen veri miktari), Velocity (hiz — veri uretim ve isleme hizi) ve Variety (cesitlilik — yapilandirılmıs, yari yapilandirılmıs ve yapilandirilmamis veri tipleri). Buyuk veri altyapisi, dagilimli depolama ve isleme sistemlerine dayanır. Hadoop, Google'in MapReduce makalesi uzerine insa edilmis acik kaynak bir dagilimli isleme cerçevesidir; HDFS (Hadoop Distributed File System) verileri kume uzerindeki bircok duguma dagilimli depolar. Apache Spark, bellek ici isleme yapisiyla Hadoop'tan cok daha hizli veri analizi ve makine ogrenmesi sunar. Apache Kafka ise gercek zamanli veri akislarini (streaming) yonetin populer aracidir. Veri boru hatlari (data pipeline) buyuk veride kritik bir yapisal unsurdur. ETL (Extract, Transform, Load) veya modern ELT yaklasimlari, farkli kaynaklardan gelen verinin temizlenmesini, donusturulmesini ve depolanmasini saglar. Veri golu (data lake), ham haliyle her turden veriyi depolamak icin kullanilirken veri ambarı (data warehouse) analiz icin yapılandirılmıs veri tutar. Bulut saglaycilari (AWS, Google Cloud, Azure) buyuk veri altyapisini yonetilen hizmetler olarak sunmaktadir. Amazon EMR, Databricks, Google BigQuery ve Azure Synapse bu alanda one cikan platformlardir. Buyuk veri ve makine ogrenmesi giderek birbirinin icine girmekte; feature store, model izleme ve MLOps sureclerinde buyuk veri araclari kritik roller ustlenmektedir.
Cohort Analysis (Kohort Analizi)
Kohort analizi (cohort analysis), ortak bir özelliği ya da başlangıç noktasını paylaşan kullanıcı veya müşteri gruplarının (kohortların) davranışlarını belirli bir süre boyunca takip eden veri analizi yöntemidir. Epidemiyoloji araştırmalarından doğan bu teknik, dijital ürün analitiği ve makine öğrenmesi alanlarında temel bir araç haline gelmiştir. Kohort analizinin iki ana türü vardır. Edinim kohortları (acquisition cohorts), kullanıcıları ilk etkileşim tarihlerine göre —kayıt tarihi, ilk satın alma ya da uygulama yükleme anı— gruplar ve zamanla nelerin değiştiğini ortaya koyar. Davranışsal kohortlar ise kullanıcıları belirli eylemler temelinde —onboarding'i tamamlama, belirli bir özelliği kullanma, belirli bir eşiği geçme— gruplar ve "neden" sorusuna yanıt verir. Pratik uygulamalar üç alanda yoğunlaşır. Müşteri elde tutma ve churn azaltma: hangi kohortların daha hızlı terk ettiği belirlenir ve hedefli kampanyalarla erken müdahale edilir. Pazarlama ROI ölçümü: farklı edinim kanallarından gelen kohortların yaşam boyu değeri (LTV) karşılaştırılır; LTV = ARPA ÷ Churn Rate formülü kullanılır ve 3:1 LTV/CAC oranı kârlılık eşiği kabul görür. Ürün performansı: yeni kullanıcıların önceki nesillere kıyasla daha iyi ya da daha kötü deneyim yaşayıp yaşamadığı ölçülür. Makine öğrenmesiyle birleşince kohort analizi tahmine dayalı bir boyut kazanır: ML modelleri, tarihsel kohort verilerinden öğrenerek bireysel kullanıcıların gelecekteki davranışlarını —churn olasılığı, dönüşüm ihtimali— tahmin eden prediktif kohortlar oluşturur ve proaktif müdahaleyi mümkün kılar. Kısıtlamalar arasında Simpson Paradoksu (birleşik trendin segmentlere ayrıldığında tersine dönmesi), verinin olgunlaşma süresinin uzunluğu ve korelasyonun nedensellik sanılması yer alır. Python (Pandas), SQL, Amplitude ve Mixpanel bu analizin temel araç ekosistemini oluşturur.
Concept Drift (Kavram Kayması)
Kavram kayması (concept drift), makine ogrenmesi modellerinin egitiminde kullanilan verinin istatistiksel dagılımının zamanla degismesi ve bunun sonucunda modelin performansinin dusmesi olgusudur. Model deployment sonrasında gercek dunya verisi surekli degisirken model egitimde ogrendigi eski kalıpları uygulamaya devam eder; bu uyumsuzluk hatalarin artmasina yol acar. Kavram kaymasi cesitli turlerde gozlemlenir. Ani kayma (abrupt drift), baslangic tarihi gibi ani bir olayda dagılım topluca degisir. Kademeli kayma (gradual drift), uzun surede yavas yavas degisim gerceklesir. Tekrarlayan kayma (recurring drift), mevsimsel geri donusler gibi periyodik degisimler icermektedir. Kor nokta kavram kaymasi (blind spot drift) ise yeni veri tiplerinin egitim verisinde hic gozukmemesidir. Yontemi tespit etmek icin kullanilan teknikler cesitlidir: istatistiksel testler (Kolmogorov-Smirnov, Chi-square), ozellik dagılımı izleme (Population Stability Index — PSI), referans pencere ile kayarcisal pencere karsilastirma ve model performans metric'lerinin izlenmesi (accuracy, AUC, RMSE). River ve Evidently AI gibi kutuphaneler bu izleme sureclerini kolaylastirmaktadir. Yanit stratejileri arasinda geri egitim takvimi (scheduled retraining), drift algılandıgında otomatik model guncelleme (triggered retraining), online ogrenme (veriyi sirayla isleme) ve model ensembleleri (farkli doneme ait modeller birlestirme) yer almaktadir. MLOps altyapisi bu stratejilerin otomasyon ile uygulanmasini saglar.
Data Augmentation (Veri Artırma / Çoğaltma)
Veri artırma (data augmentation), makine öğrenmesi modellerini eğitirken mevcut veri setini yapay yöntemlerle genişletme tekniğidir. Özellikle etiketli veri toplamak pahalı veya zaman alıcı olduğunda, eldeki örneklerden türetilen yeni varyantlar modelin genelleme kapasitesini önemli ölçüde artırır. Görüntü tabanlı görevlerde en yaygın kullanılan artırma teknikleri arasında yatay veya dikey çevirme, rastgele kırpma, parlaklık ve kontrast ayarı, renk bozulması, döndürme ve Gaussian gürültüsü ekleme yer alır. Bu dönüşümler, modelin nesne konumlanmasına ve ışık koşullarına duyarlılığını azaltarak daha sağlam özellik temsilleri öğrenmesini sağlar. Doğal dil işleme alanında ise eş anlamlı kelime değiştirme, cümle yeniden çerçeveleme, geri çeviri (back-translation) ve sözdizimsel dönüşümler veri artırmanın başlıca yöntemleridir. Geri çeviri yaklaşımında bir cümle önce başka bir dile çevrilir, ardından kaynak dile geri döndürülür; bu işlem hem anlam korunur hem de farklı bir ifade biçimi elde edilir. Ses ve zaman serisi verilerinde zaman uzatma (time stretching), perde kaydırma (pitch shifting), arka plan gürültüsü ekleme ve kesme-yapıştırma gibi teknikler kullanılır. Özellikle tıbbi görüntüleme gibi az veri bulunan alanlarda bu yöntemler olmazsa olmaz hale gelir. Mixup ve CutMix gibi gelişmiş teknikler iki farklı örneği piksel ya da özellik düzeyinde karıştırır, modelin kararlı sınırlar yerine düzgün olasılık dağılımları öğrenmesini teşvik eder. AutoAugment ve RandAugment ise hangi dönüşümlerin uygulanacağını otomatik olarak öğrenen politika tabanlı yaklaşımlardır. GAN tabanlı artırma, üretici bir ağ aracılığıyla gerçekçi sentetik örnekler üretir; ancak eğitim kararsızlığı ve mod çökmesi riskleri dikkatli yönetim gerektirir. Doğru uygulandığında veri artırma, düzenlileştirme etkisi yaratır, aşırı öğrenmeyi engeller ve sınırlı veriyle yüksek performanslı modeller geliştirmenin en pratik yollarından birini sunar.
Data Drift (Veri Kayması (Bozulması))
Veri drift (data drift), bir makine ogrenimi modelinin egitildigi veri dagilimi ile modelin uretimde karsilastigi gercek dunya verisi arasindaki istatistiksel mesafenin zamanla buyumesidir. Bir model egitim sirasinda belirli bir veri dagilimini ogrendigi icin, bu dagilimdaki degisimler modelin ongorduguyle gercek dunyada karsilastiginni arasinda giderek buyuyen bir uyumsuzluk yaratir ve model performansinin bozulmasina yol acar. Drift cesitli bicimlerde gerceklesebilir. Kovaryet drift (covariate shift), girdi ozelliklerinin istatistiksel dagiliminin degismesiyle olur; ancak girdi-cikti iliskisi sabittir. Ornegin bir banka dolandiricilik modelinin egitildigi doneme kiyasla musteri yas profili veya islem buyuklukleri zamanla degisebilir. Kavram drift (concept drift) ise daha derin bir problemi temsil eder: girdi ile cikti arasindaki temel iliskinin kendisi degisir. COVID-19 pandemisi, tuketici aliskanliklarini o kadar kisa surede donusturdu ki yuzlerce sirkette alis-veri tahmin modelleri kritik performans kaybi yasadi. Drift tespiti icin cesitli istatistiksel testler kullanilir. Population Stability Index (PSI), egitim ve uretim verisinin dagilim farkliliğini sayisal olarak olcer; 0.1 altinda kritik, 0.25 uzerinde kritik drift isaretler. Kolmogorov-Smirnov testi iki dagilimlarin istatistiksel olarak anlamli farkliliği olup olmadigini test eder. KL Divergence, bir dagilimdaki bilginin digerini temsil etmek icin ne kadar eksik bilgi gerektirdigini olcer. Pratik MLOps sistemlerinde drift izleme gercek zamanli veya periyodik olarak yurutur. Bir esik gecilelince sistem uyari olusturur, log kaydeder ve bazen otomatik yeniden egitimi tetikler. Yeniden egitim her zaman dogru cevap degildir; kimi zaman ozellik muhendisligi veya modelin yeniden tasarlanmasi gerekir. Etiket gecikme sorunu da yogun gundeme gelir: drift tespitinin kalbi olan gercek etiketi elde etmek haftalar veya aylar alabilir. **Sik Sorulan Sorular** **Veri drift ile model drift arasindaki fark nedir?** Veri drift girdi dagiliminin degismesidir; model drift ise cikti kalitesinin bozulmasini ifade eder. Veri drift model driftin yaygin nedenlerinden biridir ancak tek nedeni degildir. **Drift ne siklukla kontrol edilmelidir?** Bu verinin degisim hizina baglidir. Finansal, hava durumu veya trafik verileri gunden gune bile ciddi drift gosterebilir. Urun tavsiye modelleri genellikle haftalik kontrol yeterlidir. **Drift tespitinde hangi araclar kullanilir?** Evidently AI, Arize, Whylogs, Fiddler ve bulut saglayicilarin yonetilen izleme servisleri yaygin seceneklerdir. Temel istatistiksel testler ise SciPy veya scikit-learn ile uygulanabilir. **Drift olmadan da model bozulabilir mi?** Evet. Model bozulmasi; veri altyapisindaki degisiklikler, bagimliliklarin guncellenmesi veya kodlama hatalari gibi teknik nedenlerle de olabilir; bunlar veri drift olmaksizin gerceklesir.
Data Mining (Veri Madenciliği)
Veri madenciligi (data mining), buyuk veri kumelerinde gizli kalıpları, anlamlı ilişkileri ve bilgiyi outomatic olarak kesfetme sureci. Istatistik, makine ogrenmesi ve veritabani yonetiminin kesisiminde yer alan bu alan; ham verinin islenmesiyle anlamlı is kararlarına yol acan bilgiye donusturulmesi hedefler. Veri madenciligi sureci tipik olarak CRISP-DM (Cross-Industry Standard Process for Data Mining) metodolojisiyle yurutulur: is anlayisi, veri anlayisi, veri hazirlama, modelleme, degerlendirme ve deployment asamalarindan olusur. Bu cerceve, veri bilimiyle buyuk olcude ortusmektedir. Temel veri madenciligi teknikleri sunlardir: siniflandirma (classification) — yeni ornekleri bilinen kategorilere atama; kumeleme (clustering) — etiket olmaksizin benzer ornekleri gruplama; birliktelik kurali ogrenme (association rule learning) — birlikte gozuklenen ogeleri kesfetme; anomali tespiti (anomaly detection) — aykiri degerleri bulma; regresyon — sayisal degerleri tahmin etme. Birliktelik kurali ogrenme, sepet analizi (market basket analysis) olarak bilinen uygulamada kucuk bir ornek olarak Apriori ve FP-Growth algoritmalari kullanilir. 'Bira alan musteri bez de satin alır' gibi iliskiler bu teknikle kesfedilmistir. Bu oneri motorlarinın, cross-selling stratejilerinin ve icerik onerisinin temelini olusturur. Veri madenciligi; perakende (urun onerisindeki), finans (kredi riski, sahtekarlık tespiti), saglik (tani destegi, hasta gruplama) ve telekomunikasyon (musteri kaybı tahmini — churn) gibi alanlarda yaygin kullanim alanlarina sahiptir.
Data Preprocessing (Veri Ön İşleme)
Veri Ön İşleme (Data Preprocessing), ham verinin makine öğrenmesi veya derin öğrenme modelleri tarafından işlenebilecek kalitede ve formatta hale getirilmesi için uygulanan dönüşüm süreçlerinin bütünüdür. Gerçek dünya verileri çoğunlukla eksik değerler, aykırı gözlemler, tutarsız formatlar ve gürültü içerir; veri ön işleme bu sorunları gidererek modelin sağlıklı kalıplar öğrenmesini sağlar. Temel adımlar şunlardır: Eksik değer yönetimi — boş hücreler ortalama, medyan veya KNN gibi yöntemlerle doldurulur ya da silinir. Aykırı değer tespiti ve giderimi — istatistiksel sınır dışına çıkan veri noktaları belirlenir, düzeltilir veya kaldırılır. Ölçeklendirme ve normalleştirme — farklı ölçeklerdeki sayısal değişkenler (örneğin yaş ile maaş) Min-Max normalleştirme veya Z-score standartlaştırma ile ortak bir aralığa çekilir; böylece mesafe tabanlı algoritmalar (KNN, SVM) ya da gradyan inişli modeller (sinir ağları) dengeli çalışır. Kategorik kodlama — metin tabanlı kategorik değişkenler One-Hot Encoding veya Label Encoding ile sayısal formata dönüştürülür. Boyut indirgeme — gereksiz veya birbiriyle yüksek korelasyonlu özellikler PCA gibi yöntemlerle elenerek model karmaşıklığı azaltılır. Veri ön işleme, makine öğrenmesi projesinin en fazla zaman harcanan aşamasıdır; veri bilimcilerin yaklaşık yüzde sekseni bu süreçte geçer. scikit-learn'ün Pipeline ve ColumnTransformer yapıları, bu adımları tutarlı ve tekrar kullanılabilir biçimde uygulamayı kolaylaştırır. Doğru veri ön işleme olmadan en güçlü algoritma bile güvenilir tahminler üretemez; bu nedenle model başarısının temeli veri kalitesidir.
Data Versioning Nedir? Makine Öğrenmesinde Veri Versiyonlama (Veri Versiyonlama)
Data versioning (veri versiyonlama), makine öğrenmesi ve veri bilimi projelerinde kullanılan veri kümelerini, modelleri ve deneyleri Git'e benzer şekilde izleyen bir sürüm kontrol yöntemidir. Geleneksel yazılım geliştirmede kod değişiklikleri Git ile takip edilirken makine öğrenmesi projelerinde veri kümelerinin de aynı titizlikle yönetilmesi kritik önem taşır. Bir model eğitiminde hangi veri setinin kullanıldığını bilmeden deneyler tekrarlanamaz, performans regresyonlarının kaynağı tespit edilemez ve model denetim (audit) süreçleri güvenilir biçimde yürütülemez. 'Aynı kod, aynı veri sürümü, aynı sonuç' prensibi olarak da tanımlanan tam yeniden üretilebilirlik (full reproducibility), MLOps olgunluk modelinin temel gereksinimlerinden biridir. Bu alandaki en yaygın araç DVC (Data Version Control) olup açık kaynaklı bir proje olarak Git ile entegre çalışır: büyük veri dosyalarını Amazon S3, Google Cloud Storage veya Azure Blob gibi uzak depolara yükler, Git reposunda ise yalnızca küçük birer meta-dosya (pointer) tutar. Kasım 2025'te lakeFS tarafından satın alınan DVC, veri göllerinde Git tarzı dallanma, commit ve merge işlemlerine olanak tanıyan lakeFS mimarisiyle birleşmeye başlamıştır. Versiyon yönetimi yalnızca ham veri ile sınırlı kalmaz; dönüştürülmüş veri kümeleri, model ağırlıkları ve deney konfigürasyonları (hiperparametreler, rastgele tohum değerleri) de kapsama dahil edilir. Delta Lake ve Apache Iceberg ise veri gölü ve veri ambarı ortamlarında tablo düzeyinde ACID uyumlu versiyonlama, anlık görüntü (snapshot) alımı ve zaman yolculuğu sorguları (time travel query) sunarak data versioning'i kurumsal ölçekte uygulanabilir kılar. MLOps boru hatlarında data versioning şu görevleri üstlenir: her model eğitim koşusu için kullanılan veri sürümünü otomatik olarak kaydeder, model kayıt defteri (model registry) ile veri sürümü arasında birebir ilişki kurar, regresyon testlerinde referans veri setlerini sabitler ve AB testi koşullarını izole eder. Bu nedenle data versioning, üretime alınan yapay zeka sistemlerinde hem güvenilirlik hem de uyumluluk (compliance) gereksinimlerini karşılamak için vazgeçilmez bir bileşen haline gelmiştir.
Data Warehouse (Veri Ambarı)
Veri Ambarı (Data Warehouse), farklı kaynaklardan toplanan büyük miktarda yapılandırılmış verinin analitik sorgular ve iş zekası (BI) uygulamaları için optimize edilmiş şekilde depolandığı merkezi bir veritabanı sistemidir. Günlük işlem (OLTP) veritabanlarından farklı olarak veri ambarları, tarihsel veriyi korumak, karmaşık analizler yapmak ve karar destek sistemlerine veri sağlamak amacıyla tasarlanmıştır. Bill Inmon, 1990'da veri ambarını dört temel özellikle tanımladı: (1) Konu odaklı — müşteri, ürün veya satış gibi belirli iş konuları etrafında organize edilir; (2) Entegre — farklı kaynaklardan gelen veriler tutarlı bir formatta birleştirilir; (3) Değişmez — bir kez yüklenen veriler güncellenmez, yalnızca yeni kayıtlar eklenir; (4) Zaman serili — veriler belirli dönemlere ait etiketlerle saklanır ve tarihsel analiz mümkün kılınır. Veri ambarına veri yüklemek için ETL (Extract, Transform, Load) süreci kullanılır: kaynak sistemlerden veri çekilir, temizlenip dönüştürülür ve ambar tablolarına yüklenir. Modern yaklaşımlarda ELT (ham veri önce yüklenir, sonra dönüştürülür) yöntemi de yaygınlaşmıştır. Boyutsal modelleme (dimensional modeling) tekniğiyle oluşturulan yıldız (star) ve kar tanesi (snowflake) şema tasarımları, sorgu performansını artırır. Bulut çağında Amazon Redshift, Google BigQuery, Snowflake ve Microsoft Azure Synapse Analytics gibi MPP (Massively Parallel Processing) mimarili çözümler petabayt ölçeğinde veri işlemeyi mümkün kılmaktadır. Data Lakehouse mimarisi ise veri ambarı ile Data Lake'in avantajlarını tek platformda birleştirmektedir. Veri ambarları; finans raporlaması, müşteri segmentasyonu, tedarik zinciri optimizasyonu ve makine öğrenimi feature store'ları için kritik altyapıdır.
Data Wrangling (Veri Düzenleme)
Data wrangling (veri düzenleme ya da veri mücadelesi olarak da bilinir), ham ve dağınık veri kümelerini analiz ve makine öğrenimi modellerine uygun biçimde kullanılabilir hale getirmek amacıyla uygulanan temizleme, dönüştürme ve birleştirme sürecini ifade eder. Gerçek dünya verilerinin büyük çoğunluğu eksik değerler, yanlış biçimler, tutarsız kodlamalar ve aykırı gözlemler içerdiğinden bu süreç, başarılı bir veri bilimi projesinin temel taşını oluşturur. Data wrangling süreci tipik olarak birkaç kritik adımı kapsar. İlk adımda veriler farklı kaynaklardan (CSV dosyaları, API yanıtları, veritabanı sorguları, web scraping çıktıları) bir araya getirilir. Keşif aşamasında verinin genel yapısı, sütun türleri ve özet istatistikler incelenir; sorunlu alanlar tespit edilir. Temizleme adımında eksik değerler imputation yöntemleriyle doldurulur ya da ilgili satırlar çıkarılır, yinelenen kayıtlar kaldırılır, hatalı biçimler düzeltilir ve uç değerler ayıklanır. Dönüştürme aşamasında tarih-saat formatları standartlaştırılır, kategorik değişkenler one-hot encoding veya label encoding ile sayısallaştırılır ve sayısal sütunlar normalizasyon ya da standardizasyon ile ölçeklenir. Son olarak birden fazla tablo ya da kaynak JOIN/merge işlemleriyle birleştirilerek nihai analiz veri kümesi oluşturulur. Araştırmalar, veri bilimcilerin zamanının yaklaşık yüzde altmış ile seksen arasını modelleme ve görselleştirme yerine veri hazırlama adımlarına harcadığını ortaya koymaktadır. Python ekosisteminde Pandas ve Polars en yaygın kullanılan kütüphanelerdir. Büyük ölçekli projelerde Apache Spark veya dbt gibi araçlar tercih edilirken düşük kod araçları (OpenRefine, Alteryx, Trifacta) teknik geçmişi olmayan kullanıcılara da wrangling imkânı sunar. Makine öğrenimi bağlamında data wrangling, özellik mühendisliği (feature engineering) ile birlikte anılır; ancak ikisi farklı kavramlardır: wrangling ham veriyi temizleyip yapılandırır, feature engineering ise bu temiz veriden yeni anlamlı öznitelikler türetir. Temiz ve iyi yapılandırılmış veri olmadan hiçbir model istenen performansa ulaşamaz; bu nedenle data wrangling hem pratikte hem teoride yapay zeka projelerinin en kritik adımlarından biri olarak kabul edilir.
Embedding (Gömme / Vektörleştirme)
Embedding nedir sorusunun en kısa yanıtı şudur: Embedding (Türkçede gömme ya da vektörleştirme), kelimelerin, cümlelerin, görsellerin veya herhangi bir veri tipinin, yapay zekânın işleyebileceği sayısal dizilere, yani vektörlere dönüştürülmesi işlemidir. Bu dönüşüm rastgele sayılarla yapılmaz; verinin anlamsal (semantik) değerini koruyacak şekilde, çok boyutlu matematiksel bir uzayda koordinatlara yerleştirilmesiyle gerçekleşir. Benzer anlam taşıyan içerikler bu uzayda birbirine yakın, alakasız içerikler ise uzak konumlanır. "Kedi" ile "köpek" vektörleri yan yana dururken, "kedi" ile "traktör" arasındaki mesafe çok daha büyüktür. Embedding'in önemi, bilgisayarların metni doğrudan anlayamamasından gelir: makineler yalnızca sayılarla çalışır. Anlamı sayılara çevirmenin güvenilir bir yolu olmadan ne semantik arama ne öneri sistemleri ne de büyük dil modelleri çalışabilirdi. ChatGPT gibi modeller girdiyi önce token'lara ayırır, ardından her token'ı bir embedding vektörüne çevirir; modelin "anlama" dediğimiz tüm işlemleri bu vektörler üzerinde yürür. Pratikte embedding'ler en çok üç yerde karşımıza çıkar. Birincisi semantik arama ve RAG sistemleri: kullanıcının sorusu ile belgeler aynı vektör uzayına gömülür, kosinüs benzerliği ile en alakalı içerik bulunur. İkincisi öneri sistemleri: Spotify veya Netflix, beğendiğiniz içeriğe vektör uzayında en yakın duran içerikleri önerir. Üçüncüsü çok modlu uygulamalar: CLIP gibi modeller metin ve görseli aynı uzayda temsil ederek metinle görsel arama yapılmasına imkân tanır. Üretilen vektörler genellikle Pinecone, Weaviate veya pgvector gibi vektör veritabanlarında saklanır ve milyonlarca kayıt arasından milisaniyeler içinde en yakın komşular bulunur. Kısaca embedding, modern yapay zekâ uygulamalarında anlam ile matematik arasındaki köprüdür.
ETL (Extract, Transform, Load)
ETL (Extract, Transform, Load — Çıkar, Dönüştür, Yükle), farklı kaynak sistemlerden ham verinin toplanıp temizlenerek analitik bir hedefe aktarılmasını sağlayan veri entegrasyon sürecidir. Her veri mühendisliği ve veri ambarı projesinin omurgasını oluşturur; kaliteli veriyi olmayan hiçbir makine öğrenimi modeli ya da iş zekası raporu başarılı olamaz. Extract (Çıkarma) aşamasında veri; ilişkisel veritabanları, REST API'ları, dosya sistemleri (CSV, JSON, XML, Parquet), akış platformları (Kafka, Kinesis) veya SaaS uygulamalarından ham biçimde çekilir. Transform (Dönüştürme) aşamasında bu ham veri; temizlenir (eksik ve tutarsız değerler giderilir), normalize edilir (farklı kaynaklardaki kodlamalar birleştirilir), zenginleştirilir (dış referans tablolarıyla birleştirilir) ve hedef şemaya dönüştürülür. Load (Yükleme) aşamasında ise işlenmiş veri; veri ambarı, veri gölü veya analitik veritabanına yazılır. Modern mimarilerde ETL'nin yerini giderek ELT (Extract, Load, Transform) alıyor: ham veri önce bulut veri ambarına yükleniyor (Amazon Redshift, Google BigQuery, Snowflake), ardından dönüşümler SQL veya dbt (data build tool) aracılığıyla doğrudan hedefteki güçlü işlem kapasitesiyle gerçekleştiriliyor. Bu yaklaşım hem maliyet hem de sürdürülebilirlik açısından avantajlıdır. Makine öğrenimi hattında ETL, feature store'ları besleyen ve model eğitimi için veri setleri hazırlayan kritik bileşendir. Yaygın ETL araçları arasında Apache Airflow, dbt, Apache Spark, Fivetran, Talend ve AWS Glue sayılabilir. Büyük ölçekli sistemlerde mikro-toplu (micro-batch) ve akış (streaming) ETL da standart pratikler arasındadır.
Feature Engineering (Öznitelik / Özellik Mühendisliği)
Özellik mühendisliği (feature engineering), ham veriden makine öğrenmesi modellerinin daha iyi öğrenebileceği bilgilendirici özellikler türetme sürecidir. Algoritmalar veriyi olduğu gibi değil, sunulan özellikler aracılığıyla öğrenir; bu nedenle hangi özelliğin nasıl temsil edildiği model performansını doğrudan belirler. Özellik mühendisliği birçok alt görevden oluşur. Özellik oluşturma, mevcut sütunları birleştirerek veya dönüştürerek yeni değişkenler üretir: bir e-ticaret veri setinde kullanıcının gün içi sipariş yoğunluğu 'sabah', 'öğleden sonra', 'gece' gibi zaman dilimi etiketlerine dönüştürülebilir. Özellik seçimi ise gürültülü veya gereksiz değişkenleri elemek için korelasyon analizi, karşılıklı bilgi skoru veya özellik önem skorlarını kullanır. Kategorik değişkenlerin sayısal temsillere dönüştürülmesi temel mühendislik adımlarından biridir. One-hot encoding ikili sütunlar üretirken, hedef kodlama (target encoding) kategorileri hedef değişkenin ortalamasıyla temsil eder. Yüksek kardinaliteli sütunlarda embedding tabanlı yaklaşımlar bilgiyi daha kompakt biçimde saklar. Sayısal özellikler için normalizasyon (min-max ölçekleme) ve standardizasyon (z-skoru dönüşümü) kritik ön işleme adımlarıdır. Mesafe tabanlı algoritmalar (k-NN, SVM) bu ölçeklemeye duyarlıdır; ölçekleme yapılmadan büyük değer aralıklı özellikler küçük aralıklıları gölgede bırakır. Zaman serisi verisinde gecikme özellikleri (lag features), hareketli ortalama ve mevsimsel bileşenler gibi mühendislik dönüşümleri modellerin zamansal örüntüleri kavramasını sağlar. Metin verisinde TF-IDF ve n-gram özellikleri, görüntü verisinde ise histogram eşitleme ve kenar çıkarımı klasik özellik mühendisliği adımlarıdır. Derin öğrenme bu adımların bir kısmını otomasyona taşımış olsa da yapısal veri içeren birçok endüstriyel görevde manuel özellik mühendisliği performansı belirleyici kalmaktadır.
Gradient Boosting Nedir? Gradyan Artırma Algoritması (Gradyan Artırma)
Gradient Boosting (Gradyan Artırma), makine öğreniminde zayıf öğrenicileri art arda sıralı biçimde ekleyerek güçlü ve yüksek doğruluklu bir tahmin modeli oluşturan bir topluluk öğrenme algoritmasıdır. Random Forest gibi diğer topluluk yöntemlerinin ağaçları paralel olarak eğitmesinin aksine, Gradient Boosting her yeni ağacı bir önceki modelin kalan hatasını (artık değer, residual) azaltacak şekilde sıralı olarak inşa eder. Algoritmanın çalışma mantığı şu adımlarla özetlenebilir: İlk adımda verilen hedef değer için basit bir temel tahmin yapılır; bu genellikle ortalama değerdir. Sonraki adımda mevcut tahmin ile gerçek değer arasındaki farklar (artık değerler) hesaplanır. Bir sonraki karar ağacı bu artık değerleri tahmin etmek üzere eğitilir. Yeni ağacın katkısı, aşırı öğrenmeyi önlemek için öğrenme hızı (learning rate) parametresiyle ölçeklendirilerek mevcut modele eklenir. Bu döngü, belirlenen ağaç sayısına ulaşılana kadar tekrar eder; her yinelemede model bir öncekinin en zayıf noktasına odaklanır. Gradient Boosting'in matematiksel temeli gradyan iniş (gradient descent) optimizasyonuna dayanır. Ağaçlar, seçilen kayıp fonksiyonunu minimize edecek şekilde gradyan yönünde oluşturulur; bu yapı, algoritmanın regresyon, sınıflandırma ve sıralama gibi farklı problem tiplerine kolayca uyarlanmasını sağlar. Algoritmanın en belirgin avantajı, tablolar halindeki yapısal veriyle (structured/tabular data) olağanüstü yüksek doğruluk sağlamasıdır. Kaggle yarışmalarında yıllardır zirvede yer alan bu aile, XGBoost, LightGBM ve CatBoost gibi modern kütüphanelerle bellek ve hız açısından da optimize edilmiştir. XGBoost level-wise (satır bazlı) ağaç büyümesiyle daha kararlı sonuçlar üretirken LightGBM leaf-wise (yaprak bazlı) büyüme ve histogram tabanlı bölme sayesinde büyük veri setlerinde çok daha hızlı çalışır. Dezavantajları arasında aşırı öğrenmeye (overfitting) yatkınlık, hiperparametre ayarının (n_estimators, learning_rate, max_depth, min_samples_split) hassasiyeti ve büyük veri setlerinde paralel eğitimin zorluğu sayılabilir. Öğrenme hızı düşük ve ağaç sayısı yüksek tutulduğunda daha genelleştirilebilir modeller elde edilir; ancak bu dengenin bulunması kapsamlı çapraz doğrulama (cross-validation) gerektirir.
Hugging Face (Açık Kaynak Yapay Zeka Merkezi)
Hugging Face, makine öğrenimi modellerinin, veri setlerinin ve yapay zeka uygulamalarının paylaşıldığı, indirildiği ve birlikte geliştirildiği açık kaynak platformdur. Yazılımcılar için GitHub neyse, yapay zeka araştırmacıları ve geliştiricileri için Hugging Face odur: 2026 itibarıyla platformda 1,7 milyondan fazla model, 400 binden fazla veri seti ve 500 bini aşkın Spaces demo uygulaması bulunur. 2016'da Clément Delangue, Julien Chaumond ve Thomas Wolf tarafından New York'ta kurulan şirket, başlangıçta gençlere yönelik bir sohbet botu üretiyordu. 2018'de yayımladığı **Transformers** kütüphanesiyle rotasını değiştirdi ve açık kaynak yapay zekanın fiili merkezi hâline geldi. Bugün Google, Meta, Microsoft, Mistral, Alibaba (Qwen) ve DeepSeek gibi oyuncular açık ağırlıklı modellerini önce Hugging Face Hub üzerinde yayımlıyor; Llama, Qwen, Mistral, Whisper ve Stable Diffusion gibi modeller buradan milyonlarca kez indiriliyor. Platformun gücü üç katmandan gelir. Birincisi **Hub**: model, veri seti ve demo barındıran, Git tabanlı sürümleme kullanan merkezi depo. İkincisi **açık kaynak kütüphaneler**: Transformers, Diffusers, Datasets, PEFT, TRL ve safetensors, model yükleme-eğitme-hizalama iş akışını üç satır Python koduna indirger. Üçüncüsü **ücretli altyapı servisleri**: Inference Endpoints, Spaces GPU kiralama ve kurumsal Hub aboneliği, şirketin gelir modelini oluşturur. 2023'teki 235 milyon dolarlık Series D turunda 4,5 milyar dolar değerleme alan şirket, 2024-2025 döneminde robotik alanına da girdi: Pollen Robotics'i satın aldı, LeRobot kütüphanesini ve 299 dolarlık açık kaynak Reachy Mini robotunu duyurdu. Hugging Face'i öğrenmek, modern yapay zeka geliştirmenin ön koşulu sayılır; açık modelle çalışan hemen her proje — ince ayardan (fine-tuning) üretim dağıtımına — bu ekosistemin en az bir parçasından geçer.
Hyperparameter Tuning (Hiperparametre Optimizasyonu)
Hiperparametre optimizasyonu (Hyperparameter Tuning), makine öğrenimi modelinin eğitim sürecine başlamadan önce araştırmacı veya mühendis tarafından belirlenen kontrol değişkenlerinin — öğrenme hızı (learning rate), ağaç derinliği, katman sayısı, düzenlileştirme katsayısı gibi — en uygun kombinasyonunun sistematik biçimde aranması işlemidir. Makine öğreniminde iki farklı parametre türü bulunur: modelin eğitim verisinden öğrendiği "parametreler" (ağırlıklar, bias değerleri) ve eğitimden önce dışarıdan belirlenen "hiperparametreler". Hiperparametreler model mimarisini ve öğrenme dinamiklerini doğrudan şekillendirir; yanlış seçilen bir hiperparametre seti, en kaliteli veriyle bile zayıf sonuçlar doğurabilir. Başlıca hiperparametre arama yöntemleri şöyle sıralanabilir: Grid Search (Izgara Arama): Belirlenen aralıklar içindeki tüm olası kombinasyonları dener; garanti sonuç verir ancak hesaplama maliyeti kombinasyon sayısıyla katlanarak artar. Az sayıda hiperparametre ve dar aralıklar için uygundur. Random Search (Rasgele Arama): Kombinasyonları rastgele örnekler; Grid Search'e kıyasla genellikle daha kısa sürede benzer kalitede sonuç üretir. Yüksek boyutlu arama uzaylarında tercih edilir. Bayesian Optimization: Önceki denemelerin sonuçlarını kullanarak sonraki adımda hangi kombinasyonu deneyeceğini olasılık modeline göre seçer. Deneme sayısını minimize ederek en iyi hiperparametrelere ulaşmayı hedefler; derin öğrenme gibi maliyetli modellerde yaygındır. Optuna, Ray Tune ve Hyperopt bu yaklaşımı uygulayan popüler kütüphanelerdir. Automated ML (AutoML): Hiperparametre aramasını tamamen otomatikleştirir. Google AutoML, H2O.ai ve Keras Tuner gibi araçlar hem model seçimi hem de parametre optimizasyonunu arka planda yürütür. Hiperparametre optimizasyonu sürecinde çapraz doğrulama (cross-validation) kritik bir rol oynar: her aday kombinasyon, verinin farklı katlarında test edilerek aşırı uyumu (overfitting) önleyecek şekilde değerlendirilir. Özellikle derin sinir ağlarında learning rate, momentum ve batch size değerlerinin doğru ayarlanması, model başarısını belirleyici ölçüde etkiler. Pratik projelerde hiperparametre arama sürecinin toplam eğitim süresinin %30–50'sini oluşturduğu görülmektedir.
Jupyter Notebook (Jupyter Not Defteri)
Jupyter Notebook, veri bilimcileri ve yapay zeka araştırmacılarının kod, görselleştirme, formül ve metin açıklamalarını tek bir etkileşimli dokümanda birleştirmesine olanak tanıyan açık kaynaklı bir web uygulamasıdır. 2014 yılında Project Jupyter bünyesinde Fernando Pérez ve Brian Granger tarafından IPython projesinden türetilerek geliştirilmiştir; adını Galileo'nun Jüpiter uydularına dair el yazması gözlem notlarından almaktadır. Jupyter Notebook'un temel çalışma birimi "hücre"dir. Kod hücreleri (code cells) anlık çalıştırılabilen Python, R veya Julia kodlarını barındırırken; Markdown hücreleri metin, LaTeX denklemleri ve HTML içerebilir. Her hücre bağımsız olarak çalıştırılabildiğinden deney akışı doğrusal olmak zorunda değildir; bu da keşifsel veri analizini (EDA) yürütmek, makine öğrenimi modellerini adım adım geliştirmek ve bulguları belgeler hâlinde paylaşmak için platform son derece uygun kılar. pandas, NumPy, Matplotlib, Seaborn, TensorFlow ve PyTorch gibi popüler kütüphanelerle tam uyumlu çalışan Jupyter, anlık görsel çıktılar, etkileşimli grafikler ve tablo görünümleri üretebilir. Bu özellik, modelleme sürecini şeffaf ve tekrarlanabilir kılar; bir kavramdan sonuca tek bir .ipynb dosyası üzerinden ilerlemek mümkündür ve bu dosya kolayca paylaşılabilir ya da GitHub'da görüntülenebilir. Jupyter'in yaygınlaşmasıyla birlikte bulut tabanlı alternatifler de gelişmiştir: Google Colab, Kaggle Notebooks ve Amazon SageMaker Studio, ek GPU/TPU kaynakları sunarak büyük ölçekli derin öğrenme deneyleri için popüler seçenekler hâline gelmiştir. Bununla birlikte versiyon kontrol uyumsuzluğu (Git diff'te .ipynb dosyaları JSON karmaşası olarak görünür), büyük notebook dosyalarında bellek yüklenmesi ve hücre çalıştırma sırasına bağlı tekrarlanabilirlik zorlukları bilinen sınırlılıklar arasında yer alır. 2018'de yayımlanan JupyterLab, klasik notebook arayüzünü modüler bir IDE ortamına dönüştürerek dosya gezgini, entegre terminal ve çoklu sekme desteği ekledi. Üretim ortamlarında Papermill (parametrik notebook çalıştırma) ve nbconvert (PDF/HTML dışa aktarım) araçları, notebook tabanlı iş akışlarını MLOps pipeline'larına entegre etmek için yaygın biçimde kullanılmaktadır.
K-Means Clustering (K-Ortalamalar Kümeleme)
K-Means Kümeleme (K-Ortalamalar), denetimsiz makine öğreniminin en yaygın algoritmasıdır; etiketsiz bir veri kümesini önceden belirlenen K adet gruba (kümeye), her veri noktasını en yakın merkeze (centroid) atayarak böler. Algoritma 1950'lerin sonunda Stuart Lloyd tarafından geliştirilmiş, James Mac-Queen tarafından 1967'de "K-Means" adıyla resmileştirilmiştir. Çalışma adımları dörde indirgenir. Birinci adımda K adet merkez nokta rastgele ya da K-Means++ yöntemiyle akıllıca seçilir. İkinci adımda her veri noktası, Öklidyen uzaklık hesabıyla en yakın merkeze atanır. Üçüncü adımda her kümenin merkezi, üye noktaların koordinat ortalaması alınarak güncellenir. Merkezler değişmeyene veya iterasyon limiti dolana kadar bu adımlar tekrarlanır; algoritma yerel minimumda yakınsar. K değerinin seçimi algoritmanın en kritik adımıdır. "Dirsek Yöntemi" (Elbow Method), farklı K değerleri için küme içi kareler toplamını (WCSS) hesaplar; eğrinin belirgin dirsek oluşturduğu nokta optimal K'yı işaret eder. Silüet Skoru ise her noktanın kendi kümesine ne kadar sıkı bağlı olduğunu ölçerek -1 ile +1 arasında bir kalite puanı üretir. Ayrıca Bayesian Bilgi Kriteri (BIC) ve Gap İstatistiği de sık kullanılan yöntemler arasındadır. Gerçek dünya uygulamaları geniş bir yelpazeye yayılır: e-ticarette müşteri segmentasyonu, haber platformlarında belge kümeleme, görüntü işlemede renk niceleme (pikselleri K renge indirme), biyoinformatikte gen ekspresyon analizi ve anomali tespiti bunların başında gelir. Amazon ve Netflix, kullanıcı davranışlarını analiz etmek için K-Means tabanlı segmentasyon yöntemlerinden yararlanmaktadır. Algoritmanın temel sınırlamaları şunlardır: küre dışı geometriler (hilal, iç içe geçmiş kümeler) için yetersiz kalması, aykırı değerlere duyarlılık ve K'nın önceden belirlenmesi zorunluluğu. Bu durumlar için DBSCAN (gürültü toleranslı, şekle bağımsız), GMM - Gauss Karışım Modeli (olasılıksal üyelik) veya hiyerarşik kümeleme (K gerektirmez) alternatif olarak tercih edilebilir.
Knowledge Graph (Bilgi Grafiği)
Bilgi grafiği (knowledge graph), gerçek dünya varlıklarını ve bu varlıklar arasındaki ilişkileri yapılandırılmış bir ağ olarak temsil eden bir veri modelidir. Düğümler (node) varlıkları — kişiler, yerler, kavramlar, olaylar — temsil ederken kenarlar (edge) bu varlıklar arasındaki ilişkileri ifade eder. Bu yapı, verinin yalnızca depolanmasını değil, anlam bağlamıyla birlikte sorgulanmasını mümkün kılar. Bilgi grafikleri, Google'ın 2012'de duyurduğu Knowledge Graph projesiyle geniş kitleler tarafından tanınmaya başlamıştır. Google, arama sonuçlarında salt bağlantı listesi yerine varlık bilgilerini (kişi biyografileri, coğrafi veriler, ürün özellikleri) zengin bir biçimde sunmak amacıyla bu teknolojiyi kullanmaktadır. Bugün Wikidata, DBpedia, Freebase ve Yago bu alanın önde gelen açık kaynak örnekleri arasındadır. Teknik olarak bilgi grafikleri çoğunlukla RDF (Resource Description Framework) veya özellik grafikleri (property graph) formatında modellenir. SPARQL, RDF veri tabanlarını sorgulamak için kullanılan standart dil iken Neo4j gibi graf veri tabanları özellik grafikleri için Cypher dilini benimser. Ontolojiler ise bir alan içindeki kavramlar ve ilişkiler için resmî tanımlar sağlar; OWL (Web Ontology Language) bu alanda standart haline gelmiştir. Yapay zeka uygulamalarında bilgi grafikleri, büyük dil modellerinin çıktılarını doğrulamak ve zenginleştirmek amacıyla kullanılmaktadır. Retrieval-Augmented Generation (RAG) sistemlerinde bilgi grafiği entegrasyonu, modelin mantıksal ilişkiler kurmasına ve halüsinasyonları azaltmasına yardımcı olur. İlaç keşfi, dolandırıcılık tespiti, öneri sistemleri ve kurumsal bilgi yönetimi bu teknolojinin öne çıkan uygulama alanlarıdır. Bilgi grafikleri, verilerin silolara ayrılmadan bütünleşik olarak temsil edilmesine olanak tanıdığı için kurumsal veri yönetiminde giderek daha kritik bir rol üstlenmektedir. Şirketler, birden fazla sistemdeki müşteri, ürün ve işlem verilerini tek bir anlamlı ağda birleştirerek daha akıllı sorgulama ve analiz gerçekleştirebilmektedir.
Korelasyon Analizi Nedir? Veri Madenciliğinde Değişken İlişkileri (Korelasyon Analizi)
Korelasyon analizi, iki ya da daha fazla değişken arasındaki ilişkinin yönünü ve şiddetini istatistiksel olarak ölçen temel bir veri madenciliği ve analitik yöntemidir. Sonuç olarak elde edilen korelasyon katsayısı, -1 ile +1 arasında bir değer alır: +1 mükemmel pozitif ilişkiyi (bir değişken artarken diğeri de artar), -1 mükemmel negatif ilişkiyi (bir değişken artarken diğeri azalır) ve 0 ise değişkenler arasında doğrusal bir bağ olmadığını gösterir. **Temel Yöntemler** - **Pearson Korelasyonu:** Sürekli, normal dağılımlı veriler için uygundur. Değişkenler arasındaki doğrusal ilişkiyi ölçer. Korelasyon katsayısının mutlak değeri 0.7'nin üzerindeyse güçlü, 0.3–0.7 arasındaysa orta, 0.3'ün altındaysa zayıf ilişki olarak yorumlanır. - **Spearman Sıra Korelasyonu:** Sıralı (ordinal) veriler veya normal dağılım varsayımlarının karşılanamadığı sürekli veriler için tercih edilir. Değişkenlerin sıralı pozisyonlarına bakarak ilişkiyi ölçer; bu sayede aykırı değerlere karşı Pearson'a göre çok daha dayanıklıdır. - **Kendall Tau:** Küçük örneklem boyutlarında ve çok sayıda sıra eşitliği olan durumlarda Spearman'a alternatif olarak kullanılır. **Makine Öğrenmesinde Kullanım Alanları** Korelasyon analizi, makine öğrenmesi pipeline'larının ön işleme aşamasında kritik bir rol oynar: 1. **Özellik Seçimi (Feature Selection):** Birbirleriyle yüksek korelasyona sahip özellikler (çoklu doğrusallık / multicollinearity) tespit edilir ve fazlalık olanlar elenerek modelin aşırı öğrenmesi (overfitting) önlenir. 2. **Keşifsel Veri Analizi (EDA):** Korelasyon matrisi görselleştirmeleri (ısı haritaları), değişkenler arasındaki karmaşık ilişki ağını hızla anlamayı kolaylaştırır. 3. **Öneri Sistemleri:** Collaborative filtering algoritmalarında kullanıcı-öğe benzerliklerini hesaplamak için korelasyon ölçütleri kullanılır. 4. **Zaman Serisi Analizi:** Farklı zaman gecikmelerindeki değişkenler arasındaki ilişkiyi ortaya koymak için otokorelasyon ve çapraz korelasyon analizleri uygulanır. **Korelasyon ≠ Nedensellik** En sık yapılan hatalardan biri, korelasyonu nedensellikle karıştırmaktır. İki değişken arasında güçlü bir korelasyon gözlemlenmesi, birinin diğerine sebep olduğunu kanıtlamaz; her ikisini de etkileyen gizli bir üçüncü değişken (confounding factor) söz konusu olabilir. Bu nedenle korelasyon analizi bulguları, her zaman nedensellik çıkarımı (causal inference) yöntemleriyle desteklenmelidir.
MLOps (Machine Learning Operations) (Makine Öğrenimi Operasyonları)
MLOps (Machine Learning Operations), makine ogrenimi modellerini gelistirme, egitme, dagitma ve izleme sureclerini otomatlastirip standartlastiran bir muhendislik disiplinidir. DevOps kulturu ile veri bilimi pratiklerini bir araya getirir; amaci, ML modellerini guvenilir, olceklenebilir ve surdurulebilir bicimde uretim ortamina tasimaktir. Geleneksel yazilim gelistirme sureclerinde kod degisikliklerini yonetmek icin CI/CD pipeline'lari kullanilir. MLOps bu anlayisi model dunyasina tasir: veri kodu, egitim kodu ve model agirliklarinin hepsini ayni titizlikle surumler. Bir veri bilimci yeni bir model gelistirdiginde, MLOps altyapisi bu modeli otomatik olarak test eder, performansini gecmis modellerle karsilastirir ve onay kriterleri saglanirsa canli ortama baglar. Model kayit defteri (model registry), uretimde hangi modelin calistigini, hangi veri setiyle egitildigini ve hangi hiperparametrelerle yapilandirildigini merkezi olarak kaydeder. Bu sayede bir model sorun cikardiginda ekip, onceki surume dakikalar icinde geri donebilir. DVC (Data Version Control) gibi araclar veri surumlemesini yonetirken MLflow veya Weights & Biases deney izlemeyi ustlenir. Uretim ortaminda modellerin zamanla bozulmasi, yani model drift, MLOps'un cozdugu kritik sorunlardan biridir. Gelen gercek dunya verisinin dagilimi degistikce modelin tahmin kalitesi duser. Izleme katmani bu kaymayi erken tespit eder ve otomatik yeniden egitim tetikler ya da uyari gonderir. Google'in yayinladigi MLOps olgunluk modeli, sirketleri 0'dan 2'ye kadar uc seviyede siniflandirir: Seviye 0'da her sey manueldir; veri bilimciler modeli laptoplarinda egitip elle yukler. Seviye 1'de egitim pipeline otomatiktir. Seviye 2'de ise CI/CD her sey dahil olup pipeline'in kendisi de otomatik olarak guncellenir. MLOps'un uygulanmasi, yalnizca teknik degeril kulturel bir donusum da gerektirir. Veri bilimcileri, veri muhendisleri ve DevOps ekiplerinin ortak bir dil ve is akisi gelistirmesi gerekir. Bu kucultucuyu asabilen organizasyonlar, model dagitim surelerini haftalardan saatlere indirgeyip yapay zeka yatirimlarindan cok daha yuksek geri donus elde eder. **Sik Sorulan Sorular** **MLOps ile DevOps arasindaki temel fark nedir?** DevOps kod ve yazilim dagitimina odaklanirken MLOps buna ek olarak veri surumlemesi, model egitimi, hiperparametre yonetimi ve model drift izleme gibi ML'e ozgu katmanlari kapsar. **Kucuk bir ekip icin MLOps gerekli midir?** Tek bir modelle baslayan ekipler bile DVC ve MLflow gibi hafif araclarla temel MLOps pratiklerini benimsemelidir; aksi takdirde tekrarlanamaz deneyler ve kayip modeller kacunilmaz olur. **MLOps icin hangi programlama dili onceliklidir?** Python ekosistemi hakimdir: scikit-learn, TensorFlow ve PyTorch ile egitim; FastAPI veya BentoML ile servis; Airflow veya Prefect ile orkestrasyon. **Model drift ne kadar siklukla izlenmelidir?** Bu, verinin degisim hizina baglidir. Finansal dolandiricilik modelleri gercek zamanli izleme gerektirirken urun tavsiye sistemleri gunluk veya haftalik kontrol yeterli olabilir.
Named Entity Recognition (NER) (Varlık İsmi Tanıma)
Named Entity Recognition (NER / Isimli Varlik Tanima), bir metin parcasindaki kisi adlarini, yer adlarini, kurum isimlerini, tarihleri, para miktarlarini ve diger belirli varlik kategorilerini otomatik olarak tespit edip etiketleyen bir dogal dil isleme gorevidir. Anlam cikarmada temel bir adim olan NER, ham metinden yapisal bilgi uretmenin en onemli araclarindan biridir. Ornegin "Elon Musk 2024 yilinda Tesla'nin CEO'sunu degistirdi" cumlesinde NER sistemi "Elon Musk"i PERSON, "Tesla"yi ORG, "2024 yilinda"yi DATE olarak etiketler. Bu etiketleme; bilgi grafikleri olusturma, soru yanıtlama, belge ozetleme, biyomedikal veri analizi ve haber izleme gibi sistemlerin temel girdisini olusturur. NER yaklasimlar tarihsel olarak uc kusakta gelismistir. Ilk kusak kural tabanli sistemler el ile yazilmis duzenli ifadeler ve sozlukler kullaniyordu; bakimi guc ve yeni alanlara genellemesi zayifdi. Ikinci kusak istatistiksel modeller (Conditional Random Fields, CRF) elle hazirlanmis dilbilimsel ozellikler ve egriltilmis egitim verisi gerektiriyordu; CoNLL-2003 yarismasi bu donemde NER arastirmasinin referans noktasiydi. Ucuncu kusak derin ogrenme modelleri, ozellikle BiLSTM-CRF mimarisi, el ozellikleri ihtiyacini ortadan kaldirdi ve durum sanatini ileriye tasidi. BERT ve diger Transformer modelleri 2018 sonrasinda hemen hemen tum benchmark'larda BiLSTM-CRF'yi gecmistir. Guncel NER uygulamalarinda spaCy kutuphanesi gercek zamanli ve hafif kullanim icin yaygin tercih olurken Hugging Face Transformers ekosistemi token siniflandirma gorevi olarak egitilmis veya ince ayarlanmis modelleri kolayca kullanimakta sunar. Biyomedikal ve hukuk gibi alana ozgul sistemlerde genel NER modelleri yetersiz kalabilir; bu durumda alan verisiyle ince ayar veya sifirdan egitim gereklidir. NER'in pratik zorluklar arasinda belirsizlik onemsenmistir: "Apple" sirket mi yoksa meyve mi, "Paris" sehir mi yoksa kisi mi? Baglam penceresi ve coreference resolution bu belirsizlikleri cozmede kritik rol oynar. **Sik Sorulan Sorular** **NER ile metin siniflandirma arasindaki fark nedir?** Metin siniflandirma bir belgeye veya cumleye kresek bir etiket atar (pozitif/negatif duygu gibi). NER ise metin icerisindeki belirli token dizilerini bulur ve etiketler; mekanizma token duzeyinde calisir. **NER ciktilarini nasil degerlendiririm?** F1 skoru standart metrik olup hem tam eslesme hem de tur dogrulugunu gerektirir. Precision, modelin isaretledigi varliklarin ne kadari gercekten dogru; recall, gercek varliklarin ne kadari tespit edildi. **spaCy mi Transformers mi kullanayim?** Hiz ve hafiflik kritikse spaCy, maksimum dogruluk gerekiyorsa BERT tabanli model; her ikisini de deneyip belirli verinizde benchmark yapmak onerilen pratiktir. **NER her dilde esit iyi calisir mi?** Hayir. Turkce gibi morfolojik zengin dillerde NER daha zordur; kelime sinirlarinin belirlenmesi ve ek yapilari modeli zorlar. Dile ozgu veya cok dilli on egitimli modeller kullanmak sonuclari iyilestirir.
Overfitting (Aşırı Öğrenme / Ezberleme)
Overfitting (aşırı öğrenme ya da ezberleme), bir makine öğrenimi modelinin eğitim verilerine çok fazla odaklanarak o verilerdeki istisnaları, gürültüleri ve hataları ezberlemesi; bu yüzden daha önce hiç görmediği yeni verilerle karşılaştığında genelleme yapamayıp başarısız olması durumudur. Bir öğrencinin sınav sorularının mantığını kavramak yerine cevap şıklarını ezberleyip farklı sorularda sıfır almasına benzer: model, eğitim setinde neredeyse kusursuz sonuçlar verirken gerçek dünya verisinde ciddi biçimde yanılır. Sorunun özü, modelin verideki gerçek örüntü ile rastlantısal gürültüyü ayırt edememesidir. Model gereğinden karmaşıksa (çok fazla parametre içeriyorsa), eğitim verisi azsa veya eğitim gereğinden uzun sürmüşse, model sinyal yerine gürültüyü öğrenmeye başlar. Bu durum istatistikteki bias-variance dengesinin varyans tarafına savrulmak demektir: eğitim hatası düşer, doğrulama hatası yükselir ve iki eğri arasındaki makas açılır. Overfitting'in pratikte önemi büyüktür, çünkü bir modelin gerçek değeri eğitim setindeki skoru değil, görülmemiş veri üzerindeki performansıdır. Kredi riski tahmininden tıbbi teşhise, spam filtresinden öneri sistemlerine kadar her uygulamada ezberlemiş bir model, laboratuvarda parlak görünüp sahada güvenilmez sonuçlar üretir. Bu yüzden makine öğrenimi pratiğinin önemli bir bölümü overfitting'i tespit etmeye (eğitim-doğrulama-test ayrımı, çapraz doğrulama, öğrenme eğrileri) ve önlemeye (regularizasyon, dropout, erken durdurma, veri artırma, daha fazla veri toplama) ayrılır. Tersine durum olan underfitting (eksik öğrenme) ise modelin veriyi hiç kavrayamayacak kadar basit kalmasıdır; iyi bir model bu iki uç arasındaki dengeyi tutturur.
PCA (Principal Component Analysis) (Temel Bileşen Analizi)
Temel Bileşen Analizi (Principal Component Analysis — PCA), yüksek boyutlu veri kümelerindeki boyut sayısını azaltırken verideki varyansı (bilgiyi) mümkün olduğunca korumayı hedefleyen doğrusal bir boyut indirgeme tekniğidir. 1901'de Karl Pearson tarafından önerilen bu yöntem, makine öğrenmesi, veri görselleştirme ve özellik mühendisliğinin temel araçlarından biri haline gelmiştir. PCA'nın matematiksel temeli kovaryans matrisinin özvektörlerine dayanır. Algoritma önce verinin ortalama merkezlemesini yapar, ardından kovaryans matrisini hesaplar ve bu matrisin özvektörlerini (temel bileşenleri) bulur. Her özvektöre karşılık gelen özdeğer, o bileşenin toplam varyansın ne kadarını açıkladığını ifade eder. Veriler, en yüksek özdeğerlere sahip k özvektörden oluşan yeni bir koordinat sistemine yansıtılır ve bu projeksiyon işlemiyle boyut sayısı dramatik biçimde azalır. Pratikte PCA birkaç kritik amaca hizmet eder: boyutsallık laneti sorununu hafifletmek, görselleştirme için yüksek boyutlu veriyi 2 veya 3 boyuta indirmek, gürültülü ve tekrarlayan özellikleri elemek, model eğitim süresini kısaltmak ve aşırı öğrenme riskini azaltmak. Örneğin 1000 özelliğe sahip bir tıbbi veri kümesinin ilk 50 temel bileşeni, toplam varyansın büyük çoğunluğunu açıklayabilir ve model performansını olumsuz etkilemeden hesaplama maliyetini önemli ölçüde düşürebilir. PCA'nın sınırlamaları arasında yalnızca doğrusal ilişkileri yakalayabilmesi öne çıkar; doğrusal olmayan yapılar için Kernel PCA, t-SNE veya UMAP gibi yöntemler tercih edilir. Ayrıca elde edilen temel bileşenler orijinal özelliklerle birebir yorumlanamaz; bu durum bazı alanlarda açıklanabilirlik sorunlarına yol açabilir. Veri ölçeklendirmesi (standardizasyon) PCA öncesinde zorunlu bir ön işleme adımıdır; aksi takdirde büyük ölçekli özellikler küçük ölçeklileri baskılayarak bileşenleri çarpıtır. Görüntü sıkıştırma, yüz tanıma (eigenfaces yöntemi), genomik analiz, doğal dil işlemede gizli anlam analizi (LSA) ve finans portföy analizi PCA'nın en yaygın uygulama alanları arasında yer almaktadır. Söz konusu çok yönlülük, PCA'yı veri bilimcilerinin araç kutusunun vazgeçilmez bir parçası yapmaktadır.
Predictive Analytics (Öngörüsel Analitik)
Tahmine dayalı analitik (predictive analytics), istatistiksel modeller, makine öğrenmesi algoritmaları ve geçmiş verileri kullanarak gelecekteki olayları, eğilimleri veya davranışları tahmin eden veri bilimi disiplinidir. Geriye dönük tanımlayıcı analitiğin ötesine geçerek 'ne olabilir?' sorusuna olasılıksal yanıtlar üretir. Tahmine dayalı analitiğin en yaygın uygulaması müşteri davranışı tahminidir. E-ticaret platformları satın alma olasılığını tahmin ederek kişiselleştirilmiş öneriler sunar; bankalar kredi temerrüt olasılığını modelleyerek risk yönetimi yapar; sigorta şirketleri poliçe başvurusu alınmadan önce kaza olasılığını hesaplar. Bu modeller lojistik regresyon, karar ağaçları, rastgele orman veya gradient boosting gibi algoritmalar üzerine inşa edilebilir. Sağlık sektöründe tahmine dayalı analitik erken tanı için kritik değer taşır. Hasta taburculuk sonrası hastaneye yeniden kabul olasılığını, sepsis riskini veya ilaç uyumsuzluğunu öngören modeller klinik kararları destekler. IBM Watson Health ve Optum gibi platformlar bu kapasiteleri ölçeklenebilir biçimde sunmaktadır. Tedarik zinciri ve üretimde kestirimci bakım (predictive maintenance), ekipman arızasını önceden tespit ederek plansız duruş sürelerini ve bakım maliyetlerini azaltır. Sensör verileri, titreşim analizi ve sıcaklık örüntüleri makine sağlığını sürekli izlemek için kullanılır. Model geliştirme sürecinde özellik seçimi, eğitim-test bölmeleme, zaman serisi kayması (temporal leakage) ve sınıf dengesizliği gibi zorluklarla dikkatli biçimde başa çıkmak gerekir. Tahmin modeli doğruluğu kadar açıklanabilirliği ve adilliği de giderek daha fazla ön plana çıkmaktadır.
Statistical Inference (İstatistiksel Çıkarım)
İstatistiksel çıkarım, sınırlı bir veri örnekleminden hareketle daha geniş bir kitle hakkında genellemeler ve tahminler yapma sürecidir. Veri biliminin temel taşlarından biri olan bu disiplin, gözlemlenemeyecek kadar büyük ya da erişimi kısıtlı popülasyonları anlamak için olasılık teorisinden yararlanır. Çıkarımsal istatistik iki ana ekol üzerine inşa edilmiştir. Frekansçı yaklaşım, parametreleri sabit birer değer olarak kabul eder; hipotez testleri ve güven aralıkları aracılığıyla sonuçlara ulaşır. Null hipotez (H0) belirlenerek p-değerine göre reddedilip reddedilmeyeceğine karar verilir: p < 0,05 eşiği, gözlemlerin rastlantısal değil anlamlı olduğuna işaret eder. Bayesçi yaklaşım ise olasılığı bir inanç derecesi olarak tanımlar; alan bilgisini (prior) yeni verilerle birleştirip posterior dağılım üretir. Küçük örneklemlerde ve uzman bilgisinin sürece katılması gereken durumlarda bu yöntem tercih edilir. Veri bilimi ve makine öğrenmesi bağlamında istatistiksel çıkarım birçok kritik görevi üstlenir. Model değerlendirmede çapraz doğrulama skorlarının anlamlı farklılıklar içerip içermediği test edilir. A/B testlerinde iki gruba ait dönüşüm oranı farkının istatistiksel olarak anlamlı olup olmadığı belirlenir. Regresyon analizinde katsayıların sıfırdan farklı olup olmadığını güven aralıkları ortaya koyar. Özellik seçiminde ise chi-kare, ANOVA ve t-testi gibi testler, değişkenlerin bağımlı değişkenle gerçek bir ilişki taşıyıp taşımadığını sınar. Büyük veri döneminde istatistiksel anlamlılık tuzağı önem kazanmıştır: devasa örneklemlerde pratik açıdan önemsiz etkiler bile p < 0,05 değeri üretebilir. Bu nedenle etki büyüklüğü (Cohen d, eta-kare) ve pratik anlamlılık değerlendirmesi vazgeçilmez bir tamamlayıcı hâline gelmiştir. Yapay zeka modellerinin tahminlerindeki belirsizliği ölçmek için de çıkarımsal istatistik kullanılır; konformal tahmin ve Bayesçi derin öğrenme bu alanın güncel uzantılarıdır. Büyük dil modellerinin değerlendirilmesinde iki modelin performans farkının gerçek mi yoksa örnekleme gürültüsünden mi kaynaklandığını anlamak için bootstrap yeniden örnekleme ve McNemar testi yaygın araçlara dönüşmüştür.
Supervised Learning (Denetimli Öğrenme)
Denetimli Öğrenme (Supervised Learning), makine öğrenmesinin temel paradigmalarından biridir. Bu yaklaşımda model, her girdinin (X) karşılığında doğru çıktının (y/etiket) önceden bilindiği ve işaretlendiği bir veri setiyle eğitilir. Model, bu etiketli örneklerden X→y eşlemesini öğrenerek daha önce hiç görmediği yeni verilerde tahmin yapabilir hale gelir. Kavramı anlamak için bir öğretmen-öğrenci analojisi kullanılır: öğretmen (veri seti), öğrenciye (modele) hem soruları hem de cevap anahtarını verir. Öğrenci, hataları analiz ederek zamanla doğru cevapları öğrenir. Gerçek hayatta bu etiketler bir e-postanın spam olup olmadığı, bir tümörün iyi ya da kötü huylu olması ya da bir evin tahmini satış fiyatı olabilir. Denetimli öğrenme iki ana problem türünü kapsar. İlki sınıflandırma (classification): girdi verisini iki veya daha fazla ayrık kategoriye atamak. Spam tespiti, görüntü tanıma ve duygu analizi bu gruba girer. İkincisi regresyon: sürekli sayısal bir değer tahmin etmek. Ev fiyatı tahmini, hava sıcaklığı öngörüsü ve borsa tahmini bu gruba aittir. Algoritma ailesi oldukça geniştir: karar ağaçları, rastgele orman (Random Forest), destek vektör makineleri (SVM), lojistik regresyon, yapay sinir ağları ve derin öğrenme modelleri. Tablo verisi için XGBoost ve LightGBM çoğu yarışmada lider performans gösterirken, görüntü işleme için konvolüsyonel sinir ağları (CNN) ve metin görevleri için BERT gibi transformer modeller tercih edilir. Eğitim süreci; veriyi eğitim, doğrulama ve test kümelerine bölmeyi, bir kayıp fonksiyonu (loss function) tanımlamayı ve gradient descent ile modelin parametrelerini optimize etmeyi içerir. Aşırı öğrenme (overfitting) ve eksik öğrenme (underfitting) risklerine karşı çapraz doğrulama, düzenlileştirme (L1/L2) ve erken durdurma (early stopping) gibi teknikler kullanılır. Denetimli öğrenmenin en büyük kısıtı kaliteli etiketli veriye olan ihtiyacıdır. Manuel etiketleme zaman alıcı ve pahalıdır; ayrıca insan yanlılığı veya hatalarına açıktır. Bu soruna çözüm olarak aktif öğrenme (active learning) ve yarı-denetimli öğrenme (semi-supervised learning) yaklaşımları geliştirilmiştir.
Synthetic Data (Sentetik Veri)
Sentetik veri (synthetic data), gerçek dünya olaylarını gözlemleyerek değil, algoritmalar, istatistiksel modeller veya üretken yapay zeka aracılığıyla yapay olarak üretilen veridir. Gerçek verinin sahip olduğu gizlilik risklerini taşımaksızın makine öğrenmesi modellerini eğitmek, test etmek ve doğrulamak için kullanılır. Sentetik veri üretiminin temel yöntemleri arasında istatistiksel simülasyon, kural tabanlı üretim ve üretken modeller yer alır. İstatistiksel simülasyon, gerçek veri setinin dağılım parametrelerini tahmin ederek bu parametrelerden yeni örnekler üretir. GAN (Generative Adversarial Network) tabanlı yaklaşımlar ise ayırt edici bir ağın denetiminde üretici ağ gerçekçi sentetik örnekler oluşturur; bu yöntem özellikle görüntü verisi üretiminde oldukça başarılıdır. Tablolar ve yapılandırılmış veri için CTGAN (Conditional Tabular GAN) ve SDV (Synthetic Data Vault) kütüphaneleri geniş çapta kullanılmaktadır. Bu araçlar, orijinal verinin sütunlar arası korelasyonlarını, kategorik değer dağılımlarını ve istatistiksel özelliklerini öğrenerek yeni satırlar üretir; böylece gerçeğe yakın ama gerçek olmayan kayıtlar oluşturulur. Sentetik verinin en kritik kullanım alanı gizlilik korumasıdır. Tıbbi kayıtlar veya finansal işlemler gibi hassas veriyi içeren yapay zeka projelerinde GDPR ve HIPAA gibi düzenlemeler gerçek veri paylaşımını kısıtlar; sentetik veri bu kısıtları aşarken modelin öğreneceği temsili örnekler sağlar. Öte yandan sentetik veri, az temsil edilen sınıfları dengelemek için de kullanılır. Dengesiz veri setlerinde nadir sınıf örnekleri sentetik yollarla çoğaltılarak model bu sınıfları daha iyi öğrenir. Otonom araç, robotik ve oyun yapay zekası gibi alanlarda gerçek dünya verisi toplamak tehlikeli veya pahalı olduğunda simülasyon ortamlarından üretilen sentetik veri birincil eğitim kaynağı olarak kullanılır.
Time Series Forecasting (Zaman Serisi Tahmini)
Zaman serisi tahmini (time series forecasting), kronolojik sirada duzenlenmis gecmis veri noktalarini kullanarak gelecekteki degerleri tahmin etme surecidir. Finans, enerji, saglik, perakende ve meteoroloji gibi pek cok alanda kararları yonlendiren temel analitik tekniklerden biridir. Zaman serileri dort ana bilesenin ustu ustu eklenmesinden olusur: trend (uzun vadeli yonus), mevsimsellik (tekrarlayan donemsel desen), cevrimsellik (ekonomik dalga gibi duzensiz dalgalanmalar) ve gürültu (rastlantisal varyasyon). Bu bilesenler ayristirildiktan sonra her biri ayri modellenerek tahmin birlestirilir. Klasik istatistiksel yontemler arasinda ARIMA (AutoRegressive Integrated Moving Average), SARIMA (mevsimsel uzantisi) ve Holt-Winters Exponential Smoothing on siraya cikar. Bu modeller dogrusal iliskilerde cok iyi calisir; ancak karmasik dogrusal olmayan dinamikler icin yetersiz kalabilir. Makine ogrenmesi yaklasimlari, ozelliklerin elle tasarlanmasi (feature engineering) uzerine kuruludur: gecikme degerleri (lag features), hareketli ortalamalar ve mevsimsel gostargeleri girebilir. XGBoost ve LightGBM zaman serisi tahmininde populer tercih olmustur. Derin ogrenme yontemlerinde LSTM ve GRU, sirasal bagimlilikları yakalamak icin tasarlanmistir; Transformer tabanli modeller ise uzun donem bagimlilik iliskilerini daha etkin olarak ele alabilmektedir. Facebook (Meta) tarafindan gelistirilen Prophet, isgunu, tatvil ve mevsimsellik efektlerini kolayca modellemeye izin veren acik kaynak bir kutuphanedir. Amazon Chronos, Google TimesFM ve Nixtla'nin TimeGPT'si ise buyuk olcekte on egitilmis zaman serisi temel modelleri (foundation model) olup sifir atis veya az atis ogrenme ile kullanilabilmektedir. Hata metrikleri secimi kritiktir: MAE (Mean Absolute Error) aykiri degerlere dayaniklidir; RMSE buyuk hatalari cezalandirir; MAPE yuzdeli yorumlama sunar ancak sifira yakin gercek degerlerde patlama yapar. En iyi model secimi her zaman alan bilgisi ve is gereksinimleriyle birlikte degerlendirmelidir.
Underfitting (Eksik Öğrenme)
Yetersiz öğrenme (underfitting), bir makine öğrenmesi modelinin eğitim verisinin altında yatan örüntüleri öğrenemeyecek kadar basit kalması durumudur. Bu hata, modelin hem eğitim hem de test verilerinde yüksek hata sergilemesiyle kendini gösterir; yani model ne gördüğü örnekleri doğru tahmin eder ne de yeni verilere genelleme yapabilir. Yetersiz öğrenmenin en yaygın nedeni aşırı basit model mimarisi seçimidir. Doğrusal regresyon ile karmaşık ikinci dereceden bir ilişkiyi modellemeye çalışmak buna tipik bir örnektir: model verideki kıvrımları ve örüntüleri yakalayacak kapasiteye sahip değildir. Düşük kapasite yanında, gereğinden fazla düzenlileştirme (regularization) de yetersiz öğrenmeye yol açar; L1/L2 cezaları çok güçlü uygulandığında model parameterlerini sıfıra yaklaştırır ve anlamsız tahminler üretir. Erken durdurma (early stopping), eğer çok erken uygulanırsa benzer etkiyi yaratır: model kayıp fonksiyonunu yeterince minimize edemeden eğitim kesilir. Küçük batch boyutlarında gürültülü gradyanlar, yetersiz epoch sayısı ve yanlış hiper-parametre seçimi de underfitting'e zemin hazırlar. Bias-varyans ikilemi (bias-variance tradeoff) çerçevesinde yetersiz öğrenme yüksek bias problemine karşılık gelir. Model, gerçek dağılımı sistematik olarak yanlış temsil eder; bu yanlılık azaltılmadan performans iyileşmez. Yetersiz öğrenmeyi gidermek için model kapasitesi artırılır: daha derin sinir ağları, daha fazla özellik veya polinom dönüşümleri eklenir. Düzenlileştirme parametreleri gevşetilir, eğitim süresi uzatılır ve özellik mühendisliği ile bilgilendirilmiş özellikler türetilir. Eğitim kayıp eğrisi yataylaşmadan çok erken durmamak da yetersiz öğrenmeden kaçınmanın temel kuralıdır.
Unsupervised Learning (Denetimsiz Öğrenme)
Gözetimsiz öğrenme (unsupervised learning), etiketlenmemiş veriden gizli yapı, örüntü ve ilişkileri keşfeden makine öğrenmesi paradigmasıdır. Denetimli öğrenmeden farklı olarak doğru cevap yoktur; algoritma veriyi anlamlandırmak için kendi iç organizasyonunu geliştirir. Kümeleme (clustering), gözetimsiz öğrenmenin en yaygın uygulamasıdır. K-Means, birbirine benzer örnekleri gruplara ayırır; her grup bir merkoid (centroid) tarafından temsil edilir. Hiyerarşik kümeleme dendogram adı verilen bir ağaç yapısı oluşturarak farklı çözünürlük seviyelerinde gruplar sunar. DBSCAN ise yoğunluk tabanlı bir yaklaşımla düzensiz şekilli kümeler ve aykırı değerleri ayırt edebilir. Boyut azaltma, yüksek boyutlu veriyi anlamlı alt uzaylara projeksiyon yaparak hem görselleştirme hem de hesaplama verimliliğini artıran başka bir gözetimsiz öğrenme alanıdır. PCA (Temel Bileşen Analizi) varyansı maksimize eden ortogonal bileşenler bulurken, t-SNE ve UMAP yerel yapıyı koruyarak 2D veya 3D görselleştirme için idealdir. Üretken modeller de gözetimsiz öğrenme kapsamında değerlendirilebilir. Otokodlayıcılar (autoencoders) veriyi sıkıştıran ve yeniden üreten bir enkoder-dekoder mimarisi kurar; öğrenilen gizli temsil anomali tespiti, gürültü giderme ve özellik çıkarımı için kullanılır. Gözetimsiz öğrenme, etiket maliyetinin yüksek olduğu tıbbi görüntü analizi, müşteri segmentasyonu, belge kümeleme ve öneri sistemi gibi alanlarda kritik değer taşır. Ayrıca denetimli öğrenme öncesinde veri keşfi ve ön işleme aşamasında standart bir araç olarak kullanılır.
Veri Bilimi (Veri Bilimi)
Veri bilimi; ham veri setlerinden anlamlı içgörüler, örüntüler ve tahminler çıkarmak için istatistik, matematik, makine öğrenmesi ve bilgisayar bilimini bir araya getiren disiplinlerarası bir alandır. İş dünyasından sağlık bilimine, finans sektöründen sosyal medya analizine kadar geniş bir yelpazede uygulanır. Bir veri bilimi projesi genellikle beş temel aşamadan oluşur: veri toplama ve temizleme (veri setlerinin %60-80'i bu aşamaya ayrılır), keşifsel veri analizi (EDA), model geliştirme ve eğitim, model değerlendirme ile son olarak dağıtım ve izleme. Bu süreç, CRISP-DM (Cross-Industry Standard Process for Data Mining) metodolojisiyle standart hale getirilmiştir. Python ve R, veri biliminin iki temel programlama dilidir. Python ekosistemi —Pandas, NumPy, Scikit-learn, TensorFlow ve PyTorch— endüstri standardı haline gelmiştir. SQL ise yapılandırılmış veritabanlarıyla çalışmak için vazgeçilmezdir. Veri bilimcisi olmak; istatistiksel düşünme, kodlama becerisi ve alan uzmanlığı üçgenini gerektirdiğinden bu meslektaşlar iş dünyasında oldukça değerlidir. 2024 verilerine göre ABD'de median veri bilimcisi maaşı yıllık 130.000 dolar civarındadır. Türkiye'de ise deneyimli veri bilimcilere olan talep her yıl hızla artmaktadır. Yapay zeka ve büyük dil modellerinin (LLM) yükselişiyle birlikte veri bilimi alanı dönüşüm geçirmektedir. Kod üretme, veri temizleme otomasyonu ve doğal dil tabanlı analiz gibi görevlerde yapay zeka desteği standart hale gelmekte; bu durum veri bilimcilerin daha stratejik ve yüksek değerli işlere odaklanmasını sağlamaktadır.
Veri Seti (Veri Seti)
Veri seti (İngilizce: dataset), makine öğrenimi ve yapay zeka modellerinin eğitilmesinde, doğrulanmasında ve test edilmesinde kullanılan yapılandırılmış veri koleksiyonudur. Her yapay zeka sisteminin temeli kaliteli veri setlerine dayanır; en sofistike algoritmalar bile yetersiz ya da önyargılı verilerle başarısız olur. Bir veri seti genellikle üç alt kümeye ayrılır. Eğitim seti (training set), modelin örüntüleri ve ilişkileri öğrendiği ana veri kümesidir; toplam verinin yaklaşık yüzde yetmiş ila seksenini oluşturur. Doğrulama seti (validation set), geliştirme sürecinde hiperparametrelerin ayarlanması ve aşırı uyumun (overfitting) önlenmesi için kullanılan ara değerlendirme kümesidir. Test seti ise yalnızca nihai değerlendirmede kullanılır; modelin hiç görmediği bu veriler, gerçek dünya genelleme kapasitesinin tarafsız ölçütünü sağlar. Yaygın bölünme oranı 80/10/10 olmakla birlikte, veri kümesinin büyüklüğüne göre bu oranlar ayarlanabilir. Yapay zeka tarihinde kritik rol oynayan çeşitli kıyaslama (benchmark) veri setleri mevcuttur. MNIST, 70.000 el yazısı rakam görüntüsünden oluşur ve derin öğrenme için standart giriş veri setidir. ImageNet, 14 milyondan fazla etiketlenmiş görüntü içerir; AlexNet modelinin 2012 deki çığır açan başarısı bu veriyle elde edilmiştir. COCO (Common Objects in Context), 330.000 i aşkın görüntüyle nesne algılama ve segmentasyon görevlerinin altın standardıdır. Common Crawl ise petabaytlarca web sayfasını barındıran dev bir açık kaynak olup GPT-4, Llama ve hemen tüm büyük dil modellerinin ön eğitim sürecinde kullanılmaktadır. Bir veri setinin kalitesini belirleyen dört ana faktör vardır: boyut, etiket doğruluğu, çeşitlilik ve sınıf dengesi. Düşük etiket kalitesi model doğruluğunu yüzde otuza kadar düşürebilirken, dengesiz sınıf dağılımı modeli azınlık sınıflarını tanımakta yetersiz kılar. Veri seti önyargısı (dataset bias) özellikle dikkat gerektiren bir sorundur: tarihsel ayrımcılık barındıran eğitim verileri bu önyargıyı model çıktısına taşır. Örneğin yalnızca açık tenli yüzlerle eğitilen yüz tanıma sistemleri koyu tenli bireylerde anlamlı biçimde daha yüksek hata oranı üretmektedir. Veri zehirlenmesi (data poisoning) önemli bir güvenlik tehdididir: saldırganlar eğitim setine kasıtlı olarak bozuk örnekler ekleyerek modelin davranışını manipüle eder. Araştırmalar, sağlık alanındaki AI sistemlerinin yalnızca 100-500 zehirli örnekle yüzde altmışın üzerinde olasılıkla tehlikeye atılabildiğini ortaya koymaktadır. Türkçe doğal dil işleme açısından önemli bir not: Türkçe veri setleri İngilizce emsallerine kıyasla çok daha sınırlı ölçekte kalmaktadır. Bu durum, Türkçe NLP modellerini düşük kaynaklı dil (low-resource language) kategorisinde bırakmakta ve İngilizce modellerine kıyasla daha düşük performans sergilemelerine yol açmaktadır.
XGBoost (Makine Öğrenimi Algoritması)
XGBoost (eXtreme Gradient Boosting), gradyan artirma (gradient boosting) algoritmasinin son derece optimize edilmis, hizli ve yuksek performansli bir implementasyonudur. Tianqi Chen tarafindan gelistirilen ve 2016'da yayimlanan makale ile kamuoyuna sunulan XGBoost, Kaggle ve gercek dunya veri bilimi projelerinde tablo verisi (tabular data) gorevedlerinin standart araci haline gelmistir. Gradyan artirma, zayif ogrenenleri (genellikle karar agaclari) sirayla ekleyen bir topluluk yontemidir. Her yeni agac, onceki agaclarin hatalarini (artiklari) duzeltmeye odaklanir. XGBoost bu prensibi alinirken bircok ozgun yenilik eklemistir: ikinci derece Taylor acilinimı kullanan kayip fonksiyonu yaklasimi, L1/L2 duzenlilestirme, sutun orneklemesi, paralel islem ve eksik deger yonetimi. XGBoost'un en buyuk guclerinden biri duzenlilestirmedir: agac derinligini ve yaprak agirliklarini cezalandirarak asiri uyumu (overfitting) azaltir. Bu ozellik, random forest ve standart gradient boosting uzerinde onemli avantaj saglar. Ayrica eksik degerlere dogal olarak gecerli bir yaklasim sergiler: veri yoksa hangi yonu gitmenin daha iyii oldugunu egitim sirasinda ogrenilir. LightGBM (Microsoft) ve CatBoost (Yandex), XGBoost'un basarisi uzerine gelistirilmis alternatiflerdir. Buyuk veri kumelerinde LightGBM genellikle daha hızlidir; kategorik ozellikler icin CatBoost one cikabilir. Uretimde XGBoost, sklearn API uyumlulugu ve genis dil destekleriyle (Python, R, Java, Scala) avantajlidir.
Veri Görselleştirme (Data Visualization) Nedir? (Veri Görselleştirme)
Veri gorsellestirme (data visualization), ham veya islenmis veriyi grafik, harita, panel, animasyon veya infografik gibi gorsel bicimlere donusturme disiplin ve pratikleri butunudur. Insanin gorsel isleme kapasitesi, tablolarla sunulan binlerce veri noktasinin anlasilmasindan cok daha hizli sekilde gorsel kaliplari tanir; bu temel bilissel gercek, veri gorsellestirmeyi analitik sureclerin vazgecilmez bir parcasi yapar. Dogru gorsel secimi mesajin netligini belirler. Kategoriler arasinda karsilastirma yapiliyorsa cubuk grafik anlasilirdir; zaman serisi verisi icin cizgi grafik egilimi daha iyi aktarir; iki degisken arasindaki iliskiyi gostermek icin scatter plot kullanilir; heatmap coklu degisken bilesenlerinin matris biciminde sunumunda idealdir. Pasta grafik kategorilerin toplama oranini gosterir; ancak bes ustu kategoride gormek zor oldugundan dikkatli kullanilmalidir. Edward Tufte, veri gorsellestirme disiplininin en etkili teorisyenlerinden biridir. "Data-ink ratio" (veri-murekkep orani) ilkesi, bir graftaki her grafisel unsurun anlam tasimasi gerektigini ve gorseli karmasiklastiran chartjunk unsurlarin azaltilmasini savunur. Bu ilke minimalist ve aciklamali gorsel tasarim anlayisinin temelini olusturur. Araç ekosistemi genis ve farklilasiktir. Tableau ve Microsoft Power BI is zekasi panolarinda surukle-birak arayuzleriyle hazirlanmis; yonetici raporlari ve KPI panolari icin yaygin tercihtir. D3.js, JavaScript ile guclu ve tamamen ozellestirilebilir interaktif web gorsellestirmeler olusturmak icin referans kutuphanedir. Python ekosisteminde Matplotlib temel gorsel katmanini olusturmakta, Seaborn istatistiksel gorseller icin daha yuksek seviye bir API sunmakta, Plotly ve Vega-Altair ise interaktif gorseller icin tercih edilmektedir. Yaniltici gorsel kurulmasi konusu onemlidir. Kesilmis y ekseni kucuk degisiklikleri buyuk gosterebildigi icin yaniltici olabilir; alan veya kabarcik grafiklerinde yanlis olcekleme algiyi bozar; belirli renk secimi belirli gruplari stigmatize edebilir. Veri okuryazarligi, bu yanlimlari tanima ve elemek etrafında da seklinde insa edilir. **Sik Sorulan Sorular** **Hangisi once gelir: veri analizi mi yoksa gorsellestirme mi?** Ikisi dongusel bir surecte yer alir. Kesfedici veri analizinde gorsellestirme, analizden once kullanilir (kalip arama); aciklayici gorsellestirme ise analiz sonuclarini aktarmak icin kullanilir. Her iki amac farkli gorsel tasarim secimlerine yonlendirir. **Tableau mu Power BI mi secmeliyim?** Tableau gorsel analitik derinligi ve esnekligiyle one cikar; Power BI Microsoft 365 ekosistemiyle entegrasyonu ve ucret avantajiyla tercih edilir. Bircok organizasyon hali hazirda Microsoft ekosistemine sahipse Power BI daha pratik baslangic noktasidir. **Python ile interaktif gorsel nasil yapilir?** Plotly Express veya Vega-Altair hizli ve etkilesimli gorseller icin onerilen seceneklerdir. Daha karmasik interaktif panolar icin Dash (Plotly) veya Streamlit kullanilabilir. **Renk secimi neden bu kadar onemli?** Renk koru bireylerin en yaygin bozuklugu mavi-yesil karisikligidur; kirmizi-yesil kombinasyonu ozellikle sorunludur. ColorBrewer ve Viridis gibi renk paletleri bu kisitlama dikkate alinarak tasarlanmistir.
Causal Inference Nedir? Nedensellik Çıkarımı (Nedensellik Çıkarımı)
Nedensel cikarim (causal inference), iki degisken arasindaki iliskinin yalnizca korelasyon mu yoksa gercek nedensel baglanti mi oldugunu belirlemeye yonelik istatistiksel ve deneysel yontemler butunudur. "Korelasyon nedensellik degildir" ifadesi bu alanin temel motivasyonunu ozetler: buzullamanin azalmasi ile ayı saldırılarının artmasi korele olabilir; ancak ikisi arasinda nedensel bir baglanti aramak yanlis cikarima yol acar. Nedensel cikarimin altin standardi Randomize Kontrollu Deney (RCT)'dir. Bireyler veya birimler rastgele tedavi grubu (intervention alan) ve kontrol grubu (almayan) olarak atanir. Bu rastgele atama, gozlemlenmemis karıstırıcı degiskenlerin (confounders) gruplar arasinda dengeli dagilmasını saglar; boylece gozlemlenen fark yalnizca tedavi etkisine atfedilebilir. A/B testi, RCT'nin dijital ortamdaki en yaygin uygulamasidur. Gozlemsel verilerle calisirken, kontrollu deney mumkun olmadigi durumlarda, alternatif yontemlere basvurulur. Arasal degisken (instrumental variable) yontemi, tedaviyi etkiledigide ancak ciktiyi yalnizca tedavi uzerinden etkileyen bir "arac" degiskeni kullanarak nedensel etkiyi izole eder. Fark farklar (difference-in-differences), tedavi oncesi ve sonrasi trendlerin karsilastirilmasiyla etki hesaplanir. Regression Discontinuity Design (RDD), belirli bir esik degerinden once ve sonra tedavi alan gruplari karsilastirir. Judea Pearl'un yapisal nedensel model cercevesi, DAG (Yonlu Asiklik Graf) ile degiskenler arasindaki nedensel iliskileri gorsel ve matematiksel olarak temsil eder. do() operatoru, bir degiskene mudahale etmek ile yalnizca gozlemlemek arasindaki farki net biçimde ifade eder; bu nedensel merdivenin (korelasyon → mudahale → karsi-olgusal) matematiksel temeli saglar. **Sik Sorulan Sorular** **Neden korelasyon nedensellik degildir?** Korelasyon iki degiskenin birlikte hareket ettigini gosterir; ancak ucuncu bir degisken her ikisini de etkileyebilir (confounding) veya iliskinin yonu ters olabilir. Nedensel cikarim bu alternatifleri sistematik bicimde elemek icin tasarlanmistir. **Buyuk veri nedensellik sorununu cozer mi?** Hayir. Daha fazla gozlemsel veri toplanmasi korelasyonu kesinlestirip nedensellige donusturmez. Yalnizca daha buyuk bir verinin daha buyuk bir confounding problemini beraberinde getirmesi de mumkundur. **A/B testinin sinirliliklari nelerdir?** Spillover etkisi (kontrol grubunun tedavi grubundan etkilenmesi), kararlasma ogretisine (novelty effect) duyarlilik ve uzun vadeli etkileri yakalamada gucluk A/B testinin bilinen sinirliliklandirir. **Machine learning ile nedensel cikarim birlestirilebilir mi?** Evet. Double ML ve causal forests gibi yontemler ML'in tahmin gucunu nedensel cikarimin sertligiyle birlestirerek heterojen tedavi etkilerini bulmak icin kullanilmaktadir.
Class Imbalance (Sınıf Dengesizliği (Class Imbalance))
Sınıf Dengesizliği (Class Imbalance), bir sınıflandırma veri kümesinde farklı sınıflara ait örnek sayısının birbirine eşit olmaması durumudur. Gerçek dünya veri kümelerinin büyük çoğunluğu bu sorunu taşır: sahtekarlık tespitinde meşru işlemler sahte işlemlere göre yüzlerce kat fazla olabilirken, nadir hastalık teşhisinde hasta örnekleri sağlıklı bireylere oranla son derece azdır. Bir model dengesiz veriyle eğitildiğinde çoğunluk sınıfını tahmin etmeyi öğrenerek yüksek genel doğruluk (accuracy) elde eder; ancak gerçek hayatta kritik olan azınlık sınıfı için yetersiz kalır. Örneğin %99 sağlıklı ve %1 hasta içeren bir veri kümesinde model her zaman 'sağlıklı' tahmin yapsa da %99 doğruluk elde eder. Bu durum, doğruluğun yanlış bir başarı metriği olduğunu ortaya koyar; Precision, Recall, F1 ve AUC-ROC bu tür senaryolarda daha güvenilir metriklerdir. Dengesizlikle başa çıkmanın temel yöntemleri dört grupta toplanır. Veri düzeyinde yöntemler; azınlık sınıfını yapay olarak artıran aşırı örnekleme (oversampling) ve çoğunluk sınıfını azaltan alt örnekleme (undersampling) tekniklerini kapsar. SMOTE (Synthetic Minority Over-sampling Technique), 2002'de sunulmuş en yaygın aşırı örnekleme yöntemi olup mevcut azınlık örneklerini interpolasyon ile çoğaltır. Algoritma düzeyinde yöntemler ise hatalı sınıflandırılmış azınlık örneklerini daha ağır cezalandıran maliyet-duyarlı öğrenmeyi (cost-sensitive learning) kapsar. Sınıf ağırlıkları parametresi (class_weight='balanced' scikit-learn'de) otomatik dengeleme sunar. Ensemble yöntemleri arasında BalancedRandomForest ve EasyEnsemble öne çıkar. Son olarak eşik (threshold) ayarı, model tahmin olasılık eşiğini kaydırarak hassasiyet-geri çağırma dengesini yönetir. Türkiye'deki veri bilimi pratiğinde sahtekarlık tespiti, kredi risk modelleme ve hastalık erken tanı gibi yüksek değerli uygulamaların tamamı sınıf dengesizliği sorunuyla yüzleşmek zorundadır. Bu sorunun farkında olmadan geliştirilen modeller production ortamında ciddi hatalara yol açar.
Data Storytelling Nedir? Veri Hikayeciliği Rehberi (Veri Hikayeciliği)
Veri hikayeciligi (data storytelling), analitik bulgulari bir anlati yapisi, gorsel ve etkili iletisim becerileriyle birlestirerek hedef kitlenin anlayip harekete gecebilecegi anlamlı bir mesaja donusturme disiplinidir. Iyi bir analiz bile zayif anlatılmissa karar vericilere etkisiz kalir; veri hikayeciligi bu uçurumu kapatmak icin tasarlanmistir. Veri hikayeciligi uc temel unsurdan olusur: veri (kanit ve analitik bulgular), anlati (baglam, anlam ve eylem cagriis) ve gorsel (dikkat yonetimi ve netlik saglayi). Birbirini tamamlayan bu uc unsur bir araya geldiginde hedef kitleye hem zihinsel hem de duygusal duzeyinde ulas anlatim olusur. Anlati yapisinin onemi, gosterilmistir. Cok sayida arastirma, insanlar veri noktalari yerine hikayeleri cok daha iyi hazirlayip hatirlayip hatirlayip eylemlere donusturdukleri gostermistir. Iyi bir veri hikayesi genellikle bir baslangic durumunu (mevcut durum veya sorun), ortaya cikan bir bulguu veya gerilimi ve bir eylem onerisini ya da karar noktasini kapsayan bir yapi izler. Hedef kitle uyumu veri hikayeciliginmde kritik bir tasarim kararidur. C-suite veya yonetim kuruluna sunulan bir hikaye, teknik ayrinti yerine is gercegi ve onerisindeki taktik eylemlere odaklanmalidir. Veri bilimci bir kitleye ise metodoloji ve sinirliliklarin paylasilmasi guvenilirlik acisından zorunludur. Etik boyut veri hikayeciliginmde goz ardi edilemez. Selektif veri secimi, kasitli yaniltici gorsel veya baglam eksikligi, teknik olarak dogru ama anlamsal olarak yaniltici anlatimlar yaratabilir. Bu tur yaniltici pratikler kisa vadede ikna edici gorunebilir ama uzun vadede guvenilirliği yerle bir eder. **Sik Sorulan Sorular** **Veri gorsellestirme ile veri hikayeciligi arasindaki fark nedir?** Veri gorsellestirme veriyi gorsel bicimlere donusturmektedir. Veri hikayeciligi bunu bir anlati yapisina, baglama ve hedef kitle uyumuna yerlestirir; sonuc sadece gorsel degil, bilgilendirici bir iletisimdir. **Teknik bir kitleye veri hikayesi nasil anlatılır?** Metodoloji ve sinirliliklari acikca paylasin; bulgulari kanıtla destekleyin ve belirsizlik aralıklarini (confidence intervals) goruntuleyin. Teknik kitle ikna edici iddia isteyebilir ama metodolojik transparansi de bekler. **PowerPoint mi yoksa interaktif panel mi daha iyidir?** Tek seferlik bir karar icin sunulan bulgular PowerPoint veya diger dokuman biciminde sunulabilir. Surekli izleme ve kesfetme gerektiren bir hedef kitle icin interaktif pano daha uygundur. **Kucuk veri setleri ile veri hikayeciligi yapilabilir mi?** Evet. Tek bir guclu bulgu bile etkin bir hikaye olusturmaya yeterlidir. Kucuk veri setlerinde istatistiksel guven aralıklarini ve orneklem buyuklugu sinirliliklar acıkca belirtmek seffaflik acisından kritiktir.
Feature Importance (Özellik Önemi)
Feature importance (özellik önemi), makine öğrenmesi modellerinde her bir girdi özelliğinin tahmin çıktısı üzerindeki etkisini ölçen yorumlanabilirlik tekniğidir. On farklı değişken kullanan bir modelde, hangi değişkenlerin tahmini en çok şekillendirdiğini sayısal olarak ortaya koyar. Bu analiz üç temel yöntemle gerçekleştirilir. Gini/MDI (Mean Decrease Impurity) yöntemi, karar ağacı tabanlı modellerde her özelliğin düğümlerdeki safsızlık azalmasına katkısını hesaplar; hızlı ve yerleşik bir yaklaşım olmakla birlikte yüksek kardinaliteli özelliklere karşı önyargılı olabilir. Permutation Importance yöntemi, bir özelliğin değerlerini test verisi üzerinde rastgele karıştırır ve modelin doğruluğundaki düşüşü ölçer; herhangi bir modelde çalışan bağımsız bir tekniktir. SHAP (SHapley Additive exPlanations) değerleri ise kooperatif oyun teorisinden türetilmiş matematiksel bir çerçevedir; her tahmin için her özelliğin bireysel katkısını tutarlı ve adil biçimde hesaplar ve günümüzde endüstri standardı kabul edilmektedir. Feature importance analizinin pratik yararları şunlardır: gereksiz özellikleri eleme yoluyla boyut azaltma, modelin iç paydaşlara anlaşılır biçimde açıklanması, veri toplama maliyetlerinin düşürülmesi ve modeldeki olası önyargı kaynaklarının tespiti. Özellikle finans sektöründe kredi kararları, sağlık alanında tanı modelleri ve hukuki süreçlerde yapay zeka kararlarını açıklamak zorunlu hale gelmiştir; bu nedenle feature importance, açıklanabilir yapay zeka (XAI) ekosisteminin temel taşlarından birini oluşturmaktadır. Araç desteği açısından Scikit-learn, XGBoost ve LightGBM gibi kütüphaneler yerleşik importance hesapları sunarken, SHAP ve LIME kütüphaneleri herhangi bir kara kutu model için yorumlanabilir açıklamalar üretir. Random forest ve gradient boosting gibi topluluk yöntemleri, özellik önemini ortalama doğruluk kaybı üzerinden doğal biçimde hesaplar.
Keşifsel Veri Analizi (EDA) (EDA)
Keşifsel Veri Analizi (Exploratory Data Analysis, EDA), ham veriden anlam çıkarmanın ilk ve en kritik adımıdır. John Tukey'in 1977'de kaleme aldığı aynı adlı eseriyle sistematik bir disiplin hâline gelen EDA, veri bilimcilerin bir veri kümesini modellemeden veya hipotez testine sokmadan önce derinlemesine incelediği keşifsel süreçtir. EDA'nın temel amacı şu soruları yanıtlamaktır: Veri nasıl dağılmış? Hangi değişkenler birbiriyle ilişkili? Aykırı değerler (outlier) var mı ve bunlar gerçek mi yoksa veri giriş hatası mı? Eksik değerler (missing values) hangi örüntüde oluşmuş? Hangi özellikler hedef değişkeni en çok etkiliyor? Bu soruları yanıtlamak için EDA iki temel yöntem sınıfına başvurur. Nicel yöntemler arasında merkezi eğilim ölçüleri (ortalama, medyan, mod), yayılım ölçüleri (standart sapma, varyans, çeyrekler arası aralık), çarpıklık ve basıklık katsayıları yer alır. Nitel/görsel yöntemler ise histogram, kutu grafiği (box plot), yoğunluk grafiği, dağılım matrisi (pair plot) ve korelasyon ısı haritası gibi araçlarla veriyi sezgisel biçimde anlaşılır kılar. Modern veri bilimi ekosisteminde EDA, Python'da Pandas, NumPy, Matplotlib, Seaborn ve Plotly kütüphaneleriyle; R'de ggplot2 ve dplyr ile yürütülür. Pandas Profiling ve ydata-profiling gibi otomatik EDA araçları tek bir komutla kapsamlı raporlar üretir. AutoEDA yaklaşımları büyük veri kümelerinde zaman tasarrufu sağlasa da deneyimli bir veri bilimcinin yorumunun yerini alamaz. EDA, özellik mühendisliği (feature engineering), veri temizleme ve model seçimi kararları üzerinde doğrudan etkilidir. Kötü anlaşılmış veriyle kurulan modeller ne kadar sofistike olursa olsun güvenilmez sonuçlar üretir; bu nedenle EDA 'çöp girer, çöp çıkar' ilkesinin pratikte uygulandığı kalkan katmanıdır.
Zaman Serisi Analizi (Zaman Serisi Analizi)
Zaman serisi analizi, belirli zaman aralıklarıyla kaydedilen ardışık veri noktalarını (hisse fiyatları, hava sıcaklığı, satış rakamları, IoT sensör verileri vb.) inceleyerek trend, mevsimsellik ve döngüsel kalıpları ortaya çıkaran veri bilimi tekniğidir. Klasik istatistiksel yaklaşımlar olan ARIMA ve üstel düzleştirmeden (exponential smoothing), LSTM ağları ve Transformer tabanlı PatchTST, Temporal Fusion Transformer gibi derin öğrenme modellerine kadar geniş bir yöntem yelpazesini kapsar. Veriyi işlemeden önce durağanlık (stationarity) sağlamak için fark alma (differencing) işlemi uygulanır; Augmented Dickey-Fuller (ADF) testiyle durağanlık doğrulanır. Tahmin doğruluğu MAE, RMSE ve MAPE metrikleriyle ölçülür. Fintech, enerji yönetimi, tedarik zinciri, sağlık ve endüstriyel IoT alanlarında vazgeçilmez bir analiz yöntemidir.