tag İstatistik
Bu sayfada İstatistik etiketi ile işaretlenmiş 14 yapay zeka kavramını bulabilirsiniz.
A/B testi, iki farklı sürümü (A kontrol, B deney) kullanıcılara rastgele göstererek hangisinin daha iyi performans gösterdiğini belirleyen istatistiksel bir deney yöntemidir. Makine öğrenmesinde model değerlendirmesinin temel taşı olan A/B testi; web uygulamalarından öneri sistemlerine, dil modellerinden görüntü sınıflandırıcılara kadar geniş bir alanda kullanılır. Testin çalışma mantığı şu adımlara dayanır: Kullanıcılar rastgele iki gruba ayrılır. A grubu mevcut sistemi (kontrol), B grubu yeni modeli veya özelliği (deney) deneyimler. Belirli bir süre sonra tıklama oranı, dönüşüm, RMSE veya doğruluk gibi metrikler karşılaştırılır; istatistiksel anlamlılık p-değeri ve güven aralığı ile ölçülür. Makine öğrenmesi ekipleri A/B testini şu senaryolarda kullanır: Yeni model sürümünü üretim ortamında doğrulama, hiperparametre değişikliklerinin gerçek etkisini ölçme, farklı öneri algoritmalarını kullanıcı katılımıyla karşılaştırma ve özellik mühendisliği değişikliklerinin işletme metriklerine katkısını ölçme. Sık karşılaşılan tuzaklar arasında erken sonuç okuma (peeping problem), çoklu karşılaştırma yanılgısı (Bonferroni düzeltmesi gerektirir), yeterli örneklem büyüklüğü hesaplamamak ve kullanıcı segmentasyonu farklarını göz ardı etmek sayılabilir. Sıralı A/B testi (sequential testing) ise bu sorunları azaltmak için erken durdurma kuralları kullanır. Kanary dağıtımı (canary deployment) ve gölge modu (shadow mode) A/B testinin üretim ortamında uygulandığı ileri düzey varyantlardır. Kanary dağıtımında yeni model yalnızca küçük bir trafik dilimine sunularak riskler sınırlandırılır; gölge modunda ise yeni model gerçek trafiği paralel olarak işler ancak kullanıcıya hiçbir zaman yanıt vermez. Türkiye'de büyük e-ticaret ve fintech platformları üretim ML sistemlerini bu yöntemlerle doğrulamaktadır. Yaygın araçlar: MLflow Experiments, Amazon SageMaker Experiments, Optimizely ve açık kaynak Wasabi. Interleaved (karışık) A/B testi ise öneri ve arama sistemleri için özel olarak geliştirilmiş bir varyantdır: A ve B sistemlerinin sonuçları tek bir listeye interleave edilerek kullanıcı tıklamaları üzerinden hangisinin daha iyi sıralama yaptığı çıkarılır. Bu yöntem, klasik A/B testi karşılaştırmasına göre çok daha hızlı istatistiksel güç elde etmeyi sağlar.
A/B Testi (A/B Testi)
A/B testi, iki farklı sürümü (A kontrol, B deney) kullanıcılara rastgele göstererek hangisinin daha iyi performans gösterdiğini belirleyen istatistiksel bir deney yöntemidir. Makine öğrenmesinde model değerlendirmesinin temel taşı olan A/B testi; web uygulamalarından öneri sistemlerine, dil modellerinden görüntü sınıflandırıcılara kadar geniş bir alanda kullanılır. Testin çalışma mantığı şu adımlara dayanır: Kullanıcılar rastgele iki gruba ayrılır. A grubu mevcut sistemi (kontrol), B grubu yeni modeli veya özelliği (deney) deneyimler. Belirli bir süre sonra tıklama oranı, dönüşüm, RMSE veya doğruluk gibi metrikler karşılaştırılır; istatistiksel anlamlılık p-değeri ve güven aralığı ile ölçülür. Makine öğrenmesi ekipleri A/B testini şu senaryolarda kullanır: Yeni model sürümünü üretim ortamında doğrulama, hiperparametre değişikliklerinin gerçek etkisini ölçme, farklı öneri algoritmalarını kullanıcı katılımıyla karşılaştırma ve özellik mühendisliği değişikliklerinin işletme metriklerine katkısını ölçme. Sık karşılaşılan tuzaklar arasında erken sonuç okuma (peeping problem), çoklu karşılaştırma yanılgısı (Bonferroni düzeltmesi gerektirir), yeterli örneklem büyüklüğü hesaplamamak ve kullanıcı segmentasyonu farklarını göz ardı etmek sayılabilir. Sıralı A/B testi (sequential testing) ise bu sorunları azaltmak için erken durdurma kuralları kullanır. Kanary dağıtımı (canary deployment) ve gölge modu (shadow mode) A/B testinin üretim ortamında uygulandığı ileri düzey varyantlardır. Kanary dağıtımında yeni model yalnızca küçük bir trafik dilimine sunularak riskler sınırlandırılır; gölge modunda ise yeni model gerçek trafiği paralel olarak işler ancak kullanıcıya hiçbir zaman yanıt vermez. Türkiye'de büyük e-ticaret ve fintech platformları üretim ML sistemlerini bu yöntemlerle doğrulamaktadır. Yaygın araçlar: MLflow Experiments, Amazon SageMaker Experiments, Optimizely ve açık kaynak Wasabi. Interleaved (karışık) A/B testi ise öneri ve arama sistemleri için özel olarak geliştirilmiş bir varyantdır: A ve B sistemlerinin sonuçları tek bir listeye interleave edilerek kullanıcı tıklamaları üzerinden hangisinin daha iyi sıralama yaptığı çıkarılır. Bu yöntem, klasik A/B testi karşılaştırmasına göre çok daha hızlı istatistiksel güç elde etmeyi sağlar.
Concept Drift (Kavram Kayması)
Kavram kayması (concept drift), makine öğrenmesi modellerinin eğitiminde kullanılan verinin istatistiksel dağılımının zamanla değişmesi ve bunun sonucunda modelin performansının düşmesi olgusudur. Model yayına alındıktan sonra gerçek dünya verisi sürekli evrilirken model, eğitimde öğrendiği eski kalıpları uygulamaya devam eder; bu uyumsuzluk tahmin hatalarının artmasına yol açar. Kavram kayması dört temel türde gözlemlenir: ani kayma (abrupt drift), ekonomik kriz veya yasal değişiklik gibi anlık olaylarda dağılımın topluca değişmesidir; kademeli kayma (gradual drift), uzun sürede yavaş yavaş meydana gelir; tekrarlayan kayma (recurring drift), mevsimsellik gibi periyodik değişimler içerir; kör nokta kayması (blind spot drift) ise eğitim verisinde hiç görünmemiş yeni veri türlerinin üretimde ortaya çıkmasıdır. Gerçek dünya senaryolarında bu türler iç içe geçebilir; bir e-ticaret platformu hem mevsimsel (recurring) hem de uzun dönemli tüketici tercihi değişimlerine (gradual) maruz kalabilir. Drift tespitinde istatistiksel testler (Kolmogorov-Smirnov, Chi-square), özellik dağılımı izleme (Population Stability Index — PSI), referans pencere ile kayan pencere karşılaştırma ve model performans metriklerinin takibi (doğruluk, AUC, RMSE) en yaygın yöntemlerdir. Evidently AI, River, NannyML ve Alibi-Detect bu analizler için açık kaynaklı araçlar sunar. Yanıt stratejileri arasında periyodik yeniden eğitim (scheduled retraining), drift algılandığında tetiklenen otomatik güncelleme (triggered retraining), her yeni örnekle güncellenen online öğrenme ve farklı döneme ait modelleri birleştiren ensemble yaklaşımları öne çıkar. MLOps altyapısı bu stratejileri drift → uyarı → yeniden eğitim döngüsüyle otomatik biçimde işletir. Kredi riski değerlendirmesinden öneri sistemlerine, doğal dil işlemeden görüntü tanımaya kadar üretimdeki tüm ML modelleri kavram kaymasına karşı savunmasızdır. Pandemi döneminde tüketici harcama kalıpları dramatik biçimde değişmiş, bu durum perakende öneri sistemlerinde ani doğruluk düşüşlerine yol açmıştır. Model izleme ve zamanında yeniden eğitim, güvenilir yapay zeka sistemlerinin temel bileşenleridir.
Data Mining (Veri Madenciliği)
Veri madenciliği (data mining), büyük veri kümelerinde gizli kalıpları, anlamlı ilişkileri ve öngörülebilir örüntüleri otomatik olarak keşfetme sürecidir. İstatistik, makine öğrenmesi ve veritabanı yönetiminin kesişiminde konumlanan bu alan; ham verinin işlenmesiyle iş kararlarına zemin hazırlayan eyleme dönüştürülebilir bilgiye ulaşmayı hedefler. Veri madenciliği süreci tipik olarak CRISP-DM (Cross-Industry Standard Process for Data Mining) çerçevesiyle yürütülür. Bu altı aşamalı model; iş anlayışı, veri anlayışı, veri hazırlama, modelleme, değerlendirme ve dağıtım adımlarını kapsar. Her aşama birbirini besler ve yinelemeli bir döngü oluşturur; gerçek projelerde modelleme aşamasında elde edilen bulgular çoğunlukla veri hazırlama adımına geri dönüşü zorunlu kılar. Temel veri madenciliği teknikleri şunlardır: sınıflandırma (classification) — yeni örnekleri bilinen kategorilere atama; kümeleme (clustering) — etiket olmaksızın benzer örnekleri gruplama; birliktelik kuralı öğrenme (association rule learning) — birlikte gözüklenen ögeleri keşfetme; anomali tespiti (anomaly detection) — aykırı değerleri bulma; regresyon — sayısal değerleri tahmin etme. Birliktelik kuralı öğrenme, perakende sektöründe sepet analizi (market basket analysis) olarak bilinir. Apriori ve FP-Growth algoritmaları bu alanda en yaygın kullanılan yöntemlerdir. Destek (support) ve güven (confidence) metrikleri, kuralların istatistiksel anlamlılığını ölçer; yüksek kaldıraç (lift) değeri ise bir kuralın tesadüften ibaret olmadığını gösterir. Veri madenciliği; perakende (ürün önerisi, çapraz satış), finans (kredi risk skoru, sahtecilik tespiti), sağlık (tanı desteği, hasta gruplama), telekomunikasyon (churn tahmini) ve e-ticaret (kişiselleştirme motorları) gibi alanlarda kritik iş değeri üretir. Veri madenciliği ile veri bilimi arasındaki fark ise pratik bağlamda önem taşır: veri madenciliği daha dar kapsamlı, kalıp keşfine odaklı klasik bir disiplindir; veri bilimi ise istatistik, yazılım mühendisliği ve alan uzmanlığını bir araya getiren daha geniş bir alandır. Her ikisi de Python ekosistemi (scikit-learn, pandas) ve R (arules, caret) ile uygulanabilir.
Lojistik Regresyon (Lojistik Regresyon)
Lojistik regresyon, sınıflandırma problemleri için kullanılan temel bir denetimli makine öğrenimi algoritmasıdır. İsmindeki "regresyon" sözcüğüne karşın algoritma, sürekli değer tahmini değil; olayların gerçekleşme olasılığını tahmin etmek için tasarlanmıştır. Temel matematiksel yapısı, doğrusal regresyon çıktısını [0, 1] aralığına sıkıştıran sigmoid (lojistik) fonksiyonuna dayanır: σ(z) = 1 / (1 + e^−z). Algoritma, istatistikçi David Cox tarafından 1958 yılında literatüre kazandırılmıştır. Girdi özelliklerinin ağırlıklı toplamını hesapladıktan sonra sigmoid fonksiyonunu uygular; sonuç 0,5'in üzerindeyse pozitif sınıf, altındaysa negatif sınıf olarak etiketlenir. Bu karar eşiği kullanım senaryosuna göre ayarlanabilir; tıbbi tanı sistemlerinde yanlış negatif oranını düşürmek için eşik değeri azaltılır. Eğitim sürecinde kayıp fonksiyonu olarak ikili çapraz entropi (log-loss) minimize edilir. Bu işlem genellikle stokastik gradyan inişi veya sınırlı bellek BFGS (L-BFGS) optimizasyon yöntemiyle gerçekleştirilir. L1 düzenlileştirme (Lasso) gereksiz özellikleri sıfıra çekerek özellik seçimi yaparken, L2 (Ridge) ağırlıkları küçük tutarak aşırı öğrenmeyi önler; ElasticNet her iki yaklaşımı dengeli biçimde birleştirir. Eğitim öncesinde özniteliklerin StandardScaler ile normalleştirilmesi yakınsama hızını önemli ölçüde artırır. Lojistik regresyon, yapay sinir ağlarının temel birimi olan tek nöronun davranışıyla doğrudan ilişkilidir: sigmoid aktivasyon fonksiyonu kullanan yalnızca bir nörondan oluşan ağ, matematiksel olarak bir lojistik regresyon modelidir. Bu ilişki, çok katmanlı derin öğrenme modellerinin lojistik regresyon üzerine inşa edildiğini anlamamızı kolaylaştırır. Çok sınıflı problemler için iki temel yaklaşım mevcuttur: OvR (One-vs-Rest) stratejisi her sınıf için bağımsız bir ikili sınıflandırıcı eğitir; multinomial lojistik regresyon (softmax regresyon) ise tüm sınıfları aynı anda modeler ve olasılıkların toplamını bire zorlar. Çok sınıflı metinsel görevlerde multinomial yaklaşım genellikle daha tutarlı sonuçlar üretir. Lojistik regresyon; e-posta spam tespiti, kredi riski değerlendirmesi, tıbbi tanı, metin sınıflandırma ve dijital pazarlamada dönüşüm oranı tahmini gibi geniş bir uygulama yelpazesine sahiptir. Yorumlanabilir yapısı ve hesaplanabilir katsayı güven aralıkları sayesinde, kararların açıklanması gereken finans ve sağlık sektörlerinde derin öğrenme modellerine tercih edilir.
p-value (p Değeri)
p değeri (İng. p-value), istatistiksel hipotez testlerinin temel ölçütüdür. Sıfır hipotezinin (H₀) gerçek olduğu varsayımı altında, yapılan deneyde elde edilen sonucun ya da daha aykırı bir sonucun gözlemlenme olasılığını ifade eder. 0 ile 1 arasında değer alır; küçük bir p değeri, elde edilen bulguların sıfır hipoteziyle zayıf biçimde örtüştüğünü ve bu hipotezi reddetmek için güçlü istatistiksel kanıt bulunduğunu gösterir. Geleneksel istatistik araştırmalarında en yaygın anlamlılık eşiği α = 0,05'tir. p değeri bu eşiğin altına düştüğünde sonuç "istatistiksel olarak anlamlı" kabul edilir ve sıfır hipotezi reddedilir. Tıp ve ilaç araştırmalarında α = 0,01 ya da α = 0,001 gibi çok daha katı eşikler benimsenmektedir. Parçacık fiziğinde ise 5 sigma kriteri (p < 3×10⁻⁷) standart kabul görmektedir. Bu eşikler evrensel doğa yasaları değil, alanın risk toleransına göre uzlaşıyla belirlenmiş değerlerdir. Veri biliminde p değeri; A/B testlerinde grup farklılığının rastlantısal olup olmadığının sınanmasında, regresyon modellerinde bağımsız değişken katsayılarının anlamlılığının değerlendirilmesinde ve özellik seçiminde (feature selection) sıklıkla kullanılır. p değerinin doğru anlaşılması için kritik bir noktayı vurgulamak gerekmektedir: p değeri, sıfır hipotezinin doğru olma olasılığı değildir. Yalnızca mevcut verilerin sıfır hipoteziyle ne ölçüde uyumsuz olduğunu gösterir ve alternatif hipotezin kesinliği hakkında doğrudan bir yargı sunmaz. p değeri tek başına yeterli bir ölçüt değildir; büyük örneklemlerde pratik açıdan önemsiz küçük farklar bile anlamlılık eşiğini kolaylıkla aşabilir. Modern veri bilimi pratiğinde Cohen's d gibi etki büyüklüğü ölçütleri, güven aralıkları ve Bayes faktörü gibi tamamlayıcı araçlarla birlikte yorumlanması önerilmektedir. 2016'da Amerikan İstatistik Derneği (ASA), p değerinin yanlış ve tek başına kullanımına dair resmi bir uyarı yayımlamış; çoklu test sorunlarında Bonferroni düzeltmesi ve FDR (False Discovery Rate) kontrolü gibi yöntemlerin benimsenmesini tavsiye etmiştir.
PCA (Principal Component Analysis) (Temel Bileşen Analizi)
Temel Bileşen Analizi (Principal Component Analysis — PCA), yüksek boyutlu veri kümelerindeki boyut sayısını azaltırken verideki varyansı (bilgiyi) mümkün olduğunca korumayı hedefleyen doğrusal bir boyut indirgeme tekniğidir. 1901'de Karl Pearson tarafından önerilen bu yöntem, makine öğrenmesi, veri görselleştirme ve özellik mühendisliğinin temel araçlarından biri haline gelmiştir. PCA'nın matematiksel temeli kovaryans matrisinin özvektörlerine dayanır. Algoritma önce verinin ortalama merkezlemesini yapar, ardından kovaryans matrisini hesaplar ve bu matrisin özvektörlerini (temel bileşenleri) bulur. Her özvektöre karşılık gelen özdeğer, o bileşenin toplam varyansın ne kadarını açıkladığını ifade eder. Veriler, en yüksek özdeğerlere sahip k özvektörden oluşan yeni bir koordinat sistemine yansıtılır ve bu projeksiyon işlemiyle boyut sayısı dramatik biçimde azalır. Pratikte PCA birkaç kritik amaca hizmet eder: boyutsallık laneti sorununu hafifletmek, görselleştirme için yüksek boyutlu veriyi 2 veya 3 boyuta indirmek, gürültülü ve tekrarlayan özellikleri elemek, model eğitim süresini kısaltmak ve aşırı öğrenme riskini azaltmak. Örneğin 1000 özelliğe sahip bir tıbbi veri kümesinin ilk 50 temel bileşeni, toplam varyansın büyük çoğunluğunu açıklayabilir ve model performansını olumsuz etkilemeden hesaplama maliyetini önemli ölçüde düşürebilir. PCA'nın sınırlamaları arasında yalnızca doğrusal ilişkileri yakalayabilmesi öne çıkar; doğrusal olmayan yapılar için Kernel PCA, t-SNE veya UMAP gibi yöntemler tercih edilir. Ayrıca elde edilen temel bileşenler orijinal özelliklerle birebir yorumlanamaz; bu durum bazı alanlarda açıklanabilirlik sorunlarına yol açabilir. Veri ölçeklendirmesi (standardizasyon) PCA öncesinde zorunlu bir ön işleme adımıdır; aksi takdirde büyük ölçekli özellikler küçük ölçeklileri baskılayarak bileşenleri çarpıtır. Görüntü sıkıştırma, yüz tanıma (eigenfaces yöntemi), genomik analiz, doğal dil işlemede gizli anlam analizi (LSA) ve finans portföy analizi PCA'nın en yaygın uygulama alanları arasında yer almaktadır. Söz konusu çok yönlülük, PCA'yı veri bilimcilerinin araç kutusunun vazgeçilmez bir parçası yapmaktadır.
Predictive Analytics (Öngörüsel Analitik)
Tahmine dayalı analitik (predictive analytics), istatistiksel modeller, makine öğrenmesi algoritmaları ve büyük veri işleme teknolojilerini bir araya getirerek gelecekteki olayları, davranışları ve eğilimleri tahmin etmeyi amaçlayan bir veri bilimi disiplinidir. Geçmiş verilerdeki örüntülerden öğrenen bu yaklaşım; lojistik regresyon, karar ağaçları, rastgele ormanlar, gradient boosting ve derin sinir ağları gibi geniş bir algoritma yelpazesini kapsar. İşletmeler, sağlık kurumları, finans sektörü ve kamu kuruluşları bu teknolojiyi stratejik kararlar, risk yönetimi ve kaynak optimizasyonu için aktif biçimde kullanmaktadır. Tahmine dayalı modellerin başarısı büyük ölçüde veri kalitesine ve özellik mühendisliğine bağlıdır. Ham verinin temizlenmesi, eksik değerlerin doldurulması ve anlamlı özellikler türetilmesi süreçleri modelin doğruluğunu doğrudan etkiler. Zaman serisi verileri için tasarlanmış ARIMA, Prophet ve LSTM modelleri tahmine dayalı analitiğin önemli bileşenleri arasında yer alır. Özellik seçimi aşamasında korelasyon analizleri, permütasyon önemi ve SHAP değerleri gibi yorumlanabilirlik araçları kullanılarak modelin hangi değişkenlere dayandığı anlaşılır kılınır. Eğitim, doğrulama ve test kümelerine kronolojik bölünme, zaman bağımlı verilerde model güvenilirliğinin temel güvencesidir. Model geliştirme tamamlandıktan sonra üretim ortamına alınan modellerin sürekli izlenmesi gerekir. Veri dağılımındaki kaymalar ve model bozunması erken tespit edilmezse tahmin kalitesi hızla düşebilir. MLOps pratikleri bu operasyonel süreci standartlaştırarak modellerin uzun vadeli güvenilirliğini korur. A/B testi ve şampiyonluk-şampiyoncu karşılaştırmaları yeni modellerin gerçek dünya performansını ölçmede başvurulan yöntemlerdir. Açıklanabilir yapay zeka yaklaşımları iş paydaşlarının model çıktılarına güvenmesini kolaylaştırır; düzenleyici uyumluluk gereksinimlerini karşılamada da kritik işlev görür. Veri gizliliği, adil modelleme ve algoritmik önyargının giderilmesi modern projeler için vazgeçilmez boyutlardır. Regresyon tabanlı yöntemlerin yanı sıra zaman serisi modelleri ve doğal dil işleme teknikleri de tahmine dayalı analitik araç kutusunun ayrılmaz parçasını oluşturmaktadır.
Survival Analysis (Hayatta Kalma Analizi)
Hayatta kalma analizi, bir olayın gerçekleşmesine kadar geçen süreyi modellemek ve tahmin etmek için geliştirilmiş istatistiksel yöntemler bütünüdür. Tıp araştırmalarında kanser hastalarının remisyon süresi, mühendislikte ekipman ömrü ve iş analitiğinde müşteri kaybı (churn) gibi senaryolarda temel başvuru kaynağıdır. Bu analizin en kritik zorluğu sansürleme (censoring) olgusudur: Çalışma süresi sona erdiğinde bazı katılımcılar için ilgilenilen olay henüz gerçekleşmemiş olabilir. Sağ-sansürlü (right-censored) veriler, bilinen son gözlem tarihine kadar olayın yaşanmadığını ifade eder; sansürlemeyi göz ardı etmek, hayatta kalma olasılığını ciddi biçimde olduğundan küçük tahmin etmeye yol açar. Kaplan-Meier (KM) tahmincisi, hayatta kalma olasılığını her olay anında adım adım güncelleyen parametrik-olmayan bir yöntemdir. Klinisyenler ve araştırmacılar tarafından standart görselleştirme aracı olarak kullanılır; iki grup arasındaki fark ise log-rank testiyle değerlendirilir. Cox Orantılı Tehlike (Cox PH) modeli, yaş, dozaj veya risk skoru gibi birden fazla kovaryantın tehlike oranına etkisini eş zamanlı olarak modelleyen yarı-parametrik bir regresyon yöntemidir. Taban tehlike fonksiyonunu tahmin etmeden çalışması, esnekliğinin temel kaynağıdır. Her bir katsayının exp(β) dönüşümü tehlike oranını (HR) verir; HR > 1 ise ilgili faktör olayı hızlandırır. Hızlandırılmış Arıza Süresi (AFT) modelleri ise Weibull veya lognormal gibi parametrik dağılımları temel alarak bekleme süresini doğrudan çıktı olarak verir; elde edilen hızlandırma faktörü yorumlamayı basitleştirir. Derin öğrenme çağında Random Survival Forest, DeepHit ve Pycox gibi makine öğrenmesi yöntemleri doğrusal olmayan etkileşimleri yakalama konusunda güçlü seçenekler sunar. Python ekosisteminde lifelines ve scikit-survival kütüphaneleri, standart scikit-learn API'siyle uyumlu araç zincirleri oluşturur. Sağlık bilişimi, sigorta aktüerliği, bankacılık, SaaS abonelik kaybı ve ürün güvenilirliği gibi alanlarda hayatta kalma analizi, kritik kararların temel analitik altyapısını oluşturmaktadır. Rekabetçi riskler (competing risks) senaryosunda —örneğin bir hastanın hem hastalıktan hem de başka nedenlerden ölüm riski taşıdığı durumlarda— Fine-Gray modeli ayrı olay türlerini birlikte ele alır.
Time Series Forecasting (Zaman Serisi Tahmini)
Zaman serisi tahmini (time series forecasting), kronolojik sırada düzenlenmiş geçmiş veri noktalarını kullanarak gelecekteki değerleri tahmin etme sürecidir. Finans, enerji, sağlık, perakende ve meteoroloji gibi pek çok alanda kararları yönlendiren temel analitik tekniklerden biridir. Zaman serileri dört ana bileşenin üst üste eklenmesinden oluşur: trend (uzun vadeli yöneliş), mevsimsellik (tekrarlayan dönemsel desen), çevrimsellik (ekonomik dalga gibi düzensiz dalgalanmalar) ve gürültü (rastlantısal varyasyon). Bu bileşenler ayrıştırıldıktan sonra her biri ayrı modellenerek tahmin birleştirilir. Klasik istatistiksel yöntemler arasında ARIMA (AutoRegressive Integrated Moving Average), SARIMA (mevsimsel uzantısı) ve Holt-Winters Exponential Smoothing ön sıraya çıkar. Bu modeller doğrusal ilişkilerde çok iyi çalışır; ancak karmaşık doğrusal olmayan dinamikler için yetersiz kalabilir. Makine öğrenimi yaklaşımları, özelliklerin elle tasarlanması (feature engineering) üzerine kuruludur: gecikme değerleri (lag features), hareketli ortalamalar ve mevsimsel göstergeler kullanılır. XGBoost ve LightGBM zaman serisi tahmininde popüler tercih olmuştur. Derin öğrenme yöntemlerinde LSTM ve GRU, sırasal bağımlılıkları yakalamak için tasarlanmıştır; Transformer tabanlı modeller ise uzun dönem bağımlılık ilişkilerini daha etkin biçimde ele alabilmektedir. Facebook (Meta) tarafından geliştirilen Prophet, iş günü, tatil ve mevsimsellik etkilerini kolayca modellemeye izin veren açık kaynak bir kütüphanedir. Amazon Chronos, Google TimesFM ve Nixtla'nın TimeGPT'si ise büyük ölçekte ön eğitilmiş zaman serisi temel modelleri (foundation model) olup sıfır atış veya az atış öğrenme ile kullanılabilmektedir. Hata metrikleri seçimi kritiktir: MAE (Mean Absolute Error) aykırı değerlere dayanıklıdır; RMSE büyük hataları cezalandırır; MAPE yüzdeli yorum sunar ancak sıfıra yakın gerçek değerlerde sorun çıkarır. Probabilistik tahmin yöntemleri, güven aralıkları üreterek belirsizliği sayısal olarak ifade eder ve karar alma süreçlerini zenginleştirir. Çapraz doğrulama için zaman damgasına saygılı walk-forward validation kullanmak zorunludur; standart k-fold yöntemi veri sızıntısına yol açar.
Hypothesis Testing (Hipotez Testi)
Hipotez testi, istatistik ve veri biliminin temel yöntemlerinden biri olup belirli bir iddianın mevcut verilerle desteklenip desteklenmediğini nesnel biçimde sınamak için kullanılır. Her hipotez testinde araştırmacı iki rekabet eden önerme tanımlar: çürütülene kadar doğru kabul edilen sıfır hipotezi (H₀) ve ispatlanmaya çalışılan alternatif hipotez (H₁). Test süreci dört temel adımdan oluşur: hipotezlerin kurulması, uygun test istatistiğinin seçilmesi, p-değerinin hesaplanması ve anlamlılık eşiğiyle (α) karşılaştırılması. p-değeri, H₀ doğru olsaydı gözlemlenen ya da daha uç bir sonucun elde edilme olasılığını temsil eder. p < α (genellikle 0,05) koşulunda H₀ reddedilir ve sonuç istatistiksel olarak anlamlı kabul edilir. Tek kuyruklu (yönlü) ve çift kuyruklu (yönsüz) testler ise alternatif hipotezin yönüne bağlı olarak seçilir; yön belirtiliyorsa tek kuyruklu test daha güçlüdür. Veri biliminde yaygın kullanılan testler şunlardır: t-testi (iki grubun ortalamalarını karşılaştırmak için), ki-kare testi (kategorik değişkenler için), ANOVA (ikiden fazla grup arasında) ve Mann-Whitney U (parametrik olmayan koşullarda). A/B testi gibi çevrimiçi deneyler de hipotez testinin doğrudan uygulamasıdır: kontrol ve deney grupları arasındaki farkın şansa mı yoksa gerçek bir etkiye mi bağlı olduğu belirlenir. İki kritik hata türü mevcuttur: H₀ gerçekte doğruyken reddedilen Tip I hata (yanlış pozitif, α) ve H₀ gerçekte yanlışken reddedilemeyen Tip II hata (yanlış negatif, β). Testin gücü (1 − β) yeterli örneklem büyüklüğüyle artırılır. Makine öğrenmesinde hipotez testi model karşılaştırma, özellik seçimi ve A/B testi alanlarında kritik rol oynar. 2025-2026 döneminde p-değerinin tek başına yetersiz kaldığı eleştirileri yaygınlaşmıştır; etki büyüklüğü (Cohen's d, eta²) ve permütasyon tabanlı testler standart raporlamaya eklenmiştir. Çoklu karşılaştırma durumunda Bonferroni düzeltmesi veya Benjamini-Hochberg FDR yöntemi yanlış keşif oranını kontrol altına alır.
Keşifsel Veri Analizi (EDA) (EDA)
Keşifsel Veri Analizi (Exploratory Data Analysis, EDA), ham veriden anlam çıkarmanın ilk ve en kritik adımıdır. John Tukey'in 1977'de kaleme aldığı aynı adlı eseriyle sistematik bir disiplin hâline gelen EDA, veri bilimcilerin bir veri kümesini modellemeden veya hipotez testine sokmadan önce derinlemesine incelediği keşifsel süreçtir. EDA'nın temel amacı şu soruları yanıtlamaktır: Veri nasıl dağılmış? Hangi değişkenler birbiriyle ilişkili? Aykırı değerler (outlier) var mı ve bunlar gerçek mi yoksa veri giriş hatası mı? Eksik değerler (missing values) hangi örüntüde oluşmuş? Hangi özellikler hedef değişkeni en çok etkiliyor? Bu soruları yanıtlamak için EDA iki temel yöntem sınıfına başvurur. Nicel yöntemler arasında merkezi eğilim ölçüleri (ortalama, medyan, mod), yayılım ölçüleri (standart sapma, varyans, çeyrekler arası aralık), çarpıklık ve basıklık katsayıları yer alır. Nitel/görsel yöntemler ise histogram, kutu grafiği (box plot), yoğunluk grafiği, dağılım matrisi (pair plot) ve korelasyon ısı haritası gibi araçlarla veriyi sezgisel biçimde anlaşılır kılar. Modern veri bilimi ekosisteminde EDA, Python'da Pandas, NumPy, Matplotlib, Seaborn ve Plotly kütüphaneleriyle; R'de ggplot2 ve dplyr ile yürütülür. Pandas Profiling ve ydata-profiling gibi otomatik EDA araçları tek bir komutla kapsamlı raporlar üretir. AutoEDA yaklaşımları büyük veri kümelerinde zaman tasarrufu sağlasa da deneyimli bir veri bilimcinin yorumunun yerini alamaz. EDA sürecinde izlenen tipik adımlar şöyle sıralanabilir: önce veri yapısı incelenir (shape, dtypes, head); ardından betimleyici istatistikler hesaplanır (describe); eksik değer örüntüleri ve oranları belirlenir; tek değişkenli dağılımlar görselleştirilir; iki değişkenli ilişkiler scatter plot ve korelasyon matrisiyle keşfedilir; son olarak çok değişkenli örüntüler ve gruplararası farklılıklar araştırılır. Bu adımlar doğrusal değil yinelemeli bir döngü oluşturur; her bulgu yeni sorular doğurur. EDA, özellik mühendisliği (feature engineering), veri temizleme ve model seçimi kararları üzerinde doğrudan etkilidir. Kötü anlaşılmış veriyle kurulan modeller ne kadar sofistike olursa olsun güvenilmez sonuçlar üretir; bu nedenle EDA 'çöp girer, çöp çıkar' ilkesinin pratikte uygulandığı kalkan katmanıdır. Regresyon, sınıflandırma veya kümeleme modellerinden önce mutlaka gerçekleştirilmesi gereken bu aşama, hem modelin doğruluğunu hem de yorumlanabilirliğini doğrudan şekillendirir.
Noise Contrastive Estimation (Gürültü Karşıtlıklı Kestirim)
Noise Contrastive Estimation (NCE), Türkçesiyle gürültü karşıtlıklı kestirim, normalizasyon sabitinin hesaplanması pratik olmayan olasılık modellerinin parametrelerini öğrenmek için geliştirilmiş istatistiksel bir kestirim ilkesidir. Michael Gutmann ve Aapo Hyvärinen tarafından 2010 yılında AISTATS konferansında önerilen yöntem, zor bir yoğunluk kestirimi problemini basit bir ikili sınıflandırma görevine çevirir: model, gerçek veri dağılımından gelen örneklerle bilinen bir gürültü dağılımından çekilen yapay örnekleri birbirinden ayırt etmeyi öğrenir. Bu ayrımı iyi yapan bir model, dolaylı olarak gerçek veri dağılımının şeklini de öğrenmiş olur. Yöntemin çözdüğü temel sorun, normalize edilmemiş modellerde ortaya çıkan bölüşüm fonksiyonu (partition function) hesabıdır. Maksimum olabilirlik kestirimi, her parametre güncellemesinde tüm olası çıktılar üzerinden toplam almayı gerektirir. Kelime dağarcığı yüz binlerce token içeren bir dil modelinde softmax katmanının her adımda tüm dağarcık üzerinden hesaplanması, eğitim süresinin büyük bölümünü tek başına tüketir. NCE bu toplamı hiç hesaplamaz; normalizasyon sabitini ya öğrenilebilir bir parametre olarak modele ekler ya da Mnih ve Teh'in 2012'de gösterdiği gibi pratikte 1'e sabitler. Her gerçek örnek için k adet gürültü örneği çekildiğinden, adım başına maliyet dağarcık boyutundan bağımsız hale gelir ve yalnızca k ile orantılı kalır. NCE'nin teorik cazibesi tutarlılığından gelir: gürültü örneği sayısı k arttıkça kestirici maksimum olabilirlik çözümüne yaklaşır. Bu özellik, yöntemi enerji tabanlı modellerin ve yoğunluk kestiriminin eğitimi için de çekici kılar. Uygulama tarafında ise NCE, 2013'te Mikolov ve ekibinin Word2Vec için tasarladığı Negative Sampling yaklaşımının doğrudan öncülüdür. Negative Sampling, NCE'deki gürültü dağılımı terimini atarak daha basit bir amaç fonksiyonu kullanır; olasılık kestirimi için tutarlı olmasa da kaliteli kelime gömmeleri üretir. 2018'de van den Oord ve arkadaşlarının Contrastive Predictive Coding çalışmasıyla tanıttığı InfoNCE kaybı, aynı ilkeyi temsil öğrenimine taşıdı. Pozitif çifti k negatif arasından seçmeye dayanan bu kayıp, SimCLR, MoCo ve CLIP gibi öz-denetimli modellerin ve modern gömme modellerinin eğitiminde standart hale geldi. Günümüz büyük dil modelleri çıkış katmanında tam softmax kullansa da NCE ailesi, geri getirim, öneri sistemleri ve çok modlu öğrenme alanlarında yaygın biçimde kullanılmaya devam ediyor.
Veri Bilimi (Veri Bilimi)
Veri bilimi; ham veri setlerinden anlamlı içgörüler, örüntüler ve tahminler çıkarmak için istatistik, matematik, makine öğrenmesi ve bilgisayar bilimini bir araya getiren disiplinlerarası bir alandır. İş dünyasından sağlık bilimine, finans sektöründen sosyal medya analizine kadar geniş bir yelpazede uygulanır. Bir veri bilimi projesi genellikle beş temel aşamadan oluşur: veri toplama ve temizleme (veri setlerinin %60-80'i bu aşamaya ayrılır), keşifsel veri analizi (EDA), model geliştirme ve eğitim, model değerlendirme ile son olarak dağıtım ve izleme. Bu süreç, CRISP-DM (Cross-Industry Standard Process for Data Mining) metodolojisiyle standart hale getirilmiştir. Python ve R, veri biliminin iki temel programlama dilidir. Python ekosistemi —Pandas, NumPy, Scikit-learn, TensorFlow ve PyTorch— endüstri standardı haline gelmiştir. SQL ise yapılandırılmış veritabanlarıyla çalışmak için vazgeçilmezdir. Veri bilimcisi olmak; istatistiksel düşünme, kodlama becerisi ve alan uzmanlığı üçgenini gerektirdiğinden bu meslektaşlar iş dünyasında oldukça değerlidir. 2024 verilerine göre ABD'de median veri bilimcisi maaşı yıllık 130.000 dolar civarındadır. Türkiye'de ise deneyimli veri bilimcilere olan talep her yıl hızla artmaktadır. Yapay zeka ve büyük dil modellerinin (LLM) yükselişiyle birlikte veri bilimi alanı derin bir dönüşüm geçirmektedir. Kod üretme, veri temizleme otomasyonu ve doğal dil tabanlı analiz gibi görevlerde yapay zeka desteği standart hale gelmektedir; bu durum veri bilimcilerin daha stratejik ve yüksek değerli işlere odaklanmasını mümkün kılmaktadır. MLOps ve LLMOps pratiklerinin olgunlaşmasıyla birlikte veri bilimciler artık yalnızca model kurmakla kalmıyor, üretim sistemlerini tasarlıyor ve izliyor. Veri kalitesi, önyargı tespiti ve yorumlanabilirlik (explainability) gibi konular modern veri bilimcinin temel sorumluluk alanına girmiş bulunmaktadır. Ayrıca büyük kuruluşlarda veri mühendisliği, veri analitiği ve makine öğrenmesi mühendisliği rolleriyle iç içe geçen veri bilimi, günümüzde çok boyutlu bir kariyer yoluna dönüşmüştür.
Statistical Inference (İstatistiksel Çıkarım)
İstatistiksel çıkarım, sınırlı bir veri örnekleminden hareketle daha geniş bir kitle hakkında genellemeler ve tahminler yapma sürecidir. Veri biliminin temel taşlarından biri olan bu disiplin, gözlemlenemeyecek kadar büyük ya da erişimi kısıtlı popülasyonları anlamak için olasılık teorisinden yararlanır. Çıkarımsal istatistik iki ana ekol üzerine inşa edilmiştir. Frekansçı yaklaşım, parametreleri sabit birer değer olarak kabul eder; hipotez testleri ve güven aralıkları aracılığıyla sonuçlara ulaşır. Null hipotez (H0) belirlenerek p-değerine göre reddedilip reddedilmeyeceğine karar verilir: p < 0,05 eşiği, gözlemlerin rastlantısal değil anlamlı olduğuna işaret eder. Bayesçi yaklaşım ise olasılığı bir inanç derecesi olarak tanımlar; alan bilgisini (prior) yeni verilerle birleştirip posterior dağılım üretir. Küçük örneklemlerde ve uzman bilgisinin sürece katılması gereken durumlarda bu yöntem tercih edilir. Veri bilimi ve makine öğrenmesi bağlamında istatistiksel çıkarım birçok kritik görevi üstlenir. Model değerlendirmede çapraz doğrulama skorlarının anlamlı farklılıklar içerip içermediği test edilir. A/B testlerinde iki gruba ait dönüşüm oranı farkının istatistiksel olarak anlamlı olup olmadığı belirlenir. Regresyon analizinde katsayıların sıfırdan farklı olup olmadığını güven aralıkları ortaya koyar. Özellik seçiminde ise chi-kare, ANOVA ve t-testi gibi testler, değişkenlerin bağımlı değişkenle gerçek bir ilişki taşıyıp taşımadığını sınar. Büyük veri döneminde istatistiksel anlamlılık tuzağı önem kazanmıştır: devasa örneklemlerde pratik açıdan önemsiz etkiler bile p < 0,05 değeri üretebilir. Bu nedenle etki büyüklüğü (Cohen d, eta-kare) ve pratik anlamlılık değerlendirmesi vazgeçilmez bir tamamlayıcı hâline gelmiştir. Yapay zeka modellerinin tahminlerindeki belirsizliği ölçmek için de çıkarımsal istatistik kullanılır; konformal tahmin ve Bayesçi derin öğrenme bu alanın güncel uzantılarıdır. Büyük dil modellerinin değerlendirilmesinde iki modelin performans farkının gerçek mi yoksa örnekleme gürültüsünden mi kaynaklandığını anlamak için bootstrap yeniden örnekleme ve McNemar testi yaygın araçlara dönüşmüştür.