category Veri Bilimi

Veri analizi ve veritabanı teknolojileri

code_blocks

A/B Testi Nedir? Makine Öğrenmesinde A/B Testing (A/B Testi)

A/B testi, iki farklı sürümü (A kontrol, B deney) kullanıcılara rastgele göstererek hangisinin daha iyi performans gösterdiğini belirleyen istatistiksel bir deney yöntemidir. Makine öğrenmesinde model değerlendirmesinin temel taşı olan A/B testi; web uygulamalarından öneri sistemlerine, dil modellerinden görüntü sınıflandırıcılara kadar geniş bir alanda kullanılır. Testin çalışma mantığı şu adımlara dayanır: Kullanıcılar rastgele iki gruba ayrılır. A grubu mevcut sistemi (kontrol), B grubu yeni modeli veya özelliği (deney) deneyimler. Belirli bir süre sonra tıklama oranı, dönüşüm, RMSE veya doğruluk gibi metrikler karşılaştırılır; istatistiksel anlamlılık p-değeri ve güven aralığı ile ölçülür. Makine öğrenmesi ekipleri A/B testini şu senaryolarda kullanır: Yeni model sürümünü üretim ortamında doğrulama, hiperparametre değişikliklerinin gerçek etkisini ölçme, farklı öneri algoritmalarını kullanıcı katılımıyla karşılaştırma ve özellik mühendisliği değişikliklerinin işletme metriklerine katkısını ölçme. Sık karşılaşılan tuzaklar arasında erken sonuç okuma (peeping problem), çoklu karşılaştırma yanılgısı (Bonferroni düzeltmesi gerektirir), yeterli örneklem büyüklüğü hesaplamamak ve kullanıcı segmentasyonu farklarını göz ardı etmek sayılabilir. Sıralı A/B testi (sequential testing) ise bu sorunları azaltmak için erken durdurma kuralları kullanır. Kanary dağıtımı (canary deployment) ve gölge modu (shadow mode) A/B testinin üretim ortamında uygulandığı ileri düzey varyantlardır. Kanary dağıtımında yeni model yalnızca küçük bir trafik dilimine sunularak riskler sınırlandırılır; gölge modunda ise yeni model gerçek trafiği paralel olarak işler ancak kullanıcıya hiçbir zaman yanıt vermez. Türkiye'de büyük e-ticaret ve fintech platformları üretim ML sistemlerini bu yöntemlerle doğrulamaktadır. Yaygın araçlar: MLflow Experiments, Amazon SageMaker Experiments, Optimizely ve açık kaynak Wasabi. Interleaved (karışık) A/B testi ise öneri ve arama sistemleri için özel olarak geliştirilmiş bir varyantdır: A ve B sistemlerinin sonuçları tek bir listeye interleave edilerek kullanıcı tıklamaları üzerinden hangisinin daha iyi sıralama yaptığı çıkarılır. Bu yöntem, klasik A/B testi karşılaştırmasına göre çok daha hızlı istatistiksel güç elde etmeyi sağlar.

arrow_forward
🎯

Aktif Öğrenme Nedir? (Active Learning) (Aktif Öğrenme)

Aktif öğrenme (active learning), bir makine öğrenmesi modelinin kendi eğitim sürecine aktif katıldığı ve en çok bilgi kazandıracak veri noktalarını seçerek insan uzmanından (oracle) etiket talep ettiği bir paradigmadır. Geleneksel denetimli öğrenmede tüm eğitim verisi önceden etiketlenir; aktif öğrenmede ise model belirsizliği yüksek, bilgi değeri en fazla olan örnekleri hedefleyerek minimum etiket bütçesiyle maksimum performansa ulaşır. Temel sorgu stratejileri arasında belirsizlik örneklemesi (uncertainty sampling), kurul-sorgulama (query by committee) ve beklenen model değişimi (expected model change) yer alır. Belirsizlik örneklemesinde model, sınıflandırma güveni en düşük örnekleri sorgular; ikili görevlerde karar sınırına en yakın noktalar, çok sınıflı görevlerde ise entropi en yüksek örnekler tercih edilir. Kurul-sorgulamada birbirinden bağımsız modeller anlaşamadıkları örnekleri öne çıkarır. Aktif öğrenme döngüsü şu adımlarla işler: küçük bir başlangıç etiketli setiyle model ilk kez eğitilir; model etiketlenmemiş havuzu değerlendirerek bilgi değeri en yüksek örneği seçer; uzman bu örneği etiketler; model güncellenir ve döngü tekrar başlar. Derin öğrenme bağlamında Monte Carlo Dropout veya BALD (Bayesian Active Learning by Disagreement) gibi yöntemler belirsizlik hesabı için yaygın kullanılır. Aktif öğrenme özellikle tıbbi görüntü analizi, metin sınıflandırması ve biyomedikal NLP görevlerinde kritiktir; bu alanlarda uzman etiketleme hem pahalı hem de zaman alıcıdır. Araştırmalar, aktif öğrenmenin aynı doğruluk için gereken etiket sayısını geleneksel yöntemlere kıyasla yüzde elli ile doksan arasında azaltabildiğini ortaya koymuştur. Burr Settles'ın 2009 teknik raporu alana en çok atıfta bulunulan kaynak olmaya devam etmektedir. Python ekosisteminde ModAL, small-text ve scikit-activeml popüler uygulama çerçeveleridir. Büyük dil modellerinin ince ayar süreçlerinde de aktif öğrenme, etiketleme maliyetlerini en aza indirmek için giderek daha fazla tercih edilmekte; insan-döngüsünde öğrenme mimarileriyle birleştirilmektedir.

arrow_forward
code_blocks

Bayesian Inference (Bayes Çıkarımı)

Bayesian çıkarım (Bayesian inference), bir hipotez veya model parametrelerinin olasılığını yeni gözlemlerle güncellemek için Bayes teoremini kullanan istatistiksel bir yöntemdir. Geleneksel (frekansçı) istatistikten farklı olarak, Bayesian yaklaşım belirsizliği sabit sayılar yerine olasılık dağılımları şeklinde ifade eder ve önceki bilgiyi yeni verilerle sistematik biçimde entegre eder. Yöntemin üç temel kavramı vardır. Prior (önsel olasılık), veri gözlemlenmeden önceki başlangıç inancını temsil eder; örneğin bir e-posta filtresinde "mesajların %30'u spam" gibi. Likelihood (olabilirlik), belirli parametre değerleri verildiğinde gözlemlenen veriyi üretme olasılığıdır. Posterior (sonsal olasılık) ise Bayes formülü aracılığıyla hesaplanan güncellenmiş inançtır: P(H|D) = P(D|H) × P(H) / P(D). Her yeni gözlem veri seti, posterior'ı yeni bir prior olarak alarak bu sürecin yinelemeli işlemesine olanak tanır. Makine öğrenmesinde Bayesian yöntemler çeşitli alanlarda uygulanır. Naive Bayes sınıflandırıcısı metin sınıflandırmada yüksek hız ve basitliğiyle öne çıkar. Gaussian süreçleri regresyon ve kara kutu optimizasyonunda; Bayesian sinir ağları ise tahminlerine güven aralığı ekleyerek belirsizlik ölçümünde kullanılır. Hiperparametre araması için Bayesian optimizasyon, az sayıda deney noktasıyla verimli arama yapmasıyla grid search ve random search'e göre belirgin avantaj sağlar. Yöntemin başlıca sınırlaması hesaplama yüküdür. Büyük boyutlu modellerde tam posterior hesaplama analitik olarak genellikle mümkün değildir. Bu sorunu aşmak için Markov Zinciri Monte Carlo (MCMC) ve Varyasyonel Çıkarım (Variational Inference) gibi yaklaşık yöntemler geliştirilmiştir. Bu teknikler derin öğrenme çerçevelerine entegre edilerek nedensel çıkarım ve belirsizlik nicemleme (uncertainty quantification) gibi ileri uygulamalarda etkin biçimde kullanılmaktadır. Tıbbi tanı, finans risk modellemesi ve bilimsel deney tasarımı gibi kritik alanlarda belirsizliği açıkça modellemesi, Bayesian yaklaşımı frekansçı alternatiflere kıyasla özellikle değerli kılar. Yeterli hesaplama kapasitesiyle birleştiğinde Bayesian yöntemler, sınırlı veriyle bile güvenilir ve yorumlanabilir çıkarımlar üretebilmektedir.

arrow_forward
dataset

Big Data (Büyük Veri)

Buyuk veri (big data), geleneksel veri isleme araçlariyla yonetilemeyecek kadar buyuk, hizli uretilen veya karmasik yapidaki veri kumelerini tanimlar. Doug Laney'in 3V modeli bu alani karakterize etmek icin kullanilan klasik cercevedir: Volume (hacim — terabayt ve petabaytlarla olculen veri miktari), Velocity (hiz — veri uretim ve isleme hizi) ve Variety (cesitlilik — yapilandirılmıs, yari yapilandirılmıs ve yapilandirilmamis veri tipleri). Buyuk veri altyapisi, dagilimli depolama ve isleme sistemlerine dayanır. Hadoop, Google'in MapReduce makalesi uzerine insa edilmis acik kaynak bir dagilimli isleme cerçevesidir; HDFS (Hadoop Distributed File System) verileri kume uzerindeki bircok duguma dagilimli depolar. Apache Spark, bellek ici isleme yapisiyla Hadoop'tan cok daha hizli veri analizi ve makine ogrenmesi sunar. Apache Kafka ise gercek zamanli veri akislarini (streaming) yonetin populer aracidir. Veri boru hatlari (data pipeline) buyuk veride kritik bir yapisal unsurdur. ETL (Extract, Transform, Load) veya modern ELT yaklasimlari, farkli kaynaklardan gelen verinin temizlenmesini, donusturulmesini ve depolanmasini saglar. Veri golu (data lake), ham haliyle her turden veriyi depolamak icin kullanilirken veri ambarı (data warehouse) analiz icin yapılandirılmıs veri tutar. Bulut saglaycilari (AWS, Google Cloud, Azure) buyuk veri altyapisini yonetilen hizmetler olarak sunmaktadir. Amazon EMR, Databricks, Google BigQuery ve Azure Synapse bu alanda one cikan platformlardir. Buyuk veri ve makine ogrenmesi giderek birbirinin icine girmekte; feature store, model izleme ve MLOps sureclerinde buyuk veri araclari kritik roller ustlenmektedir.

arrow_forward
code_blocks

Boyut İndirgeme (Dimensionality Reduction) (Boyut İndirgeme)

Boyut indirgeme (dimensionality reduction), yüksek boyutlu veri kümelerindeki değişken sayısını azaltırken verinin özünü ve yapısını koruyan teknikler bütünüdür. Modern veri kümelerinde binlerce hatta milyonlarca özellik bulunabilir; bu durum "boyutun laneti" olarak adlandırılan ve modellerin genelleştirilmesini zorlaştıran bir soruna yol açar. Boyut indirgeme bu karmaşıklığı yönetilebilir hale getirir ve makine öğrenimi boru hatlarında standart bir ön işlem adımı olarak yer alır. Temel yaklaşımlar iki gruba ayrılır. Doğrusal yöntemler arasında en yaygın kullanılan Temel Bileşenler Analizi (PCA), veri setindeki en yüksek varyansı açıklayan ortogonal eksenleri hesaplar. Yüzlerce özelliği 10-20 bileşene indirgemek ve verinin yüzde 95'inden fazla bilgisini korumak mümkündür. Lineer Diskriminant Analizi (LDA) ise sınıflar arası ayrımı maksimize ederek indirgeme yapar; bu özelliği onu sınıflandırma öncesi ön işlemde değerli kılar. Doğrusal olmayan manifold yöntemleri, verinin karmaşık eğrisel yapılarını koruyabilir. t-SNE (t-dağılımlı Stokastik Komşu Gömme), yüksek boyutlu noktalar arasındaki yerel benzerlikleri 2 veya 3 boyutlu uzayda görselleştirmek için en sık tercih edilen yöntemdir; birbirine yakın kümeler arasındaki ayrımı belirginleştirir. UMAP (Uniform Manifold Approximation and Projection) ise hem yerel hem küresel yapıyı korurken t-SNE'den çok daha hızlı çalışır ve büyük veri kümelerinde üretim ortamlarında tercih edilir. Derin öğrenme dünyasında otoenkoderler sinir ağları aracılığıyla boyut indirger: kodlayıcı kısım veriyi düşük boyutlu bir latent uzaya sıkıştırır, kod çözücü kısım ise orijinal veriyi yeniden oluşturmaya çalışır. Bu yaklaşım anomali tespiti, görüntü sıkıştırma ve öneri sistemleri gibi alanlarda yaygın biçimde kullanılır. Dil modellerindeki embedding vektörler de özünde boyut indirgemenin bir biçimidir: geniş sözcük dağarcıklarını yoğun vektörlerle temsil eder. Uygulama alanları geniştir: biyoinformatik analizinde gürültü azaltma, öneri sistemlerinde matris çarpanlara ayırma, doğal dil işlemede konu modelleme ve görüntü işlemede özellik çıkarma bu alanların başında gelir.

arrow_forward
code_blocks

Cohort Analysis (Kohort Analizi)

Kohort analizi (cohort analysis), ortak bir özelliği ya da başlangıç noktasını paylaşan kullanıcı veya müşteri gruplarının (kohortların) davranışlarını belirli bir süre boyunca takip eden veri analizi yöntemidir. Epidemiyoloji araştırmalarından doğan bu teknik, dijital ürün analitiği ve makine öğrenmesi alanlarında temel bir araç haline gelmiştir. Kohort analizinin iki ana türü vardır. Edinim kohortları (acquisition cohorts), kullanıcıları ilk etkileşim tarihlerine göre —kayıt tarihi, ilk satın alma ya da uygulama yükleme anı— gruplar ve zamanla nelerin değiştiğini ortaya koyar. Davranışsal kohortlar ise kullanıcıları belirli eylemler temelinde —onboarding'i tamamlama, belirli bir özelliği kullanma, belirli bir eşiği geçme— gruplar ve "neden" sorusuna yanıt verir. Pratik uygulamalar üç alanda yoğunlaşır. Müşteri elde tutma ve churn azaltma: hangi kohortların daha hızlı terk ettiği belirlenir ve hedefli kampanyalarla erken müdahale edilir. Pazarlama ROI ölçümü: farklı edinim kanallarından gelen kohortların yaşam boyu değeri (LTV) karşılaştırılır; LTV = ARPA ÷ Churn Rate formülü kullanılır ve 3:1 LTV/CAC oranı kârlılık eşiği kabul görür. Ürün performansı: yeni kullanıcıların önceki nesillere kıyasla daha iyi ya da daha kötü deneyim yaşayıp yaşamadığı ölçülür. Makine öğrenmesiyle birleşince kohort analizi tahmine dayalı bir boyut kazanır: ML modelleri, tarihsel kohort verilerinden öğrenerek bireysel kullanıcıların gelecekteki davranışlarını —churn olasılığı, dönüşüm ihtimali— tahmin eden prediktif kohortlar oluşturur ve proaktif müdahaleyi mümkün kılar. Kısıtlamalar arasında Simpson Paradoksu (birleşik trendin segmentlere ayrıldığında tersine dönmesi), verinin olgunlaşma süresinin uzunluğu ve korelasyonun nedensellik sanılması yer alır. Python (Pandas), SQL, Amplitude ve Mixpanel bu analizin temel araç ekosistemini oluşturur.

arrow_forward
code_blocks

Confusion Matrix (Karışıklık Matrisi)

Confusion Matrix (Karışıklık Matrisi), bir sınıflandırma modelinin tahminlerini gerçek etiketlerle karşılaştırarak performansını dört temel metrik üzerinden özetleyen bir tablodur. İkili sınıflandırmada dört hücre bulunur: Gerçek Pozitif (TP), Yanlış Pozitif (FP), Yanlış Negatif (FN) ve Gerçek Negatif (TN). Her hücrenin anlamı şöyledir: TP, modelin pozitif dediği ve gerçekten pozitif olan örneklerdir. TN, modelin negatif dediği ve gerçekten negatif olan örneklerdir. FP (Tip I Hata), modelin yanlışlıkla pozitif dediği örneklerdir. FN (Tip II Hata), modelin yanlışlıkla negatif dediği örneklerdir. Bu dört değerden birçok türev metrik hesaplanır. Doğruluk (Accuracy) = (TP + TN) / Toplam, tüm tahminler arasındaki doğru oranıdır. Kesinlik (Precision) = TP / (TP + FP), modelin pozitif dediği örneklerin ne kadarının gerçekten pozitif olduğunu gösterir. Duyarlılık (Recall / Sensitivity) = TP / (TP + FN), gerçek pozitif örneklerin ne kadarının yakalandığını ölçer. F1 Skoru, precision ve recall'ın harmonik ortalamasıdır: 2 × (Precision × Recall) / (Precision + Recall). Sınıf dengesizliği durumunda accuracy yanıltıcı olabilir. Örneğin yüzde doksan oranında negatif örnek içeren bir veri setinde model her şeyi negatif tahmin etse yüzde doksan doğruluk elde eder; ancak confusion matrix bu durumu anında ortaya koyar: FN sütunu tamamen dolu, TP sütunu ise sıfırdır. Çok sınıflı problemlerde confusion matrix N×N boyutuna genişler; köşegen elemanlar doğru tahminleri, köşegen dışı elemanlar ise yanlış sınıflandırmaları gösterir. Hangi sınıfların birbirine karıştırıldığını anlamak için idealdir. Tıbbi tanı sistemlerinde yanlış negatif (hastalığı kaçırmak) genellikle yanlış pozitiften (gereksiz tetkik) daha maliyetlidir; bu nedenle recall optimize edilir. Spam filtreleme sistemlerinde ise yanlış pozitif (geçerli e-postayı spam saymak) daha kabul edilemez olduğundan precision ön planda tutulur.

arrow_forward
code_blocks

Cross-Validation (Çapraz Doğrulama) (Çapraz Doğrulama)

Cross-validation (çapraz doğrulama), makine öğrenimi ve istatistikte bir modelin görülmemiş veriye ne kadar iyi genelleyeceğini tahmin etmek için kullanılan sistematik bir değerlendirme yöntemidir. Temel fikir basittir: mevcut veriyi tek seferlik eğitim/test bölümüne ayırmak yerine, veriyi birden fazla kez farklı biçimlerde bölüp her seferinde ayrı bir test seti oluşturmak ve sonuçların ortalamasını almaktır. En yaygın yöntem k-kat çapraz doğrulama (k-fold cross-validation) dır. Bu yöntemde veri seti k eşit parçaya bölünür; model k kez eğitilir ve her seferinde farklı bir parça test seti olarak ayrılırken kalan k-1 parça eğitim için kullanılır. Genellikle k=5 veya k=10 değeri tercih edilir. Ortaya çıkan k performans puanı ortalaması, modelin genel başarısını temsil eden tarafsız bir tahmin sunar. Çapraz doğrulamanın en kritik faydası aşırı uyum (overfitting) riskini düşürmesidir. Tek bir sabit test seti kullanıldığında model o teste göre dolaylı olarak optimize edilebilir; çapraz doğrulama ise her iterasyonda farklı veriler gördüğünden bu riski minimize eder. Özellikle sınırlı veri miktarı söz konusu olduğunda her örnek hem eğitim hem test için değerlendirileceğinden veriden maksimum bilgi çıkarılmış olur. Yöntemin varyantları arasında sınıf dağılımını koruyan tabakalı k-kat (stratified k-fold), her seferinde yalnızca bir örneği test seti bırakan bırak-bir-dışarıda (leave-one-out, LOOCV) ve zaman serisi analizine uygun kayan pencere yaklaşımı sayılabilir. Tabakalı k-kat, dengesiz sınıf dağılımı olan sınıflandırma problemlerinde standart tercih haline gelmiştir. Hesaplama maliyeti açısından bakıldığında çapraz doğrulama modeli k kez eğitmeyi gerektirir; büyük veri setlerinde ve derin öğrenme modellerinde bu ciddi bir kaynak artışı anlamına gelebilir. Bu durumlarda daha küçük k değerleri veya tek seferlik validasyon seti yaklaşımları tercih edilebilir. Bununla birlikte çoğu geleneksel makine öğrenimi senaryosunda çapraz doğrulama, model seçimi ve hiperparametre ayarı için vazgeçilmez bir araç olmayı sürdürmektedir.

arrow_forward
zoom_out_map

Data Augmentation (Veri Artırma / Çoğaltma)

Veri artırma (data augmentation), makine öğrenmesi modellerini eğitirken mevcut veri setini yapay yöntemlerle genişletme tekniğidir. Özellikle etiketli veri toplamak pahalı veya zaman alıcı olduğunda, eldeki örneklerden türetilen yeni varyantlar modelin genelleme kapasitesini önemli ölçüde artırır. Görüntü tabanlı görevlerde en yaygın kullanılan artırma teknikleri arasında yatay veya dikey çevirme, rastgele kırpma, parlaklık ve kontrast ayarı, renk bozulması, döndürme ve Gaussian gürültüsü ekleme yer alır. Bu dönüşümler, modelin nesne konumlanmasına ve ışık koşullarına duyarlılığını azaltarak daha sağlam özellik temsilleri öğrenmesini sağlar. Doğal dil işleme alanında ise eş anlamlı kelime değiştirme, cümle yeniden çerçeveleme, geri çeviri (back-translation) ve sözdizimsel dönüşümler veri artırmanın başlıca yöntemleridir. Geri çeviri yaklaşımında bir cümle önce başka bir dile çevrilir, ardından kaynak dile geri döndürülür; bu işlem hem anlam korunur hem de farklı bir ifade biçimi elde edilir. Ses ve zaman serisi verilerinde zaman uzatma (time stretching), perde kaydırma (pitch shifting), arka plan gürültüsü ekleme ve kesme-yapıştırma gibi teknikler kullanılır. Özellikle tıbbi görüntüleme gibi az veri bulunan alanlarda bu yöntemler olmazsa olmaz hale gelir. Mixup ve CutMix gibi gelişmiş teknikler iki farklı örneği piksel ya da özellik düzeyinde karıştırır, modelin kararlı sınırlar yerine düzgün olasılık dağılımları öğrenmesini teşvik eder. AutoAugment ve RandAugment ise hangi dönüşümlerin uygulanacağını otomatik olarak öğrenen politika tabanlı yaklaşımlardır. GAN tabanlı artırma, üretici bir ağ aracılığıyla gerçekçi sentetik örnekler üretir; ancak eğitim kararsızlığı ve mod çökmesi riskleri dikkatli yönetim gerektirir. Doğru uygulandığında veri artırma, düzenlileştirme etkisi yaratır, aşırı öğrenmeyi engeller ve sınırlı veriyle yüksek performanslı modeller geliştirmenin en pratik yollarından birini sunar.

arrow_forward
code_blocks

Data Catalog (Veri Kataloğu)

Veri kataloğu (Data Catalog), bir kuruluşun sahip olduğu veri tablolarının, akışlarının, raporlarının ve makine öğrenmesi modellerinin organize edilmiş, aranabilir ve bağlamsal envanterini oluşturan metadata yönetim platformudur. Temel işlevi üç sütun üzerine kuruludur: veriyi keşfet, içeriğini anla ve güvenilirliğini doğrula. Modern bir veri kataloğu iki tür metadata yönetir. Teknik metadata; tablo adları, sütun tipleri, boyut ve güncelleme sıklığı gibi yapısal bilgileri içerir. İş metadata'sı ise bir alanın iş anlamını, veri sahibini, kullanım senaryolarını ve kalite skorunu kapsar. Bu iki katmanın birleşimi, mühendislerden iş analistlerine kadar herkesin aynı platforma başvurmasına olanak tanır. Veri kataloğunun en kritik özelliklerinden biri soy takibidir (data lineage). Bu özellik, bir verinin nereden geldiğini, hangi dönüşümlerden geçtiğini ve nerede kullanıldığını uçtan uca görselleştirir. Özellikle sütun düzeyinde lineage, hangi ETL adımının hangi alanı etkilediğini gösterir; hatalı raporların köküne hızla inilmesini mümkün kılar. MLOps ekipleri için veri kataloğu ayrı bir öneme sahiptir: hangi veri kümesinin hangi model eğitiminde kullanıldığını izler, feature store ile bütünleşik çalışarak özniteliklerin ekipler arasında yeniden kullanımını kolaylaştırır ve training-serving skew riskini azaltır. Popüler açık kaynak araçlar arasında DataHub, OpenMetadata ve Apache Atlas öne çıkmaktadır. Ticari tarafta Collibra, Alation ve Databricks Unity Catalog kurumsal çözümler sunmaktadır. Veri kataloğu; veri sözlüğünden farklı olarak tek bir sistemle sınırlı kalmaz; tüm organizasyonun veri ekosistemine bütünleşik erişim sunar.

arrow_forward
water_drop

Data Lake (Veri Gölü)

Data Lake (Türkçe: Veri Gölü), yapılandırılmış, yarı yapılandırılmamış ve yapılandırılmamış verilerin orijinal ham formatlarında depolandığı merkezi, ölçeklenebilir bir büyük veri deposudur. Geleneksel veri ambarlarının aksine, Data Lake veriye önceden bir şema uygulamaz; veriler ham hâlde saklanır ve sorgu anında şema belirlenir (schema-on-read yaklaşımı). Bu esneklik aracılığıyla log dosyaları, görüntüler, videolar, sensör verileri ve JSON/CSV gibi farklı formatlardaki veriler aynı depoda bir arada tutulabilir. "Data Lake" kavramı ilk olarak 2010 yılında Pentaho'nun CTO'su James Dixon tarafından kavramsallaştırılmıştır. Dixon, veri ambarlarını sunum için hazır su şişeleriyle kıyaslarken Data Lake'i kendi doğal ve safiyetini koruyan bir göle benzetti: tüm su kaynakları (veriler) doğal hâlde bu göle akar ve kullanıcılar ihtiyaçlarına göre bu gölden istedikleri miktarda ve formatta su alır. Bir Data Lake mimarisi genellikle birkaç katmandan oluşur. Ham veri bölgesi (Raw/Landing Zone), kaynak sistemlerden gelen verilerin sıfır değişiklikle aktarıldığı giriş noktasıdır. Rafine veri bölgesi (Curated Zone), temizleme, dönüştürme ve kalite kontrolünden geçirilmiş verileri barındırır. Tüketim bölgesi (Consumption Zone) ise iş analistleri, veri bilimciler ve makine öğrenmesi uygulamaları tarafından kullanıma hazır hâle getirilmiş verileri içerir. Data Lake'in başlıca avantajları arasında yüksek ölçeklenebilirlik, düşük birim depolama maliyeti ve veri formatı esnekliği sayılabilir. Ancak yeterli yönetim ve kataloglama araçları olmadığında "Data Swamp" (Veri Bataklığı) hâline gelebilir: verinin nereden geldiği, ne anlama geldiği ve nasıl kullanılacağı belirsizleşir. Bu sorunu çözmek için veri kataloğu (data catalog), veri soyu takibi (data lineage) ve meta veri yönetimi araçları kullanılır. Günümüzde AWS S3 + Glue, Azure Data Lake Storage Gen2, Google Cloud Storage ve Apache Hadoop HDFS popüler Data Lake altyapılarıdır. Modern Delta Lake, Apache Iceberg ve Apache Hudi açık tablo formatları ise ACID işlem desteği ve şema evrimi ekleyerek Data Lake ile Data Warehouse özelliklerini "Lakehouse" mimarisinde birleştirir. Yapay zeka ve büyük dil modeli (LLM) alanında ise Data Lake, model öncesi (pre-training) ham veri havuzu ve fine-tuning veri kümesi deposu olarak kritik bir rol üstlenmektedir; bu nedenle modern yapay zeka altyapılarının ayrılmaz bir parçası hâline gelmektedir.

arrow_forward
database

Data Lakehouse (Veri Göl Ambarı (Data Lakehouse))

Data lakehouse (veri göl ambarı), geleneksel veri gölü (data lake) ile veri ambarı (data warehouse) mimarilerinin avantajlarını tek bir platformda birleştiren modern bir veri yönetimi yaklaşımıdır. Terim, 2020 yılında Armbrust ve arkadaşlarının CIDR konferansındaki akademik çalışmasıyla literatüre girmiş; 2021'de Databricks tarafından ticari bir mimari olarak yaygınlaştırılmıştır. Geleneksel veri gölü yaklaşımı, Amazon S3 veya Azure Data Lake Storage gibi nesne depolarında ham, yapılandırılmamış ve yarı yapılandırılmış verileri düşük maliyetle barındırır. Ancak ACID işlem desteğinden yoksundur; bu durum veri tutarlılığı sorunlarına, gereksiz veri kopyalamaya ve 'bataklık' (data swamp) oluşumuna zemin hazırlar. Veri ambarı ise yüksek performanslı SQL sorgularını ve sıkı şema yönetimini destekler; buna karşın pahalı kapalı depolama sistemlerine bağımlıdır ve petabayt ölçeğinde ham veriyi işlemekte zorlanır. Data lakehouse bu ikilemliği çözer: Apache Iceberg, Delta Lake (Databricks) veya Apache Hudi gibi açık tablo formatları, nesne depolama katmanına ACID semantiği, şema evrimi ve zaman yolculuğu (time travel) yetenekleri ekler. Mimari üç katmandan oluşur: nesne depolama katmanı (ham veri), tablo format/metadata katmanı (ACID + şema) ve sorgu/hesaplama katmanı (Spark, Trino, Flink gibi motorlar). Bu yapı, veri bilimcilerin ham eğitim verilerine doğrudan erişmesine izin verirken veri analistlerinin küratörlü, şemaya uygun verilere SQL arayüzüyle ulaşmasına olanak tanır. Yapay zeka iş akışları açısından lakehouse mimarisinin önemi giderek artmaktadır. Büyük dil modellerinin eğitim ve ince ayar süreçlerinde petabayt ölçekli ham metin verisini versiyon kontrolüyle yönetmek, zaman yolculuğuyla önceki veri sürümlerine geri dönmek ve MLflow gibi araçlarla model sürümleri ile veri sürümlerini eşleştirmek için lakehouse tercih edilmektedir. Databricks Lakehouse, Microsoft Fabric (OneLake), Snowflake Open Catalog ve Google BigLake bu mimarinin önde gelen ticari uygulamalarıdır.

arrow_forward
code_blocks

Data Lineage Nedir? Veri Kökeni ve Takip Yolu (Veri Kökeni (Data Lineage))

Veri soy agaci (data lineage), bir veri varliginin hangi kaynaklardan turetildigini, hangi donusum adimlarindan gectigi ve nihai olarak nerede kullanildigini belgeleyen tam izlenebilirlik cercevesidir. Bir veri boru hattinda yuzlerce tablo, binlerce sutun ve karmasik JOIN, GROUP BY, UNION operasyonlari olabilir; soy agaci bu karmasikligi kayit altina alarak gecmiste ve gelecekte yapilan degisikliklerin etkisini anlamaya olanak tanir. Veri soy agacinin kullanim amaclarinin basinda hata koken analizi gelir. Bir raporun yanlis rakam gosterdigi kesfedildiginde ekip, hatalı deger hangi kaynak tablodan, hangi donusum adiminda girmis sorusunu saniyeler icerisinde cevaplayabilir. Soy agaci olmadan bu arastirma saatler hatta gunler surebilir. Ikinci kritik kullanim alani uyumluluktur: GDPR kapsaminda kisisel verinin nerede tutuldugu ve nasil islendiginin belgelenmesi zorunludur; SOC 2 ve HIPAA denetimleri de veri akislarinin izlenebilirligini gerektirir. Teknik olarak soy agaci iki duzeyden olusabilir. Tablo duzeyinde soy agaci, hangi tablonun hangi kaynak tablolardan beslendigini ve hangi islem tarafindan olusturuldugunu gosterir. Sutun duzeyinde soy agaci cok daha ince taneli bir goruntu sunar: belirli bir raporun bir sutununun hangi kaynak alanlardan tureddigi, hangi aggregasyon veya donusumden gectigi gorulebilir. Sutun duzeyinde soy agaci ozellekle buyuk veri ortamlarinda etki analizi (impact analysis) icin vazgecilmezdir. Populer araçlar arasinda dbt (data build tool), yazilan SQL modellerini ayrıştirarak otomatik soy agaci grafikleri uretir. Apache Atlas, Collibra ve Alation gibi veri katalogu cozumleri hem metadata yonetimini hem de soy agacini entegre sunar. Bulut saglayicilari (AWS Glue, Google Dataplex, Azure Purview) de yonetilen soy agaci yetenekleri sunmaktadir. **Sik Sorulan Sorular** **Veri soy agaci ile veri katalogu arasindaki fark nedir?** Veri katalogu veri varliklarinin ne olduğunu, nerede bulundugunu ve ne anlam tasidigini belgeler. Veri soy agaci ise bu varlikların nasil hareket ettigini ve donustugunu izler. Ikisi birbirini tamamlar. **Soy agaci manuel mi yoksa otomatik mi olusturulur?** Modern araçlar (dbt, Spark, JDBC temelli ETL) SQL veya kodu ayrıştirarak otomatik soy agaci cikarir. Karmasik, kod tabanli donusumler bazen manuel belgeleme gerektirir. **Kucuk veri ekipleri icin soy agaci gerekli midir?** Kullanici sayisi azsa dbt gibi hafif bir arac yeterli olabilir; acik kaynak ve ucretsizdir. Uyumluluk gereksinimleri yoksa minimal but tatmin edici bir CSV-tablosuna el ile kayit etmek bile baslangicta yeterlidir. **Soy agaci gercek zamanli mi yoksa batch mi guncellenir?** Cogu cozum pipeline yurutulunde soy agacini gunceller (batch). Gercek zamanli izleme daha nadir ve daha pahalıdır; yalnizca kritik uretim is akislari icin gerekir.

arrow_forward
📊

Data Storytelling Nedir? Veri Hikayeciliği Rehberi (Veri Hikayeciliği)

Veri hikayeciligi (data storytelling), analitik bulgulari bir anlati yapisi, gorsel ve etkili iletisim becerileriyle birlestirerek hedef kitlenin anlayip harekete gecebilecegi anlamlı bir mesaja donusturme disiplinidir. Iyi bir analiz bile zayif anlatılmissa karar vericilere etkisiz kalir; veri hikayeciligi bu uçurumu kapatmak icin tasarlanmistir. Veri hikayeciligi uc temel unsurdan olusur: veri (kanit ve analitik bulgular), anlati (baglam, anlam ve eylem cagriis) ve gorsel (dikkat yonetimi ve netlik saglayi). Birbirini tamamlayan bu uc unsur bir araya geldiginde hedef kitleye hem zihinsel hem de duygusal duzeyinde ulas anlatim olusur. Anlati yapisinin onemi, gosterilmistir. Cok sayida arastirma, insanlar veri noktalari yerine hikayeleri cok daha iyi hazirlayip hatirlayip hatirlayip eylemlere donusturdukleri gostermistir. Iyi bir veri hikayesi genellikle bir baslangic durumunu (mevcut durum veya sorun), ortaya cikan bir bulguu veya gerilimi ve bir eylem onerisini ya da karar noktasini kapsayan bir yapi izler. Hedef kitle uyumu veri hikayeciliginmde kritik bir tasarim kararidur. C-suite veya yonetim kuruluna sunulan bir hikaye, teknik ayrinti yerine is gercegi ve onerisindeki taktik eylemlere odaklanmalidir. Veri bilimci bir kitleye ise metodoloji ve sinirliliklarin paylasilmasi guvenilirlik acisından zorunludur. Etik boyut veri hikayeciliginmde goz ardi edilemez. Selektif veri secimi, kasitli yaniltici gorsel veya baglam eksikligi, teknik olarak dogru ama anlamsal olarak yaniltici anlatimlar yaratabilir. Bu tur yaniltici pratikler kisa vadede ikna edici gorunebilir ama uzun vadede guvenilirliği yerle bir eder. **Sik Sorulan Sorular** **Veri gorsellestirme ile veri hikayeciligi arasindaki fark nedir?** Veri gorsellestirme veriyi gorsel bicimlere donusturmektedir. Veri hikayeciligi bunu bir anlati yapisina, baglama ve hedef kitle uyumuna yerlestirir; sonuc sadece gorsel degil, bilgilendirici bir iletisimdir. **Teknik bir kitleye veri hikayesi nasil anlatılır?** Metodoloji ve sinirliliklari acikca paylasin; bulgulari kanıtla destekleyin ve belirsizlik aralıklarini (confidence intervals) goruntuleyin. Teknik kitle ikna edici iddia isteyebilir ama metodolojik transparansi de bekler. **PowerPoint mi yoksa interaktif panel mi daha iyidir?** Tek seferlik bir karar icin sunulan bulgular PowerPoint veya diger dokuman biciminde sunulabilir. Surekli izleme ve kesfetme gerektiren bir hedef kitle icin interaktif pano daha uygundur. **Kucuk veri setleri ile veri hikayeciligi yapilabilir mi?** Evet. Tek bir guclu bulgu bile etkin bir hikaye olusturmaya yeterlidir. Kucuk veri setlerinde istatistiksel guven aralıklarini ve orneklem buyuklugu sinirliliklar acıkca belirtmek seffaflik acisından kritiktir.

arrow_forward
manage_history

Data Versioning Nedir? Makine Öğrenmesinde Veri Versiyonlama (Veri Versiyonlama)

Data versioning (veri versiyonlama), makine öğrenmesi ve veri bilimi projelerinde kullanılan veri kümelerini, modelleri ve deneyleri Git'e benzer şekilde izleyen bir sürüm kontrol yöntemidir. Geleneksel yazılım geliştirmede kod değişiklikleri Git ile takip edilirken makine öğrenmesi projelerinde veri kümelerinin de aynı titizlikle yönetilmesi kritik önem taşır. Bir model eğitiminde hangi veri setinin kullanıldığını bilmeden deneyler tekrarlanamaz, performans regresyonlarının kaynağı tespit edilemez ve model denetim (audit) süreçleri güvenilir biçimde yürütülemez. 'Aynı kod, aynı veri sürümü, aynı sonuç' prensibi olarak da tanımlanan tam yeniden üretilebilirlik (full reproducibility), MLOps olgunluk modelinin temel gereksinimlerinden biridir. Bu alandaki en yaygın araç DVC (Data Version Control) olup açık kaynaklı bir proje olarak Git ile entegre çalışır: büyük veri dosyalarını Amazon S3, Google Cloud Storage veya Azure Blob gibi uzak depolara yükler, Git reposunda ise yalnızca küçük birer meta-dosya (pointer) tutar. Kasım 2025'te lakeFS tarafından satın alınan DVC, veri göllerinde Git tarzı dallanma, commit ve merge işlemlerine olanak tanıyan lakeFS mimarisiyle birleşmeye başlamıştır. Versiyon yönetimi yalnızca ham veri ile sınırlı kalmaz; dönüştürülmüş veri kümeleri, model ağırlıkları ve deney konfigürasyonları (hiperparametreler, rastgele tohum değerleri) de kapsama dahil edilir. Delta Lake ve Apache Iceberg ise veri gölü ve veri ambarı ortamlarında tablo düzeyinde ACID uyumlu versiyonlama, anlık görüntü (snapshot) alımı ve zaman yolculuğu sorguları (time travel query) sunarak data versioning'i kurumsal ölçekte uygulanabilir kılar. MLOps boru hatlarında data versioning şu görevleri üstlenir: her model eğitim koşusu için kullanılan veri sürümünü otomatik olarak kaydeder, model kayıt defteri (model registry) ile veri sürümü arasında birebir ilişki kurar, regresyon testlerinde referans veri setlerini sabitler ve AB testi koşullarını izole eder. Bu nedenle data versioning, üretime alınan yapay zeka sistemlerinde hem güvenilirlik hem de uyumluluk (compliance) gereksinimlerini karşılamak için vazgeçilmez bir bileşen haline gelmiştir.

arrow_forward
warehouse

Data Warehouse (Veri Ambarı)

Veri Ambarı (Data Warehouse), farklı kaynaklardan toplanan büyük miktarda yapılandırılmış verinin analitik sorgular ve iş zekası (BI) uygulamaları için optimize edilmiş şekilde depolandığı merkezi bir veritabanı sistemidir. Günlük işlem (OLTP) veritabanlarından farklı olarak veri ambarları, tarihsel veriyi korumak, karmaşık analizler yapmak ve karar destek sistemlerine veri sağlamak amacıyla tasarlanmıştır. Bill Inmon, 1990'da veri ambarını dört temel özellikle tanımladı: (1) Konu odaklı — müşteri, ürün veya satış gibi belirli iş konuları etrafında organize edilir; (2) Entegre — farklı kaynaklardan gelen veriler tutarlı bir formatta birleştirilir; (3) Değişmez — bir kez yüklenen veriler güncellenmez, yalnızca yeni kayıtlar eklenir; (4) Zaman serili — veriler belirli dönemlere ait etiketlerle saklanır ve tarihsel analiz mümkün kılınır. Veri ambarına veri yüklemek için ETL (Extract, Transform, Load) süreci kullanılır: kaynak sistemlerden veri çekilir, temizlenip dönüştürülür ve ambar tablolarına yüklenir. Modern yaklaşımlarda ELT (ham veri önce yüklenir, sonra dönüştürülür) yöntemi de yaygınlaşmıştır. Boyutsal modelleme (dimensional modeling) tekniğiyle oluşturulan yıldız (star) ve kar tanesi (snowflake) şema tasarımları, sorgu performansını artırır. Bulut çağında Amazon Redshift, Google BigQuery, Snowflake ve Microsoft Azure Synapse Analytics gibi MPP (Massively Parallel Processing) mimarili çözümler petabayt ölçeğinde veri işlemeyi mümkün kılmaktadır. Data Lakehouse mimarisi ise veri ambarı ile Data Lake'in avantajlarını tek platformda birleştirmektedir. Veri ambarları; finans raporlaması, müşteri segmentasyonu, tedarik zinciri optimizasyonu ve makine öğrenimi feature store'ları için kritik altyapıdır.

arrow_forward
cleaning_services

Data Wrangling (Veri Düzenleme)

Data wrangling (veri düzenleme ya da veri mücadelesi olarak da bilinir), ham ve dağınık veri kümelerini analiz ve makine öğrenimi modellerine uygun biçimde kullanılabilir hale getirmek amacıyla uygulanan temizleme, dönüştürme ve birleştirme sürecini ifade eder. Gerçek dünya verilerinin büyük çoğunluğu eksik değerler, yanlış biçimler, tutarsız kodlamalar ve aykırı gözlemler içerdiğinden bu süreç, başarılı bir veri bilimi projesinin temel taşını oluşturur. Data wrangling süreci tipik olarak birkaç kritik adımı kapsar. İlk adımda veriler farklı kaynaklardan (CSV dosyaları, API yanıtları, veritabanı sorguları, web scraping çıktıları) bir araya getirilir. Keşif aşamasında verinin genel yapısı, sütun türleri ve özet istatistikler incelenir; sorunlu alanlar tespit edilir. Temizleme adımında eksik değerler imputation yöntemleriyle doldurulur ya da ilgili satırlar çıkarılır, yinelenen kayıtlar kaldırılır, hatalı biçimler düzeltilir ve uç değerler ayıklanır. Dönüştürme aşamasında tarih-saat formatları standartlaştırılır, kategorik değişkenler one-hot encoding veya label encoding ile sayısallaştırılır ve sayısal sütunlar normalizasyon ya da standardizasyon ile ölçeklenir. Son olarak birden fazla tablo ya da kaynak JOIN/merge işlemleriyle birleştirilerek nihai analiz veri kümesi oluşturulur. Araştırmalar, veri bilimcilerin zamanının yaklaşık yüzde altmış ile seksen arasını modelleme ve görselleştirme yerine veri hazırlama adımlarına harcadığını ortaya koymaktadır. Python ekosisteminde Pandas ve Polars en yaygın kullanılan kütüphanelerdir. Büyük ölçekli projelerde Apache Spark veya dbt gibi araçlar tercih edilirken düşük kod araçları (OpenRefine, Alteryx, Trifacta) teknik geçmişi olmayan kullanıcılara da wrangling imkânı sunar. Makine öğrenimi bağlamında data wrangling, özellik mühendisliği (feature engineering) ile birlikte anılır; ancak ikisi farklı kavramlardır: wrangling ham veriyi temizleyip yapılandırır, feature engineering ise bu temiz veriden yeni anlamlı öznitelikler türetir. Temiz ve iyi yapılandırılmış veri olmadan hiçbir model istenen performansa ulaşamaz; bu nedenle data wrangling hem pratikte hem teoride yapay zeka projelerinin en kritik adımlarından biri olarak kabul edilir.

arrow_forward
code_blocks

Descriptive Analytics (Betimsel Analitik)

Betimsel analitik (descriptive analytics), ham veri kümesinin temel özelliklerini ortaya koymak için kullanılan en temel analitik katmandır. Dört aşamalı analitik yelpazesinin (betimsel → tanısal → tahmine dayalı → kural koyucu) ilk ve zorunlu halkasıdır; diğer tüm katmanlar betimsel analitiğin bulgularına dayanır. Temel soru her zaman "geçmişte ne oldu?" ya da "şu an ne oluyor?" biçimindedir. Merkezi eğilim ölçütleri olan ortalama (mean), medyan (median) ve tepe değer (mode) ile birlikte standart sapma, varyans ve çeyrek değerleri hesaplanır. Bu istatistikler histogramlar, kutu grafikleri (box plot), ısı haritaları (heatmap) ve çizgi grafikler aracılığıyla görselleştirilir. Canlı panolar (dashboard) ise üretim ortamındaki gerçek zamanlı metrikleri anında izlemeyi sağlar. Yapay zeka ve makine öğrenmesi süreçlerinde betimsel analitik iki kritik noktada devreye girer: birincisi keşifsel veri analizi (EDA) — model kurulmadan önce değişkenlerin dağılımı, korelasyon matrisleri ve aykırı değerler bu katmanda tespit edilir; ikincisi ise model performans izleme — üretimdeki bir modelin doğruluk, kesinlik ve F1-skoru değerleri zaman içinde takip edilerek veri kayması (data drift) erken dönemde fark edilir. Python ekosisteminde pandas, matplotlib, seaborn ve plotly betimsel analitik için en yaygın araçlardır; df.describe() fonksiyonu tek satırda sayısal sütunların tam özetini verir. Kurumsal BI dünyasında ise Tableau ve Microsoft Power BI fiili standartlardır. Büyük ölçekli veri kümelerinde SQL ile yazılan GROUP BY ve pencere fonksiyonları (window functions) betimsel sorguların temelini oluşturur.

arrow_forward
dataset

Eğitim Verisi (Eğitim Verisi)

Eğitim Verisi (Training Data), bir makine öğrenmesi veya derin öğrenme modelinin öğrenme sürecinde kullandığı, modelin parametrelerini güncellemek ve genelleme kapasitesini geliştirmek amacıyla işlenen veri kümesidir. Modelin öğrenebileceği her şey eğitim verisinden gelir; bu nedenle veri kalitesi ve çeşitliliği modelin performansını doğrudan belirler. Eğitim verisi iki temel biçimde olabilir. Etiketli veri, her giriş örneğine doğru çıktı etiketinin atandığı veridir; denetimli öğrenmede bu format zorunludur. Bir görüntü sınıflandırıcısı için binlerce 'kedi/köpek' etiketli fotoğraf veya duygu analizi için cümle-duygu çiftleri etiketli veri örnekleridir. Etiketsiz veri ise önceden işareti olmayan ham verilerdir; dil modelleri milyarlarca etiketlenmemiş İnternet metni üzerinde öz-denetimli öğrenmeyle eğitilir. Eğitim verisinin kalitesi birden çok boyut içerir: doğruluk (yanlış etiketlerin az olması), temsil gücü (gerçek dünya dağılımını yansıtması), çeşitlilik (farklı senaryoları kapsaması) ve önyargısızlık (belirli grupları haksız biçimde temsil etmemesi). Veri önyargısı (data bias) modelin adaletsiz çıktılar üretmesine yol açar; İnsan Geri Bildirimi ile Pekiştirmeli Öğrenme (RLHF) bu sorunu kısmen gidermek için kullanılan tekniklerden biridir. Veri mühendisliği uygulamaları arasında veri artırma (rotasyon, kırpma, yeniden örnekleme), sentetik veri üretimi ve veri temizleme (aykırı değerlerin, duplikatların kaldırılması) yer alır. Eğitim-doğrulama-test ayrımı standart protokoldür: model yalnızca eğitim verisiyle öğrenir, doğrulama verisiyle hiperparametreler ayarlanır, test verisi ise yalnızca nihai değerlendirme için kullanılır. Verilerin telif hakkı ve gizlilik boyutu da giderek önem kazanmaktadır. GDPR ve benzeri düzenlemeler kişisel veri kullanımını sınırlarken Creative Commons veya açık lisanslı veri kümeleri yasal belirsizlik olmadan kullanılabilir. Model kartları artık eğitim veri kaynağını şeffaf biçimde açıklamayı bir iyi pratik olarak önermektedir.

arrow_forward
scatter_plot

Embedding (Gömme / Vektörleştirme)

Embedding nedir sorusunun en kısa yanıtı şudur: Embedding (Türkçede gömme ya da vektörleştirme), kelimelerin, cümlelerin, görsellerin veya herhangi bir veri tipinin, yapay zekânın işleyebileceği sayısal dizilere, yani vektörlere dönüştürülmesi işlemidir. Bu dönüşüm rastgele sayılarla yapılmaz; verinin anlamsal (semantik) değerini koruyacak şekilde, çok boyutlu matematiksel bir uzayda koordinatlara yerleştirilmesiyle gerçekleşir. Benzer anlam taşıyan içerikler bu uzayda birbirine yakın, alakasız içerikler ise uzak konumlanır. "Kedi" ile "köpek" vektörleri yan yana dururken, "kedi" ile "traktör" arasındaki mesafe çok daha büyüktür. Embedding'in önemi, bilgisayarların metni doğrudan anlayamamasından gelir: makineler yalnızca sayılarla çalışır. Anlamı sayılara çevirmenin güvenilir bir yolu olmadan ne semantik arama ne öneri sistemleri ne de büyük dil modelleri çalışabilirdi. ChatGPT gibi modeller girdiyi önce token'lara ayırır, ardından her token'ı bir embedding vektörüne çevirir; modelin "anlama" dediğimiz tüm işlemleri bu vektörler üzerinde yürür. Pratikte embedding'ler en çok üç yerde karşımıza çıkar. Birincisi semantik arama ve RAG sistemleri: kullanıcının sorusu ile belgeler aynı vektör uzayına gömülür, kosinüs benzerliği ile en alakalı içerik bulunur. İkincisi öneri sistemleri: Spotify veya Netflix, beğendiğiniz içeriğe vektör uzayında en yakın duran içerikleri önerir. Üçüncüsü çok modlu uygulamalar: CLIP gibi modeller metin ve görseli aynı uzayda temsil ederek metinle görsel arama yapılmasına imkân tanır. Üretilen vektörler genellikle Pinecone, Weaviate veya pgvector gibi vektör veritabanlarında saklanır ve milyonlarca kayıt arasından milisaniyeler içinde en yakın komşular bulunur. Kısaca embedding, modern yapay zekâ uygulamalarında anlam ile matematik arasındaki köprüdür.

arrow_forward
code_blocks

Feature Importance (Özellik Önemi)

Feature importance (özellik önemi), makine öğrenmesi modellerinde her bir girdi özelliğinin tahmin çıktısı üzerindeki etkisini ölçen yorumlanabilirlik tekniğidir. On farklı değişken kullanan bir modelde, hangi değişkenlerin tahmini en çok şekillendirdiğini sayısal olarak ortaya koyar. Bu analiz üç temel yöntemle gerçekleştirilir. Gini/MDI (Mean Decrease Impurity) yöntemi, karar ağacı tabanlı modellerde her özelliğin düğümlerdeki safsızlık azalmasına katkısını hesaplar; hızlı ve yerleşik bir yaklaşım olmakla birlikte yüksek kardinaliteli özelliklere karşı önyargılı olabilir. Permutation Importance yöntemi, bir özelliğin değerlerini test verisi üzerinde rastgele karıştırır ve modelin doğruluğundaki düşüşü ölçer; herhangi bir modelde çalışan bağımsız bir tekniktir. SHAP (SHapley Additive exPlanations) değerleri ise kooperatif oyun teorisinden türetilmiş matematiksel bir çerçevedir; her tahmin için her özelliğin bireysel katkısını tutarlı ve adil biçimde hesaplar ve günümüzde endüstri standardı kabul edilmektedir. Feature importance analizinin pratik yararları şunlardır: gereksiz özellikleri eleme yoluyla boyut azaltma, modelin iç paydaşlara anlaşılır biçimde açıklanması, veri toplama maliyetlerinin düşürülmesi ve modeldeki olası önyargı kaynaklarının tespiti. Özellikle finans sektöründe kredi kararları, sağlık alanında tanı modelleri ve hukuki süreçlerde yapay zeka kararlarını açıklamak zorunlu hale gelmiştir; bu nedenle feature importance, açıklanabilir yapay zeka (XAI) ekosisteminin temel taşlarından birini oluşturmaktadır. Araç desteği açısından Scikit-learn, XGBoost ve LightGBM gibi kütüphaneler yerleşik importance hesapları sunarken, SHAP ve LIME kütüphaneleri herhangi bir kara kutu model için yorumlanabilir açıklamalar üretir. Random forest ve gradient boosting gibi topluluk yöntemleri, özellik önemini ortalama doğruluk kaybı üzerinden doğal biçimde hesaplar.

arrow_forward
manage_search

Information Retrieval (IR) (Bilgi Erişimi)

Bilgi Erişimi (Information Retrieval, IR), büyük belge koleksiyonları veya veri kümeleri içinden kullanıcının bilgi ihtiyacına en uygun içerikleri bulup sıralayan bir bilgisayar bilimi dalıdır. Google, Bing ve Yandex gibi web arama motorları ile akademik veri tabanları, bu disiplinin en yaygın uygulamalarıdır. Geleneksel IR sistemleri, metinlerin kelime frekanslarına dayanan TF-IDF (Term Frequency-Inverse Document Frequency) ve BM25 gibi istatistiksel modeller üzerine kuruluydu. Bu yaklaşımlarda belgeler ve sorgular "çanta modeli" (bag-of-words) ile temsil edilir; kelimelerin sırasına değil yalnızca varlığına bakılır. Bu yöntemler hızlı ve yorumlanabilir olsa da anlam bağlamını (semantiği) kavrayamaz; "otomobil" sorgusu "araba" kelimesini içeren belgeleri bulamaz. Derin öğrenme ve büyük dil modellerinin yaygınlaşmasıyla birlikte nöral bilgi erişimi yeni bir çığır açtı. Gömülü vektörler (embedding) sayesinde sorgular ve belgeler yüksek boyutlu anlam uzayına taşınır; benzer anlamlı içerikler bu uzayda birbirine yakın konumlanır. Böylece "COVID-19 belirtileri" sorgusu, "koronavirüs semptomları" başlıklı belgeyle kavramsal benzerlik üzerinden eşleşebilir. Çift kodlayıcı (bi-encoder) mimarilerde sorgu ve belge ayrı ayrı gömülerek kosinüs benzerliği hesaplanırken, çapraz kodlayıcı (cross-encoder) mimariler ikisini birlikte değerlendirerek daha hassas sıralama sağlar. Vektör veritabanları bu anlam tabanlı eşleşmeyi verimli ölçekte mümkün kılar; HNSW ve IVF gibi ANN (Approximate Nearest Neighbor) algoritmaları sayesinde milyarlarca vektör içinde milisaniyeler içinde arama yapılır. Retrieval-Augmented Generation (RAG) mimarisinde ise IR, büyük dil modellerinin güncel ve doğru yanıtlar üretmesi için bilgi alma katmanı görevi görür. IR başarısını ölçmek için Precision, Recall, F1 ve NDCG (Normalized Discounted Cumulative Gain) metrikleri kullanılır. 1992'den beri NIST tarafından düzenlenen TREC (Text Retrieval Conference) koleksiyonları altın standart olarak kabul edilir. Modern IR sistemleri çok dilli arama, görüntü ve ses tabanlı sorgulama ile kişiselleştirme gibi multimodal ve bağlam duyarlı yetenekleri de kapsamaktadır.

arrow_forward
query_stats

Keşifsel Veri Analizi (EDA) (EDA)

Keşifsel Veri Analizi (Exploratory Data Analysis, EDA), ham veriden anlam çıkarmanın ilk ve en kritik adımıdır. John Tukey'in 1977'de kaleme aldığı aynı adlı eseriyle sistematik bir disiplin hâline gelen EDA, veri bilimcilerin bir veri kümesini modellemeden veya hipotez testine sokmadan önce derinlemesine incelediği keşifsel süreçtir. EDA'nın temel amacı şu soruları yanıtlamaktır: Veri nasıl dağılmış? Hangi değişkenler birbiriyle ilişkili? Aykırı değerler (outlier) var mı ve bunlar gerçek mi yoksa veri giriş hatası mı? Eksik değerler (missing values) hangi örüntüde oluşmuş? Hangi özellikler hedef değişkeni en çok etkiliyor? Bu soruları yanıtlamak için EDA iki temel yöntem sınıfına başvurur. Nicel yöntemler arasında merkezi eğilim ölçüleri (ortalama, medyan, mod), yayılım ölçüleri (standart sapma, varyans, çeyrekler arası aralık), çarpıklık ve basıklık katsayıları yer alır. Nitel/görsel yöntemler ise histogram, kutu grafiği (box plot), yoğunluk grafiği, dağılım matrisi (pair plot) ve korelasyon ısı haritası gibi araçlarla veriyi sezgisel biçimde anlaşılır kılar. Modern veri bilimi ekosisteminde EDA, Python'da Pandas, NumPy, Matplotlib, Seaborn ve Plotly kütüphaneleriyle; R'de ggplot2 ve dplyr ile yürütülür. Pandas Profiling ve ydata-profiling gibi otomatik EDA araçları tek bir komutla kapsamlı raporlar üretir. AutoEDA yaklaşımları büyük veri kümelerinde zaman tasarrufu sağlasa da deneyimli bir veri bilimcinin yorumunun yerini alamaz. EDA, özellik mühendisliği (feature engineering), veri temizleme ve model seçimi kararları üzerinde doğrudan etkilidir. Kötü anlaşılmış veriyle kurulan modeller ne kadar sofistike olursa olsun güvenilmez sonuçlar üretir; bu nedenle EDA 'çöp girer, çöp çıkar' ilkesinin pratikte uygulandığı kalkan katmanıdır.

arrow_forward
share

Knowledge Graph (Bilgi Grafiği)

Bilgi grafiği (knowledge graph), gerçek dünya varlıklarını ve bu varlıklar arasındaki ilişkileri yapılandırılmış bir ağ olarak temsil eden bir veri modelidir. Düğümler (node) varlıkları — kişiler, yerler, kavramlar, olaylar — temsil ederken kenarlar (edge) bu varlıklar arasındaki ilişkileri ifade eder. Bu yapı, verinin yalnızca depolanmasını değil, anlam bağlamıyla birlikte sorgulanmasını mümkün kılar. Bilgi grafikleri, Google'ın 2012'de duyurduğu Knowledge Graph projesiyle geniş kitleler tarafından tanınmaya başlamıştır. Google, arama sonuçlarında salt bağlantı listesi yerine varlık bilgilerini (kişi biyografileri, coğrafi veriler, ürün özellikleri) zengin bir biçimde sunmak amacıyla bu teknolojiyi kullanmaktadır. Bugün Wikidata, DBpedia, Freebase ve Yago bu alanın önde gelen açık kaynak örnekleri arasındadır. Teknik olarak bilgi grafikleri çoğunlukla RDF (Resource Description Framework) veya özellik grafikleri (property graph) formatında modellenir. SPARQL, RDF veri tabanlarını sorgulamak için kullanılan standart dil iken Neo4j gibi graf veri tabanları özellik grafikleri için Cypher dilini benimser. Ontolojiler ise bir alan içindeki kavramlar ve ilişkiler için resmî tanımlar sağlar; OWL (Web Ontology Language) bu alanda standart haline gelmiştir. Yapay zeka uygulamalarında bilgi grafikleri, büyük dil modellerinin çıktılarını doğrulamak ve zenginleştirmek amacıyla kullanılmaktadır. Retrieval-Augmented Generation (RAG) sistemlerinde bilgi grafiği entegrasyonu, modelin mantıksal ilişkiler kurmasına ve halüsinasyonları azaltmasına yardımcı olur. İlaç keşfi, dolandırıcılık tespiti, öneri sistemleri ve kurumsal bilgi yönetimi bu teknolojinin öne çıkan uygulama alanlarıdır. Bilgi grafikleri, verilerin silolara ayrılmadan bütünleşik olarak temsil edilmesine olanak tanıdığı için kurumsal veri yönetiminde giderek daha kritik bir rol üstlenmektedir. Şirketler, birden fazla sistemdeki müşteri, ürün ve işlem verilerini tek bir anlamlı ağda birleştirerek daha akıllı sorgulama ve analiz gerçekleştirebilmektedir.

arrow_forward
code_blocks

Müşteri Segmentasyonu (Müşteri Segmentasyonu)

Müşteri segmentasyonu, bir şirketin müşteri tabanını benzer özellikleri paylaşan homojen gruplara (segmentlere) bölme sürecidir. Bu yaklaşım, pazarlama mesajlarını, ürün önerilerini ve fiyatlandırma stratejilerini farklı müşteri gruplarına özgü şekilde uyarlamayı mümkün kılar ve kaynakların en yüksek getiri sağlayacak alanlara yönlendirilmesini destekler. Segmentasyon yaklaşımları dört ana başlık altında toplanır: demografik (yaş, cinsiyet, gelir düzeyi), coğrafi (şehir, ülke, iklim bölgesi), psikografik (yaşam tarzı, değerler, kişilik özellikleri) ve davranışsal (satın alma sıklığı, ürün kullanımı, marka sadakati). Modern yapay zeka uygulamaları bu dört boyutu eş zamanlı analiz ederek pazarlama ekibinin elle çizemeyeceği ince segment sınırları belirler. Makine öğrenmesi algoritmaları bu alanda belirleyici rol oynar. K-Means ve DBSCAN gibi kümeleme algoritmaları yüzlerce özniteliği işleyerek anlamlı gruplar keşfeder. RFM (Recency-Frequency-Monetary) analizi, müşteri değerini üç boyutta ölçerek yüksek değerli segmentlerin korunmasına odaklanır: en son satın alma tarihi, alışveriş sıklığı ve toplam harcama. Öneri sistemleriyle entegre çalışan segmentasyon modelleri, Amazon ve Netflix gibi platformların kişiselleştirilmiş deneyim sunmasının temelini oluşturur. Bir müşterinin geçmiş alışveriş örüntüsü, terk ettiği ürünler ve tıklama davranışları birleştirildiğinde segment tahmininin doğruluğu önemli ölçüde artar. Değerlendirme açısından Silüet Skoru ve Davies-Bouldin Endeksi, oluşturulan segmentlerin birbirinden ne kadar ayrışık olduğunu sayısal olarak ölçer. Yüksek Silüet Skoru, segment içi sıkılık ile segment arası uzaklık arasındaki ideal dengeye işaret eder. Türk e-ticaret pazarında özellikle kıdemli müşteri segmentlerinin belirlenmesi ve sezonluk davranış değişikliklerinin izlenmesi için aktif kullanılmaktadır. Trendyol ve Hepsiburada gibi platformlar, cohort analizi ile segmentasyonu birleştirerek müşteriyi yaşam döngüsü boyunca takip eder.

arrow_forward
🔍

Outlier Detection Nedir? Aykırı Değer Tespiti (Aykırı Değer Tespiti)

Aykırı değer tespiti (outlier detection ya da anomaly detection), bir veri seti içinde normal davranıştan anormal biçimde sapan gözlemleri otomatik olarak tanımlayan makine öğrenmesi ve istatistik tekniklerinin bütünüdür. Aykırı değerler üç kaynaktan doğabilir: veri toplama ya da ölçüm hataları; nadir ama gerçek olaylar (dolandırıcılık işlemi, hastalık belirtisi); veya ilginç uç noktalar (pazar fırsatı, keşif). Kaynağı doğru saptamak uygulanacak yöntemi belirler. İstatistiksel yöntemler en basit ve yorumlanabilir yaklaşımlardır. IQR (Interquartile Range) yöntemi, birinci ve üçüncü çeyrekler arasındaki aralığın 1.5 katının dışında kalan değerleri aykırı sayar; tek değişkenli ve normal dağılıma yakın verilerde çalışır. Z-skoru, bir gözlemin ortalamastan standart sapma cinsinden uzaklığını ölçer; |z| > 3 eşiği sıkça kullanılır. Bu yöntemler çok boyutlu veri ve doğrusal olmayan dağılımlarda yetersiz kalır. Yoğunluk tabanlı yöntemler yerel komşuluk ilişkilerini kullanır. LOF (Local Outlier Factor, 2000), bir noktanın yerel yoğunluğunu komşularının yoğunluğuyla karşılaştırır; çevresine kıyasla boşlukta kalan noktalar yüksek LOF skoru alır. DBSCAN (Density-Based Spatial Clustering), minimum komşu sayısını karşılayamayan noktaları "gürültü" yani aykırı değer olarak etiketler; küme şeklini önceden belirtme zorunluluğu yoktur. Makine öğrenmesi tabanlı yöntemler yüksek boyutlu veride öne çıkar. Isolation Forest (Liu ve ark., 2008), rastgele özellik ve bölüm noktaları seçerek veriyi yinelemeli böler; az örnekli aykırı değerler ortalamadan çok daha kısa yolda izole edildiğinden ağaç derinliği kısa olur. Bu basit sezgi ölçeklenebilir ve paralel hesaplamaya uygundur. One-Class SVM, yalnızca normal sınıfın verisinden sıkı bir karar sınırı öğrenir; bu sınırın dışına düşen noktaları anormal kabul eder. Autoencoder tabanlı yöntemler ise giriş verisini düşük boyutlu gizli uzayda yeniden oluşturur; yeniden yapılandırma hatası (reconstruction error) yüksek olan örnekler modelin öğrendiği "normal" desenden uzaklaşmıştır. Uygulama alanları son derece geniştir: bankacılıkta kredi kartı dolandırıcılığı tespiti, endüstriyel IoT'da makine arıza öngörüsü (predictive maintenance), ağ güvenliğinde siber saldırı tespiti, sağlıkta nadir hastalık tanısı ve perakendede envanter sahtekarlığı bu alanların öne çıkanlarıdır. Denetlenmemiş (unsupervised) senaryolarda etiketli veri gerektirmeyen Isolation Forest ve LOF tercih edilirken, az sayıda bilinen anormallik örneği varsa yarı-denetimli (semi-supervised) yaklaşımlar değer katar.

arrow_forward
code_blocks

Pandas (Pandas — Python Veri Analizi Kütüphanesi)

Pandas, 2008 yılında Wes McKinney tarafından geliştirilen ve günümüzde NumFOCUS sponsorluğunda sürdürülen açık kaynaklı bir Python kütüphanesidir. Adını 'panel data' (panel verisi) ve 'Python Data Analysis Library' kavramlarından alan kütüphane, veri bilimi ve makine öğrenimi ekosisteminin temel taşlarından birini oluşturur. Pandas iki temel veri yapısı sunar: **Series** (tek boyutlu, etiketlenmiş dizi) ve **DataFrame** (iki boyutlu, tablo biçimli veri yapısı). DataFrame, satırları gözlem (örnek) ve sütunları özellik (feature) olarak ele alır; bu yapı veritabanı tablolarına veya Excel çalışma sayfalarına benzer. Makine öğrenimi modellerine beslenmeden önce neredeyse her veri seti bu biçime dönüştürülür. Kütüphanenin öne çıkan yetenekleri arasında şunlar yer alır: CSV, Excel, JSON, SQL, Parquet ve HTML gibi farklı kaynaklardan veri okuma; eksik değerlerin (NaN) tespiti ve doldurulması (imputation); veri gruplama (groupby), pivotlama ve birleştirme (merge/join/concat); zaman serisi endeksleme ve frekans dönüşümleri; vektörel hesaplamalar ve apply/map/lambda operasyonları. Makine öğrenimi boru hattında Pandas, modelden önce gelen veri hazırlama adımlarının büyük bölümünü üstlenir. Scikit-learn, XGBoost ve TensorFlow/Keras gibi çerçeveler Pandas DataFrame'lerini giriş olarak doğrudan kabul eder. Özellik mühendisliği sırasında yeni sütunlar türetmek, kategorik değişkenleri kodlamak ve normalizasyon uygulamak Pandas ile birkaç satır kodla gerçekleştirilir. Büyük veri ölçeğinde Pandas tek başına yetersiz kalabilir; bu durumda Dask (paralel Pandas), Polars (Rust tabanlı yüksek performanslı alternatif) veya Apache Spark'ın PySpark API'si devreye girer. 2023-2024 itibarıyla Pandas 2.0 ile birlikte dahili olarak Apache Arrow bellek biçiminin kullanılmaya başlanması performansı önemli ölçüde artırmıştır. Türkiye'deki veri bilimi eğitimlerinde Pandas, NumPy ile birlikte en temel Python kütüphaneleri arasında gösterilmektedir. İş ilanlarında 'Pandas deneyimi' düzenli olarak yer almakta; veri analistleri ve makine öğrenimi mühendisleri için sektörel bir standart haline gelmiş bulunmaktadır.

arrow_forward
insights

Predictive Analytics (Öngörüsel Analitik)

Tahmine dayalı analitik (predictive analytics), istatistiksel modeller, makine öğrenmesi algoritmaları ve geçmiş verileri kullanarak gelecekteki olayları, eğilimleri veya davranışları tahmin eden veri bilimi disiplinidir. Geriye dönük tanımlayıcı analitiğin ötesine geçerek 'ne olabilir?' sorusuna olasılıksal yanıtlar üretir. Tahmine dayalı analitiğin en yaygın uygulaması müşteri davranışı tahminidir. E-ticaret platformları satın alma olasılığını tahmin ederek kişiselleştirilmiş öneriler sunar; bankalar kredi temerrüt olasılığını modelleyerek risk yönetimi yapar; sigorta şirketleri poliçe başvurusu alınmadan önce kaza olasılığını hesaplar. Bu modeller lojistik regresyon, karar ağaçları, rastgele orman veya gradient boosting gibi algoritmalar üzerine inşa edilebilir. Sağlık sektöründe tahmine dayalı analitik erken tanı için kritik değer taşır. Hasta taburculuk sonrası hastaneye yeniden kabul olasılığını, sepsis riskini veya ilaç uyumsuzluğunu öngören modeller klinik kararları destekler. IBM Watson Health ve Optum gibi platformlar bu kapasiteleri ölçeklenebilir biçimde sunmaktadır. Tedarik zinciri ve üretimde kestirimci bakım (predictive maintenance), ekipman arızasını önceden tespit ederek plansız duruş sürelerini ve bakım maliyetlerini azaltır. Sensör verileri, titreşim analizi ve sıcaklık örüntüleri makine sağlığını sürekli izlemek için kullanılır. Model geliştirme sürecinde özellik seçimi, eğitim-test bölmeleme, zaman serisi kayması (temporal leakage) ve sınıf dengesizliği gibi zorluklarla dikkatli biçimde başa çıkmak gerekir. Tahmin modeli doğruluğu kadar açıklanabilirliği ve adilliği de giderek daha fazla ön plana çıkmaktadır.

arrow_forward
code_blocks

Prescriptive Analytics (Prescriptif Analitik)

Prescriptif analitik, veri analitiğinin en gelişmiş basamağını temsil eder. Tanımlayıcı analitik "ne oldu?" sorusunu yanıtlarken, teşhis analitik "neden oldu?" sorusunu, öngörüsel analitik "ne olacak?" sorusunu ve prescriptif analitik ise "ne yapmalıyız?" sorusunu yanıtlar. Bu son basamak, yalnızca geleceği tahmin etmekle kalmaz; aynı zamanda belirlenen hedeflere ulaşmak için optimal eylem planları önerir. Prescriptif analitiğin temel mekanizması, optimizasyon algoritmalarını tahmine dayalı modellerle birleştirmektir. Doğrusal programlama ve tamsayılı programlama gibi operasyon araştırması teknikleri, kısıt koşulları altında en iyi çözümü bulmak için kullanılır. Monte Carlo simülasyonu ise olası senaryoları binlerce kez çalıştırarak belirsizlik altında karar almayı destekler. Modern prescriptif sistemler bu klasik yöntemleri pekiştirmeli öğrenme ve büyük dil modelleriyle güçlendirerek dinamik ortamlarda gerçek zamanlı kararlar üretebilmektedir. Prescriptif analitiğin uygulama alanları son derece geniştir. Tedarik zinciri yönetiminde perakende devleri envanter optimizasyonu için prescriptif modellerden yararlanmaktadır. Sağlık sektöründe hastane kaynak planlaması ve ilaç dozaj optimizasyonu bu yaklaşımla yönetilir. Enerji sektöründe yenilenebilir kaynak dağıtımı ve şebeke dengeleme prescriptif modellerle optimize edilir. Finansta portföy optimizasyonu ve risk yönetimi bu tekniğin klasik uygulama alanlarıdır. Prescriptif analitik uygulamalarının başarısı büyük ölçüde veri kalitesine ve kısıt tanımlarının doğruluğuna bağlıdır. Açıklanabilir yapay zeka teknikleri, karar alıcıların güvenini kazanmak için prescriptif sistemlerle giderek daha sık entegre edilmektedir. AB Yapay Zeka Yasası kapsamında yüksek riskli sektörlerdeki otomatik karar sistemleri insan denetimi gerektirmekte olup bu durum prescriptif analitik tasarımını doğrudan etkilemektedir.

arrow_forward
code_blocks

ROC-AUC (ROC Eğrisi ve AUC)

ROC-AUC (Receiver Operating Characteristic - Eğri Altındaki Alan), ikili sınıflandırma modellerinin performansını karar eşiğinden bağımsız olarak değerlendiren temel bir metriktir. ROC eğrisi, modelin ürettiği olasılık tahminlerine farklı karar eşikleri uygulandığında elde edilen Gerçek Pozitif Oranı (TPR - Duyarlılık) ile Yanlış Pozitif Oranı (FPR - 1-Özgüllük) çiftlerini bir grafik üzerinde gösterir. AUC (Area Under the Curve) ise bu eğrinin altındaki alanı ifade eder ve modelin genel ayırt etme gücünü 0 ile 1 arasında tek bir sayıyla özetler. AUC değeri 1.0, modelin tüm pozitif ve negatif örnekleri mükemmel şekilde ayırt ettiğini; 0.5 ise modelin rastgele tahminle eşdeğer olduğunu gösterir. Pratikte 0.7-0.8 arası kabul edilebilir, 0.8-0.9 iyi, 0.9 üstü ise mükemmel performans olarak değerlendirilir. Sıfırın altındaki değerler modelin sistematik olarak yanlış sınıflandırma yaptığını işaret eder; bu nadir durum genellikle sınıf etiketlerinin ters çevrildiği anlamına gelir. ROC-AUC'nin en kritik avantajı dengesiz sınıf dağılımlarına karşı dayanıklı olmasıdır. Tıbbi tanı, dolandırıcılık tespiti ve kredi risk değerlendirmesi gibi nadir olayların baskın olduğu problemlerde doğruluk (accuracy) metriği yanıltıcı sonuçlar verebilirken, ROC-AUC gerçek model kalitesini doğru şekilde yansıtır. Örneğin, yüzde doksanı negatif sınıfa ait olan bir veri setinde, her örneği negatif tahmin eden bir model yüzde doksan doğruluk elde eder ancak AUC skoru 0.5 olur ve modelin hiçbir ayırt etme gücü olmadığını açıkça ortaya koyar. Birden fazla modeli karşılaştırırken AUC skoru, hangi modelin tüm olası eşik değerleri boyunca daha tutarlı performans sergilediğini nesnel biçimde ortaya koyar. Python ekosisteminde scikit-learn kütüphanesi roc_auc_score() ve roc_curve() fonksiyonlarıyla bu metriğin hesaplanmasını kolaylaştırır.

arrow_forward
code_blocks

SHAP (SHapley Additive exPlanations) (SHAP Değerleri)

SHAP (SHapley Additive exPlanations), oyun teorisinden ilham alan bir model yorumlanabilirlik çerçevesidir. 2017'de Lundberg ve Lee tarafından önerilen yöntem, herhangi bir makine öğrenmesi modelinin bireysel tahminlerini, her özelliğin (feature) katkısını sayısal olarak göstererek açıklar. Temel soru şudur: "Bu model bu tahmin için neden bu değeri verdi?" Shapley değerleri, kooperatif oyun teorisinde adil ödül paylaşımı için geliştirilmiş matematiksel bir kavramdır. SHAP bu kavramı ML özelliklerine uygular: her özellik, modelin tahmin sonucuna katkısına göre bir değer alır. Katkı hesaplaması, özelliğin tüm olası alt kümelere dahil edilip dışarıda bırakıldığındaki etki ortalamasını alır; bu, tarafsız ve teorik olarak sağlam bir yaklaşım sunar. Pratikte tam Shapley hesaplaması 2^n kombinasyon gerektirir (n: özellik sayısı) ve yüksek boyutlu veri için hesaplama açısından ağırdır. Lundberg ve Lee bu sorunu çözmek için modele özgü hızlı yaklaşımlar geliştirdi: TreeSHAP, karar ağacı ve gradient boosting modellerinde (XGBoost, LightGBM, RandomForest) Shapley değerlerini polinom zamanda hesaplar; LinearSHAP doğrusal modeller için analitik çözüm sunar. SHAP çıktıları üç düzeyde yorumlanabilir. Yerel açıklama (local explanation) bireysel tahminler için hangi özelliklerin ne kadar katkı yaptığını gösterir; örneğin bir kredi risk modelinde müşterinin yaşı tahminini +0.3 puan artırırken gelir seviyesi -0.15 puan düşürdüğünü ortaya koyar. Küresel açıklama (global explanation), tüm veri kümesi üzerinde ortalama mutlak SHAP değerlerini hesaplayarak hangi özelliklerin model kararlarında genel olarak belirleyici olduğunu gösterir. Beeswarm ve summary plotlar bu küresel bakışı görselleştirir. SHAP waterfall plot, dependence plot ve force plot gibi yerleşik görselleştirmeler veri bilimcilerin modeli hem müşterilere hem de düzenleyicilere (regülatörlere) açıklamasını kolaylaştırır. Finansal hizmetler (kredi kararları), sağlık (teşhis destek), insan kaynakları ve adli analitik gibi yüksek riskli alanlarda SHAP, model kararlarının şeffaflığını ve denetlenebilirliğini artırmak için fiili standart hâline gelmiştir.

arrow_forward
code_blocks

Statistical Inference (İstatistiksel Çıkarım)

İstatistiksel çıkarım, sınırlı bir veri örnekleminden hareketle daha geniş bir kitle hakkında genellemeler ve tahminler yapma sürecidir. Veri biliminin temel taşlarından biri olan bu disiplin, gözlemlenemeyecek kadar büyük ya da erişimi kısıtlı popülasyonları anlamak için olasılık teorisinden yararlanır. Çıkarımsal istatistik iki ana ekol üzerine inşa edilmiştir. Frekansçı yaklaşım, parametreleri sabit birer değer olarak kabul eder; hipotez testleri ve güven aralıkları aracılığıyla sonuçlara ulaşır. Null hipotez (H0) belirlenerek p-değerine göre reddedilip reddedilmeyeceğine karar verilir: p < 0,05 eşiği, gözlemlerin rastlantısal değil anlamlı olduğuna işaret eder. Bayesçi yaklaşım ise olasılığı bir inanç derecesi olarak tanımlar; alan bilgisini (prior) yeni verilerle birleştirip posterior dağılım üretir. Küçük örneklemlerde ve uzman bilgisinin sürece katılması gereken durumlarda bu yöntem tercih edilir. Veri bilimi ve makine öğrenmesi bağlamında istatistiksel çıkarım birçok kritik görevi üstlenir. Model değerlendirmede çapraz doğrulama skorlarının anlamlı farklılıklar içerip içermediği test edilir. A/B testlerinde iki gruba ait dönüşüm oranı farkının istatistiksel olarak anlamlı olup olmadığı belirlenir. Regresyon analizinde katsayıların sıfırdan farklı olup olmadığını güven aralıkları ortaya koyar. Özellik seçiminde ise chi-kare, ANOVA ve t-testi gibi testler, değişkenlerin bağımlı değişkenle gerçek bir ilişki taşıyıp taşımadığını sınar. Büyük veri döneminde istatistiksel anlamlılık tuzağı önem kazanmıştır: devasa örneklemlerde pratik açıdan önemsiz etkiler bile p < 0,05 değeri üretebilir. Bu nedenle etki büyüklüğü (Cohen d, eta-kare) ve pratik anlamlılık değerlendirmesi vazgeçilmez bir tamamlayıcı hâline gelmiştir. Yapay zeka modellerinin tahminlerindeki belirsizliği ölçmek için de çıkarımsal istatistik kullanılır; konformal tahmin ve Bayesçi derin öğrenme bu alanın güncel uzantılarıdır. Büyük dil modellerinin değerlendirilmesinde iki modelin performans farkının gerçek mi yoksa örnekleme gürültüsünden mi kaynaklandığını anlamak için bootstrap yeniden örnekleme ve McNemar testi yaygın araçlara dönüşmüştür.

arrow_forward
code_blocks

Survival Analysis (Hayatta Kalma Analizi)

Hayatta kalma analizi, bir olayın gerçekleşmesine kadar geçen süreyi modellemek ve tahmin etmek için geliştirilmiş istatistiksel yöntemler bütünüdür. Tıp araştırmalarında kanser hastalarının remisyon süresi, mühendislikte ekipman ömrü ve iş analitiğinde müşteri kaybı (churn) gibi senaryolarda temel başvuru kaynağıdır. Bu analizin en kritik zorluğu sansürleme (censoring) olgusudur: Çalışma süresi sona erdiğinde bazı katılımcılar için ilgilenilen olay henüz gerçekleşmemiş olabilir. Sağ-sansürlü (right-censored) veriler, bilinen son gözlem tarihine kadar olayın yaşanmadığını ifade eder; sansürlemeyi göz ardı etmek, hayatta kalma olasılığını ciddi biçimde olduğundan küçük tahmin etmeye yol açar. Kaplan-Meier (KM) tahmincisi, hayatta kalma olasılığını her olay anında adım adım güncelleyen parametrik-olmayan bir yöntemdir. Klinisyenler ve araştırmacılar tarafından standart görselleştirme aracı olarak kullanılır; iki grup arasındaki fark ise log-rank testiyle değerlendirilir. Cox Orantılı Tehlike (Cox PH) modeli, yaş, dozaj veya risk skoru gibi birden fazla kovaryantın tehlike oranına etkisini eş zamanlı olarak modelleyen yarı-parametrik bir regresyon yöntemidir. Taban tehlike fonksiyonunu tahmin etmeden çalışması, esnekliğinin temel kaynağıdır. Her bir katsayının exp(β) dönüşümü tehlike oranını (HR) verir; HR > 1 ise ilgili faktör olayı hızlandırır. Hızlandırılmış Arıza Süresi (AFT) modelleri ise Weibull veya lognormal gibi parametrik dağılımları temel alarak bekleme süresini doğrudan çıktı olarak verir; elde edilen hızlandırma faktörü yorumlamayı basitleştirir. Derin öğrenme çağında Random Survival Forest, DeepHit ve Pycox gibi makine öğrenmesi yöntemleri doğrusal olmayan etkileşimleri yakalama konusunda güçlü seçenekler sunar. Python ekosisteminde lifelines ve scikit-survival kütüphaneleri, standart scikit-learn API'siyle uyumlu araç zincirleri oluşturur. Sağlık bilişimi, sigorta aktüerliği, bankacılık, SaaS abonelik kaybı ve ürün güvenilirliği gibi alanlarda kritik kararların temel analitik altyapısını oluşturmaktadır.

arrow_forward
factory

Synthetic Data (Sentetik Veri)

Sentetik veri (synthetic data), gerçek dünya olaylarını gözlemleyerek değil, algoritmalar, istatistiksel modeller veya üretken yapay zeka aracılığıyla yapay olarak üretilen veridir. Gerçek verinin sahip olduğu gizlilik risklerini taşımaksızın makine öğrenmesi modellerini eğitmek, test etmek ve doğrulamak için kullanılır. Sentetik veri üretiminin temel yöntemleri arasında istatistiksel simülasyon, kural tabanlı üretim ve üretken modeller yer alır. İstatistiksel simülasyon, gerçek veri setinin dağılım parametrelerini tahmin ederek bu parametrelerden yeni örnekler üretir. GAN (Generative Adversarial Network) tabanlı yaklaşımlar ise ayırt edici bir ağın denetiminde üretici ağ gerçekçi sentetik örnekler oluşturur; bu yöntem özellikle görüntü verisi üretiminde oldukça başarılıdır. Tablolar ve yapılandırılmış veri için CTGAN (Conditional Tabular GAN) ve SDV (Synthetic Data Vault) kütüphaneleri geniş çapta kullanılmaktadır. Bu araçlar, orijinal verinin sütunlar arası korelasyonlarını, kategorik değer dağılımlarını ve istatistiksel özelliklerini öğrenerek yeni satırlar üretir; böylece gerçeğe yakın ama gerçek olmayan kayıtlar oluşturulur. Sentetik verinin en kritik kullanım alanı gizlilik korumasıdır. Tıbbi kayıtlar veya finansal işlemler gibi hassas veriyi içeren yapay zeka projelerinde GDPR ve HIPAA gibi düzenlemeler gerçek veri paylaşımını kısıtlar; sentetik veri bu kısıtları aşarken modelin öğreneceği temsili örnekler sağlar. Öte yandan sentetik veri, az temsil edilen sınıfları dengelemek için de kullanılır. Dengesiz veri setlerinde nadir sınıf örnekleri sentetik yollarla çoğaltılarak model bu sınıfları daha iyi öğrenir. Otonom araç, robotik ve oyun yapay zekası gibi alanlarda gerçek dünya verisi toplamak tehlikeli veya pahalı olduğunda simülasyon ortamlarından üretilen sentetik veri birincil eğitim kaynağı olarak kullanılır.

arrow_forward
grid_goldenratio

Vector Space (Vektör Uzayı)

Vektör uzayı (vector space), matematiksel olarak vektörlerin tanımlandığı ve bu vektörler üzerinde toplama ile skaler çarpma işlemlerinin belirli aksiyomları karşılayacak şekilde gerçekleştirilebildiği soyut bir yapıdır. Makine öğrenmesi ve yapay zeka bağlamında ise vektör uzayı, veri noktalarının (metin, görüntü, ses, kullanıcı davranışı gibi) sayısal temsillere dönüştürüldüğü ve bu temsiller arasındaki anlamsal ilişkilerin geometrik mesafe ve yön kavramlarıyla ifade edildiği çok boyutlu bir uzaydır. Doğal dil işleme alanında kelime gömmeleri (word embeddings) bu kavramın en çarpıcı uygulamasını sunar. Word2Vec, GloVe ve fastText gibi modeller, her kelimeyi vektör uzayında bir noktayla temsil eder; anlamca yakın kelimeler geometrik olarak da birbirine yakın konumlanır. Bu sayede "kral - adam + kadın = kraliçe" gibi vektör aritmetiği işlemleri anlam taşıyan sonuçlar verir. Benzer ilişkiler ülke-başkent çiftlerinde, fiil zamanlarında ve cinsiyet analoglarında da gözlemlenir. Transformatör tabanlı dil modellerinde (BERT, GPT, LLaMA) ise gizli katmanların ürettiği gömme vektörleri latent space (gizil uzay) olarak adlandırılır. Bu yüksek boyutlu uzay, modelin öğrendiği soyut özellikleri barındırır; benzer semantik yapıdaki girdiler bu uzayda yakın kümelerde bulunur. Retrieval-Augmented Generation (RAG) sistemlerinde belgeler ve sorgular bu uzayda temsil edilerek kosinüs benzerliğiyle eşleştirilir. Görüntü işlemede CNN ve Vision Transformer modelleri, pikselleri vektör uzayındaki noktalara dönüştürür ve nesne tanıma, yüz tanıma ile stil aktarımı gibi işlemleri bu uzay üzerinde gerçekleştirir. Öneri sistemlerinde kullanıcı ve ürün vektörleri aynı uzaya gömülerek etkileşim olasılığı hesaplanır. Vektör veritabanları (Pinecone, Weaviate, Milvus) bu vektörleri indeksleyerek milyonlarca boyut arasında milisaniyeler içinde benzerlik araması yapar. Boyutsallık laneti (curse of dimensionality) yüksek boyutlu uzaylarda mesafe metriklerinin anlamsızlaşmasına yol açabilir; bu nedenle boyut indirgeme teknikleri (PCA, UMAP, t-SNE) ve Yaklaşık En Yakın Komşu (ANN) algoritmaları modern yapay zeka sistemlerinin vazgeçilmez araçlarıdır.

arrow_forward
storage

Vektör Veritabanı (Vektör Veritabanı)

Vektör Veritabanı, metin, görüntü ve ses gibi içeriklerin sayısal gömme vektörü (embedding) temsillerini depolayan ve bu vektörler arasında en yakın komşu araması (Approximate Nearest Neighbor, ANN) gerçekleştiren özelleşmiş veritabanı sistemidir. Geleneksel ilişkisel veritabanları tam eşleşme sorgularında güçlüyken vektör veritabanları anlamsal benzerlik sorgularında üstünlük sağlar. Temel işleyiş şu şekildedir: bir embedding modeli (BERT, OpenAI Embeddings, E5 gibi) metni yüksek boyutlu gerçek sayı vektörüne dönüştürür; bu vektör veritabanına kaydedilir. Sorgu zamanında sorgu cümlesi de aynı modelle vektöre dönüştürülür ve veritabanı, kosinüs benzerliği veya Öklid mesafesi ölçütüyle en yakın K vektörü geri döndürür. ANN algoritmaları (HNSW, IVF, FAISS) bu aramayı milyonlarca vektörde milisaniyeler içinde gerçekleştirir. Popüler vektör veritabanı çözümleri farklı kullanım senaryolarına hitap eder. Pinecone tam yönetilen bulut hizmetidir; Chroma ve Qdrant yerel veya kendi altyapısında barındırılabilir; Weaviate çok modlu destek ve GraphQL arayüzüyle öne çıkar; pgvector ise mevcut PostgreSQL veritabanına vektör yeteneği ekler. Büyük ölçeklerde Milvus ve Vespa tercih edilir. Vektör veritabanlarının birincil kullanım alanı RAG (Retrieval-Augmented Generation) sistemleridir: LLM'in bağlamına ilgili belgeler enjekte edilir; böylece model kendi eğitim verisinin ötesinde güncel bilgiyle yanıt üretir. Anlamsal arama motorları, öneri sistemleri, resim benzerliği arama ve kopya içerik tespiti diğer uygulama alanlarıdır. Vektör veritabanlarının performansı indeks yapısına bağlıdır. HNSW (Hierarchical Navigable Small World) yüksek sorgu hızı ve çok sayıda vektör için optimize edilmiş grafik yapısı kullanırken IVF (Inverted File Index) küme tabanlı bölümlemeyle arama uzayını daraltır. FAISS ise Facebook AI tarafından geliştirilen açık kaynak bir kütüphane olup milyarlarca vektörü GPU üzerinde indeksler. Vektör veritabanları, geleneksel tam metin aramasıyla birleştirildiğinde — hibrit arama olarak adlandırılan bu yöntem — hem anahtar kelime kesinliği hem anlamsal zenginlik sunar; kurumsal ölçekli belge arama ve chatbot sistemlerinde giderek standart mimari unsur haline gelmektedir.

arrow_forward
code_blocks

Veri Görselleştirme (Data Visualization) Nedir? (Veri Görselleştirme)

Veri gorsellestirme (data visualization), ham veya islenmis veriyi grafik, harita, panel, animasyon veya infografik gibi gorsel bicimlere donusturme disiplin ve pratikleri butunudur. Insanin gorsel is­leme kapasitesi, tablolarla sunulan binlerce veri noktasinin anlasilmasindan cok daha hizli sekilde gorsel kaliplari tanir; bu temel bilissel gercek, veri gorsellestirmeyi analitik sureclerin vazgecilmez bir parcasi yapar. Dogru gorsel secimi mesajin netligini belirler. Kategoriler arasinda karsilastirma yapiliyorsa cubuk grafik anlasilirdir; zaman serisi verisi icin cizgi grafik egilimi daha iyi aktarir; iki degisken arasindaki iliskiyi gostermek icin scatter plot kullanilir; heatmap coklu degisken bilesenlerinin matris biciminde sunumunda idealdir. Pasta grafik kategorilerin toplama oranini gosterir; ancak bes ustu kategoride gormek zor oldugundan dikkatli kullanilmalidir. Edward Tufte, veri gorsellestirme disiplininin en etkili teorisyenlerinden biridir. "Data-ink ratio" (veri-murekkep orani) ilkesi, bir graftaki her grafisel unsurun anlam tasimasi gerektigini ve gorseli karmasiklastiran chartjunk unsurlarin azaltilmasini savunur. Bu ilke minimalist ve aciklamali gorsel tasarim anlayisinin temelini olusturur. Araç ekosistemi genis ve farklilasiktir. Tableau ve Microsoft Power BI is zekasi panolarinda surukle-birak arayuzleriyle hazirlanmis; yonetici raporlari ve KPI panolari icin yaygin tercihtir. D3.js, JavaScript ile guclu ve tamamen ozellestirilebilir interaktif web gorsellestirmeler olusturmak icin referans kutuphanedir. Python ekosisteminde Matplotlib temel gorsel katmanini olusturmakta, Seaborn istatistiksel gorseller icin daha yuksek seviye bir API sunmakta, Plotly ve Vega-Altair ise interaktif gorseller icin tercih edilmektedir. Yaniltici gorsel kurulmasi konusu onemlidir. Kesilmis y ekseni kucuk degisiklikleri buyuk gosterebildigi icin yaniltici olabilir; alan veya kabarcik grafiklerinde yanlis olcekleme algiyi bozar; belirli renk secimi belirli gruplari stigmatize edebilir. Veri okuryazarligi, bu yanlimlari tanima ve elemek etrafında da seklinde insa edilir. **Sik Sorulan Sorular** **Hangisi once gelir: veri analizi mi yoksa gorsellestirme mi?** Ikisi dongusel bir surecte yer alir. Kesfedici veri analizinde gorsellestirme, analizden once kullanilir (kalip arama); aciklayici gorsellestirme ise analiz sonuclarini aktarmak icin kullanilir. Her iki amac farkli gorsel tasarim secimlerine yonlendirir. **Tableau mu Power BI mi secmeliyim?** Tableau gorsel analitik derinligi ve esnekligiyle one cikar; Power BI Microsoft 365 ekosistemiyle entegrasyonu ve ucret avantajiyla tercih edilir. Bircok organizasyon hali hazirda Microsoft ekosistemine sahipse Power BI daha pratik baslangic noktasidir. **Python ile interaktif gorsel nasil yapilir?** Plotly Express veya Vega-Altair hizli ve etkilesimli gorseller icin onerilen seceneklerdir. Daha karmasik interaktif panolar icin Dash (Plotly) veya Streamlit kullanilabilir. **Renk secimi neden bu kadar onemli?** Renk koru bireylerin en yaygin bozuklugu mavi-yesil karisikligidur; kirmizi-yesil kombinasyonu ozellikle sorunludur. ColorBrewer ve Viridis gibi renk paletleri bu kisitlama dikkate alinarak tasarlanmistir.

arrow_forward
code_blocks

Veri Seti (Veri Seti)

Veri seti (İngilizce: dataset), makine öğrenimi ve yapay zeka modellerinin eğitilmesinde, doğrulanmasında ve test edilmesinde kullanılan yapılandırılmış veri koleksiyonudur. Her yapay zeka sisteminin temeli kaliteli veri setlerine dayanır; en sofistike algoritmalar bile yetersiz ya da önyargılı verilerle başarısız olur. Bir veri seti genellikle üç alt kümeye ayrılır. Eğitim seti (training set), modelin örüntüleri ve ilişkileri öğrendiği ana veri kümesidir; toplam verinin yaklaşık yüzde yetmiş ila seksenini oluşturur. Doğrulama seti (validation set), geliştirme sürecinde hiperparametrelerin ayarlanması ve aşırı uyumun (overfitting) önlenmesi için kullanılan ara değerlendirme kümesidir. Test seti ise yalnızca nihai değerlendirmede kullanılır; modelin hiç görmediği bu veriler, gerçek dünya genelleme kapasitesinin tarafsız ölçütünü sağlar. Yaygın bölünme oranı 80/10/10 olmakla birlikte, veri kümesinin büyüklüğüne göre bu oranlar ayarlanabilir. Yapay zeka tarihinde kritik rol oynayan çeşitli kıyaslama (benchmark) veri setleri mevcuttur. MNIST, 70.000 el yazısı rakam görüntüsünden oluşur ve derin öğrenme için standart giriş veri setidir. ImageNet, 14 milyondan fazla etiketlenmiş görüntü içerir; AlexNet modelinin 2012 deki çığır açan başarısı bu veriyle elde edilmiştir. COCO (Common Objects in Context), 330.000 i aşkın görüntüyle nesne algılama ve segmentasyon görevlerinin altın standardıdır. Common Crawl ise petabaytlarca web sayfasını barındıran dev bir açık kaynak olup GPT-4, Llama ve hemen tüm büyük dil modellerinin ön eğitim sürecinde kullanılmaktadır. Bir veri setinin kalitesini belirleyen dört ana faktör vardır: boyut, etiket doğruluğu, çeşitlilik ve sınıf dengesi. Düşük etiket kalitesi model doğruluğunu yüzde otuza kadar düşürebilirken, dengesiz sınıf dağılımı modeli azınlık sınıflarını tanımakta yetersiz kılar. Veri seti önyargısı (dataset bias) özellikle dikkat gerektiren bir sorundur: tarihsel ayrımcılık barındıran eğitim verileri bu önyargıyı model çıktısına taşır. Örneğin yalnızca açık tenli yüzlerle eğitilen yüz tanıma sistemleri koyu tenli bireylerde anlamlı biçimde daha yüksek hata oranı üretmektedir. Veri zehirlenmesi (data poisoning) önemli bir güvenlik tehdididir: saldırganlar eğitim setine kasıtlı olarak bozuk örnekler ekleyerek modelin davranışını manipüle eder. Araştırmalar, sağlık alanındaki AI sistemlerinin yalnızca 100-500 zehirli örnekle yüzde altmışın üzerinde olasılıkla tehlikeye atılabildiğini ortaya koymaktadır. Türkçe doğal dil işleme açısından önemli bir not: Türkçe veri setleri İngilizce emsallerine kıyasla çok daha sınırlı ölçekte kalmaktadır. Bu durum, Türkçe NLP modellerini düşük kaynaklı dil (low-resource language) kategorisinde bırakmakta ve İngilizce modellerine kıyasla daha düşük performans sergilemelerine yol açmaktadır.

arrow_forward
📈

Zaman Serisi Analizi (Zaman Serisi Analizi)

Zaman serisi analizi, belirli zaman aralıklarıyla kaydedilen ardışık veri noktalarını inceleyerek trend, mevsimsellik ve döngüsel kalıpları ortaya çıkaran bir veri bilimi tekniğidir. Hisse fiyatları, hava sıcaklığı, satış rakamları ve IoT sensör verileri bu analizin klasik uygulama alanlarıdır. Bir zaman serisi dört temel bileşene ayrıştırılır: uzun vadeli yönelimi gösteren trend, belirli dönemlerde tekrarlayan mevsimsellik (seasonality), ekonomik konjonktür gibi daha uzun dönemlerde tekrarlayan döngüsellik ve rastlantısal gürültü. Bu bileşenleri ayrıştırmak modellemenin temelidir. İstatistiksel yöntemler açısından ARIMA (AutoRegressive Integrated Moving Average) ve mevsimsel uzantısı SARIMA, durağan (stationary) seriler için standart başlangıç noktasıdır. Durağanlık sağlamak amacıyla fark alma (differencing) uygulanır; Augmented Dickey-Fuller testi durağanlığı doğrular. Üstel düzleştirme (Holt-Winters) mevsimsel verilerde pratik bir alternatiftir. Derin öğrenme mimarileri 2010'ların ortasından itibaren zaman serisi tahmininde hâkim konuma geldi. LSTM (Long Short-Term Memory) ve GRU, kapı mekanizmaları aracılığıyla uzun vadeli bağımlılıkları öğrenir. 2023 itibarıyla Transformer tabanlı modeller öne çıktı: PatchTST giriş serisini sabit uzunluklu yamalara (patch) bölerek dikkat mekanizmasını daha verimli uygular; Temporal Fusion Transformer ise statik kovaryatlar, gözlemlenen girdiler ve bilinen gelecek değişkenleri birleştirerek yorumlanabilir tahminler üretir. 2024'te foundation model yaklaşımı zaman serisi alanına taşındı. Google'ın TimesFM'i ve Amazon'un Chronos'u, sıfır-shot (zero-shot) tahmin yapabilen genel amaçlı modellerdir; görev başına ince ayar gerektirmeden çeşitli alanlarda rekabetçi doğruluk elde eder. Meta'nın Prophet aracı ise tatil efektlerini ve çoklu mevsimselliği otomatik modelleyen, uygulayıcı dostu bir açık kaynak kütüphanesidir. Tahmin kalitesi MAE (Ortalama Mutlak Hata), RMSE (Karekök Ortalama Kare Hata) ve MAPE (Ortalama Mutlak Yüzde Hata) metrikleriyle değerlendirilir. Zaman serisi analizi; fintech, enerji yönetimi, tedarik zinciri optimizasyonu, sağlık ve endüstriyel IoT gibi alanlarda kritik bir analitik araçtır.

arrow_forward