tag ETL
Data Warehouse (Veri Ambarı)
Bu sayfada ETL (Data Warehouse (Veri Ambarı)) etiketi ile işaretlenmiş 3 yapay zeka kavramını bulabilirsiniz.
Veri Ambarı (Data Warehouse), farklı kaynaklardan toplanan büyük miktarda yapılandırılmış verinin analitik sorgular ve iş zekası (BI) uygulamaları için optimize edilmiş şekilde depolandığı merkezi bir veritabanı sistemidir. Günlük işlem (OLTP) veritabanlarından farklı olarak veri ambarları, tarihsel veriyi korumak, karmaşık analizler yapmak ve karar destek sistemlerine veri sağlamak amacıyla tasarlanmıştır. Bill Inmon, 1990'da veri ambarını dört temel özellikle tanımladı: (1) Konu odaklı — müşteri, ürün veya satış gibi belirli iş konuları etrafında organize edilir; (2) Entegre — farklı kaynaklardan gelen veriler tutarlı bir formatta birleştirilir; (3) Değişmez — bir kez yüklenen veriler güncellenmez, yalnızca yeni kayıtlar eklenir; (4) Zaman serili — veriler belirli dönemlere ait etiketlerle saklanır ve tarihsel analiz mümkün kılınır. Veri ambarına veri yüklemek için ETL (Extract, Transform, Load) süreci kullanılır: kaynak sistemlerden veri çekilir, temizlenip dönüştürülür ve ambar tablolarına yüklenir. Modern yaklaşımlarda ELT (ham veri önce yüklenir, sonra dönüştürülür) yöntemi de yaygınlaşmıştır. Boyutsal modelleme (dimensional modeling) tekniğiyle oluşturulan yıldız (star) ve kar tanesi (snowflake) şema tasarımları, sorgu performansını artırır. Bulut çağında Amazon Redshift, Google BigQuery, Snowflake ve Microsoft Azure Synapse Analytics gibi MPP (Massively Parallel Processing) mimarili çözümler petabayt ölçeğinde veri işlemeyi mümkün kılmaktadır. Data Lakehouse mimarisi ise veri ambarı ile Data Lake'in avantajlarını tek platformda birleştirmektedir. Veri ambarları; finans raporlaması, müşteri segmentasyonu, tedarik zinciri optimizasyonu ve makine öğrenimi feature store'ları için kritik altyapıdır.
Data Warehouse (Veri Ambarı)
Veri Ambarı (Data Warehouse), farklı kaynaklardan toplanan büyük miktarda yapılandırılmış verinin analitik sorgular ve iş zekası (BI) uygulamaları için optimize edilmiş şekilde depolandığı merkezi bir veritabanı sistemidir. Günlük işlem (OLTP) veritabanlarından farklı olarak veri ambarları, tarihsel veriyi korumak, karmaşık analizler yapmak ve karar destek sistemlerine veri sağlamak amacıyla tasarlanmıştır. Bill Inmon, 1990'da veri ambarını dört temel özellikle tanımladı: (1) Konu odaklı — müşteri, ürün veya satış gibi belirli iş konuları etrafında organize edilir; (2) Entegre — farklı kaynaklardan gelen veriler tutarlı bir formatta birleştirilir; (3) Değişmez — bir kez yüklenen veriler güncellenmez, yalnızca yeni kayıtlar eklenir; (4) Zaman serili — veriler belirli dönemlere ait etiketlerle saklanır ve tarihsel analiz mümkün kılınır. Veri ambarına veri yüklemek için ETL (Extract, Transform, Load) süreci kullanılır: kaynak sistemlerden veri çekilir, temizlenip dönüştürülür ve ambar tablolarına yüklenir. Modern yaklaşımlarda ELT (ham veri önce yüklenir, sonra dönüştürülür) yöntemi de yaygınlaşmıştır. Boyutsal modelleme (dimensional modeling) tekniğiyle oluşturulan yıldız (star) ve kar tanesi (snowflake) şema tasarımları, sorgu performansını artırır. Bulut çağında Amazon Redshift, Google BigQuery, Snowflake ve Microsoft Azure Synapse Analytics gibi MPP (Massively Parallel Processing) mimarili çözümler petabayt ölçeğinde veri işlemeyi mümkün kılmaktadır. Data Lakehouse mimarisi ise veri ambarı ile Data Lake'in avantajlarını tek platformda birleştirmektedir. Veri ambarları; finans raporlaması, müşteri segmentasyonu, tedarik zinciri optimizasyonu ve makine öğrenimi feature store'ları için kritik altyapıdır.
Data Wrangling (Veri Düzenleme)
Data wrangling (veri düzenleme ya da veri mücadelesi olarak da bilinir), ham ve dağınık veri kümelerini analiz ve makine öğrenimi modellerine uygun biçimde kullanılabilir hale getirmek amacıyla uygulanan temizleme, dönüştürme ve birleştirme sürecini ifade eder. Gerçek dünya verilerinin büyük çoğunluğu eksik değerler, yanlış biçimler, tutarsız kodlamalar ve aykırı gözlemler içerdiğinden bu süreç, başarılı bir veri bilimi projesinin temel taşını oluşturur. Data wrangling süreci tipik olarak birkaç kritik adımı kapsar. İlk adımda veriler farklı kaynaklardan (CSV dosyaları, API yanıtları, veritabanı sorguları, web scraping çıktıları) bir araya getirilir. Keşif aşamasında verinin genel yapısı, sütun türleri ve özet istatistikler incelenir; sorunlu alanlar tespit edilir. Temizleme adımında eksik değerler imputation yöntemleriyle doldurulur ya da ilgili satırlar çıkarılır, yinelenen kayıtlar kaldırılır, hatalı biçimler düzeltilir ve uç değerler ayıklanır. Dönüştürme aşamasında tarih-saat formatları standartlaştırılır, kategorik değişkenler one-hot encoding veya label encoding ile sayısallaştırılır ve sayısal sütunlar normalizasyon ya da standardizasyon ile ölçeklenir. Son olarak birden fazla tablo ya da kaynak JOIN/merge işlemleriyle birleştirilerek nihai analiz veri kümesi oluşturulur. Araştırmalar, veri bilimcilerin zamanının yaklaşık yüzde altmış ile seksen arasını modelleme ve görselleştirme yerine veri hazırlama adımlarına harcadığını ortaya koymaktadır. Python ekosisteminde Pandas ve Polars en yaygın kullanılan kütüphanelerdir. Büyük ölçekli projelerde Apache Spark veya dbt gibi araçlar tercih edilirken düşük kod araçları (OpenRefine, Alteryx, Trifacta) teknik geçmişi olmayan kullanıcılara da wrangling imkânı sunar. Makine öğrenimi bağlamında data wrangling, özellik mühendisliği (feature engineering) ile birlikte anılır; ancak ikisi farklı kavramlardır: wrangling ham veriyi temizleyip yapılandırır, feature engineering ise bu temiz veriden yeni anlamlı öznitelikler türetir. Temiz ve iyi yapılandırılmış veri olmadan hiçbir model istenen performansa ulaşamaz; bu nedenle data wrangling hem pratikte hem teoride yapay zeka projelerinin en kritik adımlarından biri olarak kabul edilir.
Data Pipeline (Veri Hattı)
Veri Hattı (Data Pipeline), ham verinin kaynaktan hedefe taşınırken dönüştürüldüğü, işlendiği ve temizlendiği otomatik süreçler zinciridir. Makine öğrenimi ve MLOps bağlamında veri hattı, modelin eğitim veya çıkarım için ihtiyaç duyduğu özellik vektörlerini üretmek amacıyla birden fazla veri kaynağını birleştiren, standardize eden ve dağıtan sistematik altyapıdır. Geleneksel veri mühendisliğinde ETL (Extract-Transform-Load) mimarisi standarttır: farklı kaynaklardan veri çekilir (extract), iş kurallarına göre dönüştürülür (transform) ve hedef depolara yüklenir (load). Modern yapay zeka uygulamalarında bu mimari ELT (önce yükle sonra dönüştür) veya streaming (akış) modeline evrilmektedir: büyük veri hacimleri önce ham olarak veri gölüne (data lake) aktarılır, ardından talep bazlı dönüşüm uygulanır. Makine öğrenimi veri hattının kritik bileşenleri şunlardır: **Veri alımı (ingestion)** farklı kaynaklardan (veritabanı, API, dosya sistemi, Kafka) veriyi toplar. **Veri doğrulama (validation)** şema uyumluluğunu, eksik değerleri ve istatistiksel anomalileri tespit eder — Great Expectations kütüphanesi bu aşamada yaygındır. **Özellik mühendisliği (feature engineering)** ham veriyi modelin anlayacağı sayısal özelliklere dönüştürür. **Özellik deposu (feature store)** üretilen özellikleri hem eğitim hem çıkarım için tutarlı biçimde saklar. Veri hattının üretim ortamındaki en büyük zorluğu tutarlılık (consistency) ve çoğaltılabilirlik (reproducibility) gerektirmesidir. Eğitim sırasında kullanılan ön işleme adımları, çıkarım (inference) sırasında birebir aynı şekilde uygulanmazsa "eğitim-servis çarpışması" (training-serving skew) ortaya çıkar: model geliştirme ortamında iyi çalışır ama üretimde başarısız olur. Apache Airflow, Prefect ve Dagster gibi iş akışı orkestratörleri karmaşık veri hattı bağımlılıklarını yönetir; her adımı DAG (Yönlü Asiklik Graf) olarak tanımlar ve başarısız adımları otomatik yeniden dener. Spark ve Flink büyük ölçekli paralel veri işleme için, Kafka gerçek zamanlı akış için kullanılır. MLflow ve DVC ile birlikte bu araçlar modern MLOps altyapısının temelini oluşturur.