tag Airflow
Bu sayfada Airflow etiketi ile işaretlenmiş 2 yapay zeka kavramını bulabilirsiniz.
ETL (Extract, Transform, Load — Çıkar, Dönüştür, Yükle), farklı kaynak sistemlerden ham verinin toplanıp temizlenerek analitik bir hedefe aktarılmasını sağlayan veri entegrasyon sürecidir. Her veri mühendisliği ve veri ambarı projesinin omurgasını oluşturur; kaliteli veriyi olmayan hiçbir makine öğrenimi modeli ya da iş zekası raporu başarılı olamaz. Extract (Çıkarma) aşamasında veri; ilişkisel veritabanları, REST API'ları, dosya sistemleri (CSV, JSON, XML, Parquet), akış platformları (Kafka, Kinesis) veya SaaS uygulamalarından ham biçimde çekilir. Transform (Dönüştürme) aşamasında bu ham veri; temizlenir (eksik ve tutarsız değerler giderilir), normalize edilir (farklı kaynaklardaki kodlamalar birleştirilir), zenginleştirilir (dış referans tablolarıyla birleştirilir) ve hedef şemaya dönüştürülür. Load (Yükleme) aşamasında ise işlenmiş veri; veri ambarı, veri gölü veya analitik veritabanına yazılır. Modern mimarilerde ETL'nin yerini giderek ELT (Extract, Load, Transform) alıyor: ham veri önce bulut veri ambarına yükleniyor (Amazon Redshift, Google BigQuery, Snowflake), ardından dönüşümler SQL veya dbt (data build tool) aracılığıyla doğrudan hedefteki güçlü işlem kapasitesiyle gerçekleştiriliyor. Bu yaklaşım hem maliyet hem de sürdürülebilirlik açısından avantajlıdır. Makine öğrenimi hattında ETL, feature store'ları besleyen ve model eğitimi için veri setleri hazırlayan kritik bileşendir. Yaygın ETL araçları arasında Apache Airflow, dbt, Apache Spark, Fivetran, Talend ve AWS Glue sayılabilir. Büyük ölçekli sistemlerde mikro-toplu (micro-batch) ve akış (streaming) ETL da standart pratikler arasındadır.
ETL (Extract, Transform, Load)
ETL (Extract, Transform, Load — Çıkar, Dönüştür, Yükle), farklı kaynak sistemlerden ham verinin toplanıp temizlenerek analitik bir hedefe aktarılmasını sağlayan veri entegrasyon sürecidir. Her veri mühendisliği ve veri ambarı projesinin omurgasını oluşturur; kaliteli veriyi olmayan hiçbir makine öğrenimi modeli ya da iş zekası raporu başarılı olamaz. Extract (Çıkarma) aşamasında veri; ilişkisel veritabanları, REST API'ları, dosya sistemleri (CSV, JSON, XML, Parquet), akış platformları (Kafka, Kinesis) veya SaaS uygulamalarından ham biçimde çekilir. Transform (Dönüştürme) aşamasında bu ham veri; temizlenir (eksik ve tutarsız değerler giderilir), normalize edilir (farklı kaynaklardaki kodlamalar birleştirilir), zenginleştirilir (dış referans tablolarıyla birleştirilir) ve hedef şemaya dönüştürülür. Load (Yükleme) aşamasında ise işlenmiş veri; veri ambarı, veri gölü veya analitik veritabanına yazılır. Modern mimarilerde ETL'nin yerini giderek ELT (Extract, Load, Transform) alıyor: ham veri önce bulut veri ambarına yükleniyor (Amazon Redshift, Google BigQuery, Snowflake), ardından dönüşümler SQL veya dbt (data build tool) aracılığıyla doğrudan hedefteki güçlü işlem kapasitesiyle gerçekleştiriliyor. Bu yaklaşım hem maliyet hem de sürdürülebilirlik açısından avantajlıdır. Makine öğrenimi hattında ETL, feature store'ları besleyen ve model eğitimi için veri setleri hazırlayan kritik bileşendir. Yaygın ETL araçları arasında Apache Airflow, dbt, Apache Spark, Fivetran, Talend ve AWS Glue sayılabilir. Büyük ölçekli sistemlerde mikro-toplu (micro-batch) ve akış (streaming) ETL da standart pratikler arasındadır.
ML Pipeline (ML Pipeline)
Makine öğrenmesi boru hattı (ML pipeline), ham veriden model tahminine uzanan tüm adımları birbirine bağlayan otomatize bir iş akışıdır. Veri toplama, temizleme, özellik mühendisliği, model eğitimi, değerlendirme ve dağıtım gibi aşamalar bu boru hattının bileşenlerini oluşturur; her bileşen bir öncekinin çıktısını girdi olarak alır. ML boru hattının temel amacı tekrar edilebilirlik ve ölçeklenebilirliktir. Elle gerçekleştirilen deneysel süreçler, üretim ortamında tutarsız sonuçlar üretebilir; boru hattı her çalıştırmada aynı adımların aynı sırayla aynı parametrelerle uygulanmasını garanti eder. Bu tutarlılık hem hata ayıklamayı hem de modelin yeniden eğitilmesini büyük ölçüde kolaylaştırır. Scikit-learn'ün Pipeline nesnesi, veri dönüşümleri ve modelini tek bir nesneye paketler ve model seçimi için grid search ile doğrudan entegre olur. Kubeflow, MLflow ve Apache Airflow gibi araçlar bu kavramı büyük ölçekli, çok adımlı ve paralel süreçleri koordine eden orkestrasyon platformlarına taşır. Feature store (özellik deposu), ML boru hatlarının önemli bir bileşenidir. Dönüştürülmüş özellikleri merkezi bir veritabanında saklar; farklı modeller ve ekipler bu özellikleri yeniden kullanarak hem tutarlılığı hem de verimliliği artırır. Feast ve Tecton bu alanda öncü açık kaynak çözümlerdir. MLOps (Machine Learning Operations) perspektifinden ML boru hatları, model izleme, veri kayması (data drift) tespiti ve otomatik yeniden eğitim döngüleriyle genişletildiğinde üretim ortamındaki modelleri sağlıklı tutmanın omurgasını oluşturur.