Data Lineage (Veri Kökeni (Data Lineage))

#data lineage #veri kökeni #veri yönetimi #metadata #mlops #veri provenance #openlineage

Bir verinin kaynaktan nihai kullanim noktasina kadar izlenen tam yasam dongusunu ve donusum gecmisini belgeleyen izlenebilirlik cercevesi.

Veri soy agaci (data lineage), bir veri varliginin hangi kaynaklardan turetildigini, hangi donusum adimlarindan gectigi ve nihai olarak nerede kullanildigini belgeleyen tam izlenebilirlik cercevesidir. Bir veri boru hattinda yuzlerce tablo, binlerce sutun ve karmasik JOIN, GROUP BY, UNION operasyonlari olabilir; soy agaci bu karmasikligi kayit altina alarak gecmiste ve gelecekte yapilan degisikliklerin etkisini anlamaya olanak tanir. Veri soy agacinin kullanim amaclarinin basinda hata koken analizi gelir. Bir raporun yanlis rakam gosterdigi kesfedildiginde ekip, hatalı deger hangi kaynak tablodan, hangi donusum adiminda girmis sorusunu saniyeler icerisinde cevaplayabilir. Soy agaci olmadan bu arastirma saatler hatta gunler surebilir. Ikinci kritik kullanim alani uyumluluktur: GDPR kapsaminda kisisel verinin nerede tutuldugu ve nasil islendiginin belgelenmesi zorunludur; SOC 2 ve HIPAA denetimleri de veri akislarinin izlenebilirligini gerektirir. Teknik olarak soy agaci iki duzeyden olusabilir. Tablo duzeyinde soy agaci, hangi tablonun hangi kaynak tablolardan beslendigini ve hangi islem tarafindan olusturuldugunu gosterir. Sutun duzeyinde soy agaci cok daha ince taneli bir goruntu sunar: belirli bir raporun bir sutununun hangi kaynak alanlardan tureddigi, hangi aggregasyon veya donusumden gectigi gorulebilir. Sutun duzeyinde soy agaci ozellekle buyuk veri ortamlarinda etki analizi (impact analysis) icin vazgecilmezdir. Populer araçlar arasinda dbt (data build tool), yazilan SQL modellerini ayrıştirarak otomatik soy agaci grafikleri uretir. Apache Atlas, Collibra ve Alation gibi veri katalogu cozumleri hem metadata yonetimini hem de soy agacini entegre sunar. Bulut saglayicilari (AWS Glue, Google Dataplex, Azure Purview) de yonetilen soy agaci yetenekleri sunmaktadir. **Sik Sorulan Sorular** **Veri soy agaci ile veri katalogu arasindaki fark nedir?** Veri katalogu veri varliklarinin ne olduğunu, nerede bulundugunu ve ne anlam tasidigini belgeler. Veri soy agaci ise bu varlikların nasil hareket ettigini ve donustugunu izler. Ikisi birbirini tamamlar. **Soy agaci manuel mi yoksa otomatik mi olusturulur?** Modern araçlar (dbt, Spark, JDBC temelli ETL) SQL veya kodu ayrıştirarak otomatik soy agaci cikarir. Karmasik, kod tabanli donusumler bazen manuel belgeleme gerektirir. **Kucuk veri ekipleri icin soy agaci gerekli midir?** Kullanici sayisi azsa dbt gibi hafif bir arac yeterli olabilir; acik kaynak ve ucretsizdir. Uyumluluk gereksinimleri yoksa minimal but tatmin edici bir CSV-tablosuna el ile kayit etmek bile baslangicta yeterlidir. **Soy agaci gercek zamanli mi yoksa batch mi guncellenir?** Cogu cozum pipeline yurutulunde soy agacini gunceller (batch). Gercek zamanli izleme daha nadir ve daha pahalıdır; yalnizca kritik uretim is akislari icin gerekir.

Veri Soy Agaci Nedir?

Veri soy agaci (data lineage), bir verinin kaynaktan ciktisinaa kadar gecen butun donusum gecmisini ve akis yolunu belgeleyen izlenebilirlik cercevesidir. Veri boru hatlarinda yuzlerce tablo ve karmasik operasyonlar vardir; soy agaci bu karmasikligi kayit altina alir. Bir raporun yanlis rakam gosterdigi durumda hata hangi kaynak tablodan hangi adimda girmis sorusunu saniyeler icinde cevaplamayi mumkun kilar. GDPR ve SOC 2 gibi uyumluluk cerceveleri de veri akislarinin izlenebilirligini zorunlu kilar.

Tablo ve Sutun Duzeyinde Soy Agaci

Soy agaci iki farkli granularite seviyesinde uygulanabilir. Tablo duzeyinde soy agaci hangi tablonun hangi kaynaklardan beslendigi ve hangi islem tarafindan olusturuldugunu gosterir; genel veri akis haritasi icin yeterlidir. Sutun duzeyinde soy agaci cok daha ince taneli bir goruntu sunar: belirli bir raporun bir sutununun hangi kaynak alanlardan turetildigi, hangi aggregasyon veya donusumden gectigi izlenebilir. Sutun duzeyinde soy agaci buyuk veri platformlarinda etki analizi ve GDPR veri isleme kayitlari icin vazgecilmez olmaktadir.

Araçlar ve Entegrasyon

dbt (data build tool), yazilan SQL modellerini ayrıştirarak otomatik soy agaci grafikleri uretir ve acik kaynak ekosisteminin en populer secenegidir. Apache Atlas, Collibra ve Alation veri katalogu ve soy agacini entegre sunar; kurumsal olcek icin tercih edilir. Bulut saglayicilari AWS Glue, Google Dataplex ve Azure Purview yonetilen soy agaci yetenekleri sunmaktadir. Spark ve Flink gibi buyuk veri cerceveleri soy agacini API duzeyinde destekler.

Uyumluluk ve Yonetim

GDPR kapsaminda kisisel verinin nerede tutuldugu ve nasil islendiginin belgelenmesi zorunludur; veri soy agaci bu gereksinimleri karsilayan en pratik aractir. SOC 2 ve HIPAA denetimleri veri akislarinin izlenebilirligini gerektirir. Veri kalitesi yonetimi perspektifinden bakildiginda soy agaci, kalite sorunlarinin nerede ortaya ciktigini ve hangi asagi akis sistemleri etkilendigini haritalandirarak etki analizini mumkun kilar.

Veri Soy Ağacı Araçları

Apache Atlas

Hadoop ekosistemi için açık kaynak yönetişim platformu; tablo ve sütun düzeyinde otomatik soy ağacı yakalama ve sınıflandırma.

OpenLineage + Marquez

Vendor-bağımsız açık standart; Airflow, Spark ve dbt iş akışlarından otomatik soy ağacı toplama.

dbt Lineage

dbt model bağımlılık grafiği; hangi modelin hangi kaynaktan üretildiğini ve hangi raporlara beslendiğini görselleştirir.

Collibra / Alation

Kurumsal veri kataloğu; iş tanımları, veri sahipliği ve soy ağacı birleşik arayüzde — GDPR denetimleri için tercih edilen platformlar.

help Sik Sorulan Sorular

  • check_circle Veri soy agaci ile veri katalogu arasindaki fark nedir? Veri katalogu veri varliklarinin ne oldugunu ve nerede bulundugunu belgeler. Soy agaci ise bu varlikların nasil hareket ettigini ve donustugunu izler. Ikisi birbirini tamamlar.
  • check_circle Soy agaci manuel mi yoksa otomatik mi olusturulur? Modern araçlar (dbt, Spark) SQL veya kodu ayrıştirarak otomatik soy agaci cikarir. Karmasik donusumler bazen manuel belgeleme gerektirir.
  • check_circle Kucuk veri ekipleri icin soy agaci gerekli midir? Kullanici sayisi azsa dbt gibi hafif bir arac yeterli olabilir. Uyumluluk gereksinimleri yoksa minimal belgeleme de baslangicta yeterlidir.
  • check_circle Soy agaci gercek zamanli mi yoksa batch mi guncellenir? Cogu cozum pipeline yurutuldugunde soy agacini gunceller (batch). Gercek zamanli izleme daha nadir ve pahalıdır.