tag DataCatalog

Bu sayfada DataCatalog etiketi ile işaretlenmiş 1 yapay zeka kavramını bulabilirsiniz.

Veri kataloğu (Data Catalog), bir kuruluşun sahip olduğu veri tablolarının, akışlarının, raporlarının ve makine öğrenmesi modellerinin organize edilmiş, aranabilir ve bağlamsal envanterini oluşturan metadata yönetim platformudur. Temel işlevi üç sütun üzerine kuruludur: veriyi keşfet, içeriğini anla ve güvenilirliğini doğrula. Modern bir veri kataloğu iki tür metadata yönetir. Teknik metadata; tablo adları, sütun tipleri, boyut ve güncelleme sıklığı gibi yapısal bilgileri içerir. İş metadata'sı ise bir alanın iş anlamını, veri sahibini, kullanım senaryolarını ve kalite skorunu kapsar. Bu iki katmanın birleşimi, mühendislerden iş analistlerine kadar herkesin aynı platforma başvurmasına olanak tanır. Veri kataloğunun en kritik özelliklerinden biri soy takibidir (data lineage). Bu özellik, bir verinin nereden geldiğini, hangi dönüşümlerden geçtiğini ve nerede kullanıldığını uçtan uca görselleştirir. Özellikle sütun düzeyinde lineage, hangi ETL adımının hangi alanı etkilediğini gösterir; hatalı raporların köküne hızla inilmesini mümkün kılar. MLOps ekipleri için veri kataloğu ayrı bir öneme sahiptir: hangi veri kümesinin hangi model eğitiminde kullanıldığını izler, feature store ile bütünleşik çalışarak özniteliklerin ekipler arasında yeniden kullanımını kolaylaştırır ve training-serving skew riskini azaltır. Popüler açık kaynak araçlar arasında DataHub, OpenMetadata ve Apache Atlas öne çıkmaktadır. Ticari tarafta Collibra, Alation ve Databricks Unity Catalog kurumsal çözümler sunmaktadır. Veri kataloğu; veri sözlüğünden farklı olarak tek bir sistemle sınırlı kalmaz; tüm organizasyonun veri ekosistemine bütünleşik erişim sunar.

code_blocks

Data Catalog (Veri Kataloğu)

Veri kataloğu (Data Catalog), bir kuruluşun sahip olduğu veri tablolarının, akışlarının, raporlarının ve makine öğrenmesi modellerinin organize edilmiş, aranabilir ve bağlamsal envanterini oluşturan metadata yönetim platformudur. Temel işlevi üç sütun üzerine kuruludur: veriyi keşfet, içeriğini anla ve güvenilirliğini doğrula. Modern bir veri kataloğu iki tür metadata yönetir. Teknik metadata; tablo adları, sütun tipleri, boyut ve güncelleme sıklığı gibi yapısal bilgileri içerir. İş metadata'sı ise bir alanın iş anlamını, veri sahibini, kullanım senaryolarını ve kalite skorunu kapsar. Bu iki katmanın birleşimi, mühendislerden iş analistlerine kadar herkesin aynı platforma başvurmasına olanak tanır. Veri kataloğunun en kritik özelliklerinden biri soy takibidir (data lineage). Bu özellik, bir verinin nereden geldiğini, hangi dönüşümlerden geçtiğini ve nerede kullanıldığını uçtan uca görselleştirir. Özellikle sütun düzeyinde lineage, hangi ETL adımının hangi alanı etkilediğini gösterir; hatalı raporların köküne hızla inilmesini mümkün kılar. MLOps ekipleri için veri kataloğu ayrı bir öneme sahiptir: hangi veri kümesinin hangi model eğitiminde kullanıldığını izler, feature store ile bütünleşik çalışarak özniteliklerin ekipler arasında yeniden kullanımını kolaylaştırır ve training-serving skew riskini azaltır. Popüler açık kaynak araçlar arasında DataHub, OpenMetadata ve Apache Atlas öne çıkmaktadır. Ticari tarafta Collibra, Alation ve Databricks Unity Catalog kurumsal çözümler sunmaktadır. Veri kataloğu; veri sözlüğünden farklı olarak tek bir sistemle sınırlı kalmaz; tüm organizasyonun veri ekosistemine bütünleşik erişim sunar.

arrow_forward