Data Mesh (Veri Ağı)

#veri-mimarisi #data-engineering #mimari #dağıtık-sistemler

Veri sorumluluğunu domain ekiplerine dağıtan, her veri kümesini bağımsız ürün olarak sunan merkezsiz veri mimarisi yaklaşımı.

Data Mesh, büyük organizasyonlarda veri yönetiminin getirdiği merkezi darboğaz ve ölçek sorunlarını çözmek amacıyla Zhamak Dehghani'nin 2019'da önerdiği merkezsiz veri mimarisi yaklaşımıdır. Kavram ilk olarak "How to Move Beyond a Monolithic Data Lake to a Distributed Data Mesh" başlıklı makalede detaylandırılmıştır. Geleneksel yaklaşımlarda veriler merkezi bir veri ambarı ya da data lake'te toplanır; bu yapı küçük organizasyonlarda yeterli olsa da büyük kuruluşlarda üç kritik sorun üretir: merkezi veri ekibinin darboğaz haline gelmesi, veri setlerinin güncelliğini yitirmesi ve iş birimlerinin hızlı analitik ihtiyaçlarını karşılayamaması. Data Mesh bu monolitik yapıya alan odaklı, merkezsiz bir alternatif sunar. Yaklaşım dört temel ilkeye dayanır. Birincisi, alan sahipliği: veriler onu en iyi anlayan domain ekiplerinin sorumluluğundadır. İkincisi, veri ürünü: her veri kümesi; keşfedilebilir, belgelenmiş, güvenilir ve SLA'ya bağlı bir "ürün" olarak tasarlanır. Üçüncüsü, self-servis veri platformu: alan ekipleri merkezi mühendislik desteğine gerek kalmadan veri ürünlerini oluşturup yayımlayabilir. Dördüncüsü, federe yönetişim: bağımsız alanlar arasında veri kalitesi, güvenlik ve standart tanımları merkezi politikalarla uyumlu tutulur. Uygulama araçları arasında Apache Kafka (olay akışı), Snowflake veya Databricks Lakehouse (depolama ve sorgu), dbt (dönüşüm katmanı) ve DataHub/Amundsen (veri kataloğu) öne çıkar. Kafka 4.0, ZooKeeper bağımlılığını ortadan kaldırarak çok kiracılı Data Mesh ortamlarını önemli ölçüde basitleştirmiştir. AWS Data Zones, Azure Purview ve Google Dataplex gibi bulut hizmetleri de yerleşik Data Mesh desteği sunmaktadır. IBM'in 2024 verilerine göre şirketlerin yüzde seksen ikisi veri silolarının yapay zeka projelerini engellediğini bildiriyor; Gartner'a göre organizasyonların yüzde altmış biri yapay zeka baskısıyla veri işletme modelini yeniden yapılandırıyor. Data Mesh, bu dönüşümün teknik ve organizasyonel altyapısını bütünleşik biçimde ele alan kapsamlı bir çerçeve sunmaktadır.

Neden Data Mesh?

Veri ambarı ve data lake tabanlı mimarilerde tüm veriler merkezi bir platforma aktarılır; bu yapı küçük organizasyonlarda yeterli olsa da büyük kuruluşlarda üç kritik sorun üretir: merkezi veri ekibinin darboğaz haline gelmesi, veri setlerinin güncelliğini yitirmesi ve iş birimlerinin hızlı analitik ihtiyaçlarını karşılayamaması. Data Mesh bu monolitik yapıya alan odaklı, merkezsiz bir alternatif sunar.

Dört Temel İlke

  • check_circle Alan Sahipliği (Domain Ownership): Veri sorumluluğu, veriyi en iyi anlayan iş birimlerine devredilir. Satış verisi satış ekibine, ürün verisi ürün ekibine aittir.
  • check_circle Veri Ürünü (Data as a Product): Her veri kümesi; keşfedilebilir, belgelenmiş, güvenilir ve SLA'ya bağlı bir ürün olarak tasarlanır. Yazılım ürünü gibi sahiplenilir ve bakımı yapılır.
  • check_circle Self-Servis Veri Platformu: Alan ekipleri merkezi mühendislik desteğine gerek kalmadan veri ürünlerini oluşturabilir, yayımlayabilir ve güncelleyebilir. Ortak araçlar platform olarak sunulur.
  • check_circle Federe Yönetişim: Her alan bağımsız çalışırken kuruluş genelinde veri kalitesi, güvenlik ve standartlar merkezi politikalar aracılığıyla uyumlu tutulur.

Veri Ürünü Kavramı

Data Mesh'in en yenilikçi boyutu, veri setlerini yazılım ürünü gibi ele almasıdır. İyi bir veri ürünü dört bileşenden oluşur: kodu (dönüşüm mantığı ve pipeline), veri ve meta veri (şema, soy ağacı, kalite metrikleri), altyapı (depolama, işlem, erişim kontrolü) ve arayüzler (API'lar, sorgulama endpoint'leri). Bu perspektif; veri sahipliği, bakım sorumluluğu ve sürüm yönetimi anlayışını kökten değiştirir.

Uygulama Araçları ve Ekosistem

Pratik Data Mesh uygulamalarında olay akışı için Apache Kafka, depolama ve sorgu için Snowflake veya Databricks Lakehouse, dönüşüm katmanı için dbt, veri kataloğu için DataHub veya Amundsen ve veri kalitesi için Great Expectations kullanılır. Bulut tarafında AWS Data Zones, Azure Purview ve Google Dataplex yerleşik Data Mesh altyapısı sunar. Kafka 4.0 (2024), ZooKeeper bağımlılığını kaldırarak çok kiracılı ortamlarda altyapı karmaşıklığını azaltmıştır.

Data Mesh ile Data Lake/Warehouse Karşılaştırması

  • check_circle Veri Sahipliği: Data Lake/Warehouse: Merkezi veri mühendisliği ekibi. Data Mesh: Veriyi üreten alan ekibi.
  • check_circle Ölçekleme: Data Lake/Warehouse: Merkezi platformu büyütmek. Data Mesh: Alan sayısıyla paralel ölçekleme.
  • check_circle Teknik Borç: Data Lake/Warehouse: Veri bataklığı (data swamp) riski yüksek. Data Mesh: Ürün sahipliği kaliteyi korur.
  • check_circle Organizasyonel Yapı: Data Lake/Warehouse: Merkezi uzman ekip gerektirir. Data Mesh: Conway yasasına uygun; ekip yapısı mimariyi yansıtır.

Sık Sorulan Sorular

  • check_circle Data Mesh sadece büyük şirketler için mi?: Genellikle birden fazla veri üretici alan barındıran büyük organizasyonlarda değer sağlar. Küçük şirketlerde merkezsizleştirmenin yönetim yükü faydaları aşabilir.
  • check_circle Data Mesh uygulamak ne kadar sürer?: Tam dönüşüm 12-24 ay sürebilir. Çoğu kuruluş pilot domain seçerek başlar, ardından alan sayısını artırır.
  • check_circle Data Fabric ile farkı nedir?: Data Fabric, heterojen veri kaynaklarını birleştiren metadata odaklı araç merkezli bir mimaridir. Data Mesh ise organizasyonel sorumluluk dağılımına odaklanan sosyo-teknik bir yaklaşımdır.
  • check_circle Hangi sektörler Data Mesh'i benimsiyor?: Fintech (Klarna, JPMorgan), e-ticaret (Zalando öncü kabul edilir), sağlık ve telekomünikasyon sektörleri öne çıkmaktadır.
  • check_circle Data Mesh'te veri güvenliği nasıl yönetilir?: Federe yönetişim kapsamında merkezi politikalar (RBAC, veri sınıflandırma, GDPR/KVKK uyumu) tüm alanlara uygulanır; her alan kendi erişim kontrollerini yerel olarak yönetir.