tag dağıtık-sistemler

Bu sayfada dağıtık-sistemler etiketi ile işaretlenmiş 1 yapay zeka kavramını bulabilirsiniz.

Data Mesh, büyük organizasyonlarda veri yönetiminin getirdiği merkezi darboğaz ve ölçek sorunlarını çözmek amacıyla Zhamak Dehghani'nin 2019'da önerdiği merkezsiz veri mimarisi yaklaşımıdır. Kavram ilk olarak "How to Move Beyond a Monolithic Data Lake to a Distributed Data Mesh" başlıklı makalede detaylandırılmıştır. Geleneksel yaklaşımlarda veriler merkezi bir veri ambarı ya da data lake'te toplanır; bu yapı küçük organizasyonlarda yeterli olsa da büyük kuruluşlarda üç kritik sorun üretir: merkezi veri ekibinin darboğaz haline gelmesi, veri setlerinin güncelliğini yitirmesi ve iş birimlerinin hızlı analitik ihtiyaçlarını karşılayamaması. Data Mesh bu monolitik yapıya alan odaklı, merkezsiz bir alternatif sunar. Yaklaşım dört temel ilkeye dayanır. Birincisi, alan sahipliği: veriler onu en iyi anlayan domain ekiplerinin sorumluluğundadır. İkincisi, veri ürünü: her veri kümesi; keşfedilebilir, belgelenmiş, güvenilir ve SLA'ya bağlı bir "ürün" olarak tasarlanır. Üçüncüsü, self-servis veri platformu: alan ekipleri merkezi mühendislik desteğine gerek kalmadan veri ürünlerini oluşturup yayımlayabilir. Dördüncüsü, federe yönetişim: bağımsız alanlar arasında veri kalitesi, güvenlik ve standart tanımları merkezi politikalarla uyumlu tutulur. Uygulama araçları arasında Apache Kafka (olay akışı), Snowflake veya Databricks Lakehouse (depolama ve sorgu), dbt (dönüşüm katmanı) ve DataHub/Amundsen (veri kataloğu) öne çıkar. Kafka 4.0, ZooKeeper bağımlılığını ortadan kaldırarak çok kiracılı Data Mesh ortamlarını önemli ölçüde basitleştirmiştir. AWS Data Zones, Azure Purview ve Google Dataplex gibi bulut hizmetleri de yerleşik Data Mesh desteği sunmaktadır. IBM'in 2024 verilerine göre şirketlerin yüzde seksen ikisi veri silolarının yapay zeka projelerini engellediğini bildiriyor; Gartner'a göre organizasyonların yüzde altmış biri yapay zeka baskısıyla veri işletme modelini yeniden yapılandırıyor. Data Mesh, bu dönüşümün teknik ve organizasyonel altyapısını bütünleşik biçimde ele alan kapsamlı bir çerçeve sunmaktadır.

code_blocks

Data Mesh (Veri Ağı)

Data Mesh, büyük organizasyonlarda veri yönetiminin getirdiği merkezi darboğaz ve ölçek sorunlarını çözmek amacıyla Zhamak Dehghani'nin 2019'da önerdiği merkezsiz veri mimarisi yaklaşımıdır. Kavram ilk olarak "How to Move Beyond a Monolithic Data Lake to a Distributed Data Mesh" başlıklı makalede detaylandırılmıştır. Geleneksel yaklaşımlarda veriler merkezi bir veri ambarı ya da data lake'te toplanır; bu yapı küçük organizasyonlarda yeterli olsa da büyük kuruluşlarda üç kritik sorun üretir: merkezi veri ekibinin darboğaz haline gelmesi, veri setlerinin güncelliğini yitirmesi ve iş birimlerinin hızlı analitik ihtiyaçlarını karşılayamaması. Data Mesh bu monolitik yapıya alan odaklı, merkezsiz bir alternatif sunar. Yaklaşım dört temel ilkeye dayanır. Birincisi, alan sahipliği: veriler onu en iyi anlayan domain ekiplerinin sorumluluğundadır. İkincisi, veri ürünü: her veri kümesi; keşfedilebilir, belgelenmiş, güvenilir ve SLA'ya bağlı bir "ürün" olarak tasarlanır. Üçüncüsü, self-servis veri platformu: alan ekipleri merkezi mühendislik desteğine gerek kalmadan veri ürünlerini oluşturup yayımlayabilir. Dördüncüsü, federe yönetişim: bağımsız alanlar arasında veri kalitesi, güvenlik ve standart tanımları merkezi politikalarla uyumlu tutulur. Uygulama araçları arasında Apache Kafka (olay akışı), Snowflake veya Databricks Lakehouse (depolama ve sorgu), dbt (dönüşüm katmanı) ve DataHub/Amundsen (veri kataloğu) öne çıkar. Kafka 4.0, ZooKeeper bağımlılığını ortadan kaldırarak çok kiracılı Data Mesh ortamlarını önemli ölçüde basitleştirmiştir. AWS Data Zones, Azure Purview ve Google Dataplex gibi bulut hizmetleri de yerleşik Data Mesh desteği sunmaktadır. IBM'in 2024 verilerine göre şirketlerin yüzde seksen ikisi veri silolarının yapay zeka projelerini engellediğini bildiriyor; Gartner'a göre organizasyonların yüzde altmış biri yapay zeka baskısıyla veri işletme modelini yeniden yapılandırıyor. Data Mesh, bu dönüşümün teknik ve organizasyonel altyapısını bütünleşik biçimde ele alan kapsamlı bir çerçeve sunmaktadır.

arrow_forward