tag DataMesh

Data Contract (Veri Sözleşmesi)

Bu sayfada DataMesh (Data Contract (Veri Sözleşmesi)) etiketi ile işaretlenmiş 1 yapay zeka kavramını bulabilirsiniz.

Data contract (veri sözleşmesi), bir veri üreticisi ile veri tüketicileri arasında kurulan, şema, kalite kuralları ve teslimat yükümlülüklerini resmileştiren makine tarafından uygulanabilir anlaşmadır. Terim, 2022 yılında Chad Sanderson tarafından data mesh mimarisinin yaygınlaşmasıyla birlikte popüler hale gelmiştir. Geleneksel veri boru hatlarında üretici ekipler şema değişikliklerini bildirmeden güncelleme yapabilir; bu durum aşağı akış ML modellerini, raporları ve analitik iş yüklerini bozar. Data contract bu kırılganlığı ortadan kaldırır: üretici, belirli bir şema versiyonunu, null toleransını, veri tazeliğini ve iş tanımlarını resmî bir belge olarak yayımlar; tüketici ise bu koşulları CI/CD sürecinde otomatik olarak doğrular. Bir data contract genellikle şu unsurları kapsar: sütun adları ve veri türleri, zorunluluk ve benzersizlik kısıtlamaları, tazelik SLA'sı (ör. "her 6 saatte bir güncellenir"), anlam bağlamı (sütun iş tanımları) ve sürüm uyumluluk politikası. dbt 1.5+ ile gelen contract bloğu bu denetimi proje düzeyine taşır; Soda Core ve Great Expectations ise çalışma zamanında ihlalleri yakalayarak bozuk verinin ML modellerine ulaşmasını engeller. Araştırmalar, veri kalitesi olaylarının yüzde altmışından fazlasının üretici-tüketici iletişim kopukluğundan kaynaklandığını ortaya koymuştur. MLOps bağlamında data contract, feature store'a beslenen her kaynak tablonun kalite güvencesini kurar. Model eğitimi ve üretim çıkarımı arasındaki dağılım kaymasını (training-serving skew) önlemek için özellik alanlarının tip ve aralık kısıtlamaları sözleşmede açıkça tanımlanır. LLM boru hatlarında embedding modeline giden metin sütunlarının maksimum uzunluk ve karakter kodlaması gibi kısıtlamalar da sözleşme kapsamına alınabilir. Streaming mimarilerde Apache Kafka için Schema Registry, Avro veya Protobuf şemalarını sözleşme mekanizması olarak kullanır; gerçek zamanlı boru hatlarında şema evrimi güvenli biçimde yönetilir. Sürümleme açısından anlamsal sürümleme (MAJOR.MINOR.PATCH) yaklaşımı önerilir: kırıcı değişiklikler MAJOR sürümü yükseltir ve tüketici ekiplere geçiş süresi tanınır. Data mesh mimarisinde her veri ürünü kendi sözleşmesinden sorumlu olur; bu dağıtık sahiplik modeli büyük organizasyonlarda veri güvenilirliğini merkezi denetim olmaksızın ölçeklendirmeye olanak tanır.

code_blocks

Data Contract (Veri Sözleşmesi)

Data contract (veri sözleşmesi), bir veri üreticisi ile veri tüketicileri arasında kurulan, şema, kalite kuralları ve teslimat yükümlülüklerini resmileştiren makine tarafından uygulanabilir anlaşmadır. Terim, 2022 yılında Chad Sanderson tarafından data mesh mimarisinin yaygınlaşmasıyla birlikte popüler hale gelmiştir. Geleneksel veri boru hatlarında üretici ekipler şema değişikliklerini bildirmeden güncelleme yapabilir; bu durum aşağı akış ML modellerini, raporları ve analitik iş yüklerini bozar. Data contract bu kırılganlığı ortadan kaldırır: üretici, belirli bir şema versiyonunu, null toleransını, veri tazeliğini ve iş tanımlarını resmî bir belge olarak yayımlar; tüketici ise bu koşulları CI/CD sürecinde otomatik olarak doğrular. Bir data contract genellikle şu unsurları kapsar: sütun adları ve veri türleri, zorunluluk ve benzersizlik kısıtlamaları, tazelik SLA'sı (ör. "her 6 saatte bir güncellenir"), anlam bağlamı (sütun iş tanımları) ve sürüm uyumluluk politikası. dbt 1.5+ ile gelen contract bloğu bu denetimi proje düzeyine taşır; Soda Core ve Great Expectations ise çalışma zamanında ihlalleri yakalayarak bozuk verinin ML modellerine ulaşmasını engeller. Araştırmalar, veri kalitesi olaylarının yüzde altmışından fazlasının üretici-tüketici iletişim kopukluğundan kaynaklandığını ortaya koymuştur. MLOps bağlamında data contract, feature store'a beslenen her kaynak tablonun kalite güvencesini kurar. Model eğitimi ve üretim çıkarımı arasındaki dağılım kaymasını (training-serving skew) önlemek için özellik alanlarının tip ve aralık kısıtlamaları sözleşmede açıkça tanımlanır. LLM boru hatlarında embedding modeline giden metin sütunlarının maksimum uzunluk ve karakter kodlaması gibi kısıtlamalar da sözleşme kapsamına alınabilir. Streaming mimarilerde Apache Kafka için Schema Registry, Avro veya Protobuf şemalarını sözleşme mekanizması olarak kullanır; gerçek zamanlı boru hatlarında şema evrimi güvenli biçimde yönetilir. Sürümleme açısından anlamsal sürümleme (MAJOR.MINOR.PATCH) yaklaşımı önerilir: kırıcı değişiklikler MAJOR sürümü yükseltir ve tüketici ekiplere geçiş süresi tanınır. Data mesh mimarisinde her veri ürünü kendi sözleşmesinden sorumlu olur; bu dağıtık sahiplik modeli büyük organizasyonlarda veri güvenilirliğini merkezi denetim olmaksızın ölçeklendirmeye olanak tanır.

arrow_forward