Data Quality (Veri Kalitesi)

#VeriKalitesi #DataQuality #VeriMadenciligi #VeriYonetimi #MLOps

Veri Kalitesi, bir veri kümesinin doğruluk, tamlık ve tutarlılık gibi altı temel boyutuyla kullanım amacına uygunluğunu ölçen standartlar bütünüdür.

Veri kalitesi (Data Quality), bir veri kümesinin belirli bir kullanım amacı için ne derece uygun olduğunu ifade eden çok boyutlu bir kavramdır. Yapay zeka, makine öğrenimi ve veri madenciliği projelerinde, veri kalitesi modelin ne kadar doğru ve güvenilir sonuç üreteceğini belirleyen temel etkendir. Veri kalitesi altı standart boyutla ölçülür. Doğruluk (accuracy), veri değerlerinin gerçek dünyadaki durumu yansıtıp yansıtmadığını ölçer. Tamlık (completeness), gerekli alanların eksiksiz biçimde dolu olup olmadığını denetler. Tutarlılık (consistency), aynı verinin farklı sistemler veya tablolar arasında çelişip çelişmediğini kontrol eder. Zamansallık (timeliness), verinin analiz amacına yetecek kadar güncel olup olmadığını sorgular. Geçerlilik (validity), verilerin tanımlanmış iş kurallarına ve formatlara uygunluğunu belirler. Benzersizlik (uniqueness) ise yinelenen kayıtları tespit eder. Sektörde yerleşik olan 'Çöp içeri, çöp dışarı' (Garbage In, Garbage Out) ilkesi, veri kalitesinin modeller üzerindeki doğrudan etkisini özetler. Hatalı veya eksik verilerle eğitilen bir yapay zeka modeli, gerçek dünya koşullarında güvenilmez tahminler üretir. Araştırmalar, veri bilimcilerinin zamanının yüzde altmış ila seksenini veri temizleme ve kalite iyileştirmeye ayırdığını ortaya koymaktadır. Veri kalitesini ölçmek ve artırmak için kullanılan başlıca araçlar arasında Great Expectations, dbt testleri, Apache Soda ve Pandas Profiling yer almaktadır. Bu araçlar veri boru hatlarına (pipeline) entegre edilerek kalite sorunlarını anlık raporlar ve anomalileri uyarı sistemlerine bildirir. Üretim ortamlarında sürekli veri kalitesi izleme (data quality monitoring), sapmalar gerçekleşir gerçekleşmez mühendis ekipleri uyarır. Regülasyon boyutunda AB Yapay Zeka Yasası (AI Act) Madde 10, yüksek riskli yapay zeka sistemlerinde veri yönetim uygulamalarını ve kalite metriklerini belgelemeyi yasal yükümlülük haline getirmiştir. ISO/IEC 25012 standardı da veri kalitesi özelliklerini sistematik biçimde tanımlar. Bu nedenle veri kalitesi artık yalnızca teknik bir uygulama değil, kurumsal yönetişim ve uyum çerçevelerinin ayrılmaz bir parçasıdır.

Veri Kalitesi Neden Bu Kadar Önemlidir?

Yapay zeka ve makine öğrenimi modellerinin başarısı, büyük ölçüde eğitimde kullanılan verinin kalitesine bağlıdır. 'Garbage in, garbage out' (GIGO) olarak bilinen bu ilke, hatalı veya tutarsız girdilerle eğitilen modellerin sistematik olarak hatalı çıktılar ürettiğini ifade eder. Örneğin, eksik demografik kayıtlarla eğitilen bir kredi riski modeli belirli gruplara karşı önyargılı kararlar alabilir; yanlış etiketlenmiş tıbbi görüntülerle eğitilen bir teşhis sistemi hayati hatalara yol açabilir. Veri kalitesi sorunları yalnızca model doğruluğunu değil, operasyonel güveni ve yasal uyumu da etkiler. Gartner araştırmalarına göre yetersiz veri kalitesi, kuruluşlara yıllık ortalama 12,9 milyon dolar maliyet yaratmaktadır. Bu nedenle veri kalitesi, veri mühendisliğinde ve MLOps'ta birinci sınıf bir endişe haline gelmiştir.

Altı Temel Kalite Boyutu

Doğruluk

Veri değerlerinin gerçek dünyadaki durumu doğru biçimde yansıtması. Örneğin, müşteri yaşının gerçekle eşleşmesi.

Tamlık

Zorunlu alanların eksiksiz doldurulması. Eksik değerler (null) model eğitimini olumsuz etkiler ve imputation gerektirir.

Tutarlılık

Aynı verinin farklı sistemler veya tablolar arasında çelişmemesi. Örneğin, CRM ve fatura sisteminde müşteri adının aynı olması.

Zamansallık

Verinin analiz amacına yetecek ölçüde güncel olması. Eski fiyat verileriyle eğitilen talep tahmini modeli başarısız olur.

Geçerlilik

Verilerin tanımlanmış formatlara ve iş kurallarına uygunluğu. Örneğin, tarih alanında '2024-13-45' geçersiz bir değerdir.

Benzersizlik

Yinelenen kayıtların yokluğu. Müşteri tablosunda aynı kişinin birden fazla kaydının olması çeşitli analizleri bozar.

Veri Kalitesi Araçları ve Uygulamaları

  • check_circle Great Expectations: Python tabanlı açık kaynak veri doğrulama kütüphanesi; 'beklentiler' tanımlayarak pipeline'larda otomatik kalite kontrol yapar ve zengin HTML raporlar üretir.
  • check_circle dbt Tests: SQL tabanlı dönüşüm aracı dbt, not_null, unique, accepted_values gibi yerleşik testlerle ve özel testlerle veri ambarı katmanında kaliteyi doğrular.
  • check_circle Apache Soda: Veri kalitesi izleme platformu; SodaCL adlı YAML tabanlı dil ile sütun kalite kuralları tanımlanır ve Slack/PagerDuty entegrasyonuyla uyarı gönderir.
  • check_circle Pandas Profiling / ydata-profiling: Veri setini otomatik olarak analiz ederek eksik değer oranı, dağılım, korelasyon ve uyarıları içeren kapsamlı bir HTML raporu üretir.
  • check_circle Monte Carlo & Datafold: Kurumsal veri gözlemlenebilirlik (data observability) platformları; üretim tablolarında veri kalitesi sapmalarını gerçek zamanlı izler ve kök neden analizi yapar.

Sıkça Sorulan Sorular

  • check_circle Veri kalitesi ile veri temizleme arasındaki fark nedir?: Veri temizleme (data cleaning), hatalı, eksik veya tutarsız kayıtları düzelterek kaliteyi iyileştirmeye yönelik tek seferlik bir eylemdir. Veri kalitesi ise daha geniş bir çerçevedir: temizleme, izleme, profiling, kural tanımlama ve sürekli iyileştirme süreçlerini kapsayan kurumsal bir disiplindir.
  • check_circle Makine öğrenimi modellerinde veri kalitesi nasıl ölçülür?: Eğitim veri setinde eksik değer oranı, sınıf dengesizliği, özellik dağılımı ve etiket gürültüsü temel metriklerdir. Üretimde ise gerçek verinin eğitim dağılımından sapması (data drift) ve hedef değişken kayması (concept drift) izlenir; PSI (Population Stability Index) ve KS testi istatistiksel teşhis araçlarıdır.
  • check_circle Veri kalitesi ile GDPR/AB AI Act arasındaki ilişki nedir?: AB Yapay Zeka Yasası Madde 10, yüksek riskli AI sistemlerinde eğitim, doğrulama ve test veri setlerinin kalite kriterlerini karşılamasını ve bu kriterlerin belgelenmesini zorunlu kılar. GDPR ise kişisel verilerin doğruluğu ilkesi (Madde 5/d) çerçevesinde yanlış kişisel verilerin düzeltilmesini gerektirdiğinden veri kalitesi yönetimi hem teknik hem de yasal uyum gereksinimi haline gelmiştir.
  • check_circle Küçük veri setleri için veri kalitesi büyük veri setlerinden daha mı önemlidir?: Küçük veri setlerinde kalite sorunları orantısız büyük etki yaratır: 1000 kayıtlık bir sette 100 hatalı kayıt modeli tamamen bozarken, 1 milyon kayıtlık bir sette aynı sayı daha az zarar verir. Few-shot öğrenme ve transfer learning senaryolarında birkaç kirli örnek modeli yanlı hizaya taşıyabileceğinden küçük veri kalitesi özellikle kritiktir.