Veri Seti

#VeriSeti #MakineOgrenimi #VeriBilimi #DerinOgrenme

Yapay zeka ve makine öğrenimi modellerini eğitmek, doğrulamak ve test etmek için kullanılan yapılandırılmış veri koleksiyonu.

Veri seti (İngilizce: dataset), makine öğrenimi ve yapay zeka modellerinin eğitilmesinde, doğrulanmasında ve test edilmesinde kullanılan yapılandırılmış veri koleksiyonudur. Her yapay zeka sisteminin temeli kaliteli veri setlerine dayanır; en sofistike algoritmalar bile yetersiz ya da önyargılı verilerle başarısız olur. Bir veri seti genellikle üç alt kümeye ayrılır. Eğitim seti (training set), modelin örüntüleri ve ilişkileri öğrendiği ana veri kümesidir; toplam verinin yaklaşık yüzde yetmiş ila seksenini oluşturur. Doğrulama seti (validation set), geliştirme sürecinde hiperparametrelerin ayarlanması ve aşırı uyumun (overfitting) önlenmesi için kullanılan ara değerlendirme kümesidir. Test seti ise yalnızca nihai değerlendirmede kullanılır; modelin hiç görmediği bu veriler, gerçek dünya genelleme kapasitesinin tarafsız ölçütünü sağlar. Yaygın bölünme oranı 80/10/10 olmakla birlikte, veri kümesinin büyüklüğüne göre bu oranlar ayarlanabilir. Yapay zeka tarihinde kritik rol oynayan çeşitli kıyaslama (benchmark) veri setleri mevcuttur. MNIST, 70.000 el yazısı rakam görüntüsünden oluşur ve derin öğrenme için standart giriş veri setidir. ImageNet, 14 milyondan fazla etiketlenmiş görüntü içerir; AlexNet modelinin 2012 deki çığır açan başarısı bu veriyle elde edilmiştir. COCO (Common Objects in Context), 330.000 i aşkın görüntüyle nesne algılama ve segmentasyon görevlerinin altın standardıdır. Common Crawl ise petabaytlarca web sayfasını barındıran dev bir açık kaynak olup GPT-4, Llama ve hemen tüm büyük dil modellerinin ön eğitim sürecinde kullanılmaktadır. Bir veri setinin kalitesini belirleyen dört ana faktör vardır: boyut, etiket doğruluğu, çeşitlilik ve sınıf dengesi. Düşük etiket kalitesi model doğruluğunu yüzde otuza kadar düşürebilirken, dengesiz sınıf dağılımı modeli azınlık sınıflarını tanımakta yetersiz kılar. Veri seti önyargısı (dataset bias) özellikle dikkat gerektiren bir sorundur: tarihsel ayrımcılık barındıran eğitim verileri bu önyargıyı model çıktısına taşır. Örneğin yalnızca açık tenli yüzlerle eğitilen yüz tanıma sistemleri koyu tenli bireylerde anlamlı biçimde daha yüksek hata oranı üretmektedir. Veri zehirlenmesi (data poisoning) önemli bir güvenlik tehdididir: saldırganlar eğitim setine kasıtlı olarak bozuk örnekler ekleyerek modelin davranışını manipüle eder. Araştırmalar, sağlık alanındaki AI sistemlerinin yalnızca 100-500 zehirli örnekle yüzde altmışın üzerinde olasılıkla tehlikeye atılabildiğini ortaya koymaktadır. Türkçe doğal dil işleme açısından önemli bir not: Türkçe veri setleri İngilizce emsallerine kıyasla çok daha sınırlı ölçekte kalmaktadır. Bu durum, Türkçe NLP modellerini düşük kaynaklı dil (low-resource language) kategorisinde bırakmakta ve İngilizce modellerine kıyasla daha düşük performans sergilemelerine yol açmaktadır.

Veri Seti Nedir?

Veri seti (İngilizce: dataset), makine öğrenimi ve yapay zeka modellerinin eğitilmesinde, doğrulanmasında ve test edilmesinde kullanılan yapılandırılmış veri koleksiyonudur. Her yapay zeka sisteminin temeli kaliteli veri setlerine dayanır; en sofistike algoritmalar bile yetersiz ya da önyargılı verilerle başarılı sonuç vermez. Bir veri seti tipik olarak giriş örneklerinden (görüntü, metin, ses, tablo satırı) ve bunlara karşılık gelen etiketlerden oluşur; denetimli öğrenmede bu etiketler modelin neyi öğrenmesi gerektiğini belirler. Gerçek dünya ML projelerinde veri mühendisliği (toplama, temizlik, etiketleme, artırma) toplam iş süresinin %60-80'ini alır. Veri setinin kalitesi ve çeşitliliği, modelin doğruluğundan çok daha belirleyici bir etkendir; bu yüzden 'veri ilk önce' prensibi modern MLOps'un temel taşıdır.

Veri Seti Türleri

Eğitim Seti

Modelin ağırlıklarını güncellediği ana küme; tipik paylaşım %70-80; ne kadar büyük ve çeşitli olursa model o kadar iyi geneller

Doğrulama Seti

Hiperparametre ayarı ve overfitting tespiti için kullanılır; eğitimde kullanılmaz; tipik %10-15

Test Seti

Modelin gerçek dünya performansını ölçmek için son bir kez kullanılır; eğitim veya doğrulama sürecinde asla dokunulmamalı

Kıyaslama Veri Setleri

ImageNet, MNIST, GLUE, SQuAD gibi standart koleksiyonlar; farklı modellerin aynı zemin üzerinde karşılaştırılmasını sağlar

Önemli Kıyaslama Veri Setleri

  • check_circle MNIST: 70.000 el yazısı rakam görüntüsü; derin öğrenmenin 'merhaba dünya' veri seti; 1998'den beri kullanılır
  • check_circle ImageNet: 1.2 milyon görüntü, 1.000 kategori; 2012 AlexNet yarışmasında CNN'lerin devrimini başlattı
  • check_circle Common Crawl: Web'den toplanan petabayt boyutlu metin; GPT ve LLaMA gibi LLM'lerin eğitiminin temel kaynağı
  • check_circle COCO: 330K görüntü, nesne tespiti ve segmentasyon etiketleri; bilgisayarlı görü araştırmalarında standart
  • check_circle HumanEval / MBPP: Kod üretimi değerlendirme; GitHub Copilot ve benzeri modellerin kıyaslandığı benchmark
  • check_circle LibriSpeech: 1.000 saat İngilizce ses; konuşma tanıma modellerinin standart değerlendirme kümesi

Veri Kalitesi Sorunları

  • check_circle Önyargı (Bias): Tarihsel ayrımcılığı yansıtan etiketler veya demografik dengesizlik modele aktarılır; 'önyargılı veri = önyargılı model'
  • check_circle Gürültülü Etiketler: Hatalı veya tutarsız etiketler öğrenmeyi bozar; kalite kural tabanlı filtreleme veya çoklu annotator ile artırılır
  • check_circle Sınıf Dengesizliği: Nadir kategorilerin az temsilcisi olması; oversampling (SMOTE) veya class-weighted loss ile dengelenir
  • check_circle Veri Sızıntısı: Test verisinden bilginin eğitime karışması; yapay yüksek skorlar ve gerçek dünyada hayal kırıklığı
  • check_circle Dağılım Kayması (Data Drift): Eğitim verisi ile üretim verisi arasındaki farkın zamanla büyümesi; model performansını düşürür

Veri Seti Oluşturma ve Yönetimi

  • check_circle Kaynak Seçimi: Kapalı kaynaklar (özel veri), açık kaynaklar (HuggingFace Hub, Kaggle) veya sentetik veri üretimi
  • check_circle Etiketleme: İnsan annotatorlar (Amazon Mechanical Turk, Labelbox), programatik etiketleme veya model destekli pseudo-labeling
  • check_circle Veri Artırma (Augmentation): Döndürme, kırpma, renk değiştirme (görsel); gürültü ekleme, perde değiştirme (ses); parafraz, çeviri (metin)
  • check_circle Versiyon Kontrolü: DVC veya MLflow ile veri setinin hangi sürümünün hangi modeli eğittiğini takip etmek; yeniden üretilebilirlik için zorunlu
  • check_circle Lisans ve Gizlilik: CC BY, CC BY-NC gibi lisanslar; kişisel veri içeren setlerde GDPR/KVKK uyumu zorunlu

Sık Sorulan Sorular

  • check_circle Kaç veri noktasına ihtiyaç var? Probleme bağlıdır: transfer öğrenme ile görüntü sınıflandırma için 500-1.000 örnek yeterli olabilirken, sıfırdan eğitilen büyük modeller milyarlarca token gerektirir.
  • check_circle Eğitim-test ayrımı neden önemlidir? Test seti bilinmeden kalan veriyle modeli değerlendirirseniz gerçek dünya performansını yansıtmayan iyimser tahminler elde edersiniz.
  • check_circle Sentetik veri kullanmak güvenli mi? Gerçek veri seti küçük veya dengesiz olduğunda sentetik veri artırma için etkilidir; ancak sentetik verinin dağılımı gerçek dünyadan çok uzaklaşırsa model genelleme kaybeder.
  • check_circle Veri seti ne sıklıkla güncellenmeli? Üretimdeki model data drift'e maruz kalıyorsa yeni örneklerle periyodik yeniden eğitim gerekir; sürekli öğrenme (continual learning) bu süreci otomatikleştirir.
  • check_circle Açık kaynak veri setleri nerede bulunur? HuggingFace Hub, Kaggle Datasets, Google Dataset Search ve Papers With Code başlıca kaynaklardır.