Eğitim Verisi

#EgitimVerisi #MakineOgrenmesi #Veri #Etiketleme #VeriKalitesi

Eğitim Verisi, makine öğrenmesi modelinin parametrelerini güncellemek ve genelleme kapasitesini geliştirmek için kullandığı örnek veri kümesidir.

Eğitim verisi (training data), bir makine öğrenmesi modelinin öğrenme sürecinde kullandığı, girdi-çıktı çiftlerinden ya da ham örneklerden oluşan veri kümesidir. Model, bu veri üzerinden parametrelerini ayarlar ve gerçek dünya dağılımına ilişkin örüntüleri çıkarır. Bir modelin kalitesi büyük ölçüde eğitim verisinin kalitesine, miktarına ve çeşitliliğine bağlıdır; 'çöp girer, çöp çıkar' ilkesi makine öğrenmesinde her zaman geçerlidir. Eğitim verisi türleri birkaç eksen boyunca sınıflandırılır. Etiketli veri (labeled data), insan etiketleyicilerin her örneğe doğru çıktıyı atadığı; denetimli öğrenme görevlerinin temelidir. Etiketsiz veri (unlabeled data), ham metin, görüntü veya ses olup öz-denetimli öğrenme ile büyük ön-eğitim modellerinde (GPT, BERT vb.) kullanılır. Sentetik veri, gerçek veriyi taklit eden yapay örneklerdir; nadir senaryoları temsil etmek ve gizlilik kısıtlamalarını aşmak için idealdir. Yarı otomatik etiketleme ise mevcut model çıktıları veya kural tabanlı sistemlerle üretilen etiketlerle insan emeği maliyetini önemli ölçüde düşürür ve büyük ölçekli veri kümelerinin hızla hazırlanmasını mümkün kılar. Veri hazırlama aşamaları projenin başarısını doğrudan etkiler: temizleme (duplikat, aykırı değer ve hatalı etiket kaldırma), veri artırma (görüntüde kırpma/döndürme, metinde parafraz), eğitim/doğrulama/test bölümlemesi ve dengesiz sınıfların yeniden örneklenmesi (SMOTE, undersampling). Modern ML projelerinde mühendislik zamanının büyük bölümü bu veri mühendisliği adımlarına ayrılmaktadır. Veri önyargısı (data bias) kritik bir risktir: eğitim seti belirli grupları yeterince temsil etmiyorsa model bu eksikliği öğrenir ve gerçek dünya dağıtımında adaletsiz çıktılar üretir. Transfer öğrenme ve az örnekli öğrenme teknikleri gereken etiketli veri miktarını önemli ölçüde azaltır. Veri kalitesini izlemek için DVC ve MLflow gibi sürümleme araçları ile Label Studio ve Scale AI gibi etiketleme platformları yaygın biçimde kullanılmaktadır. Veri kalitesi, model performansının belirleyici bir bileşeni olmaya devam etmektedir.

Eğitim Verisi Neden Bu Kadar Önemli?

Bir makine öğrenmesi modeli yalnızca gördüklerinden öğrenir. Eğitim verisi yetersiz, yanlı veya temsil gücü düşükse model hem öğrenme aşamasında hem de gerçek dünya dağıtımında başarısız olur. "Çöp girer, çöp çıkar" ilkesi makine öğrenmesinde özellikle geçerlidir: algoritmayı ne kadar gelişmiş seçerseniz seçin, zayıf veri üstün model çıktısı vermez. Bu nedenle modern ML projelerinde zamanın önemli bölümü veri toplama, temizleme ve dönüştürme süreçlerine ayrılır.

Veri Türleri ve Kaynaklar

  • check_circle Etiketli Veri: İnsan etiketleyicilerin her örneğe doğru çıktıyı atadığı veri; denetimli öğrenme görevlerinin temeli.
  • check_circle Etiketsiz Veri: Ham metin, görüntü veya ses; öz-denetimli öğrenme ile büyük ön eğitim modellerinde kullanılır.
  • check_circle Sentetik Veri: Gerçek veriyi taklit eden yapay olarak üretilmiş örnekler; nadir senaryolar için veri çeşitliliğini artırır.
  • check_circle Otomasyon İle Etiketleme: Mevcut model çıktıları veya kural tabanlı sistemlerle üretilen yarı otomatik etiketler; maliyeti düşürür.

Veri Hazırlama Adımları

  • check_circle Temizleme: Duplikatlar, aykırı değerler ve hatalı etiketler kaldırılır; gürültülü veri model kalitesini düşürür.
  • check_circle Veri Artırma: Görüntü kırpma/döndürme, metin parafrazı gibi dönüşümlerle eğitim seti yapay olarak büyütülür.
  • check_circle Bölümleme: Veri eğitim (%70-80), doğrulama (%10-15) ve test (%10-15) kümelerine ayrılır; her set yalnızca amaçlanan aşamada kullanılır.
  • check_circle Sınıf Dengeleme: Dengesiz sınıflar için aşırı örnekleme (SMOTE) veya eksik örnekleme ile sınıf dağılımı düzeltilir.

Transfer Öğrenme ve Az Veriyle Çalışma

  • check_circle Transfer Öğrenme: Büyük veri kümesiyle önceden eğitilmiş bir model, küçük hedef veri kümesine ince ayar yapılarak uyarlanır; gereken etiketli veri miktarını 10-100× azaltabilir.
  • check_circle Az Örnekli Öğrenme (Few-Shot): Yalnızca birkaç örnek üzerinden yeni kavramları genelleştirme yeteneği; GPT-4 gibi modeller sıfır ya da birkaç örnekle yeni görevleri başarır.
  • check_circle Öz-Denetimli Ön Eğitim: Etiketsiz büyük külliyatla (Common Crawl, Wikipedia) ön eğitim yapılır; görev spesifik etiket gereksinimini ciddi ölçüde azaltır.
  • check_circle Veri Verimli Mimariler: Vision Transformer (ViT) ve data-efficient ViT (DeiT) gibi mimariler, standart ConvNet'lere kıyasla daha az veriyle rekabetçi doğruluk elde eder.

Araçlar ve Platformlar

  • check_circle DVC (Data Version Control): Git benzeri sürüm kontrolünü veri kümelerine uygular; büyük dosyaları uzak depolamada yönetir, ML deneyleri yeniden üretilebilir kılar.
  • check_circle Label Studio: Açık kaynak etiketleme platformu; metin, görüntü, ses ve video için esnek arayüz sunar.
  • check_circle Scale AI / Labelbox: Büyük ölçekli insan etiketleme altyapısı; otomatik kalite kontrol ve etiketleyici anlaşma metrikleriyle entegre.
  • check_circle Hugging Face Datasets: Binlerce hazır veri kümesine tek satır kodla erişim; standart veri yükleme ve dönüştürme pipeline'ı sağlar.

Sık Sorulan Sorular

  • check_circle Ne kadar eğitim verisi gereklidir? Görev karmaşıklığına bağlıdır; basit sınıflandırıcılar yüzlerce örnekle işe yarıyor olabilirken büyük dil modelleri trilyon tokenli külliyatlarla eğitilir. Transfer öğrenme bu gereksinimi önemli ölçüde azaltır.
  • check_circle Veri önyargısı nasıl giderilir? Çeşitli ve temsili veri toplama, etnik/cinsiyet dengesini denetleme, model çıktı fairness metrikleriyle değerlendirme ve RLHF gibi hizalama teknikleri kullanılır.
  • check_circle Sentetik veri gerçek verinin yerini alabilir mi? Belirli senaryolarda evet; özellikle nadir olaylar, gizlilik kısıtlaması veya etiketleme maliyeti yüksek alanlarda sentetik veri gerçek veriyi etkin biçimde destekler ya da ikame eder.
  • check_circle Eğitim verisi ile test verisi neden ayrı tutulmalıdır? Model eğitim verisindeki örüntüleri ezberleyebilir (overfitting). Test verisi eğitimde hiç kullanılmazsa modelin gerçek dünya genelleme performansı tarafsız biçimde ölçülmüş olur; aksi hâl "veri sızıntısı" (data leakage) olarak adlandırılır.
  • check_circle Veri artırma her görev için uygun mudur? Hayır. Görüntü sınıflandırmada agresif artırma standart pratiktir; ancak tıbbi görüntüleme veya hassas ölçüm görevlerinde yanlış artırma teknikleri etiketi değiştirerek zararlı olabilir. Artırma stratejisi göreve özgü dikkatle seçilmelidir.