Eğitim Verisi

#EgitimVerisi #MakineOgrenmesi #Veri #Etiketleme #VeriKalitesi

Eğitim Verisi, makine öğrenmesi modelinin parametrelerini güncellemek ve genelleme kapasitesini geliştirmek için kullandığı örnek veri kümesidir.

Eğitim Verisi (Training Data), bir makine öğrenmesi veya derin öğrenme modelinin öğrenme sürecinde kullandığı, modelin parametrelerini güncellemek ve genelleme kapasitesini geliştirmek amacıyla işlenen veri kümesidir. Modelin öğrenebileceği her şey eğitim verisinden gelir; bu nedenle veri kalitesi ve çeşitliliği modelin performansını doğrudan belirler. Eğitim verisi iki temel biçimde olabilir. Etiketli veri, her giriş örneğine doğru çıktı etiketinin atandığı veridir; denetimli öğrenmede bu format zorunludur. Bir görüntü sınıflandırıcısı için binlerce 'kedi/köpek' etiketli fotoğraf veya duygu analizi için cümle-duygu çiftleri etiketli veri örnekleridir. Etiketsiz veri ise önceden işareti olmayan ham verilerdir; dil modelleri milyarlarca etiketlenmemiş İnternet metni üzerinde öz-denetimli öğrenmeyle eğitilir. Eğitim verisinin kalitesi birden çok boyut içerir: doğruluk (yanlış etiketlerin az olması), temsil gücü (gerçek dünya dağılımını yansıtması), çeşitlilik (farklı senaryoları kapsaması) ve önyargısızlık (belirli grupları haksız biçimde temsil etmemesi). Veri önyargısı (data bias) modelin adaletsiz çıktılar üretmesine yol açar; İnsan Geri Bildirimi ile Pekiştirmeli Öğrenme (RLHF) bu sorunu kısmen gidermek için kullanılan tekniklerden biridir. Veri mühendisliği uygulamaları arasında veri artırma (rotasyon, kırpma, yeniden örnekleme), sentetik veri üretimi ve veri temizleme (aykırı değerlerin, duplikatların kaldırılması) yer alır. Eğitim-doğrulama-test ayrımı standart protokoldür: model yalnızca eğitim verisiyle öğrenir, doğrulama verisiyle hiperparametreler ayarlanır, test verisi ise yalnızca nihai değerlendirme için kullanılır. Verilerin telif hakkı ve gizlilik boyutu da giderek önem kazanmaktadır. GDPR ve benzeri düzenlemeler kişisel veri kullanımını sınırlarken Creative Commons veya açık lisanslı veri kümeleri yasal belirsizlik olmadan kullanılabilir. Model kartları artık eğitim veri kaynağını şeffaf biçimde açıklamayı bir iyi pratik olarak önermektedir.

Eğitim Verisi Neden Bu Kadar Önemli?

Bir makine öğrenmesi modeli yalnızca gördüklerinden öğrenir. Eğitim verisi yetersiz, yanlı veya temsil gücü düşükse model hem öğrenme aşamasında hem de gerçek dünya dağıtımında başarısız olur. 'Çöp girer, çöp çıkar' ilkesi makine öğrenmesinde özellikle geçerlidir: algoritmayı ne kadar gelişmiş seçerseniz seçin, zayıf veri üstün model çıktısı vermez. Bu nedenle modern ML projelerinde zamanın önemli bölümü veri toplama, temizleme ve dönüştürme süreçlerine ayrılır.

Veri Türleri ve Kaynaklar

  • check_circle Etiketli Veri: İnsan etiketleyicilerin her örneğe doğru çıktıyı atadığı veri; denetimli öğrenme görevlerinin temeli.
  • check_circle Etiketsiz Veri: Ham metin, görüntü veya ses; öz-denetimli öğrenme ile büyük ön eğitim modellerinde kullanılır.
  • check_circle Sentetik Veri: Gerçek veriyi taklit eden yapay olarak üretilmiş örnekler; nadir senaryolar için veri çeşitliliğini artırır.
  • check_circle Otomasyon İle Etiketleme: Mevcut model çıktıları veya kural tabanlı sistemlerle üretilen yarı otomatik etiketler; maliyeti düşürür.

Veri Hazırlama Adımları

Temizleme

Duplikatlar, aykırı değerler ve hatalı etiketler kaldırılır; gürültülü veri model kalitesini düşürür.

Veri Artırma

Görüntü kırpma/döndürme, metin parafrazı gibi dönüşümlerle eğitim seti yapay olarak büyütülür.

Bölümleme

Veri eğitim (%70-80), doğrulama (%10-15) ve test (%10-15) kümelerine ayrılır; her set yalnızca amaçlanan aşamada kullanılır.

Sınıf Dengeleme

Dengesiz sınıflar için aşırı örnekleme (SMOTE) veya eksik örnekleme ile sınıf dağılımı düzeltilir.

Sıkça Sorulan Sorular

  • check_circle Ne kadar eğitim verisi gereklidir?: Görev karmaşıklığına bağlıdır; basit sınıflandırıcılar yüzlerce örnekle işe yarıyor olabilirken büyük dil modelleri trilyon tokenli külliyatlarla eğitilir. Transfer öğrenme bu gereksinimi önemli ölçüde azaltır.
  • check_circle Veri önyargısı nasıl giderilir?: Çeşitli ve temsili veri toplama, etnik/cinsiyet dengesini denetleme, model çıktı fairness metrikleriyle değerlendirme ve RLHF gibi hizalama teknikleri kullanılır.
  • check_circle Sentetik veri gerçek verinin yerini alabilir mi?: Belirli senaryolarda evet; özellikle nadir olaylar, gizlilik kısıtlaması veya etiketleme maliyeti yüksek alanlarda sentetik veri gerçek veriyi etkin biçimde destekler ya da ikame eder.