Veri Etiketleme Nedir?
Veri etiketleme, ham veri örneklerine anlamlı etiket veya meta veri atamanın sürecidir. Bir görüntüdeki nesneler kutucuklarla işaretlenebilir, e-postalar 'spam' veya 'spam değil' olarak sınıflandırılabilir, ses dosyaları transkripsiyona dönüştürülebilir ya da metin cümleleri duygu tonuna göre etiketlenebilir. Her örnek için oluşturulan etiket, modelin öğrenme sürecinde doğruyu temsil eden altın standart (ground truth) olarak işlev görür.
Etiketleme Yöntemleri
Manuel etiketleme, insan uzmanlar veya Amazon Mechanical Turk ve Scale AI gibi kalabalık kaynak platformları aracılığıyla yapılır. Yarı otomatik etiketlemede model ön tahmin üretir, insan uzmanlar yalnızca belirsiz örnekleri düzeltir. Otomatik etiketleme (weak supervision) ise kural tabanlı sistemler veya daha güçlü modellerin zayıf sinyallerini birleştirerek büyük ölçekte etiket üretir; Snorkel bu yaklaşımın öncü çerçevesidir.
Etiket Kalitesi ve Cohen's Kappa
Etiket kalitesi, model performansını doğrudan belirler. Kaliteyi ölçmek için iki ya da daha fazla etiketçinin aynı örnekleri bağımsız olarak işaretlemesi ve Cohen's Kappa katsayısıyla anlaşma oranının hesaplanması gerekir. Kappa 0.80 ve üzeri güçlü anlaşma, 0.60-0.79 arası orta düzey anlaşma, 0.60 altı ise zayıf anlaşma olarak yorumlanır. Düşük değerler talimatların netleştirilmesini ya da etiketçi kalibrasyonunu gerektirir.
RLHF ve Modern Etiketleme
Büyük dil modellerinin eğitiminde tercih tabanlı etiketleme kritik rol oynar. RLHF sürecinde insan değerlendiriciler modelin ürettiği iki yanıttan daha yardımcı, daha doğru veya daha zararsız olanı seçer. Bu tercih verisi ödül modelinin eğitilmesinde kullanılır. RLAIF yaklaşımında ise daha güçlü bir model küçük modeli etiketler; insan maliyeti olmaksızın büyük ölçekli kaliteli tercih verisi üretmek mümkün olur.
Aktif Öğrenme
Aktif öğrenme, etiketleme bütçesini verimli kullanmak için modelin kendi belirsizliğini rehber olarak kullanmasına dayanır. Model, tahmin dağılımının en belirsiz olduğu örnekleri etiketleme kuyruğuna ekler. Bu yöntemle aynı performansa rastgele örnekleme stratejisine kıyasla çok daha az etiketlenmiş örnekle ulaşılabilir. Tıbbi görüntüleme ve hukuki belge analizi gibi uzman emek gerektiren alanlarda özellikle değerlidir.
Sık Sorulan Sorular
- check_circle Veri etiketleme neden bu kadar önemlidir?: Denetimli öğrenme modellerinin öğrenebileceği altın standardı (ground truth) etiketler tanımlar. Etiket olmadan model neyin doğru neyin yanlış olduğunu bilemez; dolayısıyla etiketleme, tüm denetimli AI sistemlerinin temel girdisidir.
- check_circle Cohen's Kappa eşiği nedir?: Kappa değeri 0.80 ve üzeri güçlü anlaşma, 0.60-0.79 arası orta düzey anlaşma, 0.60 altı ise zayıf anlaşma olarak yorumlanır. Kaliteli eğitim verisi için 0.80 eşiği yaygın kabul görür.
- check_circle Weak supervision ile ne kadar zaman kazanılır?: Vaka çalışmaları, tam manuel etiketlemeye kıyasla veri hazırlama süresinin 2-10 kat kısaldığını göstermektedir. Bununla birlikte etiket doğruluğu genellikle yüzde 5-15 düşer; bu nedenle uygulamaya ve kalite toleransına göre seçim yapılmalıdır.
- check_circle RLHF etiketlemesi standart sınıflandırma etiketlemesinden nasıl farklıdır?: Standart sınıflandırmada bir örnek mutlak bir kategoriye atanır. RLHF'te ise iki yanıt arasında görece bir tercih belirtilir. Bu tercih mutlak doğruyu değil, insan değerlerini ve beklentilerini yansıtır.
- check_circle Etiketleme maliyetini düşürmenin en etkili yolu nedir?: Aktif öğrenme ile model belirsizliği yüksek örnekleri önceliklendirmek, crowdsourcing ile maliyeti dağıtmak ve otomatik ön etiketlemeyi insan doğrulamasıyla birleştirmek en yaygın maliyet azaltma stratejileridir.