tag SoftLabels

Bu sayfada SoftLabels etiketi ile işaretlenmiş 1 yapay zeka kavramını bulabilirsiniz.

Yumuşak etiketler (soft labels), bir sınıflandırma modelinin kesin ('kedi: 1, köpek: 0') one-hot kodlu etiketler (sert etiketler, hard labels) yerine olasılık dağılımlarını ('kedi: 0.8, köpek: 0.15, diğer: 0.05') hedef olarak kullanmasını ifade eder. Bu yaklaşım özellikle bilgi damıtma (knowledge distillation) sürecinde öğretmen modelin ürettiği tahmin dağılımlarını öğrenci modele aktarmanın yolu olarak kritik bir rol üstlenir. Sert etiketlerin aksine yumuşak etiketler 'karanlık bilgi' (dark knowledge) taşır: öğretmen model, yanlış sınıflar için de sıfır olmayan küçük olasılıklar atar. Örneğin bir 'kedi' görüntüsü için model 'kaplan: 0.03' skoru verebilir — bu, iki sınıf arasındaki görsel benzerliği kodlar. Öğrenci model bu ilişkileri öğrenince genelleme kapasitesi artar ve daha az veriyle daha iyi performans elde edebilir. Sıcaklık parametresi (temperature), yumuşak etiket üretiminde belirleyici rol oynar. T > 1 değerleri softmax dağılımını daha düz ve bilgisi zengin hale getirir; T = 1 standart softmax çıktısına karşılık gelir. Damıtma sürecinde kayıp fonksiyonu iki bileşenden oluşur: öğretmenin yumuşak etiketleriyle hesaplanan KL-ıraksama kaybı ve gerçek etiketlerle hesaplanan çapraz entropi kaybı. Geoffrey Hinton'ın 2015 tarihli öncü çalışması bu temeli atmış ve modern model sıkıştırma tekniklerinin yolunu açmıştır. Yumuşak etiketler yalnızca bilgi damıtmayla sınırlı değildir. Etiket düzgünleştirme (label smoothing), one-hot kodlamanın yerine her sınıfa küçük bir olasılık payı atayarak modeli aşırı güvenden korur; Transformer tabanlı modellerin eğitiminde yaygın biçimde kullanılır. Ayrıca birden fazla etiketleyicinin anlaşmazlık oranlarından türetilen yumuşak etiketler, insan belirsizliğini model eğitimine dahil etmek için tercih edilen bir yöntemdir. LLM distilasyonu bağlamında ise GPT-4 gibi büyük modellerin token olasılık dağılımları, küçük modellerin eğitiminde zengin ve maliyet-etkin bir denetim sinyali olarak kullanılmaktadır.

blur_on

Soft Labels (Yumuşak Etiketler (Soft Labels))

Yumuşak etiketler (soft labels), bir sınıflandırma modelinin kesin ('kedi: 1, köpek: 0') one-hot kodlu etiketler (sert etiketler, hard labels) yerine olasılık dağılımlarını ('kedi: 0.8, köpek: 0.15, diğer: 0.05') hedef olarak kullanmasını ifade eder. Bu yaklaşım özellikle bilgi damıtma (knowledge distillation) sürecinde öğretmen modelin ürettiği tahmin dağılımlarını öğrenci modele aktarmanın yolu olarak kritik bir rol üstlenir. Sert etiketlerin aksine yumuşak etiketler 'karanlık bilgi' (dark knowledge) taşır: öğretmen model, yanlış sınıflar için de sıfır olmayan küçük olasılıklar atar. Örneğin bir 'kedi' görüntüsü için model 'kaplan: 0.03' skoru verebilir — bu, iki sınıf arasındaki görsel benzerliği kodlar. Öğrenci model bu ilişkileri öğrenince genelleme kapasitesi artar ve daha az veriyle daha iyi performans elde edebilir. Sıcaklık parametresi (temperature), yumuşak etiket üretiminde belirleyici rol oynar. T > 1 değerleri softmax dağılımını daha düz ve bilgisi zengin hale getirir; T = 1 standart softmax çıktısına karşılık gelir. Damıtma sürecinde kayıp fonksiyonu iki bileşenden oluşur: öğretmenin yumuşak etiketleriyle hesaplanan KL-ıraksama kaybı ve gerçek etiketlerle hesaplanan çapraz entropi kaybı. Geoffrey Hinton'ın 2015 tarihli öncü çalışması bu temeli atmış ve modern model sıkıştırma tekniklerinin yolunu açmıştır. Yumuşak etiketler yalnızca bilgi damıtmayla sınırlı değildir. Etiket düzgünleştirme (label smoothing), one-hot kodlamanın yerine her sınıfa küçük bir olasılık payı atayarak modeli aşırı güvenden korur; Transformer tabanlı modellerin eğitiminde yaygın biçimde kullanılır. Ayrıca birden fazla etiketleyicinin anlaşmazlık oranlarından türetilen yumuşak etiketler, insan belirsizliğini model eğitimine dahil etmek için tercih edilen bir yöntemdir. LLM distilasyonu bağlamında ise GPT-4 gibi büyük modellerin token olasılık dağılımları, küçük modellerin eğitiminde zengin ve maliyet-etkin bir denetim sinyali olarak kullanılmaktadır.

arrow_forward