Self-Supervised Learning (Öz-Denetimli Öğrenme)

Öz-denetimli öğrenme (self-supervised learning, SSL), modelin etiketsiz verilerden kendi gözetim sinyalini ürettiği bir makine öğrenmesi paradigmasıdır. Denetimli öğrenmenin pahalı insan etiketlerine ve gözetimsiz öğrenmenin belirsiz hedeflerine ihtiyaç duymaksızın büyük ölçekli veri üzerinde güçlü genel amaçlı temsiller öğrenir. Öz-denetimli öğrenmenin temel fikri öncül görevler (pretext tasks) üzerine kuruludur. Metin alanında BERT, giriş cümlesindeki rastgele maskelenmiş kelimeleri tahmin ederek dil anlama kapasitesi geliştirir; GPT ise önceki tokenlardan bir sonraki tokenı tahmin ederek otoregressif öğrenme yapar. Bu görevler hiç insan etiketi gerektirmez; etiket doğrudan verinin yapısından türetilir. Görüntü alanında SimCLR, BYOL ve MoCo gibi contrastive learning yöntemleri aynı görüntünün farklı augmentasyonlarını birbirine yaklaştırırken, farklı görüntülerin temsillerini birbirinden uzaklaştırır. Bu süreç, modelin renk, kontrast veya kırpma değişimlerine duyarsız ama içerik anlamına duyarlı özellikler öğrenmesini sağlar. Masked Autoencoders (MAE) ise görüntünün büyük bir bölümünü maskeler ve modeli maskelenen pikselleri yeniden oluşturmakla görevlendirir. Öz-denetimli ön eğitim, günümüz büyük dil modellerinin (GPT-4, Llama, Gemini) temelini oluşturur. Milyarlarca kelimelik ham metin üzerinde ön eğitim yapan bu modeller, ardından küçük etiketli veri setleriyle ince ayar yapılarak görev spesifik performansa ulaşır; bu yaklaşım etiketleme maliyetini dramatik biçimde azaltır. Öz-denetimli öğrenmenin gücü, modelleri önceden etiketlenmiş veri kısıtından kurtararak internetin ve dijital arşivlerin neredeyse sınırsız veri potansiyelini kullanmaya açmasında yatar.