Self-Supervised Learning (Öz-Denetimli Öğrenme)

#ModelEgitimi #LLM #MakineOgrenmesi #YannLeCun

Öz-Denetimli Öğrenme (SSL), makine öğreniminde insanların verileri manuel etiketlemesine gerek kalmadan (Denetimsiz), modelin verinin bir kısmını saklayıp kendi kendine "Saklı olanı tahmin et" (Denetimli) oyunu oynayarak devasa miktarda bilgiyi öğrendiği, modern büyük dil modellerinin (LLM) temel eğitim yöntemidir.

Öz-Denetimli Öğrenme (SSL), makine öğreniminde insanların verileri manuel etiketlemesine gerek kalmadan (Denetimsiz), modelin verinin bir kısmını saklayıp kendi kendine "Saklı olanı tahmin et" (Denetimli) oyunu oynayarak devasa miktarda bilgiyi öğrendiği, modern büyük dil modellerinin (LLM) temel eğitim yöntemidir.

psychology Yann LeCun'un Favorisi

Meta AI'ın başındaki Yann LeCun, gelecekteki insanüstü yapay zekanın sırrının bu olduğunu savunur. İnsanlar çocuklara her saniye 'Bu masadır, bu sandalyedir' demez, çocuklar etrafa bakarak (kendi kendilerine) dünyayı öğrenir. SSL de öyledir. İnternetteki 10 milyon kitabı alır, cümlelerdeki bazı kelimeleri siyah bantla kapatır ve modelden o kelimeyi tahmin etmesini ister. Model kelimeyi tahmin eder, bantı açıp doğru bilip bilmediğine bakar (Kendi kendini denetler). Milyarlarca kez bu bulmacayı çözen model, en sonunda insan dilinin gramerini, felsefesini ve mantığını kendi kendine öğrenmiş olur.

Kullanım Alanı

  • check_circle GPT ve BERT: Transformer mimarilerinin hepsi (ChatGPT dâhil) temelde 'Bir sonraki kelimeyi tahmin et' oyunu oynayarak (Self-Supervised) o muazzam zekalarına kavuşmuşlardır.

Öz Denetimli Öğrenme Yöntemleri

  • check_circle Maskeli Modelleme (Masked Modeling): Giriş verisinin bir kısmı gizlenerek model bu kısmı tahmin eder. BERT: rastgele seçilen token'ların %15'i maskelenir; model maskelenen token'ı konteksten tahmin eder. MAE (Masked Autoencoder): görüntünün %75'i maskelenir; model piksel değerlerini yeniden inşa eder. Bu ön eğitim ile model dil veya görüntü yapısını öğrenir.
  • check_circle Kontrastif Öğrenme (Contrastive Learning): Aynı örneğin iki farklı görünümü (augmentasyon) birbirine yakın; farklı örnekler birbirinden uzak embedding uzayında konumlandırılır. SimCLR: veri augmentasyonu (kırpma, renk değiştirme) ile çiftler oluşturulur. MoCo: momentum güncellenen encoder; büyük batch gerekmez. CLIP: görüntü-metin çiftleri kontrastif; her görüntü doğru başlığına eşlenir.
  • check_circle Öngörücü Modelleme (Predictive / Autoregressive): Bir sonraki token'ı tahmin etme: GPT'nin ön eğitim yöntemi. Sadece metin gerekir — insan etiketi yok. İnternet verisinin tamamı eğitim sinyali olarak kullanılabilir. Video için: bir sonraki kare tahmini (VideoGPT, Genie).

Öz Denetimli Öğrenmenin Önemi ve Uygulamaları

Öz denetimli öğrenme, modern büyük dil modellerinin ve görüntü modellerinin temel ön eğitim yöntemidir. İnsan etiketine ihtiyaç olmaması: internet ölçeğinde veri kullanılabilir. GPT-4 eğitimi için trilyonlarca token metin, etiket olmadan kullanıldı. Görüntü alanında: DINO, DINOv2 (Meta) — etiket olmadan görüntü temsili öğrenir; nesne tespiti ve segmentasyon için güçlü ön eğitim. Ses: wav2vec 2.0, HuBERT — etiketlenmemiş ses ile konuşma tanıma için ön eğitim. Transfer öğrenme ile bağ: öz denetimli ön eğitim → az etiketli veriyle fine-tune — süpervizeli öğrenmeden çok daha verimli. World model: öz denetimli öğrenme gelecekte fizik simülasyonunu da kapsayabilir.