Self-Supervised Learning (Öz-Denetimli Öğrenme)

#ModelEgitimi #LLM #MakineOgrenmesi #YannLeCun

Öz-Denetimli Öğrenme (SSL), makine öğreniminde insanların verileri manuel etiketlemesine gerek kalmadan (Denetimsiz), modelin verinin bir kısmını saklayıp kendi kendine "Saklı olanı tahmin et" (Denetimli) oyunu oynayarak devasa miktarda bilgiyi öğrendiği, modern büyük dil modellerinin (LLM) temel eğitim yöntemidir.

Öz-Denetimli Öğrenme (SSL), makine öğreniminde insanların verileri manuel etiketlemesine gerek kalmadan (Denetimsiz), modelin verinin bir kısmını saklayıp kendi kendine "Saklı olanı tahmin et" (Denetimli) oyunu oynayarak devasa miktarda bilgiyi öğrendiği, modern büyük dil modellerinin (LLM) temel eğitim yöntemidir.

psychology Yann LeCun'un Favorisi

Meta AI'ın başındaki Yann LeCun, gelecekteki insanüstü yapay zekanın sırrının bu olduğunu savunur. İnsanlar çocuklara her saniye 'Bu masadır, bu sandalyedir' demez, çocuklar etrafa bakarak (kendi kendilerine) dünyayı öğrenir. SSL de öyledir. İnternetteki 10 milyon kitabı alır, cümlelerdeki bazı kelimeleri siyah bantla kapatır ve modelden o kelimeyi tahmin etmesini ister. Model kelimeyi tahmin eder, bantı açıp doğru bilip bilmediğine bakar (Kendi kendini denetler). Milyarlarca kez bu bulmacayı çözen model, en sonunda insan dilinin gramerini, felsefesini ve mantığını kendi kendine öğrenmiş olur.

Kullanım Alanı

  • check_circle GPT ve BERT: Transformer mimarilerinin hepsi (ChatGPT dâhil) temelde 'Bir sonraki kelimeyi tahmin et' oyunu oynayarak (Self-Supervised) o muazzam zekalarına kavuşmuşlardır.