In-Context Learning (Bağlam İçi Öğrenme)

In-context learning (baglam icerisinde ogrenme), buyuk dil modellerinin ag agirliklarini hicbir sekilde guncellemeksizin, yalnizca prompt icerisine yerlestirilen girdi-cikti orneklerinden gorevi anlayip yeni bir girdi icin dogru cikti uretme yetenektir. Geleneksel makine ogrenmesinden kokten farkli bu yetenegte gradient hesaplama, geri yayilim veya agirlik guncelleme yoktur; model, dikkat mekanizmasi araciligiyla prompt'taki ornekleri bir tur acil hafiza gibi kullanir. In-context learning uc alt kategoride incelenir. Zero-shot learning, hic ornek verilmeden yalnizca gorev tanimi veya talimatla calisir. One-shot learning, tek bir girdi-cikti ornegi ile gorevi anlama girisimidir. Few-shot learning ise genellikle uc ila on arasinda ornek kullanir ve GPT-3 makalesinin odaklandigi asil yaklasimdir. Bu uc durum aslinda aynı mekanizmanin ornek sayisina gore ozel halleridir. 2020 yilinda yayinlanan GPT-3 makalesi, in-context learning'i yapay zeka arastirmasinin odak noktalarindan birine donusturdur. Makale, 175 milyar parametreli GPT-3'un onlarca gorevi ornek gormeksizin veya yalnizca birkaç ornekle gerceklestiirebildigini sistematik olarak gostermis; bu sonuc dil modellerinin yetenekleri konusundaki beklentileri kokten degistirmistir. Mekanizma sorusu hala tartismalıdır. Bir yaklasim, in-context learning'in gizli bir gradient descent gerceklestirdigini one surer: dikkat mekanizmasi, orneklerden ustkalik dogrusallik gibi temel kaliplari cikartmak icin fonksiyonel olarak gradyan hesaplamaya benzeyen bir surec yurutmektedir. Alternatif yorum ise modelin egitim sirasinda on milyarlarca belgede gordugundan benzer gorevlerin farkli bicimlerini ogrenip bunlari prompt'taki sinyal uzerine yeniden etkinlestirdigini one surer. Uygulamada in-context learning prompt muhendisligi ile dogrudan baglantilidur. Hangi orneklerin secildigini, orneklerin sirasi, ornek sayisi ve talimatin formati model performansini onlu olcekte etkiler. Chain-of-Thought prompting gibi teknikler, bu mekanizma uzerine akil yurutme adimlarini yerlestirir. **Sik Sorulan Sorular** **In-context learning ile fine-tuning arasindaki fark nedir?** Fine-tuning ag agirliklarini gercekten guncellir ve surekli ogrenmeyi temsil eder. In-context learning agirliksiz, cikarim sirasinda gerceklesir; daha esnek ama daha az kalici ogrenme demektir. **Hangi modeller in-context learning'i iyi yapar?** Genel olarak buyuk modeller daha iyidir; GPT-4, Claude ve Gemini gibi frontier modeller kucuk modellerden belirgin sekilde ust performans gosterir. Model buyuklugu ile in-context yetenek arasindaki iliski yaklasik log-dogrusaldir. **Ornek sirasi onemli midir?** Evet, arastirmalar ornek sirasinin performansi onlu yuzde kadar etkileyebildigini gostermistir. Optimal sira veri kumesine ve goreve bagimlidir; genel kural yoktur. **In-context learning'in sinirlari nelerdir?** Baglam penceresi siniri, ornek sayisini kucuk tutar. Cok adimli akil yurutme gerektiren veya sik guncellenende veri gerektiren gorevlerde fine-tuning tipik olarak daha iyi sonu verir.