Contrastive Learning (Karşıtlıklı Öğrenme)
Karşıtlıklı öğrenme, bir modelin benzer örnekleri birbirine yakın, farklı örnekleri ise birbirinden uzak temsil etmeyi öğrendiği bir öz-denetimli makine öğrenimi paradigmasıdır. Temel fikir, aynı verinin farklı görünümlerini (augmentasyonlarını) pozitif çift olarak, rastgele seçilen farklı örnekleri ise negatif çift olarak kullanmaktır. Model, pozitif çiftlerin gömme vektörlerini uzayda birbirine yaklaştırırken negatif çiftleri uzaklaştıracak şekilde eğitilir. Bu yöntem, etiketli veriye olan bağımlılığı azaltarak büyük miktarda etiketsiz veriden anlamlı özellikler öğrenmeyi mümkün kılar. SimCLR, MoCo, BYOL ve CLIP gibi modern karşıtlıklı öğrenme çerçeveleri, görüntü tanıma, doğal dil işleme ve çok modlu görevlerde son derece başarılı sonuçlar üretmiştir. Karşıtlıklı öğrenmede kayıp fonksiyonu genellikle InfoNCE veya NT-Xent gibi formüller kullanır. Bu formüller, pozitif çiftin benzerliğini maksimize ederken negatif çiftlerin benzerliğini minimize eder. Sıcaklık (temperature) parametresi, öğrenmenin ne kadar sert veya yumuşak olacağını kontrol eder. Uygulama alanları son derece geniştir: tıbbi görüntü analizi, ses tanıma, moleküler biyoloji, öneri sistemleri ve hatta grafik verileri üzerinde çalışan modeller karşıtlıklı öğrenme tekniklerinden yararlanmaktadır. Özellikle CLIP modeli, görüntü ve metin çiftlerini karşıtlıklı öğrenme ile eğiterek sıfır-atımlı sınıflandırma ve görüntü-metin eşleştirme görevlerinde devrim yaratmıştır. Bu yöntemin gücü, modelin veri içindeki yapıyı ve anlam ilişkilerini insan etiketlemesi gerektirmeden keşfedebilmesinden kaynaklanır. Karşıtlıklı öğrenme aynı zamanda büyük dil modellerinin ve görüntü-dil modellerinin ön-eğitiminde kritik bir rol oynamaktadır.