tag self-supervised

Contrastive Loss (Karşıtlıklı Kayıp)

Bu sayfada self-supervised (Contrastive Loss (Karşıtlıklı Kayıp)) etiketi ile işaretlenmiş 1 yapay zeka kavramını bulabilirsiniz.

Contrastive loss (karşıtlıklı kayıp ya da karşılaştırmalı kayıp), gömme (embedding) modellerini eğitmek için kullanılan bir kayıp fonksiyonu ailesidir. Klasik sınıflandırma kayıpları modelin doğru sınıfı tahmin etmesini ödüllendirirken, contrastive loss örnekler arasındaki geometrik ilişkiyi hedefler: benzer örnek çiftleri gömme uzayında birbirine yaklaştırılır, farklı örnek çiftleri ise belirli bir marjın (margin) ötesine itilir. Böylece model, anlamsal benzerliği vektörler arasındaki uzaklıkla ifade etmeyi öğrenir ve elde edilen temsiller arama, eşleştirme ve sıfır atışlı sınıflandırma gibi görevlere doğrudan aktarılabilir. Yaklaşımın ilk biçimi Chopra, Hadsell ve LeCun tarafından 2005 yılında Siamese ağlarla birlikte önerildi. Bu formülasyonda pozitif çiftler için kayıp, iki gömme arasındaki Öklid uzaklığının karesine eşittir; negatif çiftler için ise uzaklık marjın altına düştüğünde ceza uygulanır, marjı aşan negatifler kayba katkı yapmaz. Triplet loss (2015, FaceNet) bu fikri üçlü örneklere taşır: bir çapa (anchor) örneğinin pozitifine olan uzaklığı, negatifine olan uzaklığından en az marj kadar küçük olmalıdır. Modern derin öğrenmede en yaygın kullanılan varyant InfoNCE'dir. Burada bir pozitif örnek, aynı mini yığındaki (batch) çok sayıda negatif ile birlikte softmax tabanlı bir sınıflandırma problemine dönüştürülür ve sıcaklık (temperature) parametresi dağılımın keskinliğini kontrol eder. SimCLR'ın NT-Xent kaybı, MoCo'nun momentum kuyruğu ve CLIP'in görüntü-metin eşleştirmesi bu formülasyonun farklı uygulamalarıdır. Etiketli veri mevcut olduğunda Supervised Contrastive Loss (SupCon), aynı sınıftaki tüm örnekleri pozitif kabul ederek daha sıkı sınıf kümeleri oluşturur. Pratikte contrastive loss'un başarısı üç etkene bağlıdır: pozitif çiftlerin nasıl üretildiği (veri artırma ya da etiket), negatiflerin sayısı ve zorluğu (hard negative mining) ile marj veya sıcaklık gibi hiperparametrelerin ayarı. Yüz tanıma, görsel arama, cümle gömme modelleri (Sentence-BERT, E5), öneri sistemleri ve çok modlu modeller bu kayıp ailesinin en görünür uygulama alanlarıdır.

code_blocks

Contrastive Loss (Karşıtlıklı Kayıp)

Contrastive loss (karşıtlıklı kayıp ya da karşılaştırmalı kayıp), gömme (embedding) modellerini eğitmek için kullanılan bir kayıp fonksiyonu ailesidir. Klasik sınıflandırma kayıpları modelin doğru sınıfı tahmin etmesini ödüllendirirken, contrastive loss örnekler arasındaki geometrik ilişkiyi hedefler: benzer örnek çiftleri gömme uzayında birbirine yaklaştırılır, farklı örnek çiftleri ise belirli bir marjın (margin) ötesine itilir. Böylece model, anlamsal benzerliği vektörler arasındaki uzaklıkla ifade etmeyi öğrenir ve elde edilen temsiller arama, eşleştirme ve sıfır atışlı sınıflandırma gibi görevlere doğrudan aktarılabilir. Yaklaşımın ilk biçimi Chopra, Hadsell ve LeCun tarafından 2005 yılında Siamese ağlarla birlikte önerildi. Bu formülasyonda pozitif çiftler için kayıp, iki gömme arasındaki Öklid uzaklığının karesine eşittir; negatif çiftler için ise uzaklık marjın altına düştüğünde ceza uygulanır, marjı aşan negatifler kayba katkı yapmaz. Triplet loss (2015, FaceNet) bu fikri üçlü örneklere taşır: bir çapa (anchor) örneğinin pozitifine olan uzaklığı, negatifine olan uzaklığından en az marj kadar küçük olmalıdır. Modern derin öğrenmede en yaygın kullanılan varyant InfoNCE'dir. Burada bir pozitif örnek, aynı mini yığındaki (batch) çok sayıda negatif ile birlikte softmax tabanlı bir sınıflandırma problemine dönüştürülür ve sıcaklık (temperature) parametresi dağılımın keskinliğini kontrol eder. SimCLR'ın NT-Xent kaybı, MoCo'nun momentum kuyruğu ve CLIP'in görüntü-metin eşleştirmesi bu formülasyonun farklı uygulamalarıdır. Etiketli veri mevcut olduğunda Supervised Contrastive Loss (SupCon), aynı sınıftaki tüm örnekleri pozitif kabul ederek daha sıkı sınıf kümeleri oluşturur. Pratikte contrastive loss'un başarısı üç etkene bağlıdır: pozitif çiftlerin nasıl üretildiği (veri artırma ya da etiket), negatiflerin sayısı ve zorluğu (hard negative mining) ile marj veya sıcaklık gibi hiperparametrelerin ayarı. Yüz tanıma, görsel arama, cümle gömme modelleri (Sentence-BERT, E5), öneri sistemleri ve çok modlu modeller bu kayıp ailesinin en görünür uygulama alanlarıdır.

arrow_forward