tag ContrastiveLearning

Bu sayfada ContrastiveLearning etiketi ile işaretlenmiş 1 yapay zeka kavramını bulabilirsiniz.

CLIP (Contrastive Language-Image Pre-Training), OpenAI tarafından 2021 yılında geliştirilen ve doğal dil metinleri ile görüntüleri aynı anlambilimsel uzayda temsil etmeyi öğrenen çok modlu bir yapay zeka modelidir. Alec Radford ve arkadaşları tarafından "Learning Transferable Visual Models From Natural Language Supervision" başlıklı ICML 2021 makalesiyle tanıtılmıştır. Modelin eğitimi iki paralel kodlayıcı üzerine kuruludur: bir görüntü kodlayıcısı (ViT veya ResNet) ve bir metin kodlayıcısı (GPT-2 tabanlı Transformer). Her eğitim adımında N görüntü-metin çifti içeren bir mini-batch oluşturulur; N×N kosinüs benzerlik matrisi hesaplanır. Amaç, diyagonal elemanları (eşleşen çiftler) yakınlaştırırken diyagonal dışı elemanları (eşleşmeyen çiftler) uzaklaştırmaktır. Bu optimizasyon InfoNCE kayıp fonksiyonuyla yürütülür. 400 milyon görüntü-metin çifti içeren WebImageText (WIT) veri kümesi ve 32.768'lik büyük batch boyutu, modeli günümüz çok modlu yapay zekasının temel taşına dönüştürmüştür. CLIP'in en kritik yetkinliği sıfır-atış (zero-shot) transfer öğrenmesidir: modele hiç gösterilmemiş bir kategoriye ait görüntüler, yalnızca o kategorinin metin açıklaması aracılığıyla doğru biçimde sınıflandırılabilir. ImageNet'te herhangi ek eğitim yapılmadan %76,2 doğruluk elde edilmesi bu gücün somut kanıtıdır. Sınıflandırma sırasında potansiyel kategorilerin metin gömmeleri oluşturulur, görüntü gömüsüyle kosinüs benzerliği karşılaştırılır ve en yüksek skorlu kategori tahmin edilir. Uygulama alanları son derece geniştir. Stable Diffusion ve DALL-E gibi metin-görüntü üretim modellerinde CLIP metin kodlayıcısı görevini üstlenir; kullanıcının yazılı ifadesinin görsel üretimi nasıl yönlendireceğini belirler. Unsplash, Google Lens ve pek çok görsel arama motoru CLIP tabanlı anlamsal arama yürütür. Sosyal medya platformları zararlı içerik tespitinde CLIP'ten yararlanmaktadır. Ekosistem açısından OpenCLIP (LAION-2B ile eğitilmiş açık kaynak), SigLIP (sigmoid kayıp, küçük batch ile verimli eğitim), EVA-CLIP ve MetaCLIP öne çıkan türevlerdir. Bununla birlikte CLIP; nesne sayma, mekânsal ilişki anlama ve Türkçe gibi düşük kaynaklı dillerde görece sınırlı kalır. WinoGround ve ARO kıyaslamaları bu bileşimsel akıl yürütme açıklarını belgelemektedir.

link

CLIP (Karşıtlıklı Dil-Görüntü Ön Eğitimi)

CLIP (Contrastive Language-Image Pre-Training), OpenAI tarafından 2021 yılında geliştirilen ve doğal dil metinleri ile görüntüleri aynı anlambilimsel uzayda temsil etmeyi öğrenen çok modlu bir yapay zeka modelidir. Alec Radford ve arkadaşları tarafından "Learning Transferable Visual Models From Natural Language Supervision" başlıklı ICML 2021 makalesiyle tanıtılmıştır. Modelin eğitimi iki paralel kodlayıcı üzerine kuruludur: bir görüntü kodlayıcısı (ViT veya ResNet) ve bir metin kodlayıcısı (GPT-2 tabanlı Transformer). Her eğitim adımında N görüntü-metin çifti içeren bir mini-batch oluşturulur; N×N kosinüs benzerlik matrisi hesaplanır. Amaç, diyagonal elemanları (eşleşen çiftler) yakınlaştırırken diyagonal dışı elemanları (eşleşmeyen çiftler) uzaklaştırmaktır. Bu optimizasyon InfoNCE kayıp fonksiyonuyla yürütülür. 400 milyon görüntü-metin çifti içeren WebImageText (WIT) veri kümesi ve 32.768'lik büyük batch boyutu, modeli günümüz çok modlu yapay zekasının temel taşına dönüştürmüştür. CLIP'in en kritik yetkinliği sıfır-atış (zero-shot) transfer öğrenmesidir: modele hiç gösterilmemiş bir kategoriye ait görüntüler, yalnızca o kategorinin metin açıklaması aracılığıyla doğru biçimde sınıflandırılabilir. ImageNet'te herhangi ek eğitim yapılmadan %76,2 doğruluk elde edilmesi bu gücün somut kanıtıdır. Sınıflandırma sırasında potansiyel kategorilerin metin gömmeleri oluşturulur, görüntü gömüsüyle kosinüs benzerliği karşılaştırılır ve en yüksek skorlu kategori tahmin edilir. Uygulama alanları son derece geniştir. Stable Diffusion ve DALL-E gibi metin-görüntü üretim modellerinde CLIP metin kodlayıcısı görevini üstlenir; kullanıcının yazılı ifadesinin görsel üretimi nasıl yönlendireceğini belirler. Unsplash, Google Lens ve pek çok görsel arama motoru CLIP tabanlı anlamsal arama yürütür. Sosyal medya platformları zararlı içerik tespitinde CLIP'ten yararlanmaktadır. Ekosistem açısından OpenCLIP (LAION-2B ile eğitilmiş açık kaynak), SigLIP (sigmoid kayıp, küçük batch ile verimli eğitim), EVA-CLIP ve MetaCLIP öne çıkan türevlerdir. Bununla birlikte CLIP; nesne sayma, mekânsal ilişki anlama ve Türkçe gibi düşük kaynaklı dillerde görece sınırlı kalır. WinoGround ve ARO kıyaslamaları bu bileşimsel akıl yürütme açıklarını belgelemektedir.

arrow_forward