CLIP (Karşıtlıklı Dil-Görüntü Ön Eğitimi)

#CLIP #ContrastiveLearning #MultiModal #ZeroShot #OpenAI #ViT #TextToImage

CLIP, görüntü ve metni aynı anlambilimsel uzayda birleştiren, sıfır-shot görsel anlama sağlayan OpenAI'ın çok modlu modelidir.

CLIP (Contrastive Language-Image Pre-Training), OpenAI tarafından 2021 yılında geliştirilen ve doğal dil metinleri ile görüntüleri aynı anlambilimsel uzayda temsil etmeyi öğrenen çok modlu (multimodal) bir yapay zeka modelidir. Alec Radford ve arkadaşları tarafından "Learning Transferable Visual Models From Natural Language Supervision" makalesiyle tanıtılmıştır. CLIP, internet'ten toplanan 400 milyon görüntü-metin çiftiyle karşıtlıklı öğrenme (contrastive learning) tekniğiyle eğitilmiştir. Eğitim sırasında bir görüntü kodlayıcısı (ViT veya ResNet) ve bir metin kodlayıcısı (Transformer), eşleşen görüntü-metin çiftlerinin vektör temsillerini yakınlaştırırken eşleşmeyen çiftleri uzaklaştıracak şekilde eğitilir. Bu sayede model "köpek" kelimesinin vektörünü köpek fotoğrafının vektörüne yaklaştırır. CLIP'in en güçlü özelliği sıfır-shot (zero-shot) transfer yeteneğidir: hiç görmediği kategorileri yalnızca metin açıklamalarından sınıflandırabilir. ImageNet sınıflandırmasında doğrudan sıfır-shot yaklaşımıyla %76 doğruluk elde etmesi bu gücü göstermektedir. Günümüzde CLIP, Stable Diffusion'ın metin kodlayıcısı, görüntü arama sistemleri, içerik moderasyonu ve çok modlu yapay zeka sistemlerinin temel bileşeni olarak yaygın kullanılmaktadır.

model_training CLIP Nasıl Eğitilir?

CLIP eğitimi bir mini-batch'te N görüntü-metin çiftini kullanır. Görüntü kodlayıcısı N görüntüyü, metin kodlayıcısı N metni gömme vektörlerine dönüştürür. Normalizasyon sonrası N×N boyutunda bir kosinüs benzerlik matrisi oluşturulur. Amaç: diyagonal elemanları (eşleşen çiftler) maksimize et, diyagonal dışı elemanları (eşleşmeyen çiftler) minimize et. Bu amaç InfoNCE veya cross-entropy kaybıyla optimize edilir. Büyük batch boyutu (N) karşıtlıklı öğrenmenin kalitesini artırır; 400M veri ile 32.768 batch boyutu kullanılmıştır. Eğitim tamamlandığında model, görüntü ve metin için evrensel semantik gömmeleri üretebilir hale gelir.

CLIP Kullanım Alanları

image_search Metin-to-Görüntü

Stable Diffusion ve DALL-E'nin metin kodlayıcısı. Prompt'tan görüntüye köprü kurar; CLIP skoru üretilen görüntünün prompt'a uygunluğunu ölçer.

category Zero-Shot Sınıflandırma

Görüntüyü ve potansiyel sınıf açıklamalarını (örn. "bir köpek fotoğrafı") karşılaştırarak en yakın sınıfı bulur. Yeni kategoriler için etiketlenmiş veri gerekmez.

search Görüntü Arama

Metin sorgusuna göre büyük görüntü koleksiyonlarında anlambilimsel arama. Unsplash, Getty ve Google Lens bu yaklaşımı kullanır.

shield İçerik Moderasyonu

Zararlı görsel içeriği metin açıklamalarına göre tespit eder. Sosyal medya platformları CLIP tabanlı sınıflandırıcıları moderasyon akışına entegre etmektedir.

CLIP'in Teknik Mimarisi ve Eğitim Yaklaşımı

  • check_circle Çift Enkoder Yapısı: Görüntü enkoderi (ViT veya ResNet) ve metin enkoderi (Transformer) paralel olarak çalışır. Her modalite bağımsız vektöre dönüştürülür; bu vektörler ortak gömme uzayında karşılaştırılır.
  • check_circle Kontrast Kayıp Fonksiyonu: Eşleşen görüntü-metin çiftleri yaklaştırılır, eşleşmeyen çiftler uzaklaştırılır. InfoNCE kaybı ile simetrik çapraz entropi; büyük batch boyutu (32K+) kritik önem taşır.
  • check_circle 400 Milyon Görüntü-Metin Çifti: WebImageText (WIT) veritabanı; internet'ten toplanan görüntü-alt yazı çiftleri. Büyük ölçekli gürültülü veri etiket düzenlemeye ihtiyaç duymadan güçlü sıfır-atış öğrenimi sağladı.
  • check_circle Sıfır-Atış Görüntü Sınıflandırma: Sınıf adlarından metin gömüleri oluşturulur; görüntü gömüsüne en yakın metin gömüsüne ait sınıf tahmin edilir. Yeni sınıflar için ek eğitim gerektirmez.
  • check_circle OpenCLIP (Açık Kaynak): LAION-2B veri setiyle eğitilen açık kaynak CLIP uygulaması. ViT-H ve ViT-G boyutlarında modeller mevcut; birçok downstream görevde orijinal CLIP'i geçiyor.
  • check_circle CLIP Türevleri: SigLIP (Sigmoid yerine softmax kayıp, daha küçük batch), EVA-CLIP, ALIGN ve Florence-2 öne çıkan CLIP türevleri. Her biri farklı boyut-performans-maliyet dengesi sunar.

CLIP'in Downstream Görevlerdeki Rolü ve Sınırlamaları

CLIP (Contrastive Language-Image Pre-training), OpenAI tarafından 2021'de yayımlanan ve görüntü ile metin arasında evrensel anlamsal köprü kuran modeldir. Temel katkısı: görsel ve dilsel temsillerin aynı vektör uzayında hizalanması. Bu hizalama, son derece güçlü transfer öğrenmesi sağlar. Stable Diffusion ve DALL-E gibi görüntü üretim modellerinde CLIP metin koşullaması için kullanılır; metin açıklamasının görüntüyü nasıl yönlendireceğini belirler. CLIP gömüleri anlamsal görüntü aramasında da kritik: 'plajda çocuk' metni yazıldığında CLIP görüntü vektörlerine benzer içerik araması yapılabilir; bu EXIF metadata gerektirmez. Sınırlamalar: Sayma ve mekânsal ilişkiler (solda/sağda/üstünde) CLIP için hâlâ zor. İnce ayrımlar (kırmızı arabayı mavi arabadan ayırt etme) yüksek benzerlik skoru üretebilir. Türkçe dahil düşük kaynaklı dillerde performans İngilizce'nin gerisinde kalır. WinoGround ve ARO kıyaslamaları CLIP'in bileşimsel akıl yürütme zayıflıklarını ortaya koydu. Günümüzde CLIP-like modeller çok modaliteli AI'ın olmazsa olmaz temel bileşeni olmaya devam etmektedir.

quiz Sıkça Sorulan Sorular

  • check_circle CLIP bir görüntü üretici midir?: Hayır, CLIP yalnızca kodlayıcıdır — görüntü ve metin gömmeleri üretir ama yeni içerik üretmez. Görüntü üretimi için Stable Diffusion veya DALL-E gibi ayrı üretici modeller gerekir. CLIP bu modellerde "bridge" rolü oynar.
  • check_circle OpenCLIP ile CLIP arasındaki fark nedir?: OpenCLIP, LAION'un geliştirdiği, CLIP mimarisinin açık kaynaklı yeniden uygulamasıdır. Stable Diffusion 2.x, OpenCLIP ViT-H/14 kullanır. SigLIP (Google) ise InfoNCE yerine sigmoid kaybı kullanarak daha verimli eğitim sağlar.
  • check_circle CLIP metni nasıl anlıyor?: CLIP'in metin kodlayıcısı GPT-2 benzeri bir Transformer'dır; maksimum 77 token girdisi destekler. Görüntü kodlayıcısı ViT (Vision Transformer) veya ResNet'tir. Her ikisi de aynı gömme boyutuna (örn. 512 veya 768) yansıtılır.
  • check_circle CLIP Türkçe destekliyor mu?: Orijinal CLIP esas olarak İngilizce üzerinde eğitilmiştir; Türkçe performansı sınırlıdır. Ancak mCLIP ve multilingual-CLIP çok dilli alternatifler sunar; LAION-5B çok dilli veriyle eğitilen OpenCLIP modelleri Türkçeyi de kapsamaktadır.
  • check_circle CLIP nedir?: OpenAI'ın 2021'de geliştirdiği, görüntü ve metni aynı vektör uzayına hizalayan kontrast öğrenme modelidir. Sıfır-atış görüntü sınıflandırma, anlamsal arama ve görüntü üretim modellerinde temel bileşen.
  • check_circle CLIP sıfır-atış sınıflandırma nasıl yapar?: Sınıf adlarından metin gömüleri oluşturulur, görüntü gömüsüyle kosinüs benzerliği hesaplanır; en yüksek skorlu sınıf seçilir. Yeni sınıflar için yeniden eğitim gerekmez.
  • check_circle CLIP Stable Diffusion'da nasıl kullanılır?: CLIP metin enkoderi, kullanıcının metin açıklamasını vektöre dönüştürür. Bu vektör diffusion modelinin koşullaması olarak kullanılır; hangi görüntünün üretileceğini yönlendirir.
  • check_circle CLIP'in başlıca sınırlamaları nelerdir?: Nesne sayma, mekânsal ilişkiler (sol/sağ/üst/alt) ve ince görsel ayrımlar CLIP'in zayıf olduğu alanlardır. Türkçe gibi düşük kaynaklı dillerde İngilizce'ye kıyasla performans düşer.