VLM Nedir? CLIP'ten LLaVA'ya Görsel Dil Modelleri (2026)

ChatGPT’ye bir fatura fotoğrafı gönderip “bu kalemler neler, toplamı tuttu mu?” diye sorduğunuzda arka planda bir Vision Language Model çalışıyor. Aynı şekilde Claude’a bir grafik ekran görüntüsü atıp “bu veriden ne sonuç çıkar?” diye sorduğunuzda ya da Qwen-VL’e el yazılı bir notun fotoğrafını yükleyip metne dönüştürdüğünüzde de aynı aileden bir model devreye giriyor.

Vision Language Model (VLM), metin ve görseli birlikte işleyen üretici AI modellerinin genel adıdır. Klasik dil modellerinden farkı şu: bir LLM yalnızca token dizileriyle çalışır. VLM ise görüntüyü de token dizisine dönüştürür, bu iki akışı birleştirir ve her iki kaynaktan anlam türeterek yanıt üretir.

2026 itibarıyla bu alan hızla olgunlaşıyor. Açık kaynak modeller (LLaVA, PaliGemma, Qwen2-VL, InternVL2) kapalı API’ler kadar güçlü hale geldi; edge cihazlarda çalışabilen küçük VLM’ler ortaya çıktı; tıbbi görüntüleme, belge analizi ve kod anlama gibi alanlarda üretim düzeyinde uygulamalar konuşlandırılmaya başlandı.

Vision Language Model (VLM) Nedir?

Kısa tanım: VLM, hem görüntü hem metin girişi alabilen, bu iki modaliteyi ortak bir temsil uzayında birleştiren ve doğal dil çıktısı üreten bir modeldir.

Saf bir dil modeliyle (LLM) farkı nettir. LLM sadece metin tokenlerini işler. Ona bir görüntü gönderemezsiniz; gönderseniz bile görmez. VLM ise görüntüyü önce sayısal patch tokenlerine dönüştürür, ardından bu tokenler ile metin tokenlerini yan yana dizer ve tek bir decoder üzerinden yanıt oluşturur.

Saf bir görüntü modeliyle (CNN veya ViT tabanlı classifier) farkı da belirgindir. Klasik görüntü modelleri “bu bir kedi mi köpek mi?” gibi sınıflandırma görevlerinde güçlüdür; ama doğal dil üretimi yapamazlar, bağlama dayalı akıl yürütemezler, “bu iki fotoğraftaki nesne arasındaki fark nedir?” gibi açık uçlu sorulara yanıt veremezler. VLM bu boşluğu kapatır: görüntüyü anlayıp dil üretebilir.

VLM’leri multimodal yapay zeka ailesinin bir üyesi olarak düşünmek doğru, ama ayrımı net koymak gerekiyor: çok modaliteli modeller ses, video ve sensör verisini de kapsayabilir. VLM ise özellikle görüntü-metin çiftleri üzerine uzmanlaşmış bir alt ailedir; daha dar ama çok daha olgun bir altyapıya sahip.

VLM Nasıl Çalışır? Teknik Mimari

VLM’ler üç temel bileşenden oluşur: vision encoder, projeksiyon katmanı (connector) ve dil modeli decoder.

1. Vision Encoder

Görüntünün işlendiği ilk durak. En yaygın mimari Vision Transformer (ViT)‘tir. Girdi görüntüsü sabit boyutlu küçük parçalara (patch) bölünür; örneğin 224×224 piksellik bir görüntü 16×16 piksellik 196 patch’e ayrılır. Her patch lineer projeksiyon ile bir vektöre dönüştürülür ve pozisyon bilgisiyle işaretlenir. Bu patch dizisi standart bir Transformer encoder’dan geçer; çıkışta her patch için anlamsal vektörler elde edilir.

Transformer mimarisi burada hem görsel hem metin tarafında devreye girer; ViT aslında BERT’in görsel dünyaya uyarlanmış halidir.

ViT alternatiflerinin de kullanıldığı modeller var: ConvNeXt tabanlı encoder’lar bazı durumlarda daha verimli, SigLIP (Google) ise contrastive eğitimde CLIP’ten farklı bir kayıp fonksiyonu kullanarak daha iyi hizalama elde ediyor.

2. Projeksiyon Katmanı (Connector)

Vision encoder çıktısı ile LLM’in beklediği temsil uzayı arasında boyut ve anlam farkı vardır. Bu farkı köprüleyen yapıya connector ya da projeksiyon katmanı denir.

En basit connector tek bir lineer projeksiyondur: görsel token vektörlerini tek bir matris çarpımıyla LLM’in boyutuna taşırsınız. LLaVA’nın ilk sürümleri bunu yaptı; hızlıdır ama esnekliği sınırlıdır. LLaVA-1.5 bu katmanı bir MLP’ye dönüştürdü; iki ya da daha fazla lineer katman ve aktivasyon fonksiyonu ekledi. Görece küçük bir değişikliğe göre performans artışı dikkat çekiciydi. Farklı bir yol ise Q-Former (Querying Transformer): InstructBLIP ve BLIP-2’nin kullandığı bu yapı, öğrenilebilir query vektörleriyle görsel tokenlere çapraz dikkat uygular. Bilgiyi daha seçici filtreler ama parametre sayısı ve eğitim maliyeti öbürlerine göre yükselir.

3. Language Model Decoder

Görsel tokenler projeksiyon katmanından geçtikten sonra metin tokenlerine eklenir ve standart bir autoregressive LLM’e verilir. Model, metin tokenlerini sırayla tahmin ederek yanıt oluşturur.

Bu aşamada kullanılan LLM backbone, modelden modele farklılaşır: LLaVA Llama veya Mistral kullanır, PaliGemma Gemma tabanlıdır, Qwen-VL kendi Qwen LLM’ini kullanır, Phi-4-Vision Microsoft’un Phi serisine dayanır. Backbone’un gücü doğrudan VLM’in dil anlama ve üretme kapasitesini belirler.

Embedding modelleri yazısındaki temsil uzayı kavramı burada doğrudan devreye girer; görsel ve metin tokenlerinin aynı uzayda anlamlı biçimde buluşması modelin işe yaramasının temelidir.

CLIP: Contrastive Learning ile Görsel-Metin Hizalaması

Modern VLM tarihini 2021 başında OpenAI’ın yayımladığı CLIP (Contrastive Language-Image Pre-training) çalışmasından başlatmak doğru.

CLIP’in fikri basit ama etkili: internetten toplanan 400 milyon görüntü-metin çiftini kullanarak iki ayrı encoder’ı aynı anda eğitmek. Biri görüntüyü, diğeri metni vektöre dönüştürür. Eğitim hedefi, eşleşen çiftlerin vektörlerini birbirine yaklaştırmak, eşleşmeyen çiftlerin vektörlerini ise uzaklaştırmak.

Buna contrastive pre-training denir. Bir mini-batch içinde N görüntü ve N metin varsa, model N doğru çifti N² olasılık içinden bulmaya çalışır. Bu süreç, her iki encoder’ı da görseller ile dil arasındaki anlamsal yapıyı öğrenmeye zorlar. Bir “çöl gün batımı” fotoğrafı ile “desert sunset” metni, eğitim sonunda birbirine yakın vektörlere karşılık gelir; “mutfak” fotoğrafı ile aynı metin ise birbirinden uzak kalır.

CLIP’in en dikkat çekici özelliği, hiç görmediği kategorileri sıfırdan sınıflandırabilmesidir. “Bu görselde kedi mi köpek mi var?” sorusunu, o kategoriler için etiketli veri olmadan yanıtlayabilir; yalnızca metin tanımlarını kullanır. Zero-shot öğrenme bağlamında bu, etiket bazlı klasik yaklaşımlara göre ciddi bir esneklik farkı yaratır; yeni kategoriler için ayrıca veri toplamak gerekmez.

CLIP’in kalıcı bir başka etkisi, vision encoder olarak sonraki neredeyse tüm VLM’lere entegre edilmesidir. LLaVA’dan InternVL’e kadar modellerin büyük çoğunluğu başlangıç noktası olarak CLIP ViT kullanır ya da CLIP’ten ilham alan contrastive pre-trained encoder’larla çalışır. Temel görsel-metin hizalamasını yeniden eğitmek yerine CLIP ağırlıklarından başlamak, hem zaman hem hesaplama maliyeti açısından avantajlıdır.

LLaVA: Açık Kaynak VLM’nin Referans Mimarisi

2023 yılında Wisconsin-Madison ve Microsoft araştırmacıları tarafından yayımlanan LLaVA (Large Language and Vision Assistant), açık kaynak VLM ekosistemine net bir referans noktası koydu.

LLaVA’nın temel fikri, mevcut güçlü bileşenleri bir connector ile birleştirmekti. Büyük ölçekli görüntü-metin verisiyle sıfırdan eğitmek yerine CLIP ve Vicuna gibi önceden eğitilmiş modelleri bir araya getirmek, hem maliyeti düşürdü hem de iyi sonuçlar verdi. Mimari, yukarıda anlatılan üç bileşen şablonunun ders kitabı örneğidir: CLIP ViT-L/14 vision encoder, tek katmanlı lineer projeksiyon ve Vicuna/Llama decoder.

LLaVA 1.5 ile connector katmanı iki katmanlı MLP’ye yükseltildi; görsel anlama doğruluğu belirgin biçimde arttı. LLaVA-NeXT ise yüksek çözünürlüklü görüntü desteğiyle geldi: büyük görüntüyü dörtlü grid’e bölerek her parçayı ayrı işler, sonra birleştirir. Bu yaklaşım, küçük yazılar veya ince grafiksel detaylar içeren görsellerde kayıpları azaltır.

LLaVA’nın açık ağırlıklarla yayımlanması, araştırma topluluğunun kendi ihtiyaçlarına göre model üretmesini kolaylaştırdı. Tıbbi görüntülemeden hukuk belgelerine, harita anlamadan e-ticarete kadar pek çok alanda fine-tuned türevler hızla çoğaldı. Günümüzde LLaVA mimarisi, pek çok ticari ve araştırma modelinin hareket noktasıdır.

VLM Eğitimi: İki Aşama

VLM eğitimi genellikle iki aşamada gerçekleşir:

Aşama 1: Hizalama (Alignment). Görsel ve dil uzaylarını birbirine yaklaştırmak için büyük görsel-metin çiftleri üzerinde eğitim yapılır; CLIP’in contrastive eğitimi bu aşamanın klasik örneğidir. Pratikte vision encoder’ın ağırlıkları çoğunlukla dondurulur ve yalnızca connector katmanı eğitilir; veri olarak CC3M, LAION gibi büyük görüntü-metin arşivleri kullanılır. Frozen encoder üzerinde küçük bir projeksiyon katmanı güncellendiği için bu aşama görece kısa sürer ve ucuzdur.

Aşama 2: Instruction Tuning. Model, belirli görevler için talimat veri setleriyle ince ayarlanır: “Bu görüntüyü tarif et”, “Bu grafikteki trend nedir?”, “Bu kodun ekran görüntüsündeki hatayı bul” gibi. Instruction tuning hem modelin uyumunu hem yanıt kalitesini doğrudan etkiler; RLHF bu aşamada insan tercihlerinden öğrenmek için devreye alınabilir. Burada veri kalitesi nicelikten çok daha belirleyicidir: binlerce yüksek kaliteli çift, milyonlarca gürültülü örnekten üstün sonuç verebilir.

Eğitim maliyeti model boyutuna ve veri ölçeğine göre büyük farklılıklar gösterir. PaliGemma gibi küçük modeller birkaç günde eğitilirken büyük ticari modeller için süre haftalara uzayabilir. Açık kaynak modellerin önemli avantajı, domain-specific fine-tuning’i makul bütçelerle yapılabilir kılmasıdır.

Popüler VLM Modelleri (2025-2026)

Açık kaynak modeller arasında LLaVA-NeXT araştırma dünyasında referans noktası olmaya devam ediyor. Qwen2.5-VL özellikle çok dilli ve OCR ağırlıklı görevlerde ayrışıyor; tablo içi hücreleri ayrıştırma, el yazısı ve karmaşık form okuma konularında dikkat çekici sonuçlar veriyor. InternVL 2.5, görüntü boyutuna göre patch sayısını otomatik ayarlayan dynamic resolution yaklaşımıyla fatura, sözleşme ve tablo gibi doküman görevlerinde tutarlı biçimde üst sıralarda; Türkçe dahil çok dilli desteği var. PaliGemma 2 ise hafifliği ve TPU uyumluluğuyla cloud ortamında maliyet-etkin dağıtım arayan ekiplerin tercihi.

Hangi model seçilmeli? Kısa bir karar rehberi: doküman ve fatura işleme öncelikliyse InternVL; araştırma prototipleri için LLaVA; kaynak kısıtlı ya da yerel dağıtım için Phi-4-Vision ve küçük dil modeli ailesi; Asya dilleri yoğun iş yüklerinde Qwen; en yüksek kaliteli API tabanlı çözüm için GPT-4o ve Claude öne çıkıyor. Kendi görev setinizle kısa bir PoC kurmak, gereksiz göç maliyetinin önüne geçer.

VLM Kullanım Senaryoları

Görsel Soru-Cevap (Visual Question Answering)

En temel kullanım biçimi: kullanıcı bir görüntü ve soru gönderir, model görüntüye bakarak yanıt üretir. “Bu tablonun başlığı nedir?”, “Fotoğraftaki kişinin yüz ifadesi nedir?”, “Bu şemada kaç düğüm var?” gibi sorular bu kategoriye girer. Satış grafiklerini, dashboard ekran görüntülerini veya makale tablolarını doğal dille sorgulamak iş zekası raporlamada giderek yaygınlaşıyor.

Tıbbi görüntülemede VQA giderek daha çok kullanılan bir araca dönüşüyor. Röntgen, MRI ve patoloji görüntüleri üzerinde çalışan özelleşmiş modeller (örneğin Med-Flamingo, LLaVA-Med) belirli klinik alanlar için genel VLM’den üstün performans gösteriyor. Bu modeller henüz tanı aracı değil, klinisyen iş yükünü azaltan bir asistan olarak konumlanıyor; klinik onay süreçleri hâlâ devam ediyor.

Belge ve Grafik Okuma

PDF, sunum, fatura, fiş, form gibi belgeler VLM’ler için güçlü bir uygulama alanı. Klasik OCR yalnızca metni çıkarır; anlayamaz, yapılandıramaz, bağlamı yorumlayamaz. VLM ise hem metni okur hem de tablonun hangi sütununun hangi satırla kesiştiğini, grafiğin neyi gösterdiğini, formun alanlarını yorumlar.

“Bu faturadaki KDV tutarı nedir?”, “Bu sözleşmedeki ceza maddesi hangisi?”, “Bu raporun yönetici özet bölümünü çıkar” gibi talepler VLM’ler olmadan otomatize edilmesi güç işlemlerdir. Büyük hukuk ve finans şirketleri bu alanda pilot projeler yürütüyor.

Kod ve UI Ekranı Anlama

Bir hata mesajının ekran görüntüsünü atıp “bu hatanın nedeni ne?” diye sormak, bir Figma tasarımı yükleyip “bu bileşenin React kodu nedir?” diye sormak ya da terminal çıktısını paylaşıp “bu script neden başarısız oldu?” diye sormak artık günlük geliştirici iş akışının parçası.

Akıl yürüten AI modelleri ile birleştiğinde VLM’ler görsel çıktıyı adım adım analiz edebilir; yalnızca hatayı tespit etmekle kalmaz, düzeltme planı da üretir.

E-Ticaret ve İçerik Üretimi

Ürün fotoğrafından otomatik açıklama metni oluşturmak, büyük e-ticaret katalogları için görüntü bazlı etiketleme yapmak, stil transferi ve ürün sınıflandırması bu kategorideki tipik kullanım örnekleri. Yüzlerce binlik SKU’ya sahip platformlarda manuel içerik üretiminin yerini VLM tabanlı pipeline’lar almaya başladı; katalog işleme süresi haftalardan saatlere iniyor.

Otonom Sürüş ve Saha Robotları

Araç kamerasından gelen görüntülerde yaya, trafik işareti ve yol koşullarını tanımak; saha robotlarında çevresel sahne anlama ve nesne sınıflandırma. Yüksek frekanslı gerçek zamanlı işlem hâlâ zorlu, ama bu sistemlerin semantik anlama katmanında VLM’ler giderek daha çok yer alıyor.

VLM + RAG: Multimodal Retrieval

Tek bir görüntü üzerinde sorgu yerine büyük bir görsel belge koleksiyonundan bilgi çeken sistemler için VLM’ler RAG mimarisiyle birleştirilir.

Akış şöyle işler: belgeler (PDF, sunum, taranmış doküman) hem metin hem görsel chunk’lara bölünür. Görsel chunk’lar bir vision encoder’dan (CLIP veya benzeri) geçirilerek vektör veritabanına yazılır. Sorgu geldiğinde semantik yakınlık hesabıyla ilgili görsel chunk’lar retrieval aşamasında seçilir, ardından VLM bu chunk’lar üzerinde yanıt oluşturur.

Multimodal RAG mimarisini ayrıntılı incelemek isteyenler için ayrı bir rehber mevcut. Özellikle grafikli raporları, teknik çizimleri ve veri tablolarını sorgulayan uygulamalar geliştirenlere öneriyoruz.

VLM Değerlendirme Kriterleri

Farklı modelleri karşılaştırmak için kullanılan başlıca benchmark’lar:

VQAv2: Görsel soru-cevap doğruluğunu ölçer. 265.000 görüntü üzerinde 780.000 soru-cevap çifti içerir; cevap eşleşmesi yüzdesi olarak raporlanır.

MMBench: 20 farklı yeteneği (nesne tanıma, ilişki anlama, grafik okuma, vb.) ayrı ayrı test eder. Model profilini ayrıntılı biçimde çıkarmak için kullanışlıdır.

MMMU (Massive Multitask Multimodal Understanding): Üniversite düzeyinde çok disiplinli soruları içerir; tıp, hukuk, matematik, fen bilimleri gibi alanlarda hem görsel hem metin anlama gerektirir. Bu benchmark genel zeka düzeyini ölçer.

OCRBench: Metin tanıma ve anlama odaklı. El yazısı, baskılı metin, tablo içi metin, çok dilli içerik gibi alt kategoriler içerir.

TextVQA ve DocVQA: Metinsel içerikli görseller ile doküman anlama görevlerine odaklanır; document AI ürünü geliştirenler için en anlamlı sinyali bu ikili verir.

Tek bir benchmark’a bakmak yanıltıcıdır. Her model farklı güçlerde; örneğin OCRBench’te lider bir model MMMU’da ortalama performans gösterebilir. Kullanım amacınıza göre doğru benchmark seti seçmek önemlidir.

Yerel VLM Çalıştırmak

Ollama, yerel makineye VLM kurmanın en pratik yollarından biri. LLaVA modelini çalıştırmak için:

# LLaVA 13B modelini indir
ollama pull llava:13b

# Interaktif modda başlat
ollama run llava:13b

# Görüntüyle sohbet başlatmak için
>>> Describe this image: /path/to/your/image.jpg

Python üzerinden kullanmak için:

import ollama

response = ollama.chat(
    model='llava:13b',
    messages=[{
        'role': 'user',
        'content': 'Bu görüntüde ne var?',
        'images': ['./fatura.jpg']
    }]
)
print(response['message']['content'])

VRAM gereksinimleri (yaklaşık):

Yerel AI kurulumunu adım adım yapmak isteyenler Ollama rehberimizden başlayabilir. VRAM kısıtlıysa Phi-4-Vision veya PaliGemma 2’nin küçük varyantları (3B altı) oldukça iyi bir başlangıç noktasıdır.

VLM’lerin Sınırlılıkları

Halüsinasyon: Görselde olmayan detayları uydurmak, VLM’lerin en ciddi sorunu. Model güvenle yanlış bilgi üretebilir; bir faturada yer almayan bir satırı raporlayabilir ya da “fotoğraftaki tabelada ne yazıyor?” sorusuna mevcut olmayan bir metin okuyabilir. Yapay zeka halüsinasyonu yalnızca metin modellerine özgü değil; görsel kanal ekstra risk taşır çünkü modelin neyi “gördüğünü” doğrudan test etmek güçtür ve yoğun metin içeren görüntülerde sorun belirginleşir.

Uzamsal akıl yürütme: “Sağ üstteki nesne nedir?”, “Bu kutunun koordinatlarını piksel cinsinden ver” gibi sorular hâlâ zayıf bir alan. Modeller nesnelerin varlığını tanımakta iyidir ama konumsal ilişkileri kesin biçimde çözümlemekte zorlanır. Grounding modelleriyle (DINO, SAM) entegrasyon bu soruna kısmi çözüm sunuyor.

Hassas sayım: On veya daha fazla nesne içeren görüntülerde nesne sayma başarımı düşer. “Bu görüntüde kaç araba var?” sorusuna 5 yerine 7 ya da 4 gibi yanlış cevaplar alınabilir.

Hesaplama maliyeti: Görüntüyü patch’lere bölerek token olarak işlemek, saf metin modellerine kıyasla bağlam penceresini hızla doldurur. 1024×1024 piksellik bir görüntü, model konfigürasyonuna bağlı olarak 256-4096 token tüketebilir. Yüksek çözünürlük ve uzun metin bağlamının aynı anda kullanılması hem bellek hem işlem süresi açısından pahalıdır.

Eğitim verisi kalitesi: Görüntü-metin hizalaması için annotation kalitesi kritik, ama büyük ölçekli yüksek kaliteli çift veri üretmek pahalı ve emek yoğun. Pek çok model gürültülü web verisiyle eğitildiğinden ince nüanslarda hata yapabiliyor. Kültürel ve dil çeşitliliği açısından da dengesizlikler var; Türkçe gibi görece az kaynaklı dillerde performans genellikle İngilizceye göre düşük kalıyor.

Temporal reasoning (video): Frame-by-frame işleme yaklaşımı zamansal çıkarım için kısıtlıdır. “Bu klipte hangi adımın yanlış yapıldığını göster” gibi zamana yayılan muhakeme gerektiren sorular henüz tutarsız yanıtlar üretiyor.

Bağlam penceresi: Uzun belgeler veya çok sayfalı PDF işlenirken içerik kesmek (truncate) gerekebilir. Long context LLM alanındaki gelişmeler görsel tarafta da hız kazanıyor ama çok yüksek çözünürlüklü veya çok sayfalı belgeler hâlâ zorlayıcı.

Geleceğe Bakış: Omni Modeller, Video ve Agentic Vision

VLM’lerin bir sonraki adımı omni modeller: metin, görsel ve sesin tek bir model içinde gerçek zamanlı olarak birleştirildiği mimariler. GPT-4o ve Gemini 2.0 Flash bu yönde atılmış önemli adımlardandır.

Video Language Model’lar da ivme kazanıyor. Gemini 1.5 Pro’nun 1 milyonluk token bağlam penceresi, uzun videoları kesintisiz analiz etmeyi mümkün kıldı; Qwen2.5-VL ve InternVL’in son sürümleri de video token’larını destekliyor. Bu modeller artık “bu videonun 35. dakikasından itibaren ne konuşuldu?” gibi sorulara yanıt verebiliyor. Uzun video bağlamını verimli işlemek, bir sonraki kritik bariyer olarak görünüyor.

Agentic vision giderek daha görünür bir başlık: VLM’lerin araç çağırma döngüleri içine entegrasyonu. Model bir ekran görüntüsüne bakıp hangi butona tıklamak gerektiğine kendi başına karar verebiliyor; bilgisayar kullanma (computer use) görevlerinin temel bileşeni bu. Karmaşık iş akışlarını görsel geri bildirimle yönetmek, otomasyon potansiyelini büyütüyor.

Grounding ve lokalizasyon tarafında hedef, sadece “ne var?” değil “nerede ve ne?” sorusunu piksel düzeyinde yanıtlamak. Bounding box tahmini ve segmentasyon maskesi üretimi bu yönde ilerliyor; SAM 2 entegrasyonu video segmentasyonunu gerçek zamanlıya taşıyor.

Parametre sayısı küçülürken yetenekler artıyor. Phi-4-Vision ve PaliGemma gibi edge-friendly modeller, bulut bağlantısı olmadan telefon ya da gömülü sistemlerde çalışmak üzere tasarlanıyor. Tıbbi cihazlarda, güvenlik kameralarında ve endüstriyel sensör sistemlerinde VLM kullanımı bu trend üzerinde hız kazanacak.

Araştırma tarafında ise görsel chain-of-thought prompting dikkat çekici. Modelin sadece cevap üretmesi değil, görsel üzerindeki akıl yürütme adımlarını da açıklaması hedefleniyor. Chain-of-Thought prompting tekniklerinin görsel uzaya taşınması, açıklanabilirlik açısından önemli bir adım.

VLM mimarisi artık kütüphane araştırmasından çıkıp production pipeline’larına girdi. Belge işleme, görüntü tabanlı arama, kod yardımcısı ya da medikal analiz; görsel veri üzerinde dil modeli mantığı çalıştırmak istediğiniz her yerde aynı üç bileşen karşınıza çıkacak: vision encoder, connector, LLM decoder. Hangi model seçileceği kullanım amacına bağlı; ama mimarinin kendisi artık değişmiyor.