Görsel Dil Modeli

Görüntü ve metin modalitelerini birleştirerek görsel içerik anlama ve açıklama üretebilen çok modlu yapay zeka modeli.

Görsel Dil Modeli (Vision Language Model — VLM), görüntü ve metin gibi farklı modaliteleri tek bir sinir ağı içinde birleştirerek hem görsel hem dilsel bilgiyi anlayıp üretebilen çok modlu (multimodal) yapay zeka modelidir. Geleneksel dil modelleri yalnızca metni işlerken VLM'ler bir fotoğraftaki nesneyi tanımlayabilir, grafik ve tabloları yorumlayabilir, belge görsellerinden bilgi çıkarabilir ya da görsel içeriklere dayalı sorulara yanıt verebilir. VLM mimarisinin temel bileşenleri üç katmandan oluşur. Görsel kodlayıcı (visual encoder): ViT (Vision Transformer) gibi bir model, ham piksel verisini yüksek boyutlu gömme vektörlerine dönüştürür. Bağlantı katmanı (connector/projector): CLIP, LLaVA tarzı MLP veya Q-Former gibi yapılar görsel gömmeleri dil modelinin token uzayına projeksiyonlar. Dil modeli omurgası: Görsel ve metin token'larını birlikte işleyen büyük bir Transformer, bağlamsal anlam oluşturur ve metin çıktısı üretir. Bu üç adımlı yapı, modelin bir resme bakarak ayrıntılı yanıtlar üretmesini mümkün kılar. Öne çıkan VLM'ler arasında GPT-4 Vision (OpenAI), Claude 3 ve 4 serileri (Anthropic), Gemini Pro Vision (Google) ve açık kaynak alternatifleri LLaVA, Idefics, MiniGPT-4 ve Qwen-VL sayılabilir. Bu modeller görüntü açıklama (image captioning), görsel soru yanıtlama (VQA), belge anlama (document understanding), grafik yorumlama ve tıbbi görüntü analizi gibi görevlerde kullanılmaktadır. Değerlendirme kıyaslamaları arasında VQAv2, MMBench (çok modlu dil anlama), MMMU (üniversite düzeyi görsel anlama) ve TextVQA yer almaktadır. VLM'lerin bilinen sınırları arasında halüsinasyon (modelin görüntüde olmayan şeyleri 'görmesi'), mekansal ilişkileri yorumlamadaki güçlükler ve yüksek çözünürlüklü görüntülerde artan hesaplama maliyeti sayılabilir. 2025–2026 döneminde VLM araştırmaları video anlama, gerçek zamanlı akış işleme ve çok adımlı görsel akıl yürütme üzerine yoğunlaşmaktadır. Türk sağlık, eğitim ve e-ticaret sektörleri için Türkçe metin içeren belgeleri işleyebilen VLM uygulamaları giderek önem kazanmaktadır. Gizlilik gerektiren kullanım senaryolarında bulut tabanlı API'ler yerine yerel dağıtım yapılabilecek açık kaynak VLM'ler tercih edilmektedir.

VLM Nedir ve Neden Önemlidir?

Geleneksel yapay zeka modelleri tek bir modaliteye odaklanır: dil modelleri metin üretir, görüntü modelleri piksel işler. VLM bu sınırı kaldırır: aynı model bir fotoğrafı 'görebilir' ve bu görüntü hakkında doğal dilde akıl yürütebilir. Bir kişi nüfus cüzdanını kameraya göstererek 'Bu belgedeki adı ve doğum tarihini çıkar' diyebilir; bir radyolog MR görüntüsünü modele yükleyerek Türkçe ön bulgular alabilir; bir e-ticaret sistemi ürün fotoğrafından otomatik açıklama üretebilir. Bu çok yönlülük, VLM'leri modern yapay zekanın en pratik uygulama alanlarından birine dönüştürmektedir.

Mimari: Görselden Metne Nasıl Geçilir?

Tipik bir VLM üç bileşenden oluşur. Görsel kodlayıcı: ViT gibi bir model ham piksel matrisini yüksek boyutlu gömme vektörlerine dönüştürür; görüntünün semantik özelliklerini yakalar. Bağlantı katmanı: Görsel gömmeleri dil modelinin token boyutuna projekte eder; LLaVA MLP projector, BLIP-2 Q-Former gibi farklı mimariler bu köprü görevini üstlenir. Dil modeli omurgası: LLaMA, Mistral veya GPT gibi büyük bir transformer hem metin hem görsel token'ları birlikte işler ve yanıt üretir. Bu üç adımlı boru hattı, modelin 'Bu fotoğrafta kaç kişi var?' sorusunu görüntüye bakarak yanıtlamasını mümkün kılar.

Öne Çıkan VLM'ler ve Karşılaştırma

GPT-4 Vision (OpenAI): API üzerinden erişilebilir, yüksek doğruluklu görsel akıl yürütme sunar; grafik, tablo ve belge yorumlamada güçlüdür. Claude 3 ve 4 serileri (Anthropic): Güvenli VLM davranışıyla öne çıkar; uzun görsel bağlamlarda tutarlı performans sergiler. Gemini Pro/Ultra Vision (Google): Video anlama ve gerçek zamanlı kamera entegrasyonu konusunda avantaj taşır. Açık kaynak alternatifleri (LLaVA, Qwen-VL, InternVL): Yerel dağıtım ve ince ayar için tercih edilir; MMMU kıyaslamasında rekabetçi sonuçlar vermektedir.

Başlıca Uygulama Alanları

Belge anlama: Fatura, sözleşme, kimlik belgesi ve tıbbi rapordan yapılandırılmış bilgi çıkarımı; OCR'ın ötesine geçen anlam odaklı işleme. Görsel soru yanıtlama (VQA): Grafik ve veri görselleştirmelerine yönelik doğal dil sorguları. Tıbbi görüntüleme: Röntgen, MR ve patoloji görüntülerinden ön bulgu üretimi. E-ticaret: Ürün fotoğrafından otomatik açıklama, kategori etiketleme ve çapraz satış önerisi. Erişilebilirlik: Görme engelliler için gerçek zamanlı görüntü açıklama uygulamaları.

Sınırlamalar ve Dikkat Edilmesi Gerekenler

Halüsinasyon: VLM'ler görüntüde olmayan nesneleri veya metinleri 'görebilir'; özellikle detaylı sayım ve hassas koordinat gerektiren görevlerde dikkat gerektirir. Mekansal ilişkiler: 'A nesnesinin solunda B nesnesi var mı?' gibi karmaşık görsel ilişkisel akıl yürütme hâlâ zayıf noktadır. Yüksek çözünürlük maliyeti: Yüksek çözünürlüklü görüntüler çok sayıda token tüketir ve işlem süresini artırır. Gizlilik: Hasta verisi veya kişisel belge içeren görüntülerin bulut tabanlı VLM API'lerine gönderilmesi yasal ve etik riskler taşır.

terminal Yerelde VLM çalıştırma: Ollama ve LM Studio adımları

Ollama tarafında görsel destekli modeller normal modeller gibi indirilir: ollama pull qwen2.5vl:7b veya ollama pull llama3.2-vision:11b. Sohbeti ollama run qwen2.5vl:7b ile açtıktan sonra istem satırında dosya yolunu sorunun içine yazarsınız, örneğin Bu faturadaki toplam tutar nedir? ./fatura.png. API üzerinden çağırırken /api/generate gövdesindeki images alanına base64 kodlanmış görseli koyarsınız. LM Studio'da vision etiketli bir GGUF indirdiğinizde ağırlık dosyasının yanında mmproj dosyası da iner ve sohbet kutusundaki ataç simgesiyle resim eklersiniz. Yerelde işe yarayan boyutlar şöyle: moondream 1,8B yaklaşık 1,7 GB ile 4 GB VRAM'e sığar, qwen2.5vl:7b yaklaşık 6 GB, minicpm-v 8B yaklaşık 5,5 GB, llama3.2-vision:11b yaklaşık 8 GB yer kaplar. Görsel kodlayıcı ek bellek istediği için pratikte dosya boyutunun 1 ile 2 GB üstünde VRAM ayırın.

payments Bir görsel kaç token, maliyet nasıl hesaplanır

  • check_circle OpenAI, detail high: Görsel 512x512 piksellik karolara bölünür. Yaklaşık 85 temel token üstüne her karo için 170 token eklenir; 1024x1024 bir görsel kabaca 765 token eder. detail low seçilirse görsel tek düşük çözünürlüklü karo sayılır ve yaklaşık 85 token harcar.
  • check_circle Anthropic Claude: Kaba hesap genişlik çarpı yükseklik bölü 750 formülüdür. 1000x1500 piksellik bir belge taraması yaklaşık 2000 token demektir. Uzun kenarı 1568 pikseli aşan görseller otomatik küçültülür, o yüzden daha büyüğünü göndermek maliyeti düşürmez de artırmaz da.
  • check_circle Google Gemini: 384 pikselin altındaki görseller yaklaşık 258 token sayılır. Daha büyükleri karolara bölünür ve her karo yine yaklaşık 258 token ekler.
  • check_circle Yerel modeller: Token ücreti yoktur ama bellek maliyeti vardır. Çözünürlük arttıkça görsel kodlayıcının ürettiği token sayısı büyür, hem VRAM hem ilk yanıt gecikmesi yükselir.
  • check_circle Pratik kural: Metin okunacaksa uzun kenarı 1400 ile 2000 piksel bandında tutun. Altına inince küçük punto alanlar kaybolur, üstüne çıkınca çoğu zaman doğruluk kazandırmadan token yakarsınız.

bug_report VLM ile çalışırken sık yapılan hatalar

  • check_circle Belgeyi ekran görüntüsü kalitesinde göndermek: 72 dpi ekran görüntüsünde küçük punto yazılar kaybolur ve model boşlukları tahminle doldurur. PDF'i pdftoppm -r 200 -png dosya.pdf sayfa komutuyla 200 dpi görüntüye çevirin.
  • check_circle Serbest metin cevap istemek: Fatura, kimlik veya sözleşme alanları çıkarılacaksa istenen alanları tek tek sayan bir JSON şeması verin ve bulunmayan alan için null yazılmasını isteyin. Serbest metin cevaplarda uydurma oranı belirgin biçimde artar.
  • check_circle Sayım ve konum sorularına güvenmek: Kaç adet var, hangisi solda, koordinatı nedir türü sorular VLM'lerin en zayıf tarafıdır. Bu işler için nesne tespiti modeli veya grounding destekli bir model kullanıp sonucu VLM'e yorumlatmak daha güvenilirdir.
  • check_circle Tek istemde onlarca görsel göndermek: Bağlam şişer, model görselleri birbirine karıştırır. Sayfa başına bir çağrı yapıp sonuçları sonradan birleştirmek hem daha doğru hem daha ucuz olur.
  • check_circle Halüsinasyonu ölçmeden üretime almak: Elle doğrulanmış 50 ile 100 örnekten oluşan küçük bir test kümesi hazırlayın ve alan bazında doğruluk ölçün. Model sürümü veya istem değiştiğinde aynı kümeyi tekrar çalıştırın.
  • check_circle Hassas belgeyi bulut API'sine göndermek: Kimlik, sağlık raporu ve sözleşme görüntüleri kişisel veri kapsamındadır. Bu tür işlerde yerelde çalışan bir VLM seçin veya veri işleme koşulları sözleşmeyle güvence altına alınmış bir sağlayıcı kullanın.

Sık Sorulan Sorular

  • check_circle VLM ile multimodal AI arasındaki fark nedir? Multimodal AI ses, video, görüntü ve metin içerebilen geniş bir kategoridir. VLM özellikle görüntü-metin çiftini işleyen ve bu iki modalite arasında anlam köprüsü kuran modelleri ifade eder.
  • check_circle VLM'ler video anlayabilir mi? Bazı VLM'ler video karelerini sırayla işleyerek kısa klipler için anlama kapasitesi sunar. Gemini ve özel video-dil modelleri (VideoChat, Video-LLaMA) bu alanda öne çıkar; ancak uzun video anlama hâlâ aktif bir araştırma konusudur.
  • check_circle Açık kaynak VLM'ler ticari kullanım için uygun mu? LLaVA, Idefics ve Qwen-VL gibi modeller Apache 2.0 veya benzeri lisanslarla yayımlanmıştır; ticari kullanım genellikle serbesttir. Ancak lisans koşulları modelden modele farklılık gösterir; kullanmadan önce doğrulanmalıdır.
  • check_circle Türkçe belgeler için VLM nasıl kullanılır? GPT-4 Vision ve Claude serileri Türkçe metin içeren belgeleri doğrudan anlayabilir. Yerel dağıtım için Qwen-VL'nin çok dilli desteği veya Türkçe OCR + LLM zinciri tercih edilebilir; sektörel hassas verilerde yerelde çalışan modeller tercih edilmelidir.
  • check_circle Yerelde çalıştırılabilecek en iyi ücretsiz VLM hangisi? 8 GB VRAM sınırındaysanız qwen2.5vl:7b bu boyutta belge ve tablo okumanın en dengeli seçeneğidir. 4 GB'ın altında kalmanız gerekiyorsa moondream resim açıklama ve basit sorular için yeterli olur. 12 GB üzeri VRAM varsa llama3.2-vision:11b veya InternVL'in büyük sürümleri daha ayrıntılı çıktı üretir.
  • check_circle VLM ile faturadan JSON nasıl çıkarılır? Görseli 200 dpi civarında gönderin, istemde alan adlarını tek tek listeleyin (fatura_no, tarih, kdv_orani, toplam_tutar) ve bulunmayan alanlara null yazılmasını isteyin. Yanıtı kod tarafında şemaya karşı doğrulayın; kalem toplamı ile genel toplamın tutup tutmadığı gibi aritmetik denetimleri kendiniz yapın, çünkü model sayı okurken hata yapabilir.
  • check_circle VLM Türkçe el yazısını okuyabilir mi? Kısmen. Düzenli el yazısında büyük bulut modelleri makul sonuç verir, bitişik veya bozuk yazıda hata oranı hızla yükselir. Türkçeye özgü harflerde karışıklık sık görülür. Sonucu doğrudan kaydetmek yerine insan onayı adımı koyun.
  • check_circle Görseli küçültmek doğruluğu düşürür mü? Metin okunacaksa evet. Uzun kenarı 1400 pikselin altına indirdiğinizde küçük punto alanlar kaybolur ve model eksik yerleri tahminle doldurur. Sadece sahne tanıma veya genel açıklama istiyorsanız 768 piksel bile yeter ve token maliyetini ciddi biçimde düşürür.