Visual Question Answering (Görsel Soru Yanıtlama)

#multimodal #computer-vision #nlp #vision-transformer

Bir yapay zeka sisteminin görüntü ve doğal dil sorusunu birleştirerek metin tabanlı yanıt ürettiği çok modaliteli görev.

Visual Question Answering (VQA), bir yapay zeka sisteminin bir görüntü ve doğal dilde yazılmış bir soru alarak metin tabanlı yanıt ürettiği çok modaliteli (multimodal) yapay zeka görevidir. Bilgisayarlı görü (Computer Vision) ile doğal dil işlemenin (NLP) kesişiminde yer alan VQA, makinelerin görsel dünyayı anlamasını ve bu anlayışı dil aracılığıyla ifade etmesini gerektirir. Bir VQA sistemi üç temel bileşenden oluşur: görsel özellik çıkarıcı (vision encoder), dil modeli (text encoder) ve füzyon mekanizması. Görsel encoder — başlangıçta konvolüsyonel sinir ağları (CNN), günümüzde ise Vision Transformer (ViT) mimarileri — giriş görüntüsünü yüksek boyutlu özellik vektörlerine dönüştürür. Metin encoder ise soruyu token dizisine çevirir. Füzyon katmanı, çapraz dikkat (cross-attention) mekanizmasıyla iki modalite arasında bağlantı kurar; böylece model soruyla ilgili görüntü bölgelerine odaklanarak yanıt üretir. VQA'nın pratik uygulamaları geniş bir yelpazeye yayılır. Tıbbi görüntülemede radyoloji raporlarının otomasyonunda kullanılır; 'Bu BT görüntüsünde tümör var mı?' gibi sorulara yanıt üretebilir. Görsel engelli kullanıcılar için erişilebilirlik araçlarında, müze ve kültürel miras sitelerinde interaktif rehberlik sistemlerinde, otonom araçların çevre anlama modüllerinde ve endüstriyel görsel denetimde (kalite kontrol) da yaygın biçimde yer almaktadır. Öne çıkan VQA modelleri şunlardır: Salesforce'un BLIP ve BLIP-2 modelleri (129 milyon görüntü-metin çiftiyle önceden eğitildi), Meta'nın açık ağırlıklı LLaVA serisi, OpenAI'nin GPT-4o/GPT-4V modelleri ve Google'ın Gemini Vision ailesi. 2023-2026 yılları arasında bu modeller VQA2.0, GQA ve OK-VQA kıyaslama veri setlerinde insana yakın doğruluk oranlarına ulaşmış; bilgi tabanlı VQA (knowledge-based VQA), matematiksel akıl yürütme (MathVQA) ve tıbbi VQA gibi özelleşmiş alt alanlarda yeni değerlendirme serileri geliştirilmiştir. VQA'nın en kritik zorluğu dil önkestirimidir (language priors): modeller görüntüyü gerçekten analiz etmek yerine dil istatistiklerinden yanıt üretebilir; 'Gökyüzü hangi renk?' sorusuna görüntüye bakmaksızın 'mavi' yanıtı verebilir. Modern çözümler arasında Chain-of-Thought akıl yürütme, veri artırma teknikleri ve çoklu adım dikkat (multi-hop attention) mekanizmaları öne çıkar. Türkiye'deki kullanım senaryolarında VQA, sağlık, turizm ve e-ticaret sektörlerinde görüntü tabanlı arama ve erişilebilirlik çözümlerine entegre edilmektedir.

VQA Nedir ve Neden Önemlidir?

Visual Question Answering (VQA), bir yapay zeka modelinin hem bir görüntüyü hem de o görüntüyle ilgili doğal dilde yazılmış bir soruyu girdi olarak alıp yine doğal dilde bir yanıt ürettiği çok modaliteli bir görevdir. Geleneksel görüntü sınıflandırmasının aksine VQA, modelden açık uçlu sorular için esnek yanıtlar bekler: 'Bu sahnede kaç kişi var?', 'Masanın üzerindeki nesne ne renk?', 'Köpek ne yapıyor?' gibi. Bu esneklik, VQA'yı gerçek dünya uygulamalarına çok daha yakın kılar.

Nasıl Çalışır? Temel Mimari

Modern bir VQA sistemi üç aşamadan oluşur. Birinci aşamada vision encoder (genellikle Vision Transformer/ViT) görüntüyü patch'lere böler ve her bir patch'i bir özellik vektörüne dönüştürür. İkinci aşamada text encoder (BERT gibi dil modeli veya LLM decoder) soruyu token dizisine çevirir. Üçüncü aşamada çapraz dikkat (cross-attention) katmanları iki modaliteyi hizalar: model, sorunun hangi bölümlerinin görüntünün hangi bölgeleriyle ilişkili olduğunu öğrenir. Bu mimarinin üzerine bir yanıt üreteci eklenerek serbest metin üretimi veya kapalı küme sınıflandırması yapılır.

Öne Çıkan Modeller ve Kıyaslamalar

Salesforce'un geliştirdiği BLIP ve BLIP-2 modelleri, 129 milyon görüntü-metin çiftiyle önceden eğitilip VQA2.0 ve GQA veri setlerinde ince ayar yapılmıştır. Meta'nın LLaVA serisi ve talimat uyarlamalı InstructBLIP, sohbet tabanlı görsel anlayışa yönelik açık ağırlıklı alternatifler sunmaktadır. OpenAI'nin GPT-4V ve GPT-4o modelleri ile Google'ın Gemini Vision ailesi 2024-2026 yıllarında kapalı kaynaklı VQA performansının zirvesine ulaşmıştır. Standart kıyaslamalar arasında VQA2.0, GQA, OK-VQA (bilgi gerektiren sorular) ve MathVQA (matematiksel akıl yürütme) yer alır.

Uygulama Alanları

VQA, tıbbi görüntülemede radyolog desteği için aktif olarak araştırılmakta; 'Bu röntgende pnömoni belirtisi var mı?' türü sorulara yanıt üreten sistemler hastane ortamlarında pilot uygulamaya alınmaktadır. Görsel engelli bireyler için ekran okuyucu uygulamaları, bir kameranın çektiği görüntüyle ilgili sorulara gerçek zamanlı yanıt üretebilir. E-ticarette ürün görseline yönelik 'Bu ürünün rengi nedir?' veya 'Bedenim uygun mu?' gibi sorular otomatikleştirilebilir. Otonom araçlarda ise trafik işaretlerini ve çevre nesnelerini tanımlayan VQA modülleri, sürüş kararlarını destekler.

Zorluklar ve Sınırlılıklar

VQA'nın en temel sorunu dil önkestirimidir (language priors): modeller, eğitim kümesindeki istatistiksel örüntüler nedeniyle görüntüyü gerçekten incelemek yerine tahmin edebilir. Örneğin 'Gökyüzü hangi renk?' sorusuna görüntüye bakmadan 'mavi' yanıtı verebilir. Kompozisyonel akıl yürütme gerektiren sorularda (birden fazla nesne arasındaki ilişkileri anlamak gibi) performans düşer. Çok adımlı (multi-hop) akıl yürütme, soyut kavramlar ve görüntüdeki ince bağlamsal bilgi ise hâlâ araştırma gündemindeki zorluklar arasındadır.

Türkiye'deki Gelişmeler

Türkiye'de VQA, sağlık ve erişilebilirlik alanlarında araştırma projelerine konu olmaktadır. Üniversite hastaneleri ve sağlık teknolojisi girişimleri, radyoloji görüntü analizini desteklemek amacıyla multimodal modelleri deneme aşamasında kullanmaktadır. Ayrıca turizm sektöründe kültürel miras sitelerini anlatan görsel rehber uygulamaları ile e-ticaret platformlarında ürün görselinden özellik çıkarma senaryolarında VQA tabanlı sistemlere ilgi artmaktadır.

Sık Sorulan Sorular

  • check_circle VQA ile görüntü açıklama (image captioning) arasındaki fark nedir? Görüntü açıklamada model görüntüyü genel olarak tanımlar; VQA'da ise belirli bir soruya odaklanarak hedefli bir yanıt üretir. VQA çok daha etkileşimli ve dinamiktir.
  • check_circle VQA hangi dillerde çalışabilir? Modern VQA modelleri çok dilli LLM'lere dayandığından Türkçe dahil birçok dilde soru işleyebilir. Ancak performans genellikle İngilizce odaklı eğitim verisi nedeniyle diğer dillerde daha düşük kalır.
  • check_circle VQA2.0 nedir? VQA2.0, 2017'de yayımlanan ve dil önkestirimi sorununu azaltmak için her soruya hem 'evet' hem 'hayır' yanıtını destekleyen görsel örnekler içeren standart bir kıyaslama veri setidir.
  • check_circle VQA gerçek zamanlı çalışabilir mi? Küçük ve optimize edilmiş VQA modelleri (distillenmiş LLaVA, MobileVLM gibi) mobil cihazlarda gerçek zamanlı çalışabilir; büyük modeller ise tipik olarak bulut API'leri aracılığıyla kullanılır.
  • check_circle GPT-4V ve VQA ilişkisi nedir? GPT-4V (ve GPT-4o'nun görsel modu), genel amaçlı bir multimodal model olarak VQA görevlerini özel eğitim gerektirmeksizin gerçekleştirebilir; bu modeller, kapalı kaynaklı VQA kıyaslama liderlik tablolarının üst sıralarındadır.