tag doğal dil üretimi

Bu sayfada doğal dil üretimi etiketi ile işaretlenmiş 1 yapay zeka kavramını bulabilirsiniz.

Image Captioning (Görüntü Altyazılama), bir görüntünün içeriğini otomatik olarak doğal dilde açıklayan çok modlu (multimodal) yapay zeka tekniğidir. Erişilebilirlik alt metni üretmekten e-ticaret ürün açıklamasına, güvenlik kamerası analizinden tıbbi görüntü raporlamasına uzanan geniş bir kullanım yelpazesine sahiptir. Teknik açıdan modern sistemler encoder-decoder çerçevesine dayanır. Görüntü encoder'ı (ViT, CNN veya bunların birleşimi), piksel matrisini yoğun bir özellik vektörüne sıkıştırır. Metin decoder'ı (genellikle transformer tabanlı bir dil modeli), bu vektörü koşul olarak alarak sözcük sözcük açıklamayı üretir. Eğitim için görüntü-metin çifti veri setleri kullanılır: MS-COCO (her görüntü için 5 farklı insan referansı), Flickr30K ve Conceptual Captions başlıca kaynaklardır. 2022'de Salesforce'un yayımladığı BLIP (Bootstrapping Language-Image Pre-Training), web'den derlenen gürültülü görüntü-altyazı çiftlerini kendi kendine filtreleyerek eğitim kalitesini artırdı. Microsoft'un GIT (Generative Image-to-Text) modeli, her decoder katmanına görsel özellik enjekte ederek metinsel bağlamı korur. Google DeepMind'ın Flamingo modeli büyük dil modelini görsel girdi ile koşullandırarak few-shot image captioning'de yeni referanslar belirledi. BLIP-2, LLaVA ve Qwen-VL gibi daha yeni sistemler ise görüntü altyazılamanın ötesine geçerek görsel soru yanıtlama (VQA) ve yönerge takibini tek mimaride birleştirmektedir. Değerlendirmede BLEU, METEOR ve ROUGE gibi metin benzerliği metrikleri yanı sıra, image captioning'e özgü CIDEr (Consensus-based Image Description Evaluation) ve SPICE metrikleri kullanılır. CIDEr, insan referans açıklamalarıyla konsensüse dayalı n-gram benzerliğini ölçer; SPICE ise sahne grafiği (scene graph) ayrıştırması yaparak anlamsal doğruluğu değerlendirir. Türkiye'de erişilebilirlik mevzuatı (Ekim 2023'ten itibaren kamu web sitelerinde WCAG 2.1 AA zorunluluğu) görüntü altyazılama teknolojisine kurumsal talebi artırmaktadır. E-ticaret platformları görsel ürün kataloğunu metin olarak indeksleyerek arama motorlarında görünürlük elde etmekte; medya ve yayın arşivleri tarihî fotoğrafları otomatik etiketlemek için bu teknikten yararlanmaktadır.

🖼️

Image Captioning (Görüntü Altyazılama)

Image Captioning (Görüntü Altyazılama), bir görüntünün içeriğini otomatik olarak doğal dilde açıklayan çok modlu (multimodal) yapay zeka tekniğidir. Erişilebilirlik alt metni üretmekten e-ticaret ürün açıklamasına, güvenlik kamerası analizinden tıbbi görüntü raporlamasına uzanan geniş bir kullanım yelpazesine sahiptir. Teknik açıdan modern sistemler encoder-decoder çerçevesine dayanır. Görüntü encoder'ı (ViT, CNN veya bunların birleşimi), piksel matrisini yoğun bir özellik vektörüne sıkıştırır. Metin decoder'ı (genellikle transformer tabanlı bir dil modeli), bu vektörü koşul olarak alarak sözcük sözcük açıklamayı üretir. Eğitim için görüntü-metin çifti veri setleri kullanılır: MS-COCO (her görüntü için 5 farklı insan referansı), Flickr30K ve Conceptual Captions başlıca kaynaklardır. 2022'de Salesforce'un yayımladığı BLIP (Bootstrapping Language-Image Pre-Training), web'den derlenen gürültülü görüntü-altyazı çiftlerini kendi kendine filtreleyerek eğitim kalitesini artırdı. Microsoft'un GIT (Generative Image-to-Text) modeli, her decoder katmanına görsel özellik enjekte ederek metinsel bağlamı korur. Google DeepMind'ın Flamingo modeli büyük dil modelini görsel girdi ile koşullandırarak few-shot image captioning'de yeni referanslar belirledi. BLIP-2, LLaVA ve Qwen-VL gibi daha yeni sistemler ise görüntü altyazılamanın ötesine geçerek görsel soru yanıtlama (VQA) ve yönerge takibini tek mimaride birleştirmektedir. Değerlendirmede BLEU, METEOR ve ROUGE gibi metin benzerliği metrikleri yanı sıra, image captioning'e özgü CIDEr (Consensus-based Image Description Evaluation) ve SPICE metrikleri kullanılır. CIDEr, insan referans açıklamalarıyla konsensüse dayalı n-gram benzerliğini ölçer; SPICE ise sahne grafiği (scene graph) ayrıştırması yaparak anlamsal doğruluğu değerlendirir. Türkiye'de erişilebilirlik mevzuatı (Ekim 2023'ten itibaren kamu web sitelerinde WCAG 2.1 AA zorunluluğu) görüntü altyazılama teknolojisine kurumsal talebi artırmaktadır. E-ticaret platformları görsel ürün kataloğunu metin olarak indeksleyerek arama motorlarında görünürlük elde etmekte; medya ve yayın arşivleri tarihî fotoğrafları otomatik etiketlemek için bu teknikten yararlanmaktadır.

arrow_forward