tag Videoİşleme
Video Inpainting (Video Tamamlama)
Bu sayfada Videoİşleme (Video Inpainting (Video Tamamlama)) etiketi ile işaretlenmiş 2 yapay zeka kavramını bulabilirsiniz.
Video inpainting (Türkçe: video tamamlama), bir video sekansındaki hasarlı, eksik veya istenmeyen bölgelerin — nesne kaldırma maskeleri, çizikler, altyazılar, gizlilik amaçlı anonimleştirilecek alanlar — çevre pikseller ve zamansal bağlamdan üretilen içerikle kusursuz doldurulması işlemidir. Görüntü inpainting'den temel farkı, uzamsal tutarlılığın yanı sıra kareler arası zamansal tutarlılığı (temporal coherence) da zorunlu kılmasıdır: arka plan dokusu, nesne hareketi ve aydınlatma birbirini izleyen tüm karelerde tutarlı kalmalıdır. Geleneksel yaklaşımlar yamak tabanlı algoritmalar ve optik akış (optical flow) yöntemlerine dayanıyordu; bu teknikler statik sahnelerde işe yarasa da karmaşık kamera hareketlerinde ve örtüşen nesnelerde bozulmalar üretiyordu. 2020'lerin başından itibaren transformer ve derin evrişimli mimariler alanı köklü biçimde değiştirdi. STTN (Spatial-Temporal Transformer Network), sekanslar arasında dikkat mekanizması kurarak uzun menzilli bağımlılıkları yakalar. E2FGVI (End-to-End Flow-Guided Video Inpainting), optik akış tahminini, içerik üretimini ve yayma adımlarını tek bir hesaplama grafiğine entegre eder. ProPainter (ICCV 2023), yayılmış optik akış mimarisiyle hem hesaplama verimliliğini hem de zamansal tutarlılığı iyileştirerek alanda önemli bir kıyaslama noktası haline gelmiştir. 2024-2025'te ise VideoPainter ve DiTPainter gibi diffusion transformer tabanlı modeller metin güdümlü, daha yüksek kaliteli doldurma kapasitesi sunmaktadır. Başlıca kullanım alanları şunlardır: istenmeyen nesne ya da marka logosunu video kliplerden otomatik kaldırma, yüz ve plaka anonimleştirme, eski film restorasyon, sinema efektleri (tel giderme, sahne temizleme) ve kullanıcı yönlendirmeli içerik düzenleme. Yüksek çözünürlüklü videolarda hesaplama maliyeti hâlâ önemli bir engel oluşturmaktadır; ancak GPU işlem gücündeki artış, donanım hızlandırma teknikleri ve diffusion modellerinin bu alana girmesiyle gerçek zamanlı uygulamalar giderek yaklaşmaktadır. Açık kaynak araçlar (ProPainter, E2FGVI) ve ticari API'ler bu teknolojiyi geniş bir geliştirici kitlesine erişilebilir kılmaktadır.
Video Inpainting (Video Tamamlama)
Video inpainting (Türkçe: video tamamlama), bir video sekansındaki hasarlı, eksik veya istenmeyen bölgelerin — nesne kaldırma maskeleri, çizikler, altyazılar, gizlilik amaçlı anonimleştirilecek alanlar — çevre pikseller ve zamansal bağlamdan üretilen içerikle kusursuz doldurulması işlemidir. Görüntü inpainting'den temel farkı, uzamsal tutarlılığın yanı sıra kareler arası zamansal tutarlılığı (temporal coherence) da zorunlu kılmasıdır: arka plan dokusu, nesne hareketi ve aydınlatma birbirini izleyen tüm karelerde tutarlı kalmalıdır. Geleneksel yaklaşımlar yamak tabanlı algoritmalar ve optik akış (optical flow) yöntemlerine dayanıyordu; bu teknikler statik sahnelerde işe yarasa da karmaşık kamera hareketlerinde ve örtüşen nesnelerde bozulmalar üretiyordu. 2020'lerin başından itibaren transformer ve derin evrişimli mimariler alanı köklü biçimde değiştirdi. STTN (Spatial-Temporal Transformer Network), sekanslar arasında dikkat mekanizması kurarak uzun menzilli bağımlılıkları yakalar. E2FGVI (End-to-End Flow-Guided Video Inpainting), optik akış tahminini, içerik üretimini ve yayma adımlarını tek bir hesaplama grafiğine entegre eder. ProPainter (ICCV 2023), yayılmış optik akış mimarisiyle hem hesaplama verimliliğini hem de zamansal tutarlılığı iyileştirerek alanda önemli bir kıyaslama noktası haline gelmiştir. 2024-2025'te ise VideoPainter ve DiTPainter gibi diffusion transformer tabanlı modeller metin güdümlü, daha yüksek kaliteli doldurma kapasitesi sunmaktadır. Başlıca kullanım alanları şunlardır: istenmeyen nesne ya da marka logosunu video kliplerden otomatik kaldırma, yüz ve plaka anonimleştirme, eski film restorasyon, sinema efektleri (tel giderme, sahne temizleme) ve kullanıcı yönlendirmeli içerik düzenleme. Yüksek çözünürlüklü videolarda hesaplama maliyeti hâlâ önemli bir engel oluşturmaktadır; ancak GPU işlem gücündeki artış, donanım hızlandırma teknikleri ve diffusion modellerinin bu alana girmesiyle gerçek zamanlı uygulamalar giderek yaklaşmaktadır. Açık kaynak araçlar (ProPainter, E2FGVI) ve ticari API'ler bu teknolojiyi geniş bir geliştirici kitlesine erişilebilir kılmaktadır.
Optical Flow (Optik Akış)
Optical flow (optik akış), art arda gelen video karelerindeki piksel parlaklık örüntüsünün görünür hareketini hesaplayan temel bir bilgisayarlı görü tekniğidir. Her piksel ya da seçili özellik noktası için, bir kareden diğerine geçişte oluşan (u, v) hareket vektörü belirlenir; bu vektörlerin tümü bir "flow map" (akış haritası) oluşturur ve sahnenin dinamik yapısını sayısal olarak temsil eder. Teknik, parlaklık sabitliği (brightness constancy) hipotezine dayanır: I(x, y, t) = I(x+u, y+v, t+1). Yani kısa zaman aralıklarında bir pikselin görüntü üzerindeki parlaklığının değişmediği kabul edilir. Bu tek denklem iki bilinmeyen (u, v) içerdiğinden doğrudan çözülemez; "aperture problemi" olarak bilinen bu belirsizlik, ek uzamsal kısıtlamalar eklenerek giderilir. Klasik algoritmalar iki ana yaklaşımda gruplanır. Lucas-Kanade (1981), küçük bir piksel penceresindeki tüm noktaların aynı harekete sahip olduğunu varsayarak seçili köşe noktalarında seyrek (sparse) akış üretir; hız ve sağlamlığıyla günümüz nesne takip uygulamalarında hâlâ kullanılır. Horn-Schunck (1981) ise pürüzlülük (smoothness) kısıtlaması uygulayarak tüm piksel uzayında yoğun (dense) bir akış alanı bulur; gürültüye daha duyarlıdır ancak teorik temeli güçlüdür. 2010'ların ortasında derin öğrenme bu alanı dönüştürdü. FlowNet (2015) ve FlowNet2 (2017), sentetik verilerle eğitilmiş CNN mimarileriyle klasik yöntemlerin çok ötesinde doğruluk sundu. RAFT (Recurrent All-Pairs Field Transforms, 2020) ise GRU tabanlı yinelemeli mimarisiyle Sintel ve KITTI benchmark'larında rekor kırarak günümüz akademik standardı hâline geldi. Optical flow; otonom araç navigasyonu, video stabilizasyonu, eylem tanıma, gözetim sistemleri ve tıbbi görüntüleme (ekokardiyografi kalp hareketi analizi) gibi geniş bir yelpazeye uygulanır. Stable Video Diffusion ve benzeri jeneratif video modelleri de zamansal tutarlılık için optik akış rehberliğinden yararlanmaktadır. OpenCV, `calcOpticalFlowFarneback` ve `calcOpticalFlowPyrLK` fonksiyonlarıyla hem yoğun hem seyrek akış hesaplamayı pratikte erişilebilir kılar.