Video Inpainting Nedir? (Video Tamamlama)

#VideoInpainting #BilgisayarlıGörü #UretkenYapayZeka #VideoIsleme

Bir videodaki istenmeyen veya bozuk bölgeleri çevre pikseller ve zamansal bağlamdan üretilen içerikle kusursuz dolduran yapay zeka tekniği.

Video inpainting (Türkçe: video tamamlama), bir video sekansındaki hasarlı, eksik veya istenmeyen bölgelerin — nesne kaldırma maskeleri, çizikler, altyazılar, gizlilik amaçlı anonimleştirilecek alanlar — çevre pikseller ve zamansal bağlamdan üretilen içerikle kusursuz doldurulması işlemidir. Görüntü inpainting'den temel farkı, uzamsal tutarlılığın yanı sıra kareler arası zamansal tutarlılığı (temporal coherence) da zorunlu kılmasıdır: arka plan dokusu, nesne hareketi ve aydınlatma birbirini izleyen tüm karelerde tutarlı kalmalıdır. Geleneksel yaklaşımlar yamak tabanlı algoritmalar ve optik akış (optical flow) yöntemlerine dayanıyordu; ancak bu teknikler karmaşık kamera hareketlerinde ve örtüşen nesnelerde bozulmalar üretiyordu. 2020'lerin başından itibaren transformer ve derin evrişimli mimariler alanı dönüştürdü. STTN (Spatial-Temporal Transformer Network), sekanslar arasında dikkat mekanizması kurarak uzun menzilli bağımlılıkları yakalar. E2FGVI (End-to-End Flow-Guided Video Inpainting), optik akış tahminini, içerik üretimini ve yayma adımlarını tek bir hesaplama grafiğine entegre eder. ProPainter (ICCV 2023), yayılmış optik akış mimarisiyle hem hesaplama verimliliğini hem de zamansal tutarlılığı iyileştirerek alanda önemli bir kıyaslama noktası hâline gelmiştir. 2024-2025'te VideoPainter ve DiTPainter gibi diffusion transformer tabanlı modeller daha da yüksek kalite sunmaktadır. Başlıca kullanım alanları: istenmeyen nesne ya da marka logosunu video kliplerden kaldırma, yüz ve plaka anonimleştirme, eski film restorasyon, sinema efekti (tel giderme, sahne temizleme) ve içerik düzenlemedir. Yüksek çözünürlüklü videolarda hesaplama maliyeti hâlâ önemli bir engel olsa da GPU işlem gücündeki artış ve diffusion modellerinin alana girmesiyle gerçek zamanlı uygulamalar giderek yaklaşmaktadır.

Uzamsal ve Zamansal Tutarlılık Problemi

Video inpainting'i görüntü inpainting'den ayıran temel güçlük zamansal tutarlılık (temporal coherence) gereksinimidir. Doldurulacak bölge, tek bir kare için görsel olarak doğru görünmekle yetinmez; arka plan dokusu, aydınlatma değişimleri ve hareket vektörleri tüm sekans boyunca tutarlı olmalıdır. Örneğin bir nesne 120 karelik bir klipten kaldırıldığında arkasındaki arka planı tüm karelerde aynı şekilde ve hareketle örtüşen içerikle doldurmak gerekir. Bu çift kısıt, sorunu hesaplama açısından görüntü inpainting'e kıyasla çok daha zorlu kılar.

Geleneksel Yöntemlerden Derin Öğrenmeye

İlk video inpainting sistemleri yamak tabanlı (patch-based) algoritmalar ve optik akış yöntemlerine dayanıyordu: komşu piksel bölgelerinden en benzer yamayı seçerek eksik alanı dolduruyordu. Bu teknikler statik ya da az hareketli sahnelerde başarılıydı; ancak karmaşık kamera hareketleri ve örtüşen nesnelerde bozulmalar üretiyordu. Derin öğrenme ile birlikte 3B evrişim, dikkat mekanizmaları ve optik akış rehberli üretim mimarileri bu sınırları aşmaya başladı.

Öncü Modeller ve Mimariler

  • check_circle STTN (Spatial-Temporal Transformer Network): Birden fazla kare arasında self-attention kurarak uzun menzilli uzamsal ve zamansal bağımlılıkları yakalar.
  • check_circle E2FGVI (End-to-End Flow-Guided Video Inpainting): Optik akış tahmini, içerik üretimi ve yayma adımlarını tek bir uçtan uca hesaplama grafiğinde birleştirir.
  • check_circle ProPainter (ICCV 2023): Yayılmış optik akış çerçevesini iyileştirerek hesaplama verimliliğini artırır; alanda yaygın kullanılan kıyaslama noktasıdır.
  • check_circle VideoPainter / DiTPainter (2024-2025): Diffusion transformer mimarisini video bağlamına uygulayarak metin güdümlü ve daha yüksek kaliteli tamamlama sunar.
  • check_circle DiffuEraser: Önceden eğitilmiş metin-görüntü diffusion modelini BrushNet özellik çıkarıcıyla birleştirerek zamansal tutarlılığı güçlendirir.

Kullanım Alanları

  • check_circle Nesne ve Marka Kaldırma: Sahne içindeki istenmeyen nesneler, logolar veya altyazılar video kliplerden otomatik olarak temizlenir.
  • check_circle Gizlilik Koruma: Yüzler, araç plakaları veya hassas belgeler, bulanıklaştırma yerine arkaplanla tutarlı içerikle örtülerek anonimleştirilir.
  • check_circle Film ve Arşiv Restorasyon: Eski film şeritlerindeki çizik, toz ve aşınmış bölgeler çevre doku analiz edilerek orijinale yakın biçimde yenilenir.
  • check_circle Sinema Efektleri: Tel kaldırma (wire removal), sahne temizleme ve stüdyo tabanlı VFX iş akışları bu teknikle pratikleştirilir.
  • check_circle Sosyal Medya İçerik Düzenleme: Ticari uygulamalarda kullanıcılar istenmeyen unsurları işaret ederek otomatik video inpainting ile videolarını düzenler.

Hesaplama Maliyeti ve Güncel Durum

Video inpainting, kare sayısı ve çözünürlük arttıkça görüntü inpainting'e kıyasla çok daha fazla hesaplama kaynağı gerektirir. ProPainter düşük çözünürlükte 10 karelik bir klip için 808 G FLOP harcarken E2FGVI aynı işlem için 986 G FLOP gerektirir. Yüksek çözünürlük ve uzun klipler için bu maliyet hızla katlanır. 2024-2025 döneminde diffusion transformer tabanlı modeller ve video özelleşmiş GPU optimizasyonları gerçek zamanlı işleme için umut vermektedir.

Sık Sorulan Sorular

  • check_circle Video inpainting ile görüntü inpainting arasındaki fark nedir?: Görüntü inpainting tek karede uzamsal doldurmayı hedefler; video inpainting aynı anda uzamsal ve zamansal tutarlılığı sağlamak zorundadır.
  • check_circle ProPainter'ı kişisel bilgisayarda çalıştırabilir miyim?: Evet, açık kaynak Python paketidir. CUDA destekli GPU gerektirir ve 12 GB VRAM temel kullanım için yeterlidir.
  • check_circle Video inpainting deepfake üretimiyle ilişkili midir?: Teknik olarak ilişkilidir; her ikisi de üretici modeller kullanır. Ancak inpainting hasarlı bölgeyi onarırken deepfake bir kişinin yüzünü değiştirmeyi hedefler.
  • check_circle Diffusion modelleri bu alanda ne kadar etkilidir?: VideoPainter ve DiTPainter gibi 2024-2025 modelleri diffusion transformer kullanarak önceki CNN/Transformer tabanlı yöntemlerin kalitesini aşmaktadır.
  • check_circle Video inpainting hangi dosya formatlarını destekler?: ProPainter gibi açık araçlar MP4, AVI, MOV formatlarını destekler; kare bazlı PNG/JPEG giriş-çıkış da yaygın kullanılır.