Video Süper Çözünürlük (VSR) (Video Süper Çözünürlük)

#VideoSuperResolution #Upscaling #VideoRestorasyonu #DeepLearning #GoruntüIsleme

Video Süper Çözünürlük (VSR), düşük çözünürlüklü videoları derin öğrenme ile yüksek çözünürlüklü ve detaylı videolara dönüştüren AI teknolojisidir.

Video Süper Çözünürlük (Video Super-Resolution, VSR), düşük çözünürlüklü video karelerini derin öğrenme modelleri aracılığıyla yüksek çözünürlüklü videolara dönüştüren bir yapay zeka teknolojisidir. Geleneksel yükseltme yöntemleri enterpolasyon (bilineer, çift kübik) kullanırken VSR modelleri, hem tek bir karedeki uzamsal bilgiyi hem de ardışık kareler arasındaki zamansal ilişkiyi öğrenerek gerçekçi doku ve kenar detayları sentezler. VSR sistemleri temel olarak iki kategoriye ayrılır: tekrarlayan ağlar (recurrent networks) ve kayar pencere (sliding window) yaklaşımları. Tekrarlayan ağlar, önceki ve sonraki karelerin bilgisini gizli durum vektörlerinde biriktirir; EDVR ve BasicVSR bu kategorinin öncü örnekleridir. EDVR (Enhanced Deformable convolutional Networks for Video Restoration), deformable convolution v2 ile hassas çok-ölçekli hizalama yaparak CVPR NTIRE 2019 Yarışması'nda birinci olmuştur. BasicVSR ve devamı BasicVSR++ (Wang ve ark., 2021-2022), çift yönlü yayılım ve optik akış tabanlı hizalamayı basit ama güçlü bir çerçevede birleştirerek açık kaynak referans mimari konumuna gelmiştir. Son yıllarda Transformer tabanlı ve difüzyon tabanlı yaklaşımlar hız kazanmaktadır. DiffVSR, difüzyon modellerini temporal tutarlılık kısıtlamalarıyla birleştirerek gerçek dünya bozulmalarına karşı güçlü sonuçlar üretir. VideoGigaGAN (Adobe Research, 2024) ise büyük ölçekli GAN mimarisini video domainine taşıyarak 8× büyütmede çarpıcı doku zenginliği sunar. NTIRE Super-Resolution Challenge (CVPR bünyesinde, 2017'den bu yana yıllık düzenlenmektedir) alan için kritik bir kıyaslama zemini işlevi görmektedir. VSR, OTT arşivi upscaling, dijital yayıncılık, güvenlik kameraları, tıbbi görüntüleme ve tarihi film restorasyonu gibi geniş bir yelpazede uygulanmaktadır. Kalite değerlendirmesinde PSNR ve SSIM yanı sıra LPIPS ve NIQE gibi algısal metrikler de kullanılmaktadır.

Video Süper Çözünürlük Nasıl Çalışır?

VSR modellerinin temel çalışma prensibi, düşük çözünürlüklü (LR) bir video dizisinden yüksek çözünürlüklü (HR) kareler sentezlemektir. Bunun için model önce birden fazla LR kareyi hizalar: optik akış (optical flow) tahmini veya deformable convolution kullanılarak kareler arası piksel ötelenmeleri hesaplanır. Hizalanmış özellikler birleştirilerek tek bir LR karede olmayan doku bilgisi komşu karelerden çekilir. Uzamsal özellik çıkarımı için tipik olarak derin CNN veya Transformer katmanları kullanılır. Temporal bilgi ise gizli durum (recurrent) veya kayar pencere (sliding window) mekanizmalarıyla taşınır. Son adımda bir piksel karıştırma (pixel shuffle / sub-pixel convolution) katmanı, özellik haritasını HR piksel ızgarasına çevirir. Difüzyon tabanlı VSR'de süreç farklılaşır: gürültüden başlayan difüzyon ters süreci, LR kareyi koşul sinyali olarak alır ve her adımda temporal tutarlılığı koruyacak biçimde HR kare üretir. Bu yaklaşım PSNR'ı bazı durumlarda düşürebilir ancak algısal kaliteyi (LPIPS) önemli ölçüde iyileştirir.

Önemli VSR Modelleri ve Mimarileri

  • check_circle EDVR (2019): Enhanced Deformable convolutional Networks for Video Restoration. Deformable conv v2 ile çok-ölçekli temporal hizalama yaparak CVPR NTIRE 2019'da birinci sıraya yerleşti.
  • check_circle BasicVSR / BasicVSR++ (2021-2022): Çift yönlü yayılım ve SPyNet tabanlı optik akış hizalamasını sadeleştirip güçlendiren açık kaynak referans mimarisi. Birçok sonraki çalışmanın temel çizgisi oldu.
  • check_circle Real-ESRGAN (2021): Saf sentetik bozulma verileriyle eğitilen GAN tabanlı model; gerçek dünya video ve görüntü upscaling'de yaygın kullanılır. Perceptual loss ve discriminator ile yüksek doku kalitesi sunar.
  • check_circle DiffVSR / InstaVSR (2024-2025): Difüzyon modeli tabanlı VSR yaklaşımları. Temporal tutarlılık kısıtlamalarıyla koşullandırılmış denoising süreci sayesinde gerçek dünya bozulmalarına karşı güçlü ve görsel açıdan zengin çıktılar üretir.
  • check_circle VideoGigaGAN (Adobe Research, 2024): Büyük ölçekli GAN mimarisini (GigaGAN) video domainine taşıyan model. 8× büyütmede BasicVSR++'ı algısal kalite açısından geride bırakan çarpıcı doku zenginliği sağlar.

Uygulama Alanları

  • check_circle OTT ve Dijital Yayıncılık: Netflix, Disney+ gibi platformlar eski SD/HD arşiv içeriklerini 4K/8K'ya yükseltmek için VSR kullanır; bant genişliği tasarrufu sağlamak amacıyla düşük kaliteli stream gönderip uç cihazda VSR uygulamak da araştırılmaktadır.
  • check_circle Güvenlik ve Gözetleme: Düşük çözünürlüklü CCTV görüntülerinde plaka, yüz veya nesne detaylarını belirginleştirmek için VSR modelleri adli bilimlerde ve güvenlik sistemlerinde kullanılmaktadır.
  • check_circle Tarihi Film ve Arşiv Restorasyonu: Eski belgesel ve sinema eserlerini HD/4K kalitesine taşımak için VSR, renk restorasyon ve gürültü giderme modelleriyle birlikte kullanılır.
  • check_circle Tıbbi Görüntüleme: Düşük doz MRI ve CT taramalarında çözünürlük artırımı, daha az radyasyon maruziyetiyle daha yüksek tanı kalitesi sağlar.

Sıkça Sorulan Sorular

  • check_circle Video super-resolution ile image super-resolution arasındaki fark nedir?: Image SR yalnızca tek bir kareyi işlerken, Video SR ardışık karelerden gelen temporal bilgiyi de kullanır. Bu sayede komşu karelerden doku tamamlayabilir ve daha tutarlı sonuçlar üretebilir; ancak bellek ve hesaplama maliyeti daha yüksektir.
  • check_circle VSR modelleri gerçek zamanlı çalışabilir mi?: Hafifletilmiş modeller (örn. IMDN, SwinIR-tiny) modern GPU'larda 1080p için gerçek zamanlıya yakın hızlara ulaşabilir. Ancak BasicVSR++ gibi tam modeller yüksek kalite için gerçek zamanlıdan çok daha fazla hesaplama gerektirir.
  • check_circle PSNR yüksek olan model her zaman daha iyi görünür mü?: Hayır. Yüksek PSNR/SSIM değerleri matematiksel doğruluğu gösterir ancak bulanık çıktılara da yol açabilir. LPIPS ve NIQE gibi algısal metrikler görsel keskinliği ve doku zenginliğini daha iyi yansıtır; difüzyon tabanlı modeller çoğu zaman PSNR'ı düşürür ama algısal kaliteyi artırır.
  • check_circle VSR için hangi veri kümeleri kullanılır?: REDS (REalistic and Dynamic Scenes), Vimeo-90K ve NTIRE yarışma veri kümeleri en yaygın kullanılan benchmark setleridir. Gerçek dünya bozulması araştırmaları için ise VideoLQ ve MVSR gibi özel veri kümeleri mevcuttur.