tag Upscaling

Video Süper Çözünürlük (VSR) (Video Süper Çözünürlük)

Bu sayfada Upscaling (Video Süper Çözünürlük (VSR) (Video Süper Çözünürlük)) etiketi ile işaretlenmiş 1 yapay zeka kavramını bulabilirsiniz.

Video Süper Çözünürlük (Video Super-Resolution, VSR), düşük çözünürlüklü video karelerini derin öğrenme modelleri aracılığıyla yüksek çözünürlüklü videolara dönüştüren bir yapay zeka teknolojisidir. Geleneksel yükseltme yöntemleri enterpolasyon (bilineer, çift kübik) kullanırken VSR modelleri, hem tek bir karedeki uzamsal bilgiyi hem de ardışık kareler arasındaki zamansal ilişkiyi öğrenerek gerçekçi doku ve kenar detayları sentezler. VSR sistemleri temel olarak iki kategoriye ayrılır: tekrarlayan ağlar (recurrent networks) ve kayar pencere (sliding window) yaklaşımları. Tekrarlayan ağlar, önceki ve sonraki karelerin bilgisini gizli durum vektörlerinde biriktirir; EDVR ve BasicVSR bu kategorinin öncü örnekleridir. EDVR (Enhanced Deformable convolutional Networks for Video Restoration), deformable convolution v2 ile hassas çok-ölçekli hizalama yaparak CVPR NTIRE 2019 Yarışması'nda birinci olmuştur. BasicVSR ve devamı BasicVSR++ (Wang ve ark., 2021-2022), çift yönlü yayılım ve optik akış tabanlı hizalamayı basit ama güçlü bir çerçevede birleştirerek açık kaynak referans mimari konumuna gelmiştir. Model mimarileri açısından konuşursak: uzamsal özellik çıkarımı için derin CNN veya Swin Transformer katmanları kullanılırken zamansal bilgi gizli durum veya kayar pencere mekanizmalarıyla aktarılır. Son aşamada pixel shuffle (alt piksel konvolüsyon) katmanı, özellik haritasını yüksek çözünürlüklü piksel ızgarasına çevirir. Optik akış tahmini veya deformable convolution ile karelar arası piksel ötelenmeleri hizalanır; bu hizalama adımı birden fazla kareden gelen doku bilgisinin birleştirilmesini mümkün kılar. Son yıllarda difüzyon tabanlı ve GAN tabanlı yaklaşımlar hız kazanmaktadır. DiffVSR, difüzyon modellerini temporal tutarlılık kısıtlamalarıyla birleştirerek gerçek dünya bozulmalarına karşı güçlü sonuçlar üretir. VideoGigaGAN (Adobe Research, 2024) ise büyük ölçekli GAN mimarisini video domainine taşıyarak 8× büyütmede çarpıcı doku zenginliği sunar. VSR, OTT arşivi upscaling, dijital yayıncılık, güvenlik kameraları, tıbbi görüntüleme ve tarihi film restorasyonu gibi geniş bir yelpazede uygulanmaktadır. Kalite değerlendirmesinde PSNR ve SSIM yanı sıra LPIPS ve NIQE gibi algısal metrikler de kullanılmaktadır.

hd

Video Süper Çözünürlük (VSR) (Video Süper Çözünürlük)

Video Süper Çözünürlük (Video Super-Resolution, VSR), düşük çözünürlüklü video karelerini derin öğrenme modelleri aracılığıyla yüksek çözünürlüklü videolara dönüştüren bir yapay zeka teknolojisidir. Geleneksel yükseltme yöntemleri enterpolasyon (bilineer, çift kübik) kullanırken VSR modelleri, hem tek bir karedeki uzamsal bilgiyi hem de ardışık kareler arasındaki zamansal ilişkiyi öğrenerek gerçekçi doku ve kenar detayları sentezler. VSR sistemleri temel olarak iki kategoriye ayrılır: tekrarlayan ağlar (recurrent networks) ve kayar pencere (sliding window) yaklaşımları. Tekrarlayan ağlar, önceki ve sonraki karelerin bilgisini gizli durum vektörlerinde biriktirir; EDVR ve BasicVSR bu kategorinin öncü örnekleridir. EDVR (Enhanced Deformable convolutional Networks for Video Restoration), deformable convolution v2 ile hassas çok-ölçekli hizalama yaparak CVPR NTIRE 2019 Yarışması'nda birinci olmuştur. BasicVSR ve devamı BasicVSR++ (Wang ve ark., 2021-2022), çift yönlü yayılım ve optik akış tabanlı hizalamayı basit ama güçlü bir çerçevede birleştirerek açık kaynak referans mimari konumuna gelmiştir. Model mimarileri açısından konuşursak: uzamsal özellik çıkarımı için derin CNN veya Swin Transformer katmanları kullanılırken zamansal bilgi gizli durum veya kayar pencere mekanizmalarıyla aktarılır. Son aşamada pixel shuffle (alt piksel konvolüsyon) katmanı, özellik haritasını yüksek çözünürlüklü piksel ızgarasına çevirir. Optik akış tahmini veya deformable convolution ile karelar arası piksel ötelenmeleri hizalanır; bu hizalama adımı birden fazla kareden gelen doku bilgisinin birleştirilmesini mümkün kılar. Son yıllarda difüzyon tabanlı ve GAN tabanlı yaklaşımlar hız kazanmaktadır. DiffVSR, difüzyon modellerini temporal tutarlılık kısıtlamalarıyla birleştirerek gerçek dünya bozulmalarına karşı güçlü sonuçlar üretir. VideoGigaGAN (Adobe Research, 2024) ise büyük ölçekli GAN mimarisini video domainine taşıyarak 8× büyütmede çarpıcı doku zenginliği sunar. VSR, OTT arşivi upscaling, dijital yayıncılık, güvenlik kameraları, tıbbi görüntüleme ve tarihi film restorasyonu gibi geniş bir yelpazede uygulanmaktadır. Kalite değerlendirmesinde PSNR ve SSIM yanı sıra LPIPS ve NIQE gibi algısal metrikler de kullanılmaktadır.

arrow_forward