tag VideoGeneration

Stable Video Diffusion (Stable Video Diffusion)

Bu sayfada VideoGeneration (Stable Video Diffusion (Stable Video Diffusion)) etiketi ile işaretlenmiş 1 yapay zeka kavramını bulabilirsiniz.

Stable Video Diffusion (SVD), Stability AI'ın Kasım 2023'te açık ağırlıklarla yayımladığı, tek bir kaynak görüntüden kısa video klipleri üreten üretken video modelidir. Model, Stable Diffusion 2.1'in latent difüzyon mimarisini temel alır ve U-Net'teki her uzamsal katmanın ardına zamansal evrişim ile zamansal dikkat (temporal attention) katmanları ekleyerek tek tek kareler yerine kare dizilerini gizil uzayda üretir. Kaynak görüntü iki kanaldan koşullandırma olarak verilir: CLIP görüntü kodlayıcısından çıkan gömme çapraz dikkat yoluyla ağa beslenir, görüntünün VAE ile sıkıştırılmış latent temsili ise gürültülü kare latentlerine kanal ekseninde eklenir. Böylece üretilen klip hem kaynak görüntünün kimliğini korur hem de öğrenilmiş hareket dinamiklerini taşır. Modelin iki çeşidi vardır: SVD 14 kare, genişletilmiş SVD-XT ise 25 kare üretir; her ikisi de 1024×576 (16:9) çözünürlükte çalışır. Şubat 2024'te yayımlanan SVD-XT 1.1, aynı çözünürlükte daha tutarlı çıktı için ince ayarlanmış sürümdür. Üretim üç mikro koşullandırma parametresiyle yönlendirilir: fps_id kare hızını, motion_bucket_id (0-255) hareket yoğunluğunu, cond_aug ya da augmentation_strength ise kaynak görüntüye eklenen gürültü miktarını belirler. SVD makalesinin asıl katkısı eğitim reçetesidir. Ekip; görüntü ön eğitimi, büyük ölçekli video ön eğitimi ve yüksek kaliteli video ince ayarı olmak üzere üç aşamalı bir süreç tanımlar. Kesme tespiti, optik akış ile durağan klip eleme ve otomatik altyazılama içeren titiz veri küratörlüğünün nihai kaliteyi en az mimari kadar etkilediğini deneysel olarak gösterir. Aynı taban model daha sonra çoklu görünüm sentezine (SV3D) ve dinamik 3B üretime (SV4D) uyarlanmıştır. Sora, Veo, Kling ve Runway gibi kapalı modeller ile Wan, HunyuanVideo ve LTX-Video gibi yeni açık modeller süre ve kalite açısından SVD'yi geride bıraktı. Yine de SVD; ComfyUI ve Diffusers entegrasyonu, 12-24 GB VRAM ile çalışabilmesi ve kolay ince ayar olanağıyla görüntüden video araştırmalarında ve yerel prototiplemede referans model olmayı sürdürüyor.

movie

Stable Video Diffusion (Stable Video Diffusion)

Stable Video Diffusion (SVD), Stability AI'ın Kasım 2023'te açık ağırlıklarla yayımladığı, tek bir kaynak görüntüden kısa video klipleri üreten üretken video modelidir. Model, Stable Diffusion 2.1'in latent difüzyon mimarisini temel alır ve U-Net'teki her uzamsal katmanın ardına zamansal evrişim ile zamansal dikkat (temporal attention) katmanları ekleyerek tek tek kareler yerine kare dizilerini gizil uzayda üretir. Kaynak görüntü iki kanaldan koşullandırma olarak verilir: CLIP görüntü kodlayıcısından çıkan gömme çapraz dikkat yoluyla ağa beslenir, görüntünün VAE ile sıkıştırılmış latent temsili ise gürültülü kare latentlerine kanal ekseninde eklenir. Böylece üretilen klip hem kaynak görüntünün kimliğini korur hem de öğrenilmiş hareket dinamiklerini taşır. Modelin iki çeşidi vardır: SVD 14 kare, genişletilmiş SVD-XT ise 25 kare üretir; her ikisi de 1024×576 (16:9) çözünürlükte çalışır. Şubat 2024'te yayımlanan SVD-XT 1.1, aynı çözünürlükte daha tutarlı çıktı için ince ayarlanmış sürümdür. Üretim üç mikro koşullandırma parametresiyle yönlendirilir: fps_id kare hızını, motion_bucket_id (0-255) hareket yoğunluğunu, cond_aug ya da augmentation_strength ise kaynak görüntüye eklenen gürültü miktarını belirler. SVD makalesinin asıl katkısı eğitim reçetesidir. Ekip; görüntü ön eğitimi, büyük ölçekli video ön eğitimi ve yüksek kaliteli video ince ayarı olmak üzere üç aşamalı bir süreç tanımlar. Kesme tespiti, optik akış ile durağan klip eleme ve otomatik altyazılama içeren titiz veri küratörlüğünün nihai kaliteyi en az mimari kadar etkilediğini deneysel olarak gösterir. Aynı taban model daha sonra çoklu görünüm sentezine (SV3D) ve dinamik 3B üretime (SV4D) uyarlanmıştır. Sora, Veo, Kling ve Runway gibi kapalı modeller ile Wan, HunyuanVideo ve LTX-Video gibi yeni açık modeller süre ve kalite açısından SVD'yi geride bıraktı. Yine de SVD; ComfyUI ve Diffusers entegrasyonu, 12-24 GB VRAM ile çalışabilmesi ve kolay ince ayar olanağıyla görüntüden video araştırmalarında ve yerel prototiplemede referans model olmayı sürdürüyor.

arrow_forward