Stable Video Diffusion

#VideoGeneration #StableDiffusion #DiffusionModel #GenerativeAI #VideoAI

Stability AI'ın tek görüntüden tutarlı video klipleri üreten açık ağırlıklı video üretim modeli; Stable Diffusion mimarisini zamansal dikkat katmanlarıyla video boyutuna genişletir.

Stable Video Diffusion (SVD), Stability AI'ın Kasım 2023'te açık ağırlıklarla yayımladığı, tek bir kaynak görüntüden kısa video klipleri üreten üretken video modelidir. Model, Stable Diffusion 2.1'in latent difüzyon mimarisini temel alır ve U-Net'teki her uzamsal katmanın ardına zamansal evrişim ile zamansal dikkat (temporal attention) katmanları ekleyerek tek tek kareler yerine kare dizilerini gizil uzayda üretir. Kaynak görüntü iki kanaldan koşullandırma olarak verilir: CLIP görüntü kodlayıcısından çıkan gömme çapraz dikkat yoluyla ağa beslenir, görüntünün VAE ile sıkıştırılmış latent temsili ise gürültülü kare latentlerine kanal ekseninde eklenir. Böylece üretilen klip hem kaynak görüntünün kimliğini korur hem de öğrenilmiş hareket dinamiklerini taşır. Modelin iki çeşidi vardır: SVD 14 kare, genişletilmiş SVD-XT ise 25 kare üretir; her ikisi de 1024×576 (16:9) çözünürlükte çalışır. Şubat 2024'te yayımlanan SVD-XT 1.1, aynı çözünürlükte daha tutarlı çıktı için ince ayarlanmış sürümdür. Üretim üç mikro koşullandırma parametresiyle yönlendirilir: fps_id kare hızını, motion_bucket_id (0-255) hareket yoğunluğunu, cond_aug ya da augmentation_strength ise kaynak görüntüye eklenen gürültü miktarını belirler. SVD makalesinin asıl katkısı eğitim reçetesidir. Ekip; görüntü ön eğitimi, büyük ölçekli video ön eğitimi ve yüksek kaliteli video ince ayarı olmak üzere üç aşamalı bir süreç tanımlar. Kesme tespiti, optik akış ile durağan klip eleme ve otomatik altyazılama içeren titiz veri küratörlüğünün nihai kaliteyi en az mimari kadar etkilediğini deneysel olarak gösterir. Aynı taban model daha sonra çoklu görünüm sentezine (SV3D) ve dinamik 3B üretime (SV4D) uyarlanmıştır. Sora, Veo, Kling ve Runway gibi kapalı modeller ile Wan, HunyuanVideo ve LTX-Video gibi yeni açık modeller süre ve kalite açısından SVD'yi geride bıraktı. Yine de SVD; ComfyUI ve Diffusers entegrasyonu, 12-24 GB VRAM ile çalışabilmesi ve kolay ince ayar olanağıyla görüntüden video araştırmalarında ve yerel prototiplemede referans model olmayı sürdürüyor.

movie Nasıl Çalışır?

SVD, latent difüzyonu zaman eksenine genişletir. Kaynak görüntü önce VAE kodlayıcıyla gizil uzaya sıkıştırılır ve bu latent, üretilecek her kare için gürültülü latentlere kanal ekseninde eklenir; aynı görüntünün CLIP gömmesi ise çapraz dikkat yoluyla ağa verilir. Geri difüzyon süreci rastgele gürültüden başlar ve U-Net her adımda gürültüyü tahmin ederek kare dizisini kademeli olarak temizler. Uzamsal katmanların arasına yerleştirilen zamansal evrişim ve zamansal dikkat katmanları, nesne kimliğinin, renk ve dokunun kareler boyunca korunmasından sorumludur. Model EDM ön koşullandırma çerçevesiyle eğitildiği için 25 civarı örnekleme adımıyla kullanılabilir çıktı verir. Son aşamada VAE kod çözücü, kare latentlerini 1024×576 piksel görüntülere dönüştürür; bellek sınırlı GPU'larda bu adım parça parça (chunked decoding) çalıştırılır. Üretim süresi GPU'ya göre 30 saniye ile birkaç dakika arasında değişir.

model_training Üç Aşamalı Eğitim ve Veri Küratörlüğü

SVD makalesinin ana tezi, video modellerinde veri küratörlüğünün mimari kadar belirleyici olduğudur. Eğitim üç aşamada ilerler. Birinci aşamada model, Stable Diffusion 2.1 ağırlıklarından yola çıkarak güçlü bir görsel temsil devralır. İkinci aşamada yüz milyonlarca klipten oluşan büyük ölçekli video ön eğitimi yapılır; zamansal katmanlar bu aşamada eklenir ve hareket dinamikleri öğrenilir. Üçüncü aşamada yaklaşık bir milyon yüksek kaliteli klip üzerinde ince ayar uygulanır. Veri kümesi bu aşamalara girmeden önce sıkı bir elemeden geçer: sahne kesmeleri tespit edilip klipler bölünür, optik akış hesabıyla durağan ya da aşırı hareketli klipler elenir, OCR ile metin yoğun kareler ayıklanır ve her klip birden fazla altyazılama modeliyle etiketlenir. Ekip, sistematik olarak elenmiş küçük bir kümenin ham büyük kümeden daha iyi model verdiğini deneysel olarak göstermiştir; bu bulgu sonraki açık video modellerinin veri hattını da şekillendirdi.

tune Kontrol Parametreleri ve Kullanım İpuçları

  • check_circle motion_bucket_id (0-255): Hareket yoğunluğunu belirler. 0-50 arası minimal kamera kayması üretir, 127 varsayılan değerdir, 200 ve üstü dramatik nesne hareketi verir. Portre fotoğrafları için 80-120 arası genellikle en dengeli sonucu verir.
  • check_circle augmentation_strength / cond_aug (0-1): Kaynak görüntüye eklenen gürültü miktarı. Varsayılan 0.02 görüntüyü neredeyse birebir korur; 0.1-0.2 hareket serbestliği katar; 0.5 ve üstü görüntünün kimliğini bozar. Düşük kaliteli girdilerde değeri biraz yükseltmek artefaktları azaltabilir.
  • check_circle fps_id ve kare interpolasyonu: Kare hızı 3-30 fps aralığında koşullandırılır; varsayılan 6 fps ile üretilen klip, RIFE ya da FILM gibi interpolasyon araçlarıyla 24-30 fps akıcılığa yükseltilir. Yüksek fps_id değerleri daha yavaş ve yumuşak hareket üretir.
  • check_circle Uzun klip için zincirleme üretim: Üretilen klibin son karesi yeni girdi olarak kullanılarak ardışık klipler birleştirilir. Her halkada kimlik kayması biriktiğinden, 3-4 halkadan sonra kaynak görüntüye dönmek ya da düşük cond_aug kullanmak gerekir.
  • check_circle ComfyUI ve Diffusers entegrasyonu: ComfyUI için hazır SVD düğümleri ve img2vid örnek iş akışları bulunur; Diffusers tarafında StableVideoDiffusionPipeline sınıfı ile birkaç satır Python kodu yeterlidir. fp16 ve chunked decoding seçenekleri 12 GB VRAM altındaki kartlarda çalışmayı mümkün kılar.

SVD ve Video Üretimi Ekosistemi (2024-2026)

movie Stable Video Diffusion

Açık ağırlıklar, yerel çalışma, ComfyUI ve Diffusers uyumu. 14-25 kare, 1024×576, yalnızca görüntüden video. Araştırma, ince ayar ve düşük bütçeli prototipler için giriş noktası.

public Wan 2.x (Alibaba)

Şubat 2025'te Apache 2.0 lisansıyla yayımlanan Wan 2.1 ve ardılı Wan 2.2, hem metinden hem görüntüden video üretir; 14B parametreli sürüm 720p çıktı verir. Açık kaynak tarafında SVD'nin yerini büyük ölçüde aldı.

hub HunyuanVideo ve LTX-Video

Tencent'in 13B parametreli, difüzyon transformer (DiT) omurgalı HunyuanVideo modeli (Aralık 2024) ile Lightricks'in hız odaklı LTX-Video modeli, U-Net yerine transformer kullanan yeni nesil açık modellerdir.

lock Kapalı modeller: Sora, Veo, Kling, Runway

OpenAI Sora, Google Veo 3, Kuaishou Kling ve Runway Gen-4 dakikaya yaklaşan süre, yerleşik ses ve fiziksel tutarlılık sunar; ağırlıkları paylaşılmaz, API ya da abonelik üzerinden kullanılır.

warning Sınırlamalar, Lisans ve Türevler

SVD yalnızca görüntü koşullandırması kabul eder; metin istemi desteği olmadığı için metinden video üretmek isteyenler önce Stable Diffusion ya da FLUX ile görüntü üretip bunu SVD'ye vermek zorundadır. Klipler 14 ya da 25 kareyle sınırlı kaldığından pratikte 2-4 saniyelik çıktılar elde edilir; daha uzun sahneler zincirleme üretimle kurulur ve her halkada kalite kaybı birikir. El, yüz ve yazı gibi ince detaylarda tutarsızlık, hızlı hareketlerde ise nesne kimliğinin kayması sık görülen sorunlardır. Lisans tarafında model Stability AI Community License ile dağıtılır: yıllık geliri 1 milyon doların altındaki bireyler ve kuruluşlar ticari kullanım dahil ücretsiz yararlanır, üstündekiler kurumsal lisans almalıdır. Aynı taban modelden türetilen SV3D tek görüntüden çoklu görünüm, SV4D ise hareketli nesnelerin dinamik 3B temsillerini üretir. Hugging Face'te anime, ürün tanıtımı ve portre canlandırma için ince ayarlanmış yüzlerce topluluk varyantı bulunur.

help Sıkça Sorulan Sorular

  • check_circle SVD ile metin yazarak video üretebilir miyim? Hayır, SVD yalnızca görüntü koşullandırması destekler. Metinden video için Wan, HunyuanVideo, Sora, Veo ya da Kling gibi modeller gerekir. Ancak metinden görüntü (Stable Diffusion, FLUX) ve ardından görüntüden video (SVD) adımlarından oluşan iki aşamalı bir hat kurulabilir.
  • check_circle SVD'yi yerel çalıştırmak için hangi GPU gerekli? fp16 ve parça parça kod çözme ile 12 GB VRAM (RTX 3080, 4070 Ti) yeterli olur; 24 GB VRAM (RTX 3090, 4090) tam çözünürlükte ve hızda üretim verir. ComfyUI'de bellek optimizasyonlarıyla 8 GB kartlarda da çalıştırılabilir, ancak süre uzar.
  • check_circle SVD ile SVD-XT arasındaki fark nedir? SVD 14 kare (6 fps'de yaklaşık 2.3 saniye), SVD-XT 25 kare (yaklaşık 4.2 saniye) üretir. XT daha uzun ve daha tutarlı hareket verir; bellek gereksinimi biraz daha yüksektir. SVD-XT 1.1 ise 1024×576 çözünürlükte tutarlılık için ek ince ayar almış sürümdür.
  • check_circle Üretilen video ticari olarak kullanılabilir mi? Stability AI Community License kapsamında yıllık geliri 1 milyon doların altındaki kullanıcılar ticari amaçla ücretsiz kullanabilir; bu eşiğin üstündeki kuruluşlar kurumsal lisans almalıdır. Girdi görüntünün telif durumunu da ayrıca doğrulamak gerekir.
  • check_circle Hangi girdi görüntüleri en iyi sonucu verir? Yüksek çözünürlüklü (1024×576 ya da üstü), 16:9 orana yakın, tek odak noktası olan ve sade arka planlı görüntüler en tutarlı hareketi üretir. Karmaşık arka plan, çok sayıda nesne ve küçük yazılar zamansal tutarsızlığa yol açar.
  • check_circle SVD 2026 itibarıyla hâlâ kullanmaya değer mi? Kalite açısından Wan 2.x, HunyuanVideo ve kapalı modeller önde. SVD ise düşük donanım gereksinimi, olgun ComfyUI ekosistemi, sade mimarisi ve kolay ince ayarı nedeniyle eğitim amaçlı deneyler, akademik karşılaştırmalar ve hafif üretim hatları için hâlâ mantıklı bir seçenektir.