Latent Diffusion Model (Gizil Uzay Difüzyon Modeli (Latent Diffusion))

#LatentDiffusion #LDM #StableDiffusion #VAE #DiffusionModel #GenerativeAI #GörüntüÜretimi

Latent Diffusion, difüzyon işlemini piksel uzayı yerine VAE ile sıkıştırılmış gizil uzayda çalıştıran Stable Diffusion'ın temelidir.

Latent Diffusion Model (LDM), difüzyon işlemini piksel uzayı yerine sıkıştırılmış bir gizil (latent) uzayda gerçekleştiren verimli bir üretici yapay zeka mimarisidir. Robin Rombach ve arkadaşları tarafından 2022 yılında yayımlanan "High-Resolution Image Synthesis with Latent Diffusion Models" makalesiyle tanıtılan bu mimari, Stable Diffusion'ın temelini oluşturur. Geleneksel piksel uzayı difüzyon modellerinde (DDPM gibi) tüm hesaplama, görüntünün tam boyutunda (örn. 512×512×3 = 786.432 boyut) yapılır. Bu son derece hesaplama yoğundur. LDM'de ise önce bir Varyasyonel Otoenkoder (VAE) görüntüyü çok daha küçük bir gizil temsile sıkıştırır (örn. 64×64×4 = 16.384 boyut); difüzyon süreci bu küçük uzayda çalışır; sonunda VAE dekoderi gizil uzay çıktısını tam boyutlu görüntüye dönüştürür. Bu yaklaşım, hesaplama maliyetini piksel tabanlı difüzyona kıyasla yaklaşık 48 kat azaltır. Metin koşullandırması, CLIP veya OpenCLIP metin kodlayıcısından gelen vektörlerin U-Net'in cross-attention katmanlarına enjekte edilmesiyle sağlanır. Sıkıştırma ve kalite arasındaki denge, VAE'nin yeniden yapılandırma başarısına bağlıdır.

architecture Mimari Genel Bakış

LDM üç bileşenden oluşur. Birinci bileşen olan VAE (Varyasyonel Otoenkoder), iki aşamalıdır: encoder piksel görüntüsünü gizil uzay vektörüne sıkıştırır; decoder bu vektörü geri piksel görüntüsüne açar. Eğitim sonrası VAE ağırlıkları dondurulur. İkinci bileşen olan U-Net, gizil uzayda çalışan ana difüzyon modelidir. Gürültüyü tahmin eder; cross-attention katmanları aracılığıyla metin ve diğer koşullandırma sinyallerini alır. Üçüncü bileşen olan metin kodlayıcı ise CLIP veya T5 gibi bir dil modelidir. Kullanıcının metin prompt'unu vektör dizisine dönüştürür; bu vektörler U-Net'e cross-attention ile beslenir. Çıkarım sırasında gürültüden başlayarak U-Net latent uzayda denoising döngüsünü tamamlar, ardından VAE decoder sonucu piksel görüntüsüne çevirir.

LDM Versiyonları

filter_1 SD 1.x

Orijinal Stable Diffusion. 512×512 varsayılan çözünürlük, CLIP ViT-L/14 metin kodlayıcı, 4 GB VRAM ile çalışır.

filter_2 SD 2.x

OpenCLIP ViT-H/14 kodlayıcı, daha büyük U-Net. 768×768 çözünürlük destekler; bazı ince ayar adaptasyonlarında SD 1.x'den daha az esnek.

hd SDXL

İki U-Net aşamalı (base + refiner), 1024×1024 varsayılan, çok daha büyük U-Net. Daha gerçekçi yüzler ve metinler üretir.

auto_awesome SD3 / FLUX.1

Transformer tabanlı difüzyon (DiT). Metin ve görüntü tokenları birlikte işlenir. FLUX.1 açık ağırlıklarıyla 2024'ün en iyi yerel modelidir.

quiz Sıkça Sorulan Sorular

check_circle Latent uzay neden daha verimli?: Bir 512×512 RGB görüntü 786.432 boyutlu bir vektördür. Aynı görüntünün 64×64×4 gizil temsili yalnızca 16.384 boyutludur — yaklaşık 48 kat daha küçük. U-Net bu küçük uzayda çalıştığında hesaplama ve bellek gereksinimi dramatik düşer.
check_circle VAE neden ayrı bir model?: VAE görüntü sıkıştırma ve yeniden yapılandırma için özel olarak eğitilir; bu eğitim difüzyon eğitiminden bağımsızdır. Önceden eğitilmiş VAE'nin dondurulması, LDM eğitimini daha kararlı ve etkin kılar. Özel bir VAE ile ince ayar yapılarak belirli görsel alanlar optimize edilebilir.
check_circle ControlNet ve LoRA latent difüzyonla nasıl çalışır?: ControlNet, U-Net'e paralel bir kopya ekleyerek kontur, derinlik veya poz gibi ek koşullandırma sunar. LoRA ise U-Net'in dikkat katmanlarına düşük kerteli matris çiftleri ekleyerek az veriyle hızlı kişiselleştirilmiş ince ayar sağlar. Her ikisi de LDM mimarisinin üstüne eklenti olarak çalışır.
check_circle Latent Diffusion ses üretiminde de kullanılır mı?: Evet. AudioLDM ve AudioLDM2, mel-spektrogramı latent uzayda temsil ederek metin-ses (text-to-audio) üretimi için LDM mimarisini kullanır. Stable Audio ve MusicGen de bu yaklaşımdan esinlenmiştir.