Diffusion Model (Yayılım Modeli (Diffusion Modeli))

#DiffusionModel #StableDiffusion #DDPM #GenerativeAI #GörüntüÜretimi #LDM #UretkenYapayZeka

Diffusion modeli, veriye gürültü ekleyip geri çıkarmayı öğrenerek yeni görüntü ve içerik üreten üretici yapay zeka mimarisidir.

Diffusion modeli, veriye kademeli olarak gürültü ekleyen (ileri süreç) ve ardından bu gürültüden orijinal veriyi adım adım yeniden oluşturmayı öğrenen (ters süreç) bir üretici yapay zeka mimarisidir. Stable Diffusion, DALL-E 3, Midjourney ve Imagen gibi günümüzün en güçlü görüntü üretim sistemleri difüzyon modeline dayanmaktadır. İleri süreçte (forward process) modele verilen temiz görüntüye T adım boyunca Gaussian gürültü eklenir; sonunda görüntü tamamen gürültüye dönüşür. Bu süreç deterministik ve önceden tanımlanmıştır — öğrenme gerektirmez. Ters süreçte (reverse process) model, tamamen gürültülü bir görüntüden başlayarak her adımda biraz daha temizleyerek orijinale yakın bir görüntü üretir. Model bu ters süreci veriden öğrenir. Eğitim sırasında model, belirli bir gürültü seviyesindeki görüntüden hangi gürültünün çıkarılması gerektiğini tahmin etmeyi öğrenir. Çıkarım sırasında tamamen rastgele gürültüden başlanır ve model bu tahmin sürecini T adım boyunca tekrarlayarak yeni, gerçekçi bir görüntü üretir. Metin koşullandırması (text conditioning) ise CLIP gibi bir metin kodlayıcısından gelen vektörün dikkat mekanizmasına (cross-attention) enjekte edilmesiyle sağlanır.

swap_vert İleri ve Ters Süreç

Difüzyon modelinin kalbi iki karşıt süreçtir. İleri süreçte (q) modele verilen temiz görüntüye her adımda küçük miktarda Gaussian gürültü eklenir. T adım sonunda görüntü tam bir gürültüye dönüşmüştür — bu süreç sabit olup öğrenilmez. Ters süreçte (p_θ) model, parametre setine (θ) sahip bir sinir ağı olan U-Net kullanarak her adımda "bu gürültüden ne kadarını çıkarmalıyım?" sorusunu cevaplar. Eğitim sırasında model, rastgele bir t adımındaki gürültülü görüntüye bakarak o adımda eklenen gürültüyü tahmin etmeyi öğrenir. Kayıp fonksiyonu, tahmin edilen gürültü ile gerçek gürültü arasındaki MSE'dir. Çıkarım sırasında tamamen rastgele gürültüden başlayarak ters süreç adım adım uygulanır.

Difüzyon Model Aileleri

noise_aware DDPM

Ho ve ark. (2020), temel piksel uzayı difüzyon modeli. Yavaş ama kaliteli; sonraki tüm çalışmaların temeli.

compress Latent Diffusion (LDM)

Rombach ve ark. (2022), Stable Diffusion'ın temel mimarisi. VAE ile önce latent uzaya sıkıştırır, difüzyonu orada uygular — çok daha hızlı.

image DALL-E 3 / Imagen

OpenAI ve Google'ın büyük ölçekli difüzyon modelleri; cascaded diffusion veya transformer hybrid mimarisi kullanır.

videocam Video Diffusion

Sora (OpenAI), CogVideo, AnimateDiff gibi modeller. Uzamsal ve zamansal difüzyonu birleştirir.

compare GAN ile Karşılaştırma

  • check_circle Eğitim Kararlılığı: Difüzyon modelleri GAN'lara kıyasla çok daha kararlı eğitilir; mod çöküşü (mode collapse) yaşanmaz.
  • check_circle Çeşitlilik ve Kapsam: Difüzyon modelleri veri dağılımını daha tam kapsayarak daha çeşitli çıktılar üretir.
  • check_circle Hız: Çıkarım yavaş olabilir (çok adımlı); ancak DDIM, DPM-Solver gibi hızlandırıcılarla 20-50 adıma indirilebilir.
  • check_circle Kontrol Edilebilirlik: Classifier-free guidance, ControlNet ve IP-Adapter ile çıktı üzerinde güçlü kontrol sağlanır.

quiz Sıkça Sorulan Sorular

  • check_circle Difüzyon modeli nasıl metin anlıyor?: CLIP veya T5 gibi bir metin kodlayıcısı prompt'u vektöre dönüştürür. U-Net'in cross-attention katmanları bu vektörü koşullandırma sinyali olarak alır; böylece model metne uygun görüntü üretir.
  • check_circle Stable Diffusion ile DALL-E farkı nedir?: Stable Diffusion açık kaynaklı, yerel çalışabilen ve ince ayar yapılabilir bir LDM'dir. DALL-E 3 ise OpenAI'ın kapalı kaynaklı, bulut tabanlı sistemidir; genellikle daha iyi talimat takibi sağlar.
  • check_circle Difüzyon modeli ne kadar VRAM gerektirir?: Stable Diffusion 1.5 için 4 GB VRAM yeterlidir. SDXL için 8+ GB, büyük video modelleri için ise 24+ GB gerekebilir. Quantization yöntemleriyle gereksinimler düşürülebilir.
  • check_circle Difüzyon ses ve video için de kullanılır mı?: Evet. AudioLDM, MusicGen (meta) ses üretiminde; Sora, Stable Video Diffusion video üretiminde difüzyon mimarisini kullanır. Molekül ve protein yapısı tasarımı gibi bilimsel uygulamalar da gelişmektedir.