Diffusion Model (Yayılım Modeli (Diffusion Modeli))

#DiffusionModel #StableDiffusion #DDPM #GenerativeAI #GörüntüÜretimi #LDM #UretkenYapayZeka

Diffusion modeli, veriye gürültü ekleyip geri çıkarmayı öğrenerek yeni görüntü ve içerik üreten üretici yapay zeka mimarisidir.

Diffusion modeli, veriye kademeli olarak gürültü ekleyen (ileri süreç) ve ardından bu gürültüden orijinal veriyi adım adım yeniden oluşturmayı öğrenen (ters süreç) bir üretici yapay zeka mimarisidir. Stable Diffusion, DALL-E 3, Midjourney ve Imagen gibi günümüzün en güçlü görüntü üretim sistemleri difüzyon modeline dayanmaktadır. İleri süreçte (forward process) modele verilen temiz görüntüye T adım boyunca Gaussian gürültü eklenir; sonunda görüntü tamamen gürültüye dönüşür. Bu süreç deterministik ve önceden tanımlanmıştır — öğrenme gerektirmez. Ters süreçte (reverse process) model, tamamen gürültülü bir görüntüden başlayarak her adımda biraz daha temizleyerek orijinale yakın bir görüntü üretir. Model bu ters süreci veriden öğrenir. Eğitim sırasında model, belirli bir gürültü seviyesindeki görüntüden hangi gürültünün çıkarılması gerektiğini tahmin etmeyi öğrenir. Kayıp fonksiyonu, tahmin edilen gürültü ile gerçek gürültü arasındaki ortalama kare hatası (MSE) üzerine kuruludur. Çıkarım sırasında tamamen rastgele gürültüden başlanır ve model bu tahmin sürecini T adım boyunca tekrarlayarak yeni, gerçekçi bir görüntü üretir. Metin koşullandırması (text conditioning) ise CLIP gibi bir metin kodlayıcısından gelen vektörün dikkat mekanizmasına (cross-attention) enjekte edilmesiyle gerçekleştirilir. 2020'de Ho ve arkadaşlarının DDPM (Denoising Diffusion Probabilistic Models) çalışması difüzyon modellerini öne çıkardı. Song ve arkadaşlarının DDIM'i (Denoising Diffusion Implicit Models) çıkarım adımlarını yüzlerden onlara indirerek hızlı sentezi mümkün kıldı. Rombach ve arkadaşlarının 2022'de yayımladığı Latent Diffusion Model (LDM) ise pikseller yerine VAE kodlayıcısından üretilen gizli temsil uzayında (latent space) difüzyon işlemini yürüttü; bellek ve hesaplama maliyetini önemli ölçüde düşürdü. Stable Diffusion bu yaklaşımı temel almaktadır. Difüzyon modelleri yalnızca görüntüyle sınırlı değildir: ses (AudioLDM, MusicGen), video (Sora, Gen-2), 3B molekül yapıları ve protein tasarımı (AlphaFold 3) gibi alanlarda da kullanılmaktadır. GAN'lara kıyasla eğitim kararlılığı daha yüksektir ve mod çökmesine daha az eğilimlidir; ancak çıkarım adımlarının tekrarlı uygulanması GAN'lara göre daha yavaş kalır.

İleri ve Ters Süreç

Difüzyon modelinin kalbi iki karşıt süreçtir. İleri süreçte (q) temiz görüntüye her adımda küçük miktarda Gaussian gürültü eklenir; T adım sonunda görüntü tam anlamıyla gürültüye dönüşmüştür. Bu süreç sabit bir gürültü takvimi (noise schedule) ile tanımlanır — doğrusal ya da kosinüs tabanlı takvimlerde gürültünün ne hızda artacağı önceden belirlenir, herhangi bir parametrenin öğrenilmesi gerekmez. Ters süreçte (p_θ) model, parametre setine (θ) sahip bir U-Net sinir ağı kullanarak her adımda "bu gürültüden ne kadarını çıkarmalıyım?" sorusunu yanıtlar. Eğitim sırasında model, rastgele bir t adımındaki gürültülü görüntüye bakarak o adımda eklenen gürültüyü tahmin eder; kayıp fonksiyonu tahmin edilen ile gerçek gürültü arasındaki MSE'dir. Çıkarım sırasında tamamen rastgele gürültüden başlanarak ters süreç adım adım uygulanır.

Difüzyon Model Aileleri

Difüzyon modellerinin birkaç önemli varyantı alanı şekillendirmiştir. DDPM (Ho ve ark., NeurIPS 2020), Markov zinciri tabanlı ilk pratik yaklaşımı sundu; ancak çıkarım için 1.000 adım gerektirir. DDIM (Song ve ark., ICLR 2021) deterministik çıkarım yoluyla aynı kaliteyi 20-50 adımda elde eder. Score-based modeller (Score Matching), veri dağılımının gradyanını (skoru) tahmin eden alternatif bir formülasyondur; DDPM ile matematiksel olarak eşdeğer olduğu kanıtlanmıştır. Latent Diffusion Model (LDM / Rombach ve ark., CVPR 2022) ise işlemi piksel uzayı yerine sıkıştırılmış gizli uzayda (latent space) yürütür. Bu yaklaşım Stable Diffusion'ın temelidir ve 512×512 çözünürlükte 8-16 kat bellek tasarrufu sunar. Classifier-free guidance (CFG) tekniği ise metin koşullandırmanın görüntü kalitesiyle ne kadar güçlü ilişkilendirileceğini kontrol etmek için yaygın biçimde kullanılmaktadır.

Latent Uzayda Difüzyon ve Metin Koşullandırma

Stable Diffusion ve DALL-E 3 gibi modern sistemler difüzyonu piksel uzayı yerine gizli uzayda (latent space) yürütür. Süreç şöyle işler: önce bir VAE (Variational Autoencoder) görüntüyü küçük boyutlu bir gizli temsile sıkıştırır (örneğin 512×512 piksel → 64×64 latent). Difüzyon bu gizli temsil üzerinde gerçekleştirilir; çıkarım tamamlanınca VAE dekoderi gizli temsili tekrar piksele dönüştürür. Metin yönlendirmesi için CLIP ya da T5 gibi bir metin kodlayıcısı, girilen metni sabit boyutlu bir vektöre dönüştürür. Bu vektör, U-Net mimarisinin her çözünürlük katmanındaki cross-attention başlıkları aracılığıyla difüzyon sürecine enjekte edilir ve modelin gürültü tahminini metin bağlamına göre yönlendirir. Classifier-free guidance (CFG) parametresi 1-20 arasında ayarlanabilir; yüksek değerler metne daha sıkı bağlılık sağlar ancak çeşitliliği azaltır.

Uygulama Alanları

Difüzyon modelleri başlangıçta görüntü üretiminde parladı, ancak uygulama alanı çok daha geniştir. Görüntü alanında Stable Diffusion, DALL-E 3 ve Midjourney metin-görüntü dönüşümünü yaygınlaştırdı; görüntü düzenleme (inpainting, outpainting) ve süper çözünürlük gibi görevlerde de kullanılmaktadır. Video üretiminde OpenAI'nin Sora modeli ve Runway Gen-2, difüzyon ilkelerini zamansal tutarlılıkla birleştirmektedir. Ses alanında AudioLDM ve Stable Audio müzik üretimini mümkün kılarken ElevenLabs gibi sistemler yüksek kaliteli konuşma sentezinde difüzyon ilkelerinden yararlanır. Molekül ve protein tasarımında AlphaFold 3 ve RFDiffusion yeni ilaç adayı yapılarını simüle etmektedir. 3B içerik üretiminde DreamFusion, 2B difüzyon bilgisini NeRF ile birleştirerek metin tabanlı 3B nesne oluşturur.

GAN ile Karşılaştırma

  • check_circle Eğitim kararlılığı: GAN eğitiminde üretici ve ayrıştırıcı arasındaki denge bozulabilir (mod çökmesi, training instability). Difüzyon modellerinde tek bir ağ basit bir gürültü tahmin kaybıyla eğitilir; bu süreç çok daha kararlıdır.
  • check_circle Çıktı çeşitliliği: GAN'lar belirli modlara odaklanma eğilimi gösterir (mode collapse). Difüzyon modelleri her çıkarımda farklı gürültü başlangıç noktası kullandığından üretim çeşitliliği çok daha yüksektir.
  • check_circle Çıkarım hızı: GAN tek ileri geçişte milisaniyelerde görüntü üretir. Difüzyon modelleri 20-1.000 tekrarlı adım gerektirir; DDIM ve SDXL-Turbo gibi hız optimizasyonları bu farkı 1-4 adıma kadar indirmiştir.
  • check_circle Görüntü kalitesi: Modern difüzyon modelleri ImageNet ve COCO gibi kıyaslamalarda GAN'ları geride bırakmıştır. Özellikle metin yönlendirmeli değerlendirmelerde (CLIP skoru, MJHQ-30K) difüzyon modelleri tutarlı biçimde daha iyi sonuçlar üretmektedir.
  • check_circle Kontrol edilebilirlik: ControlNet, IP-Adapter ve LoRA gibi eklentiler difüzyon modellerine güçlü koşullandırma olanakları sunar: kenar haritası, derinlik, poz veya referans görüntü üzerinden hassas yönlendirme mümkündür.

Sık Sorulan Sorular

  • check_circle Stable Diffusion bir diffusion modeli midir? Evet. Stable Diffusion, Latent Diffusion Model (LDM) mimarisini uygulayan açık kaynaklı bir difüzyon modelidir. Piksel uzayı yerine VAE gizli uzayında difüzyon yaparak yüksek çözünürlüklü görüntüleri makul bir hesaplama maliyetiyle üretebilir.
  • check_circle Difüzyon modeli çalıştırmak için ne kadar GPU belleği gerekir? Stable Diffusion 1.5 ve 2.1 gibi modeller 4-6 GB VRAM ile çalışabilir; SDXL yaklaşık 8 GB gerektirir. fp16 ve 8-bit kuantizasyon gibi optimizasyonlar bellek ihtiyacını daha da azaltabilir. Bulut tabanlı çıkarım ise yerel GPU'ya gerek duymadan erişim imkânı sunar.
  • check_circle Adım sayısı (steps) görüntü kalitesini nasıl etkiler? DDIM kullanıldığında 20-30 adım genellikle yüksek kalite için yeterlidir; 50 adım marginal iyileşme sağlar. 1.000 adım yalnızca DDPM gibi yavaş örnekleyicilerde gereklidir. Adım sayısını çok düşürmek (5 ve altı) bulanık veya tutarsız görüntülere yol açabilir.
  • check_circle CFG (guidance scale) değeri ne anlama gelir? Classifier-free guidance (CFG) değeri, modelin metin isteğine ne kadar sıkı bağlı kalacağını belirler. Düşük değerler (3-5) yaratıcı çeşitlilik üretir; yüksek değerler (10-15) metne bağlı fakat aşırı doygun görüntüler verir. Çoğu kullanım için 7-9 aralığı dengeli sonuç verir.
  • check_circle Difüzyon modeli ile video üretimi mümkün müdür? Evet. Temporal difüzyon modelleri (Sora, AnimateDiff, Gen-2) kareleri birbirine bağlayan zamansal dikkat katmanları ekleyerek tutarlı video üretir. Video modelleri hesaplama açısından çok daha maliyetlidir ve genellikle kısa klipler (4-60 saniye) üretmektedir.