Diffusion Model (Yayılım Modeli (Diffusion Modeli))

#DiffusionModel #StableDiffusion #DDPM #GenerativeAI #GörüntüÜretimi #LDM #UretkenYapayZeka

Diffusion modeli, veriye gürültü ekleyip geri çıkarmayı öğrenerek yeni görüntü ve içerik üreten üretici yapay zeka mimarisidir.

Diffusion modeli, veriye kademeli olarak gürültü ekleyen (ileri süreç) ve ardından bu gürültüden orijinal veriyi adım adım yeniden oluşturmayı öğrenen (ters süreç) bir üretici yapay zeka mimarisidir. Stable Diffusion, DALL-E 3, Midjourney ve Imagen gibi günümüzün en güçlü görüntü üretim sistemleri difüzyon modeline dayanmaktadır. İleri süreçte (forward process) modele verilen temiz görüntüye T adım boyunca Gaussian gürültü eklenir; sonunda görüntü tamamen gürültüye dönüşür. Bu süreç deterministik ve önceden tanımlanmıştır — öğrenme gerektirmez. Ters süreçte (reverse process) model, tamamen gürültülü bir görüntüden başlayarak her adımda biraz daha temizleyerek orijinale yakın bir görüntü üretir. Model bu ters süreci veriden öğrenir. Eğitim sırasında model, belirli bir gürültü seviyesindeki görüntüden hangi gürültünün çıkarılması gerektiğini tahmin etmeyi öğrenir. Kayıp fonksiyonu, tahmin edilen gürültü ile gerçek gürültü arasındaki ortalama kare hatası (MSE) üzerine kuruludur. Çıkarım sırasında tamamen rastgele gürültüden başlanır ve model bu tahmin sürecini T adım boyunca tekrarlayarak yeni, gerçekçi bir görüntü üretir. Metin koşullandırması (text conditioning) ise CLIP gibi bir metin kodlayıcısından gelen vektörün dikkat mekanizmasına (cross-attention) enjekte edilmesiyle gerçekleştirilir. 2020'de Ho ve arkadaşlarının DDPM (Denoising Diffusion Probabilistic Models) çalışması difüzyon modellerini öne çıkardı. Song ve arkadaşlarının DDIM'i (Denoising Diffusion Implicit Models) çıkarım adımlarını yüzlerden onlara indirerek hızlı sentezi mümkün kıldı. Rombach ve arkadaşlarının 2022'de yayımladığı Latent Diffusion Model (LDM) ise pikseller yerine VAE kodlayıcısından üretilen gizli temsil uzayında (latent space) difüzyon işlemini yürüttü; bellek ve hesaplama maliyetini önemli ölçüde düşürdü. Stable Diffusion bu yaklaşımı temel almaktadır. Difüzyon modelleri yalnızca görüntüyle sınırlı değildir: ses (AudioLDM, MusicGen), video (Sora, Gen-2), 3B molekül yapıları ve protein tasarımı (AlphaFold 3) gibi alanlarda da kullanılmaktadır. GAN'lara kıyasla eğitim kararlılığı daha yüksektir ve mod çökmesine daha az eğilimlidir; ancak çıkarım adımlarının tekrarlı uygulanması GAN'lara göre daha yavaş kalır.

İleri ve Ters Süreç

Difüzyon modelinin kalbi iki karşıt süreçtir. İleri süreçte (q) temiz görüntüye her adımda küçük miktarda Gaussian gürültü eklenir; T adım sonunda görüntü tam anlamıyla gürültüye dönüşmüştür. Bu süreç sabit bir gürültü takvimi (noise schedule) ile tanımlanır — doğrusal ya da kosinüs tabanlı takvimlerde gürültünün ne hızda artacağı önceden belirlenir, herhangi bir parametrenin öğrenilmesi gerekmez. Ters süreçte (p_θ) model, parametre setine (θ) sahip bir U-Net sinir ağı kullanarak her adımda "bu gürültüden ne kadarını çıkarmalıyım?" sorusunu yanıtlar. Eğitim sırasında model, rastgele bir t adımındaki gürültülü görüntüye bakarak o adımda eklenen gürültüyü tahmin eder; kayıp fonksiyonu tahmin edilen ile gerçek gürültü arasındaki MSE'dir. Çıkarım sırasında tamamen rastgele gürültüden başlanarak ters süreç adım adım uygulanır.

Difüzyon Model Aileleri

Difüzyon modellerinin birkaç önemli varyantı alanı şekillendirmiştir. DDPM (Ho ve ark., NeurIPS 2020), Markov zinciri tabanlı ilk pratik yaklaşımı sundu; ancak çıkarım için 1.000 adım gerektirir. DDIM (Song ve ark., ICLR 2021) deterministik çıkarım yoluyla aynı kaliteyi 20-50 adımda elde eder. Score-based modeller (Score Matching), veri dağılımının gradyanını (skoru) tahmin eden alternatif bir formülasyondur; DDPM ile matematiksel olarak eşdeğer olduğu kanıtlanmıştır. Latent Diffusion Model (LDM / Rombach ve ark., CVPR 2022) ise işlemi piksel uzayı yerine sıkıştırılmış gizli uzayda (latent space) yürütür. Bu yaklaşım Stable Diffusion'ın temelidir ve 512×512 çözünürlükte 8-16 kat bellek tasarrufu sunar. Classifier-free guidance (CFG) tekniği ise metin koşullandırmanın görüntü kalitesiyle ne kadar güçlü ilişkilendirileceğini kontrol etmek için yaygın biçimde kullanılmaktadır.

Latent Uzayda Difüzyon ve Metin Koşullandırma

Stable Diffusion ve DALL-E 3 gibi modern sistemler difüzyonu piksel uzayı yerine gizli uzayda (latent space) yürütür. Süreç şöyle işler: önce bir VAE (Variational Autoencoder) görüntüyü küçük boyutlu bir gizli temsile sıkıştırır (örneğin 512×512 piksel → 64×64 latent). Difüzyon bu gizli temsil üzerinde gerçekleştirilir; çıkarım tamamlanınca VAE dekoderi gizli temsili tekrar piksele dönüştürür. Metin yönlendirmesi için CLIP ya da T5 gibi bir metin kodlayıcısı, girilen metni sabit boyutlu bir vektöre dönüştürür. Bu vektör, U-Net mimarisinin her çözünürlük katmanındaki cross-attention başlıkları aracılığıyla difüzyon sürecine enjekte edilir ve modelin gürültü tahminini metin bağlamına göre yönlendirir. Classifier-free guidance (CFG) parametresi 1-20 arasında ayarlanabilir; yüksek değerler metne daha sıkı bağlılık sağlar ancak çeşitliliği azaltır.

Uygulama Alanları

Difüzyon modelleri başlangıçta görüntü üretiminde parladı, ancak uygulama alanı çok daha geniştir. Görüntü alanında Stable Diffusion, DALL-E 3 ve Midjourney metin-görüntü dönüşümünü yaygınlaştırdı; görüntü düzenleme (inpainting, outpainting) ve süper çözünürlük gibi görevlerde de kullanılmaktadır. Video üretiminde OpenAI'nin Sora modeli ve Runway Gen-2, difüzyon ilkelerini zamansal tutarlılıkla birleştirmektedir. Ses alanında AudioLDM ve Stable Audio müzik üretimini mümkün kılarken ElevenLabs gibi sistemler yüksek kaliteli konuşma sentezinde difüzyon ilkelerinden yararlanır. Molekül ve protein tasarımında AlphaFold 3 ve RFDiffusion yeni ilaç adayı yapılarını simüle etmektedir. 3B içerik üretiminde DreamFusion, 2B difüzyon bilgisini NeRF ile birleştirerek metin tabanlı 3B nesne oluşturur.