Diffusion Transformer (DiT) Nedir? FLUX ve Sora Mimarisi

2024 başında Sora videolarını ilk kez izleyen araştırmacıların aklına tek soru takıldı: “Bunun altında ne var?” Cevap kısa sürede tüm görüntü üretim topluluğunun ortak paydası haline geldi: Diffusion Transformer, kısaca DiT.

U-Net’in on yıllık hakimiyeti 2022’de kırılmaya başladı. William Peebles ve Saining Xie’nin “Scalable Diffusion Models with Transformers” makalesi, diffusion modeli mimarisinin gürültü tahmin ağı olarak U-Net yerine bir transformer kullanabileceğini gösterdi. Sonuç yalnızca “işe yarıyor” değildi: model büyüdükçe kalite düzenli biçimde artıyordu. Ve bu özellik, mimarinin geleceğini belirledi.

DiT Nedir?

Diffusion modelleri temel olarak şöyle çalışır: bir görüntüye adım adım gürültü eklersiniz, ardından modeli bu gürültüyü her adımda geri almayı öğretirsiniz. Eğitim tamamlandığında model saf gürültüden başlayarak anlamlı bir görüntü üretebilir.

Bu süreçteki kritik bileşen gürültü tahmin ağıdır. Peebles ve Xie’nin yaptığı, bu ağı değiştirmekti: geleneksel U-Net yerine bir transformer bloğu koydular. DiT’in girişi bir görüntü ya da latent uzay tensörüdür; çıkışı o adım için tahmin edilen gürültüdür. Mantık basit görünüyor; ancak bu değişiklik U-Net’te mevcut olmayan bir avantajı devreye aldı: ölçekleme yasaları.

GPT, LLaMA ve PaLM gibi transformer tabanlı dil modellerinden öğrenilen şey şuydu: model parametreleri arttıkça kalite tahmin edilebilir biçimde iyileşir. Bu ilişki yeterince veriyle lineer ölçekte tutuyor. DiT, aynı yasaların görüntü üretiminde de geçerli olduğunu deneysel olarak kanıtladı. Araştırmacılar için bu, ürün yol haritası planlamasında da anlam ifade ediyor: bir sonraki modelin ne kadar iyi olacağını önceden tahmin edebiliyorsunuz.

U-Net’in Sınırları

U-Net, 2015’te biyomedikal görüntü bölütleme için tasarlandı ve diffusion literatürüne sonradan dahil edildi. Yapısında birbirine bağlı encoder ve decoder blokları ile aralarındaki “skip connection”lar yer alır. Encoder görüntüyü giderek küçülen temsillere indirger; decoder ise bu temsilleri büyütürken her adımda encoder’dan gelen detayları doğrudan alır. Yüksek frekanslı detayları (kenar, doku, ince çizgi) korumada güçlüdür; Stable Diffusion 1.x ve 2.x bunun en yaygın örnekleridir.

Problem, ölçeklemede ortaya çıkar. U-Net’i büyüttüğünüzde kalite artar; ancak bu artışın ne kadar süreceği tahmin edilemez. Hangi parametre sayısında platoya ulaşılacağı belirsizdir. Deneysel süreç büyük ölçüde deneme-yanılmaya dayanır. Transformer ailesi için durum farklıdır: çok sayıda model ailesi üzerinde ölçekleme eğrileri belgelenmiş ve bu eğriler yüksek doğrulukla öngörülebilir. DiT bu öngörülebilirliği diffusion’a taşıdı.

DiT’in Temel Yapısı

Patchify: Görseli Token’a Dönüştürmek

Transformer mimarisinde her şey token’larla başlar. Metin modelleri için token bir sözcük ya da alt sözcüktür; DiT’te ise token, girdi görüntüsünün küçük bir dikdörtgen parçasıdır. Bu parçalara patch denir.

Görüntü (ya da latent tensörü) p×p boyutunda eşit parçalara bölünür. Her patch lineer projeksiyon ile sabit boyutlu bir vektöre dönüştürülür ve üzerine pozisyonel gömülü eklenir. Elde edilen dizi standart bir transformer bloğuna girer.

Bu yaklaşım Vision Transformer’dan (ViT) doğrudan alınmıştır; tek fark, ViT sınıflandırma yaparken DiT’in gürültü tahmin etmesidir. Patch boyutu önemlidir: p=2 seçilirse token sayısı dörde katlanır, attention hesabı ağırlaşır ama kalite yükselir. p=8 ise daha hızlı ancak daha kaba bir temsil üretir. DiT makalesi her üç seçeneği ImageNet üzerinde karşılaştırmış ve p=2nin en iyi FID puanını verdiğini, buna karşın hesaplama bedelinin de en yüksek olduğunu göstermiştir.

Adaptive Layer Norm (adaLN-Zero)

Standart transformer bloklarında katman normalizasyonu sabit öğrenilen parametrelerle yapılır. DiT bunu timestep ve class label bilgisiyle koşullandırır.

Timestep, modelin gürültü adımını bilmesi açısından kritiktir. T=1000 adımlı bir süreçte modelin adım 1’deki görevi (son ince ayar) ile adım 999’daki görevi (neredeyse saf gürültüden yapı oluşturma) birbirinden farklıdır. AdaLN bu bilgiyi her transformer bloğuna, ölçek (γ) ve kayma (β) parametreleri üzerinden enjekte eder.

Bunun özel versiyonu adaLN-Zerodur. Eğitim başlangıcında tüm bloklar sıfır ağırlıklarla başlatılır; bu, ağın ilk iterasyonlarda kimlik fonksiyonu gibi davrandığı anlamına gelir. Eğitimin erken aşamalarındaki kararsızlığı belirgin biçimde azaltan bu teknik, karmaşık görüntü üretiminde stabil bir eğitim süreci açısından önemlidir.

Latent DiT: Piksel Yerine Gizli Uzay

Piksel uzayında çalışmak pahalıdır. 256×256 piksellik bir görüntüyü 16×16 patch’lere böldüğünüzde 256 token elde edersiniz. 512×512’de bu sayı 1024’e, 1024×1024’te 4096’ya çıkar. Attention mekanizması O(n²) karmaşıklıkla çalıştığından her iki katına çıkan çözünürlük dört kat daha fazla hesap demektir.

Latent Diffusion Models (LDM) bu problemi zaten çözmüştü. Bir VAE (Variational Autoencoder) görüntüyü yaklaşık 8 kat daha küçük bir latent tensöre sıkıştırır. Diffusion adımları bu sıkıştırılmış temsil üzerinde gerçekleşir. Üretim aşamasında VAE dekoderı çıktıyı tekrar tam çözünürlüğe genişletir.

DiT, bu LDM yaklaşımıyla birleşince Latent DiT ortaya çıkar. FLUX, Stable Diffusion 3 ve PixArt-α bu mimarinin doğrudan örnekleridir. Piksel uzayı DiT yalnızca araştırma ortamlarında ya da düşük çözünürlüklü görevlerde pratik kalır; üretim modellerinin tamamına yakını latent uzayda çalışır.

Ölçekleme Yasaları ve DiT-XL

Peebles ve Xie, dört farklı model boyutu tanımladı: Small (DiT-S), Base (DiT-B), Large (DiT-L) ve Extra-Large (DiT-XL). Her boyut daha fazla transformer bloğu, daha geniş gizli boyut ve daha fazla attention başlığından oluşur.

Model büyüdükçe FID (Fréchet Inception Distance) puanı düşüyordu; görüntü kalitesi ölçülebilir biçimde artıyordu. ImageNet 256×256 kıyaslamasında DiT-XL/2, hem önceki diffusion modellerini hem de GAN ailelerini geride bıraktı. NLP’deki ölçekleme yasalarının görüntü diffusion’ına taşınabildiğini doğrulayan ilk sistematik deney buydu.

Transformer ölçekleme eğrisi bu açıdan ürün planlaması için gerçek bir avantaj sunar: parametre sayısını ve eğitim verisini önceden belirleyerek modelin hangi kaliteye ulaşacağını kabaca hesaplayabiliyorsunuz. U-Net’le bu hesabı yapmak çok daha zordu.

FLUX, Sora ve SD3’te DiT

FLUX.1

Black Forest Labs’ın FLUX modeli, MM-DiT (Multimodal Diffusion Transformer) mimarisini kullanır. Temel DiT’ten farkı şudur: metin token’ları ve görüntü patch’leri ayrı akışlarda kalmak yerine aynı attention katmanından geçer. Her iki modalite birbirini doğrudan etkiler. Bu, vision-language modellerindeki çapraz dikkat mekanizmasına benzer; ancak burada metin encoder’ı DiT bloğunun içine entegre edilmiştir, dışarıda bağımsız bir bileşen olarak kalmaz.

Pratikte FLUX.1, özellikle tipografi ve uzun, ayrıntılı metin yönlendirmelerinde önceki nesil modellerden belirgin biçimde daha iyi sonuçlar üretiyor. Metnin yapıya daha doğrudan etki etmesi bunun temel nedeni.

Sora

OpenAI’ın video modeli Sora, zaman boyutunu da patch kavramına ekler. Bir video klibi hem mekansal hem zamansal patch’lere, yani spacetime patch’lere bölünür. Model hem kare içi tutarlılığı hem de kareler arasındaki geçişleri öğrenir. Metin-video üretimi açısından bu yaklaşım, önceki diffusion + RNN kombinasyonlarının getirdiği ardışık işleme kısıtlarını ortadan kaldırır.

Sora’da video klipler ve görüntü patch’leri aynı model içinde işlenir. Bu, tek bir mimarinin hem fotoğraf hem video üretmesini ve boyutları farklı girdilerle çalışmasını mümkün kılar.

Stable Diffusion 3 ve SD3.5

Stability AI’ın üçüncü nesil modeli de MM-DiT mimarisini benimsedi. İki akışlı yapıda metin gömülüleri ve görüntü patch’leri önce ayrı ayrı işlenir, ardından birleştirilir. Bağımsız katmanların her birinin kendi özelleşmiş bağlamını oluşturmasına imkan tanıyan bu tasarım, SD2.x’e kıyasla çok daha iyi ölçekleniyor.

PixArt-α ve PixArt-Σ

Pekin Yapay Zeka Akademisi’nin PixArt modelleri eğitim verimliliğine odaklanır. PixArt-α, çok daha az hesapla DALL-E 2 ile karşılaştırılabilir kaliteye ulaştığını öne sürdü. Temel DiT bloklarına metin koşullandırması için ek cross-attention katmanları eklendi ve eğitim verisi dikkatli biçimde seçildi.

U-Net ile DiT Karşılaştırması

Skip connection’lar U-Net’in en güçlü yanıydı. Görüntünün ince detayları encoder katmanlarından decoder’a doğrudan aktarılır; bu, doku ve kenar bilgisinin korunmasında etkilidir. DiT bu yapıyı kullanmaz; patch’ler boyunca attention mekanizması global bağlam oluşturur. Büyük model boyutlarında DiT daha iyi geneller; ancak küçük model boyutlarında ve sınırlı eğitim verisiyle U-Net hâlâ rekabetçi kalabilir.

Konvolüsyonun inductive bias’ı (yerel komşuluğun önemli olduğu varsayımı) bazı görevlerde avantaj yaratır. Attention ise bu varsayımı yapmaz; her patch her patch’e eşit mesafede başlar. Büyük veri ve büyük model boyutlarında bu önyargısızlık avantaja dönüşür.

DiT’in Sınırlılıkları ve Geleceği

En somut kısıt hesaplama. Attention mekanizması token sayısının karesiyle büyür; yüksek çözünürlüklü görüntüler ya da uzun video içerikleri için bu ciddi bir engel. Latent DiT bu baskıyı azaltıyor ama ortadan kaldırmıyor. Araştırma topluluğu linear ve sparse attention varyantlarını deniyor; henüz üretim kalitesinde yerleşmiş bir çözüm yok.

Uzun videolarda zamansal tutarlılık farklı bir sorun. Birkaç saniyelik kliplerde spacetime patch yaklaşımı yeterli. Birkaç dakikalık içerikte kareler arasındaki tutarlılık bozuluyor; bu, DiT’in mevcut mimarisinde açık bir yara.

İnce ayar ekosistemi de gecikiyor. LoRA ve ControlNet yıllarca U-Net için geliştirildi; SD1.5 için mevcut checkpoint ve adapter sayısı binleri aşıyor. DiT tabanlı modeller için araçlar var ancak o ekosistem çapına henüz ulaşılamadı. FLUX için LoRA araçları hızla olgunlaşıyor; SD3 daha yavaş ilerliyor.

Bir de yorumlanabilirlik var. Attention haritaları çıkarılabilir, ama U-Net aktivasyon görselleştirmelerinin sezgiselliğine ulaşmak için ek analiz araçları gerekiyor. Hangi patch’in neden önemsendiğini çabucak görmek çoğu zaman mümkün değil.

Ölçekleme avantajı netleştiğinde, bir mimari yerini hızlı bırakır. U-Net’ten DiT’e geçiş de bu hızda geldi: 2022’de bir makale, 2023’te PixArt, 2024’te FLUX ve Sora. Attention’ın hesap maliyeti hâlâ çözülmemiş; bu yüzden bir sonraki dönüşümün hangi mimari üzerinden geleceği açık.