Mode Collapse (Mod Çöküşü)

#GAN #Üretken Modeller #Eğitim Sorunları #Derin Öğrenme

GAN eğitiminde üretecin veri dağılımının yalnızca küçük bir alt kümesini öğrenerek çeşitsiz çıktılar üretmesi durumu.

Mod çöküşü (mode collapse), Üretici Çekişmeli Ağlar (GAN) eğitiminde sıkça karşılaşılan kritik bir sorundur. Üretecin (generator), gerçek veri dağılımının tamamını öğrenmek yerine yalnızca belirli bir alt kümesini — tek bir "mod"u — taklit etmeye başlaması durumunda ortaya çıkar. Adından da anlaşılacağı üzere model, olası çıktıların çeşitli dağılımı yerine tek bir noktaya ya da küçük bir kümeye "çöker". GAN mimarisinde üreteci (G) ve ayırt edici (D) ağ birbirine karşı eğitilir: G gerçekçi veriler üretmeye, D ise gerçek ile üretilmiş verileri ayırt etmeye çalışır. Mod çöküşü, bu rekabetçi dengenin bozulmasıyla tetiklenir. Üreteci, ayırt ediciyi kandırabilen birkaç örnek keşfettiğinde aynı kalıpları tekrar üretmeyi öğrenir; farklı girdi gürültüsü vektörleri giderek benzer çıktılara eşlenir. Bunun temel nedeni, standart GAN kayıp fonksiyonunun (Jensen-Shannon ıraksama tabanlı) gradyan sinyallerinin zayıfladığı veya kaybolduğu bölgelere — "vanishing gradient" durumuna — yatkın olmasıdır. Mod çöküşü iki biçimde gözlemlenir. Tam mod çöküşü (complete mode collapse) durumunda üreteci, girdi gürültüsünden bağımsız olarak hep aynı tek bir çıktıyı üretir. Kısmi mod çöküşü (partial mode collapse) durumunda ise üreteci gerçek dağılımdaki modların yalnızca bir kısmını öğrenir; örneğin MNIST rakamları veri kümesinde yalnızca 3, 5 ve 8 rakamlarını üretebilir. Her iki durumda da çıktı çeşitliliği (diversity) ciddi biçimde düşer ve modelin nicel kalite ölçütleri yanıltıcı biçimde yüksek görünebilir. Bu sorunla başa çıkmak için araştırmacılar farklı yaklaşımlar geliştirmiştir. Wasserstein GAN (WGAN), kayıp fonksiyonunu Wasserstein mesafesine dayandırarak daha kararlı gradyanlar üretir ve mod çöküşü riskini belirgin biçimde düşürür. Mini-batch discrimination, ayırt edicinin birden fazla örneği aynı anda değerlendirmesini sağlayarak üretecin çeşitsizliğini cezalandırır. Spektral normalizasyon ise ağırlık matrislerinin Lipschitz koşulunu koruyacak biçimde normalize edilmesini zorunlu kılar. Diffusion modelleri, akış eşleştirme (flow matching) ve VAE gibi alternatif üretici mimari paradigmaları ise mod çöküşüne yapısal olarak daha az eğilimlidir; bu nedenle görsel içerik üretiminde GAN'ların yerini büyük ölçüde almıştır.

Mod Çöküşünün Mekanizması

GAN eğitimi, minimax oyununa dayanır: üreteci kaybı minimize ederken ayırt edici onu maximize etmeye çalışır. Denge noktasına (Nash dengesi) ulaşmak teorik olarak mümkün olsa da pratikte gradyan güncellemeleri bu noktadan sapabilir. Üreteci, ayırt ediciyi kandıran birkaç örneği keşfettiğinde gradyan bu örneklere yoğunlaşır; diğer modlar artık güncellenme almaz ve yavaş yavaş unutulur. Zamanla üreteci yalnızca bu "kazanan" kalıpları üretir hale gelir.

Mod Çöküşü Türleri ve Belirtileri

  • check_circle Tam Çöküş (Complete Collapse): Üreteci tek bir çıktıya ya da birkaç neredeyse özdeş örneğe yoğunlaşır. En belirgin form; eğitim görüntüleri yeterince çeşitli olsa da model tek tip örnekler üretir.
  • check_circle Kısmi Çöküş (Partial Collapse): Üreteci eğitim dağılımının yalnızca bir alt kümesini modelleyebilir; bazı modları öğrenir, diğerlerini tamamen görmezden gelir.
  • check_circle Döngüsel Davranış (Mode Hopping): Üretici modlar arasında gider gelir; eğitimin farklı aşamalarında farklı modları üretir ancak hiçbirini kalıcı öğrenmez.
  • check_circle Erken Uyarı İşaretleri: Üretilen örneklerde çeşitlilik kaybı, ayırt edici kaybının sıfıra yaklaşması veya üreteci kaybının anormal patlaması mod çöküşünün başladığına işaret eder.

Çözüm Yöntemleri

  • check_circle Wasserstein GAN (WGAN): Kayıp fonksiyonunu Earth Mover mesafesine dayandırarak daha anlamlı gradyan sinyalleri üretir ve eğitimi kararlı hale getirir.
  • check_circle Mini-batch Discrimination: Ayırt edici, birden fazla örneği birlikte değerlendirerek çeşitsiz üretimleri fark edip cezalandırabilir.
  • check_circle Unrolled GAN: Üreteci, ayırt edicinin birkaç adım sonraki durumuna göre günceller; tek bir moda kilitlenme azalır.
  • check_circle Spectral Normalization: Ağırlık matrislerinin spektral normunu sınırlandırarak Lipschitz koşulunu korur ve eğitimi stabilize eder.
  • check_circle Diffusion / Flow Matching: Alternatif üretici paradigmalar olarak yapısal olarak mod çöküşüne daha az eğilimlidir; görsel üretimde GAN'ların büyük bölümünü devralmıştır.

Mod Çöküşünü Ölçmek: Metrikler

  • check_circle FID (Fréchet Inception Distance): Üretilen ve gerçek örnek dağılımları arasındaki mesafeyi ölçer; düşük FID kalite ve çeşitlilik açısından iyiyi işaret eder. Kısmi mod çöküşünü gözden kaçırabilir.
  • check_circle Precision ve Recall: Precision üretilen örneklerin kalitesini, Recall ise eğitim dağılımının ne kadar kapsandığını ölçer. Düşük Recall mod çöküşünün güçlü göstergesidir.
  • check_circle Latent Space İnterpolasyonu: Gizli uzayda iki nokta arasında gidilerek üretilen görüntüler incelenir; ani geçişler veya tekrar eden modlar çöküşe işaret eder.
  • check_circle IS (Inception Score): Çeşitlilik ve keskinliği birleştiren eski metrik; FID'e kıyasla yanıltıcı olabildiği için birlikte kullanılması önerilir.

Diffusion Modelleri GAN'ların Neden Yerini Aldı?

  • check_circle Yapısal Mod Çöküşü Direnci: Diffusion modelleri adım adım gürültü kaldırarak öğrenir; GAN'ların minimax dengesizliğine maruz kalmaz. Bu nedenle mod çöküşü diffusion modellerinde pratikte nadiren gözlemlenir.
  • check_circle Daha İyi Çeşitlilik: Stable Diffusion, DALL-E 3 ve Midjourney gibi diffusion modelleri aynı metinden çok farklı görüntüler üretir; GAN'larda bu çeşitliliğe ulaşmak çok daha zordur.
  • check_circle GAN'ların Hâlâ Güçlü Olduğu Alanlar: Yüksek çözünürlüklü gerçekçi yüz sentezi (StyleGAN3), video üretimi ve gerçek zamanlı üretim gibi hız gerektiren senaryolarda GAN'lar hâlâ rekabetçidir.

Sık Sorulan Sorular

  • check_circle Mod çöküşü yalnızca GAN'larda mı görülür? Terim öncelikle GAN'lar için kullanılsa da dil modellerinde de benzer bir sorun görülebilir: model belirli yanıt kalıplarına aşırı yoğunlaşabilir.
  • check_circle FID skoru mod çöküşünü yakalar mı? Kısmen yakalar. FID (Fréchet Inception Distance) hem kaliteyi hem çeşitliliği ölçer; ancak kısmi mod çöküşünü gözden kaçırabilir. Precision/Recall metrikleri daha ayrıntılı tanı sunar.
  • check_circle Mod çöküşü nasıl tespit edilir? Üretilen örneklerin görsel incelemesi, latent space interpolasyonu ve çeşitlilik metrikleri (recall, coverage) kullanılabilir.
  • check_circle WGAN mod çöküşünü tamamen çözer mi? WGAN riski önemli ölçüde azaltır ama garanti vermez. WGAN-GP (gradient penalty) ile birlikte kullanıldığında daha kararlı sonuçlar elde edilir.
  • check_circle Diffusion modelleri GAN'ların yerini tamamen aldı mı? Görüntü üretiminde büyük ölçüde aldı; Stable Diffusion ve DALL-E 3 bu geçişin somut örnekleri. Ancak gerçek zamanlı video üretimi ve bazı kenar cihaz senaryolarında GAN'lar hâlâ rekabetçidir.