tag Eğitim Sorunları

Bu sayfada Eğitim Sorunları etiketi ile işaretlenmiş 1 yapay zeka kavramını bulabilirsiniz.

Mod çöküşü (mode collapse), Üretici Çekişmeli Ağlar (GAN) eğitiminde sıkça karşılaşılan kritik bir sorundur. Üretecin (generator), gerçek veri dağılımının tamamını öğrenmek yerine yalnızca belirli bir alt kümesini — tek bir "mod"u — taklit etmeye başlaması durumunda ortaya çıkar. Adından da anlaşılacağı üzere model, olası çıktıların çeşitli dağılımı yerine tek bir noktaya ya da küçük bir kümeye "çöker". GAN mimarisinde üreteci (G) ve ayırt edici (D) ağ birbirine karşı eğitilir: G gerçekçi veriler üretmeye, D ise gerçek ile üretilmiş verileri ayırt etmeye çalışır. Mod çöküşü, bu rekabetçi dengenin bozulmasıyla tetiklenir. Üreteci, ayırt ediciyi kandırabilen birkaç örnek keşfettiğinde aynı kalıpları tekrar üretmeyi öğrenir; farklı girdi gürültüsü vektörleri giderek benzer çıktılara eşlenir. Bunun temel nedeni, standart GAN kayıp fonksiyonunun (Jensen-Shannon ıraksama tabanlı) gradyan sinyallerinin zayıfladığı veya kaybolduğu bölgelere — "vanishing gradient" durumuna — yatkın olmasıdır. Mod çöküşü iki biçimde gözlemlenir. Tam mod çöküşü (complete mode collapse) durumunda üreteci, girdi gürültüsünden bağımsız olarak hep aynı tek bir çıktıyı üretir. Kısmi mod çöküşü (partial mode collapse) durumunda ise üreteci gerçek dağılımdaki modların yalnızca bir kısmını öğrenir; örneğin MNIST rakamları veri kümesinde yalnızca 3, 5 ve 8 rakamlarını üretebilir. Her iki durumda da çıktı çeşitliliği (diversity) ciddi biçimde düşer ve modelin nicel kalite ölçütleri yanıltıcı biçimde yüksek görünebilir. Bu sorunla başa çıkmak için araştırmacılar farklı yaklaşımlar geliştirmiştir. Wasserstein GAN (WGAN), kayıp fonksiyonunu Wasserstein mesafesine dayandırarak daha kararlı gradyanlar üretir ve mod çöküşü riskini belirgin biçimde düşürür. Mini-batch discrimination, ayırt edicinin birden fazla örneği aynı anda değerlendirmesini sağlayarak üretecin çeşitsizliğini cezalandırır. Spektral normalizasyon ise ağırlık matrislerinin Lipschitz koşulunu koruyacak biçimde normalize edilmesini zorunlu kılar. Diffusion modelleri, akış eşleştirme (flow matching) ve VAE gibi alternatif üretici mimari paradigmaları ise mod çöküşüne yapısal olarak daha az eğilimlidir; bu nedenle görsel içerik üretiminde GAN'ların yerini büyük ölçüde almıştır.

code_blocks

Mode Collapse (Mod Çöküşü)

Mod çöküşü (mode collapse), Üretici Çekişmeli Ağlar (GAN) eğitiminde sıkça karşılaşılan kritik bir sorundur. Üretecin (generator), gerçek veri dağılımının tamamını öğrenmek yerine yalnızca belirli bir alt kümesini — tek bir "mod"u — taklit etmeye başlaması durumunda ortaya çıkar. Adından da anlaşılacağı üzere model, olası çıktıların çeşitli dağılımı yerine tek bir noktaya ya da küçük bir kümeye "çöker". GAN mimarisinde üreteci (G) ve ayırt edici (D) ağ birbirine karşı eğitilir: G gerçekçi veriler üretmeye, D ise gerçek ile üretilmiş verileri ayırt etmeye çalışır. Mod çöküşü, bu rekabetçi dengenin bozulmasıyla tetiklenir. Üreteci, ayırt ediciyi kandırabilen birkaç örnek keşfettiğinde aynı kalıpları tekrar üretmeyi öğrenir; farklı girdi gürültüsü vektörleri giderek benzer çıktılara eşlenir. Bunun temel nedeni, standart GAN kayıp fonksiyonunun (Jensen-Shannon ıraksama tabanlı) gradyan sinyallerinin zayıfladığı veya kaybolduğu bölgelere — "vanishing gradient" durumuna — yatkın olmasıdır. Mod çöküşü iki biçimde gözlemlenir. Tam mod çöküşü (complete mode collapse) durumunda üreteci, girdi gürültüsünden bağımsız olarak hep aynı tek bir çıktıyı üretir. Kısmi mod çöküşü (partial mode collapse) durumunda ise üreteci gerçek dağılımdaki modların yalnızca bir kısmını öğrenir; örneğin MNIST rakamları veri kümesinde yalnızca 3, 5 ve 8 rakamlarını üretebilir. Her iki durumda da çıktı çeşitliliği (diversity) ciddi biçimde düşer ve modelin nicel kalite ölçütleri yanıltıcı biçimde yüksek görünebilir. Bu sorunla başa çıkmak için araştırmacılar farklı yaklaşımlar geliştirmiştir. Wasserstein GAN (WGAN), kayıp fonksiyonunu Wasserstein mesafesine dayandırarak daha kararlı gradyanlar üretir ve mod çöküşü riskini belirgin biçimde düşürür. Mini-batch discrimination, ayırt edicinin birden fazla örneği aynı anda değerlendirmesini sağlayarak üretecin çeşitsizliğini cezalandırır. Spektral normalizasyon ise ağırlık matrislerinin Lipschitz koşulunu koruyacak biçimde normalize edilmesini zorunlu kılar. Diffusion modelleri, akış eşleştirme (flow matching) ve VAE gibi alternatif üretici mimari paradigmaları ise mod çöküşüne yapısal olarak daha az eğilimlidir; bu nedenle görsel içerik üretiminde GAN'ların yerini büyük ölçüde almıştır.

arrow_forward