tag SentetikVeri

Model Collapse (Model Çöküşü)

Bu sayfada SentetikVeri (Model Collapse (Model Çöküşü)) etiketi ile işaretlenmiş 2 yapay zeka kavramını bulabilirsiniz.

Model Çöküşü (Model Collapse), büyük dil modellerinin (LLM) kendi ürettikleri sentetik içeriklerle döngüsel biçimde yeniden eğitildiğinde aşamalı olarak kalite kaybettiği, çeşitlilik yitirdiği ve halüsinasyon üretimini artırdığı süreçtir. Kavram, 2023 yılında Shumailov ve arkadaşlarının yayımladığı 'The Curse of Recursion: Training on Generated Data Makes Models Forget' başlıklı makaleyle teorik ve deneysel zemine oturtuldu. Model çöküşünün temel işleyişi üç bileşik mekanizmayı kapsar. İlk olarak kuyruk verisi kaybı yaşanır: İnsan yazısının doğal çeşitliliğini oluşturan nadir ifadeler, azınlık dilleri, sıradışı fikirler ve ince mizah unsurları olan 'uzun kuyruk', model eğitimi sırasında ortalama ağırlığın gerisinde kalır. Model çıktıları bu nadir unsurları ihmal eder ve bu çıktılarla eğitilen bir sonraki nesil modeli nadir bilgiden daha da uzaklaşır. İkinci olarak dağılım daralması gözlemlenir: Her eğitim nesliyle birlikte veri dağılımının varyansı azalır; model giderek daha tekdüze, öngörülebilir yanıtlar üretir. Bu, bir fotoğrafın fotokopisinin fotokopisi gibi her aktarımda ince detayları kaybeden bir bozulma sürecine benzer. Üçüncü bileşen ise hata birikimi: Küçük olgusal yanlışlıklar veya hayali bilgi parçaları, model çıktısında kalıcı yer edinerek bir sonraki eğitim yinelemesinde 'gerçek' veri gibi muamele görür ve böylece giderek büyüyerek modelin dünya anlayışını aşındırır. Pratik boyutuyla, yeterli önlem alınmadan yürütülen sentetik döngü eğitimleri modellerin Türkçe gibi kaynak bakımından zayıf dillerde hızla bozulmasına, olgusal güvenilirliğin gerilemesine ve yalnızca alışıldık kalıpları tekrarlayan monoton çıktılara yol açabilir. Araştırmacılar bu riski azaltmak için birkaç temel strateji önerir: Orijinal insan verisi eğitim karışımında belirli bir pay korunmalı; sentetik içerik kriptografik filigran ya da C2PA standardıyla işaretlenerek kaynağı izlenebilir hale getirilmeli; her eğitim döngüsünde veri çeşitlilik metrikleri ölçülmeli; gerçek insan yazısından oluşan referans korpuslar uzun vadeli arşivlerde saklanmalıdır. Phi-4 ve benzeri modellerin dikkatli kurgulanmış sentetik veri karışımıyla iyi sonuçlar elde etmesi, tam sentetik döngüden değil, denetimli sentetik veri kullanımından kaynaklanır.