tag MLM

Masked Language Modeling (Maskeli Dil Modelleme (MLM))

Bu sayfada MLM (Masked Language Modeling (Maskeli Dil Modelleme (MLM))) etiketi ile işaretlenmiş 1 yapay zeka kavramını bulabilirsiniz.

Masked Language Modeling (MLM), BERT ve türevlerinin ön eğitiminde kullanılan bir öz-gözetimli öğrenme görevidir. Modele verilen cümledeki token'ların rastgele bir bölümü [MASK] sembolüyle örtülür ve model, bağlamı kullanarak bu gizlenen token'ları tahmin etmeye çalışır. Orijinal BERT makalesinde (Devlin ve ark., Google, 2018) girdi dizisindeki token'ların %15'i seçilir. Bu seçilen token'ların %80'i [MASK] sembolüyle değiştirilirken %10'u rastgele başka bir token ile yer değiştirir, kalan %10 ise orijinal halinde bırakılır. Bu çeşitlendirme, modelin yalnızca [MASK] sembolüne değil gerçek token dağılımına da uyum sağlamasını hedefler; çapraz entropi (cross-entropy) kaybı yalnızca maskelenen pozisyonlar üzerinden hesaplanır. MLM'nin en kritik özelliği, modele çift yönlü (bidirectional) bağlam kavrama yeteneği kazandırmasıdır. GPT gibi öz-regresif modeller yalnızca sola bakarken, BERT hem solundaki hem sağındaki token'lardan yararlanarak tahmin üretir. Bu mimari fark, özellikle cümle sınıflandırma, soru cevaplama ve adlandırılmış varlık tanıma (NER) gibi anlama görevlerinde belirgin avantaj sağlar. Çift yönlü ön eğitim güçlü bir transfer öğrenme temeli oluşturur. BERT-Base 110 milyon, BERT-Large 340 milyon parametresiyle Wikipedia ve BookCorpus verisi üzerinde eğitilmiş; görev başlığı (task head) eklenerek GLUE ve SQuAD gibi kıyaslamalarda dönemin rekor puanlarını kırmıştır. Önceden eğitilmiş ağırlıklar, hedef görev verisine ince ayar (fine-tuning) yapılarak kolayca yeniden kullanılabilmektedir. Sonraki modeller MLM'yi daha da geliştirdi. RoBERTa, daha büyük toplu iş ve dinamik maskelemeyle eğitim verimliliğini artırdı. ALBERT, katman ağırlıklarını paylaştırarak parametre sayısını düşürdü. SpanBERT, tek token yerine token aralıklarını (span) maskeleyerek okuma anlama performansını iyileştirdi. XLM-RoBERTa ise 100'den fazla dili destekleyen çok dilli MLM modelini ortaya koydu. GPT tabanlı üretici modellerin yaygınlaşmasıyla BERT tipi MLM modelleri belirli alanlarda ön plandan çekilmiş olsa da sınıflandırma, NER ve soru cevaplama gibi yapılandırılmış görevlerde yaygın biçimde kullanılmaktadır.

masks

Masked Language Modeling (Maskeli Dil Modelleme (MLM))

Masked Language Modeling (MLM), BERT ve türevlerinin ön eğitiminde kullanılan bir öz-gözetimli öğrenme görevidir. Modele verilen cümledeki token'ların rastgele bir bölümü [MASK] sembolüyle örtülür ve model, bağlamı kullanarak bu gizlenen token'ları tahmin etmeye çalışır. Orijinal BERT makalesinde (Devlin ve ark., Google, 2018) girdi dizisindeki token'ların %15'i seçilir. Bu seçilen token'ların %80'i [MASK] sembolüyle değiştirilirken %10'u rastgele başka bir token ile yer değiştirir, kalan %10 ise orijinal halinde bırakılır. Bu çeşitlendirme, modelin yalnızca [MASK] sembolüne değil gerçek token dağılımına da uyum sağlamasını hedefler; çapraz entropi (cross-entropy) kaybı yalnızca maskelenen pozisyonlar üzerinden hesaplanır. MLM'nin en kritik özelliği, modele çift yönlü (bidirectional) bağlam kavrama yeteneği kazandırmasıdır. GPT gibi öz-regresif modeller yalnızca sola bakarken, BERT hem solundaki hem sağındaki token'lardan yararlanarak tahmin üretir. Bu mimari fark, özellikle cümle sınıflandırma, soru cevaplama ve adlandırılmış varlık tanıma (NER) gibi anlama görevlerinde belirgin avantaj sağlar. Çift yönlü ön eğitim güçlü bir transfer öğrenme temeli oluşturur. BERT-Base 110 milyon, BERT-Large 340 milyon parametresiyle Wikipedia ve BookCorpus verisi üzerinde eğitilmiş; görev başlığı (task head) eklenerek GLUE ve SQuAD gibi kıyaslamalarda dönemin rekor puanlarını kırmıştır. Önceden eğitilmiş ağırlıklar, hedef görev verisine ince ayar (fine-tuning) yapılarak kolayca yeniden kullanılabilmektedir. Sonraki modeller MLM'yi daha da geliştirdi. RoBERTa, daha büyük toplu iş ve dinamik maskelemeyle eğitim verimliliğini artırdı. ALBERT, katman ağırlıklarını paylaştırarak parametre sayısını düşürdü. SpanBERT, tek token yerine token aralıklarını (span) maskeleyerek okuma anlama performansını iyileştirdi. XLM-RoBERTa ise 100'den fazla dili destekleyen çok dilli MLM modelini ortaya koydu. GPT tabanlı üretici modellerin yaygınlaşmasıyla BERT tipi MLM modelleri belirli alanlarda ön plandan çekilmiş olsa da sınıflandırma, NER ve soru cevaplama gibi yapılandırılmış görevlerde yaygın biçimde kullanılmaktadır.

arrow_forward