tag uzun-bagiam

Transformer-XL (Transformer-XL (Uzun Bağlamlı Dönüştürücü Mimarisi))

Bu sayfada uzun-bagiam (Transformer-XL (Transformer-XL (Uzun Bağlamlı Dönüştürücü Mimarisi))) etiketi ile işaretlenmiş 1 yapay zeka kavramını bulabilirsiniz.

Transformer-XL, Zihang Dai ve ekibinin 2019 yılında Google Brain ile Carnegie Mellon Üniversitesi iş birliğiyle geliştirdiği, uzun bağlamı modelleme sorununu çözmek amacıyla önerilen bir dil modeli mimarisidir. Standart Transformer modelleri metin işlerken sabit uzunluktaki bölütleri birbirinden bağımsız olarak ele alır; bu durum cümle sınırlarını aşan bağlam bağımlılıklarının yakalanamamasına ve bölüt kenarlarında anlam kırılmasına yol açar. Transformer-XL bu sorunu iki temel yenilikle aşar: bölüt özyinelemesi ve göreli konum kodlaması. Bölüt özyinelemesi mekanizmasında her katmanın gizli durum tensörleri önbelleğe alınır ve bir sonraki bölüt işlenirken dikkat mekanizmasına ek bağlam olarak sunulur; bu yapı modelin erişebildiği bağlam uzunluğunu teorik olarak sonsuz kılabilir ve uzun mesafeli bağımlılıkların yakalanmasını mümkün kılar. Göreli konum kodlaması ise mutlak konum gömülerinin farklı bölüt uzunluklarında anlam kaybına yol açma sorununu giderir; dikkat mekanizması token çiftleri arasındaki göreli mesafeyi doğrudan hesapladığından model farklı bölüt konfigürasyonlarına kolayca genellenebilir hâle gelir. WikiText-103 ve enwiki8 standart kıyaslamalarında Transformer-XL yayımlandığı dönemde yeni başarım kayıtları kırmıştır. Eğitim aşamasında bölüt özyinelemesi devre dışı bırakılabilir; çıkarım aşamasında ise önbellekte tutulan gizli durumlar çok daha uzun metinlerin verimli biçimde işlenmesini kolaylaştırır. Hesaplama maliyeti açısından değerlendirildiğinde özyineleme uzunluğunun artmasıyla bellek kullanımı doğrusal olarak artar; bu denge üretim sistemleri için dikkate alınması gereken önemli bir tasarım kararıdır. Transformer-XL mimarisinin kalıcı etkisi ardından gelen büyük dil modellerine kattığı kavramsal zemindir. XLNet, permütasyon tabanlı dil modellemesiyle Transformer-XL üzerine inşa edilmiş ve BERT tarzı çift yönlü eğitimi oto-regresif modellemeyle birleştirmiştir. T5, GPT serisi ve günümüzün uzun bağlam modellerindeki pek çok tasarım kararı bu mimarinin deneyimlerinden beslenmiştir. Transformer-XL aynı zamanda artımlı çıkarım araştırmalarını da yönlendirmiş; literatürde iki binden fazla atıf alarak modern NLP tarihine geçmiştir.

memory

Transformer-XL (Transformer-XL (Uzun Bağlamlı Dönüştürücü Mimarisi))

Transformer-XL, Zihang Dai ve ekibinin 2019 yılında Google Brain ile Carnegie Mellon Üniversitesi iş birliğiyle geliştirdiği, uzun bağlamı modelleme sorununu çözmek amacıyla önerilen bir dil modeli mimarisidir. Standart Transformer modelleri metin işlerken sabit uzunluktaki bölütleri birbirinden bağımsız olarak ele alır; bu durum cümle sınırlarını aşan bağlam bağımlılıklarının yakalanamamasına ve bölüt kenarlarında anlam kırılmasına yol açar. Transformer-XL bu sorunu iki temel yenilikle aşar: bölüt özyinelemesi ve göreli konum kodlaması. Bölüt özyinelemesi mekanizmasında her katmanın gizli durum tensörleri önbelleğe alınır ve bir sonraki bölüt işlenirken dikkat mekanizmasına ek bağlam olarak sunulur; bu yapı modelin erişebildiği bağlam uzunluğunu teorik olarak sonsuz kılabilir ve uzun mesafeli bağımlılıkların yakalanmasını mümkün kılar. Göreli konum kodlaması ise mutlak konum gömülerinin farklı bölüt uzunluklarında anlam kaybına yol açma sorununu giderir; dikkat mekanizması token çiftleri arasındaki göreli mesafeyi doğrudan hesapladığından model farklı bölüt konfigürasyonlarına kolayca genellenebilir hâle gelir. WikiText-103 ve enwiki8 standart kıyaslamalarında Transformer-XL yayımlandığı dönemde yeni başarım kayıtları kırmıştır. Eğitim aşamasında bölüt özyinelemesi devre dışı bırakılabilir; çıkarım aşamasında ise önbellekte tutulan gizli durumlar çok daha uzun metinlerin verimli biçimde işlenmesini kolaylaştırır. Hesaplama maliyeti açısından değerlendirildiğinde özyineleme uzunluğunun artmasıyla bellek kullanımı doğrusal olarak artar; bu denge üretim sistemleri için dikkate alınması gereken önemli bir tasarım kararıdır. Transformer-XL mimarisinin kalıcı etkisi ardından gelen büyük dil modellerine kattığı kavramsal zemindir. XLNet, permütasyon tabanlı dil modellemesiyle Transformer-XL üzerine inşa edilmiş ve BERT tarzı çift yönlü eğitimi oto-regresif modellemeyle birleştirmiştir. T5, GPT serisi ve günümüzün uzun bağlam modellerindeki pek çok tasarım kararı bu mimarinin deneyimlerinden beslenmiştir. Transformer-XL aynı zamanda artımlı çıkarım araştırmalarını da yönlendirmiş; literatürde iki binden fazla atıf alarak modern NLP tarihine geçmiştir.

arrow_forward