Encoder-Decoder (Kodlayıcı-Çözücü)

Encoder-decoder (kodlayıcı-çözücü), bir girdi dizisini veya veriyi sıkıştırılmış bir ara temsile dönüştüren (kodlama) ve ardından bu temsilden hedef çıktıyı yeniden üreten (çözme) iki bileşenli bir sinir ağı mimarisidir. Dizi-diziye (seq2seq) dönüşüm gerektiren görevlerde temel yapı taşı olan bu mimari, makine çevirisi, metin özetleme, konuşma tanıma ve görüntü açıklama gibi alanlarda geniş uygulama bulur. Encoder bileşeni, girdi dizisinin her öğesini işleyerek sabit boyutlu bir bağlam vektörü (context vector) veya dikkat ağırlıklı gizli durum kümesi üretir. RNN tabanlı encoder'larda bu çıktı son gizli durumdur; Transformer tabanlı mimarilerde ise her girdi tokenına karşılık gelen gizli durum vektörlerinin tamamı decoder'a aktarılır. Decoder bileşeni, encoder çıktısını alarak hedef dizinin her adımını otoregresif biçimde üretir: bir önceki adımda üretilen token, sonraki token olasılığını hesaplamak için tekrar girdi olarak kullanılır. Eğitim sırasında "teacher forcing" yöntemiyle gerçek hedef tokenlar girdi olarak verilir; çıkarım (inference) aşamasında ise modelin kendi ürettiği tokenlar beslenir. Dikkat mekanizması (attention mechanism) bu mimarinin kritik bir uzantısıdır. 2015 yılında Bahdanau ve ark. tarafından önerilen dikkat, decoder'ın her adımda encoder'ın farklı konumlarına farklı ağırlıklar atayarak odaklanmasını sağlar; bu sayede uzun dizilerdeki bilgi kaybı önemli ölçüde azalır. Modern Transformer mimarisindeki çok başlı dikkat (multi-head attention), bu fikrin paralel ve güçlendirilmiş halidir. Günümüz büyük dil modellerinin büyük çoğunluğu encoder-decoder veya sadece-decoder mimarisini benimser. BERT saf encoder, GPT ailesi saf decoder, T5 ve BART ise encoder-decoder modellerine örnektir. Görüntü işlemede U-Net gibi yapılar da encoder-decoder prensibini piksel düzeyinde segmentasyon için kullanır.