loop Nasıl Çalışır?
Eğer klasik bir modele 'Bugün hava çok...' cümlesini verirseniz, son kelimeyi tahmin etmekte zorlanır çünkü kelimeler arasında bağ kuramaz. RNN ise bir döngüye sahiptir; ilk kelimeyi okur, ondan bir bilgi çıkartıp hafızasında tutar, ikinci kelimeyi okurken bu hafızadaki bilgiyi de işin içine katar. Kitap okuyan bir insan gibi soldan sağa doğru ilerler.
RNN'in Zayıf Noktası
- check_circle Kaybolan Gradyan Problemi (Vanishing Gradient): RNN'ler kısa cümlelerde mükemmeldir. Ancak paragraf uzadıkça (örneğin 50. kelimeye gelindiğinde), model paragrafın ilk kelimelerini unutmaya başlar. Uzun vadeli bağlamları aklında tutamaz. Bu zayıflığı çözmek için LSTM, daha sonra da Transformer mimarileri icat edilmiştir.