tag GRU

GRU (Gated Recurrent Unit) (GRU (Kapılı Tekrarlayan Birim))

Bu sayfada GRU (GRU (Gated Recurrent Unit) (GRU (Kapılı Tekrarlayan Birim))) etiketi ile işaretlenmiş 1 yapay zeka kavramını bulabilirsiniz.

GRU (Gated Recurrent Unit — Kapılı Tekrarlayan Birim), 2014 yılında Kyunghyun Cho ve ekibi tarafından önerilen, klasik Tekrarlayan Sinir Ağı (RNN) mimarisinin uzun vadeli bağımlılıkları öğrenmek için geliştirilmiş bir türevidir. Standart RNN'lerin temel sorunu olan kaybolan gradyan problemi (vanishing gradient), uzun dizilerde modelin erken adımlardaki bilgileri "unutmasına" yol açar. GRU bu sorunu, hangi bilgilerin saklanacağını ve hangilerinin atılacağını kontrol eden kapı (gate) mekanizmaları ile çözer. GRU, LSTM (Long Short-Term Memory) ile karşılaştırıldığında daha sade bir mimariye sahiptir. LSTM'de üç ayrı kapı (input, forget, output) ve ayrı bir hücre durumu (cell state) bulunurken, GRU yalnızca iki kapı kullanır: Güncelleme Kapısı (Update Gate) ve Sıfırlama Kapısı (Reset Gate). Bu sadeleştirme eğitim süresini ve bellek kullanımını önemli ölçüde azaltırken pek çok görevde LSTM ile kıyaslanabilir başarım elde edilmesini mümkün kılar. Güncelleme Kapısı (Update Gate), bir önceki gizli durumun (hidden state) ne kadarının yeni duruma aktarılacağını belirler. Bu kapı, geçmiş bilgilerin ne ölçüde korunacağını kontrol eder ve uzun vadeli bellek işlevi görür. Sıfırlama Kapısı (Reset Gate) ise geçmiş bağlamın ne kadarının yeni içeriği hesaplamak için kullanılacağını düzenler; geçmiş bilginin önemsiz olduğu durumlarda bu kapı kapatılarak gizli durum temizlenebilir. GRU, doğal dil işleme, konuşma tanıma, zaman serisi tahmini ve makine çevirisi gibi ardışık veri içeren görevlerde yaygın olarak kullanılır. Özellikle veri miktarının sınırlı olduğu veya hesaplama kapasitesinin kısıtlı olduğu durumlarda LSTM'ye kıyasla tercih edilir. Çift yönlü GRU (Bidirectional GRU) dizi bağlamını hem ileri hem geri yönde yakalayarak duygu analizi ve adlandırılmış varlık tanıma gibi görevlerde üstünlük sağlar. PyTorch'ta torch.nn.GRU, TensorFlow/Keras'ta ise tf.keras.layers.GRU sınıfıyla tek satır kodla kullanıma hazırdır. Hibrit Transformer-GRU mimarileri de araştırma literatüründe giderek daha fazla yer bulmaktadır.

memory

GRU (Gated Recurrent Unit) (GRU (Kapılı Tekrarlayan Birim))

GRU (Gated Recurrent Unit — Kapılı Tekrarlayan Birim), 2014 yılında Kyunghyun Cho ve ekibi tarafından önerilen, klasik Tekrarlayan Sinir Ağı (RNN) mimarisinin uzun vadeli bağımlılıkları öğrenmek için geliştirilmiş bir türevidir. Standart RNN'lerin temel sorunu olan kaybolan gradyan problemi (vanishing gradient), uzun dizilerde modelin erken adımlardaki bilgileri "unutmasına" yol açar. GRU bu sorunu, hangi bilgilerin saklanacağını ve hangilerinin atılacağını kontrol eden kapı (gate) mekanizmaları ile çözer. GRU, LSTM (Long Short-Term Memory) ile karşılaştırıldığında daha sade bir mimariye sahiptir. LSTM'de üç ayrı kapı (input, forget, output) ve ayrı bir hücre durumu (cell state) bulunurken, GRU yalnızca iki kapı kullanır: Güncelleme Kapısı (Update Gate) ve Sıfırlama Kapısı (Reset Gate). Bu sadeleştirme eğitim süresini ve bellek kullanımını önemli ölçüde azaltırken pek çok görevde LSTM ile kıyaslanabilir başarım elde edilmesini mümkün kılar. Güncelleme Kapısı (Update Gate), bir önceki gizli durumun (hidden state) ne kadarının yeni duruma aktarılacağını belirler. Bu kapı, geçmiş bilgilerin ne ölçüde korunacağını kontrol eder ve uzun vadeli bellek işlevi görür. Sıfırlama Kapısı (Reset Gate) ise geçmiş bağlamın ne kadarının yeni içeriği hesaplamak için kullanılacağını düzenler; geçmiş bilginin önemsiz olduğu durumlarda bu kapı kapatılarak gizli durum temizlenebilir. GRU, doğal dil işleme, konuşma tanıma, zaman serisi tahmini ve makine çevirisi gibi ardışık veri içeren görevlerde yaygın olarak kullanılır. Özellikle veri miktarının sınırlı olduğu veya hesaplama kapasitesinin kısıtlı olduğu durumlarda LSTM'ye kıyasla tercih edilir. Çift yönlü GRU (Bidirectional GRU) dizi bağlamını hem ileri hem geri yönde yakalayarak duygu analizi ve adlandırılmış varlık tanıma gibi görevlerde üstünlük sağlar. PyTorch'ta torch.nn.GRU, TensorFlow/Keras'ta ise tf.keras.layers.GRU sınıfıyla tek satır kodla kullanıma hazırdır. Hibrit Transformer-GRU mimarileri de araştırma literatüründe giderek daha fazla yer bulmaktadır.

arrow_forward