GRU (Gated Recurrent Unit) (GRU (Kapılı Tekrarlayan Birim))

#GRU #RNN #DerinOgrenme #Sekans #YapayZeka #NLP

GRU, uzun dizilerdeki bağımlılıkları iki kapı mekanizmasıyla öğrenen sade ve verimli bir tekrarlayan sinir ağı mimarisidir.

GRU (Gated Recurrent Unit — Kapılı Tekrarlayan Birim), 2014 yılında Kyunghyun Cho ve ekibi tarafından önerilen, klasik Tekrarlayan Sinir Ağı (RNN) mimarisinin uzun vadeli bağımlılıkları öğrenmek için geliştirilmiş bir türevidir. Standart RNN'lerin temel sorunu olan kaybolan gradyan problemi (vanishing gradient), uzun dizilerde modelin erken adımlardaki bilgileri "unutmasına" yol açar. GRU bu sorunu, hangi bilgilerin saklanacağını ve hangilerinin atılacağını kontrol eden kapı (gate) mekanizmaları ile çözer. GRU, LSTM (Long Short-Term Memory) ile karşılaştırıldığında daha sade bir mimariye sahiptir. LSTM'de üç ayrı kapı (input, forget, output) ve ayrı bir hücre durumu (cell state) bulunurken, GRU yalnızca iki kapı kullanır: Güncelleme Kapısı (Update Gate) ve Sıfırlama Kapısı (Reset Gate). Bu sadeleştirme eğitim süresini ve bellek kullanımını önemli ölçüde azaltırken pek çok görevde LSTM ile kıyaslanabilir başarım elde edilmesini mümkün kılar. Güncelleme Kapısı (Update Gate), bir önceki gizli durumun (hidden state) ne kadarının yeni duruma aktarılacağını belirler. Bu kapı, geçmiş bilgilerin ne ölçüde korunacağını kontrol eder ve uzun vadeli bellek işlevi görür. Sıfırlama Kapısı (Reset Gate) ise geçmiş bağlamın ne kadarının yeni içeriği hesaplamak için kullanılacağını düzenler; geçmiş bilginin önemsiz olduğu durumlarda bu kapı kapatılarak gizli durum temizlenebilir. GRU, doğal dil işleme, konuşma tanıma, zaman serisi tahmini ve makine çevirisi gibi ardışık veri içeren görevlerde yaygın olarak kullanılır. Özellikle veri miktarının sınırlı olduğu veya hesaplama kapasitesinin kısıtlı olduğu durumlarda LSTM'ye kıyasla tercih edilir. Çift yönlü GRU (Bidirectional GRU) dizi bağlamını hem ileri hem geri yönde yakalayarak duygu analizi ve adlandırılmış varlık tanıma gibi görevlerde üstünlük sağlar. PyTorch'ta torch.nn.GRU, TensorFlow/Keras'ta ise tf.keras.layers.GRU sınıfıyla tek satır kodla kullanıma hazırdır. Hibrit Transformer-GRU mimarileri de araştırma literatüründe giderek daha fazla yer bulmaktadır.

GRU Nasıl Çalışır?

GRU'nun temelinde iki kapı mekanizması yatar. Her zaman adımında model, mevcut girdi ve bir önceki gizli durum (hidden state) bilgisini birleştirerek iki sinyal üretir.

Güncelleme Kapısı (Update Gate — z_t): Önceki gizli durumun ne kadarının yeni duruma taşınacağını belirler. z_t = σ(W_z · [h_{t-1}, x_t]) formülüyle hesaplanır; sonuç 0'a yakınsa geçmiş büyük ölçüde korunur, 1'e yakınsa yeni bilgi baskın olur.

Sıfırlama Kapısı (Reset Gate — r_t): Geçmiş bağlamın ne kadarının aday gizli durum hesabında kullanılacağını kontrol eder. r_t = σ(W_r · [h_{t-1}, x_t]) ile hesaplanır. Sıfırlama kapısı kapalıyken (0'a yakın) model önceki bağlamı görmezden gelebilir.

Aday Gizli Durum (h̃_t): h̃_t = tanh(W · [r_t ⊙ h_{t-1}, x_t]) formülüyle üretilir; burada ⊙ eleman bazlı çarpımı ifade eder.

Son Gizli Durum (h_t): h_t = (1 − z_t) ⊙ h_{t-1} + z_t ⊙ h̃_t şeklinde önceki durum ile aday durum birleştirilir. Güncelleme kapısı ne kadar açıksa yeni bilginin ağırlığı o kadar fazladır.

GRU ile LSTM Karşılaştırması

  • check_circle Mimari Karmaşıklık: LSTM 3 kapı (input, forget, output) + cell state kullanır. GRU yalnızca 2 kapı (güncelleme, sıfırlama) kullanır ve cell state yoktur.
  • check_circle Parametre Sayısı: Aynı hidden size için GRU, LSTM'ye göre yaklaşık %25 daha az eğitilebilir parametre barındırır.
  • check_circle Eğitim Hızı: GRU daha az hesaplama gerektirir. Küçük ve orta ölçekli veri setlerinde GRU genellikle daha hızlı yakınsar.
  • check_circle Uzun Bağımlılıklar: Çok uzun dizilerde LSTM'nin ayrı cell state yapısı bazen üstün gelir. GRU performansı veri setine ve görev türüne göre değişir.

Uygulama Alanları

  • check_circle Doğal Dil İşleme: Metin sınıflandırma, duygu analizi ve makine çevirisi gibi ardışık dil görevlerinde yaygın kullanılır.
  • check_circle Konuşma Tanıma: Ses dizilerindeki fonem ve kelime düzeyindeki bağımlılıkları modellemek için GRU katmanları kullanılır.
  • check_circle Zaman Serisi Tahmini: Finansal fiyat tahminleri, enerji tüketimi ve hava durumu gibi zaman bağımlı verilerin modellenmesi.
  • check_circle Anomali Tespiti: Sensör verisi veya log akışı gibi sıralı veride normal örüntüden sapmaların yakalanması.

Hiperparametreler ve Eğitim

GRU modelinin başarısı büyük ölçüde hiperparametre seçimine bağlıdır. Gizli birim sayısı (hidden_size), modelin bellek kapasitesini belirler; NLP ve zaman serisi görevlerinde 64–512 arasındaki değerler çoğunlukla yeterlidir. Katman sayısı (num_layers) genellikle 1–3 arasında tutulur; daha derin ağlar karmaşık örüntüleri yakalayabilir ancak aşırı öğrenme (overfitting) riskini artırır. Dropout, eğitim sırasında rastgele nöronları devre dışı bırakarak genelleme yeteneğini güçlendirir; 0.2–0.5 arasındaki değerler yaygın aralığı oluşturur. Çift yönlü GRU (bidirectional=True) dizileri hem ileri hem geri yönde işler; adlandırılmış varlık tanıma (NER) ve duygu analizi gibi görevlerde belirgin avantaj sağlar. Öğrenme oranı için Adam optimizer ile 1e-3 başlangıç değeri tercih edilir; LR scheduler veya warmup stratejileri uzun eğitimlerde kararlılığı artırır.

GRU vs LSTM vs Transformer

GRU

2 kapı (reset, update); LSTM'den %25-30 daha az parametre, benzer performans — kısa-orta bağımlılıklarda hız gerektiren görevler için tercih.

LSTM

3 kapı (forget, input, output) + cell state; uzun vadeli bağımlılıklar ve daha karmaşık sinyal modellemesi için daha güçlü.

Transformer

Sıralı işleme yok, tam paralel; uzun dizilerde LSTM/GRU'yu geçti — dil modellemesinde lider ama O(n²) dikkat maliyeti sıralı ve uzun dizilerde sorunlu.

Mamba / SSM

State Space Model; RNN hızını transformerin uzun bağlam yeteneğiyle birleştirme iddiası — yeni nesil mimari araştırmasının önemli yönü.

code PyTorch ve Keras ile GRU kodu

PyTorch tarafında GRU tek satırda kurulur:

import torch, torch.nn as nn

gru = nn.GRU(input_size=1, hidden_size=64, num_layers=2, batch_first=True, dropout=0.2)

out, h_n = gru(torch.randn(32, 30, 1))

batch_first=True verdiğinizde girdi (yığın, zaman adımı, özellik) düzeninde beklenir. Bu örnekte 32 örneklik bir yığın, 30 adımlık pencere ve tek özellik var; out tensörü (32, 30, 64), h_n ise (2, 32, 64) boyutunda döner. Tahmin katmanını genellikle son zaman adımına bağlarsınız: nn.Linear(64, 1) katmanına out[:, -1, :] verilir. dropout parametresi yalnızca num_layers 1'den büyükken etkilidir, tek katmanda uyarı alırsınız ve dropout uygulanmaz.

Keras tarafında aynı model dört satır:

from tensorflow import keras

model = keras.Sequential([keras.layers.GRU(64, input_shape=(30, 1)), keras.layers.Dense(1)])

model.compile(optimizer="adam", loss="mse")

model.fit(X_train, y_train, epochs=50, batch_size=32, validation_split=0.1)

Keras'ta GRU katmanı varsayılan olarak sadece son gizli durumu döndürür. Üstüne ikinci bir GRU koyacaksanız ya da her zaman adımı için çıktı gerekiyorsa (dizi etiketleme, seq2seq) return_sequences=True vermeniz gerekir. İki yönlü kullanım için PyTorch'ta bidirectional=True, Keras'ta keras.layers.Bidirectional(...) sarmalayıcısı kullanılır; çıktı boyutu iki katına çıkar, bunu sonraki katmanda hesaba katın.

bug_report GRU eğitiminde sık karşılaşılan hatalar ve çözümleri

  • check_circle expected 3-dimensional input hatası: GRU üç boyutlu tensör bekler. (yığın, özellik) şeklindeki veriyi x.unsqueeze(-1) veya reshape ile (yığın, zaman, özellik) haline getirin. batch_first parametresini vermezseniz PyTorch girdiyi (zaman, yığın, özellik) sanır; kod hata vermez, model yanlış eksende öğrenir.
  • check_circle Ölçeklenmemiş veri, sabit kalan kayıp: Ham fiyat veya sensör değerleri doğrudan verildiğinde sigmoid ve tanh doyuma gider, kayıp yerinde sayar. MinMaxScaler ya da StandardScaler'ı yalnızca eğitim kümesinde fit edin, doğrulama ve test kümesine sadece transform uygulayın. Tahminleri raporlarken inverse_transform ile gerçek birime dönün.
  • check_circle NaN kayıp: Uzun dizilerde gradyan patlaması görülebilir. backward ile step arasına torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0) satırını ekleyin, öğrenme oranını 1e-3 yerine 3e-4 deneyin ve veride eksik değer (NaN) kalıp kalmadığını kontrol edin.
  • check_circle Değişken uzunluklu diziler: Dolgu (padding) yapılmış yığınlarda model dolgu token'larını da işler ve kısa cümlelerin gizli durumu bozulur. pack_padded_sequence ile gerçek uzunlukları bildirin, çıktıyı pad_packed_sequence ile geri açın.
  • check_circle Zaman serisinde sızıntılı bölme: Rastgele train/test bölmesi geleceği eğitime sızdırır ve gerçekçi olmayan yüksek skor üretir. Bölmeyi tarihe göre yapın: ilk %80 eğitim, son %20 test. Ölçekleyiciyi de yalnızca eğitim aralığına göre kurun.
  • check_circle Yavaş eğitim: GRU ardışık çalıştığı için GPU'yu tam dolduramaz; küçük yığınlarla veri yükleme darboğaza dönüşür. Yığın boyutunu artırın, DataLoader'da num_workers ayarlayın ve dizi uzunluğunu gerçekten gereken pencereye indirin.

compare_arrows GRU'yu ne zaman seçmemelisiniz

GRU küçük ve orta ölçekli sıralı veride hâlâ savunulabilir bir tercih, ama bazı durumlarda baştan yanlış araç. Binlerce adımlık bağımlılık gerektiren görevlerde (uzun belge anlama, uzun bağlamlı dil modelleme) dikkat mekanizması açık farkla önde. Elinizde büyük etiketli veri varsa ve ön eğitimli bir gövdeden yararlanabiliyorsanız, sıfırdan GRU eğitmek yerine BERT sınıfı bir modeli ince ayar yapmak hem daha az emek hem daha yüksek skor demek. Eğitim süresi kritikse GRU'nun ardışık yapısı bir dezavantaj: 30 adımlık bir dizide 30 sıralı hesap yapılır, Transformer aynı işi tek seferde paralel yapar.

GRU'nun hâlâ mantıklı kaldığı yerler de var. Düşük gecikmeli üretim servisleri, gömülü cihazlar ve mikrodenetleyiciler, birkaç bin örneklik veri setleri, tek değişkenli zaman serisi tahminleri. 64 gizli birimli iki katmanlı bir GRU birkaç yüz bin parametreyle çalışır, CPU üzerinde milisaniyelerle ölçülen yanıt verir ve model dosyası birkaç MB'ta kalır. Aynı işi yapan bir transformer'ın bellek ve gecikme maliyeti bunun kat kat üzerindedir.

Karar için pratik bir sıralama: dizi uzunluğu 100 adımın altında ve veri küçükse GRU ile başlayın, temel bir skor çıkarın. Skor yetersizse önce iki yönlü GRU ve dikkat katmanı ekleyin. Hâlâ yetersizse ön eğitimli bir transformer'a geçin. Ters yönde ilerlemek (önce büyük model, sonra küçültme) çoğu ekipte daha çok zaman harcatıyor.

Sık Sorulan Sorular

  • check_circle GRU mu LSTM mi seçmeliyim? Küçük veri setleri ve hızlı deneme süreçleri için GRU genellikle daha pratiktir. Çok uzun diziler veya büyük veri varsa LSTM ile karşılaştırmalı test yapın; ikisi arasındaki fark göreve göre değişir.
  • check_circle GRU, Transformer modellerinin yerini tutabilir mi? Hayır. Transformer'lar paralel işleme ve öz-dikkat mekanizması nedeniyle çok daha büyük ölçekte eğitilebilir. GRU ardışık işlem yapısı nedeniyle uzun dizilerde Transformer'ın gerisinde kalır.
  • check_circle PyTorch'ta GRU nasıl kullanılır? torch.nn.GRU(input_size, hidden_size, num_layers) ile kolayca oluşturulabilir. Çift yönlü (bidirectional) GRU için bidirectional=True parametresi yeterlidir.
  • check_circle GRU vanishing gradient sorununu tam anlamıyla çözer mi? Önemli ölçüde azaltır ancak çok uzun bağımlılıklarda (binlerce adım) tam anlamıyla çözmez. Bu durumlarda dikkat mekanizması veya Transformer mimarisi tercih edilmelidir.
  • check_circle GRU ile zaman serisi tahmini nasıl yapılır? Önce kayan pencere kurun: son 30 adımı girdi, 31. adımı hedef yapın. Veriyi yalnızca eğitim kümesine göre ölçekleyin ve bölmeyi tarihe göre ayırın. Modeli nn.GRU(input_size=özellik sayısı, hidden_size=64, batch_first=True) ile kurup son zaman adımının çıktısını bir Linear katmana bağlayın, kayıp olarak MSE kullanın. Sonuçları raporlarken inverse_transform ile gerçek birime dönün; ölçeklenmiş RMSE yanıltıcı derecede küçük görünür.
  • check_circle GRU eğitmek için GPU şart mı? Hayır. 64-128 gizli birimli bir GRU ve on binlerce örneklik bir veri seti dizüstü bilgisayarın işlemcisinde dakikalar içinde eğitilir. GPU, 500 adımı aşan diziler, büyük gömme katmanları veya yüz binlerce örnekli metin veri setlerinde anlam kazanır.
  • check_circle Türkçe metin sınıflandırmada GRU mu BERTurk mü? Doğruluk hedefliyorsanız BERTurk ince ayarı GRU'yu geçer, aradaki fark çoğu görevde birkaç puandır ama tutarlıdır. GRU'nun avantajı hız ve boyut: CPU üzerinde milisaniyelerle yanıt verir, model birkaç yüz MB yerine birkaç MB yer kaplar. GRU kullanacaksanız Türkçenin eklemeli yapısı nedeniyle kelime yerine alt kelime veya karakter düzeyinde tokenizasyon seçin, aksi halde kelime dağarcığı hızla şişer.
  • check_circle GRU çıktısı neden üç boyutlu? GRU her zaman adımı için bir gizli durum ürettiği için çıktı (yığın, zaman adımı, gizli birim) boyutundadır. Tek bir sınıf ya da tek bir sayı tahmin ediyorsanız son adımı alın: PyTorch'ta out[:, -1, :], Keras'ta return_sequences varsayılan olarak False bırakılır. Her adım için etiket üretiyorsanız (dizi etiketleme, varlık tanıma) çıktının tamamını kullanırsınız.