tag Dizi Modelleme
LSTM (Long Short-Term Memory) (Uzun Kısa Vadeli Hafıza)
Bu sayfada Dizi Modelleme (LSTM (Long Short-Term Memory) (Uzun Kısa Vadeli Hafıza)) etiketi ile işaretlenmiş 2 yapay zeka kavramını bulabilirsiniz.
LSTM (Long Short-Term Memory — Uzun Kısa Vadeli Hafıza), standart tekrarlayan sinir ağlarının (RNN) uzun vadeli bağımlılıkları öğrenememesi sorununu çözmek amacıyla 1997 yılında Sepp Hochreiter ve Jürgen Schmidhuber tarafından önerilen özel bir derin öğrenme mimarisidir. Vanilla RNN'ler, zaman içinde geriye doğru yayılan gradyanların katmanlar boyunca küçülerek sıfıra yaklaşmasıyla ortaya çıkan kaybolan gradyan probleminden muzdaripti; bu durum modelin uzun metin dizileri veya ses verilerindeki uzak bağımlılıkları öğrenmesini imkânsız kılıyordu. LSTM bu sorunu üç kapı mekanizmasıyla çözer. Unutma kapısı (forget gate), hücre durumundan hangi bilgilerin atılacağına karar verir; sigmoid aktivasyon fonksiyonu 0 ile 1 arasında bir değer üretir ve buna göre geçmiş bilgi kısmen veya tamamen silinir. Giriş kapısı (input gate), yeni bilgilerin hücre durumuna ne ölçüde ekleneceğini denetler; sigmoid çıktısı ile tanh aktivasyonundan geçirilmiş aday değerlerin çarpımıyla güncelleme gerçekleşir. Çıkış kapısı (output gate) ise hücre durumunun hangi kısmının bu adımın gizli durumu olarak dışarıya aktarılacağını belirler. Bu mimari, özellikle dizi-dizi (seq2seq) görevlerinde 2010'ların başından ortasına kadar baskın model olmuştur. Makine çevirisi, konuşma tanıma, el yazısı tanıma, zaman serisi tahmini ve metin üretimi alanlarında LSTM tabanlı modeller uzun yıllar boyunca en iyi sonuçları üretmiştir. Google Translate, 2016 yılında kural tabanlı sistemden LSTM tabanlı sinir ağı çevirisine geçerek çeviri kalitesinde büyük bir sıçrama kaydetmiştir. 2017'den itibaren Transformer mimarisinin yükselişiyle LSTM'nin hâkimiyeti azalmıştır. Transformer'lar dikkat mekanizması (attention) aracılığıyla paralel hesaplamaya olanak tanıyarak eğitim hızını dramatik biçimde artırır; bu avantaj GPT ve BERT gibi büyük dil modellerinin temelini oluşturur. Bununla birlikte LSTM, sinyal işleme, finans zaman serileri ve kaynak kısıtlı ortamlar gibi alanlarda hâlâ tercih edilen bir mimari olmaya devam etmektedir.
LSTM (Long Short-Term Memory) (Uzun Kısa Vadeli Hafıza)
LSTM (Long Short-Term Memory — Uzun Kısa Vadeli Hafıza), standart tekrarlayan sinir ağlarının (RNN) uzun vadeli bağımlılıkları öğrenememesi sorununu çözmek amacıyla 1997 yılında Sepp Hochreiter ve Jürgen Schmidhuber tarafından önerilen özel bir derin öğrenme mimarisidir. Vanilla RNN'ler, zaman içinde geriye doğru yayılan gradyanların katmanlar boyunca küçülerek sıfıra yaklaşmasıyla ortaya çıkan kaybolan gradyan probleminden muzdaripti; bu durum modelin uzun metin dizileri veya ses verilerindeki uzak bağımlılıkları öğrenmesini imkânsız kılıyordu. LSTM bu sorunu üç kapı mekanizmasıyla çözer. Unutma kapısı (forget gate), hücre durumundan hangi bilgilerin atılacağına karar verir; sigmoid aktivasyon fonksiyonu 0 ile 1 arasında bir değer üretir ve buna göre geçmiş bilgi kısmen veya tamamen silinir. Giriş kapısı (input gate), yeni bilgilerin hücre durumuna ne ölçüde ekleneceğini denetler; sigmoid çıktısı ile tanh aktivasyonundan geçirilmiş aday değerlerin çarpımıyla güncelleme gerçekleşir. Çıkış kapısı (output gate) ise hücre durumunun hangi kısmının bu adımın gizli durumu olarak dışarıya aktarılacağını belirler. Bu mimari, özellikle dizi-dizi (seq2seq) görevlerinde 2010'ların başından ortasına kadar baskın model olmuştur. Makine çevirisi, konuşma tanıma, el yazısı tanıma, zaman serisi tahmini ve metin üretimi alanlarında LSTM tabanlı modeller uzun yıllar boyunca en iyi sonuçları üretmiştir. Google Translate, 2016 yılında kural tabanlı sistemden LSTM tabanlı sinir ağı çevirisine geçerek çeviri kalitesinde büyük bir sıçrama kaydetmiştir. 2017'den itibaren Transformer mimarisinin yükselişiyle LSTM'nin hâkimiyeti azalmıştır. Transformer'lar dikkat mekanizması (attention) aracılığıyla paralel hesaplamaya olanak tanıyarak eğitim hızını dramatik biçimde artırır; bu avantaj GPT ve BERT gibi büyük dil modellerinin temelini oluşturur. Bununla birlikte LSTM, sinyal işleme, finans zaman serileri ve kaynak kısıtlı ortamlar gibi alanlarda hâlâ tercih edilen bir mimari olmaya devam etmektedir.
Hidden Markov Model (Gizli Markov Modeli)
Hidden Markov Model (Gizli Markov Modeli — HMM), gözlemlenemeyen (gizli) durumlar arasındaki olasılıksal geçişleri ve bu durumların ürettiği gözlemleri modelleyen bir olasılıksal grafik modelidir. "Markov" özelliği, bir sonraki durumun yalnızca mevcut duruma bağlı olduğunu; geçmiş tüm durumlardan bağımsız olduğunu ifade eder. "Gizli" sözcüğü ise gerçek sistem durumlarının doğrudan gözlemlenemeyip yalnızca bu durumların ürettiği semboller ya da sinyaller aracılığıyla çıkarsanabileceğini belirtir. Matematiksel olarak HMM beş bileşenden oluşur: gizli durum kümesi S, gözlem sembol kümesi O, durum geçiş olasılıkları matrisi A (A[i][j] = i durumundan j durumuna geçiş olasılığı), yayılım (emission) olasılıkları matrisi B (B[j][k] = j durumundayken k sembolünü yayma olasılığı) ve başlangıç durum dağılımı π. HMM'e yönelik üç temel hesaplama problemi vardır. İlki değerlendirme (evaluation): verili gözlem dizisi için modelin bu diziyi üretme olasılığını hesaplamak; İleri Algoritma (Forward Algorithm) bu problemin verimli çözümüdür. İkincisi çözümleme (decoding): verili gözlem dizisine en olası gizli durum dizisini bulmak; Viterbi Algoritması dinamik programlama ile bu görevi O(N²T) süre karmaşıklığıyla çözer. Üçüncüsü öğrenme (learning): gözlem verilerinden A, B ve π parametrelerini tahmin etmek; Baum-Welch Algoritması, Beklenti-Maksimizasyon (EM) çerçevesinde bu görevi yerine getirir. Tarihsel olarak HMM, 1970'lerde otomatik konuşma tanıma (ASR) sistemlerinin temel taşı oldu: akustik model olarak her fonem bir HMM durumuna karşılık gelirken Viterbi algoritması en olası fonem dizisini çözümler. Ayrıca POS (part-of-speech) etiketleme, biyoinformatik (gen dizisi analizi), jest ve el yazısı tanıma ile finansal zaman serisi modellemesinde yaygın biçimde kullanılmıştır. Derin öğrenme çağında RNN ve Transformer mimarileri büyük ölçüde HMM'nin yerini almıştır; ancak HMM yorumlanabilirliği, gizli durum ayrımı ve küçük veri senaryolarındaki avantajlarını korumaktadır. Modern ASR sistemlerinde CTC-HMM hibrit mimarileri hâlâ üretimde kullanılmakta; kaldi ve ESPnet gibi araç setleri bu yaklaşımı desteklemektedir. Türkçe konuşma tanıma araştırmalarında HMM tabanlı akustik modeller akademik çalışmalarda referans noktası olma özelliğini sürdürmektedir.