Q-Learning (Q-Öğrenme)

#pekiştirmeli öğrenme #Q-değeri #DQN #Bellman denklemi

Bir ajanın çevreyle etkileşim kurarak Q-değer fonksiyonunu öğrendiği model-bağımsız pekiştirmeli öğrenme algoritması.

Q-Learning, pekiştirmeli öğrenmenin (reinforcement learning) model-bağımsız ve off-policy bir alt dalıdır. 1989 yılında Christopher Watkins tarafından geliştirilen bu algoritma, bir ajanın çevresiyle deneme-yanılma yoluyla etkileşime girerek en yüksek birikimli ödülü sağlayacak politikayı öğrenmesini hedefler. Algoritmanın temel bileşeni Q-değer fonksiyonu Q(s, a)'dır. Burada s bir durumu (state), a ise bir eylemi (action) temsil eder. Q(s, a), ajan s durumundayken a eylemini seçip ardından optimal stratejiyi izlediğinde elde edeceği beklenen toplam gelecek ödülü ifade eder. Q harfi kalite kelimesinden gelir ve belirli bir durumda belirli bir eylemin ne kadar değerli olduğunu ölçer. Öğrenme süreci bir Q-tablosu üzerinden yürür. Başlangıçta sıfırlarla başlatılan bu tablo, ajan her eylemden sonra alınan r ödülü ve gözlemlenen yeni s' durumuna göre Bellman denklemiyle güncellenir: Q(s, a) ← Q(s, a) + α · [r + γ · max_a' Q(s', a') − Q(s, a)]. Bu formülde α öğrenme oranını, γ indirim faktörünü gösterir; indirim faktörü yakın ödüllerin mi yoksa uzak ödüllerin mi öne çıkarılacağını belirler. Ajan, yeni durumları keşfetmek (exploration) ile bilinen en iyi eylemi seçmek (exploitation) arasındaki dengeyi ε-greedy stratejisiyle yönetir. Durum uzayı büyüdükçe Q-tablosu pratik olmaktan çıkar. Bu sorunu aşmak için DeepMind 2015'te Derin Q-Ağı'nı (Deep Q-Network, DQN) tanıttı. DQN, Q-tablosunu derin bir sinir ağıyla değiştirir ve deneyim tekrarı (experience replay) ile hedef ağ (target network) gibi mekanizmalar aracılığıyla öğrenmeyi kararlı kılar. DQN, yalnızca ham piksel verisiyle 49 Atari oyununda insan düzeyinde performans göstererek derin pekiştirmeli öğrenme alanını doğurdu. Q-Learning bugün enerji sistemleri optimizasyonu, otonom araç kontrolü, robotik görev planlama, kenar-bulut bilişimde gecikme yönetimi ve ilaç keşfinde aktif biçimde kullanılmaktadır.

Q-Learning Nedir ve Neden Önemlidir?

Q-Learning, pekiştirmeli öğrenmenin (reinforcement learning) model-bağımsız, off-policy bir algoritmasıdır. 1989 yılında Christopher Watkins tarafından doktora tezi kapsamında geliştirilen bu yaklaşım, ortam dinamiklerinin önceden bilinmesini gerektirmez; ajan, çevresiyle doğrudan etkileşerek optimal karar stratejisini keşfeder. "Off-policy" niteliği, Q-Learning'in mevcut davranış politikasından bağımsız olarak iyileştirilebilmesi anlamına gelir. Bu özellik algoritmaya geniş bir esneklik kazandırır ve yeniden kullanılabilir deneyim üretimini mümkün kılar. Q-Learning, oyun yapay zekasından endüstriyel kontrole kadar uzanan alanlarda pekiştirmeli öğrenmenin temel yapı taşı olmuştur.

Q-Tablosu ve Bellman Güncelleme Denklemi

Q-Learning, her durum-eylem çifti için bir değer saklayan Q-tablosu üzerinde çalışır. Başlangıçta sıfırlarla doldurulan bu tablo, ajan her adım attıkça Bellman denklemi aracılığıyla güncellenir: **Q(s, a) ← Q(s, a) + α · [r + γ · max_{a'} Q(s', a') − Q(s, a)]** - **α (öğrenme oranı):** Yeni bilginin eski değere ne kadar ağırlıklı eklendiğini belirler. - **γ (indirim faktörü):** Gelecekteki ödüllerin bugünkü değerini ölçer; 0'a yakınsa anlık, 1'e yakınsa uzun vadeli ödüller ön plana çıkar. - **r (anlık ödül):** Ajanın seçtiği eylem için ortamdan gelen geri bildirim. - **max_{a'} Q(s', a'):** Yeni durumda alınabilecek en iyi eylemin tahmini değeri. Yeterli sayıda iterasyon sonunda Q-tablosu optimal politikayı yansıtacak biçimde yakınsar.

Keşif ve Sömürü Dengesi

Q-Learning'in kritik zorluklarından biri, ajanın yeni stratejileri keşfetme (exploration) ile mevcut bilgisinden yararlanma (exploitation) arasında denge kurma gerekliliğidir. Bu dengeyi sağlamak için en yaygın yöntem ε-greedy stratejisidir: ε olasılıkla ajan rastgele bir eylem seçerken (keşif), (1−ε) olasılıkla Q-tablosuna göre en yüksek değeri veren eylemi seçer (sömürü). Eğitim ilerledikçe ε değeri kademeli olarak düşürülür; başlangıçta ağırlıklı keşif yapan ajan zamanla öğrendiği politikaya güvenmeye başlar. Doğru ε planlaması, ajanın yetersiz keşiften kaynaklanan suboptimal politikalar ile aşırı keşiften kaynaklanan yavaş öğrenme arasındaki dengeyi kurmasını sağlar.

Derin Q-Ağı (Deep Q-Network, DQN)

Klasik Q-Learning büyük durum uzaylarında pratik olmaktan çıkar. Bu sınırlamayı aşmak için DeepMind 2015'te DQN mimarisini Nature dergisinde yayımladı. DQN'ın getirdiği iki temel yenilik: 1. **Deneyim tekrarı (Experience Replay):** Geçiş deneyimleri bir bellekte biriktirilir ve eğitim için rastgele örneklenir; bu ardışık deneyimler arasındaki korelasyonu kırar. 2. **Hedef ağ (Target Network):** Eğitim sırasında Q-değerleri hesaplanırken ayrı bir ağ kullanılır; belirli adım aralıklarıyla güncellenerek hedef kaymasını önler. DQN, yalnızca ham piksel girdisiyle 49 Atari oyununun 29'unda insan seviyesini aşarak derin pekiştirmeli öğrenme alanının kapısını araladı.

Kullanım Alanları

Q-Learning ve türevleri günümüzde pek çok alanda kritik rol oynar: - **Oyun yapay zekası:** Atari, Chess, Go ve StarCraft II gibi oyunlarda süper-insan performansı. - **Robotik:** Manipülatör kolların kavrama görevlerini öğrenmesi, insansız hava araçlarının rota planlaması. - **Enerji optimizasyonu:** Güneş paneli sistemlerinde maksimum güç noktasının gerçek zamanlı takibi. - **Kenar-bulut bilişim:** Gecikmeye duyarlı görev çizelgeleme (EdgeSched-DQN). - **Otonom araçlar:** Trafik ışığı kontrolü, şerit değiştirme ve park manevrası optimizasyonu.

Avantajlar ve Sınırlılıklar

**Avantajlar:** - Model-bağımsız: Ortam dinamiklerini önceden bilmeden çalışır. - Off-policy: Eski deneyimlerden tekrar öğrenebilir. - Yakınsama garantisi: Sonlu uzaylarda ve uygun koşullar altında optimal Q-değerlerine ulaşır. **Sınırlılıklar:** - Büyük veya sürekli durum uzaylarında Q-tablosu ölçeklenmez. - Örneklem verimsizliği: Milyonlarca etkileşim gerektirebilir. - Ödül mühendisliği: Kötü tasarlanmış ödül fonksiyonları istenmeyen davranışlara yol açar.