Q-Learning (Q-Öğrenme)

#pekiştirmeli öğrenme #Q-değeri #DQN #Bellman denklemi

Bir ajanın çevreyle etkileşim kurarak Q-değer fonksiyonunu öğrendiği model-bağımsız pekiştirmeli öğrenme algoritması.

Q-Learning, pekiştirmeli öğrenmenin (reinforcement learning) model-bağımsız ve off-policy bir alt dalıdır. 1989 yılında Christopher Watkins tarafından geliştirilen bu algoritma, bir ajanın çevresiyle deneme-yanılma yoluyla etkileşime girerek en yüksek birikimli ödülü sağlayacak politikayı öğrenmesini hedefler. Algoritmanın temel bileşeni Q-değer fonksiyonu Q(s, a)'dır. Burada s bir durumu (state), a ise bir eylemi (action) temsil eder. Q(s, a), ajan s durumundayken a eylemini seçip ardından optimal stratejiyi izlediğinde elde edeceği beklenen toplam gelecek ödülü ifade eder. Q harfi kalite kelimesinden gelir ve belirli bir durumda belirli bir eylemin ne kadar değerli olduğunu ölçer. Öğrenme süreci bir Q-tablosu üzerinden yürür. Başlangıçta sıfırlarla başlatılan bu tablo, ajan her eylemden sonra alınan r ödülü ve gözlemlenen yeni s' durumuna göre Bellman denklemiyle güncellenir: Q(s, a) ← Q(s, a) + α · [r + γ · max_a' Q(s', a') − Q(s, a)]. Bu formülde α öğrenme oranını, γ indirim faktörünü gösterir; indirim faktörü yakın ödüllerin mi yoksa uzak ödüllerin mi öne çıkarılacağını belirler. Ajan, yeni durumları keşfetmek (exploration) ile bilinen en iyi eylemi seçmek (exploitation) arasındaki dengeyi ε-greedy stratejisiyle yönetir. Durum uzayı büyüdükçe Q-tablosu pratik olmaktan çıkar. Bu sorunu aşmak için DeepMind 2015'te Derin Q-Ağı'nı (Deep Q-Network, DQN) tanıttı. DQN, Q-tablosunu derin bir sinir ağıyla değiştirir ve deneyim tekrarı (experience replay) ile hedef ağ (target network) gibi mekanizmalar aracılığıyla öğrenmeyi kararlı kılar. DQN, yalnızca ham piksel verisiyle 49 Atari oyununda insan düzeyinde performans göstererek derin pekiştirmeli öğrenme alanını doğurdu. Q-Learning bugün enerji sistemleri optimizasyonu, otonom araç kontrolü, robotik görev planlama, kenar-bulut bilişimde gecikme yönetimi ve ilaç keşfinde aktif biçimde kullanılmaktadır.

Q-Learning Nedir ve Neden Önemlidir?

Q-Learning, pekiştirmeli öğrenmenin (reinforcement learning) model-bağımsız, off-policy bir algoritmasıdır. 1989 yılında Christopher Watkins tarafından doktora tezi kapsamında geliştirilen bu yaklaşım, ortam dinamiklerinin önceden bilinmesini gerektirmez; ajan, çevresiyle doğrudan etkileşerek optimal karar stratejisini keşfeder.

"Off-policy" niteliği, Q-Learning'in mevcut davranış politikasından bağımsız olarak iyileştirilebilmesi anlamına gelir. Bu özellik algoritmaya geniş bir esneklik kazandırır ve yeniden kullanılabilir deneyim üretimini mümkün kılar. Q-Learning, oyun yapay zekasından endüstriyel kontrole kadar uzanan alanlarda pekiştirmeli öğrenmenin temel yapı taşı olmuştur.

Q-Tablosu ve Bellman Güncelleme Denklemi

Q-Learning, her durum-eylem çifti için bir değer saklayan Q-tablosu üzerinde çalışır. Başlangıçta sıfırlarla doldurulan bu tablo, ajan her adım attıkça Bellman denklemi aracılığıyla güncellenir:

Q(s, a) ← Q(s, a) + α · [r + γ · max_{a'} Q(s', a') − Q(s, a)]

- α (öğrenme oranı): Yeni bilginin eski değere ne kadar ağırlıklı eklendiğini belirler. - γ (indirim faktörü): Gelecekteki ödüllerin bugünkü değerini ölçer; 0'a yakınsa anlık, 1'e yakınsa uzun vadeli ödüller ön plana çıkar. - r (anlık ödül): Ajanın seçtiği eylem için ortamdan gelen geri bildirim. - max_{a'} Q(s', a'): Yeni durumda alınabilecek en iyi eylemin tahmini değeri.

Yeterli sayıda iterasyon sonunda Q-tablosu optimal politikayı yansıtacak biçimde yakınsar.

Keşif ve Sömürü Dengesi

Q-Learning'in kritik zorluklarından biri, ajanın yeni stratejileri keşfetme (exploration) ile mevcut bilgisinden yararlanma (exploitation) arasında denge kurma gerekliliğidir. Bu dengeyi sağlamak için en yaygın yöntem ε-greedy stratejisidir: ε olasılıkla ajan rastgele bir eylem seçerken (keşif), (1−ε) olasılıkla Q-tablosuna göre en yüksek değeri veren eylemi seçer (sömürü).

Eğitim ilerledikçe ε değeri kademeli olarak düşürülür; başlangıçta ağırlıklı keşif yapan ajan zamanla öğrendiği politikaya güvenmeye başlar. Doğru ε planlaması, ajanın yetersiz keşiften kaynaklanan suboptimal politikalar ile aşırı keşiften kaynaklanan yavaş öğrenme arasındaki dengeyi kurmasını sağlar.

Derin Q-Ağı (Deep Q-Network, DQN)

Klasik Q-Learning büyük durum uzaylarında pratik olmaktan çıkar. Bu sınırlamayı aşmak için DeepMind 2015'te DQN mimarisini Nature dergisinde yayımladı.

DQN'ın getirdiği iki temel yenilik:

1. Deneyim tekrarı (Experience Replay): Geçiş deneyimleri bir bellekte biriktirilir ve eğitim için rastgele örneklenir; bu ardışık deneyimler arasındaki korelasyonu kırar. 2. Hedef ağ (Target Network): Eğitim sırasında Q-değerleri hesaplanırken ayrı bir ağ kullanılır; belirli adım aralıklarıyla güncellenerek hedef kaymasını önler.

DQN, yalnızca ham piksel girdisiyle 49 Atari oyununun 29'unda insan seviyesini aşarak derin pekiştirmeli öğrenme alanının kapısını araladı.

Kullanım Alanları

Q-Learning ve türevleri günümüzde pek çok alanda kritik rol oynar:

- Oyun yapay zekası: Atari, Chess, Go ve StarCraft II gibi oyunlarda süper-insan performansı. - Robotik: Manipülatör kolların kavrama görevlerini öğrenmesi, insansız hava araçlarının rota planlaması. - Enerji optimizasyonu: Güneş paneli sistemlerinde maksimum güç noktasının gerçek zamanlı takibi. - Kenar-bulut bilişim: Gecikmeye duyarlı görev çizelgeleme (EdgeSched-DQN). - Otonom araçlar: Trafik ışığı kontrolü, şerit değiştirme ve park manevrası optimizasyonu.

Avantajlar ve Sınırlılıklar

Avantajlar: - Model-bağımsız: Ortam dinamiklerini önceden bilmeden çalışır. - Off-policy: Eski deneyimlerden tekrar öğrenebilir. - Yakınsama garantisi: Sonlu uzaylarda ve uygun koşullar altında optimal Q-değerlerine ulaşır.

Sınırlılıklar: - Büyük veya sürekli durum uzaylarında Q-tablosu ölçeklenmez. - Örneklem verimsizliği: Milyonlarca etkileşim gerektirebilir. - Ödül mühendisliği: Kötü tasarlanmış ödül fonksiyonları istenmeyen davranışlara yol açar.

Sık Sorulan Sorular

  • check_circle Q-Learning ile SARSA arasındaki fark nedir? SARSA on-policy, Q-Learning off-policy'dir. SARSA gerçekte seçilen eylemi temel alarak güncelleme yaparken Q-Learning daima en iyi eylemi (max Q) hedefler. Bu Q-Learning'i daha iddialı ancak bazen dengesiz, SARSA'yı ise daha temkinli kılar.
  • check_circle DQN Q-Learning'den nasıl farklıdır? DQN, Q-tablosunu derin bir sinir ağıyla değiştirerek büyük ve sürekli durum uzaylarını işleyebilir hale getirir. Experience replay ve target network öğrenmeyi kararlı kılar; klasik Q-Learning ise tabloya dayalı çalışır.
  • check_circle İndirim faktörü γ nasıl seçilir? γ 0'a yakınsa ajan anlık ödüllere odaklanır, 1'e yakınsa uzun vadeli sonuçlara ağırlık verir. Genellikle 0.95–0.99 aralığı tercih edilir.
  • check_circle Q-Learning ne zaman yakınsar? Her durum-eylem çifti yeterince ziyaret edildiğinde, α zamanla azaldığında ve γ < 1 olduğunda Watkins-Dayan teoremi yakınsama garantisi verir.
  • check_circle Q-Learning gerçek dünya uygulamalarında neden zorlandı? Gerçek ortamlar genellikle sürekli durum uzayına ve çok sayıda eyleme sahiptir. Q-tablosu bu karmaşıklıkla baş edemez; DQN ve türevleri (Double DQN, Dueling DQN, Rainbow) bu kısıtlamaları sinir ağı yaklaşımıyla aşar.