Pekiştirmeli Öğrenme Nedir? Ajan, Ödül ve RL Algoritmaları

Satranç oynamayı öğrenmenin bir yolu kuralları ezberlemektir. Ama dünyanın en iyi satranç oyuncusunu yetiştiren yol bu değildi. AlphaZero, başlangıçta kuralların dışında hiçbir şey bilmiyordu; kazandığında ne hissettireceğini anlamak için milyonlarca kez oynayarak öğrendi. Yaptığı şey tam olarak pekiştirmeli öğrenmeydi.

Makine öğreniminin üç temel paradigmasından biri olan pekiştirmeli öğrenme, etiketli veri gerektiren denetimli öğrenmeden ya da yapıyı kendi başına keşfeden denetimsiz öğrenmeden farklı bir yerde durur. Burada öğrenme, bir ajanın ortamıyla aktif etkileşimi üzerinden yürür. Ajan bir şey yapar, ortam tepki verir, ajan bu tepkiden bir şeyler çıkarır. Tekrar eder. Zamanla en iyi stratejiyi keşfeder.

Temel Kavramlar: RL’nin Beş Bileşeni

Pekiştirmeli öğrenmeyi anlatan her kaynak aynı beş kavramdan geçer. Bunları soyut tanımlar olarak değil, birbirine bağlı bir sistemin parçaları olarak düşünmek daha verimli.

Ajan (Agent): Kararları veren ve aksiyonları gerçekleştiren varlık. Bir robot, bir oyun karakteri ya da bir dil modeli olabilir. Ajanın amacı toplam ödülü maksimize etmektir.

Ortam (Environment): Ajanın içinde çalıştığı dünya. Bir oyun motorundan fiziksel bir robota, bir finans piyasasından bir dil üretim sistemine kadar her şey ortam olabilir. Ajan aksiyonlarını ortama gönderir; ortam durum güncellemesi ve ödül sinyali döner.

Durum (State): Ortamın belirli bir andaki gözlemlenebilir temsili. Bir satranç tahtasındaki figürlerin konumu, bir robotun eklemlerinin açıları ya da bir oyundaki piksel dizisi birer durum örneğidir.

Aksiyon (Action): Ajanın seçebileceği hareketler kümesi. Bazı problemlerde bu küme sonlu ve ayrık (yukarı/aşağı/sola/sağa), bazılarında ise süreklidir (direksiyon açısı 0 ile 360 derece arasında).

Ödül (Reward): Ortamın, ajanın yaptığı aksiyona verdiği skalar geri bildirim. +1, –1, ya da daha ayrıntılı bir sinyal olabilir. Kritik nokta: ödül, o anın iyi ya da kötü olduğunu söyler ama ajanın stratejisinin uzun vadede ne kadar başarılı olduğunu söylemez. Bunu çıkarmak ajanın işidir.

Politika (Policy): Ajanın karar alma mekanizması. Bir durumu girdi olarak alır, yapılacak aksiyonu çıktı verir. Deterministik (belirli bir durumda her zaman aynı aksiyonu seç) ya da stokastik (her aksiyon için olasılık dağılımı üret) olabilir. RL’nin amacı optimum politikayı bulmaktır.

Bu bileşenler birleştiğinde şu döngü oluşur: Ajan bir durum gözlemler → bir aksiyon seçer → ortam ödül ve yeni durumu döner → ajan bu bilgiyle politikasını günceller → döngü tekrar başlar.

Markov Karar Süreci: RL’nin Matematiksel Çerçevesi

Pekiştirmeli öğrenme problemleri çoğunlukla Markov Karar Süreci (MDP) formülasyonuyla tanımlanır. Bir MDP şu bileşenlerden oluşur:

• S: durum uzayı
• A: aksiyon uzayı
• P(s’ | s, a): geçiş olasılıkları (s durumunda a aksiyonu yapılırsa s’ durumuna geçme ihtimali)
• R(s, a, s’): ödül fonksiyonu
• γ (gamma): iskonto faktörü (0 ile 1 arasında)

Markov koşulu, bir sonraki durumun yalnızca mevcut duruma bağlı olduğunu söyler. Geçmiş ne olursa olsun, şimdiki durum tüm ilgili bilgiyi içerir. Bu varsayım gerçek dünyada çoğu zaman tam doğru değildir, ama matematiksel olarak çalışılabilir bir çerçeve sağlar.

Diskontlama ise gelecekteki ödüllerin değerini azaltır. γ = 0.9 olduğunda bir adım sonraki +1 ödülü bugün 0.9, iki adım sonrakisi 0.81 değer taşır. Bu, ajanı kısa vadeli fırsatları görmezden gelmemesi için teşvik ederken aynı zamanda uzun vadeli planlamaya yönlendirir.

Bellman Denklemi ise RL’nin temel eşitliğidir. Bir durumun değeri (o durumdan elde edilebilecek beklenen toplam ödül), anlık ödül artı iskontolu gelecek değerin toplamına eşittir:

V(s) = max_a [ R(s, a) + γ · Σ P(s'|s,a) · V(s') ]

Bu denklem, dinamik programlama yoluyla yinelemeli olarak çözülebilir. Q-learning ve diğer tablo tabanlı yöntemlerin matematiği buraya dayanır.

Keşif-Sömürü Dengesi

RL’nin en temel gerilimlerinden biri şudur: Ajan daha önce ödül aldığı aksiyonları mı tekrarlamalı (sömürü), yoksa belki daha iyi olan aksiyonları keşfetmek için bilinmeyene mi adım atmalı (keşif)?

Sadece sömürüde kalan ajan yerel bir optima’ya takılır. Sadece keşifde kalan ajan ise öğrendiği hiçbir şeyi kullanmaz. Dengeyi kurmak bir tasarım kararıdır.

Epsilon-greedy: En basit yöntem. Ajan, ε olasılıkla rastgele bir aksiyon seçer (keşif), 1–ε olasılıkla şimdiye kadar öğrendiklerine göre en iyi aksiyonu seçer (sömürü). ε değeri eğitim boyunca azaltılır; başlangıçta çok keşif, sonlara doğru daha fazla sömürü.

Üstel Azalma: ε değerini sabit tutmak yerine her adımda üstel olarak küçültmek, keşif-sömürü geçişini daha pürüzsüz yapar.

UCB (Upper Confidence Bound): Her aksiyona bir güven aralığı atar. Az denenen aksiyonlar belirsizlik bonusuyla daha cazip görünür; bu da keşifi sistematik hale getirir.

Curiosity-Driven Exploration: Özellikle seyrek ödüllü ortamlarda dış ödül sinyali yetersiz kalır. Ajanın bir iç model kurmasını ve modelin tahmin edemediği durumları merak güdüsüyle keşfetmesini sağlamak bir çözümdür. Bu yaklaşım, oyun ajanlarının ilginç bölgeleri kendiliğinden keşfetmesini mümkün kılar.

Temel RL Algoritmaları

Q-Learning: Tablo Tabanlı Başlangıç

Q-learning, her (durum, aksiyon) çifti için bir Q değeri tutar. Bu değer, o çiftten başlayarak elde edilebilecek maksimum beklenen toplam ödülü temsil eder.

Q(s, a) ← Q(s, a) + α · [r + γ · max_a' Q(s', a') − Q(s, a)]

α öğrenme hızı, r anlık ödül. Ajan her adımda bu güncellemeyi çalıştırır; zamanla Q tablosu optimalliğe yakınsayacaktır.

Sorun: Durum uzayı büyüdüğünde tablo tutmak imkânsız hale gelir. Atari oyunlarında bir ekran görüntüsü milyonlarca piksel içerebilir. Bu noktada derin öğrenme devreye girer.

Deep Q-Network (DQN): Atari’yi Geçmek

2013’te DeepMind’ın yayımladığı DQN makalesi, Q değerlerini bir derin sinir ağıyla tahmin etmeye başladı. Giriş olarak ham piksel verisini alan ağ, her aksiyon için Q değeri üretir.

Bu çalışmanın iki kritik katkısı vardı:

Deneyim Tekrarı (Experience Replay): Ajan her adımda geçmiş (durum, aksiyon, ödül, yeni durum) demetlerini bir belleğe yazar. Eğitim sırasında bu bellekten rastgele örnekleme yapılır. Ardışık örnekler arasındaki yüksek korelasyon bu şekilde kırılır ve eğitim kararlı hale gelir.

Hedef Ağı (Target Network): Q güncellemesinde kullanılan hedef değerler de değişen bir ağdan hesaplanırsa eğitim genellikle kararsızlaşır. DQN, belirli adımlarda dondurulan ayrı bir hedef ağı tutar; bu, eğitimi önemli ölçüde stabilize eder.

DQN, insan seviyesini aşarak Atari oyunlarının büyük çoğunluğunu oynadı. Ama sürekli aksiyon uzaylarında (robot kontrolü gibi) tablo mantığı hâlâ sınırlı kalıyordu.

Policy Gradient ve REINFORCE

Q-learning, değer fonksiyonunu öğrenerek dolaylı olarak politikaya ulaşır. Policy gradient yöntemleri ise politikayı doğrudan parametrize eder ve gradyanı politika parametrelerine göre hesaplar.

Temel fikir: Yüksek ödülle sonuçlanan aksiyonların olasılığını artır, düşük ödüllü aksiyonlarınkini azalt.

REINFORCE algoritması bunu en basit haliyle yapar: bölüm biter, toplam ödül hesaplanır, politika bu ödülle ağırlıklandırılmış log-olasılık gradyanıyla güncellenir. Uygulamada yüksek varyans sorunu var; baseline ve advantage tahminleriyle azaltılabilir.

Proximal Policy Optimization (PPO)

PPO, OpenAI’nin 2017’de önerdiği ve bugün de en yaygın kullanılan RL algoritmalarından biridir. RLHF tabanlı hizalama yöntemlerinin tercih ettiği algoritma olması da tesadüf değildir.

Policy gradient yöntemlerinin temel sorunu şudur: politika güncellemesi çok büyükse ajan bir adımda tamamen farklı bir politikaya geçebilir ve bu genellikle performansı kalıcı olarak bozar. PPO bunu iki şekilde önler:

Clipped Objective: Eski politika ile yeni politika arasındaki oran belirli bir aralıkla sınırlandırılır. Bu “clip” işlemi, güncellemelerin çok büyük olmasını engeller.

KL Cezası: Alternatif olarak, eski ve yeni politika arasındaki KL ıraksama miktarı ceza terimi olarak kayıp fonksiyonuna eklenir.

Sonuç: Hem örneklem verimli hem de kararlı bir eğitim. PPO, robotik kontrolden dil modeli hizalamasına kadar geniş bir yelpazede çalışır.

Actor-Critic Mimarisi

Actor-Critic yöntemleri, iki ağı paralel olarak eğitir:

• Actor (Politika Ağı): Hangi aksiyonu seçeceğini öğrenir.
• Critic (Değer Ağı): Mevcut durumun ne kadar iyi olduğunu tahmin eder. Bu tahmin, actor’ın güncellemesinde “baseline” işlevi görür ve varyansı düşürür.

PPO ve SAC (Soft Actor-Critic) bu mimarinin önemli örneklerindendir. Günümüzde çoğu pratik RL sistemi actor-critic mimarisini temel alır.

Uygulama Alanları

Pekiştirmeli öğrenme, “öğrenmek” için etiketli veri bulunamayan ya da doğru etiketin ne olduğunun belli olmadığı her alanda avantaj sağlar.

AlphaGo ve AlphaZero: DeepMind’ın Go ajanları, önce insan oyunlarından denetimli öğrenmeyle başladı; ardından kendi kendine oynayarak RL ile politikasını geliştirdi. AlphaZero ise hiç insan verisi kullanmadan, yalnızca oyunun kurallarından başlayarak birkaç saatte dünya şampiyonu seviyesine ulaştı.

Robotik: Sürekli aksiyon uzayları, kısmi gözlemlenebilirlik ve gerçek dünya fiziksel karmaşıklığı robotik için RL’yi zorlayıcı ama vazgeçilmez yapar. Sim-to-real transfer (simülatörde öğren, gerçek donanımda çalıştır) aktif bir araştırma alanıdır.

Öneri Sistemleri: Netflix, YouTube gibi platformlarda kullanıcının uzun vadeli memnuniyetini maksimize etmek, tek bir içeriğin anlık tıklanma oranını artırmaktan farklı bir hedeftir. RL bu dengeyi yakalamak için kullanılır.

Veri Merkezi Optimizasyonu: Google, veri merkezlerinin soğutma sistemlerini PPO tabanlı bir RL ajanıyla optimize etti. Sonuç: %40 enerji tasarrufu.

Oyunlar: Atari, Starcraft II ve Dota 2, her biri farklı zorluk boyutlarıyla RL araştırması için geniş kapsamlı test ortamları sunuyor.

LLM Hizalamasında Pekiştirmeli Öğrenme

Büyük dil modelleri eğitildikten sonra neden RL’ye ihtiyaç duyar? Sorun şudur: bir sonraki token’ı tahmin etmek (pre-training hedefi), iyi ve yararlı yanıtlar üretmek demek değildir. Model, eğitim verisindeki her türlü deseni öğrenir. Zararlı içerik, tutarsız davranış, aşırı özgüven bunların hepsi bu desenlerin içindedir.

RLHF (Reinforcement Learning from Human Feedback), bu sorunu şu şekilde yaklaşır:

1. İnsan değerlendiriciler, model yanıtlarını karşılaştırarak tercihlerini işaretler.
2. Bu tercihler, bir reward model eğitmek için kullanılır. Reward model, bir yanıtın ne kadar iyi olduğuna dair skalar bir puan üretir.
3. Dil modeli, bu ödül sinyaliyle PPO kullanılarak ince ayar görür.

Kritik ekleme: KL cezası. Dil modeli ödülü maksimize etmeye çalışırken reward model’ın davranışını tamamen bozan bir dil üretmeye başlayabilir (reward hacking). Orijinal model ile RL modeli arasına eklenen KL ıraksama terimi bunu frenler.

Constitutional AI ve RLAIF bu çerçeveyi daha da ileri taşır: insan etiketi yerine bir AI’ı değerlendirici olarak kullanır. Akıl yürüten modeller (o3, DeepSeek R1) ise RL’yi test zamanı hesaplama ile birleştirerek çok adımlı muhakeme zincirlerini optimize eder. Bu modeller “düşünme” sürecini de bir RL politikası olarak ele alır.

Zorluklar ve Sınırlar

RL güçlüdür, ama pratikte çalıştırmak kolay değildir.

Ödül Tasarımı: İyi bir ödül fonksiyonu tasarlamak sanat kadar beceri gerektirir. “Reward hacking” adı verilen fenomende ajan, hedeflenen davranışı gerçekleştirmek yerine ödül fonksiyonunun açıklarını kullanır. Klasik örnek: Bir tekne yarışı oyununda puan almak için rakipleri geçmek gerekmez. Sahanın kenarındaki ateş çemberlerinden defalarca geçmek yeterlidir.

Örnek Verimliliği: RL, denetimli öğrenmeye kıyasla çok daha fazla etkileşime ihtiyaç duyar. İnsanlar birkaç örnekten öğrenirken RL ajanları milyonlarca adım gerektirebilir. Bu, gerçek dünya ortamlarında (enerji maliyetli, yavaş, tehlikeli) önemli bir engel oluşturur.

Kararsız Eğitim: Hiperparametrelere karşı duyarlılık yüksektir. Öğrenme hızı, iskonto faktörü ya da ağ mimarisindeki ufak bir değişiklik eğitimi çökertebilir. Reproducibility, RL araştırmasının bilinen bir sorunu olmaya devam etmektedir.

Kısmi Gözlemlenebilirlik: Gerçek dünya ortamlarının çoğu tam olarak gözlemlenemez. Tüm sensör verilerinin erişilebilir olduğu simülatörde öğrenen bir ajan, gerçek ortama geçtiğinde başarısız olabilir.

Dağılım Kayması: Eğitim ortamı ile dağıtım ortamı arasındaki farklar beklenmedik başarısızlıklara yol açar. Bu, makine öğreniminin genel bir sorunu olmakla birlikte RL’de ajanın keşif kararlarını da etkilediği için daha karmaşık bir hal alır.

Sonuç

Pekiştirmeli öğrenme, makine öğreniminin pratikte en çetin alt alanlarından biri. Etiketli veri yok, doğru cevap yok; sadece ödül var ve ne yapacağını bulmak zorunda kalan bir ajan. Bu onu hem öğrenmesi zor hem de uygulaması yorucu bir alan yapıyor.

AlphaZero’nun satrançta insan oyuncularını geride bırakması, GPT ailesi modellerin RLHF ile hizalanması, robotik kolların hassas görevleri öğrenmesi; hepsinin arkasında aynı döngü var: gözlemle, hareket et, öğren, tekrar et.

DPO gibi alternatifler RL’nin bir kısım pratik ağırlığını omuzlarından almaya çalışırken, akıl yürüten modeller RL’yi düşünce süreçlerinin içine entegre ediyor. Her iki gelişme de RL’nin neden hâlâ merkezdeki alan olmayı sürdürdüğünü gösteriyor.