Markov Decision Process (MDP) (Markov Karar Süreci)

Markov Karar Süreci (Markov Decision Process — MDP), pekiştirmeli öğrenmenin matematiksel temelini oluşturan karar teorisi çerçevesidir. MDP, bir ajanın (agent) olası durumlar (states), eylemler (actions), geçiş olasılıkları (transition probabilities) ve ödüller (rewards) aracılığıyla stokastik bir çevreyle etkileşimini formalize eder. Bir MDP dört temel bileşenden oluşur: S (durum uzayı), A (eylem uzayı), P(s'|s,a) (durum geçiş olasılıkları) ve R(s,a) (anlık ödül fonksiyonu). Buna ek olarak bir gamma (γ) indirim faktörü, gelecekteki ödüllerin mevcut değerini belirler. Markov özelliği, bir sonraki durumun yalnızca mevcut duruma ve seçilen eyleme bağlı olduğunu, geçmiş tarih bilgisine gerek olmadığını ifade eder. Bu özellik hesaplamayı büyük ölçüde basitleştirir ve çözüm algoritmalarının pratik uygulanabilirliğini garanti eder. MDP'nin çözümü, beklenen toplam ödülü en üst düzeye çıkaran bir politika (policy) π: S → A bulmayı gerektirir. Bellman optimality denklemleri, bu politikayı bulmak için temel matematiksel araçları sunar. Değer iterasyonu (value iteration) ve politika iterasyonu (policy iteration) algoritmaları, sonlu ve küçük durum uzaylarında kesin çözüm hesaplar. Büyük veya sürekli durum uzaylarında ise Q-learning, SARSA ve derin pekiştirmeli öğrenme (Deep RL) algoritmaları yaklaşık çözümler bulur; bu algoritmalar durum değer fonksiyonlarını sinir ağlarıyla yaklaştırarak milyonlarca durum-eylem çiftini yönetilebilir hale getirir. MDP'nin gerçek dünya uygulamaları son derece geniştir: satranç ve Go gibi oyunlarda (AlphaGo, AlphaZero), robot lokomotif kontrolünde, otonom araç yol planlamasında, ilaç dozlama optimizasyonunda ve öneri sistemlerinde temel çerçeve olarak işlev görür. Kısmi gözlemlenebilir ortamlarda ise POMDP (Partially Observable MDP) uzantısı kullanılır; ajan çevrenin tam durumunu değil yalnızca gürültülü gözlemleri bilir ve bunun üzerine inanç durumları (belief states) oluşturarak karar alır. Hem deterministik hem stokastik ortamlar için güçlü bir matematiksel temel oluşturan MDP, modern yapay zeka araştırmalarının vazgeçilmez çerçevesi olmayı sürdürmektedir.