tag OtonomAjanlar
Markov Decision Process (MDP) (Markov Karar Süreci)
Bu sayfada OtonomAjanlar (Markov Decision Process (MDP) (Markov Karar Süreci)) etiketi ile işaretlenmiş 2 yapay zeka kavramını bulabilirsiniz.
Markov Karar Süreci (Markov Decision Process — MDP), pekiştirmeli öğrenmenin matematiksel temelini oluşturan karar teorisi çerçevesidir. MDP, bir ajanın (agent) olası durumlar (states), eylemler (actions), geçiş olasılıkları (transition probabilities) ve ödüller (rewards) aracılığıyla stokastik bir çevreyle etkileşimini formalize eder. Bir MDP dört temel bileşenden oluşur: S (durum uzayı), A (eylem uzayı), P(s'|s,a) (durum geçiş olasılıkları) ve R(s,a) (anlık ödül fonksiyonu). Buna ek olarak bir gamma (γ) indirim faktörü, gelecekteki ödüllerin mevcut değerini belirler. Markov özelliği, bir sonraki durumun yalnızca mevcut duruma ve seçilen eyleme bağlı olduğunu, geçmiş tarih bilgisine gerek olmadığını ifade eder. Bu özellik hesaplamayı büyük ölçüde basitleştirir ve çözüm algoritmalarının pratik uygulanabilirliğini garanti eder. MDP'nin çözümü, beklenen toplam ödülü en üst düzeye çıkaran bir politika (policy) π: S → A bulmayı gerektirir. Bellman optimality denklemleri, bu politikayı bulmak için temel matematiksel araçları sunar. Değer iterasyonu (value iteration) ve politika iterasyonu (policy iteration) algoritmaları, sonlu ve küçük durum uzaylarında kesin çözüm hesaplar. Büyük veya sürekli durum uzaylarında ise Q-learning, SARSA ve derin pekiştirmeli öğrenme (Deep RL) algoritmaları yaklaşık çözümler bulur; bu algoritmalar durum değer fonksiyonlarını sinir ağlarıyla yaklaştırarak milyonlarca durum-eylem çiftini yönetilebilir hale getirir. MDP'nin gerçek dünya uygulamaları son derece geniştir: satranç ve Go gibi oyunlarda (AlphaGo, AlphaZero), robot lokomotif kontrolünde, otonom araç yol planlamasında, ilaç dozlama optimizasyonunda ve öneri sistemlerinde temel çerçeve olarak işlev görür. Kısmi gözlemlenebilir ortamlarda ise POMDP (Partially Observable MDP) uzantısı kullanılır; ajan çevrenin tam durumunu değil yalnızca gürültülü gözlemleri bilir ve bunun üzerine inanç durumları (belief states) oluşturarak karar alır. Hem deterministik hem stokastik ortamlar için güçlü bir matematiksel temel oluşturan MDP, modern yapay zeka araştırmalarının vazgeçilmez çerçevesi olmayı sürdürmektedir.
Markov Decision Process (MDP) (Markov Karar Süreci)
Markov Karar Süreci (Markov Decision Process — MDP), pekiştirmeli öğrenmenin matematiksel temelini oluşturan karar teorisi çerçevesidir. MDP, bir ajanın (agent) olası durumlar (states), eylemler (actions), geçiş olasılıkları (transition probabilities) ve ödüller (rewards) aracılığıyla stokastik bir çevreyle etkileşimini formalize eder. Bir MDP dört temel bileşenden oluşur: S (durum uzayı), A (eylem uzayı), P(s'|s,a) (durum geçiş olasılıkları) ve R(s,a) (anlık ödül fonksiyonu). Buna ek olarak bir gamma (γ) indirim faktörü, gelecekteki ödüllerin mevcut değerini belirler. Markov özelliği, bir sonraki durumun yalnızca mevcut duruma ve seçilen eyleme bağlı olduğunu, geçmiş tarih bilgisine gerek olmadığını ifade eder. Bu özellik hesaplamayı büyük ölçüde basitleştirir ve çözüm algoritmalarının pratik uygulanabilirliğini garanti eder. MDP'nin çözümü, beklenen toplam ödülü en üst düzeye çıkaran bir politika (policy) π: S → A bulmayı gerektirir. Bellman optimality denklemleri, bu politikayı bulmak için temel matematiksel araçları sunar. Değer iterasyonu (value iteration) ve politika iterasyonu (policy iteration) algoritmaları, sonlu ve küçük durum uzaylarında kesin çözüm hesaplar. Büyük veya sürekli durum uzaylarında ise Q-learning, SARSA ve derin pekiştirmeli öğrenme (Deep RL) algoritmaları yaklaşık çözümler bulur; bu algoritmalar durum değer fonksiyonlarını sinir ağlarıyla yaklaştırarak milyonlarca durum-eylem çiftini yönetilebilir hale getirir. MDP'nin gerçek dünya uygulamaları son derece geniştir: satranç ve Go gibi oyunlarda (AlphaGo, AlphaZero), robot lokomotif kontrolünde, otonom araç yol planlamasında, ilaç dozlama optimizasyonunda ve öneri sistemlerinde temel çerçeve olarak işlev görür. Kısmi gözlemlenebilir ortamlarda ise POMDP (Partially Observable MDP) uzantısı kullanılır; ajan çevrenin tam durumunu değil yalnızca gürültülü gözlemleri bilir ve bunun üzerine inanç durumları (belief states) oluşturarak karar alır. Hem deterministik hem stokastik ortamlar için güçlü bir matematiksel temel oluşturan MDP, modern yapay zeka araştırmalarının vazgeçilmez çerçevesi olmayı sürdürmektedir.
Tree of Thoughts (ToT) (Düşünce Ağacı)
Tree of Thoughts (ToT), büyük dil modellerinin karmaşık muhakeme görevlerini çözmek için tasarlanmış bir akıl yürütme çerçevesidir. Princeton ve Google DeepMind araştırmacıları tarafından 2023 yılında yayımlanan "Tree of Thoughts: Deliberate Problem Solving with Large Language Models" makalesiyle tanıtılmıştır. Klasik Chain-of-Thought (CoT) prompting yönteminde model tek bir doğrusal düşünce zinciriyle ilerler; bir adımda hata yapılırsa tüm çözüm yanlış yöne sapabilir. ToT bu sınırı aşmak için ağaç tabanlı arama algoritmaları kullanır ve modelin eş zamanlı olarak birden fazla düşünce dalı üretmesine, her dalı değerlendirmesine ve gerektiğinde geri dönüp (backtracking) farklı bir yol denemesine olanak tanır. Çalışma mekanizması üç temel bileşenden oluşur: (1) Düşünce üretimi — her adımda birden fazla ara çözüm adayı (düşünce düğümü) oluşturulur. (2) Değerlendirme — LLM kendi ürettiği düşünceleri puanlar ya da oylar; umut verici görünmeyen dallar budanır (pruning). (3) Arama stratejisi — BFS (Genişlik Öncelikli Arama), DFS (Derinlik Öncelikli Arama) veya Beam Search ile ağaçta gezinilir. Beam Search her seviyede yalnızca en yüksek puanlı k düğümü koruyarak verimlilik ile doğruluk arasında denge kurar. Orijinal makalede Game of 24 bulmacasında CoT yalnızca yüzde 4 başarı sağlarken ToT yüzde 74 başarı oranı elde etmiştir. Yaratıcı yazarlık ve çok adımlı matematik problemlerinde de belirgin üstünlük gözlemlenmiştir. ToT'nin en önemli teorik katkısı, test zamanı hesaplamayı (test-time compute) artırarak daha kaliteli çıktı elde etme fikrini pekiştirmesidir. Bu yaklaşım OpenAI o1 ve DeepSeek-R1 gibi düşünen modellerin (reasoning models) eğitiminde Monte Carlo Ağaç Araması (MCTS) ile birleştirilmiş ve modern LLM'lerdeki "thinking trace" davranışının temelini oluşturmuştur. Temel sınırlaması token maliyetidir: tek bir sorgu yerine paralel LLM çağrıları yapılması özellikle bulut API kullanımında maliyeti artırabilir. LangGraph ve LangChain kütüphaneleri ToT uygulama şablonları sunar.