tag Pekiştirmeli Öğrenme
Inverse Reinforcement Learning (IRL) (Ters Pekiştirmeli Öğrenme)
Bu sayfada Pekiştirmeli Öğrenme (Inverse Reinforcement Learning (IRL) (Ters Pekiştirmeli Öğrenme)) etiketi ile işaretlenmiş 5 yapay zeka kavramını bulabilirsiniz.
Inverse Reinforcement Learning (IRL), ya da Türkçesiyle Ters Pekiştirmeli Öğrenme, standart Pekiştirmeli Öğrenmenin (RL) tersine çalışan bir makine öğrenmesi paradigmasıdır. Klasik RL'de bir ajan, önceden tanımlanmış bir ödül fonksiyonu aracılığıyla geri bildirim alarak politika öğrenir. IRL ise bu süreci ters çevirir: elimizde uzman davranışları (demonstrasyon trajektörleri) bulunur ve bu davranışlardan söz konusu davranışı motive eden ödül fonksiyonu çıkarılır. Yöntemin temel motivasyonu, gerçek dünya problemlerinde ödül fonksiyonu tasarlamanın son derece güç olmasından kaynaklanır. Otonom araç sürüşünde "güvenli ve konforlu" davranışı sayısal olarak ifade etmek, cerrahi robotlara hassas el hareketleri öğretmek ya da diyalog sistemlerinde "kibar ve yardımsever" yanıtları tanımlamak birbirinden zor görevlerdir. IRL, bu karmaşık ödül tasarımı sorununu, uzman demonstrasyonlarından ödülü öğrenerek dolaylı yoldan çözer. IRL'in üç temel algoritma ailesi vardır. Maximum Entropy IRL, olası politikalar arasında bilgi teorisi kapsamında maksimum entropiyi seçerek belirsizliği ilkesel biçimde ele alır; otonom sürüş yol planlamasında yaygın kullanım bulmuştur. GAIL (Generative Adversarial Imitation Learning), GAN mimarisini taklit öğrenmeye uygular: ayırt edici ağ uzman ile ajan davranışını birbirinden ayırt etmeye çalışırken politika ağı bunu engellemeye çalışır. Bayesian IRL ise ödül fonksiyonu üzerinde olasılık dağılımı tutarak modelin kendi belirsizliğini de ifade etmesini sağlar; bu özelliği güvenli sistemler tasarımı için kritik öneme sahiptir. IRL, RLHF (Reinforcement Learning from Human Feedback) yönteminin doğrudan öncülüdür. Büyük dil modellerinde uygulanan RLHF, insan tercih karşılaştırmalarından (A mı B mi daha iyi?) bir ödül modeli öğrenir ve bu modeli RL politikasını ince ayarlamak için kullanır; bu yaklaşım IRL'in pratik bir biçimidir. GPT-4, Claude ve benzeri modeller bu paradigmayla eğitilmiştir. Yöntemin başlıca zorlukları şunlardır: uzman demonstrasyonu toplamak pahalı ve zaman alıcıdır; gözlemlenen bir davranışı açıklayan birden fazla ödül fonksiyonu bulunabilir (belirsizlik sorunu); hesaplama maliyeti standart RL'e kıyasla yüksektir. Bununla birlikte IRL, AI hizalama araştırmasının temel araçlarından biri olmaya devam etmektedir: insan değerlerini gözlemden matematiksel olarak çıkarma hedefi, güvenli ve uyumlu yapay zeka sistemleri inşasında kritik öneme sahiptir.
Inverse Reinforcement Learning (IRL) (Ters Pekiştirmeli Öğrenme)
Inverse Reinforcement Learning (IRL), ya da Türkçesiyle Ters Pekiştirmeli Öğrenme, standart Pekiştirmeli Öğrenmenin (RL) tersine çalışan bir makine öğrenmesi paradigmasıdır. Klasik RL'de bir ajan, önceden tanımlanmış bir ödül fonksiyonu aracılığıyla geri bildirim alarak politika öğrenir. IRL ise bu süreci ters çevirir: elimizde uzman davranışları (demonstrasyon trajektörleri) bulunur ve bu davranışlardan söz konusu davranışı motive eden ödül fonksiyonu çıkarılır. Yöntemin temel motivasyonu, gerçek dünya problemlerinde ödül fonksiyonu tasarlamanın son derece güç olmasından kaynaklanır. Otonom araç sürüşünde "güvenli ve konforlu" davranışı sayısal olarak ifade etmek, cerrahi robotlara hassas el hareketleri öğretmek ya da diyalog sistemlerinde "kibar ve yardımsever" yanıtları tanımlamak birbirinden zor görevlerdir. IRL, bu karmaşık ödül tasarımı sorununu, uzman demonstrasyonlarından ödülü öğrenerek dolaylı yoldan çözer. IRL'in üç temel algoritma ailesi vardır. Maximum Entropy IRL, olası politikalar arasında bilgi teorisi kapsamında maksimum entropiyi seçerek belirsizliği ilkesel biçimde ele alır; otonom sürüş yol planlamasında yaygın kullanım bulmuştur. GAIL (Generative Adversarial Imitation Learning), GAN mimarisini taklit öğrenmeye uygular: ayırt edici ağ uzman ile ajan davranışını birbirinden ayırt etmeye çalışırken politika ağı bunu engellemeye çalışır. Bayesian IRL ise ödül fonksiyonu üzerinde olasılık dağılımı tutarak modelin kendi belirsizliğini de ifade etmesini sağlar; bu özelliği güvenli sistemler tasarımı için kritik öneme sahiptir. IRL, RLHF (Reinforcement Learning from Human Feedback) yönteminin doğrudan öncülüdür. Büyük dil modellerinde uygulanan RLHF, insan tercih karşılaştırmalarından (A mı B mi daha iyi?) bir ödül modeli öğrenir ve bu modeli RL politikasını ince ayarlamak için kullanır; bu yaklaşım IRL'in pratik bir biçimidir. GPT-4, Claude ve benzeri modeller bu paradigmayla eğitilmiştir. Yöntemin başlıca zorlukları şunlardır: uzman demonstrasyonu toplamak pahalı ve zaman alıcıdır; gözlemlenen bir davranışı açıklayan birden fazla ödül fonksiyonu bulunabilir (belirsizlik sorunu); hesaplama maliyeti standart RL'e kıyasla yüksektir. Bununla birlikte IRL, AI hizalama araştırmasının temel araçlarından biri olmaya devam etmektedir: insan değerlerini gözlemden matematiksel olarak çıkarma hedefi, güvenli ve uyumlu yapay zeka sistemleri inşasında kritik öneme sahiptir.
PPO (Proximal Policy Optimization)
PPO (Proximal Policy Optimization), politika güncellemelerini kırpılmış vekil kayıp (clipped surrogate loss) fonksiyonuyla sınırlı tutarak kararlı ve verimli öğrenme sunan, politika gradyanı tabanlı bir pekiştirmeli öğrenme algoritmasıdır. 2017 yılında OpenAI tarafından TRPO'nun hesaplama karmaşıklığını basitleştirmek amacıyla geliştirilmiş ve hızla pekiştirmeli öğrenmenin fiili standardı haline gelmiştir. PPO'nun temel yeniliği kırpma mekanizmasıdır: yeni politika ile eski politika arasındaki olasılık oranı r_t = π_θ(a|s) / π_θ_old(a|s) formülüyle hesaplanır ve bu oran avantaj tahmini A_t ile çarpılır. Ancak oran [1-ε, 1+ε] aralığına kırpılır: L_CLIP = E[min(r_t·A_t, clip(r_t, 1-ε, 1+ε)·A_t)]. ε genellikle 0.2 olarak seçilir. Bu yapı güncellemenin politikayı çok uzağa sürüklememesini garantiler; TRPO'nun ikinci dereceden optimizasyon yükü olmadan benzer kararlılık elde eder. PPO; pekiştirmeli öğrenmeden insan geri bildirimi (RLHF) boru hatlarında kilit bir rol oynamaktadır. InstructGPT, GPT-4, Claude ve benzer modellerin tercih hizalaması aşamasında PPO, ödül modeli çıktısını optimize etmek için kullanılmıştır. RLHF'de dört aşama yürütülür: SFT modelini başlangıç politikası olarak kopyalama, ödül modeli eğitimi, PPO ile RL güncellemesi ve KL sapma cezasıyla aşırı optimizasyonu engelleme. 2025-2026 döneminde GRPO (Group Relative Policy Optimization) gibi PPO türevleri ortaya çıkmış; değer ağı gerektirmeden grup içi ödül normalizasyonu yaparak hesaplama maliyetini önemli ölçüde düşürmüştür. DeepSeek-R1 ve benzeri muhakeme modelleri GRPO ile eğitilmiştir. Bununla birlikte PPO, karmaşık ortamlarda değer tahminiyle doğruluk avantajını korumaktadır. Pratik uygulamalarda Stable Baselines3, CleanRL ve TRL (Transformer Reinforcement Learning) kütüphaneleri aracılığıyla PPO kolayca kullanılabilir. Hiperparametre ayarı kritik önem taşır: öğrenme hızı (genellikle 3×10⁻⁴), mini-batch sayısı, epoch sayısı ve kırpma parametresi ε dikkatli seçilmelidir. PPO, robotik kontrolden dil modeli hizalamasına uzanan geniş bir uygulama yelpazesiyle modern yapay zekanın temel algoritmalarından biri olmayı sürdürmektedir.
Dynamic Programming (Dinamik Programlama)
Dinamik programlama (DP), karmaşık problemleri birbiriyle örtüşen alt problemlere ayrıştırarak çözen ve her alt problemin sonucunu bellekte saklayarak aynı hesaplamanın tekrar yapılmasını önleyen bir algoritma tasarım paradigmasıdır. Yöntem, 1950'lerde ABD'li matematikçi Richard Bellman tarafından geliştirilmiş; adındaki "programlama" sözcüğü yazılım değil, matematiksel optimizasyonu ifade etmektedir. Dinamik programlamanın iki temel koşulu vardır: optimal altyapı (optimal substructure) — bir problemin optimal çözümü, alt problemlerinin optimal çözümlerinden oluşmalıdır; örtüşen alt problemler (overlapping subproblems) — aynı alt problemler defalarca karşılaşılmalıdır. Bu iki özelliğin bir arada bulunduğu yerde DP büyük verimlilik kazanımları sağlar. Uygulamada iki ana strateji kullanılır: tabanlı yaklaşım (bottom-up/tabulation) en küçük alt problemden başlayarak büyük probleme iteratif biçimde ilerler ve sonuçları bir tabloda depolar; yukarıdan aşağıya yaklaşım (top-down/memoization) özyinelemeli çağrıları önbelleğe alarak aynı hesaplamaların tekrarını engeller. Yapay zeka ve makine öğrenimi alanında dinamik programlama hayati önem taşır. Pekiştirmeli öğrenmede (reinforcement learning) politika değerlendirme (policy evaluation) ve politika yineleme (policy iteration) algoritmaları doğrudan DP ilkelerine dayanır. Bellman denklemi — DP'nin kurucusu tarafından formüle edilmiş — modern Q-öğrenmesinin ve derin pekiştirmeli öğrenmenin (DRL) matematiksel temelini oluşturur. Markov karar süreçleri (MDP) çözümünde hem değer yineleme (value iteration) hem de politika yineleme DP formülasyonuna dayanır. Doğal dil işlemede Levenshtein (düzenleme) mesafesi iki dizi arasındaki minimum edit sayısını DP tablosuyla hesaplar; Viterbi algoritması Gizli Markov Modellerinde (HMM) en olası durum dizisini DP ile bulur; CTC (Connectionist Temporal Classification) kaybı ise ses tanıma modellerinde hizalama belirsizliğini DP ile çözer. Tokenizasyonda kullanılan BPE (Byte Pair Encoding) algoritması da DP prensiplerinden yararlanır. Klasik DP örnekleri arasında En Uzun Ortak Alt Dizi (LCS), 0/1 Sırt Çantası, Matris Zinciri Çarpımı ve Floyd-Warshall en kısa yol algoritması sayılabilir. Modern yapay zeka bağlamında Monte Carlo Ağaç Araması (MCTS) ve bazı hiperparametre optimizasyonu yaklaşımları da DP fikirlerinden faydalanır.
Markov Chain (Markov Zinciri)
Markov Zinciri, olasılık teorisinde ve yapay zeka alanında, bir sürecin gelecekteki durumunun yalnızca mevcut durumuna bağlı olduğu (geçmiş durumlardan bağımsız) stokastik bir modeli ifade eder. Bu temel ilkeye 'Markov özelliği' ya da 'belleksizlik özelliği' denir. 1906 yılında Rus matematikçi Andrei Markov tarafından geliştirilen bu matematiksel çerçeve, günümüzde makine öğrenimi, doğal dil işleme ve pekiştirmeli öğrenme gibi alanlarda vazgeçilmez bir araç konumundadır. Bir Markov zinciri, olası durumlar kümesi (state space) ve bu durumlar arasındaki geçiş olasılıklarından (transition probabilities) oluşur. Geçiş olasılıkları bir geçiş matrisiyle (transition matrix) temsil edilir; matrisin i. satır, j. sütunundaki eleman, sistemin i. durumdan j. duruma geçme ihtimalini verir. Belirli matematiksel koşullar altında zincir, başlangıç durumundan bağımsız olarak bir durağan dağılıma (stationary distribution) yakınsar. Yapay zeka ve makine öğreniminde Markov zincirleri birçok kritik alanda etkin biçimde kullanılır. Pekiştirmeli öğrenmenin matematiksel temeli olan Markov Karar Süreci (MDP), ajanın kararlarını tam olarak bu çerçevede modeller. Erken dönem dil modellerindeki N-gram yaklaşımları, bir sonraki kelimenin önceki N-1 kelimeye bağlı olduğunu varsayarak Markov prensibini uygular. Bayesian istatistikte ise Markov Zinciri Monte Carlo (MCMC) yöntemleri, Gibbs örnekleme ve Metropolis-Hastings algoritması aracılığıyla karmaşık dağılımlardan örnek çekmeyi mümkün kılar. Gizli Markov Modelleri (HMM), gözlemlenemeyen (gizli) durumların var olduğu sistemleri modellemek için Markov zincirlerini temel alır. Konuşma tanıma, biyoinformatik ve zaman serisi segmentasyonu gibi alanlarda HMM'ler kritik bir rol üstlenir. Viterbi algoritması, en olası gizli durum dizisini bulmayı verimli biçimde çözer. Modern derin öğrenme mimarileri (Transformer, LSTM), Markov varsayımının ötesine geçerek uzun vadeli bağımlılıkları öğrenebilmektedir. Buna karşın Markov zincirlerinin matematiksel açıklığı, analitik çözülebilirliği ve hesaplama verimliliği, onları yapay zekanın temel taşları arasında tutmaya devam ettirmektedir. Özellikle küçük durum uzayı ve sınırlı bellek gereksinimine sahip uygulamalarda Markov modelleri, derin öğrenme alternatiflerine kıyasla yorumlanabilirlik ve hesaplama maliyeti açısından belirgin avantaj sunar.
Q-Learning (Q-Öğrenme)
Q-Learning, pekiştirmeli öğrenmenin (reinforcement learning) model-bağımsız ve off-policy bir alt dalıdır. 1989 yılında Christopher Watkins tarafından geliştirilen bu algoritma, bir ajanın çevresiyle deneme-yanılma yoluyla etkileşime girerek en yüksek birikimli ödülü sağlayacak politikayı öğrenmesini hedefler. Algoritmanın temel bileşeni Q-değer fonksiyonu Q(s, a)'dır. Burada s bir durumu (state), a ise bir eylemi (action) temsil eder. Q(s, a), ajan s durumundayken a eylemini seçip ardından optimal stratejiyi izlediğinde elde edeceği beklenen toplam gelecek ödülü ifade eder. Q harfi kalite kelimesinden gelir ve belirli bir durumda belirli bir eylemin ne kadar değerli olduğunu ölçer. Öğrenme süreci bir Q-tablosu üzerinden yürür. Başlangıçta sıfırlarla başlatılan bu tablo, ajan her eylemden sonra alınan r ödülü ve gözlemlenen yeni s' durumuna göre Bellman denklemiyle güncellenir: Q(s, a) ← Q(s, a) + α · [r + γ · max_a' Q(s', a') − Q(s, a)]. Bu formülde α öğrenme oranını, γ indirim faktörünü gösterir; indirim faktörü yakın ödüllerin mi yoksa uzak ödüllerin mi öne çıkarılacağını belirler. Ajan, yeni durumları keşfetmek (exploration) ile bilinen en iyi eylemi seçmek (exploitation) arasındaki dengeyi ε-greedy stratejisiyle yönetir. Durum uzayı büyüdükçe Q-tablosu pratik olmaktan çıkar. Bu sorunu aşmak için DeepMind 2015'te Derin Q-Ağı'nı (Deep Q-Network, DQN) tanıttı. DQN, Q-tablosunu derin bir sinir ağıyla değiştirir ve deneyim tekrarı (experience replay) ile hedef ağ (target network) gibi mekanizmalar aracılığıyla öğrenmeyi kararlı kılar. DQN, yalnızca ham piksel verisiyle 49 Atari oyununda insan düzeyinde performans göstererek derin pekiştirmeli öğrenme alanını doğurdu. Q-Learning bugün enerji sistemleri optimizasyonu, otonom araç kontrolü, robotik görev planlama, kenar-bulut bilişimde gecikme yönetimi ve ilaç keşfinde aktif biçimde kullanılmaktadır.