tag Pekiştirmeli Öğrenme

Inverse Reinforcement Learning (IRL) (Ters Pekiştirmeli Öğrenme)

Bu sayfada Pekiştirmeli Öğrenme (Inverse Reinforcement Learning (IRL) (Ters Pekiştirmeli Öğrenme)) etiketi ile işaretlenmiş 2 yapay zeka kavramını bulabilirsiniz.

Inverse Reinforcement Learning (IRL), ya da Türkçesiyle Ters Pekiştirmeli Öğrenme, standart Pekiştirmeli Öğrenmenin (RL) tersine çalışan bir makine öğrenmesi paradigmasıdır. Klasik RL'de bir ajan, önceden tanımlanmış bir ödül fonksiyonu aracılığıyla geri bildirim alarak politika öğrenir. IRL ise bu süreci ters çevirir: elimizde uzman davranışları (demonstrasyon trajektörleri) bulunur ve bu davranışlardan söz konusu davranışı motive eden ödül fonksiyonu çıkarılır. Yöntemin temel motivasyonu, gerçek dünya problemlerinde ödül fonksiyonu tasarlamanın son derece güç olmasından kaynaklanır. Otonom araç sürüşünde "güvenli ve konforlu" davranışı sayısal olarak ifade etmek, cerrahi robotlara hassas el hareketleri öğretmek ya da diyalog sistemlerinde "kibar ve yardımsever" yanıtları tanımlamak birbirinden zor görevlerdir. IRL, bu karmaşık ödül tasarımı sorununu, uzman demonstrasyonlarından ödülü öğrenerek dolaylı yoldan çözer. IRL'in üç temel algoritma ailesi vardır. Maximum Entropy IRL, olası politikalar arasında bilgi teorisi kapsamında maksimum entropiyi seçerek belirsizliği ilkesel biçimde ele alır; otonom sürüş yol planlamasında yaygın kullanım bulmuştur. GAIL (Generative Adversarial Imitation Learning), GAN mimarisini taklit öğrenmeye uygular: ayırt edici ağ uzman ile ajan davranışını birbirinden ayırt etmeye çalışırken politika ağı bunu engellemeye çalışır. Bayesian IRL ise ödül fonksiyonu üzerinde olasılık dağılımı tutarak modelin kendi belirsizliğini de ifade etmesini sağlar; bu özelliği güvenli sistemler tasarımı için kritik öneme sahiptir. IRL, RLHF (Reinforcement Learning from Human Feedback) yönteminin doğrudan öncülüdür. Büyük dil modellerinde uygulanan RLHF, insan tercih karşılaştırmalarından (A mı B mi daha iyi?) bir ödül modeli öğrenir ve bu modeli RL politikasını ince ayarlamak için kullanır; bu yaklaşım IRL'in pratik bir biçimidir. GPT-4, Claude ve benzeri modeller bu paradigmayla eğitilmiştir. Yöntemin başlıca zorlukları şunlardır: uzman demonstrasyonu toplamak pahalı ve zaman alıcıdır; gözlemlenen bir davranışı açıklayan birden fazla ödül fonksiyonu bulunabilir (belirsizlik sorunu); hesaplama maliyeti standart RL'e kıyasla yüksektir. Bununla birlikte IRL, AI hizalama araştırmasının temel araçlarından biri olmaya devam etmektedir: insan değerlerini gözlemden matematiksel olarak çıkarma hedefi, güvenli ve uyumlu yapay zeka sistemleri inşasında kritik öneme sahiptir.