tag InstructGPT
Bu sayfada InstructGPT etiketi ile işaretlenmiş 3 yapay zeka kavramını bulabilirsiniz.
PPO (Proximal Policy Optimization), politika güncellemelerini kırpılmış vekil kayıp (clipped surrogate loss) fonksiyonuyla sınırlı tutarak kararlı ve verimli öğrenme sunan, politika gradyanı tabanlı bir pekiştirmeli öğrenme algoritmasıdır. 2017 yılında OpenAI tarafından TRPO'nun hesaplama karmaşıklığını basitleştirmek amacıyla geliştirilmiş ve hızla pekiştirmeli öğrenmenin fiili standardı haline gelmiştir. PPO'nun temel yeniliği kırpma mekanizmasıdır: yeni politika ile eski politika arasındaki olasılık oranı r_t = π_θ(a|s) / π_θ_old(a|s) formülüyle hesaplanır ve bu oran avantaj tahmini A_t ile çarpılır. Ancak oran [1-ε, 1+ε] aralığına kırpılır: L_CLIP = E[min(r_t·A_t, clip(r_t, 1-ε, 1+ε)·A_t)]. ε genellikle 0.2 olarak seçilir. Bu yapı güncellemenin politikayı çok uzağa sürüklememesini garantiler; TRPO'nun ikinci dereceden optimizasyon yükü olmadan benzer kararlılık elde eder. PPO; pekiştirmeli öğrenmeden insan geri bildirimi (RLHF) boru hatlarında kilit bir rol oynamaktadır. InstructGPT, GPT-4, Claude ve benzer modellerin tercih hizalaması aşamasında PPO, ödül modeli çıktısını optimize etmek için kullanılmıştır. RLHF'de dört aşama yürütülür: SFT modelini başlangıç politikası olarak kopyalama, ödül modeli eğitimi, PPO ile RL güncellemesi ve KL sapma cezasıyla aşırı optimizasyonu engelleme. 2025-2026 döneminde GRPO (Group Relative Policy Optimization) gibi PPO türevleri ortaya çıkmış; değer ağı gerektirmeden grup içi ödül normalizasyonu yaparak hesaplama maliyetini önemli ölçüde düşürmüştür. DeepSeek-R1 ve benzeri muhakeme modelleri GRPO ile eğitilmiştir. Bununla birlikte PPO, karmaşık ortamlarda değer tahminiyle doğruluk avantajını korumaktadır. Pratik uygulamalarda Stable Baselines3, CleanRL ve TRL (Transformer Reinforcement Learning) kütüphaneleri aracılığıyla PPO kolayca kullanılabilir. Hiperparametre ayarı kritik önem taşır: öğrenme hızı (genellikle 3×10⁻⁴), mini-batch sayısı, epoch sayısı ve kırpma parametresi ε dikkatli seçilmelidir. PPO, robotik kontrolden dil modeli hizalamasına uzanan geniş bir uygulama yelpazesiyle modern yapay zekanın temel algoritmalarından biri olmayı sürdürmektedir.
PPO (Proximal Policy Optimization)
PPO (Proximal Policy Optimization), politika güncellemelerini kırpılmış vekil kayıp (clipped surrogate loss) fonksiyonuyla sınırlı tutarak kararlı ve verimli öğrenme sunan, politika gradyanı tabanlı bir pekiştirmeli öğrenme algoritmasıdır. 2017 yılında OpenAI tarafından TRPO'nun hesaplama karmaşıklığını basitleştirmek amacıyla geliştirilmiş ve hızla pekiştirmeli öğrenmenin fiili standardı haline gelmiştir. PPO'nun temel yeniliği kırpma mekanizmasıdır: yeni politika ile eski politika arasındaki olasılık oranı r_t = π_θ(a|s) / π_θ_old(a|s) formülüyle hesaplanır ve bu oran avantaj tahmini A_t ile çarpılır. Ancak oran [1-ε, 1+ε] aralığına kırpılır: L_CLIP = E[min(r_t·A_t, clip(r_t, 1-ε, 1+ε)·A_t)]. ε genellikle 0.2 olarak seçilir. Bu yapı güncellemenin politikayı çok uzağa sürüklememesini garantiler; TRPO'nun ikinci dereceden optimizasyon yükü olmadan benzer kararlılık elde eder. PPO; pekiştirmeli öğrenmeden insan geri bildirimi (RLHF) boru hatlarında kilit bir rol oynamaktadır. InstructGPT, GPT-4, Claude ve benzer modellerin tercih hizalaması aşamasında PPO, ödül modeli çıktısını optimize etmek için kullanılmıştır. RLHF'de dört aşama yürütülür: SFT modelini başlangıç politikası olarak kopyalama, ödül modeli eğitimi, PPO ile RL güncellemesi ve KL sapma cezasıyla aşırı optimizasyonu engelleme. 2025-2026 döneminde GRPO (Group Relative Policy Optimization) gibi PPO türevleri ortaya çıkmış; değer ağı gerektirmeden grup içi ödül normalizasyonu yaparak hesaplama maliyetini önemli ölçüde düşürmüştür. DeepSeek-R1 ve benzeri muhakeme modelleri GRPO ile eğitilmiştir. Bununla birlikte PPO, karmaşık ortamlarda değer tahminiyle doğruluk avantajını korumaktadır. Pratik uygulamalarda Stable Baselines3, CleanRL ve TRL (Transformer Reinforcement Learning) kütüphaneleri aracılığıyla PPO kolayca kullanılabilir. Hiperparametre ayarı kritik önem taşır: öğrenme hızı (genellikle 3×10⁻⁴), mini-batch sayısı, epoch sayısı ve kırpma parametresi ε dikkatli seçilmelidir. PPO, robotik kontrolden dil modeli hizalamasına uzanan geniş bir uygulama yelpazesiyle modern yapay zekanın temel algoritmalarından biri olmayı sürdürmektedir.
Reward Model (Ödül Modeli)
Ödül modeli (Reward Model, RM), insanların tercihlerini veya değerlerini sayısal bir ödül sinyaline dönüştüren ve pekiştirmeli öğrenme ile dil modeli hizalama süreçlerinde kullanılan bir sinir ağıdır. RLHF (Reinforcement Learning from Human Feedback) boru hattının ikinci aşamasını oluşturur ve GPT-4, Claude ve Gemini gibi üretim modellerinin temelinde yer alır. Eğitim süreci şöyle çalışır: Bir politika modelinin ürettiği aynı isteğe karşılık gelen birden fazla yanıt, insan değerlendiriciler tarafından tercih sıralamasına konur. Ödül modeli, bu tercih çiftlerini kullanarak hangi yanıtın hangisine göre daha iyi olduğunu öğrenir. Genellikle Bradley-Terry modelini temel alan bir kayıp fonksiyonu kullanılır: model, tercih edilen yanıta yüksek skor, reddedilen yanıta düşük skor vermeyi öğrenir. L = -log(σ(r_w - r_l)) formülü bu ilişkiyi matematiksel olarak ifade eder. Eğitilmiş ödül modeli, daha sonra PPO gibi RL algoritmasıyla birleştirilir: Politika modeli yanıt üretirken ödül modeli üretilen yanıtı puanlar ve bu puan politika modelinin güncellenmesinde kullanılır. Böylece insan değerlendiricilerin her eğitim adımında tekrar geri bildirim vermesi gerekmez; ödül modeli insan tercihlerini 'dondurulmuş' hâlde temsil eder. KL sapma penaltısı, modelin SFT temel çizgisinden aşırı uzaklaşmasını frenleyerek ödül hacklemesini önler. Ödül hacklemesi (reward hacking), modelin gerçek kalite yerine ödül modelini yanıltmayı öğrenmesi sorunudur. Çok uzun yanıtlar, aşırı kibar ifadeler veya anlamsız tekrarlar yüksek puan alabilir. Constitutional AI ve Direct Preference Optimization (DPO), ayrı bir ödül modeli gerektirmeden tercih hizalaması yaparak bu bağımlılığı azaltan alternatif yaklaşımlardır. DPO özellikle daha düşük hesaplama maliyetiyle benzer hizalama kalitesine ulaşabildiği için 2024-2025'te yaygınlaşmıştır. Uygulamada ödül modelinin kalitesi, nihai modelin davranışını doğrudan etkiler: yetersiz ya da önyargılı tercih verisiyle eğitilen bir ödül modeli, politika modelini istenmeyen yönlere yönlendirebilir. Bu nedenle veri çeşitliliği, değerlendirici eğitimi ve ödül modelinin düzenli yeniden eğitimi üretim ölçeğinde kritik operasyonel gereksinimlerdir.
SFT (Supervised Fine-Tuning (Denetimli İnce Ayar))
SFT (Supervised Fine-Tuning — Denetimli İnce Ayar), önceden eğitilmiş (pretrained) bir dil modelinin, yüksek kaliteli (istek, yanıt) çiftlerinden oluşan bir veri kümesiyle talimat izleme yeteneği kazandırmak amacıyla ek eğitime tabi tutulması sürecidir. RLHF boru hattının ilk hizalama adımını oluşturur ve GPT-4, Claude, Llama-2-Chat gibi modellerin temelinde yer alır. Ön eğitim (pretraining) sırasında model yalnızca sonraki kelimeyi tahmin etmeyi öğrenir; bu model herhangi bir talimatı takip edemez. SFT aşamasında model, 'Bu metni özetle → Metin: ... → Özet: ...' biçimindeki çiftlerle eğitilir. Standart dil modellemesi kaybı (cross-entropy) kullanılır; ancak yalnızca yanıt tokenleri için kayıp hesaplanır — istek tokenleri maskelenir. Bu maskeleme ile model yanıt üretmeyi öğrenir, isteği yinelemez. SFT veri kümesinin kalitesi, miktarından çok daha kritiktir. InstructGPT'de OpenAI, yalnızca birkaç on bin örneğin yeterli olduğunu göstermiştir. Alpaca projesinde 52.000 GPT-4 üretimi sentetik örnek kullanılmış; bu, insan yazımı veriyle kıyaslanabilir sonuçlar vermiştir. Modern yaklaşımlar büyük LLM'lerle sentetik veri üretimini ve filtrelemesini içerir. SFT araçları açısından Axolotl ve Unsloth, LoRA/QLoRA ile tüketici GPU'larında verimli fine-tuning yapılmasına imkân tanır; Hugging Face TRL kütüphanesi SFTTrainer sınıfı aracılığıyla süreci standartlaştırır. Tek bir RTX 4090 üzerinde 7B modelin LoRA ile SFT eğitimi saatler içinde tamamlanabilir. SFT, DPO veya RLHF öncesinde zorunlu temel adımdır; bazı durumlarda SFT tek başına yeterince iyi chat modelleri üretmektedir. Llama ve Mistral tabanlı topluluk modellerinin büyük çoğunluğu yalnızca SFT ile oluşturulmaktadır. Chat GPT'nin ilk sürümleri dahil birçok öncü model, SFT'nin şaşırtıcı derecede güçlü bir hizalama tekniği olduğunu kanıtlamıştır. Verinin çeşitliliği — kodlama, çeviri, özetleme, soru-cevap, çok adımlı akıl yürütme — modelin genel talimat izleme kapasitesini genişletir. Tek alan veriyle SFT, modelin diğer alanlardaki performansını düşürebilir (catastrophic forgetting); bu nedenle genel amaçlı fine-tuning'de veri çeşitliliği vazgeçilmezdir.