GRPO (Grup Göreli Politika Optimizasyonu)

#pekiştirmeli-öğrenme #llm #ince-ayar #deepseek #reasoning

Değer modeli eğitmeye gerek duymadan, aynı sorguya üretilen yanıt grubunun ortalama ödülünü baz alarak LLM politikasını güncelleyen pekiştirmeli öğrenme algoritması.

GRPO (Group Relative Policy Optimization / Grup Göreli Politika Optimizasyonu), büyük dil modellerini pekiştirmeli öğrenme ile ince ayarlamak için geliştirilmiş verimli bir algoritmadır. İlk olarak DeepSeek'in 2024 tarihli DeepSeekMath makalelerinde tanıtılan bu yöntem, Ocak 2025'te yayımlanan DeepSeek-R1 modeli sayesinde geniş yapay zeka camiasının dikkatini çekti. Geleneksel PPO (Proximal Policy Optimization) yönteminde, ince ayar sürecinde politika modelinin yanı sıra ayrı bir değer (critic) modeli de eğitilir. Bu değer modeli, belirli bir durum için beklenen kümülatif ödülü tahmin eder ve öğrenme sinyalini kararlı kılar. Ancak bu yaklaşım, politika modeli kadar parametre içerebilen ikinci bir modelin GPU belleğine ve hesaplama kaynaklarına sığdırılmasını gerektirir. GRPO, bu değer modelini tamamen ortadan kaldırır ve yerine grup tabanlı bir karşılaştırma mekanizması koyar. GRPO'nun çalışma mekanizması şöyledir: Eğitim sırasında her sorgu için politika modeli birden fazla (genellikle 4 ila 16) bağımsız yanıt örnekler. Her yanıt, kural tabanlı veya model tabanlı bir ödül fonksiyonu tarafından puanlanır; matematik sorularında doğru cevap kontrol edilebilir, kod sorularında birim testleri çalıştırılabilir, biçim uygunluğu değerlendirilebilir. Her yanıtın avantajı, grup içindeki ortalama ödül çıkarılarak ve grubun standart sapmasına bölünerek hesaplanır. Bu normalize edilmiş avantajlar, PPO'nun kırpılmış politika gradyanı güncelleme kuralıyla birleştirilir ve model parametreleri güncellenir. GRPO'nun başlıca avantajları şunlardır: Değer modeli eğitilmediğinden GPU belleği ve hesaplama maliyeti önemli ölçüde azalır; bu da daha büyük politika modelleriyle ya da daha dar bütçelerle çalışmayı mümkün kılar. Grup içi karşılaştırma, modelin kendi üretimlerini birbirleriyle kıyaslamasını sağlar ve daha tutarlı bir öğrenme sinyali oluşturur. Kural tabanlı ödül fonksiyonları kullanıldığında insan etiketine olan bağımlılık azalır. Buna karşın yöntemin sınırlılıkları da vardır: Grup büyüklüğü ve ödül fonksiyonu tasarımı kritik hiperparametrelerdir; hatalı ödüller hızla yayılabilir. GRPO, DeepSeek-R1'in başarısının ardından açık kaynaklı LLM eğitim ekosisteminde hızla benimsenmiş; TRL, Verl ve OpenRLHF gibi kütüphaneler GRPO desteği eklemiştir. Günümüzde bu algoritma, reasoning model eğitiminin standart araç kutusunun bir parçası haline gelmiştir.

GRPO Nedir?

GRPO (Group Relative Policy Optimization), büyük dil modellerini pekiştirmeli öğrenme ile ince ayarlamak için tasarlanmış bir algoritmadır. 2024'te DeepSeek tarafından geliştirilen yöntem, PPO'nun değer modeli bağımlılığını ortadan kaldırarak hesaplama ve bellek maliyetlerini önemli ölçüde azaltır. DeepSeek-R1'in eğitiminde kullanılmasıyla birlikte küresel ölçekte tanınırlık kazandı.

PPO ile Karşılaştırma

Geleneksel PPO algoritması, politika modelinin yanı sıra ayrı bir değer (critic) modeli eğitir. Bu değer modeli, bir durumda beklenen gelecekteki ödülü tahmin eder ve öğrenme sinyalini dengelemek için kullanılır. GRPO, bu değer modelini tamamen kaldırır ve yerine grup içi ortalama ödülü baz alır. Böylece bellekte yalnızca politika modeli tutulur ve eğitim altyapısı sadeleşir.

Çalışma Mekanizması

GRPO üç temel adımda çalışır: (1) Grup örnekleme — aynı sorgu için politika modeli G adet (genellikle 4-16) bağımsız yanıt üretir. (2) Ödül hesaplama — her yanıt, kural tabanlı veya model tabanlı bir ödül fonksiyonu tarafından puanlanır; matematik sorularında cevap doğruluğu, kodda test başarısı, biçim uygunluğu gibi kriterler kullanılabilir. (3) Avantaj normalizasyonu — her yanıtın avantajı, grup ortalaması çıkarılarak ve standart sapmaya bölünerek hesaplanır. Bu normalize değerler, PPO kırpma mekanizmasıyla birlikte politika gradyanı hesaplamalarında kullanılır.

Avantajları ve Kısıtları

GRPO'nun başlıca avantajları şunlardır: Değer modeli eğitilmediği için GPU belleği yarı yarıya azalabilir; aynı ortamda daha büyük politika modeli çalıştırılabilir. Grup içi karşılaştırma daha tutarlı öğrenme sinyalleri üretir. Kural tabanlı ödüller sayesinde insan etiketleme maliyeti düşer. Kısıtları arasında ödül fonksiyonu tasarımının kritikliği öne çıkar; hatalı veya gürültülü ödüller yanlı güncellemelere yol açabilir. Ayrıca grup büyüklüğü, hesaplama maliyetini doğrudan etkileyen önemli bir hiperparametredir.

Uygulama Alanları ve Ekosistemdeki Yeri

GRPO başlangıçta matematik problemi çözme ve kod üretimi gibi doğrulanabilir çıktıların söz konusu olduğu alanlarda uygulandı; bu alanlarda kural tabanlı ödüller kolayca tanımlanabilmektedir. DeepSeek-R1'in başarısının ardından yöntem hızla yaygınlaştı: Hugging Face TRL kütüphanesi, EasyR1, Verl ve OpenRLHF gibi açık kaynaklı çerçeveler GRPO desteği ekledi. Günümüzde reasoning model eğitiminin standart araç kutusunun bir parçası olan GRPO, görsel anlama ve robot kontrol görevleri gibi alanlara da uyarlanmaktadır.

Sık Sorulan Sorular

  • check_circle GRPO ile PPO arasındaki temel fark nedir? PPO ayrı bir değer (critic) modeli eğitirken GRPO, grup içi ortalama ödülü baz alır ve değer modeline ihtiyaç duymaz. Bu da GRPO'yu daha az bellekle çalışır hale getirir.
  • check_circle GRPO'yu kim geliştirdi? GRPO, Çinli yapay zeka şirketi DeepSeek tarafından 2024'te yayımlanan DeepSeekMath makalesinde tanıtıldı. DeepSeek-R1 modelinin eğitiminde kullanılmasıyla yaygın ilgi gördü.
  • check_circle GRPO hangi görev türlerinde daha iyi çalışır? Kural tabanlı ödüllerin tanımlanabildiği görevlerde — matematik, kod, mantık bulmacaları gibi — en iyi sonuçları verir. Ancak daha genel dil görevleri için model tabanlı ödül modelleriyle de kullanılabilir.
  • check_circle GRPO açık kaynak araçlarla kullanılabilir mi? Evet. Hugging Face TRL, Verl, OpenRLHF ve EasyR1 dahil pek çok açık kaynak kütüphane GRPO implementasyonu sunmaktadır.