PRM (Süreç Ödül Modeli)

PRM, bir yapay zekanın akıl yürütme zincirindeki her adımı ayrı ayrı puanlayan süreç odaklı ödül modelidir.

PRM (Process Reward Model — Süreç Ödül Modeli), bir dil modelinin akıl yürütme zincirindeki her adımı ayrı ayrı puanlayan ödül modelidir. Yalnızca nihai cevaba bakan ORM'nin (Outcome Reward Model) aksine PRM, çözüm boyunca her ara adıma bağımsız bir skor üretir; bu yapı matematiksel muhakeme, kod üretimi ve mantık problemleri gibi çok adımlı görevlerde modelin hatalı düşünce zincirlerini yakalamayı mümkün kılar. PRM'ler iki temel bağlamda devreye girer. Birincisi çıkarım anında doğrulayıcı (verifier) olarak: model aynı soruya N farklı çözüm üretir, PRM her zinciri puanlar ve en yüksek skorlu aday seçilir. Bu yaklaşım, 'Let's Verify Step by Step' makalesinde MATH kıyaslamasında çoğunluk oylamasını ve ORM'yi belirgin biçimde geride bıraktı. İkincisi RL eğitiminde yoğun ödül sinyali olarak: seyrek sonuç ödülünün yetersiz kaldığı uzun zincirlerde PRM her adıma geribildirim vererek politikayı daha hızlı iyileştirir. OpenAI'nin 2023'te yayımladığı PRM800K veri seti, alanın mihenk taşıdır: MATH problemlerindeki 800 binden fazla adım insan uzmanlar tarafından tek tek doğru/nötr/hatalı olarak etiketlendi. Math-Shepherd (2024) bu maliyetli insan emeğine alternatif sunar; bir adımdan devam eden tamamlamaların doğru sonuca ulaşma oranını Monte Carlo örneklemesiyle tahmin ederek otomatik etiket üretir. Qwen2.5-Math-PRM-72B gibi açık ağırlıklı modeller, üretim ortamında Best-of-N kurulumlarında matematik skorunu 8-10 puan artırabilmektedir. DeepSeek-R1 teknik raporu, büyük ölçekli RL eğitiminde PRM kullanmama kararını üç gerekçeyle açıkladı: genel muhakemede 'iyi adım' tanımı belirsiz, otomatik etiketleme güvenilmez ve model tabanlı ödül ödül hacklemeye kapı açıyor. R1 bunun yerine doğrulanabilir görevlerde kural tabanlı sonuç ödülüyle GRPO eğitimini benimsedi. 2026 itibarıyla yerleşik reçete şu ikili üzerine kurulu: eğitim sinyali için doğrulanabilir sonuç ödülü, çıkarım ve veri kalitesi katmanı için PRM. ProcessBench ve PRMBench gibi yeni kıyaslama setleri PRM'lerin hata tespit becerisini ince taneli hata türleriyle ölçerek araştırmanın önünü açmaktadır.

PRM Nasıl Çalışır?

Bir PRM, çözümü adımlara bölünmüş bir akıl yürütme zinciri olarak alır ve her adıma bir skor üretir. Teknik olarak çoğu PRM, önceden eğitilmiş bir dil modelinin üzerine eklenen bir sınıflandırma başlığıyla kurulur: her adım sonundaki özel bir işaretleyici token'da model, o adımın "doğru / nötr / hatalı" olma olasılığını tahmin eder. Eğitim verisi iki yoldan gelir. Birincisi insan etiketleme: OpenAI'nin PRM800K çalışmasında uzmanlar, MATH problemlerine üretilmiş çözümlerin 800 binden fazla adımını tek tek işaretledi. İkincisi otomatik etiketleme: Math-Shepherd yöntemi, bir adımın "değerini" o adımdan devam eden tamamlamaların kaçının doğru sonuca ulaştığıyla (Monte Carlo tahmini) ölçer ve insan emeği olmadan milyonlarca adım etiketi üretir. Çıkarımda zincirin toplam skoru genellikle adım skorlarının çarpımı veya minimumu alınarak hesaplanır; tek bir çürük adım tüm zinciri değersizleştirir.

PRM ve ORM Karşılaştırması

  • check_circle Değerlendirme birimi: ORM yalnızca nihai cevabı puanlar; PRM her ara adımı ayrı ayrı skorlar. 20 adımlık bir çözümde ORM 1, PRM 20 sinyal üretir.
  • check_circle Şanslı tahmin sorunu: ORM, yanlış adımlarla doğru sonuca ulaşan zinciri de ödüllendirir. PRM hatalı adımı yakaladığı için doğru sonuca rağmen düşük skor verir.
  • check_circle Veri maliyeti: ORM için tek etiket (doğru/yanlış) yeter; PRM adım başına etiket ister. PRM800K bu iş için insan emeğiyle 800K+ adım etiketledi.
  • check_circle Ödül hackleme riski: Yoğun adım sinyali, modelin skoru kandırmayı öğrenmesine kapı açar. DeepSeek-R1 bu riskten ötürü RL eğitiminde PRM yerine kural tabanlı sonuç ödülünü seçti.
  • check_circle Yorumlanabilirlik: PRM, hatanın zincirin tam olarak hangi adımında çıktığını gösterir; ORM yalnızca sonucun yanlış olduğunu söyler.

PRM'nin Kullanım Alanları

  • check_circle Best-of-N doğrulama (verifier): Model aynı soruya N farklı çözüm üretir (örneğin N=64), PRM her zinciri puanlar ve en yüksek skorlu çözüm seçilir. "Let's Verify Step by Step" çalışmasında bu yöntem MATH'te çoğunluk oylamasını ve ORM'yi geride bıraktı.
  • check_circle MCTS ile aramalı akıl yürütme: Monte Carlo Ağaç Araması'nda PRM, ağaçtaki her düğümü (ara adımı) değerlendirip aramayı umut vadeden dallara yönlendirir; rStar-Math gibi çalışmalar bu kombinasyonla küçük modellere o1 seviyesi matematik performansı kazandırdı.
  • check_circle Pekiştirmeli öğrenmede yoğun ödül: RLHF/RLVR eğitiminde adım bazlı ödül, seyrek sonuç ödülüne göre daha zengin gradyan sinyali verir; ancak ödül hacklemeye karşı dikkatli düzenlileştirme gerektirir.
  • check_circle Sentetik veri filtreleme: Distilasyon veya kendi kendine eğitim (self-training) için üretilen milyonlarca çözüm, PRM ile ayıklanır: hatalı adım içeren zincirler eğitim setine hiç girmez.
  • check_circle Adım bazlı hata teşhisi: ProcessBench ve PRMBench gibi kıyaslamalar, bir PRM'nin çözümdeki ilk hatalı adımı bulma becerisini ölçer; bu, üretim sistemlerinde otomatik hata ayıklama için kullanılır.

Muhakeme Modelleri Çağında PRM

OpenAI o1/o3, DeepSeek-R1, Gemini 2.5 ve Qwen3'ün düşünme modları gibi uzun düşünce zinciri üreten modeller, PRM tartışmasını yeniden şekillendirdi. DeepSeek-R1'in teknik raporu, büyük ölçekli RL'de PRM kullanmamayı üç gerekçeye bağladı: genel akıl yürütmede "iyi adım" tanımlamak zor, otomatik adım etiketleme güvenilmez ve model tabanlı ödül, ödül hacklemeye davetiye çıkarıyor. R1 bunun yerine cevabı doğrulanabilir görevlerde (matematik, kod) kural tabanlı sonuç ödülüyle GRPO eğitimi yaptı. Buna karşılık PRM'ler çıkarım tarafında güçlendi: Qwen2.5-Math-PRM-72B, ProcessBench'te GPT-4o'yu geçen hata yakalama skorlarına ulaştı ve Best-of-N kurulumlarında matematik doğruluğunu tek denemeye göre 8-10 puana kadar artırabiliyor. Özet denge şu: eğitim sinyali olarak doğrulanabilir sonuç ödülü, çıkarım ve veri kalitesi katmanı olarak PRM — 2026'nın yaygın reçetesi bu ikili.

Zorluklar ve Açık Araştırma Soruları

PRM'nin en büyük darboğazı etiket maliyeti: insan uzmanların adım adım işaretlemesi hem pahalı hem yavaş; PRM800K'nın üretimi aylarca uzman emeği gerektirdi. Math-Shepherd'ın Monte Carlo yaklaşımı bunu otomatikleştirir ama "sonuca katkı" ile "süreç doğruluğu"nu karıştırabilir: yanlış bir adım, güçlü bir model tarafından telafi edilip doğru sonuca bağlanırsa yanlışlıkla pozitif etiketlenir. İkinci sorun genelleme: matematikte eğitilen bir PRM, hukuk muhakemesi veya açık uçlu planlama gibi alanlarla sınırlı aktarım gösterir. Üçüncüsü ödül hackleme: RL politikası, PRM'nin sevdiği yüzeysel kalıpları üretmeyi öğrenebilir. Güncel araştırma damarları arasında üretken PRM'ler (skoru gerekçeli metinle üreten eleştirmen modeller) ve PRMBench gibi ince taneli kıyaslamalar öne çıkıyor.

Önemli Veri Setleri ve Kıyaslamalar

  • check_circle PRM800K (OpenAI, 2023): MATH problemlerinin çözümlerinden 800 binden fazla insan etiketli adım içeren, alanın kurucu veri seti.
  • check_circle Math-Shepherd (2024): İnsan etiketi olmadan, tamamlama tabanlı Monte Carlo tahminiyle otomatik adım etiketi üreten yöntem ve veri seti.
  • check_circle ProcessBench (Qwen, 2024): GSM8K'dan olimpiyat seviyesine 3.400 test örneğinde, çözümdeki ilk hatalı adımı bulma becerisini ölçen kıyaslama.
  • check_circle PRMBench (2025): 6.000'den fazla problemde gereksizlik, döngüsellik ve alan bilgisi hatası gibi ince taneli hata türleriyle PRM'leri sınayan kıyaslama.
  • check_circle Qwen2.5-Math-PRM ve Skywork-PRM: Açık ağırlıklı, üretimde kullanılabilir PRM aileleri; 7B'den 72B'ye ölçeklerde yayınlandı.

terminal Best-of-N Doğrulama Kurulumu: Qwen2.5-Math-PRM Örneği

Açık ağırlıklı bir PRM'yi çalıştırmak için Hugging Face transformers yeterli. Qwen2.5-Math-PRM-7B, adımları <extra_0> ayırıcı token'ıyla bekler ve her ayırıcı konumunda iki sınıflı (hatalı / doğru) logit üretir.

pip install "transformers>=4.45" torch accelerate

Modeli yükleyin: tok = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-Math-PRM-7B", trust_remote_code=True) ve model = AutoModel.from_pretrained("Qwen/Qwen2.5-Math-PRM-7B", torch_dtype=torch.bfloat16, trust_remote_code=True).eval()

Çözümü adımlara bölün ve her adımın sonuna ayırıcıyı ekleyin: cevap = "<extra_0>".join(adimlar) + "<extra_0>". Ardından soru ve cevabı sohbet şablonundan geçirin: metin = tok.apply_chat_template(mesajlar, tokenize=False).

Skorları çıkarın: logits = model(input_ids=ids).logits çıktısı (1, T, 2) şeklindedir. Ayırıcı token'ın geçtiği konumları maskeleyip logits[maske].softmax(-1)[:, 1] alırsanız adım başına 0 ile 1 arasında bir skor elde edersiniz.

Best-of-N döngüsü üç parçadan oluşur. Önce üretici modelden aynı soruya N farklı çözüm örnekleyin (temperature 0,7 ile 1,0 arası, top_p 0,95; sıcaklık 0 ile hepsi aynı çıkar). Sonra her çözümü PRM'den geçirip adım skorlarını tek sayıya indirin. En son en yüksek skorlu adayı döndürün.

Zincir skoru için üç yaygın toplama var: adım skorlarının çarpımı, minimumu ve son adımın skoru. Let's Verify Step by Step çalışmasında çarpım ile minimum birbirine yakın sonuç verdi; ortalama ise uzun zincirdeki tek hatalı adımı seyrelttiği için genelde daha kötü çalışır.

Daha yüksek verim gerekiyorsa PRM'yi ayrı bir servis olarak kaldırın. vLLM, Qwen2ForProcessRewardModel mimarisini havuzlama (pooling) modelleri arasında destekler: vllm serve Qwen/Qwen2.5-Math-PRM-7B --task reward (yeni sürümlerde --runner pooling). Böylece üretici model ve doğrulayıcı aynı GPU'da sıra beklemez.

memory Hangi PRM Modeli Hangi Donanıma Sığar?

  • check_circle Qwen2.5-Math-PRM-7B: bfloat16 ağırlıklar yaklaşık 15 GB yer kaplar, yani 24 GB'lık tek bir kart (RTX 3090 veya 4090) rahat taşır. Adım ayırıcısı <extra_0>, çıktı iki sınıflı logit. Matematik odaklı görevlerde varsayılan tercih.
  • check_circle Qwen2.5-Math-PRM-72B: bfloat16'da yaklaşık 145 GB ister; pratikte 2 adet 80 GB kart veya 8 bit niceleme gerekir. Doğruluk kazancı ProcessBench'te belirgin ama çıkarım maliyeti 7B'nin on katına çıkar.
  • check_circle Skywork-o1-Open-PRM-Qwen-2.5-1.5B: 1,5B ölçek, bfloat16'da yaklaşık 3,5 GB. 8 GB'lık bir dizüstü GPU'sunda veya CPU'da çalışır. Büyük N değerlerinde ucuz ön eleme katmanı olarak kullanışlı.
  • check_circle Math-Shepherd-mistral-7b-prm: Farklı bir sözleşme kullanır: adımlar ки etiketiyle ayrılır ve skor, artı ile eksi token'larının olasılık oranından okunur. Kod örneğini Qwen'den kopyalarsanız çalışmaz.
  • check_circle RLHFlow/Llama3.1-8B-PRM-Deepseek-Data: Llama 3.1 tabanlı, sohbet formatında adım adım puanlama yapar. 8B ölçek bfloat16'da yaklaşık 16 GB. Llama tokenizer'ına alışkın boru hatlarında entegrasyonu kolaydır.
  • check_circle Gecikme beklentisi: PRM çağrısı üretim çağrısından kısadır çünkü token üretmez, tek geçiş yapar. Buna karşılık N=64 için 64 ek ileri geçiş demektir; toplam maliyette doğrulama payı genelde yüzde 20 ile 40 arasında kalır.

bug_report PRM Kullanırken Sık Yapılan Hatalar ve Çözümleri

  • check_circle Adım ayırıcı token unutuluyor: Çözümü sadece iki satır boşlukla bölüp ayırıcıyı eklemezseniz model tek bir skor üretir ya da rastgele konumları puanlar. Çözüm: her adımın sonuna modelin kendi ayırıcısını koyun ve son adımdan sonra da eklemeyi ihmal etmeyin.
  • check_circle Yanlış sohbet şablonu: PRM'ler belirli bir şablonla eğitilir. Ham metni doğrudan tokenizer'a verirseniz skorlar 0,5 civarında sıkışır ve adaylar arasında ayrım kalmaz. Çözüm: apply_chat_template kullanın, sistem mesajını model kartındaki metinle birebir aynı bırakın.
  • check_circle Skorları ortalamayla birleştirmek: 20 adımlık bir çözümde tek hatalı adımın skoru ortalamada kaybolur. Çözüm: çarpım veya minimum kullanın; hata teşhisi için ilk skoru 0,5 altına düşen adımı raporlayın.
  • check_circle Sıcaklık 0 ile örnekleme: Greedy üretimde N adayın hepsi aynı zincir olur, Best-of-N hiçbir kazanç getirmez. Çözüm: temperature 0,7 ile 1,0, top_p 0,95 ve her aday için farklı seed kullanın.
  • check_circle N'i sınırsız büyütmek: N arttıkça doğrulayıcının zayıf noktalarını sömüren adaylar da artar; bu aşırı optimizasyon eğrisi belli bir noktadan sonra doğruluğu düşürür. Çözüm: N=8, 16, 32 ve 64 için doğrulama seti üzerinde eğriyi ölçüp tepe noktasında durun.
  • check_circle Alan dışında kullanmak: Matematik verisiyle eğitilmiş bir PRM'yi hukuki özet veya serbest metin yazımına uyguladığınızda kalibrasyon bozulur. Çözüm: kod için kod verisiyle eğitilmiş bir PRM seçin ya da doğrulanabilir sonuç ödülüne (test çalıştırma, birim test) geçin.
  • check_circle Uzun zinciri tek parça vermek: Adım sınırları model tarafından değil sizin tarafınızdan belirlenir. Cümle ortasından bölerseniz skorlar gürültülenir. Çözüm: üreticiden numaralı adımlar isteyin (Adım 1, Adım 2) ve bölmeyi bu numaralara göre yapın.

Sık Sorulan Sorular

  • check_circle PRM nedir, ne işe yarar? PRM (Process Reward Model), bir çözümün yalnızca sonucunu değil her akıl yürütme adımını ayrı ayrı puanlayan ödül modelidir. Matematik, kod ve mantık görevlerinde en iyi aday çözümü seçmek ve eğitim verisini filtrelemek için kullanılır.
  • check_circle PRM ile ORM arasındaki fark nedir? ORM yalnızca nihai cevabın doğruluğuna bakar; PRM her ara adıma skor verir. ORM şanslı tahminleri ödüllendirebilirken PRM hatalı adımı yakalar ve doğru sonuca rağmen düşük skor üretir.
  • check_circle PRM ile RLHF nasıl ilişkilidir? RLHF genel çerçevedir: insan geri bildirimiyle bir ödül modeli eğitilir, model bu sinyalle RL üzerinden iyileştirilir. PRM bu çerçevedeki ödül modelinin adım bazlı türüdür; klasik RLHF ödül modeli ise yanıtın bütününü tek skorla değerlendirir.
  • check_circle DeepSeek-R1 neden PRM kullanmadı? R1 ekibi, genel akıl yürütmede adım doğruluğunu tanımlamanın zor olduğunu, otomatik etiketlemenin güvenilmez kaldığını ve model tabanlı ödülün ödül hacklemeye açık olduğunu raporladı; bu yüzden doğrulanabilir görevlerde kural tabanlı sonuç ödülüyle GRPO eğitimini tercih etti.
  • check_circle PRM eğitmek için veri nasıl toplanır? İki yol var: insan etiketleme (PRM800K'da uzmanlar 800K+ adımı tek tek işaretledi) ve otomatik etiketleme (Math-Shepherd, bir adımdan devam eden tamamlamaların doğru sonuca ulaşma oranını Monte Carlo ile tahmin eder).
  • check_circle PRM'ler bugün pratikte nerede kullanılıyor? En yaygın kullanım çıkarım anında: Best-of-N örneklemede doğrulayıcı, MCTS'te düğüm değerlendirici ve sentetik eğitim verisini ayıklayan filtre olarak. Qwen2.5-Math-PRM gibi açık modeller bu amaçlarla üretim hatlarına entegre ediliyor.
  • check_circle PRM nasıl kullanılır, kaç GB VRAM gerekir? En pratik yol Hugging Face transformers ile AutoModel üzerinden yüklemek: çözümü adımlara bölüp modelin ayırıcı token'ıyla birleştirirsiniz, model her ayırıcı konumunda iki sınıflı logit döndürür. 7B ölçeğinde bfloat16 ağırlıklar yaklaşık 15 GB yer kaplar, yani 24 GB'lık tek kart yeterlidir. 1,5B Skywork PRM ise 4 GB altında çalışır.
  • check_circle Best-of-N'de kaç aday üretmeli? Pratikte 8 ile 64 arası aday çoğu görevde kazancın büyük kısmını verir. N büyüdükçe doğrulayıcıyı kandıran adaylar da çoğaldığı için doğruluk belli bir noktadan sonra düşer. N=8, 16, 32, 64 için doğrulama setinde eğriyi ölçüp tepe noktada durmak en güvenli yöntemdir.
  • check_circle PRM skorları nasıl tek puana çevrilir? Üç yöntem yaygındır: adım olasılıklarının çarpımı, tüm adımların minimumu ve son adımın skoru. Çarpım ile minimum birbirine yakın sonuç verir ve genelde önerilir. Ortalama almayın, çünkü uzun zincirde tek hatalı adımı seyreltir.
  • check_circle PRM Türkçe sorularda çalışır mı? Kısmen. Yayınlanmış PRM'lerin eğitim verisi ağırlıklı olarak İngilizce matematik çözümlerinden oluşur, bu yüzden Türkçe akıl yürütmede skorlar daha az kalibredir. Sayısal problemlerde soruyu Türkçe, çözüm adımlarını İngilizce tutmak veya kendi doğrulama setinizde eşik kalibrasyonu yapmak fark yaratır.
  • check_circle PRM yerine daha ucuz bir doğrulayıcı var mı? Evet. Kod ve matematikte doğrulanabilir sonuç ödülü (birim test çalıştırma, sembolik hesapla cevap kontrolü) hem bedava hem kandırılamazdır. Çoğunluk oylaması (self-consistency) da ek model gerektirmez. PRM'nin farkı, hatanın hangi adımda çıktığını göstermesidir.