tag Alignment

Bu sayfada Alignment etiketi ile işaretlenmiş 1 yapay zeka kavramını bulabilirsiniz.

DPO (Direct Preference Optimization), Türkçesiyle Doğrudan Tercih Optimizasyonu, büyük dil modellerini insan tercihlerine göre hizalamak için kullanılan ve RLHF'nin çok aşamalı sürecini tek bir denetimli öğrenme adımına indirgeyen bir ince ayar (fine-tuning) yöntemidir. Rafailov ve arkadaşlarının 2023'te Stanford'da yayımladığı "Your Language Model is Secretly a Reward Model" makalesiyle önerildi. Yöntemin çözdüğü sorun şudur: RLHF'de önce insan tercihlerinden ayrı bir ödül modeli eğitilir, ardından bu ödülü maksimize etmek için PPO gibi pekiştirmeli öğrenme algoritmaları çalıştırılır; bu süreç karmaşık, maliyetli ve kararsızdır. DPO ise ödül fonksiyonunun kapalı formda doğrudan politika üzerinden ifade edilebildiğini matematiksel olarak gösterir. Böylece aynı hizalama hedefi, kazanan-kaybeden yanıt çiftlerinden oluşan tercih verisiyle tek aşamada optimize edilir. Kayıp fonksiyonu, modelin tercih edilen yanıta verdiği olasılığı artırırken reddedilen yanıtınkini düşürür ve KL cezasıyla referans modelden aşırı sapmayı engeller. Bu sadeleşme pratikte büyük fark yaratır: ayrı ödül modeli eğitimi, örnekleme döngüleri ve PPO'nun hiperparametre hassasiyeti ortadan kalkar; eğitim daha kararlı, daha ucuz ve tekrarlanabilir hâle gelir. Zephyr, Tülu 2 ve Meta'nın Llama 3 ailesi gibi modellerin hizalama aşamasında DPO kullanıldı. Hugging Face TRL kütüphanesindeki DPOTrainer sınıfı, LoRA veya QLoRA ile birleştiğinde yöntemi tek GPU'lu ortamlarda bile erişilebilir kılar. Bugün DPO, açık kaynak LLM hizalamasının fiili standartlarından biri kabul edilir; IPO, KTO, SimPO ve ORPO gibi varyantlar da bu çerçeveden türetilmiştir. Hangi yöntemin seçileceği veri altyapısına, hesaplama bütçesine ve hedef görevin hassasiyetine bağlıdır.

model_training

DPO (Doğrudan Tercih Optimizasyonu)

DPO (Direct Preference Optimization), Türkçesiyle Doğrudan Tercih Optimizasyonu, büyük dil modellerini insan tercihlerine göre hizalamak için kullanılan ve RLHF'nin çok aşamalı sürecini tek bir denetimli öğrenme adımına indirgeyen bir ince ayar (fine-tuning) yöntemidir. Rafailov ve arkadaşlarının 2023'te Stanford'da yayımladığı "Your Language Model is Secretly a Reward Model" makalesiyle önerildi. Yöntemin çözdüğü sorun şudur: RLHF'de önce insan tercihlerinden ayrı bir ödül modeli eğitilir, ardından bu ödülü maksimize etmek için PPO gibi pekiştirmeli öğrenme algoritmaları çalıştırılır; bu süreç karmaşık, maliyetli ve kararsızdır. DPO ise ödül fonksiyonunun kapalı formda doğrudan politika üzerinden ifade edilebildiğini matematiksel olarak gösterir. Böylece aynı hizalama hedefi, kazanan-kaybeden yanıt çiftlerinden oluşan tercih verisiyle tek aşamada optimize edilir. Kayıp fonksiyonu, modelin tercih edilen yanıta verdiği olasılığı artırırken reddedilen yanıtınkini düşürür ve KL cezasıyla referans modelden aşırı sapmayı engeller. Bu sadeleşme pratikte büyük fark yaratır: ayrı ödül modeli eğitimi, örnekleme döngüleri ve PPO'nun hiperparametre hassasiyeti ortadan kalkar; eğitim daha kararlı, daha ucuz ve tekrarlanabilir hâle gelir. Zephyr, Tülu 2 ve Meta'nın Llama 3 ailesi gibi modellerin hizalama aşamasında DPO kullanıldı. Hugging Face TRL kütüphanesindeki DPOTrainer sınıfı, LoRA veya QLoRA ile birleştiğinde yöntemi tek GPU'lu ortamlarda bile erişilebilir kılar. Bugün DPO, açık kaynak LLM hizalamasının fiili standartlarından biri kabul edilir; IPO, KTO, SimPO ve ORPO gibi varyantlar da bu çerçeveden türetilmiştir. Hangi yöntemin seçileceği veri altyapısına, hesaplama bütçesine ve hedef görevin hassasiyetine bağlıdır.

arrow_forward