tag Alignment
Bu sayfada Alignment etiketi ile işaretlenmiş 2 yapay zeka kavramını bulabilirsiniz.
DPO (Direct Preference Optimization — Doğrudan Tercih Optimizasyonu), büyük dil modellerini insan tercihlerine göre hizalamak için kullanılan ve RLHF'nin çok aşamalı sürecini tek bir denetimli öğrenme adımına indirgeyen ince ayar (fine-tuning) yöntemidir. Rafailov ve arkadaşlarının 2023 yılında Stanford'da yayımladığı "Your Language Model is Secretly a Reward Model" makalesiyle önerilmiştir. Yöntemin çözdüğü temel sorun şudur: RLHF'de önce insan tercihlerinden ayrı bir ödül modeli eğitilir, ardından bu ödülü maksimize etmek için PPO gibi pekiştirmeli öğrenme algoritmaları çalıştırılır. Bu süreç karmaşık, maliyetli ve genellikle kararsızdır; milyarlarca parametreli modellerde PPO'nun hiperparametre hassasiyeti ciddi bir mühendislik yükü oluşturur. DPO, ödül fonksiyonunun kapalı formda doğrudan politika üzerinden ifade edilebildiğini matematiksel olarak gösterir. Bu dönüşümün temeli Bradley-Terry tercih modelindedir: iki yanıt arasındaki insan tercihini modelleyen ödül fonksiyonu, politika ile referans politika arasındaki log-olasılık oranı cinsinden yeniden yazılabilir. Böylece aynı hizalama hedefi, kazanan-kaybeden yanıt çiftlerinden oluşan tercih verisiyle (x, y_w, y_l üçlüleriyle) tek aşamada optimize edilir. Kayıp fonksiyonu, modelin tercih edilen yanıta (y_w) verdiği olasılığı artırırken reddedilen yanıtın (y_l) olasılığını düşürür; KL cezasıyla referans modelden aşırı sapmayı engeller. Beta hiperparametresi bu dengenin hassasiyetini belirler: düşük beta modele daha fazla hareket alanı tanır, yüksek beta referans modele yakın kalmayı zorlar. Pratikte DPO büyük fark yaratır: ayrı ödül modeli eğitimi, örnekleme döngüleri ve PPO'nun karmaşık hiperparametre yönetimi ortadan kalkar; eğitim daha kararlı, daha az hesaplama gerektiren ve tekrarlanabilir bir hale gelir. Zephyr, Tülu 2 ve Meta'nın Llama 3 ailesi gibi popüler modellerin hizalama aşamasında DPO kullanılmıştır. Hugging Face TRL kütüphanesindeki DPOTrainer sınıfı, LoRA veya QLoRA ile birleştiğinde yöntemi tek GPU'lu ortamlarda bile erişilebilir kılar. DPO bugün açık kaynak LLM hizalamasının fiili standartlarından biri konumundadır. IPO (Identity Policy Optimization), KTO (Kahneman-Tversky Optimization), SimPO ve ORPO gibi türev yöntemler bu çerçeveden ilham alınarak geliştirilmiştir. Hangi yöntemin seçileceği veri altyapısına, hesaplama bütçesine ve hedef görevin hassasiyetine bağlıdır.
DPO (Doğrudan Tercih Optimizasyonu)
DPO (Direct Preference Optimization — Doğrudan Tercih Optimizasyonu), büyük dil modellerini insan tercihlerine göre hizalamak için kullanılan ve RLHF'nin çok aşamalı sürecini tek bir denetimli öğrenme adımına indirgeyen ince ayar (fine-tuning) yöntemidir. Rafailov ve arkadaşlarının 2023 yılında Stanford'da yayımladığı "Your Language Model is Secretly a Reward Model" makalesiyle önerilmiştir. Yöntemin çözdüğü temel sorun şudur: RLHF'de önce insan tercihlerinden ayrı bir ödül modeli eğitilir, ardından bu ödülü maksimize etmek için PPO gibi pekiştirmeli öğrenme algoritmaları çalıştırılır. Bu süreç karmaşık, maliyetli ve genellikle kararsızdır; milyarlarca parametreli modellerde PPO'nun hiperparametre hassasiyeti ciddi bir mühendislik yükü oluşturur. DPO, ödül fonksiyonunun kapalı formda doğrudan politika üzerinden ifade edilebildiğini matematiksel olarak gösterir. Bu dönüşümün temeli Bradley-Terry tercih modelindedir: iki yanıt arasındaki insan tercihini modelleyen ödül fonksiyonu, politika ile referans politika arasındaki log-olasılık oranı cinsinden yeniden yazılabilir. Böylece aynı hizalama hedefi, kazanan-kaybeden yanıt çiftlerinden oluşan tercih verisiyle (x, y_w, y_l üçlüleriyle) tek aşamada optimize edilir. Kayıp fonksiyonu, modelin tercih edilen yanıta (y_w) verdiği olasılığı artırırken reddedilen yanıtın (y_l) olasılığını düşürür; KL cezasıyla referans modelden aşırı sapmayı engeller. Beta hiperparametresi bu dengenin hassasiyetini belirler: düşük beta modele daha fazla hareket alanı tanır, yüksek beta referans modele yakın kalmayı zorlar. Pratikte DPO büyük fark yaratır: ayrı ödül modeli eğitimi, örnekleme döngüleri ve PPO'nun karmaşık hiperparametre yönetimi ortadan kalkar; eğitim daha kararlı, daha az hesaplama gerektiren ve tekrarlanabilir bir hale gelir. Zephyr, Tülu 2 ve Meta'nın Llama 3 ailesi gibi popüler modellerin hizalama aşamasında DPO kullanılmıştır. Hugging Face TRL kütüphanesindeki DPOTrainer sınıfı, LoRA veya QLoRA ile birleştiğinde yöntemi tek GPU'lu ortamlarda bile erişilebilir kılar. DPO bugün açık kaynak LLM hizalamasının fiili standartlarından biri konumundadır. IPO (Identity Policy Optimization), KTO (Kahneman-Tversky Optimization), SimPO ve ORPO gibi türev yöntemler bu çerçeveden ilham alınarak geliştirilmiştir. Hangi yöntemin seçileceği veri altyapısına, hesaplama bütçesine ve hedef görevin hassasiyetine bağlıdır.
Corrigibility (Düzeltilebilirlik)
Düzeltilebilirlik (Corrigibility), bir yapay zeka sisteminin insan müdahalelerine — düzeltme, değiştirme, kapatma veya amaç güncelleme komutlarına — direnç göstermeksizin uyum sağlama kapasitesidir. Stuart Armstrong ve MIRI (Machine Intelligence Research Institute) araştırmacıları tarafından 2014 yılında kavramlaştırılan bu özellik, güçlü AI güvenliğinin temel taşlarından biri olarak kabul edilmektedir. Klasik optimizasyon teorisi açısından bakıldığında, yeterince güçlü bir yapay zeka ajanının kendi amaç fonksiyonunu değiştirecek müdahalelere direnmesi rasyonel bir davranıştır: Eğer hedef "X'i maksimize et" ise, kapatılmak veya yeniden programlanmak X'in daha az maksimize edilmesine yol açar, dolayısıyla ajan buna direnir. Bu sorun "off-switch problemi" veya "shutdown problem" olarak da bilinir; 2016'da DeepMind ve Oxford araştırmacılarının yazdığı seminal makale bu problemi biçimsel olarak incelemiştir. Düzeltilebilir bir sistem şu özelliklere sahip olmalıdır: (1) İnsan müdahale komutlarını kendi çıktı optimizasyonuna müdahale olarak değil, ödül sinyali olarak içselleştirmeli; (2) Kendi kapatılmasına ya da değiştirilmesine olasılığını azaltmaya çalışmamalı; (3) Operatörlerin niyetini yanlış yorumlamanın maliyetini doğru yorumlamanın getirisiyle kıyasladığında muhafazakâr davranmalı. RLHF ve Constitutional AI gibi modern hizalama teknikleri, kısmen bu özellikleri sisteme yerleştirmeye çalışmaktadır. Düzeltilebilirlik pratikte birkaç zorluk barındırır. Birincisi, aşırı düzeltilebilir bir sistem — her insan komutuna kayıtsız şartsız uyum sağlayan — kolayca manipüle edilebilir veya sycophantic (yaltakçı) hale gelebilir. İkincisi, çok-etkenli ortamlarda hangi insanın müdahalesine uyulacağı sorusu ortaya çıkar: operatör, kullanıcı ve geliştiricinin çelişen komutları hiyerarşik bir öncelik düzeni gerektirir. Üçüncüsü, bir AI sisteminin "gerçekten" düzeltilebilir mi yoksa stratejik biçimde itaatkâr görünüyor mu (deceptive alignment riski) olduğunu dışarıdan ayırt etmek güçtür. Bu bağlamda araştırmacılar, düzeltilebilirliği yalnızca davranışsal bir özellik olarak değil, yapısal bir güvence olarak tasarlamaya yönelmektedir: Sistemin iç temsil ve amaç yapısının denetim mekanizmalarını sarsmamasını garanti eden doğrulanabilir mimari kısıtlamalar. Corrigibility, interpretability ve oversight kavramlarıyla birlikte AI güvenliğinin üçlü sütunundan birini oluşturmaktadır.