tag CAI

Constitutional AI (Anayasal Yapay Zeka)

Bu sayfada CAI (Constitutional AI (Anayasal Yapay Zeka)) etiketi ile işaretlenmiş 1 yapay zeka kavramını bulabilirsiniz.

Constitutional AI (CAI — Anayasal Yapay Zeka), Anthropic tarafından Aralık 2022'de yayımlanan "Constitutional AI: Harmlessness from AI Feedback" (Bai ve ark., arXiv 2212.08073) makalesiyle kamuoyuna tanıtılan bir model hizalama tekniğidir. Geleneksel RLHF yaklaşımında insan değerlendiricilerin her model yanıtını elle değerlendirmesi gerekir; bu süreç hem yavaş hem de pahalıdır, değerlendirici tutarsızlığından kaynaklanan gürültü içerir ve zararlı içeriklere maruz kalan etiketleyicileri olumsuz etkiler. Constitutional AI, bu darboğazı büyük ölçüde yapay zeka geri bildirimiyle (RLAIF — Reinforcement Learning from AI Feedback) aşar. Teknik iki ana aşamaya dayanır. SL-CAI aşamasında model önce kışkırtıcı bir istem için sorunlu bir yanıt üretir; ardından belirlenmiş "anayasa" ilkelerine göre kendi yanıtını eleştirir ve revize eder. Bu öz-eleştiri döngüsü birkaç tur tekrarlanır; elde edilen yüksek kaliteli yanıtlar denetimli öğrenme (SFT) için eğitim verisi olarak kullanılır. RL-CAI aşamasında ise insan tercih sıralaması yerine bir AI hakem modeli devreye girer; hakem, anayasadaki ilkelere göre hangi yanıtın daha iyi olduğuna karar verir ve bu tercih verileriyle ödül modeli eğitilir. Anthropic'in anayasası, BM İnsan Hakları Evrensel Beyannamesi'ndeki temel ilkeler ve "zararlı olmamak, yardımcı olmak, dürüst olmak" (harmless, helpful, honest) üçlüsünden oluşur. Bu anayasa metni kamuya açık biçimde yayımlanmış olup araştırmacılar ve kullanıcılar tarafından denetlenebilir bir değer çerçevesi sunar. Anthropic'in Claude model serisi — Claude 1'den günümüze tüm versiyonlar — Constitutional AI ve türev geliştirmeler temel alınarak eğitilmiştir; CAI bu nedenle bugüne kadarki en yaygın ve kapsamlı ticari hizalama yöntemi olarak öne çıkmaktadır. Constitutional AI, "ölçeklenebilir denetim" (scalable oversight) araştırma alanının somut bir uygulaması olarak yapay zeka güvenliği ve sorumlu AI geliştirme literatüründe önemli bir yer tutmaktadır.

account_balance

Constitutional AI (Anayasal Yapay Zeka)

Constitutional AI (CAI — Anayasal Yapay Zeka), Anthropic tarafından Aralık 2022'de yayımlanan "Constitutional AI: Harmlessness from AI Feedback" (Bai ve ark., arXiv 2212.08073) makalesiyle kamuoyuna tanıtılan bir model hizalama tekniğidir. Geleneksel RLHF yaklaşımında insan değerlendiricilerin her model yanıtını elle değerlendirmesi gerekir; bu süreç hem yavaş hem de pahalıdır, değerlendirici tutarsızlığından kaynaklanan gürültü içerir ve zararlı içeriklere maruz kalan etiketleyicileri olumsuz etkiler. Constitutional AI, bu darboğazı büyük ölçüde yapay zeka geri bildirimiyle (RLAIF — Reinforcement Learning from AI Feedback) aşar. Teknik iki ana aşamaya dayanır. SL-CAI aşamasında model önce kışkırtıcı bir istem için sorunlu bir yanıt üretir; ardından belirlenmiş "anayasa" ilkelerine göre kendi yanıtını eleştirir ve revize eder. Bu öz-eleştiri döngüsü birkaç tur tekrarlanır; elde edilen yüksek kaliteli yanıtlar denetimli öğrenme (SFT) için eğitim verisi olarak kullanılır. RL-CAI aşamasında ise insan tercih sıralaması yerine bir AI hakem modeli devreye girer; hakem, anayasadaki ilkelere göre hangi yanıtın daha iyi olduğuna karar verir ve bu tercih verileriyle ödül modeli eğitilir. Anthropic'in anayasası, BM İnsan Hakları Evrensel Beyannamesi'ndeki temel ilkeler ve "zararlı olmamak, yardımcı olmak, dürüst olmak" (harmless, helpful, honest) üçlüsünden oluşur. Bu anayasa metni kamuya açık biçimde yayımlanmış olup araştırmacılar ve kullanıcılar tarafından denetlenebilir bir değer çerçevesi sunar. Anthropic'in Claude model serisi — Claude 1'den günümüze tüm versiyonlar — Constitutional AI ve türev geliştirmeler temel alınarak eğitilmiştir; CAI bu nedenle bugüne kadarki en yaygın ve kapsamlı ticari hizalama yöntemi olarak öne çıkmaktadır. Constitutional AI, "ölçeklenebilir denetim" (scalable oversight) araştırma alanının somut bir uygulaması olarak yapay zeka güvenliği ve sorumlu AI geliştirme literatüründe önemli bir yer tutmaktadır.

arrow_forward