tag SelfConsistency

Bu sayfada SelfConsistency etiketi ile işaretlenmiş 1 yapay zeka kavramını bulabilirsiniz.

Self-Consistency (Öz-Tutarlılık), büyük dil modellerinin akıl yürütme görevlerindeki doğruluğunu artırmak için Xuezhi Wang ve arkadaşlarının 2022'de arXiv'de yayımladığı ve ICLR 2023'te sunduğu bir çözümleme (decoding) stratejisidir. Yöntemin özü şudur: model, aynı soruya birbirinden bağımsız birden fazla çözüm yolu üretir; ardından en sık tekrar eden nihai yanıt çoğunluk oylamasıyla (majority voting) seçilir. Geleneksel greedy decoding stratejisinde model her adımda en yüksek olasılıklı tokeni seçer. Bu yaklaşım hızlı olsa da tek bir hatalı adım tüm çözüm zincirini bozabilir. Self-Consistency ise sıcaklık (temperature) parametresini yükselterek modelin stokastik örneklemesini etkinleştirir ve farklı düşünce yolları (reasoning paths) üretmesine olanak tanır. 10 ile 40 arasında örnek üretilip çoğunluk oylaması uygulandığında, aritmetik akıl yürütme ve sağduyu (commonsense) görevlerinde greedy Chain-of-Thought'a kıyasla 4 ile 18 puan arasında iyileşme bildirilmiştir; GSM8K'da PaLM-540B ile bu fark yaklaşık 18 puandır. Yöntemin temel sezgisi şudur: doğru çözüme birden fazla farklı yoldan ulaşılabilir, hatalı çözümler ise genellikle birbirinden farklı, dağınık yanıtlara savrulur. Bu asimetri, çoğunluk oylamasını güçlü bir filtre hâline getirir. Chain-of-Thought (CoT) prompting ile birleştirildiğinde etkinliği daha da artar, çünkü her reasoning path adım adım gerekçelendirilmiş olur ve yalnızca nihai yanıt oylanır; ara adımların birbirinden farklı olması sorun oluşturmaz. Uygulama tarafında Self-Consistency ek bir model, doğrulayıcı (verifier) ya da yeniden eğitim gerektirmez; yalnızca örnekleme parametreleri ve basit bir sayım mantığı yeterlidir. Bu yüzden hem kapalı API'lerle hem de açık ağırlıklı modellerle kullanılabilir. Yanıtların birbirine ne kadar yakın olduğu ayrıca bir güven (kalibrasyon) sinyali olarak okunabilir: oylar dağınıksa modelin o soruda kararsız olduğu anlaşılır. Pratik kısıtlar açısından değerlendirildiğinde, her sorgu için 10 ile 40 kat daha fazla API çağrısı ve token tüketimi söz konusudur. Dolayısıyla Self-Consistency, gecikmeye duyarlı üretim sistemlerinden çok yüksek doğruluk gerektiren toplu (batch) görevler, değerlendirme setleri ve veri etiketleme akışları için uygundur. Günümüzde aynı ilke, OpenAI o1/o3 ve DeepSeek-R1 gibi düşünen modellerin test-time compute stratejilerinde ve Best-of-N örnekleme yaklaşımlarında yerleşik hâle gelmiştir.

code_blocks

Self-Consistency (Öz-Tutarlılık)

Self-Consistency (Öz-Tutarlılık), büyük dil modellerinin akıl yürütme görevlerindeki doğruluğunu artırmak için Xuezhi Wang ve arkadaşlarının 2022'de arXiv'de yayımladığı ve ICLR 2023'te sunduğu bir çözümleme (decoding) stratejisidir. Yöntemin özü şudur: model, aynı soruya birbirinden bağımsız birden fazla çözüm yolu üretir; ardından en sık tekrar eden nihai yanıt çoğunluk oylamasıyla (majority voting) seçilir. Geleneksel greedy decoding stratejisinde model her adımda en yüksek olasılıklı tokeni seçer. Bu yaklaşım hızlı olsa da tek bir hatalı adım tüm çözüm zincirini bozabilir. Self-Consistency ise sıcaklık (temperature) parametresini yükselterek modelin stokastik örneklemesini etkinleştirir ve farklı düşünce yolları (reasoning paths) üretmesine olanak tanır. 10 ile 40 arasında örnek üretilip çoğunluk oylaması uygulandığında, aritmetik akıl yürütme ve sağduyu (commonsense) görevlerinde greedy Chain-of-Thought'a kıyasla 4 ile 18 puan arasında iyileşme bildirilmiştir; GSM8K'da PaLM-540B ile bu fark yaklaşık 18 puandır. Yöntemin temel sezgisi şudur: doğru çözüme birden fazla farklı yoldan ulaşılabilir, hatalı çözümler ise genellikle birbirinden farklı, dağınık yanıtlara savrulur. Bu asimetri, çoğunluk oylamasını güçlü bir filtre hâline getirir. Chain-of-Thought (CoT) prompting ile birleştirildiğinde etkinliği daha da artar, çünkü her reasoning path adım adım gerekçelendirilmiş olur ve yalnızca nihai yanıt oylanır; ara adımların birbirinden farklı olması sorun oluşturmaz. Uygulama tarafında Self-Consistency ek bir model, doğrulayıcı (verifier) ya da yeniden eğitim gerektirmez; yalnızca örnekleme parametreleri ve basit bir sayım mantığı yeterlidir. Bu yüzden hem kapalı API'lerle hem de açık ağırlıklı modellerle kullanılabilir. Yanıtların birbirine ne kadar yakın olduğu ayrıca bir güven (kalibrasyon) sinyali olarak okunabilir: oylar dağınıksa modelin o soruda kararsız olduğu anlaşılır. Pratik kısıtlar açısından değerlendirildiğinde, her sorgu için 10 ile 40 kat daha fazla API çağrısı ve token tüketimi söz konusudur. Dolayısıyla Self-Consistency, gecikmeye duyarlı üretim sistemlerinden çok yüksek doğruluk gerektiren toplu (batch) görevler, değerlendirme setleri ve veri etiketleme akışları için uygundur. Günümüzde aynı ilke, OpenAI o1/o3 ve DeepSeek-R1 gibi düşünen modellerin test-time compute stratejilerinde ve Best-of-N örnekleme yaklaşımlarında yerleşik hâle gelmiştir.

arrow_forward