tag SelfConsistency

Bu sayfada SelfConsistency etiketi ile işaretlenmiş 1 yapay zeka kavramını bulabilirsiniz.

Self-Consistency (Öz-Tutarlılık), büyük dil modellerinin akıl yürütme görevlerindeki doğruluğunu artırmak için 2023 yılında Wang ve arkadaşları tarafından önerilen bir çözümleme stratejisidir. Yöntemin özü şudur: model, aynı soruya birbirinden bağımsız birden fazla çözüm yolu üretir; ardından en sık tekrar eden yanıt çoğunluk oylamasıyla (majority voting) nihai cevap olarak seçilir. Geleneksel greedy decoding stratejisinde model her adımda en yüksek olasılıklı tokeni seçer. Bu yaklaşım hızlı olsa da tek bir hatalı adım tüm çözüm zincirini bozabilir. Self-Consistency ise sıcaklık (temperature) parametresini yükselterek modelin stokastik örneklemesini etkinleştirir ve farklı düşünce yolları (reasoning paths) üretmesine olanak tanır. 10 ile 40 arasında örnek üretilip çoğunluk oylaması uygulandığında, matematiksel akıl yürütme ve ortak duygu (commonsense) görevlerinde greedy decoding'e kıyasla 5-18 puan iyileşme elde edildiği bildirilmiştir. Yöntemin temel sezgisi şudur: doğru çözüme birden fazla farklı yoldan ulaşılabilir, ama hatalı çözümler genellikle birbirinden farklı, dağınık yanıtlar üretir. Bu asimetri, çoğunluk oylamasını güçlü bir filtre hâline getirir. Chain-of-Thought (CoT) prompting ile birleştirildiğinde etkinliği daha da artar çünkü her reasoning path adım adım gerekçelendirilmiş olur. Pratik kısıtlar açısından değerlendirildiğinde, her sorgu için 10-40 kat daha fazla API çağrısı ve token tüketimi söz konusudur. Dolayısıyla Self-Consistency, latency'ye duyarlı üretim sistemlerinden çok yüksek doğruluk gerektiren toplu (batch) görevler için uygundur. Günümüzde bu ilke, OpenAI o1/o3 ve DeepSeek-R1 gibi thinking modellerinin test-time compute stratejilerinde yerleşik hâle gelmiştir.

code_blocks

Self-Consistency (Öz-Tutarlılık)

Self-Consistency (Öz-Tutarlılık), büyük dil modellerinin akıl yürütme görevlerindeki doğruluğunu artırmak için 2023 yılında Wang ve arkadaşları tarafından önerilen bir çözümleme stratejisidir. Yöntemin özü şudur: model, aynı soruya birbirinden bağımsız birden fazla çözüm yolu üretir; ardından en sık tekrar eden yanıt çoğunluk oylamasıyla (majority voting) nihai cevap olarak seçilir. Geleneksel greedy decoding stratejisinde model her adımda en yüksek olasılıklı tokeni seçer. Bu yaklaşım hızlı olsa da tek bir hatalı adım tüm çözüm zincirini bozabilir. Self-Consistency ise sıcaklık (temperature) parametresini yükselterek modelin stokastik örneklemesini etkinleştirir ve farklı düşünce yolları (reasoning paths) üretmesine olanak tanır. 10 ile 40 arasında örnek üretilip çoğunluk oylaması uygulandığında, matematiksel akıl yürütme ve ortak duygu (commonsense) görevlerinde greedy decoding'e kıyasla 5-18 puan iyileşme elde edildiği bildirilmiştir. Yöntemin temel sezgisi şudur: doğru çözüme birden fazla farklı yoldan ulaşılabilir, ama hatalı çözümler genellikle birbirinden farklı, dağınık yanıtlar üretir. Bu asimetri, çoğunluk oylamasını güçlü bir filtre hâline getirir. Chain-of-Thought (CoT) prompting ile birleştirildiğinde etkinliği daha da artar çünkü her reasoning path adım adım gerekçelendirilmiş olur. Pratik kısıtlar açısından değerlendirildiğinde, her sorgu için 10-40 kat daha fazla API çağrısı ve token tüketimi söz konusudur. Dolayısıyla Self-Consistency, latency'ye duyarlı üretim sistemlerinden çok yüksek doğruluk gerektiren toplu (batch) görevler için uygundur. Günümüzde bu ilke, OpenAI o1/o3 ve DeepSeek-R1 gibi thinking modellerinin test-time compute stratejilerinde yerleşik hâle gelmiştir.

arrow_forward