tag Değerlendirme
Bu sayfada Değerlendirme etiketi ile işaretlenmiş 3 yapay zeka kavramını bulabilirsiniz.
LLM Eval (LLM Evaluation — LLM Değerlendirme), büyük dil modellerinin performansını sistematik biçimde ölçmek için kullanılan metodoloji, kıyaslama ve araçların bütünüdür. Model değerlendirme; hangi modelin belirli bir göreve uygun olduğunu, hangi hata türlerini ürettiğini ve zamana göre nasıl geliştiğini anlamayı mümkün kılar. LLM değerlendirmesi iki temel eksende ele alınır. İnsan değerlendirmesi, kişilerin model çıktılarını doğrudan puanladığı veya tercih ettiği yöntemi temsil eder; pahalı ama altın standart olarak kabul edilir. Otomatik değerlendirme ise ölçüm sürecini kıyaslama verileri veya başka bir LLM kullanarak otomatikleştirir. Bu ikincisine "LLM-as-a-Judge" denilir ve özellikle GPT-4 ya da Claude gibi güçlü modellerin hakem olarak kullanıldığı yapılar giderek yaygınlaşmaktadır. Yaygın kıyaslama ölçütleri arasında bilgi ve akıl yürütme testi için MMLU (Massive Multitask Language Understanding), kod üretimi için HumanEval ve MBPP, çoklu adım akıl yürütme için GSM8K ve MATH, dil anlama için HellaSwag, WinoGrande ve ARC yer alır. RAG sistemleri için RAGAS ve TREC, çok dilli yetenekler için MGSM ve okuma anlama için SQuAD da sıkça kullanılan setler arasındadır. Bununla birlikte kıyaslamalar tek başına yeterli değildir. Ezberleme (benchmark contamination) sorunu, modelin test verilerini eğitim sırasında görmüş olabileceğine işaret eder; bu nedenle hem gizli tutulmuş hem de dinamik olarak güncellenen veri setleri önem kazanır. Gerçek dünya senaryoları için üretim ortamında izleme, A/B testi ve kullanıcı geri bildirimi toplama da değerlendirmenin ayrılmaz parçalarıdır. Uygulama özelinde değerlendirmede ise üç boyut öne çıkar: doğruluk (factual accuracy ve groundedness), zararsızlık (safety, jailbreak dayanıklılığı) ve fayda (task completion, coherence, kullanıcı memnuniyeti). Hellaswag-türü genel benchmark iyi skoru, bir müşteri hizmetleri botunun gerçek konuşmalarda başarılı olacağını garanti etmez; bu yüzden görev odaklı metrikler zorunludur.
LLM Eval (LLM Değerlendirme)
LLM Eval (LLM Evaluation — LLM Değerlendirme), büyük dil modellerinin performansını sistematik biçimde ölçmek için kullanılan metodoloji, kıyaslama ve araçların bütünüdür. Model değerlendirme; hangi modelin belirli bir göreve uygun olduğunu, hangi hata türlerini ürettiğini ve zamana göre nasıl geliştiğini anlamayı mümkün kılar. LLM değerlendirmesi iki temel eksende ele alınır. İnsan değerlendirmesi, kişilerin model çıktılarını doğrudan puanladığı veya tercih ettiği yöntemi temsil eder; pahalı ama altın standart olarak kabul edilir. Otomatik değerlendirme ise ölçüm sürecini kıyaslama verileri veya başka bir LLM kullanarak otomatikleştirir. Bu ikincisine "LLM-as-a-Judge" denilir ve özellikle GPT-4 ya da Claude gibi güçlü modellerin hakem olarak kullanıldığı yapılar giderek yaygınlaşmaktadır. Yaygın kıyaslama ölçütleri arasında bilgi ve akıl yürütme testi için MMLU (Massive Multitask Language Understanding), kod üretimi için HumanEval ve MBPP, çoklu adım akıl yürütme için GSM8K ve MATH, dil anlama için HellaSwag, WinoGrande ve ARC yer alır. RAG sistemleri için RAGAS ve TREC, çok dilli yetenekler için MGSM ve okuma anlama için SQuAD da sıkça kullanılan setler arasındadır. Bununla birlikte kıyaslamalar tek başına yeterli değildir. Ezberleme (benchmark contamination) sorunu, modelin test verilerini eğitim sırasında görmüş olabileceğine işaret eder; bu nedenle hem gizli tutulmuş hem de dinamik olarak güncellenen veri setleri önem kazanır. Gerçek dünya senaryoları için üretim ortamında izleme, A/B testi ve kullanıcı geri bildirimi toplama da değerlendirmenin ayrılmaz parçalarıdır. Uygulama özelinde değerlendirmede ise üç boyut öne çıkar: doğruluk (factual accuracy ve groundedness), zararsızlık (safety, jailbreak dayanıklılığı) ve fayda (task completion, coherence, kullanıcı memnuniyeti). Hellaswag-türü genel benchmark iyi skoru, bir müşteri hizmetleri botunun gerçek konuşmalarda başarılı olacağını garanti etmez; bu yüzden görev odaklı metrikler zorunludur.
Perplexity (Şaşkınlık (Perplexity))
Perplexity (şaşkınlık), bir dil modelinin bir metni tahmin etmekte ne kadar zorlandığını ölçen değerlendirme metriğidir. Model bir sonraki kelimeyi yüksek olasılıkla doğru tahmin ediyorsa perplexity düşer, tahminlerde kararsız kalıyorsa yükselir. Matematiksel olarak çapraz entropinin üssüdür ve kabaca 'model her adımda ortalama kaç seçenek arasında kaldı' sorusunun cevabıdır.
Needle in a Haystack (Samanlıkta İğne Testi)
Needle in a Haystack (Samanlıkta İğne), büyük dil modellerinin (LLM) uzun bağlam pencerelerindeki performansını ölçmek için tasarlanmış bir değerlendirme yöntemidir. Test, basit ama güçlü bir mantığa dayanır: modele çok uzun bir metin (samanlık) verilir ve bu metnin içine küçük, spesifik bir bilgi parçası (iğne) gizlenir. Model daha sonra yalnızca o iğneyi içeren bir soruya yanıt vermesi istenir. Performans, iğnenin belgenin neresine yerleştirildiğine (başı, ortası, sonu) ve belgenin uzunluğuna (birkaç bin ila milyonlarca token) bağlı olarak ölçülür. Bu test 2023 yılı sonunda OpenAI'ın GPT-4 Turbo'nun 128.000 token bağlam penceresini duyurmasıyla popülerlik kazandı. Araştırmacılar kısa sürede fark etti ki bir modelin uzun bağlam desteklemesi, o bağlamı etkin biçimde kullanabildiği anlamına gelmiyordu. Needle in a Haystack testleri, modellerin özellikle belgenin ortasındaki bilgileri sık sık kaçırdığını ortaya koydu; bu olgu "Lost in the Middle" fenomeni olarak adlandırıldı. Test metodolojisi oldukça esnektir. İğne olarak bir şifreli kod, bir şehir adı, bir tarih ya da herhangi bir belirgin bilgi kullanılabilir. Samanlık ise genellikle Paul Graham denemelerinden oluşan ya da rastgele oluşturulmuş uzun metin bloklarıdır. Değerlendirme, modelin yanıtının doğru iğne bilgisini içerip içermediğini kontrol ederek yapılır. Sonuçlar ısı haritaları şeklinde görselleştirilir: yatay eksen belge uzunluğunu, dikey eksen iğnenin konumunu temsil eder; doğru yanıtlar yeşil, yanlışlar kırmızı olarak gösterilir. Anthropic Claude, Google Gemini ve Meta LLaMA modelleri bu testle kapsamlı biçimde karşılaştırılmıştır. Testler, modellerin bağlam uzunluğu arttıkça performans kaybı yaşadığını ve iğnenin konumunun kritik önem taşıdığını göstermiştir. Bu bulgular, modern LLM mimarilerinin gelişimini ve uzun bağlam optimizasyon tekniklerini (Flash Attention, sliding window attention vb.) doğrudan etkilemiştir. Needle in a Haystack testi aynı zamanda RAG (Retrieval-Augmented Generation) sistemleri için de önemlidir: bir RAG sistemine koyulan belgelerdeki iğnelerin model tarafından doğru biçimde alınıp alınamadığını test etmek için standart bir araç haline gelmiştir.