AI Benchmark Nedir? MMLU, HumanEval ve GPQA Rehberi

Şubat’ta GPT-5 duyuruldu, Mart’ta Gemini 3, Nisan’da Claude Opus 4. Her lansmanın ardından “bu model MMLU’da %92 aldı, HumanEval’de pass@1 skoru %67’ye çıktı” gibi cümleler haber sitelerine doldu. Peki bu rakamlar ne anlama geliyor? Bir modelin 90 puan alması onu gerçekten iyi yapıyor mu? Bu sorulara net yanıt vermeden yapay zeka haberlerini anlamak hem güç hem de riskli. Bu rehber, en yaygın LLM benchmark’larını, nasıl çalıştıklarını ve skorları okurken nelere dikkat etmeniz gerektiğini ele alıyor.

Benchmark Nedir ve Neden Önemlidir?

Benchmark, bir sistemin belirlenmiş koşullar altında standartlaştırılmış sorulara verdiği yanıtları ölçen test kümesidir. Yapay zeka bağlamında bir benchmark genellikle şu bileşenlerden oluşur: soru bankası, doğru yanıt listesi ve puanlama protokolü.

Dil modelleri öznel ve yaratıcı metinler üretebiliyor; bu yüzden iki modeli doğrudan karşılaştırmak çok zor. Benchmark, karşılaştırmayı mümkün kılmak için ortak bir zemin çiziyor. Bir modelin “iyi” olduğunu iddia etmek, onu neye göre ölçtüğünüzü belirtmeden anlamsız kalır.

Benchmark’lar iki ana kategoride değerlendirilebilir:

• Akademik benchmark’lar: Araştırmacılar tarafından geliştirilen, kontrol edilebilir ve tekrar üretilebilir testler. MMLU, GPQA, MATH bu gruba girer.
• Endüstri benchmark’ları: Gerçek kullanım senaryolarını simüle eden, genellikle şirket içi ya da bağımsız değerlendirme laboratuvarları tarafından hazırlanan testler. Chatbot Arena gibi tercih bazlı platformlar da bu kategoride yer alır.

Her iki grup farklı soruları yanıtlar: Akademik benchmark’lar “model bu konuyu biliyor mu?” diye sorarken, endüstri benchmark’ları “kullanıcılar bu modeli diğerine tercih ediyor mu?” diye sorar.

En Önemli LLM Benchmark’ları

MMLU: Massive Multitask Language Understanding

MMLU, 2020 yılında UC Berkeley’de Dan Hendrycks ve ekibi tarafından geliştirildi. 57 farklı alandan 15.908 çoktan seçmeli soru içeriyor: ilk yardımdan astronomiye, uluslararası hukuktan ileri düzey matematik müfredatına kadar geniş bir kapsam.

Her soru dört şıklı ve yalnızca bir doğru yanıt içeriyor. Modele soru veriliyor, cevap üretiyor; toplam doğru yanıt oranı skor olarak hesaplanıyor.

Skor yorumlama:

• ~25%: Rastgele tahmin seviyesi (4 şık = %25 olasılık)
• 50-60%: Zayıf performans
• 70-79%: Orta düzey, insan uzman olmayan seviyeye yakın
• 80-89%: İyi, insan uzman ortalamasını geçiyor
• 90+: Çok güçlü, birçok alanda insan uzman düzeyine ya da üstüne çıkıyor

2024 başında GPT-4 yaklaşık %86 alırken, 2026’ya gelindiğinde en iyi modeller %90’ın üzerinde seyrediyor. Bu “tavan” etkisi, MMLU’nun artık yüksek kapasiteli modeller arasındaki farkları göstermekte zorlandığını ortaya koyuyor; bu yüzden MMLU-Pro gibi daha zor versiyonlar geliştirildi.

HumanEval ve MBPP: Kodlama Kapasitesi

HumanEval, OpenAI tarafından 2021’de yayınlanan bir kodlama benchmark’ı. 164 Python fonksiyon imzası ve docstring içeriyor; model fonksiyon gövdesini tamamlamalı. Ardından otomatik birim testler koşturuluyor ve testleri geçen çözümler doğru sayılıyor.

Temel metrik pass@k: modelden k kez çözüm isteniyor, en az biri tüm testleri geçerse “geçti” sayılıyor. pass@1 tek denemede başarı oranını, pass@10 on denemede en az bir başarı olasılığını gösteriyor.

MBPP (Mostly Basic Python Programming) ise daha geniş bir soru havuzuyla benzer mantıkla çalışıyor. Temel Python algoritmalarından veri yapısı manipülasyonuna kadar uzanıyor.

Kodlama benchmark’ları prompt engineering açısından da kritik: few-shot örnekleriyle modele nasıl bir format beklediğinizi gösterdiğinizde pass@1 skoru ciddi oranda artabiliyor.

GPQA: Graduate-Level Google-Proof Q&A

GPQA, 2023’te yayınlanan ve gerçekten güç soruları içeren bir benchmark. “Google-Proof” ifadesi kilit noktayı özetliyor: soruların büyük bölümü, doğru yanıtı arama motorunda bularak geçilemiyor, çünkü bileşik akıl yürütme gerektiriyor.

Sorular doktora düzeyinde fizik, kimya, biyoloji ve matematik içeriyor. İnsan uzmanların ortalama skoru %65 civarında; alanın dışındaki doktora öğrencileri ise ancak %30’a ulaşabiliyor. Bu, benchmark’ın gerçekten güç olduğunu kanıtlıyor.

2024 ortasında GPT-4’ün skoru %40’ın biraz üzerindeydi. 2025-2026 itibarıyla akıl yürüten modeller bu alanda ciddi atılımlar yaptı; o3 ve benzeri modeller %75-80 aralığına taşındı.

MATH ve GSM8K: Matematiksel Akıl Yürütme

MATH, lise ve üniversite düzeyinde 12.500 problem içeriyor. Aritmetikten integral hesabına, kombinatorikten sayılar teorisine uzanıyor. Her sorunun adım adım çözümü de var; bu çözümler hem doğrulama hem eğitim verisi olarak kullanılıyor.

GSM8K ise ilkokul matematik seviyesindeki 8.500 sözel problemden oluşuyor. Kulağa basit geliyor; ancak modeller burada bağlam takibi ve çok adımlı hesaplama yapmak zorunda kalıyor.

Chain-of-thought prompting bu iki benchmark’ta skoru büyük oranda etkiliyor. Modele “adım adım düşün” dediğinizde MATH skorları %20-30 artabiliyor; bu da testin yalnızca bilgiyi değil, akıl yürütme sürecini de ölçtüğünü gösteriyor.

ARC-AGI ve BIG-Bench

ARC-AGI (Abstraction and Reasoning Corpus for AGI), François Chollet tarafından geliştirilen ve saf örüntü tanıma yerine soyut muhakeme gerektiren görsel bulmacalar içeriyor. Modeller piksel ızgaralarında gizli kuralları çıkarmalı. 2024’te birçok model bu benchmark’ta neredeyse sıfır skora düştü; bu da büyük test setlerinde yüksek sonuç almanın gerçek genel zekayla aynı anlama gelmediğini açıkça ortaya koydu.

BIG-Bench ise Google Brain öncülüğünde hazırlanan 204 görevlik bir süper-benchmark. Şiir yazmak, tarihsel akıl yürütme, etik ikilemler, yabancı dil testleri gibi çok farklı kategoriler var; modeli dar bir konuda değil, geniş bir profilde değerlendirmek isteyenler için ciddi bir referans kaynağı.

2026’da Model Benchmark Tablosu

Aşağıdaki sayılar kamuya açık teknik rapor ve ölçüm sonuçlarından derlendi. Yeni modeller sık sık çıktığından değerler değişebilir; en güncel skorlar için ilgili şirketin teknik raporunu takip etmek en doğru yol.

Not: Tablo, 2026 ortası itibarıyla genel eğilimi göstermek amacıyla hazırlanmıştır. Modellerin farklı fine-tuning versiyonları bu skorlardan sapabilir.

Benchmark’ların Sınırları ve Eleştiriler

Veri Kirliliği (Data Contamination)

İşin can sıkıcı tarafı şu: bir modeli eğitirken internetten toplanan büyük veri setleri kullanılıyor. Bu veri seti benchmark sorularını da içerebiliyor. Yüksek skor “gerçekten öğrendi” mi demek, yoksa “sorular zaten eğitim verisindeydi” mi? Bunu ayırt etmek çoğu zaman mümkün değil.

Bu problemi tamamen ortadan kaldırmak güç, çünkü büyük veri setleri üzerinde tam denetim yapmak neredeyse olanaksız. Araştırmacılar bazı durumlarda “dinamik benchmark” yaklaşımını deniyor: her değerlendirme turunda sorular yeniden üretiliyor ya da değiştiriliyor. Ama bu yöntem hem pahalı hem de tekrar üretilebilirliği zorlaştırıyor.

Benchmark Optimizasyonu

Bir model belirli bir benchmark üzerinde iyileştirme yaparken diğer görevlerde gerileme yaşayabilir. Bu “benchmark hacking” olgusu, modelin gerçekten daha iyi hale gelmediğini, yalnızca testteki performansın arttığını gösteriyor. RLHF sürecinde insan değerlendiriciler farkında olmadan belirli benchmark yapısına yakın yanıtları tercih ettiğinde bu sapma derinleşebiliyor.

Gerçek Dünya ile Uçurum

Yüksek MMLU skoru, modelin iş yazışmalarında, yaratıcı çeviride ya da uzun belge özetlemede güvenilir olacağını garanti etmiyor. Benchmark başarısı bağlamı kısıtlı, yapılandırılmış sorularda ölçülüyor; gerçek kullanım senaryoları çok daha karmaşık ve belirsiz. Halüsinasyon riski de yüksek benchmark skoru olan modellerde çözülmüş değil.

Bu uçurum, LLM eval alanının neden genel benchmark’ların ötesine geçmeye çalıştığını açıklıyor: şirketlerin kendi kullanım durumlarına özel değerlendirme setleri oluşturması yaygınlaşıyor.

Doğru Benchmark Nasıl Seçilir?

Hangi benchmark’a bakmanız gerektiği kullanım durumunuza göre değişiyor:

• Müşteri destek botu: Dialog kalitesi, kısa yanıt tutarlılığı ve yanlış bilgi oranı odaklı benchmark’lar daha anlamlı. HumanEval bu senaryoda neredeyse anlamsız.
• Kod asistanı: HumanEval, MBPP ve gerçek PR çözme benchmark’ları (SWE-bench) doğru göstergeler.
• Bilimsel araştırma asistanı: GPQA ve MATH önemli; MMLU’nun bilimsel alt kategorileri faydalı ek veri.
• Çok dilli uygulama: MMLU’nun çok dilli versiyonu, multilingual benchmark’lar ve hedef dilde özel test setleri kritik.

Tek bir benchmark üzerinden karar vermek yerine birkaç farklı benchmark’ı birleştirmek ve kendi kullanım durumunuza özgü birkaç test sorusu eklemek çok daha güvenilir bir tablo çiziyor.

Türkçe ve Çok Dilli Benchmark’lar

MMLU’nun Türkçe versiyonu mevcut. Ancak soruların büyük çoğunluğu İngilizce’den makine çevirisiyle hazırlandığından dil kalitesi tartışmalı. Türkçe’ye özgü dil yapıları, dilbilgisel belirsizlikler ve kültürel bağlam testlerin yetersiz kaldığı alanlar.

Akademik çevrelerde TurkishMMLU gibi bağımsız girişimler var; ancak bunların soru kalitesi ve kapsam genişliği henüz İngilizce benchmark standartlarının gerisinde. Türkçe bir yapay zeka uygulaması geliştiriyorsanız yalnızca mevcut çok dilli benchmark skorlarına güvenmek riskli. Kendi değerlendirme setinizi Türkçe hazırlamak en güvenilir yol.

Çok dilli değerlendirme için XNLI, M-MMLU ve Multilingual TruthfulQA benchmark’ları araştırılabilir. Bu setler Türkçe dahil onlarca dili kapsıyor ve diller arası tutarlılık sorunlarını görmeye yarıyor.

Türkçe’de ek bir sorun var: büyük modellerin büyük çoğunluğu İngilizce ağırlıklı veriyle eğitildiğinden, Türkçe yanıtların kalitesi genellikle İngilizce yanıtların gerisinde kalıyor. Bu da çok dilli benchmark’larda aynı modelin diller arasında büyük puan farkı göstermesine yol açıyor. Türkçe odaklı bir uygulama geliştiriyorsanız bu farkı göz ardı etmemek gerekiyor.

Benchmark’ları Doğru Okumak

GPQA’dan yüksek puan almak her görev için doğru tercih anlamına gelmiyor. MMLU’da rakiplerden 2 puan geride duran bir model, sizin kullanım durumunuzda çok daha iyi çalışabilir. Benchmark’lar kaba bir eleme yapmanıza yarar; nihai karar kendi test verilerinizden çıkmalı.

Yeni bir modeli değerlendirirken sıra şöyle olabilir:

1. Görev türünüze en uygun 2-3 benchmark’ı belirleyin.
2. Bu benchmark’larda öne çıkan modellerin kısa listesini çıkarın.
3. Kendi kullanım senaryonuzdan 20-50 örnek test sorusu hazırlayın.
4. Bu sorularla kısa listenizdeki modelleri karşılaştırın.
5. Maliyet, gecikme ve bağlam uzunluğu kısıtlarını da katarak karar verin.

Yapay zeka modellerini karşılaştırmak hem nesnel hem de bağlama bağlı bir süreç. Benchmark’lar nesnel kısmı destekliyor; bağlamı anlamak ise her zaman sizin işiniz.