bug_report SWE-Bench Nasıl Çalışır?
Değerlendirme 2000'den fazla gerçek GitHub issue'sundan oluşur (Django, Flask, scikit-learn gibi popüler projelerden). Model, mevcut kod tabanına ve issue açıklamasına bakarak bir yama (patch) oluşturur. Bu yama, orijinal deponun birim testleri çalıştırılarak doğrulanır. Başarı oranı, geçen test sayısına göre hesaplanır.
SWE-Bench Varyantları
view_list SWE-Bench
Orijinal 2294 görevden oluşan tam değerlendirme seti.
verified SWE-Bench Verified
İnsan doğrulamasından geçmiş 500 görev; daha güvenilir ölçüm sağlar.
bolt SWE-Bench Lite
Hızlı değerlendirme için 300 seçilmiş görev; araştırma döngüsünü hızlandırır.
SWE-bench Varyantları
- check_circle SWE-bench (Tam): 2294 GitHub issue ve ilgili test paketi. Gerçek Python projeleri: Django, Flask, scikit-learn, NumPy, Matplotlib vb. Her görev: issue açıklamasını oku → kodu düzelt → testler geçmeli. GPT-4 gibi modeller ilk yayında %1-4 başarı gösterdi.
- check_circle SWE-bench Verified: Tam SWE-bench'in insan tarafından doğrulanmış 500 görevlik alt kümesi. Test kalitesi garanti edilmiş; daha güvenilir değerlendirme. 2024'te Claude 3.5 Sonnet %49 ile liderliğe geldi; 2025'te Claude 3.7 Sonnet %70.3'e ulaştı.
- check_circle SWE-bench Lite ve Multilingual: Lite: 300 görevlik daha hızlı değerlendirme seti. SWE-bench Multilingual: Python dışı dilleri (Java, TypeScript, Go vb.) kapsıyor. SWE-bench Multimodal: görsel UI hataları dahil.
SWE-bench'in Önemi ve Sınırları
SWE-bench, AI kod ajanlarının gerçek dünya yazılım geliştirme görevlerindeki yetkinliğini ölçen en güvenilir benchmark'lardan biridir. Açık kaynak dünyasından çıkarılmış gerçek hatalar kullandığı için yapay veya basitleştirilmiş görevler içermez. Sınırları: yalnızca Python tabanlı projeleri (tam versiyonda), yalnızca var olan testlerin geçmesini ölçer — yeni test yazma veya tasarım kalitesi değerlendirilemez. Liderlik tablosu: swebench.com adresinde güncel sonuçlar listelenir. Yüksek SWE-bench skoru, modelin gerçek yazılım projelerinde bağımsız çalışabilme kapasitesinin güvenilir göstergesidir. Endüstri etkisi: AI ajan şirketleri (Cognition Devin, SWE-agent vb.) ürünlerini bu benchmark üzerinden konumlandırır.
quiz Sık Sorulan Sorular
- check_circle Hangi modeller SWE-Bench'te başarılı?: 2025 itibarıyla Claude 3.5 Sonnet ve SWE-agent gibi ajan tabanlı sistemler SWE-Bench Verified'da %50'nin üzerinde başarı oranı sergilemiştir.
- check_circle SWE-Bench bir şirket tarafından mı yönetiliyor?: Princeton NLP Group tarafından akademik araştırma projesi olarak geliştirilmiştir.
- check_circle SWE-bench nedir?: Yapay zeka kodlama ajanlarını gerçek GitHub hatalarını düzeltme görevi üzerinden değerlendiren benchmark'tır. Model, bir issue'yu okur, kodu değiştirir ve mevcut test paketini geçirmesi beklenir.
- check_circle SWE-bench'te en iyi modeller hangileri?: SWE-bench Verified liderlik tablosunda (2025): Claude 3.7 Sonnet (Anthropic) %70+, o3 ve o4-mini (OpenAI) üst sıralarda yer alıyor. Güncel sıralama için swebench.com adresini kontrol edin.
- check_circle SWE-bench skoru ne anlama gelir?: Resolve oranı: modelin bağımsız olarak doğru çözdüğü görevlerin yüzdesi. %50 skor: 2294 görevden 1147'sini doğru çözdü anlamına gelir. Yüksek skor, modelin gerçek yazılım projelerinde ajan olarak kullanılabilirliğini gösterir.
- check_circle SWE-bench'te başarı için ne gerekir?: Yüksek SWE-bench skoru için modelin: 1) Hata raporunu anlayıp ilgili kodu bulabilmesi, 2) Kodu doğru şekilde düzeltebilmesi, 3) Mevcut testlerin geçmesini sağlaması gerekir. Başarılı ajanlar genellikle kod arama, dosya düzenleme ve test çalıştırma araçlarına sahip çok adımlı ReAct döngüsü kullanır.
- check_circle Yazılım geliştirme AI ajanları SWE-bench dışında nasıl değerlendirilir?: HumanEval ve MBPP: fonksiyon düzeyinde kod üretimi. CodeContests: rekabetçi programlama problemleri. DevBench: tam yazılım projesi oluşturma. LiveCodeBench: sızıntıya karşı sürekli güncellenen kod benchmark'ı.