SWE-Bench

SWE-bench, büyük dil modellerinin gerçek dünya yazılım mühendisliği görevlerini ne kadar başarılı biçimde gerçekleştirebileceğini ölçen kapsamlı bir değerlendirme çerçevesidir. 2023 yılında Princeton Üniversitesi araştırmacıları tarafından geliştirilen bu benchmark, popüler Python projelerinin GitHub depolarından toplanan gerçek issue'lar ve karşılık gelen pull request'lerden oluşur. Değerlendirme akışı şu şekilde işler: Modele bir Python deposunun belirli bir sürümü ve o sürümde açık olan bir GitHub issue verilir. Modelin görevi, bu issue'u gidermek için gereken kod değişikliklerini (patch) üretmektir. Üretilen yama, orijinal PR'ın test takımıyla otomatik olarak doğrulanır; geçen test oranı başarı metriği olarak kullanılır. SWE-bench Verified alt kümesi, yazılım mühendisleri tarafından gözden geçirilmiş 500 adet iyi kalibre edilmiş problemden oluşur. Belirsiz tanımlı issue'lar ve çözümsüz görevler bu alt kümeden elendi; sektör karşılaştırmaları çoğunlukla Verified üzerinden raporlanır. 2024 itibarıyla en iyi sistemler bu kümede yaklaşık %50–70 çözme oranına ulaşmaktadır. Maliyet açısından daha erişilebilir bir alternatif olan SWE-bench Lite ise 300 seçilmiş problemden oluşur ve hızlı prototipleme çalışmalarında tercih edilir. Liderlik tablosunda Claude 3.7 Sonnet (Anthropic), GPT-4o (OpenAI), Devin (Cognition) ve SWE-agent (Stanford) gibi model ve ajanlar yer almaktadır. Tam otonom kategorilerde başarı, asistli modlara göre belirgin şekilde düşüktür; bu durum, karmaşık yazılım görevlerinde insan rehberliğinin hâlâ kritik olduğunu ortaya koymaktadır. SWE-bench'in temel önemi, modellerin salt kod yazma becerilerinin ötesinde çok dosyalı, büyük gerçek projelerde bağımsız çalışıp çalışamadığını sınamasıdır. Başarılı bir ajan; ilgili dosyaları bulma, test anlambilimini kavrama ve depo genelinde tutarlı değişiklikler üretme gibi birleşik yetenekleri entegre etmelidir. Bu nedenle SWE-bench, AI destekli yazılım geliştirme, self-healing kod ve otonom ajan sistemleri araştırmalarında merkezi bir referans hâline gelmiştir. Dil çeşitliliği için SWE-bench Java ve çok dilli uzantılar da geliştirilmektedir.