ScarfBench: Yapay Zeka Ajanlarının Kurumsal Java Çerçeve Dönüşümündeki Başarısını Ölçen Yeni Kriter
ScarfBench, yapay zeka ajanlarının Spring, Jakarta EE ve Quarkus gibi kurumsal Java çerçeveleri arasında geçiş yapma becerisini değerlendiren açık kaynaklı bir kıyaslama aracıdır. Mevcut ajanlar, derleme başarısında yüksek oranlara ulaşsa da, davranışsal doğrulamada %10'un altında kalarak gerçek dünya modernizasyonunun zorluğunu gözler önüne seriyor.
ScarfBench Nedir?
Yapay zeka (YZ) ajanlarının kod üretme ve hata düzeltme konusundaki başarıları biliniyor, ancak kurumsal uygulamaları bir çerçeveden diğerine taşımak (framework migration) çok daha karmaşık bir iş. ScarfBench (Self-Contained Application Refactoring Benchmark), bu alandaki boşluğu doldurmak için geliştirilmiş açık kaynaklı bir kıyaslama aracıdır. Özellikle Spring, Jakarta EE ve Quarkus ekosistemleri arasındaki geçişleri hedef alır. Geleneksel kıyaslamalardan farklı olarak, yalnızca kodun derlenmesini değil, uygulamanın başarıyla dağıtılmasını ve davranışının korunmasını da test eder.
Nasıl Çalışır?
ScarfBench, iki tür görev içerir: odaklı dönüşüm görevleri ve bütün uygulama dönüşümleri. Her uygulamanın üç aşamalı bir doğrulama sürecinden geçmesi gerekir:
- Başarılı derleme (build)
- Doğru dağıtım (deploy)
- Davranışsal doğrulama (behavioral validation)
Bu, modernizasyon kalitesini gerçekçi bir şekilde ölçer. Kıyaslama, JSR tabanlı bir kurumsal Java taksonomisinden yola çıkarak, uzmanlar tarafından doğrulanmış uygulamaları içerir.
Mevcut Ajanların Performansı
ScarfBench'te test edilen en güçlü YZ ajanları (örneğin, Claude Code) bile davranışsal başarıda %10'un altında kalmıştır. Derleme başarısı genellikle yüksek olsa da, dağıtım ve davranış testlerinde büyük düşüş yaşanır. Örneğin, Claude Code 30 uygulamadan 29'unda başarılı derleme bildirmesine rağmen, yalnızca 22'si gerçekten derlenebilmiştir. Bu, ajanların kendi kendini değerlendirmesinin güvenilir olmadığını gösterir.
Zorluklar Neler?
Çerçeve dönüşümü, yalnızca kaynak kodun çevirisinden ibaret değildir. Ajanlar sıklıkla şu alanlarda zorlanır:
- Yapılandırma (configuration): Bağımlılık enjeksiyonu, veritabanı ayarları
- Web katmanı: Uç nokta tanımları
- Veritabanı: Sorgu dönüşümleri
- Servis katmanı: İş mantığı uyarlamaları
Ayrıca, Docker önbellek sorunları, port bağlantı hataları ve Maven yapı araçları gibi çevresel faktörler de başarısızlığa yol açar. Başarısızlık modları arasında derleme sistemi, dağıtım ortamı, bağımlılık enjeksiyonu, veritabanı, uç noktalar ve altyapı yer alır.
Neden Önemli?
Türkiye'deki kurumsal yazılım şirketleri, özellikle bankacılık ve kamu sektöründe, eski Java çerçevelerinden modern çözümlere geçiş yapma ihtiyacı duyuyor. ScarfBench gibi kıyaslama araçları, YZ destekli modernizasyon araçlarının gerçek dünyadaki başarısını ölçerek, bu geçişin risklerini azaltmaya yardımcı olabilir. Mevcut ajanlar henüz tam otonom modernizasyon için yeterli olmasa da, ScarfBench sayesinde ilerleme hızla ölçülebilir ve iyileştirilebilir. Araştırmacılar ve uygulayıcılar, bu açık kaynaklı kaynağı kullanarak kendi çözümlerini test edebilir ve katkıda bulunabilir.
