ICML 2026'da 2.200 Makale Yeniden Üretildi: Yapay Zeka Araştırmalarında Güvenilirlik Testi

Dev Ölçekli Yeniden Üretim Denemesi

Yapay zeka (YZ) araştırmalarının ne kadar güvenilir olduğu sorusu, bu alanın kendisi kadar eski. Ancak son yıllarda makale sayısındaki patlama bu soruyu daha da kritik hale getirdi. ICML 2026'ya 23.918 başvuru yapıldı ve 6.352 makale kabul edildi; bu sayı bir önceki yılın neredeyse iki katı. Bu artışın arkasında, deneyleri hızlandıran ve makale yazımını kolaylaştıran yapay zeka ajanlarının etkisi büyük. Ancak hakem kapasitesi aynı hızda artmıyor; hakemler genellikle gönüllü ve bir makaleyi tam anlamıyla inceleyecek zaman veya uzmanlığa sahip değiller. Örneğin, ICML 2026'da kabul edilen bir spotlight makalesinin hakemi, "Düşük güven puanım, tüm kanıtları dikkatlice kontrol etmediğim için" diyor. Bu makaleye daha sonra tekrar döneceğiz.

Aynı teknoloji, makale akışını hızlandıran yapay zeka ajanları, aynı zamanda bu akışı denetlememize de yardımcı olabilir. Claude Code, Codex, Cursor ve Pi gibi kodlama ajanları artık bir makaleyi okuyup, kodu yazıp, deneyleri başlatıp, sonuçları raporlayabiliyor. Eskiden bir hakemin hafta sonunu alan bir makale kontrolü, bir ajanla bir öğleden sonra tamamlanabiliyor ve binlerce kez paralel olarak yapılabiliyor. Bu noktadan hareketle, büyük bir konferansı ölçekte yeniden inceleyip her makaleyi yeniden üretmeye çalışsak ne buluruz sorusu akla geldi.

Yarışma Nasıl İşledi?

15 Temmuz - 2 Ağustos 2026 tarihleri arasında düzenlenen ICML 2026 Açık Yeniden Üretim yarışması, tüm topluluğa açıktı. Katılımcılar, bir ajanın makaleyi, iddialarını ve talimatları tek bir komutla çekebilmesi için basitleştirilmiş bir arayüz kullandı. Her katılımcıya Hugging Face'ten 20 dolar bilgi işlem kredisi verildi ve toplamda 2.962 bulut işi başlatıldı. Tam yeniden üretim mümkün olmadığında (örneğin, veri seti özel veya kontrol noktaları yayınlanmamışsa), katılımcılar orijinalin özelliklerini taklit eden sentetik verilerle oyuncak yeniden üretimler yaptı.

Yarışma sonuçlarına göre, incelenen makalelerin %51'i (1.103 makale) en az bir iddiası bağımsız olarak doğrulanmıştı. 266 makale tamamen yeniden üretildi, yani tüm iddialar doğrulandı; 632 makale ise kısmen yeniden üretildi ve hiçbir iddia çürütülmedi. Toplamda 3.978 iddia gerçek deneylerle doğrulandı. Öte yandan, incelenen makalelerin %23'ünde (496 makale) en az bir iddia çürütüldü veya itiraz edildi. Bunların 49'unda tüm iddialar çürütüldü ve hiçbir şey doğrulanamadı; 242 makalede ise bağımsız ekipler aynı iddialar hakkında zıt sonuçlara ulaştı. Bu, tekrarlanabilirliğin ikili olmadığını, aksine çekişmeli bir süreç olduğunu gösteriyor. Geri kalan 502 makale yalnızca oyuncak ölçekli kanıtlara sahipti ve 280 makale hakkında hiçbir şey belirlenemedi (çoğunlukla eksik yapıtlar nedeniyle).

Doğrulanmış Çürütmeler ve Dersler

Yarışmada 35 katılımcı bir şeyi çürüttüğünü iddia etti ve her iddia yeniden doğrulandı. İşte doğrulanmış birkaç çürütme örneği:

• Öğrenme artırılmış sayfalama makalesi: Girişte bahsedilen makale, algoritmasının belirli bir sağlamlık garantisi verdiğini iddia ediyordu. Bir katılımcı, ek terimin logaritmik olarak büyüdüğünü ölçtü ve kanıtın kırıldığı adımı buldu. Kendi yeniden uygulamamız, k=1.024'e kadar genişletildiğinde büyümeyi yaklaşık dokuz sigma ile doğruladı. Gerçek sağlamlık iddia edilenden farklıydı.
• Dikkat ve Frank-Wolfe makalesi: Bu makale, token parçacıklarının, başlangıç noktası dışbükey zarfın içindeyse orijine çöktüğünü kanıtlıyordu. Üç bağımsız ekip, t=224, ~3.800 ve 6.416 adımlarda ihlaller buldu. Bu, sonlu ufuk kontrollerinin çok erken durduğunu ve bu yüzden diğerlerinin iddiayı "doğruladığını" açıklıyor. Yazarlar aynı gün onayladı ve düzeltme üzerinde çalışıyor.
• Kendi kendine damıtma makalesi: Makalenin teorisi ters KL ıraksamasını analiz ederken, yayınlanan kodun varsayılanı ileri KL hesaplıyordu. Bu, makalenin ana sonucunu yeniden üretmeyi başarısız kıldı. Yazarlar arXiv'e düzeltilmiş bir sürüm yükledi.
• Üç projeksiyon makalesi: Değerlendirilen etiket konumlarının yaklaşık %66'sı, sıfıra yakın kayıpla eğitilen EOS dolgu tokenlarıydı. Bu, perplexity'yi yaklaşık üç kat düşürüyordu. "%50 önbellek azaltma için %3,1 kalite maliyeti" iddiası düzeltildiğinde yaklaşık %9,4'e çıkıyor.

Ayrıca, bazı yeniden üretim girişimlerinde hatalar bulduk. Bir logbook, "yöntemin taban çizgisinden 2 kat daha yavaş" olduğunu iddia etti; ancak bu, yörünge başına sürenin 50'lik parti süresiyle karşılaştırılmasından kaynaklanan bir aritmetik hatasıydı. Doğru normalleştirildiğinde, katılımcının kendi verileri makalenin iddia ettiği 8 kat hızlanmayı doğruladı.

İnsan ve Ajan İş Birliği

Yarışmanın en ilginç sonuçlarından biri, insanların makale incelemesinde hala önemli bir rolü olduğunu göstermesi. Saf ajan yürütmesi gerçek sınırlarla karşılaşıyor: ajanlar yerel döngülere takılabiliyor, ölçeğe bağlı davranışı yanlış okuyabiliyor (sayfalama makalesindeki birçok "doğrulandı" kararı, logaritmik büyüme görünmeden önce duran kontrollerden geldi) ve bazen birim uyumsuzluğu üzerine bütün bir çürütme inşa edebiliyor. En güvenilir sonuçlar, bir insanın yönlendirdiği iş akışlarından geldi: ajanı yeniden yönlendirmek, bir varsayımı sorgulamak veya bir deneyin öncülünün yanlış olduğuna karar vermek.

Bazı değerlendirmeler şimdilik kaçınılmaz olarak insani. İnsan-ajan iş birliğindeki kazanan, aşırı kuantizasyon altında kararlı görüntü üretimi iddiasını inceledi. Sayısal metrikler "çöküş yok" dedi, ancak görüntülerin gerçekten kullanılabilir olup olmadığı algısal bir soruydu. Ajan, özel bir inceleme arayüzü geliştirdi ve insan, 128 görüntü çiftini bizzat değerlendirdi; yorumlar depoya işlendi ve ajan tutarlılıklarını doğruladı.

İnsan hakemlerin rolü, zekayı etkili bir şekilde yönetmek olmalı. Bir profesör veya baş araştırmacı, öğrencilerinin iyi iş çıkarabilmesi için bir ortam kurar; aynı şekilde, ajanlarından en iyi sonucu alan katılımcılar, doğru ortamı kurup doğru soruları soranlar oldu. Ajanların koşmasına izin verdiler.

Neden Önemli?

Bu yarışma, yapay zeka araştırmalarının güvenilirliği konusunda önemli bir dönüm noktası. Türkiye'deki araştırmacılar ve yapay zeka topluluğu için bu, makale kabul süreçlerinin ne kadar kırılgan olabileceğini ve bağımsız doğrulamanın ne kadar değerli olduğunu gösteriyor. Ajan tabanlı yeniden üretim, makale iddialarını güçlendirmek için standart bir uygulama haline gelebilir. Ayrıca, otonom bilimsel keşif süreçlerini iyileştirmek için bir yol sunuyor: ajanların nerede başarılı olduğunu, nerede başarısız olduğunu ortaya koyarak insan-ajan iş birliğinin nasıl geliştirilebileceğine dair içgörüler sağlıyor. Bu tür açık denetimler, yapay zeka araştırmalarının kalitesini artırmak ve toplumun güvenini kazanmak için kritik bir adım. Gelecekte bu tür yeniden üretim etkinliklerinin artması, bilimsel yayıncılığın daha sağlam temellere oturmasına yardımcı olabilir.