Residual Network (ResNet) (Artık Ağ (ResNet))
Residual Network (ResNet), 2015 yılında Kaiming He, Xiangyu Zhang, Shaoqing Ren ve Jian Sun tarafından Microsoft Research'te geliştirilen ve derin öğrenme tarihinin en etkili mimarilerinden biri olan yapay sinir ağı tasarımıdır. 'Deep Residual Learning for Image Recognition' başlıklı makaleyle sunulan bu mimari, aynı yıl düzenlenen ImageNet Büyük Ölçekli Görsel Tanıma Yarışması'nı (ILSVRC 2015) yüzde 3.57 hata oranıyla kazanmış; bu oran insan performansının da önüne geçmiştir.
ResNet'in çözdüğü temel sorun, derin sinir ağlarındaki gradyan kaybı (vanishing gradient) problemidir. Geri yayılım (backpropagation) algoritması sırasında hata sinyalleri katmanlar boyunca geriye doğru ilerlerken giderek küçülür. Bu nedenle 20-30 katmanı aşan ağlarda en alt katmanlar yeterince güncellenmez ve model eğitimi durağanlaşır ya da bozunur. 2015 öncesinde çok derin ağlar pratik olarak eğitilemiyordu.
ResNet'in çözümü, atlama bağlantıları (skip connections) ya da artık bağlantılar (residual connections) adı verilen yapılardır. Klasik bir sinir ağı katmanı H(x) çıktısını öğrenmeye çalışırken ResNet blokları yalnızca artığı — yani F(x) = H(x) − x — öğrenir. Gerçek çıktı ise F(x) + x formülüyle hesaplanır. Bu kısa yol bağlantısı, gradyanın derin katmanlara doğrudan akmasını sağlar ve yüzlerce katmandan oluşan ağların başarıyla eğitilmesini mümkün kılar.
Mimarinin varyantları katman sayısına göre isimlendirilir: ResNet-18, ResNet-34, ResNet-50, ResNet-101 ve ResNet-152. ResNet-50 ve daha derin modeller, hesaplama verimliliğini artırmak için bottleneck bloklar kullanır; bu bloklar 1×1 konvolüsyonlarla özellik haritalarının boyutunu önce sıkıştırır, ardından yeniden genişletir.
ResNet, modern bilgisayarla görme ekosisteminin omurgası hâline gelmiştir. Nesne tespiti (Faster R-CNN, YOLO), anlamsal bölütleme, tıbbi görüntü analizi ve uydu görüntüsü işleme gibi alanlarda yaygın biçimde kullanılmaktadır. Transfer öğrenme bağlamında, ImageNet üzerinde önceden eğitilmiş ResNet ağırlıkları farklı görevler için başlangıç noktası olarak paylaşılmaktadır. Atlama bağlantısı fikri daha sonra Transformer mimarisi ve modern büyük dil modellerine de taşınmış; bu modellerin her katmanında benzer artık bağlantılar kullandığı görülmüştür.