Residual Attention Ağı (Artıksal Dikkat Ağı)

#dikkat mekanizması #görüntü sınıflandırma #artıksal öğrenme #derin öğrenme #evrişimli ağ

Trunk branch özelliklerini mask branch'in öğrendiği yumuşak uzamsal dikkat maskesiyle artıksal bağlantıyla harmanlayan CVPR 2017 evrişimli sinir ağı mimarisi.

Residual Attention Ağı (Residual Attention Network — RAN), Fei Wang ve ekibinin CVPR 2017'de tanıttığı, ResNet'in artıksal öğrenme prensibiyle dikkat mekanizmasını harmanlayan bir evrişimli sinir ağı mimarisidir. Temel fikir, her dikkat modülünü iki paralel dalla çalıştırmaktır: özellik dönüşümü gerçekleştiren trunk branch ile bu özellikler üzerinde yumuşak uzamsal dikkat maskeleri üreten mask branch. Trunk branch standart evrişimsel katmanlardan oluşurken mask branch encoder-decoder yapısına sahiptir. Max-pooling ile özellik haritası aşamalı olarak küçültülür (downsampling); ardından bilinear üst örnekleme (upsampling) ile orijinal çözünürlüğe geri döner. Mask branch çıktısı sigmoid aktivasyonuyla [0,1] aralığına sıkıştırılarak yumuşak maske oluşturulur. Bu maske trunk çıktısıyla eleman çarpımı (element-wise multiplication) uygulanır: yüksek dikkat değeri taşıyan bölgeler güçlendirilirken düşük değerli gürültülü ya da alakasız bölgeler baskılanır. Artıksal bağlantı bu noktada kritik rol üstlenir: dikkat çıktısına orijinal trunk özelliği eklenir (H = F × M + F; burada F trunk özelliği, M ise maske). Bu formülasyon maskenin sıfıra yaklaştığı durumda bile ham trunk sinyalinin korunmasını güvence altına alır; dolayısıyla dikkat modülleri ağı degrade etmeden katman derinliği arttıkça birikimli dikkat öğrenilmesine izin verir. Orijinal çalışmada dikkat modülleri üç uzamsal çözünürlük aşamasında bağımsız olarak öğrenilir. Başarım açısından CIFAR-10'da %3.90, CIFAR-100'de %20.45 ve ImageNet Top-5 sınıflandırmasında %4.8 hata oranı elde edilerek dönemin referans sonuçlarının üzerine çıkılmıştır. Mimari etki açısından RAN, CBAM (Convolutional Block Attention Module, ECCV 2018), BAM (Bottleneck Attention Module) ve kanal dikkatini uzamsal dikkatle birleştiren birçok türev çalışmaya ilham vermiştir. Modern nesne tespiti mimarileri (YOLO serileri), U-Net türevi medikal görüntü segmentasyonu modelleri ve uydu görüntü işleme uygulamaları dikkat kapıları (attention gating) mekanizmasını doğrudan bu çalışmanın çizgisinden devşirmiştir. Türkiye'deki bilgisayarlı görü araştırma grupları patoloji görüntüsü analizi ve uzaktan algılama problemlerinde artıksal dikkat mimarilerini referans almaktadır.

Artıksal Dikkat Ağı Nasıl Çalışır?

RAN her katmanını iki paralel akışa böler. Trunk branch, giriş özellik haritasını standart evrişimsel bloklarla (genellikle bottleneck residual birimler) dönüştürür. Mask branch ise encoder-decoder mimarisiyle aynı özellik haritası üzerinde uzamsal dikkat maskesi öğrenir: önce boyutu küçülterek (max-pooling) küresel bağlamı yakalar; ardından bilinear üst örneklemeyle boyutu geri yükler ve sigmoid ile [0,1] arasında bir maske üretir. Son adımda maske trunk çıktısıyla eleman-yönlü çarpılır; bu, görüntünün hangi bölgelerine ne kadar dikkat edilmesi gerektiğini seçici olarak kodlar. Artıksal bağlantı ile orijinal trunk çıktısı toplanarak maskenin tamamen bastırıcı olması önlenir; model derinleştirildiğinde bile gradyan akışı sağlıklı kalmaya devam eder.

Dikkat Modülünün Üç Bileşeni

🏗️ Trunk Branch

Standart artıksal evrişimsel bloklardan oluşur. Görüntü özelliklerini dönüştürür ve zenginleştirir. Mask branch'e paralel çalışır; çıktısı maskeyle ağırlıklandırılır. ResNet bloklarıyla doğrudan uyumludur.

🎭 Mask Branch (Encoder-Decoder)

Max-pooling ile 3 kez boyut küçültme (downsampling) yapar. Bilinear üst örneklemeyle (upsampling) orijinal boyuta döner. Sigmoid ile [0,1] yumuşak maske üretir. Trunk çıktısını eleman çarpımıyla seçici filtreler.

➕ Artıksal Bağlantı

Formül: H = F × M + F (F: trunk özelliği, M: maske). Maskenin sıfır olduğu durumda trunk sinyali korunur — ağ degrade olmaz. Dikkat modülleri birikimli olarak öğrenilir. Derin ağlarda bile gradyan akışı ve eğitim stabilitesi sağlanır.

Başarım Sonuçları ve Kıyaslamalar

CVPR 2017 çalışmasında RAN, dönemin başlıca kıyaslama setlerinde state-of-the-art sonuçlara ulaştı. CIFAR-10'da %3.90 hata oranı ile ResNet-1001'in %4.92 sonucunu geride bıraktı. CIFAR-100'de %20.45 ile WRN-28-10'un %22.89'unu aştı. ImageNet LSVRC 2012'de single-model Top-5 hata oranı %4.8 olarak ölçüldü; özellikle aynı parametre bütçesiyle karşılaştırıldığında dikkat mekanizmasının getirdiği artış belirgin biçimde göründü. Çalışma aynı zamanda dikkat modülleri sayısını artıksal bağlantı sayesinde herhangi bir doğruluk kaybı olmadan 3'ten fazlaya çıkarmanın mümkün olduğunu deneysel olarak gösterdi — bu özellik iteratif derinleştirme için önemli bir referans oldu.

Günümüzdeki Etki ve Türev Çalışmalar

RAN, sonraki dikkat mekanizması araştırmalarının temel taşlarından biri oldu. CBAM (Convolutional Block Attention Module, ECCV 2018) kanal ve uzamsal dikkati ayrı ayrı uygulayan daha hafif bir çözüm sunarak RAN'ın mirasını taşıdı. Attention U-Net medikal görüntü segmentasyonunda dikkat kapılarını skip connection'larla birleştirdi; bu doğrudan RAN'ın mask branch tasarımından ilham aldı. YOLO serisi nesne tespiti modellerinde dikkat modülleri arka plan gürültüsünü bastırmak için kullanılır. Modern transformer bazlı görüntü modelleri (ViT, Swin) spatial self-attention ile bu mirası sürdürür. Türkiye'deki patoloji, dermatoloji ve uydu görüntüsü işleme araştırmalarında dikkat tabanlı CNN mimarileri hâlâ aktif biçimde kullanılmaktadır.

🔗 Artık Dikkat Mekanizmasının Avantajları

  • check_circle Gradyanların derin ağlarda kaybolmadan geriye akmasını atlama bağlantıları sağlar
  • check_circle Kimlik fonksiyonu öğrenmek yerine artıkları öğrenerek optimizasyonu kolaylaştırır
  • check_circle Çok başlı dikkat ile birleşince hem yerel hem global bağımlılıkları eş zamanlı yakalar
  • check_circle Pre-norm veya post-norm yapısı eğitim kararlılığını etkiler; büyük modellerde pre-norm tercih edilir
  • check_circle ViT, BERT ve GPT mimarilerinin temel yapı taşı olarak her alanda benimsendi

Sık Sorulan Sorular

  • check_circle Residual Attention ile self-attention (transformer) arasındaki fark nedir? RAN'ın dikkati CNN tabanlı ve uzamsaldır: mask branch konvolüsyon ile bir bölge önem haritası üretir. Transformer self-attention ise her token'ın diğer tüm token'larla ilişkisini sorgu-anahtar-değer matrisleri aracılığıyla hesaplar. RAN daha düşük hesaplama maliyetiyle yerel uzamsal dikkate odaklanır; transformer küresel bağımlılıkları yakalar ancak bellek/hesaplama yoğundur.
  • check_circle CBAM ve RAN arasındaki temel fark nedir? RAN trunk+mask branch ayrı ağlar olarak tasarlanır; mask branch tam encoder-decoder yapısıdır. CBAM (2018) ise aynı özellik haritasına ardışık kanal ve uzamsal dikkat modülleri ekler — çok daha hafif ve plug-and-play kullanıma uygundur. RAN orijinaldir; CBAM endüstriyel kullanımda daha yaygındır.
  • check_circle RAN'ı günümüz projelerinde kullanmak pratik mi? Doğrudan kullanım için torchvision'da yerleşik yoktur; PyTorch ile kısa sürede uygulanabilir veya GitHub'daki resmi/topluluk implementasyonları kullanılabilir. Pratik kullanım için CBAM veya SE-Net (Squeeze-and-Excitation) gibi daha hafif dikkat modülleri çoğu zaman yeterlidir. Medikal görüntüleme projelerinde Attention U-Net daha yaygın tercih edilir.
  • check_circle Artıksal bağlantı neden bu mimaride kritik? Maske tamamen bastırıcı olursa (M≈0) gradyan akışı durabilir ve ağ derinleştirildikçe eğitim zorlaşır. Artıksal bağlantı (H = F×M + F) maskenin sıfıra yakın olduğu durumlarda bile trunk sinyalini geçirerek hem gradyan akışını hem de özellik korunmasını güvence altına alır — ResNet'in temel çözümüyle aynı mantık.
  • check_circle Attention gating (U-Net) ile RAN mask branch arasındaki ilişki nedir? Attention U-Net'in gating mekanizması RAN mask branch'in tıbbi görüntüye uyarlamasıdır: encoder özellik haritasıyla decoder bağlamını karşılaştırarak skip connection'daki alakasız aktivasyonları filtreler. Temel fikir aynı — yumuşak maske ile seçici özellik geçişi; ancak U-Net skip bağlantısının dikkat kapısına yerleştirilmesi mimariye özgü bir uyarlamadır.