tag evrişimli ağ

Residual Attention Ağı (Artıksal Dikkat Ağı)

Bu sayfada evrişimli ağ (Residual Attention Ağı (Artıksal Dikkat Ağı)) etiketi ile işaretlenmiş 1 yapay zeka kavramını bulabilirsiniz.

Residual Attention Ağı (Residual Attention Network — RAN), Fei Wang ve ekibinin CVPR 2017'de tanıttığı, ResNet'in artıksal öğrenme prensibiyle dikkat mekanizmasını harmanlayan bir evrişimli sinir ağı mimarisidir. Temel fikir, her dikkat modülünü iki paralel dalla çalıştırmaktır: özellik dönüşümü gerçekleştiren trunk branch ile bu özellikler üzerinde yumuşak uzamsal dikkat maskeleri üreten mask branch. Trunk branch standart evrişimsel katmanlardan oluşurken mask branch encoder-decoder yapısına sahiptir. Max-pooling ile özellik haritası aşamalı olarak küçültülür (downsampling); ardından bilinear üst örnekleme (upsampling) ile orijinal çözünürlüğe geri döner. Mask branch çıktısı sigmoid aktivasyonuyla [0,1] aralığına sıkıştırılarak yumuşak maske oluşturulur. Bu maske trunk çıktısıyla eleman çarpımı (element-wise multiplication) uygulanır: yüksek dikkat değeri taşıyan bölgeler güçlendirilirken düşük değerli gürültülü ya da alakasız bölgeler baskılanır. Artıksal bağlantı bu noktada kritik rol üstlenir: dikkat çıktısına orijinal trunk özelliği eklenir (H = F × M + F; burada F trunk özelliği, M ise maske). Bu formülasyon maskenin sıfıra yaklaştığı durumda bile ham trunk sinyalinin korunmasını güvence altına alır; dolayısıyla dikkat modülleri ağı degrade etmeden katman derinliği arttıkça birikimli dikkat öğrenilmesine izin verir. Orijinal çalışmada dikkat modülleri üç uzamsal çözünürlük aşamasında bağımsız olarak öğrenilir. Başarım açısından CIFAR-10'da %3.90, CIFAR-100'de %20.45 ve ImageNet Top-5 sınıflandırmasında %4.8 hata oranı elde edilerek dönemin referans sonuçlarının üzerine çıkılmıştır. Mimari etki açısından RAN, CBAM (Convolutional Block Attention Module, ECCV 2018), BAM (Bottleneck Attention Module) ve kanal dikkatini uzamsal dikkatle birleştiren birçok türev çalışmaya ilham vermiştir. Modern nesne tespiti mimarileri (YOLO serileri), U-Net türevi medikal görüntü segmentasyonu modelleri ve uydu görüntü işleme uygulamaları dikkat kapıları (attention gating) mekanizmasını doğrudan bu çalışmanın çizgisinden devşirmiştir. Türkiye'deki bilgisayarlı görü araştırma grupları patoloji görüntüsü analizi ve uzaktan algılama problemlerinde artıksal dikkat mimarilerini referans almaktadır.

🧠

Residual Attention Ağı (Artıksal Dikkat Ağı)

Residual Attention Ağı (Residual Attention Network — RAN), Fei Wang ve ekibinin CVPR 2017'de tanıttığı, ResNet'in artıksal öğrenme prensibiyle dikkat mekanizmasını harmanlayan bir evrişimli sinir ağı mimarisidir. Temel fikir, her dikkat modülünü iki paralel dalla çalıştırmaktır: özellik dönüşümü gerçekleştiren trunk branch ile bu özellikler üzerinde yumuşak uzamsal dikkat maskeleri üreten mask branch. Trunk branch standart evrişimsel katmanlardan oluşurken mask branch encoder-decoder yapısına sahiptir. Max-pooling ile özellik haritası aşamalı olarak küçültülür (downsampling); ardından bilinear üst örnekleme (upsampling) ile orijinal çözünürlüğe geri döner. Mask branch çıktısı sigmoid aktivasyonuyla [0,1] aralığına sıkıştırılarak yumuşak maske oluşturulur. Bu maske trunk çıktısıyla eleman çarpımı (element-wise multiplication) uygulanır: yüksek dikkat değeri taşıyan bölgeler güçlendirilirken düşük değerli gürültülü ya da alakasız bölgeler baskılanır. Artıksal bağlantı bu noktada kritik rol üstlenir: dikkat çıktısına orijinal trunk özelliği eklenir (H = F × M + F; burada F trunk özelliği, M ise maske). Bu formülasyon maskenin sıfıra yaklaştığı durumda bile ham trunk sinyalinin korunmasını güvence altına alır; dolayısıyla dikkat modülleri ağı degrade etmeden katman derinliği arttıkça birikimli dikkat öğrenilmesine izin verir. Orijinal çalışmada dikkat modülleri üç uzamsal çözünürlük aşamasında bağımsız olarak öğrenilir. Başarım açısından CIFAR-10'da %3.90, CIFAR-100'de %20.45 ve ImageNet Top-5 sınıflandırmasında %4.8 hata oranı elde edilerek dönemin referans sonuçlarının üzerine çıkılmıştır. Mimari etki açısından RAN, CBAM (Convolutional Block Attention Module, ECCV 2018), BAM (Bottleneck Attention Module) ve kanal dikkatini uzamsal dikkatle birleştiren birçok türev çalışmaya ilham vermiştir. Modern nesne tespiti mimarileri (YOLO serileri), U-Net türevi medikal görüntü segmentasyonu modelleri ve uydu görüntü işleme uygulamaları dikkat kapıları (attention gating) mekanizmasını doğrudan bu çalışmanın çizgisinden devşirmiştir. Türkiye'deki bilgisayarlı görü araştırma grupları patoloji görüntüsü analizi ve uzaktan algılama problemlerinde artıksal dikkat mimarilerini referans almaktadır.

arrow_forward