Graph Attention Network (GAT) Nedir? (Dikkat Mekanizmalı Çizge Sinir Ağı)

#deep-learning #graph-neural-network #attention-mechanism #nlp

Çizge yapılı verilerde komşu düğümlerin önem derecesini dinamik olarak öğrenen dikkat mekanizmalı sinir ağı mimarisi.

Graph Attention Network (GAT), çizge (graf) yapılı verilere dikkat mekanizması uygulayan bir yapay sinir ağı mimarisidir. Velickovic ve ekibi tarafından 2018'de ICLR konferansında önerilen GAT, bir düğümün temsilini güncellerken komşu düğümlere sabit ağırlık atamak yerine, her komşu için ayrı dikkat puanları hesaplayarak hangi komşuların daha önemli olduğunu veri odaklı biçimde öğrenir. GAT, bir düğüm ile her komşusu arasında dikkat katsayısı (attention coefficient) hesaplar. Bu katsayılar Leaky ReLU aktivasyonlu küçük bir sinir ağıyla üretilir ve softmax ile normalize edilir. Son düğüm temsili, komşu özelliklerinin bu ağırlıklı toplamından oluşur. Kararlılık ve farklı ilişki örüntülerini yakalamak için çok başlıklı dikkat (multi-head attention) kullanılır; ara katmanlarda başlık çıktıları birleştirilir, çıkış katmanında ortalaması alınır. Çizge Evrişimsel Ağ (GCN), tüm komşulara eşit ağırlık atarken GAT her komşunun önem derecesini veri odaklı biçimde öğrenir. Bu esneklik, değişken büyüklükteki komşuluk yapılarında ve karmaşık ilişkilerde GAT'a belirgin üstünlük sağlar. GNN (Graph Neural Network) ise bu tür tüm çizge sinir ağlarını kapsayan üst terimdir; GCN ve GAT, GNN'nin özel türleridir. GAT başlıca düğüm sınıflandırma, bağlantı tahmini ve çizge sınıflandırma görevlerinde kullanılır. Pratik uygulamalar arasında sosyal ağ analizi, ilaç-protein etkileşim tahmini, moleküler biyoloji, bilgi grafiği tamamlama ve içerik tabanlı öneri sistemleri yer alır. Dikkat katsayıları komşular arasında paralel hesaplandığı için GAT verimlidir ve farklı büyüklükteki komşuluklara doğal uyum sağlar. Üretilen dikkat ağırlıkları yorumlanabilir olduğundan hangi komşuların belirleyici olduğu analiz edilebilir. Türkiye'de ilaç keşfi ve biyoinformatik alanında çalışan araştırma grupları GAT mimarisini aktif olarak kullanmaktadır. GAT'ın 2021'de önerilen GATv2 varyantı, orijinal mimarideki statik dikkat hesabı sorununu gidererek her adımda tam dinamik dikkat üretir. PyTorch Geometric'in GATConv ve GATv2Conv katmanları, araştırmacılara hazır ve optimize edilmiş implementasyonlar sunar. Büyük çizgelerde ölçeklenebilirlik sorunu için mini-batch örnekleme ve Sparse GAT yaklaşımları yaygınlaşmaktadır; bu varyantlar yalnızca seyrek kenar kümeleriyle çalışarak bellek tüketimini önemli ölçüde azaltır.

GAT Nasıl Çalışır? Dikkat Katsayısı Hesabı

GAT her düğüm çifti için bir dikkat skoru hesaplar: düğüm i ve komşusu j'nin özellik vektörleri birleştirilerek küçük bir sinir ağına (attention function) beslenir. Leaky ReLU ile doğrusal olmayan bir dönüşüm uygulandıktan sonra tüm komşulardaki skorlar softmax ile normalize edilir ve ağırlıklı toplam hesaplanır. Çok başlıklı dikkat (multi-head attention) bu süreci K paralel kafayla çalıştırır; ara katmanlarda kafaların çıktıları birleştirilir (concatenation), son katmanda ortalaması alınır. Bu yapı hem kararlılığı hem de farklı ilişki örüntülerini yakalama kapasitesini artırır.

GCN, GNN ve GAT Karşılaştırması

  • check_circle GNN (Genel çerçeve): Graph Neural Network, çizge verilerini işleyen tüm sinir ağı mimarileri için üst terimdir. GCN, GAT ve GraphSAGE birer GNN türüdür.
  • check_circle GCN — Sabit komşu ağırlığı: Çizge Evrişimsel Ağ, tüm komşulara derece normalleştirilmiş eşit ağırlık atar. Basit ve hızlıdır, ancak ilişki önemini öğrenemez.
  • check_circle GAT — Dinamik dikkat ağırlığı: Her komşuya ayrı dikkat puanı hesaplar; bazı komşuların neden daha belirleyici olduğunu veri odaklı biçimde keşfeder. GCN'den daha ifade güçlüdür.
  • check_circle GraphSAGE — Örnekleme tabanlı: Büyük çizgeler için tüm komşular yerine rastgele örneklenmiş alt kümeyle güncelleme yapar; ölçeklenebilirliği ön plana çıkar.

Uygulama Alanları: Nereden Nereye

GAT'ın en yaygın kullanım alanı düğüm sınıflandırmadır (node classification): Cora, CiteSeer ve PubMed atıf ağlarında GCN'i geride bıraktığı ICLR 2018 makalesiyle kanıtlanmıştır. Biyoinformatik alanda ilaç-protein etkileşim tahmini ve moleküler özellik tahmini için kullanılmaktadır. Öneri sistemlerinde kullanıcı-ürün çizgelerindeki ilişki ağırlıklarını öğrenir. Bilgi grafikleri (knowledge graphs) tamamlama ve doğal dil işlemede bağımlılık ayrıştırma da önemli uygulama alanları arasındadır.

GAT Varyantları ve Gelişmeleri

GATv2 (2021)

Orijinal GAT'ın dikkat mekanizmasındaki statik ağırlık sorununu giderdi; her adımda dinamik dikkat hesabı yaparak ifade gücünü artırdı.

Sparse GAT

Büyük çizgelerde tüm komşu çiftleri yerine yalnızca seyrek kenar kümesiyle çalışır; bellek verimliliğini dramatik biçimde artırır.

Heterojen GAT

Farklı türde düğüm ve kenar içeren heterojen çizgeler için genişletilmiş GAT; akademik çizgeler ve bilgi grafikleri için uygundur.

Graph Transformer

GAT'ın dikkat mekanizmasını Transformer mimarisinin pozisyon kodlamasıyla birleştiren hibrit yaklaşım; uzun menzilli bağımlılıkları daha iyi yakalar.

Yorumlanabilirlik: GAT'ın Avantajı

GAT'ın dikkat ağırlıkları, modelin hangi komşuları daha belirleyici bulduğunu doğrudan gösterir. Bu yorumlanabilirlik (interpretability) özelliği, kara kutu modellerin kabul edilemez olduğu tıbbi teşhis ve ilaç keşfi gibi kritik alanlarda büyük avantaj sağlar. Bir moleküler bağ tahmin modelinde hangi atomların veya bağların kararı etkilediği dikkat ağırlıklarından okunabilir. Bu özellik GAT'ı hem endüstriyel hem de akademik çevrelerde tercih edilen bir mimari haline getirmektedir.

Sık Sorulan Sorular

  • check_circle Graph Attention Network (GAT) nedir?: Çizge yapılı verilerde her düğümün komşularına farklı dikkat ağırlığı atayarak temsil öğrenen sinir ağı mimarisidir. 2018'de Velickovic ve ekibi tarafından ICLR'da önerilen GAT, GCN'nin eşit ağırlık sınırlamasını aşar.
  • check_circle GAT ile GCN arasındaki temel fark nedir?: GCN tüm komşulara derece normalleştirilmiş eşit ağırlık atarken GAT, her komşu için ayrı dikkat puanı hesaplayarak önem derecesini veri odaklı öğrenir. Bu sayede GAT daha karmaşık ilişkileri modelleyebilir.
  • check_circle GAT hangi kütüphanelerle kullanılır?: PyTorch Geometric (PyG) ve DGL (Deep Graph Library) en popüler seçeneklerdir. PyG'nin GATConv ve GATv2Conv katmanları hazır implementasyonlar sunar; Hugging Face transformers da bazı GAT varyantlarını içerir.
  • check_circle Büyük çizgelerde GAT nasıl ölçeklenir?: Mini-batch örnekleme (NeighborSampler), Cluster-GCN bölütleme veya Sparse GAT varyantı kullanılır. Orijinal GAT tam komşuluk hesabı yaptığından çok büyük çizgeler için hafıza verimsizdir.
  • check_circle GAT biyoinformatik için neden uygun?: Protein-etkileşim ağları, moleküler yapılar ve gen düzenleme ağları doğal olarak çizge biçimindedir. GAT bu yapıların ilişkisel karmaşıklığını yorumlanabilir dikkat ağırlıklarıyla modelleyerek ilaç keşfi ve hastalık tahminine katkı sağlar.