Attention (Dikkat Mekanizması) (Dikkat Mekanizması)

#DerinOgrenme #NLP #Transformer

Attention (Dikkat Mekanizması), sinir ağının çıktı üretirken giriş dizisindeki en ilgili bölümlere ağırlık atadığı öğrenilebilir odaklanma bileşenidir.

Attention (Dikkat Mekanizması), bir sinir ağının çıktı üretirken giriş dizisinin hangi bölümlerine ne ölçüde odaklanacağını dinamik olarak öğrenen nöral ağ bileşenidir. 2014'te makine çevirisi için önerilen temel dikkat mekanizması, 2017'de "Attention Is All You Need" makalesiyle Transformer mimarisinin çekirdeğine dönüştü ve modern yapay zekanın en dönüştürücü bileşeni haline geldi. Dikkat mekanizmasının temel sezgisi, insan dikkatini taklit etmektir: cümledeki her kelimeye eşit ağırlık vermek yerine, o anki tahmin için en ilgili kelimelere daha yüksek ağırlık vermek. Matematiksel olarak üç matris kullanılır: Sorgu (Query, Q), Anahtar (Key, K) ve Değer (Value, V). Q ile K'nın nokta çarpımı yumuşatılmış maksimum (softmax) fonksiyonundan geçirilerek dikkat ağırlıkları elde edilir; bu ağırlıklar V matrisinin ağırlıklı toplamını belirler: Attention(Q, K, V) = softmax(QK^T / √d_k) × V. Öz-dikkat (self-attention), bir dizinin kendi içindeki öğeler arasındaki bağımlılıkları modelleyerek çalışır; GPT ve BERT bu mekanizmayı kullanır. Çapraz dikkat (cross-attention) ise farklı iki dizinin öğelerini ilişkilendirir; kodlayıcı-çözücü modellerinde sorgu çözücüden, anahtar/değer çiftleri kodlayıcıdan gelir. Çok başlı dikkat (multi-head attention), birden fazla dikkat başını paralel çalıştırarak farklı ilişki alt uzaylarını eş zamanlı öğrenir. Dikkat mekanizması, konum bilgisini doğrudan içermez; bu nedenle Transformer'lara konumsal kodlama (positional encoding) eklenir. Flash Attention gibi bellek-etkin uygulamalar uzun bağlam pencerelerini mümkün kılarken kayan pencere dikkat (sliding window attention) yerel bağımlılıklara odaklanarak hesaplama karmaşıklığını düşürür. Dikkat mekanizması yalnızca dil modeliyle sınırlı kalmadı: Vision Transformer (ViT) görüntü yamalarını dizi olarak ele alarak öz-dikketi bilgisayarlı görüye uyarladı; Whisper ses tanıma, AlphaFold 2 protein yapısı tahmini de bu mekanizmaya dayanır. RNN ve LSTM'nin hâkim olduğu dönemde paralelleştirme kısıtlaması aşılamıyordu; dikkat mekanizması bu kısıtı ortadan kaldırarak GPT-4, Gemini ve Claude gibi modellerin 100.000+ token bağlam penceresiyle çalışmasını olanaklı kıldı.

Dikkat Mekanizması Nasıl Çalışır?

Dikkat mekanizması, bir modelin çıktı üretirken giriş dizisinin farklı konumlarına farklı ağırlıklar atayarak ilgili bölgeleri ön plana çıkarmasını sağlayan yapıdır. Temel formülasyon sorgu (Q), anahtar (K) ve değer (V) vektörleri üzerine kuruludur: Attention(Q,K,V) = softmax(QKᵀ/√dₖ)V. Sorgu ile anahtarlar arasındaki nokta çarpımı ham uyum skorları üretir; √dₖ ile ölçekleme gradyan stabilitesini korur; softmax bu skorları olasılık dağılımına dönüştürür ve değer vektörleri bu ağırlıklarla ağırlıklı ortalama alınarak birleştirilir. Bu işlem paralel yürütülebildiğinden RNN'lerin sıralı bağımlılık sorununu ortadan kaldırır ve uzun bağlamlarda bile ilgili tokenlara doğrudan erişim imkânı tanır. Multi-head attention, bu işlemi h paralel kafada bağımsız olarak gerçekleştirip çıktıları birleştirir; böylece model farklı alt uzaylardaki ilişkileri eş zamanlı öğrenebilir.

Dikkat Türleri

check_circle Self-Attention (Öz-Dikkat): Bir dizinin her elemanının, aynı dizideki diğer tüm elemanlara dikkat ettiği mekanizmadır. Transformer encoder ve decoder katmanlarının temelini oluşturur; cümle içi bağımlılıkları yakalamak için kullanılır.
check_circle Cross-Attention (Çapraz Dikkat): Sorgular bir diziden, anahtar ve değerler başka bir diziden geldiğinde ortaya çıkar. Encoder-decoder mimarilerinde decoder'ın encoder çıktısına odaklanmasını sağlar; makine çevirisi ve özetleme görevlerinde kritik roldedir.
check_circle Multi-Head Attention: Dikkat işleminin h paralel kafada bağımsız olarak hesaplanıp sonra birleştirildiği varyant. Her kafa farklı temsil alt uzaylarına odaklanarak sözdizimsel, anlamsal ve uzak bağımlılık gibi farklı ilişki türlerini eş zamanlı yakalayabilir.
check_circle Causal (Masked) Attention: GPT gibi oto-regresif dil modellerinde kullanılır; her token yalnızca kendinden önceki tokenlara dikkat edebilir. Bu nedenle dikkat matrisi üst üçgen maskelenerek gelecekteki bilginin sızdırılması engellenir.
check_circle Sparse / Linear Attention: Standart dikkat O(n²) karmaşıklığına sahipken uzun dizilerde bellek sorunu yaratır. Sparse attention yalnızca yerel komşu veya anahtar konumlara dikkat ederek O(n√n)'e; linear attention çekirdek yaklaşımıyla O(n)'e indirir.

Dikkat Mekanizmasının Kullanım Alanları

check_circle Doğal Dil İşleme: BERT, GPT ve T5 gibi büyük dil modellerinin omurgasını oluşturur. Makine çevirisi, metin özetleme, soru cevaplama ve duygu analizi görevlerinde dikkat mekanizması, bağlamsal anlamı uzun mesafeli bağımlılıklarla birlikte modeller.
check_circle Görüntü İşleme: Vision Transformer (ViT), görüntüyü sabit boyutlu yamalara (patch) böler ve her yamayı token olarak işler; dikkat mekanizması yamalar arası küresel ilişkileri CNN'lerin sınırlı alıcı alanı olmaksızın yakalamaktadır.
check_circle Ses ve Müzik: Whisper (konuşma tanıma) ve MusicGen (müzik üretimi) spektrogram patch'leri üzerinde dikkat uygular. Uzun sesyolu bağlamlarını işlemek için yerel pencere veya streaming attention varyantları kullanılır.
check_circle Çok Modlu Sistemler: CLIP, Flamingo ve GPT-4V gibi modeller metin ile görüntü tokenlarını ortak dikkat katmanlarına besler. Cross-attention; metin sorgularının ilgili görsel bölgelere odaklanmasını, görsel tokenlerin ise ilgili metin bölümlerine dikkat etmesini mümkün kılar.

Uzun Bağlam Sorunu ve Çözümler

check_circle Sorun: O(n²) Karmaşıklık: Standart self-attention, dizi uzunluğunun karesiyle orantılı bellek ve hesaplama gerektirir. 4096 tokenlik bir giriş için dikkat matrisi 16M hücreye ulaşırken 32K tokenlik modellerde bu 1B hücreyi aşar.
check_circle Flash Attention: GPU bellek erişim desenini yeniden düzenleyerek HBM yerine SRAM üzerinde hesaplama yapar; teorik karmaşıklık aynı kalsa da pratikte 2-4× hız ve %10'a düşen bellek kullanımı sağlar. Llama, Mistral ve Falcon modelleri bu optimizasyonu varsayılan kullanır.
check_circle Sliding Window Attention: Her token yalnızca ±w komşusuna dikkat eder; O(n·w) karmaşıklık sağlanır. Mistral 7B bu yöntemi 4096 pencereyle uygular; katmanlar arası bilgi yayılımı ile global bağlam korunur.
check_circle RoPE ve ALiBi: Konum Kodlaması: Rotary Position Embedding (RoPE) ve Attention with Linear Biases (ALiBi), eğitim sırasında görülmemiş uzunluklara genelleşebilen konum kodlamaları sunar. Bu yöntemler sayesinde modeller 4K'da eğitilip 32K+ bağlamda kullanılabilir.

Attention'dan Türeyen Mimariler

check_circle Transformer: 2017'de 'Attention Is All You Need' makalesiyle tanıtılan ve yalnızca dikkat ile ileri beslemeli katmanlardan oluşan temel mimari. Encoder-decoder, encoder-only (BERT) ve decoder-only (GPT) varyantları doğal dil işlemede standart haline gelmiştir.
check_circle Vision Transformer (ViT): Görüntü yamalarını sequence olarak ele alıp tam self-attention uygular; yeterli veriyle eğitildiğinde CNN'leri ImageNet gibi kıyaslamalarda geride bırakmıştır. DeiT, Swin Transformer ve BEiT bu temel üzerine inşa edilmiştir.
check_circle Perceiver / Perceiver IO: Değişken boyutlu ve çok modlu girdileri küçük bir latent dizi aracılığıyla işler; O(n²) self-attention yerine O(n·m) cross-attention kullanarak ölçeklenebilirliği artırır. Ses, görüntü ve metin gibi heterojen girdileri tek mimaride birleştirir.
check_circle State Space Models (SSM) / Mamba: Dikkat yerine durum uzayı modellerini kullanan alternatif yaklaşım; O(n) karmaşıklığıyla uzun dizileri verimli işler. Mamba, seçici durum güncellemeleriyle Transformer'a yakın kalite sunarken bellek verimliliğini önemli ölçüde artırır.

Sıkça Sorulan Sorular

check_circle Dikkat mekanizması neden bu kadar etkili? RNN/LSTM'in sıralı işleme zorunluluğunu ortadan kaldırır; paralel hesaplama ile eğitimi hızlandırır. Aynı zamanda dizinin herhangi iki pozisyonu arasında doğrudan bağlantı kurarak uzun mesafeli bağımlılıkları kayıpsız modeller — bu özellik makine çevirisi ve belge özetleme gibi görevlerde belirleyici avantaj sağlar.
check_circle √dₖ ile ölçekleme neden gereklidir? Yüksek boyutlu vektörlerde nokta çarpımı değerleri büyük olur ve softmax doygunluğa girerek gradyanlar sıfıra yaklaşır. √dₖ normalizasyonu bu değerleri ölçekleyerek softmax'ın daha düzgün bir olasılık dağılımı üretmesini ve gradyan akışının sağlıklı kalmasını sağlar.
check_circle Multi-head attention tek başlıktan neden üstündür? Her kafa farklı ağırlık matrislerine sahip olduğundan aynı giriş üzerinde paralel olarak farklı ilişki türlerini öğrenir: bir kafa sözdizimsel uyumu, diğeri anlamsal benzerliği, bir diğeri uzak cümle bağlamını yakalayabilir. Bu çeşitlilik modelin temsil kapasitesini belirgin biçimde artırır.
check_circle Dikkat ağırlıkları yorumlanabilir mi? Kısmen. Dikkat ağırlıkları hangi tokenlerin birbirine 'baktığını' gösterir ve hata ayıklamada sezgisel ipuçları verir. Ancak araştırmalar dikkat ağırlıklarının model kararını açıklamak için yeterli olmadığını göstermektedir; gerçek nedensel açıklama için gradient-based veya probing yöntemlerine başvurulmalıdır.
check_circle Flash Attention standart attention ile aynı sonucu üretir mi? Evet — Flash Attention matematiksel olarak standart scaled dot-product attention ile eşdeğerdir. Fark yalnızca GPU bellek erişim desenindedir: tiling stratejisiyle tüm dikkat matrisini HBM'e yazmadan hesaplamayı tamamlar, bu sayede hem hız hem de bellek verimliliği kazanılır.
check_circle Transformer'lar attention olmadan çalışabilir mi? Evet, alternatifler mevcuttur. Mamba ve RWKV gibi mimariler dikkat yerine doğrusal yineleme veya durum uzayı modellerini kullanır. Bazı hibrit modeller (ör. Jamba) transformer katmanlarını SSM katmanlarıyla karıştırarak her ikisinin avantajlarını birleştirmeye çalışmaktadır.