Attention (Dikkat Mekanizması) (Dikkat Mekanizması)

#DerinOgrenme #NLP #Transformer

Attention (Dikkat Mekanizması), sinir ağının çıktı üretirken giriş dizisindeki en ilgili bölümlere ağırlık atadığı öğrenilebilir odaklanma bileşenidir.

Attention (Dikkat Mekanizması), bir sinir ağının çıktı üretirken giriş dizisinin hangi bölümlerine ne ölçüde odaklanacağını dinamik olarak öğrenen nöral ağ bileşenidir. 2014'te makine çevirisi için önerilen temel dikkat mekanizması, 2017'de "Attention Is All You Need" makalesiyle Transformer mimarisinin çekirdeğine dönüştü ve modern yapay zekanın en dönüştürücü bileşeni haline geldi. Dikkat mekanizmasının temel sezgisi, insan dikkatini taklit etmektir: cümledeki her kelimeye eşit ağırlık vermek yerine, o anki tahmin için en ilgili kelimelere daha yüksek ağırlık vermek. Matematiksel olarak üç matris kullanılır: Sorgu (Query, Q), Anahtar (Key, K) ve Değer (Value, V). Q ile K'nın nokta çarpımı yumuşatılmış maksimum (softmax) fonksiyonundan geçirilerek dikkat ağırlıkları elde edilir; bu ağırlıklar V matrisinin ağırlıklı toplamını belirler: Attention(Q, K, V) = softmax(QK^T / √d_k) × V. Öz-dikkat (self-attention), bir dizinin kendi içindeki öğeler arasındaki bağımlılıkları modelleyerek çalışır; GPT ve BERT bu mekanizmayı kullanır. Çapraz dikkat (cross-attention) ise farklı iki dizinin öğelerini ilişkilendirir; kodlayıcı-çözücü modellerinde sorgu çözücüden, anahtar/değer çiftleri kodlayıcıdan gelir. Çok başlı dikkat (multi-head attention), birden fazla dikkat başını paralel çalıştırarak farklı ilişki alt uzaylarını eş zamanlı öğrenir. Dikkat mekanizması, konum bilgisini doğrudan içermez; bu nedenle Transformer'lara konumsal kodlama (positional encoding) eklenir. Flash Attention gibi bellek-etkin uygulamalar uzun bağlam pencerelerini mümkün kılarken kayan pencere dikkat (sliding window attention) yerel bağımlılıklara odaklanarak hesaplama karmaşıklığını düşürür. Dikkat mekanizması yalnızca dil modeliyle sınırlı kalmadı: Vision Transformer (ViT) görüntü yamalarını dizi olarak ele alarak öz-dikketi bilgisayarlı görüye uyarladı; Whisper ses tanıma, AlphaFold 2 protein yapısı tahmini de bu mekanizmaya dayanır. RNN ve LSTM'nin hâkim olduğu dönemde paralelleştirme kısıtlaması aşılamıyordu; dikkat mekanizması bu kısıtı ortadan kaldırarak GPT-4, Gemini ve Claude gibi modellerin 100.000+ token bağlam penceresiyle çalışmasını olanaklı kıldı.

Dikkat Mekanizması Nasıl Çalışır?

Girdi dizisindeki her öğe, üç doğrusal dönüşümle Sorgu (Q), Anahtar (K) ve Değer (V) vektörlerine dönüştürülür. Q ve K matrislerinin transpozu çarpılarak ham uyumluluk skorları elde edilir; √d_k ile bölme gradyanların patlamasını önler. Softmax fonksiyonu bu skorları 0-1 arasında normalize eder; her öğenin dikkat ağırlığını verir. Son olarak ağırlıklar V ile çarpılarak çıktı vektörü oluşturulur. Bu işlem O(n²) karmaşıklığındadır; uzun diziler için Flash Attention bu maliyeti bellek açısından optimize eder.

Dikkat Türleri

Öz-Dikkat

Dizi kendi içindeki öğeler arasındaki ilişkileri öğrenir; BERT'te her token tüm tokenlerle etkileşir.

Çapraz Dikkat

Çeviri gibi kodlayıcı-çözücü görevlerinde çözücü sorgusu, kodlayıcı anahtar/değer çiftiyle etkileşir.

Çok Başlı Dikkat

Paralel birden çok dikkat başı farklı dilbilgisel ve semantik alt uzayları öğrenir; başlar birleştirilir.

Flash Attention

GPU belleğini verimli kullanan IO-aware uygulama; pratik olarak O(n) bellek karmaşıklığıyla çalışır.

Dikkat Mekanizmasının Kullanım Alanları

  • check_circle Dil Modelleri: GPT, BERT ve tüm Transformer tabanlı LLM'ler öz-dikkati temel yapı taşı olarak kullanır.
  • check_circle Makine Çevirisi: Kodlayıcı-çözücü modellerinde çapraz dikkat, kaynak ve hedef cümle tokenlerini hizalar.
  • check_circle Görüntü İşleme: Vision Transformer (ViT) görüntü yamalarına öz-dikkat uygular; nesne tanıma ve segmentasyonda etkili.
  • check_circle Çok Modlu Modeller: Metin ve görüntü gibi farklı modaliteler arasındaki ilişkileri çapraz dikkatle modelleyen CLIP benzeri mimariler.

Uzun Bağlam Sorunu ve Çözümler

  • check_circle O(n²) Darboğazı: Standart öz-dikkette n token için n² işlem ve bellek gerekir. 128K token bağlamda bu hesaplama standart GPU'lar için aşırıdır; alternatif yöntemler bu sorunu çözer.
  • check_circle Flash Attention: GPU HBM'i yerine SRAM'i verimli kullanan hesaplama sırası; aynı matematiksel çıktıyı üretirken bellek kullanımını dramatik biçimde azaltır. Modern tüm büyük modellerin standart bileşenidir.
  • check_circle Sliding Window Attention: Her token yalnızca yakın komşularıyla dikkat işlemi yapar; yerel örüntüler için verimlidir. Mistral ve bazı Gemma versiyonları bu tekniği kullanır.
  • check_circle RoPE ve ALiBi: Rotary Position Embedding (RoPE) ve Attention with Linear Biases (ALiBi), modelin eğitim bağlamı ötesine daha iyi genelleşmesini sağlayan konum kodlama alternatifleridir; LLaMA ve Mistral serisi RoPE kullanır.

Attention'dan Türeyen Mimariler

  • check_circle Orijinal Transformer (Vaswani et al., 2017): "Attention Is All You Need" makalesiyle tanıtılan kodlayıcı-çözücü mimarisi; makine çevirisini CNN/RNN'den tamamen bağımsız biçimde çözdü ve modern AI'ın dönüm noktasıdır.
  • check_circle BERT (Kodlayıcı): Çift yönlü öz-dikkat kullanır; her token hem sol hem sağ bağlamı görür. Doğal dil anlama (NLU) görevlerinde standart ön eğitimli model oldu.
  • check_circle GPT serisi (Çözücü): Nedensel (causal) öz-dikkat ile soldan sağa üretici model; her token yalnızca önceki tokenleri görür. Büyük dil modellerinin dominant mimarisi.
  • check_circle Vision Transformer (ViT): Görüntüyü 16×16 piksel yamalara böler, her yamayı token olarak işler ve öz-dikkat uygular. ConvNet egemenliğine meydan okudu; büyük veri kümelerinde CNN'leri geride bırakmaktadır.

Sıkça Sorulan Sorular

  • check_circle Attention ile attention-mechanism arasında fark var mı?: Attention mekanizması genel kavramı kapsarken 'self-attention' ya da 'multi-head attention' belirli uygulamaları tanımlar. Bu sayfadaki Attention terimi, makine çevirisinden LLM'lere uzanan geniş dikkat ailesidir.
  • check_circle Attention neden O(n²) karmaşıklığındadır?: Her token diğer tüm tokenlerle karşılaştırılır; n uzunluklu dizide n×n uyumluluk matrisi hesaplanır. Flash Attention bellekte bu matrisi parçalayarak bellek tüketimini O(n)'e indirir.
  • check_circle Konumsal kodlama neden gereklidir?: Dikkat mekanizması sıra bilgisi içermez; aynı tokenler farklı sırayla gelse aynı dikkat çıktısı üretilir. Sinüzoidal veya öğrenilebilir konumsal kodlama bu eksikliği giderir.
  • check_circle Dikkat başı sayısı (number of heads) neden önemlidir?: Her baş farklı bir alt uzayda dikkat öğrenir: biri sözdizimi, diğeri anlamsal ilişki, bir diğeri uzak bağımlılıklar gibi. Başların birleşimi modelin dili temsil etme zenginliğini artırır. GPT-3'te 96 dikkat başı mevcuttur.
  • check_circle Dikkat mekanizması açıklanabilirlik için kullanılabilir mi?: Dikkat ağırlıkları zaman zaman model kararının 'neden'ini açıklamak için kullanılmış olsa da araştırmalar dikkat ağırlıklarının her zaman gerçek nedensel yorumu yansıtmadığını göstermiştir. Gradient tabanlı yöntemler (Integrated Gradients) çoğu zaman daha güvenilirdir.