tag Dikkat Mekanizması
Multi-Head Attention (Çok Başlı Dikkat Mekanizması)
Bu sayfada Dikkat Mekanizması (Multi-Head Attention (Çok Başlı Dikkat Mekanizması)) etiketi ile işaretlenmiş 7 yapay zeka kavramını bulabilirsiniz.
Çok başlı dikkat mekanizması (Multi-Head Attention), transformer modellerinin giriş dizisine aynı anda birden fazla farklı bakış açısından odaklanmasını sağlayan temel bir sinir ağı bileşenidir. 2017 yılında Google'ın "Attention is All You Need" makalesiyle tanıtılan bu mekanizma, modern büyük dil modellerinin (LLM) temel yapı taşını oluşturur. Klasik tek başlı dikkat mekanizması, bir cümledeki her token için yalnızca tek bir ilişki türünü yakalayabilirken, çok başlı dikkat h adet bağımsız "dikkat kafasını" paralel olarak çalıştırır. Her kafa, giriş gömme vektörünü üç farklı matrise dönüştürür: Sorgu (Q), Anahtar (K) ve Değer (V). Sorgu vektörü "ne arıyorum?" sorusunu, Anahtar vektörü "ne sunuyorum?" sorusunu, Değer vektörü ise "ilgili bilgi nedir?" sorusunu temsil eder. Her kafanın dikkat skoru, ölçeklenmiş nokta çarpımı formülüyle hesaplanır: softmax(QKᵀ / √d_k) × V. Buradaki √d_k ölçekleme faktörü, büyük iç çarpımların softmax'ı aşırı keskinleştirip gradyanların sıfıra yaklaşmasını önler. Her kafa, toplam model boyutunun (d_model) h'e bölünmesiyle elde edilen daha küçük bir alt uzayda çalışır; böylece toplam hesaplama maliyeti tek başlı dikkatle karşılaştırılabilir düzeyde kalır. Farklı kafalar farklı ilişki türlerini öğrenir: bir kafa sözdizimsel yapıyı, bir diğeri anlamsal benzerlikleri, bir üçüncüsü uzun menzilli bağımlılıkları yakalayabilir. Tüm kafalara ait çıktılar birleştirilerek tek bir doğrusal dönüşümden geçirilir ve modelin zengin, çok boyutlu bir bağlam temsili oluşturması sağlanır. Gerçek dünya modellerinde kafa sayısı büyük farklılıklar gösterir: BERT-Base her katmanda 12, GPT-3 ise 96 kafa kullanır. Araştırmalar, bazı kafaların eğitim sırasında belirli dilsel işlevlere uzmanlaştığını göstermektedir. Vision Transformer (ViT) gibi görsel modeller de aynı mekanizmayı görüntü yamalarına uygulayarak mekânsal ilişkileri öğrenir. GPT, LLaMA, Mistral, Gemma ve Claude gibi tüm modern modeller bu temel mekanizmaya dayanır.
Multi-Head Attention (Çok Başlı Dikkat Mekanizması)
Çok başlı dikkat mekanizması (Multi-Head Attention), transformer modellerinin giriş dizisine aynı anda birden fazla farklı bakış açısından odaklanmasını sağlayan temel bir sinir ağı bileşenidir. 2017 yılında Google'ın "Attention is All You Need" makalesiyle tanıtılan bu mekanizma, modern büyük dil modellerinin (LLM) temel yapı taşını oluşturur. Klasik tek başlı dikkat mekanizması, bir cümledeki her token için yalnızca tek bir ilişki türünü yakalayabilirken, çok başlı dikkat h adet bağımsız "dikkat kafasını" paralel olarak çalıştırır. Her kafa, giriş gömme vektörünü üç farklı matrise dönüştürür: Sorgu (Q), Anahtar (K) ve Değer (V). Sorgu vektörü "ne arıyorum?" sorusunu, Anahtar vektörü "ne sunuyorum?" sorusunu, Değer vektörü ise "ilgili bilgi nedir?" sorusunu temsil eder. Her kafanın dikkat skoru, ölçeklenmiş nokta çarpımı formülüyle hesaplanır: softmax(QKᵀ / √d_k) × V. Buradaki √d_k ölçekleme faktörü, büyük iç çarpımların softmax'ı aşırı keskinleştirip gradyanların sıfıra yaklaşmasını önler. Her kafa, toplam model boyutunun (d_model) h'e bölünmesiyle elde edilen daha küçük bir alt uzayda çalışır; böylece toplam hesaplama maliyeti tek başlı dikkatle karşılaştırılabilir düzeyde kalır. Farklı kafalar farklı ilişki türlerini öğrenir: bir kafa sözdizimsel yapıyı, bir diğeri anlamsal benzerlikleri, bir üçüncüsü uzun menzilli bağımlılıkları yakalayabilir. Tüm kafalara ait çıktılar birleştirilerek tek bir doğrusal dönüşümden geçirilir ve modelin zengin, çok boyutlu bir bağlam temsili oluşturması sağlanır. Gerçek dünya modellerinde kafa sayısı büyük farklılıklar gösterir: BERT-Base her katmanda 12, GPT-3 ise 96 kafa kullanır. Araştırmalar, bazı kafaların eğitim sırasında belirli dilsel işlevlere uzmanlaştığını göstermektedir. Vision Transformer (ViT) gibi görsel modeller de aynı mekanizmayı görüntü yamalarına uygulayarak mekânsal ilişkileri öğrenir. GPT, LLaMA, Mistral, Gemma ve Claude gibi tüm modern modeller bu temel mekanizmaya dayanır.
Cross-Attention (Çapraz Dikkat Mekanizması)
Cross-Attention (Çapraz Dikkat Mekanizması), 2017 yılında Google Brain ekibinin "Attention is All You Need" makalesiyle tanıttığı Transformer mimarisinin temel bileşenlerinden biridir. Self-Attention'dan farklı olarak iki ayrı dizinin birbirine dikkat etmesini sağlar: sorgu (Query) vektörleri alıcı diziden, anahtar (Key) ve değer (Value) vektörleri ise bağlam dizisinden üretilir. Matematiksel formülü self-attention ile aynı çekirdeği paylaşır: Attention(Q, K, V) = softmax(QK^T / √d_k) · V. Ancak Q, K ve V üç ayrı kaynaktan türetilir. Boyutsal ölçekleme faktörü √d_k, nokta çarpım değerlerinin patlamasını önler; gradyanlar bu yolla kararlı kalır. Orijinal Transformer mimarisinde cross-attention, kodlayıcı-kod çözücü (encoder-decoder) yapısında çalışır: kod çözücü katmanları Q vektörlerini kendi çıktısından üretirken K ve V vektörlerini kodlayıcının son katman çıktısından alır. Makine çevirisinde bu yapı, hedef dildeki her kelimenin kaynak dildeki tüm kelimelerle dinamik bağlantı kurmasını sağlar; model neye dikkat etmesi gerektiğini bağlama göre öğrenir. 2020'lerin başından itibaren cross-attention, metin-görüntü modellerinde kritik bir rol üstlendi. Stable Diffusion ve DALL-E gibi difüzyon modellerinde metin gömme vektörleri K ve V olarak kullanılırken görüntü gizil uzayındaki temsiller Q vektörü sağlar. Bu çapraz bağlantı aracılığıyla "gece yarısı şehrinde neon ışıklı bir kedi" gibi bir metin açıklaması ilgili görsel bölgelerle eşleştirilir. 2025-2026 döneminde çok modlu büyük dil modelleri (GPT-4o, Gemini 2.0, Claude 3.5 Sonnet), cross-attention mekanizmalarını ses, görüntü ve metin gibi farklı modaliteleri tek bir model içinde birleştirmek için genişletti. Flash Attention 3 ve Grouped Query Attention (GQA) gibi verimlilik teknikleri, uzun bağlamlarda cross-attention hesaplama maliyetini önemli ölçüde düşürdü. LoRA gibi parametre-verimli ince ayar yöntemleri de çoğunlukla cross-attention katmanlarındaki Q ve V matrislerini hedefleyerek model uyarlamasını yapar.
RoPE (Dönel Konum Kodlama)
RoPE (Rotary Position Embedding — Dönel Konum Kodlama), transformer tabanlı dil modellerinde token konumlarını temsil etmek için 2021 yılında Jianlin Su ve ekibi tarafından önerilen özgün bir konum kodlama yöntemidir. Geleneksel mutlak konum gömme yaklaşımlarının (sinüs/kosinüs PE veya öğrenilmiş vektörler) yetersiz kaldığı bağlam uzunluğu genellenebilirliği sorununu zarif biçimde çözer. Temel fikir, her tokenın sorgu (query) ve anahtar (key) vektörlerini, o tokenın sekans içindeki konumuna bağlı bir açıyla karmaşık sayı uzayında döndürmektir. Böylece iki token arasındaki dikkat puanı (dot product), yalnızca konumlar arasındaki farka (m−n) bağlı hale gelir; modelin öğrenmesi gereken göreli konum bilgisi, dikkat hesaplamasına doğal olarak yerleşmiş olur. Matematiksel olarak d-boyutlu vektör, d/2 adet iki boyutlu alt uzaya ayrılır. Her alt uzay için farklı bir taban frekans θ_i = 10000^(−2i/d) kullanılır. Yüksek frekanslı boyutlar yakın komşuluk ilişkilerini, düşük frekanslı boyutlar uzun menzilli yapısal bağları kodlar. Bu çok ölçekli yapı, hem kısa sözcüksel hem de uzun sözdizimsel örüntüleri bir arada temsil eder ve dikkat mekanizmasına yönelik uzaklık yatırılabilirliği (distance invariance) özelliği kazandırır. RoPE'un pratik avantajları önemlidir: ekstra parametre gerektirmez; göreli konum farkındalığı sinüs PE'ye göre çok daha güçlüdür; bağlam uzunluğu genişletmesi (YaRN, NTK scaling, LongRoPE gibi yöntemler) ile eğitim penceresinin 4 ila 128 katına çıkılabilir. Flash Attention gibi bellek verimli kernel'larla tam uyumludur ve hesaplama maliyeti ihmal edilebilir düzeyde kalır. Meta'nın LLaMA serisi (1, 2, 3), Mistral, Gemma (Google DeepMind), Qwen (Alibaba), DeepSeek ve Falcon gibi modern açık kaynaklı dil modelleri RoPE'u standart konum kodlaması olarak benimsemiştir. Bu yaygın kullanımın arkasında RoPE'un matematiksel sağlamlığı, uygulanmasının kolaylığı ve bağlam uzatmada gösterdiği üstün esneklik yatar. Günümüzde RoPE, açık kaynak LLM ekosisteminin fiili standardı konumundadır.
Residual Attention Ağı (Artıksal Dikkat Ağı)
Residual Attention Ağı (Residual Attention Network — RAN), Fei Wang ve ekibinin CVPR 2017'de tanıttığı, ResNet'in artıksal öğrenme prensibiyle dikkat mekanizmasını harmanlayan bir evrişimli sinir ağı mimarisidir. Temel fikir, her dikkat modülünü iki paralel dalla çalıştırmaktır: özellik dönüşümü gerçekleştiren trunk branch ile bu özellikler üzerinde yumuşak uzamsal dikkat maskeleri üreten mask branch. Trunk branch standart evrişimsel katmanlardan oluşurken mask branch encoder-decoder yapısına sahiptir. Max-pooling ile özellik haritası aşamalı olarak küçültülür (downsampling); ardından bilinear üst örnekleme (upsampling) ile orijinal çözünürlüğe geri döner. Mask branch çıktısı sigmoid aktivasyonuyla [0,1] aralığına sıkıştırılarak yumuşak maske oluşturulur. Bu maske trunk çıktısıyla eleman çarpımı (element-wise multiplication) uygulanır: yüksek dikkat değeri taşıyan bölgeler güçlendirilirken düşük değerli gürültülü ya da alakasız bölgeler baskılanır. Artıksal bağlantı bu noktada kritik rol üstlenir: dikkat çıktısına orijinal trunk özelliği eklenir (H = F × M + F; burada F trunk özelliği, M ise maske). Bu formülasyon maskenin sıfıra yaklaştığı durumda bile ham trunk sinyalinin korunmasını güvence altına alır; dolayısıyla dikkat modülleri ağı degrade etmeden katman derinliği arttıkça birikimli dikkat öğrenilmesine izin verir. Orijinal çalışmada dikkat modülleri üç uzamsal çözünürlük aşamasında bağımsız olarak öğrenilir. Başarım açısından CIFAR-10'da %3.90, CIFAR-100'de %20.45 ve ImageNet Top-5 sınıflandırmasında %4.8 hata oranı elde edilerek dönemin referans sonuçlarının üzerine çıkılmıştır. Mimari etki açısından RAN, CBAM (Convolutional Block Attention Module, ECCV 2018), BAM (Bottleneck Attention Module) ve kanal dikkatini uzamsal dikkatle birleştiren birçok türev çalışmaya ilham vermiştir. Modern nesne tespiti mimarileri (YOLO serileri), U-Net türevi medikal görüntü segmentasyonu modelleri ve uydu görüntü işleme uygulamaları dikkat kapıları (attention gating) mekanizmasını doğrudan bu çalışmanın çizgisinden devşirmiştir. Türkiye'deki bilgisayarlı görü araştırma grupları patoloji görüntüsü analizi ve uzaktan algılama problemlerinde artıksal dikkat mimarilerini referans almaktadır.
Lost in the Middle (Ortada Kaybolma Fenomeni)
"Lost in the Middle" (Ortada Kaybolma), büyük dil modellerinin (LLM) uzun bağlamlardaki bilgiyi konumuna göre farklı ağırlıkta işlediğini ortaya koyan bir fenomendir. Nelson F. Liu ve arkadaşları tarafından 2023 yılında yayımlanan "Lost in the Middle: How Language Models Use Long Contexts" makalesiyle sistematik biçimde belgelenmiştir. Araştırma, LLM'lerin bağlamın başına (primacy bias) ve sonuna (recency bias) yerleştirilen bilgiye çok daha fazla dikkat ettiğini, ancak bağlamın ortasındaki bilgiyi büyük ölçüde görmezden geldiğini göstermiştir. Bu etki, bağlam uzunluğu arttıkça güçlenir; onlarca belgenin sıralandığı çok belgeli soru-cevap (multi-document QA) görevlerinde kritik bir sorun haline gelir. Bu bulgunun RAG (Retrieval-Augmented Generation) sistemleri için doğrudan pratik sonuçları vardır: alınan belgelerin bağlama yerleştirilme sırası, modelin nihai doğruluğunu önemli ölçüde etkiler. En ilgili belgeler bağlamın başına veya sonuna yerleştirildiğinde model doğruluğu artarken ortaya yerleştirildiğinde düşer. Bu nedenle modern RAG sistemleri, yüksek puanlı sonuçları bağlamın iki ucuna yerleştiren "çift uç sıralama" (bi-positional ranking) stratejilerini benimsemiştir. Fenomenin kökeni dikkat mekanizmasının pozisyonel önyargılarına dayanmaktadır: eğitim verilerinin doğal yapısında metinlerin başı ve sonu genellikle daha fazla bilgi yoğunluğu içerdiğinden model bu konumlara ağırlık vermeyi öğrenir. Flash Attention ve rotary position encoding (RoPE) gibi teknik geliştirmeler uzun bağlam işlemeyi iyileştirmiş olsa da pozisyonel önyargı tamamen ortadan kalkmamıştır. Türkiye'de RAG tabanlı müşteri hizmetleri ve belge sorgulama sistemleri geliştiren ekipler bu fenomeni göz önünde bulundurarak belge sıralama stratejilerini yapılandırmalıdır. Uzun politika belgeleri veya hukuki metinlere dayanan sistemlerde "ortada kaybolma" etkisi yanıltıcı yanıtlara yol açabilir. Bu bağlamda bağlam penceresini (context window) gereksiz bilgiyle doldurmak yerine bağlam sıkıştırma (context compression) ve seçici bellek (selective memory) yaklaşımlarıyla yalnızca en ilgili pasajların bağlama eklenmesi önerilmektedir.
Self-Attention (Öz-Dikkat)
Öz-dikkat (self-attention), bir dizideki her tokenin aynı dizinin diğer tüm tokenleriyle ilişkisini hesaplayarak her konuma bağlam bilgisi kazandıran dikkat mekanizmasının özel bir biçimidir. Klasik dikkat mekanizmasında kaynak ve hedef diziler farklıydı; örneğin makine çevirisinde giriş cümlesi ile çıkış cümlesi ayrı dizilerdi. Öz-dikkatte ise sorgu (Q), anahtar (K) ve değer (V) vektörlerinin üçü de aynı girişten türetilir. 2017 yılında "Attention Is All You Need" makalesiyle tanıtılan transformer mimarisinin temel yapı taşı olan öz-dikkat, RNN ya da CNN katmanlarına gerek kalmadan uzun mesafeli bağımlılıkları paralel hesaplamayla öğrenir. Hesaplama üç adımda ilerler. Önce giriş gömmeleri üç ayrı projeksiyon matrisiyle Q, K ve V uzaylarına dönüştürülür. Ardından her konumun sorgu vektörü tüm anahtar vektörleriyle nokta çarpımına girer, sonuç sqrt(d_k) ile ölçeklenir ve softmax uygulanarak dikkat ağırlıkları elde edilir. Son olarak bu ağırlıklar değer vektörleri üzerinde ağırlıklı toplam alınarak her token için yeni bir bağlamsal temsil üretir. "Banka kıyısında oturdu" cümlesindeki "banka" tokeni, "kıyı" tokenine yüksek ağırlık vererek finans kurumu değil nehir kenarı anlamını kodlar. Matematiksel olarak n uzunluğundaki bir dizi için öz-dikkat O(n^2 · d) hesaplama ve bellek maliyeti gerektirir; bu nedenle çok uzun dizilerde düşük ranklı yaklaşımlar (Linformer), yerel pencere dikkati (Longformer, Sliding Window Attention) ve FlashAttention gibi IO-farkında verimlilik teknikleri geliştirilmiştir. Maskeli öz-dikkat (masked self-attention), GPT ve Llama gibi otoregresif dil modellerinde kullanılır: her konum yalnızca önceki konumlara bakabilir, gelecekteki tokenlere erişim üst üçgen maskeyle kapatılır. BERT gibi çift yönlü kodlayıcılarda ise tam öz-dikkat uygulanır; her token hem öncesindeki hem sonrasındaki tokenleri görür ve sınıflandırma görevleri için güçlü bir bağlam temsili oluşur. Uygulamada öz-dikkat tek başına değil, çok başlı dikkat (multi-head attention) biçiminde birden fazla paralel başla çalıştırılır; her baş sözdizimi, eş gönderim ya da konum yakınlığı gibi farklı ilişki türlerini yakalar. Vision Transformer görüntü yamalarını, AlphaFold2 ise protein kalıntılarını token olarak işleyerek aynı mekanizmayı dil dışına taşımıştır.
Transformer-XL (Transformer-XL (Uzun Bağlamlı Dönüştürücü Mimarisi))
Transformer-XL, Zihang Dai ve ekibinin 2019 yılında Google Brain ile Carnegie Mellon Üniversitesi iş birliğiyle geliştirdiği, uzun bağlamı modelleme sorununu çözmek amacıyla önerilen bir dil modeli mimarisidir. Standart Transformer modelleri metin işlerken sabit uzunluktaki bölütleri birbirinden bağımsız olarak ele alır; bu durum cümle sınırlarını aşan bağlam bağımlılıklarının yakalanamamasına ve bölüt kenarlarında anlam kırılmasına yol açar. Transformer-XL bu sorunu iki temel yenilikle aşar: bölüt özyinelemesi ve göreli konum kodlaması. Bölüt özyinelemesi mekanizmasında her katmanın gizli durum tensörleri önbelleğe alınır ve bir sonraki bölüt işlenirken dikkat mekanizmasına ek bağlam olarak sunulur; bu yapı modelin erişebildiği bağlam uzunluğunu teorik olarak sonsuz kılabilir ve uzun mesafeli bağımlılıkların yakalanmasını mümkün kılar. Göreli konum kodlaması ise mutlak konum gömülerinin farklı bölüt uzunluklarında anlam kaybına yol açma sorununu giderir; dikkat mekanizması token çiftleri arasındaki göreli mesafeyi doğrudan hesapladığından model farklı bölüt konfigürasyonlarına kolayca genellenebilir hâle gelir. WikiText-103 ve enwiki8 standart kıyaslamalarında Transformer-XL yayımlandığı dönemde yeni başarım kayıtları kırmıştır. Eğitim aşamasında bölüt özyinelemesi devre dışı bırakılabilir; çıkarım aşamasında ise önbellekte tutulan gizli durumlar çok daha uzun metinlerin verimli biçimde işlenmesini kolaylaştırır. Hesaplama maliyeti açısından değerlendirildiğinde özyineleme uzunluğunun artmasıyla bellek kullanımı doğrusal olarak artar; bu denge üretim sistemleri için dikkate alınması gereken önemli bir tasarım kararıdır. Transformer-XL mimarisinin kalıcı etkisi ardından gelen büyük dil modellerine kattığı kavramsal zemindir. XLNet, permütasyon tabanlı dil modellemesiyle Transformer-XL üzerine inşa edilmiş ve BERT tarzı çift yönlü eğitimi oto-regresif modellemeyle birleştirmiştir. T5, GPT serisi ve günümüzün uzun bağlam modellerindeki pek çok tasarım kararı bu mimarinin deneyimlerinden beslenmiştir. Transformer-XL aynı zamanda artımlı çıkarım araştırmalarını da yönlendirmiş; literatürde iki binden fazla atıf alarak modern NLP tarihine geçmiştir.