Sparse Attention (Seyrek Dikkat)

#transformer #derin-ogrenme #llm #verimlilik #uzun-bagim

Seyrek dikkat, her tokenin tüm diğer tokenlerle değil yalnızca seçili bir alt kümeyle ilişki kurduğu, uzun dizileri verimli işleyen bir dikkat mekanizması optimizasyon tekniğidir.

Seyrek dikkat (Sparse Attention), standart Transformer dikkat mekanizmasının hesaplama karmaşıklığını azaltmak için geliştirilen ve her tokenin yalnızca seçilmiş bir token alt kümesiyle dikkat hesabı yaptığı bir optimizasyon yaklaşımıdır. Standart dikkat O(n²) karmaşıklığına sahiptir; n token uzunluğu arttıkça hesaplama ve bellek maliyeti karesel büyür. Seyrek dikkat bu karesel bağımlılığı kırar; farklı örüntülere göre O(n√n) veya O(n log n) karmaşıklığa düşürebilir. Temel seyrek dikkat örüntüleri şunlardır: (1) **Yerel pencere dikkati** — her token yalnızca yakın komşularıyla ilişki kurar; (2) **Uzun adımlı dikkat (strided)** — her token belirli aralıklarla seçilmiş uzak tokenleri de kapsar; (3) **Küresel token dikkati** — belirli ayrıcalıklı tokenler (ör. [CLS]) tüm diğer tokenlerle etkileşir. BigBird ve Longformer bu stratejileri birleştirerek hem yerel bağlamı hem de uzun menzilli bağımlılıkları yakalar. FlashAttention ailesi seyrek dikkat olmasa da IO-aware bir kernel optimizasyonu sunarak dikkat hesabını GPU bellek hiyerarşisine göre yeniden düzenler; böylece uzun bağlamlarda hem hız hem de bellek verimliliği sağlar. Mixture of Depths ve Ring Attention gibi 2024-2026 dönemine ait yaklaşımlar ise seyrek hesaplamanın donanım ve model mimarisine daha derin entegrasyonunu araştırmaktadır. Pratik kullanımda GPT-3'ün Sparse Transformer varyantı, OpenAI'nin erken uzun bağlam çalışmalarından biri olmuştur. Günümüzde 1M token ve üzeri bağlam pencerelerini destekleyen modeller (Claude 3.5, Gemini 1.5 Pro) genellikle FlashAttention ve bunun varyantlarını yoğun dikkat için kullanırken, bazı hibrit mimariler katman bazında seyrek ve yoğun dikkati karıştırır. Seyrek dikkat, özellikle uzun belge işleme, kod analizi, genomik veri ve video dizileri gibi alanlarda kritik önem taşır; bu alanlarda tam dikkat bellek sınırlarını aşmaktadır. Türkiye'deki geliştiriciler için bu optimizasyonlar; uzun hukuki belgeler, çok sayfalı raporlar veya uzun konuşma oturumları üzerinde çalışan uygulamalarda belirgin fark yaratmaktadır.

Sparse Attention Nedir?

Seyrek dikkat (Sparse Attention), Transformer mimarisindeki standart çoklu kafa dikkat (Multi-Head Attention) mekanizmasının hesaplama ve bellek maliyetini azaltmak için geliştirilen bir optimizasyon tekniğidir. Standart dikkatte her token, dizideki diğer tüm tokenlerle ilişki hesaplar; bu durum O(n²) karmaşıklığına yol açar. 10.000 tokenlik bir dizi için bu yaklaşık 100 milyon dikkat skoru hesabı anlamına gelir. Seyrek dikkat bu karmaşıklığı, her tokenin yalnızca belirli kurallara göre seçilmiş bir komşuluk kümesiyle iletişim kurmasına izin vererek O(n√n) veya O(n log n)'a düşürür.

Temel Seyrek Dikkat Örüntüleri

  • check_circle Yerel pencere dikkati: Her token yalnızca kendi etrafındaki sabit boyutlu bir penceredeki tokenlerle etkileşir. Komşuluk bilgisi güçlüdür ancak çok uzak bağımlılıklar yakalanmaz.
  • check_circle Uzun adımlı dikkat (Strided): Her token, yakın pencereye ek olarak belirli adım aralıklarıyla uzak tokenlere de bakar. Yerel ve küresel bağlamı dengeler.
  • check_circle Küresel token dikkati: Ayrıcalıklı tokenler (ör. [CLS] veya görev tokeni) tüm diğer tokenlerle iletişim kurar; diğerleri yalnızca yerel/strided örüntü uygular. Longformer ve BigBird bu yaklaşımı kullanır.
  • check_circle Rastgele seyrek dikkat: Her token, örüntü dışında rastgele seçilmiş birkaç global token ek alır. BigBird'ün üçlü kombinasyonunun parçasıdır.
  • check_circle FlashAttention (IO-aware): Seyrek değil, yoğun dikkatin kernel düzeyinde GPU bellek hiyerarşisine göre optimize edilmiş versiyonudur. Daha az HBM (yüksek bant genişlikli bellek) erişimi ile standart dikkatin aynı sonucunu çok daha hızlı üretir.

Neden Uzun Bağlam İçin Kritiktir?

Standart dikkat mekanizması 4.096 token için ~134 MB, 32.768 token için ~8.6 GB dikkat matrisi (float16) gerektirir; bu sayı 1M tokende terabayt boyutlarına ulaşır. Seyrek dikkat bu bariyeri kaldırarak, özellikle hukuki belgeler, akademik makaleler, uzun kod tabanları ve çok oturumlu konuşmalar gibi uzun giriş gerektiren görevleri mümkün kılar. 2024-2025 döneminde Claude 3.5 (200K), Gemini 1.5 Pro (1M) ve GPT-4o (128K) gibi modellerin geniş bağlam pencerelerini desteklemesi, büyük ölçüde FlashAttention ve benzer optimizasyonlara dayanmaktadır.

Öne Çıkan Modeller ve Kütüphaneler

  • check_circle Sparse Transformer (OpenAI, 2019): Seyrek dikkat konseptini geniş ölçekte ilk kullanan araştırma modellerinden biri. Faktörize dikkat örüntülerini tanıttı.
  • check_circle Longformer (Allen AI, 2020): Yerel pencere + küresel token kombinasyonu. Uzun belge NLP görevlerinde benchmark skorları kırdı.
  • check_circle BigBird (Google, 2020): Yerel + strided + rastgele seyrek dikkat üçlüsü. Teorik olarak seyrek dikkatin yoğun dikkate eşdeğer olabileceğini kanıtladı.
  • check_circle FlashAttention (2022-2024): IO-aware çekirdek; yoğun dikkati GPU SRAM'inde tutan, çok daha az HBM erişimi gerektiren yaklaşım. v1, v2 ve v3 sürümleri giderek artan verimlilik sunar.
  • check_circle Ring Attention (2023): Dikkat hesaplamasını birden fazla GPU'ya yayan dağıtık yaklaşım; milyonlarca token bağlam için tasarlandı.

Trade-off'lar ve Sınırlamalar

Seyrek dikkat bazı uzak bağımlılıkları kaçırabilir; bu durum, özellikle dizinin başındaki kritik bilgilerin sonunda referans alındığı görevlerde 'kayıp ortadaki iğne' (lost-in-the-middle) sorununu şiddetlendirebilir. Örüntü seçimi görev özeldir ve evrensel bir optimal örüntü yoktur. Implementasyon karmaşıklığı da önemli bir etkendir: standart PyTorch/JAX kodundan farklı, optimize edilmiş CUDA çekirdekleri gerektirir. FlashAttention doğruluk kaybı olmaksızın hız kazanırken, gerçek seyrek örüntüler teorik doğruluk kaybı riski taşıyabilir.

Sık Sorulan Sorular

  • check_circle Sparse Attention ile FlashAttention aynı şey midir? Hayır. Sparse Attention, hangi token çiftlerinin dikkat hesabı yapacağını kısıtlayan bir paradigmadır. FlashAttention ise tüm token çiftlerini hesaplayan (tam dikkat) ancak bunu GPU belleğini verimli kullanarak çok daha hızlı yapan bir kernel optimizasyonudur. FlashAttention, teorik karmaşıklığı değiştirmez; pratikte büyük bellek avantajı ve hız sağlar.
  • check_circle Claude veya GPT-4 seyrek dikkat kullanıyor mu? Bu modellerin iç mimarisi tam olarak kamuya açıklanmamıştır. Ancak uzun bağlam desteği (128K-1M token) büyük olasılıkla FlashAttention veya benzer IO-aware optimizasyonları, muhtemelen katman bazında hibrit yaklaşımlarla mümkün kılınmaktadır.
  • check_circle Seyrek dikkat kaç parametresi etkiler? Seyrek dikkat, model parametrelerini değiştirmez; yalnızca çıkarım ve eğitim sırasındaki hesaplama grafiğini etkiler. Ağırlıklar standart dikkatle aynıdır; dikkat maskesi örüntüsü belirlenir.
  • check_circle Kendi modelimde seyrek dikkat nasıl uygularım? PyTorch için xFormers kütüphanesi seyrek dikkat bloklarını hazır sunar. FlashAttention için flash-attn paketi resmi implementasyonu içerir. Hugging Face Transformers çoğu modern modelde FlashAttention'ı attention_implementation='flash_attention_2' parametresiyle etkinleştirmeyi destekler.
  • check_circle Seyrek dikkat her zaman yoğun dikketten hızlı mıdır? Kısa dizilerde (ör. <1K token) overhead nedeniyle yavaş olabilir; asıl avantaj uzun dizilerde ortaya çıkar. Genel kural: n > 2048-4096 token seviyesinden itibaren seyrek/IO-aware dikkat belirgin kazanım sağlar.