Transformer (Dönüştürücü Mimarisi)

#YapaySinirAglari #DerinOgrenme #LLM #Google #Attention #GPT #BERT #NLP

Transformer, öz-dikkat mekanizmasıyla veriyi paralel işleyen ve GPT, BERT gibi tüm modern büyük dil modellerinin temelini oluşturan derin öğrenme mimarisidir.

Transformer, 2017'de Google araştırmacılarının "Attention Is All You Need" makalesiyle tanıttığı ve bugünkü yapay zeka modellerinin büyük bölümünün temelini oluşturan derin öğrenme mimarisidir. Veriyi kelime kelime, sıralı biçimde işleyen RNN ve LSTM modellerinin aksine Transformer, Self-Attention (öz-dikkat) mekanizmasıyla bir dizideki tüm öğeleri aynı anda işler: her kelime, cümledeki diğer tüm kelimelerle ilişkisini eşzamanlı hesaplar. Bu paralel çalışma biçimi iki büyük sorunu birden çözer. Birincisi, GPU'ların matris çarpımındaki gücünden tam olarak yararlanıldığı için eğitim çok daha hızlıdır; devasa veri setleriyle milyarlarca parametreli model eğitmek ancak bu mimariyle pratik hale gelmiştir. İkincisi, uzak kelimeler arasındaki bağlamsal ilişkiler kaybolmaz; model uzun bir metnin başındaki bilgiyi sonunda da hatırlar. Transformer'ın önemi dil işlemeyle sınırlı kalmadı. ChatGPT, Claude, Gemini ve Llama gibi büyük dil modellerinin (LLM) tamamı bu mimari üzerine kuruludur; BERT arama motorlarında sorgu anlamada, GPT ailesi metin ve kod üretiminde kullanılır. Görüntü tarafında Vision Transformer (ViT) sınıflandırma ve nesne tanımada CNN'lere güçlü bir alternatif oldu; Whisper konuşma tanımada, AlphaFold 2 ise protein yapısı tahmininde aynı temeli kullanır. Pratikte bugün bir sohbet botuyla konuştuğunuzda, makine çevirisi yaptığınızda veya yapay zeka destekli kod tamamlama kullandığınızda arka planda neredeyse her zaman bir Transformer çalışır. Mimarinin bir diğer kritik özelliği öngörülebilir ölçeklenmesidir: parametre, veri ve hesaplama arttıkça performans da düzenli biçimde artar; bu ölçekleme yasaları son yılların yapay zeka araştırma gündemini belirlemiştir.

hub Transformer Mimarisi Nasıl Çalışır?

Transformer mimarisinin kalbinde 'Öz-Dikkat' (Self-Attention) mekanizması yatar. Bu mekanizma, bir cümledeki bir kelimeyi işlerken cümlenin diğer tüm kelimelerine de bakarak aralarındaki anlamsal ilişkileri ve bağlamı aynı anda hesaplar. Örneğin 'Bankaya gitti ve oturdu' cümlesindeki 'banka' kelimesinin finansal bir kurum mu yoksa oturulacak bir yer mi olduğunu, etrafındaki kelimelere dikkat ederek anında çözer. Teknik olarak her token için Query (sorgu), Key (anahtar) ve Value (değer) vektörleri üretilir; Query ile Key'lerin iç çarpımı hangi kelimenin hangisine ne kadar 'dikkat' edeceğini belirleyen ağırlıkları verir, bu ağırlıklarla Value vektörlerinin toplamı da kelimenin bağlama duyarlı yeni temsilini oluşturur. Bu hesaplamaların tamamı matris çarpımı olduğu için GPU'larda paralel yürütülür; devasa veri setleriyle eğitim bu nedenle RNN'lere kıyasla kat kat hızlıdır. Bir Transformer modeli, bu dikkat katmanlarının ileri besleme (feed-forward) katmanlarıyla üst üste yığılmasından oluşur; katman sayısı ve genişlik arttıkça modelin kapasitesi de büyür.

Temel Bileşenler

login Encoder (Kodlayıcı)

Girdi verisini işleyip matematiksel bir temsile (vektöre) dönüştürür. BERT gibi modeller sadece Encoder yapısını kullanır ve metni anlamada mükemmeldir.

logout Decoder (Kod Çözücü)

Encoder'dan veya doğrudan önceki kelimelerden gelen bağlamı kullanarak yeni içerik üretir. GPT serisi modeller sadece Decoder mimarisini kullanır.

visibility Self-Attention

Modelin uzak mesafeli bağlamsal ilişkileri yakalamasını mümkün kılan temel denklemdir. Hangi kelimelerin birbirine ne kadar ağırlık vereceğini hesaplar.

format_list_numbered Positional Encoding

Kelimeler paralel işlendiğinden, cümlenin orijinal sırasını modele bildiren matematiksel konumlandırma eklentisidir.

public Transformer Modellerinin Etki Alanları

  • check_circle Büyük Dil Modelleri (LLM): GPT-4, Claude, Gemini ve Llama gibi modellerle insan seviyesinde metin üretimi, kodlama, çeviri ve problem çözme. Sohbet botlarından arama motorlarına kadar günlük hayatta karşılaşılan yapay zeka uygulamalarının büyük bölümü bu modellere dayanır.
  • check_circle Bilgisayarlı Görü: Vision Transformer (ViT), görüntüyü küçük yamalara bölüp her yamayı bir token gibi işler; görüntü sınıflandırma ve nesne tanımada CNN'lere güçlü bir alternatiftir. DALL-E ve Stable Diffusion gibi görsel üretim sistemlerinde de Transformer bileşenleri kullanılır.
  • check_circle Biyoinformatik: AlphaFold 2, dikkat mekanizmasını amino asit dizileri üzerinde kullanarak protein yapısı tahmininde on yılların açık problemine pratik bir çözüm getirdi; ilaç keşfi araştırmalarında yaygın olarak kullanılıyor.
  • check_circle Ses İşleme: Whisper gibi Transformer tabanlı modeller onlarca dilde konuşma tanıma ve çeviri yapar; metin okuma (TTS) ve müzik üretimi modellerinde de aynı mimari tercih edilir.

Transformer Mimarisinin Temel Bileşenleri

  • check_circle Öz-Dikkat (Self-Attention): Her token'ın dizideki diğer tüm token'larla ilişkisini hesaplar. 'Attention Is All You Need' makalesinin temel katkısı; paralel işleme ve uzun bağlam ilişkilerini mümkün kılar.
  • check_circle Çok Başlıklı Dikkat (Multi-Head Attention): Dikkat mekanizmasını birden fazla 'kafa' (head) ile paralel çalıştırma. Her kafa farklı ilişki örüntülerini yakalar; örneğin biri sözdizimsel, diğeri anlamsal bağlara odaklanabilir. Başlık çıktıları birleştirilerek zengin bir temsil elde edilir.
  • check_circle Konum Kodlaması (Positional Encoding): Sıralı işleme yapmadığı için token konumunu sinüzoidal veya öğrenilmiş vektörlerle gömmeye ekler. RoPE (Rotary Position Embedding) modern modellerde yaygındır.
  • check_circle İleri Besleme Katmanı (FFN): Her token için bağımsız uygulanan tam bağlantılı katman. Genellikle dikkat çıktısını 4 kat büyütüp daraltan iki katmandan oluşur; MoE (Mixture of Experts) modellerinde bu katman uzmanlaşmış ağlara ayrılır.
  • check_circle Katman Normalleştirme (LayerNorm): Her katman girişini normalize ederek eğitim kararlılığını artırır. Pre-LayerNorm (GPT tarzı) ile Post-LayerNorm (orijinal BERT tarzı) varyantları mevcuttur.
  • check_circle Enkoder-Dekoder vs. Yalnızca Dekoder: BERT enkoder tabanlıdır (çift yönlü bağlam), GPT dekoder tabanlıdır (tek yönlü, otoregresif). T5 ve BART enkoder-dekoder yapısını kullanır; günümüz LLM'lerinin çoğu yalnızca dekoder mimarisini tercih eder.

Transformer'ın AI'yı Nasıl Değiştirdiği

2017'de 'Attention Is All You Need' makalesiyle tanıtılan Transformer mimarisi, modern yapay zekanın fiili temel taşı haline geldi. RNN ve LSTM'lerin sıralı işleme kısıtlamasını kıran Transformer, her token'ı diğer tüm token'larla paralel olarak ilişkilendirir; hem hesaplama hızlanır hem de uzun bağlam ilişkileri daha iyi yakalanır. Sadece NLP'de değil; görüntü (ViT), ses (Whisper), protein yapısı (AlphaFold 2) ve çok modaliteli (GPT-4o, Gemini) modellerin hepsinin temelinde Transformer yatar. Ölçekleme açısından kritik bir özelliği vardır: daha fazla parametre, veri ve hesaplama ile performans güvenilir biçimde artar. Bu öngörülebilir ölçekleme yasaları, araştırma bütçelerinin ve model tasarım kararlarının yönünü belirledi; GPT-2'den GPT-4'e uzanan büyüme çizgisi doğrudan bu gözleme dayanır. Donanım perspektifinden GPU'ların matris çarpımlarındaki uzmanlığı Transformer'ın büyük ölçekte eğitilmesini mümkün kıldı; TPU ve NPU gibi özelleşmiş yapay zeka çipleri de bu mimarinin talepleri gözetilerek tasarlandı. Öte yandan standart dikkat mekanizmasının maliyeti dizi uzunluğuyla karesel büyüdüğünden, FlashAttention ve kayan pencere dikkati gibi verimlilik teknikleri aktif bir araştırma alanı olmayı sürdürüyor.

quiz Sıkça Sorulan Sorular (FAQ)

  • check_circle Transformer nedir?: Transformer, dikkat mekanizmasına dayanan ve 2017'de Google araştırmacılarınca tanıtılan sinir ağı mimarisidir. GPT, BERT ve tüm modern LLM'lerin temelidir; metnin yanı sıra görüntü ve ses gibi farklı veri türlerinde de kullanılır.
  • check_circle Transformer mimarisi hangi bileşenlerden oluşur?: Çekirdeğinde self-attention (öz-dikkat) katmanları bulunur; bunlara ileri besleme katmanları, katman normalleştirme ve konum kodlaması eşlik eder. Bu bloklar üst üste yığılarak Encoder, Decoder veya her ikisini içeren tam bir model oluşturulur.
  • check_circle Transformer neden RNN ve LSTM'den daha iyidir?: RNN'ler veriyi kelime kelime işler; bu yavaştır ve uzun cümlelerde başlangıçtaki bilgi kaybolur. Transformer cümlenin tamamını aynı anda işler: GPU paralelizminden tam yararlandığı için çok daha hızlı eğitilir ve uzun bağlam ilişkilerini kaybetmez.
  • check_circle Attention mekanizması nedir?: İnsanın okurken cümlenin önemli kısımlarına odaklanmasına benzer şekilde, modelin bir tahminde bulunurken verinin hangi kısımlarına daha çok 'dikkat etmesi' gerektiğini belirleyen matematiksel işlemdir.
  • check_circle Self-attention nasıl çalışır?: Her token için Query, Key ve Value vektörleri hesaplanır. Query-Key iç çarpımı dikkat ağırlıklarını verir; bu ağırlıklarla Value vektörlerinin ağırlıklı toplamı, token'ın bağlama duyarlı yeni temsilini oluşturur.
  • check_circle BERT ve GPT transformer'ları nasıl farklıdır?: BERT enkoder tabanlıdır: her token hem sol hem sağ bağlamı görür (çift yönlü dikkat) ve metni anlama görevlerinde güçlüdür. GPT dekoder tabanlıdır: her token yalnızca önceki token'ları görür (nedensel dikkat), bu da otoregresif metin üretimini mümkün kılar.