Autoregressive Model (Otoregresif Model)

#llm #üretken-yapay-zeka #transformer #dil-modeli #inference

Otoregresif model, her yeni çıktıyı bir önceki çıktılara bakarak sırayla üreten, metin ve ses gibi sıralı veri oluşturmada kullanılan yapay zeka modelidir.

Otoregresif model (Autoregressive Model), bir dizideki her yeni öğeyi, o ana kadar üretilen öğelere koşullu olasılık dağılımlarına dayalı biçimde tahmin eden üretken bir model mimarisidir. "Auto" (öz) ve "regresif" (geçmiş değerlere dayalı tahmin) sözcüklerinin birleşiminden oluşur; model, kendi önceki çıktılarını girdi olarak kullanarak bir sonraki adımı belirler. GPT ve Claude gibi büyük dil modellerinin (LLM) temel üretim mekanizması otoregresiftir: model her defasında tek bir token üretir ve bu tokeni bağlamına ekleyerek sonraki tokeni tahmin eder. Bu işlem, bir durma koşulu ("<eos>" tokeni veya maksimum uzunluk) karşılanana kadar tekrarlanır. Matematiksel olarak, bir x dizisi için otoregresif model P(x) = ∏ P(xₜ | x₁, x₂, …, x_{t-1}) biçiminde çarpanlarına ayrışır; yani dizinin tam olasılığı, her bir öğenin tüm öncekiler verildiğindeki koşullu olasılıklarının çarpımıdır. Otoregresif modellerin eğitimi, "öğretmen zorlaması" (teacher forcing) tekniğiyle gerçekleştirilir: eğitim sırasında modelin kendi tahminleri yerine gerçek token dizisi koşul olarak verilir; bu sayede eğitim kararlı ve hızlı olur. Çıkarım (inference) sırasında ise model kendi ürettiklerini kullanmak zorundadır — bu iki aşama arasındaki fark, özellikle uzun dizilerde "açık döngü" hatasına yol açabilir. Mimari açıdan bakıldığında, Transformer'ın decoder-only versiyonları (GPT ailesi) en yaygın otoregresif LLM yapısıdır; encoder-decoder modeller (T5, BART) ise yalnızca dekoder kısmında otoregresif üretim yapar. Ses alanında WaveNet ve AudioLM, görüntü alanında ise PixelCNN ve iGPT otoregresif modellere örnek verilebilir. Ana sınırlama, her token'ın sırayla üretilmesi nedeniyle paralelleştirmenin mümkün olmamasıdır; bu durum uzun dizilerde çıkarım maliyetini artırır. Spekülatif kod çözme (speculative decoding), tahmin adımlarını paralele alarak bu sorunu kısmen çözer. Diffüzyon modelleri ve akış eşleştirme (flow matching) yöntemleri otoregresif olmayan alternatifler sunar; ancak metin üretiminde otoregresif yaklaşım 2026 itibarıyla hâlâ hâkim paradigma olmaya devam etmektedir.

Otoregresif Model Nedir?

Otoregresif model, bir dizideki her yeni öğeyi önceki tüm öğelere koşullu bir olasılık dağılımı aracılığıyla tahmin eden üretken bir yapay zeka mimarisidir. "Autoregressive" terimi, istatistikte zaman serileri modellemesinden (AR modelleri) yapay zekaya geçmiş; ancak derin öğrenme bağlamında özellikle metin, ses ve görüntü üretimini tanımlamak için kullanılır hale gelmiştir. Temel fikir basittir: model bir çıktı üretir, o çıktıyı kendi bağlamına ekler ve bir sonraki çıktıyı bu zenginleştirilmiş bağlamla üretir. Bu süreç, tamamlanana kadar tekrarlanır.

Matematiksel Temel

Bir x = (x₁, x₂, …, xₙ) dizisi için otoregresif model, zincir kuralını kullanarak tam birleşik olasılığı şu şekilde ifade eder: P(x) = ∏_{t=1}^{n} P(xₜ | x₁, x₂, …, x_{t-1}). Bu formül, her tokenin tüm önceki tokenlere bağlı olduğunu gösterir. Pratik uygulamada bu koşullu olasılıklar sinir ağı (genellikle Transformer) ile modellenir; ağ giriş olarak tüm önceki tokenleri alır ve bir sonraki tokenin olasılık dağılımını (genellikle softmax + logitler) verir. Örnekleme stratejisi (greedy, temperature, top-k, top-p) en yüksek olasılıklı veya rassal bir token seçimi yapar.

Eğitim: Teacher Forcing

Otoregresif modeller eğitim sırasında "teacher forcing" tekniğini kullanır: her adımda modelin kendi önceki tahminleri yerine gerçek hedef dizinin tokenleri koşul olarak verilir. Bu, eğitimi kararlı hale getirir ve gradyanların doğru biçimde akmasını sağlar. Kayıp fonksiyonu genellikle çapraz entropinin (cross-entropy) tüm pozisyonlar üzerindeki ortalamasıdır. Çıkarım aşamasında ise model teacher forcing'i bırakır; kendi ürettiklerini bağlam olarak kullanmak zorunda kalır. Eğitim ile çıkarım arasındaki bu dağılım kayması "exposure bias" (maruziyet önyargısı) olarak adlandırılır ve özellikle uzun dizilerde hataların birikimsel olarak büyümesine yol açabilir.

LLM'lerde Otoregresif Çıkarım

GPT, Claude, Llama ve Gemini gibi decoder-only Transformer modelleri metin üretimini otoregresif biçimde gerçekleştirir. Her forward pass'te model tüm bağlamı işler ve yalnızca son pozisyon için bir sonraki tokenin olasılık dağılımını hesaplar. KV-cache (key-value önbellek) mekanizması, önceki tokenlerin dikkat hesaplamalarını önbelleğe alarak her adımın yeniden hesaplanmasını engeller ve çıkarımı önemli ölçüde hızlandırır. Uzun bağlamlarda bile (1M token) otoregresif üretim mümkün olsa da hesaplama maliyeti bağlam uzunluğuyla orantılı artar. Spekülatif kod çözme (speculative decoding) ise küçük bir taslak modelin birden fazla token tahmin etmesini ve büyük modelin bu tahminleri paralel doğrulamasını sağlayarak belirgin bir hız kazanımı sunar.

Kullanım Alanları ve Alternatifler

  • check_circle Metin üretimi: GPT-4o, Claude 3.5, Llama 3.1 — sohbet, özetleme, kod yazımı, çeviri.
  • check_circle Ses sentezi: WaveNet, AudioLM, SoundStorm — otoregresif örneklemeyle doğal sesler.
  • check_circle Görüntü üretimi (AR): PixelCNN, iGPT, Parti — piksel veya token bazlı otoregresif görüntü modelleri.
  • check_circle Diffüzyon modelleri (alternatif): Stable Diffusion, DALL-E 3 — otoregresif değil; gürültü giderme yoluyla paralel üretim.
  • check_circle Masked LM (alternatif): BERT — çift yönlü bağlam, üretim yerine anlama görevlerinde güçlü; otoregresif değil.

Sınırlamalar

Otoregresif modellerin temel kısıtlaması, üretimin doğası gereği sıralı (sequential) olmasıdır: token t üretilmeden token t+1 üretilemez. Bu, çıkarımın GPU/TPU kümelerinde yatay ölçeklendirmesini engeller. Yüksek gecikme (latency), özellikle gerçek zamanlı uygulamalarda kritik bir sorundur. Ayrıca uzun dizilerde exposure bias birikebilir. Son yıllarda paralel çıkarım araştırmaları (consistency models, diffusion-LM, MDLM) otoregresif paradigmanın yerini almaya çalışmaktadır; ancak metin modalitesinde 2026 itibarıyla otoregresif yaklaşım hâlâ standart olma özelliğini korumaktadır.

Sık Sorulan Sorular

  • check_circle GPT ile otoregresif model aynı şey mi? GPT bir otoregresif model örneğidir; ancak her otoregresif model GPT değildir. GPT, Transformer tabanlı decoder-only mimarisini kullanan belirli bir otoregresif LLM ailesidir. WaveNet (ses) veya PixelCNN (görüntü) de otoregresif modeldir.
  • check_circle BERT neden otoregresif değildir? BERT, Masked Language Modeling (MLM) ile eğitilir ve çift yönlü (bidirectional) bağlam kullanır; yani bir tokeni tahmin ederken hem önceki hem sonraki tokenlere bakabilir. Otoregresif modeller ise yalnızca soldan sağa (causal) bağlamı kullanır. Bu nedenle BERT metin anlama görevlerinde güçlüdür ama token-by-token metin üretimine uygun değildir.
  • check_circle Spekülatif decoding nasıl çalışır? Küçük ve hızlı bir taslak model (draft model) birkaç token tahmin eder; büyük ana model bu tahminleri tek bir forward pass'te paralel doğrular. Yanlış tahminler reddedilir, doğrular kabul edilir. Doğru tahmin oranı yüksekse, ana modelin ortalama token üretim hızı önemli ölçüde artar.
  • check_circle Otoregresif modeller neden yavaş? Her token için ayrı bir forward pass gereklidir ve bir sonraki token bir öncekine bağlı olduğundan paralelleştirme mümkün değildir. KV-cache bu maliyeti azaltır ama tamamen ortadan kaldırmaz. Uzun dizilerde ve büyük modellerde gecikme belirgin biçimde artar.
  • check_circle Diffüzyon modelleri otoregresif modelleri geçer mi? Görüntü ve ses üretiminde diffüzyon modelleri çok güçlüdür; ancak metin üretiminde otoregresif modeller hâlâ üstünlüğünü korumaktadır. Metin için diffüzyon tabanlı yaklaşımlar (MDLM, Plaid-ML) araştırılmaktadır ama 2026 itibarıyla üretim ortamlarında yerleşik bir alternatif sunamamıştır.