Büyük dil modellerinde her şey bir soruya bağlı: bir sonraki token ne olmalı? Bu soruyu trilyon kez sorarak, cevabı giderek daha doğru bulmayı öğrenerek bugünkü modeller ortaya çıktı. Sorunun yanı sıra bir kısıt da var: model her forward pass’tan yalnızca tek bir öğrenme sinyali ediniyor. Multi-Token Prediction (MTP) bu kısıtı genişletiyor, ek maliyeti minimumda tutarak.
MTP Nedir?
Multi-Token Prediction, model eğitimi sırasında her pozisyon için yalnızca bir sonraki tokeni değil, art arda gelen birden fazla tokeni aynı anda tahmin etmeye zorlayan bir eğitim hedefidir. Meta AI’nin 2024’te yayımladığı “Better & Faster Large Language Models via Multi-Token Prediction” makalesi konuyu sistematik biçimde ilk kez inceledi; DeepSeek-V3 ise bu yaklaşımı milyarlarca parametre ölçeğinde uygulamaya taşıdı.
Somut örnek: “Yapay zeka modelleri son yıllarda” dizisini işleyen bir model, standart eğitimde yalnızca “hızla” tokenini doğru tahmin etmeye çalışır. MTP’de aynı model hem “hızla” hem “gelişti” hem de “ama” gibi ileriki tokenleri eşzamanlı tahmin etmek durumundadır. Bu ek tahminler her forward pass’ın ürettiği öğrenme sinyalini doğrudan artırıyor.
Geleneksel otoregresif yapıyla karşılaştırma
Klasik bir transformer mimarisi, her token pozisyonu için bir gizli durum (hidden state) üretir. Bu gizli durum tek bir çıktı katmanına beslenerek kelime dağarcığı boyutunda olasılık dağılımı elde edilir. Eğitim kaybı, tahmin ile gerçek token arasındaki çapraz entropi farkına bakarak gradyanları geriye yayar.
Buradaki sessiz verimsizlik şu: model sıradaki elli token hakkında anlamlı bir iç temsil oluşturmuş olsa bile öğrenme sinyali yalnızca bir sonraki tokenle sınırlı. Uzun vadeli sözdizimsel tutarlılık ve uzmanlık gerektiren bağlam örüntüleri dar bir geri bildirim kanalından geçmek zorunda kalıyor.
MTP bu darboğazı genişletiyor. Aynı forward pass’tan birden fazla tahmin üretildiğinde model her tokenden çok daha fazla öğreniyor. Aynı hesaplama bütçesiyle daha fazla bilgi özümseniyor.
MTP nasıl çalışır?
Ek tahmin kafaları
Pratik MTP uygulamalarının büyük çoğunluğu aynı yaklaşımı benimsiyor: paylaşılan bir transformer gövdesi üzerine birden fazla tahmin kafası ekleniyor. Ana kafa standart biçimde bir sonraki tokeni hedef alıyor; ek kafalar ise gizli durumu alıp iki, üç, dört pozisyon ötedeki tokenleri tahmin etmeye çalışıyor.
DeepSeek-V3 mimarisinde ek kafalar bağımsız, hafif doğrusal projeksiyonlardan oluşuyor; her biri ayrı bir kayıp değeri üretiyor. Toplam kayıp, bu bireysel kayıpların ağırlıklı toplamı olarak hesaplanıyor:
L_toplam = Σ_{i=1}^{k} λᵢ · L_CE(tahmin_i, token_{t+i})Burada λᵢ her kafanın katkı ağırlığı, L_CE çapraz entropi kaybı, k ise tahmin ufku. Tipik uygulamalarda k 2 ile 4 arasında tutuluyor; birinci hedef tam ağırlıkla, sonrakiler giderek azalan katsayılarla dahil ediliyor.
Bağımsız çalışma prensibi
Kritik tasarım kararı şu: ek kafalar ana modelin gizli durumunu bozmadan çalışıyor. Ana model standart otoregresif eğitimini sürdürürken MTP kafaları bu temsili ekstra öğrenme kaynağı olarak kullanıyor. Bu yapı, ek kafaların çıkarım sırasında kolayca devre dışı bırakılmasını ya da taslak üretici olarak etkinleştirilmesini mümkün kılıyor.
DeepSeek-V3 ve MTP
DeepSeek-R1 gibi akıl yürüten modellerin dayandığı temel altyapı olan DeepSeek-V3, MTP’yi iki farklı amaç için entegre etti: daha yüksek eğitim verimliliği ve çıkarım sırasında yerel bir taslak üretici.
Teknik rapora göre DeepSeek-V3, Mixture of Experts mimarisiyle birlikte tek ek kafa kullandı; k=1, yani toplamda iki tahmin hedefi. Bu mütevazı ekleme, eğitim token başına öğrenme sinyalini yaklaşık iki katına çıkardı. Hem ön eğitim hem supervised fine-tuning aşamalarında aktif tutuldu.
Sonuçlar somut: ek kafa kaldırılarak yalnızca ana kafayla eğitilmiş temel modele kıyasla MMLU, HumanEval ve matematiksel akıl yürütme kıyaslamalarında ölçülebilir bir artış gözlemlendi. MoE mimarisiyle birlikte değerlendirildiğinde MTP, DeepSeek-V3’ün performans profilinin arkasındaki en kritik eğitim kararlarından biri oldu.
Önemli bir ayrıntı: DeepSeek-V3’te MTP kafası yalnızca eğitim sırasında aktif. Çıkarım için üretim ortamına alınan modelde ek kafa ağırlıkları tutulmakla birlikte, standart token üretiminde devre dışı bırakılabiliyor. Bu sayede model boyutu ve çıkarım maliyeti değişmiyor; yalnızca eğitim aşamasındaki sinyal zenginliğinin avantajları kalıcı olarak gömülü kalıyor.
Eğitim verimliliği
Token başına öğrenme sinyali üzerinden bakalım. Standart eğitimde 500 milyar tokenlik bir veri kümesi, 500 milyar bağımsız tahmin görevi üretiyor. MTP ile (k=2) aynı veri kümesi bir trilyon görev üretiyor. Aynı veri ve hesaplama bütçesiyle modele iki kat öğrenme fırsatı tanınıyor.
Bu fark özellikle iki yerde görünür. Nadir sözdizimi, alana özgü jargon ya da dilbilgisel istisnalar, standart eğitimde her gördüğünde tek bir sinyal üretiyor. Model bu yapıları yavaş öğreniyor, bazen hiç öğrenemiyor. MTP’de her karşılaşma daha güçlü bir iz bıraktığından bu örüntüler daha erken içselleştiriliyor.
İkinci fark uzun menzilli tutarlılıkta. İki adım ilerideki tokeni tahmin etmek, modeli kısa vadeli bigram istatistiklerine değil, cümle ya da paragraf düzeyinde tutarlılığa dikkat etmeye yönlendiriyor. Meta AI araştırması bu etkinin kod üretimi ve çok adımlı matematiksel akıl yürütme görevlerinde belirgin olduğunu gösterdi.
Hesaplama maliyeti açısından ek kafalar küçük: toplam parametre sayısı yalnızca %1-3 artarken eğitim token başına ek FLOP yükü de sınırlı. Ölçekleme yasaları perspektifinden bakıldığında MTP, hesaplama verimliliği en iyi iyileştirmelerden biri.
Dağıtık eğitim ortamlarında MTP’nin bir ek yükü var: tensor paralel ve pipeline paralel konfigürasyonlarda ek kafaların aktivasyonları GPU’lar arasında senkronize edilmek zorunda. Bu iletişim kümülatif olarak toplam eğitim süresine yansıyor. Büyük kümelerde (256+ GPU) bu ek iletişim yükünü minimize etmek için ek kafaları pipeline’ın son stage’ine yerleştirme ve yalnızca son katman gizli durumunu kullanma gibi optimizasyonlar uygulanıyor.
Çıkarım sırasında MTP
Birincil gerekçe eğitim verimliliğiydi; ama MTP çıkarım tarafında da işe yarıyor, doğrudan taslak üretici olarak.
Spekülatif kod çözme, küçük ve hızlı bir taslak modelin birkaç token önerdiğini, büyük doğrulayıcı modelin ise bu tokenleri tek bir geçişte toplu kontrol ettiğini varsayan bir tekniktir. Yanlış tokenler reddedilir; doğrular çıktıya eklenir. Ortalama koşullarda bu işbölümü gecikmeyi belirgin biçimde azaltır.
MTP kafaları bu rolü ayrı bir model gerektirmeden üstlenebilir. Eğitim sırasında ileri tokenleri tahmin etmek için optimize edilen kafalar, çıkarımda doğal bir öneri üreteci olarak çalışır; ana model bu önerileri standart doğrulama adımıyla değerlendirir. Ayrı bir küçük model barındırma ve eşitleme yükü ortadan kalktığı için sistem basitleşiyor.
Bu yapı KV cache açısından da verimli: birden fazla token aynı forward pass içinde doğrulandığında önbellek daha etkin kullanılıyor, boşta bekleyen hesaplama kapasitesi azalıyor.
MTP tabanlı taslak üreticinin ayrı bir küçük modele göre temel avantajı şu: ana model eğitimi sırasında MTP kafaları zaten ana modelin dağılımını öğreniyor. Ayrı bir taslak model eğitildiğinde ise iki model arasındaki dağılım uyumsuzluğu (distribution shift) ciddi bir sorun. Kabul oranı düşünce (token acceptance rate) speedup azalır. MTP kafaları bu sorunu yapısal olarak bertaraf ediyor; her iki model yerine tek bir model var ve taslak kafası her zaman ana modelin öğrendikleriyle senkronize.
MTP’yi uygulamak
Pratikte MTP eklemek için birkaç karar noktası var.
k seçimi. Çoğu uygulama k=1 veya k=2 ile başlıyor. k=1 toplamda iki tahmin hedefi demek; ek hesaplama yükü minimal, fayda somut. k’yı 4’ün ötesine taşımak kural olarak azalan getiri gösteriyor. Başlangıç noktası olarak k=1 iyi bir seçim.
Ağırlık λ değerleri. Meta AI araştırmasında tüm ek kafalar eşit ağırlıkla (λ=0.1 ile 0.3 arası) dahil edildi. DeepSeek-V3 bunları giderek azalan biçimde ayarladı; birinci ek hedef tam ağırlıkta, ikinci ek hedef yarı ağırlıkta. Dengeleme, ana kaybın baskın kalmasını güvenceye alıyor.
Mevcut modele ekleme. Eğer model zaten pre-training yapmışsa MTP kafaları continued pre-training adımında sıfırdan eklenebilir. Bu durumda ana model ağırlıkları sabit tutulurken MTP kafaları birkaç bin adım için yalnızca ek headleri eğiterek başlangıç noktası bulunuyor; ardından tam eğitime geçiliyor.
Kütüphane desteği. vLLM ve Hugging Face Transformers’ta MTP kafalarını barındıran model konfigürasyonları giderek yaygınlaşıyor. DeepSeek-V3’ün açık ağırlıklarıyla birlikte yayımlanan konfigürasyon dosyası, başlangıç noktası olarak referans alınabilir.
Sınırlamalar ve açık sorular
MTP her durumda bedava verimlilik artışı sunmuyor.
k değeri büyüdükçe uzak tokenler üzerindeki tahmin kalitesi düşüyor. Modeli sekiz adım ilerisini tahmin etmeye zorlamak mümkün, ama bu kadar uzak bir hedef öğrenme sinyalini örnekleme dağılımından giderek koparıyor. Bu yüzden çoğu uygulama k’yı 2-4 aralığında tutuyor.
Bellek tarafında her ek kafa ayrı bir parametre kümesi ve aktivasyon tamponu demek. Büyük batch size’larla bu artış fark edilir hale geliyor. Flash attention ve aktivasyon denetim noktası gibi tekniklerle kısmen telafi edilebilir, ancak aşırı k değerlerinde hesaplama dengesi bozulabiliyor.
Ön eğitim sonrası RLHF ya da tercih optimizasyonu aşamasında MTP kafalarının nasıl ele alınacağı henüz netleşmedi. Ek kafaları devre dışı bırakıp yalnızca ana kafayı ince ayara tabi tutmak mı, yoksa azaltılmış ağırlıklarla MTP’yi korumak mı? İki yaklaşım da deneniyor; trade-off’ları araştırılmaya devam ediyor.
Son olarak veri kalitesi: MTP her pozisyondan daha fazla sinyal çıkardığı için veri bozukluklarını da güçlendiriyor. Gürültülü eğitim verisi, standart otoregresife kıyasla MTP’de daha baskın biçimde içselleştirilebiliyor. Veri kürasyon kalitesi bu yüzden kritik önem taşıyor.
Bütün bu sınırlamalar göz önünde bulundurulduğunda MTP’nin pratik çerçevesi belirginleşiyor: k=1 veya k=2, temiz ve iyi kürate edilmiş veri, ve ana modelin kayıp fonksiyonunun ek kafalardan etkilenmemesini güvenceye alan ağırlık dengeleme. Bu üç koşul sağlandığında MTP’nin getirisi, taşıdığı riskten belirgin biçimde yüksek.
MTP nereye oturuyor?
Multi-Token Prediction, otoregresif paradigmanın içinde kalarak eğitim verimliliği kazanımı sunan pratik bir teknik. Büyük ölçekli modeller için minimum ek maliyet karşılığında ölçülebilir iyileştirme sağlaması, ön eğitim reçetelerinde standart bir bileşen haline gelmesini anlaşılır kılıyor. Zaten 2024 sonundan itibaren akademik topluluk ve endüstri arasındaki modellerin büyük çoğunluğu bu yaklaşımı ya uygulayıp yayımladı ya da araştırma süreçlerine dahil etti.
Araştırma ucu burada bitmiyor. Difüzyon tabanlı dil modelleri, paralel kod çözme mimarileri ve bilgi damıtma yoluyla MTP bilgisini daha küçük modellere taşıma gündemdeki sorular arasında. MTP’nin akıl yürüten modeller ile nasıl birleştirilebileceği de aktif çalışma alanı; test-time compute’u artıran yaklaşımlarla MTP’nin eğitim sinyalini zenginleştiren etkisinin nasıl tamamlayıcı olduğu araştırılıyor. Daha köklü mimariler gelmeden MTP bu alanda geçerliliğini koruyacak.
Bir LLM’in neden bazı veri kümeleri üzerinde beklenmedik hızda öğrendiğini merak ediyorsanız, MTP iyi bir başlangıç noktası.
