Lost in the Middle (Ortada Kaybolma Fenomeni)

#llm #rag #nlp #dikkat-mekanizmasi

LLM'lerin uzun bağlamlarda başa ve sona dikkat ederken ortadaki bilgiyi gözden kaçırdığı; RAG sistem tasarımını etkileyen pozisyonel önyargı fenomeni.

"Lost in the Middle" (Ortada Kaybolma), büyük dil modellerinin (LLM) uzun bağlamlardaki bilgiyi konumuna göre farklı ağırlıkta işlediğini ortaya koyan bir fenomendir. Nelson F. Liu ve arkadaşları tarafından 2023 yılında yayımlanan "Lost in the Middle: How Language Models Use Long Contexts" makalesiyle sistematik biçimde belgelenmiştir. Araştırma, LLM'lerin bağlamın başına (primacy bias) ve sonuna (recency bias) yerleştirilen bilgiye çok daha fazla dikkat ettiğini, ancak bağlamın ortasındaki bilgiyi büyük ölçüde görmezden geldiğini göstermiştir. Bu etki, bağlam uzunluğu arttıkça güçlenir; onlarca belgenin sıralandığı çok belgeli soru-cevap (multi-document QA) görevlerinde kritik bir sorun haline gelir. Bu bulgunun RAG (Retrieval-Augmented Generation) sistemleri için doğrudan pratik sonuçları vardır: alınan belgelerin bağlama yerleştirilme sırası, modelin nihai doğruluğunu önemli ölçüde etkiler. En ilgili belgeler bağlamın başına veya sonuna yerleştirildiğinde model doğruluğu artarken ortaya yerleştirildiğinde düşer. Bu nedenle modern RAG sistemleri, yüksek puanlı sonuçları bağlamın iki ucuna yerleştiren "çift uç sıralama" (bi-positional ranking) stratejilerini benimsemiştir. Fenomenin kökeni dikkat mekanizmasının pozisyonel önyargılarına dayanmaktadır: eğitim verilerinin doğal yapısında metinlerin başı ve sonu genellikle daha fazla bilgi yoğunluğu içerdiğinden model bu konumlara ağırlık vermeyi öğrenir. Flash Attention ve rotary position encoding (RoPE) gibi teknik geliştirmeler uzun bağlam işlemeyi iyileştirmiş olsa da pozisyonel önyargı tamamen ortadan kalkmamıştır. Türkiye'de RAG tabanlı müşteri hizmetleri ve belge sorgulama sistemleri geliştiren ekipler bu fenomeni göz önünde bulundurarak belge sıralama stratejilerini yapılandırmalıdır. Uzun politika belgeleri veya hukuki metinlere dayanan sistemlerde "ortada kaybolma" etkisi yanıltıcı yanıtlara yol açabilir. Bu bağlamda bağlam penceresini (context window) gereksiz bilgiyle doldurmak yerine bağlam sıkıştırma (context compression) ve seçici bellek (selective memory) yaklaşımlarıyla yalnızca en ilgili pasajların bağlama eklenmesi önerilmektedir.

science Fenomen Nasıl Ortaya Çıktı?

Liu ve ark. (2023), birden fazla pasajdan oluşan çok belgeli soru-cevap (multi-document QA) deneylerinde modellere farklı pozisyonlarda doğru belge sundu. Deney sonuçları, doğruluğun U şeklinde bir eğri izlediğini gösterdi: Bağlamın başındaki ve sonundaki belgeler için doğruluk yüksekken, orta konumlardaki belgeler için belirgin biçimde düştü. Bu U eğrisi hem GPT-3.5 hem de Claude 1.3 gibi modellerde tutarlı biçimde gözlemlendi. Fenomen; dikkat mekanizmasının pozisyonel ağırlıklandırmasındaki asimetri ve eğitim verilerinde metnin baş/son bölgelerinin daha fazla bilgi taşıması gibi faktörlerle açıklanmaktadır.

RAG Sistemlerine Etkisi

warning Klasik Sıralama (Hatalı)

Retrieval skoruna göre sıralama: 1., 2., 3... Orta sıralarda bulunan yüksek puanlı belgeler modelin dikkatinden kaçabilir.

check_circle Çift Uç Sıralama

En ilgili belgeler başa ve sona yerleştirilir; düşük puanlılar ortaya. Model hem primacy hem recency etkisinden yararlanır.

filter_list Daha Az Belge Kullanmak

Yüksek doğruluklu retrieval + sıkı kesme ile az ama öz belge sunmak, uzun bağlam getirmekten daha etkili olabilir.

sort Re-ranking

Cross-encoder reranker ile en ilgili belgeleri seçmek ve ardından çift uç sıralama uygulamak en güçlü RAG stratejisidir.

insights Dikkat Pozisyonlarına Göre Performans

  • check_circle Bağlamın Başı (Primacy Bias): İlk birkaç belge için doğruluk en yüksektir. Modeller sistemin başlarına verilen talimatları ve ilk belgeleri güçlü şekilde ağırlıklandırır.
  • check_circle Bağlamın Ortası: 20-40 belgeden oluşan bağlamlarda orta konumdaki belgeler için doğruluk yüzde 20-30 düşebilir. Bu düşüş bağlam uzunluğu arttıkça daha da belirginleşir.
  • check_circle Bağlamın Sonu (Recency Bias): Son birkaç belge için doğruluk tekrar yükselir. Recency bias, özellikle sohbet modellerinde güçlüdür; son mesajlara aşırı ağırlık verilir.
  • check_circle Uzun Bağlam Modelleri: Claude 3 ve GPT-4 gibi uzun bağlam için özel olarak optimize edilmiş modellerde etki hafiflemiştir; ancak tamamen ortadan kalkmamıştır.

Teknik Geliştirmeler ve Sınırlar

Flash Attention, rotary position encoding (RoPE) ve ALiBi gibi pozisyonel kodlama yöntemleri uzun bağlam işleme kapasitesini artırmıştır. Gemini 1.5 Pro ve Claude 3.5 gibi modeller milyonlarca token uzunluğunda bağlamı desteklemektedir. Bununla birlikte araştırmalar bu modellerde de pozisyonel önyargının tamamen ortadan kalkmadığını göstermektedir; bağlam boyutu büyüdükçe orta bölümdeki bilginin kaybı devam etmektedir. Bu durum, context compression (bağlam sıkıştırma), selective memory (seçici bellek) ve hierarchical summarization (hiyerarşik özetleme) tekniklerinin önemini korumasına neden olur.

Sık Sorulan Sorular

  • check_circle Bu sorun fine-tuning ile çözülebilir mi?: Kısmen. Uzun bağlamlı veri üzerinde ince ayar, orta-bağlam performansını iyileştirebilir. Ancak altta yatan dikkat mekanizması değiştirilmeden tam çözüm zordur. Bazı araştırmalar pozisyonel kodlama değişikliklerinin bu etkileri azalttığını göstermektedir.
  • check_circle Sadece RAG mi etkileniyor?: Hayır. Kod tamamlama (uzun kod dosyaları), doküman özetleme, uzun sohbet geçmişi ve çok belgeli analiz görevlerinin hepsi bu fenomenden etkilenir.
  • check_circle Pratik RAG bağlamı kaç token olmalı?: Genel tavsiye: Yüksek doğruluk gereken görevler için 4K-8K token bağlam ve güçlü reranking kombinasyonu, 100K+ token bağlamdan daha güvenilir sonuçlar verebilir. Bağlam ne kadar kısa ve odaklı olursa orta-bağlam kaybı o kadar az olur.
  • check_circle Bi-positional ranking nasıl uygulanır?: En ilgili belge (rank 1) bağlamın başına, ikinci en ilgili (rank 2) bağlamın sonuna yerleştirilir. Kalan belgeler artan önem sırasıyla aradaki boşluğa doldurulur. LangChain ve LlamaIndex gibi RAG framework'leri bu strateji için hazır yardımcı fonksiyonlar sunar.