Lost in the Middle (Ortada Kaybolma Fenomeni)
"Lost in the Middle", büyük dil modellerinin (LLM) uzun bağlamlardaki bilgiyi konumuna göre farklı işlediğini ortaya koyan bir fenomendir. Nelson F. Liu ve arkadaşları tarafından 2023 yılında yayımlanan "Lost in the Middle: How Language Models Use Long Contexts" makalesiyle belgelenmiştir.
Araştırma, LLM'lerin bağlamın başına (primacy bias) ve sonuna (recency bias) yerleştirilen bilgiye çok daha dikkat ettiğini, ancak bağlamın ortasındaki bilgiyi büyük ölçüde görmezden geldiğini göstermiştir. Bu etki, bağlam uzunluğu arttıkça güçlenir; onlarca belgenin sıralandığı multi-document QA görevlerinde kritik bir sorun haline gelir.
Bu bulgunun RAG sistemleri için pratik sonuçları vardır: Alınan belgelerin sıralaması doğrudan model performansını etkiler. En ilgili belgeler bağlamın başına veya sonuna yerleştirildiğinde modelin doğruluğu artar; ortaya yerleştirildiğinde ise azalır. Bu nedenle modern RAG sistemleri, yüksek puanlı sonuçları bağlamın başına ve sonuna yerleştiren "çift uç sıralama" stratejilerini benimsemiştir.
Dikkat mekanizmasının pozisyonel önyargıları eğitim verilerinin dağılımından kaynaklandığı düşünülmektedir: Metinlerin başı ve sonu doğal olarak daha fazla bilgi yoğunluğu içerdiğinden model bu konumlara daha fazla dikkat göstermeyi öğrenmiştir.