tag ContextLength

Context Window (Bağlam Penceresi)

Bu sayfada ContextLength (Context Window (Bağlam Penceresi)) etiketi ile işaretlenmiş 1 yapay zeka kavramını bulabilirsiniz.

Context (bağlam), bir yapay zeka dil modelinin yanıt üretirken dikkate aldığı tüm bilgi kümesidir: sistem talimatları, konuşma geçmişi, yüklenen belgeler ve o anki soru bu kümenin içinde yer alır. Bağlam penceresi (context window) ise bu bilginin tek seferde ne kadarının modele sığabileceğini belirleyen üst sınırdır ve token cinsinden ölçülür. Bir token kabaca bir kelimenin dörtte üçüne, yani 3-4 İngilizce karaktere denk gelir. Model, pencerenin dışında kalan hiçbir bilgiye erişemez; uzun bir sohbette limit aşıldığında en eski mesajlar devre dışı kalır ve model bunları unutmuş gibi davranır. Bu yüzden bağlam penceresi, bir modelin pratikte neler yapabileceğini belirleyen en kritik özelliklerden biridir: tam bir kod tabanını analiz etmek, yüzlerce sayfalık sözleşmeyi tek seferde okumak veya saatlerce süren toplantı kaydını özetlemek doğrudan pencere boyutuna bağlıdır. GPT-3.5 döneminde 4 bin token olan sınır, Claude 3 ile 200 bin tokena çıktı; Gemini 1.5 Pro gibi modeller 1 milyon token seviyesine ulaştı. Öte yandan büyük pencere bedava değildir: işlem maliyeti ve yanıt gecikmesi artar, modelin uzun bağlamın ortasındaki bilgiyi gözden kaçırdığı "lost in the middle" sorunu ortaya çıkabilir. Günlük kullanımda doğru yaklaşım, görevin gerektirdiği kadar bağlam vermek; belge tamamen gerekliyse uzun pencereyi kullanmak, yalnızca belirli bilgi parçaları yeterliyse özetleme veya RAG gibi yöntemlerle pencereyi verimli işletmektir.

crop_free

Context Window (Bağlam Penceresi)

Context (bağlam), bir yapay zeka dil modelinin yanıt üretirken dikkate aldığı tüm bilgi kümesidir: sistem talimatları, konuşma geçmişi, yüklenen belgeler ve o anki soru bu kümenin içinde yer alır. Bağlam penceresi (context window) ise bu bilginin tek seferde ne kadarının modele sığabileceğini belirleyen üst sınırdır ve token cinsinden ölçülür. Bir token kabaca bir kelimenin dörtte üçüne, yani 3-4 İngilizce karaktere denk gelir. Model, pencerenin dışında kalan hiçbir bilgiye erişemez; uzun bir sohbette limit aşıldığında en eski mesajlar devre dışı kalır ve model bunları unutmuş gibi davranır. Bu yüzden bağlam penceresi, bir modelin pratikte neler yapabileceğini belirleyen en kritik özelliklerden biridir: tam bir kod tabanını analiz etmek, yüzlerce sayfalık sözleşmeyi tek seferde okumak veya saatlerce süren toplantı kaydını özetlemek doğrudan pencere boyutuna bağlıdır. GPT-3.5 döneminde 4 bin token olan sınır, Claude 3 ile 200 bin tokena çıktı; Gemini 1.5 Pro gibi modeller 1 milyon token seviyesine ulaştı. Öte yandan büyük pencere bedava değildir: işlem maliyeti ve yanıt gecikmesi artar, modelin uzun bağlamın ortasındaki bilgiyi gözden kaçırdığı "lost in the middle" sorunu ortaya çıkabilir. Günlük kullanımda doğru yaklaşım, görevin gerektirdiği kadar bağlam vermek; belge tamamen gerekliyse uzun pencereyi kullanmak, yalnızca belirli bilgi parçaları yeterliyse özetleme veya RAG gibi yöntemlerle pencereyi verimli işletmektir.

arrow_forward