tag bağlam-penceresi
Bu sayfada bağlam-penceresi etiketi ile işaretlenmiş 3 yapay zeka kavramını bulabilirsiniz.
Context (bağlam), bir yapay zeka dil modelinin yanıt üretirken dikkate aldığı tüm bilgi kümesidir: sistem talimatları, konuşma geçmişi, yüklenen belgeler ve o anki soru bu kümenin içinde yer alır. Bağlam penceresi (context window) ise bu bilginin tek seferde ne kadarının modele sığabileceğini belirleyen üst sınırdır ve token cinsinden ölçülür. Bir token kabaca bir kelimenin dörtte üçüne, yani 3-4 İngilizce karaktere denk gelir. Model, pencerenin dışında kalan hiçbir bilgiye erişemez; uzun bir sohbette limit aşıldığında en eski mesajlar devre dışı kalır ve model bunları unutmuş gibi davranır. Bu yüzden bağlam penceresi, bir modelin pratikte neler yapabileceğini belirleyen en kritik özelliklerden biridir: tam bir kod tabanını analiz etmek, yüzlerce sayfalık sözleşmeyi tek seferde okumak veya saatlerce süren toplantı kaydını özetlemek doğrudan pencere boyutuna bağlıdır. GPT-3.5 döneminde 4 bin token olan sınır, Claude 3 ile 200 bin tokena çıktı; Gemini 1.5 Pro gibi modeller 1 milyon token seviyesine ulaştı. Öte yandan büyük pencere bedava değildir: işlem maliyeti ve yanıt gecikmesi artar, modelin uzun bağlamın ortasındaki bilgiyi gözden kaçırdığı "lost in the middle" sorunu ortaya çıkabilir. Günlük kullanımda doğru yaklaşım, görevin gerektirdiği kadar bağlam vermek; belge tamamen gerekliyse uzun pencereyi kullanmak, yalnızca belirli bilgi parçaları yeterliyse özetleme veya RAG gibi yöntemlerle pencereyi verimli işletmektir.
Context Window (Bağlam Penceresi)
Context (bağlam), bir yapay zeka dil modelinin yanıt üretirken dikkate aldığı tüm bilgi kümesidir: sistem talimatları, konuşma geçmişi, yüklenen belgeler ve o anki soru bu kümenin içinde yer alır. Bağlam penceresi (context window) ise bu bilginin tek seferde ne kadarının modele sığabileceğini belirleyen üst sınırdır ve token cinsinden ölçülür. Bir token kabaca bir kelimenin dörtte üçüne, yani 3-4 İngilizce karaktere denk gelir. Model, pencerenin dışında kalan hiçbir bilgiye erişemez; uzun bir sohbette limit aşıldığında en eski mesajlar devre dışı kalır ve model bunları unutmuş gibi davranır. Bu yüzden bağlam penceresi, bir modelin pratikte neler yapabileceğini belirleyen en kritik özelliklerden biridir: tam bir kod tabanını analiz etmek, yüzlerce sayfalık sözleşmeyi tek seferde okumak veya saatlerce süren toplantı kaydını özetlemek doğrudan pencere boyutuna bağlıdır. GPT-3.5 döneminde 4 bin token olan sınır, Claude 3 ile 200 bin tokena çıktı; Gemini 1.5 Pro gibi modeller 1 milyon token seviyesine ulaştı. Öte yandan büyük pencere bedava değildir: işlem maliyeti ve yanıt gecikmesi artar, modelin uzun bağlamın ortasındaki bilgiyi gözden kaçırdığı "lost in the middle" sorunu ortaya çıkabilir. Günlük kullanımda doğru yaklaşım, görevin gerektirdiği kadar bağlam vermek; belge tamamen gerekliyse uzun pencereyi kullanmak, yalnızca belirli bilgi parçaları yeterliyse özetleme veya RAG gibi yöntemlerle pencereyi verimli işletmektir.
Token (Dil Modeli Birimi)
Token, büyük dil modelleri (LLM) ve doğal dil işleme (NLP) sistemlerinde metnin işlenebilir en küçük birimidir. LLM'ler ham metni doğrudan okuyamaz; önce metni token adı verilen parçacıklara böler, ardından her tokena sayısal bir kimlik (token ID) atar ve bu sayısal diziler üzerinde matematiksel işlemler gerçekleştirir. Bir token; tam bir kelime, kelimenin bir parçası (alt-kelime/subword), tek bir karakter ya da noktalama işareti olabilir. Bu dönüşüm sürecine tokenizasyon (tokenization) denir. GPT serisi modellerde kullanılan BPE (Byte Pair Encoding), eğitim verisi üzerinde en sık birlikte geçen karakter çiftlerini yinelemeli olarak birleştirerek bir vocabulary oluşturur. Google'ın geliştirdiği WordPiece de benzer bir mantıkla çalışırken seçim kriterinde maksimum olasılığı kullanır. SentencePiece ise dil bağımsız çalışan ve doğrudan ham karakterlerden token üreten bir yöntemdir. Token kavramı üç kritik boyutu doğrudan etkiler. Birinci boyut bağlam penceresidir (context window): bir modelin aynı anda işleyebildiği maksimum token sayısı o modelin 'hafıza kapasitesini' tanımlar. GPT-4o 128.000 token, Claude 3.5 Sonnet 200.000 token, Gemini 1.5 Pro ise 1.000.000 token bağlam kapasitesiyle öne çıkar. Bu limit aşıldığında model eski bağlamı unutur. İkinci boyut API maliyetidir: OpenAI, Anthropic ve Google gibi sağlayıcılar hizmetlerini giriş (input) ve çıkış (output) token sayısına göre faturalandırır. GPT-4o için 1 milyon giriş tokenu yaklaşık 5 USD, 1 milyon çıkış tokenu ise 15 USD'dir. Aynı görevi daha az tokenla çözen prompt tasarımı maliyeti kayda değer ölçüde azaltır; bu nedenle token ekonomisi LLM uygulama mühendisliğinin temel konularından biri haline gelmiştir. Üçüncü boyut dikkat hesaplamasıdır: Transformer mimarisinde her token diğer tüm tokenlarla dikkat skoru hesaplar. Bu O(n²) karmaşıklık nedeniyle bağlam uzadıkça hesaplama maliyeti hızla büyür; Flash Attention ve diğer verimlilik teknikleri bu soruna çözüm arayışından doğmuştur. Türkçe gibi eklemeli dillerde token kullanımı İngilizce'ye kıyasla daha yüksektir. 'Gidebileceklerinden' gibi tek bir Türkçe kelime birden fazla tokena bölünebilirken, aynı anlam İngilizce'de daha az token harcar. Bu durum Türkçe içerikli API çağrılarında maliyeti ve bağlam penceresi verimliliğini olumsuz etkileyebilir.
Needle in a Haystack (Samanlıkta İğne Testi)
Needle in a Haystack (Samanlıkta İğne), büyük dil modellerinin (LLM) uzun bağlam pencerelerindeki performansını ölçmek için tasarlanmış bir değerlendirme yöntemidir. Test, basit ama güçlü bir mantığa dayanır: modele çok uzun bir metin (samanlık) verilir ve bu metnin içine küçük, spesifik bir bilgi parçası (iğne) gizlenir. Model daha sonra yalnızca o iğneyi içeren bir soruya yanıt vermesi istenir. Performans, iğnenin belgenin neresine yerleştirildiğine (başı, ortası, sonu) ve belgenin uzunluğuna (birkaç bin ila milyonlarca token) bağlı olarak ölçülür. Bu test 2023 yılı sonunda OpenAI'ın GPT-4 Turbo'nun 128.000 token bağlam penceresini duyurmasıyla popülerlik kazandı. Araştırmacılar kısa sürede fark etti ki bir modelin uzun bağlam desteklemesi, o bağlamı etkin biçimde kullanabildiği anlamına gelmiyordu. Needle in a Haystack testleri, modellerin özellikle belgenin ortasındaki bilgileri sık sık kaçırdığını ortaya koydu; bu olgu "Lost in the Middle" fenomeni olarak adlandırıldı. Test metodolojisi oldukça esnektir. İğne olarak bir şifreli kod, bir şehir adı, bir tarih ya da herhangi bir belirgin bilgi kullanılabilir. Samanlık ise genellikle Paul Graham denemelerinden oluşan ya da rastgele oluşturulmuş uzun metin bloklarıdır. Değerlendirme, modelin yanıtının doğru iğne bilgisini içerip içermediğini kontrol ederek yapılır. Sonuçlar ısı haritaları şeklinde görselleştirilir: yatay eksen belge uzunluğunu, dikey eksen iğnenin konumunu temsil eder; doğru yanıtlar yeşil, yanlışlar kırmızı olarak gösterilir. Anthropic Claude, Google Gemini ve Meta LLaMA modelleri bu testle kapsamlı biçimde karşılaştırılmıştır. Testler, modellerin bağlam uzunluğu arttıkça performans kaybı yaşadığını ve iğnenin konumunun kritik önem taşıdığını göstermiştir. Bu bulgular, modern LLM mimarilerinin gelişimini ve uzun bağlam optimizasyon tekniklerini (Flash Attention, sliding window attention vb.) doğrudan etkilemiştir. Needle in a Haystack testi aynı zamanda RAG (Retrieval-Augmented Generation) sistemleri için de önemlidir: bir RAG sistemine koyulan belgelerdeki iğnelerin model tarafından doğru biçimde alınıp alınamadığını test etmek için standart bir araç haline gelmiştir.