tag InformationRetrieval

Bu sayfada InformationRetrieval etiketi ile işaretlenmiş 1 yapay zeka kavramını bulabilirsiniz.

Cross-Encoder (Çapraz Kodlayıcı), bir sorgu ile bir belgeyi tek bir girdi dizisi olarak birleştirip aynı Transformer geçişinde işleyen ve ikili arasındaki alaka düzeyine doğrudan bir puan atayan yeniden sıralama (reranking) modelidir. Bi-encoder mimarisinde sorgu ve belge ayrı ayrı vektöre dönüştürülüp benzerlikleri kosinüs mesafesiyle ölçülürken, cross-encoder iki metni [SEP] tokenıyla birleştirir ve BERT ya da RoBERTa tabanlı bir kodlayıcıdan tek seferde geçirir. Bu düzenek, dikkat mekanizmasının sorgudaki her tokenı belgedeki her tokenla karşılaştırmasına izin verir; alaka puanı genellikle [CLS] tokenının temsili üzerine oturtulan küçük bir sınıflandırma katmanından elde edilir. Tarihsel olarak bu yaklaşım, 2019'da Nogueira ve Cho'nun MS MARCO pasaj sıralama görevinde BERT'i doğrudan sorgu-pasaj çiftleri üzerinde ince ayarlamasıyla yaygınlaştı. Sonradan "monoBERT" olarak anılan bu model, BM25'e göre MRR@10 metriğinde çarpıcı bir sıçrama gösterdi ve iki aşamalı arama mimarisinin standart parçası hâline geldi. Ardından Sentence-Transformers kütüphanesi CrossEncoder sınıfını ekleyerek bu modelleri birkaç satır Python koduyla kullanılabilir kıldı. Modern bilgi erişimi ve RAG (Retrieval-Augmented Generation) sistemlerinde cross-encoder, "retrieve-then-rerank" olarak adlandırılan iki aşamalı düzenin ikinci katmanında çalışır. Birinci aşamada BM25 ya da bir bi-encoder, milyonlarca belge arasından milisaniyeler içinde 50 ile 200 arasında aday getirir; ikinci aşamada cross-encoder bu küçük kümeyi sorguyla birlikte yeniden değerlendirip nihai sıralamayı belirler. Büyük dil modeline yalnızca en alakalı birkaç parçanın iletilmesi, halüsinasyon oranını düşürür ve bağlam penceresini verimli kullandırır. Temel avantajı, sorgu ile belge arasındaki ince bağlamsal etkileşimi tam dikkat matrisiyle yakalayabilmesidir. "Python nedir?" sorusu için "Python programlama dili" ile "piton yılanı" belgelerini ayırt etmek, iki metindeki ipuçlarını birlikte okumayı gerektirir; bağımsız vektörlerle çalışan bi-encoder bu ayrımı çoğu zaman kaçırır. Bedeli ise hesaplama maliyetidir: belgeler önceden indekslenemez, her sorgu-belge çifti için ayrı bir ileri geçiş gerekir ve 512 token sınırı uzun belgelerin parçalanmasını zorunlu kılar. Bu nedenle cross-encoder tüm katalog üzerinde değil, yalnızca daraltılmış aday kümesi üzerinde kullanılır. ms-marco-MiniLM-L-6-v2, BGE-Reranker-v2-m3 ve Cohere Rerank API günümüzde en yaygın tercih edilen uygulamalardır.

code_blocks

Cross-Encoder (Çapraz Kodlayıcı)

Cross-Encoder (Çapraz Kodlayıcı), bir sorgu ile bir belgeyi tek bir girdi dizisi olarak birleştirip aynı Transformer geçişinde işleyen ve ikili arasındaki alaka düzeyine doğrudan bir puan atayan yeniden sıralama (reranking) modelidir. Bi-encoder mimarisinde sorgu ve belge ayrı ayrı vektöre dönüştürülüp benzerlikleri kosinüs mesafesiyle ölçülürken, cross-encoder iki metni [SEP] tokenıyla birleştirir ve BERT ya da RoBERTa tabanlı bir kodlayıcıdan tek seferde geçirir. Bu düzenek, dikkat mekanizmasının sorgudaki her tokenı belgedeki her tokenla karşılaştırmasına izin verir; alaka puanı genellikle [CLS] tokenının temsili üzerine oturtulan küçük bir sınıflandırma katmanından elde edilir. Tarihsel olarak bu yaklaşım, 2019'da Nogueira ve Cho'nun MS MARCO pasaj sıralama görevinde BERT'i doğrudan sorgu-pasaj çiftleri üzerinde ince ayarlamasıyla yaygınlaştı. Sonradan "monoBERT" olarak anılan bu model, BM25'e göre MRR@10 metriğinde çarpıcı bir sıçrama gösterdi ve iki aşamalı arama mimarisinin standart parçası hâline geldi. Ardından Sentence-Transformers kütüphanesi CrossEncoder sınıfını ekleyerek bu modelleri birkaç satır Python koduyla kullanılabilir kıldı. Modern bilgi erişimi ve RAG (Retrieval-Augmented Generation) sistemlerinde cross-encoder, "retrieve-then-rerank" olarak adlandırılan iki aşamalı düzenin ikinci katmanında çalışır. Birinci aşamada BM25 ya da bir bi-encoder, milyonlarca belge arasından milisaniyeler içinde 50 ile 200 arasında aday getirir; ikinci aşamada cross-encoder bu küçük kümeyi sorguyla birlikte yeniden değerlendirip nihai sıralamayı belirler. Büyük dil modeline yalnızca en alakalı birkaç parçanın iletilmesi, halüsinasyon oranını düşürür ve bağlam penceresini verimli kullandırır. Temel avantajı, sorgu ile belge arasındaki ince bağlamsal etkileşimi tam dikkat matrisiyle yakalayabilmesidir. "Python nedir?" sorusu için "Python programlama dili" ile "piton yılanı" belgelerini ayırt etmek, iki metindeki ipuçlarını birlikte okumayı gerektirir; bağımsız vektörlerle çalışan bi-encoder bu ayrımı çoğu zaman kaçırır. Bedeli ise hesaplama maliyetidir: belgeler önceden indekslenemez, her sorgu-belge çifti için ayrı bir ileri geçiş gerekir ve 512 token sınırı uzun belgelerin parçalanmasını zorunlu kılar. Bu nedenle cross-encoder tüm katalog üzerinde değil, yalnızca daraltılmış aday kümesi üzerinde kullanılır. ms-marco-MiniLM-L-6-v2, BGE-Reranker-v2-m3 ve Cohere Rerank API günümüzde en yaygın tercih edilen uygulamalardır.

arrow_forward