tag SBERT

Sentence Transformers (Cümle Dönüştürücüler)

Bu sayfada SBERT (Sentence Transformers (Cümle Dönüştürücüler)) etiketi ile işaretlenmiş 1 yapay zeka kavramını bulabilirsiniz.

Sentence Transformers, 2019 yılında Nils Reimers ve Iryna Gurevych tarafından geliştirilen SBERT (Sentence-BERT) mimarisine dayanan, metin cümlelerini ve paragraflarını anlamsal açıdan karşılaştırılabilir sabit boyutlu yoğun vektörlere dönüştüren Transformer tabanlı kütüphane ve model ailesidir. Orijinal BERT modelinin cümle benzerliği hesaplamadaki yetersizliğini gidermek amacıyla tasarlanan SBERT, Siyamez ağ (Siamese network) yapısıyla iki cümleyi eşzamanlı olarak kodlayarak anlamsal benzerlik puanı üretir. Klasik BERT modelinde iki cümleyi karşılaştırmak için her çift ayrı ayrı modelden geçirilmek zorundaydı; bu durum n cümle için n×(n-1)/2 model çağrısı gerektiriyordu. SBERT bu sorunu her cümleyi tek seferinde sabit boyutlu bir vektöre dönüştürerek çözdü: tüm corpus önce encode edilir, ardından cosine similarity veya dot product ile anlık karşılaştırma yapılabilir. Bu yaklaşım hesaplama süresini dramatik biçimde kısaltır — 10.000 cümle için yaklaşık 65 saatten 5 saniyeye iner. Kütüphane, Natural Language Inference (NLI) verileriyle triplet loss veya contrastive learning kullanılarak ince ayar yapılmış çok sayıda model barındırır. Popüler modeller arasında all-MiniLM-L6-v2 (hız-kalite dengesi, 384 boyutlu vektör), all-mpnet-base-v2 (yüksek kalite) ve paraphrase-multilingual-mpnet-base-v2 (50'den fazla dil desteği) öne çıkar. Türkçe için emrecan/bert-base-turkish-cased-mean-nli-stsb-tr ve benzeri topluluk modelleri geliştirilmiştir. Sentence Transformers'ın en yaygın kullanım senaryoları şunlardır: anlamsal arama (semantic search), RAG (Retrieval-Augmented Generation) sistemlerinde belge gömme, metin kümeleme, çift metin eşleşme (bitext mining), soru-cevap sistemleri ve içerik önerisi. Özellikle RAG pipeline'larında, kullanıcı sorgusu ve belge parçalarının (chunk) vektöre dönüştürülmesinde Sentence Transformers fiili standart haline gelmiştir. Python'da pip install sentence-transformers ile kurulabilen kütüphane, Hugging Face Hub ile entegre çalışır; yüzlerce önceden eğitilmiş model doğrudan indirilebilir ve kullanılabilir.

code_blocks

Sentence Transformers (Cümle Dönüştürücüler)

Sentence Transformers, 2019 yılında Nils Reimers ve Iryna Gurevych tarafından geliştirilen SBERT (Sentence-BERT) mimarisine dayanan, metin cümlelerini ve paragraflarını anlamsal açıdan karşılaştırılabilir sabit boyutlu yoğun vektörlere dönüştüren Transformer tabanlı kütüphane ve model ailesidir. Orijinal BERT modelinin cümle benzerliği hesaplamadaki yetersizliğini gidermek amacıyla tasarlanan SBERT, Siyamez ağ (Siamese network) yapısıyla iki cümleyi eşzamanlı olarak kodlayarak anlamsal benzerlik puanı üretir. Klasik BERT modelinde iki cümleyi karşılaştırmak için her çift ayrı ayrı modelden geçirilmek zorundaydı; bu durum n cümle için n×(n-1)/2 model çağrısı gerektiriyordu. SBERT bu sorunu her cümleyi tek seferinde sabit boyutlu bir vektöre dönüştürerek çözdü: tüm corpus önce encode edilir, ardından cosine similarity veya dot product ile anlık karşılaştırma yapılabilir. Bu yaklaşım hesaplama süresini dramatik biçimde kısaltır — 10.000 cümle için yaklaşık 65 saatten 5 saniyeye iner. Kütüphane, Natural Language Inference (NLI) verileriyle triplet loss veya contrastive learning kullanılarak ince ayar yapılmış çok sayıda model barındırır. Popüler modeller arasında all-MiniLM-L6-v2 (hız-kalite dengesi, 384 boyutlu vektör), all-mpnet-base-v2 (yüksek kalite) ve paraphrase-multilingual-mpnet-base-v2 (50'den fazla dil desteği) öne çıkar. Türkçe için emrecan/bert-base-turkish-cased-mean-nli-stsb-tr ve benzeri topluluk modelleri geliştirilmiştir. Sentence Transformers'ın en yaygın kullanım senaryoları şunlardır: anlamsal arama (semantic search), RAG (Retrieval-Augmented Generation) sistemlerinde belge gömme, metin kümeleme, çift metin eşleşme (bitext mining), soru-cevap sistemleri ve içerik önerisi. Özellikle RAG pipeline'larında, kullanıcı sorgusu ve belge parçalarının (chunk) vektöre dönüştürülmesinde Sentence Transformers fiili standart haline gelmiştir. Python'da pip install sentence-transformers ile kurulabilen kütüphane, Hugging Face Hub ile entegre çalışır; yüzlerce önceden eğitilmiş model doğrudan indirilebilir ve kullanılabilir.

arrow_forward