Embedding (Gömme / Vektörleştirme)

#NLP #Vektor #RAG #VeriBilimi #MakineOgrenmesi

Embedding, metin, görsel veya diğer verilerin anlamsal yakınlığı koruyan çok boyutlu sayısal vektörlere dönüştürülmesi işlemidir.

Embedding nedir sorusunun en kısa yanıtı şudur: Embedding (Türkçede gömme ya da vektörleştirme), kelimelerin, cümlelerin, görsellerin veya herhangi bir veri tipinin, yapay zekânın işleyebileceği sayısal dizilere, yani vektörlere dönüştürülmesi işlemidir. Bu dönüşüm rastgele sayılarla yapılmaz; verinin anlamsal (semantik) değerini koruyacak şekilde, çok boyutlu matematiksel bir uzayda koordinatlara yerleştirilmesiyle gerçekleşir. Benzer anlam taşıyan içerikler bu uzayda birbirine yakın, alakasız içerikler ise uzak konumlanır. "Kedi" ile "köpek" vektörleri yan yana dururken, "kedi" ile "traktör" arasındaki mesafe çok daha büyüktür. Embedding'in önemi, bilgisayarların metni doğrudan anlayamamasından gelir: makineler yalnızca sayılarla çalışır. Anlamı sayılara çevirmenin güvenilir bir yolu olmadan ne semantik arama ne öneri sistemleri ne de büyük dil modelleri çalışabilirdi. ChatGPT gibi modeller girdiyi önce token'lara ayırır, ardından her token'ı bir embedding vektörüne çevirir; modelin "anlama" dediğimiz tüm işlemleri bu vektörler üzerinde yürür. Pratikte embedding'ler en çok üç yerde karşımıza çıkar. Birincisi semantik arama ve RAG sistemleri: kullanıcının sorusu ile belgeler aynı vektör uzayına gömülür, kosinüs benzerliği ile en alakalı içerik bulunur. İkincisi öneri sistemleri: Spotify veya Netflix, beğendiğiniz içeriğe vektör uzayında en yakın duran içerikleri önerir. Üçüncüsü çok modlu uygulamalar: CLIP gibi modeller metin ve görseli aynı uzayda temsil ederek metinle görsel arama yapılmasına imkân tanır. Üretilen vektörler genellikle Pinecone, Weaviate veya pgvector gibi vektör veritabanlarında saklanır ve milyonlarca kayıt arasından milisaniyeler içinde en yakın komşular bulunur. Kısaca embedding, modern yapay zekâ uygulamalarında anlam ile matematik arasındaki köprüdür.

timeline Embedding Neden Kritiktir?

Bilgisayarlar harfleri veya kelimeleri anlamazlar, sadece sayıları anlarlar. Embedding'den önce metin, sözlükteki her kelimeye tek bir '1' düşen dev ve anlamsız sıfır dizileriyle (one-hot encoding) temsil ediliyordu; bu gösterimde 'kedi' ile 'köpek' arasında hiçbir yakınlık kurulamıyordu. Embedding bu sorunu çözer: anlam, uzaydaki matematiksel mesafeye dönüşür. Eğer 'Kral', 'Kraliçe', 'Erkek', 'Kadın' kelimelerini embedding ile vektör uzayına yerleştirirseniz, sistem şu çarpıcı matematiği yapabilir: Kral vektöründen Erkek vektörünü çıkarıp Kadın vektörünü eklerseniz, ulaştığınız koordinat neredeyse tam olarak 'Kraliçe' kelimesinin koordinatıdır. Bu özellik yalnızca güzel bir gösteri değildir; büyük dil modellerinin ilk katmanı bir embedding katmanıdır ve modelin dil hakkında bildiği her şey bu vektör temsilleri üzerine kurulur. Aynı mantık kelimelerle sınırlı kalmaz: cümleler, paragraflar, kod parçaları, ürünler, kullanıcı davranışları ve görseller de gömülebilir.

Kullanım Alanları

search Semantik Arama ve RAG

Anahtar kelime eşleşmesi yerine 'anlam' eşleşmesi ile arama yapılır. Kullanıcının sorusu ve belgeler aynı uzaya gömülür, en yakın vektörler getirilir. RAG sistemlerinin kalbidir: doğru belge bulunamazsa model doğru yanıt üretemez.

recommend Tavsiye Sistemleri

Spotify'ın sevdiğiniz bir şarkının vektör uzayındaki koordinatına en yakın (en çok benzeyen) diğer şarkıları anında önerebilmesi embedding'e dayanır. Netflix ve e-ticaret siteleri de kullanıcı ve içerik vektörlerini eşleştirerek kişiselleştirme yapar.

join_full Çok Modlu Eşleşme

CLIP ve DALL-E gibi sistemlerde metin embedding'i ile görsel embedding'i aynı uzayda eşleştirilir. Böylece 'sahilde gün batımı' yazarak fotoğraf arşivinde arama yapılabilir veya metinden görsel üretimi yönlendirilebilir.

fact_check Sınıflandırma ve Kümeleme

Metinler vektöre çevrildikten sonra spam tespiti, duygu analizi, konu sınıflandırma ve benzer belgeleri gruplama gibi görevler basit matematiksel işlemlere indirgenir. Kopya içerik tespiti de vektör benzerliğiyle yapılır.

Embedding Modelleri ve Türleri

  • check_circle Word2Vec ve GloVe: Statik Kelime Gömüleri: Word2Vec (Google, 2013): CBOW ve Skip-gram mimarileriyle her kelimeye sabit bir vektör atar. 'King - Man + Woman ≈ Queen' ilişkisi embedding aritmetiğinin çarpıcı bir örneğidir. GloVe: global eş-görülme istatistiklerini kullanan alternatif yöntemdir. Ortak zayıflık: 'bank' kelimesi 'nehir kıyısı' veya 'finansal kurum' bağlamından bağımsız olarak hep aynı vektörü alır.
  • check_circle BERT ve Bağlamsal Embedding'ler: BERT her kelimeyi cümle bağlamına göre farklı vektörle temsil eder; çok anlamlı kelimeleri bağlama uygun biçimde kodlar. Sentence-BERT (SBERT) cümle düzeyinde anlamlı embedding üretir ve semantik benzerlik araması için optimize edilmiştir. E5, BGE ve paraphrase-multilingual-mpnet gibi modeller çok dilli embedding üretir; açık kaynak oldukları için kendi sunucunuzda ücretsiz çalıştırılabilir.
  • check_circle OpenAI text-embedding Modelleri: text-embedding-3-small (1536 boyut) ve text-embedding-3-large (3072 boyut) OpenAI'nin güncel embedding modelleridir. RAG sistemleri, anlamsal arama ve belge sınıflandırma için API üzerinden kullanılır. Türkçe dahil çok dilli metinleri başarıyla temsil eder; ancak Türkçeye özel fine-tuned modeller bazı görevlerde daha iyi sonuç verebilir. Cohere ve Google gibi diğer üreticiler de benzer API tabanlı embedding hizmetleri sunar.
  • check_circle Multimodal Embedding: CLIP: CLIP (OpenAI): metin ve görüntü aynı vektör uzayında temsil edilir; böylece 'bir köpeğin fotoğrafı' metni ile gerçek köpek görseli birbirine yakın vektörler alır. Zero-shot görüntü sınıflandırma, görsel soru cevaplama ve metin-görüntü araması için temel altyapıdır. Ses, video ve kod gibi başka veri tipleri için de özel embedding modelleri geliştirilmiştir.

Vektör Uzayında Anlam: Embedding Aritmetiği

İyi bir embedding modelinin en çarpıcı özelliği, anlamsal ilişkilerin vektör matematikle ifade edilebilmesidir. Word2Vec'in ünlü örneği: vec('King') - vec('Man') + vec('Woman') ≈ vec('Queen'). Bu ilişki, modelin eğitim verisi üzerinde öğrendiği analojik yapıyı yansıtır. Benzer şekilde 'Paris - Fransa + Almanya ≈ Berlin' ilişkisi, başkent kavramının vektör uzayında kodlandığını gösterir. Anlamsal arama bu özelliği kullanır: sorgu vektörü ile belge vektörleri arasındaki kosinüs benzerliği hesaplanarak en alakalı belgeler bulunur. Milyonlarca vektör arasında bu karşılaştırmayı hızlandırmak için HNSW gibi yaklaşık en yakın komşu (ANN) algoritmaları ve vektör veritabanları kullanılır. Embedding kalitesi downstream görevleri (RAG, sınıflandırma, öneri) doğrudan etkiler: zayıf bir embedding modeli iyi bir retriever üretemez. Bu nedenle model seçiminde MTEB (Massive Text Embedding Benchmark) gibi standart karşılaştırma çerçevelerine bakmak, özellikle Türkçe projelerde modelin çok dilli performansını ayrıca test etmek önemlidir.

Sıkça Sorulan Sorular (FAQ)

  • check_circle Embedding nedir?: Embedding, kelimeler, cümleler, görüntüler veya diğer verilerin yüksek boyutlu sayısal vektörlere dönüştürülmesidir. Bu vektörler anlamsal yakınlığı korur: benzer anlamlı içerikler vektör uzayında birbirine yakın konumlanır. Doğal dil işleme, öneri sistemleri ve RAG'ın temel yapı taşıdır.
  • check_circle Embedding ne demek, Türkçesi nedir?: Embedding kelimesi İngilizce 'gömme, yerleştirme' anlamına gelir. Türkçe kaynaklarda 'gömme' veya 'vektörleştirme' olarak geçer. Terim, verinin çok boyutlu bir matematiksel uzaya gömülmesinden, yani o uzayda bir koordinata yerleştirilmesinden gelir.
  • check_circle Embedding ne işe yarar?: Metnin ve diğer verilerin anlamını bilgisayarın işleyebileceği sayılara çevirir. Bu dönüşümle semantik arama, RAG, öneri sistemleri, duygu analizi, kümeleme ve kopya içerik tespiti gibi uygulamalar mümkün olur. Büyük dil modellerinin ilk katmanı da bir embedding katmanıdır.
  • check_circle Word2Vec ile BERT embedding'leri arasındaki fark nedir?: Word2Vec her kelimeye bağlamdan bağımsız sabit bir vektör verir; 'banka' kelimesi nehir kıyısı veya finans bağlamında aynı vektörü alır. BERT ise kelimeyi cümle içindeki bağlamıyla birlikte kodlar ve bağlama göre farklı vektörler üretir. Bağlamsal embedding'ler anlam belirsizliğini çözmede çok daha başarılıdır.
  • check_circle Embedding boyutu nasıl seçilir?: Büyük boyut daha fazla bilgi kodlar ama bellek ve hesaplama maliyetini artırır. OpenAI'nin small modeli 1536, large modeli 3072 boyut kullanır; küçük ölçekli projeler için 384-768 boyutlu hafif modeller (all-MiniLM-L6-v2) çoğu zaman yeterlidir. Seçimde model kalitesi (MTEB skoru), boyut, maliyet ve Türkçe desteği birlikte değerlendirilmelidir.
  • check_circle Embedding'ler nerede saklanır?: Üretilen vektörler genellikle Pinecone, Weaviate, Qdrant, Milvus veya PostgreSQL'in pgvector eklentisi gibi vektör veritabanlarında saklanır. Bu sistemler HNSW gibi indeksleme algoritmalarıyla milyonlarca vektör arasından en yakın komşuları milisaniyeler içinde bulur.