tag semantik-arama
Semantic Search (Semantik Arama)
Bu sayfada semantik-arama (Semantic Search (Semantik Arama)) etiketi ile işaretlenmiş 5 yapay zeka kavramını bulabilirsiniz.
Semantik arama (Semantic Search), arama sorgularını anahtar kelime eşleşmesi yerine anlam ve niyet düzeyinde değerlendiren arama yaklaşımıdır. Geleneksel tam metin aramasının (BM25, TF-IDF) aksine, anlam vektörleri (embedding) kullanarak kavramsal olarak benzer belgeleri bulur; 'ev almak' sorgusu 'konut satın alma' içeren belgeleri de getirir. Temel çalışma prensibi embedding modellerine dayanır: metin parçaları yüksek boyutlu vektörlere dönüştürülür ve bu vektörler anlam uzayında yakın noktalar benzer anlamları temsil edecek şekilde konumlanır. Sorgu da aynı süreçten geçirilir, ardından kosinüs benzerliği veya iç çarpım hesabıyla en yakın belgeler sıralanır. Yaygın embedding modelleri şunlardır: OpenAI text-embedding-3-small ve large, Cohere Embed v3, ve açık kaynak tarafında sentence-transformers ailesi (all-MiniLM, BGE, E5 serisi). Çok dilli modeller (multilingual-e5-large, mGTE) Türkçe dahil 100 artı dili aynı vektör uzayında temsil eder ve bu nedenle Türkçe içerik için tercih edilir. Vektör veri tabanları semantik aramanın altyapısını oluşturur: Pinecone, Weaviate, Qdrant, Milvus ve pgvector öne çıkan seçeneklerdir. Milyonlarca vektör arasında gerçek zamanlı arama için Yaklaşık En Yakın Komşu (ANN) algoritmaları kullanılır; HNSW grafları bu alanda standart yaklaşım hâline gelmiştir. Hibrit arama, semantik aramanın kelime tabanlı arama (BM25) ile birleştirilmesidir. Semantik arama anlam ve bağlamı yakalamada, anahtar kelime araması ise özel isimler ve teknik terimler gibi tam eşleşme gerektiren durumda daha güçlüdür. Reciprocal Rank Fusion veya öğrenilmiş ağırlıklarla iki sinyalin birleştirilmesi çoğu üretim sisteminde en iyi sonucu verir. RAG pipeline'larında semantik arama, LLM'e verilecek bağlamı getirir; bu iki teknoloji birbirini doğrudan tamamlar ve retrieval kalitesi nihai cevap kalitesini doğrudan belirler. Reranking katmanı (cross-encoder) eklenerek precision daha da artırılabilir. Kurumsal arama sistemlerinin büyük çoğunluğu artık hibrit ve semantik yaklaşımları birlikte benimsemektedir.
Knowledge Graph (Bilgi Grafiği)
Bilgi grafiği (knowledge graph), gerçek dünya varlıklarını ve bu varlıklar arasındaki ilişkileri yapılandırılmış bir ağ olarak temsil eden bir veri modelidir. Düğümler (node) varlıkları — kişiler, yerler, kavramlar, ürünler — ifade ederken kenarlar (edge) bu varlıklar arasındaki ilişkileri — "doğduğu yer", "çalıştığı kurum", "bağlı olduğu kategori" — temsil eder. Bu yapı, geleneksel ilişkisel veri tabanlarının satır-sütun modelinin ötesinde, dünyanın ağ benzeri karmaşıklığını doğal biçimde yansıtır. Bilgi grafikleri iki ana paradigmayla modellenir. W3C standardı olan RDF (Resource Description Framework), özne-yüklem-nesne üçlülerinden (triple) oluşur ve SPARQL diliyle sorgulanır; bağlantılı açık veri (Linked Open Data) ekosistemine uygundur. Özellik grafik modeli ise düğüm ve kenarlara serbestçe nitelik (property) eklemeye olanak tanır; Neo4j, Amazon Neptune ve TigerGraph bu modelin başlıca temsilcileridir. Cypher dili, özellik grafikleri için SQL benzeri okunabilirlikte sorgular yazmayı mümkün kılar. Büyük ölçekli örnekler arasında Google Knowledge Graph, Wikidata, DBpedia ve Facebook Social Graph sayılabilir. Google Knowledge Graph, arama sonuçlarındaki bilgi panellerini beslerken Wikidata, Wikipedia'nın makine okunabilir yapılandırılmış veri deposu işlevi görür. Yapay zeka ile entegrasyon bilgi grafiklerini özellikle değerli kılar. Büyük dil modelleri (LLM) geniş genel bilgiye sahip olsa da belirli alanlarda hata yapabilir ve halüsinasyon üretebilir. Bilgi grafiği entegrasyonu, modelin yanıtlarını doğrulanmış ve güncel gerçeklerle destekler. GraphRAG gibi yaklaşımlar, geleneksel vektör tabanlı retrieval'ın ötesinde mantıksal ilişki zincirlerini de sorgulayabilmekte; bu yöntem bilgi yoğun uygulamalarda yanıt doğruluğunu belirgin biçimde artırmaktadır. Uygulama alanları son derece geniştir: ilaç keşfinde gen-protein-hastalık ilişkileri, finansta dolandırıcılık ağları tespiti, e-ticarette öneri sistemleri ve kurumsal bilgi yönetimi bunların başında gelir. Ontoloji ve taksonomilerle zenginleştirilen bilgi grafikleri, veriye anlamsal derinlik katarak hem insan kullanıcıların hem de yapay zeka sistemlerinin bilgiye erişim ve çıkarım kalitesini artırır.
Semantic Search (Semantik Arama)
Semantik arama (Semantic Search), arama sorgularını anahtar kelime eşleşmesi yerine anlam ve niyet düzeyinde değerlendiren arama yaklaşımıdır. Geleneksel tam metin aramasının (BM25, TF-IDF) aksine, anlam vektörleri (embedding) kullanarak kavramsal olarak benzer belgeleri bulur; 'ev almak' sorgusu 'konut satın alma' içeren belgeleri de getirir. Temel çalışma prensibi embedding modellerine dayanır: metin parçaları yüksek boyutlu vektörlere dönüştürülür ve bu vektörler anlam uzayında yakın noktalar benzer anlamları temsil edecek şekilde konumlanır. Sorgu da aynı süreçten geçirilir, ardından kosinüs benzerliği veya iç çarpım hesabıyla en yakın belgeler sıralanır. Yaygın embedding modelleri şunlardır: OpenAI text-embedding-3-small ve large, Cohere Embed v3, ve açık kaynak tarafında sentence-transformers ailesi (all-MiniLM, BGE, E5 serisi). Çok dilli modeller (multilingual-e5-large, mGTE) Türkçe dahil 100 artı dili aynı vektör uzayında temsil eder ve bu nedenle Türkçe içerik için tercih edilir. Vektör veri tabanları semantik aramanın altyapısını oluşturur: Pinecone, Weaviate, Qdrant, Milvus ve pgvector öne çıkan seçeneklerdir. Milyonlarca vektör arasında gerçek zamanlı arama için Yaklaşık En Yakın Komşu (ANN) algoritmaları kullanılır; HNSW grafları bu alanda standart yaklaşım hâline gelmiştir. Hibrit arama, semantik aramanın kelime tabanlı arama (BM25) ile birleştirilmesidir. Semantik arama anlam ve bağlamı yakalamada, anahtar kelime araması ise özel isimler ve teknik terimler gibi tam eşleşme gerektiren durumda daha güçlüdür. Reciprocal Rank Fusion veya öğrenilmiş ağırlıklarla iki sinyalin birleştirilmesi çoğu üretim sisteminde en iyi sonucu verir. RAG pipeline'larında semantik arama, LLM'e verilecek bağlamı getirir; bu iki teknoloji birbirini doğrudan tamamlar ve retrieval kalitesi nihai cevap kalitesini doğrudan belirler. Reranking katmanı (cross-encoder) eklenerek precision daha da artırılabilir. Kurumsal arama sistemlerinin büyük çoğunluğu artık hibrit ve semantik yaklaşımları birlikte benimsemektedir.
Vektör Veritabanı (Vektör Veritabanı)
Vektör Veritabanı, metin, görüntü ve ses gibi içeriklerin sayısal gömme vektörü (embedding) temsillerini depolayan ve bu vektörler arasında en yakın komşu araması (Approximate Nearest Neighbor, ANN) gerçekleştiren özelleşmiş veritabanı sistemidir. Geleneksel ilişkisel veritabanları tam eşleşme sorgularında güçlüyken vektör veritabanları anlamsal benzerlik sorgularında üstünlük sağlar. Temel işleyiş şu şekildedir: bir embedding modeli (BERT, OpenAI Embeddings, E5 gibi) metni yüksek boyutlu gerçek sayı vektörüne dönüştürür; bu vektör veritabanına kaydedilir. Sorgu zamanında sorgu cümlesi de aynı modelle vektöre dönüştürülür ve veritabanı, kosinüs benzerliği veya Öklid mesafesi ölçütüyle en yakın K vektörü geri döndürür. ANN algoritmaları (HNSW, IVF, FAISS) bu aramayı milyonlarca vektörde milisaniyeler içinde gerçekleştirir. Popüler vektör veritabanı çözümleri farklı kullanım senaryolarına hitap eder. Pinecone tam yönetilen bulut hizmetidir; Chroma ve Qdrant yerel veya kendi altyapısında barındırılabilir; Weaviate çok modlu destek ve GraphQL arayüzüyle öne çıkar; pgvector ise mevcut PostgreSQL veritabanına vektör yeteneği ekler. Büyük ölçeklerde Milvus ve Vespa tercih edilir. Vektör veritabanlarının birincil kullanım alanı RAG (Retrieval-Augmented Generation) sistemleridir: LLM'in bağlamına ilgili belgeler enjekte edilir; böylece model kendi eğitim verisinin ötesinde güncel bilgiyle yanıt üretir. Anlamsal arama motorları, öneri sistemleri, resim benzerliği arama ve kopya içerik tespiti diğer uygulama alanlarıdır. Vektör veritabanlarının performansı indeks yapısına bağlıdır. HNSW (Hierarchical Navigable Small World) yüksek sorgu hızı ve çok sayıda vektör için optimize edilmiş grafik yapısı kullanırken IVF (Inverted File Index) küme tabanlı bölümlemeyle arama uzayını daraltır. FAISS ise Facebook AI tarafından geliştirilen açık kaynak bir kütüphane olup milyarlarca vektörü GPU üzerinde indeksler. Vektör veritabanları, geleneksel tam metin aramasıyla birleştirildiğinde — hibrit arama olarak adlandırılan bu yöntem — hem anahtar kelime kesinliği hem anlamsal zenginlik sunar; kurumsal ölçekli belge arama ve chatbot sistemlerinde giderek standart mimari unsur haline gelmektedir.
Bi-Encoder (Çift Kodlayıcı)
Bi-encoder (çift kodlayıcı), iki ayrı metin parçasını birbirinden bağımsız olarak kodlayan ve her birini sabit boyutlu bir vektör temsiline dönüştüren çift kule (two-tower) sinir ağı mimarisidir. Semantik arama, soru-cevap ve RAG sistemlerinin retrieval aşamasında temel yapı taşı olarak kullanılır; sorgu ile belge aynı vektör uzayında temsil edilir ve alaka düzeyi bu iki vektör arasındaki geometrik yakınlıkla ölçülür. Mimari genellikle ağırlıkları paylaşan iki transformer kulesinden oluşur ve bu yönüyle Siyam ağı (siamese network) ailesine girer. Sorgu ve belge ayrı ayrı işlenir; token çıktıları ortalama havuzlama (mean pooling) ya da [CLS] token'ı ile tek bir vektöre indirgenir. Benzerlik kosinüs benzerliği veya iç çarpımla hesaplanır. Belgeler korpus hazırlanırken bir kez kodlanır ve FAISS, pgvector ya da Milvus gibi vektör veritabanlarına indekslenir. Yeni bir sorgu geldiğinde yalnızca sorgu vektörü anlık üretilir; yaklaşık en yakın komşu (ANN) araması milisaniyeler içinde en yakın belgeleri döndürür. Bi-encoder'ın en kritik avantajı bu asimetrik hesaplama modelidir: milyonlarca belge için vektörler tek seferde üretilip saklanır, çevrimiçi gecikme yalnızca sorgu kodlamasını kapsar. Bu özellik onu büyük ölçekli üretim sistemleri için vazgeçilmez kılar. Doğruluk tarafında ise cross-encoder'ın gerisinde kalır. Cross-encoder sorgu-belge çiftini tek bir ileri geçişte birlikte işleyip token düzeyinde çapraz dikkat uygular; bu nedenle nüanslı anlam ilişkilerini daha iyi yakalar, ancak her çift için yeniden hesaplama gerektirir. Retrieve-then-rerank boru hattında bi-encoder ilk aşamada geniş bir aday kümesi getirir, cross-encoder ikinci aşamada bu adayları hassas biçimde yeniden sıralar. Eğitimde kontrastif öğrenme teknikleri kullanılır: MultipleNegativesRankingLoss (MNRL), triplet loss, in-batch negatives ve zor negatif madenciliği (hard negative mining). Sentence-BERT (SBERT, 2019) bu alanın öncü çalışmasıdır; Dense Passage Retrieval (DPR) yaklaşımı ise sorgu ve belge için ayrı kuleler kullanarak açık alan soru-cevap sistemlerinde standart haline gelmiştir. Günümüzde E5, BGE, GTE ve Nomic Embed gibi modeller MTEB kıyaslamalarında öne çıkar; multilingual-e5 ve bge-m3 gibi çok dilli sürümler Türkçe dahil onlarca dili destekler.
Cosine Similarity (Kosinüs Benzerliği)
Kosinüs benzerliği (Cosine Similarity), iki vektör arasındaki açının kosinüsünü ölçen ve vektörlerin yönleri arasındaki benzerliği sayısal olarak ifade eden matematiksel bir metriktir. Değeri [-1, 1] aralığında değişir: 1 tam benzer (aynı yön), 0 ortogonal (ilgisiz) ve -1 zıt anlamlıdır. Formülü: cos(θ) = (A·B)/(‖A‖×‖B‖), yani iki vektörün iç çarpımını her birinin uzunluklarının çarpımına böler. Yapay zeka ve doğal dil işleme alanlarında kosinüs benzerliği, çok boyutlu embedding vektörleri arasındaki anlamsal yakınlığı ölçmek için tercih edilir. Vektörlerin büyüklüğünden bağımsız olarak yalnızca yönü dikkate alması, belge uzunluğuna duyarsız bir ölçüm sağlar; bu nedenle tf-idf ve embedding vektörlerinde öklid mesafesine kıyasla daha güvenilir sonuçlar verir. Örneğin kısa bir tweet ile uzun bir makale, aynı konuyu ele alıyorsa benzer kosinüs skoru alırken öklid mesafesi büyük fark gösterir. Vektör veritabanlarında (Pinecone, Weaviate, Qdrant, ChromaDB, pgvector) ve semantik arama motorlarında sorgular önce bir embedding modeline gönderilir; elde edilen vektörle veritabanındaki tüm vektörler arasındaki kosinüs benzerliği hesaplanır ve en yakın k komşu (k-NN) döndürülür. Modern vektör veritabanları HNSW (Hierarchical Navigable Small World) veya IVF (Inverted File Index) gibi yaklaşık en yakın komşu (ANN) algoritmaları sayesinde milyonlarca vektörde bu aramaları milisaniyeler içinde tamamlar. RAG (Retrieval-Augmented Generation) sistemlerinde kosinüs benzerliği kritik bir role sahiptir: kullanıcı sorgusu embedding vektörüne dönüştürülür; bu vektörle belge parçaları (chunk) arasındaki kosinüs benzerliği hesaplanır; en yüksek skoru alan parçalar bağlam olarak LLM'e iletilir. Yaygın kullanılan pratik eşik değeri 0.70–0.85 arasında seçilir. L2-normalize vektörlerde kosinüs benzerliği, nokta çarpımına (dot product) eşdeğer olduğundan GPU matris çarpım işlemleri önemli ölçüde hızlanır. Python'da sklearn.metrics.pairwise.cosine_similarity, torch.nn.functional.cosine_similarity veya NumPy ile np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b)) şeklinde hesaplanabilir. Öneri sistemlerinde kullanıcı profilleri ve içerik özellikleri vektör uzayına yansıtılarak kosinüs benzerliğiyle eşleştirme yapılır. Kümeleme ve sınıflandırma görevlerinde de benzerlik matrisi olarak yaygın biçimde kullanılmaktadır. Sıfır vektörlerle tanımsız olduğu ve izotropik olmayan dağılım üreten modellerde MIPS (Maximum Inner Product Search) daha uygun olabilir.