tag GraphRAG
Bu sayfada GraphRAG etiketi ile işaretlenmiş 4 yapay zeka kavramını bulabilirsiniz.
GraphRAG, Microsoft Research tarafından 2024'te tanıtılan ve bilgi grafları (knowledge graph) ile desteklenen gelişmiş bir RAG (Retrieval-Augmented Generation) sistemidir. Klasik RAG'de belgeler küçük parçalara (chunk) bölünür ve vektör benzerliği ile en ilgili parçalar bulunup dil modeline verilir. Bu yaklaşım yerel, spesifik sorularda güçlü olmakla birlikte "Bu belge koleksiyonunun ana temaları nelerdir?" gibi küresel sorularda yetersiz kalır. GraphRAG bu sorunu köklü biçimde çözer. Hazırlık aşamasında belgeler LLM ile analiz edilir; varlıklar (kişi, yer, organizasyon, kavram), aralarındaki ilişkiler ve özetler çıkarılarak yapısal bir bilgi grafına aktarılır. Leiden veya Louvain algoritmasıyla graftaki düğümler topluluklara ayrılır; her topluluk için özet metinler üretilir. Sorgu aşamasında sistem iki moddan birini kullanır: lokal sorgular (belirli bir varlık hakkında) ilgili düğümleri ve komşularından bağlam çeker; küresel sorgular ise tüm topluluk özetlerini birleştirerek bütünsel bir yanıt üretir. 2024 sonunda Microsoft, Lazy GraphRAG adlı daha hafif bir varyant yayımladı. Lazy GraphRAG, hazırlık aşamasında tüm toplulukları önceden özetlemez; bunun yerine sorgu anında dinamik olarak ilgili düğümleri seçer. Bu yöntem indeksleme maliyetini önemli ölçüde düşürür ve orta büyüklükteki belge koleksiyonları için daha uygun bir seçenek sunar. Standart RAG ile karşılaştırıldığında GraphRAG'ın temel avantajı, büyük belge koleksiyonları hakkında tematik ve çapraz referans sorularını yanıtlayabilmesidir. Microsoft'un orijinal değerlendirmesinde GraphRAG, kapsamlılık ve çeşitlilik metriklerinde standart RAG'ı geçmiştir. Kurumsal belge analizi, akademik literatür keşfi ve araştırma raporlarında ilişki bağlantıları oluşturmak bu yaklaşımın öne çıktığı alanlardır. Pratik kullanım açısından Microsoft'un açık kaynak Python paketi (pip install graphrag) ve Azure AI Studio entegrasyonu hazır pipeline sunar. LlamaIndex ve LangChain da hibrit yaklaşımları destekler: yerel sorgular için vektör RAG, küresel sorgular için GraphRAG kombinasyonu. İndeksleme maliyetleri dikkat gerektirir: 1000 sayfalık bir belge koleksiyonunun GPT-4 ile işlenmesi 50–200 USD arası LLM masrafı doğurabilir. Küçük ve orta büyüklükteki projeler için önce standart RAG veya Lazy GraphRAG tercih edilmesi önerilir.
Community Detection (Topluluk Tespiti)
Topluluk tespiti (community detection), bir grafın (ağın) kendi içinde yoğun bağlantılı, diğer gruplardan görece seyrek bağlantılı alt yapılarını — toplulukları — ortaya çıkaran graf analizi yöntemidir. Sosyal ağlarda arkadaşlık kümeleri, web grafiklarında konu kümeleri, biyolojik ağlarda işlevsel protein modülleri ve bilgi graflarında kavram grupları bu yöntemle tespit edilebilir. Topluluk tespiti algoritmaları dört ana sınıfa ayrılır. Modülarite optimizasyonu sınıfında Louvain algoritması, grafı aşamalı olarak birleştirerek modülariteyi (Q) maksimize eder; O(n log n) karmaşıklığıyla milyonlarca düğüme ölçeklenir ve literatürün en yaygın kullanılan yöntemidir. Leiden algoritması Louvain'in geliştirilmiş halidir: lokal boşluk sorununu gidererek daha bağlantılı topluluklar üretir ve 2019'dan itibaren büyük ölçekli ağ analizinde standart hâle gelmiştir. Hiyerarşik bölme yöntemlerinde Girvan-Newman algoritması, arasındalık merkeziyeti (betweenness centrality) en yüksek kenarları iteratif biçimde çıkararak toplulukları ayırır; hesaplama maliyeti yüksek olduğundan büyük graflarda daha az tercih edilir. Spektral kümeleme, grafın Laplacian matrisinin özvektörlerini kullanarak düğümleri özellik uzayında kümelendirir ve görüntü segmentasyonu ile doküman kümeleme alanlarında öne çıkar. Etiket yayılımı (label propagation) ise her düğümün komşularındaki en yaygın etiketi benimsemesine dayanan hızlı ve paralel bir yöntemdir. Yapay zeka uygulamalarında topluluk tespiti kritik bir bileşen hâline gelmiştir. Microsoft'un GraphRAG sistemi (2024), metin belgelerinden çıkarılan varlık grafındaki toplulukları Leiden algoritmasıyla tespit eder ve her topluluk için hiyerarşik özet raporlar üretir. Bu raporlar, "sektörde hangi trendler öne çıkıyor?" gibi geniş kapsamlı sorgulara yanıt verirken bağlam olarak kullanılır — standart vektör RAG'ın başarısız olduğu global sorularda çarpıcı biçimde daha iyi sonuçlar elde eder. Öneri sistemlerinde kullanıcı-ürün grafındaki topluluklar, soğuk başlangıç (cold start) sorununu azaltmak için grup tabanlı öneriler üretmekte kullanılır. Doğruluk tespitinde (misinformation detection) sosyal ağ topluluklarının yapısı, koordineli dezenformasyon kampanyalarını tespit etmek için analiz edilmektedir.
Entity Extraction (Varlık Çıkarımı (Entity Extraction))
Varlık çıkarımı (Entity Extraction), doğal dil işleme (NLP) alanında yapılandırılmamış metinlerden adlandırılmış varlıkları — kişi adları, kurum adları, coğrafi konumlar, tarihler, ürün adları gibi — otomatik olarak tespit etme ve sınıflandırma sürecidir. İsimli Varlık Tanıma (Named Entity Recognition — NER) olarak da bilinir. Teknik açıdan NER, her tokeni BIO (Beginning-Inside-Outside) veya BIOES şemasıyla etiketleyen bir dizi etiketleme problemidir. Geleneksel yöntemler kural tabanlı düzenli ifadeler ve istatistiksel Koşullu Rastsal Alanlar (CRF) üzerine kuruluydu. BiLSTM-CRF mimarisi, bağlamsal özellik öğrenmeyi CRF etiket tutarlılığıyla birleştirerek 2010'ların NER standardı oldu. 2019'dan itibaren BERT tabanlı token sınıflandırması bu mimarinin büyük bölümünün yerini aldı; alan-özgü varlık türleri (tıbbi terminoloji, hukuki belgeler) için ince ayarlı BERT modelleri güçlü seçenek olmaya devam etmektedir. Modern LLM tabanlı yaklaşımlarda süreç kökten basitleşmiştir: GPT-4 veya Claude'a few-shot örnekler vererek ya da structured output (JSON mod) kullanarak sıfır veya az örnekten yüksek kaliteli NER sonuçları elde etmek mümkündür. Bu yaklaşım özellikle özel ontoloji ve az kaynaklı dillerde esneklik sağlar. Varlık çıkarımı doğrudan metinsel bağlamdan bilgi grafiği oluşturma sürecinin temelidir. GraphRAG akışında belge parçalarından varlık çiftleri çıkarılır, ilişkileri belirlenir ve bunlar bir bilgi grafiğine dönüştürülür. Topluluk tespiti ve özetleme aşamalarının girdisini bu varlık-ilişki üçlüleri oluşturur. Türkçe NER'da eklemeli dil yapısı ek bir zorluk katmanı ekler: token sınırları belirsizleşebilir ve özel isimler büyük harf kuralını her zaman izlemeyebilir. BERTurk tabanlı ince ayar veya LLM'in JSON çıktı moduyla birkaç örnekten öğrenme en pratik seçeneklerdir. Değerlendirme span bazlı F1 skoru ile yapılır; kesinlik (precision) ve geri çağırma (recall) her varlık tipi için ayrı raporlanır. CoNLL-2003 ve OntoNotes bu alanın standart kıyaslama veri kümeleridir.
GraphRAG (Graf Tabanlı RAG)
GraphRAG, Microsoft Research tarafından 2024'te tanıtılan ve bilgi grafları (knowledge graph) ile desteklenen gelişmiş bir RAG (Retrieval-Augmented Generation) sistemidir. Klasik RAG'de belgeler küçük parçalara (chunk) bölünür ve vektör benzerliği ile en ilgili parçalar bulunup dil modeline verilir. Bu yaklaşım yerel, spesifik sorularda güçlü olmakla birlikte "Bu belge koleksiyonunun ana temaları nelerdir?" gibi küresel sorularda yetersiz kalır. GraphRAG bu sorunu köklü biçimde çözer. Hazırlık aşamasında belgeler LLM ile analiz edilir; varlıklar (kişi, yer, organizasyon, kavram), aralarındaki ilişkiler ve özetler çıkarılarak yapısal bir bilgi grafına aktarılır. Leiden veya Louvain algoritmasıyla graftaki düğümler topluluklara ayrılır; her topluluk için özet metinler üretilir. Sorgu aşamasında sistem iki moddan birini kullanır: lokal sorgular (belirli bir varlık hakkında) ilgili düğümleri ve komşularından bağlam çeker; küresel sorgular ise tüm topluluk özetlerini birleştirerek bütünsel bir yanıt üretir. 2024 sonunda Microsoft, Lazy GraphRAG adlı daha hafif bir varyant yayımladı. Lazy GraphRAG, hazırlık aşamasında tüm toplulukları önceden özetlemez; bunun yerine sorgu anında dinamik olarak ilgili düğümleri seçer. Bu yöntem indeksleme maliyetini önemli ölçüde düşürür ve orta büyüklükteki belge koleksiyonları için daha uygun bir seçenek sunar. Standart RAG ile karşılaştırıldığında GraphRAG'ın temel avantajı, büyük belge koleksiyonları hakkında tematik ve çapraz referans sorularını yanıtlayabilmesidir. Microsoft'un orijinal değerlendirmesinde GraphRAG, kapsamlılık ve çeşitlilik metriklerinde standart RAG'ı geçmiştir. Kurumsal belge analizi, akademik literatür keşfi ve araştırma raporlarında ilişki bağlantıları oluşturmak bu yaklaşımın öne çıktığı alanlardır. Pratik kullanım açısından Microsoft'un açık kaynak Python paketi (pip install graphrag) ve Azure AI Studio entegrasyonu hazır pipeline sunar. LlamaIndex ve LangChain da hibrit yaklaşımları destekler: yerel sorgular için vektör RAG, küresel sorgular için GraphRAG kombinasyonu. İndeksleme maliyetleri dikkat gerektirir: 1000 sayfalık bir belge koleksiyonunun GPT-4 ile işlenmesi 50–200 USD arası LLM masrafı doğurabilir. Küçük ve orta büyüklükteki projeler için önce standart RAG veya Lazy GraphRAG tercih edilmesi önerilir.
Knowledge Graph (Bilgi Grafiği)
Bilgi grafiği (knowledge graph), gerçek dünya varlıklarını ve bu varlıklar arasındaki ilişkileri yapılandırılmış bir ağ olarak temsil eden bir veri modelidir. Düğümler (node) varlıkları — kişiler, yerler, kavramlar, olaylar — temsil ederken kenarlar (edge) bu varlıklar arasındaki ilişkileri ifade eder. Bu yapı, verinin yalnızca depolanmasını değil, anlam bağlamıyla birlikte sorgulanmasını mümkün kılar. Bilgi grafikleri, Google'ın 2012'de duyurduğu Knowledge Graph projesiyle geniş kitleler tarafından tanınmaya başlamıştır. Google, arama sonuçlarında salt bağlantı listesi yerine varlık bilgilerini (kişi biyografileri, coğrafi veriler, ürün özellikleri) zengin bir biçimde sunmak amacıyla bu teknolojiyi kullanmaktadır. Bugün Wikidata, DBpedia, Freebase ve Yago bu alanın önde gelen açık kaynak örnekleri arasındadır. Teknik olarak bilgi grafikleri çoğunlukla RDF (Resource Description Framework) veya özellik grafikleri (property graph) formatında modellenir. SPARQL, RDF veri tabanlarını sorgulamak için kullanılan standart dil iken Neo4j gibi graf veri tabanları özellik grafikleri için Cypher dilini benimser. Ontolojiler ise bir alan içindeki kavramlar ve ilişkiler için resmî tanımlar sağlar; OWL (Web Ontology Language) bu alanda standart haline gelmiştir. Yapay zeka uygulamalarında bilgi grafikleri, büyük dil modellerinin çıktılarını doğrulamak ve zenginleştirmek amacıyla kullanılmaktadır. Retrieval-Augmented Generation (RAG) sistemlerinde bilgi grafiği entegrasyonu, modelin mantıksal ilişkiler kurmasına ve halüsinasyonları azaltmasına yardımcı olur. İlaç keşfi, dolandırıcılık tespiti, öneri sistemleri ve kurumsal bilgi yönetimi bu teknolojinin öne çıkan uygulama alanlarıdır. Bilgi grafikleri, verilerin silolara ayrılmadan bütünleşik olarak temsil edilmesine olanak tanıdığı için kurumsal veri yönetiminde giderek daha kritik bir rol üstlenmektedir. Şirketler, birden fazla sistemdeki müşteri, ürün ve işlem verilerini tek bir anlamlı ağda birleştirerek daha akıllı sorgulama ve analiz gerçekleştirebilmektedir.