tag GraphRAG
Bu sayfada GraphRAG etiketi ile işaretlenmiş 4 yapay zeka kavramını bulabilirsiniz.
GraphRAG, Microsoft Research tarafından 2024'te tanıtılan ve bilgi grafları (knowledge graph) ile desteklenen gelişmiş bir RAG (Retrieval-Augmented Generation) sistemidir. Klasik RAG'de belgeler küçük parçalara (chunk) bölünür ve vektör benzerliği ile en ilgili parçalar bulunup dil modeline verilir. Bu yaklaşım yerel, spesifik sorularda güçlü olmakla birlikte "Bu belge koleksiyonunun ana temaları nelerdir?" gibi küresel sorularda yetersiz kalır. GraphRAG bu sorunu köklü biçimde çözer. Hazırlık aşamasında belgeler LLM ile analiz edilir; varlıklar (kişi, yer, organizasyon, kavram), aralarındaki ilişkiler ve özetler çıkarılarak yapısal bir bilgi grafına aktarılır. Leiden veya Louvain algoritmasıyla graftaki düğümler topluluklara ayrılır; her topluluk için özet metinler üretilir. Sorgu aşamasında sistem iki moddan birini kullanır: lokal sorgular (belirli bir varlık hakkında) ilgili düğümleri ve komşularından bağlam çeker; küresel sorgular ise tüm topluluk özetlerini birleştirerek bütünsel bir yanıt üretir. 2024 sonunda Microsoft, Lazy GraphRAG adlı daha hafif bir varyant yayımladı. Lazy GraphRAG, hazırlık aşamasında tüm toplulukları önceden özetlemez; bunun yerine sorgu anında dinamik olarak ilgili düğümleri seçer. Bu yöntem indeksleme maliyetini önemli ölçüde düşürür ve orta büyüklükteki belge koleksiyonları için daha uygun bir seçenek sunar. Standart RAG ile karşılaştırıldığında GraphRAG'ın temel avantajı, büyük belge koleksiyonları hakkında tematik ve çapraz referans sorularını yanıtlayabilmesidir. Microsoft'un orijinal değerlendirmesinde GraphRAG, kapsamlılık ve çeşitlilik metriklerinde standart RAG'ı geçmiştir. Kurumsal belge analizi, akademik literatür keşfi ve araştırma raporlarında ilişki bağlantıları oluşturmak bu yaklaşımın öne çıktığı alanlardır. Pratik kullanım açısından Microsoft'un açık kaynak Python paketi (pip install graphrag) ve Azure AI Studio entegrasyonu hazır pipeline sunar. LlamaIndex ve LangChain da hibrit yaklaşımları destekler: yerel sorgular için vektör RAG, küresel sorgular için GraphRAG kombinasyonu. İndeksleme maliyetleri dikkat gerektirir: 1000 sayfalık bir belge koleksiyonunun GPT-4 ile işlenmesi 50–200 USD arası LLM masrafı doğurabilir. Küçük ve orta büyüklükteki projeler için önce standart RAG veya Lazy GraphRAG tercih edilmesi önerilir.
Community Detection (Topluluk Tespiti)
Topluluk tespiti (community detection), bir grafın (ağın) kendi içinde yoğun bağlantılı, diğer gruplardan görece seyrek bağlantılı alt yapılarını — toplulukları — ortaya çıkaran graf analizi yöntemidir. Sosyal ağlarda arkadaşlık kümeleri, web grafiklarında konu kümeleri, biyolojik ağlarda işlevsel protein modülleri ve bilgi graflarında kavram grupları bu yöntemle tespit edilebilir. Topluluk tespiti algoritmaları dört ana sınıfa ayrılır. Modülarite optimizasyonu sınıfında Louvain algoritması, grafı aşamalı olarak birleştirerek modülariteyi (Q) maksimize eder; O(n log n) karmaşıklığıyla milyonlarca düğüme ölçeklenir ve literatürün en yaygın kullanılan yöntemidir. Leiden algoritması Louvain'in geliştirilmiş halidir: lokal boşluk sorununu gidererek daha bağlantılı topluluklar üretir ve 2019'dan itibaren büyük ölçekli ağ analizinde standart hâle gelmiştir. Hiyerarşik bölme yöntemlerinde Girvan-Newman algoritması, arasındalık merkeziyeti (betweenness centrality) en yüksek kenarları iteratif biçimde çıkararak toplulukları ayırır; hesaplama maliyeti yüksek olduğundan büyük graflarda daha az tercih edilir. Spektral kümeleme, grafın Laplacian matrisinin özvektörlerini kullanarak düğümleri özellik uzayında kümelendirir ve görüntü segmentasyonu ile doküman kümeleme alanlarında öne çıkar. Etiket yayılımı (label propagation) ise her düğümün komşularındaki en yaygın etiketi benimsemesine dayanan hızlı ve paralel bir yöntemdir. Yapay zeka uygulamalarında topluluk tespiti kritik bir bileşen hâline gelmiştir. Microsoft'un GraphRAG sistemi (2024), metin belgelerinden çıkarılan varlık grafındaki toplulukları Leiden algoritmasıyla tespit eder ve her topluluk için hiyerarşik özet raporlar üretir. Bu raporlar, "sektörde hangi trendler öne çıkıyor?" gibi geniş kapsamlı sorgulara yanıt verirken bağlam olarak kullanılır — standart vektör RAG'ın başarısız olduğu global sorularda çarpıcı biçimde daha iyi sonuçlar elde eder. Öneri sistemlerinde kullanıcı-ürün grafındaki topluluklar, soğuk başlangıç (cold start) sorununu azaltmak için grup tabanlı öneriler üretmekte kullanılır. Doğruluk tespitinde (misinformation detection) sosyal ağ topluluklarının yapısı, koordineli dezenformasyon kampanyalarını tespit etmek için analiz edilmektedir.
Entity Extraction (Varlık Çıkarımı (Entity Extraction))
Varlık çıkarımı (Entity Extraction), doğal dil işleme (NLP) alanında yapılandırılmamış metinlerden adlandırılmış varlıkları — kişi adları, kurum adları, coğrafi konumlar, tarihler, ürün adları gibi — otomatik olarak tespit etme ve sınıflandırma sürecidir. İsimli Varlık Tanıma (Named Entity Recognition — NER) olarak da bilinir. Teknik açıdan NER, her tokeni BIO (Beginning-Inside-Outside) veya BIOES şemasıyla etiketleyen bir dizi etiketleme problemidir. Geleneksel yöntemler kural tabanlı düzenli ifadeler ve istatistiksel Koşullu Rastsal Alanlar (CRF) üzerine kuruluydu. BiLSTM-CRF mimarisi, bağlamsal özellik öğrenmeyi CRF etiket tutarlılığıyla birleştirerek 2010'ların NER standardı oldu. 2019'dan itibaren BERT tabanlı token sınıflandırması bu mimarinin büyük bölümünün yerini aldı; alan-özgü varlık türleri (tıbbi terminoloji, hukuki belgeler) için ince ayarlı BERT modelleri güçlü seçenek olmaya devam etmektedir. Modern LLM tabanlı yaklaşımlarda süreç kökten basitleşmiştir: GPT-4 veya Claude'a few-shot örnekler vererek ya da structured output (JSON mod) kullanarak sıfır veya az örnekten yüksek kaliteli NER sonuçları elde etmek mümkündür. Bu yaklaşım özellikle özel ontoloji ve az kaynaklı dillerde esneklik sağlar. Varlık çıkarımı doğrudan metinsel bağlamdan bilgi grafiği oluşturma sürecinin temelidir. GraphRAG akışında belge parçalarından varlık çiftleri çıkarılır, ilişkileri belirlenir ve bunlar bir bilgi grafiğine dönüştürülür. Topluluk tespiti ve özetleme aşamalarının girdisini bu varlık-ilişki üçlüleri oluşturur. Türkçe NER'da eklemeli dil yapısı ek bir zorluk katmanı ekler: token sınırları belirsizleşebilir ve özel isimler büyük harf kuralını her zaman izlemeyebilir. BERTurk tabanlı ince ayar veya LLM'in JSON çıktı moduyla birkaç örnekten öğrenme en pratik seçeneklerdir. Değerlendirme span bazlı F1 skoru ile yapılır; kesinlik (precision) ve geri çağırma (recall) her varlık tipi için ayrı raporlanır. CoNLL-2003 ve OntoNotes bu alanın standart kıyaslama veri kümeleridir.
GraphRAG (Graf Tabanlı RAG)
GraphRAG, Microsoft Research tarafından 2024'te tanıtılan ve bilgi grafları (knowledge graph) ile desteklenen gelişmiş bir RAG (Retrieval-Augmented Generation) sistemidir. Klasik RAG'de belgeler küçük parçalara (chunk) bölünür ve vektör benzerliği ile en ilgili parçalar bulunup dil modeline verilir. Bu yaklaşım yerel, spesifik sorularda güçlü olmakla birlikte "Bu belge koleksiyonunun ana temaları nelerdir?" gibi küresel sorularda yetersiz kalır. GraphRAG bu sorunu köklü biçimde çözer. Hazırlık aşamasında belgeler LLM ile analiz edilir; varlıklar (kişi, yer, organizasyon, kavram), aralarındaki ilişkiler ve özetler çıkarılarak yapısal bir bilgi grafına aktarılır. Leiden veya Louvain algoritmasıyla graftaki düğümler topluluklara ayrılır; her topluluk için özet metinler üretilir. Sorgu aşamasında sistem iki moddan birini kullanır: lokal sorgular (belirli bir varlık hakkında) ilgili düğümleri ve komşularından bağlam çeker; küresel sorgular ise tüm topluluk özetlerini birleştirerek bütünsel bir yanıt üretir. 2024 sonunda Microsoft, Lazy GraphRAG adlı daha hafif bir varyant yayımladı. Lazy GraphRAG, hazırlık aşamasında tüm toplulukları önceden özetlemez; bunun yerine sorgu anında dinamik olarak ilgili düğümleri seçer. Bu yöntem indeksleme maliyetini önemli ölçüde düşürür ve orta büyüklükteki belge koleksiyonları için daha uygun bir seçenek sunar. Standart RAG ile karşılaştırıldığında GraphRAG'ın temel avantajı, büyük belge koleksiyonları hakkında tematik ve çapraz referans sorularını yanıtlayabilmesidir. Microsoft'un orijinal değerlendirmesinde GraphRAG, kapsamlılık ve çeşitlilik metriklerinde standart RAG'ı geçmiştir. Kurumsal belge analizi, akademik literatür keşfi ve araştırma raporlarında ilişki bağlantıları oluşturmak bu yaklaşımın öne çıktığı alanlardır. Pratik kullanım açısından Microsoft'un açık kaynak Python paketi (pip install graphrag) ve Azure AI Studio entegrasyonu hazır pipeline sunar. LlamaIndex ve LangChain da hibrit yaklaşımları destekler: yerel sorgular için vektör RAG, küresel sorgular için GraphRAG kombinasyonu. İndeksleme maliyetleri dikkat gerektirir: 1000 sayfalık bir belge koleksiyonunun GPT-4 ile işlenmesi 50–200 USD arası LLM masrafı doğurabilir. Küçük ve orta büyüklükteki projeler için önce standart RAG veya Lazy GraphRAG tercih edilmesi önerilir.
Knowledge Graph (Bilgi Grafiği)
Bilgi grafiği (knowledge graph), gerçek dünya varlıklarını ve bu varlıklar arasındaki ilişkileri yapılandırılmış bir ağ olarak temsil eden bir veri modelidir. Düğümler (node) varlıkları — kişiler, yerler, kavramlar, ürünler — ifade ederken kenarlar (edge) bu varlıklar arasındaki ilişkileri — "doğduğu yer", "çalıştığı kurum", "bağlı olduğu kategori" — temsil eder. Bu yapı, geleneksel ilişkisel veri tabanlarının satır-sütun modelinin ötesinde, dünyanın ağ benzeri karmaşıklığını doğal biçimde yansıtır. Bilgi grafikleri iki ana paradigmayla modellenir. W3C standardı olan RDF (Resource Description Framework), özne-yüklem-nesne üçlülerinden (triple) oluşur ve SPARQL diliyle sorgulanır; bağlantılı açık veri (Linked Open Data) ekosistemine uygundur. Özellik grafik modeli ise düğüm ve kenarlara serbestçe nitelik (property) eklemeye olanak tanır; Neo4j, Amazon Neptune ve TigerGraph bu modelin başlıca temsilcileridir. Cypher dili, özellik grafikleri için SQL benzeri okunabilirlikte sorgular yazmayı mümkün kılar. Büyük ölçekli örnekler arasında Google Knowledge Graph, Wikidata, DBpedia ve Facebook Social Graph sayılabilir. Google Knowledge Graph, arama sonuçlarındaki bilgi panellerini beslerken Wikidata, Wikipedia'nın makine okunabilir yapılandırılmış veri deposu işlevi görür. Yapay zeka ile entegrasyon bilgi grafiklerini özellikle değerli kılar. Büyük dil modelleri (LLM) geniş genel bilgiye sahip olsa da belirli alanlarda hata yapabilir ve halüsinasyon üretebilir. Bilgi grafiği entegrasyonu, modelin yanıtlarını doğrulanmış ve güncel gerçeklerle destekler. GraphRAG gibi yaklaşımlar, geleneksel vektör tabanlı retrieval'ın ötesinde mantıksal ilişki zincirlerini de sorgulayabilmekte; bu yöntem bilgi yoğun uygulamalarda yanıt doğruluğunu belirgin biçimde artırmaktadır. Uygulama alanları son derece geniştir: ilaç keşfinde gen-protein-hastalık ilişkileri, finansta dolandırıcılık ağları tespiti, e-ticarette öneri sistemleri ve kurumsal bilgi yönetimi bunların başında gelir. Ontoloji ve taksonomilerle zenginleştirilen bilgi grafikleri, veriye anlamsal derinlik katarak hem insan kullanıcıların hem de yapay zeka sistemlerinin bilgiye erişim ve çıkarım kalitesini artırır.