RAG (Geri Getirim Artırılmış Üretim)

#RAG #LLM #vektör-veritabani #LangChain #embedding-model

LLM'yi harici bilgi kaynaklarıyla dinamik olarak destekleyerek güncel ve kaynak gösterilebilir yanıtlar üreten mimari.

RAG (Retrieval-Augmented Generation — Erişim Destekli Üretim), büyük dil modellerinin (LLM) eğitim verisinde bulunmayan ya da güncellenmemiş bilgileri harici bir bilgi tabanından çekerek kullanmasını sağlayan mimari yaklaşımdır. Model ağırlıkları değiştirilmeden, çıkarım (inference) zamanında güncel ve kaynak gösterilebilir bilgi enjekte edilir. RAG'in temel çalışma akışı üç aşamadan oluşur. **İndeksleme:** Dokümanlar önce chunk'lara (parçalara) bölünür, ardından bir gömme (embedding) modeli kullanılarak vektör uzayına dönüştürülür ve vektör veri tabanına kaydedilir (Pinecone, Weaviate, pgvector). **Erişim (Retrieval):** Kullanıcı sorusu da aynı embedding modeliyle vektöre dönüştürülür ve vektör veri tabanında kosinüs benzerliği veya yaklaşık en yakın komşu (ANN) aramasıyla ilgili chunk'lar bulunur. **Üretim (Generation):** Bulunan chunk'lar soruyla birlikte LLM'e bağlam (context) olarak verilir; model bu bilgilere dayanarak yanıt üretir. RAG'in öne çıktığı senaryolar şunlardır: kurumsal bilgi tabanı chatbotları, yasal belge sorgulama, tıbbi literatür özetleme, müşteri destek sistemleri ve gerçek zamanlı veri gerektiren uygulamalar. Fine-tuning ile karşılaştırıldığında RAG çok daha düşük maliyetli ve güncellenmesi kolaydır; bilgi tabanı değiştiğinde yalnızca indeks güncellenir, model yeniden eğitilmez. Başlıca RAG varyantları arasında **Naive RAG** (temel akış), **Advanced RAG** (yeniden sıralama/reranking, hibrit arama, query rewriting), **Modular RAG** (bileşenlerin bağımsız değiştirilebildiği esnek mimari) ve **Graph RAG** (bilgi grafiğinden erişim; Microsoft'un 2024 açık kaynak yayını) sayılabilir. Uygulamada sık karşılaşılan sorunlar: chunk boyutu ve örtüşme stratejisi optimizasyonu, embedding model seçimi, retrieval kalitesini artırmak için HyDE (Hypothetical Document Embedding) veya çapraz kodlayıcı (cross-encoder) reranking kullanımı. LangChain, LlamaIndex ve Haystack gibi framework'ler bu pipeline'ı yönetmek için yaygın araçlardır. Detaylı bilgi için /blog/rag-nedir-retrieval-augmented-generation sayfasına bakılabilir. RAG'in başarısını ölçmek için RAGAS gibi değerlendirme framework'leri kullanılır: faithfulness (modelin yalnızca verilen bağlama sadık kalması), answer relevancy (yanıtın soruyla ilgisi) ve context recall (doğru chunk'ların getirilmesi) temel metriklerdir. Özellikle kurumsal dağıtımlarda bu metriklerin sürekli izlenmesi, sistemin güvenilirliğini korumanın temel yoludur.

RAG Nedir?

RAG (Retrieval-Augmented Generation), LLM'lerin çıkarım zamanında harici bilgi tabanından veri çekerek daha doğru ve güncel yanıtlar üretmesini sağlayan mimaridir. Model ağırlıkları değiştirilmez; bunun yerine prompt'a ilgili doküman parçaları eklenir. Bu yaklaşım, modelin bilgi kesim tarihini aşan ya da özel kurumsal verilerle çalışmasını mümkün kılar.

Çalışma Akışı: Üç Temel Aşama

  • check_circle İndeksleme: Dokümanlar chunk'lara bölünür, embedding modeli ile vektöre dönüştürülür ve Pinecone, pgvector veya Weaviate gibi vektör veri tabanına kaydedilir.
  • check_circle Erişim (Retrieval): Kullanıcı sorusu da vektöre dönüştürülüp kosinüs benzerliği veya ANN aramasıyla en ilgili chunk'lar bulunur; isteğe bağlı reranking ile kalite artırılır.
  • check_circle Üretim (Generation): Bulunan chunk'lar LLM'e bağlam (context) olarak verilir; model bu bilgilere dayanarak kaynak gösterilebilir bir yanıt oluşturur.

RAG vs. Fine-Tuning

Fine-tuning belirli bir görev için modeli yeniden eğitir; maliyet yüksek ve güncellenmesi güçtür. RAG ise bilgi tabanını model dışında tutar: bilgi değiştiğinde yalnızca indeks yenilenir, model değişmez. Sık değişen veriler ve kaynak atfı gerektiren senaryolar için RAG çok daha pratik bir tercih olup kurumsal dağıtımlarda standart haline gelmiştir.

RAG Varyantları

  • check_circle Naive RAG: Temel indeksleme-erişim-üretim akışı. Hızlı prototip için yeterli, ancak düşük kaliteli chunk'larda retrieval başarısı düşer.
  • check_circle Advanced RAG: Reranking (çapraz kodlayıcı), hibrit arama (vektör + BM25), query rewriting ile kalite artırımı sağlayan gelişmiş mimari.
  • check_circle Modular RAG: Bileşenlerin bağımsız değiştirilebildiği esnek yapı; farklı retriever, generator ve memory modülleri serbestçe birleştirilebilir.
  • check_circle Graph RAG: Microsoft'un 2024'te açık kaynak yaptığı, bilgi grafiğinden erişime dayalı yaklaşım — karmaşık çok adımlı (multi-hop) sorgular için güçlüdür.

Pratik Zorluklar ve Çözümler

Chunk boyutu ve örtüşme oranı retrieval kalitesini doğrudan etkiler; küçük chunk'lar hassasiyeti artırırken büyük chunk'lar bağlamı korur. HyDE (Hypothetical Document Embedding), sorudan hipotetik cevap üretip onu aramaya kullanarak erişimi iyileştirir. Gürültülü retrieval sonuçları için cross-encoder reranking tercih edilir. RAGAS framework'ü faithfulness, answer relevancy ve context recall metriklerini otomatik ölçer.

Araçlar ve Ekosistem

LangChain, LlamaIndex ve Haystack, RAG pipeline'larını yönetmek için en yaygın Python framework'leridir. Vektör veri tabanları arasında Pinecone (yönetilen), Weaviate (açık kaynak), Chroma (hafif, yerel) ve pgvector (PostgreSQL eklentisi) öne çıkar. Türkçe içerik için çok dilli embedding modelleri (multilingual-e5, BGE-M3) tercih edilmelidir.

Sık Sorulan Sorular

  • check_circle RAG halüsinasyonu tamamen önler mi? Hayır, azaltır. Model hâlâ alınan belgeleri yanlış yorumlayabilir; ancak kaynaktan sapma çok daha az olur ve yanıtlar doğrulanabilir hale gelir.
  • check_circle Kaç chunk retrieve etmek gerekir? Genellikle top-3 ila top-10 arası önerilir. Çok fazla chunk gürültüyü artırır, çok az chunk bağlamı eksik bırakır; görev tipine göre ayarlanmalıdır.
  • check_circle RAG ile fine-tuning birlikte kullanılabilir mi? Evet. Fine-tuning modelin davranışını ve tonunu şekillendirirken, RAG güncel bilgi sağlar. İkisi tamamlayıcıdır ve bazı kurumsal sistemler her ikisini birden kullanır.
  • check_circle RAG ve ajanlar (agents) nasıl çalışır? RAG, ajanın tool call yoluyla eriştiği bilgi getirme katmanı olabilir. Bu mimari agentic RAG olarak adlandırılır ve karmaşık çok adımlı görevlerde yaygın biçimde kullanılır.