LangSmith vs Langfuse vs Arize: LLM İzleme Hangisi? (2026)

LLM uygulamanızı production’a aldığınız anda şu sorularla yüzleşirsiniz: “Bu çağrı neden bu kadar yavaş? Hangi retrieval adımı bozuk yanıta yol açtı? Prompt değişikliği sonucu iyileştirdi mi, yoksa kötüleştirdi mi?”

Klasik uygulama logları bu soruların hiçbirini yanıtlamaz. Bir LLM pipeline’ında onlarca bileşen iç içe çalışır: retrieval, reranking, prompt rendering, model çağrısı, output parsing. Bunları tek bir trace ağacında görselleştirmek, token maliyetini kullanıcı bazında takip etmek ve yanıt kalitesini sistematik metriklerle ölçmek için özel araçlara ihtiyaç var.

2026’da bu alanda üç isim öne çıkıyor: LangSmith (LangChain ekibinden, cloud-first), Langfuse (açık kaynak, self-host dostu) ve Arize Phoenix (evaluation ve OpenTelemetry odaklı). Üçü de benzer sorunu farklı bir açıdan çözüyor ve seçim büyük ölçüde ekibinizin bağlamına bağlı.

Hızlı Karşılaştırma

LangSmith

LangSmith, LangChain ekibinin geliştirdiği ve LangChain/LangGraph pipeline’larında en az kurulum gerektiren izleme platformu. İki environment variable yeterli; kodu değiştirmek gerekmiyor.

Kurulum

pip install langsmith langchain-openai

import os
from langchain_openai import ChatOpenAI
from langchain_core.prompts import ChatPromptTemplate

os.environ["LANGCHAIN_TRACING_V2"] = "true"
os.environ["LANGCHAIN_API_KEY"] = "ls__..."
os.environ["LANGCHAIN_PROJECT"] = "my-project"

llm = ChatOpenAI(model="gpt-4o-mini")
prompt = ChatPromptTemplate.from_messages([
    ("system", "Sen yardımcı bir asistansın."),
    ("user", "{input}")
])

chain = prompt | llm
result = chain.invoke({"input": "Python'da decorator ne işe yarar?"})

Bu kadar. LangChain, her adımı, input/output değerlerini ve token kullanımını otomatik olarak LangSmith dashboarduna gönderiyor.

Güçlü Yönleri

Karmaşık pipeline’larda en çok işe yarayan özellik nested trace ağacı. Çok katmanlı bir RAG’da gecikme hangi adımdan kaynaklanıyor veya hangi retrieval sonucu boş geldi, birkaç tıklamayla ortaya çıkıyor.

Prompt Hub üzerinden versiyonları karşılaştırabilir, farklı konfigürasyonları A/B testi olarak çalıştırabilir ve aktif promptu kod deploy etmeden değiştirebilirsiniz. Test datasetleri oluşturup LLM-as-judge ile otomatik değerlendirme çalıştırmak, yeni prompt versiyonlarını mevcut baseline’a karşı kıyaslamak da mümkün.

Sınırlamaları

Ücretsiz katman aylık 5.000 trace. Orta ölçekli bir production uygulamasında bu birkaç günde doluyor. Self-host yalnızca Enterprise planında; fiyatlandırması da buna göre şekilleniyor.

LangChain kullanmıyorsanız entegrasyon daha karmaşık: her fonksiyona @traceable decorator eklemek ya da manuel span oluşturmak gerekiyor.

Langfuse

Langfuse MIT lisansıyla açık kaynak olarak geliştiriliyor ve hem cloud hem de self-host olarak çalışıyor. Bütçesi kısıtlı olan ya da veri egemenliği kritik olan ekipler için en erişilebilir başlangıç noktası bu.

Kurulum

pip install langfuse

Self-host için Docker Compose ile başlangıç:

# docker-compose.yml'den — tüm servisleri başlatır
docker compose up -d

Cloud tercih ediyorsanız cloud.langfuse.com’da ücretsiz hesap açtıktan sonra public/secret key almanız yeterli.

Temel Kullanım

from langfuse.openai import openai  # drop-in replacement

# Mevcut OpenAI çağrılarınız değişmeden çalışır
response = openai.chat.completions.create(
    model="gpt-4o-mini",
    messages=[{"role": "user", "content": "RAG nedir?"}],
    metadata={"user_id": "user-123"}
)

Langfuse’un OpenAI wrapper’ı yalnızca import satırını değiştirmenizi gerektiriyor; kodun geri kalanına dokunmak gerekmiyor. LangChain, LlamaIndex ve Anthropic SDK için resmi entegrasyon paketleri de mevcut.

Güçlü Yönleri

Fintech, sağlık ya da regulated sektörlerde trace loglarının üçüncü bir tarafın elinde olması çoğunlukla kabul edilemez. Bu durumda Langfuse iyi bir seçenek: Docker Compose ile on dakikada kendi sunucunuzda çalışmaya başlıyor.

Production prompt’larınızı UI üzerinden güncelleyip anında yayınlayabilirsiniz; prompt değişikliği için deployment gerekmez. Maliyet tarafında token başına hesaplama, model bazında gruplama ve kullanıcı bazında attribution destekleniyor. langfuse.score() ile kullanıcının beğendiği veya reddettiği yanıtları trace’e bağlamak da mümkün; kalite metriklerini insan geri bildirimiyle beslemek için doğrudan bir yol.

Sınırlamaları

LangSmith’e kıyasla evaluation motoru daha az yerleşik şablona sahip. LLM-as-judge konfigürasyonu birkaç ekstra adım gerektiriyor ve LangChain entegrasyonu LangSmith’inkinin derinliğini tutturmuyor.

Arize Phoenix

Arize Phoenix, LLM uygulamalarını OpenTelemetry üzerinden izlemeye ve evaluation metrikleriyle ölçmeye odaklanan açık kaynak bir platform. Üç araç arasında sistematik evaluation için en fazla hazır şablon bu araçta.

Kurulum

pip install arize-phoenix openinference-instrumentation-openai

import phoenix as px
from openinference.instrumentation.openai import OpenAIInstrumentor
from opentelemetry import trace as trace_api
from opentelemetry.exporter.otlp.proto.http.trace_exporter import OTLPSpanExporter
from opentelemetry.sdk import trace as trace_sdk
from opentelemetry.sdk.trace.export import SimpleSpanProcessor

# Phoenix başlat
session = px.launch_app()

# OpenAI'ı OTEL instrumentation ile sarmalıyoruz
tracer_provider = trace_sdk.TracerProvider()
tracer_provider.add_span_processor(
    SimpleSpanProcessor(OTLPSpanExporter(endpoint="http://localhost:4317"))
)
trace_api.set_tracer_provider(tracer_provider)
OpenAIInstrumentor().instrument()

# Bu noktadan itibaren her OpenAI çağrısı otomatik trace ediliyor
from openai import OpenAI
client = OpenAI()
response = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[{"role": "user", "content": "Merhaba!"}]
)

Kurulum diğer ikisine göre daha uzun. Ama OTEL standartlarını taban aldığı için trace’leri Jaeger, Tempo veya kurumsal herhangi bir OTEL uyumlu backend’e de yönlendirebilirsiniz.

Güçlü Yönleri

Evaluation tarafında halüsinasyon tespiti, alaka düzeyi ve bağlam doğruluğu için hazır şablonlar geliyor. RAG pipeline’larında güçlü: retrieval precision ve recall’u otomatik hesaplayabiliyor, hangi chunk’ın gereksiz yere alındığını görebiliyorsunuz.

Mevcut OTEL altyapısı varsa Phoenix doğrudan bağlanıyor; vendor lock-in riskini minimumda tutmak isteyenler için bu bağımsızlık işe yarıyor. Vektör embedding’leri UMAP veya PCA ile 2D/3D görselleştiriyor da: semantic clustering ve anormallik tespiti için başka araçlarda pek karşılaşılmayan bir perspektif. Apache 2.0 lisansıyla tamamen ücretsiz ve self-host edilebilir.

Sınırlamaları

Prompt yönetimi yok. LangSmith ve Langfuse’un UI’dan prompt versiyonu yayınlama özelliği Phoenix’te bulunmuyor. Kurulum da dikkat istiyor: exporter konfigürasyonu yanlış yapılırsa trace’ler sessizce kayboluyor.

Aynı RAG Pipeline, Üç Araçla

Üç aracın kurulum farkını en iyi gösteren şey, aynı pipeline’a integration kodu eklerken ne kadar değişiklik yapılması gerektiği:

# --- LangSmith: 2 environment variable, kalan her şey otomatik ---
import os
os.environ["LANGCHAIN_TRACING_V2"] = "true"
os.environ["LANGCHAIN_API_KEY"] = "ls__..."

# --- Langfuse: tek import değişikliği ---
from langfuse.openai import openai  # import openai yerine

# --- Arize Phoenix: OTEL instrumentation ---
from openinference.instrumentation.openai import OpenAIInstrumentor
OpenAIInstrumentor().instrument()

LangChain kullananlar için çıta en düşük olan LangSmith. Framework bağımsız çalışmak isteyenler için Langfuse tek bir import değişikliğiyle geçiş yaptırıyor. OpenTelemetry yatırımı yapmak ya da embedding analizi yapmak isteyenler için Arize Phoenix uzun vadede daha temiz bir mimari sunuyor.

Trace Overhead ve Performans

Üç araç da asenkron batch gönderimi yaparak uygulama latency’sine neredeyse sıfır ek yük bindiriyor. Yüksek trafikli production senaryolarında asıl dikkat edilmesi gereken nokta trace payload boyutu: büyük context window’lara sahip çağrılarda tek bir trace birkaç yüz kilobaytı geçebilir. Self-host için disk ve ağ boyutsalamasını baştan hesaba katmak gerekiyor.

Hangisini Seçmeli?

Bağlam belirleyici. Tek bir evrensel cevap yok.

LangSmith tercih edin:

• LangChain veya LangGraph ile geliştiriyorsanız
• Hızlı kurulum ve built-in Prompt Hub birincil önceliğinizse
• Veri cloud’da barındırılabilirse

Langfuse tercih edin:

• Self-host zorunluysa (fintech, sağlık, kamu sektörü)
• Framework bağımsız, drop-in bir çözüme ihtiyaç varsa
• Prompt yönetimini kod deploy olmadan yapmak istiyorsanız

Arize Phoenix tercih edin:

• Evaluation kalitesini sistematik metriklerle ölçmek ana hedefse
• RAG pipeline’larında retrieval performansını derinlemesine analiz etmeniz gerekiyorsa
• Kurumsal OTEL altyapısı zaten varsa ve vendor lock-in riskini azaltmak istiyorsanız

LLMOps Ekosistemiyle Bağlantı

Bu üç araç, LLMOps sürecinin izleme ve değerlendirme katmanını dolduruyor; CI/CD, deployment ya da güvenlik konularına dokunmuyorlar.

LangChain tabanlı bir pipeline geliştiriyorsanız LangSmith ile başlamak ve olgunlaştıkça Langfuse’a geçiş yapmak yaygın bir yol. LLM evaluation metriklerini sistematik tutmak istiyorsanız LLM-as-judge kurulumunu bu üç araçtan biriyle entegre etmek en pratik yaklaşım.

RAG sistemi geliştiriyorsanız trace olmadan kalite iyileştirmesi körü körüne gider. Hangi chunk’ın alındığını, reranking sonrası sıralamanın nasıl değiştiğini ve final context’in yanıtta ne ölçüde kullanıldığını görmek için bu araçlardan birini pipeline’a bağlamak gerekiyor.

Üçünü Birlikte Kullanmak

OpenTelemetry üzerinden aynı trace’leri birden fazla backend’e yönlendirmek teknik olarak mümkün. Ancak pratikte tek bir araçla başlayıp ekip olgunlaştıkça değerlendirmek çok daha temiz bir yol. Üç araç birden fazla layer ekliyor; bu, debug sırasında “trace neden gitmiyor” sorununu çözerken verimsizliğe yol açıyor.

Karar vermek için üç soruyu yanıtlamak yeterli: veriye nerede erişilecek, hangi framework üstüne inşa ediliyor ve evaluation ne ölçüde merkezi. Bu soruların yanıtları netleşince yukarıdaki tablo ve kod örnekleri geriye kalan seçimi kolaylaştırır.

Yerel çalışma ortamı için araç karşılaştırması arıyorsanız en iyi açık kaynak yerel LLM araçları 2026 yazısına bakabilirsiniz.