Observability (AI) Nedir? (AI Gözlemlenebilirliği)

#observability #mlops #llm #monitoring #izleme

Üretim ortamındaki yapay zeka ve LLM sistemlerinin davranışını loglar, metrikler ve izler aracılığıyla anlama ve izleme pratiği.

AI Observability (Yapay Zeka Gözlemlenebilirliği), üretim ortamında çalışan makine öğrenmesi modelleri ve büyük dil modellerinin (LLM) içsel durumunu dışsal çıktılarından anlama pratiğidir. Geleneksel yazılım gözlemlenebilirliğinin üç sütununu — loglar, metrikler ve izler (traces) — AI sistemlerine uygular; buna ek olarak prompt kalitesi, yanıt doğruluğu, token maliyeti ve hallusinasyon oranı gibi AI'ya özgü metrikleri de kapsar. Üretim ML modellerinde veri drifti ve model drifti izlemesi de bu kapsamın içindedir.

Tanım

AI Observability, üretim ortamındaki yapay zeka sistemlerinin içsel durumunu dışsal çıktılarından çıkarsama pratiğidir. Klasik yazılım dünyasında gözlemlenebilirlik şu üç sütun üzerine kurulur: loglar (olayların kaydı), metrikler (sayısal performans göstergeleri) ve izler/traces (bir isteğin sistemdeki tüm servisler boyunca adım adım takibi). AI sistemlerinde bu altyapı; model çıktısı kalitesi, prompt performansı, token maliyeti, gecikme ve hallusinasyon oranı gibi yeni katmanlarla genişler.

Geleneksel İzleme ile Farkı

Geleneksel monitoring çoğunlukla altyapıya odaklanır: CPU, bellek, hata oranları. AI observability ise bunların ötesine geçer ve model davranışını izler. Bir modelin yanıtı teknik olarak 200 OK döndürebilir, ancak içerik kalitesiz, yanlış veya zararlı olabilir. Bu fark, AI observability'yi geleneksel APM (Application Performance Monitoring) araçlarından temel olarak ayırır: yalnızca çalışıyor mu sorusunu değil, doğru çalışıyor mu sorusunu da yanıtlaması gerekir.

LLM Observability Bileşenleri

LLM tabanlı sistemler için gözlemlenebilirlik şu katmanları kapsar: Trace (izleme) her kullanıcı isteğinin hangi adımlardan geçtiğini, hangi araçların çağrıldığını ve hangi prompt şablonunun kullanıldığını uçtan uca kaydeder. Metrikler ortalama gecikme (latency), başarı oranı, token/maliyet başına yanıt kalitesi ve fallback oranını içerir. Değerlendirme (evaluation) katmanı hallusinasyon tespiti, cevap alaka düzeyi (faithfulness, relevance) ve zararlı içerik skorlarını üretir. Prompt versiyonlama ise hangi prompt'ın daha iyi sonuç verdiğini A/B test etmeye olanak tanır.

Model ve Veri Drift İzleme

Klasik makine öğrenmesi modelleri için observability ayrıca veri drifti (gelen verinin eğitim dağılımından uzaklaşması) ve model driftini (tahminlerin zamanla bozulması) kapsar. Bu iki sorun genellikle ani bir hata yerine sessiz bir performans düşüşü olarak kendini gösterir; bu nedenle sürekli istatistiksel izleme gerektirir. LLM'lerde benzeri sorun prompt drift biçiminde ortaya çıkabilir: deployment sonrası kullanıcı dilinin değişmesi modelin eğitildiği dağılımdan uzaklaşmasına yol açar.

Başlıca Araçlar

Açık kaynak ve ticari seçenekler arasında Langfuse öne çıkar: LLM uygulamaları için açık kaynak trace ve değerlendirme platformu olup OpenAI, LangChain ve LlamaIndex ile entegrasyon sağlar. Arize Phoenix ise yerel-ilk, notebook dostu bir yaklaşımla 50'den fazla araştırma destekli metrik sunar. MLflow deney takibi ve model kayıt defterine ek olarak LLM trace desteği eklemiştir. Weights and Biases (W&B) eğitim sürecinden üretime kadar tam yaşam döngüsü izlemesi sağlar. Kurumsal ortamlarda Datadog AI Monitoring APM altyapısına AI katmanı ekler.

MLOps ile İlişkisi

Observability, MLOps olgunluk modelinin kritik bir bileşenidir. Sürekli entegrasyon ve dağıtım (CI/CD) hattının sağlıklı çalışması, canary deployment kararları ve shadow mode testleri için observability verileri girdi sağlar. Bir modelin yeni sürümünün eski sürümden daha iyi performans gösterip göstermediğine karar vermek, ancak güvenilir gözlemlenebilirlik altyapısı üzerine kurulabilir.