API Gateway

API Gateway (API Ağ Geçidi), istemci uygulamalardan gelen istekleri arka uç hizmetlere ileten ve bu süreçte kimlik doğrulama, hız sınırlama, yük dengeleme ile istek yönlendirme gibi çapraz kesen işlemleri tek bir noktada yöneten bir ara yazılım bileşenidir. Mikroservis mimarilerinde, onlarca farklı servis için bu işlevleri tek tek kodlamak yerine merkezi bir giriş noktası oluşturmak geliştirme sürecini sadeleştirir ve tutarsızlıkları önler. Yapay zeka ve büyük dil modeli (LLM) altyapısında API Gateway ek bir stratejik önem taşır. LiteLLM, Portkey ve Helicone gibi LLM-özgü gateway araçları, OpenAI, Anthropic, Google Gemini ve açık kaynaklı modeller gibi farklı sağlayıcıları tek bir uç nokta üzerinden sunar. Bu yaklaşım, sağlayıcı değişikliklerini uygulama koduna dokunmadan gerçekleştirmeyi, token kullanımını izlemeyi ve maliyet tahsisini (cost attribution) yönetmeyi kolaylaştırır. MLOps bağlamında API Gateway, model servisi katmanının önünde konumlanır. TensorFlow Serving, Triton Inference Server veya vLLM gibi çıkarım motorlarına gelen trafiği yönetir; A/B testi ve kanary dağıtım (canary deployment) senaryolarında farklı model sürümlerine trafik yüzdesi ataması yapar. Rate limiting mekanizması, token kotasını ve dakika başına istek (RPM) limitini denetleyerek hem maliyet hem de servis kararlılığı açısından kritik bir koruma katmanı oluşturur. Kong, AWS API Gateway, Azure API Management ve Nginx/APISIX gibi geleneksel araçlar Kubernetes ortamlarında Ingress denetleyicisi olarak da kullanılır. Gözlemlenebilirlik açısından her API Gateway, istek gecikmesi, hata oranı ve token tüketimini Prometheus/Grafana yığınına aktarabilir.