tag Model Serving
Bu sayfada Model Serving etiketi ile işaretlenmiş 6 yapay zeka kavramını bulabilirsiniz.
FastAPI, Python geliştiricilerinin yüksek performanslı REST API'leri hızla geliştirmesine olanak tanıyan modern bir web çerçevesidir. Sebastián Ramírez tarafından 2018 yılında yayımlanan bu çerçeve, Python'un standart tip açıklamaları (type hints) üzerine kurulu olup Pydantic ve Starlette kütüphanelerini temel alır. FastAPI, Starlette adlı ASGI tabanlı web çerçevesi üzerine inşa edilmiştir. Bir endpoint tanımlandığında Pydantic kütüphanesi gelen istekleri otomatik doğrular; Swagger UI ve ReDoc arayüzleri ekstra çaba gerekmeksizin interaktif API dokümantasyonu oluşturur. İstek gövdesi, sorgu parametreleri ve path değişkenleri fonksiyon imzasındaki tip açıklamalarından okunur; hatalı veri gönderildiğinde çerçeve otomatik olarak 422 hata yanıtı döner ve hangi alanın neden geçersiz olduğunu açıklar. Async/await desteğiyle aynı anda binlerce isteği yönetebilir; I/O ağırlıklı işlerde —veritabanı sorgusu, harici LLM API çağrısı— event loop bloklanmadan diğer istekler işlenmeye devam eder. Yapay zeka projeleri için FastAPI, modeli bir kez belleğe yükleyip her istek için yeniden yüklemeden çıkarım yapan lifespan olaylarını destekler. Streaming yanıtlar (StreamingResponse), büyük dil modellerinin token token çıktısını HTTP üzerinden gerçek zamanlı aktarmak için özellikle uygundur. Background tasks mekanizması, tahmin sonuçlarını veritabanına kaydetme veya günlük tutma gibi ikincil işlemleri ana yanıtı geciktirmeden yürütür. Performans açısından FastAPI, ASGI ve async/await mimarisiyle yüksek eşzamanlılık sunar; bağımsız kıyaslamalarda Python çerçeveleri arasında en hızlılardan biri olup Node.js ile kıyaslanabilir sonuçlar verir. Flask ve Django REST Framework ile karşılaştırıldığında, tip doğrulama ve otomatik belgeleme geliştirici deneyimini belirgin biçimde iyileştirirken üretim yüklerinde gecikmeyi düşürür. Büyük yapay zeka sistemlerinde FastAPI tipik olarak şu roller üstlenir: LLM veya görüntü modellerinin çıkarım uç noktası, RAG boru hattının orkestra katmanı, model izleme ve geri bildirim toplama API'si. Gunicorn + Uvicorn ikili, Docker ve Kubernetes ortamlarında ölçeklenebilir dağıtım için endüstri standardı haline gelmiştir.
FastAPI (Python Web Çerçevesi)
FastAPI, Python geliştiricilerinin yüksek performanslı REST API'leri hızla geliştirmesine olanak tanıyan modern bir web çerçevesidir. Sebastián Ramírez tarafından 2018 yılında yayımlanan bu çerçeve, Python'un standart tip açıklamaları (type hints) üzerine kurulu olup Pydantic ve Starlette kütüphanelerini temel alır. FastAPI, Starlette adlı ASGI tabanlı web çerçevesi üzerine inşa edilmiştir. Bir endpoint tanımlandığında Pydantic kütüphanesi gelen istekleri otomatik doğrular; Swagger UI ve ReDoc arayüzleri ekstra çaba gerekmeksizin interaktif API dokümantasyonu oluşturur. İstek gövdesi, sorgu parametreleri ve path değişkenleri fonksiyon imzasındaki tip açıklamalarından okunur; hatalı veri gönderildiğinde çerçeve otomatik olarak 422 hata yanıtı döner ve hangi alanın neden geçersiz olduğunu açıklar. Async/await desteğiyle aynı anda binlerce isteği yönetebilir; I/O ağırlıklı işlerde —veritabanı sorgusu, harici LLM API çağrısı— event loop bloklanmadan diğer istekler işlenmeye devam eder. Yapay zeka projeleri için FastAPI, modeli bir kez belleğe yükleyip her istek için yeniden yüklemeden çıkarım yapan lifespan olaylarını destekler. Streaming yanıtlar (StreamingResponse), büyük dil modellerinin token token çıktısını HTTP üzerinden gerçek zamanlı aktarmak için özellikle uygundur. Background tasks mekanizması, tahmin sonuçlarını veritabanına kaydetme veya günlük tutma gibi ikincil işlemleri ana yanıtı geciktirmeden yürütür. Performans açısından FastAPI, ASGI ve async/await mimarisiyle yüksek eşzamanlılık sunar; bağımsız kıyaslamalarda Python çerçeveleri arasında en hızlılardan biri olup Node.js ile kıyaslanabilir sonuçlar verir. Flask ve Django REST Framework ile karşılaştırıldığında, tip doğrulama ve otomatik belgeleme geliştirici deneyimini belirgin biçimde iyileştirirken üretim yüklerinde gecikmeyi düşürür. Büyük yapay zeka sistemlerinde FastAPI tipik olarak şu roller üstlenir: LLM veya görüntü modellerinin çıkarım uç noktası, RAG boru hattının orkestra katmanı, model izleme ve geri bildirim toplama API'si. Gunicorn + Uvicorn ikili, Docker ve Kubernetes ortamlarında ölçeklenebilir dağıtım için endüstri standardı haline gelmiştir.
Model Deployment (Model Dağıtımı)
Model Dağıtımı (Model Deployment), bir makine öğrenmesi veya derin öğrenme modelinin araştırma ve geliştirme ortamından alınarak gerçek dünya kullanıcılarına hizmet verecek üretim ortamına (production) taşınma sürecidir. Bu süreç, bir yapay zeka projesinin kritik son aşamasını oluşturur; en yüksek doğruluklu model bile kullanıcılara ulaşamazsa hiçbir değer üretemez. Dağıtım süreci birkaç temel aşamayı kapsar: modelin optimize edilmesi ve paketlenmesi, servis altyapısının kurulması, API uç noktalarının yapılandırılması, gerçek zamanlı (real-time) veya toplu (batch) tahmin hizmetlerinin devreye alınması ve sürekli izleme mekanizmalarının aktif edilmesi. Model, ONNX, TensorFlow SavedModel, PyTorch TorchScript gibi taşınabilir formatlara dönüştürülerek farklı platformlarda çalışabilir hale getirilir. Dağıtım stratejileri uygulamanın gereksinimlerine göre değişir. Mavi-Yeşil (Blue-Green) dağıtımda eski ve yeni model sürümleri paralel çalışır, trafik kesintisiz aktarılır. Kanarya (Canary) dağıtımında yeni model önce küçük bir kullanıcı grubuna sunularak riskler minimize edilir. A/B testi stratejisiyle farklı model sürümlerinin performansı karşılaştırılarak en iyi model seçilir. Shadow dağıtımda ise yeni model gerçek trafik üzerinde sessizce çalışır ancak kullanıcıya yanıt vermez; bu yol üretim davranışını risk almadan gözlemlemeye yarar. Dağıtım ortamları bulut (cloud), uç bilişim (edge) veya yerel sunucu (on-premise) olabilir. LLM gibi büyük dil modelleri genellikle GPU kümelerinde çalıştırılırken, küçük ve kuantize edilmiş modeller akıllı telefon ve IoT cihazları gibi uç ortamlarda koşturulabilir. NVIDIA Triton Inference Server, TensorFlow Serving, Seldon Core, BentoML ve MLflow gibi araçlar modern model dağıtım ekosisteminin temel taşlarıdır. Model izleme, başarılı bir dağıtımın ayrılmaz parçasıdır. Veri kayması (data drift), kavram kayması (concept drift) ve performans düşüşleri sürekli izlenerek gerektiğinde otomatik yeniden eğitim (retraining) tetiklenir. Gecikme (latency), işlem hacmi (throughput) ve hata oranları gibi operasyonel metrikler SLA gereksinimlerini karşılayıp karşılamadığını belirler. Otomasyon düzeyi arttıkça model dağıtımı MLOps disiplininin merkezine taşınmakta; CI/CD boru hatlarıyla entegrasyon, model kayıt defteri (model registry) yönetimi ve otomatik geri alma (rollback) mekanizmaları standart pratik haline gelmektedir. Ölçeklenebilir ve güvenilir bir dağıtım altyapısı, modelin iş değerine dönüştürülmesindeki son ve belirleyici adımdır.
NVIDIA NIM (NVIDIA NIM)
NVIDIA NIM (NVIDIA Inference Microservices), yapay zeka modellerini kurumsal ortamlarda hızlı, güvenli ve ölçeklenebilir biçimde devreye almak için tasarlanmış konteyner tabanlı bir mikroservis paketidir. Mart 2024'teki GTC konferansında duyurulan ve Nisan 2024'te NVIDIA AI Enterprise 5.0 kapsamında genel kullanıma açılan NIM, her biri bir Docker konteyneri olarak paketlenmiş hazır model servislerinden oluşur. Her NIM konteyneri; model ağırlıkları, otomatik olarak seçilen çıkarım arka ucu (TensorRT-LLM, vLLM veya SGLang) ve OpenAI API uyumlu bir REST API uç noktasından oluşur. Bu sayede geliştiriciler, mevcut OpenAI tabanlı uygulamalarını minimum kod değişikliğiyle kendi GPU altyapısına taşıyabilir. Çıkarım arka ucu, hedef GPU'ya ve model türüne göre otomatik seçilir; FP8, INT4 ve GGUF gibi nicemleme (quantization) formatları desteklenerek bellek kullanımı optimize edilir. NIM, NVIDIA'nın NGC (GPU Cloud) kataloğu üzerinden yüzlerce model sunar: Meta Llama 3.x ailesi (8B, 70B, 405B), Mistral, Google Gemma, Stable Diffusion, Whisper ve NVIDIA Cosmos video modelleri bu katalogda yer alır. Dağıtım ortamı esnekliği açısından NIM; yerel sunucularda, veri merkezlerinde ve Amazon AWS, Microsoft Azure ile Google Cloud gibi büyük bulut sağlayıcılarında çalışabilir. Kurumsal kullanım için NIM konteynerleri kriptografik olarak imzalanmış, CVE açık taramasından geçirilmiş ve SBOM (Yazılım Malzeme Listesi) belgesiyle birlikte yayımlanmıştır. Hava boşluklu (air-gapped) ortamlar da desteklenmektedir. KVKK gibi yerel düzenleyici gereksinimleri olan Türk kurumları için NIM, bulut bağımlılığını ortadan kaldırarak tam veri egemenliği sağlayan bir çözüm sunar. Kubernetes yerel ölçeklendirme desteği sayesinde NIM, düşük gecikme ve yüksek verim gerektiren üretim ortamları için idealdir; RAG pipeline'ları, ajan sistemleri ve gerçek zamanlı çıkarım uygulamalarında yaygın olarak kullanılmaktadır. NVIDIA'nın kendi kıyaslama ölçümlerine göre NIM, optimize edilmiş TensorRT-LLM arka ucuyla standart dağıtımlara kıyasla 3-5 kat daha yüksek token verimi sunabilmekte; bu avantaj özellikle yoğun üretim trafiğinde belirginleşmektedir.
Inference Server (Çıkarım Sunucusu)
Inference server (çıkarım sunucusu), eğitilmiş makine öğrenmesi modellerini üretim ortamında HTTP veya gRPC API'ler aracılığıyla servis etmek için tasarlanmış özelleşmiş yazılım sistemidir. Model eğitimi çevrimdışı ve tek seferlik bir süreç iken, inference servisi sürekli çalışan, yüksek kullanılabilirlik ve düşük gecikme süresi gerektiren kritik bir altyapı katmanıdır. Modern inference sunucuları birkaç temel sorunu çözer: GPU kullanımını en üst düzeye çıkarmak için istekleri dinamik olarak gruplandırır (continuous batching), birden fazla modeli aynı anda barındırır (multi-model hosting), model sürümlerini yönetir ve izleme için Prometheus/Grafana gibi araçlarla entegrasyon sunar. 2026 itibarıyla öne çıkan inference sunucuları şunlardır: NVIDIA Triton Inference Server (artık NVIDIA Dynamo-Triton adıyla anılan, TensorRT, ONNX Runtime, PyTorch ve vLLM backend'lerini destekleyen genel amaçlı çözüm), vLLM (büyük dil modelleri için PagedAttention ile bellek yönetimini optimize eden açık kaynaklı sunucu), TorchServe (PyTorch modellerine özel, torch.compile() entegrasyonuyla hızlandırılmış) ve ONNX Runtime (Microsoft'un çok platformlu çıkarım motoru). Performans metrikleri açısından iki temel ölçüt kullanılır: gecikme süresi (P50/P95/P99 yanıt süreleri ve ilk token süresi) ve iş hacmi (saniyede sorgu sayısı, token üretim hızı). İyi yapılandırılmış inference sunucuları, spekülatif kod çözme ve TensorRT entegrasyonu gibi tekniklerle 3-10× performans iyileştirmesi sunar. Inference server, MLOps altyapısının merkezindedir: CI/CD pipeline'ları yeni model sürümlerini sıfır kesinti ile devreye alırken (blue-green deployment, canary releases), A/B test çerçeveleri farklı model versiyonlarını paralel olarak değerlendirir. Kubernetes üzerinde çalışan inference sunucuları yatay ölçeklenebilirlik ve otomatik iyileştirme sunar. Dağıtım mimarisi açısından inference sunucuları bulut, şirket içi (on-premise) ve kenar (edge) olmak üzere üç ortamda çalışabilir. Bulut dağıtımı esnek ölçeklenme ve yönetilen GPU erişimi sunarken, on-premise tercih güvenlik ve veri gizliliği gereksinimlerini karşılar; edge deployment ise bant genişliği kısıtlı ortamlarda gerçek zamanlı çıkarım için küçültülmüş modelleri IoT cihazlarında çalıştırır. Hangi dağıtım modeli seçilirse seçilsin, doğru yapılandırılmış bir inference sunucusu GPT-4 sınıfı modellerin bile kurumsal SLA'ları karşılamasını mümkün kılar.
Kubeflow (Kubeflow)
Kubeflow, Google'ın Kubernetes altyapısı üzerine inşa ettiği açık kaynak makine öğrenimi platform paketidir. 2018'de Google'ın kendi iç ML iş akışlarını kamuya açması sonucu ortaya çıkan Kubeflow, veri bilimcilerin ve ML mühendislerinin model deneme ve geliştirme süreçlerini Kubernetes orkestrasyon katmanında standartlaştırmasını ve üretime taşımasını hedefler. Kubeflow'un beş temel bileşeni vardır. Kubeflow Pipelines (KFP), Python SDK ile tanımlanan DAG (Yönlü Asiklik Çizge) tabanlı ML iş akışlarıdır; her adım izole Docker container içinde çalışır ve deney takibi, artifact yönetimi ile görsel pipeline grafiği sunar. KServe (eski adıyla KFServing), üretim ortamında model sunma platformudur; canary deployment, A/B testi ve otomatik ölçeklendirme (autoscaling) destekler; TensorFlow Serving, TorchServe ve NVIDIA Triton ile entegre çalışır. Katib, Kubernetes üzerinde hiperparametre optimizasyonu (HPO) ve sinir ağı mimarisi araştırması (NAS) gerçekleştirir; Bayesian optimizasyon ve Hyperband algoritmaları desteklenir. Training Operators bileşeni, PyTorchJob ve TFJob aracılığıyla dağıtık model eğitimini koordine eder; çok node'lu GPU kümeleri üzerinde veri paralelliğini yönetir. Kubeflow Notebooks ise Jupyter Notebook sunucularını Kubernetes üzerinde başlatarak GPU/CPU kaynak yapılandırması sunar. MLOps olgunluk seviyesi yüksek ve Kubernetes altyapısı olan kuruluşlar için güçlü bir seçenek olan Kubeflow, öğrenme eğrisi yoğun bir araçtır: Kubernetes bilgisi zorunludur ve kurulum karmaşıklığı MLflow veya ZenML'e kıyasla daha fazla zaman ve uzmanlık gerektirir. Vertex AI Pipelines (Google Cloud), SageMaker Pipelines (AWS) ve Azure ML gibi yönetilen alternatifler altyapı yükünü azaltır; ancak belirli bir bulut ekosistemiyle bağımlılık yaratır. Türkiye'de cloud-agnostic ve on-premises MLOps altyapısı kurmak isteyen büyük şirketler ile araştırma kurumları Kubeflow'u değerlendirmektedir. Kubeflow'u MLflow ile birlikte kullanmak yaygın ve etkili bir pratiktir: MLflow deney takibi ve model registry için, Kubeflow Pipelines ise iş akışı orkestrasyon ve dağıtık eğitim için tercih edilir. Bu kombinasyon, her iki platformun güçlü yönlerini bir arada değerlendirmeyi, aynı zamanda açık ve taşınabilir bir MLOps altyapısı kurmayı mümkün kılar.
Triton Inference Server (Triton Çıkarım Sunucusu)
Triton Inference Server, NVIDIA tarafından 2018 yılında açık kaynak olarak yayımlanan, üretim ortamlarında yapay zeka modellerini yüksek verimlilikle sunan bir çıkarım sunucusudur. Mart 2025'te NVIDIA Dynamo platformuyla birleştirilerek NVIDIA Dynamo-Triton adını alan bu proje, PyTorch, TensorRT, ONNX Runtime, TensorFlow, OpenVINO ve vLLM gibi popüler çerçevelerden gelen modelleri tek bir süreç içinde barındırır. Temel mimarisinde Triton, her arka uç (backend) için ayrı çalışma ortamları oluşturur ve gelen istekleri paralel olarak yönlendirir. Dinamik yığınlama (dynamic batching), birden fazla isteği tek geçişte birleştirerek GPU kullanımını artırır. Ensemble Pipeline özelliği ise önişleme, model çıkarımı ve sonişleme adımlarını tek bir uçtan uca akış olarak tanımlamayı mümkün kılar. Bu yapı, karmaşık AI boru hatlarının tek bir konfigürasyon dosyasıyla yönetilmesini kolaylaştırır. Desteklediği donanım açısından Triton; NVIDIA GPU, x86 ve ARM tabanlı CPU ile AWS Inferentia üzerinde çalışabilir. Bulut, veri merkezi ve uç bilişim (edge) ortamlarına aynı yapılandırmayla dağıtım yapılabilmesi, yönetim maliyetlerini önemli ölçüde düşürür. MLOps entegrasyonu açısından Kubernetes ile ölçeklendirme, Prometheus ile izleme ve MLflow ile model kayıt akışlarına kolayca entegre edilebilir. Model Registry'den yeni sürüm yüklendiğinde Triton, hizmet kesilmesi olmadan güncelleme yapabilir. Büyük dil modellerini sunarken vLLM backend'i etkinleştirilebilir; bu bileşen sayfa dikkatini (paged attention) ve KV-cache yönetimini Triton çatısı altında gerçekleştirir. Aynı sunucuda LLM, görüntü enkoderi ve ses sınıflandırıcı gibi birden fazla model türünü paralel çalıştırmak gerektiğinde Triton vazgeçilmez bir araç hâline gelir. 2025-2026 itibarıyla Google Vertex AI, AWS SageMaker ve Azure ML gibi büyük bulut platformları Triton'ı birincil çıkarım motoru olarak benimsemiştir. Aralık 2025 sürümüyle vLLM backend'in ağırlık paylaşımı ve speculative decoding desteği de önemli ölçüde güçlendirildi. BSD-3 lisansıyla dağıtılan Triton, kurumsal ML ekiplerinin üretim ortamında güvenle tercih ettiği açık kaynak bir çözüm olmayı sürdürmektedir.