tag Model Serving
Bu sayfada Model Serving etiketi ile işaretlenmiş 2 yapay zeka kavramını bulabilirsiniz.
FastAPI, Python ile modern ve yüksek performanslı web API'leri geliştirmek için kullanılan açık kaynaklı bir web çerçevesidir. Sebastián Ramírez tarafından geliştirilen ve 2018'de yayımlanan çerçeve, Starlette (ASGI web katmanı) ile Pydantic (veri doğrulama) kütüphaneleri üzerine kuruludur. Adındaki "fast" hem çalışma hızına hem de geliştirme hızına işaret eder: async/await destekli asenkron mimarisi eş zamanlı binlerce isteği verimli biçimde işler, Python type hint entegrasyonu ise kod yazılırken otomatik tamamlama, doğrulama ve dokümantasyon üretir. FastAPI'yi öne çıkaran nokta, geliştiricinin tek bir kaynaktan üç şeyi birden elde etmesidir. Endpoint fonksiyonuna tip açıklamaları eklendiğinde Pydantic gelen veriyi çalışma anında doğrular, hatalı istekler modele ulaşmadan 422 hatasıyla geri çevrilir ve Swagger UI ile ReDoc arayüzleri kod değişikliği gerekmeden interaktif API belgesi olarak yayınlanır. Bu yaklaşım hem hata oranını düşürür hem de ekiplerin API sözleşmesini güncel tutmasını kolaylaştırır. Dependency injection sistemi, veritabanı bağlantısı ve kimlik doğrulama gibi ortak bağımlılıkları endpoint'lere temiz biçimde aktarır; bu da test edilebilirliği artırır. Yapay zeka tarafında FastAPI, model servis katmanının fiili standardı konumundadır. PyTorch veya Hugging Face modellerini REST endpoint'i olarak sunmak, LLM çağrılarını Server-Sent Events ile token token istemciye aktarmak ve RAG pipeline'larını HTTP üzerinden erişilebilir kılmak için yaygın biçimde tercih edilir. Üretimde Uvicorn ile çalıştırılır, Docker ve Kubernetes ortamlarında yatay olarak ölçeklenir; Microsoft ve Uber gibi şirketlerin üretim sistemlerinde kendine yer bulur.
FastAPI (Python Web Çerçevesi)
FastAPI, Python ile modern ve yüksek performanslı web API'leri geliştirmek için kullanılan açık kaynaklı bir web çerçevesidir. Sebastián Ramírez tarafından geliştirilen ve 2018'de yayımlanan çerçeve, Starlette (ASGI web katmanı) ile Pydantic (veri doğrulama) kütüphaneleri üzerine kuruludur. Adındaki "fast" hem çalışma hızına hem de geliştirme hızına işaret eder: async/await destekli asenkron mimarisi eş zamanlı binlerce isteği verimli biçimde işler, Python type hint entegrasyonu ise kod yazılırken otomatik tamamlama, doğrulama ve dokümantasyon üretir. FastAPI'yi öne çıkaran nokta, geliştiricinin tek bir kaynaktan üç şeyi birden elde etmesidir. Endpoint fonksiyonuna tip açıklamaları eklendiğinde Pydantic gelen veriyi çalışma anında doğrular, hatalı istekler modele ulaşmadan 422 hatasıyla geri çevrilir ve Swagger UI ile ReDoc arayüzleri kod değişikliği gerekmeden interaktif API belgesi olarak yayınlanır. Bu yaklaşım hem hata oranını düşürür hem de ekiplerin API sözleşmesini güncel tutmasını kolaylaştırır. Dependency injection sistemi, veritabanı bağlantısı ve kimlik doğrulama gibi ortak bağımlılıkları endpoint'lere temiz biçimde aktarır; bu da test edilebilirliği artırır. Yapay zeka tarafında FastAPI, model servis katmanının fiili standardı konumundadır. PyTorch veya Hugging Face modellerini REST endpoint'i olarak sunmak, LLM çağrılarını Server-Sent Events ile token token istemciye aktarmak ve RAG pipeline'larını HTTP üzerinden erişilebilir kılmak için yaygın biçimde tercih edilir. Üretimde Uvicorn ile çalıştırılır, Docker ve Kubernetes ortamlarında yatay olarak ölçeklenir; Microsoft ve Uber gibi şirketlerin üretim sistemlerinde kendine yer bulur.
Model Deployment (Model Dağıtımı)
Model Dağıtımı (Model Deployment), bir makine öğrenmesi veya derin öğrenme modelinin araştırma ve geliştirme ortamından alınarak gerçek dünya kullanıcılarına hizmet verecek üretim ortamına (production) taşınma sürecidir. Bu süreç, bir yapay zeka projesinin kritik son aşamasını oluşturur; en yüksek doğruluklu model bile kullanıcılara ulaşamazsa hiçbir değer üretemez. Dağıtım süreci birkaç temel aşamayı kapsar: modelin optimize edilmesi ve paketlenmesi, servis altyapısının kurulması, API uç noktalarının yapılandırılması, gerçek zamanlı (real-time) veya toplu (batch) tahmin hizmetlerinin devreye alınması ve sürekli izleme mekanizmalarının aktif edilmesi. Model, ONNX, TensorFlow SavedModel, PyTorch TorchScript gibi taşınabilir formatlara dönüştürülerek farklı platformlarda çalışabilir hale getirilir. Dağıtım stratejileri uygulamanın gereksinimlerine göre değişir. Mavi-Yeşil (Blue-Green) dağıtımda eski ve yeni model sürümleri paralel çalışır, trafik kesintisiz aktarılır. Kanarya (Canary) dağıtımında yeni model önce küçük bir kullanıcı grubuna sunularak riskler minimize edilir. A/B testi stratejisiyle farklı model sürümlerinin performansı karşılaştırılarak en iyi model seçilir. Dağıtım ortamları bulut (cloud), uç bilişim (edge) veya yerel sunucu (on-premise) olabilir. LLM gibi büyük dil modelleri genellikle GPU kümelerinde çalıştırılırken, küçük modeller akıllı telefon ve IoT cihazları gibi uç ortamlarda çalıştırılabilir. NVIDIA Triton Inference Server, TensorFlow Serving, Seldon Core, BentoML ve MLflow gibi araçlar modern model dağıtım ekosisteminin temel taşlarıdır. Model izleme, başarılı bir dağıtımın ayrılmaz parçasıdır. Veri kayması (data drift), kavram kayması (concept drift) ve performans düşüşleri sürekli izlenerek gerektiğinde otomatik yeniden eğitim (retraining) tetiklenir. Otomasyon düzeyi arttıkça model dağıtımı MLOps disiplininin merkezine taşınmaktadır.