ONNX (ONNX (Açık Sinir Ağı Değişim Formatı))
ONNX (Open Neural Network Exchange — Açık Sinir Ağı Değişim Formatı), farklı derin öğrenme çerçeveleri arasında model taşınabilirliğini sağlayan açık bir standarttır. 2017 yılında Microsoft ve Facebook tarafından geliştirilen ONNX, PyTorch veya TensorFlow gibi farklı çerçevelerde eğitilmiş modellerin, optimizasyon ve dağıtım aşamasında tek bir ortak formata dönüştürülmesine olanak tanır.
ONNX Runtime, bu formatı çalıştırmak için optimize edilmiş bir çıkarım motorudur. CPU, GPU, NPU ve özel hızlandırıcılar üzerinde yüksek performanslı çıkarım sağlayan ONNX Runtime; Windows, Linux, macOS, iOS ve Android gibi farklı platformlarda çalışır. Microsoft, Azure AI hizmetlerinde ONNX Runtime'ı yaygın biçimde kullanmaktadır.
Transformers.js kütüphanesi, ONNX Runtime Web üzerinde çalışarak önceden eğitilmiş Hugging Face modellerini doğrudan tarayıcıda çalıştırır. Bu sayede duygu analizi, nesne tanıma, metin gömme ve konuşma tanıma gibi görevler sunucu gerekmeksizin istemci tarafında gerçekleştirilebilir. ONNX ekosistemi, PyTorch'tan ONNX'e dönüştürme araçları, model optimizasyon araçları ve donanıma özgü yürütme sağlayıcıları (execution providers) ile kapsamlı bir altyapı sunar.