MLflow

#MLOps #DerinOgrenme #ModelTakip #AcikKaynak #YazilimMuhendisligi

MLflow, makine öğrenmesi deneyleri, model versiyonlama ve dağıtımı yönetmek için kullanılan açık kaynaklı MLOps platformudur.

MLflow, makine öğrenmesi yaşam döngüsünü uçtan uca yönetmek için tasarlanmış açık kaynaklı bir MLOps platformudur. Databricks tarafından 2018 yılında Apache 2.0 lisansıyla açık kaynak olarak piyasaya sürülen MLflow, veri bilimcilerin ve ML mühendislerinin deney takibinden model dağıtımına kadar tüm süreci tek bir araçla yönetmesine olanak tanır. MLflow dört ana bileşenden oluşur. İlk bileşen olan MLflow Tracking, makine öğrenmesi denemeleri sırasında parametreleri, metrikleri, çıktı dosyalarını ve model sürümlerini kayıt altına alır. Böylece farklı algoritma konfigürasyonlarını ve hiperparametreleri kolayca karşılaştırmak mümkün hale gelir. İkinci bileşen MLflow Projects, ML kodunu yeniden üretilebilir ve taşınabilir biçimlerde paketler; Conda veya Docker gibi ortam tanımlarını içeren MLproject dosyası sayesinde kodun farklı platformlarda tutarlı şekilde çalışması sağlanır. Üçüncü bileşen olan MLflow Models, eğitilmiş modelleri REST API, batch inference ve cloud platformlarına uygun standart bir formatta saklar. TensorFlow, PyTorch, scikit-learn, XGBoost, LightGBM ve HuggingFace Transformers dahil yirmi'den fazla ML çerçevesini destekler. Dördüncü ve son bileşen MLflow Model Registry ise modellerin versiyonlanması, etiketlenmesi ve yaşam döngüsünün yönetilmesi için merkezi bir depo sağlar; 'Staging', 'Production' ve 'Archived' gibi aşama geçişleri desteklenir. MLflow, AWS SageMaker, Azure ML, Google Cloud Vertex AI ve Databricks gibi büyük bulut platformlarıyla entegre çalışır. Kurumsal MLOps iş akışlarında deney yönetimi ve model üretim süreçleri için endüstri standardı haline gelmiştir. Açık kaynak topluluğu tarafından aktif olarak geliştirilmekte olan platform, Weights & Biases, Neptune.ai ve Comet ML gibi ticari alternatiflerin yanında popüler bir seçenek olmaya devam etmektedir.

MLflow Nedir ve Neden Önemlidir?

MLflow, makine öğrenmesi projelerinde yaşanan en büyük sorunlardan birini çözmek için tasarlanmıştır: kaos. Bir ML projesi üzerinde çalışırken onlarca farklı model, yüzlerce hiperparametre kombinasyonu ve bunlara ait metrikler birikir. Hangi modelin en iyi sonucu verdiğini izlemek, denemeleri tekrar üretmek ve modeli güvenli şekilde üretime almak büyük bir meydan okuma haline gelir. MLflow bu sorunu, ML yaşam döngüsünün tüm aşamalarını kapsayan birleşik bir platform sunarak çözer. Deney takibinden model versiyonlamaya, paketlemeden dağıtıma kadar her adımı tek bir araç altında toplar. Hem bireysel veri bilimciler hem de büyük ML mühendisliği ekipleri için ölçeklenebilir bir çözüm sunar. Databricks tarafından 2018'de açık kaynak olarak piyasaya sürülen MLflow, kısa sürede ML ekiplerinin vazgeçilmez aracı haline gelmiştir. GitHub'da 19.000'den fazla yıldıza sahip olan proje, dünya genelinde binlerce şirket tarafından üretim ortamlarında kullanılmaktadır.

MLflow'un Dört Temel Bileşeni

  • check_circle MLflow Tracking: Deney sırasında parametreleri (öğrenme hızı, epoch sayısı), metrikleri (accuracy, loss, F1 skoru) ve çıktı dosyalarını (model ağırlıkları, grafikler) otomatik olarak kaydeder. Web arayüzü üzerinden tüm denemeler karşılaştırılabilir. Python API'si ile `mlflow.log_param()`, `mlflow.log_metric()` ve `mlflow.log_artifact()` fonksiyonları kullanılır.
  • check_circle MLflow Projects: ML kodunu MLproject dosyası ile paketler. Conda veya Docker tabanlı ortam tanımlarını içerir ve böylece başka bir makinede ya da cloud ortamında aynı kod birebir tekrar çalıştırılabilir. `mlflow run` komutuyla GitHub repo'sundan bile doğrudan proje çalıştırmak mümkündür.
  • check_circle MLflow Models: Eğitilmiş modeli 'MLmodel' formatında kaydeder. Bu format, modelin farklı servis ortamlarında (REST API sunucusu, Spark UDF, Python fonksiyonu) çalışmasına olanak tanır. `mlflow.pyfunc`, `mlflow.sklearn`, `mlflow.tensorflow` gibi flavor'lar ile otomatik serileştirme sağlanır.
  • check_circle MLflow Model Registry: Merkezi model deposu işlevi görür. Modeller 'Staging', 'Production' ve 'Archived' aşamaları arasında geçiş yapabilir. Her geçiş için onay mekanizması, yorum ve açıklama ekleme imkânı sunar. CI/CD pipeline'larıyla entegre edilerek tam otomatik model yönetimi mümkün olur.

MLflow ile Tipik Bir ML Deney Akışı

MLflow kullanılan tipik bir iş akışı şu adımlardan oluşur: 1. **Deney oluşturma:** `mlflow.set_experiment('tahmin-modeli')` ile deney başlatılır. 2. **Run başlatma:** `with mlflow.start_run():` bloğu içinde kod çalıştırılır. 3. **Parametre ve metrik kaydetme:** `mlflow.log_param('lr', 0.001)` ve `mlflow.log_metric('accuracy', 0.94)` ile veriler kaydedilir. 4. **Model kaydetme:** `mlflow.sklearn.log_model(model, 'model')` ile eğitilmiş model artifact olarak saklanır. 5. **Karşılaştırma:** MLflow UI'da tüm denemeler görselleştirilerek en iyi run seçilir. 6. **Registry'e alma:** En iyi model `mlflow.register_model()` ile Model Registry'e eklenir. 7. **Production'a alma:** Model 'Production' aşamasına taşınır ve REST API üzerinden servis edilir. Bu akış, veri bilimi ekiplerinin tekrarlanabilir, şeffaf ve yönetilebilir bir ML süreci oluşturmasını sağlar.

MLflow Alternatifleriyle Karşılaştırma

  • check_circle Weights & Biases (W&B): Ticari bir MLOps platformu olan W&B, MLflow'a kıyasla daha zengin görselleştirme ve işbirliği özellikleri sunar. Ücretsiz katmanı mevcut olmakla birlikte büyük ekipler için ücretlidir. Araştırma topluluğunda özellikle popülerdir.
  • check_circle Neptune.ai: Deney takibine odaklanan bulut tabanlı bir araçtır. MLflow gibi açık kaynak değildir. Karmaşık ML projelerinde güçlü meta veri yönetimi sunar.
  • check_circle DVC (Data Version Control): Git tabanlı veri ve model versiyonlamasına odaklanan açık kaynak bir araçtır. MLflow'un Tracking ve Model Registry özelliklerine sahip değildir ancak büyük veri setlerinin versiyonlanmasında daha güçlüdür.
  • check_circle ClearML: Açık kaynak ve self-hosted seçeneğe sahip kapsamlı bir MLOps platformudur. MLflow ile benzer özellikler sunar; ek olarak veri yönetimi ve görev otomasyonu da içerir.

Sıkça Sorulan Sorular

  • check_circle MLflow ücretsiz mi?: Evet, MLflow Apache 2.0 lisansıyla tamamen ücretsiz ve açık kaynaktır. Kendi sunucunuzda (self-hosted) çalıştırabilir ya da Databricks'in yönetilen MLflow hizmetini kullanabilirsiniz. Self-hosted kullanımda herhangi bir ücret yoktur.
  • check_circle MLflow hangi programlama dillerini destekler?: MLflow öncelikli olarak Python'ı destekler ve en kapsamlı API Python içindir. Bunun yanı sıra R ve Java SDK'ları da mevcuttur. REST API aracılığıyla herhangi bir programlama diliyle de kullanılabilir.
  • check_circle MLflow'u nereye kurabilirsiniz?: MLflow `pip install mlflow` komutuyla yerel olarak kurulabilir. Takım ortamlarında merkezi bir MLflow Tracking Server kurulur; bu sunucu PostgreSQL, MySQL veya SQLite backend'i ve S3, Azure Blob Storage gibi artifact depoları ile yapılandırılır. Databricks, AWS SageMaker ve Azure ML gibi platformlar yönetilen MLflow hizmeti de sunar.
  • check_circle MLflow ile MLOps pipeline'ı nasıl kurulur?: Tipik bir MLOps pipeline'ı şu adımlardan oluşur: MLflow Tracking ile deney takibi → en iyi modeli Model Registry'e kaydetme → CI/CD ile otomatik test → Registry üzerinden 'Production' aşamasına geçirme → `mlflow models serve` veya cloud servislerine deployment. Bu adımlar GitHub Actions, Jenkins veya Databricks Workflows ile otomatize edilebilir.
  • check_circle MLflow hangi ML framework'leriyle çalışır?: MLflow; scikit-learn, TensorFlow, Keras, PyTorch, XGBoost, LightGBM, CatBoost, HuggingFace Transformers, spaCy, Spark MLlib, Statsmodels ve ONNX dahil 20'den fazla popüler ML çerçevesiyle otomatik entegrasyon (autolog) sağlar. `mlflow.autolog()` çağrısı ile pek çok framework'te parametreler ve metrikler otomatik kaydedilir.