Model Drift (Model Kayması)

#model-drift #mlops #veri-kayması #concept-drift #yeniden-eğitim

Üretime alınan bir makine öğrenimi modelinin tahmin kalitesinin zamanla bozulması; eğitim verisi ile gerçek dünya verisi arasındaki istatistiksel kaymanın model performansına yansıması.

Model drift (model kayması), üretime alındıktan sonra bir makine öğrenimi modelinin tahmin kalitesinin zamanla düşmesini ifade eden MLOps kavramıdır. Modeller eğitim anındaki veri dağılımını öğrenir; ancak gerçek dünya dinamiktir — kullanıcı davranışları değişir, ürün kataloğu güncellenir, ekonomik koşullar dönüşür. Bu değişimler modelin gördüğü giriş verisini eğitim verisinden farklılaştırarak tahmin hatasını artırır. Model drift iki temel nedene bağlanır. Veri kayması (data drift / covariate shift), giriş değişkenlerinin dağılımının değişmesidir: bir sahtekarlık tespit modelinin eğitildiği dönemde kredi kartı harcama örüntüleri ile pandemi sonrası harcama örüntüleri birbirinden belirgin biçimde ayrılır. Kavram kayması (concept drift) ise hedef değişkenle giriş değişkenleri arasındaki ilişkinin kendisinin değişmesidir: e-posta spam filtreleri eğitildikten sonra saldırganlar yeni taktikler geliştirir; köprü kelimeleri spam olmaktan çıkar. Drift tespiti için istatistiksel testler kullanılır. Popüler Drift Skor test yöntemleri arasında Kolmogorov-Smirnov testi (sayısal özellikler için dağılım karşılaştırması), Population Stability Index (PSI, skor dağılımı değişimi), Chi-Squared testi (kategorik özellikler) ve Jensen-Shannon diverjansı sayılabilir. İzleme çerçeveleri model girişlerini ve çıktılarını sürekli kaydeder; eşik aşıldığında uyarı tetikler. Yüksek riskli alanlar özellikle savunmasızdır. Finans modellerinde piyasa krizleri, sağlıkta mevsimsel hastalık dalgalanmaları, reklamcılıkta tüketici tercih değişimleri ve doğal dil işlemede ortaya çıkan yeni söylemler drift'in tipik tetikleyicileridir. Müdahale stratejileri üç katmana ayrılır. Reaktif yeniden eğitim (reactive retraining), performans metrikleri eşiği geçtiğinde gerçekleştirilir; maliyet düşük ama gecikme yüksektir. Zamanlı yeniden eğitim (scheduled retraining), belirli periyotlarda veriden bağımsız olarak yapılır. Sürekli öğrenme (continual learning) ise yeni verileri çevrimiçi olarak modele entegre eder; ancak felaket unutması (catastrophic forgetting) riskini beraberinde getirir. MLflow, Evidently AI ve WhyLabs bu süreçleri otomatikleştiren açık kaynak araçlardır.

Model Drift Nedir?

Model drift, üretime alındıktan sonra bir makine öğrenimi modelinin tahmin doğruluğunun zamanla azalmasıdır. Modeller eğitim anındaki veri örüntülerini öğrenir; ancak gerçek dünya sürekli değişir. Kullanıcı davranışları, ürün yapıları, ekonomik koşullar ve dil kullanımı dönüştükçe model, mevcut verinin eğitim verisinden ne kadar farklılaştığından haberdar değildir. Bir modelin 6 ay önceki eğitim verisiyle %92 doğruluk sağlayıp bugün %78'e düşmesi model drift'in tipik örneğidir. Drift saptanmazsa modeller yanlış yüksek özgüven (overconfidence) ile hatalı kararlar üretmeye devam eder.

Drift Türleri

📊 Veri Kayması (Data Drift)

Giriş özelliklerinin dağılımı değişir; hedef-giriş ilişkisi sabit kalır. Pandemi döneminde e-ticaret harcama örüntülerinin değişmesi, kredi modelinin girişlerini eğitim dönemiyle uyumsuz hale getirir. Covariate shift olarak da bilinir.

💡 Kavram Kayması (Concept Drift)

Giriş-çıkış ilişkisinin kendisi değişir. Spam filtresinin eğitildiği kelimeler artık masum e-postalarda da geçmektedir; spam'in tanımı evrimi saldırganların strateji güncellemesiyle değişir. Daha tehlikeli ve tespiti zor bir drift türü.

🎯 Tahmin Kayması (Prediction Drift)

Modelin çıktı dağılımı değişir — belirli sınıfları giderek daha az/çok tahmin etmeye başlar. Groundtruth etiketlere gerek kalmadan doğrudan çıktı istatistiklerinden izlenebilir; hızlı sinyal için kullanışlıdır.

📉 Etiket Kayması (Label Drift)

Hedef değişkenin gerçek dağılımı değişir. Bir dolandırıcılık modelinde sahte işlemlerin oranı mevsimsel olarak yükselir; model bu yeni sıklığa göre kalibre edilmemiştir ve yanlış alarm oranları artar.

Drift Tespiti — İstatistiksel Testler

Population Stability Index (PSI), bir skoru düzlemsel şeritlere bölerek eğitim ve üretim dağılımlarını karşılaştırır; PSI<0.1 stabil, 0.1-0.25 izle, >0.25 kritik uyarı anlamına gelir. Kolmogorov-Smirnov (KS) testi, sürekli dağılımlar arasındaki maksimum farkı hesaplar; p-değeri drift anlamlılığını ölçer. Kategorik değişkenler için Chi-Squared ve Fisher's exact testleri kullanılır. Jensen-Shannon diverjansı, iki olasılık dağılımı arasındaki simetrik mesafe ölçütüdür; KL diverjansının dengelenmiş versiyonu olduğundan sıfır olasılıklara karşı daha dayanıklıdır. MMD (Maximum Mean Discrepancy) ise yüksek boyutlu gömme uzaylarındaki drift'i ölçmek için derin öğrenme sistemlerinde tercih edilir.

Müdahale Stratejileri ve Araçlar

Reaktif yeniden eğitim, izleme sisteminin belirlediği eşiği aştığında tetiklenir; CI/CD pipeline'ıyla entegre edildiğinde minimum insan müdahalesiyle çalışır. Zamanlı yeniden eğitim (haftalık, aylık) basit ve öngörülebilirdir ancak drift erken başlamışsa gecikme maliyeti yüksek olabilir. Sürekli öğrenme modeli çevrimiçi olarak yeni örneklerle günceller; felaket unutması (catastrophic forgetting) riskini azaltmak için EWC (Elastic Weight Consolidation) gibi teknikler kullanılır. Araç ekosistemi: Evidently AI (drift raporları ve izleme panosu), WhyLabs (üretim veri profili), MLflow Model Monitoring, Arize AI ve Fiddler — hepsi açık kaynak veya ücretsiz katmana sahip seçenekler sunar. Veri penceresi stratejisi önemlidir: tüm geçmişi kullanmak yerine yalnızca son N günü almak (sliding window) son dağılıma daha hızlı uyum sağlar.

Sık Sorulan Sorular

  • check_circle Model drift ile concept drift aynı şey midir? Hayır. Model drift, genel üst kavramdır — modelin üretimde performans kaybetmesi. Concept drift ise bu kaybın nedenlerinden biridir: giriş-çıkış ilişkisinin değişmesi. Veri kayması da model drift'e yol açar; ancak burada ilişki sabit kalır, sadece giriş dağılımı değişir.
  • check_circle Groundtruth etiket yoksa drift nasıl tespit edilir? Tahmin dağılımını (prediction drift) ve giriş özelliklerini (data drift) izleyin — bunlar gerçek etiket gerektirmez. PSI ve KS testi bu amaçla kullanılır. Etiketler gecikmeyle de gelse (kredi geri ödemesi 3 ay sonra bilinir) gecikmiş etiket izlemesi kurulabilir; aradaki dönem için sinyal proxy metrikleriyle doldurulur.
  • check_circle Kaç sıklıkta yeniden eğitim yapmalıyım? Alanda ve veri hızına bağlıdır. Finansal dolandırıcılık modelleri haftalık veya daha sık, hava durumu tahmin modelleri günlük, tüketici tercihi modelleri aylık güncelleme gerektirebilir. PSI izlemesini otomatikleştirerek eşik tabanlı tetikleme en pratik yaklaşımdır.
  • check_circle Sürekli öğrenme neden zor? Felaket unutması (catastrophic forgetting) temel engeldir: model yeni verileri öğrenirken eski bilgiyi kaybeder. Elastic Weight Consolidation (EWC), replay belleği ve modüler ağ tasarımları bu sorunu hafifletmeye çalışır. Yüksek riskli uygulamalarda sürekli öğrenme yerine denetimli periyodik yeniden eğitim tercih edilir.
  • check_circle Drift izleme için hangi araçla başlamalıyım? Evidently AI, ücretsiz ve açık kaynak olması, kapsamlı Python API'si ve görsel drift raporları sayesinde başlangıç için iyi seçimdir. Kurumsal ölçekte WhyLabs veya Arize AI değerlendirilebilir. MLflow kullanıyorsanız eklenti ile drift izleme entegre edilebilir.