Data Drift (Veri Kayması (Bozulması))

#MLOps #VeriBilimi #MakineOgrenmesi #ModelEgitimi

Uretim ortamindaki gercek veri dagiliminin model egitiminde kullanilan egitim verisi dagilimindan zamanla uzaklasma olgusu.

Veri drift (data drift), bir makine ogrenimi modelinin egitildigi veri dagilimi ile modelin uretimde karsilastigi gercek dunya verisi arasindaki istatistiksel mesafenin zamanla buyumesidir. Bir model egitim sirasinda belirli bir veri dagilimini ogrendigi icin, bu dagilimdaki degisimler modelin ongorduguyle gercek dunyada karsilastiginni arasinda giderek buyuyen bir uyumsuzluk yaratir ve model performansinin bozulmasina yol acar. Drift cesitli bicimlerde gerceklesebilir. Kovaryet drift (covariate shift), girdi ozelliklerinin istatistiksel dagiliminin degismesiyle olur; ancak girdi-cikti iliskisi sabittir. Ornegin bir banka dolandiricilik modelinin egitildigi doneme kiyasla musteri yas profili veya islem buyuklukleri zamanla degisebilir. Kavram drift (concept drift) ise daha derin bir problemi temsil eder: girdi ile cikti arasindaki temel iliskinin kendisi degisir. COVID-19 pandemisi, tuketici aliskanliklarini o kadar kisa surede donusturdu ki yuzlerce sirkette alis-veri tahmin modelleri kritik performans kaybi yasadi. Drift tespiti icin cesitli istatistiksel testler kullanilir. Population Stability Index (PSI), egitim ve uretim verisinin dagilim farkliliğini sayisal olarak olcer; 0.1 altinda kritik, 0.25 uzerinde kritik drift isaretler. Kolmogorov-Smirnov testi iki dagilimlarin istatistiksel olarak anlamli farkliliği olup olmadigini test eder. KL Divergence, bir dagilimdaki bilginin digerini temsil etmek icin ne kadar eksik bilgi gerektirdigini olcer. Pratik MLOps sistemlerinde drift izleme gercek zamanli veya periyodik olarak yurutur. Bir esik gecilelince sistem uyari olusturur, log kaydeder ve bazen otomatik yeniden egitimi tetikler. Yeniden egitim her zaman dogru cevap degildir; kimi zaman ozellik muhendisligi veya modelin yeniden tasarlanmasi gerekir. Etiket gecikme sorunu da yogun gundeme gelir: drift tespitinin kalbi olan gercek etiketi elde etmek haftalar veya aylar alabilir. **Sik Sorulan Sorular** **Veri drift ile model drift arasindaki fark nedir?** Veri drift girdi dagiliminin degismesidir; model drift ise cikti kalitesinin bozulmasini ifade eder. Veri drift model driftin yaygin nedenlerinden biridir ancak tek nedeni degildir. **Drift ne siklukla kontrol edilmelidir?** Bu verinin degisim hizina baglidir. Finansal, hava durumu veya trafik verileri gunden gune bile ciddi drift gosterebilir. Urun tavsiye modelleri genellikle haftalik kontrol yeterlidir. **Drift tespitinde hangi araclar kullanilir?** Evidently AI, Arize, Whylogs, Fiddler ve bulut saglayicilarin yonetilen izleme servisleri yaygin seceneklerdir. Temel istatistiksel testler ise SciPy veya scikit-learn ile uygulanabilir. **Drift olmadan da model bozulabilir mi?** Evet. Model bozulmasi; veri altyapisindaki degisiklikler, bagimliliklarin guncellenmesi veya kodlama hatalari gibi teknik nedenlerle de olabilir; bunlar veri drift olmaksizin gerceklesir.

Veri Drift Nedir?

Veri drift, bir ML modelinin egitim verisinin istatistiksel dagilimi ile uretim ortaminda karsilastigi gercek veri dagilimi arasindaki mesafenin zamanla buyumesidir. Model egitildikten sonra dunyanin degismesi bu uyumsuzlugu kacunilmaz kilar. Mevsimsel alis-veri degisiklikleri, ekonomik dalgalanmalar, urun katalogundaki degisiklikler veya pandemi gibi ani sosyal donusumler veri driftinin yaygin nedenleridir. Tespit edilmezse model gizlice bozulur: metrik panolari kucuk degisiklikleri hemen gostermeyebilir.

Drift Cesitleri

Kovaryet drift, girdi ozelliklerinin dagiliminin degismesiyle olur; ancak girdi-cikti iliskisi korunur. Ornegin bir kredi degerlendirme modelinde kullanicilarin gelir dagilimi zamanla kayabilir. Kavram drift, girdi ile cikti arasindaki temel iliskinin kendisinin degismesidir; en tehlikeli drift turudur cunku dogru girdi istatistikleri bile yaniltici hale gelir. Etiket drift, tahmin edilen cikti dagiliminin degismesidir. Her ucunun ayri izlenmesi farkli mudahale stratejileri gerektirir.

Tespit Yontemleri

Population Stability Index (PSI), egitim ve uretim dagilimini karsilastiran sayisal bir olcut sunar; pratik bir kuralsal standarda sahip olmasi tercih edilmesinin ana nedenidir. Kolmogorov-Smirnov (KS) testi, iki dagilimlarin istatistiksel olarak ayirt edilebilir olup olmadigini hipotet testleriyle belirler. KL Divergence ise bilgi teorisi tabanli bir yaklasimdir ve ozellikle kategorik ozelliklerde kullanilir. Gercek zamanli sistemlerde ise kayiyor pencere istatistikleri ve kontrol grafikleri surekli izleme icin tercih edilir.

Mudahale Stratejileri

Drift tespiti mudahale gerektirdiginde uc temel secnek vardir. Yeniden egitim, modeli yeni veriyle gunceller; otomatik tetiklenebilir. Yeniden egitim verisinin secimi kritiktir: yalnizca yeni veri mi yoksa pencer kaymali karma bir veri seti mi kullanilmali? Ozellik muhendisligi, drift'a karsi direncli yeni ozellikler ekler. Mimari revizyon ise kavram driftinde daha radikal cozumleri kapsayabilir. Her durumda drift tespitini, nedenini ve uygulanan mudahaleyi kayit altina almak MLOps izlenebilirliginin birer parcasidir.

Drift İzleme Stratejileri

İstatistiksel Testler

PSI (Population Stability Index), KS testi ve chi-kare testi; eğitim ve üretim dağılımları arasındaki istatistiksel farklılığı nicel olarak ölçer.

Referans Pencere Karşılaştırması

Son N gün üretim verisi ile eğitim referansını kayan pencereyle karşılaştırır; mevsimsel varyasyonları hesaba katar.

Model Performans İzleme

Doğruluk, F1 veya iş metriklerinin düşüşü drift sinyali olarak kullanılır; etiketleme maliyeti gerektirmez.

Otomatik Yeniden Eğitim

Drift eşiği aşıldığında tetiklenen otomatik model yeniden eğitim boru hattı; CI/CD benzeri MLOps döngüsünün kritik bileşeni.

help Sik Sorulan Sorular

  • check_circle Veri drift ile model drift arasindaki fark nedir? Veri drift girdi dagiliminin degismesidir; model drift ise cikti kalitesinin bozulmasini ifade eder. Veri drift model driftin yaygin nedenlerinden biridir ancak tek nedeni degildir.
  • check_circle Drift ne siklukla kontrol edilmelidir? Verinin degisim hizina baglidir. Finansal veya trafik verileri gunden gune drift gosterebilir. Urun tavsiye modelleri genellikle haftalik kontrol yeterlidir.
  • check_circle Drift tespitinde hangi araclar kullanilir? Evidently AI, Arize, Whylogs ve Fiddler yaygin seceneklerdir. Temel istatistiksel testler scikit-learn veya SciPy ile uygulanabilir.
  • check_circle Drift olmadan da model bozulabilir mi? Evet. Veri altyapisindaki degisiklikler, bagimliliklarin guncellenmesi veya kodlama hatalari gibi teknik nedenler veri drift olmaksizin da model bozulmasina yol acabilir.