tag HataGiderme

Bu sayfada HataGiderme etiketi ile işaretlenmiş 1 yapay zeka kavramını bulabilirsiniz.

Overfitting (aşırı öğrenme ya da ezberleme), bir makine öğrenimi modelinin eğitim verilerine çok fazla odaklanarak o verilerdeki istisnaları, gürültüleri ve hataları ezberlemesi; bu yüzden daha önce hiç görmediği yeni verilerle karşılaştığında genelleme yapamayıp başarısız olması durumudur. Bir öğrencinin sınav sorularının mantığını kavramak yerine cevap şıklarını ezberleyip farklı sorularda sıfır almasına benzer: model, eğitim setinde neredeyse kusursuz sonuçlar verirken gerçek dünya verisinde ciddi biçimde yanılır. Sorunun özü, modelin verideki gerçek örüntü ile rastlantısal gürültüyü ayırt edememesidir. Model gereğinden karmaşıksa (çok fazla parametre içeriyorsa), eğitim verisi azsa veya eğitim gereğinden uzun sürmüşse, model sinyal yerine gürültüyü öğrenmeye başlar. Bu durum istatistikteki bias-variance dengesinin varyans tarafına savrulmak demektir: eğitim hatası düşer, doğrulama hatası yükselir ve iki eğri arasındaki makas açılır. Eğitim kaybı ile doğrulama kaybı arasındaki bu makasın erken fark edilmesi, üretim ortamına gönderilmeden önce modeli düzeltmek için kritik önem taşır. Overfitting'in pratikte önemi büyüktür, çünkü bir modelin gerçek değeri eğitim setindeki skoru değil, görülmemiş veri üzerindeki performansıdır. Kredi riski tahmininden tıbbi teşhise, spam filtresinden öneri sistemlerine kadar her uygulamada ezberlemiş bir model, laboratuvarda parlak görünüp sahada güvenilmez sonuçlar üretir. Bu yüzden makine öğrenimi pratiğinin önemli bir bölümü overfitting'i tespit etmeye ve önlemeye ayrılır. Önleme yöntemleri arasında L1/L2 regularizasyon, dropout, erken durdurma (early stopping), veri artırma (data augmentation) ve daha fazla çeşitli veri toplamak öne çıkar. Tersine durum olan underfitting (eksik öğrenme), modelin veriyi kavrayamayacak kadar basit kalmasıdır; başarılı bir model bu iki uç arasındaki dengeyi tutturur. K-fold cross-validation, overfitting riskini ölçmenin en güvenilir yollarından biridir: katlardaki performans varyansı yüksekse model ezberleme eğilimindedir ve mimari veya regularizasyon ayarları gözden geçirilmelidir.

compress

Overfitting (Aşırı Öğrenme / Ezberleme)

Overfitting (aşırı öğrenme ya da ezberleme), bir makine öğrenimi modelinin eğitim verilerine çok fazla odaklanarak o verilerdeki istisnaları, gürültüleri ve hataları ezberlemesi; bu yüzden daha önce hiç görmediği yeni verilerle karşılaştığında genelleme yapamayıp başarısız olması durumudur. Bir öğrencinin sınav sorularının mantığını kavramak yerine cevap şıklarını ezberleyip farklı sorularda sıfır almasına benzer: model, eğitim setinde neredeyse kusursuz sonuçlar verirken gerçek dünya verisinde ciddi biçimde yanılır. Sorunun özü, modelin verideki gerçek örüntü ile rastlantısal gürültüyü ayırt edememesidir. Model gereğinden karmaşıksa (çok fazla parametre içeriyorsa), eğitim verisi azsa veya eğitim gereğinden uzun sürmüşse, model sinyal yerine gürültüyü öğrenmeye başlar. Bu durum istatistikteki bias-variance dengesinin varyans tarafına savrulmak demektir: eğitim hatası düşer, doğrulama hatası yükselir ve iki eğri arasındaki makas açılır. Eğitim kaybı ile doğrulama kaybı arasındaki bu makasın erken fark edilmesi, üretim ortamına gönderilmeden önce modeli düzeltmek için kritik önem taşır. Overfitting'in pratikte önemi büyüktür, çünkü bir modelin gerçek değeri eğitim setindeki skoru değil, görülmemiş veri üzerindeki performansıdır. Kredi riski tahmininden tıbbi teşhise, spam filtresinden öneri sistemlerine kadar her uygulamada ezberlemiş bir model, laboratuvarda parlak görünüp sahada güvenilmez sonuçlar üretir. Bu yüzden makine öğrenimi pratiğinin önemli bir bölümü overfitting'i tespit etmeye ve önlemeye ayrılır. Önleme yöntemleri arasında L1/L2 regularizasyon, dropout, erken durdurma (early stopping), veri artırma (data augmentation) ve daha fazla çeşitli veri toplamak öne çıkar. Tersine durum olan underfitting (eksik öğrenme), modelin veriyi kavrayamayacak kadar basit kalmasıdır; başarılı bir model bu iki uç arasındaki dengeyi tutturur. K-fold cross-validation, overfitting riskini ölçmenin en güvenilir yollarından biridir: katlardaki performans varyansı yüksekse model ezberleme eğilimindedir ve mimari veya regularizasyon ayarları gözden geçirilmelidir.

arrow_forward