Underfitting (Eksik Öğrenme)

Yetersiz öğrenme (underfitting), bir makine öğrenmesi modelinin eğitim verisinin altında yatan örüntüleri öğrenemeyecek kadar basit kalması durumudur. Bu hata, modelin hem eğitim hem de test verilerinde yüksek hata sergilemesiyle kendini gösterir; yani model ne gördüğü örnekleri doğru tahmin eder ne de yeni verilere genelleme yapabilir. Yetersiz öğrenmenin en yaygın nedeni aşırı basit model mimarisi seçimidir. Doğrusal regresyon ile karmaşık ikinci dereceden bir ilişkiyi modellemeye çalışmak buna tipik bir örnektir: model verideki kıvrımları ve örüntüleri yakalayacak kapasiteye sahip değildir. Düşük kapasite yanında, gereğinden fazla düzenlileştirme (regularization) de yetersiz öğrenmeye yol açar; L1/L2 cezaları çok güçlü uygulandığında model parameterlerini sıfıra yaklaştırır ve anlamsız tahminler üretir. Erken durdurma (early stopping), eğer çok erken uygulanırsa benzer etkiyi yaratır: model kayıp fonksiyonunu yeterince minimize edemeden eğitim kesilir. Küçük batch boyutlarında gürültülü gradyanlar, yetersiz epoch sayısı ve yanlış hiper-parametre seçimi de underfitting'e zemin hazırlar. Bias-varyans ikilemi (bias-variance tradeoff) çerçevesinde yetersiz öğrenme yüksek bias problemine karşılık gelir. Model, gerçek dağılımı sistematik olarak yanlış temsil eder; bu yanlılık azaltılmadan performans iyileşmez. Yetersiz öğrenmeyi gidermek için model kapasitesi artırılır: daha derin sinir ağları, daha fazla özellik veya polinom dönüşümleri eklenir. Düzenlileştirme parametreleri gevşetilir, eğitim süresi uzatılır ve özellik mühendisliği ile bilgilendirilmiş özellikler türetilir. Eğitim kayıp eğrisi yataylaşmadan çok erken durmamak da yetersiz öğrenmeden kaçınmanın temel kuralıdır.