Overfitting (Aşırı Öğrenme / Ezberleme)

#MakineOgrenmesi #VeriBilimi #HataGiderme #Algoritma

Overfitting, modelin eğitim verisini ezberleyip yeni verilerde genelleme yapamaması; eğitimde yüksek, gerçek kullanımda düşük performans durumudur.

Overfitting (aşırı öğrenme ya da ezberleme), bir makine öğrenimi modelinin eğitim verilerine çok fazla odaklanarak o verilerdeki istisnaları, gürültüleri ve hataları ezberlemesi; bu yüzden daha önce hiç görmediği yeni verilerle karşılaştığında genelleme yapamayıp başarısız olması durumudur. Bir öğrencinin sınav sorularının mantığını kavramak yerine cevap şıklarını ezberleyip farklı sorularda sıfır almasına benzer: model, eğitim setinde neredeyse kusursuz sonuçlar verirken gerçek dünya verisinde ciddi biçimde yanılır. Sorunun özü, modelin verideki gerçek örüntü ile rastlantısal gürültüyü ayırt edememesidir. Model gereğinden karmaşıksa (çok fazla parametre içeriyorsa), eğitim verisi azsa veya eğitim gereğinden uzun sürmüşse, model sinyal yerine gürültüyü öğrenmeye başlar. Bu durum istatistikteki bias-variance dengesinin varyans tarafına savrulmak demektir: eğitim hatası düşer, doğrulama hatası yükselir ve iki eğri arasındaki makas açılır. Overfitting'in pratikte önemi büyüktür, çünkü bir modelin gerçek değeri eğitim setindeki skoru değil, görülmemiş veri üzerindeki performansıdır. Kredi riski tahmininden tıbbi teşhise, spam filtresinden öneri sistemlerine kadar her uygulamada ezberlemiş bir model, laboratuvarda parlak görünüp sahada güvenilmez sonuçlar üretir. Bu yüzden makine öğrenimi pratiğinin önemli bir bölümü overfitting'i tespit etmeye (eğitim-doğrulama-test ayrımı, çapraz doğrulama, öğrenme eğrileri) ve önlemeye (regularizasyon, dropout, erken durdurma, veri artırma, daha fazla veri toplama) ayrılır. Tersine durum olan underfitting (eksik öğrenme) ise modelin veriyi hiç kavrayamayacak kadar basit kalmasıdır; iyi bir model bu iki uç arasındaki dengeyi tutturur.

psychology_alt Overfitting Neden Olur?

Aşırı öğrenmenin üç temel sebebi vardır. Birincisi, modelin çözmesi gereken probleme göre çok karmaşık veya çok büyük olmasıdır: parametre sayısı örnek sayısına göre aşırı yüksekse model her eğitim örneğini tek tek ezberleyecek kapasiteye ulaşır. İkincisi, eğitim veri setinin çok küçük veya çeşitlilikten yoksun olmasıdır; model dünyadaki genel örüntüleri değil, elindeki dar örneklemin rastlantısal özelliklerini öğrenir. Üçüncüsü, eğitim işleminin (epoch sayısının) gereğinden uzun sürdürülmesidir: model aynı veriyi tekrar tekrar görerek önce genel örüntüyü, sonra gürültüyü öğrenmeye başlar. Bunlara ek olarak, verideki etiket hataları ve alakasız özellikler (feature) de ezberlemeyi hızlandırır; model gürültülü etiketleri doğru tahmin edebilmek için gereksiz karmaşık karar sınırları kurar. Sonuç hep aynıdır: eğitim kaybı düşmeye devam ederken doğrulama kaybı yükselmeye başlar.

Nasıl Önlenir?

add_circle Daha Fazla Veri

Eğitim setini büyütmek, modelin sadece tek tip örnekleri değil, dünyadaki genel varyasyonları görmesini sağlar. Yeni veri toplamak mümkün değilse data augmentation ile mevcut örneklerden yapay çeşitlemeler üretilebilir.

stop_circle Erken Durdurma (Early Stopping)

Eğitim sırasında modelin doğrulama verisindeki başarısının düştüğü (ezberlemeye başladığı) anda eğitimin otomatik olarak kesilmesidir. Hesaplama maliyeti en düşük önleme yöntemidir.

tune Düzenlileştirme (Regularization)

Dropout, L1/L2 gibi matematiksel tekniklerle modelin veriyi ezberlemesi zorlaştırılır: büyük ağırlıklar cezalandırılır veya nöronların bir kısmı eğitim sırasında rastgele kapatılır.

compress Modeli Sadeleştirme

Katman ve parametre sayısını azaltmak, modelin ezber kapasitesini problemin gerektirdiği seviyeye çeker. Basit bir modelle başlayıp gerektikçe karmaşıklaştırmak güvenli bir yaklaşımdır.

Overfitting Tespiti: Pratik Kontroller

  • check_circle Öğrenme Eğrileri (Learning Curves): Eğitim ve doğrulama kayıplarının epoch'a göre grafiği overfitting'i açıkça gösterir: eğitim kaybı düşerken doğrulama kaybı yükseliyorsa veya iki eğri arasında büyük bir uçurum varsa model ezber yapıyor. Eğitim erken sonlandırılmalı (early stopping) veya regularizasyon uygulanmalıdır.
  • check_circle Eğitim-Doğrulama-Test Ayrımı: Veri seti eğitim, doğrulama ve test olarak üçe ayrılmalıdır. Doğrulama seti hiperparametre seçimi için; test seti ise yalnızca son performans ölçümü için kullanılır. Test seti üzerinde tekrarlı iyileştirme yapmak data leakage'a yol açar ve gerçek performansı olduğundan iyi gösterir.
  • check_circle Çapraz Doğrulama (Cross-Validation): k-fold cross-validation, veriyi k parçaya böler; her seferinde farklı bir parça doğrulama seti olarak kullanılır. Küçük veri setlerinde tek bir train-validation bölümüne güvenmek şansa bağlı sonuçlar doğurabilir; cross-validation bu riski azaltır. Sonuçların yüksek varyansı (k katı arasındaki fark) overfitting işareti olabilir.
  • check_circle Bias-Variance Decomposition: Toplam hata = Bias² + Varyans + İndirgenmez Gürültü. Yüksek varyans: model eğitimde çok iyi, genellemede kötü → overfitting. Yüksek bias: model hem eğitimde hem genellemede kötü → underfitting. İdeal model bu iki hata kaynağını dengeler. Daha karmaşık modeller varyansı artırır; regularizasyon varyansı düşürür.

tune Regularizasyon Teknikleri: Teoriden Pratiğe

L2 regularizasyon (Ridge), ağırlıkların karelerinin toplamını kayıp fonksiyonuna ekler; büyük ağırlıkları küçülterek modeli daha düzgün bir yüzeye zorlar. L1 regularizasyon (Lasso) ağırlıkların mutlak değerlerini cezalandırır ve bazı ağırlıkları tam olarak sıfıra çekerek özellik seçimi yapar. Dropout, eğitim sırasında rastgele nöronları devre dışı bırakır; ağı alt ağların topluluğu gibi davranmaya zorlar ve gizli katmanlar arasındaki aşırı koordinasyonu önler. Batch Normalization her mini-batch'i normalize ederek iç kovariyant kaymasını (internal covariate shift) azaltır; dolaylı regularizasyon etkisi de vardır. Early stopping: doğrulama kaybı iyileşmeyi bıraktığında eğitimi durdurur; hesaplama maliyeti en düşük regularizasyon yöntemidir. Veri artırma (data augmentation) eğitim verisini çeşitlendirerek modelin gördüğü örüntü alanını genişletir ve ezberlemeyi zorlaştırır. Pratikte bu teknikler tek başına değil birlikte kullanılır: örneğin derin öğrenmede dropout ile early stopping'in birlikte uygulanması yaygın bir başlangıç noktasıdır; klasik makine öğreniminde ise L1/L2 katsayısı cross-validation ile ayarlanır.

Sıkça Sorulan Sorular (FAQ)

  • check_circle Overfitting nedir?: Overfitting, bir makine öğrenmesi modelinin eğitim verisini gürültüsü ve aykırı değerleriyle birlikte ezberlemesi ve bu yüzden yeni, görülmemiş veriler üzerinde başarısız olmasıdır. Model eğitimde çok yüksek, gerçek kullanımda düşük performans gösterir; genelleme (generalization) yeteneği zayıflamıştır.
  • check_circle Overfitting ne demek, Türkçesi nedir?: Overfitting'in Türkçe karşılığı aşırı öğrenme veya aşırı uyumdur; günlük dilde ezberleme de denir. Terim, modelin eğitim verisine gereğinden fazla uyum göstermesini, yani verideki gerçek örüntü yerine rastlantısal ayrıntıları öğrenmesini anlatır.
  • check_circle Aşırı öğrenme nasıl anlaşılır?: En net işaret, eğitim ve doğrulama performansı arasındaki makastır: eğitim hatası düşerken doğrulama hatası yükseliyorsa model ezberliyordur. Öğrenme eğrileri bu ayrışmayı görselleştirir; k-fold cross-validation sonuçlarındaki yüksek varyans da ek bir uyarı işaretidir.
  • check_circle Underfitting ile overfitting arasındaki fark nedir?: Underfitting'de model hem eğitim hem doğrulama verisinde kötüdür; verinin yapısını öğrenemeyecek kadar basittir. Overfitting'de eğitim performansı çok iyi, doğrulama/test performansı kötüdür; model çok karmaşıktır ve veriyi ezberlemiştir. İkisi de modelin doğru karmaşıklık seviyesinde olmadığını gösterir.
  • check_circle Overfitting nasıl önlenir?: Başlıca yöntemler: daha fazla veya daha çeşitli veri toplamak, veri artırma (augmentation) uygulamak, L1/L2 regularizasyon ve dropout kullanmak, erken durdurma (early stopping) uygulamak ve model mimarisini sadeleştirmek. Bu teknikler genellikle birlikte kullanılır ve hiperparametreleri cross-validation ile ayarlanır.
  • check_circle Küçük veri setlerinde overfitting nasıl önlenir?: Veri artırma ile mevcut örneklerden yapay çeşitlemeler üretilir; transfer learning ile büyük veri üzerinde önceden eğitilmiş bir modelden yararlanılır. Güçlü regularizasyon ve erken durdurma uygulanır, model mimarisi sadeleştirilir. k-fold cross-validation ile her veri noktasından maksimum bilgi çıkarılır.