Batch Normalization (Toplu Normalleştirme)
Batch Normalization (Toplu Normalleştirme), derin sinir ağlarının eğitimini hızlandırmak ve kararlı hâle getirmek için 2015 yılında Ioffe ve Szegedy tarafından önerilen bir tekniktir. Temel fikir, her katmanın girdilerini mini-grup (mini-batch) bazında normalleştirmek ve böylece dahili kovaryat kaymasını (internal covariate shift) azaltmaktır.
Bu teknik, daha yüksek öğrenme hızlarına olanak tanır, parametre başlatmaya duyarlılığı azaltır ve belirli durumlarda Dropout'a olan ihtiyacı ortadan kaldırabilir. Günümüzde derin öğrenme modellerinin neredeyse tamamında kullanılan standart bir bileşen hâline gelmiştir.