Dropout (Dropout (Düzenlileştirme Tekniği))
Dropout, derin sinir ağı eğitimi sırasında her güncelleme adımında belirli bir olasılıkla (dropout oranı, p) gizli katman nöronlarının çıkışlarını sıfırlayan ve bu sayede modelin belirli nöronlara aşırı bağımlı kalmasını engelleyen bir düzenlileştirme (regularization) yöntemidir. Srivastava, Hinton, Krizhevsky ve arkadaşları tarafından 2014 yılında yayımlanan "Dropout: A Simple Way to Prevent Neural Networks from Overfitting" başlıklı çalışmayla tanıtılan bu teknik, derin öğrenmenin standart araç kutusuna girmiştir.
Tekniğin temel mantığı şöyledir: Eğitim sırasında her mini-batch için rastgele seçilen nöronlar ve onlara bağlı ağırlık bağlantıları geçici olarak kaldırılır. Geriye kalan ağ, seyrek bir alt ağ (sub-network) olarak eğitilir. Böylece her iterasyonda farklı bir mimari öğrenmeye zorlanır. Bu süreç, binlerce farklı ağı aynı anda eğitip tahminlerin ortalamasını almak gibi bir topluluk (ensemble) etkisi yaratır.
Test ve çıkarım (inference) aşamasında dropout devre dışı bırakılır; tüm nöronlar aktif kalır. Ancak beklenti tutarlılığını korumak için her nöronun çıkışı (1 − p) faktörüyle çarpılır ya da eğitimde nöron çıkışları 1/(1−p) ile ölçeklenerek test aşamasında herhangi bir ölçeklendirme yapılmaz (inverted dropout).
Dropout oranı, uygulamaya göre değişmekle birlikte gizli tam bağlı (fully-connected) katmanlar için 0,2–0,5 aralığı yaygın olarak kullanılır. Evrişimsel katmanlarda oranın daha düşük tutulması ya da Spatial Dropout gibi özel varyantların tercih edilmesi önerilir; tam bağlı olmayan katmanlarda standart dropout dikkat gerektiren yanlı gradyan davranışlarına yol açabilir.
Dropout'un derin öğrenme pratiğindeki yeri son derece önemlidir: AlexNet, VGG, ResNet ve transformer temelli modellerin pek çok varyantında kullanılmaktadır. Bununla birlikte Batch Normalization gibi modern düzenlileştirme yöntemlerinin yaygınlaşmasıyla bazı mimarilerde rolü azalmış; hibrit kullanım ön plana çıkmıştır.