Adam Optimizer (Adam Optimize Edici)

Adam Optimizer (Adaptive Moment Estimation), derin öğrenme modellerinin eğitiminde kullanılan ve her parametre için ayrı, uyarlanabilir öğrenme oranları hesaplayan bir optimizasyon algoritmasıdır. 2014 yılında Diederik Kingma ve Jimmy Ba tarafından önerilen Adam, klasik Stochastic Gradient Descent (SGD) yönteminin sınırlamalarını aşmak amacıyla geliştirilmiştir. Adam'ın temel gücü, hem birinci moment tahminini (momentum — gradyanların ağırlıklı ortalaması) hem de ikinci moment tahminini (RMSProp benzeri — gradyanların kareli ortalamalarının ağırlıklı ortalaması) aynı anda takip etmesinden kaynaklanmaktadır. Bu iki bileşen birleştirilerek her parametre güncelleme adımı, hem geçmiş gradyan yönünü hem de geçmiş gradyan büyüklüğünü dikkate alır; bu yapı sayede sık güncellenen parametreler küçük adımlar atarken seyrek güncellenen parametreler büyük adımlar atabilmektedir. Algoritmanın iki kritik hiperparametresi vardır: β₁ (varsayılan 0.9) birinci moment için üstel bozunma oranını, β₂ (varsayılan 0.999) ikinci moment için üstel bozunma oranını kontrol eder. ε (epsilon, varsayılan 1e-8) sıfıra bölünmeyi önlemek için eklenen küçük bir sabitten oluşmaktadır. Öğrenme oranı genellikle 1e-3 ile 1e-4 arasında seçilir. Adam, başlangıç moment tahminlerinin sıfıra yanlılığını düzeltmek için önyargı düzeltmesi (bias correction) mekanizması içerir. Bu mekanizma özellikle eğitimin ilk adımlarında daha kararlı güncellemeler yapılmasını mümkün kılar. GPT, BERT, ResNet ve diğer modern derin öğrenme modellerinin büyük çoğunluğu varsayılan olarak Adam ile eğitilmektedir. AdaGrad ve RMSProp algoritmalarının avantajlarını birleştiren Adam, geniş bir model sınıfında iyi performans sergilemektedir. Doğal dil işleme, bilgisayarlı görü ve pekiştirmeli öğrenme gibi alanlarda fiilî standart optimizasyon algoritması hâline gelmiştir.