Adam Optimizer (Adam Optimize Edici)

#optimizasyon #makine-ogrenimi #derin-ogrenme #egitim

Adam Optimizer, her model parametresi için uyarlanabilir öğrenme oranları hesaplayan ve momentum ile gradyan istatistiklerini birleştiren, derin öğrenmede en yaygın kullanılan optimizasyon algoritmasıdır.

Adam Optimizer (Adaptive Moment Estimation), derin öğrenme modellerinin eğitiminde kullanılan ve her parametre için ayrı, uyarlanabilir öğrenme oranları hesaplayan bir optimizasyon algoritmasıdır. 2014 yılında Diederik Kingma ve Jimmy Ba tarafından önerilen Adam, klasik Stochastic Gradient Descent (SGD) yönteminin sınırlamalarını aşmak amacıyla geliştirilmiştir. Adam'ın temel gücü, hem birinci moment tahminini (momentum — gradyanların ağırlıklı ortalaması) hem de ikinci moment tahminini (RMSProp benzeri — gradyanların kareli ortalamasının ağırlıklı ortalaması) aynı anda takip etmesinden kaynaklanmaktadır. Bu iki bileşen birleştirilerek her parametre güncelleme adımı, hem geçmiş gradyan yönünü hem de geçmiş gradyan büyüklüğünü dikkate alır; bu yapı sayede sık güncellenen parametreler küçük adımlar atarken seyrek güncellenen parametreler büyük adımlar atabilmektedir. Algoritmanın iki kritik hiperparametresi vardır: β₁ (varsayılan 0.9) birinci moment için üstel bozunma oranını, β₂ (varsayılan 0.999) ikinci moment için üstel bozunma oranını kontrol eder. ε (epsilon, varsayılan 1e-8) sıfıra bölünmeyi önlemek için eklenen küçük bir sabittir. Öğrenme oranı genellikle 1e-3 ile 1e-4 arasında seçilir. Adam, başlangıç moment tahminlerinin sıfıra yanlılığını düzeltmek için önyargı düzeltmesi (bias correction) mekanizması içerir. Bu mekanizma özellikle eğitimin ilk adımlarında daha kararlı güncellemeler yapılmasını mümkün kılar. GPT, BERT, ResNet ve diğer modern derin öğrenme modellerinin büyük çoğunluğu varsayılan olarak Adam ile eğitilmektedir. AdaGrad ve RMSProp algoritmalarının avantajlarını birleştiren Adam, geniş bir model sınıfında iyi performans sergilemektedir. Doğal dil işleme, bilgisayarlı görü ve pekiştirmeli öğrenme gibi alanlarda fiilî standart optimizasyon algoritması hâline gelmiştir. Büyük ölçekli model eğitiminde Adam'ın bellek tüketimi kritik bir etkendir. Her parametre için iki moment tahmini saklandığından bellek maliyeti SGD'nin yaklaşık üç katıdır. Bu nedenle 2024-2025 döneminde Llama 3 ve Gemini 1.5 gibi mimarilerin bazı varyantlarında 8-bit ve 4-bit Adam uygulamaları (bitsandbytes kütüphanesi) kullanılarak GPU bellek tüketimi önemli ölçüde azaltılmıştır.

trending_down Adam Optimizer Nasıl Çalışır?

Adam, her iterasyonda üç adım uygular. İlk olarak gradyan hesaplanır. Ardından birinci moment (m) — gradyanların üstel ağırlıklı ortalaması — ve ikinci moment (v) — gradyanların kareli üstel ağırlıklı ortalaması — güncellenir. Son olarak önyargı düzeltmesi yapılarak parametre güncelleme miktarı hesaplanır.

Güncelleme formülü: θ ← θ − α × m̂ / (√v̂ + ε)

Burada m̂ ve v̂ önyargı düzeltmeli moment tahminleridir. Bu yapıda her parametre kendi tarihsel gradyan istatistiklerine göre bağımsız bir güncelleme alır — yüksek varyanslı parametreler için adım boyutu otomatik olarak küçülür, düşük varyanslı parametreler için büyür.

Adam ve Diğer Optimizerlar

SGD (Stochastic Gradient Descent)

Her parametre için aynı öğrenme oranı kullanır. Momentum eklenebilir ama uyarlanabilir değildir. Uygun hiperparametre tuning gerektirdiğinden Adam'a kıyasla kullanımı daha zordur.

RMSProp

Adam'ın öncülü. İkinci moment (gradyan karesi ortalaması) takip eder ama birinci momenti kullanmaz. Momentum olmadığı için yavaş düz alanda ivmelenemez.

AdaGrad

Her parametre için birikimli gradyan karesi kullanır; seyrek özellikler için avantajlıdır. Ancak öğrenme oranı monoton azaldığı için derin ağlarda erken durma riski taşır.

AdamW

Adam'ın ağırlık bozunması (weight decay) düzeltmesi yapılmış versiyonu. L2 regularization'ı gradyan güncellemesine değil, doğrudan ağırlığa uygular. Büyük dil modellerinde tercih edilir.

tune Temel Hiperparametreler

  • check_circle Öğrenme oranı (α): Varsayılan 0.001. Çok büyük seçilirse eğitim ıraksayabilir; çok küçük seçilirse yavaş yakınsama olur. Learning rate scheduler ile birlikte kullanımı yaygındır.
  • check_circle β₁ (birinci moment bozunma): Varsayılan 0.9. Momentum katkısını kontrol eder. NLP görevlerinde bazen 0.95-0.98 arasına yükseltilir.
  • check_circle β₂ (ikinci moment bozunma): Varsayılan 0.999. Gradyan gürültüsüne karşı kararlılık sağlar. Yüksek gürültülü görevlerde 0.99'a düşürülebilir.
  • check_circle ε (epsilon): Varsayılan 1e-8. Sıfıra bölünmeyi önler; çok küçük seçilirse sayısal kararsızlık oluşabilir.
  • check_circle Weight decay: AdamW varyantında doğrudan ağırlık güncelleme formülüne eklenir. Tipik değer 0.01-0.1 arasındadır.

apps Kullanım Alanları ve Pratik İpuçları

  • check_circle LLM eğitimi: GPT-4, LLaMA, BERT gibi modeller adam/adamW ile eğitilir. Genellikle cosine learning rate schedule + warmup adımıyla kullanılır.
  • check_circle Görüntü sınıflandırma: ResNet, ViT gibi modellerde adam standart başlangıç noktasıdır; ince ayar aşamasında düşük lr (1e-4 veya altı) önerilir.
  • check_circle Pekiştirmeli öğrenme: Policy gradient yöntemlerinde (PPO, A3C) adam yaygın tercihdir — sık parametre güncellemelerinde kararlı davranır.
  • check_circle Gradient clipping: Norm ≤ 1.0 ile birlikte kullan. Büyük dil modellerinde norm patlaması sıktır; clipping olmadan eğitim kararsızlaşabilir.
  • check_circle SGD vs Adam karşılaştırması: ImageNet'te scratch eğitiminde SGD+momentum bazen %0.5-1 daha iyi doğruluk verebilir; ince ayarda Adam üstündür.

science Adam Varyantları

  • check_circle AdamW: Decoupled weight decay ekler. Hugging Face Transformers'ın varsayılan optimizer'ıdır. L2 regularization etkisi daha temiz uygulanır.
  • check_circle Amsgrad: İkinci moment tahmininin monoton artmasını zorunlu kılar; teorik yakınsama garantisi sağlar ancak pratikte Adam'ı nadiren geçer.
  • check_circle Nadam: Adam + Nesterov momentum. Nesterov ivmelenmesi, güncelleme yönünü bir adım önceden tahmin eder.
  • check_circle LAMB (Large-batch Adam): Çok büyük batch boyutlarında (32K+) her katman için normalize edilmiş güncelleme kullanır. BERT'in 76 dakikada eğitilmesinde kullanılmıştır.
  • check_circle Lion: Google Brain'in 2023'te önerdiği, Adam'dan %2-10 daha az bellek kullanan optimizer. İşaret (sign) tabanlı güncelleme yapar — büyük modellerde bellek avantajı vardır.

help_outline Sık Sorulan Sorular

  • check_circle Adam neden bu kadar popüler? Geniş bir hiperparametre aralığında tutarlı çalışması ve derin ağlarda hızlı yakınsama özelliği en büyük avantajlardır. Özellikle sparse gradyanlar içeren NLP görevlerinde SGD'ye kıyasla belirgin üstünlük gösterir.
  • check_circle AdamW ile Adam arasındaki fark nedir? Adam, ağırlık bozunmasını gradyan güncellemesine entegre eder — bu teorik olarak yanlış uygulamadır. AdamW ağırlık bozunmasını ayrı ve doğrudan uygular; büyük modellerde daha iyi genelleme elde edilir.
  • check_circle Adam her zaman en iyi seçim midir? Hayır. Büyük batch boyutlarında sıfırdan eğitim yapılıyorsa SGD+momentum daha iyi son doğruluk verebilir. Seçim göreve, batch boyutuna ve bütçeye bağlıdır.
  • check_circle Öğrenme oranı nasıl seçilir? LR range test (cyclical LR) veya warm-up + cosine decay yaygın pratiktir. 1e-3 ile başlayıp azaltmak güvenli bir başlangıç noktasıdır.
  • check_circle Adam eğitim kaybını sıfıra indirir mi? Hayır. Adam bir optimizasyon algoritmasıdır; regularization ve veri kalitesi olmadan aşırı öğrenme (overfitting) yaşanır.