Sigmoid Fonksiyonu

Sigmoid fonksiyonu (σ), matematiksel formülü σ(x) = 1 / (1 + e⁻ˣ) olan ve her gerçel sayıyı (−∞, +∞) açık aralığından (0, 1) açık aralığına eşleyen S-şekilli bir aktivasyon fonksiyonudur. Lojistik fonksiyon olarak da bilinen sigmoid, yapay sinir ağlarının ve makine öğrenmesinin temel yapı taşlarından biridir. Sigmoid fonksiyonunun en önemli özelliği, çıktısını olasılık yorumuna uygun bir aralığa sıkıştırmasıdır: x → −∞ iken σ(x) → 0, x → +∞ iken σ(x) → 1, x = 0 iken σ(0) = 0.5. Bu özellik, ikili sınıflandırma görevlerinin çıkış katmanında sigmoid'i doğal bir seçim haline getirir; çıkış, "pozitif sınıfa ait olma olasılığı" olarak yorumlanabilir. Türevinin σ'(x) = σ(x) · (1 − σ(x)) şeklinde kolayca hesaplanabilmesi, geri yayılım (backpropagation) algoritmasıyla verimli eğitim yapılmasını mümkün kılmıştır. Erken dönem sinir ağlarının neredeyse tamamı sigmoid aktivasyon kullanıyordu. Bununla birlikte, sigmoid fonksiyonunun önemli bir dezavantajı vardır: **gradyan kaybı (vanishing gradient) sorunu**. |x| değeri büyüdüğünde türev sıfıra yaklaşır; bu durum derin ağlarda geri yayılım sırasında gradyanların katman katman zayıflamasına, dolayısıyla öğrenmenin durma noktasına gelmesine yol açar. Bu nedenle modern derin öğrenme mimarileri ara katmanlarda çoğunlukla ReLU ve türevlerini (Leaky ReLU, GELU) tercih eder; sigmoid ise ikili sınıflandırma çıkış katmanı ve LSTM/GRU kapı mekanizmaları gibi spesifik kullanım alanlarında varlığını sürdürmektedir. Lojistik regresyonda sigmoid, lineer çıktıyı olasılığa dönüştürmek için kullanılır; bu kullanım makine öğrenmesinin en köklü uygulamalarından biridir.