tag lojistik-regresyon

Bu sayfada lojistik-regresyon etiketi ile işaretlenmiş 1 yapay zeka kavramını bulabilirsiniz.

Sigmoid fonksiyonu, matematiksel gösterimi σ(x) = 1 / (1 + e^(-x)) olan ve her gerçel sayıyı 0 ile 1 arasındaki açık aralığa eşleyen S şekilli bir aktivasyon fonksiyonudur. Lojistik fonksiyon adıyla da anılan sigmoid, yapay sinir ağlarının ve klasik makine öğrenmesinin en eski yapı taşlarından biridir. Girdi eksi sonsuza giderken çıktı sıfıra, artı sonsuza giderken bire yaklaşır; x = 0 noktasında ise tam 0.5 değerini alır. Bu davranış, fonksiyonun çıktısını doğrudan bir olasılık gibi okumaya izin verir ve sigmoid'i ikili sınıflandırma problemlerinin çıkış katmanı için doğal bir seçim yapar: model, bir e-postanın spam olma ya da bir hastanın belirli bir tanıya sahip olma olasılığını tek bir sayıyla ifade edebilir. Fonksiyonun türevi σ'(x) = σ(x) · (1 - σ(x)) biçiminde, yani fonksiyonun kendi değeri üzerinden hesaplanır. Bu sadelik, 1986'da geri yayılım algoritmasının yaygınlaşmasıyla birlikte sigmoid'i sinir ağı eğitiminin standart aktivasyonu haline getirdi. 1990'ların ve 2000'lerin başındaki çok katmanlı algılayıcıların büyük bölümü gizli katmanlarında sigmoid kullanıyordu. Aynı türev, sigmoid'in en bilinen zayıflığını da açıklar. Türevin alabileceği en yüksek değer 0.25'tir ve |x| büyüdükçe hızla sıfıra iner. Derin bir ağda geri yayılım sırasında bu küçük türevler katman katman çarpıldığından, ilk katmanlara ulaşan gradyan neredeyse yok olur. Gradyan kaybı (vanishing gradient) olarak bilinen bu sorun, sigmoid tabanlı derin ağların eğitilmesini pratikte imkânsız hale getiriyordu. Ayrıca çıktının sıfır merkezli olmaması ağırlık güncellemelerinin hep aynı yönde ilerlemesine, üstel hesaplama ise ek işlem maliyetine yol açar. Bu nedenlerle modern derin öğrenme mimarileri gizli katmanlarda ReLU, GELU ve benzeri fonksiyonları tercih eder. Sigmoid ise varlığını üç önemli alanda sürdürür: ikili ve çok etiketli sınıflandırmanın çıkış katmanı, lojistik regresyonun olasılık dönüşümü ve LSTM ile GRU hücrelerindeki kapı mekanizmaları. Bu kapılar, bilginin ne kadarının hücre durumuna yazılacağını ya da silineceğini 0 ile 1 arasında bir katsayıyla belirler; tam da sigmoid'in ürettiği türden bir değer. Kısacası sigmoid, derin ağların gizli katmanlarından çekilmiş olsa da olasılık üretmenin gerektiği her yerde hâlâ vazgeçilmezdir.

code_blocks

Sigmoid Fonksiyonu (Sigmoid Fonksiyonu)

Sigmoid fonksiyonu, matematiksel gösterimi σ(x) = 1 / (1 + e^(-x)) olan ve her gerçel sayıyı 0 ile 1 arasındaki açık aralığa eşleyen S şekilli bir aktivasyon fonksiyonudur. Lojistik fonksiyon adıyla da anılan sigmoid, yapay sinir ağlarının ve klasik makine öğrenmesinin en eski yapı taşlarından biridir. Girdi eksi sonsuza giderken çıktı sıfıra, artı sonsuza giderken bire yaklaşır; x = 0 noktasında ise tam 0.5 değerini alır. Bu davranış, fonksiyonun çıktısını doğrudan bir olasılık gibi okumaya izin verir ve sigmoid'i ikili sınıflandırma problemlerinin çıkış katmanı için doğal bir seçim yapar: model, bir e-postanın spam olma ya da bir hastanın belirli bir tanıya sahip olma olasılığını tek bir sayıyla ifade edebilir. Fonksiyonun türevi σ'(x) = σ(x) · (1 - σ(x)) biçiminde, yani fonksiyonun kendi değeri üzerinden hesaplanır. Bu sadelik, 1986'da geri yayılım algoritmasının yaygınlaşmasıyla birlikte sigmoid'i sinir ağı eğitiminin standart aktivasyonu haline getirdi. 1990'ların ve 2000'lerin başındaki çok katmanlı algılayıcıların büyük bölümü gizli katmanlarında sigmoid kullanıyordu. Aynı türev, sigmoid'in en bilinen zayıflığını da açıklar. Türevin alabileceği en yüksek değer 0.25'tir ve |x| büyüdükçe hızla sıfıra iner. Derin bir ağda geri yayılım sırasında bu küçük türevler katman katman çarpıldığından, ilk katmanlara ulaşan gradyan neredeyse yok olur. Gradyan kaybı (vanishing gradient) olarak bilinen bu sorun, sigmoid tabanlı derin ağların eğitilmesini pratikte imkânsız hale getiriyordu. Ayrıca çıktının sıfır merkezli olmaması ağırlık güncellemelerinin hep aynı yönde ilerlemesine, üstel hesaplama ise ek işlem maliyetine yol açar. Bu nedenlerle modern derin öğrenme mimarileri gizli katmanlarda ReLU, GELU ve benzeri fonksiyonları tercih eder. Sigmoid ise varlığını üç önemli alanda sürdürür: ikili ve çok etiketli sınıflandırmanın çıkış katmanı, lojistik regresyonun olasılık dönüşümü ve LSTM ile GRU hücrelerindeki kapı mekanizmaları. Bu kapılar, bilginin ne kadarının hücre durumuna yazılacağını ya da silineceğini 0 ile 1 arasında bir katsayıyla belirler; tam da sigmoid'in ürettiği türden bir değer. Kısacası sigmoid, derin ağların gizli katmanlarından çekilmiş olsa da olasılık üretmenin gerektiği her yerde hâlâ vazgeçilmezdir.

arrow_forward