Lojistik Regresyon

#MakineOgrenimi #Siniflandirma #Algoritma #Istatistik

Sigmoid fonksiyonu kullanarak ikili veya çok sınıflı olasılık tahminleri yapan, yorumlanabilirliğiyle öne çıkan temel sınıflandırma algoritması.

Lojistik regresyon, sınıflandırma problemleri için kullanılan temel bir denetimli makine öğrenimi algoritmasıdır. İsmindeki "regresyon" sözcüğüne karşın algoritma, sürekli değer tahmini değil; olayların gerçekleşme olasılığını tahmin etmek için tasarlanmıştır. Temel matematiksel yapısı, doğrusal regresyon çıktısını [0, 1] aralığına sıkıştıran sigmoid (lojistik) fonksiyonuna dayanır. Algoritma, istatistikçi David Cox tarafından 1958 yılında literatüre kazandırılmıştır. Girdi özelliklerinin ağırlıklı toplamını hesapladıktan sonra sigmoid fonksiyonunu uygular; sonuç 0,5'in üzerindeyse pozitif sınıf, altındaysa negatif sınıf olarak etiketlenir. Bu karar eşiği kullanım senaryosuna göre ayarlanabilir; tıbbi tanı sistemlerinde yanlış negatif oranını düşürmek için eşik değeri azaltılır. Eğitim sürecinde kayıp fonksiyonu olarak ikili çapraz entropi (log-loss) minimize edilir; bu işlem stokastik gradyan inişi veya Newton-Raphson yöntemiyle gerçekleştirilir. L1 düzenlileştirme (Lasso) gereksiz özellikleri sıfıra çekerek özellik seçimi yaparken, L2 (Ridge) ağırlıkları küçük tutarak aşırı öğrenmeyi önler; ElasticNet her iki yaklaşımı dengeli biçimde birleştirir. Lojistik regresyon; e-posta spam tespiti, kredi riski değerlendirmesi, tıbbi tanı, metin sınıflandırma ve dönüşüm oranı tahmini gibi geniş bir uygulama yelpazesine sahiptir. Yorumlanabilir yapısı dolayısıyla, özellikle kararların açıklanması gereken finans ve sağlık sektörlerinde derin öğrenme modellerine tercih edilir. Scikit-learn, TensorFlow ve PyTorch kütüphanelerinde standart API'ler üzerinden hızla uygulanabilir.

Sigmoid Fonksiyonu ve Karar Sınırı

Lojistik regresyonun çekirdeğinde σ(z) = 1 / (1 + e^−z) formülüyle tanımlanan sigmoid fonksiyonu bulunur. Doğrusal kombinasyon z = w₀ + w₁x₁ + w₂x₂ + … bu fonksiyondan geçirildiğinde çıktı, 0 ile 1 arasında bir olasılık değerine dönüşür. Karar sınırı ise bu olasılık yüzeyinin 0,5 eşiğini kestiği doğrusal ya da polinom hiperplane olarak belirlenir.

Eğitim: Log-Loss Minimizasyonu

Model parametreleri, ikili çapraz entropi (log-loss) kayıp fonksiyonunu minimize ederek öğrenilir. Scikit-learn varsayılan olarak L2 düzenlileştirmeli sınırlı bellek BFGS (lbfgs) çözücüsünü kullanır. Büyük veri setlerinde stokastik gradyan inişi (SGD) tercih edilir. Yakınsama hızını artırmak için özniteliklerin StandardScaler ile normalleştirilmesi kritik önem taşır.

Çoklu Sınıf Genişlemesi

İkiden fazla sınıf için iki strateji kullanılır: OvR (One-vs-Rest) her sınıf için ayrı bir ikili sınıflandırıcı eğitirken; Multinomial Lojistik Regresyon (Softmax Regresyon) tüm sınıfları aynı anda modeller ve olasılık dağılımının toplamını bire zorlar. Çok sınıflı metinsel görevlerde multinomial yaklaşım genellikle daha tutarlı sonuçlar üretir.

Avantajlar ve Sınırlamalar

Lojistik regresyon, hız, yorumlanabilirlik ve az parametre gerektirmesi bakımından üstündür; katsayılar doğrudan log-odds olarak yorumlanabilir. Ancak doğrusal olmayan ilişkileri veya yüksek boyutlu etkileşimleri modellemekte zorlanır. Bu durumda polinom öznitelikler eklemek ya da karar ağacı tabanlı topluluk yöntemlerine geçmek daha etkili olabilir.