Lojistik Regresyon

#MakineOgrenimi #Siniflandirma #Algoritma #Istatistik

Lojistik Regresyon, sigmoid fonksiyonuyla ikili ve çok sınıflı olasılık tahmini yapan, yorumlanabilirliğiyle öne çıkan temel sınıflandırma algoritmasıdır.

Lojistik regresyon, sınıflandırma problemleri için kullanılan temel bir denetimli makine öğrenimi algoritmasıdır. İsmindeki "regresyon" sözcüğüne karşın algoritma, sürekli değer tahmini değil; olayların gerçekleşme olasılığını tahmin etmek için tasarlanmıştır. Temel matematiksel yapısı, doğrusal regresyon çıktısını [0, 1] aralığına sıkıştıran sigmoid (lojistik) fonksiyonuna dayanır: σ(z) = 1 / (1 + e^−z). Algoritma, istatistikçi David Cox tarafından 1958 yılında literatüre kazandırılmıştır. Girdi özelliklerinin ağırlıklı toplamını hesapladıktan sonra sigmoid fonksiyonunu uygular; sonuç 0,5'in üzerindeyse pozitif sınıf, altındaysa negatif sınıf olarak etiketlenir. Bu karar eşiği kullanım senaryosuna göre ayarlanabilir; tıbbi tanı sistemlerinde yanlış negatif oranını düşürmek için eşik değeri azaltılır. Eğitim sürecinde kayıp fonksiyonu olarak ikili çapraz entropi (log-loss) minimize edilir. Bu işlem genellikle stokastik gradyan inişi veya sınırlı bellek BFGS (L-BFGS) optimizasyon yöntemiyle gerçekleştirilir. L1 düzenlileştirme (Lasso) gereksiz özellikleri sıfıra çekerek özellik seçimi yaparken, L2 (Ridge) ağırlıkları küçük tutarak aşırı öğrenmeyi önler; ElasticNet her iki yaklaşımı dengeli biçimde birleştirir. Eğitim öncesinde özniteliklerin StandardScaler ile normalleştirilmesi yakınsama hızını önemli ölçüde artırır. Lojistik regresyon, yapay sinir ağlarının temel birimi olan tek nöronun davranışıyla doğrudan ilişkilidir: sigmoid aktivasyon fonksiyonu kullanan yalnızca bir nörondan oluşan ağ, matematiksel olarak bir lojistik regresyon modelidir. Bu ilişki, çok katmanlı derin öğrenme modellerinin lojistik regresyon üzerine inşa edildiğini anlamamızı kolaylaştırır. Çok sınıflı problemler için iki temel yaklaşım mevcuttur: OvR (One-vs-Rest) stratejisi her sınıf için bağımsız bir ikili sınıflandırıcı eğitir; multinomial lojistik regresyon (softmax regresyon) ise tüm sınıfları aynı anda modeler ve olasılıkların toplamını bire zorlar. Çok sınıflı metinsel görevlerde multinomial yaklaşım genellikle daha tutarlı sonuçlar üretir. Lojistik regresyon; e-posta spam tespiti, kredi riski değerlendirmesi, tıbbi tanı, metin sınıflandırma ve dijital pazarlamada dönüşüm oranı tahmini gibi geniş bir uygulama yelpazesine sahiptir. Yorumlanabilir yapısı ve hesaplanabilir katsayı güven aralıkları sayesinde, kararların açıklanması gereken finans ve sağlık sektörlerinde derin öğrenme modellerine tercih edilir.

Sigmoid Fonksiyonu ve Karar Sınırı

Lojistik regresyonun çekirdeğinde σ(z) = 1 / (1 + e^−z) formülüyle tanımlanan sigmoid fonksiyonu bulunur. Doğrusal kombinasyon z = w₀ + w₁x₁ + w₂x₂ + … bu fonksiyondan geçirildiğinde çıktı, 0 ile 1 arasında bir olasılık değerine dönüşür. Karar sınırı, bu olasılık yüzeyinin 0,5 eşiğini kestiği doğrusal ya da polinom hiperplane olarak belirlenir. Eşik değeri sabit olmak zorunda değildir: tıbbi tanı gibi yanlış negatiflerin maliyetli olduğu senaryolarda eşik 0,3'e indirilerek duyarlılık artırılabilir.

Eğitim: Log-Loss Minimizasyonu

Model parametreleri, ikili çapraz entropi (log-loss) kayıp fonksiyonunu minimize ederek öğrenilir. Scikit-learn varsayılan olarak L2 düzenlileştirmeli sınırlı bellek BFGS (lbfgs) çözücüsünü kullanır; büyük veri setlerinde stokastik gradyan inişi (SGD) daha verimlidir. Yakınsama hızını artırmak için özniteliklerin StandardScaler ile normalleştirilmesi kritik önem taşır: ölçeksizleştirilmemiş öznitelikler gradyan inişinde salınım yaratarak eğitimi uzatabilir. L1 düzenlileştirme gereksiz özellikleri sıfıra çekerek otomatik özellik seçimi sağlar.

Çoklu Sınıf Genişlemesi

İkiden fazla sınıf için iki strateji kullanılır: OvR (One-vs-Rest) her sınıf için ayrı bir ikili sınıflandırıcı eğitirken; Multinomial Lojistik Regresyon (Softmax Regresyon) tüm sınıfları aynı anda modeler ve olasılık dağılımının toplamını bire zorlar. Çok sınıflı metinsel görevlerde ve etiketler arasında güçlü korelasyon bulunduğunda multinomial yaklaşım daha tutarlı sonuçlar üretir. Çıktı katmanında softmax kullanan sinir ağları, öz itibarıyla ağırlıklı multinomial lojistik regresyon uygular.

Uygulama Alanları

  • check_circle Tıbbi Tanı: Hasta semptomlarına göre hastalık olasılığını tahmin eder; ROC eğrisi üzerinden eşik ayarıyla yanlış negatif minimuma indirilir.
  • check_circle Kredi Riski: Borçlunun temerrüde düşme olasılığını tahmin ederek bankaların kredi kararlarını destekler; katsayılar regülatörlere açıklanabilir.
  • check_circle Spam Filtresi: E-posta meta verisi ve içeriğindeki özniteliklere göre spam/ham sınıflandırması yapar.
  • check_circle Dönüşüm Tahmini: Dijital pazarlamada kullanıcının satın alma veya tıklama olasılığını modellemek için kullanılır; düşük gecikme süresi gerçek zamanlı tahminlere uygundur.
  • check_circle Metin Sınıflandırma: TF-IDF ya da öğrenilmiş embedding vektörlerinden elde edilen özniteliklerle belge kategorileri ve duygu analizi için hızlı temel model sağlar.

Avantajlar ve Sınırlamalar

Lojistik regresyon, hız, yorumlanabilirlik ve az parametre gerektirmesi bakımından üstündür; katsayılar doğrudan log-odds olarak yorumlanabilir ve istatistiksel güven aralıkları hesaplanabilir. Bu şeffaflık, finans ve sağlık sektörlerinde düzenleyici raporlama için büyük avantaj sağlar. Ancak doğrusal olmayan ilişkileri ya da yüksek boyutlu özellik etkileşimlerini doğrudan modelleyemez. Bu durumda polinom öznitelikler eklemek, çekirdek hilesi uygulamak veya gradient boosting gibi topluluk yöntemlerine geçmek daha etkili olabilir.

Sık Sorulan Sorular

  • check_circle Lojistik regresyon regresyon mu, sınıflandırma mı?: Adında 'regresyon' geçse de sınıflandırma algoritmasıdır; çıktısı olasılık değeri olan bir kategorik tahmincidir. 'Regresyon' terimi, sigmoid öncesi doğrusal bileşenden kaynaklanır.
  • check_circle Karar eşiği nasıl seçilir?: ROC eğrisi üzerindeki Youden J istatistiği veya F1 skoru maksimize edilerek belirlenir; yanlış pozitif ve yanlış negatif maliyetleri dengelenmelidir.
  • check_circle Lojistik regresyon ile SVM farkı nedir?: Lojistik regresyon tüm veri noktalarını dikkate alan olasılıksal bir model iken SVM yalnızca destek vektörlerine odaklanır; küçük veri setlerinde SVM genellikle daha kararlı performans gösterir.
  • check_circle Çok sınıflı problemlerde hangi yaklaşım tercih edilmeli?: Özellikler bağımsızsa OvR yeterlidir; ancak sınıflar arasında çok değişkenli bağımlılık varsa Multinomial (Softmax) yaklaşımı daha tutarlı sonuçlar üretir.
  • check_circle Scikit-learn'de nasıl kullanılır?: LogisticRegression(C=1.0, max_iter=1000).fit(X_train, y_train) tek satırda modeli eğitime hazır hale getirir; predict_proba() sınıf olasılıklarını, coef_ ise yorumlanabilir katsayıları döndürür.