Expectation-Maximization Algorithm (Expectation-Maximization (EM) Algoritması)

#EMAlgoritması #OlasılıksalModel #GMM #GizliDeğişken

Gizli değişkenler içeren olasılıksal modellerde maksimum olabilirlik tahminleri hesaplamak için kullanılan iki aşamalı yinelemeli optimizasyon algoritması.

Expectation-Maximization (EM) algoritması, gizli (latent) değişkenler içeren istatistiksel modellerde maksimum olabilirlik (MLE) veya maksimum sonsal (MAP) parametre tahminleri hesaplamak için kullanılan yinelemeli bir optimizasyon yöntemidir. Arthur Dempster, Nan Laird ve Donald Rubin'in 1977'de Journal of the Royal Statistical Society'de yayımladığı seminal çalışmayla sistematik olarak formüle edilmiştir. Algoritma iki temel adımdan oluşur: E-adımında (Expectation — Beklenti), mevcut parametre tahminleri kullanılarak gizli değişkenlerin koşullu beklentileri hesaplanır; Q fonksiyonu olarak adlandırılan bu beklenti, log-olabilirliğin alt sınırını oluşturur. M-adımında (Maximization — Maksimizasyon) ise Q fonksiyonunu maksimize eden yeni parametre tahminleri bulunur. Bu iki adım yakınsayana dek tekrarlanır. EM'in en kritik matematiksel özelliği, her iterasyonda gözlemlenen verinin log-olabilirliğinin azalmayacağının Jensen eşitsizliğiyle garanti edilmesidir. Bu özellik algoritmayı istikrarlı kılsa da başlangıç noktasına duyarlılık nedeniyle yerel optimumlara yakınsaması mümkündür. Bu sorunu hafifletmek için çoklu rastlantısal başlangıç (random restarts) veya k-means++ başlatma stratejisi yaygın olarak kullanılır. Makine öğrenimi tarihindeki en etkili algoritmalardan biri olan EM, Gaussian Karışım Modelleri (GMM) parametrelerini öğrenmekte, Hidden Markov Models (HMM) için Baum-Welch algoritmasının çekirdeğini oluşturmakta, Gizli Dirichlet Tahsisi (LDA) gibi konu modellerinin eğitiminde ve eksik veri senaryolarında parametre tahmininde kullanılmaktadır. K-means kümeleme algoritması, EM'in sert (hard) atama kullanan özel bir durumu olarak düşünülebilir.

EM Algoritması Nasıl Çalışır?

EM algoritması, tam gözlemlenemeyen (gizli) değişkenler nedeniyle doğrudan optimize edilemeyen log-olabilirlik fonksiyonuna alt sınır (lower bound) oluşturarak çalışır. E-adımında Q(θ|θ^(t)) fonksiyonu hesaplanır: bu, mevcut θ^(t) parametreleriyle gizli değişkenlerin koşullu dağılımı altında log-olabilirliğin beklentisidir. M-adımında ise θ^(t+1) = argmax Q(θ|θ^(t)) bulunur. Jensen eşitsizliği bu süreçte log-olabilirliğin her adımda artacağını matematiksel olarak kanıtlar. Algoritma başlangıç noktasının seçimine duyarlıdır ve çoklu başlatma stratejileriyle bu duyarlılık azaltılabilir.

EM ve K-Means İlişkisi

K-means kümeleme, EM algoritmasının özel ve deterministik bir durumu olarak ele alınabilir. K-means'in atama adımı (her noktayı en yakın merkeze atama), EM'in E-adımının sert (hard) atama versiyonuna karşılık gelir: GMM'deki yumuşak (soft) olasılıksal atamalar yerine kesin 0/1 atamaları kullanılır. Güncelleme adımı ise M-adımına eşdeğerdir. Bu ilişki, GMM'nin K-means'e göre daha zengin bir olasılıksal çerçeve sunduğunu ve belirsizliği (uncertainty) modelleyebildiğini ortaya koyar.

Güncel Kullanım ve Modern Bağlam

Derin öğrenme çağında EM algoritması hâlâ aktif biçimde kullanılmaktadır. GMM tabanlı anomali tespiti, ses ve konuşma işlemede GMM-UBM konuşmacı tanıma, yarı gözetimli öğrenmede etiketlenmemiş verilerin değerlendirilmesi ve Bayesçi çıkarımda Varyasyonel EM bunların başında gelir. Özellikle Varyasyonel Çıkarım (Variational Inference) ve Varyasyonel Otokodlayıcı (VAE) mimarileri, EM'in olasılıksal çerçevesini modern derin öğrenmeyle birleştiren güncel yaklaşımlardır.