tag GMM

Expectation-Maximization Algorithm (Expectation-Maximization (EM) Algoritması)

Bu sayfada GMM (Expectation-Maximization Algorithm (Expectation-Maximization (EM) Algoritması)) etiketi ile işaretlenmiş 1 yapay zeka kavramını bulabilirsiniz.

Expectation-Maximization (EM) algoritması, gizli (latent) değişkenler içeren istatistiksel modellerde maksimum olabilirlik (MLE) veya maksimum sonsal (MAP) parametre tahminleri hesaplamak için kullanılan yinelemeli bir optimizasyon yöntemidir. Arthur Dempster, Nan Laird ve Donald Rubin'in 1977'de Journal of the Royal Statistical Society'de yayımladığı seminal çalışmayla sistematik olarak formüle edilmiştir. Algoritma iki temel adımdan oluşur: E-adımında (Expectation — Beklenti), mevcut parametre tahminleri kullanılarak gizli değişkenlerin koşullu beklentileri hesaplanır; Q fonksiyonu olarak adlandırılan bu beklenti, log-olabilirliğin alt sınırını oluşturur. M-adımında (Maximization — Maksimizasyon) ise Q fonksiyonunu maksimize eden yeni parametre tahminleri bulunur. Bu iki adım yakınsayana dek tekrarlanır. EM'in en kritik matematiksel özelliği, her iterasyonda gözlemlenen verinin log-olabilirliğinin azalmayacağının Jensen eşitsizliğiyle garanti edilmesidir. Bu özellik algoritmayı istikrarlı kılsa da başlangıç noktasına duyarlılık nedeniyle yerel optimumlara yakınsaması mümkündür. Bu sorunu hafifletmek için çoklu rastlantısal başlangıç (random restarts) veya k-means++ başlatma stratejisi yaygın olarak kullanılır. Makine öğrenimi tarihindeki en etkili algoritmalardan biri olan EM, Gaussian Karışım Modelleri (GMM) parametrelerini öğrenmekte, Hidden Markov Models (HMM) için Baum-Welch algoritmasının çekirdeğini oluşturmakta, Gizli Dirichlet Tahsisi (LDA) gibi konu modellerinin eğitiminde ve eksik veri senaryolarında parametre tahmininde kullanılmaktadır. K-means kümeleme algoritması, EM'in sert (hard) atama kullanan özel bir durumu olarak düşünülebilir.

code_blocks

Expectation-Maximization Algorithm (Expectation-Maximization (EM) Algoritması)

Expectation-Maximization (EM) algoritması, gizli (latent) değişkenler içeren istatistiksel modellerde maksimum olabilirlik (MLE) veya maksimum sonsal (MAP) parametre tahminleri hesaplamak için kullanılan yinelemeli bir optimizasyon yöntemidir. Arthur Dempster, Nan Laird ve Donald Rubin'in 1977'de Journal of the Royal Statistical Society'de yayımladığı seminal çalışmayla sistematik olarak formüle edilmiştir. Algoritma iki temel adımdan oluşur: E-adımında (Expectation — Beklenti), mevcut parametre tahminleri kullanılarak gizli değişkenlerin koşullu beklentileri hesaplanır; Q fonksiyonu olarak adlandırılan bu beklenti, log-olabilirliğin alt sınırını oluşturur. M-adımında (Maximization — Maksimizasyon) ise Q fonksiyonunu maksimize eden yeni parametre tahminleri bulunur. Bu iki adım yakınsayana dek tekrarlanır. EM'in en kritik matematiksel özelliği, her iterasyonda gözlemlenen verinin log-olabilirliğinin azalmayacağının Jensen eşitsizliğiyle garanti edilmesidir. Bu özellik algoritmayı istikrarlı kılsa da başlangıç noktasına duyarlılık nedeniyle yerel optimumlara yakınsaması mümkündür. Bu sorunu hafifletmek için çoklu rastlantısal başlangıç (random restarts) veya k-means++ başlatma stratejisi yaygın olarak kullanılır. Makine öğrenimi tarihindeki en etkili algoritmalardan biri olan EM, Gaussian Karışım Modelleri (GMM) parametrelerini öğrenmekte, Hidden Markov Models (HMM) için Baum-Welch algoritmasının çekirdeğini oluşturmakta, Gizli Dirichlet Tahsisi (LDA) gibi konu modellerinin eğitiminde ve eksik veri senaryolarında parametre tahmininde kullanılmaktadır. K-means kümeleme algoritması, EM'in sert (hard) atama kullanan özel bir durumu olarak düşünülebilir.

arrow_forward