ML-EM算法
EM算法(Expectation Maximization Algorithm,期望极大算法)是一种解决优化问题的迭代算法,用于求解含有隐变量的概率模型参数的极大似然估计(MLE)或极大后验概率估计(MAP)。EM算法是一种比较通用的参数估计算法,被广泛用于支持向量机(SMO算法)、朴素贝叶斯、GMM(高斯混合模型)、K-means(K均值聚类)和HMM(隐马尔可夫模型)的参数估计。
理解EM算法(例子)
在统计学中,概率用于在已知一些参数的情况下,预测接下来的所得到的结果;而似然性则是用于在已知某些观测所得到的结果时,对有关事物的性质的参数进行估计。
EM算法和极大似然估计的前提是一样的,都要假设数据总体的分布,如果不知道数据分布,是无法使用EM算法的。
三硬币模型
假设有3枚硬币A,B,C,这些硬币正面出现的概率分别是π \piπ,p pp和q qq。进行如下掷硬币试验:先掷硬币A,根据其结果选出硬币B或硬币C,正面选硬币B,反面选硬币C;然后掷选出的硬币,掷硬币的结果,正面记作1,反面记作0;独立重复n此试验,观测结果:
1 , 1 , 0 ,
1