上传者: 38691319
|
上传时间: 2021-10-20 20:25:33
|
文件大小: 48KB
|
文件类型: -
1.口述EM算法
EM算法就是近似极大化似然函数的一种方法。
那么一般的MLE存在的问题就是当likelihood-function存在log-sum项时,变得极难求解,这时候就要换一种思路,引入隐变量Z,和Z的某种分布q(Z)。这里先不说q(Z)是什么,买下一个伏笔。
EM算法的一个巧妙之处在于:似然函数经过变形(除以q(Z)再乘以q(z)),然后利用jenson’s inequality将log-sum项去掉了,这时候我们可以得到一个似然函数的下界
什么时候取等号呢?当q(z)=p(z|x,θ)时,会得到似然函数的“紧”下界,这时候我们只要最大化下界就可以了
这时候就有了EM算法的核心:就