logo资料库

EM算法介绍PPT.ppt

第1页 / 共24页
第2页 / 共24页
第3页 / 共24页
第4页 / 共24页
第5页 / 共24页
第6页 / 共24页
第7页 / 共24页
第8页 / 共24页
资料共24页,剩余部分请下载后查看
EM算法 一种参数估计的方法
提纲 n 高斯混合模型 n EM算法的思想 n EM算法的应用 n 总结 n 参考文献
高斯混合模型 n 混合模型(Mixed Model): 其中 ,满足 即混合模型由K个成分组成,每个成分 的权重为 n 若混合模型中每个成分为高斯分布, 则为高斯混合模型(Gaussian Mixture Model)
GMM的例子 n 例1:一个班级每个学生的身高为 假设男生和女生的身高分别服从高斯分布 则 其中 为男生的比例, n 问题:给定独立同分布(independent and identically ( ,  2 distributed----IID)的数据 ,求参数 , , 1 , 1 , 1 2 2 ) n 混合模型的参数估计是EM(Expectation Maximization) 算法最典型的应用
GMM的例子 2 2 )1,3,4.0,2,2,6.0(  , 2 , 1 , 1 , 1 , ) (  n 例2: 分布的随机数的直方图 n = 10000; z = zeros(1,n); pw1 = 0.6; u1 = -2; std1 = 2; pw2 = 0.4; u2 = 3; std2 = 1; y1 = randn(1,floor(n*pw1))*std1 + u1; y2 = randn(1,floor(n*pw2))*std2 + u2; z(1,1:floor(n*pw1)) =y1; z(1,(floor(n*pw1)+1):n) = y2;
提纲 n 高斯混合模型 n EM算法的思想 n EM算法的应用 n 总结 n 参考文献
极大似然估计与EM算法的关系 n 计算极大似然估计(maximum likelihood estimate,MLE),需要求似然函数的极值 o 解析法:如求正态分布均值和方差的MLE o 值计算:如高斯混合模型 Ø EM算法
极大似然估计(MLE)  ( XX , 1 ,  , nX ) 2 n 独立同分布(IID)的数据 ( xf ) 其概率密度函数为 似然函数定义为 ( ( | | ) f   log似然函数定义为 ( | ) l   L | )   log n  ( iXf | ) ( L   1  i | )  n 的极大似然估计为  ^    ) arg max (max l L ( |   | )    arg 
分享到:
收藏