EM算法
一种参数估计的方法
提纲
n 高斯混合模型
n EM算法的思想
n EM算法的应用
n 总结
n 参考文献
高斯混合模型
n 混合模型(Mixed Model):
其中 ,满足
即混合模型由K个成分组成,每个成分
的权重为
n 若混合模型中每个成分为高斯分布,
则为高斯混合模型(Gaussian Mixture Model)
GMM的例子
n 例1:一个班级每个学生的身高为
假设男生和女生的身高分别服从高斯分布
则
其中 为男生的比例,
n 问题:给定独立同分布(independent and identically
(
,
2
distributed----IID)的数据 ,求参数
,
,
1
,
1
,
1
2
2
)
n 混合模型的参数估计是EM(Expectation Maximization)
算法最典型的应用
GMM的例子
2
2
)1,3,4.0,2,2,6.0(
,
2
,
1
,
1
,
1
,
)
(
n 例2: 分布的随机数的直方图
n = 10000;
z = zeros(1,n);
pw1 = 0.6;
u1 = -2;
std1 = 2;
pw2 = 0.4;
u2 = 3;
std2 = 1;
y1 = randn(1,floor(n*pw1))*std1 + u1;
y2 = randn(1,floor(n*pw2))*std2 + u2;
z(1,1:floor(n*pw1)) =y1;
z(1,(floor(n*pw1)+1):n) = y2;
提纲
n 高斯混合模型
n EM算法的思想
n EM算法的应用
n 总结
n 参考文献
极大似然估计与EM算法的关系
n 计算极大似然估计(maximum likelihood
estimate,MLE),需要求似然函数的极值
o 解析法:如求正态分布均值和方差的MLE
o 值计算:如高斯混合模型
Ø EM算法
极大似然估计(MLE)
(
XX
,
1
,
,
nX
)
2
n 独立同分布(IID)的数据
( xf
)
其概率密度函数为
似然函数定义为
(
(
|
|
)
f
log似然函数定义为
(
|
)
l
L
|
)
log
n
(
iXf
|
)
(
L
1
i
|
)
n 的极大似然估计为
^
)
arg
max
(max
l
L
(
|
|
)
arg