第1页 / 共26页
第2页 / 共26页
第3页 / 共26页
第4页 / 共26页
第5页 / 共26页
第6页 / 共26页
第7页 / 共26页
第8页 / 共26页
混合高斯模型背景建模.ppt
混合高斯模型背景建模
汇报人：
2015/1/25
1
EM算法
EM算法是一种迭代算法，用于含有隐含变量的概率模
型参数的极大似然估计，或极大后验概率估计。
EM算法的每次迭代由两步组成：E步,求期望
（expection）；M步，求极大（maximization）。
2015/1/25
混合高斯模型背景建模
2
EM算法
n 算法引入
算法距离：
（三硬币模型）假设有3枚硬币，分别记作A，B，C。这些硬
币正面出现的概率分别是π，p和q。进行如下抛硬币实验：先抛硬
币A，根据其结果选出硬币B或硬币C,正面选硬币B，反面选硬币C；
抛选出的硬币，出现正面记作1，出现反面记作0；独立地重复n次实
验（这里，n=10）,观测结果如下：
1,1,0,1,0,0,1,0,1,1
假设只能观测到抛硬币的结果，不能观测抛硬币的过程。问如何估
计三枚硬币正面出现的概率，即三硬币模型参数。
2015/1/25
混合高斯模型背景建模
3
EM算法
解：三硬币模型可以写作
(
yP
|
)
|(
zP
()
|
zyP
)
,
,(
zyP
|
)
z
1
)
p
z
1(
(1)
1(
y
1(πp
π)q
1
)
q
y
y
y
这里，随机变量y是观测变量，表示一次试验观测的结果是
1或0；随机变量z是隐变量，表示未观测到的抛硬币A的结果；
θ=(π,p,q)是模型参数。其中，y的数据可以观测，z的数据
不可观测。
Y
将观测数据表示为 ，未观测数据表示为
则观测数据的似然函数为
(2)
()
ZYP
(
,
YY
1
2
(
ZP
(
YP
,
)
)
,...,
ZZ
1
,
nY
)
Z
|
|
|
(
T
z
,...,
nZ
T
)
2
2015/1/25
混合高斯模型背景建模
4
EM算法
n
j
1
|
)
πp[
(
YP
即
]
(3)
考虑求模型参数θ=(π,p,q)的极大似然估计，即
(4)
1(q)π1(
(
YP
q
1
)
p
1
)
|
)
log
arg
ˆ
y
j
1(
y
j
y
j
y
j
max
这个问题没有解析解，只有通过迭代的方法求解。EM算法就
是可以用于求解这个问题的一种迭代算法。
2015/1/25
混合高斯模型背景建模
5
EM算法
n 算法推导
我们面对一个含有隐变量的概率模型，目标是极大化观测
数据（不完全数据）Y关于参数θ的对数似然函数，即极大
化
L
(
)
(
YP
|
)
log
ZYP
(
,
|
)
log
Z
Z
,
))
log(
(5)
(5)中有未观测变量并有包含和（或积分）的对数，进行（求
导）极大化比较困难。
ZYP
ZP
(
,)
(
|
|
2015/1/25
混合高斯模型背景建模
6
EM算法
EM算法通过逐步迭代近似极大化L(θ)。假设在第i次迭
代后θ的估计值 。我们希望新估计值θ能使L（θ）增
加，即 ，并逐步达到最大值。为此考虑两者的
差：
)(i是
(i)
)θ(
(
L
L
)
L
)(
L
)(
i
(
)
log(
Z
(
ZYP
|
,
()
ZP
|
))
log
(
YP
)(
i
|
)
利用Jensen不等式得到其下界：
(
)
(
|
,
ZYP
ZP
)
)(
i
|
,
(
YZP
)
)(
i
)(
log(
L
L
)
(
log
(
YP
|
)(
i
)
)
|
)
)
log
(
YP
)(
i
|
)
|
)(
i
,
(
YZP
Z
(
)
,
|
(
ZYP
ZP
)(
i
|
(
,
YZP
)
(
|
,
ZYP
)(
i
)
,
(
YZP
|
)
(
ZP
(
YP
|
)
|
)(
i
|
)
Z
(
YZP
|
)(
i
,
log)
Z
(
YZP
|
)(
i
,
log)
2015/1/25
混合高斯模型背景建模
7
EM算法
(
YZP
|
)(
i
,
1)
Z
其中
Jensen不等式：
若f是凸函数，X是随机变量，那么 ，当且仅当
(
XEXP
，即X为常量时去等号。Jensen不等式应用于凹函
数时，不等号取反。
[
XfE
EX
))
)]
1
(
(
(
)
f
k
)
x
p
log函数为凹函数，Y为X的函数：Y=g(X),X为离散随机变量时，
(
XP
,k=1,2,3...，若 绝对收敛，则 。
这里Y对应 ，X对应Z，Pk对 ，g是Z到
的映射。那么 为EY，Elog(Y)为
)(iYZP
|(
,
)|(),
|()
ZPZYP
)(
i
,
)
|(
YZP
(
)
,
ZP
)(i
|
,
YZP
k pxg )
)(
i
,
|(
YZP
|
ZYP
(
(
xgp
k
)(
YE
)
)
|
)
)
(
(
k
k
k
Z
k
k
)|
(
(),
|
ZPZYP
)(iYZP
,
(
|
)
,|(
YZP
)(
i
log)
。
Z
)|(),
|(
ZPZYP
)(
i
,|(
)
YZP
2014/12/11
混合高斯模型背景建模
8
相关推荐
2023年江西萍乡中考道德与法治真题及答案.doc
2012年重庆南川中考生物真题及答案.doc
2013年江西师范大学地理学综合及文艺理论基础考研真题.doc
2020年四川甘孜小升初语文真题及答案I卷.doc
2020年注册岩土工程师专业基础考试真题及答案.doc
2023-2024学年福建省厦门市九年级上学期数学月考试题及答案.doc
2021-2022学年辽宁省沈阳市大东区九年级上学期语文期末试题及答案.doc
2022-2023学年北京东城区初三第一学期物理期末试卷及答案.doc
2018上半年江西教师资格初中地理学科知识与教学能力真题及答案.doc
2012年河北国家公务员申论考试真题及答案-省级.doc
2020-2021学年江苏省扬州市江都区邵樊片九年级上学期数学第一次质量检测试题及答案.doc
2022下半年黑龙江教师资格证中学综合素质真题及答案.doc
