第1页 / 共476页
第2页 / 共476页
第3页 / 共476页
第4页 / 共476页
第5页 / 共476页
第6页 / 共476页
第7页 / 共476页
第8页 / 共476页
PRML勘误新版.pdf
模式识别与机器学习
马春鹏
October 26, 2014
1
⽬录
1 绪论
.
.
.
.
.
.
.
.
1.1 例⼦：多项式曲线拟合 .
.
.
.
.
.
.
.
1.2 概率论 .
.
.
.
.
.
.
.
.
.
.
1.2.1 概率密度 .
.
.
.
1.2.2 期望和协⽅差 .
.
.
.
.
.
1.2.3 贝叶斯概率 .
.
.
.
.
.
.
.
.
.
1.2.4 ⾼斯分布 .
.
.
.
.
1.2.5 重新考察曲线拟合问题 .
.
.
1.2.6 贝叶斯曲线拟合 .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
1.5.1 最⼩化错误分类率 .
.
.
.
1.5.2 最⼩化期望损失 .
.
.
.
.
1.5.3 拒绝选项 .
.
.
.
.
.
.
.
1.5.4 推断和决策 .
.
.
.
.
.
1.5.5 回归问题的损失函数 .
.
.
.
.
.
.
.
.
.
.
.
.
.
1.6.1 相对熵和互信息 .
.
.
.
.
.
.
.
.
1.3 模型选择 .
1.4 维度灾难 .
1.5 决策论 .
.
1.6 信息论 .
.
1.7 练习 .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Beta分布 .
.
.
.
.
2.1 ⼆元变量 .
.
.
2.2 多项式变量 .
.
.
2.3 ⾼斯分布 .
2 概率分布
.
.
.
.
.
.
.
.
.
.
.
.
2.1.1
.
.
.
.
.
.
.
.
.
.
2.2.1 狄利克雷分布 .
.
.
.
.
.
.
.
.
.
.
2.3.1 条件⾼斯分布 .
.
.
.
.
2.3.2 边缘⾼斯分布 .
.
.
2.3.3 ⾼斯变量的贝叶斯定理 .
2.3.4 ⾼斯分布的最⼤似然估计 .
.
.
.
2.3.5 顺序估计 .
.
.
.
.
2.3.6 ⾼斯分布的贝叶斯推断 .
.
.
.
.
.
.
.
2.3.7 学⽣t分布 .
.
.
.
.
.
2.3.8 周期变量 .
.
.
.
.
2.3.9 混合⾼斯模型 .
.
.
.
.
.
.
.
.
.
.
.
.
.
2.4.1 最⼤似然与充分统计量 .
.
.
.
2.4.2 共轭先验 .
.
.
.
.
.
.
2.4.3 ⽆信息先验 .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
2.5.1 核密度估计 .
2.5.2 近邻⽅法 .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
2.5 ⾮参数化⽅法 .
2.4 指数族分布 .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
2.6 练习 .
.
.
3 回归的线性模型
.
3.1 线性基函数模型 .
.
.
3.1.1 最⼤似然与最⼩平⽅ .
3.1.2 最⼩平⽅的⼏何描述 .
3.1.3 顺序学习 .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
2
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
9
10
16
20
21
22
24
26
28
29
30
33
34
35
35
36
38
39
44
46
52
52
54
56
58
59
63
65
67
69
69
71
75
77
81
83
86
87
87
89
90
92
94
101
. 101
. 102
. 105
. 105
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
3.1.4 正则化最⼩平⽅ .
.
.
3.1.5 多个输出 .
.
3.2 偏置-⽅差分解 .
.
.
.
.
3.3 贝叶斯线性回归 .
.
.
.
3.3.1 参数分布 .
.
.
.
.
.
3.3.2 预测分布 .
.
.
.
3.3.3 等价核 .
.
.
.
3.4 贝叶斯模型⽐较 .
.
.
.
.
.
.
.
.
.
3.5 证据近似 .
.
3.5.1 计算证据函数 .
.
3.5.2 最⼤化证据函数 .
3.5.3 参数的有效数量 .
.
.
.
.
3.6 固定基函数的局限性 .
3.7 练习 .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
4 分类的线性模型
4.1 判别函数 .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
4.1.1 ⼆分类 .
.
.
.
.
.
.
.
.
4.1.2 多分类 .
4.1.3 ⽤于分类的最⼩平⽅⽅法 .
.
.
4.1.4
.
.
Fisher线性判别函数 .
.
.
4.1.5 与最⼩平⽅的关系 .
.
.
.
4.1.6 多分类的Fisher判别函数 .
.
.
.
.
.
.
.
.
.
4.1.7 感知器算法 .
.
.
4.2 概率⽣成式模型 .
.
.
.
.
.
.
.
.
.
4.2.1 连续输⼊ .
.
.
.
.
.
.
.
.
.
4.2.2 最⼤似然解 .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
4.2.3 离散特征 .
.
.
4.2.4 指数族分布 .
.
.
.
.
.
.
.
.
4.3 概率判别式模型 .
.
.
.
.
.
.
.
.
.
4.3.1 固定基函数 .
.
.
.
.
.
.
.
.
.
.
.
.
4.3.2
.
.
logistic回归 .
4.3.3 迭代重加权最⼩平⽅ .
.
.
.
4.3.4 多类logistic回归 .
.
.
.
.
.
.
4.3.5
.
.
.
.
.
.
.
.
.
.
probit回归 .
.
.
.
.
.
.
.
4.3.6 标准链接函数 .
.
.
.
.
.
.
.
.
.
.
.
.
4.4 拉普拉斯近似 .
4.4.1 模型⽐较和BIC .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
4.5 贝叶斯logistic回归 .
.
.
.
.
.
.
.
4.5.1 拉普拉斯近似 .
.
4.5.2 预测分布 .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
4.6 练习 .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
5 神经⽹络
.
.
.
5.1 前馈神经⽹络 .
.
.
5.2 ⽹络训练 .
.
.
.
.
.
.
5.1.1 权空间对称性 .
.
.
.
.
.
.
5.2.1 参数最优化 .
.
.
.
5.2.2 局部⼆次近似 .
.
5.2.3 使⽤梯度信息 .
5.2.4 梯度下降最优化 .
.
.
.
5.3 误差反向传播 .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
. 105
. 106
. 108
. 111
. 111
. 113
. 116
. 118
. 121
. 121
. 123
. 124
. 126
. 126
130
. 131
. 131
. 132
. 133
. 135
. 137
. 138
. 139
. 141
. 143
. 144
. 146
. 146
. 147
. 147
. 148
. 149
. 150
. 151
. 152
. 154
. 155
. 156
. 156
. 157
. 158
161
. 161
. 165
. 165
. 168
. 169
. 170
. 170
. 171
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
3
.
.
.
.
.
.
.
.
5.4 Hessian矩阵 .
Jacobian矩阵 .
.
.
.
.
.
.
.
.
.
.
.
5.3.1 误差函数导数的计算 .
.
.
.
.
.
5.3.2 ⼀个简单的例⼦ .
.
.
.
5.3.3 反向传播的效率 .
.
.
.
.
.
5.3.4
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
5.4.1 对⾓近似 .
.
.
.
.
.
.
.
.
.
5.4.2 外积近似 .
.
.
.
.
.
5.4.3 Hessian矩阵的逆矩阵 .
.
.
.
5.4.4 有限差 .
.
.
.
.
.
.
.
.
5.4.5 Hessian矩阵的精确计算 .
.
.
5.4.6 Hessian矩阵的快速乘法 .
.
.
.
5.5 神经⽹络的正则化 .
.
.
.
.
.
.
.
.
.
.
5.5.1 相容的⾼斯先验 .
.
.
.
.
.
.
.
.
.
.
5.5.2 早停⽌ .
.
.
.
.
.
.
5.5.3 不变性 .
.
.
.
.
.
.
.
.
.
5.5.4 切线传播 .
.
.
.
.
.
.
.
.
.
5.5.5 ⽤变换后的数据训练 .
.
.
.
5.5.6 卷积神经⽹络 .
.
.
.
.
.
5.5.7 软权值共享 .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
5.6 混合密度⽹络 .
.
.
.
.
.
.
.
.
.
.
5.7 贝叶斯神经⽹络 .
5.7.1 后验参数分布 .
.
.
.
.
.
.
.
.
5.7.2 超参数最优化 .
.
.
.
.
5.7.3 ⽤于分类的贝叶斯神经⽹络 .
.
.
.
.
.
.
.
.
5.8 练习 .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
6 核⽅法
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
6.1 对偶表⽰ .
.
.
.
.
6.2 构造核 .
.
6.3 径向基函数⽹络 .
.
.
6.4 ⾼斯过程 .
.
.
.
.
.
.
.
.
.
.
6.3.1 Nadaraya-Watson模型 .
.
.
.
6.4.1 重新考虑线性回归问题 .
6.4.2 ⽤于回归的⾼斯过程 .
.
.
6.4.3 学习超参数 .
.
.
.
.
.
.
.
.
.
6.4.4 ⾃动相关性确定 .
6.4.5 ⽤于分类的⾼斯过程 .
.
.
6.4.6 拉普拉斯近似 .
.
.
.
.
.
.
.
6.4.7 与神经⽹络的联系 .
.
.
.
.
.
.
.
6.5 练习 .
.
.
.
.
.
.
.
.
.
7 稀疏核机
.
.
7.1 最⼤边缘分类器 .
.
.
.
.
7.1.1 重叠类分布 .
.
.
.
.
.
7.1.2 与logistic回归的关系 .
7.1.3 多类SVM .
.
.
.
.
.
.
.
.
7.1.4 回归问题的SVM .
7.1.5 计算学习理论 .
.
.
.
.
.
.
.
.
.
.
.
.
7.2.1 ⽤于回归的RVM .
.
.
.
.
.
7.2.2 稀疏性分析 .
7.2.3
RVM⽤于分类 .
.
.
.
7.2 相关向量机 .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
. 172
. 174
. 175
. 175
. 177
. 177
. 178
. 178
. 179
. 179
. 180
. 182
. 183
. 185
. 186
. 187
. 189
. 190
. 191
. 193
. 197
. 198
. 199
. 200
. 202
206
. 206
. 207
. 211
. 212
. 214
. 214
. 216
. 219
. 220
. 221
. 222
. 225
. 225
228
. 228
. 231
. 235
. 236
. 237
. 240
. 241
. 241
. 244
. 247
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
4
7.3 练习 .
.
.
.
.
.
.
.
.
.
.
.
.
8 图模型
.
.
.
8.2 条件独⽴ .
8.1 贝叶斯⽹络 .
.
.
d-划分 .
.
.
.
.
.
.
8.1.1 例⼦：多项式回归 .
.
.
8.1.2 ⽣成式模型 .
.
.
.
8.1.3 离散变量 .
.
.
.
.
8.1.4 线性⾼斯模型 .
.
.
.
.
.
.
.
.
.
.
.
8.2.1 图的三个例⼦ .
.
.
.
.
.
.
.
8.2.2
8.3 马尔科夫随机场 .
.
.
.
.
.
.
8.3.1 条件独⽴性质 .
.
.
8.3.2 分解性质 .
.
.
.
.
8.3.3 例⼦：图像去噪 .
.
8.3.4 与有向图的关系 .
.
.
.
.
.
.
8.4.1 链推断 .
.
.
.
.
.
.
.
8.4.2 树 .
.
.
.
8.4.3 因⼦图 .
.
.
.
8.4.4 加和-乘积算法 .
.
.
8.4.5 最⼤加和算法 .
.
.
8.4.6 ⼀般图的精确推断 .
.
.
8.4.7 循环置信传播 .
8.4.8 学习图结构 .
.
.
.
.
.
.
.
.
.
.
8.4 图模型中的推断 .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
8.5 练习 .
.
9 混合模型和EM
.
.
.
.
.
.
.
.
.
.
9.1 K均值聚类 .
9.2 混合⾼斯 .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
9.1.1 图像分割与压缩 .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
9.2.1 最⼤似然 .
.
9.2.2 ⽤于⾼斯混合模型的EM .
.
.
.
9.3 EM的另⼀种观点 .
.
.
.
.
.
9.3.1 重新考察⾼斯混合模型 .
.
9.3.2 与K均值的关系 .
.
.
.
.
.
.
9.3.3 伯努利分布的混合 .
.
.
.
9.3.4 贝叶斯线性回归的EM算法 .
.
.
.
.
.
.
.
.
.
.
.
.
9.4 ⼀般形式的EM算法 .
9.5 练习 .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
10 近似推断
.
.
.
.
.
.
10.1 变分推断 .
.
.
.
.
.
10.1.1 分解概率分布 .
.
.
.
.
.
10.1.2 分解近似的性质 .
10.1.3 例⼦：⼀元⾼斯分布 .
.
.
.
.
.
10.1.4 模型⽐较 .
10.2 例⼦：⾼斯的变分混合 .
.
.
.
10.2.1 变分分布 .
.
.
.
.
.
.
.
.
.
10.2.2 变分下界 .
.
.
10.2.3 预测概率密度 .
.
10.2.4 确定分量的数量 .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
. 249
251
. 251
. 253
. 255
. 255
. 257
. 259
. 260
. 264
. 266
. 267
. 268
. 269
. 271
. 274
. 274
. 277
. 277
. 279
. 285
. 289
. 289
. 290
. 290
293
. 293
. 296
. 297
. 298
. 300
. 303
. 304
. 305
. 306
. 309
. 310
. 313
316
. 316
. 317
. 319
. 321
. 324
. 324
. 325
. 329
. 330
. 331
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
5
.
.
.
.
.
.
.
.
10.3 变分线性回归 .
.
.
.
.
10.2.5 诱导分解 .
.
.
.
.
.
.
.
.
.
.
10.3.1 变分分布 .
.
.
.
.
10.3.2 预测分布 .
.
.
.
.
.
10.3.3 下界 .
.
.
.
.
.
.
.
.
10.4 指数族分布 .
.
.
.
10.4.1 变分信息传递 .
.
.
.
10.5 局部变分⽅法 .
.
.
.
.
.
10.6 变分logistic回归 .
.
.
.
10.6.1 变分后验概率分布 .
10.6.2 最优化变分参数 .
.
10.6.3 超参数的推断 .
.
.
.
.
.
.
.
10.7.1 例⼦：聚类问题 .
10.7.2 图的期望传播 .
.
.
.
.
.
.
10.7 期望传播 .
10.8 练习 .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
11 采样⽅法
.
.
.
11.1 基本采样算法 .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
11.1.1 标准概率分布 .
.
.
.
.
.
.
.
11.1.2 拒绝采样 .
.
.
.
11.1.3 可调节的拒绝采样 .
.
.
.
11.1.4 重要采样 .
.
.
.
.
.
.
11.1.5 采样-重要性-重采样 .
.
.
.
11.1.6 采样与EM算法 .
.
.
.
.
11.2 马尔科夫链蒙特卡罗 .
.
.
.
.
.
.
11.2.1 马尔科夫链 .
.
.
.
.
.
11.2.2 Metropolis-Hastings算法 .
.
.
.
.
.
.
.
11.3 吉布斯采样 .
.
.
.
.
.
.
11.4 切⽚采样 .
.
.
.
.
.
.
.
.
.
11.5 混合蒙特卡罗算法 .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
11.5.1 动态系统 .
.
.
.
11.5.2 混合蒙特卡罗⽅法 .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
11.6 估计划分函数 .
11.7 练习 .
.
.
.
12 连续潜在变量
.
.
.
.
.
.
.
.
.
12.2 概率PCA .
12.1 主成分分析 .
.
.
.
.
.
.
12.1.1 最⼤⽅差形式 .
.
.
.
12.1.2 最⼩误差形式 .
.
.
.
12.1.3 PCA的应⽤ .
.
.
.
.
12.1.4 ⾼维数据的PCA .
.
.
.
.
.
.
.
.
.
.
12.2.1 最⼤似然PCA .
.
.
12.2.2 ⽤于PCA的EM算法 .
12.2.3 贝叶斯PCA .
.
.
.
.
.
.
.
.
.
.
.
12.2.4 因⼦分析 .
12.3 核PCA .
.
.
.
.
.
.
.
.
12.4 ⾮线性隐含变量模型 .
.
.
.
.
.
12.4.1 独⽴成分分析 .
.
.
12.4.2 ⾃关联⽹络 .
.
.
.
.
.
12.4.3 对⾮线性流形建模 .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
. 332
. 332
. 333
. 334
. 335
. 335
. 337
. 337
. 341
. 341
. 343
. 344
. 346
. 350
. 352
. 355
358
. 359
. 359
. 361
. 362
. 363
. 365
. 366
. 367
. 368
. 370
. 370
. 373
. 374
. 374
. 376
. 378
. 379
381
. 381
. 382
. 383
. 385
. 388
. 388
. 391
. 393
. 395
. 397
. 399
. 402
. 402
. 403
. 405
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
6
12.5 练习 .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
13 顺序数据
13.1 马尔科夫模型 .
.
.
13.2 隐马尔科夫模型 .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
13.2.1 ⽤于HMM的最⼤似然法 .
.
.
.
13.2.2 前向后向算法 .
.
.
.
.
13.2.3 ⽤于HMM的加和-乘积算法 .
13.2.4 缩放因⼦ .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
13.2.5 维特⽐算法 .
.
13.2.6 隐马尔科夫模型的扩展 .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
13.3.1 LDS中的推断 .
13.3.2 LDS中的学习 .
.
.
.
.
.
.
13.3.3 LDS的推⼴ .
.
.
.
.
.
.
.
13.3.4 粒⼦滤波 .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
13.3 线性动态系统 .
13.4 练习 .
14 组合模型
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
14.1 贝叶斯模型平均 .
.
.
14.2 委员会 .
.
14.3 提升⽅法 .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
14.3.1 最⼩化指数误差 .
.
.
14.3.2 提升⽅法的误差函数 .
.
.
14.4 基于树的模型 .
.
.
.
.
.
.
14.5 条件混合模型 .
.
.
.
.
14.5.1 线性回归模型的混合 .
.
.
.
.
14.6 logistic模型的混合 .
14.6.1 专家混合 .
.
.
.
.
.
.
14.7 练习 .
.
.
.
.
.
.
.
A 附录A. 数据集
.
.
.
.
A.1 ⼿写数字 .
.
.
.
.
A.2 ⽯油流 .
.
A.3 ⽼忠实间歇喷泉 .
.
.
A.4 ⼈⼯⽣成数据 .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
B 附录B. 概率分布
.
.
.
B.1 伯努利分布 .
.
.
B.2 Beta分布 .
.
.
.
.
.
.
B.3 ⼆项分布 .
.
.
.
.
B.4 狄利克雷分布 .
B.5 Gamma分布 .
.
.
.
.
.
.
B.6 ⾼斯分布 .
.
.
B.7 ⾼斯-Gamma分布 .
B.8 ⾼斯-Wishart分布 .
.
.
.
.
B.9 多项分布
.
.
.
.
B.10 正态分布 .
.
.
.
.
B.11 学⽣t分布 .
.
.
.
.
B.12 均匀分布 .
.
.
.
.
.
B.13 Von Mises分布 .
B.14 Wishart分布 .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
. 407
410
. 410
. 413
. 417
. 418
. 423
. 425
. 426
. 427
. 430
. 432
. 434
. 436
. 437
. 438
441
. 441
. 442
. 443
. 444
. 446
. 447
. 449
. 449
. 452
. 453
. 454
456
. 456
. 456
. 458
. 459
460
. 460
. 460
. 461
. 461
. 462
. 462
. 463
. 464
. 464
. 464
. 465
. 465
. 465
. 466
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
7
C 附录C. 矩阵的性质
C.1 矩阵的基本性质 .
.
.
C.2 迹和⾏列式 .
.
.
C.3 矩阵的导数 .
.
.
C.4 特征向量⽅程 .
.
.
D 附录D. 变分法
E 附录E. 拉格朗⽇乘数法
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
467
. 467
. 467
. 468
. 469
472
474
8
相关推荐
2023年江西萍乡中考道德与法治真题及答案.doc
2012年重庆南川中考生物真题及答案.doc
2013年江西师范大学地理学综合及文艺理论基础考研真题.doc
2020年四川甘孜小升初语文真题及答案I卷.doc
2020年注册岩土工程师专业基础考试真题及答案.doc
2023-2024学年福建省厦门市九年级上学期数学月考试题及答案.doc
2021-2022学年辽宁省沈阳市大东区九年级上学期语文期末试题及答案.doc
2022-2023学年北京东城区初三第一学期物理期末试卷及答案.doc
2018上半年江西教师资格初中地理学科知识与教学能力真题及答案.doc
2012年河北国家公务员申论考试真题及答案-省级.doc
2020-2021学年江苏省扬州市江都区邵樊片九年级上学期数学第一次质量检测试题及答案.doc
2022下半年黑龙江教师资格证中学综合素质真题及答案.doc
