语音识别基本法.pdf

发布时间：2022-05-31 发布人：admin 分类：说明书资料大小：13.40M 资料格式：pdf 举报版权申诉

xwei1226-12422129-4744300845401083783.pdf-第1页.png

第1页 / 共149页

xwei1226-12422129-4744300845401083783.pdf-第2页.png

第2页 / 共149页

xwei1226-12422129-4744300845401083783.pdf-第3页.png

第3页 / 共149页

xwei1226-12422129-4744300845401083783.pdf-第4页.png

第4页 / 共149页

xwei1226-12422129-4744300845401083783.pdf-第5页.png

第5页 / 共149页

xwei1226-12422129-4744300845401083783.pdf-第6页.png

第6页 / 共149页

xwei1226-12422129-4744300845401083783.pdf-第7页.png

第7页 / 共149页

xwei1226-12422129-4744300845401083783.pdf-第8页.png

第8页 / 共149页

Part I — 语音识别基础

1 语音是什么

1.1 大音希声

1.2 看见语音

2 语音识别方法

2.1 总体思路

2.2 实现方法

3 语音识别工具

3.1 Kaldi

3.2 深度学习平台

Part II — 语音识别基本流程

4 实验先行

4.1 代码

4.2 运行

4.3 其他案例

5 前端处理

5.1 数据准备

5.2 声学特征提取

6 训练与解码

6.1 GMM-HMM

6.2 DNN-HMM

Part III — 语音识别实际问题

7 说话人自适应

7.1 什么是说话人自适应

7.2 特征域自适应与声道长度规整

7.3 声学模型自适应：HMM-GMM系统

7.4 声学模型自适应：DNN系统

7.5 领域自适应

7.6 小结

8 噪声对抗与环境鲁棒性

8.1 环境鲁棒性简介

8.2 前端信号处理方法

8.3 后端模型增强方法

8.4 小结

9 新词处理与领域泛化

9.1 声学模型优化

9.2 语言模型优化

9.3 小结

10 小语种识别

10.1 小语种及其所面临的困境

10.2 小语种中的基础数据

10.3 对小语种声学模型的探索

10.4 对小语种语言模型的探索

10.5 小结

11 关键词唤醒与嵌入式系统

11.1 什么是关键词唤醒

11.2 关键词唤醒和LVCSR

11.3 关键词唤醒的难点

11.4 模型方法

11.5 关键词唤醒和嵌入式系统

11.6 小结

Part IV — 前沿课题

12 说话人识别

12.1 什么是说话人识别

12.2 技术优势与应用前景

12.3 技术难点

12.4 研究进展与趋势

13 语种识别

13.1 什么是语种识别

13.2 基于音素识别器的语种识别方法

13.3 基于底层声学特征的语种识别方法

13.4 基于深度学习的语种识别方法

13.5 小结

14 情绪识别

14.1 什么是语音情绪识别

14.2 语音情绪的语料设计

14.3 语音情绪的特征提取

14.4 语音情绪的特征分类模型

14.5 小结

15 语音合成

15.1 激励-响应模型

15.2 参数合成

15.3 拼接合成

15.4 统计模型合成

15.5 神经模型合成

15.6 基于注意力机制的合成系统

15.7 小结

参考文献

索引

语语语音音音识识识别别别基基基本本本法法法清清清华华华大大大学学学语语语音音音和和和语语语言言言技技技术术术中中中心心心

c 清华大学语音和语言技术中心 http://cslt.org

本书不是书有一天，王叔说，我们要写一本书，于是便有了这本“书”。物有本末，事有终始。一件事情，从头到尾反复地经历与琢磨下来，心中的大图越来越细致完整，慢慢地形成了一套自己的行事法则，这就是经验了。任何一个新的领域，都有经验可言。我们从实习生开始，摸索着起来，趟过了很多语音领域的坑坑洼洼。后来，与新的实习生一起工作学习，发现有些经验是固定不变的，常限于口口相传，费时耗力又难成体系，不如写在纸上。于是，我们决定把一些经验记录下来，与后来的小伙伴们交流互进，并不断充实完善，也起到一点知识传承的作用。经验的主观性使得本书并不如论文一样义正辞严，不连贯性也使得本书不能像教材一样循循善诱。本书是直觉的首先流露，多重于实践上的“是什么”，让新来者尽快“感受”到整个语音识别系统的大体模样，做到心中有谱，会使用 Kaldi 等工具调配常见的系统结构，理论上的 “为什么” 待以后点点积淀。内外兼修，方能见长，实验室王叔（wangd.cslt.org）写的《机器学习》恰可作为理论上的支撑。本书涉及的代码放在 https://github.com/tzyll/kaldi 中，该分支定期更新至最新的 Kaldi 状态。本书牵扯的事，乃至无关的事，都可往来讨论，邮件可至 tangzy@cslt.org。尽信书不如无书，行色匆匆，以此免责 :)

此外风声雨声读书声，声声入耳。我们关心所有的声音，并渴望用手中的技术发掘其中的意义，使之广为流传，从而创造更多的价值，影响更多的人。进入这个实验室时，我们与语音的缘分便注定了。我们的生活和工作与语音技术分不开了，我们的理想和抱负也惯用了语音领域的思维，这是我们受益的地方，更是技术分子的归属感：更广阔的声音、更深远的智慧，始于语音，始于初次听见。实验室期待拥有同一个目标、能够一起做事的人。博士后、工程师、联合培养学生和实习生，构成了实验室的生物多样性，更是语音领域的源头活水。

目目目录录录 I II III 1 2 3 4 5 6 7 8 语语语音音音识识识别别别基基基础础础语语语音音音是是是什什什么么么 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 语语语音音音识识识别别别方方方法法法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 语语语音音音识识识别别别工工工具具具 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 语语语音音音识识识别别别基基基本本本流流流程程程实实实验验验先先先行行行 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 前前前端端端处处处理理理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 训训训练练练与与与解解解码码码 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 语语语音音音识识识别别别实实实际际际问问问题题题说说说话话话人人人自自自适适适应应应 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 噪噪噪声声声对对对抗抗抗与与与环环环境境境鲁鲁鲁棒棒棒性性性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57

9 新新新词词词处处处理理理与与与领领领域域域泛泛泛化化化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 10 小小小语语语种种种识识识别别别 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 11 关关关键键键词词词唤唤唤醒醒醒与与与嵌嵌嵌入入入式式式系系系统统统 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81 IV 前前前沿沿沿课课课题题题 12 说说说话话话人人人识识识别别别 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89 13 语语语种种种识识识别别别 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 14 情情情绪绪绪识识识别别别 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115 15 语语语音音音合合合成成成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125 参参参考考考文文文献献献 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137 索索索引引引 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147

语语语音音音识识识别别别基基基础础础 I 1 1.1 1.2 2 2.1 2.2 3 3.1 3.2 语语语音音音是是是什什什么么么 . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 大音希声看见语音语语语音音音识识识别别别方方方法法法 . . . . . . . . . . . . . . . . . . . . . . . . 13 总体思路实现方法语语语音音音识识识别别别工工工具具具 . . . . . . . . . . . . . . . . . . . . . . . . 19 Kaldi 深度学习平台

分享到：

赞收藏

资料库

语音识别基本法.pdf

相关推荐

人工智能

热门标签

最新资料