1999年 10月 Oct. 1999 计算机工程与科学 COM PUTER ENGINEERING & SCIENCE 第 21卷 第 Al期 Vol. 21 No. A l 基于 ANN的HMM 训练算法‘ ANN-Based HMM Training Algorithm 姚丹霖 陈火旺 殷建平 Yao Danlin, Chen Huowang and Yin Jianping (国防科学技术大学计算机学院 ) (School of Computer Science, National University of Defense Technology) 摘 要 本文提 出了一种基于 ANN 的 HMM训 练算法.由于 ANN 和 HMM 在 MMSE训 练准 则 止 是一致 的，7利 用ANN 吏新HMM 的观察符号输 出概 率分布 ，进1n采用 MMI准则对全体 HMM 的 其他李数进行更新 ，从而在提高特定的 HMM 识别能力的同时，保特不同 HMM 之间的最大差异性 . ABSTRACT A novel ANN-based HMM training algorithm is represented in this paper. According to the consistency of Minimum Mean Square Error (MMSE) training criterion between ANN and HMM, ANN can be used to update the observation symbol's output probability distribution of HMM, and fur- thermore. other parameters of each HMM can be updated by using Maximum Mutual Information (MMI) criterion. Hence, the maximum discrimination among HMMa can be maintained while the recog- nitian efficiency of the particular HMM is promoted. 关健词 隐马尔可夫模型 ，人工神经网络，混合识别束统，HMM 训练. KEY WORDS Hidden Markov Model. Artificial Neural Network, Hybrid Recognition System, HMM Training. 一 、引 言 应用隐马尔可夫模型 (Hidden Markov Model,简称 HMM)的前提是要解决训练算法问题 1997年 ， Hennebert和 Bourland提出 了一种 ANN和 HMM.混合 系统 ，该系统根据 ANN 的抗干扰性和 ANN与 HMM 的训练准则的一致性 ，利用 ANN对 HMM 进行训练 ，以提高系统的整休识别性能 。但是 ，由于 训练过程中关注的焦点是训练 样本所属类的特定 HMM ,并未考虑其他类所对应的HMM ,因此。最终 系统中不同 HMM 之间的差异性是有限的。 针对Hennebert和Bourland提出的训练算法所存在的缺陷，本文给出了一种新的训练算法。本算 法基于 ANN的识别结果对 HMM 的观察符号输出分布矩阵进行训练，而采用 MM丁准则对全体 HMM 的其他参数进行训练。本算法 在提 高每个 HMM 的识别能力的 同时 ，保证 了系统中不同 HMM 之间的 . I L 盯 ， 收 福日期 :1999年 8月 究万 向为 Em ail ,ej 软 件」 程 h.砚 and, ed曰_亡n 作 者简介 :姚丹霖 ，男， 在 国防科技 大学计算 机学 通讯地 址 :410073湖南fr Address: Sch. of Computer Set. ,Nat'l Um, of Defense Tech ,Changsha.Hunan,410073 P. R. China 1993年 7月 出生， 专业技术中校 ，工程 师，国防 科技 大学 模式 识别 计 算机学院硕 士毕业 ，现 自然语言处 理. 

差异最大 化，从 而提 高了整个 识别 系统的性能 二、HMM 模型 一个 隐马 尔可夫模 型 HMM Z是由 一组个数有限的状态构成的随机有限状态 自动机 (Stochastic Fi- nite State Automaton,简称 SFSA),由以下几组参数定义: A中有限状态的数目 ‘V, q,=i表示当前状态为第 矛个状态; ·义中全体观察符号的数目 M，全体观察符号有序序列 中第k个观察符号记为 协;如果观察符号是 连续 的，则 M 为无限 ; ·状态转换概率短阵A==(aI l镇 ,j<-N),其中 *1)==川q,+=川q二:}为从第1个状态向第夕个状 态转移的概率，11,为当前状态，q, 为下一个状态。 ·观察符合输出概率分11矩阵B= {b,r) 利用 HMM 建立识别 系统时 ，一个 识别系统包括若干个单独的 HMM ,通常 ，每个独立的 HMM 对 应一个模 式 类 ，完 成 对特定 模式 类的 识 别。在 HMh4识 别 系统 中，存在 三 个荃 本 同题，即 评估 (Evaluation)问题、解码(Decoding)问题和训练 (Training)问题。评估问题对应于离散对象 识别 ，解码 问 题对应于连续对象识别。而训 湘 l题则是最基础的问题。训练问题 可以描述为 给定一个模型 a和观察 符号序列 0= (o ， 。:}，qln何调整模型x的参数(A.B-),使 p(Olx)最大? 三、传统 HMM 训练算法 所有的 HMM 训练算法都包含 一个收敛过程，传统的训练算法也不例外。训练准则主要有两个 ，其 一是最大似然(Maximum Likelihood,简称ML)准则，其二是最大共有信息(Maximum Mutual Informa- tion,简称 MMI)准则 但无论采取何种准则，传统训练算法中都存在着无法克服的缺陷 若采用 ML准 则 ，则每次训练 只能调整当前 HMM 的参数 ，系统中其他 HMM 的参数保持不变，这将导致不同 HMM 之 间差异性的 减弱 ;若采用 MIAI准则 ，则每次训练都将调整所右 HMM 的参数 ，但 由于对当前 HMM 关注不够 ，将 导致拒 识率的提66。此外，传统训练算法中还存在着所谓 “过训练”的问题 ，即过多的训 练和过少的训练一样 ，都会 导致整个 系统识别能力 的下降 四、集成 ANN训练的 HMM 模型 为了解决传统训练 算法的根本缺陷，必须研究折的 HMM 训练算法 ANN模型没有任何假设前提， 在抗干扰性 方面有优异的表现 ，不存在 过训练 ”问题，并可结合采 用有指导和无指导两仲训练方法， 进一步提高训练质 量。因此 ，将 NNN 集成到 HMM 模型中，利用 ANN可以有效地对 HMM 进行训练 将 ANN集成到 HMM 系织 后，原始特征经过 简单的预处理 ，送入 非线性特 征变换器(Nonlinear Feature Transfer,简称 NFT), i="生输出即观察符 号序列 0-a!}'二二 HMM 网络和 ANN 网络存 在一 一对应关 系，即 ANN;全权负责 HNIM 的训练 在对 HMM进 行训练前 ，首先对 ANN进行训练。每个 ANN是 一个 简单的多值输 出网络 。其输出节点 数等于对应的 HMM 的状 态个数 ，输出值表示 在对应的 输入下 ，各个状态的后验概率 ，利用此后验概 率，即 可对 HMM 进行训练 五 、基于 ANN的 HMM 训练算法 设 口二仇。…们 为观察 符号厂列 ，观察符号 仇连 同上 「文 斌论二。卜 ，一伪一〕伪十…O,te经 HNN，识别 后，将产生输 出序列 Y } V;Y"..y- Y,实际 L就是 HMM，中第 k个状态在观察 符号 为。，时的后验概率 

p (q,=k I., } , ANN ;)II练采用最小均方差(Minimum Mean Square Error,简称 MMSE)准则.根据贝叶思定律， 有 : b, (o, )= pfo,Iq,= 二p{},"q" = 1 11 p (q 二 i) p; q，二 ila,)p(o)_y,y(o,)n. (1) 其中，P (o')对所有HMM而言是一个常量，p(},)=告。 式 (1)给 出了HMM 的观察符号输出概率分布矩 阵的更新表达式。对 其他两组参数的更新 ，采用梯 度法按最大共有信息(MMD准则进行 按照梯度法 ，若 B为 HMM 的任 一参数 ，则 B按 下式进行更新 : 。一61"一驯e_},}a8.1 1-1. (z) 式(z)中，.J为需要最 小化的参量。 设 Sd为识 别系统 中全部 HMM 的集 合，几 c0为观 察符 号序列 O所属模 式类 的 HMM 集合 ， 川 众 10,n}为 0 在给 定观察 符号序列 O时 的后 验概 率。依据 MMI准 则，训练 过程 应 使后验 概率 p42,10,动 最大化。于是 ，最小化参量 J可 定义 为 J= EMM=一 loge f瓜 10,月) 由 贝 叶 思 定律 ，有 : J一‘ogp (O,10, f2，一，.g f斋寄全 (3) 为了计算(3),需涉及到 HMM 评佑算法中著名的前向评估算法和后向评估算法.结合前 向评估算 法和后向评估算 法，有 pfo,q, = rlz)二Pia} · .0 价 , r,q二 ijx)= P(, ，。:，一，. q, = i，一，-r) (A =P{o 0 .0.0 .0 .0 .0 .... q,= +I x}Pia- .。‘ +z,‘ ,orlq= ), A)= a,(i)P,(i) 从而可得: 户(o) z}一习ar()一习、(f)从(‘) 下面讨论最小化参量 J的计算 。令 ;L" _川n刀 {。}， 则有 Lm.=P{n;,o旧争= 夕 川ola}= L"'、一，(01n)二Y, Piolx) =皿又a,(u)(3,

a又 又 a,(u)R,(u) a旦 as _一,en三11分_ = ? } a(q(u),9_(uL) 一 } 仍 创 由· 山 aca,ca)几(“)) a a, (u) =风(u)， aa,(a) aa;; 习 卿 了艺 曰 二_(v)a,} 甲 臼 心 a(a,(u)且(“))aa,(u) aa,ca) aa,} 二Ssb,(o,)a,_,G) 二 a(b,(o,) 喊 as 因 而 所 以 同 理 可 得 a(a,(u)/3,(u)7 aa,(u) a.,(.) as 二 几hi(0‘)a卜1 (i)风(1) aL}'aa一客R, (I)b,(o,)a,-.,O) 、t、.az纷(a aL,m. ea,.Fy A(u) as二= an 一 只只_aca,cu)R,ca_))aa, a,}Ex, 一}}又 . a(a,(a之fl,(a)) aa,(u) 夙 藏 二 口叭、“了 吟” 一aL}R,ci)h,ca,)a,-,cn 最终 得 到 aJ_F -I..__a=})}(i.lilh.(。二_，。、、 山， L尸“ 刃.,.」忿’‘ · · (7) 其中，、为Kronecker变量，二一{k=1k;e}l 六 、结 束 语 本文 给出了一 种新的 HMM 训练算 法，该算法通 过将 ANN 集成到 HMM 系统，利用 ANN对 HMM进行训练，以提高HMM 识别系统的仕能。这种混合识别系统具有以下几个主要优点 ，利用 ANN 的抗 干扰性 消除或减少训 练样本 ‘(，存在的噪声对 HMM 的训练结果的不 良影响 ; ·训练算法中既关注训练样本所属类的 HAIM 集合 ，也关注其他类的 HMM 集合 ，保证在提高受 训 HMM 识别能力的同时，不同 HMM 之间仍然具有良好的差异性 ; ·由于引入 了上 下文 ，可 从在识别系统中引八语法或句法概念，使 识别系统 具有 良好的适 应性 ; 该训练算法既 可用于连续对象识别的 MOM 系统 ，也可用于离散对象 识别的 HMM 系统 (此时 ， 霖 W; )分 1); ·可 以防IL “过 训练”现象的出现 今后我 们将在此基础上建立一 系列实验 系统 .以便能 定量地研究该混合识别系统的性能，并重点研 究该混合识别系统的可用性 . 参 考 文 献 RabincrL R. A Tutorial on Hidden Markov Models and Selected .Application in Speech Recognition. Proc IEEE, 1989.77(2):257--285 Za..liagkos G, Zbao Y, et al.A Hybrid Segmental Neural Nct/Ifidden Mark- Model System for Continuous SpeechRecognitionAEEF Trans 0, Speech and Audio Procecding. 1994.2(1); 151- 160 Casaruberta F. Growth Transformations for Probab;lisuc Functions of Smchastir Grammars. In, on PRAI,1996.10 (3)!182- 201 H,- b- ],B-land C,et al. Estimation of Global Posteriors and Forward Backward Training of Hybrid HMM/ ANN Svstem s 1, P- EUROSPI0_ECH '97,1997.191- 323 t l j . 心 山 刃 气 州 翻 L . 叫 若 ， 日 . 乙 妇 1 ‘ J . ， 月 卫 ， J . 口 月 . 口