长短时记忆神经网络（LSTM-2）型介绍及公式推导.pdf

发布时间：2022-06-19 发布人：admin 分类：说明书资料大小：0.19M 资料格式：pdf 举报版权申诉

873ba45e-3f4d-4749-9b21-74ca3ead88db.pdf-第1页.png

第1页 / 共3页

873ba45e-3f4d-4749-9b21-74ca3ead88db.pdf-第2页.png

第2页 / 共3页

873ba45e-3f4d-4749-9b21-74ca3ead88db.pdf-第3页.png

第3页 / 共3页

文本预览

长短时记忆神经网络（LSTM-2） 1. 网络结构 2. 输出前向传播前向传播公式定义如下：（1）根据 LSTM 结构图定义可得：（2） 1 otoctoxtohtogtgxtghtgitictixtihtiftfctfxtfhtfbcwxwhwnetbxwhwnetbcwxwhwnetbcwxwhwnet1,1,11,11,)()()()()(1,,,,tttttttttottgttittftctanhohgicfcnetsigmonettanhgnetsigminetsigmf1th1tctcthtanhtxtftotitgtanhtcttgi1ttcf)(ttctanhosigmtcsigm1tcsigm

3. 误差反向传递 t 时刻的误差定义：（3）由公式（1）（2）可知都是的函数，根据误差定义及全导数公式可得：（4）各单元 t 时刻误差公式计算：其中只要求出即可，因为都是的函数，根据全导数公式可得：由于上式出现了 t+1，所以当时前三项不存存在。将公式（4）循环代入可求出各时刻的误差。 2 lt),0[，，111TthETtltlttltltlttotgtitfnetnetnetnet,,,,,,,1th w w w w hnetnetEhnetnetEhnetnetE hnetnetEohtoghtgihtifhtfltttotottgtgttitittftfltt,,,,111,,1,,1,,1,,111totgtitf ,,,,,,, g i netggccEnetE ii g netiiccEnetE ff c netffccEnetE oo )ctanh( netoohhEnetEtttctgtttttgtgttttctitttttitittttctftttttftftttttotttttoto)1()1()1()1(2,,,,,,,,1,,,,,,,tgtitf ,,,,, tc,ttottitfhnetcnetnet,,,,,11,1,tc )ctanh(o wfww chhEcnetnetE cccE cnetnetE cnetnetEcE2tttoctottcictifctftttttototttttitittftfttc)1(,1,1,1,,,111,1,1,1,,Tt w w w wohtoghtgihtifhtfltt,,,,111

4. 权重及偏置更新（5）根据各时刻的误差计算权重及偏置梯度如下： 5. 误差向上层传递 LSTM 网络当前层为，定义层的误差项为：（6） LSTM 的输入是上一层的网络输出，定义为 ,其中为层的激活函数。由公式（1）的定义可知，均为的函数，根据全导数公式可得：王伟东 532873584@qq.com 2018-02-25 3 bEbbbbwEwwwwtotgtitf ,,,,,,,TttooTttggTttiiTttffTtttoocTtttiicTtttffcTtttooxTtttggxTtttiixTtttffxTtttoohTtttgghTtttiihTtttffhb , b , b , b cw , cw , cwxw , xw , xw , xwhw , hw , hw , hw1,1,1,1,1,11,11,1,1,1,1,11,11,11,11,l1l11ltltnetEltx)(11ltlltnetfx1lf1lltoltgltiltfnetnetnetnet,,,,,,,ltx )(netf w w w w netx xnetnetE netx xnetnetE netx xnetnetE netx xnetnetE 1-lt' oxtogxtgixtifxtfltltltltoltoltltltltgltgltltltltiltiltltltltfltflt)(,,,,1,,1,,1,,1,,1

分享到：

赞收藏

资料库

长短时记忆神经网络（LSTM-2）型介绍及公式推导.pdf

相关推荐

人工智能

热门标签

最新资料