logo资料库

BP算法推导详细教程.ppt

第1页 / 共29页
第2页 / 共29页
第3页 / 共29页
第4页 / 共29页
第5页 / 共29页
第6页 / 共29页
第7页 / 共29页
第8页 / 共29页
资料共29页,剩余部分请下载后查看
2.4 BP神经网络模型与学习算法 智能中国网提供学习支持 www.5iai.com
概述 pRumelhart,McClelland于1985年提出了BP网络的误差反 向后传BP(Back Propagation)学习算法 David Rumelhart pBP算法基本原理 J. McClelland Ø利用输出后的误差来估计输出层的直接前导层的误差, 再用这个误差估计更前一层的误差,如此一层一层的反 传下去,就获得了所有其他各层的误差估计。
2.4.1 BP神经网络模型 p三层BP网络 输 入 层 隐 含 层 输 出 层 1x 2x 1Nx 1y 2y 1z 2z 1 2 ihw 2Ny hjw 3Nz 3N - - - 1T 2T 3NT
2.4.1 BP神经网络模型 p激活函数 Ø必须处处可导 一般都使用S型函数 p使用S型激活函数时BP网络输入与输出关 系 Ø输入 net  x w x w 1 2  1 2 ...   x w n n Ø输出 y  f ( net )  1  1 e net 
2.4.1 BP神经网络模型 Ø输出的导数 1 1 e  net f '( )   -net 1 (1 e   net 2 )  y (1  y ) Ø根据S型激活函数的图形可知,对神经网络进行训练,应该将net的值尽 量控制在收敛比较快的范围内
2.4.2 BP网络的标准学习算法 p学习的过程: Ø 神经网络在外界输入样本的刺激下不断改变网 络的连接权值,以使网络的输出不断地接近期 望的输出。 p学习的本质: Ø 对各连接权值的动态调整 p学习规则: Ø 权值调整规则,即在学习过程中网络中各神经 元的连接权变化所依据的一定的调整规则。
2.4.2 BP网络的标准学习算法-算法思想 p学习的类型:有导师学习 p核心思想: Ø 将输出误差以某种形式通过隐层向输入层逐层反传 将误差分摊给各层的所有 单元---各层单元的误 差信号 p学习的过程: 修正各单元权 值 Ø 信号的正向传播 误差的反向传播
2.4.2 BP网络的标准学习算法-学习过程 p正向传播: Ø 输入样本---输入层---各隐层---输出层 p判断是否转入反向传播阶段: Ø 若输出层的实际输出与期望的输出(教师信号)不 符 p误差反传 Ø 误差以某种形式在各层表示----修正各层单元 的权值 p网络输出的误差减少到可接受的程度 进行到预先设定的学习次数为止
分享到:
收藏