2.4 BP神经网络模型与学习算法
智能中国网提供学习支持
www.5iai.com
概述
pRumelhart,McClelland于1985年提出了BP网络的误差反
向后传BP(Back Propagation)学习算法
David
Rumelhart
pBP算法基本原理
J. McClelland
Ø利用输出后的误差来估计输出层的直接前导层的误差,
再用这个误差估计更前一层的误差,如此一层一层的反
传下去,就获得了所有其他各层的误差估计。
2.4.1 BP神经网络模型
p三层BP网络
输 入 层
隐 含 层
输 出 层
1x
2x
1Nx
1y
2y
1z
2z
1
2
ihw
2Ny
hjw
3Nz
3N
-
-
-
1T
2T
3NT
2.4.1 BP神经网络模型
p激活函数
Ø必须处处可导
一般都使用S型函数
p使用S型激活函数时BP网络输入与输出关
系
Ø输入
net
x w x w
1
2
1
2
...
x w
n
n
Ø输出
y
f (
net
)
1
1 e net
2.4.1 BP神经网络模型
Ø输出的导数
1
1 e
net
f '(
)
-net
1
(1 e
net
2
)
y
(1
y
)
Ø根据S型激活函数的图形可知,对神经网络进行训练,应该将net的值尽
量控制在收敛比较快的范围内
2.4.2 BP网络的标准学习算法
p学习的过程:
Ø 神经网络在外界输入样本的刺激下不断改变网
络的连接权值,以使网络的输出不断地接近期
望的输出。
p学习的本质:
Ø 对各连接权值的动态调整
p学习规则:
Ø 权值调整规则,即在学习过程中网络中各神经
元的连接权变化所依据的一定的调整规则。
2.4.2 BP网络的标准学习算法-算法思想
p学习的类型:有导师学习
p核心思想:
Ø 将输出误差以某种形式通过隐层向输入层逐层反传
将误差分摊给各层的所有
单元---各层单元的误
差信号
p学习的过程:
修正各单元权
值
Ø 信号的正向传播 误差的反向传播
2.4.2 BP网络的标准学习算法-学习过程
p正向传播:
Ø 输入样本---输入层---各隐层---输出层
p判断是否转入反向传播阶段:
Ø 若输出层的实际输出与期望的输出(教师信号)不
符
p误差反传
Ø 误差以某种形式在各层表示----修正各层单元
的权值
p网络输出的误差减少到可接受的程度
进行到预先设定的学习次数为止