《优化理论》课程报告
1
提出了一种将蚁群算法与算法相融合共同完
成反传神经网络训练的方法,ACO一BP算法。该
算法首先采用蚁群算法对网络权值进行整体寻优,
克服BP算法容易陷入局部最优的不足再以找到的
较优权值为初值,采用BP算法做进一步的寻优,
以提高网络的训练和预报精度。将ACO一BP神经
网络用于函数逼近问题,并与BP神经网络、蚁群
算法神经网络和遗传神经网络的逼近结果进行了
比较,验证了该算法的有效性。
《优化理论》课程报告
2
• 神经网络系统是由大量简单的处理单元(神经
元)广泛互连而成的复杂网络系统,具有一定的学
习、记忆和计算能力。神经网络具有一些显著特点
如具有非线性映射能力,不需要精确的数学模型,
易于软硬件实现等。多层感知器(MLP)网络是常
见的神经网络模型之一。此类神经网络可以有多个
隐层,基函数u(-)取线性函数,激活函数f(-)可以
取多种形式。当所有计算节点的激活函数都取硬极
限函数时称为多层离散感知器当隐层节点取
Sigmoidal函数时,就是著名的BP神经网络。
《优化理论》课程报告
3
具有一个隐层的多层感知器的网络模型如图所示:
《优化理论》课程报告
4
BP算法是目前应用最为广泛的神经网络
学习算法。 BP神经网络具有高度的非线性
映射能力,已经证明一个层的网络能够以任
意精度逼近一个连续函数一。 BP网络的隐
节点的激活函数为函数,所以BP网络也称为
激活函数为的多层感知器。输出节点的激活
函数因用途不同而异当网络用于分类时,输
出节点激活函数一般采用函数或者硬极限函
数如果用于函数逼近时,输出节点的激活函
数一般采用线性函数。
《优化理论》课程报告
5
下面以批处理模式、包含两个隐层的BP
算法为例简单介绍其原理。设第一隐层有
n1个神经元,第二隐层n2有个神经元,对
应的权矢量为w、w’、w’’,输入矢量为x、
x’、x’’。设有P个学习样本矢量,学习的目
标是最小化如下均方差
《优化理论》课程报告
6
• 输出层:
• 中间隐层:
(1)
(2)
(3)
(4)
《优化理论》课程报告
7
• 第一隐层:
(5)
(6)
《优化理论》课程报告
8