第一部分 响应机器
第3章 神经网络
学习的问题:
给定一个由n维向量X组成的集合Ξ,分量为xi ,
i=1,..,n。这些向量将是由一个响应agent的感知处
理单元计算出的特征向量。这些分量的值可以是数
值,也可以是布尔值。也已知集合Ξ中每个X所对应
的恰当的动作a(这些动作也许是学习者所观察到的
一个教师对一组输入的响应),这些相关的动作有时
称为“标号(label)”或“类别(class) ”。集合
Ξ与相应的标号组成了“训练集合(training
set)”。
机器学习的问题就是寻找一个函数,如 f(X),
“令人满意地”与训练集合的成员相对应。通常,我们
希望,由f计算出的动作尽可能与Ξ中向量的标号一致。
因为同时给出了输入向量和标号,所以我们认为这一学
习过程“受到监控”。
3.1 生物神经元
生物神经元:也称神经细胞,它是构成神经系统的
基本功能单元。虽然神经元的形态有很大的差异,但基
本结构相似,这里从信息处理和生物控制角度,简述其
结构和功能。
神经元结构:
(1)细胞体:由细胞核、细胞质和细胞膜等组成。
(2)树突:胞体上短而多分枝的突起,称树突。相当于神经元的
输入端,接收传入的神经冲动。
(3)轴突:胞体上最长枝的突起,是轴交,也称神经纤维,端部
有很多神经末梢,传出神经冲动。
(4)突触:突触是神经元之间的联接接口,每一个神经元约有
104—105个突触。一个神经元通过其轴突的神经末梢,经突触,与另
一个神经元的树突联接,以实现信息的传递。由于突触的信息传递特
性是可变的,即随着神经冲动传递方式的变化,传递作用强弱不问,
形成了神经元之间联接的柔性,将其称为结构可塑性。
(5)细胞膜电位:神经细胞在受到电的、化学的、机械的刺激后,
产生兴奋,此时,细胞膜内外有电位差,称膜电位。膜内为正,膜外
为负。
神经元的功能:
(1)兴奋与抑制:当传入神经元的冲动,经整合,
使细胞膜电位升高,超过动作电位于阈值时,即为兴
奋状态,产生神经冲动,由轴突经神经末梢传出。当
传入神经元的冲动,整合,使细胞膜电位降低,低于
阈值时,即为抑制状态,不产生神经冲动。
(2)学习与遗忘:由于神经元结构的可塑性,突触
的传递作用可增强与减弱,因此,神经元具有学习与
遗忘的功能。
在神经科学研究的基础上,根据生物神经元的结
构和功能,模拟生物神经元的基本特征,建立了多种
人工神经元模型,也称形式神经元模型,简称神经元
模型。
3.2训练单个TLU
3.2.1 TLU几何学
一个TLU:
TLU几何学解释
TLU用一个线性边界把输入向量的空间分开。
在二维空间里,此边界为一条线,而在三维空
间里为一个平面。在多维空间里此线性边界称
为“超平面(hyperplane) ” 。
此超平面把X·W-θ>0(θ为阈值)的向量
与X·W-θ<0的向量分开。超平面方程为X·W-θ
=0。我们可以通过调节阈值来改变超平面(相
对原点)的位置,而通过调节权值可以改变其
方向。