第 35卷 (2007)第 8期 　　　　　　　　　　　　　　计算机与数字工程 　　 　　　　　　　　　　　 5 基于遗传算法的小波神经网络 李 　逊 　谢红胜 (华中科技大学系统科学与工程研究所 　武汉 　430074) 摘 　要 　介绍小波神经网络的基本原理 。利用遗传算法来优化小波神经网络 ,达到提高逼近精度 ,简化网络结构 ,提 高收敛速度的目的 。通过实验将其与传统的小波神经网络进行比较 ,证实前者具有更优的网络结构 ,更高的逼近精度 。 关键词 　遗传算法 　小波神经网络 　小波变换 中图分类号 　TP183 3 1　引言 小波分析理论被认为是傅立叶分析的突破性 进展 。小波变换通过尺度伸缩和平移对信号进行 多尺度分析 , 能有效提取信号的局部信息 [ 1 ] 。为 了改善人工神经网络的性能 , 1992年 Zhang Q ing hua和 A lbert Benveniste明确提出了小波神经网络 的概念和算法 [ 2 ] 。之后又有多名学者提出了各种 小波神经网络的模型 ,例如 : Zhang Jun 等提出的基 于类紧支特性的尺度函数的正交小波基神经网 络 [ 3 ] , Szu 等人提出的两种基于连续小波变换的自 适应小波神经网络模型 [ 4 ] , Pati于 1993 年提出以 小波基函数作为神经元的激活函数 ,利用仿射小波 变换构造单隐层前向神经网络 [ 5 ] 。其中以 Szu等 人的模型应用最为广泛 。小波神经网络 (WNN - W avelet Neural Network)是小波理论与人工神经网 络相结合的一种前馈型网络 。其思想是用小波元 代替了神经元 ,即用已定位的小波函数代替 Sig moid函数作激活函数 ,通过仿射变换建立起小波 变换与网络系数之间的连接 ,并应用于函数逼近 。 小波神经网络兼容了小波变换与神经网络的优越 性 ,一方面 ,充分利用了小波变换的时频局部化特 性 ;另一方面 ,发挥了神经网络的自学习特性 ,从而 具有较强的逼近与容错能力 [ 6 ] 。 2　小波神经网络原理 2. 1　小波变换 平方可积函数空间 L2 ( R ) 定义 : L2 ( R ) = { x ( t) : ∫ | x ( t) | 2 d t < ∞} R 在函数空间 L2 ( R ) (或在更广泛的 H ilbert空 间 )中 ,选择一个母小波函数 (又称为基小波函数 ) ψ( x) ,使其满足约束条件 : 　　　Cψ = ∫ | ^ψ(ω) | 2 | ω | R dω < ∞ ( 1) 式 ( 1)中 , ^ψ (ω)为 ψ ( x)的 Fou rier变换 。对 ψ ( x) 进行伸缩 、平移变换得到的小波基函数系 {ψm , n ( x) } (又称分析小波或连续小波 ) 。 ψm , n ( x) = a - m /2ψ( a - m x - nb) 　 (m , n) ∈Z2 ( 2) 式 ( 2)中 a是伸缩因子 , b是平移因子 。将任意 L2 (R )空间的函数 f ( x)在小波基下展开 ,称这种展开 为函数 f ( x ) 的 连 续 小 波 变 换 ( Con tinue W avelet T ransform ) ,表达式为 : ( f,ψm , n ) = a- m /2 ∫∞ - ∞ f ( t)ψ( a- m t - nb) ( 3) 正交小波的平移和伸缩构成了 L2 ( R )的一组正交 基 ,特别地 ,存在小波函数 ψ( x) ,使得 　　ψm , n ( t) = 2 - m /2ψ( 2 - m t - n) ( 4) 构成 L2 ( R )中的正交基 , 这样 , 小波基可以诱导出 L2 (R )中的一个正交分解 。因此函数 f ( x)可表示 为 : 　　f ( x) = ∑ (m , n) ∈ Z 2 (ψm , n ( x) , f ^ )ψm , n ( x) ( 5) 2. 2　小波神经网络 小波神经网络的理论基础是小波函数的重构 理论 :对于满足容许性条件的母小波 , 其伸缩和平 移形成的连续小波基的线性组合在 L2 ( R ) 中稠 密 [ 7 ] 。 本文的小波神经网络结构采用三层结构 ,已有 收到本文时间 : 2006年 9月 26日 作者简介 :李逊 ,男 ,硕士研究生 ,研究方向 :仿真与决策 、M IS分析与设计 。谢红胜 ,男 ,博士研究生 ,研究方向 :复杂 系统优化设计 、仿真与决策 。 

6 　　　　　　李 　逊等 :基于遗传算法的小波神经网络 　　　　　　　　　　　　　　　 　第 35卷 理论证明只含有一个隐含层的 3层前馈网络能以 任意精度逼近一个非线性映射 [ 8 ] 。三层的小波神 经网络结构如图 1所示 。 成一个字符串作为问题的一个解 。 步骤 3　根据训练的结果确定每个个体的适 应度值 。适应度值通过下式计算 : 　　　　　　f = 1 1 + E (11) 其中 E为误差函数 , 根据已有学者的研究表 明采用式 ( 12)熵函数表示误差 , 可以加快小波神 经网络的学习速度 [ 10 ] 。 图 1　小波神经网络结构图 结合上述小波变换的知识 ,小波神经网络结构 可以用下式表式 : L N j = 1 k = 1 yi =σ ∑ ωijψm , n ( ∑ ωjk xk -θk ) -θ′i ( 6) 式 (6)中 xk 为输入层的第 k个神经元输入 ,ωjk为 输入层节点 j与隐层节点 k之间的连接权值 ,θk 为 隐层节点 k的阈值 , N 为输入层神经元个数 ,ωij为 隐层节点 i与输出层节点 j之间的连接权值 ,θ′i 为 输出节点 i的阈值 , L 为隐层节点个数 。网络的隐 层神经元采用小波函数 (通常选用 Morlet函数 )作 为激励函数 ,即 : 　　ψm , n ( x) = 1 ψ( a x - b a ) 　　ψ( x) = cos( 1. 75x) ×exp ( - x2 /2) 输出层采用 Sigmoid函数作为激励函数 ,即 : 　　　　　σ ( x) = 1 1 + exp ( - x) 3　小波神经网络的学习算法 ( 7) ( 8) ( 9) 通常神经网络的学习算法可表示为 :对于合适 的样本集 S = { xi , yi } , i = 1, 2 …P,其中 P为样本 数 ,寻找一个参数集 Θ使得能量函数最小 [ 9 ] 。 　　　　E = 1 2 P K ∑ p = 1 ∑ i = 1 [ yp i - dp i ]2 ( 10) 考虑到遗传算法具有较强的全局搜索能力 ,尝 试以遗传算法来确定伸缩和平移系数以及各个权 值 、阈值 。用遗传算法优化小波网络的步骤如下 : 步骤 1 　随机选择 p 个染 色体 bi ( i = 1, 2, ……, p)作为种群初始化 , 每一个染色体用一个网 络结构进行编码 ,此处采用实值编码方法 。 步骤 2　用许多不同的初始权值分布对个体 集中的结构进行训练 。对每个个体对应的小波网 络中的权系数 ωjk ,ωij、伸缩和平移因子 a, b、阈值 θk ,θ′i 的训练也采用遗传算法 。将神经网络的各 个权值 、阈值和隐层节点的伸缩平移算子按次序编 E = - ∑ p = 1 P K ∑ i = 1 [ dP i ×lnyp i + (1 - dp i ) ln (1 - yp i ) ] (12) i 表示第 p个样本对应于第 i个输出节点的 i 表示第 p个样本对应于第 i个节点 其中 dp 期望输出值 , yp 的实际输出值 。 步骤 4　若终止条件满足 ,则转步骤 7。 步骤 5　选择若干适应度最大的个体 ,直接继 承给下一代 。采用适应度比例方法进行选择操作 。 在该方法中 ,各个个体的选择概率和其适应度值成 比例 。在当前父代和子代中 ,为了不使适应度最大 的个体被淘汰 ,采用父代适应度最大的个体替代遗 传操作后产生的个体中适应度最差的个体 。按 p ×fi / ∑fi ( fi 为适应值 , p为种群数目 )决定第个个 体在下一代中应复制其自身的数目 ,适应值越高的 个体在下一代中复制自身的个体数目越多 。 步骤 6　按照一定的概率 pc 从复制过的种群 中随机选择两个个体进行交叉 ,其自适应调整公式 为 : favg pc = k1 ( fmax - f′c ) / ( fmax - favg ) 　f′c pc = k2 　f′c < favg (13) 其中 k1 = k2 = 1. 0, f′c 为待交叉的两个父串中的较 大适应值 , fm ax为种群最大适应度值 , favg为种群平均 适应度值 。这就使得 pc 随着解的评价函数 (适应 值 )而自适应地改变 [ 11 ] 。再以变异概率 pm 对染色 体的每一位进行变异操作 ,其自适应调整公式为 : (14) 其中 : g表示当前代数 , N G表示自上次进化以来至 当代为止连续未进化的代数 , Cof是变异率提高的 系数 ,通常取值很小 ,如 0. 006, 它决定了阈值 。通 过给定的概率对当代染色体进行增加删除操作 。 转步骤 3。 　　pm ( g) = 0. 001 +N G ×Cof 步骤 7 　终止循环 , 得到最佳染色体 (编码个 体 ) 。然后转化成相应的权值 、阈值 , 隐层节点的 伸缩 、平移算子 。 4　实验结果 逼近函数为 : x ( t + 1) = 1 - a ×x ( t) 2 　其中 x 

2 第 35卷 (2007)第 8期 　　　　　　　　　　　　　　计算机与数字工程 　　 　　　　　　　　　　　 7 (1) = 0. 4, a = 1. 6。 本文采用 MATLAB 进行编程 ,将使用遗传算 法的小波神经网络和使用传统 BP算法的小波神 经网络进行比较 。以下是两者的误差曲线 ,以及目 标逼近的对照图 。 实验结果表明采用遗传算法的小波神经网络 图 2　小波网络误差曲线 　图 3　优化后的小波网络误差曲线 　图 4　小波网络逼近 　图 5　优化后的小波网络逼近 具有更好的逼近效果并且采用遗传算法的小波神 经网络所需的隐层节点数 ( 8 个 )远少于采用 BP 算法的小波神经网络 ( 15 个 ) ,从而前者具有较小 的网络结构 ,更快的收敛速度 。 5　结论及展望 本文利用基于自然选择和遗传学机理进行搜 索的增强式学习算法 - 遗传算法来优化小波神经 网络 ,达到提高逼近精度 ,简化网络结构 ,提高收敛 速度的目的 。基于遗传算法优化的小波神经网络 预测模型结合了遗传算法的全局优化搜索能力 ,小 波变换良好的时频局部特性 ,神经网络的自学习能 力 。下一步将研究如何将基于遗传算法优化的小 波神经网络应用于电价预测中 。 参 考 文 献 [ 1 ] Daubechies I. Ten Lectures on W avelets [M ]. Philadel phia, PA: SIAM Press, 1992 [ 2 ] Q inghua Zhang, A lbert Benveniste. W avelet Networks IEEE Transactions On Neural Networks, 1992, 3 [ J ]. (6) : 889～898 [ 3 ] Zhang Jun, W alter G, M iao Y, etal. W avelet neural net works for function learning[ J ]. IEEE Trans on SP, 1995, 43 (6) : 1485～1497 [ 4 ] Szu H, Telfer B and Kadambe S. Neural network adap tive wavelets for signal rep resentation and classification [ J ]. Op tical Engineering, 1992, 36 (9) : 1907～1916 [ 5 ] Pati Y C, Krishnap rasad P S. Analysis and synthesis of feedforward neural networks using discrete affine wavelet transformations[ J ]. IEEE Trans Neural Networks, 1993, 4 (1) : 73～85 [ 6 ]李弼程 ,罗建书编著. 小波分析及应用 [M ]. 北京 :电 子工业出版社 , 2003: 164～178 [ 7 ] Kreinovich V , Sirisaengtak sin O and Cabren S. W avelet neural networks are asymp totically op timal app roximators for functions of one variable [ C ]. Florida, USA: Proceed ing of IEEE ICNN 94, 1994, 1: 299～304 [ 8 ]阎平凡 ,张长水编著. 人工神经网络与模拟进化计算 [M ]. 北京 :清华大学出版社 , 2000 [ 9 ] T. Q. D. Khoa, L. M. Phuong, P. T. T. B inh, N. T. H. L ien. App lication of W avelet and Neural Network to Long - Term Load Forecasting[ C ]. 2004 lntematlonal Con ference on Power System Technology - POW ERCON 2004 Singapom, 2004, 11: 840～844 [ 10 ]Van Ooyen A , N ienhuis B. Imp roving the convergence of back - p ropagation algorithm [ J ]. Neural Networks, 1992, 5: 465～471 [ 11 ] Srinivas M , Patnaik L M. Adap tive Probabilities of Crossover and Mutation in Genetic A lgorithm s[ J ]. IEEE Trans. on System s, M an, & Cybernetics, 1994, 24 (4) : 656～665 

2 2 2 2 2 2 2 2 fo rm ance. Key words　B P ne u ra l ne tw o rks , RB FNN , d iffe re n tia l P ID incom p le tio n ( Page: 11) 1 Index(Vol. 35 No. 8) 　　　　　　　　　　　　　　　Computer and D igital Engineering　　　　　　　　　 　　　　　　 　　　 A Novel M ulti - Pa th Routing Protocol for Ad hoc Net by　W u B o work Ba sed on An t Colony A lgor ithm Abstract　Ad ho c ne tw o rk topo lo gy a lw ays change s d ra m a tica lly du ring the com m un ica tio n and the sp e e d o f the no de s a re ve ry fa s t. In th is p ap e r, a no ve l ro u te p ro to co l ba se d o n backup p a th and im p ro ve d an t a lgo rithm is p re se n te d. Com p a ring w ith the co nve n tio na l ro u te p ro to co ls, the no ve l p ro to co l co n s truc ts m u lti - p a th fo r e ve ry de s tina tio n a t so u rce no de s and s to re s backup p a th a t in te rm e d ia l no de s. The no ve l p ro to co l is ro bu s t e no ugh and it app lie s backup p a th to de live r da ta p acke ts w he n It’s w e ll su itab le in Ad ho c ne tw o rk. link fa ilu re o ccu rs. Key words　Ad ho c, an t co lo ny a lgo rithm , m u lti - p a th ( Page: 1) ro u ting, backup p a th threaded Synchron iza tion Avo id ing Study of an M ulti - by　W ang Y itao D ea th - lock Abstract　So ftw a re w o ke in the m u lti - th re ade d app lica tio n s, synch ro n iza tio n co n tro l and de a th - lo ck avo idance is the e te rna l p a rt o f the m u lti - th re ade d app lica tio n s. The re ade r - w rite r lo ck a lgo rithm and the o rde re d lo c king p a tte rn a re d iscu s se d and o ffe re d an a lgo rithm com po se d o f bo th o f them , w h ich can o ffe r a so lu tio n to the synch ro n iza tio n co n tro l o f m u lti - th re ade d app lica tio n s, and it ha s be e n p ro ve d. Key words　 re ade r - w rite r lo ck a lgo rithm , o rde re d lo c ( Page: 14) king p a tte rn W avelet Nerua l Networks Ba sed on Gene A lgor ithm in tro duce s by　L i X un Abstract 　 Th is p ap e r the ba s ic theo ry o f w ave le t ne u ra l ne tw o rks. In o rde r to im p ro ve app ro ach p re c is io n, p re d ige s t s truc tu re and im p ro ve co n stringe ncy sp e e d. Ge ne a lgo rithm is u se d to op tim ize the w ace le t ne u ra l ne tw o rks. The e xp e rim e n t app ro ve s tha t the ne t w o rks w ith ge ne a lgo rithm ha s be tte r s tru ttu re and be t te r app ro ach p re c is io n. Key words 　 ge ne a lgo rithm , w ave le t ne u ra l ne tw o rks, ( Page: 5) w ave le t tran sfo rm Black - ba sed V ideo Segm en ta tion A lgor ithm by　Zhang Z henm ing Abstract　 Th is p ap e r p ropo se s a new m e tho d fo r the video o b je c t se gm e n ta tio n. B a se d o n the m o tio n info r m a tio n o f im age b lo cks, the p ropo se d a lgo rithm ha s re a so nab le tradeo ff be tw e e n the com p u ta tio na l com p le xity and accu racy. M o re sp e c ifica lly, com p a ring w ith DCT, the add itio na l com p u ta tio na l com p le xity is ne g lig ib le. A t the sam e tim e , the accu racy o f the p ropo se d se gm e n ta tio n a lgo rithm can sa tisfy the re qu irem e n t to fu rthe r im p ro ve the e ffic ie ncy o f video co d ing and tran sm is sio n o ve r w ire le s s channe l. The e xte n s ive e xp e rim e n ts show tha t the p ropo se d m e tho d is e ffic ie n t in te rm s o f e ffic ie n cy and ro bu s tne ss. Key words　video co d ing, video se gm e n ta tio n, video o b ( Page: 8) je c t, m o tio n e stim a tio n Research and Apply of Incom pletion D ifferen tia l P ID Con trol - ar ithm etic Ba sed on RBF D istingu ish BP NN by　Zhao Changzhan Abstract　Th is p ap e r u se s the B PNN to co n tro l the th re e p a ram e te rs o f incom p le tio n d iffe re n tia l P ID o n line , and it d is tingu ish the se n s itive info rm a tio n o f the o u tp u t to in p u t change o n line by u sing RB FNN a s ana lyse - in s tru m e n t to im p ro ve the co n tro l p re c is io n o f the system. The n w e w rite the M ATLAB im ita tio n p ro g ram m e. The re su lt ind ica te s goo d co n tro l e ffe c t and stro ng s tab le p e r Pa ttern Syn thesis of An tenna Array Using Genetic A lgo by　Huo D e r ithm Abstract　A ge ne tic a lgo rithm is p re se n te d in th is p ap e r to co n tro l re g io n s o f inc ide n t ang le s. It adop ts an im p ro ve d de c im a l co de d a lgo rithm ba se d o n so rting . It ad vance s ge ne tic p a ram e te r and ge ne tic op e ra tio n to e n hance se a rch ing e ffic ie ncy g re a tly and to avo id p rem a tu re co nve rge nce. Eve ry re qu ire d re g io n o f s ide lo be in the p a tte rn is op tim ize d to sa tisfy the de s ign re que s t. Suc ce s sfu l re su lts show tha t ge ne tic a lgo rithm is an e ffe c tive too l to re so lve such p ro b lem s. Key words　ge ne tic a lgo rithm , an te nna a rray, re g io n, op ( Page: 17) tim iza tio n Applica tion of GA in the D esign of Routing Protocols for by　Z hu Pengfei W SN Abstract　D iffe re n t from trad itio na l w ire le ss ne tw o rks, W SN ha s its sp e c ia l fe a tu re s: the lim ite d e ne rgy, poo r ab ility fo r com m un ica tio n, w e ak ab ility fo r com p u ting and un s tab le topo lo gy, w h ich m ake s the inva lida tio n o f ge n e ra lw ire le s s ro u ting p ro to co ls in the fie ld o f W SN. Th is p ap e r p re se n ts the app lica tio n s o f GA in the de sign o f ro u ting p ro to co ls fo r W SN. Th is w ay can a ssu re tha t the re e xis t m u lti ro u ting p a th s be tw e e n the so u rce no de and de s tina tio n no de. And the m e chan ism can g re a tly lim it the e ne rgy - co n sum ing and p ro lo ng the life o f th is ne tw o rk. Key words　W SN , GA , ro u ting p ro to co ls ( Page: 20) Research of A lgor ithm s on S ingle - pa th Routing Protocols by　Z hu Yansong for Ad hoc Networks Abstract　Th is p ap e r in tro duce s the de sign re qu irem e n t o f the ro u ting a lgo rithm s fo r Ad ho c ne tw o rks, ana lys i se s and com p a re s the fe a tu re s o f se ve ra l sing le - p a th ro u ting a lgo rithm s from tw o kind s o f ang le s, w h ich a re p ro ac tive and re ac tive ro u ting p ro to co ls re sp e c tive ly. Fi na lly, it m ake s co nc lu sio n s o f the im po rtan t po in ts and com p le x p ro b lem s o n the re se a rch o f ro u ting a lgo rithm s