代号………一!170!……..分类号TPl83,0235学号密级0406120093公开面簧童手辩校兜警硕士学位论文题(中、英文)目基于神经网络的系统辨识方法研究……一一一一_R_e_se_a_rc_hon—S)r蔓坦啦l_d唑蚺!蛔蚋__Mejhod_一.一一……………….曼;;嫂史堕M!耻粤!№魍Q!K.一……一…一.。作者姓名…一型拇锋….指导教师姓名、职务…隧建墨…敦援..学科门类…一王一一掌一学科、专些扭撼制造及其自动化提交论文日期oo七年一月
摘要摘要人工神经网络具有并行处理能力、自学习能力、自适应能力和以任意精度逼近任意非线性函数的特点,在模式识别、系统辨识、控制等领域都得到了广泛的应用。本文就神经网络在模式识别与系统辨识方面的应用展开研究,提出了几种较新的系统模型辨识和模型参数辨识方法。本文针对输入输出受噪声干扰的随机系统,通过对系统误差空间的划分,把系统辨识问题转换成了模式识别问题,提出了系统模型描述方法并建立了相应神经网络辨识模型。该模型充分利用了已知干扰的概率信息,可迅速模拟出系统输出的概率分布信息,使辨识的结果更加直观、实用。同时,辨识模型可快速构建的特性,也为随机系统的在线辨识提供了一种可行的解决方法。在系统参数辨识方面,本文基于完备状态点的概念提出了一种新的神经网络集成方法,该方法将系统的类型与参数辨识融为一体,在保证了神经网络集成辨识的精度和泛化能力的基础上,降低了对待识别系统需知测试信息的要求。关键词:人工神经网络系统辨识模式识别神经网络集成参数辨识
摘要Abstract3Manyfunctionsarepossessedbytheneuralnetworkthatis,parallelproeessing,self-learningandself-adapting.Itcouldapproximateanynonlinearfunctionwitllanyprecision.Therefore,theneuralnetworkiswidelyusedinmanyaspects:patternreco鲥tion’systemidentificationandcontrolfieldsand∞on.Itisdevelopedinthepaperabouttheapplicationofneuralnetworkinpatternrecognitionandsystemidentification,severalnovelmethodsaregivenforSOmesystemsidentificationandtheparametersidentification.Consideringaclassofstochasticsystemundernoisedisturbance,bythediscretionofthesystemerrorboundsandtransformingthesystemidentificationproblemstopattemrecognitionproblems,thispaperpresentsadescriptionmethodtosystemmodel,andthecorrespondingneuralnetworkmodelhasbeenbuilt,Themodelmakesfullllscof恤knownprobabilityinformationofdisturbanceandCanefficientlysimulatetheprobabilitydistributioninformationofsystemoutputs.Theidentificationresultsaremorevisibleandusable.Besides.theidentificationmodelcallbequicklyestablishedtoprovideafeasiblewayforon—lineidentificationofstochasticsystem.Withtheconceptofcompletest啦pointspace.anewmethodofneuralnetworksensembleisproposed.Byguarantyingtheaccuracyandgeneralizationabilityofneuralnetworksensembleidentification,themethodcombinesboththetypeandparametersofthesystemsandlowersthecommandstoinformationquantityoftheobject.Keyword:ArtificialNeuralNetworkNeuralNetworksEnsembleSystemIdentificationPatternRecognitionParameterIdentification
声明声明西安电子科技大学创新性声明秉承学校严谨的学风和优良的科学道德,本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知,除了文中特别加以标注和致谢中所罗列的内容以外,论文中不包含其他人已经发表或撰写过的研究成果;也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说明并表示了谢意。申请学位论文与资料若有不实之处,本人承担一切相关责任。本人签名:日期竺Z!!』r西安电子科技大学关于论文使用授权的说明本人完全了解西安电子科技大学有关保留和使用学位论文的规定,即:研究生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕业离校后,发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。学校有权保留送交论文的复印件,允许查阅和借阅论文;学校可以公布论文的全部或部分内容,可以允许采用影印、缩印或其它复制手段保存论文。本人签名:导师签名:日期立孕尘』
第一章绪论第一章绪论1.1人工神经网络理论简介1.1.1人工神经网络的发展及现状人工神经网络(以下简称神经网络或ANN)的研究始于上世纪40年代。半个多世纪以来,它由兴起到萧条,又由萧条到兴盛。1943年,心理学家WSMeCulloeh和数学家WPitts提出了~妊L-第~个神经计算模型[1l;1949年心理学家DOHebb提出了神经元之间突触强度调整的假设,产生了著名的Hebb学习规贝llt21。50年代末,FRosenblm提出了第一个完整的人工神经网络[31,即著名的感知器(perception);1960年,BWindrow和MEHof提出了自适应线性(adaline)单元网络[41,是一种连续取值的线性网络,主要用于自适应系统;1969年,著名的人工智能学者M.Minsky和S.Papert编写了影响很大的《感知器(perception))一书【5】,对当对与感知器有关的研究及其发展产生了恶劣的影响,有些学者把研究兴趣转移到人工智能或数字计算机有关的理论和应用方面,推动了人工智能的发展,使它占了主导地位。美国在此后15年里从未资助神经网络研究课题,使神经网络的研究进入了一个缓慢发展的低潮期。80年代,由于人工智能和VonNeuman计算机在诸问题上的挫折,神经网络的研究又引起众多学科领域学者的关注【7J。1982年,Hopfield提出了新的神经网络模型一Hopfield网络模型15l,它的研究成果开拓了ANN用于联想记忆和优化计算的新途径,推动了神经网络的发展;1986年DERumelhart和JLMcClelland合著的ParallelDitributedProcess:ExplorationintheMicroStmcturesofCognition两卷书的出版l”,对神经网络的进展起了极大的推动作用。它包括了物理、数学、分子生物学、神经科学、心理学和计算机科学等许多相关学科的著名学者从不同研究方向或领域取得的成果。尤其是Rumelhart提出的多层网络BackPropagation算法【31151,这就是后来著名的BP算法,受到许多学者的重视。1987年,RHechtNielsen提出对向传播(counterpropagation)神经网络【101,可用于函数逼近、模式分类、统计分析和数据压缩等。1988年Chur和Yang提出了细胞神经网络模型191,它是一个大规模非线性计算机仿真系统,具有细胞自动机的动力学特征;90年代诺贝尔奖获得者Edelman提出了Darwirdsm模型,建立了一种神经网络系统理论,对神经网络的发展产生了很大的影响。到1994年,ANN的种类至少已达48种,至今已达80多种。随着ANN种类的不断增长,在如认识科学、神经科学、计算机科学、物理科学及工程应用等众多领域已形成
2基于神经网络的系统辨识方法研究了很多ANN的应用研究分支[91。20世纪80年底末,随着人工神经网络在世界范围内的复苏,国内也逐步掀起了研究热潮。常见的神经网络包括感知器网络、RBF网络、BP网络、Hopfield网络、CMAC(小脑模型神经网络)网络和模糊神经网络。其中感知器是最简单的前馈网络,主要用于模式分类;RBF网络是基于径向基函数的神经网络,局用很好的局部逼近能力,常用于系统辨识;BP网络由于其很好的逼近非线性映射能力,应用于信急处理、图像识别、模型辨识、系统控制等,常用于函数估计;Hopfield网络是主要的反馈网络,主要用于联想记忆和优化计算;CMAC网络是一种典型的局部逼近网络,具有学习速度快的优点,适用于机器人控制、模式识别、信号处理以及自适应控制等,尤其适用于自适应建模与控制;模糊神经网络兼有模糊逻辑的类似于人的思维模式和神经网络自学习和自适应能力。此外还有很多具有特殊结构的神经网络,如自适应共振神经网络、随机神经网络、HMM神经网络等等。经过60多年的发展,神经网络理论在模式识别、自动控制、信号处理、辅助决策、人工智能等众多研究领域取得了广泛的成功。目前神经网络研究与发展主要集中在以下几个方面I剐:1.神经生理学、神经解剖学的研究与发展;2.与之相关的数学领域的研究与发展:3.神经网络应用的研究与发展;4.神经网络硬件的研究与发展;5.新神经网络模型的研究。1.1.2神经网络的模型结构及功能简介神经生理学和神经解剖学证明了人的思维是由大脑完成的。神经元是组成人脑的最基本单元,能够接受并处理信息。人脑大约由lO“~lO”个神经元组成,其中每个神经元又与其他的约104~105个神经元相连接,如此构成一个庞大而复杂的神经元网络[rl。神经元是大脑处理信息的基本单元。人工神经元是对生物神经元信息处理功能的机器仿真,人工神经元是人工神经网络的最小组成单位,人工神经元的结构如图1.1人工神经元
第一章绪论图1.1所示:人工神经元的主要参数是输入置,f=1,2'…,n、输出y.、权值H,,i=l,2,…,n;j=l,2,…,m、阈值鼠和激励函数厂(r)。左侧输入端的作用类似于神经细胞的感受端,它感受、收集并导入外部信息;中问的权值、阈值和激励函数的作用类似神经元细胞体,完成对信息的加工处理,并形成输出。右侧输出端的作用类似于神经元细胞的轴突(输出机制),它将神经元的输出传导出去。神经元的数学算法为:乃=,(∑%葺一哆)多年来,学者们建立了多种神经网络模型。神经网络的数理模型有多种,但基本运算可归结为四种:积与和、权值学习、阅值处理和非线性函数处理。人工神经网络的信息处理功能是依靠计算机的强大处理能力来实现的,但它又不同于一般的计算机系统。它没有预先确定的、串行的运算操作,也没有确定的存储器。它由许多互连的简单处理单元组成。学爿达到平衡后,由各个神经元的权值所组成的整个网络的分布状杏.就是所求的结果。网络学习的过程也就是各神经元权值的调整过程.神经网络的特性及能力主要取决于网络的拓扑结构及学习算法。人工神经网络连接的几种摹本形式有:静向网络、带反馈的前向网络,层内互联前向网络和互联网络。网绍的学习算法更是多种多样,总体来讲可分为有导师学习和无导师学习。神经网络是人脑的某种抽象、筋化和模拟,坂映了人脑功能的若干基本特征:网络的信息处理,是由处理单元之间的相互作用来实现,并具有并行处理的特点;知识与信息的存储,表现为处理单元之间分布式的物理联系;网络的学习和识别,决定于处理单元连接权系的动态演化过程:具有联想记忆的特性【”】。神经网络是具有高度非线性的系统.具有一般非线性系统的特性。虽然单个神经元的组成和功能及其有限,但大量神经元构成的网络系统,所能实现的功能却是极其丰富多彩的。神经网络的基本愿想是从仿生学的角度对人脑的神经系统进行模拟,使机器具有人脑那样的感知,学习和推理等智能。神经网络的吸引力在于:(1)能够充分适正任意复杂的非线性关系;(2)能够学习遥直不确定性系统的动态特性;(3)所有定量裁定性的信息都分布储存于网络内的各个神经元,所以有(4)很强的鲁摩性和容错性:(5)采用并行分布处理方法,使得快速进行大量运算成为可能。这些特点显示了神经网络在求解非线性和不确定性系统控制方面的巨大潜
4基于神经网络的系统辨识方法研究力,将神经网络引入辨识和控制系统是控制学科发展的必然趋势。它的引入不仅给这一领域的发展带来了生机,也带来了许多急待解决的新课题。1.2系统辨识理论综述系统辨识问题提出是由于随着科学技术的发展,各门学科的研究方法迸一步趋向定量化,人们在生产实践和科学实验中,对所研究的复杂对象通常观测和计算来定量地判明其内在规律,为此必须建立所研究对象的数学模型,从而进行分析、设计、预测、控制的决策120】。例如,在化工过程中,要求确定其化学动力学和有关参数,以决定工程的反应速度;为了控制环境污染,希望得到大气污染扩散模型和水质模型【19】;为了进行人口预报,做出对应的决策,要求建立人口增长的动态模型;对产品需求量、新兴工业的增长规律这类经济系统,已经建立并继续要求建立其定量的描述模型。其他如结构或机械的振动、地质分析、气象预报等等,都涉及系统辨识和系统参数估计,这类要求正在不断扩大。根据对系统的组成、结构和支配系统运动的机理的了解程度,可以将建模方法分为如下3类…J:(1)机理建模——“白箱问题”(2)系统辨识(实验建模)——“黑箱问题”(3)机理分析和系统辨识相结合的建模方法上一“灰箱问题”1.2.1系统辨识的基本原理根据LA.Zadel的系统辨识的定义(1962)圈:蓉统辨识就是在输入和输出数据的基础上,从一组给定的模型类中,确定一个与所卿系统等价的模型。系统辨识辨识有三大要素:(1)数据。能观测到的被辨识系统的输入或输出数据,弛们是辨识的基础。(2)模型类。寻找的模型范围,即所考虑的模型的结构。(3)等价准则。等价准则一辨识的优化目标,用来衡量模型接近实际系统的标准。通常表示为一个误差的泛函,记为J=4Ie(1-2)其中用得最多的是厶范数。由于观测到的数据一般含有噪声,因此,辨识建模是一种实验跷计方法,是系统的输入输出特性,在所确定的准则下的一种近似描述。辨识的自的,是根据