logo资料库

PCNN原理及其应用.pdf

第1页 / 共6页
第2页 / 共6页
第3页 / 共6页
第4页 / 共6页
第5页 / 共6页
第6页 / 共6页
资料共6页,全文预览结束
第 6 卷第 3 期 电路与系统学报 Vol.6 No.3 2001 年 9 月 JOURNAL OF CIRCUITS AND SYSTEMS September, 2001 文章编号:1007-0249(2001) 03-0045-06 PCNN 的原理及其应用* 顾晓东, 余道衡 (北京大学 电子学系,视觉与听觉信息处理实验室, 北京 100871) 摘要:本文综述了一种新的有生物学依据的人工神经网络——脉冲藕合神经网络(PCNN—Pulse Coupled Neural Networks)的模型与原理,同时分析并总结了其特性与其在图象处理、图象识别、运动目标识别、通讯、决策优化等 方面的应用, 并指出了今后 PCNN 的研究重点。 关键词:PCNN;PCNN 的模型;PCNN 的特点;PCNN 的应用 中图分类号:TP183 文献标识码:A 1 引言 随着生物神经学的发展,国外对一种被称为脉冲藕合神经网络(PCNN—Pulse Coupled Neural Networks)的人工神经网络的研究正在逐渐升温,1999 年以来,IEEE Trans. On Neural Networks、Neural Computation 等刊物上有关 PCNN 的论文经常出现,但目前对它的研究还远不够深入。在这些论文中, 许多论文研究了 PCNN 在图象处理中的应用,从 本文的第二部分可知,这与 PCNN 的生物学依据是相 一 致 的 。 国 外 初 步 的 研 究 表 明 ,PCNN 与 传 统 的 人 工 神 经 网 络 相 比 有 很 多 不 同 点 , 在 图 象 处 理 [13,14,36,37,39,40]、图象识别[17,30]、运动目标识别[16]、通讯[15]、决策优化[19,30]等方面[18,41]存在着优势,具 有广阔的应用前景。2001 年 4 月,通过实验与研究,我们撰写了用PCNN 进行二值图象恢复的论文[42], 该论文已被第 8 届国际神经信息处理大会(ICONIP-2001)录用。到目前为止国内还未发现其它有关 研究报告及论文。所以有必要介绍这一模型并对其进行分析,以期引起国内注意,进一步开展 PCNN 的理论及应用研究。本文在介绍这一模型的同时,还对其特性进行了分析归纳,展望了它的应用前景。 2 PCNN 的基本模型 Hodgki 与 Huxley[1]在 1952 年就开始了神经 元电化学特性的研究,但作为动态网络的脉冲 神经系统的研究直到 90 年代左右才开始[2,3]。 Eckhorn 在 1990 年根据猫的大脑皮层同步脉冲 发放现象[4],提出了展示脉冲发放现象的连接 模型。在对猴的大脑皮层所进行的实验中,也 得到了相似的实验结果[9,10,11,12]。对 Eckhorn 提 出 的 模 型 进 行 变 形 , 就 得 到 了 PCNN 模 型 [5,6,7,8]。 构成 PCNN 的单个神经元的基本模型见图 1,该模型[7,3031,32]是对真实神经元的简化与近 似,影响真实神经元活动的一些因素,如细胞 的年龄、温度的影响等均未考虑[20]。 L j = = L kj k W [ kj exp( k * 收稿日期:2001-02-16 修订日期:2001-08-23 图 1 PCNN 中单个神经元的模型 L kj t )] tY )( k + J j (1) ˜ a -
电路与系统学报 第 6 卷 46 = F j j = U -=q d dt = Y j = F kj b+ 1( j k F [ M kj exp( F kj t )] tY )( k + I j (2) k L j j ) (3) T j + j )(tYV T j j (4) Step U ( j ) j (5) L 与αkj 该模型共分成三部分,接收域、调制部分和脉冲产生部分。接受域接受来自其它神经元与外部的 输入。接收域接受到输入后,将其通过两条通道传输。其中,一条通道称为 F 通道,另一通道称为 L 通道。F 通道的脉冲响应函数随时间的变化比 L 通道慢。式(1)、(2)中的Wkj 与 Mkj 表示突触联接权; F 为时间常数;Ij 与 Jj 表示输入常量。调制部分将来自 L 通道的信号 Lj 加上一个正的偏 αkj 移量后与来自 F 通道的信号 Fj 进行相乘调制,见图 1,模型中偏移量归整为 1,βj 为联结强度。由 于信号 Fj 的变化比信号 Lj 慢,相乘调制得到的信号 Uj 就近似为一快速变化的信号叠加在一近似常 量的信号上。脉冲产生部分由阈值可变的比较器与脉冲产生器组成。当脉冲产生器打开时,其发放脉 冲的频率是衡定的。当神经元输出一个脉冲,神经元的阈值就通过反馈迅速得到提高。当神经元的阈 值θj 超过 Uj 时,脉冲产生器就被关掉,停止发放脉冲。接着,阈值就开始指数下降,当阈值低于 Uj 时,脉冲产生器被打开,神经元就被点火,即处于激活状态,输出一个脉冲或脉冲序列。由此可 T 分别表 知,神经元输出脉冲的最大频率不能超过脉冲产生器产生脉冲的频率。式(5)中,Vj 示阈值的幅度系数与时间常数。若神经元每次点火时,只输出一个脉冲,则脉冲产生部分的比较器与 脉冲产生器可由一阶跃函数来代替 [32],式(5)表示这种情况下的输出,图 1 为这种情况下的单个神 经元模型,图 2 表示这种情况下,当信号 Fj 为常量时,神经元是如何点火的。 T 与αj 通过计算,得到图 1 所示的神经元的点火频率为[4,21,30]: 幅 度 U jmax 表 示 信 号 L j 到 达 时 的 U j 的 大 小 T c 有 L j 信 号 到 达 U jmax F j 幅 度 发 出 的 脉 冲 图 2 该图表示单脉冲输出情况下的神经元点火原理 接收神经元同步点火。 f j =a T j / 1ln( + V U T j j ) t t 图 2 中,信号 Fj 为常量,只有当信号 Lj 产生在捕捉时间 Tc 内时,神经元才会点火。 通过计算,得到捕捉时间的宽度[32]为: = T c b+ 1ln( L j j ) 1 T j 当信号 Lj 在捕捉时间 Tc 内产生,即输入 神经元捕捉时间 Tc 内点火,则输入神经元与 将图 1 所示的神经元相互联接,就够成了 PCNN。一般情况下,PCNN 是局部联接的。如将 PCNN 用于图象处理时,一般将一个象素对应一个神经元,同时该象素对应的神经元与邻近的神经元联接。 3 PCNN 的特性 我们通过对 PCNN 模型的分析,可知 PCNN 具有以下的特性: 3.1 脉冲藕合的特性 PCNN 中,神经元的输出为脉冲,来自其它神经元的输入亦为脉冲,这是 PCNN 最基本的特性。 3.2 变阈值 构成 PCNN 的神经元的阈值是随着时间改变的,同时受到神经元输出的影响。当神经元输出脉冲 时,阈值就随之而升高。 3.3 PCNN 中的神经元与构成其它神经网络的神经元存在着根本的区别。 ˜ a - q a q - a
第 3 期 顾晓东等:PCNN 的原理及其应用 47 PCNN 中的神经元与构成其它神经网络的神经元存在着根本的区别。传统的非 PCNN 神经网络(如 BP、Hopfield、CNN、Kohonen 等神经网络)之的差异主要体现在网络的拓扑结构、确定权值的算法等 方面,但构成这些网络的单个神经元的结构和功能是相似的,都是将输入信号的加权和与阈值相比, 得到输出;而 PCNN 中的神经元是先分别求输入信号与 F 通道和 L 通道的脉冲响应函数的卷积和,然 后再进行相乘调制,调制接果与阈值相比,得到输出。 3.4 逻辑功能 单个的 PCNN 神经元可构造出任意复杂的模糊逻辑系统[30,32]。 3.5 发放同步脉冲 PCNN 中,相邻的一群神经元可发放同步脉冲。当一个或数个神经元点火,输出的脉冲信号传送 到相邻的神经元,使之迅速点火,从而这一群神经元都开始点火;当一个或数个神经元由于阈值升高 而熄火时,这一信息也迅速地传到相邻的神经元,从而使这一群神经元迅速熄火。整群神经元就象一 个巨大的神经元,同步地发放出脉冲。神经元处于点火状态时,由于时间常数的不同,Lj 信号比阈值 信号先饱和,从而使得处于点火状态的整群神经元能熄火。熄火后,阈值将指数下降,当阈值下降到 低于 Uj 时,这群神经元又将点火,同步发放脉冲。 3.6 产生脉冲波 单个的 PCNN 神经元产生的脉冲可在网络中扩散穿播,形成脉冲波。当一个神经元点火发出脉冲 后,若在一段时间内对其进行抑制,但在这段时间内与其相邻的神经元却由于它的激发而点火发出脉 冲,这一过程持续进行下去,最初点火神经元产生的脉冲就在网络中扩散穿播,从而形成了以最初点 火神经元为中心的脉冲波。 3.7 相乘调制 单个的 PCNN 神经元中,信号 Fj 与信号 Lj 进行相乘调制,从而使得神经元与神经元之间拥有强 联接权时,它们之间并不一定存在影响;拥有弱联接权时,神经元之间却也可能存在影响。如两个联 接的神经元,若其中一个长期不点火,即使它们之间拥有强联接权,另一个神经元也不会被激活。若 两个神经元之间的联接权非常小,但其中一个不断点火,则另一个神经元也会被激活。 3.8 一定条件下,PCNN 对同一物体的图象在不同情况下的处理结果具有稳定性[32] 若使 PCNN 中神经元接收域的联结权具有一定的对称性,则在图象识别时,PCNN 对图象的处理 结果具有旋转不变性、强度不变性、尺度不变性、扭曲不变性。 4 PCNN 的应用 PCNN 是根据对动物的大脑视觉皮层同步脉冲发放所获得的实验结果[4,9,10,11,12]分析得到的,故其 可应用于图象处理、图象识别,这是有其生物学上的依据的。1999 年,Izhikevich 在数学上严格证明 了实际的生物细胞模型与 PCNN 模型是一致的,所不同的只是变量的坐标[33]。研究表明,PCNN 可用 于图象平滑、图象分割[14]、图象凹点搜索[17] 、图象边缘检测[30]、图象融合[13]、图象分解[30]、图象识 别[32],还可应用于运动目标检测[16]、最优路径求解[15]、语音信号分离[18]、通讯中的同步、通讯中的 路由选则[15,19]等方面。 下面将介绍 PCNN 在各方面的应用: 4.1 图象分割[22] 通过调节神经元的联结强度,可对图象进行不同层次的分割。大的联结强度使得图象被分为一个 或几个部分,较小的联结强度使得图象被分成多个部分,非常小的联结强度使得图象被分为许多部分。 有此可见,使用大的联结强度,可得到图象的轮廓;使用小的联结强度,可得到图象的细节。这是一 种新的图象分割方法,不同于小波变换等其它方法。采用 PCNN 进行图象分割完全依赖于图象的自然
电路与系统学报 第 6 卷 48 属性,不用预先选择处理的空间范围,这是一种更自然的方式。 4.2 图象平滑[23] 用于图象平滑时,每个象素对应一个神经元,神经元间无联接。记下每个象素在包括自身与紧邻 的 8 个象素的区域内的点火次序,若先点火,则其亮度大;若后点火,则其亮度小。亮度大的象素, 则其亮度减少一点;亮度小的象素,则其亮度增加一点。这样重复数次后,就能有效的平滑图象,同 时,很好地保留了图象的边缘及主要的信息。 4.3 图象的边缘检测[30] 先对图象进行分割,然后在此基础上就可提取图象的边缘。 4.4 图象识别及运动目标检测 PCNN 用于图象识别时,每个象素对应一个神经元,每个神经元与邻近的神经元联接;记下每次 迭代过程中整幅图象中点火的神经元数,这样经过一定的迭代次数后,就的到得到了一个反映了待识 别图象特征的序列,从而可利用这序列进行图象识别。 利用一定条件下,PCNN 对图象的处理结果具有旋转不变性、强度不变性、尺度不变性、扭曲不 变性的特性,可进行运动目标检测[32]。 4.5 最优路径求解及通讯中的路由选择 利用 PCNN 的脉冲波传播特性,可进行路径最优化,从而可用PCNN 解决 TSP 及通讯中的路由选 择等问题。1999 年,Izhikevich 指出[28],在一定条件下,PCNN 脉冲发放的频率并不携带信息,而是 相位携带信息,这样,频率就可认为是传输通道的标识,从而可考虑将其用于通讯中的路由选择。 4.6 通信中的同步 PCNN 具有发放同步脉冲的特性,可考虑用其解决通信中的同步问题。 关于 PCNN 在实际中的应用,国外文献给出了一些例子,这些例子很多是图象处理、图象识别方 面的。如 PCNN 在医疗中的 X 片处理[34]、视网膜图象处理[1]、军事中的沙地上坦克目标的捕捉[22]、提 高监视器的性能中的具体应用[24,25,26]。 PCNN 可通过硬件或软件来实现。国外的研究者们提出了一些用集成电路来实现 PCNN 的方案 [29,35,38],为了便于用大规模集成电路实现,其中一些方案对本文中的 PCNN 模型进行了修改或简化。 第一个用硬件实现的 PCNN 是 1993 年由 J.L.John 与 D.Ritter 设计完成的一个光电系统[8]。1994 年, J.L.John 设计完成了神经元 1×8 联接的最大脉冲发放频率为 1MHz 的 PCNN 集成电路片[27]。1996 年, John Hopkins 大学与美国军方合作,共同开发最大脉冲发放频率为 2MHz 的 PCNN 集成芯片。目前, 国外一些机构继续进行着这一方面的开发。随着 PCNN 理论研究的深入,相信会有更多的机构加入到 用大规模集成电路实现 PCNN 的研究中来。当用软件实现 PCNN 时,虽然在速度等方面不及用硬件实 现的 PCNN,但易于实现,且作为有生物学依据的算法,有广阔的的实际应用前景,如在图象处理中, 国外的研究已表明了这一点。 5 结论与展望 本文介绍了一种国外正在引起人们注意的新的人工神经网络——脉冲藕合神经网络(PCNN),对 其摸型进行了讨论,同时总结了其特性及在图象处理、图象识别、运动目标识别、通讯、决策优化等 方面应用。 目前,国外对 PCNN 的理论研究还不够深入,国内除了我们于 2001 年 4 月撰写的用 PCNN 进行二 值图象恢复的论文[42]外,还未发现有关的研究报告及论文。国外初步的研究表明,PCNN 具有广阔的 应用前进景。我们认为,PCNN 的研究今后将集中在以下四个方面: 1. PCNN 的理论研究,这是其应用的基础;
第 3 期 顾晓东等:PCNN 的原理及其应用 49 2. 将 PCNN 运用到实际中,拓展 PCNN 的应用范围; 3. 探讨 PCNN 中参数的选取对处理结果的影响; 4. 用大规模集成电路实现 PCNN。 随着对有生物学依据的 PCNN 研究的深入,PCNN 将可能得到广泛的应用,同时还可能加深对人 的意识产生的了解。 参考文献: [1] Hodgkin A L and Huxley A F.A quantitative description of new membrane current and its application to condition and excitation in nerve[J]. J. Physiol., 1952,117:500-544 [2] Eckhorn R, Reitboeck H J, Arndt M, and Dicke PW.A neural network for future linking via synchronous activity: Results from cat visual cortex and from simulations[A]. In: Cotterill R M J, Ed. models of Brain Function[C], Cambridge, UK: Cambridge Uinv.Press, 1989, 255-272 [3] Gray C M and singer W. Stimulus-specific neuronal oscillations in the orientation columns of cat visual cortex[J]. Proc, Nat. Academy Sci., 1989, 86(5):1699-1702 [4] Eckhorn R, Reitboeck H J, Arndt M et al. Feature linking via synchronization among distributed assemblies: Simulation of results [5] from cat cortex[J]. Neural Comput., 1990, 2(3): 293-307 Jreitboeck H, Eckhorn R, Arndt M et al. A model of feature linking via correlated neural activity[A]. In: Haken H, Ed. Synergetics of Cognition[C]. New York: Springer-Verlag, 1989, 112-125, [6] Ranganath H S, Kuntimad G, and Johnson J L. Pulse coupled neural networks for image processing[A]. In: Proc. 1995 IEEE Southeast [7] Con.[C], Raleigh NC, 1995, 37-43 Johnson J L, Ranganath H, Kuntimad G et al .Pulse coupled neural networks[J]. In: Omidvar O and Dayhoff J, Ed. Neural Networks and Pattern Recognition[C]. San Diego, CA: Academicpp, 1998, 1-56 John J L, Ritter D. Observation of periodic waves in a Pulse-coupled neural network[J]. Opt. Lett., 1993,18(15):1253-1255 [8] [9] Kreiter A K, Singer W. Oscillatory neuronal responses in the visual cortex of the awake macaque monkey[J]. European J. Neurosci., 1992,4, 369-375 [10] Eckhorn R, Frien A, Bauer R et al. High frequency oscillations in primary visual cortex of awake monkey[J]. NeuroRep.,1993, 4(3):243-246 [11] Frien A, Eckhorn R, Bauer R, Woelbern T et al. Stimulus-specific fast oscillations at zero phase between visual areas V1 and V2 of awake monkey[J]. Neuro Rep., 1994, 5(17):2273-2277 [12] Frien A, Eckhorn R, Bauer R, Woelbern T. Oscillatory group activity reveals sharper orientation tuning than conventional measure in primary visual cortex of awake monkey[J]. Soc.Neurosci.,1995, Abstract. [13].Broussard R P, Rogers S K, Oxley M E et al. Physologically Motivated Image Fusion for Object Detection using a Pulse Coupled Neural Network[J]. IEEE Trans. Neural Networks, 1999,10(3):554-563 [14] X Liu and Wang D L. Range image segmentation using a relaxation oscillator networks [J]. IEEE Trans. Neural Networks, 1999, 10 (3): 564-573 [15] Jcaufield H and Kinser J M. Finding shortest path in the shortest time using PCNN’s[J]. IEEE Trans. Neural Networks, 1999, 10(3): 604-606 [16] Ranganath H S and Kuntimad G. Object detection using pulse coupled neural networks [J]. IEEE Trans. Neural Networks, 1999, 10 (3): 615-620 [17] Kinser J M. Foveation by a Pulse-Coupled Neural Network[J]. IEEE Trans. Neural Networks, 1999, 10(3):621-625 [18] DeLiang L Wang. On connectedness: A solution based on oscillatory correlation[J] .IEEE Trans. Neural Networks , 2000,12(1):181-194 [19] Derek M Wells. Solving degenerate Optimization problems using networks of neural oscillators[J]. Neural networks, 1992,5(6):949-959 [20] Koch K, Segev I, Eds. Methods in Neuronal Modeling: From Synapses to Networks[M]. Cambridge, MA:MIT Press, 1989 [21] Dicke P W. Simulation dymanischer Merkmalskopplungen in einem neuronalen Netzwerkmodell[D]. Ph.D. dissertation, philipps Univ., Marburg, Germany,1992. [22] Johnson J L, Padgett M L, and Friday W O. Mutiscale image factorization[A]. In: Proc. IEEE Im.Conf. Neural networks [C], San Diego, CA, 1996, 690-693 [23] Ranganath H, Kuntimad G, Johnson J L. A neural network for image understanding[A]. In: Fiesler E and Beale R, Eds. handbook of Neural Computation[C]. Oxford ,UK: Oxford Univ. Press, G1.6.1-G1.6.6,1997. [24] Padgett.L., Johnson J L. Pulse coupled neural networks: Biosensors applications [A]. In: Proc. Int. Conf. NN. IEEE-ICNN’97[C], Houston TX, 1997-06, 2507-2512. Invited paper. [25] Padgett M L, Roppel T A, Johnson J L. Pulse coupled neural networks and new approaches to biosensor applications [A]. Proc. SPIE[C], 1998, 3390:79-88
电路与系统学报 第 6 卷 50 [26] Padgett, Mary Lou. Pulse coupled neural networks (PCNN), wavelets and radial basis functions: Olfactory sensor applications[J]. IEEE-IJCNN, 1998:1784-1789 [27] Johnson J L. Pulse-coupled neural networks, Adaptive Comput.: Math., Electron., Opt., SPIE[J]. Crit.Rev., 1994(CR55): 47-76 [28] Izhikevich E, Weakly M, pulse-coupled oscillators. FM interactions, synchronization, and oscillatory associative memory[J]. 1999, 10(3):508-526 [29] Ota Y, Wilamowski B M. Analog implementation of pulse-coupled neural networks [J]. IEEE Trans. Neural Networks, 1999, 10(3):539-543 [30] Johnson J L, Padgett M L. PCNN Models and Applications[J]. IEEE Trans. Neural Networks, 1999, 10(3):480-498. [31] Eckhorn P. Neural mechanisms of scene segmentation: Recording from the visual cortex suggest basic circuits or linking field models[J], IEEE Trans. Neural Networks, 1999,10(3):464-479 [32].Johnson J L. Pulse-coupled neural nets: translation, rotation, scale, distortion and intensity signal invariance for images[J]. Appl.Opt ., 1994, 33(26):6239-6253 [33] Izhikevich. E M. Class I neural excitability, conventional synapses, weakly connected networks, and mathematical foundations of pulse coupled models[J]. IEEE Trans. Neural Networks, 1999,10(3): 499-507. [34] Lindblad T, Lindsey C S, Padgett M l. et al. Digital X-ray image processing using biologically inspired methods[A]. Proc. IEEE IJCNN’98[C]. 1998, 803-806 [35] Frank C, Hartmann G, ahnke A J, Schafer M. An accelerator for neural networks: With pulse-coupled model neurons[J]. IEEE Trans. Neural Networks, 1999, 10(3):527-538. [36] Karvonen J. A simplified pulse-coupled neural network based sea-ice classifier with graphical interactive training .Geoscience and Remote Sensing Symposium 2000[A]. Proceedings. IGARSS 2000. IEEE 2000 International[C] , 2000, 2: 681 -684 [37] Banish M. Medical image and information processor[R]. Performer: SY Technology, Inc., Huntsville, AL. Dec 1999.P38. AFRLDE-TR-1999-1032 [38] Waldemark J, Millberg M, Lindblad T, Waldemark K, Becanovic V. Implementation of a pulse coupled neural network in FPGA[J]. Int.J Neural Syst., 2000,10(3):171-177 [39] Rughooputh, Soonil DDV, Somanah, Radhakhrishna, Rughooputh, Harry CS. Classification of optical galaxies using a PCNN[A]. PROC SPIE INT SOC OPT ENG, SPIE[C], BELLINGHAM, WA, (USA), 2000, 3962:138-147, [40] Skourikhine, Alexei N, Prasad, Lakshman, Schlei, Bernd R.Neural network for image segmentation[A]. PROC SPIE INT SOC OPT ENG, SOCIETY OF PHOTO-OPTICAL INSTRUMENTATION ENGINEERS[C]. BELLINGHAM, WA, (USA), 2000, 4120: 28-35 [41] Allen, Frank T, Kinser, Jason M, Caulfield, John H. Neural bridge from syntactic to statistical pattern recognition[J]. Neural Networks. 1999,12(3): 519-526 [42] Gu Xiaodong, Wang Haiming, Yu Daoheng. Binary image restoration using pulse coupled neural network[A]. 8th International Conference on Neural Information Processing, ICONIP-2001[C], to be published. 作者简介: 顾晓东(1970-)男,北京大学电子学系博士研究生,从事信号与信息处理、通信、人工神经网络等领域 的研究;余道衡(1939-)男,北京大学电子学系教授,博士生导师,中国电子学会会士,IEEE 高级会员,从事电路 与系统、信号与信息处理、 现代通信等领域的教学与科研工作。 PCNN’s Principles and Applications GU Xiao-dong; YU Dao-heng (Department of Electronics ,Nat. Lab. of Machine Perception and Center of Infor. Sci., Peking University, Beijing 100871, China) Abstract:A new artificial neural network— PCNN(Pulse Coupled Neural Network),which is based on the principle of biology, is reviewed. Models and principles of PCNN are described. Its characteristics are also analyzed. PCNN has many applications in the fields of image processing, image recognition, moving object recognition, communication, and optimization. At last, emphases of PCNN’s future research are forecasted. Key words: PCNN; PCNN Models; PCNN Characteristics; PCNN Applications
分享到:
收藏