52, 030005(2015) 激光与光电子学进展 Laser & Optoelectronics Progress ©2015《中国激光》杂志社 光电储备池计算系统研究进展 包秀荣 内蒙古师范大学物理与电子信息学院, 内蒙古 呼和浩特 010022 摘要 储备池计算是一种高效处理时间信号的仿生学研究方法。储备池计算的框架是由非线性周期性动力系统加 上输入层和输出层构成。储备池计算有很多种可能的实现方法。主要介绍的是基于单个非线性节点加延迟反馈线 体系结构的光电储备池。介绍了储备池工作原理和光电储备池模型，以及模拟输入端和模拟输出端的最新研究进 展，论述了其未来的研究趋势。 关键词 光电子学; 储备池计算; 光电储备池; 非线性; 延迟反馈; 输入; 输出 中途分类号 TN249 doi: 10.3788/LOP52.030005 文献标识码 A Research Progress in Optoelectronic Reservoir Computing System Bao Xiurong College of Physical and Electronic Information, Inner Mongolia Normal University, Hohhot, Inner Mongolia 010022, China Abstract The reservoir computing is an efficient method of bionics research for processing time signal. The framework of reservoir computing is consists of nonlinear periodic dynamic system, the input layer and the output layer. There are many kinds of possible implementation methods for reservoir computing. The optoelectronic reservoir based on a single nonlinear node plus delay feedback line is introduced mainly. The working principle of reservoir, the model of optoelectronic reservoir and the latest research progress of analog input layer and analog output layer are introduced, the future research trend of optoelectronic reservoir is discussed. Key words optoelectronics; reservoir computing; optoelectronic reservoir; nonlinear; delay feedback; input; output OCIS codes 070.4560; 140.1540; 200.4700; 250.4390 1 引 言 光信息处理自 20 世纪 70 年代开始研究，但由于功耗、体积和扩展等问题，在 20 世纪 80 年代时对光信息 处理的研究处于停滞状态。尽管如此，近几年随着光子技术和量子计算的不断发展，光信息处理又得到了 广泛而深入的研究，光在超高速计算中的潜在作用又得以发挥[1]。 受到大脑处理信息方式的启发，一种新颖的计算概念，即神经科学、神经网络概念被提出。神经网络因 具有良好的非线性映射能力、自学习适应能力和并行信息处理能力，在机器学习领域得到了广泛而深入的 研究。但是神经网络在具体应用中存在一些局限性。递归神经网络在实际应用中训练连接权值较难实现 且收敛速度慢，还存在记忆渐消问题。为了克服递归神经网络的这些问题，Jeager 于 2001 年提出的回声状 态网络(ESN)和 Maass 于 2002 年提出的液体状态机(LSM)都是对传统递归神经网络训练算法的一种改进， 两种方法虽然提出的角度不同，但本质上是相同的，统称为储备池计算 [2]。储备池计算受益于递归神经网 络，又避免了其训练难的问题 [3-4]。储备池计算作为一种新的机器学习方法，因其独特的动态储备池结构和 简单的学习算法，而在时间序列预测、模式分类、语音识别、非线性系统建模、辨识及控制等诸多领域获得了 成功应用。 收稿日期: 2014-09-01; 收到修改稿日期: 2014-10-13; 网络出版日期: 2015-01-23 作者简介: 包秀荣(1980—)，女，硕士，讲师，主要从事光通信、光计算等方面的研究。E-mail: bxr@imnu.edu.cn 本文电子版彩色效果请详见中国光学期刊网 www.opticsjournal.net 030005-1 

52, 030005(2015) 2 工作原理 激光与光电子学进展 www.opticsjournal.net 储备池由成百上千个稀疏连接的非线性节点构成，其网络结构如图 1 所示。输入信号分别乘以随机权 进行 jk lm 后输入到储备池的各个节点；储备池的响应，即各个节点对输入信号的响应被测出后用系数 w r 值 w i 加权求和后得到输出信号。储备池训练过程中只需训练输出端的权值，其他权值都是随机固定的，所以储 备池训练过程简单了很多。 经典储备池是大量的非线性节点相互连接的网络，在实验中实现较为困难。基于耦合半导体光放大器(SOA) 的全光储备池被提出并进行了模拟仿真[5-6]。然而考虑到储备池的物理复杂性，用大量节点实现的方法对硬件 技术要求较高，可以采用单个非线性节点加延迟反馈线代替多节点网络来解决[7]。众所周知，非线性延迟动力 系统是高维的且有短期记忆属性的，这些特征恰好满足构建动态储备池的要求。尽管这种延迟非线性动力系 统结构简单，但是和经典储备池一样能完成复杂的分类和非线性任务。用非线性节点和延迟反馈代替复杂的 网络，如图 2 所示[8]，图中 f(x)表示非线性函数，h(t)表示系统脉冲响应。网络节点分布在延迟反馈线上，输入数 据通过时分复用输入到储备池。这种系统结构方案的最大优点是简化了储备池的硬件实现。 图 1 经典储备池网络结构示意图 图 2 非线性节点加延迟反馈结构示意图 Fig.1 Diagram of classical reservoir network structure Fig.2 Diagram of nonlinear node plus feedback structure 2010 年 1 月欧盟第七届科技框架计划出巨资资助非线性系统用于储备池计算的研究。2011 年 9 月，该 项目组利用经典的 Mackey-Glass 混沌电路作为单个非线性节点实现储备池计算 [9]。2012 年 1 月，法国弗朗 什孔岱大学等单位报道了光电储备池计算的实验结果。相比于混沌电路，大大提高了信息处理的速度和容 量 [8]。光电储备池的实现将储备池的概念从电域转移到了光域。本文主要介绍单个非线性光电器件带延迟 反馈的光电储备池。 3 光电储备池模型研究 光电储备池设计方案最初是为了研究光混沌而提出的，称为 Ikeda 环腔，改进后成功的应用在宽带混沌 光通信中 [10]。光电储备池是一个硬件简单、效率高的光电动力系统，原理模型如图 3 所示 [11]，图中红色为光 sin2 器件，绿色为电器件。光电储备池由几个关键的器件组成，模型中采用标准通信波长分布反馈式激光器(波 长为 1550 nm)。集成的铌酸锂马赫-曾德尔(M-Z)调制器提供储备池的一个光电非线性调制传递函数( 函数)。利用光纤传输实现延迟反馈回路。光电二极管(PD)将探测光信号变成电信号。电反馈回路闭合了 非线性延迟循环，连接其输出到马赫-曾德尔调制器的输入电极端。这条回路将输入信号和延迟信号加到 一起放大后驱动马赫-曾德尔调制器，使系统工作在非线性工作点上[12-13]。 实验装置中直接提供了几个关键参数，来调节系统的非线性动态特性。这些关键参数分别是输入增益 图 3 光电储备池模型 Fig.3 Optoelectronic reservoir model 图 4 分岔图 Fig.4 Bifurcation diagram 030005- 2 

52, 030005(2015) www.opticsjournal.net α 、非线性反馈增益 β 和马赫-曾德尔调制器的偏置 ϕ0 。输入增益 α 由激光器控制，反馈增益 β 由光衰减 器控制，偏置 ϕ0 是马赫-曾德尔调制器的输入直流偏置。没有输入信号时，系统工作在稳定的工作点上，保 证系统对相同的输入有相同的响应。 激光与光电子学进展 反馈回路信号可表示为 (1) 式 中 x(t) 表 示 反 馈 回 路 上 的 信 号 ，T 为 系 统 震 荡 的 循 环 时 间 ，s(t) 是 输 入 信 号 ，ϕ0 和 ϕ 的 关 系 是 ϕ0 ϕ 。图 4 是非线性动态方程中没有输入信号时的分岔图[14-16]。 = 3π 4 + βx αs T t x t t ] ϕ ， ( )= sin[ ( - )+ ( )+ 对储备池计算系统的工作要求目前还比较模糊。可以确定的是首先要求系统具有渐退的记忆力，输出 信号不仅与当时的输入信号有关，还与一定时间前的输入信号有关，即需要具有一定的记忆能力。要有从 低维空间到高维空间的信息映射能力，尽量打破系统的对称性。方程中有很多参数，这些参数决定系统的 动力特性，参数的设定并没有理论依据。因此，最优的储备池计算应该是和具体问题相关的。 此外，对光电储备池结构也进行了很多成功的改进尝试。2012 年 2 月，Paquot 等[12]在上述光电储备池的 基础上对系统延迟时间和输入信号采样周期进行异步设置，延迟时间比输入信号采样周期稍大一些，结果 发现与同步设置相比，有些应用结果的错误率小了一个数量级。2012 年 9 月比利时法语布鲁塞尔自由大学 利用半导体光放大器的非线性实现了全光储备池计算。信息处理速度得到了提高，但与光电储备池计算系 统相比，其记忆能力和信道均衡能力都有所下降，这是由于半导体光放大器的自发辐射噪声引起的[17]。 4 储备池计算系统的输入层和输出层 如果对输入信号没有进行任何预处理就输入到储备池中，储备池的所有状态都是一样的，系统就变成 了一维系统。为了让系统具有储备池计算能力，需要保证储备池状态是输入信号的多维函数，所以用模板 M 乘以输入信号后输入到储备池中，以打破系统的对称性。图 2 中的矩阵 [ 指的就是模板 M。模板 M 是 个周期性的随机信号，用硬件来实现比较困难。文献[8]指出，线下在计算机中将输入信号和模板 M 相乘后 的数据存到任意波形发生器(AWG)中，再输入到储备池，如图 3 所示。为了能实时处理信号，最好能设计出 实时模拟输入端，采用正弦曲线代替模板 M，设计出模拟输入电路，如图 5 所示。文献[18]指出，对正弦信号 进行每周期内六值抽样后与输入信号进行相乘，用输入信号预处理的结果得出的均方误差比用随机产生的 模板 M 方法的均方误差要低。2012 年 9 月，Duport 等 [17]给出了全光输入层，利用马赫-曾德尔调制器，实现 了输入信号和模板相乘功能。输入层将以更高速，更具有实时性为研究目标。 ]w i lm 储备池计算的输出信号是多维储备池状态信号的线性组合，可表示为 )=∑ N ( y n ( ) , W x i i n = 0 i (2) 式中 y(n)为输出信号，xi(n)为储备池状态信号，N 为储备池节点个数，Wi 为系统唯一要进行训练的参量，即 输出权值。输出权值一般用脊回归算法进行训练，使输出值尽可能的接近期望输出值[19]。 图 3 中将光电储备池状态通过光电二极管转换成电信号，存储到数字示波器里。线下再转存到计算机 里对输出权值进行训练或计算输出值。这严重影响了系统信息处理速度。2013 年文献[20]报道了能实时处 理 信 号 的 模 拟 输 出 层 ，模 拟 输 出 层 如 图 6 所 示 。 图 中 将 储 备 池 状 态 信 号 注 入 到 马 赫-曾 德 尔 调 制 器 ，利 用 AWG 里储存的相关输出权值信号驱动调制器，调制器输出端根据驱动信号把输入的光强信号分成两个光 强信号，在差分光电二极管里相减。这样做的目的是保证输出权值中既有正值又有负值。最后相乘的数据 图 5 模拟输入层示意图 Fig.5 Diagram of analog input layer 图 6 模拟输出层示意图 Fig.6 Diagram of analog output layer 030005- 3 

52, 030005(2015) www.opticsjournal.net 通过相移(RC)电路积分求和，得出输出值。该设计方案在信道均衡里得到较好的效果，特别是实时信号处 理速度比电储备池的提高了 5 个数量级，但是输出权值的训练过程还是要在线下完成的。 激光与光电子学进展 5 结 论 光 电 储 备 池 计 算 是 高 速 信 息 处 理 系 统 ，主 要 应 用 在 时 间 序 列 的 预 测 、非 线 性 信 道 均 衡 、语 音 识 别 等 领 域。现今成功研究出其模拟输入层和模拟输出层，并得到了验证，使光电储备池计算研究走出实验室成为 可能。但是其发展也不断面临着新的研究挑战。 储备池的适应性问题是最具挑战性的课题。由于储备池生成的随机性，从本质上说明了储备池模型是 一种与问题无关的计算方法。对光电储备池来说，如果能够根据具体问题确定光电储备池的一系列参数， 那么对光电储备池计算性能的提高将是革命性的。光电储备池实现方案要以超高速、超低功耗化，以及输 入层和输出层的改进问题为主。使光电储备池计算在未来的光子计算机、智能信息处理等领域具有重要的 应用前景。这些问题的研究和解决有助于推动光电储备池计算的快速发展，并能促进光子计算机的研究和 光信息处理的发展。 1 H J Caulfield, S Dolev. Why future supercomputing requires optics[J]. Nat Photonics, 2010, 4(5): 261-263. 2 Ma Tao. Study on Echo State Network with the Simplest Reservoir and its Application[D]. Lanzhou: Lanzhou University, 参 考 文 献 2013. 马 涛. 最简储备池回声状态网络及其应用研究[D]. 兰州: 兰州大学, 2013. 3 Luo Xiong, Li Jiang, Sun Zengqi. Review on echo state networks[J]. Journal of Beijing University of Science and Technology, 2012, 34(2): 217-222. 罗 雄, 黎 江, 孙增圻. 回声状态网络的研究进展[J]. 北京科技大学学报, 2012, 34(2): 217-222. 4 Peng Yu, Wang Jianmin, Peng Xiyuan. Survey on reservoir computing[J]. Acta Electronica Sinica, 2011, 39(10): 2387-2396. 彭 宇, 王建民, 彭喜元. 储备池计算概述[J]. 电子学报, 2011, 39(10): 2387-2396. 5 K Vandoorne, M Fiers, D Verstraeten, et al.. Optical signal processing with a network of semiconductor optical amplifiers in the context of photonic reservoir computing[C]. SPIE, 2011, 7942: 79420P. 6 M R Salehi, E Abiri, L Dehyadegari. An analytical approach to photonic reservoir computing-a network of SOA′s-for noisy speech recognition[J]. Opt Commun, 2013, 306: 135-139. 7 M Lukosevicius, H Jeager. Reservoir computing approaches to recurrent neural network training[J]. Computer Science Review, 2009, 3(3): 127-149. 8 L Larger, M C Soriano, D Brunner. Photonic information processing beyond Turing: An optoelectronic implementation of reservoir computing[J]. Opt Express, 2012, 20(3): 3241-3249. 9 L Appeltant, M C Soriano, G Van der Sande, et al.. Information processing using a single dynamical node as complex system[J]. Nat Commun, 2011, 2: 468. 10 L Larger. Complexity in electro-optic delay dynamics: Modeling, design and applications[J]. Philosophical Transactions of the Royal Society A: Mmathematical Physical and Engineering Sciences, 2013, 371(1999): 20120464. 11 F Duport, A Smerieri, Y Paquot, et al.. Recent advances in optical reservoir computing[C]. 2013 IEEE International Symposium on, 2013. 333-336. 12 Y Paquot, F Duport, A Smerieri, et al.. Optoelectronic reservoir computing[J]. Scientific Reports, 2012, 2: 287. 13 D Brunner, M C Soriano, C R Mirasso, et al.. Parallel photonic information processing at gigabyte per second data rates using transient states[J]. Nat Commun, 2013, 4: 1364. 14 Y C Kouomou, P Colet, L Larger, et al.. Chaotic breathers in delayed electro-optical systems[J]. Phys Rev Lett, 2005, 95 (20): 203903. 15 M Peil, M Jacquot, Y K Chembo, et al.. Routes to chaos and multiple time scale dynamics in broadband bandpass nonlinear delay electro-optic oscillators[J]. Phys Rev. E, 2009, 79(2): 026208. 16 L Larger, P A Lacourt, S Poinsot, et al.. From flow to map in experimental high- dimensional electro- optic nonlinear delay oscillator[J]. Phys Rev Lett, 2005, 95(4): 043903. 17 F Duport, B Schneider, A Smerieri, et al.. All-optical reservoir computing[J]. Opt Express, 2012, 20(20): 22783-22795. 030005- 4 

52, 030005(2015) 激光与光电子学进展 www.opticsjournal.net 18 M C Soriano, S Ortin, D Brunner, et al.. Optoelectronic reservoir computing: Tackling noise- induced performance degradation[J]. Opt Express, 2013, 21(1): 12-20. 19 A Goudarzi, P Banda, M R Lakin, et al.. A comparative study of reservoir computing for temporal signal processing[J]. arXiv preprint arXiv:1401.2224 (2014). 20 A Smerieri, F Duport, Y Paquot. Analog readout for optical reservoir computers[C]. Adances in Neural Information Processing Systems, 2012, 2: 944-952. 栏目编辑：苏 芩 030005- 5