中国科技论文在线 http://www.paper.edu.cn 一种基于 AWGR 的全光数据中心网络架构 设计 雷超兵，孙咏梅** 5 10 （北京邮电大学信息与通信工程学院，北京 100876） 摘要：云计算的兴起与广泛应用使得数据中心内部流量持续增长，数据中心内部流量的分布 也发生了巨大变化。数据中心网络正面临着一系列的挑战。传统的电分组交换数据中心网络 带宽有限，布线复杂，能耗过高，已不能满足数据中心内部网络对带宽增长的需求。而光网 络与生俱来的高带宽，低时延，低能耗等天然优势是解决当前数据中心网络面临挑战的最有 前景的方向。本文将提出一种基于 AWGR 的全光数据中心网络，并通过仿真实验来验证网 络性能，仿真结果显示其在性能时延、吞吐、能耗等方面都要优于 Fat Tree。 关键词：通信网络技术；云数据中心；网络拓扑结构；全光网络； 中图分类号：TP393 15 An AWGR Based All Optical Intra-Data Center Network Architecture LeiChaobing, Sun Yongmei 20 25 30 (School of Information and Communication Engineering, Beijing University of Posts and Telecommunications, Beijing 100876) Abstract: The widely use of cloud computing is promoting the data center traffic growth, and the distribution of traffic within the data center has undergone tremendous changes, which has brought a lot of challenge to the traditional data center network. Traditional electric packet switched data center network bandwidth is limited. It has complex wirings and its energy consumption is too high. It can't meet the need of the rapid growth of the internal flow in data center. While optical network with he natural advantages of high bandwidth, low latency and low energy consumption is the promising prospect for the data center network.We build an AWGR based all-optical intra-data center network and simulate to verify this network’s performance. The result shows that this network is better than fat-tree network both in throughput, latency and energy efficiency. Key words: Communication and information system; Cloud data center; network topology; All-optical networks; 0 引言 35 随着云计算技术的成熟，云服务逐渐成为互联网服务的主流。云数据中心作为云服务的 重要载体和基础设施，在规模和数量上都在持续、快速的增长。数据中心流量更是以每年 25%的速度持续上升[1]。与此同时，作为实现云服务的信息基础设施——云数据中心却面临 着一系列的难题，其中最主要的挑战就是云数据中心网络带宽容量、能量消耗及传输距离等 技术瓶颈[2]。 作者简介：雷超兵(1990-)，男，硕士研究生，主要研究方向：数据中心光网络 通信联系人：孙咏梅（1971-），女，博士，副教授，博士生导师。目前研究方向为宽带网络与信息处理。 曾在日本 NTT 未来网络研究所工作，长期从事光通信、数据网与光网融合、物联网等方面的研究工作，作 为负责人和主研人先后承担和参加了多项国家 863 计划、973 计划和自然科学基金等科研项目，在《IEEE Communication Magazine》、《IEICE Transactions on Communications》等学术刊物和会议上发表论文 30 余 篇，获得国家发明专利 2 项，信息产业部科学技术进步奖二等奖 1 次，合作出版教材 1 部. E-mail: ymsun@bupt.edu.cn - 1 - 

中国科技论文在线 http://www.paper.edu.cn 40 面对这些难题，国内外专家学者纷纷进入探讨，由于光交换在带宽和能耗方面的强大优 势，面向数据中心的光互联网络已经在国际上得到了学术界和工业界的广泛重视和深入研 究。文献[3,4,5,6]都是基于光网络或者基于光电混合网络的网络架构，他们在某种意义上来 说，对传统的数据中心网络都有一定的改进，但同时它们各自都存在一定的局限性。为此， 迫切需要探索和研究一种同时具有高可扩展、高灵活度、高可靠和高能效等特性的数据中心 45 光网络架构。 毫无疑问，光网络与生俱来的丰富带宽和超低能耗使其被认为是解决当前数据中心面临 挑战的最有前景的解决方案。AWGR（Arrayed Waveguide Grating Router）具有丰富的带宽 资源，同时作为一种光无源器件，不需要开关时间更没有能耗，是构建数据中心光网络的理 想器件。本文中我们将利用光网络的巨大带宽容量，AWGR 的超低时延，提出一种基于 50 AWGR 的模块化光互联数据中心网络。 1 光器件介绍 1.1 阵列波导光栅路由器（AWGR） 阵列波导光栅--AWG（Arrayed Waveguide Grating）是一种光无源器件，其工作原理是 基于马赫-曾德尔干涉仪，即两个相干单色光经过不同的光程后，输出端口与波长有一一对 应的关系，即由不同波长组成的光束经过阵列波导光栅之后，会出现在不同的出口上[7]。阵 55 列波导光栅的优点明显，一方面，它是光无源器件，能耗低；另一方面，它的插入损耗小于 3dB，而且有平坦的频率响应。阵列波导光栅自身可以构成复用器\解复用器，而将一定数量 的阵列波导光栅按一定的规则排列可以构成阵列波导光栅路由器--AWGR。阵列波导光栅路 由器是本文将要讲述的一种模块化数据中心网络架构的核心器件，并把它作为模块化的基本 60 单元。 相对于其他光器件，阵列波导光栅路由器具有一系列独特的优点：首先在能耗上占有相 对的优势，因为它不需要驱动；其次，在时间上也是不需要开光时间的；再次，它具有灵活 的路由结构，可以实现从任意输入端到任意输出端的无阻塞交换；最后，AWGR 具有巨大 的交换容量，单个 AWGR 节点就能完成 M*N 个波长的交换，其中 M、N 分别为它的端口 65 数和波长数。 1.2 半导体光放大器（SOA） 半导体光放大器的工作原理其实和半导体激光器工作原理相同，都是利用半导体能级间 受激跃迁而出现粒子数反转的现象进行光放大。半导体光放大器有两种，一种是直接将通常 的半导体激光器当作光放大器使用，称作 F-P 半导体激光放大器（FPA），另一种是在 F-P 70 激光器的两个端面上加上反射膜，消除两端的反射，以获得高频带、高输出、低噪声。由于 受激跃迁需要满足一定的能量关系，因此半导体光放大器除了作为放大器以外，还可以作为 光开关和波长变换器。本文是将半导体激光放大器用做波长选择器，通过相应的控制单元来 控制半导体光放大器，使得某些波长的光波能够通过并放大，而其它波长的光波被屏蔽掉。 半导体光放大器的转换时间是纳秒级，并且能够将通过的光束放大，而且能量转换效率高， 75 因此，可以将其作为开关用于辅助完成数据中心网络中的路由功能。 2 网络结构 和传统的基于树状的层次化的数据中心网络架构不同，文中将要讲述的是一种基于模块 - 2 - 

中国科技论文在线 http://www.paper.edu.cn 的扁平化的数据中心网络架构。如图 1 所示，在设计的整个网络中包含 N 个 N*N 端口的 AWGR，每个 AWGR 直接和 N 个光环行器以及 N 个 ToR （Top of Rack，如图 2）相连， 80 组成一个独立模块。图 2 表示的是 ToR 的结构，每个 ToR 包含 m 个服务器、k 个可调激光 器以及一个复用/解复用器。 由于每个 ToR 包含多个可调激光器，因此每个 ToR 可以同时和多个 ToR 交换信息，这 些 ToR 可以是同一个模块内的也可以分属于不同的模块。整个网络的通信模式可以分成两 类，一类是同一模块中的 ToR 之间进行通信，也就是相互通信的两个 ToR 连接在同一个 85 AWGR 上，我们把这种通信模式叫做模块内通信；另一种模式是模块之间的通信，即相互 通信的两个 ToR 分属于不同的 AWGR，我们把这种通信模式叫做模块间通信。模块间的通 信需要借助于光开关进行路由选择，将来自源 AWGR 端的信号送入到目的端 AWGR 模块， 进而进入到目的 ToR 及服务器端。 90 图 1 基于 AWGR 的全光数据中心网络总体架构 Fig. 1 Total proposed all-optical interconnection architecture based on AWGR 之所以将数据中心内部流量分成模块内通信流量和模块间通信流量，是因为云服务数据 中心内部流量在空间上的分布是不对称的。这种不对称性首先表现在云计算作为一种分布式 集群计算技术，集群内部的信息交互流量远大于集群之间的信息交互流量。尤其是在公有云 95 数据中心内部，出于对安全以及管理便捷等方面的考虑，不同企业的计算资源被分配到不同 的集群上，使得集群内部的流量所占比例进一步加大。因此，将同一集群尽量部署到同一 AWGR 构成的模块内部，充分利用 AWGR 的超低时延、无能耗、高带宽、全连通等特点，有望 进一步提高集群内部的交互速度。 另一方面，通过将每个 ToR 内部部署多个可调激光器，能够实现每个 ToR 同时与多个 100 ToR 通信，并且能够实现部分组播及广播功能。比如，在计算过程中，当某些计算节点需要 用到其他节点的资源，或者查找某些数据的备份资源时，为了得到及时的响应，可以同时向 - 3 - 

中国科技论文在线 多个 ToR 发出求助信号。 http://www.paper.edu.cn 105 3 仿真与评估 图 2 ToR 结构 Fig. 2 The construction of ToR 最后，为了对整个网络做出评价，我们通过网络仿真的方式，通过实验得到网络在 各种条件下的性能参数，并将其和 Fat Tree 架构的网络进行比较。 3.1 时延比较 110 图 3 所示的是在网络规模为 32 个 AWGR 组网，每个 AWGR 有 32 个端口的情况下（每 个 TOR 内部有 64 台服务器，因此总共容纳的服务器数量为 32*32*64=65536 台），当每 个 TOR 有不同的可调激光器数量 k 时，其相应的端到端时延与负载的关系曲线。从该图 可知，随着每个 TOR 拥有的可调激光器的数目的增加，端到端的时延会减少，但减少的 幅度在降低，并且当 k=16 后几乎不再降低。同时无论 k 为多少，整个网络的时延都保 115 持在纳秒量级，这要远远少于胖树结构的端到端时延，胖树结构的端到端时延在微秒量 级。整体考虑这个网络的造价以及网络的端到端时延，把可调激光器控制到 4 到 8 是比 较合适的。 3.2 带宽比较 图 4 所示的是在 10GB 的网络带宽的情况下，随着网络负载的增加，基于 AWGR 设计 120 的网络带宽利用率和传统的胖树结构网络带宽利用率的比较曲线。从图中可以看出，当 负载少于百分之五十的时候，两种网络的带宽利用率几乎一致；但是随着网络负载的提 高，胖树结构网络的带宽利用率开始下降，原因是在网络负载大于一半之后，胖树结构 网络开始发生阻塞。 - 4 - 

中国科技论文在线 3.3 能耗比较 http://www.paper.edu.cn 125 图 5 所示的是在文中提出的基于 AWGR 的网络架构和传统的胖树结构网络架构两种 网络架构中，随着数据中心容纳的服务器数量的增多，整个数据中心网络的能量消耗情 况。从图中可以看出，随着数据中心容纳服务器数量的增多，整个网络的能耗在线性增 长，但两种网络增长的速度并不一样，其中胖树结构网络能耗的增长速度大约是基于 AWGR 模块化网络能耗的一倍左右。 130 图 3 平均时延 图 4 平均带宽 图 5 网络能耗 Fig. 3 The average latency Fig. 4 The average bandwidth Fig. 5 The average bandwidth 4 结论 本文给出了一种基于 AWGR 的全光数据中心光网络架构，模块化的设计方式使得模块 135 内的通信和模块间的通信相互独立、互不影响，并且每个 ToR 可以同时和多个 ToR 相互通 信。通过仿真的方式来评价整个网络的性能，并将其与 Fat Tree 结构的数据中心网络进行比 较。可以看出，其性能无论是在平均时延、平均带宽利用率还是在整个网络的能耗上都要比 Fat Tree 优。 [参考文献] (References) 140 145 150 155 [1] Cisco Systems. White Paper, Cisco Global Cloud Index: Forecast and Methodology, 2013-2018[OL]. [2014-11-4]. http://www.cisco.com/ [2] C. Kachris, Konstantinos Kanonakis, and Ioannis Tomkos. Optical Interconnection Networks in Data Centers: Recent Treads and Future Challenges[J]. IEEE Communications Magazine, 2013, 51(9): 39-45. [3] Al-Fares M, Loukissas A, Vahdat A. A scalable,commodity data center network architecture[J]. ACM SIGCOMM Comput, 2008, 38(4): 63-74. [4] G. Wang, D. G. Andersen, M. Kaminsky, K. Papagiannaki, T. E.Ng, M. Kozuch, and M. Ryan. c-Through: Part-time Optics in Data Centers[J]. ACM SIGCOMM Comput, 2010, 40(4): 327-338. [5] N. Farrington, G. Porter, S. Radhakrishnan, H. H. Bazzaz, V. Subramanya,Y. Fainman, G. Papen, and A. Vahdat. Helios: a hybrid electrical optical switch architecture for modular data centers[J]. ACM SIGCOMM Comput, 2010, 40(4): 339-350. [6] Valerija Kamchevska, Ashenafi K. Medhin, Francesco Da Ros, Feihong Ye, Rameez Asif, Anna M. Fagertun, Sarah Ruepp, Michael Berger, Lars Dittmann, Toshio Morioka, Leif K. Oxenløwe and Michael Galili. Experimental Demonstration of Multidimensional Switching Nodes for All-Optical Data Centre Networks[J]. Journal of Lightwave Technology, 2015, 34(8): 1837-1843 [7] 原荣. 光纤通信[M]. 北京:电子工业出版社, 2012. - 5 -