第 10 期 李 涛等: 集群高效通信机制分析 集 群 高 效 通 信 机 制 分 析 * 李 涛, 王 华, 刘培峰, 刘光武, 杨愚鲁 ( 南开 大学 计 算机 科学 与技术 系, 天津 300071) ·752· 摘 要: 集 群是 当今 高性 能计 算领 域的 重要 发展方 向, 随 着 高速 互 联 网 络 硬 件 的发 展 , 低 效 的 通信 方 式 成 为 制 约集 群整 体性 能的关 键因 素。 高效 的通 信机 制能够 更好 地 利 用互 联 网 络 硬件 为 高 性 能 计 算 提 供更 高 性 能 的 通 信支 持, 通信 性能 通常 都远 高于 传统的 IP 协 议。 关键 词: 集 群; 高性 能计 算; 通 信机 制 中图 法分 类号 : TP393. 04 文 章编 号: 1001- 3695( 2005) 10- 0257- 04 文 献标 识码 : A Analysis on High Performance Communication Mechanisms of Cluster System LI Tao, WANG Hua, LIU Pei-feng, LIU Guang-wu, YANG Yu-lu ( Dept. of Computer Science & Technology, Nankai University, Tianjin 300071, China) Abstract: In the high performance computing area, cluster has been playing an increasingly important role. With the develop- ment of high-speed interconnection network, the traditional communication method becomes the main obstacle to the perfor manceof cluster system. This paper discusses several high performance communication mechanisms, which efficiently support high performance computing. Their performances are far better than that of traditional IP protocol. Key words: Cluster; High Performance Computing; Communication Mechanism 在很多科学计算和工程应用领域中, 对计算能力的需求越 来越高, 这在很长一段时间内将依靠并行处理技术来解决。集 群( Cluster) 是由网 络连 接在 一起 的 很多 工作 站 或 PC 机 构 成 的并行 / 分布式 处理系统, 像一个 单独集成的 计算资源一 样工 作, 它充分利用网络 和单机 性能的 优势。集群 具有投 资小, 研 制周期 短, 性能 价格比高, 可扩展 性高, 使 用方便等特 点, 目 前 已经成为高性能计算 领域重 要的发 展方 向 [ 1 ～3] 。互联 网络 硬 件性能的提高直接提高了硬件层通信性能, 然而低效的通信方 式不能充分利用物理网络的通信性能, 已经成为集群通信性能 提高的障碍, 提高集群通信性能已经成为高性能集群计算领域 的研究热点。 1 通信机制的优化技术 当今应用需求对通信性能提出了很高的要求, 随着计算机 软 / 硬件技术的发展, 处理器和 I/ O 的性能有了大幅度提高, 原 始的网络通信带宽已经以指数的速度在增长, 并且可靠性也有 很大提高。因此, 影响集群各节点间通信能力的因素由硬件转 向软件, 特别是通信 软件, 包括协 议结构 和算法 等。通信软 件 的开销通常主宰着集群的通信时间, 主要开销来自以下几个方 面: ①软件需要穿过多个协 议层; ②消 息通信 通常需 要多个 内 存拷贝过程; ③信息传输 过程, 通信软 件需要 多次通 过保护 边 界。另外还受到包括系统提供 的通信 服务和 所支持 的用户 环 境的影响。所以, 精简通 信协议、减少 系统调 用和数 据在内 存 间拷贝产生的开 销是 提 高通 信带 宽、降 低通 信 延迟 的重 要 手 段, 从而减小原始的网络带宽和用户的可用带宽之间的差距。 目前, 对集群 通信 协 议的 研究 主 要集 中于 用 户级 通 信 协 议 [ 2] , 其基本思想是: 网络接口 卡的所 有缓存 和寄存 器都从 内 核空间重映射到用户内存空间, 用户进程不用跨越用户 - 内核 边界就可以驱动 设备, 它 允 许通 信 程序 直接 访 问网 络接 口 硬 件, 消除了操作系统的参与, 尽 可能地 将网络 硬件的 高性能 反 映到用户层。网络接口卡在发 送和接 收数据 时可以 直接访 问 内核级缓存, 用户程序也可 以直接 访问它 们, 避免了 消息的 暂 时缓存, 提高了通信效率。 用户级的轻量级方式是通 过在通 信路径 中减少 操作系 统 的介入来提高性能, 以获得应用程序和通信设备直接更亲密的 结合, 保证了在没有任何系统调用的情况下对网络接口通信缓 存的访问, 在用户级程序库实现。这种方式对操作系统内核的 修改可能从简单的添加定制设备驱动程序, 到复杂的调度器级 别的深入干涉, 这都依赖于需要保护程度以及允许对通信设备 进行多用户访问的程度。 通信状态流水化技术也是一种重要的方法, 即当主机 - 网 络接口卡、DMA 或者程控 I/ O 传输仍在进行的时候, 一些网 络 接口卡可以在物理介质上被编程以流水化的方式传输数据, 其 性能提高在延迟和吞吐量方面都非常显著。另外, 并行多个网 络也是提高合计通信带宽以及减少拥塞最直接的方法, 但不会 减少延迟。 2 几种高效的通信机制 2. 1 用户空间( User Space ) 协议 收稿日期: 2004- 09- 26; 修返日期: 2004- 11- 22 基金项目: 天津市自然科学基金项目( 043600111) 在 IBM SP2 [ 4] 系统中, 节点通过微通道 I/ O 总线连接到 高 性能交换( HPS) 网络上, HPS 支持 科学计 算和 商业 应用、系 统 

·852· 计算机应用研究 2005 年 服务和 I/ O 操作的消 息传 递通 信等, 多 个 任务 可利 用 基于 IP 的协议来共享 HPS, 但一个节点只允许一个任务使用用户空间 ( US) 协议, 因此网络适配器必须在使用 US 协议的单个进程和 使用 IP 的多个进程之间 共享。这样, 对 不需 要高 性能 通信 的 任务使用基于 IP 的协议可获得更好的整个系统使用效率。 IBM SP2 系统通信软件的结构如图 1 所示, 它支持 基于 IP 的内核空间协议和 US 协议。在内核空 间协议 中, 网 络接口 驱 动( NID) 将 IP 与通信适配器连接。基础通信库( BCL) 在此 US 协议中由消息层( ML) 和管道层( PL) 构成, 消 息层由简单 的非 阻塞点对点通信库函数组成, 管道层使用一对管道提供任意发 送和接收进程间的可靠的、具有 流量控 制的、按序传 送的字 节 流。它们具有独立的虚拟交 换接 口( VSI) , VSI 由 节点 系统 内 存中的两个队列和适配器内存中的一些控制寄存器组成, 用来 提供输入 / 输出数据的系统 DMA 缓冲区。 MPL PVM MPI 消息层 管道层 UDP TCP IP 网络接口驱动 虚拟交换接口 虚拟交换接口 通信适配器(Microcode) 图1 用户空间协议 节点处理器执 行计 算 代码, 消 息 层和 管道 层 在协 作 程 序 中, 这些代码都在同一用 户进程 空间中, 因而 没有系 统调用 或 者内核穿越; 所有的 DMA 操 作由 适 配器 启 动和 执行, 所 有 的 数据传输都由 DMA 操 作。 只有 控 制和 状态 信 息在 节点 处 理 器和通信适配器通过之间可编程 I/O 来传送。 US 协议提供保证、按序、可 靠和具有流 量控制的高 性能消 息通信。适配器提供将逻辑进程标志 翻译为物理地址的 功能, 保证了通信在已分配的区域内进行。使用令牌环协议进行流量 控制, 并利用超时和重传机制的确认包来保证消息的可靠传输。 2. 2 活动消息( Active Message) 活动消息( AM) [ 5] 是一 个实 现低开 销通 信 的异 步通 信 机 制, 不依赖于任何硬件或 软件平 台, 其 目标是 提供给 用户底 层 通信硬件原始的通信能力, 减少通信开销对应用程序性能的影 响。AM 库提供编程接口给应用程序, 虚拟网 络段驱 动程序 将 网络接口和通信资源抽象化, 具有在网络接口卡嵌入处理器上 执行协议处理的固件以及处理器和互连硬件实现。 在 AM 系统中, 每条消息由消息体和指向处理该消息 的消 息句柄的指针组成, 消息句柄一般 都是基于 发送方 的。AM 的 基本思想是使用消息头中的控制信息作为消息句柄的指针, 当 消息头到达目的节点时, 激活与每个消息相关的句柄函数。消 息句柄能够从网络中提取数据 并将其 合并到 正在进 行的计 算 中, 而不执行数据计算, 实现了通信和计算的重叠操作, 而且接 收方进程也减弱了消息管理功能。AM 是个单 边通信 范例, 即 不管发送方何时发送一个消息, 不管接收方进程当前正在进行 什么动作, 都要交换 消息, 在 另一 边不 需 要接 收操 作。AM 的 特殊语义可以消除消息在通信路径上对大量暂存的需要, 显著 地加速了通信。 AM 系统完全在用户空间中实现, 消息句 柄通常 为用户 级 子例程, 消除了上下文切 换和穿 越保护 边界的 开销, 不需要 处 理系统调用, 应用程序可直接访问 网络接口 硬件。AM 是在 大 规模并行系统上创建高性能通信协议、运行时环境和消息通信 库的强有力范例。 随着高性能互联网络的发展, AM 在以下 四个方 面作了 改 进 [ 6] : ①修改了 AM 命名和保 护模型, 能够在其 上创建更高 级 的和针对具体系统的模型; ②开发了通信错误和故障模型以支 持耐故障和高可用性应 用; ③ 将 AM 操 作、通 信事 件和 线程 集 成到简单的模型中; ④使用有限的物理网络资源支持大量用户 的受保护的多程序设计。现在, GAM-Ⅱ不只支持并 行计算, 还 支持网络计算和分布式计算等。 2. 3 快速消息( Fast Message) 快速消息( FM) [ 7] 是 基于 AM 的高性 能基础 通信库, 主 要 目标是使用一个简单接口将网络硬件的性能提供给应用层, 在 集群上提供低延迟 和 高带 宽通 信, 尤 其是 对 于短 消息, FM 适 用于编译器、语言运行时、通信库和某些应用程序的实现。 高性能消息传递层设计的 关键问 题包括 主机与 网络协 处 理器之间的分工, I/O 总线 管理 以及 缓冲 区管 理等。FM 消 息 传递层设计中关键是 LANai 控制程序( LCP) 的结构、缓冲区 管 理、SBus 两端两个程序的协调和主 机程序的设 计。 FM 具有 良 好的编程接口, 每个消息带有一个指向由发送者指定的函数指 针, 它不需要主机处理器参 与从网 络上存 取消息, 也 不需要 通 过轮询来防止网络拥塞。FM 只包 含很少 的功能 函数, 包括 发 送长短消息和从网络上选取消息的功能, 但它假设每个点上至 多只有一个进程使用 FM 进行通信。FM 提供的服务保证并 控 制了 FM 为其内置的软件提供的内存层次, 在控 制了通信任 务 调度的同时, 保证了可靠性和所需包的发送。如 图 2 所示, FM 通信协议使用四个 FIFO 对, Myrinet 网络适配器 内存含一个 发 送队列和一个接收队列, 节点内 核中有 在非交 换 DMA 区域 包 含一个很大的接收队列, 用户空间的内存驻留了一个用于流量 控制的拒绝队列。它是用 户级的 通信层, 单 一路径 和 FIFO 保 证了按序传送; Myrinet 网络使用 虫蚀路 由, 利 用 Credit 机制 给 每个发送进程分配一部分接收队列空间, 并控制目的地的接收 队列不满, 从而保证了不丢 包的具 有流量 控制的 可靠传 输; 优 化的流量控制以 最小 的 开销 使 发送 速度 与 接收 速度 相 匹配。 由于网络硬件可靠性高, FM 忽略错误处理。 用户空间 DMA 区域 节点 1 句柄 H 用户空间 目的缓冲区 内核空间 节点 0 发送缓冲 节点接收队列 节点接收队列 节点 0 适配器内存 发送队列 DMA 接收队列 DMA DMA DMA PIO DMA 节点 1 适配器内存 PIO 发送队列 DMA 接收队列 网络 图 2 云酝 通信协议 2. 4 虚拟内存映射通信( VMMC) VMMC[ 8] 是一种在发送者 和接 收者 的虚 拟地 址空 间之 间 进行直接数据传输的通信 模型。它消 除了通 信中操 作系统 的 参与, 提供了用户级通信的 保护, 支持 用户级 的缓冲 区管理 和 真正的零拷贝协议, 并能使 软件通 信开销 达到最 小化, 具有 很 高的通信性能。VMMC 可用于 一个处 理器上 不同进 程间的 通 信, 或者一个共 享内 存多 处 理器 系 统中 的不 同 处理 器间 的 通 信, 或者一个局域网上不同节点上的进程间的通信。但所有这 些都需要修改操作系统源代码来处理新的内存管理需求。 VMMC 通信协议如图 3 所 示, 每 个节 点上 驻 留 VMMC 守 

第 10 期 李 涛等: 集群高效通信机制分析 ·952· 护进程, VMMC 设备驱动和实现 VMMC 和 Myrinet 网 络拓扑的 映射的适配器控制程序。VMMC 在输入 / 输出关系建立阶段设 置页表和保护机制, 适配器保存页表负责地址转换工作。接收 进程通过输出( Export) 接收 缓冲 区的地 址空 间区 域表 示允 许 进行通信操作, 发送进程引入( Import) 它并用 作传输数据 的目 的区域的远程缓冲区。在成功引入之后, 发送者将其虚拟内存 中的数据传送到引入的接收缓冲区, 并保证数据不在目的接收 缓冲区外覆盖接收者地址。 节点 园 用户空间 灾酝酝悦 守护进程 发送进程 以太网 节点 员 用户空间 灾酝酝悦 守护进程 接收进程 图 猿 灾酝酝悦 通信协议 节点 园适配器 DMA 页表 发送队列 发送缓冲 节点 员 适配器 页表 接收缓冲 PIO DMA DMA 酝yrinet DMA VMMC 支持显式 更新 和 自动 更新 两 种 数据 传 输 模式, 当 由任何一种传输模式发出的消息到达目的端时, 消息直接被传 送到接收进程的内存中, 而 无须中 断接收 者的 CPU, 它没有 显 式的接收操作。发送数据时, 只有一个自动更新的本地写操作 或者一些用于显式更新的用户级指令, CPU 开销非常小。 2. 5 U-Net 在很多应用程序中, 短 消息变 得越来 越重要, 对于 局部 通 信区域中的短消息, 处理 开销是 决定延 时的主 要因素, 实现 低 延时通信的方法主要是通 过减少 每个消 息的开 销来实 现。U- Net[ 9 ] 用户级网络接口体系结构致力于减少发送和接收消 息的 处理开销以及提供对网络最底层的灵活访问, 在局部区域设置 中提供低延时通信, 对短 消息开 发出网 络的最 大带宽, 以及 为 新型通信协议的应用提供便利。 在 U-Net 中, 操作系统与硬件机制的结合可以提供给 每个 进程自己拥有的网络接口。依赖于实际硬件的复杂性, 一个进 程所操作的 U-Net 组件可能对应一个网络接口上 的实际硬件, 也可能对应由操作系统指定的内存区域, 或者对应于它们的组 合。U-Net 仅用于在访 问网 络的 所 有进 程间 复 用实 际的 网 络 接口, 加强保护边界 限制以 及资源 消耗的 限制。特别 地, 像 缓 冲器这样的进程对每个消息的 内容以 及发送 和接收 资源的 管 理都能得到控制。 U-Net 给予用户进程对网络 设备的 直接受 保护访 问, 在 用 户级编程库中实现, 它将非常低级的机制暴露在用户级。互连 结构被虚拟化为 一系 列 端点, 一 个 端点 就是 一 个内 核内 存 缓 存, 再加上为主机适配器同步而设置的一个发送队列和一个接 收队列。操作系统的功能被限 制于将 一个和 更多这 样的端 点 通过特定的系统调用重映射到用户进程的内存空间, 此后的操 作不需要更多操作系统内 核的干 预。如果用 户进程 需要的 端 点数超过了网络接口卡直接支持的可用端点数目, 必须由操作 系统模 拟额 外的 端点, 提 供相同 的功 能, 但是 性能 有所 降低。 U-Net 提供了良好的通信性能, 但通信是不可靠的。 2. 6 并行基本接口( BIP) BIP[ 10] 是在 Myrinet 上实现的用于消息传 递并行计算 的网 络通信接口, 通过直接被 应用程 序访问 的库接 口, 尽 量减少 对 系统内核的访问, 提供一个具有底层功能的高速通信协议。 BIP 提供多种功能来得到参数和结构常 量, 发送 和接收 的 阻塞和非阻塞的通信原语, 以及一个根据集合通信模式实现的 发送 - 接收范例。BIP 通信有两种不同的语 法, 长消 息的发 送 和接收具有会合语义, 接收 操作需 要在发 送操作 之前发 出; 短 消息需要存放在目的端的循环队列中, 即使没有相应的接收操 作, 发送操作也不会被 阻塞。除了 很短的 消息以 外, 都 使用 缓 存模式来管理。BIP 消息可以加上标志进行 区分, 发 送操作 的 其他参数是数据和目的地的逻辑编码, 接收操作不指定特定的 发送者, 但会检查标志, 其他参 数是接 收消息 的缓冲 区和可 以 接收的最大长度。 在初始化阶段, BIP 建立 一个 表并 给每 对处 理器选 择 ( 或 允许用户选择) 一个静态路由。在 Myrinet 上, BIP 消息根据 发 送者提供的路由 信息 可以 通过 多个 交换 机进 行路 由。BIP 通 过透明的将消息分段分组而使通信路径流水化, 分组的大小依 赖于总的消息大小, 目 的是在 通信的 每一端 都允 许 Myrinet 适 配器的不同 DMA 引擎以流水线的 方式工 作, 并达到 最好的 负 载平衡。另外, BIP 还通过消除网络接口 卡的受保护 复用而 获 得了最优性能: Myrinet 适配 器的 寄存 器和 内存 区域 全部 暴 露 于用户级访问。 发送和接收在非阻塞语义中也是可用的, 可以检测或者等 待异步发送和接收调用的 完成。由于 发送和 接收操 作是完 全 独立的, 因此可以任何方式将它们混合使用。非阻塞原语允许 计算和通信操作在适当的时 候重叠, 但 是对每 个挂起 的标志, 不能有超过一个发送操作和一个接收操作。 BIP 在消息传输 中 加入 序 列号 并进 行 CRC 校 验, 可 以 检 测 介质 上 的 任何 错 误 或丢 包, 但不 实 现 任何 恢 复 策略, 依 赖 Myrinet 良好的网络硬件, BIP 保证消息的可靠传送。 3 高效通信机制的比较与分析 集群中最重要的通信性能参数为延迟和带宽, 延迟和带宽 的测量受测量所用的 硬件平 台的 影响 很大, 如 CPU 和 内存 速 度、I/ O 系统 结构、网络接口卡和传 输链路等, 有可能使 测量的 数据不能相 互比 较。特 别地, CPU 的 不 同速 度会 导 致所 测 量 的延迟具有较大的差异, 测量技术的不同会导致所测量的带宽 具有较大的差异。表 1 给出了 TCP/ IP 以及本文讨论的几种高 效通信机制的延迟和带宽在不同平台上的测量结果。 表 1 消息 传递 系统的 点到 点通信 的延 迟和带 宽比较 Mec hanisms Latenc y( μs) Bandwidth( Mbps) TCP / IP ( Ethe rnet) US ( HPS) A M ( FDDI) FM ( Myrine t) VMMC ( MC) U-Net ( FE ) BIP ( Myrinet) 113 . 8 44. 8 14. 5 11 9 . 8 30 4 . 3 6 . 6 34. 9 12 77 108 12. 1 126 可以看出, 由于互联网 络硬件 性能的 提高, 以及 采用简 化 通信协议、避免操作系统调用和消息的暂时缓存以及通信状态 流水化的使用, 各种 高效 通 信机 制 的延 迟和 带 宽远 远要 好 于 TCP/ IP 的性能, 为上层计算环境提供了高性能通信。 US 使用避免系统调用的优化方法, 提供保 证、按序、可靠, 且具有流量控制 的高 性 能通 信, 它 使用 超时 重 传进 行错 误 处 理, 其缺点是同 一时 间只 能 有一 个 进程 使 用 US 协 议。U-Net 

·062· 计算机应用研究 2005 年第 10 期 使用简化通信协议的方式, 尽量减少发送 / 接收处理开销, 而且 对短消息的支持比较好, 但当用户进程端点数超过网络接口卡 上接口数时性能下降情况比较严重。这样, 就限制了其性能的 进一步提高。AM 是完 全实 现在 用户级 的低 开 销的 异步 通 信 机制, FM 是基于 AM 的高性能基础通信库, 高带宽、低延时, 尤 其是对短消息的支持比较好, 它 忽略错 误处理, 直接 交给下 层 硬件 实现, 表 1 中所示性 能差异主要 来自于硬件 环境的不同, 尤其是带宽相差很大。VMMC 使用避免消息暂存的优化方法, 能够 实 现真 正 的 零拷 贝, 但 有 的 需要 修 改 操作 系 统 源代 码。 BIP 使用通信状态的流水化方式进行优 化, 给用 户暴露了很 好 的底层硬件性能, 使用 CRC 校验, 但 不进 行错 误恢 复, 而且 它 依赖于硬件的流量控制功 能。它们实 现了非 常低的 延时和 非 常高的带宽, 尤其通信协 议简化 和流水 化的使 用, 更 好地利 用 了互联网络的原始带宽, 进一步提高通信性能。 4 总结 在集群不出现故障的情况下, 主要的性能瓶颈不是计算资 源, 而是怎样提供低延迟、高带 宽的连 接和怎 样以有 效的低 层 通信协议来提供高层 API, 降低消息传递 的延迟。本文讨 论的 几种高效通信机制使用了简化通信协议、避免操作系统调用和 消息的暂时缓存, 将内核 级缓存 重映射 到用户 内存空 间, 完 全 在用户级实现通信系统, 尽可能地将网络硬件的高性能提供给 用户层, 通信流水化 的使用 进一步 提高了 通信性 能。 另外, 还 可以并行使用多个通信网络或 者其他 一些更 加低级 的通信 机 制。高效通信机制的使用获得了高性能通信, 充分利用了互联 网络的原始带宽, 更好地发挥了集群的整体性能。 参考文献: [ 1] ttp: / / www. top500. org / [ EB / OL] . [ 2] 郑纬 民, 石威, 汪东 升, 等. 高 性 能集 群 计 算: 结 构 与 系 统 [ M] . 北 ( 上 接第 256 页) ( 4) Local 用来指明 隧道封 装的源 IP 地址, 在该方 案中 应 为 HA 的 IP 地址。 ( 5) ttl 用来设置隧道的生存期。 删除隧道的命令: Iptunnel Del[ tunnel name] 。其中 Del 表 明要删除一条隧道, Tunnel Name 为要删除的隧道名。 另外, 由于隧道在这里 作为一 种虚拟 的网络 接口, 因此 需 要用 Ifconfig 命令进行驱动接口的配置。 在该方案的实现中, HA 除了要按 上面的 命令建 立隧道 以 外, 还必须在应用进程中指定隧道设备发送数据。要实现指定 设备发送, 可以通过 setsockopt 函数设置发送设备。 5 结束语 本文提出了一种基于 Linux 下的 Netfilter 技术实现移动 IP 中家乡代理多重绑定机制的方案, 对该方案的设计思想, 设计框 架以及具体设计方案作了详细的介绍, 并且给出了该方 案实现 中关键技术的解决方法。该方案利用 Netfilter 框架实现对数据 报的过滤处理功能, 在 HA 上 将发往具有 多重绑定的 MN 的数 据截获到用户空间, 由 HA 的用 户态进程对 这些数据进 行处理 和发送。该方案避免了在内核态进行 数据的复制, 因此 不会对 京: 电子 工业出 版社, 2001. [ 3] K Hwang, Z Xu. Scalablde Parallel Computing Technology, Archi- tecture, Programming [ M] . Beijing: China Machine Press, 1999. [ 4] M Snir, P Hochschild, D D Frye, et al. The Communication Software and Parallel Environment of the IBM SP2 [ J] . IBM System Journal, 1995, 34 ( 2 ) : 205- 221 . [ 5] T V Eicken, et al. Active Messages: A Mechanism for Integrated Com- munication and Computation[ C] . Proc. of the 19th Annual Interna- tional Symposium on Computer Architectures, 1992 . 256- 266. [ 6] A Mainwaring, D E Culler. Generic Active Message Applications Pro- gramming Interface and Communication Subsystems Organization [ R ] . Division of Computer Science, University of California at [ 7] Berkeley, 1996. S Pakin, M Lauria, A Chien. High Performance Messaging on Work- stations: Illinois Fast Messages ( FM) for Myrinet [ C] . Supercom- puting’95 , San Diego, CA, 1995. [ 8] C Dubnicki, L Iftode, E W Felten, et al. Software Support for Virtual Memory-Mapped Communication [ C] . Proceedings of the 10th Inter- national Parallel Processing Symposium, 1996. 372- 381. [ 9] T V Eicken, A Basu, et al. U-Net: A User-level Network Interface for Parallel and Distributed Computing [ C] . Proceedings of the 15 th Annual Symposium on Operating System Principles, 1995. 40- 53. [ 10 ] L Prylli, B Tourancheau. BIP: A New Protocol Designed for High Performance Networking on Myrinet [ C] . The PC-NOW Workshop, IPPS / SPDP, 1998. 作者简介: 李 涛( 1977- ) , 男 , 山 东 泰 安人 , 讲 师 , 博 士 研 究 生, 主要 研 究 方 向 为 并 行 与分 布计算 、高 性能 网 络 ; 王 华 ( 1979 - ) , 男, 硕 士 研 究 生, 主 要 研 究 方 向为 集群计 算; 刘培 峰( 1981- ) , 男 , 硕 士 研究 生 , 主要 研 究 方 向为 并 行 机系 统结构 ; 刘 光武 ( 1969 - ) , 男, 硕士 研 究生 , 主 要研 究 方 向 为通 信 系 统; 杨愚 鲁( 1961- ) , 男 , 博 士生导 师, 主 要 研究 方 向为 并 行 机 系统 结 构 、网格计 算、可重 构系统 。 内核运行的稳定性造成任何影响。另外该方案在设计上具有框 架清晰等特点, 在实现上巧 妙地利 用了 Netfilter 的 用户配 置工 具 Iptables 提供的配置功能, 使得方案的实现灵活简便。 参考文献: [ 1] Perkins. RFC 3344 IP Mobility Support for IPv4[ S] . Aug. 2002. [ 2] Hiroshi Esaki. Multi-Homing and Multi-Path Architecture Using Mo- bile IP and NEMO Framework[ C] . Proceedings of the International Symposium on Applications and the Internet, 2004. 26- 30. [ 3] M Kassi. Mobile IPv6 for Multiple Interfaces[ S] . Internet-Draft, 21, 10, 2003 . [ 4] Ye Min, hua, Liu Yu. The Mobile IP Handoff between Hybrid Net- works[ C] . IEEE International Symposium on Personal, Indoor and Mobile Radio Communications, 2002. 265- 269. [ 5] 博嘉科 技 . Linux 防火 墙技 术 探密 [ M] . 北 京: 国防 工 业 出 版社 , 2002. 作者简介: 谭 敏( 1980- ) , 女 , 黑 龙江 哈尔滨 人, 硕士 研 究生 , 主 要研 究 方 向 为无 线 网 络技 术与应 用; 田霖 ( 1980- ) , 女 , 山 东 日 照 人, 硕 士 研 究生 , 主 要 研 究 方向为 无线 通信技 术; 夏寅 贲, 博 士 研 究生 , 主 要 研究 方 向 为 下一 代 网 络与 无线通 信技 术。