1 DPI 技术介绍
1.1 DPI 技术产生的背景
近年来,网络新业务层出不穷,有对等网络(Peer-to-Peer,简称 P2P)、VoIP、流媒体、
Web TV、音视频聊天、互动在线游戏和虚拟现实等。这些新业务的普及为运营商吸纳了大
量的客户资源,同时也对网络的底层流量模型和上层应用模式产生了很大的冲击,带来带宽
管理、内容计费、信息安全、舆论管控等一系列新的问题。尤其是 P2P、VoIP、流媒体等业
务,当前 P2P 业务的流量已
图 1 各种业务对带宽的抢占
占互联网数据流量的 50%-70%,如果再加上流媒体等业务,新业务的数据流量是相当巨大
的,这打破了以往“高带宽、低负载”的 IP 网络 QoS 提供模式,在很大程度上加重了网络拥
塞,降低了网络性能,劣化了网络服务质量,妨碍了正常的网络业务的开展和关键应用的普
及。同时,P2P 的广泛使用也给网络的信息安全监测管理带来了极大的挑战。由于 P2P 流量
的带宽吞噬特性,简单的网络升级扩容是无法满足运营商数据流量增长需要的,加上网络设
备缺乏有效的技术监管手段,不能实现对 P2P/WEB TV 等新兴业务的感知和识别,导致网
络运营商对网络的运行情况无法有效管理。
传统的网络运维管理,往往通过设备网管实现对网元级的管理,后来发展至网络级管理,
可以对上层的简单应用进行管控,而这些应用级管控技术大多采用简单网络管理协议 SNMP
或者基于端口的流量识别进行进行分析和管理。
因此,如何深度感知互联网/移动互联网业务,提供应用级管控手段,构建“可运营、可
管理”的网络,成为运营商关注的焦点。
1.2 DPI 能够为运营商解决什么问题
互联网及移动互联网面临大量“高消耗、低价值”的业务对带宽的吞噬压力,网络安全
第 1 页 共 15 页
和服务质量问题亟待解决,主要面临如下问题:
网络出口带宽增加了一倍,可没几天还有大量用户投诉上网慢,收邮件慢,流媒
体缓冲时间长,为什么?
不断升级换代交换机、路由器等核心网设备,投资不少可网络设备的性能总是无
法跟上带宽的增长速度。
核心网络的服务质量现状如何?互联互通出口链路带宽占用率情况?链路丢包
率?链路延时?关键业务的平均带宽?最大带宽?最小带宽?WAP/WEB浏览的
平均延时?最大延时?最小延时?
整个宽带业务网络中流量是如何构成的?哪些业务占据了主要的带宽?WAP浏览
/彩信/139邮箱/WEB浏览/流媒体/P2P/VoIP/IM等热点业务各占据了多大带宽?
核心网到各个其它运营商的流量流向如何?同各运营商的互联带宽多大?为此所
缴纳的互联带宽费用是否与用户量的增长成比例?
目前的出口带宽占用情况是否需要扩容?同各地市汇聚网的链路性能、带宽如
何?业务性能如何?
用户投诉上网慢,网管系统也无法找到故障源,性能故障到底在哪里?
集团客户的上网或视频会议总是很慢,问题根源在哪里?
P2P/流媒体等高消耗、低价值业务占用带宽过大,怎么精细化控制其带宽?
网络中产生异常流量(包括端口扫描、DDOS攻击、广播风暴),如何定位发起攻
击源?
能否有种设备,能按时、按人、按集团客户、按业务来调整带宽分配,限制哪些
无节制占用网络的次要业务,保障WAP/彩信/WEB/视频会议/VOIP/ERP等关键业
务畅通无阻。
交换机、路由器、防火墙、IDS等等等等,装了一大堆设备和软件,还要不断升级
病毒库,可病毒和攻击还是防不住。能否从网络上拦截这些异常流量,防止其对
网络造成破坏性影响?
1.3 DPI 为运营商带来的好处
DPI 技术的出现,为互联网和移动互联网运营商带来了曙光,通过部署 DPI 系统,运营
第 2 页 共 15 页
商可以:
可视化全网。可以深入了解整个网络带宽由哪些应用占用(P2P/WEB TV/流媒体
/IM/Games 等。),哪些用户(手机号码/上网账号)是大用户,哪些小区是带宽吞噬
大户,哪些手机终端使用业务最多…
流量精细化管理。通过灵活的带宽管理机制(带宽整形、QoS 管理、限速、提速、
封堵等。。),来限制“高消耗、低价值”的业务和用户,从而有效的保障关键业务、
关键用户,提升用户感知,提高带宽使用的性价比。
丰富的 QoS 提供能力。根据不同的 QoS 需求,可提供 CBR、VBR、UBR 业务,
可以在 IP 网络中提供虚拟专线业务。
及时发现和抑制异常流量。可从网络通路上第一时间拦截异常流量,避免其对网络
造成破坏性影响。
透视全网服务质量,保障关键业务质量。可透视全网各种业务的延时、抖动、带宽
占用等 QoS 指标,从而精确定位 QoS 劣化点。
智能业务性能分析,减少网络瘫痪和性能劣化的时间。
减少或延迟带宽投入,降低网络运营成本。通过××产品解决方案所提供的长期统
计报告,可以准确了解网络带宽过去、现在和将来的总体使用情况,识别出实际带
宽需求小于实际分配(租用)带宽的链路。对于广域网(WAN)连接,可以减少
或者推迟网络升级计划(例如升级为千兆网,购买新的路由器等);从而节省了大
笔费用。通过量化依据为带宽扩容提供科学的决策支持。
转变被动维护局面,先于用户发现故障。××产品以其迅捷的故障响应机制和完善
的主动监测流程为宽带网络的运营维护提供全面的保障机制,加快故障响应处理速
度,缩短平均故障响应时间,大大提高了维护效率。
提高市场竞争力,树立移动宽带精品网品牌。
1.4 传统的业务识别方法
普通的报文检测往往仅分析 IP 分组的四层以下内容,一般包括源地址、源端口、目的
地址、目的端口以及协议类型,如图 1.1 所示。
第 3 页 共 15 页
图 1.1 传统的 IP 头部报文分析
然而,仅通过分析 IP 地址和端口来识别业务存在很多的问题,包括:
1.端口可变的业务。比如 BT/EDK 等业务,可以由用户自行设定端口。
2.隐藏在合法端口之后的隧道业务。比如为躲避防火墙封锁而隐藏在 80 端口通过隧道传输
VoIP 语音或数据的应用。
3.IP 地址可变业务。比如部分应用为了逃避封锁,不断变换 IP 地址。
4.交互式业务。比如 FTP/流媒体/VoIP 等,其媒体流的端口是通过交互协商出来的,非固
定端口。
1.5 深度分组检测-DPI
DPI,Deep Packet Inspection,深度分组检测,通常简称为 DPI。所谓深度分组检测是相
对普通报文检测而言的一种新的检测技术,即对第七层,也即应用层的内容(净荷)进行深
度分析,从而根据应用层的净荷特征识别其应用类型或内容。如图 1.2 所示。当 IP 数据包、
TCP 或者 UDP 数据流经过基于 DPI 技术的网络设备时,DPI 引擎通过深入读取 IP 包载荷的
内容来对 OSI 7 层协议中的应用层信息进行重组,从而识别出 IP 包的应用层协议。
图 1.2 DPI 技术对应用特征的分析
1.6 传统业务识别与 DPI 的对比
传统的业务识别方法是通过分析 5 元组或 7 元组信息(增加输入输出接口索引信息),
无法细分不同的应用类型,尤其是应用类型不依赖于 5 元组或 7 元组信息的应用。
而 DPI 技术是通过深入重组、分析第七层分组的净荷内容,匹配业务特征,从而判断
业务和应用类型,DPI 技术可以细分不同的应用类型。
第 4 页 共 15 页
2 DPI 关键技术介绍
DPI 技术主要应用于业务识别和带宽管理领域,下面就分别将这两项主要技术进行详细
阐述。
2.1 业务识别技术
2.1.1 净荷特征匹配技术
不同的应用通常会采用不同的协议,而各种协议都有其特殊的特征(除加密应用),这
些特征可能是特定的端口、特定的字符串或者特定的 Bit 序列。基于净荷特征匹配技术,正
是通过识别数据报文中的净荷特征来确定业务流所承载的应用。根据具体检测方式的不同,
基于净荷特征匹配技术又可细分为固定(或可变)位置特征匹配、多连接联合匹配和状态特
征匹配四种分支技术。通过对特征信息的升级,基于净荷特征匹配技术可以很方便地扩展到
对新协议的检测。
固定位置匹配是最为简单的一种匹配方法。以 Kazaa 协议的识别为例,其握手消息中总
包含字符串“User-Agent:Kazaa”。因此可以确定,“User-Agent:Kazaa”就是 Kazaa 协议的特征
字。如图 2.1 所示。
图 2.1 净荷特征匹配(固定位置匹配)
多连接联合匹配是一种需要结合该应用中的多个连接联合匹配特征的方法。如 John Doe
Protocol 这种协议,其每个连接的相同位置具有相同的特征,如下图 2.2 所示。
2.1.2 交互式业务识别技术
图 2.2 多连接联合识别技术
目前 VoIP/FTP/网络游戏等业务普遍采用控制流与业务流分离的方式,通过控制流完成
握手,协商出业务流的端口信息然后进行信息流传输,其业务流没有任何特征。因此通过
DPI 技术首先识别出控制流,并根据控制流协议分析识别出业务流的端口或对端网关地址等
信息,然后对业务流进行解析,从而识别出相应的业务流。典型的业务如 SIP、H323 协议
都属于这种类型的协议。SIP、H323 通过信令交互过程,协商得到其数据通道,一般是 RTP
第 5 页 共 15 页
格式封装的语音流。也就是说,纯粹检测 RTP 流并不能确定这条 RTP 流是通过哪种协议建
立起来的,只有通过检测 SIP 或 H323 的协议交互,才能得到其完整的分析。
2.1.3 行为模式识别技术
在实施行为模式识别技术之前,运营商必须首先对终端的各种行为进行研究,并在此基
础上建立起行为识别模型。基于行为识别模型,行为模式识别技术即可根据用户已经实施的
行为,判断用户正在进行的动作或者即将实施的动作。行为模式识别技术通常用于那些无法
由协议本身就能判定的业务。例如,从 Email 的内容看,SPAM(垃圾邮件)业务流与普通
邮件业务流两者没有区别,只有进一步分析才能识别出 SPAM 邮件。具体可通过发送邮件
的速率、目的邮件地址数目、变化频率、源邮件地址数目、变化频率、邮件被拒绝的频率等
参数,建立起行为识别模型,并以此分拣出垃圾邮件。
2.1.4 深度流检测技术 DFI
各种业务应用的数据包自身特性及传输特性都有所区别,因此,基于流的行为特征,通
过与已建立的应用数据流的数据模型进行比对,也可以判别出该流的业务或应用类型。深度
流检测法即是基于这种原理,根据各种应用的连接数、单 IP 地址的连接模式、上下行流量
比例关系、数据包发送频率等数据流的行为特征指标的不同与 DFI 检测模型进行匹配,进
而从中区分出 P2P 应用类型。DFI 检测存在如下优点:能够发现未知 P2P 应用,具有对新
P2P 应用的感知能力。加密协议对检测算法影响较小。避免查看应用层协议内容,检测效
率较高。缺点在于检测准确度与 DPI 相比稍低。有将非 P2P 应用误判为 P2P 应用的情况。
2.2 带宽管理技术
2.2.1 串联流量控制
串接流控通常以透明模式串接到网络设备中使用。通过对网络上的各种类型的应用流量
进行分类,并根据控制策略,可将需要控制的 P2P 流量数据包丢弃。P2P 数据传输的两端
客户端由于再一定的时间内未收到数据包或确认信息,将启用 TCP/IP 协议的拥塞控制机制
或应用层协议进行降速传输,从而实现对 P2P 流量进行控制的目的。
这种方式的优点在于采用丢弃数据包、队列调度等方式,控制方式比旁路方式直接,不
占用额外的干扰接入端口。缺点在于所有的网络数据流都要经过设备处理在进行转发,容易
带来附加延时,引起网络服务的质量问题。另外,由于检测设备必须部署到网络流量真实路
径上,有可能形成处理瓶颈和单点故障。直路串接方式对设备的处理和转发性能要求都很高。
如图 2.3。
2.2.2 并联干扰控制
图 2.3 串联流控方式
旁路干扰控制主要采用数据包伪装技术将伪装的干扰数据包发到正在通信的 TCP、UDP
连接中降低连接的数据传输速率或者切断连接以达到流量控制的目的。由于 P2P 数据传输
采用 TCP 或 UDP 方式,因此旁路干扰控制的流量控制方法有如下几种:
TCP 截断,通过伪造并发送 TCP RST 报文来截断 TCP 连接。
第 6 页 共 15 页
TCP 降速,通过伪造并发送特殊 sequence 报文来减小 TCP 的滑动窗口值。
UDP 截断,通过伪造并发送 P2P 应用层特殊控制命令方式来截断 UDP 连接。
UDP 降速,通过伪造并发送 P2P 应用层特殊控制命令方式来降低 UDP 连接的传
送速率。
这种方法优点在于避免采用串接模式部署 P2P 监控设备,不会对原有网络性能造成任
何影响。缺点在于需要引入分光设备或镜像设备,并且需要占用互联网现网设备的一个端口
用于将干扰信息发送到互联网中。如图 2.4。
2.3 DPI 的核心-应用特征库
图 2.4 并联流控方式
DPI 技术的核心点在于如何维护一个高准确性、高实时性的应用特征库,从而保障应用
特征识别的准确性、实时性,进而保障运营商对应用的管控准确性和实时性。目前运营商已
建设的 DPI 系统普遍遭遇到应用特征更新不及时、管控效果不佳等问题,均来源于特征库
的准确性和实时性无法得到及时保障。
2.4 DPI 技术的难点
DPI 技术发展至今,仍面临一些亟待解决的难点,包括:
业务识别准确性
误报、漏报率高
应用特征不够全面,特征仅能覆盖应用的部分流量;
不同的应用协议具有相同或者类似的特征;
特征库的更新。由于业务版本更新频繁,协议识别效率低下,造成特征库更新准确
性和实时性无法得到保障,均会带来业务识别的种种问题。
3 解决方案
3.1 产品概述
××系统围绕运营商对网络的管理要求,即“可管、可控、可查”,针对运营商固定宽
带和移动互联网的业务、信令、性能、质量和安全进行深入监测、分析、管理、优化和控制,
为网络运营、维护和管理提供全面可视化的管控解决方案。并进一步深入挖掘用户的网络行
第 7 页 共 15 页
为、偏好,为运营商提供经营分析、决策支持。
××系统能够支持 GE/2.5G POS/10G POS/10G GE/40G POS 等多种链路类型,支持基于
小区、RNC、LAC、手机号码、运营商、IP 地址、终端类型、APN、用户账号、认证类型
(PPPoE/WLAN)、接入类型(2G/3G)等多角度分析和管控,提供包括时延、带宽、连接
数、会话数、业务类型、连接成功率、失败原因等各种 QoE 指标分析以及灵活自定制策略
的 QoS 管控。
××系统同时也为运营商提供高效、快捷、准确的宽带及移动宽带的网络性能分析和信
令监测的手段,有助于维护人员第一时间发现、定位和解决网络性能问题。
××系统从功能层面主要分为数据分析系统和流量控制系统,其中数据分析系统主要是
对运营商固定宽带和移动互联网的业务、信令、性能、质量和安全进行深入分析,为网络运
营、维护和管理提供全面可视化的解决方案,并进一步深入挖掘用户的网络行为、偏好,为
运营商提供经营分析、决策支持,实现网络管理的“网络可视化、用户可区分、业务可识别”
的目标。流量控制系统主要是对运营商固定宽带和移动互联网的流量和业务进行深入分析,
为网络运营、维护和管理提供网络全面可视化和流量控制的解决方案,实现网络管理的“流
量可控制”的目标。
3.2 体系结构
信令分析模块
流量分析模块
流量控制模块
策略管控模块
数据存储模块
数据挖掘模块
增值服务模块
××系统体系结构
围绕“可管、可控、可查”的六字方针,××产品针对运营商的固定宽带和移动互联网
业务进行识别分析、策略管控、信令监测和分析、业务质量分析以及增值服务,全方位、多
角度的从业务、质量、信令、安全诸多方面为运营商提供网络质量监测分析和策略管控的便
捷手段,便于维护人员第一时间快速、准确、便捷的定位和分析出故障及性能劣化点,并通
过灵活自定义策略对网络实时多角度管控(包括基于用户号码、小区、RNC、LAC、接入方
式、终端类型、APN 等多维度管控)。
3.3 产品功能
××系统主要围绕固定宽带网络和移动互联网络管理的“网络可视化、用户可
区分、业务可识别、流量可管控”的目标以及网络管理对网络质量、网络性能和
网络安全等方面的需求,其功能主要可分为流量分析、用户分析、业务分析、区
域分析、流量管控、专项监控、网络管理与系统安全等几大部分,涵盖网络管理、
网络优化等各方面的需要。
3.3.1 流量分析
流量分析是指对获取的固定宽带网络和移动互联网网络的网络流量进行分
析,获取网络流量的各类统计信息并可视化,提供网络管理人员对网络运维现状
的直观了解。流量分析主要包括基本分析、流向分析、历史统计分析、信令分析、
网络流量分析、网络性能分析等。
第 8 页 共 15 页