2015 第 36 年 5 卷 第 月 期 3 郑 州 大 学 学 报 ( 工 学 版 ) Journal of Zhengzhou University ( Engineering Science ) May 2015 Vol. 36 No. 3 文章编号: 1671 － 6833( 2015) 03 － 0020 － 05 基于角点动能的视频群体异常行为检测 逯 鹏，梁 玉，陈树伟 ( 郑州大学 电气工程学院，河南 郑州 ) 450001 摘 要: 为了提高实时性和精确度，提出一种利用角点动能检测群体异常行为的方法． 首先，利用金字 塔 Lucas-Kanade 光流法计算 FAST( Features from Accelerated Segment Test) 角点光流，筛选出运动的角 点; 然后，利用 k 均值方法聚类图像中的角点，自适应地调整正常行为角点动能，定义每一类的局部异常 程度为角点平均动能与正常时的比值，整体运动异常程度为局部异常程度之和; 最后，如果整体异常程 度大于异常阈值为异常行为，否则为正常行为． 实验结果表明: 该方法能够检测出多种群体异常行为且 实时性强于 Harris、SIFT( Scale-Invariant Feature Transform) 和 SUＲF( Speed Up Ｒobust Features) 角点，精确 度高于光流法、社会力法和图分析法． 关键词: 群体异常行为; k 均值; 角点动能; 异常程度; 自适应 中图分类号: TP391． 41 doi: 10． 3969 / j． issn． 1671 － 6833． 2015． 03． 005 文献标志码: A 0 引言 群体出现异常行为，如惊慌逃跑 紧急逃散 等，会对群体成员的人身安全造成威胁，因此，检 测群体异常行为 实现在线预警成为计算机视觉 、 领域重要的前沿课题［ 、 1 － 3 ］ ． ． 群体异常行为检测的实质是对感兴趣目标的 运动特征进行分类，判断当前状态［ 与个体异 常行为相比，群体行为面临群体间严重遮挡 密度 、 随机变化以及高密度群体中个体分辨率低等难 题，造成目标提取困难 ］ 4 ． ． ］ 5 传统的基于目标行为分析方法，通过分析个 体目标的运动轨迹等建立行为模型，这种方法随 着场景中个体的增加，其计算复杂度增加，仅适合 如何对整个场景的行为 目标数量较少的场景［ 因此，不提取个体目标的 特征进行分析成为难题 从这 整体分析方法成为解决问题的关键切入点 一思路出发， ］用混合动态纹理描 述群体动态变化，根据动态纹理在空间和时间上 然而，这种方法对场 的不同分布来检测异常行为 景变化引起的噪声敏感，抗干扰性不强 等［ ． Mehran ］的思路则是通过在图像中建立粒子，根据粒 Mahadevan 等［ ． ． ． 7 6 8 ． ． 3 、 Harris Harris 突散 子光流的动态变化建立社会力模型 ( ， SFM 段晶晶等［ 此外，提取 ］进一步采用 种类型( 突聚 Social Force ) ，利用粒子与周围空间的相互作用力 Model 描述群体运动剧烈程度，根据力的强度检测出异 常行为，其局限性在于粒子位置固定，不能随机选 角点运动 择粒子 光流方法表示群体中个体的运动信息，用角点的 能量特征衡量运动剧烈程度，建立隐马尔科夫模 型，识别出 奔跑) 的异常 ． 、 然而，由于异常的突发性，这种方法没有考虑视觉 角点的计算复杂性 的病态现象 高，对于高帧速视频的识别实时性低 ［ 9 FAST ． ］角点表示群 体中的个体，再利用角点的光流特征描述群体中 个体的运动信息 Lucas-Kanade 均值方法 光流法计算 对每一帧图像中的角点进行聚类，自适应地调整 正常时的角点动能，计算每一类角点的平均动能 和正常行为时动能的比值作为每一类的异常程 度，求和作为整体运动异常程度; 最后，根据整体 异常程度的不同来区分正常行为和异常行为 算 所示，分为动态特征提取和异 法处理流程如图 常行为检测两个模块 首先，利用金字塔 角点光流; 再利用 针对上述问题，笔者采用 FAST 1 k ． ． ． 收稿日期: 2015 － 02 － 06 基金项目: 国家自然科学基金资助项目( 作者简介: 逯鹏( : ; 修订日期: 2015 － 03 － 28 ) 61172152 1974 － mail lupeng@ zzu． edu． cn． ) ，男，河南滑县人，郑州大学副教授，博士，主要研究方向为智能系统 模式识别技术， 、 E- 

第 3 期 逯鹏，等: 基于角点动能的视频群体异常行为检测 21 ． 在获 得 目 标 的 角 点 后，采 用 金 字 塔 模 型 光流法对图像进行金字塔采样，从 Lucas-Kanade 金字塔的最高层到最底层进行迭代计算光流 这 种方法既可以估计小范围内微小变化的光流，也 具体方法: 首 可以估计角点运动较大时的光流 角点，然后用金字塔 先，在当前帧提取出 光流法在下一帧固定窗口范围搜寻 Lucas-Kanade 满足一定误差的角点，如果找到则返回一个为真 ， ( 的状态标志位 pi x m ， ， ， ) ， ) ) ) 为 | i = 1 y 2 y qi m 前一帧角点的位置， ( ) 为当前帧角点的位 qi 置 假设共找到 ， … ， y' 对特征点{ ( } 则角点光流为 其中 FAST ， y' x' x' pi x ( ( ． ． ． ． ( ) ( 2 ． v = ( 槡 y' － y x' － x ) 2 + ) 3 用运动的角点的动态信息描述目标动态行 为，需要筛选出运动的特征角点并去除背景噪声 背景中角点没有移动，角点光流速度接近于 角点 零，保留角点光流较大的角点， 是 一个较小正数，筛选后共得到 个角点的光流 则保留， ε v ＞ ε ． { ， 2 ， … ， n } ， ． ( a 2 图 v = FAST 从图 角点 为去噪 前 的 vi | i = 1 n ≤ m． 去噪前后的特征点分布如图 ( ) 所示 2 角 点，图 ) 为 去 噪 后 的 中可以看出，筛选后去除了背 FAST 景中静止的角点，且角点均匀地分布在运动目标 的周围，并跟随运动目标移动 角点的光流反映了 运动目标的动态变化，另外，通过角点的分布也可 以定位出群体成员的大致位置 2 b 2 ． ． n ． 图 2 FAST 角点检测结果 Fig． 2 Detection result of FAST corners 随着运动目标的变化，遮挡等现象会造成特 ，把当 征点减少 前帧当作前一帧，继续追踪，计算角点光流，否则 提取新的角点 设定最少特征点数 n ＞ nk ，若 nk ． ． 2 群体异常检测 群体异常行为发生时，如群体恐慌逃跑 群体冲突等会导致群体剧烈运动 、 紧急 、 相应地， 疏散 群体周围的角点变化剧烈，角点光流会增大，每一 帧图像中的角点的动能也增大 由于视觉问题的 病态现象，物体的二维外观会随着视点的变化发 ． ． 图 1 角点动能法处理流程 Fig． 1 Processing flow of corner kinetic method 1 动态特征提取 ． 动态特征提取解决的主要问题: 用动态角点 表示运动目标，用角点的动态变化描述群体行 其基本思路是首先提取目标角点，然后计算角 为 点的光流，最后去噪完成特征提取 ． 角点是图像中具有稳定特征的像素点，在当 如 前帧和下一帧都能提取出来，适合追踪 Harris 角点，位于图像二阶导数的自相关矩阵有两个最 大特征值的地方，因需要耗时的计算图像导数，所 以难以满足高帧率视频处理实时性的要求; 而 角点利用机器学习实现角点的快速检测，提 ． FAST 高了计算效率，满足实时性要求 ． FAST 角点提取方法 首先，基于特征点周围 图像强度定义角点，通过检查中心像素与周围的 像素的大小关系来判定一个角点 为中 心，半径为 对应一个状态 个像素点，每个点 的圆周上共有 以像素 ，如式( 16 ) : 3 p x ． ． 1 Ip→x ≤ Ip － t ( 较暗) ， { Sp→x ， d ， ， s b 其次，经过非极大值抑制，确定真正的角点， 对每个候选角点进行评分，比较 利用评分函数 相邻的两个角点，去除分数较低的候选角点，使角 点分布更加均匀 V ． V = max ( ∑ x∈Sb Ip→x － Ip － t ， ∑ x∈Sd Ip － Ip→x － t ( 其中， { { Sb = Sd = x | Ip→x ≥ Ip + t x | Ip→x ≤ Ip － t } ， } ． ) 2 ． ) Sp→x = Ip － t ＜ Ip→x ＜ Ip + t 3 个状态( 较暗 设置 点的像素值; 值参数 为较暗或较亮，则点 Ip→x ． 如果圆周上超过连续 Ip + t ≤ Ip→x 较亮) 近似 、 、 代表圆周上点 为候选角点 ． p ( ( 近似) ， ) 1 ( 较亮) ． 表示 式中， p Ip ． 的像素值; 是阈 个点的像素状态 t x 12 

22 郑 州 大 学 学 报 ( 工 学 版 ) 年 2015 ． 通过对角点位置进行聚类，根据空间 生很大变化 位置的不同，自适应地调整正常行为的平均动能， 分析每一类角点的运动异常程度，再根据每一类 的异常情况进行整体分析 这种整体到局部再到 整体的模式能充分反映群体行为动态 ． 尺度变小，连续两帧之间的角点移动速度变缓，即 角点光流速度变小，与实际运动速度偏差增大 为 了克服这个问题，采用自适应的正常行为角点动 能进行矫正，把 根据距离摄像头的远近分为两 部分，则 为 E0 ． ． ( p xi xi ， zi ， yi ， yi 为角点 ) ， zi 构建三维坐标( ) 正常行为和异常行为时的角点位 相对应的光流 置和光流如图 所示 角点的位置反映了个体目 ． 中，正常行为时角点的光 标在场景中的位置 图 流较小，分布集中，角点动能变化稳定; 行为异常 时角点光流整体增大，且分布范围扩大 3 3 ． ． ． E0      E01 = E02 = E0 = n01 ∑ i = 1 1 n01 ， mv2 i 0 ≤ yi ≤ ; h 2 ( ) 5 n02 ∑ i = 1 1 n02 mv2 i ， h 2 ＜ yi ≤ h． h 为运动目标到摄像头的距离，实验中取为 分别为上下两部分图像区域 每一类根 式中: 图像的高度; n01 、n02 所对应的角点数量; 为角点的纵坐标 ． 据聚类中心所在的空间位置选取相应的 yi { E0 = ， E01 0 ≤ ymj ≤ ; h 2 E02 ， h 2 ＜ ymj ≤ h． 即 E0 ． ( ) 6 式中: 度为 ymj 为聚类中心的纵坐标 每一类的异常程 ． Ej E0 = 1 njE0 nj ∑ i = 1 mvi 2 ． ( ) 7 λj = 整体异常程度为 k k nj ∑ ( ) 1 nj 1 E0 接近 2 ． λ = ∑ j = 1 j = 1 i = 1 mvi λj = ∑ ; 异常行为发生时， λ 8 迅 越大，运动越剧烈，发生异常行为的可 则判 设定异常阈值 ，如果 k 群体正常行为时， λ 速增大， λ 能性就越大 断为异常; 否则为正常 ． λ ＞ λ0 λ0 ． 图 3 角点位置和光流 { k Fig． 3 Optical flow and location of corners 均值是一种最常用的聚类方法 均值方法 ． k ， ， } 在 即根据角点集 … 2 P = ) 为动态特 图像中的位置聚成 k 征提取阶段去噪后的 值过 大会造成有些类的角点数量过少，只能覆盖个体 目标的局部 ( p 类，其中， ( p 个角点; 每一类的角点平均动能为 | i = 1 ， yi 1 ＜ k ＜ 10 ， yi ， n ， k xi xi n ) ． Ej = 2 ． 为角点质量，实验中都取 mvi i = 1 nj ∑ 1 nj ( ) 4 ; 1 nj 为每一类的 式中: 角点数量， m j = 1 ， 2 ， … ， k． 假设正常行为时的角点动能为 ，随着场景 中运动目标与摄像头的距离增大，运动目标图像 E0 3 实验结果分析 ． 和 UMN 图 4、 PETS2009 为了验证算法的有效性，选择两种经典公共 ，分别如 群体行为正常时，人群中不同个 所示 散步或正常行走等，异常行为包括群体 、 帧， 紧急疏散等 、 帧 数据集包含同一场景不同视角下 个异 帧 、 实验分为两部分，首先比较不同角点 群体异常行为数据集 图 5 体在聊天 惊慌逃跑 共 11 左右 的群体行为，以视角 常行为，共 帧， 3 帧 为例进行试验，包含 1 个异常行为分别持续 个群体异常行为，每个异常行为持续 数据集共 ． PETS2009 ． UMN 7 739 100 601 帧 70 3 、43 59 对实时性的影响，然后根据 ． ( ＲOC ) 曲线衡量检测精度 Ｒeceiver Operat- 统一调整视 ，根据数据集图像 ． ing Characteristic 频帧图像尺寸大小为 尺寸大小，选择参数: 320 × 240 ， nk = 60 ε = 0． 2 ， k = 4． 

第 3 期 逯鹏，等: 基于角点动能的视频群体异常行为检测 23 3． 2 精确度分析 ． 3 6 ］ 5 ］) 图 ＲOC 根据 为 个场景的平均值 ． 和图 曲线比较本文方法和当前主要群 体异常 行 为 检 测 方 法 ( 纯 光 流 法 社 会 力 模 型 、 数据集上的精 法［ 图分析法［ 、 确度，为 为 数 7 中， 曲线横坐 据集上的精确度 标是虚警率，表示实际的正常帧数中误判为异常 的比率; 纵坐标是检测率，表示实际的异常帧中正 确判断为异常的比率 可以 得到不同的虚警率和检测率得到 通过调节异常阈值 UMN 图 PETS2009 ＲOC 图 6 4 ． 7 ． λ0 曲线 ． ＲOC ． 7 6 和图 从图 可以看出，本文方法在虚警率 纯光流法对 相同的情况下检测率高于其他方法 光照条件等噪声敏感; 社会力模型法容易把人体 局部快速运动如关节处的运动检测为异常，检测 率相对较低; 而图分析方法考虑了人群密度 人群 、 流量等信息，检测精度相对较高 而本文方法直接 利用群体行为的动态特征结合局部异常程度和整 体异常程度两个方面进行了分析，同时对因运动 目标与摄像头的距离所造成的角点光流速度偏差 进行了矫正，增加了正常行为和异常行为的区分 度，精确度更高 ． ． 图 6 UMN 数据集 ＲOC Fig． 6 UMN dataset ＲOC 图 7 PETS2009 数据集 ＲOC Fig． 7 PETS2009 dataset ＲOC 图 4 UMN 数据集 Fig． 4 UMN dataset 图 5 PETS2009 数据集 Fig． 5 PETS2009 dataset 3． 1 实时性分析 以 UMN 数据集场景 中的一段视频为对象， 1 比 较 不 同 角 点 对 实 时 性 的 影 响 ． 编译环境为 ，内存 CPU2． 2 GHz 2GB． 系 统 配 置: 加载 主要对比典型角点特征方 ］ VS2010 ］角点 11 连续 ． 200 ［ 、SUＲF 所示 ． 1 函数库 ． OpenCV2． 4． 6 法包括: ［ 10 Harris、SIFT 帧平均处理时间如表 表 1 不同角点的实时性 Tab． 1 Ｒeal-time performance of different corners 角点 Harris SIFT SUＲF FAST 从表 每帧处理时间 / ms 331 232 179 155 可以看出， FAST 1 角点的两倍左右，且高于 角点的处理速度是 ，说 和 SIFT SUＲF Harris 明 FAST 角点的实时性更好 ． 

郑 州 大 学 学 报 ( 工 学 版 ) 24 4 结束语 笔者提出一种群体异常行为的检测方法，用 角点的动态信息描述群体行为的运动特性， FAST 直接分析群体行为的运动特征，实时性更强 该方 法通过对角点聚类，并结合角点动能定义异常程 度，同时考虑运动目标的空间变化，自适应地调整 正常行为角点动能，综合分析了局部和整体的异 常程度，提高了精确度 实验结果表明，该方法够 检测出多种群体异常行为，而且精确度高于光流 法 社会力和图分析法 、 ． ． ． 参考文献: ［ ］ 1 MANUEL A ， AHDＲEA T ， ALVAＲO S M ， normal behavior detection using dominant sets et al． Ab- ］ ［ J ． ， ， ( ) : 2014 25 5 1351 Machine Vision and Applications － 1368． ［ ］ 2 ［ ］ 3 JUNIOＲ S J． Crowd analysis using computer vision ， IEEE Signal Processing Magazine techniques ( ， 2010 27 5 ［ ］ J ． ) : ， 66 － 77． CＲISTANI M ＲAGHAVENDＲA Ｒ ， ALESSIO D B ， : et al． Human behavior analysis in video surveillance A social signal processing perspective ． Neurocom- ［ ］ J ， ， ( ) : puting 2013 100 2 86 － 97． 年 2015 人群异常状态的图分 ］ 朱海龙，刘鹏，刘家锋，等 ［ 4 自动化学报， 析方法［ ］ ． J ． ［ ］ 张震，李丹丹 5 ． ， ( ) : 742 － 750． 自适应双阈值的运动目标检测算法 2012 38 5 ］ ［ J ． 郑 州 大 学 学 报: 工 学 版， ， 34 ( ) : 6 15 2013 ［ ］ 6 － 19． MAHADEVAN V ， LI Wei-xin ， VASCONCELOS N ， et al． Anomaly detection and localization in crowded ［ ］ J scenes ． IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2014 ， ， ， ( ) : 36 1 18 － 32． MEHＲAN Ｒ OYAMA A SHAH M． Abnormal crowd ［ ］ 7 behavior detection using social Computer Vision and Pattern Ｒecognition ， : ami IEEE Press ［ ］ 段晶晶，高琳，范勇，等 8 Florida ． : ， 2009 基于 ］ ［ C force model ， 2009． Mi- / / 935 － 942． 能量特征的群 KOD 体异常行为识别［ ］ J ． ( ) : 3836 － 3839． 12 计算机应用研究， ， 30 2013 ， ＲOSTEN E ］ ［ M 2006 DＲUMMOND T． Computer vision-ECCV ． Berlin Springer 430 － 443． ， 2006 : : LOWE D G． Distinctive image features from scale-in- variant keypoints International Journal of Com- ］ ［ J ． ， ， 60 puter Vision ， BAYA H ， 2004 ESSA A ded-up robust features and Image Understanding 2008 ( ) : 2 91 － 110． ， et al． Spee- TUYTELAAＲSB T ( SUＲF ， ) ［ ］ J ， 110 ． Computer Vision ( ) : 346 － 359． 3 ［ ］ 9 ［ ］ 10 ［ ］ 11 Abnormal Crowd Behavior Detection Based on Corner Kinetic in Video LU Peng ， LIANG Yu ， CHEN Shu-wei ( School of Electrical Engineering ， Zhengzhou University ， Zhengzhou 450001 ， China ) : Abstract In order to improve the performance of real-time and detection accuracy ， this paper presents a method to detect abnormal crowd behavior using corner kinetic． First the optical flow of FAST corners is cal- culated using Pyramid Lucas-Kanade optical flow method and the moving corners are selected． Then the cor- ners are clustered using k-means method and the normal corner kinetic adaptively． The local abnormal degree is defined as the ratio of the average kinetic energy of the corner in each class with the normal． The global ab- normal degree is the sum of the local abnormal degrees． Finally ， global abnormal degree is greater than the threshold otherwise ; it is believed as abnormal behavior if the it is considered as normal behavior． Experi- mental results show that the method can detect different abnormal behavior with higher real-time performance than Harris corners SIFT and SUＲF and higher detection accuracy than optical flow method social force ， model and graph analysis method． Key words abnormal crowd behavior : ; ; k-means corner kinetic ; abnormal degree ; adaptive ， ， ， ，