logo资料库

论文研究-基于角点动能模型的电梯轿厢内异常行为检测.pdf

第1页 / 共4页
第2页 / 共4页
第3页 / 共4页
第4页 / 共4页
资料共4页,全文预览结束
第 29 卷第 2 期 2012 年 2 月  计 算 机 应 用 研 究 Application Research of Computers 基 于 角 点 动 能 模 型 的 电 梯 轿 厢 内 异 常 行 为 检 测 靳海燕, 熊庆宇, 石 欣, 石为人 ( 重庆大学 自动化学院, 重庆 400044) Vol.29 No.2 Feb.2012 倡 摘 要: 针对电梯轿厢内安全,为避免发生打架、抢劫、施暴等行为,通过视频信息分析,提出了一种基于角点动 能的异常行为检测模型,以达到实时安全监控的目的。 提出一种采用 Hausdorff 距离匹配背景边缘模型的前景 目标提取方法,通过检测目标边缘的角点并计算角点的光流,根据角点光流包含的速度矢量信息建立目标的动 能模型,用于异常行为判断。 实验结果表明,该方法能有效地检测出电梯轿厢内的异常行为,且实现简单、算法 复杂度低、能够实时报警。 关键词: 电梯监控; 角点动能; 异常行为; 前景提取; 光流 中图分类号: TP391.41   文献标志码: A   文章编号: 1001唱3695(2012)02唱0775唱04 doi:10.3969/j.issn.1001唱3695.2012.02.101 Abnormal behavior detection in elevator car based on corner kinetic energy model JIN Hai唱yan, XIONG Qing唱yu, SHI Xin, SHI Wei唱ren (College of Automation, Chongqing University, Chongqing 400044, China) Abstract: To avoid fighting, robbery and violence occurred in the elevator car, this paper proposed an abnormal behavior de唱 tection model based on corner kinetic energy by analyzing the input video to achieve real唱time safety monitoring.Firstly, pro唱 posed a method of extracting foreground object by matching the background edge model using Hausdorff distance.Then, detec唱 ted the corner of object edge to calculate its optical flow, and established the kinetic energy model of the overall object accor唱 ding to the optical flow velocity vector of the edge corner to detect abnormal behavior.Experimental results show that the meth唱 od can detect abnormal behavior in the elevator car effectively, and the algorithm is of low computation complexity thus it can alarm real唱time. Key words: elevator monitoring; corner kinetic energy; abnormal behavior; foreground extraction; optical flow [1] [2] 也日 形状的单人行为识别算法 0 引言 随着经济的发展和城市规模的不断扩大,宾馆、酒店、写字 楼等高层住宅不断增加, 电梯的使用日益广泛与普及。 然而 电梯在给人类生活带来便捷的同时,其安全隐患问题 显突出。 由于电梯是一个相对封闭的公共空间,己成为犯罪分 子进行不法行为的极佳场所,电梯暴力、抢劫等事件频频发生。 为了乘客乘坐电梯时的安全,很多高层建筑的电梯轿厢内 都安装了摄像头进行监控,但是这种传统的监控方式功能单 一,只是简单的录像,当电梯内发生异常时并不能及时报警,并 且要浪费大量的人力物力从海量的数据中查找证据。 现实真 正需要的监控系统要能提供24 小时的实时监控,并能智能地 分析摄像头捕捉的信息;若电梯内发生异常情况可以及时报 警,从而避免犯罪等危险行为的发生,同时也减轻监控人员的 负担。 这就是智能视频监控系统。 目前,国内外很多学者对视频监控系统的异常检测作了大 量的研究,在行为识别与理解方面,早期的研究工作集中于采 用一些简单的几何模型来描述人体,如骨架模型、二维轮廓模   收稿日期: 2011唱07唱04; 修回日期: 2011唱08唱25  基金项目: 重庆科技攻关资助项目(2010AA2036,2008AB6115)   作者简介:靳海燕(1987唱),女,山东济宁人,硕士研究生,主要研究方向为数字图像处理、机器视觉(jinhaiyanzhj@163.com);熊庆宇(1963唱), 男,重庆人,教授,博导,主要研究方向为智能感知、控制与决策等;石欣(1978唱),男,重庆人,主要研究方向为智能信息处理、模式 识 别 等;石 为 人 (1948唱),男,重庆人,教授,博导,主要研究方向为智能感知、控制与决策等. 型、三维圆柱体模型等。 其中较为著名的是 Fujiyoshi 等人 提出的 Star唱Model,该方法提取目标轮廓最明显的五个拐点作 为人体模型进行行为判断。 后来人们开始尝试提取能够描述 人体运动特性的特征,如运动方向、轨迹、位置、速度、形状、角 度等特征来区分不同的行为。 Wang 等人提出了一种基于轮廓 [3],采用 R 变换表达行为序列中单 帧姿态信息,并用于识别单人的走、跑、下蹲和跳跃等行为。 提出著名的四元素特征流向量(x,y,dx,dy),用 Johnson 等人 来表示二维图像平面中运动目标的位置、速度信息。 Bobick 等 基于图像的时空特征,提出采用运动能量图像(motion en唱 [5] ergy images,MEI)和运动历史图像(motion history images,MHI) 来解释图像序列中人的运动。 文献[6] 根据马尔可夫随机场 邻域相关的特性,加入了连续帧的动态特征,构造 Gibbs 能量 函数来判断异常。 以上方法中,文献[3]只提取了图像的静态特征;文献[4] 仅仅考虑了图像的动态特征,并不能很好地描述人体行为;文 献[5]的方法依赖于每一帧图像中人体区域的准确提取,局限 于若干种简单的单人行为, 而不易扩展到多人间的复杂行为; 文献[6]对整幅图像中所有像素点计算能量值,计算量大。 [4] 人
·677· 基于以上方法的不足,本文根据电梯的实际应用环境,提出 了一种基于角点动能模型的电梯轿厢内异常行为检测方法。 该 方法实现简单、 处理速度快、 实时性好且具有较高的准确度,能 够快速准确地判断出异常行为,提高乘客乘电梯时的安全性。 1 基本原理 本文算法基本过程如图1 所示,主要包括三部分内容: a)目标的检测。 通过分析常用方法的不足,本文针对电 梯轿厢内的特殊环境,建立了背景边缘模型,提出一种 Hu 匹 配的目标边缘检测方法。 b)角点的光流计算。 图像的光流是很好的时空特征,包 含了像素点的瞬时运动速度矢量信息,能清晰地表示人体的运 动趋势,但是计算量大。 而计算角点的光流可以有效地减少计 算量。 c)异常行为检测模型的建立及行为判断。 根据角点光流 包含的速度矢量信息建立了一种自定义的角点动能模型,通过 计算整个目标的角点动能大小判断是否发生异常行为。 计 算 机 应 用 研 究   N [10] BE(i,j) =1 表征了两个点集之间的最大不相似程 ∑N k =1BE(i,j,k) i =1,2,…,W; j =1,2,…,H 第 29 卷 (1) 其中:BE(i,j,k)为第 k 帧图像的边缘,该边缘通过 Canny 算子 检测得到;W 和 H 为每帧图像的宽和高;N 为检测的背景视频 帧数。 2畅2 前景边缘提取 Hausdorff 距离 度,因此可以通过 Hu 距匹配当前帧的边缘轮廓和背景边缘轮 廓来提取前景。 具体检测过程如下: a)采用 Canny 算子检测当前视频帧的边缘图像; b)分别提取当前视频帧边缘图像和背景边缘图像的最外 层轮廓; c)计算当前帧边缘轮廓与背景边缘轮廓的 Hausdorff 距 离,若距离小于一定阈值,则认为该轮廓是背景边缘轮廓,反 之,为前景边缘轮廓。 通过以上方法可以去除大部分的背景边缘,提取完整的前 景边缘,图2(e)为经过 Hu 距匹配后提取的前景边缘,但是从 该图中可以看出仍然有一些噪声。 针对这些噪声,本文通过计 算前景边缘轮廓的面积和周长,将面积和周长都比较小的轮廓 去除来消除噪声。 检测结果如图2(f)所示。 法 [7] 和 帧 差 目前常 用 的 目 标 检 测 算 法 主 要 有 背 景 差 法 2 目标检测 [8]。 帧差法自适应性很强,但要求运动目标的速度要适中, 速度过大容易造成检测到的目标被拉伸,过小则易出现空洞或 断裂,而且帧间差分受噪声影响较大,很难分割出完整的运动 物体。 背景差法操作简单,检测速度快,但对光照条件变化敏 感,目标阴影也常被检测为运动目标的一部分,从而影响检测 结果的准确性。 电梯门处在关闭状态时,静止背景下的电梯轿厢内背景比 较简单。 对于固定的摄像机,背景的边缘位置及形状相对固 定,由于电梯内光照变化不大,背景边缘对光照有较好的鲁棒 性。 根据电梯这种特殊环境,本文提出了一种 Hu 距匹配背景 边缘模型的目标检测方法。 该方法可以有效地检测运动以及 相对静止的前景目标。 2畅1 背景边缘模型 检测连续 N 帧视频的边缘( 图 2(b) 为 Canny 算子检测某一背景帧的边 缘),计算每个边缘像素的平均值作为背景边缘模型 BE(i,j): 当电梯轿厢内没有人时,利用 Canny 算子 [9] 这种前景判断方法相对于其他常见的前景判断方法来说 简单且有效,对静止的前景也能准确地检测出来。 图3 给出了 几种方法的比较实例。 (a)为原始视频图像,本文分别截取了 正常行为和异常行为时的视频帧;(b) 是采用背景差法检测前 景的结果,从图中可以看出使用这种方法受光照影响比较严 重,存在大量的阴影;(c)为相邻两帧作差求出的结果,可以看 到帧差法只能检测到运动位置变化明显的目标,当人静止时无 法检测到前景目标;(d)是采用本文提出的匹配背景边缘的方 法提取的目标,从图中可以看出这种方法检测的前景目标不仅 没有阴影存在,而且对静止的前景目标也能准确地检测出来。 3 角点的光流计算 光流(optical flow)是指当物体从视频场景前面移动或摄 像机位移一定的距离时图像中产生的相应移动变化的形式,它
第 2 期 靳海燕,等:基于角点动能模型的电梯轿厢内异常行为检测 ·777·     得出整个目标的总动能。 在电梯轿厢内,正常行为时的总动能 值一般比较平稳,变化不大,而发生打架、抢劫等异常行为时, 整体目标的动能值会增大,变化很明显。 因此,用动能的变化 检测异常行为的发生是有效的。 4畅1 异常行为检测模型 (x,y),由此,可以得到角点(x,y)的速度模值为 V(x,y) = u2(x,y) +v2(x,y) angle(x,y) =arctan u(x,y) v(x,y) 通过计算光流可以得到每个角点的速度矢量 u(x,y) +iv (6) 由运动学知识可知,物体的动能公式为 E =1 (7) 2 mv2。 本文 把每个角点看做是一个质点,模仿动能式可以得出某一帧图像 中第 i 个角点的动能式: (8) 其中:Ei(x,y)是第 i 个角点的动能;wi(x,y)代表第 i 个角点的 权重;Vi(x,y) 表示第 i 个角点的速度模值,可由式(6) 求得。 由此可以得出目标总动能公式: E(n) =∑m 角点(x,y)速度方向的角度为 (9) 其中,E(n)是第 n 帧图像的目标总动能,m 代表第 n 帧图像中 目标包含的有效角点个数。 由式(6)和(8)可知,只要求出权重 wi(x,y),就可以计算 出每个角点的动能 Ei(x,y),再由式(9) 就可以计算出每一帧 图像目标的总动能 E(n)。 像素点的速度方向越混乱,发生异常行为的可能性越大, 重 wi(x,y),角度变化越大,相应的权重也越大。 设 anglek -1 (x,y)是 k -1 帧图像中第 i 个角点的速度方向值,anglek i(x,y) 是 k 帧图像中第 i 个角点的速度方向值,权重为 (x,y) 因此本文根据相邻两帧中角点速度矢量的角度变化来计算权 Ei(x,y) =wi(x,y)· V2 i =1Ei(x,y) i (x,y) π i(x,y) -anglek -1 由式(8)和(10)得出第 i 个角点的动能计算式为 i (x,y) (11) 联合式(9)和(11) 得出第 n 帧图像的目标总动能计算式 Ei(x,y) = anglek i (x,y) -anglek -1 wi(x,y) = anglek (x,y) (10) · V2 π i i i (x,y) i(x,y) -anglek -1 i π · V2 (12) i (x,y) E(n) =∑m anglek i =1 4畅2 异常行为判断 人的运动幅度越大,运动方向越混乱,电梯轿厢内发生异 常行为的可能性就越大。 根据式(12) 计算出每一帧的目标总 动能 E(n),然后让 E(n) 与某一固定阈值 E0( 本文阈值设为 15 000)进行比较,若 E(n)≥E0,则认为电梯轿厢内有异常行 为发生,同时发出报警信号。 5 实验结果与分析 5畅1 能量曲线 本文实验是在计算机上进行的,操作平台是 Windows XP, CPU 为双核1.8 GHz ,2 GB 内存。 摄像头为 30 万像素,分辨 是空间物体在观测成像面上像素运动的瞬时速度 [11]。 光流场 (optical flow field)是指图像灰度模式的表面运动。 图像的光 流结合了图像的静态特征(如形状、大小、颜色、纹理、梯度、轮 廓等)和动态特征( 如位置、速度、方向、轨迹等),包含了像素 点的瞬时运动速度矢量信息,能清晰地表示人体的运动趋势, 受到外表特征的干扰最少,可以根据图像的光流检测异常行 为。 但光流计算有个缺点就是运算量大、速度慢。 图像角点在保留图形图像重要特征的同时,可以有效地减 少信息的数据量,因此本文通过计算角点的光流,大大减少了 数据量,提高了算法的运算速度。 3畅1 边缘角点的检测 由第1 章可知需要得到的是二值化图像的边缘信息,由于 二值图像处于灰度和边缘轮廓图像的中间步骤,所以专门针对 此类图像的角点检测方法并不多见。 根据文献[12] 可知,基 于灰度图像的各种处理方法对二值化图像仍然有效,本文采用 了基于灰度的角点检测方法。 Harris 算子 灰度的角点检测方法,通过计算图像像素点的梯度及曲率来判 断角点。 因此本文采用 Harris 算子检测目标边缘的角点。 3畅2 角点的光流计算 是一种基于图像 [12] 角点的光流计算 对于给定的两帧连续图像 In(x,y)、In +1(x,y),第 n 帧图 像 In(x,y)上某一角点 u =(ux,uy),在图像 In +1(x,y) 中找到 具有相似图像强度的一点 v =u +d =[ux +dx,uy +dy]T,其中 向量 d =[dx,dy]T 为角点 u 的速度向量,即在 u 点的光流。 以 u 点为中心,在 In(x,y)、In +1(x,y)分别建立(2wx +1,2wy +1) 的对应区域窗口,wx 和 wy 的取值为2 ~7 个像素,假设窗口内 的像素具有相同的运动速度矢量 d。 定义窗口内像素的灰度 方差: [13] 方法如下: ε(d) =ε(dx,dy) = ∑ux +wx x =ux -wx ∑uy +wy y =uy -wy In +1(x +dx,y +dy))2 (In(x,y) - I2 x IxIy (2) ε(d)对位移矢量 d 求偏导并令其为0,In +1(x +dx,y +dy) 在 d =0 处进行一阶泰勒级数展开,定义空间梯度矩阵 y (4) IxIy I2 ∑uy +wy y =uy -wy G = ∑ux +wx x =ux -wx ItIx ItIy ∑uy +wy y =uy -wy dopt =G -1 b (3) 式中,Ix =抄I/抄x,Iy =抄I/抄y。 设灰度时间微分 It =In(x,y) - In +1(x,y),定义误匹配矢量为 b = ∑ux +wx x =ux -wx 则角点 u 的光流计算方程为 (5) 通过以上算法可以计算出每个角点的光流,根据光流包含 的速度矢量信息就可以计算出每个角点的动能。 4 异常行为检测模型及异常行为判断 视频并不只是看成图像帧在时间域上的累积,图像帧序列 中像素之间的联系和变化还隐含着丰富的能量信息。 从运动 学的角度考虑,物体的运动过程可以用动能的变化过程来表 示,本文从物体运动时具有动能的思路出发,把每个角点看成 一个质点,先求出每个角点的动能,然后对所有角点动能求和 如下:
计 算 机 应 用 研 究   第 29 卷 16 ~27 fps 之间,而 MRF 算法的处理速度为15 ~24 fps 之间, 可见本文算法的实时性也比较好。 ·877· 率为320 ×240,采集速度 30 fps。 通过 VC6.0 开发平台编写 C ++代码并加载 OpenCV 函数库来实现本文算法,并验证算 法的准确性和实时性。 首先给出了正常行为和异常行为时的 动能变化曲线。 图4 是某一视频序列能量关于帧数的曲线变化情况。 从 图4 中可以看出,整体目标动能值低于动能阈值时属于正常行 为,动能值变化不大;当目标动能值高于给定的动能阈值时属 于异常行为,此时动能值急剧增加,并且变化幅度较大。 从图 中可以看出,分别在第 90 ~105 帧、182 ~237 帧、497 ~560 帧 发生了异常行为。 6 结束语 本文从物体运动时具有动能的思路出发,把角点看成一个 质点,建立了角点动能模型,提出了一种基于角点动能模型的 异常行为检测方法。 根据电梯的特殊环境,提出了一种 Hu 距 匹配背景边缘模型的目标检测方法。 该方法对噪声、运动速度 变化等具有较好的鲁棒性,能准确地检测出运动和静止的目 标。 用 Harris 算子检测角点,根据角点光流包含的速度矢量信 息建立了整体目标的动能模型,通过计算每帧视频整体动能值 来判断是否发生异常行为。 实验结果表明,该算法实现简单、 复杂度低、准确率高。 在以后的工作中,笔者会进一步完善算 法,把该算法应用到其他公共场合的视频监控中。 参考文献: [1] 汤一平,赵煦华,周宗思.基于无线通信的电梯视频监控系统[J]. 计算机工程,2008,34(3): 263唱265. [2] FUJIYOSHI H, LIPTON A J, KANADE T.Real唱time human motion analysis by image skeletonization[J] .IEICE Trans on Information System,2004,E87唱D(1):113唱120. [3] POPPE R, POEL M.Discriminative human action recognition using pairwise CSP classifiers [C] //Proc of IEEE Conference on Automatic Face and Gesture Recognition.2008:1唱6. [4] JOHNSON N, HOGG D.Learning the distribution of object trajecto唱 ries for event recognition[J].Image and Vision Computing Jour唱 nal,1996,14(8):609唱615. [5] BOBICK A, DAVIS J.Real唱time recognition of activity using temporal templates[C] //Proc of IEEE Workshop on Applications of Computer Vision.1996: 39唱42. [6] 蒲静,胡栋.基 于 时 空 Markov 随 机 场 的 人 体 异 常 行 为 识 别 算 法 [J].计算机应用,2010,30(8):2238唱2240. [7] 胡彪,龚晓峰.基于改进背景差法的运 动 目 标 检 测[J].计 算 机 工程与设计,2010,31(17):3841唱3844. [8] 李刚,邱尚斌,林凌,等.基于背景差法和帧间差法的运动目标检 测方法[J].仪器仪表学报,2006,27(8): 961唱964. [9] 吕哲,王福利,常玉清.一种改进的 Canny 边缘检测算法[J].东北 大学学报:自然科学版,2007,28(12): 1681唱1684. [10] 印勇,张毅,刘丹平.基于改进 Hu 矩的异常行为识别[J].计算机 技术与发展,2009,19(9):90唱92. [11] 蒋晓瑜,姚军, 宋 小 杉,等.基 于 局 部 光 流 约 束 的 角 点 匹 配 算 法 [J].光学技术,2010,36(2):229唱234. [12] 赵文彬,张艳宁.角点检测技术综述[J].计算机应用研究,2006, 23(10):17唱19. [13] 江志军,易华蓉.一种基于图像金字塔光流的特征跟踪方法[J]. 武汉大学学报:信息科学版,2007,32(8): 680唱683. 图5 是实验结果的部分截图。 从两组图中可看出,本文算 法对不同的光照具有较好的鲁棒性。 为了直观地反映正常行 为和异常行为的区别,图中显示了角点的运动,当有异常行为 发生时,角点平移运动的幅值和方向变化都很大。 5畅2 与马尔可夫随机场(MRF)比较 的空间信息和连续帧的时间信息把目标整体能量函数分成能 时空MRF(Markov random field)根据每个像素点与邻域点 量函数的空间算子 Uspace(x)和时间算子部分 Utime(x),依据能 量式 U(x) =Uspace(x) +αUtime(x) 计算图像的能量值。 α为两 部分的权重系数。 为了验证本文算法的准确性,在实验室电梯平台上进行了 多次实验,并与 MRF 进行比较,其比较结果如表1 所示。 可以 看出,本文算法的准确率能达到95%,比 MRF 法效果好。 准确率/% 表 1 比较结果 正确检测次数 方法 测试次数 95 90 95 90 光流法 MRF 法 100 100   本文提出的算法不仅能准确地检测电梯轿厢内的异常行 为,而且实时性也很好。 图6 是本文算法与 MRF 算法处理每 帧视频图像的时间曲线比较。 对应于图4 的视频序列,从图6 中可以看出,当异常行为发生时,本文光流算法的处理速度在
分享到:
收藏