文章编号：1671—4598(2010)03—0517—03 中图分类号：TP391．41 文献标识码：A 基于全方位计算机视觉的遗留物检测系统 汤一平，富吉勇，陈耀宇 (浙江工业大学信息工程学院，浙江杭州 310032) 摘要：针对目前在遗留物检测方面所存在的检测范围小、误检率过高和无法捕捉到遗留物放置者等问题，设计了一种基于全方位计 算机视觉的遗留物检测系统；首先，采用全方位视觉传感器(omni—Directional Vision Sensors，ODVs)来获得更大范围的全景视频检 测区域；其次，利用一种基于两个不同更新率的改进的混合高斯分布模型的建横方法，获得两个背景模型，再通过当前帧与获得的两个 背景模型进行差分运算得到当前帧的暂时静止对象；再次，根据时间指标和距离指标判定暂时静止对象是否属于遗留物；最后，将遗留 物所处的空间展开成透视图来进行报警；实验结果表明，该系统能有效地检测全景范围内的遗留物，具有较高的检测精度和鲁棒性。 关键词：遗留物检测；全方位视觉传感器；混合高斯分布模型}长短周期f行为判断 A System of Abandoned obi ects Detection Based on Omni—Directional Computer Vision (C01lege of Infomation Engineering，Zhejiang University of TechrIology， Hangzhou 310032，China) Tang Yiping， Fu Jiyong， Chen Yaoyu Abstran；At present，vide0 surveinance used in the field of abandoned objects detection has faced the problem5：limit of detection range， high mistake of detection，unable to detect the owner of abandoned object5．：fhsed on this situation。designed an abandoned objects detection syst咖based on computer visioII．At first，0mni—Directional Vision Sensors(ODVS)is used to get 1arger detection area．Secondly，we use an improved mjxed(bussjan modeJjng method based on two different update rat∞in order to get two backgfound models，then subtract cur‘ rent frame from the two background models in order to detect the temporarily static objects．Thirdly，judge the temporariIy static objects as abandoned objects or not，u8ing the standard of time and distance． At last，alamed after the abandoned object was detected． Experimental results show that the system is mbust enough to detect the abandoned objects effectively． Kq w咖s：abandoned objects detection，ODVS，Gaussian mixture model，long—short cycle，behavior estimation· O 引言 当今世界反恐形势严竣，为保证社会安全，对可疑遗留物 件的检测已成为机场、体育馆、候车厅和展览馆等公众场合安 防系统不可缺少的内容。 遗留物是指被运动主体携带从运动到静止，然后与运动主 体分离，静止超过一定时间并且没有所属主体的物体[1]。遗留 物检测属于静止物体检测的范畴，目前对静止物体检测的应用 主要是违章停车和遗留物检测，违章停车的应用较多，而对于 遗留物的检测应用，还需要迸一步的完善，提高检测的精 度‘21。遗留物检测之所以复杂，是因为需要进行遗留物检测的 环境复杂，如机场等公共场合存在很多遮挡问题，并且不仅仅 是判断物体是否从运动到静止，更需要建立模型，判断物体是 留物。 论文[1—2]和[4]中阐述了多种遗留物检测方法，核 心思想为：建立背景模型检测暂时静止物体，然后根据暂时 静止物体区域边缘轮廓以及其它先验知识来判断是否为遗留 物。上述这些遗留物检测方法及系统存在着几个主要问题： (1)由于摄像装置的视觉范围有限，要检测较大场景范围的 遗留物必须采用多个摄像装置；(2)由于没有考虑视频图像 中运动对象和暂时静止对象发生事件的时间序列，缺少行为 判定准则，会造成较高的误检测率；(3)无法获得遗留物放 置者的信息。 2 系统框架 本文设计了一种基于全方位计算机视觉的遗留物检测系 否被运动主体携带从运动到静止，是否没有所属主体。 统，如图1所示。系统中主要包括了用于监视大范围全景内安 1 相关研究 中国发明专利[3]公开了一种遗留物检测方法及系统。包括 以下步骤：(1)检测前景像素点，特征化前景像素点；(2)对 前景像素点特征化的持续状态进行计时，提取计时达到预设值 的像素点；(3)检测出由提取的像素点形成的连通区域，确定 为待分析目标； (4)分析目标的运动特性以确认是否为遗 全情况的视觉传感器以及用于根据视觉传感器的信号进行遗留 物检测的功能模块。 主要功能模块包括： (1)0DVS图像获取模块：用于获得监控场景的全景视频 图像，包括系统初始化单元和图像获取； (2)场景内对象检测模块：用于抽取出监控场景内的运动 对象、暂时静止对象和场景静态对象，包括长短周期背景建模 单元和对象区分单元} 收稿日期：2009一07—03；修回日期：2009—08—19． (3)遗留事件检测模块：用于检测出在场景内发生的各种 作者简介：汤一平(1958一)，男，浙江杭州人。博士，教授。主要从 遗留事件的状态，包括遗留物品的携带者跟踪单元、遗留物品 事全方位视觉传感器及其应用、计算机视觉等方向的研究． 的携带者抓拍单元和遗留状态判断单元。 中华测控网 chinamca．com ˝ • ‰ ˚ 

·518· 尺 I (图像获取单元) 0燃习 (初始化单元) 上 厂图像获取模块、 上 I 厂对象检测模块、 (长短周期建模) (对象区分单元) (状态判断单元) 工 ， 、 透视图展开模块 图1遗留物检测系统流程图 3系统详细设计 3．1 无死角的全方位视觉传感器 全方位视觉传感器ODVS摄像机主要由一次折反射镜面、 二次折反射镜面、广角镜头和CCD摄像机组成。通过二次折 反射将水平方向一周的全景图像折反射给CCD摄像机成像， 这样就可以在一幅图像中获取水平方向360。的全景视频信息。 无死角0DVS的结构图如图2所示。 图2无死角0DVS的结构图 计算机测景与控制 第18卷 止对象，存在着如下一些问题：当背景像素更新率较快时，暂 时静止的对象可能会被误检为背景；而更新率较慢时，暂时静 止的对象又可能会和运动对象一起被检测为前景。 为解决这上述问题，Fatih Po缺li提出了一种改进的前景 对象提取算法‘“，其基本原理是：建立两个混合高斯分布背景 模型，赋予较小、较大的模型更新率，而其它的初始化参数如 高斯分布个数、标准方差和权重系数等都是相同的。分别采用 BL(10ng—term background)和Bs (short—tem background) 表示更新较慢和较快的背景图像。每当获取一帧新图像，便分 别与BL和Bs进行差分运算，得到FL(Foreground Long)和 Fs(Foreground Short)，FL和FS就能分别表示更新较慢和较 快的前景图像。由于更新率的不同，在更新较慢的FL中可能 包含了运动对象、暂时静止对象和噪声等；而在更新较快的 FS中包含了运动对象和噪声等。根据FL和Fs值之间的关系， 可判断归纳出当前帧内某像素的4种不同类型，判定结果如表 1所示： 表l根据FL和Fs值判断某像素的类型 类型 FL‘J，，) F鼬．，) I Ⅱ Ⅲ Ⅳ 1 1 0 0 1 0 1 0 预测类型 运动对象 暂时静止对象 随机噪声 场景静态对象 类型1：如果该像素属于运动对象，那么在任意背景模型 更新率下都是属于前景， 类型2：如果该像素是从运动状态转为静止状态，若更新 率较大，它将被视为背景，相反，在更新率较小的背景图像 下，它是属于前景的； 类型3：如果该像素是在某时刻被遮挡，然后解除，那么 对于新显现的颜色，更新率较小的背景图像由于无法做到实时 更新，仍然判定该像素为背景，而更新率较大的背景图像则做 无死角0DVS应用于遗留物视频检测的优点是：(1)一 出相反决策； 个0DVS就能实现大范围场景进行监控；(2)在对遗留物品 类型4：如果某像素是属于静态场景的一部分，那么在不 携带者进行跟踪时避免了用多个摄像头进行信息融合的繁琐工 同更新率的背景图像下都将被视为背景。 作；(3)获取一个场景图像时，ODVS在场景中的安放位置更 只有在类型2即FL(z，y)一1^FS(z，y)=O时，该 加自由。具体设计请见参考文献[5]。 3．2暂时静止物体检测 遗留物必须是暂时静止物体，为了有效地检测暂时静止物 体，本文采用文献[6]提出的方法。该方法以混合高斯分布 模型来建立两个不同更新率的背景模型，再根据其与当前帧的 差值来得到两个不同更新率的前景对象，然后从不同更新率所 获得的前景对象来判断全景内各种对象的状态。 像素才有可能是暂时静止对象。出于增强系统检测鲁棒性的目 的，可以构造一个基于统计信息的可能性函数L来判断该像 素(z，y)是否属于暂时静止对象，其定义如式(1)所示。 rL(z，，)+1，FL(；．，)=1^Fs(，，，)=O L(z，y)；j L‘而∞一bFL(“一≠1^F‰口)≠o ’ (1) 1 l maK，L(z，y)：>ma瓦 o，L(z，y)ma】【c时，该像素 择混合高斯分布模型的子集来表征当前的背景I如果当前像素 就被判定为属于暂时静止对象。志表示可能性函数的衰减速 点的颜色与混合高斯分布模型相匹配，则判定该点为背景点， 率，它决定了当暂时静止对象从场景移除后，也就是在该对象 否则判定该点为前景点。 融为场景背景或重新运动的情况下，系统解除警示的反应 采用混合高斯分布模型对背景像素进行建模来检测暂时静 速度。 中华测控网 chinanlca．cOm ˝ • ‰ ˚ 

第3期 3．3遗留物检测 汤一平，等：基于全方位计算机视觉的遗留物枪测系统 ·519· (c)为(b)对应的长周期前景二值图，由图可知人和物都被 我们根据表2的准则判断暂时静止物体是否真正处在遗留 检测为前景；(d)为(b)对应的短周期前景二值图，只有人 状态。 被检测为前景；(e)为(b)对应的遗留物检测结果。 表2遗留物综合判定表 类型 距离指标一d 时间指标一￡ 结果 超过所规定的距离 静止时间超过所规 确认为遗 定的时间1’ 留物 静止时间超过所规 确认为遗 定的时间T 留物 类型1 D或者完全消失 所规定的距离D 类型2 的范围内无运动 对象 范围内运动对象轨 类型3 类型4 迹线的斜率与到遗 静止时间超过所规 确认为遗 留物的连线斜率的 定的时间丁 留物 差>士西 除了类型1～3距 静止时间超过所规 可疑遗 离指标以外的情况 定的时间．r 符合类型1～3距 静止时间未超过所 可疑遗 留物 类型5 离指标 规定的时问T 留物 距离指标d用于确认遗留物品与遗留物品的携带者相分 离的状态．当遗留物品的携带者与遗留物品开始分离时刻时， 得到遗留物的位置信息(Q，n)，然后不断地读取从遗留物 品的携带者跟踪单元中所计算得到的携带者的位置信息(￡， S，)，然后计算这两个点之间的距离，计算方法由式(2) 所示： d一／五『=刁万—彳可=石y (2) 时间指标f，用于计算暂时静止物体停留的时间，取物体 被检测为暂时静止物体时的计算机系统时间为Ts。，然后取 当前的计算机系统时间丁N。，物品所经历的静止时间可以由 公(3)计算： 3．4透视展开算法 ￡=Tl¨一氏。 (3) 当通过上述遗留物检测方法检测到全景场景中的遗留物后 (包括确定遗留物以及疑似遗留物)，系统需要预警以提示监控 人员进一步确认。由于ODVS所采集的全景图像不符合人的 视觉习惯，所以系统提供柱状展开视图方便监控人员查看，展 开算法请见文献[6]。 4实验研究与分析 图3暂时静止物体检测的中间结间 在暂时静止物体判定为遗留物实验中，设置时间指标￡=4 秒，即物体从被检测为暂时静止物体开始时算起，若静止时间 超过4秒则被检测为遗留物。如图4所示，(a)为第225帧全 景图，此时物体开始被检测为暂时静止物体；(b)为(a)经 过95帧后的第320帧全景图，因为实验数据为30帧／s的视 频，95帧图像经过的时间为95／30<4s，所以在320帧时物体 没有被判定为遗留物；(c)为(a)经过125帧后的全景图， 由于125／30>4s，所以暂时静止物体被判定为遗留物} (d) 为第400帧图像，很显然物体依旧被认为是遗留物。 图4遗留物检测 为了验证系统算法的的有效性，我们在浙江工业大学存中 楼大厅(监控面积约80m2)内进行了遗留物模拟实验。实验 方法是人将一个纸箱带入到场景内，然后离开场景。我们将 5 总结 0DVS安置在大厅的中间，成像器件的分辨率为640*480像 素，30帧／s。实验平台的微处理器采用主频为2．6GHz的 AMD AthIon双核处理器，内存2G。实验主要验证了长短周 期检测暂时静止物体如何判断为遗留物。 在混合高斯长短周期建模检测暂时静止物体实验中，取高 斯分布模型匹配的阈值2．5，高斯分布模型是否有效的阈值 o．5，高斯分布个数为3，标准方差的缺省值为25，各分布的 权重缺省值为o．05，更新率较慢的赋值为o．001，更新率较快 的赋值为O．05。设置阈值maK为80，衰减系数矗为1。如图 3(a)为0DVS拍摄的全景图；(b)为全景图的局部放大图； 本文实现了一种基于全方位计算机视觉的遗留物检测。首 先通过0DVS获得大范围监控全景图像，然后根据长短周朝 高斯建模来预测各种对象类型，接着根据判定为暂时静止对象 和时间指标、距离指标来判断是否为遗留物，最后将遗留物所 处的空间展开成透视图来进行报警。实验结果表明本文所提出 的检测算法能有效地检测出整个全景内的遗留物体。今后的研 究将注重对遗留物的携带者进行跟踪、抓拍和识别，并加人行 为语义化处理流程[8]，同时也会关注遗留物被其他人拿走的视 频检测。同样也要进一步优化系统程序来提高系统的鲁棒性和 实时性。 (下转第523页) 中华测控网 chin锄ca．com ˝ • ‰ ˚ 

一．苎=蝥塑孳氅都孳=!考笔鬯薹譬一兰堂：要xy三銮冀 篓兰哆量兰孑奎妻，，堂篓有苎苎。整，琶鬯毫銎．形薹二票常苎挚 譬翌鬈懋妻：曼登挚要!晨鬟}}!：．鬯苎立：竺。?矗；巍吴成装窑妄某疾态改变吾；≥i。言≤茜高。步，”毛茹莱 (3)IETM管理：包括单个IETM的管理和基于IETM群 的总体管理。单；囊善一I；南。的管理善霰托装备毫体人i： 荽篓望兰委霎竺芋要，挈二．荟巴c：：耄w誓，篁耋兽祭囊： 釜竺三：兰詈!；i罂苎二!笔。氅=!譬昱2苎苎套兰规竺竺 元素转换和显示，从而实现文档内容与显示样式的分离。使用 蓑弃美：。萎蕃麦主磊茹善羞蔷喜。总体善妄。兰；主茹；；；=薪： 嚣基藻责芸天_茬凳言嚣裹某茹晶主磊芏薯茹萎i蔷磊等i善 ”。”‘““…”“。…‘“1～～。”“一“…’5……”1”“ 标记属性的控制。 (2)用户界面 4结束语 在航天高密度任务背景下，IETM的应用能有效提高测控 用户界面是测控装备IETM推广应用的关键，根据测控 装备保障效率，以减少信息查询时间、提高维修效率和保证装 装备使用维护和岗位训练的特点，为充分发挥IETM功效， 设计用户界面时遵循了以下原则： ①屏幕设计均衡、简洁、一致。 ②人机交互具有指导性和层次性。系统自动匹配历史输 入，灵活进行信息参引。 ③信息集成模块化。测控装备信息主要包含在操作手册、 安装手册和故障汇编等资料中，系统为了保持IETM内容与 纸质资料的一致性，将IETM信息按照上述手册进行集成， 分类存储显示。 ④显示样式多样化，采用了文字、图形图像和多媒体等多 种样式综合显示信息。 3 IETM应用模式 备的战备完好性。同时也为装备综合数据环境、装备管理信息 系统和实力评估等信息化建设打下坚实的基础。在航天测控装 备领域推广应用IETM是一个较为庞大的系统工程，本文探 讨了IETM应用建设的第一阶段，对于与装备厂家的接口规 范、数据交换和职责划分等内容还需进一步研究。 参考文献： [1]李勇，王洪．军用飞机交互式电子技术手册研发探讨[J]．航 空标准化与质量，2006，(3)：32—36． [2]李宗亮，顾宗磊，等．基于AsD s1000D的IETM创作研究[J]． 科学技术与工程，2007。7(7)；4939—4943． [3]丁 凡．AsD sloooD规范简介[J]．航空标准化与质量，2006， 利用通用的IETM开发平台，地域分布的各测控装备可 (3)：53—56． 以开展各自交互式电子技术手册的创作，所形成的各类数据以 数据模块形式保存在公共源数据库中，并通过网络浏览器访问 及查询。由此形成了以公共源数据库为中心的测控装备IETM [4]周伟祝，唐金国．AsD sloooD规范中的数据模块编码分析[J]． 世界标准化与质量管理，z008，6． [5]常雷，杜晓明，等．IETM数据模型标准研究口]．计算机测量 与控制，2009，(4)． 群，各级各类用户依据权限访问和使用装备信息，达成。一次 水哆尊啦乎辨班哆毋哆浮啦乎哆水哆淖丛啦脚蝴哆诤韭淖哆淖珏粤眵淖哆淳哆礴韭尊啦谆哆亭蟑谆蚌淖蟑淖哆水脚i’诤曲淖l，净蜉世曲谆鹳罅哆孕哆水哆尊哆水哆淳哆乎哆水哆—啦淖哆净哆淖哆淖哆水哆淖驴谤曲谆B津睁—i桫 (上接第519页) 参考文献： jects in Public Areas” [A]．IEEE International conference on Ro— botics and Automation[C]．May．2006． 3775—3780． [1]Yingli Tian，Rogerio Feris，Arun Hamp-apur．Real—Time Detec— [5]汤一平，叶永杰，朱艺华，等．智能全方位视觉传感器及其应用研 tion of Abandoned and Removed 0bject in Complex Environments 究口]．传感技术学报，2007，20(6)：1316—1320． [A]．The Eighth International workshop Visual surveillance[c]． 2008．95—102． [6]Porikli F．Detection of temporar订y static regions by processing video at different frame rates[A]． 2007 IEEE conference on advanced [2]李国辉，涂丹．袁见．监控视频运动目标检测减背景技术的研 video and signal based surveillance[C]．2007． 236—241． 究现状和展望[J]．中国图形图像学报，2006，11(7)：919 [7]P．KaewnaKuIPoflg∞d R B0wdelk An improved adaptive hckgrouIld -927． [3]刘德健，赵 勇．遗留物检测方法及系统[P]．中国专利： CNl01231696，2008一07—30． lIlixture model for real—time trackirlg、“th shdow detection[A]．．m ProceedirIgs of the 2lld Europem Workshop on Adv∞oed V．de0一Based Sun，eillance Syste眦[c]．Sept．2001：pp．274—279． [4]N．Bird，s．Atev，N．caramelli，R．Martin，O．Masoud，N．Pa— [8]汤一平，何祖灵．动态图像理解技术在ATM智能监控中的应用 panikolopoul08，。Real Time．Online Detection of Abandoned Ob— [J]．计算机测量与控制，2009，(6)t 1110一1113 中华测控网 chinamca．com ˝ • ‰ ˚