安防与监控中的基于开源软件MJPG_Streamer的智能视频监 安防与监控中的基于开源软件 的智能视频监 控系统设计 控系统设计 摘 要：针对目前开发数字化的视频监控设备普遍成本较高、周期较长的特点，在ARM+Linux嵌入式平台，应用 开源免费软件MJPG_Streamer实现视频图像的采集以及通过TCP/IP网络协议传输到上位机进行远程显示。同时 提出了一种结合三帧差分算法和背景减法的目标检测算法，实现智能控制。实验结果表明，该系统能够进行实 时的、远程的监控，同时能够快速对入侵目标进行语音报警。 　　1 引言 　　近年来，随着计算机技术、光电 技术、数字图像处理技术、嵌入式技术和网络通信技术的不断发展，高度集成的数字化、网络化、智能化的数 字视频技术已经了取代传统的模拟视频监控技术。目前，世界各国对视频监控的需求与应用不 　　摘 要：针对目前开发数字化的视频监控设备普遍成本较高、周期较长的特点，在ARM+Linux嵌入式平台，应用开源免费 软件MJPG_Streamer实现视频图像的采集以及通过TCP/IP网络协议传输到上位机进行远程显示。同时提出了一种结合三帧差 分算法和背景减法的目标检测算法，实现智能控制。实验结果表明，该系统能够进行实时的、远程的监控，同时能够快速对入 侵目标进行语音报警。 　　1 引言 　　近年来，随着计算机技术、光电技术、数字图像处理技术、嵌入式技术和网络通信技术的不断发展，高度集成的数字化、 网络化、智能化的数字视频技术已经了取代传统的模拟视频监控技术。目前，世界各国对视频监控的需求与应用不断扩大，推 动着全球视频监控市场迅速的发展。根据市场调查公司IMSResearch的预测，全球视频监控市场将从2008年的115亿美元增加 至2015年的377亿美元，年复合增长率达到20.4%.在这一市场中，监控摄像头、服务器、编码器以及软件是视频监控系统的 主角。 　　本文提出一种基于ARM+Linux嵌入式平台的的智能视频监控系统，充分利用开源操作系统和开源免费软件 MJPG_Streamer的特点，实现了在线实时监控。同时提出了一种目标检测算法，该算法在后台运行，实现了智能控制，能够 对入侵目标进行语音报警。该监控适合针对一些特定场合的监控。 　　2 系统硬件平台 　　视频监控系统以S3C2440处理器为核心，外围器件有Flash、SDRAM、以太网卡DM9000、声卡UDA1341以及CMOS接 口摄像头OV9650,在Linux环境下对摄像头采集到的原始图像帧进行处理以及压缩，通过网络协议传输到PC上位机进行显示。 系统硬件平台结构如图1所示。 　　 　　3 构建ARM+Liunx嵌入式平台 　　在系统硬件平台上构建嵌入式Liunx系统，需要引导程序BootLoader和Linux源码，本系统需要移植bootloader源码，然后 用Jtag接口将其烧写到Flash中，从Flash中启动，引导在PC机上交叉编译后的Linux镜像及根文件系统，之后启动Linux系统。 　　3.1 网卡和声卡驱动移植 　　由于在Linux内核中提供了以太网卡DM9000设备驱动功能层主要的数据结构和函数，所以在实际移植网络设备驱动程序 时，要完成的工作就是根据实际以太网卡DM9000参数修改相应的内核代码。同样，在Linux内核源码中的标准音频编程模型 已经包含一套完整的内核驱动程序模块，为各种各样的声卡提供了统一并且简单易用的编程接口，如open（）、read（）、 ioctl（（）等函数，所以在声卡UDA1341移植过程中对内核源码做简单修改即可。 　　3.2 语音播放功能的实现 

　　完成了声卡驱动移植后，为了方便对音频文件的播放，停止等操作进行控制，还需要移植专业的高精度解码器 Madplay.Madplay是一个根据MAD算法写的MP3播放器，解码效果相当出色，而且支持命令行，特别适合于在嵌入式系统使 用。移植过程中分别编译zlib库、libid3tag库和libmad库，最后编译madplay源码并且把编译出来的madplay下载到系统中即 可，之后就可以对录制好的音频文件进行播放。 　　嵌入式平台构建完成后，先后用命令ifcongfig和madplay进行网卡和语音模块测试，从图2可以看出Linux系统启动成功， 网卡和声卡驱动配置成功了，并且可以使用Madplay播放器播放录制的音频文件。 　　 　　4 MJPG_Streamer功能的实现 　　 　　MJPG_Streamer是一款免费的视频流服务器软件，采用的是V4L2视频设备开发框架，它能够将从摄像头采集到的图像以 JPEG格式通过TCP/IP网络协议传输到上位机进行显示。 　　4.1 MJPG_Streamer移植 　　在MJPG_Streamer源码目录中，把所有Makefile文件的CC=gcc改为CC=arm-linux-gcc,然后进行编译，生成的主要组件及 功能如下： 　　input_uvc.so组件：主要完成了摄像头图像的抓取，同时将原始YUV 格式图像转换和压缩为JPEG格式图像。 　　input_control.so组件：主要完成对支持调整方向摄像头的转动方向的控制。例如云台控制器，云台控制是为了实现多角 度监控的功能。 

　　output_http.so组件：这是一个功能完整的WEB服务器，它将压缩后的JPEG 图像以HTTP视频数据服务流形式输出。 　　output_file.so组件：这个组件的功能是将压缩后的JPEG图像存储到特定的文件夹下，用来抓拍和存储网络摄像机监控中 的静态图像。 　　4.2 目标检测算法的研究 　　基于帧间差分法对光照变化干扰不敏感，提取前景目标容易产生“空洞”的现象，而背景减法对光照变化较敏感的现象，本 文提出了一种结合三帧差分算法和背景减法的目标检测算法。经过与目前常用的算法相比，例如混合高斯模型和改进的混合高 斯模型，本文的算法不仅降低了运算的复杂度，适合在ARM 平台运行，同时又可以达到准确检测的效果。算法实现流程如 下： 　　（1）建立背景模型，提取前景目标先把采集到的彩色图像利用式（1）转为灰度图，取前n帧图像，对每个位置像素的像 素值求均值作为背景像素，表示为式（2）。利用当前帧减去背景帧得到包含前景的图像，根据阈值Th对图像进行二值化处理 得到T（x,y），如式（3）、（4）所示。 　　式中，Th代表阈值，T（x,y）代表二值化后图像。 　　 　　考虑到摄像头固定，背景像素灰度值变化比较缓慢，而前景目标像素灰度值变化相对较快。为了让背景模型适应光照缓慢 的变化，需要对背景模型进行实时更新。其中a为背景更新率，取值范围是（0,1）。 　　Bn+1（x,y）=（1-a）Bn（x,y）+apn（x,y） （5）在差分图像S（x,y）中大量存在的是具有较高灰度值的前景像素和具 有较低灰度值的背景像素。 　　所以，提出一种阈值根据当前差分帧S（x,y）自动更新的方法。 　　求出当前差分帧S（x,y）图像灰度的最大值和最小值，求得二者均值T.利用均值将图像分为目标和背景两部分，利用式 （6）求出两部分均值k1和k2,最后由式（7）得到阈值Th. 　　 　　（2）利用三帧差分算法提取目标选取连续三帧图像Dk-1（x,y），Dk（x,y）和Dk+1（x,y），进行两两差分得到 D1（x,y）和D2（x,y），二值化处理后，二者进行与运算，提取前景目标。 　　（3）前景目标融合将背景减法的前景图像T（x,y）和三帧差分算法得到图像D（x,y）进行或运算，该运算利用了背景减 法的优点，避免了单独利用三帧差法带来的空洞现象。同时发挥三帧差法对动态背景变化适应性强的特点。 　　 　　（4）前景目标形态学处理由于融合后的图像Q（x,y）中存在着噪声点和一些空洞，有必要对图像进行中值滤波，然后交 替的应用开运算和闭运算，起到既去毛刺又填充的双滤波目的。 

　　根据本文的算法，采用静止的摄像头采集视频序列。图3所示为在Visual C++2005平台上的仿真结果。根据结果可得，本 文算法能完整的提取运动目标，有效的消除空洞，检测结果准确。此时系统可以快速的检测到入侵物体，同时用Madplay播放 录制好的音频文件进行语音报警。智能监控实现流程如图4所示。 　　4.3监控平台测试 　　 　　在Linux平台输入以下命令，启动监控系统。在PC上位可以通过MJPG_Streamer软件自带的图形界面进行显示，也可以 通过网页浏览器进行页面显示。经试验，当有物体进入场景时，能够快速的进行语音报警。当平台测试完毕后，把 MJPG_Streamer设置为在Linux启动后自动运行。见图5. 　　5 结束语 　　 　　本文设计的基于软件MJPG_Streamer视频监控系统，具有实时性好，远程监控，上位机简易，开发周期短，易于实现的 特点。系统实现了语音报警的功能，充分利用了ARM 平台的特性，不需要设计额外的语音模块电路。系统的目标检测功能已 完成，下一个研究方向是利用软件MJPG_Streamer对云台控制的支持，实现模式识别和跟踪算法，使系统的功能更强大，应 用范围更广。