武汉理工大学硕士学位论文基于嵌入式Linux的网络视频监控系统研究姓名:郑磊申请学位级别:硕士专业:机械电子工程指导教师:郭顺生20090301
摘要Linux和嵌入式系统都是计算机技术领域中的研究热点,两者的结合,为它们开辟了新的发展空间。Linux由于其源代码公开、内核精简、支持多种硬件平台、网络功能强大等特点,是如今嵌入式领域使用比例最高的操作系统,视频监控系统正是其应用之一。随着电子技术,多媒体技术及网络技术快速发展,视频频监控系统正在向嵌入式,数字化,网络化方向发展。嵌入式网络视频监控系统融合传统视频监控技术和现代信息技术为一体,和当前世界信息技术的发展紧密相连,其核心部分就是一个可以直接连入以太网的视频设备,提供实时的视频数据采集、压缩和传输的功能。本文分析总结了视频监控系统的发展历程和研究现状,围绕如何完成网络视频监控的目的,提出了一种以嵌入式Linux和ARM微处理等主流技术为基础的通用性强且成本低的网络视频监控解决方案,具有广泛的应用价值。在硬件方面,采用三星公司的ARM系列嵌入式处理器$3C2440A及其外围设备构成系统的硬件核心。在软件方面,建立了系统的软件开发环境,包括交叉编译环境的建立、BootLoader、Linux内核的移植等。在嵌入式Linux平台上实现了USB摄像头驱动程序的开发,并基于Vide04Linux模块提供的编程接口(API)完成了视频数据的采集;选取MPEG-4视频压缩标准作为系统的视频压缩算法,以Xvid编码器模型为基础实现了视频数据的压缩;基于流媒体传输的基本协议实时传输协议(RTP)和实时传输控制协议(RTCP),对服务器端MPEG-4视频流的RTP封包策略进行研究,最后利用JRTPLIB库,实现了一个RTP/RTCP架构,成功用于MPEG.4视频流的实时传输。关键字:视频监控,嵌入式Linux,MPEG.4压缩,实时传输协议
ABSTRACTLinuxandEmbeddedSystemarebothhotpointsintheacad【emiefieldofcomputertechnology,thecombinationofthemfurtherexpandstheirrespectivedevelopmentarea.Linuxhasbecomethemostpopularoperatingsystematthefieldofembeddeddomain,becauseofitsopensourcecode,simplificationofthekernel,supportingmultiplehardwareplatforms,strongnetwork—supportandotherpowerfulfeatures.VideoSurveillanceSystemisoneofitsapplications.W砧therapiddevelopmentoftheelectronictechnology,multimediatechnologyandnetworktechnology,thedevelopmentdirectionofVideoSurveillanceSystemisembedded,digitalandnetworked.EmbeddedNetworkVideoSurveillanceSystemintegratestraditionalvideosurveillancetechnologyandmodeminformationtechnologyasawhole,andcloselylinkswithcurrentinformationtechnologyoftheworld.ItskernelpartisavideocapturedevicewhichCanbeconnectedintoEthemetdirectlyandthenprocessesthecapturing,compressionandtransportationofreal-timeimage.Thispapersummarizesthedevelopmentprocessandtheresearchstatusofvideosurveillancesystemaroundthepurposeofcompletinganetworkvideosurveillancesystem,putsforwardasolutionofvideosurveillancesystembasedonembeddedLinux,ARMmicro—processingtechnologyandothermainstreamtechnology,whichispracticalandlow-cost.Intermsofhardware,itusesprocessor$3C2440andotherperipheralequipment,whichareproducedbySAMSUNGCompany.Intermsofsoftware,itsetsupthedevelopmentenvironment,includingtheestablishmentofthecross—compileenvironment,thedesignofBootLoaderandthetransplantoftheEmbeddedLinuxandSOon.OntheembeddedLinuxplatform,itimplementstheUSBcameradriverdevelopment,anddesignsvideocaptureprogrambasedonVide04LinuxAPI,choosesMPEG-4videocompressionalgorithmtoencodevideosignalbasedonXvidencoder.Finally,itisresearchedinthispaperthatMPEG-4encapsulationandpacketisationmethodatthepointofserverbasedonstreamingmediatransmissiontechnology,andimplementsaRTP/RTCPframeusingJRTPLIBtotransmitthedatapackettotheuser.Keywords:VideoSurveillance,Linux,MPEG-4,RTP/RTCPⅡ
独创性声明本人声明,所呈交的论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所知,除了文中特别加以标注和致谢的地方外,论文中不包含其他人已经发表或撰写过的研究成果,也不包含为获得武汉理工大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。签名:胁峭学位论文使用授权书本人完全了解武汉理工大学有关保留、使用学位论文的规定,即:学校有权保留并向国家有关部门或机构送交论文的复印件和电子版,允许论文被查阅和借阅。本人授权武汉理工大学町以将本学位论文的全部内容编入有关数据库进行检索,可以采用影印、缩印或其他复制手段保存或汇编本学位论文。同时授权经武汉理工大学认可的国家有关机构或论文数据库使用或收录本学位论文,并向社会公众提供信息服务。研究生(签名):(保密的论文在解密后应遵守此规定)导9币(签名);嗍渺≯凡7
武汉理工大学硕士学位论文1.1研究背景与意义第1章绪论在社会数字信息化飞速发展的今天,多媒体技术、宽带网络传输技术以及嵌入式技术己经渗入到我们工作、生活的各个方面,视频监控领域作为其重要应用领域之一,获得了长足的发展。市场调查显示,2006年中国网络视频监控业务市场规模达到18.24亿元人民币,2007年中国网络视频监控业务市场规模达到26.36亿元人民币,预计2011年达到86.6l亿元人民币。未来3年之内,网络视频监控都将保持约38%的年增长率,会有越来越多的视频监控系统采用完全数字化的技术,特别是在一些行业市场,如交通、城市监控、工业和零售业等等。此外,以数字化视频监控为基础的智能视频监控技术也将获得长足的发展【l】。视频监控系统主要用于完成现场点的数据采集、处理、实时监控等功能。传统的视频监控系统采用自动控制技术、计算机技术,并己广泛地应用于工业自动化、工业控制领域。然而,由于传统的视频监控系统没有或无法解决实时大数据量处理远程通信等问题,或者其成本等原因,其应用受到很大的限制。随着网络通讯技术、嵌入式技术及图像压缩处理技术以及传输技术的快速发展,数字视频通信技术得到越来越广泛的应用,采用这些先进技术的网络视频监控系统开始逐渐替换传统的视频监控系统。目前,基于嵌入式多媒体技术和B/S架构的分布式视频监控系统,已经成为信息网络的一种最普遍应用的信息交互平台。借助以太网和Intemet技术,把嵌入式系统连接至Intemet上,就可以方便、低廉的把信息传送到世界的任何一个地方,实现资源的共享,从而使人们有能力解决以前在极有限的资源下很难解决的问题,为远程网络视频监控系统的发展提供了有利的条件。由此可见,嵌入式网络视频监控系统必将有良好的应用和发展前景,由它替代当前普遍应用于PC的视频远程监控系统己成为必然趋势。而目前在我国基于嵌入式技术的网络化视频监控系统刚刚起步,所以对基于嵌入式技术的网络视频监控系统进行研究具有很大的实际意义。
武汉理工大学硕士学位论文1.2视频监控系统发展动态与研究现状1.2.1发展动态视频监控系统以其直观、方便、信息内容丰富等特点而广泛应用于许多场合。视频监控系统的发展经历了三个不同阶段:模拟视频监控,数字化图像监控和基于嵌入式技术的网络化数字视频监控[21[31。(1)模拟监控系统发展较早,目前常称为第一代监控系统,一般是由摄像机、传输电缆、监视器、视频矩阵切换器等组成。在这一代视频监控系统中,由摄像机获得现场的视频,通过电缆的传输,在监视器中对现场进行监控。随着技术的发展,出现了视频矩阵切换器等新技术,可以实现多路信号的切换以及对视频前端的控制。系统特点:视频、音频信号的采集、传输、存储均为模拟形式,质量最高;经过几十年的发展,技术成熟,系统功能强大、完善。存在的问题是:只适用于较小的地理范围;与信息系统无法交换数据,监控仅限于监控中心,应用的灵活性较差不易扩展。(2)随着计算机存储和计算能力的不断增强,图像监控迎来了一场技术革命。慢慢从过去的模拟处理方式转向数字处理方式,开始使用PC处理图像信号。利用计算机的数据处理能力与显示器的高清晰度,将视频信号通过视频采集卡采集到计算机中,在显示器上显示,大大提高了图像的画质,但是控制与切换仍采用传统的方式,只是计算机串口与之相连,完成控制工作。尽管它有良好的人机界面和较好的稳定性,但它不能称为真正的数字图像监控系统。(3)随着信息处理技术的不断发展,基于嵌入式技术的网络化数字视频监控近几年异军突起。全数字化网络监控系统以网络为平台,采用全新的设计理念,集成了当今最先进的网络技术、计算机技术以及数字处理技术,以IP地址来识别所有的监控设备,采用先进的压缩算法以及网络传输协议来进行视频图像、声音等数据的处理与传输。网络数字视频监控系统具有比较明显的优势:利用现有的网络资源,轻而易举地实现远程视频监控;布控区域广阔,系统扩展能力强,只要有网络的地方增加监控点设备就可扩展新的监控点,彻底抛弃了地域的概念;可组成非常复杂的监控网络,采用基于嵌入式W|eb服务器为核心的监控系统,在服务器端完成模拟视频到数字视频的转换并压缩,采用统一的协议在网络上传输,支持2
武汉理工大学硕十学位论文跨网关、跨路由器的远程视频传输:系统的硬件是一个处理器和操作系统捆绑紧密、功能专一的独立的设备,因此不像插卡系统那样易受通用计算机系统中其它软件硬件的影响,性能上更稳定,且便于安装、维护,易于实现系统的模块化设计,便于管理、维护。1.2。2国内外研究现状在国内,模拟、数字视频监控系统的发展大致经历了孤立的监控系统和联通的监控系统两个阶段【31141。目前,网络视频监控系统正朝着“统一部署+数据共享"的监控网络方向发展。据了解,烽火网络、H3C和UT斯达康等厂商的视频监控解决方案已经实现了统一监控、统一存储、统一管理和资源共享。智能化是网络视频监控系统未来发展的方向之一。例如,中国电信推出的“全球眼"业务利用网络监控系统的智能化特性,大大提高了效率。视频监控系统的智能化主要体现在图像智能分析、报警联动和远程管理与控制等方面,包括车牌识别,人脸识别,物体分类,运动检测,越界检测和流量统计等,对于图像智能分析识别出来的特定事物或事件,以及其他报警装置触发的报警事件,系统能够自动报警,包括联动到报警专用处理系统、语音电话、手机短信和其他公共平台等(如110、119)。随着今年我国3G网络的大规模商用及其移动终端大规模的普及,用户可以手持移动终端进行移动视频监控。而且,移动和固定的融合为电信运营商开展视频监控增值业务带来了更多的机会。3G带来的最直接变化就是移动网络带宽不再是手机视频业务发展的瓶颈。“运营商积极部署全业务运营,与此同时国民生活水平有了很大提升,这推动了视频监控在手机等移动终端上的应用发展。”融合固网与移动网将是未来视频监控业务的一个发展趋势。同时,视频监控业务自身具有良好的发展前景,如果能和其他视频业务,例如IPTv、视频会议、传感器网络等业务进行融合,将为其注入更多的活力。中国整体监控市场已有20余年的发展历史相比,网络视频监控市场还是一个相对新兴的市场。然而,随着标准的完善以及监控需求的不断提升,网络视频监控已经做好了准备,它将促使国内网络视频监控市场逐步升温并迎来黄金时代。目前,国内外对基于嵌入式和网络技术的视频监控系统的研究,一般集
武汉理工大学硕士学位论文中于嵌入式视频监控系统的设计、嵌入式操作系统的研究、视频图像的网络传输以及视频图像处理等几个方面【5J:在嵌入式视频监控系统的设计方案上,例如有DesurmontXavier设计并实现的一种实时优化的小型网络摄像机,系统由图像传感器、嵌入式处理器、图像处理电子卡、网络接口组成,通过压缩优化算法和背景差分算法可以使摄像机实现实时的图像压缩、传输,并能跟踪目标。在嵌入式操作系统方面,例如有对于ucLinux在建立嵌入式视频监控系统中的应用的研究;关于嵌入式Linux在远程数据采集及Web服务器中的应用研究;在嵌入式Linux下对视频采集设备驱动程序的研究等。在对视频流网络传输的研究中,有HengBrianA等提出的一种利用多重描述符编码的编程方法,以用来减少在网络传输中造成的丢失数据包,使端到端的网络视频图像传输更为优化;P2P技术在视频网络传输中的应用,在提高网络资源利用率、消除服务器瓶颈方面起到了显著的作用;采用流媒体的格式传送视频图像数据,可以更好的实现视频的传输及播放等。1.3论文的主要研究工作论文以中科院知识创新项目一“融合广播通信的无线宽带多媒体网络研究与应用示范"为课题背景,在深入研究了嵌入式Linux操作系统、视频数据的采集、压缩与流媒体实时传输技术的基础上,将上述三者有机结合起来设计了一套基于嵌入式Linux操作系统的网络视频监控系统。论文的研究工作主要集中在以下几个方面:(1)系统整体软硬件平台的构建;(2)USB摄像头的选择以及Linux平台上驱动程序的开发;(3)基于Vide04Linux的视频采集程序的研究与实现;(4)基于MPEG-4视频压缩算法的研究与实现;(5)MPEG.4视频流的RTP封包策略研究,基于RTP/RTCP网络协议的实时视频流的传输研究。4