logo资料库

Matlab基于光流技术的运动目标检测和跟踪方法研究-基于光流技术的运动目标检测和跟踪方法研究.pdf

发布时间：2022-05-30 发布人：admin 分类：说明书 资料大小：0.69M 资料格式：pdf 举报 版权申诉
第1页 / 共6页
第2页 / 共6页
第3页 / 共6页
第4页 / 共6页
第5页 / 共6页
第6页 / 共6页
资料共6页，全文预览结束
    案 eV1ew 基于光流技术的运动目标检测和跟踪 方法研究 戴斌，方宇强，孙振平，王亮 国防科学技术大学机电工程与自动化学院．长沙410073 摘要光流技术作为一种重要的二维运动估计技术，在运动目标检测和跟踪中有着重要的作用。为了更好地将光流技术运用到实 时的运动目标检测和跟踪系统中。针对微分光流信息量丰富但计算量大、特征光流计算量小但信息量不足的现状。提出了一种基于 最优估计的点匹配技术和光流均匀采样策略的光流场计算方法。并通过对灰度化后的光流场进行自适应阈值分割、形态学滤波等 处理。实现了实时的运动目标检测和跟踪。通过对图像序列取700个样本点的仿真实验表明，该方法帧间处理时间基本小于1OO ms。同时基本解决了信息量和计算量的矛盾。 关■词微分光流；特征光流；运动目标检测；运动目标跟踪 中圈分类号TP391．4 文t标识码A 文|I【一号1000—7857(2009)12—0055—06 The Detection and Tracking of Moving Objects by Using Optical Flow Technique DAI Bin，FANG Yuqiang，SUN Zhenping， WANG Liang College ofElectromechanical Engineering and A utomation, National UniversityofD nse Technology,Changsha 410073 China Abstract The Optical Flow Technique(oFT)，as an important technique for estimating a two dimensional movement，is widely used in Moving Object Detecting and Tracking(MODT)．However， the OFT method usually suffers from a heavy calculation load and inadequacy in information．In this paper，we propose an OFT method which is based on the technology of point matching and the strategy of uniform sampling and can be used in MODT in a real time through graying optical flow field．The simulation experiment with samples of 700 points per image indicates that the frame processing time is less than 100 ms，which means an adequate amount of information handled with reasonable computation cost． Keywords derivative optical flow；feature optical flow；moving object detecting；moving object tracking O 引言 运动目标检测和跟踪是动态图像分析的重要组成部分． 具有广泛的应用价值和发展前景。从作用和地位来看，它是 图像理解和行为分析的前提．也是计算机视觉要解决的基础 性工作：从应用和影响来看，它已经深入到了人们生活的各 个部分，正在各行各业发挥着不可替代的作用。从学科的发 展来看，它涉及图像处理、模式识别、人工智能和自动控制等 多个领域，有利于促进多学科共同发展。目前它已在军事、工 业、交通、医学、教育、商业、体育等领域中有着广泛的应用。 光流技术是一种重要的二维运动估计技术，它不仅可以 进行运动目标检测，也可以进行运动目标跟踪。这是由光流 技术的内在特性所决定的．也是光流技术的优势所在 光流 是图像灰度模式的运动速度．只要图像中有运动存在，就会 有光流产生。运动一致的区域，光流表现出一致性：运动不一 致的区域，光流也就表现出不一致。通过对光流场进行分析． 可以实现运动目标的检测和跟踪。例如，LiuI 】和Zinbit 】等都利 用光流场及活动轮廓模型来进行运动目标的检测．Toshio等 也结合了光流场和图像的边缘信息进行目标检测．Shin等 l 利用基于特征的光流技术进行跟踪。与此同时，国外已经有 了很多基于光流技术的目标检测和跟踪的系统．例如英国牛 津大学的ASSET一2系统151是个典型的光流分析系统．利用特 征光流技术实现运动目标的实时检测和跟踪。 可以看出，以往的基于光流的目标检测方法主要分为两 类：④利用微分光流技术如文献[1—3】所述，即利用光流的基 本方程，附加一定的约束，得到致密的光流场，再提取运动目 标，此方法的不足在于计算量较大，实时性不强。②像文献 收稿日期：2008—12一O9 作者简介：戴斌，副教授，研究方向为模式识别与智能系统．电子信箱：13807318768@139mm 科技导报2009，27(12)55
    蔫 eV1ew [4—5】所述，利用特征光流技术，在图像中寻找特征点进行匹 配，得到稀疏光流场，然后提取目标，这种方法的实时性得到 了提高，但信息量不足，容易造成目标的漏检。而在目标跟踪 方面，以往的做法常常将其分离开来，在实现检测后，再基于 目标的特征进行跟踪。这样做便增加了算法处理的复杂度． 在目标的进入和退出时带来复杂的处理过程。 针对这种情况．本研究提出了一种基于光流均匀采样策 略的运动目标检测和跟踪方法。该方法通过采样处理，在点 匹配的基础上实现了目标的检测，一定程度上解决了信息量 和计算量之间的矛盾．取得了较好的效果。同时可以将检测 和跟踪融为一体，降低算法的复杂程度。本文首先介绍了基 于最优估计的点匹配技术和均匀采样策略的光流场计算，然 后说明了如何在光流场实时地提取运动目标，最后对整个运 动目标检测和跟踪的算法过程加以总结，并给出实验结果及 分析 1光流场的计算 要利用光流来进行运动目标的检测和跟踪。首先要做的 就是光流场的计算．这是实现目标检测和跟踪的基础。微分 光流技术如Horn—Schunckl~方法、Lucas—Kanaden方法等，虽然 信息量大，但同时由于其计算量较大，无法满足实时性的要 求，所以本文采用基于点匹配技术和均匀采样的策略来实现 光流场的计算 1．1 基于最优估计的点匹配技术 本文提出了一种改进的点匹配方法。该方法在最优估计 的引导下进行局部区域搜索，在保持精度的同时大大提高了 匹配速度。基于最优估计的点匹配是通过对2个点特征之间 的某种相似性度量进行最优估计，进而得到最佳匹配位置的 一种方法，该方法无需进行搜索，因而时间是可控的。 平移模型是最简单的图像变换模型。在序列图像中，由 于相邻两幅图像的时间间隔很小，图像之间的变化可用平移 模型来近似。在该模型下．对应点之间有简单的几何关系。 设A ，y)、 ， 代表前后两幅图像，对于第一幅图像上 的点 = ， ，匹配的目的就是寻求第二幅图像上的对应点： x ，)， )T_ ，y ，使得在点 = ， 的 XW，邻域内，下式 所表示的灰度差平方和为最小 e( ) ，)=∑∑ ， 一B(x+v y y))z (1) s( )最小值对应的就是最佳匹配位置 ： ，) ，采用优 化法求解该问题，令s(v)对l’的一阶导数为零： I ： = 、 (0，0)。 将这个式子展开以后，得到 __2萎 y)-B L 0B 0B．J 用日 ，y+ 在点'，=(0，0) 的一阶泰勒展开式来代替， 得 56科技导报2009。27(12) 一2 y)-B(x [0 B O B 1 O僦B O B 1(2) 注意到A ，y)-8(x， 可以看作是 ，y) 的一个时间方向 上的导数．所以 ，‘( y) A y)-B(x，y) 令V，一( OB一百0B) 和 分别为 和Y方向上的图像梯度，可根据任一幅 图像中该点的 X'／．／}y邻域信息求得。如果使用差分近似微分 算子，则有 L ， ： ：丛且 =丝世 此时式(2)化简为 }专 = ( n— 。 JT 两边取转置后化简得 [ ] ： ) 令 -w,『 6= ]删式c2 变成 2【 ]=G 【 J… 其中，G为对称半正定矩阵，其特征值A ，A >10，二者可以有 效地描述区域的纹理特性，当A。，A 都很小时，说明区域有大 致恒定的灰度分布，而A。，A 大小差异大说明窗1：1有不定向 的纹理模式，如果A。，A 都很大，则代表角点或椒盐纹理等， 所以G可以看作是一个描述图像局部特征的结构张量。令上 式为零，当G可逆时，则 vo~=G- b (3) 此时得到的v ') 即为满足灰度差平方和最小的平 移向量，对应在第二幅图像上的匹配点就是 ，y ) = y 。当G不可逆时，说明图像中的局部信息无法给出好的 匹配结果，所以可以设'，Ⅲ=0。这样，可以通过这种最优估计的 点匹配技术寻求两幅图像中的匹配点，得到相应的光流值。 这样做的好处在于匹配点是可选的，不必像微分光流技术通 过求解约束方程计算图像中每一个点的光流值，所以计算时 间是可控的。 1-2光流的均匀采样策略 Smith[~首先在图像中寻求一些特征点，如角点、SIFT点嘲 等，再利用点匹配的技术来计算稀疏光流场，根据流场中不 同光流来检测和跟踪运动目标。这种方法，虽然说由于特征 点的数量较少，减少了计算量，同时由于特征点所具有的一 些尺度、旋转不变的良好特性，具有较高的匹配精度。然而， 因为图像中这些特征点的数量并不多，会造成信息量不足， 特别是在弱纹理的区域中．无法像微分光流那样得到致密的
    流场．影响了对整个图像变化的观测。如图1(a)所示，图中的 十字点为计算得到的图像中的Harris角点f9l，利用前文提到 的点匹配方法进行匹配，青色为匹配上的点，黄色为未匹配 的点．可以看出，图中特征点的分布较为分散，且数量较少， 位于目标上的点更少，很难寻求完整的运动目标，甚至漏检。 (a)角点采样策略 (a)Comer sumpting (b)均匀采样策略 (b)Un讦orn1 sampling 图1光流点的采样 Fig．1 Optical flow sampling strategy 针对信息量不足，本研究采用均匀采样的策略，对图像 进行均匀采样。为了覆盖更多的图像信息，样本点不能太少， 考虑到计算量，样本点也不能太多，同时要根据图像的长度、 宽度以及目标在图像中的大小来决定，设计合适的采样间 隔，对全图等间隔地布置采样点。如图1(b)所示，图片大小为 320x240像素．长度和宽度均以10个像素为间隔布置采样 点．这样就在全图均匀地分配了32x24个采样点，基本覆盖 了图像的大部分信息，这是一种以降低精度来缩短时间的方 法，是一种解决计算量和信息量矛盾的折中的手段。 以下为一段拍摄的路口车辆行驶的视频中的连续两帧 图像，大小均为320x240像素．分别与Horn—Schunck[6~方法， Lucas—Kanade~方法和Local&Globalt 01方法3种微分光流计算 方法进行对比。由图2可以看出，用本文方法得到的光流场 在精度上确实与微分光流计算的结果有差距，虽然有部分误 匹配的点，但是总体上依旧能反映出图像中的运动趋势．达 到运动目标的检测要求。同时，如表1所示，在计算的时间上 较其他方法有较大的优势(表中窗口大小代表匹配区域．如 窗口大小为5，则式(1)中的 ：彬 5)。 蕞 一亮 漪哥谴蠢 — l| 。 两pa Is。nj 确 霜 ÷ti辆 |l 。 f6 __。 一． 一： l■_强 I t矗|一0 3一 光流计算方法 计算耗时，s Hom—Schunck方法 Lucas—Kanade方法 Local&Global方法 本文方法(窗El大小为5) 本文方法(窗口大小为lo) O．66O 73 7．135 40 6．938 41 0．031 0o O．O76 3O R 囊 eV1ew 《a)前一帧图像 (a)FirSt frame 一l (C)H—S方法 (c)H-S method (b)后一帧图像 (b)Second frame ： ：。：：：：：：：：： ：：l、：：：：：：： ，： (d)L—K方法 (d)L-K method l=：：一 、、、、、、、 、、… ’ ：：：：?、 ： ： (e)L-G方法 (f)本文方法 (e)L-G method (f)Proposed method 图2光流场的计算 Fig．2 Optical flow field computation 2运动目标检测与跟踪 前面提到了光流场的计算方法，该方法有较高的计算效 率。同时，达到了一定的精度，能够正确反应出场景中的运动 状况。对于运动目标的检测来说，在计算光流场后，需要在其 中区分不同的光流，提取运动目标区域。光流作为一个矢量， 具有方向和大小两方面的特性．利用这两方面的特性可以有 效地区分不同的光流。例如FemandoI“喇用光流的方向采用 K平均聚类算法提取目标，然而聚类算法往往实时性不高，所 以本文对光流场进行了灰度化处理．在形成的灰度图像上实 现目标的快速提取。 具体步骤：①光流场的灰度化处理；②对灰度化后的光 流场图像采用自适应阈值分割技术得到二值图像；⑧对二值 图像进行形态学滤波；④利用区域生长的方法，寻找图像中 的运动目标．同时根据光流方向和大小区分不同的目标； ⑤在视频图像中标记出不同的目标。 科技导报2009。27(12)57
    evlew 本文的光流灰度化处理针对光流的模值进行．统计光流 场中光流模值的最大值和最小值，依次指定为255和0，其余 光流按其相对于最大和最小光流模值的位置确定其应当取 的值，经过灰度化处理后的光流数据，就成了类似灰度图像 的整型数据。 如图3(a)所示，在对光流场进行灰度化处理之后，运动 目标的灰度值往往较小，背景区域的灰度值较大。本文采用 Otsu自适应阈值分割技术㈦，假设图像灰度值i的像素数为 像素总数为Ⅳ，某一阈值 将灰度值划分为0～ 1和 ～ 255两组，两组的产生概率 和平均值 分别为 鲫o= ／／'i 意 Wl=l—WO／x~=l-／zo 总体的灰度平均值为 仁： 。肛D+ l 1 两组间的方差为 6 (7)= 0 o_ + 1 I— ) 从不同的灰度级中寻求ma妨 f 的值r，即为所求的最优阈 值。 (d)阈值分割 (d)Threshold segmentation (e)形态学滤波 (e)Morphological 0 peration ● i (c)灰度化处理 (C)Graying field 《f)目标定位 (f)Object labeling 图3运动目标提取 Fig．3 Moving Object Extraction 分割后的图像为二值图像，其中往往由于光流计算上的 误差存在部分杂点，这时采用了形态学的开运算来完成滤波 处理，如图3(e)所示。最后在处理后的二值图像上，基于区域 的连通性进行分类．采用8邻域的区域生长搜索策略寻求不 同的目标区域。如图3(f)所示，3种颜色分别代表算法搜索到 的具有8方向连通性质的3个不同的运动目标区域。 最后，统计各自区域的像素信息，计算出目标的质心，质 心是实现目标跟踪的重要信息。假设目标区域的最小外界矩 形大小为MxN，由于处理图像为二值图像，所以质心计算公 58科技导报2009，27(12) 式为 ， )：l 村一1 一1 ∑∑ i----0 ，--0 一l 一l ‘ ● jt，1 i--0 i=0 ( 一1)(AL1)’( 一1)(AL1) 其中 ，分别代表目标区域像素的行列坐标。如图3(f)所 示，可以根据得到的最小外界矩形求出不同目标的区域的质 心位置，定位不同的目标。 然而，这种方法的不足之处在于，分类时仅仅考虑了运 动目标的空问位置关系，当目标接近时，容易造成目标的混 叠。针对这种问题，本文利用运动区域中光流的大小和方向 信息再分割，其中在光流场中用不同的颜色代表方向相近的 光流。 对于图4(a)中的同向车辆而言，其光流方向相近．但对 于不同速度的邻近目标而言．光流值大小差异较大．可以根 据运动区域内光流大小进行分割得到不同的运动目标．如图 4(c)。而对于图4(d)中的相向而行的目标，可以看出其光流 方向是不同的，如图4(e)。那么根据区域内光流的方向就可 以分割出两个邻近目标，如图4(f)。如果目标始终距离接近， 且运动速度相同，可以认为是一个运动整体来检测和跟踪。 C) (d) (e) (f】 图4目标邻近情况处理 Fig．4 Process of segmenting adjacent objects 最后，对本文的算法加以总结。算法的总体流程如图5 所示．其中包括了光流场的计算和目标提取以及跟踪两个主 要组成部分。而本文方法在处理运动目标检测和跟踪上有3 点好处：①光流的计算效率高，这是因样本的数目和计算方 法确定的；②能够成功检测到运动目标的进入和退出，场景 的全局运动使得光流场产生整体流动．而目标的局部运动则 使流场局部区域产生特殊的流动状态；③由于点匹配的技术 本身就是目标跟踪的一种基本技术，以往的算法通常先进行 目标的检测．然后提取目标区域，根据区域的特征利用匹配 的方法进行跟踪，而本文采用均匀采样的点匹配技术计算光 流场，本身就是一种对样本点的跟踪，使得运动目标的检测 和跟踪合二为一，在序列图像中进行目标检测的同时，也实 现了目标的跟踪。
    图5基于本文方法的运动目标检测和跟踪流程图 Fig．5 Flowchart of MODT based on proposed method 3实验及结果分析 本文实验数据来源于一段描述交通路口车辆行驶情况 的视频．视频中每帧图像的大小为320x240，实验利用本文描 述的基于光流的技术方法对运动的车辆进行实时检测和跟 踪，检验本文算法的可靠性。实验程序基于Visual C++6．0开 发，同时利用了OpenCV 1．0。图6为典型帧的效果示意图，分 别为序列中的第274、236、322、942帧。每一帧依次列出了提 取的目标区域轮廓与原图的叠加图、光流场图和灰度图进行 自适应阈值分割等处理后的目标提取图。 实验图像序列中单幅图像大小为320x240，实验中样本 间隔设为l0个像素，即最大样本点数为32x24。 图6中列出的各帧，帧间处理时间依次为：47、79、61、93 ms。可以看出，算法对运动目标的检测和跟踪有较好的鲁棒 性，同时这个时间消耗还是可以接受的。如果采用硬件加速 设备，加之合理的采样间隔，能够做到更好的运动目标实时 检测和跟踪。 4结论 运动目标检测和跟踪涉及计算机视觉、模式识别及图像 处理等学科，是当今研究的重点和难点．具有广泛的应用前 景。考虑到环境的复杂变化和摄像机的运动情况．光流法是 一种比较有效的运动目标检测和跟踪方法。本文提出了一种 基于最优估计的点匹配技术和光流均匀采样策略的运动目 蕞 eViei (b (c) (d) 图6运动目标检测和跟踪效果图 Fig．6 Results of MODT based Off proposed method 标检测和跟踪方法。该方法可以同时进行运动目标的检测和 跟踪，并能在一定程度上解决光流技术中的计算量和信息量 的矛盾。但同时也应看到，该方法的计算量依然很大，尤其在 较大的图像、采样较密的情况下更是如此。因此，解决高精度 光流计算的时间消耗问题，或者寻求一种更高效的光流算 法，或是采用专门的硬件加速设备，均是下一步应涉及的研 究工作。总之，计算效率问题是光流继续发展和得以实用的 关键 参考文献(References) [1】Liu P R，Meng M Q H，Liu P x，et o1．Optical flow and active contour for moving object segmentation and detection in monocular robot【C]／／ Proceedings 2006 IEEE International Conference on Robotics and Automation．2006：4075—4080． [2]Zinbi Y，Chahir Y，Elmoataz A．Moving object segmentation using optical flow with active contour model【C]／／ICqq'A 2008 3rd International Conference on Information and Communication Technologies：From 科技导报2009。27(12)59
    eVlewTheorytoApplications．2008：1-5．【3】NnitoT'ltoT’KanedaY．Theobstacledetectionmethodusingopticalflowestimationattheedgeimage【C]／／Pmceedings2007IEEEIntelligentVehiclesSymposium．2007：817-822．[4]ShinJH，KimSJ，KangSKeta1．Opticalflow-basedreal-timeobjecttrackingusingnon—priortrainingactivefeaturemodelⅢ．Real-TimeImag／ng,2005，11：204—218．[5]5SmithSM．ASSET一2：Real—timemotionsegmentationandshapetracking【C]／／Proceedings1995FifthInternationalConferenceonComputerVision．1995：237-244．【6】HornBKP，RhunckBG．Determiningopticalflow[J】．ArtificialIntelligence，1981，17(1—3)：185—203．【7】BouguetJY．PyramidalimplementationoftheLucasKanadefeaturetrackerdescriptionofthealgorithm[EB／OL1．【2008—12一12】．http：／／robots．stanford．edu／cs223b04／algo—．tracking．pdf．[8】LoweDG．Distinctiveimagefeaturesfromscaleinvariantkeypointsm．InternationalJournalofComputerVision，2004,60(2)：91—1】O．【9】ShiJ，TomasiC．Goodfeaturestotrack，TR93—1399【R]．NewYork：ComellUniversity，1993．【10】BrnhnA，WeiekertJ．Lucas—KanademeetsHorn—Schunck：Combininglocalandglobalopticalflowmethods【．r1．InternationalJournalofComputerVision．,2005，61(3)：2l1—231．【11]FemandoWSP，UdawattaL，PathiranaP．IdentificationofmovingobstacleswithPyramidalLucasKanadeopticaJflowandKmeansclusteringfC]／／ICIAFS2007ThirdInternationalConferenceonInformationandAutomationforSustainability，December4—6，2007：ll】一117，【12】OtsuN．Discriminantandleastsquarethresholdselection【C】，，Pmc4IJCPR，1978：592～596．(责任蠕辑赵佳)60科技导报2009。27(12)
    分享到：
    赞 收藏

    相关推荐

    资料库

    开发技术

    共收录19306份资料，累计14个分类，关注成员有19位，主要包括：Actionscript,Javascript,PHP,VB,Perl,Delphi,Python,C#,C,Java,C++,Web开发,硬件开发,其它

    热门标签

    Actionscript Javascript PHP VB Perl Delphi Python C# C Java C++ Web开发 硬件开发 其它

    最新资料