目标跟踪算法综述_卢湖川.pdf

发布时间：2022-05-31 发布人：admin 分类：说明书资料大小：4.32M 资料格式：pdf 举报版权申诉

qq_34767784-11090521-4744300845238329215.pdf-第1页.png

第1页 / 共16页

qq_34767784-11090521-4744300845238329215.pdf-第2页.png

第2页 / 共16页

qq_34767784-11090521-4744300845238329215.pdf-第3页.png

第3页 / 共16页

qq_34767784-11090521-4744300845238329215.pdf-第4页.png

第4页 / 共16页

qq_34767784-11090521-4744300845238329215.pdf-第5页.png

第5页 / 共16页

qq_34767784-11090521-4744300845238329215.pdf-第6页.png

第6页 / 共16页

qq_34767784-11090521-4744300845238329215.pdf-第7页.png

第7页 / 共16页

qq_34767784-11090521-4744300845238329215.pdf-第8页.png

第8页 / 共16页

文本预览

第卷第 31 2018 年 1 1 月期模式识别与人工智能 Pattern Ｒecognition and Artificial Intelligence Vol．31 No．1 2018 Jan．目标跟踪算法综述卢湖川1 李佩霞1 王栋1 ．．尽管现在已有大量研究，但是仍然存在很多问题亟待解决，如光照变化为了更清楚地梳理现存的算法，文中对典型的目标跟踪算法进行分析总结摘要作为计算机视觉领域的一个重要课题，在线目标跟踪在导弹制导有重要作用动等作来的研究趋势关键词目标跟踪，相关滤波，深度学习引用格式卢湖川，李佩霞，王栋然后，从传统算法和深度学习算法两方面对经典算法进行概述和分析模式识别与人工智能，．．．目标跟踪算法综述．． 2018 DOI 10．16451 / j．cnki．issn1003-6059．201801006 Visual Object Tracking : A Survey LU Huchuan1， LI Peixia1， WANG Dong1 视频监控、无人机跟踪等众多领域中具、尺度变化遮挡和相机移、、首先，简单介绍研究意义及相关工最后，讨论算法目前存在的问题，给出未形变、．， 31 ( ) : 1 61－76． ABSTＲACT Online object tracking is a fundamental problem in computer vision and it is crucial to application in numerous fileds such as guided missile video surveillance and unmanned aerial vehicle．，，，， Despite many studies on visual tracking there are still many challenges during the tracking process including illumination variation rotation scale change deformation occlusion and camera motion． To make a clear understanding of visual tracking visual tracking algorithms are summarized in this paper．， Firstly classified the meaning and the related work are briefly introduced． Secondly ， summarized and analyzed from two aspects : traditional algorithms and deep learning ， the typical algorithms are ，，， algorithms． Finally the problems and the prediction of the future of visual tracking are discussed．， Ke y Words Object Tracking ，， LU H C LI P X Citation ， Correlation Filter ， Deep Learning WANG D． Visual Object Tracking ，， ) : ( Artificial Intelligence 2018 31 1 61－76． : A Survey． Pattern Ｒecognition and ． ” 感知计算机视觉是研究如何让计算机从图像或视频的科学，它可以看作是人中获取信息并进行 “ 近二十年来，随着计算机硬件类视觉和感知的延伸水平图像视频处理技术及人工智能技术的迅猛发、展，计算机视觉技术在智能控制( 如机器人无人机、检测和识别系统等) 等) 信息、、检索( 如多媒体数据查询图像搜索引擎等) 人机、交互等许多关系到人类活动和生活领域均得到广泛决策系统( 如监控、、收稿日期: 2017－09－19 ; 录用日期: ， 2017－12－05 ; Manuscript received September 19 2017 ， accepted December 5 本文责任编委高新波 2017 Ｒecommended by Associate Editor GAO Xinbo 大连理工大学信息与通信工程学院大连 1． 116024 ， 1．School of Information and Communication Engineering Dalian University of Technology Dalian 116024 ，应用．．在计算机视觉领域中，基于视频的目标跟踪 ( 也称为视觉跟踪) 一直都是一个重要课题和研究热点视觉跟踪通过在连续的视频图像序列中估计形状或所占区域，确定目标的运动跟踪目标的位置、方向及轨迹等运动信息，实现对运动目标行为速度、的分析和理解，以便完成更高级的任务目标跟踪无论在军事国防还是民用安全方面都具有重要的研究意义和广阔的应用前景具体研究和应用包括: ． 1 ) 智能视频监控目前，视频监控是目标跟踪技．视频监控系统通过对视术最活跃的应用领域［］ 1－6 ．跟踪及更高级的语义分频中的目标进行自动识别、析处理，从而实现对特定场所( 如军事部门政府机、住宅区等) 进行监控和车站关、、通过对视频的分析和理解，智能视频监控能自预警动提取对监控和预警有用的关键信息，尽可能地减机场、银行校园、、．．

26 模式识别与人工智能( ) PＲ＆AI 第 31 卷．．少人为干预，提高监控效率，同时减轻人的工作负作为智能视频监控的关键技术，视觉跟踪算法的担研究具有巨大的产业价值．．． 2 ) 现代化军事无人机侦察、如在精确制导方面，早在视觉跟踪技术是当今以及未来］，主要集中在精确制导现代化军事的研究热点［ 7－8 、靶场测量及武器观测瞄准等飞行控制、方面年代之前，美国就开始研制视频制导导弹和炸弹，并在越南战争和第四次中东战争中用于实战，取得引人注目的作战效果红、因此，对外线及其它射线等相结合的视觉跟踪技术于应对现代化局部战争，视觉跟踪技术的研究也具有重要意义现在大多数制导导弹均采用可见光世纪 20 70 ．．． 3 ］ 9 10－11 “ 、表情［ ”． 12－13 对话手势［ ) 基于视频的人机交互基于视频的人机交互技术通过对由摄像头或其它采集设备拍摄的视频进行分析，实现人与计算机之间的计算机软件可以对人的眼神［姿态及］］等进行分析和理解，从而完成目标跟身体动作［踪一个完整的目标跟踪系统通常包括目标的检测提取情脸人机交互的重要环节之一、计算机想要获得如表姿态等高级语义信息，必须首先实现对人、因此，视觉跟踪也是识别和跟踪、手势、人眼及人体的定位和跟踪、个环节、、 14－15 4 ］．．．．． 4 ) 智能交通系统随着目前城市机动车辆的逐渐增多和车流密度的逐渐增大，智能交通系统成为智能交通系统利用辅助交通调度不可或缺的工具］，对车辆进行实时检测和目标检测和跟踪技术［跟踪，进一步自动获取车辆的流量车流密度车速、、、道路拥塞状况等信息，辅助交通调度所以，在视频中快速定位和跟踪目标是智能交通的关键 16－18 ．．．． 5 ) 智能视觉导航随着摄像机硬件设备和视频处理技术的快速发展，基于计算机视觉的智能导航技术具有较广泛的应用( 如智能机器人无人驾驶汽车及无人驾驶飞机等) 智能导航技术利用摄像头或其它传感器对周围环境和运动物体进行检测和跟］，使机器能安全运转及获取有用信息进行特踪［殊的作业或任务如何在摄像机运动时快速精确地实现检测和跟踪是智能视觉导航的关键、 19－20 ．．．］ 6 21－22 、城市建模［ ) 三维重建基于视频图像序列的三维重建( 如］等) 人体三维运动和姿态重构［一直是计算机视觉领域的一个研究热点，是数字博物馆人机交互等诸多应用、的关键技术视觉跟踪技术能够计算摄像头或人体各个关键部分的运动参数，为后续的三维重构提供支持医、除此之外，视觉跟踪技术还在航空航天［计算机动画、智能导航、 23－24 ］ 25 ．．．］ 26－27 虚拟现实［、］ 28 增强现实［、］等方面应用 29 疗诊断［广泛．目标跟踪 1 在线视觉跟踪的基本框架如图所示 1 ．一般在运动、．．个基本组成部分: 特征提取线视觉跟踪具有模型外观模型、特征提取 4 在线更新机制、在线视觉跟踪算法要求提取的视觉常见纹理特、超像］ 34 特征既能较好地描述跟踪目标又能快速计算的图像特征有灰度特征［征［矩形特征［素特征［颜色特征［兴趣点特征［、、Haar-like 、］］等、］］］ 30 31 32 33 35 ．．． ) 运动模型( Motion Model 运动模型旨在描述帧与帧目标运动状态之间的关系，显式或隐式地在视频帧中预测目标图像区域，并给出一组可能的候选区域经典的运动模型有卡尔曼滤波( ) ［ Kalman Filte- 37－38 ］等 Particle Filtering ． ring ］． ) ［外观模型 36 粒子滤波( 、．外观模型的作用是在当前帧中判决候选图像区域是被跟踪目标的可能性提取图像区域的视觉特征，输入外观模型进行匹配或决策，最终个基确定被跟踪目标的空间位置本组成中，外观模型处于核心地位，如何设计一个鲁棒的外观模型是在线视觉跟踪算法的关键在视觉跟踪的 4 ．．．在线更新机制为了捕捉目标( 和背景) 在跟踪过程中的变化，在线视觉跟踪需要包含一个在线更新机制，在跟踪过程中不断更新外观模型常见的外观模型更新方式有模板更新增量子空间学习算法、及在线分类器等如何设计一个合理的在线更新机制，既能捕捉目标( 和背景) 的变化又不会导致模型退化，也是在线视觉跟踪研究的一个关键问题．．．．图 1 在线视觉跟踪的基本框架图 Fig．1 Basic framework of online visual tracking

第 1 期卢湖川等: 目标跟踪算法综述 36 以前目标跟踪的研究更多局限于在可控条件光照均匀等) 下对特定目标( 如人脸 ( 如静态背景、、车辆等) 实施跟踪，而在线视觉跟踪旨在对现行人、实场景中的任意目标进行跟踪由于现实场景的复杂性和目标物的不确定性，实现在线视觉跟踪存在诸多挑战，部分在线视觉跟踪的挑战如图所示． 2 ． ( ( f ) f ) 运动模糊 Motion blur 图 2 在线视觉跟踪的挑战 Fig．2 Challenge for online visual tracking 、、遮挡运动模糊这些挑战主要可分为由目标内在变化引发的挑形状变化等) 和由外在因素引发的战( 如姿态变化、挑战( 如光照变化背景杂乱等) ，、它们为实现在线视觉跟踪造成很多困难: 如姿态和形状变化会造成被跟踪目标外观在不同帧之间存在较大的差异; 光照通常会引起被跟踪目标外观的明暗变化并带来不可预知的阴影; 遮挡会造成目标外观的不完整或给目标区域引入背景干扰; 目标的快速运动会造成运动模糊，使被跟踪目标变得不易分辨; 在杂乱的背景中，跟踪算法难以较好地鉴别目标和周围的背景，容易发生跟踪漂移．在线目标跟踪算法 2 ．子空间算法等、子块跟踪算法、在线目标跟踪算法一般由人工设计特征和浅层外观模型构成，旨在利用简单有效的视觉特征和浅层匹配或分类模型设计快速鲁棒的跟踪算法，如早期均值偏移算法这些算法能在有效计算资源情况下取得一定的跟踪效果和速度，但通常不够鲁棒稀疏表示理论在计算机视觉方面的成果应用使研究学者不断尝试利用稀疏表示模型和稀疏特征编码解决在线目标跟踪问题，取得非常卓越的效果但稀疏表示模型计算复杂度．较高，难以实时处理鉴于外观模型在传统视觉跟踪的核心地位，下面从外观模型建立和决策过程的角度对传统视觉跟踪算法进行概述 2．1 基于均值偏移的目标跟踪．．． 39 ) ［ Mean Shift 作为一种典型的非参数统计工具，均值偏移 ( ］算法本质上是基于梯度上升的局部寻优算法，广泛应用于模式识别数字图像处理和计、算机视觉等领域跟踪算法一直是目标跟踪领域研究的一个热点，很多研究学者不断进行改进，使其更加稳定和鲁棒］最先将．Mean Shift 等［， 36 31 ． Comaniciu ( ) 形状变化 Deformation a ) ( a ) 姿态和光照变化 ( b Gesture and illumination variation ( ) b ) 光照和尺度变化 ( c Illumination and scale variation ( ) c ( ) d ( ) 遮挡 d Occlusion ) 背景杂乱 ( e Background cluttered ( ) e

46 模式识别与人工智能( ) PＲ＆AI 第 31 卷．、， ) ［现高维特征空间到低维空间的映射，保持或获得某种属性( 如保留整体或局部距离提取判决性的特征等) 子空间学习算法有基于重构准则的主成分分析( 基于、判决准则的线性判决分析( Principal Component Analysis Local Preserving Projection Linear Discriminant Anal- 具有流形和图论背景的局部保持映、基于向量， ) 框由于子空间学习算法的输入特征都是向量形除此之外，子 ysis 射( 子空间算法的图嵌入 ( 架［式，所以称其为一维( 空间算法还包括多维子空间算法 Graph Embedding ) 子空间算法 PCA LDA LPP ) ［ ) ［ GE ，， 1D 、］］］］ 49 50 52 51 ．．．． Wang Mean Shift 为了解决局部遮挡问题，算法用于跟踪领域，实现简单，速度较快， Mean Shift 对目标的非刚性变化旋转等挑战都具有较好的鲁、棒性，但是不能较好地解决遮挡尺度变、化等挑战等［］提出 44 的跟踪算法，通过不同分块对基于分块中心位置的加权投票，降低被遮挡的目标区域对跟踪结果的影响 ) 理论和］结合尺度空间 ( 背景杂乱、 Scale 算法，在一定程度上提升算法对目标尺度变化的稳定性考虑到是一个局部寻优算法，容易陷入局部最小等［］通过在多个尺度上选择最稳定的核此外，也有学者结合局算法和全局寻优的粒子滤波 Mean Shift 值，宽，减少局部最小值的影响部寻优的 ( ］，快速寻找全局最优值 Mean Shift Mean Shift Mean Shift ) 算法［． Collins Hager Space 等［ 41 40 42 ．． Particle Filtering ．．．． 43 基于 Mean Shift Mean Shift 的跟踪算法属于基于模板匹配的跟踪算法，主要通过非参数局部寻优在目工具搜索和目标模板相似度最大的候选区域标跟踪领域，基于模板匹配的跟踪算法在当前仍较活跃，如何设计有效的目标描述机制和鲁棒的相似度函数或距离函数是此类算法的关键 2．2 基于分块的目标跟踪． Wang Frag Track ］提出子块跟踪( 跟踪框架，提出基于分块早期的目标跟踪算法常采用简单有效的全局直方图，但这会丢失特征的空间位置信息，导致跟踪算法在遮挡或背景杂乱等情况下容易失败． Adam ) ，利用分块－联合机等［ ) 对遮挡敏制克服传统模板跟踪算法( 如 Mean Shift 受到子块跟踪算法的启发，在视频跟踪领感的问题域，越来越多的学者考虑采用分块的方式，引入特征的空间位置信息］将分块的思想引入的跟 Mean Shift 通过不同分块对中心位置的加权投票降低踪算法被遮挡的目标区域对跟踪结果的影响］提出基于分块多核学习的跟踪算法，利用多个分块灰度直方图描述目标，并利用在线多核学习选择具有判决性的分块］采用由随机分块组成的词包 ) 描述被跟踪目标，提出基于词包学 ( 除此之外，基于局部图像块稀疏习的视觉跟踪算法编码特征的跟踪算法［］目前也取得较好的效果．在具体跟踪算法设计中，如何选择分块的方式和分块的大小仍需研究和探索 2．3 基于子空间的目标跟踪 Bag-of-Words Mean Shift 线性子空间学习( 简称子空间学习) 算法是模式识别和机器学习领域的一个研究热点，基于线性子空间的目标跟踪可看作是子空间学习算法在视觉通过学习一组线性投影，实跟踪领域的延伸和扩展．Yang 等［等［等［．Jia 47－48 44 45 46 ．．．．．为此， Incremental Visual Tracking 目标在跟踪过程中可能出现较大的变化，单一子空间可能不足以描述所有的变化 Yu PCA ］提出增量多流形子空间模型，相比增量视觉跟等［ 53 ) 中仅使用一踪器( 子空间在线学习外观模型，该算法可利用若个子空间，用于分段线性近似跟踪过程中目干个标的非线性变化尽管该模型在处理目标的非线性变化上具有一定的优势，但由于算法复杂，导致跟踪的速度较慢 PCA PCA IVT ，．通常子空间算法都会假设数据服从高斯分布或局部高斯分布，但在跟踪问题中背景分布较混乱，难以满足子空间算法的假设所以基于判决性子空间的跟踪算法往往结果不稳定，未达到很好的效果．．．．］提出基于． 2 未来基于子空间的跟踪算法的研究主要集中在个方面: 如何构造一个子空间使之能更好地如下描述被跟踪目标的外观变化; 如何处理遮挡等异常噪声情况 2．4 基于稀疏表示的目标跟踪］完成较严密的理论工作后，压缩感知和稀疏表示算法在很多计算机视觉应用领域都得到广泛研究，包括图像去噪图像去、模糊图像修复、 Donoho 等［自超分辨重建等［、］ 54 55 ． 56 l1 Mei 等［最小化的目标跟踪算法，首次将稀疏表示理论用于解决跟踪问题假设被跟踪的目标能由目标模板和遮挡模板组成的字典稀疏表示，其中目标模板动态更新以捕捉目标在跟踪过程中的变化，而遮挡模板用于描述目标可能遭遇的遮挡，如图所示，其中遮挡模板由正负琐碎模板组 ) 为好的和差的跟踪候选的稀疏表示系数的成差别，左侧显示当前视频帧的图像，紫红色曲线框内显示当前存储的目标模板，红色和蓝色框分别表示一个好的和一个差的目标候选，右侧显示好的和差可看出，好的候选的候选图像区域的稀疏表示系数表示系数明显稀疏于差的候选表示系数，这说明稀 3 b ( ．．

第 1 期卢湖川等: 目标跟踪算法综述 56 ) 目标模板和琐碎模板 ( a Target template and trivial templates ( ) a ) 候选图像区域的稀疏表示系数 ( b Good and bad sparse representation coefficients for candidate image area ( ) b 图 3 好的和差的候选图像的区别 Fig．3 Differences between good and bad candidate images ．疏限制有利于定位好的目标候选，获取精确的跟踪结果 57 等［ Yang ］开始探索基于稀疏表示的目标跟踪算法，最常用的是利用稀疏表示建模目标的外观如何合理地选择目标模板和遮挡模板建模跟踪目标及如何设计快速有效的跟踪算法是这类算法的关键．． 47 48 取［］及运动状态建模［在视觉跟踪中，稀疏表示算法还用于特征提］特征选择［、基于稀疏表示的跟踪算法是未来在线视觉跟踪领域的一个研究热点，如何更好地结合稀疏表示等理论与跟踪问题的先验知识仍是未来研究趋势 2．5 基于判别学习的目标跟踪］等方面 58 ．．基于判别学习的目标跟踪算法将目标跟踪看作一个二分类问题，试图从周围的背景中鉴别跟踪目标，因此目标跟踪的准确性和稳定性很大程度依赖在跟踪过程于在特征空间上目标与背景的可分性中，被跟踪的目标和周围背景的外观一般都会发生变化，导致判别性的特征集合也会发生变化因此，在线建立能适应目标和背景外观变化的判别模型是基于判别学习的目标跟踪算法基这类算法的关键本包含基于像素或超像素级分类的跟踪和基于检测的目标跟踪这两大类．．．．基于像素或超像素级分类的跟踪算法通过分类当前图像帧中搜索区域内的像素或超像素，形成一个关于跟踪目标的置信图，然后利用等 Mean Shift 模态搜索算法精确定位目标算法的流程图如图法速度较快，可以提供对目标的软分割( 基于像素分类的跟踪基于像素分类的跟踪算所示 4 ．． Soft Segmen- ) ，但是不能处理遮挡和背景杂乱的情况 tation ．图 4 基于像素分类的跟踪算法流程图 Fig．4 Flowchart of tracking algorithm based on pixel classification 基于检测的目标跟踪算法将目标跟踪当作一个局部搜索区域内的检测问题，通过在线学习分类器实现目标跟踪受到人脸检测和使用检测实现跟踪的启发，学者们开始使用算法建立外观模型，用于视觉跟踪］提出在线的 ) 用于视觉跟 ) 随后又将半监督学习( Adaboost 踪 Online Adaboost 等［，． Grabner Boosting 算法( OAB 59 ． Semi-supervised Learning ．

66 模式识别与人工智能( ) PＲ＆AI 第 31 卷算法与极大地提高跟踪算法的鲁棒性和适应性相结合，提出 Semi-Boost OAB 跟踪算法［］， 60 ．．．总体上，基于检测的跟踪算法和机器学习的分类器算法联系紧密未来基于判决学习的目标跟踪算法将是在线视觉跟踪研究的一个热点方向机器学习算法的发展仍会成为该方向发展的重要推动力．除此之外，比较活跃的在线视觉跟踪算法研究 ) 或水平集 ) ) 的目标 ) 的目标跟方向还有: 基于主动轮廓( Active Contour ( ) 的目标跟踪［］的目标跟踪［跟踪［踪［基于图割( 、基于兴趣点( 、基于度量学习( 、 Metric Learning Interest Point Graph Cuts Level Set ］等］］ 63 64 62 61 ．相关滤波算法 3 ．． Correlation Filter 目标跟踪运用各种方法根据已知观测图像估计当前图像中目标物体的位置使用目标图像训练的滤波器对图像进行滤波处理，在响应图像中寻找最大值位置，即图像中对应的目标位置在这种情况下可把目标跟踪的过程近似地看成对搜索区域图像进 ) 的过程，寻找目标位行相关滤波( 置也就是寻找滤波器响应图像的最大值位置下面从基础算法以及对基础算法改进的角度概述相关滤波算法，并给出简要分析 3．1 基础算法等［ ) 用 Bolme 于目标跟踪基于输出结果的最小均方误差训练滤波器，作用于搜索区域，可以得到响应图像，值越大说明该位置处的图像与初始化目标相关性越大，提与此同时，算法采用灰高滤波器的准确度和稳定性．度特征，速度超过这种相关滤波跟踪算法即是常说的平方误差最小滤波器( ］提出相关滤波( Correlation Filter 600 帧 / s． 65 ．．． Minimum Output ］，可以算得上最早 ) ［ 65 Sum of Squared Error 关于相关滤波的算法 MOSSE ，． Tracking by Detection 随着基于检测跟踪算法( ) 的广泛应用，相关滤波得到进一步发展在相关滤波跟踪算法中，关键部分是训练一个具有判别性的相关滤波器，用于区分前景和背景］针对相关滤波中样本数量不足对分类器结果的影响，创新循环密集采样方法利用中心图像块循环移位近似窗口移位，如图． Henriques 所示等［ 66 ．． 5 ． ( a 5 图 ) 中间为中心图像块，位于它左右的图像块是中心图像块沿个像素得到的图像块，位于它上下的图像块是中心图像块沿轴分别左右移动 10 x ．． ( b 10 轴分别移动个像素得到的图像块 ) 是中心 y 矩阵循环移位后对应的图像相应地上下左右偏移，在训练滤波器时，利循环采样粒子可组成循环矩阵用循环矩阵时域和频域的特殊性质，将优化求解中的复杂矩阵求逆转变为简单矩阵点除在进行目标跟踪时，将滤波器与粒子的相关性操作变成频域内的点乘操作，大幅减少计算量，显著提高训练速度．算法采用单通道灰度特征，可以实现简单跟踪，但当遇到目标遮挡目标旋转及尺度变化等情背景复杂、、况时，容易发生跟踪漂移．． ) 中心图像及移位后图像 ( a Central image and images after shift ( ) a ) 二维循环矩阵示例 ( b Examples of two-dimensional circular matrices ( ) b 图 5 循环样本及循环矩阵示例 Fig．5 Examples of circulate samples and circulate matrices 3．2 特征改进为了提升算法性能， Henriques 等优化［］ 66 CSK 的特征部分，提出基于颜色空间的算法 ( Color ， ) ［ 67 ］对颜色空间进行扩展，提出． CN CN ＲGB Name 空间，该空间通道数为绿、橙空间内提取的图像特征代入原训练公式，对每个通道进行快速傅里叶变白和黄) 、 ( 包括黑 11 将紫、红、粉、 CN 灰蓝棕、、、、．

第 1 期卢湖川等: 目标跟踪算法综述 76 ．．． 68 PCA 除了对颜色空间进行改进之外，虽然对算法精度有所帮助，但为了降低降维的方法提取更有效换，并进行特征加和多通道特征使运算量加大，影响算法速度运算量，作者提出使用的特征 Henriques ］在相关滤波中引入核空间，同时提出将多通道等［采用方向梯度直方图特征融入相关滤波的方法 ( ) 特征，通过核函数将原来线性空间中的脊回归映射到非线性空间，在非线性空间中求解一个对偶问题和某些常见的约束，同样可以利用循环矩阵傅里叶空间对角化简化计算 Histogram of Oriented Gradient HOG ，．． HOG 特征对运动模糊． Bertinetto 光照变化及颜色变化等、颜色特征对形变鲁种特征．很鲁棒，但对形变的鲁棒性较差棒性较好，但对光照变化不够鲁棒如果将进行有效结合，将会提升跟踪算法的精度等［］提出 ( 69 ． 2 ．．．．． HOG 利用 STAPLE Complementary Learners for Ｒeal- ) ，从特征融合方面入手，改进跟踪算 Time Tracking 特征训练相关滤波器，得到跟踪得分，法并融合使用颜色直方图得到的统计得分进行，得到最后的响应图像并估计目标位置两种特征的融合提高跟踪算法的准确度，但也使得计算略微复杂 3．3 多核算法除了采用多种颜色特征之外，还有一些算法将 ) 应用到相关滤波中，取得不多核方法( Multi-kernel 核函数可以将原本线性空间内不可分的错的效果样本映射到高维空间，增加样本的可分性单核学习中，核函数的选择通常根据经验人为设定，这样的核函数不一定最优，而多核学习旨在通过多个核函数按权重融合或自适应的选择解决人工设定带来的不合理性］提出多核相关滤波器( Kernelized Correlation Filter Multi Ker- ) ，在核化相关滤波 nelized Correlation Filter ) ［，器( ］中引入多 KCF 核，并提出优化求解方法等［］融合多特征与 71 多核，将多个滤波器进行有效整合，并通过最后的跟踪结果判断特征与核的权重，使算法具有自适应选］对其进行改进，择特征及核的能力提出注意力机制相关滤波网络 ( Attention Network Attentional ) ，使用注意力网络 Correlation Filter Network ( ) 选择合适的相关滤波器，使算法能根据跟踪情况自适应调整选用的特征与核函数．同特征改进相同，单一特征或单一的核函数很难适应所有的跟踪情况，因此多特征及多核之间的联合作用通常起到较好的效果 3．4 尺度估计继而，．Zhang MKCF ACFN ．Tang Choi 等［等［，， 72 68 70 尺度变化是目标跟踪中一个较常见的问题，但．．．当目标尺度缩小前述算法中都无法进行尺度估计时，会造成选取图像块中包含大量背景信息，当目标尺度扩大时，会造成选取图像块中只包含目标的局部信息，这两种情况都会引起跟踪漂移为了解决尺度变化对跟踪的影响，自适应尺度变化的相关滤波跟踪器( Scale Adaptive Kernel Correlation Filter Tra- ．， ) ［］和判断尺度空间跟踪器( 73 68 74 7 ， ) ［ cker SAMF ． SAMF ［ KCF DSST 使用 Discrimi-n- ］的基］在 ative Scale Space Tracker 个较粗的尺度，使础上引入尺度估计用平移滤波器在多尺度图像块上进行检测，选取响应值最大处对应的平移位置和目标尺度分别．DSST 训练平移滤波器和尺度滤波器，使用个较精细的尺度，先使用平移滤波器进行位置估计，然后在该位置处使用尺度滤波器进行尺度估计以后的算法中经常使用这两种尺度估计的算法 3．5 分块算法 33 ．．．． Key Point 此外，跟踪过程中的物体通常使用一个矩形框选取，由于跟踪的物体一般不为矩形，目标图像块不可避免地引入背景信息，导致跟踪不准确为了解决这一问题，可以采用分割算法( ) 或关键 Segmentation 点算法( ) 表示目标基于分割的物体表示虽然能较好地表示目标形状，但计算量过大，影响跟而基于关键点的目标表示难以获取踪算法的速度跟踪目标的整体特征，也不是一个很好的方法为了解决这一问题，］提出选取有效局部图像块表 Li 示物体结构，利用每个局部图像块的响应图像计算所示，这些响应图像按一定方法组其置信度合后可大致表示图中物体的形状算法采用霍夫投票的方法融合多个响应图像，估计目标位置和尺度如图等［ 6 75 ．．．．．图 6 ＲPT 局部图像块表示目标物体示意图 Fig．6 Schematic diagram of representing target object via PＲT local image block ． 76 Liu 等［将目标区域分为］提出使用分块的相关滤波算法增强跟部分，每部踪器对遮挡的鲁棒性分分别训练相关滤波器，将得到的响应图像 ) 按权重加和，得到最终的响应图，由 ( 根据每个滤波器的权重判断跟踪此估计目标状态好坏，决定是否进行模板更新］将整体与局部相结合进行目标跟踪，提出局部全局相结合的相Ｒesponse Map ．Fan 等［ 5 77 ．

86 模式识别与人工智能( ) PＲ＆AI 第 31 卷． ) ，， 2×2 LGCF ADMM ． Lukeicˇ 等［ Local-Global Correlation Filter 关滤波器( 将的图像块，在相关滤波优整个目标区域平分成化方程中加入整体和局部的优化方程，使用交替方向乘子算法 ( Alternating Direction Method of Multi- ) 进行优化求解］利用整 pliers 体与局部相结合的思想，提出可形变分块相关滤波器 ( ) ，与 Deformable Parts Correlation Filter ］不同的是，按照图像关键部分选取该算法［ LGCF 个局部图像块，不是平均分成，在新一帧的估计的中按照系统能量优化的原则重新寻找关键部分，并与整体结合计算新位置 3．6 样本标签改进 DPT ， 4 77 78 ．．． 79 ， Bibi 等［ CF +AT 在相关滤波算法中，通过样本循环移位构造密集采样，这样样本对应的二分类标签一般采用高斯当上一帧目标跟踪不准时，由于当前帧分布的标签的标签是以上一帧中心点为中心产生，会导致错误的累积，发生跟踪漂移现象其次，这种标签帧间独立，忽略跟踪过程中物体时间上的关联，并不可靠．为了克服上述问题，］提出目标响应自适应相关滤波跟踪算法 ( Target Ｒesponse Adaptation for ) ，将原来固定的 Correlation Filter Tracking 高斯型标签变为自适应的样本标签，在］的优化方程中同时加入滤波器学习和样本标签先验的学习，根据样本标签先验信息，计算每帧的自适应标签，并提出快速求解的方法这种自适应样本标签用于相关滤波算法中，可以提升算法的抗干扰能力，具有理论上的合理性和实践上的有效性相同的思想，也出现在鲁棒相关滤波器( Ｒobust Correlation Filter 提出现有的相关ＲCF 损失项对应的响应为各向同滤波优化方程中的性，较易受遮挡或光照等因素的影响，通过引入稀疏性的损失项探索各向异性的响应对跟踪结果的影响，算法也通过实验证明这种响应更准确鲁棒 3．7 边界效应］中，但做法有所不同［ KCF ．ＲCF ) ［ L2 68 80 ．．．． 5 边界效应也是影响滤波器性能提升的一个主要在训练阶段，由于密集样本是经过中心图像块原因循环移位得到，如图所示，只有中心样本准确，其它的样本都会存在位移边界，导致训练的分类器在大部分算法的解决物体快速移动时不能准确跟踪方案是在图像上加上余弦窗，弱化图像边界对结果的影响，这样只要保证移位后图像中心部分合理即虽然增加合理样本的数量，但仍不能保证所有训可另外，加入余弦窗也会使跟踪器屏练样本的有效性蔽背景信息，只接受部分有效信息，降低分类器的判在目标检测阶段，当物体处于搜索区域的边别能力．．．．在 SＲDCF ．的基础上， Danelljan 等［］提出连续 83 为了克服边界效应，界时，余弦窗的加入使物体信息弱化甚至清除，导致跟踪失败］采用较大尺寸的检测图像块和较小尺寸的滤波器，提高真实样本的比例，并采用迭代求解 Galoogahi 等［ 81 ． ADMM ． Danell- 等［］提出空间约束相关滤波器( 82 ， jan SＲDCF Spatially Ｒegu- ) ，采用更大的检测 larized Correlation Filter 区域，在滤波器系数上加入权重约束，越靠近边缘权重越大，越靠近中心权重越小，使滤波器系数主要集中在中心区域由于滤波器在整个搜索区域内移动检测图像块的相关性，因此在克服边界效应的同时不会忽略边缘物体的检测．域卷积相关滤波算法( ．．．．．． 84 85 ) ) 3 ， ECO CCOT ． CCOT Danelljan 继而， Continuous Convolution Opera- ，将原来时域离散的 tors for Visual Tracking 位置估计转换为时域连续的位置估计，使位置估计此外，算法还在相关滤波算法中融合分辨率更准确不同的图像特征，将多种传统特征与深度特征相结合，提升算法精度中对待高维特征的方法是每个通道训练一个相关滤波器，使算法存在大量的冗余，也影响算法速度］改进个方等［滤波器系数和模板更新、，从训练样本 CCOT 面去除冗余，提出高效卷积操作( Efficient Convolu- 算法指出，相邻帧之间的样本 tion Operators 具有很多冗余信息，影响样本多样性，限制分类器性使用高斯混合模型对样本建模，可以有效增强算能同时，训练代表性滤波器，并用线性组合表法性能示其它滤波器，每隔帧更新一次，大幅降低计算量］提出可靠通道与空间的批判性相关滤波器( ．Lukeicˇ 等［ Discriminative Correlation Filter with Channel ) ，利用空域可靠性 and Spatial Ｒeliability 得到二值掩膜，作用于滤波器上，自适应地选择更易跟踪的目标区域，减少边界效应通道间采用加权求和的方法进行融合］指出用于相关滤波训练的负样本只通过正样本循环移位得到，训练的分类器对背景的判别能力有限，因此在训练时引入正样本周围采集的负样本，提高跟踪准确度 3．8 结合其它算法［．CF+CA CSＲ-DCF ， 6 ， SVM 支持向量机( 一些算法结合循环矩阵与其它方法，提高速度 ) 和精度 Support Vector Machine 能准确区分目标和背景，但粒子滤波 ( ) 的框架导致算法速度较慢 Particle 相关滤波算法得 Filter 益于循环矩阵的特殊性质，能将运算转换到频域进与循环矩阵，提出支持行简化相关滤波器( ) ，并给， Support Correlation Filter 出优化方程在频域中的简化计算方法］］结合 SVM ．Zuo 等［等［ SCF 87 88 86 ．．．．． Wang

分享到：

赞收藏

资料库

目标跟踪算法综述_卢湖川.pdf

相关推荐

人工智能

热门标签

最新资料