第 33 卷第 5 期 Vol. 33No. 5 2004 年 10 月 Oct. 2004 红外与激光工程 Infrared and Laser Engineering 新的基于 Kalman 滤波的跟踪方法 汪颖进，张桂林 （ 华中科技大学 图像识别与人工智能研究所，湖北 武汉 430074） 摘 要：模板更新策略是匹配跟踪算法成败的关键，为了提高基于模板匹配跟踪算法的性能， 在分析多种模板更新算法的基础上，给出使用 Kalman 滤波器更新模板的方法。该方法不再将模板 图像视为一个整体，而是使用 Kalman 滤波器对模板图像逐像素点进行更新，以得到自适应和最佳 的目标模板图像，使匹配跟踪算法的性能得到很大提高，特别对于目标被遮挡、目标姿态变化以及 环境照度变化有很强的适应性。对匹配算法的改进和遮挡的处理使该算法的性能得到进一步提 高。实验结果表明该方法行之有效。 关键词：跟踪； 模板更新； Kalman 滤波器； 遮挡 中图分类号：TP391. 4 文献标识码：A 文章编号：1007-2276（2004）05-0505-04 New tracking method based on Kalman filter WANG Ying-jin，ZHANG Gui-lin （ Institute of Pattern Recognition and Artificial Intelligence，Huazhong University of Science and Technology，Wuhan 430074，China） Abstract：Template updating method is the key of the success of the matching and tracking algo- In order to improve the performance of the tracking algorithm using template matching，a new rithm. method for tracking rigid objects in image seguences is proposed after analyzing many template updating methods. A Kalman filter is used to update the template dot by dot instead of renewing it as a whole，and make it adapt to changes in object orientation，illumination and occlusion. The new method improves the performance of the image matching and tracking. The experiments testify the algorithm's efficiency. Key words：Tracking； Template updating； Kalman filter； Occlusion 0 引 言 目标图像匹配跟踪是一个比较复杂的问题，假设 目标图像帧间相关性［1］很强，借助于目标区域图像 模板与场景图像子区的相似性度量，确定目标图像最 佳 匹配子区。实际应用中由于目标姿态、环境照度的变 化，或者发生遮挡，都可能导致错误跟踪，此时，更新 模板将导致跟踪失败。理想的基于模板匹配的跟踪 算法需解决两个问题：（1）能够合理地更新模板，以 适应目标形态的变化；（2）能够检测到目标被遮挡以 及当遮挡发生时，制定合适的模板修正策略继续跟踪， 收稿日期：2003-11-15； 修订日期：2003-12-19 作者简介：汪颖进（1978-），女，湖北武汉人，硕士生，主要研究方向为目标识别与跟踪等。 

第 33 卷 605 并且在退出遮挡时重新捕获目标。 一样，如此得到的自适应和最优的模板图像，最终能 红外与激光工程 在匹配跟踪算法中，模板是目标图像形态的一个 够在序列图像中准确匹配目标。 记忆，是维持连续跟踪的纽带。由于跟踪过程中，目 标图像的变化是必然的，模板更新和修正也是必须 的，更新和修正的方法是图像匹配跟踪的关键。模板 修正方法通常有三种［2］，第一种方法是以目标第一 次出现时的图像形态作为模板，并且在以后的跟踪过 程中保持不变。这种方法记住的是目标的初始形态， 不能适应环境照度和目标形态的变化，在长时间跟踪 用 I（ x，t）表示图像区域像素点 x 在 t 时刻的灰 度值，用 g（ p，t）表示模板内像素点 p 在 t 时刻的灰度 值，实际使用的是该像素点灰度的估计值 ^g（ p，t），而 在进行模板匹配得到 I（ x，t）时使用的是 ^g（ p，t'），t' = t - l 。 假设不同像素点 p 的灰度值 g（ p，t）之间是彼此 独立的，使用一个独立的滤波器跟踪每一个像素点的 过程中不稳定。第二种方法是以当前最佳匹配子区 灰度。用下面的方式描述滤波器使用的预测值和测 图像作为模板，而抛弃目标以往的所有信息，这样会 量值： 因为遮挡的发生或是匹配误差的累积，造成跟踪的漂 移甚至失败。第三种方法是利用目标以往的所有形 态来构造当前模板，一般使用权值综合上一帧模板和 当前最佳匹配子区图像来修正模板。这种方法是前 面两种方法的折衷，但由于没有检测跟踪过程中出现 的目标图像变化，会将干扰因素引入到模板图像中 去，降低了跟踪的精度和可靠性。 如何寻找更好的模板更新方法是图像匹配跟踪 必须解决的关键技术之一。与图像跟踪相关的文献 中，有许多介绍 Kalman 滤波器在目标跟踪系统中的 应用［3，4］，通常都是利用 Kalman 滤波器对目标图像 跟踪位置的测量值等信息进行处理，得到一个更精确 的位置和速度输出结果，它们仅仅用于对目标轨迹的 平滑。将 Kalman 滤波器应用在对图像模板的更新 上［5］，是该滤波器的一个新的应用方向。该方法对 遮挡鲁棒，同时能够适应目标姿态和光照的变化。 1 基于 Kalman 滤波器的模板更新方法 1. 1 基本原理 以往的模板更新方法，均是将模板图像看作一个 整体，即无论对模板图像进行什么操作，该操作都同 等程度作用于模板中的每一个像素。但是在目标跟 踪过程中，模板图像中部分像素的变化是比较缓慢而 且有规律的，而部分像素是突变的，比如噪声或者光 照的变化、遮挡的发生等。在这些情况下，如果依然 将模板图像作为整体一视同仁地修正，势必会出现错 误。使用 Kalman 滤波器进行模板更新，最大的特点 是将模板图像中的每一个像素作为独立的个体进行 修正，每个像素依据自身的性质进行修正的幅度都不 （ p，t） （ p，t - l） （l） 预测值 g（ p，t） = g（ p，t - l）+ !w （2） I（ x，t） = g（ p，t）+ !I 测量值 （ p，t - l）表示系统噪声，该噪声随着环境照 式中 !w 度和目标姿态的变化而变化。通常假设 !w （ p，t - l） 是高斯噪声，而且对于模板中的每一个像素点 p 有相 同的方差 "2 （ p，t）表示图像信号的噪声，称为测 量噪声；同样假设 !I （ p，t）为标准高斯噪声，对于每个 像素点具有相同的 "2 。!I 。 w I 下面从公式（l）、公式（2）推导 Kalman 滤波器进 行模板更新的方程。^g（ p，t'）表示 g（ p，t）在时刻 t 的 预测值，^g（ p，t）表 示 滤 波 后 g（ p，t）的 估 计 值。 ^"2 （ t'）、^"2 （ t）分别表示 ^g（ p，t'）和 ^g（ p，t）的方差，它们 之间存在下面的对应关系： g g ^g（ p，t'） = ^g（ p，t - l） （ t - l）+ "2 （ t'） = ^"2 ^"2 （3） （4） 用 r（ p，t）表示每个像素点的预测值和测量 值 之 间 的差： w g g （5） 模板中每个像素点的灰度值按下面的公式进行更新： r（ p，t） = I（ x，t）- ^g（ p，t'） ^g（ p，t） = ^g（ p，t'）+ （ t'） ^"2 （ t'）+ "2 ^"2 g g I r（ p，t） （ t） = ^"2 （ t'）"2 ^"2 （ t'）+ "2 ^"2 1. 2 实用的模板更新方法 g g g I I （6） 当公式（l）和公式（2）中的噪声为高斯噪声时， 公式（6）将产生 g（ p，t）的最优估计。但是实际情况 是，当遮挡或者使用的运动模型较简单时，公式（2） 中的测量误差将会导致噪声模型和标准高斯模型之 间有很大偏差。为了使 Kalman 滤波器依然能够得到 

第 5 期 705 最优的更新模板，应该剔除这些噪声点或是被遮挡点 汪颖进等：新的基于 Kalman 滤波的跟踪方法 的影响，这些点通称为局外点。判断是否为局外点， 需要下面这个重要参数 r。 r 表示 r（ p，t）的标准偏差的估计。用 R 表示模 板区域，R*表示 R 中不含局外点的部分，N*表示 R*中 的像素点个数。取连续 K 帧的 r2（ t）平均得到： r2 = t 1 i = t -K +1 r2（ t） （7） 式中 r2（ t）= 1 N* p R* r2（ p，t）。 当某个像素点灰度的预测值与测量值的差 r（ p， t）大于 r 的一定倍数时，认为它是局外点，对该点的 灰度值 g（ p，t）不进行更新。同时为了避免某些点长 时间不更新，对每个像素点引入一个计数器 I（ p），表 示该像素点连续被认为是局外点的次数，当 I（ p）超 时，就强制进行更新，即将 I（ x，t）的值赋 过上限 Imax 于 g（ p，t）。这样，该改进的 Kalman 滤波器模板更新 方法对部分遮挡鲁棒。 1. 3 参数值的求取 在 Kalman 滤波器的参数中，系统噪声 !2 w 和测 I 是最关键的两个。实际应用中，它们既不 量噪声 !2 稳定也很难获取。但是如果知道其中一个，通过比较 r2 和 r（ p，t），就可以求出另一个，而且通过调整一个 参数通常已经能够满足由环境照度和目标姿态变化 所带来的影响。先设定 !2 的初始值： 和 !2 g I w 、!2 I = 0. 5r2（1） !2 （0） = 0 !2 （0） = 0. 5r2（1） !2 w g 假设 !2 I 已知，由公式（5）得到： 2 r = !2 I + ^!2 g （ t*） 将公式（4）代入上式，得： 2 r 显而易见，有： = !2 I + ^!2 g （ t - 1）+ !2 w （8） （9） （10） 2 匹配跟踪及对遮挡情况的处理 模板更新是为了使匹配更加准确以达到更精确 的跟踪效果。匹配误差评价函数对匹配精度起决定 性的作用。传统的误差评价方式，比如均方差评价函 数、绝对差累加和等都很容易受到极个别大误差点的 影响，而不能有效考虑整体情况；为了降低个别大误 差点的影响，必须考虑在映射函数上进行抑制。本文 使用 Huber'S 函数［6］： "（ e） = { e2 / 2 c（ I e I - c / 2） 如果 I e I < c 其他 （12） 式中 e = I（ x，t）- ^g（ p，t*） ；c = 1. 345。 r 根据局外点在整个模板像素中所占据的比例 fr 来判断是否发生遮挡，以及发生了多大范围的遮挡， 以决定此时的跟踪策略： fr = N - N* N （13） 考虑如下三种情况： （1）当 fr < #1 ，通常开始跟踪目标时，目标图像 比较清晰，没有遮挡，属于正常跟踪状态。这时使用 Kalman 滤波器更新模板，用模板匹配的方法寻找最 佳匹配位置，跟踪目标。 （2）当 #1 fr < #2 ，一旦 fr #1 ，认为开始发生遮 挡，但此时还处于局部遮挡状态，依然可以使用对部 分遮挡鲁棒的模板匹配方法跟踪目标，只是不再进行 模板更新；随着遮挡逐渐加强，fr 的值也越来越大。 （3）当 fr #2 ，认为发生了大面积甚至是全部遮 挡，这时已经无法再进行模板匹配，采用轨迹外推的 方法估计目标可能出现的位置，并且在该位置时搜索 目标，监测 fr 的值；当遮挡逐渐减弱，fr 逐渐变小，低 时，认为目标再次出现了，此时又转到局部 于门限 #2 遮挡的跟踪情况，最后遮挡完全消失，恢复模板更新， 进入正常跟踪状态。 2 !2 w = r - !2 I - !2 g （ t - 1） （11） 根据实际应用场景，#1 、#2 的取值要作适当的调 整；而且对 于 不 同 大 小 的 目 标 模 板，也 需 要 不 同 的 通过公式（8）和公式（11），就可以自动设定在 Kal- man 滤波器中使用的噪声参数了。 值。将其设置为自适应的，使其随模板大小的 、#2 #1 变化而变化。 

第 33 卷 805 红外与激光工程 3 结 论 参考文献： 基于 Kaiman 滤波的模板更新方法逐像素点更新 目标模板图像，有效地剔除了局外点的影响，得到自 适应和最佳的模板图像；改进的匹配跟踪算法，降低 了极个别大误差点的影响，使匹配跟踪结果更加准确 可靠；特别对于遮挡情况的处理表现出较强鲁棒性， ［1］ 刘学东，贾玉林，孔昊. 相关算法中跟踪稳定性问题的研究［ J］. 红外与激光工程，1998，28（1）：9-13. ［2］ Tao H，Sawhney H，Kumar R. Dynamic iayer representation with appiications to tracking［ A］. Proc IEEE Conf on Comp Vision and Pattern Recogn，CVPR00［ C］. 2000，2. 134-141. ［3］ Cipra T，Romera R. Robust Kaiman fiiter and its appiication in time series anaiysis［ J］. Kybernetika，1999，27（6）：481-494. 而且对于目标形态的变化以及环境照度的影响适应 ［4］ Legter G R Jr，Young Y T. A mathematicai modei for computer im- 性强，相对于传统的模板匹配跟踪方法性能有很大提 高。该模板更新方法还可以与仿射变换结合起来使 用，这样将适用于更复杂的运动模型，将进一步提高 跟踪算法的性能。 age tracking［ J］. IEEE Trans on PAMI，1982，4（6）：583-594. ［5］ Nguyen H T，Worring M，R van den Boomgaard. Occiusion robust adaptive tempiate tracking［ A］. Proc IEEE Conf on Computer Vi- sion［ C］. 2001，1. 678-683. ［6］ Huber P. Robust statistic［ M］. New York：John Wiiey， 1981. 2004（ 上海）激光技术应用与产业发展论坛 一、主要研讨内容 1. 论中国激光技术的应用与产业发展 ———信息产业部电子信息产品管理司 2. 中国电子信息产业政策及市场需求展望 ———信息产业部经济体制改革与经济运行司 3. 上海市激光技术与产业发展思路 ———上海市经济委员会技术进步处 4. 激光在光盘技术中的应用 ———中科院上海光学精密机械研究所干福熹院士 5. 激光彩色电视机的国内外发展 ———中科院北京物理所许祖彦院士 6.（ 报告题目待定） 13. 激光医疗技术的国际动态与产业发展 ———上海交通大学光生物医学所任秋实所长 14. 激光技术在印制线路版产业中的应用 ———中国印制线路版行业协会王龙基秘书长 15. 关于激光光电子产业中的光学元件 ———上海嘉光 - 斯米克光学集团马仁勇总裁 16. 中外合资，强强联合大力推进我国激光产业的发展 ———团结激光集团有限公司陈海斌董事长 17. 激光技术在微电子半导体产业中的应用 ———美国相干公司何萍首席代表 18. 关于精密数控激光加工技术及应用 ———上海团结普瑞玛激光设备有限公司罗敬文副 ———上海理工大学仪器仪表学院院长庄松林院士 总经理 7. 半导体激光技术与产业 19. 我国激光产业发展的思考 ———中科院北京半导体所陈良惠院士 ———楚天激光集团有限公司吴让大总裁 8. 我国激光技术发展规划与展望 二、时间、地点 ———中国光学学会激光加工专业委员会邓树森教授 2004 年 11 月 15 日报到。上海市浦东新国际博览中心 9. 激光加工的最新领域 ———上海市激光技术研究所王又良所长 会议中心 2004 年 11 月 16 ~ 17 日开会。 10. 关于高功率大能量固体激光器的发展与展望 三、联系方式 ———中科院上海光机所朱健强所长 11. 关于激光技术与产业的发展 ———上海交通大学光学光子所夏宇新所长 12. 激光技术在医疗中的应用 ———华中科技大学激光技术与工程研究院李正佳院长 1. 联系人：孔祥荣、贺琼华 2. 电 话：010-55010086 转 29、23 传 真：010-68132578，68189519 电子邮箱：kXr221@ m165. com 网址：http：/ / www. chinaeiec. com. cn