视频图像中的车型识别 曹治锦 唐慧明 （浙江大学信息与电子工程系，杭州 +*""!=） >?@0A5：B3ACA(DE*-+$D)@ 摘 要 文章介绍一种在固定单摄像头拍摄交通图像序列中检测车辆的方法。处理过程大致分为以下三步：重建不含运 动目标的自然背景及图像分割；摄像机标定；目标区域的跟踪和车型识别。实验证明方法是可行的。 关键词 背景重建 图像分割 图像匹配 图像跟踪 车型识别 文章编号 *""!?F++*?（!""#）!#?"!!-?"+ 文献标识码 G 中图分类号 HI+J* !"#$%&" ’"("%($)* +*, -.+%/$*0 $* !$,") 12+0"3 4+) 5#$6$* -+*0 78$2$*0 （K(’2A2:2& )8 K(8)4@02A)( L M)@@:(AD02A)( >(NA(&&4A(N，O3&CA0(N P(AQ&4’2A%，90(NB3): +*""!=） 9:3(.+%(：H3A’ R0R&4 A(24)/:D&’ 0 @&23)/ )8 /&2&D2A)( 0(/ 240DSA(N )8 Q&3AD5&’ A( @)()D:504 A@0N& ’&T:&(D&’ )8 24088AD ’D&(&’ 4&D)4/&/ .% 0 ’202A)(04% D0@&40$K@0N& R4)D&’’A(N A’ /)(& A( 234&& @0A( ’2&R’$UA4’2，0 4&5A0.5& .0DSN4):(/ A@0N& A’ 4&D)(’24:D2&/ 0(/ ).C&D2’ 04& ’&N@&(2&/ 84)@ 23& .0DSN4):(/$H3&( 23& D0@&40 D05A.402A)( A’ D)@R5&2&/$UA(055%，Q&3AD5& 240DSA(N 0(/ D50’’A8AD02A)( 04& 240(’0D2&/$>VR&4A@&(202A)( A’ R4)QA/&/ 0(/ ’3)W’ 23& @&23)/ A’ 8&0’A.5&$ ;"<=).,3：.0DSN4):(/ 4&D)(’24:D2A)(，A@0N& ’&N@&(202A)(，A@0N& @02D3A(N，).C&D2 240DSA(N，Q&3AD5& D50’’A8AD02A)( * 简介 介绍了摄像机标定方法，第四部分介绍了运动目标跟踪原理和 在道路网规划设计和建设以及交通管理中，交通流量和通 车型分类，最后给出了实验和结束语。 行车辆类型是重要参数，自动获得交通信息受到高度重视。已 有的研究大致可以分为两类：一类是利用压电、红外、环形磁感 ! 背景重建和图像分割 应线圈等传感器获得车辆本身的参数，这类方法跟踪识别率比 假 设 摄 像 头 固 定 ， 可 以 认 为 序 列 图 像 中 除 开 运 动 目 标 之 较高，但是容易损坏，安装也不方便；还有一类就是基于图像处 外 ，自 然 背 景 是 不 发 生 变 化 的 ，下 面 只 考 虑 镜 头 没 有 运 动 的 情 理的方法，克服了前面一类方法的局限，但易受干扰，技术难度 较高。该文的研究就属于后一种方法。利用安装在高处的单摄 像头监视路面，就可以对多车道的车流进行动态检测和统计。 运动目标的分割常常有两种方法，一种是利用梯度信息， 采 用 分 水 岭 算 法 进 行 帧 内 分 割 ，然 后 进 行 运 动 估 计 ，合 并 具 有 相同运动矢量的小区域，这类方法计算量比较大。还有一种就 是利用帧差法，帧差法运算量小，但是存在几个缺点。帧差法其 实就是检测目标运动过程中灰度变化区域，对于较大目标，中 间灰度变化不大的重叠区域不能检测，对多目标的识别跟踪造 成困难。其次检测到区域比车辆本身覆盖范围大，要寻求真正 边界，需要耗时的运动估计。如果是当前图像和理想背景相减， 就可以克服这些问题。在监控场合，摄像头大多是固定的，背景 是很缓慢变化的，可以从图像序列中逐渐取出自然背景。 摄像机标定采用了针孔模型计算投影透视矩阵。 运动目标的跟踪，是利用前后两帧分割出的目标的相似度 进行匹配，通过匹配可以准确地对流量进行计数。相似度的测 量 主 要 有 互 相 关 和 90:’/)488 距 离 ，90:’/)488 距 离 可 以 在 目 标 形状发生改变和目标区域分裂合并后有效跟踪变化后的图像， 所以该文采用了基于欧氏距离的 90:’/)488 距离匹配图像。利 用 长 宽 信 息 和 模 型 匹 配 ，将 车 辆 分 成 公 共 汽 车 、轿 车 和 面 包 车 三大类。 第二部分介绍了重建背景图像方法和图像分割，第三部分 况。在一定间隔的相邻两帧图像中，用帧差法检测发生变化的 区域，二值化帧差图像被称作帧差掩模图像（变化 部 分 赋 *，不 变部分赋 "）。在帧差掩模序列中，对那些长时间没有运动目标 经过的区域（帧差掩模图像序列中，较长之间保持“"”的部分）， 就可以认为该区域对应自然背景，将相应位置的原始图像区域 拷贝到背景缓冲区，这个过程一直进行下去。这样即使背景发 生 了 变 化 ，比 如 光 线 明 暗 、天 气 阴 晴 以 及 路 上 有 长 时 间 静 止 的 物体，都可以得到与之相适应的背景图像。 由于背景变化在某些时候也比较快，背景可能在一时不能 重建，这时就需要利用帧差掩模和背景图像以及背景重建成功 与否的标记信息分割出运动目标。把当前帧与上一帧的差值图 像 用 8/ 表 示 ，当 前 帧 与 背 景 图 像 的 差 值 图 像 用 ./ 表 示 ，二 值 化门限值为 234&’3)5/，表 * 给出了在背景没有完全重建成功时 运动目标检测的准则;*<。 序号 * ! + # , - 背景和当前帧差 ./ 当前位置尚无背景 当前位置尚无背景 0.’（./）1234&’3)5/ 0.’（./）67234&’3)5/ 0.’（./）1234&’3)5/ 0.’（./）67234&’3)5/ 表 * 目标检测判据 当前帧和上一帧差 8/ 检出区域性质 是否目标区域 0.’（8/）1234&’3)5/ 0.’（8/）67234&’3)5/ 0.’（8/）1234&’3)5/ 0.’（8/）67234&’3)5/ 0.’（8/）67234&’3)5/ 0.’（8/）1234&’3)5/ 运动区域 静止区域 运动目标 背景区域 静止目标 未覆盖背景 %&’ () %&’ () %&’ () 作者简介：曹治锦，男，硕士研究生，研究方向为图像编解码，图像理解。唐慧明，男，副教授，硕士生导师，主要从事图像通信和图像识别方面的研究。 !!- !""#$!# 计算机工程与应用 

经过以上处理的初始目标图像含有许多噪声小区域，并且 由 于 车 辆 反 光 的 角 度 影 响 ，使 得 车 辆 轮 廓 线 很 不 光 滑 ，需 要 经 过进一步处理。所以先用面积门限过滤小的噪声区域，然后选 用较大的结构元素形态滤波平滑区域边界。背景重建和图像分 割 结 果 如 图 %，由 图 % 可 见 ，尽 管（&）中 背 景 没 有 重 建 完 全（黑 色区域还较大），（’）中的分割结果也是比较好的。 图 % 车辆检测结果 ( 摄像机标定 在模型匹配和车型识别中，需要从二维图像恢复目标三维 信 息 ，同 时 将 三 维 模 型 投 影 到 图 像 平 面 上 去 ，因 此 必 须 计 算 三 （!） $ % % %% & $ % % %% & ’ (% ) (% !(% % ! " ’ (+ ) (! !(! % " ’ (( ) (( !(( % "" ’ (# ) (# !(# # ’ (% ) (% !(% % ! " ’ (+ ) (! !(! % " ’ (( ) (( !(( % "" ’ (# ) (# !(# # ’ (% ) (% !(% % ! " ’ (+ ) (! !(! % " ’ (( ) (( !(( % "" ’ (# ) (# !(# # 可 见 只 要 有 四 组 点 ，就 可 以 计 算 投 影 矩 阵 了 。 具 体 过 程 &%% $ ! % " &%! % " &%( %% "" &% &%# # &!% $ ! % " &!! % " &!( %% "" &!# &% # &(% $ ! % " &(! % " &(( %% "" &% &(# # !"% #% ! " !"! #! " !"( #( "" !"# ## # !"% $ % ! " !"! $ ! " !"( $ ( "" !"# $ # # !"% ! " !"! " !"( "" !"# # $ % % 0 %% & $ % % 0 %% & $ % % 0 %% & $ % % %% & （(） （#） 如 下 ： 首先测量摄像头在世界坐标中的位置，然后测量摄像头主 光轴与地面交点在世界坐标中的位置，这可以通过测量图像中 心点对应的地面点坐标得到，这两个点相减可以求出主光轴矢 量。在世界坐标中选取 # 个控制点（注意不能使 # 个点都选取 在地面上，否则 # 阶矩阵不满秩），同时得到这些点在图像中的 坐标。计算 # 个控制点到摄像头的矢量在摄像头主光轴上的投 ，然 后 求 解（!）（(）（#）三 个 方 程 组 ，由 于 计 算 影 !"% 过程可以避免出现奇异矩阵，所以解是唯一的。通常路面上的 、!"! 、!"# 、!"( 维空间到图像平面的投影关系矩阵，即所谓的摄像机标定。该 车 道 分 隔 线 具 有 固 定 的 几 何 关 系 ， 所 以 需 要 测 量 的 参 数 并 不 文采用基于针孔模型的摄像机标定方法，其基本原理是利用给 多，只需测量摄像头的坐标和图像中心对应地面点的坐标即可。 定 的 一 组 三 维 世 界 坐 标 中 的 控 制 点 和 这 些 控 制 点 在 图 像 中 的 坐标，求解线性方程组，计算透视投影矩阵中的各个元素 )!*。透 视投影矩阵如下： 图 ! 摄像机标定 !" # $ ! %% "" $ % &% # &%% &%! &%( &%# ! " &!% &!! &!( &!# "" &(% &(! &(( &(# # ’( $ ! $ % " ) ( % % " %*’( %% !( "" %% & &% # ，) ( ，!( （%） 其中 #、$ 是图像坐标，（’ ( ）是世界坐标，* 为 投 影 为三维空间中点到摄像机镜头的矢量在主光轴上的投 矩阵，!" 影距离，各参量如图 ! 所示。要求解投影矩阵的各个元素，需要 + 个点的投影关系组成 %! 阶的方程组，并且常常 由 于 方 程 组 不独立，没有唯一解，只能采用近似计算。)!*中就介绍了最小二 乘法和特征值法，在经过 ,-./-& 计算之后，误差很大。在（%）式 基 础 上 经 过 改 进 ，提 出 一 种 计 算 方 法 ，只 需 要 利 用 # 个 点 的 投 影关系，方程组的阶次也只有 # 阶。由上式可以看出： # 目标跟踪和分类 在分割出来初始目标区域之后，在相邻的两帧目标掩模图 像中匹配这些分割出来的区域，建立目标链，以减少重复计数。 事实上，多目标跟踪目标链的建立是比较困难的问题。车辆在 运动过程中，由于光照和角度变化，目标掩模会发生形变，上一 帧 出 现 的 目 标 区 域 在 当 前 帧 可 能 会 分 裂 、合 并 或 者 消 失 ，当 前 帧出现的目标区域可能在上一帧没有与之匹配的区域，要解决 这些问题，必须要有一个能够稳健处理形变的跟踪器。跟踪器 和图像匹配是紧密关联的，该文采用 1-23’4566 距离作为图像 匹配的准则。 设 有 两 组 有 限 点 集 , 07-% ，$$$，-.8 和 /070 % ，$$$，0 18，则 1-239 -4 !, 05 !/ ,;< -4 !, ,;< 05 !/ 其中：3（, ，/）%,-: ’4566 距离定义为 2（, ，/）0,-:（3（, ，/），3（/，, ））。 "-4 60 5 "，3（/，, ）0,-: "0 5 6 -4 "，3（, ，/）被 称 为 从 , 到 / 的 有 向 1-23’4566 距 离 ，其 意 义 反 映 了 , 到 / 的 不 匹 配 程 度 ，3（/，, ）的 意 义 和 3（, ，/）相 似 。 利用 1-23’4566 距 离 匹 配 图 像 会 发 生 这 种 情 况 ，即 , 和 / 大 部 分 区 域 非 常 相 似 ，但 是 存 在 少 数 边 界 点 有 较 大 偏 离 ，这 样 求 出 的 1-23’4566 距 离 值 比 较 大 ，不 能 真 实 反 映 , 和 / 之 间 的 匹 配 程度。所以通常采用修正之后的 1-23’4566 距离，通常的做法是 对 , 中所有的点，求出在 / 中与之距离最近的点集，接 下 来 不 是求其中距离最大值，而是将距 离 值 从 小 到 大 排 列 ，取 第 7 个 值作为 1-23’4566 距 离 ， 这 样 的 1-23’4566 距 离 对 形 变 不 敏 感 。 文中将距离值累加求平均，即：3（, ，/）0（ ’,;< 05 !/ -4 !, "-4 60 5 "）8 .， . 为 , 边界点数目。实际上在计算 1-23’4566 距离时，是将已知 计算机工程与应用 !""#$!# !!= 

模板二值图像与待匹配的二值图像转换成距离变换图像，距离 变换的具体计算方法见文献HOJ。 假设 ! 是当前分割出来的二值化目标边界，" 是待匹配的 距离变换图像，基于 Z/>-G @*80<+./+01- (*5)-0a>*HIJ$ ,777 (./-< 30.5>0+< /-G AN<+*L< 41. W0G*1 (*5)-1218N，!""!；%!（&）： Y&&QYR? !$孙慧，张燕$计算机视觉摄像机定标中投影矩阵的计算HIJ$河北师范大 学学报，!""%；!?（%）：!?Q!R O$E>-022/ T1.8*41.<$60<+/-5* (./-<41.L/+01-< 0- 6080+/2 ,L/8*+*. W0<01-，E./M)05<，/-G ,L/8* [.15*<<0-8，%’R?；O#：O##QO&% （上接 %&’ 页） ()* %!+) ,-+*.-/+01-/2 31-4*.*-5* 1- 6/+/ 7-80-**.0-8，9*: ;.2*/-<， =1>0<0/-/，%’’? ?$@ A.0B/-+，@ C8./:/2$D0-0-8 E*-*./20F*G C<<150/+01- @>2*+>.* E*-*./+01- 31LM>+*. AN<+*L<，%’’&；%O（!PO）：%?%Q%R" &$@ E1G0- ，@ D0<0$C- ,-5.*L*-+/2 31-5*M+ K1.L/+01- CMM.1/5) 41. =*/.-0-8 4.1L 6/+/S/<*+*. A50*-5*，%’’#； %OO：OR&Q#%’ R$A T.0- ，@ D1+:/-0 ，I 6 U22/L- *+ /2$6N-/L05 ,+*L<*+ 31>-+0-8 /-G ,LM205/+01- @>2*< 41. D/.B*+S/5<1-，C.0F1-/，%’’& ’ $ C A/V/<*.* ，7 ;L0*50-2*< 0- =/.8*< 6/+/S/<*.05)，A:0+F*.2/-G，%’’Y %"$Z D/--02/$D*+)1G< /-G [.1S2*L< 0- 6/+/ D0-0-8H3J$,- ：()* ?+) ,-+*.-/+01-/2 31-4*.*-5* 1- 6/+/S/<* ()*1.N MM 6*2M)0 ，E.**5* ， AM.0-8*.，%’’& %%$I Z/-，D \/LS*.$范 明 ，孟 小 峰 等 译$数 据 挖 掘 ：概 念 与 技 术HDJ$北 京：机械工业出版社，!""%