第 24 卷 第 8 期 2007 年 8 月 计 算 机 应 用 研 究 Application Research of Computers Vol. 24 No. 8 Aug. 2007 融 合 边 缘 检 测 与 HSV 颜 色 特 征 的 车 牌 定 位 技 术 * ( 1. 海军 航空 工程 学院 , 山东 烟 台 264001; 2. 烟台 市 公安 局, 山 东 烟 台 264000; 3. 烟 台 职 业 学 院, 山 东 烟 台 264000) 王 枚1 , 3, 王国宏1 , 潘国华 2 摘 要: 车 牌定 位是 车牌 识别 系统 的关键 技术 , 定位的 准确 与否 直接 影响 车牌 识别 的结 果。 车牌 区 域 具有 空 间 特征 ———边 缘信 息丰 富, 颜色 空间 信息 ——— 伴生 与互 补特 性。 若 利 用 边 缘 特 征丰 富 进 行 定 位, 受对 比 度 及 噪 声 影响 较大; 利 用颜 色信息 受车 身颜 色及 光照 影响 较大 , 误 识率 较高 。针对 这一 特点 , 提 出了 一 套融 合 灰 度边 缘 检 测与 车牌区 域特 有的 颜色 特征 , 准 确进 行车 牌定 位的 算法 。对 200 幅各 种情 况下从 交通 卡 口 获取 的 实 测彩 色 图 像进 行试 验, 准确 定位 率为 99. 5% 。 关键 词: 车 牌定 位; HSV 颜色 特征 ; 边缘 检测 ; 融合 中图 分类 号: TP391. 41 文章 编号 : 1001- 3695( 2007) 08- 0209- 03 文献 标志 码: A Method of vehicle license plate location fusing edge detection and HSV color feature WANG Mei1, 3 , WANG Guo-hong1 , PAN Guo-hua2 ( 1. Naval Aeronautical Engineering Institute, Yantai Shandong 264001; 2. Yantai Public Security Bureau, Yantai Shandong 264000, China; 3. Yantai Vocational College, Yantai Shandong 264000, China) Abstract: The vehicle license plate location was the key technique of the vehicle license plate recognition system; the accu- racy will influence the plate recognition result. The area of license plate has space feature with wonderful edges and colorful feature with concomitant and complement feature. The location accuracy should be influenced by noises or contrast using edges information and by vehicle-body’s color or visible light using color feature. For this point the paper shows an arithmetic fusing gray edge detection and plate area color feature to locate license plate. The experiments on 200 automobile RGB real color ima- ges that were taken under various conditions from traffic stations show the correct location rate of 99. 5% . Key words: vehicle license plate location; HSV color feature; edge detection; fusion 0 引言 车牌自动识别系统具有很高的理论研究和实际应用价值, 随着计算机和视频技术的发展, 已成为智能交通系统的重要组 成部分, 并已广泛应用于车辆追查和跟踪、车辆出入控制、公路 收费监控等领域。车牌定位对车牌识别系统来说至关重要, 其 定位准确度在很大程度上影响着以后的字符分割和识别结果。 车牌的定位属于图像分 割的范 畴。目前车 牌定位 技术 主 要有两大类: a) 基于 空 间灰 度图 像 的处 理。常 用算 法有 边 缘 检测后使 用 数学 形 态 学 定 位 [ 2, 3] 、灰 度 直方 图 定 位 [ 4] 、Hough 变换提取车牌边界 线后 进 行定 位 [ 5] 等方 法, 由 于早 期计 算 机 处理速度及内存容量的限制, 处 理灰度 图像比 较方便, 现在 仍 有许多学者在这类方法上进行研究。该算法的优点: 可利用车 牌区域边缘丰富的特点, 对一般边缘特征不复杂的车牌能够快 速定位; 缺 点: 当车辆 的前 脸边 缘异 常复 杂, 疑似 车牌 区域 较 多, 车牌图像 中对比度较 小, 光 照不均匀时, 很难准 确地定位, 误识率较高。b) 基于颜色空间的 彩色图 像处理 的方法。常 用 的算法有利用彩色边缘颜 色对车 牌进行 定位 [ 6] 等。其特点 符 合人的视觉感知, 但因为彩 色图像 为三维 空间, 处理 速度相 对 较灰度图像慢。现在随着计算机技术的发展, 处理彩色图像从 硬件及软件实现上已经成 为可能。该 算法的 优点是 利用车 牌 区域颜色特征, 对一般车身颜色与车牌区域颜色明显不同的车 辆定位率很高且速度较快; 缺点是对于车身颜色与车牌区域颜 色接近部分较多、车牌褪色等情况, 也很难准确定位。 现在我国已成为汽车消 费大国, 车辆 类型繁 多, 其 前脸 装 饰也较多, 尤其是各类面包车、小型汽车; 车身的颜色变化也较 多; 有些车辆车 牌破损严重, 如卡车 等; 车 牌倾斜、光照不均 等 情况出现较多, 造成车 牌的误 识率增 加。一般情 况下, 边缘 检 测中感兴趣区域( AOI) 包括两个前大灯、车上的 汉字或字母 标 志及装饰等, 进行车牌的分割, 需要其他的限制条件进行判别, 误识率较 高, 但 这 部 分 AOI 区 域 颜 色 一 般 不 符 合 车 牌 区 域 ( AOLP) 的颜色特征, 可以利用 颜色区 别车牌 及其他 字符及 车 灯区; 只使用 AOLP 颜色特征进 行定 位, 车身 颜色 与车 牌区 域 收 稿日期 : 2006- 06- 20; 修 返日期 : 2006- 07- 14 金项目 ( 200443) 基 金项 目: 国 家自 然科学 基金 资助项 目( 60541001) ; 全国 优秀博 士学 位论文 作者 专项基 作 者简介 : 王枚( 1968- ) , 女 , 山东蓬 莱人, 副 教 授, 博士 研 究 生, 主 要 研究 方 向 为 图像 处 理 及 模式 识 别 研 究 ( wangmei336 @ 163 . com) ; 王 国 宏 ( 1963 - ) , 男, 山西人 , 副 所长, 教 授, 博导, 主 要研究 方向为 多传 感器信 息融 合、模 式 识别 等; 潘 国 华( 1967- ) , 男, 山 东 人, 工 程 师, 主 要 研 究 方向 为 交通监 控和模 式识 别等. 

·012· 计 算 机 应 用 研 究 2007 年 颜色相似时, 也很难单独 使用这 一特征 准确完 成定位, 但可 以 使用车牌区域边缘丰富的特点, 快速去除与 AOLP 颜色相 同的 车身部分。本文利用上述两种方法的优点, 将空间信息与颜色 空间信息相融合, 即灰度图像的边缘检测与车牌区域的颜色特 征相融 合, 能够 克服 以上 两种方 法的 缺点, 提 高定 位准 确率。 实验证明, 本算法具有很好的应用效果。 1 车辆牌照的定位算法 根据中华人民共和国公共安全行业标准 GA36-92, 我国共 有四类车牌———蓝底白字( 小功率汽车牌照) 、黄底黑字 ( 大功 率汽车牌照) 、白底黑字 或红 字( 军 用或 警用 车牌 ) 、黑 底白 字 ( 国外驻华 机 构用 车) , 也 就 是 说在 车 牌 区域 中 存 在蓝 色、黄 色、白色、黑色、红色共五 种颜色。根 据这一 特性, 将彩 色图 像 化为多个阈值进行分割, 提取与车 牌颜色 有关的 AOI 区域, 得 到 AOI 灰 度 图。 AOLP 的 字 符 排 列 格 式 是 X1X2. X3X4X5X6X7, 即 AOLP 具 有 字符 跳 变、边缘 丰 富的 特点。 根 据这一特点提取边缘图像。利用 提取的 颜色 AOI 与 边缘图 像 相融合进行定位, 最后利用投影积分得到精确的车牌区域。实 验表明, 利用颜色空间信息特征比单纯使用颜色或空间信息得 到的结果更准确。其流程图如图 1 所示。 原始图像 是 HSV 提取车牌颜色 边缘灰度图像 能定位? 能定位? 图 1 车牌 定位算 法流 程图 特征区域 是 否 否 融 合 投影 定位 1. 1 利用 HSV 颜色模型提取的车牌 AOI 图像 取阈值是最常见的并行的直接检测区域的分割方法, 像素 特征空间分类可看做是取 阈值技 术的推 广。彩色图 像分割 是 多维特征空间 分类, 可 化 为多 次 阈值 分割 来 解决 [ 1] 。在 一 般 的多阈值情况下, 取阈值分割可表示为 如 果 TK < f( x, y) ≤TK+1 ( K = 0 , 1, 2, …, n) , 则 g( x, y) = K ( 1) 其中: T0、T1、K、Tk 是一系列分割阈 值, 这里 表示不同 颜色分 割 的阈值; K 表示赋予分割后图像各 区域的 不同标 号; f( x, y) 表 示坐标( x, y) 点的特 征值, 这里 取 HSV 颜色空 间的 H、S、V 颜 色分量值; g( x, y) 表示结果图像的灰度值。 对于 AOLP 区域, 与其有关的颜色按其出现的概率大 小分 为蓝色、黄色、白色、黑色、红色, 对出现在图像中的其他颜色与 AOLP 无关, 若对整幅原 始图 像提 取该 五类 颜色 AOI 区 域, 则 车牌必在其中。采用颜色量 化方式 将 AOI 在 同一灰 度图像 I′ 中表示出来。假设 C( x, y) 为原 始图 像 I 中 ( x, y) 点 上在 HSV 颜色模型中 的 H、S、V 维 颜色 分 量值; Ci ( x, y) ( i∈ N, i∈ [ 0, ) 为( x, y) 点上的选中颜色的 H、S、V 维的颜 色分量 值, 选 中 5] 的颜色为 AOLP 的颜 色—蓝色 ( 5) 、黄色 ( 4) 、白 色 ( 3) 、黑 色 ( 2) 、红色( 1) 、其他( 0) ; g( x, y) 为结果灰 度图像 I′中( x, y) 点 上的灰度值。若:  ( x, y) ∈Ii , 对 于 Cr( x, y) ∈ C( x, y) 如果 Cr( x, y) ∈ i( x, y) ( 1 - T) , Ci( x, y) ( 1 + [ C T) ] ( 2) 则有 g( x, y) = i ×M i∈ [ 0, 5] ; M ] ( 3) 为 灰度 量化 的 跨 其中: T 为选中颜色的 宽容 度, T∈ [ 0, 1 度, 其结果值域 g( x, y) ∈[ 0, 255] 。 对颜色分割后得到的图像 g( x, y) 进 行二 值化 处理, 方 法 为 G( i, j) = { 0 1 if g( i, j) ≠0( 代表 AOI 像素 点) f( i, j) = 0 ( 代 表非 AOI 像素 点) ( 4 ) 本文采用适合人的视 觉感受 的 HSV 颜 色模 型, 利用 HSV 模型中的颜色分量 H 与 S( 色彩 H 和饱和 度 S) 为颜 色特征 鉴 别蓝色、黄色、红色 区 域, 利 用 V 分 量 区 分 黑 色 和 白色 区 域。 因为在 V( value 明亮 度) 分量 很高 或 很低 时或 者 S 分 量 很 少 时, H 无 法准确 描述颜 色, 所 以取约 束条件 为 0. 15 < V < 0. 9, 且 S> 0. 1。颜色 AOI 提取的结果如图 2( b) 所示。 1. 2 边缘检测提取车辆牌照的边缘信息 AOLP 的另一 特 点 是 边 缘丰 富, 提 取 边缘 丰 富 区 域 就 是 AOLP 疑似区域。其基本思想是检测图 像中的 边缘点, 图像 中 的边缘点就是其邻域是一 个灰度 级变化 带。 常用的 边缘提 取 算子有 Roberts、Sobel、Prewitt 等。其中: Sobel 算 子在四邻域 中 使用带权的方法计算差分, 在检测 边缘点 的同时, 抑 制噪声 的 影响, 但检测的边 缘 较宽。使 用 了 Sobel 算 子进 行边 缘 检测, 获取了较完整的车牌边缘结果如图 2( c2) 所示。 因为 AOLP 中存在七个字符, 所以其水平方向梯度值变 化 频率较高, 这一 特点 在车 牌 图像 中表 现 突出。在 边 缘的 提 取 中, 为了简化计算, 可采用差分的方法来进行。经反复试验, 对 于车牌原始图像 I, 将其转换为灰度图像 I″, 对 I″取水平边缘 算 子 E = { - 1, + 1} ( 5 ) 对于任意( i, j) ∈I″, 存在 f( i, j) ∈f( x, y) , 则 f( i, j) = |- f( i, j - 1) + f( i, j) | ( 6 ) 利用式( 6) 对整幅车牌图像进行 运算, 可 提取到 特征值 水 平方向变化剧烈的区域, 并且可以抑制一定的噪声。得到差分 结果 f( x, y) , 然后按如下定义得到二值化图像 F( x, y) 。 { F( i, j) = 0 1 if f( i, j) < T( 代 表非边 缘像 素点) f( i, j) ≥T( 代 表边缘 像素 点) ( 7 ) 其中: T 为提取边缘点的 灰度阈 值, T∈[ 1, 255] 。本文 使用 了 E 算子 进 行 边 缘 检 测。 获 取 车 牌 水 平 方 向 边 缘 结 果 如 图 2( c1) 。 1. 3 提取的边缘图像与 HSV提取的 AOI 图像融合后的检测 信息的融合是将多个级别上对数据进行综合处理的过程, 每个处理级别均反映了对原始数据不同程度的抽象, 信息融合 的核心就是对来自多个层面 的数据 进行多 级别、多方面、多 层 次的处理, 从而产生新的有 意义的 信息, 而这 种新信 息是任 何 单一层面所无 法获 得的 [ 8] 。 对于 多 个证 据的 组 合, 如有 若 干 个相同假设的形式 E1 → H, K Em→ H 的规则, 则 对多 个证 据 应 采用的更新假设 H 的规则为: 若 E = E1 and E2 and K and En, 则定义 [ 7] : O( E |E′) = min{ O( E1 |E′) , O( E2 |E′) , K, O( En |E′) } ( 8 ) 可见多个证据的组合, “与”关系 为最小值, 这可 以大大 地 缩小车牌出现的概率。 对于 AOLP 定位, 作如下操作: B( i, j) = G( i, ( 9 ) j) 。利用 数学 形态 学闭 合后, 去 除 小面积后结果如图 2( d) 和( e) 。最后 利用水 平和垂 直方向 投 得到融合后结果 B( i, j) &F( i, j) 

第 8 期 王 枚, 等 : 融 合边 缘检 测与 HSV 颜 色特 征的 车牌 定位技 术 ·112· 影积分, 得到准确的车牌区域如图 2( f) 所示。 2 车牌定位识别实验结果与分析 因为利用了颜色空间信息 和空间 边缘信 息两个 方面进 行 车牌定位, 本文使用差分算子 E 进行边缘提 取, HSV 空间提 取 颜色 AOI 区域, 融合后定位效果很 好, 经过 200 个车 辆牌照 实 验, 原始图像来自各种 情况下 在卡口 提取 的 288 ×768 的彩 色 RGB 真实图像, 定位准确率在 99. 5% , 例外 的 1 例是无法 分辨 真实颜色, 对比度很小, 使用边缘检测细定位后位置不够准确, 但可以定到车 牌的 一边。本算 法在 1. 8 GHz \224 MB 内 存 的 单机上使用 MATLAB 编 制 的 算法, 定位 花 费 时间 在 2. 5 s 之 内, 改为 VC 程序在现实卡口中使用完全能够 达到快速定 位的 使用要求。 由图 2( b) 的 分割结 果可 以看 出, 提取 符合 AOLP 颜色 特 征的区域, 受车身颜色及 光照等 的影响 较大, 直接使 用车牌 颜 色特征进行车牌定位, 部 分车身 造成定 位出错 的几率 也很大, 但颜色分割可以直接有效地去除大部分车辆车灯区, 及其他边 缘丰富的 AOI 对边缘检测的影响。 1 2 3 4 ( a) 原 始 图 像 ( b) 提 取 颜 色 区 域 ( c1 ) 算 子 E 提 取 水 平 边 缘 ( c2) 算 子 Sobe l 提 取 边 缘 不属于 AOLP 的水平线。但两者均能够保持车牌位 置信息, 算 子 E 计算时间复 杂度 要少, 并 能很 好地 抑制 垂 直方 向边 缘 的 噪声影响。 对原始图像进行颜色提取分 割得到 的 AOI 进行 数学形 态 学操作, 可定位部分车牌, 但对 部分车 身颜色 复杂的 定位不 够 准确; 而边缘算子提取到 的边 缘图 像是 AOLP 的另 一层 面, 如 果汽车前脸不复杂, 背景较少, 能够较容易地提取车牌区域, 但 现在汽车的前脸装饰物较多, 提取 的边缘 图像、边缘 特征非 常 复杂, 单从边缘图像准确定 位需要 进行较 多的判 断; 只要判 断 条件出现, 就出现取阈值的问题, 也就增加了出现误判的几率。 而从车牌原始图像提取的车牌 彩色信 息又可 以从另 一层面 进 行判别, 将两方面的信息进 行融合, 可 以从边 缘和颜 色空间 两 个层面分析图像, 得到更加准确的结果。对 200 幅实测彩色 图 像进行测试, 各类方法效果对比, 如表 1 所示。 表 1 各种 方法比 较 方 法 图 像 特 点 准 确 定 位 率 / % 花 费 时 间 定 位 失 败 原 因 灰 度 图 像 96. 5 平 均 2 s / 幅 彩 色 图 像 97 平 均 4 s / 幅 对 比 度 小 、噪 声 大 、 车 牌 污 损 车 牌 褪 色 严 重 、 提 取 颜 色 不 完 整 颜 色 褪 色 非 常 严 重 且 彩 色 图 像 99. 5 平 均 2 . 5 s / 幅 对 比 度 很 小 , 点 提 取 不 到 A OLP 区 域 单 纯 使 用 空 间 信 息 定 位 单 纯 使 用 颜 色 特 征 定 位 融 合 边 缘 与 颜 色 信 息 特 征 定 位 3 结束语 本文提出了基于车牌区域 灰度边 缘特征 融合车 牌区域 的 颜色特征进行汽车牌照定位的方法, 其特点是将汽车牌照的颜 色特征与边缘特征充分结合 起来, 在提取 车牌过 程中, 利用 车 牌的颜色特征快速去除边缘图像中的非车牌区的边缘特征; 又 利用边缘特征去除大量的疑似车牌颜色特征的其他区域, 融合 后的结果, 具有比单一使用灰度边缘或单一使用颜色特征进行 定位更加准确的特点, 提高 了车牌 定位的 可靠性, 而 且在系 统 要求检测不同类型的车辆等 情况时, 可 根据车 牌的颜 色特征, 提供了有效的数据分类支持。实验证明, 该方法具有很好的定 位效果和实用性。 参考文献: [ 1] 章 毓 晋. 图 像 处 理 和 分 析: 上 [ M] . 北 京 : 清 华 大 学 出 版 社 , ( d) 融 合 ( b) ( c2 ) 后 结 果 2003: 196. ( e ) 融 合 ( b) ( c1 ) 后 结 果 ( f) 提 取 AOLP 图 2 边 缘检测 与颜 色特征 及融合 后定 位过程 及结 果 由图 2( c1) 、( c2) 可知: E 算子 提取的边缘 信息要 比 Sobel 算子提取的少, 只提取了 水平 方向 的边 缘, 包括 AOLP 垂直 方 向的边框线, 但提取不到 垂直方 向梯度 变化剧 烈的边 缘, 如 提 取不到 AOLP 水平边框 线和字 符中的 横笔画; 而用 Sobel 算 子 提取的边缘比较完整, 包 括 AOLP 中 的水 平边 框线, 当 然也 就 增加了融合后出现噪声 的几率, 如图 2( d) 融 合结果 包含一 些 [ 2] PARKER J R, PAVOL F. An approach to license plate recognition [ EB / OL] . ( 2001- 08- 07 ) . [ 2006- 04- 23 ] . http: / / pharos. cpsc. ucalgary. ca. [ 3] 左奇, 史 忠 科. 一 种 基 于 数 学 形 态 学 的 实 时 车 牌 图 像 分 割 方 法 [ J] . 中 国图 象图形 学报 , 2003, 8 A ( 5) : 281- 285 . [ 4] 刘伟铭 , 赵 雪平. 一种 基于扫 描 行的 汽 车 车 牌定 位 算 法 [ J] . 计 算机工 程与 应用, 2004, 40 ( 6) : 223- 225 . [ 5 ] 王良红 , 王 锦玲, 梁延 华. 改 进的 Hough 变换 在校 正汽车 牌照 倾 斜中的 应用 [ J] . 信息 与电 子工程 , 2004, 2 ( 1 ) : 45- 48. [ 6 ] 李文举 , 梁 德群, 张 旗 , 等 . 基 于 边 缘 颜 色 对 的车 牌 定 位 新 方 法 [ J] . 计 算机学 报, 2004, 27 ( 2) : 204- 208 . [ 7] 何友, 王国 宏, 陆 大金 , 等. 多 传感 器 信息 融 合 及 应用 [ M] . 北 京: 电 子工 业出版 社, 2001: 27.