图形 图像与多媒体 、 Image Processing and Multimedia Technology 神经网络在车牌识别中的应用 王 力 王 小 华 王 莉 ， ， 长 沙 理 工 大 学 电 气 与 信 息 工 程 学 院 湖 南 长 沙 ， 410076) ( 摘 要 介 绍 了 中 国 车 牌 识 别 的 研 究 背 景 和 现 状 ， 提 出 了 一 种 基 于 神 经 网 络 的 新 方 法 并 设 计 了 该 图 像 变 换 适 用 于 利 用 原 始 车 牌 来 增 加 ， ： ： 一 种 没 有 直 接 预 处 理 的 车 牌 像 素 图 像 的 卷 积 神 经 网 络 结 构 训 练 数 据 库 关 键 词 实 验 结 果 验 证 了 本 车 牌 识 别 方 法 的 鲁 棒 性 和 有 无 车 牌 的 识 别 效 率 卷 积 神 经 网 络 车 牌 识 别 预 处 理 鲁 棒 性 。 。 。 中 图 分 类 号 ： TP391.43 ： A 文 章 编 号 ： 1674 -7720 (2011)05-0038-03 ； ； 文 献 标 识 码 ； Application of neural network in license plate recognition ( College of Electric and Information Engineering ， Changsha University of Science and Technology ， Changsha 410076 ， China ) Wang Li ，Wang Xiaohua ，Wang Li Abstract ： The article introduces the background of Chinese vehicle plate recognition and situation， proposes a new method based on neural network， and designs a license plate without direct pixel image preprocessing of convolution neural network structure. The image is applicable to transform the original license to increase training database. The experimental results verify the license plate identification method and robustness of the license plate recognition efficiency. Key words ： convolution neural network； robustness； preprocessing； license plate recognition 车辆牌照自动识别系统 LPR(License Plate Recognition) 是 把 计 算 机 视 觉 理 论 和 技 术 应 用 于 车 辆 牌 照 识 别 的 专 是 计 算 机 视 觉 与 模 式 识 别 在 智 能 交 通 领 域 中 的 用 系 统 ， 综 合 应 用 通 信 技 术 和 工 程 学 等 多 门 学 科 是 智 能 交 通 系 统 涉 及 到 图 像 处 理 人 工 智 能 信 息 论 ， 、 、 、 。 LPR 中 的 关 键 技 术 之 一 [ 1] 。 ITS 近 年 来 ITS 在 社 会 生 活 中 的 广 泛 应 用 已 经 逐 渐 地 应 用 到 现 实 生 活 中 ， 也 发 展 得 非 常 具 有 广 阔 它 的 开 发 和 研 制 工 作 在 国 内 外 均 受 到 极 大 ( Intelligent Traffic System) 随 着 快 的 发 展 前 景 的 关 注 ，LPR 由 于 LPR ， ， 。 在 车 牌 识 别 系 统 中 、 ， ， 包 括 背 景 复 杂 程 度 由 于 实 际 使 用 条 件 的 影 响 存 ， 光 照 车 牌 污 损 以 及 由 于 拍 摄 角 度 或 车 辆 运 动 等 这 些 都 对 图 像 处 理 和 识 别 算 识 别 算 法 中 值 得 重 视 的 是 算 法 的 算 法 应 能 很 方 便 地 当 出 现 新 的 车 牌 模 式 时 、 在 着 许 多 影 响 识 别 率 的 因 素 条 件 的 变 化 原 因 导 致 字 符 变 形 歪 斜 等 法 提 出 了 很 高 的 要 求 学 习 能 力 ， 适 应 新 模 式 轮 廓 匹 配 配 。 拓 扑 特 征 检 测 。 、 。 、 模 糊 模 式 识 别 和 神 经 网 络 等 、 距 离 的 模 板 匹 神 经 网 络 识 别 方 目 前 常 用 的 字 符 识 别 算 法 包 括 模 板 匹 配 基 于 ， Hausdo 其 中 ， 。 、 。 38 微 型 机 与 应 用 《 》 2011 卷 第 期 5 30 法 具 有 稳 健 性 好 优 点 、 识 别 率 高 对 残 损 字 符 识 别 效 果 好 等 、 。 是 目 前 较 为 流 行 的 识 别 算 法 [ 2] 。 ， 但 是 目 前 这 些 技 术 大 多 依 赖 于 图 像 预 处 理 前 阶 段 而 本 文 设 计 了 一 种 没 有 直 接 预 处 理 的 像 卷 积 神 经 网 络 方 法 的 应 用 以 最 大 程 度 地 保 证 而 且 本 卷 积 神 经 网 络 已 被 成 一 般 对 象 的 训 练 和 分 类 素 车 牌 结 构 的 卷 积 神 经 网 络 避 免 了 图 像 预 处 理 以 及 由 其 出 现 的 去 噪 问 题 的 影 响 确 保 没 有 相 关 资 料 的 不 切 实 际 的 假 设 了 丰 富 的 原 始 信 号 被 保 留 功 应 用 于 视 觉 图 形 装 置 识 别 。 例 如 手 写 字 符 识 别 人 脸 识 别 和 行 人 跟 踪 等 ， ， ， 、 。 。 、 卷 积 神 经 网 络 1 卷 积 神 经 网 络 是 近 年 发 展 起 来 并 引 起 广 泛 重 视 的 在 一 种 高 效 识 别 方 法 研 究 猫 脑 皮 层 中 用 于 局 部 敏 感 和 方 向 选 择 的 神 经 元 时 ， 发 现 其 独 特 的 网 络 结 构 可 以 有 效 地 降 低 反 馈 神 经 网 络 的 复 杂 性 继 而 提 出 了 卷 积 神 经 网 络 ，Hubel Wiesel 年 代 世 纪 。 20 和 60 Neural Networks) 。 研 究 热 点 之 一 免 了 对 图 像 的 复 杂 的 前 期 预 处 理 ，CNN 特 别 是 在 模 式 分 类 领 域 ， CNN ( Convolutional 已 经 成 为 众 多 科 学 领 域 的 由 于 该 网 络 避 可 以 直 接 输 入 原 始 图 ， 目 前 ， ， 年 第 

图形 图像与多媒体 、 Image Processing and Multimedia Technology 像 ， 在 因 而 得 到 了 更 为 广 泛 的 应 用 [ 3] 。 FUKUSHIMA K 年 提 出 的 新 识 别 机 是 卷 积 神 经 网 络 的 第 一 个 实 现 随 后 其 提 出 的 该 方 法 综 合 了 各 种 改 进 方 法 的 优 点 并 。 具 有 代 表 性 的 研 究 成 果 是 更 多 的 科 研 工 作 者 对 该 网 络 进 行 了 改 进 Alexander Taylor ， 改 进 认 知 机 1980 网 络 中 和 ， ， “ 避 免 了 耗 时 的 误 差 反 向 传 播 ” [ 4] ， 。 。 。 ， ， ：(1) CNN 。 (2) 特 征 提 取 层 的 基 本 结 构 一 般 包 括 两 层 每 个 并 提 取 该 局 与 其 他 特 征 间 的 网 络 的 每 个 特 征 映 射 层 每 个 特 征 映 射 是 一 个 平 面 一 旦 该 局 部 特 征 被 提 取 后 神 经 元 的 输 入 与 前 一 层 的 局 部 接 受 域 相 连 部 的 特 征 位 置 关 系 也 随 之 确 定 下 来 计 算 层 由 多 个 特 征 映 射 组 成 平 面 上 所 有 神 经 元 的 权 值 相 等 函 数 核 小 的 得 特 征 映 射 具 有 位 移 不 变 性 的 神 经 元 共 享 权 值 。 卷 积 神 经 网 络 中 的 每 一 个 卷 积 层 都 紧 跟 着 一 个 用 来 求 局 部 平 均 与 二 次 提 取 的 计 算 层 这 种 特 有 的 二 次 特 征 提 取 结 构 减 小 了 特 征 分 辨 率 ， 特 征 映 射 结 构 采 用 影 响 使 由 于 一 个 映 射 面 上 函 数 作 为 卷 积 网 络 的 激 活 函 数 [ 5] ， 因 而 减 少 了 网 络 自 由 参 数 的 个 数 sigmoid 此 外 ， ， ， ， 。 。 。 。 主 要 用 来 识 别 位 移 、 ， ， ， 。 。 时 CNN CNN CNN 同 时 由 于 所 以 在 使 用 而 隐 式 地 从 训 练 数 据 中 进 行 学 习 缩 放 及 其 他 形 式 扭 曲 不 变 的 特 征 检 测 层 通 过 训 练 数 据 性 的 二 维 图 形 进 行 学 习 避 免 了 显 示 的 特 征 抽 由 于 同 一 特 取 所 以 网 络 可 以 并 行 学 征 映 射 面 上 的 神 经 元 权 值 相 同 习 这 也 是 卷 积 网 络 相 对 于 神 经 元 彼 此 相 连 网 络 的 一 大 ， 卷 积 神 经 网 络 以 其 局 部 权 值 共 享 的 特 殊 结 构 在 语 优 势 音 识 别 和 图 像 处 理 方 面 有 着 独 特 的 优 越 性 其 布 局 更 接 近 于 实 际 的 生 物 神 经 网 络 权 值 共 享 降 低 了 网 络 的 复 杂 性 这 一 特 点 避 免 了 特 征 提 取 和 分 类 过 程 中 数 据 重 建 的 复 杂 度 特 别 是 多 维 输 入 向 量 的 图 像 可 以 直 接 输 入 网 络 ， ， ， ， ， 。 ， 。 卷 积 神 经 网 络 在 车 牌 识 别 中 的 应 用 ， ， 。 ， ， ，S 图 中 (simple) 为 了 提 高 车 牌 字 符 的 识 别 率 所 示 1 完 成 特 征 提 取 层 为 简 单 其 输 入 连 接 是 可 变 的 层 则 是 由 复 杂 它 的 输 入 连 接 是 固 定 的 基 于 卷 积 神 经 网 络 的 识 别 机 完 成 字 符 识 别 如 图 经 层 程 中 不 断 更 正 神 经 层 心 被 激 励 位 置 的 近 似 变 化 别 层 动 地 识 别 输 入 模 式 的 影 响 经 过 学 习 而 不 受 输 入 图 片 扭 曲 可 以 显 示 模 式 识 别 的 结 果 本 文 采 用 一 种 改 进 的 其 网 络 结 构 神 经 元 组 成 的 神 并 在 学 习 过 ， 神 经 元 组 成 的 显 示 接 收 信 层 的 最 后 一 层 为 识 网 络 可 以 自 缩 放 和 位 移 (complex) 不 可 修 改 ， 网 络 中 。 C C ， 。 。 ， ， ， ， 、 2 。 S C U0 UG Us1 Us2 Us3 Us4 Uc1 Uc2 卷积神经网络结构 图 1 Uc4 Uc3 从 图 组 1 层 和 组 4 可 以 看 出 网 络 由 输 入 层 差 异 提 取 层 ， 层 组 成 U0， 主 要 流 程 如 下 ， ， S C UG、4 层 的 输 入 ：U0→UG→ 其 中 差 异 提 取 由 加 强 中 心 感 受 野 神 经 层 的 输 ， UG 神 经 元 通 过 S 提 取 输 入 图 像 中 不 同 方 向 的 边 缘 成 分 US1→UC1→ US2→UC2→ US3→UC3→US4→ UC4。 层 对 应 于 视 网 膜 中 的 中 心 细 胞 元 平 面 和 抑 制 中 心 神 经 元 平 面 两 部 分 构 成 出 作 为 第 一 个 有 监 督 训 练 ， 它 的 输 出 作 为 神 经 元 是 无 监 督 竞 争 学 习 的 自 组 织 神 经 元 过 监 督 竞 争 学 习 的 训 练 来 正 确 识 别 所 有 样 本 是 网 络 的 输 出 层 即 识 别 层 果 [ 6] 。 ， 层 的 层 通 层 显 示 网 络 最 终 的 模 式 识 别 结 第 二 组 和 第 三 组 中 层 中 的 的 输 入 ；UC4 ； US4 ； US1 UC1 S S ， ； 差 异 提 取 层 的 输 出 如 下 ： UG ν ， uG(n ，k)= (-1) kΣaG(ν)·u0(n+ν 神 经 元 的 响 应 函 数 如 下 层 S S ： ν) ， ，0 ( k=1 ，2) ucl(n，k)= θl 1-θl max n N=1 ， ， ， ， ， ， ，， ， ， ， ， ，， ， ， ， ，， ， 1+ ΣΣasl(ν，φ，k)·ucl-1(n+ν，φ) 1+θl·ν(n) - 1 ， ， ， ， ， ， ，， ，0 ， ， ， ， ，， ， ， ， ，， ， 式中 ，asl(ν，φ，k)(≥0) S 神 经 元 的 连 接 函 数 该 层 ， 元 的 输 入 连 接 是 相 同 的 [ 7] 。 θl 当 asl V 此 时 在 识 别 过 程 中 决 定 最 终 的 识 别 结 果 是隐含 层数 ，kcl -1= 2 。 的半径 。 是上 一层 神 经 元 至 同 一 神 经 元 平 面 的 所 有 神 经 ucl-1(n+ν，φ) C 层 l S 是 第 时 层 l=1 ，Us4 S 神 经 元 的 阈 值 ， 即为 ，ucl-1(n，k) uG(n，k)， 神 经 元 的 最 大 输 出 除 层 外 ， Uc4 其 余 三 层 层 的 神 经 元 响 应 函 数 如 下 ： C (1) (2) 。 ， ， ，0 ，0 max Σacl(ν)·usl(n+ν ，k) ， ucl(n ，k)= (3) 1+max Σacl(ν)·usl(n+ν ，k) ， 是 式 中 层 的 输 入 训 练 集 和 测 试 集 的 描 述 ，acs(ν) C 。 3 在 训 练 集 中 同 时 需 要 常 规 积 极 样 本 和 消 极 样 本 ， 因 此 本 文 建 立 了 人 工 采 样 的 不 同 领 域 收 集 得 到 实 时 交 通 场 景 的 大 多 数 基 于 学 习 方 法 的 中 国 牌 照 的 车 牌 识 别 使 用 一 个 大 约 为 因 为 作 为 最 小 的 一 个 窗 口 可 以 辆 车 牌 图 像 积 极 训 练 集 400 。 的 输 入 窗 口 [ 9 ] ， 16 × 48 做 到 不 遗 漏 任 何 重 要 信 息 。 选 择 了 中 央 部 分 窗 口 车 牌 图 适 用 于 裁 剪 的 车 牌 和 地 位 上 的 优 势 不 规 范 的 样 本 ， 、 ， 考 虑 到 字 符 识 别 的 进 程 如 大 小 为 ， 的 直 方 20 × 60 正 常 情 况 下 都 卷 积 神 经 网 络 的 鲁 棒 性 具 有 规 模 。 因 此 本 文 的 目 标 是 为 其 鲁 棒 性 提 供 ， 均 衡 和 整 体 亮 度 校 正 都 没 有 强 度 为 了 创 造 更 多 的 样 本 并 加 强 不 变 性 的 强 度 转 换 和 对 比 还 原 转 换 适 用 于 所 有 原 有 的 训 练 样 本 得 到 的 积 极 样 本 训 练 集 包 括 车 牌 的 实 物 图 块 车 牌 2 400 图 2 ， 。 ， 色 彩 最 后 ， 是 一 些 。 。 微 型 机 与 应 用 》 2011 年 第 卷 第 期 5 30 《 欢 迎 网 上 投 稿 www.pcachina.com 39 

图形 图像与多媒体 、 Image Processing and Multimedia Technology . [ 1 ] 参 考 文 献 高 隽 社 边 肇 祺 高 隽 业 出 版 社 ， 2004 . [ 3 ] [ 2 ] . . ， 2003 . 智 能 信 息 处 理 方 法 导 论 北 京 ： [ M ] . 机 械 工 业 出 版 模 式 识 别 北 京 清 华 大 学 出 版 社 [ M ] . ： ， 1987 . 人 工 神 经 网 络 原 理 及 仿 真 实 例 北 京 机 械 工 [ M ] . ： (c) 原来图像减少对 比度的图像 [ 4 ] NEUBAUER C. Evaluation of convolutional neural networks for visual recognition [J]. Neural Netwoks， 1998，9 (4)：685- 原始图像 (a) 实 验 结 果 (b) 图 扭转彩色图像 车牌实物图 2 4 实 验 共 分 两 步 进 行 包 括 定 位 ( 预 处 理 条 件 下 得 到 的 个 元 细 胞 平 面 数 200 ) [ 10] 训 练 卷 积 神 经 网 络 ， 前 期 对 采 集 到 的 车 牌 图 片 进 行 后 期 首 先 选 取 理 想 预 处 理 的 样 本 图 片 每 个 字 符 为 ) ， 分 割 等 、 个 ( 20 × 60 得 到 各 层 的 权 值 20 阈 值 及 神 经 然 后 使 用 优 化 后 的 神 经 网 络 识 别 机 对 每 个 字 符 为 测 试 样 本 字 符 图 像 个 ， 、 ， 的 个 200 进 行 识 别 20 × 60 ( 20 其 正 确 的 识 别 率 达 到 ) ， 99 ％ 。 对 于 神 经 网 络 当 过 度 训 练 时 过 度 训 练 是 一 个 不 可 忽 视 的 严 重 问 ， 虽 然 训 练 错 误 不 断 减 少 但 是 随 着 时 测 试 误 差 经 过 最 小 值 后 开 始 一 定 数 量 的 增 加 其 并 且 可 以 观 察 到 这 一 现 象 的 识 别 率 并 不 稳 定 ， ， 。 题 间 的 推 移 迭 代 学 习 曲 线 如 图 ， ， 。 所 示 。 3 % / 率 别 识 110 100 90 80 70 60 50 40 30 20 10 0 0 100 200 300 400 500 600 700 800 900 1 000 训练时间 /s 有无牌照的识别效率 图 实 验 结 果 表 明 3 ，CNN 样 本 空 间 覆 盖 越 完 备 则 识 别 率 越 高 避 免 显 式 的 特 征 提 取 过 程 构 筑 训 练 样 本 空 间 贡 献 较 大 的 特 征 更 高 的 识 别 率 和 抗 干 扰 性 [ 11] 。 在 训 练 样 本 库 中 未 曾 出 现 或 出 现 较 少 用 于 车 牌 识 别 切 实 可 行 训 练 卷 积 神 经 网 络 通 过 隐 式 地 从 训 练 样 本 中 获 取 对 与 传 统 网 络 相 比 有 识 别 失 败 原 因 是 该 类 样 本 。 ， ， ， ， ， 本 文 利 用 神 经 网 络 的 优 势 优 化 了 网 络 系 统 中 各 层 的 权 值 参 数 采 用 一 种 改 进 的 基 于 卷 积 神 经 网 络 的 识 别 机 制 对 车 牌 照 中 的 字 符 进 行 识 别 该 识 别 方 法 通 过 对 理 想 预 处 理 条 件 下 的 车 牌 字 符 图 片 的 学 习 大 大 提 高 了 ， 前 期 预 处 理 会 车 牌 照 中 的 字 符 识 别 率 出 现 车 牌 定 位 不 清 这 些 都 会 影 响 识 别 效 果 将 对 网 络 结 构 提 出 进 一 步 的 改 进 较 差 条 件 下 的 车 牌 字 符 ， 字 符 分 割 错 误 等 缺 点 ， 使 其 可 以 识 别 预 处 理 在 今 后 的 工 作 中 降 低 实 际 识 别 率 但 实 际 应 用 中 因 此 。 ， 。 ， ， 、 ， 。 。 。 696. [ 5 ] Li Baoqing， Li Baoxin. Building pattern classifiers using convolutional neural networks [J]. Neural Networks， 2001，5 [ 6 ] (3)：3081-3085. 唐 汉 征 子 工 程 . ， 2004 ， 2 (1 ) ： 66 - 69 . 车 牌 识 别 系 统 的 工 作 原 理 及 其 应 用 现 代 电 [ J ] . [ 7 ] FUKUSHIMA K. Neocognitron for handwritten digit recognition[J]. Neurocomputing， 2003：161-180. [ 8 ] FUKUSHIMA K. Neocognitron： a hierarchical neural network capable of visual pattern recognition [J]. Neural Networks， [ 9 ] [ 10 ] . 1988，1(2)：119-130. 魏 武 学 报 王 璞 学 院 学 报 . 一 种 基 于 模 板 匹 配 的车 牌 识 别 方 法 ， 2001 (1 ) ： 104 - 106 . 车 牌 字 符 识 别 的 混 合 特 征 提 取 方 法 ， 2004 (3 ) ： 30 - 33 . 中 国 公 路 沈 阳 工 业 [ J ] . [ J ] . 神 经 网 [ 11 ] HAGAN M T ， DEMUTH H B ， BEALE M H . 络 设 计 北 京 机 械 工 业 出 版 社 [ M ] . ： ， 2002 . 收 稿 日 期 ( ： 2010 - 10 - 08 ) 作 者 简 介 王 力 ： 男 ， ， 1985 信 息 检 测 与 处 理 。 向 ： ， 男 王 小 华 电 力 系 统 谐 波 分 析 王 莉 ， 1968 ， 年 生 女 ， ， 1985 系 统 谐 波 分 析 。 年 生 ， 硕 士 研 究 生 ， 主 要 研 究 方 向 智 能 ： 年 生 教 授 硕 士 生 导 师 ， ， 主 要 研 究 方 ， 数 字 滤 波 器 设 计 等 。 硕 士 研 究 生 ， ， 主 要 研 究 方 向 电 力 ： ( / 元 本 192 ： 16 定 价 全 年 订 阅 代 号 ： 2-889 元 欢 迎 订 阅 " !!!!!!!!!!!!!!!!!!!!!" ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! "!!!!!!!!!!!!!!!!!!!!!" 电子技术应用网站 www.chinaaet.com 欢迎访问 月 刊 ) 40 微 型 机 与 应 用 》 2011 年 第 卷 第 期 5 30 《