计算机技术 ● 图 形 图 像 与 多 媒 体 基于 FPGA的快速人脸检测 魏 良 , 苏 光 大 , 邓 亚 峰 ( 清 华 大 学 电 子 工 程 系 , 北 京 100084) 摘 要 : 针 对 人 脸 检 测 对 实 时 性 的 要 求 , 对 正 面 直 立 人 脸 提 出 了 改 进 的 层 次 型 AdaBoost 检 测 算 法 , 并 基 于 软 件 测 试 的 结 果 , 确 定 出 硬 件 结 构 。 在 基 于 FPGA 实 现 时 , 大 幅 度 提 高 了 检 测 速 度 , 并 充 分 利 用 了 资 源 。 关 键 词 : 人 脸 检 测 AdaBoost 层 次 型 分 类 器 流 水 线 处 理 技 术 人 脸 检 测 是 指 对 于 给 定 的 图 像 或 视 频 , 判 断 其 中 是 否 存 在 人 脸 , 如 果 存 在 , 则 进 一 步 确 定 人 脸 的 个 数 、具 体 位 置 以 及 大 小 的 过 程 [1]。 作 为 一 个 模 式 识 别 问 题 , 人 脸 检 验 包 含 两 个 方 面 的 内 容 , 一 是 特 征 提 取 , 二 是 分 类 方 法 设 计 。 近 年 来 , 为 更 好 地 区 分 不 同 模 式 , 出 现 了 一 些 新 的 特 征 定 义 , 使 其 便 于 特 征 提 取 [2] 并 拓 展 了 特 征 库 [3], 而 采 用 AdaBoost 算 法 从 弱 特 征 中 选 取 分 类 能 力 强 的 特 征 组 成 强 分 类 器 的 方 法 来 设 计 层 次 型 分 类 器 , 可 以 很 好 地 解 决 直 立 正 面 人 脸 检 测 问 题 [4]。 FPGA 有 着 规 整 的 内 部 逻 辑 阵 列 和 丰 富 的 连 线 资 源 , 特 别 适 合 于 数 字 信 号 处 理 , 且 有 良 好 的 并 行 性 和 可 扩 展 性 。 因 此 , 特 别 适 用 于 人 脸 检 测 中 多 个 窗 口 并 行 处 理 以 及 弱 特 征 的 并 行 运 算 。 1 算 法 介 绍 1 . 1 弱 特 征 由 于 像 素 特 征 具 有 受 尺 度 变 化 影 响 比 较 严 重 和 不 便 于 构 建 快 速 分 类 器 的 缺 点 , 因 此 , 为 了 更 好 地 区 分 不 同 模 式 , 本 文 采 用 区 域 面 积 来 归 一 化 特 征 , 将 特 征 定 义 为 相 邻 矩 形 像 素 灰 度 均 值 之 差 , 如 式 ( 1 ) : f(Rp, Rn)= mp mp i = 1!sum(ri i = 1!wi phi p, … rmp p p) - n) (1) mn i = 1!sum(ri nhi i = 1!wi mn n p, r2 Rp={r1 }为 负 集 合 。sum(r)为 矩 形 内 所 有 像 素 灰 度 之 和 , w、h 分 别 为 矩 形 的 宽 和 高 。 p}为 正 集 合 , Rn={r1 n, r2 m p n, … r n 为 图 像 在 点 (x′, y′)处 的 值 。 采 用 面 积 来 归 一 化 , 避 免 了 对 弱 特 征 进 行 尺 度 放 缩 时 引 起 的 误 差 , 并 且 减 弱 了 光 照 对 检 测 的 影 响 。 1 . 1 . 1 弱 特 征 库 的 建 立 为 易 于 实 现 , 本 文 采 用 一 个 包 含 九 个 区 域 的 形 状 模 板 来 统 一 表 示 像 素 特 征 , 九 个 区 域 面 积 大 小 相 同 , 但 对 模 板 区 域 而 言 , 长 宽 可 以 不 同 。 模 板 的 九 个 区 域 有 三 种 状 态 : 1 、0 、- 1 , 分 别 采 用 白 、黑 、灰 来 表 示 。 在 九 个 区 域 中 , 正 特 征 集 合 定 义 为 形 状 模 板 中 白 色 区 域 组 成 的 集 合 , 负 特 征 集 合 定 义 为 形 状 模 板 中 灰 色 区 域 组 成 的 集 合 , 黑 色 区 域 没 有 使 用 。 考 虑 到 特 征 的 表 示 能 力 和 运 算 速 度 , 文 中 只 选 择 了 其 中 16 种 表 示 能 力 强 且 易 于 快 速 运 算 的 形 状 作 为 弱 特 征 库 , 16 种 形 状 模 板 如 图 1 所 示 。 1 . 1 . 2 弱 特 征 值 的 快 速 计 算 为 快 速 提 取 弱 特 征 , 将 其 转 化 为 两 个 矩 形 区 域 的 求 取 运 算 , 以 第 13 种 弱 特 征 为 例 , 正 负 区 域 运 算 图 如 图 2 所 示 。 先 将 负 矩 形 合 并 为 一 个 矩 形 , 即 图 中 A 区 域 所 示 ; 然 后 求 取 九 个 区 域 的 灰 度 和 , 即 图 中 C 区 域 像 素 灰 度 和 , 最 后 通 过 C 和 A 求 取 B 区 域 像 素 灰 度 和 。根 据 式 ( 2 ) , 可 得 sum(B)=sum(C)- sum(A)。 特 征 区 域 面 积 也 可 以 通 过 类 似 方 法 求 取 。 根 据 式 ( 1 ) 可 得 到 : 新 定 义 的 特 征 本 文 采 用 积 分 图 来 快 速 计 算 。积 分 图 像 在 点 (x, y)处 的 值 定 义 为 其 左 上 部 分 所 有 像 素 灰 度 值 的 和 , 如 式 ( 2 ) : f= sum(C)- sum(A) Acr(C)- Acr(A) - sum(A) Acr(A) (3) 其 中 Acr(A)、Acr(C)分 别 为 区 域 A 和 区 域 C 的 面 积 。 II(x, y)= 0 ≤ x ′≤ x , 0 ≤ y ′≤ y! I(x′, y′) (2) 通 过 式 ( 3 ) 可 快 速 求 得 任 意 微 结 构 特 征 。 1 . 2 分 类 方 法 设 计 其 中 , II(x, y)为 积 分 图 像 在 点 (x, y) 处 的 值 , I (x′, y′) 为 了 在 检 测 率 不 变 的 条 件 下 提 高 检 测 速 度 , 本 文 采 《电子技术应用》2006 年第 11 期 本 刊 邮 箱 :eta@ncs e . com . cn 33 

计算机技术 ● 图 形 图 像 与 多 媒 体 用 层 次 型 人 脸 检 测 器 结 构 , 如 图 3 所 示 。 该 结 构 分 为 12 层 , 每 一 层 都 是 AdaBoost 算 法 训 练 得 到 的 一 个 强 分 类 器 . 经 过 阈 值 调 整 , 使 得 每 一 层 都 能 让 几 乎 全 部 人 脸 样 本 通 过 , 而 拒 绝 很 大 一 部 分 非 人 脸 样 本 。这 样 , 靠 近 前 面 的 各 层 , 采 用 少 量 的 特 征 即 可 拒 绝 大 部 分 的 非 人 脸 样 本 , 而 靠 近 后 面 的 各 层 , 需 采 用 大 量 的 特 征 来 排 除 近 似 人 脸 的 非 人 脸 候 选 图 像 的 干 扰 。 1 . 3 检 测 流 程 基 于 上 述 分 析 , 判 断 一 个 人 脸 窗 口 的 基 本 流 程 如 图 4 所 示 。 2 硬 件 设 计 整 个 系 统 分 为 片 内 、 片 外 两 部 分 , 系 统 结 构 如 图 5 所 示 。其 中 , 片 外 (即 存 储 器 , 存 储 图 像 和 参 数 ); 片 内 , 即 FPGA, 由 四 部 分 组 成 : (1)预 处 理 电 路 : 计 算 积 分 图 像 , 微 特 征 对 应 的 正 负 区 域 和 采 样 窗 口 的 灰 度 方 差 ; (2 ) 分 类 器 : 检 测 出 人 脸 窗 口 ; (3) 窗 口 融 合 电 路 : 融 合 邻 近 的 人 脸 窗 口 ; (4)控 制 电 路 : 控 制 片 内 片 外 的 数 据 传 输 及 片 内 电 路 的 时 序 。 本 文 在 预 处 理 电 路 、分 类 器 和 窗 口 融 合 电 路 三 环 节 采 用 流 水 线 技 术 , 其 中 分 类 器 是 整 个 系 统 的 技 术 瓶 颈 , 决 定 了 人 脸 检 测 的 速 度 。因 此 , 分 类 器 的 设 计 成 为 关 键 。 2 . 1 分 类 器 结 构 分 类 器 由 若 干 弱 分 类 器 和 外 围 电 路 构 成 , 其 内 部 结 构 如 图 6 所 示 , 其 中 每 一 个 弱 分 类 器 ( PE ) 内 部 结 构 如 图 7 所 示 , PE 每 部 分 实 现 的 功 能 分 别 是 : 模 块 A: 计 算 该 窗 口 的 微 结 构 特 征 值 e ; 模 块 B: 归 一 化 处 理 微 特 征 值 e 得 f; 模 块 C: 得 出 该 窗 口 微 特 征 阈 值 b ; 控 制 电 路 : 控 制 模 块 间 的 时 序 即 PE 内 部 与 外 部 的 数 据 交 换 。 该 处 理 单 元 由 两 个 32 位 除 法 器 、 一 个 32 位 乘 法 检 测 流 程 : (1) 读 入 取 样 窗 口 和 弱 特 征 信 息 , 求 出 每 层 的 若 干 微 特 征 值 ; (2 ) 将 微 特 征 值 除 以 窗 口 的 灰 度 方 差 , 得 到 归 一 特 征 值 (f), 实 现 归 一 化 处 理 ; (3) 读 入 此 微 特 征 训 练 所 得 的 参 数 (m, r), 将 归 一 特 征 值 进 行 处 理 : h= (f- m)/r ; (4)输 出 h , 从 查 找 表 中 取 出 对 应 的 函 数 值 b ; (5) 将 强 分 类 器 所 包 含 弱 分 类 器 对 应 的 输 入 值 相 加 : a=Σb ; 并 将 a 与 当 前 层 的 阈 值 y 比 较 ; 判 断 通 过 与 否 。 如 此 循 环 12 次 以 检 测 出 人 脸 。 34 欢迎网上投稿 www.aetnet.cn www.aetnet.com.cn 《电子技术应用》2006 年第 11 期 

计算机技术 ● 图 形 图 像 与 多 媒 体 器 、若 干 全 加 器 和 寄 存 器 构 成 。 而 除 法 器 和 乘 法 器 由 移 位 电 路 实 现 , 其 结 构 ( 以 除 法 器 为 例 ) 如 图 8 所 示 。 选 用 从 Internet 上 收 集 得 到 的 人 脸 图 像 共 1000 幅 , 通 过 对 这 1 000 幅 图 像 进 行 随 机 旋 转 、平 移 一 个 像 素 、随 机 镜 像 共 得 到 5 000 幅 24×24 像 素 的 人 脸 训 练 样 本 。同 时 收 集 了 1 600 幅 自 然 图 片 作 为 非 人 脸 样 本 候 选 集 。 输 入 图 像 为 256×256 像 素, 其 检 测 效 果 如 图 11 所 示 。 对 此 种 输 入 图 像 采 用 缩 放 因 子 的 s=1.3, 平 移 因 子 的 d= 2.5, 搜 索 从 30×30 像 素 到 255×255 像 素 范 围 内 的 人 脸 。 整 个 系 统 用 VHDL 语 言 描 述 , 表 1 为 所 用 硬 件 资 源 情 况 。 2 . 2 弱 分 类 器 的 组 合 分 类 器 由 若 干 弱 分 类 器 与 控 制 电 路 组 成 , 其 中 控 制 电 路 根 据 每 一 层 参 数 来 控 制 该 层 强 分 类 器 个 数 与 每 一 强 分 类 器 所 含 弱 分 类 器 数 。 由 训 练 得 到 一 个 包 含 12 层 共 294 个 弱 特 征 的 分 类 器 。因 此 , 检 测 出 一 个 人 脸 窗 口 , 要 通 过 294 个 弱 特 征 处 理 单 元 运 算 。 综 合 考 虑 时 间 和 资 源 因 素 , 弱 分 类 器 的 组 合 采 取 一 次 处 理 多 个 窗 口 , 分 时 复 用 硬 件 资 源 的 方 法 。 训 练 所 得 第 n 层 强 分 类 器 所 包 含 的 弱 特 征 个 数 如 图 9(a)所 示 。通 过 大 量 检 测 结 果 可 得 窗 口 通 过 率 与 层 数 n 的 关 系 如 图 9(b)所 示 。 将 层 通 过 率 与 该 层 所 含 弱 特 征 个 数 相 乘 , 并 乘 以 选 定 的 一 次 处 理 窗 口 的 数 目 ( 12 ) , 可 得 较 为 平 滑 曲 线 , 如 图 10 所 示 。 从 图 9 (b) 可 知 前 7 层 分 类 器 已 将 绝 大 多 数 的 非 人 脸 窗 口 拒 掉 。 因 此 , 处 理 单 元 数 目 即 由 前 几 层 中 强 分 类 器 所 含 弱 特 征 数 与 该 层 所 处 理 的 窗 口 数 的 乘 积 最 大 值 决 定 , 由 图 10 可 知 处 理 单 元 数 目 为 38 。 这 样 便 可 在 较 少 资 源 的 情 况 下 大 大 提 高 检 测 速 度 。 另 外 , 为 降 低 一 次 同 时 处 理 两 个 临 近 人 脸 窗 口 的 概 率 , 本 文 预 先 改 变 了 候 选 窗 口 输 入 次 序 。 3 实 验 结 果 实 验 是 对 CMU- MIT 测 试 库 进 行 的 , 而 训 练 时 主 要 《电子技术应用》2006 年第 11 期 表 1 硬 件 资 源 芯 片 型 号 逻 辑 单 元 ( 个 ) 寄 存 器 ( 个 ) 管 脚 ( 个 ) 并 行 乘 法 器 ( 9 位 ) ( 个 ) 主 频 (MHz) SRAM(MB) EP2C70F896C8 66 258 26 118 467 37 42.60 1 其 平 均 处 理 速 度 为 17.3fps, 虚 警 率 低 于 5E- 7 , 检 测 率 可 达 0.998 。 文 中 新 定 义 的 微 特 征 具 有 对 于 特 征 放 缩 时 近 似 引 入 误 差 的 鲁 棒 性 , 以 及 去 光 照 影 响 的 特 性 。此 外 , 本 文 设 计 的 特 征 模 板 , 不 仅 扩 展 了 微 结 构 特 征 库 , 而 且 使 用 方 便 , 可 以 根 据 需 要 选 取 合 适 特 征 。 本 文 采 用 流 水 线 技 术 将 积 分 图 像 的 计 算 与 分 类 器 运 算 并 行 , 提 高 了 弱 特 征 提 取 速 度 。而 在 硬 件 实 现 时 , 利 用 软 件 训 练 与 测 试 结 果 。综 合 速 度 和 硬 件 资 源 两 指 标 , 在 保 证 检 测 质 量 的 前 提 下 , 设 计 最 优 的 硬 件 结 构 , 充 分 利 用 硬 件 资 源 。 参 考 文 献 1 Viola P , Jones M.Robust real time object detection.IEEE ICCV workshop on statistical and computational theories of vision , Vancouver , Canada , 2001 2 Lienhart R , Kuranov A, Pisarevsky V.Empirical analysis of detection cascades of boosted classifiers for rapid object detection.In : DAGM'03 , 25th Pattern Recognition Symposium, 2003 : 297～304 3 Li S Z, Zhang Z Q, Shum H et al.FloatBoost learning for classification.In : NIPS 15 , 2002 4 Rowley H , Baluja S, Kanade T.Neural network- based face detection.In : IEEE Patt Anal Mach.Intell , 1998 ; (20): 22～38 (收 稿 日 期 : 2006- 05- 17) 35 本 刊 邮 箱 :eta@ncs e . com . cn