嵌入式技术 Embedded Technology 基于TMS320VC5509A的语音识别与控制系统 关 胜 平 , 何 培 宇 , 刘 珂 含 , 李 锦 , 田 芳 芳 , 王 三 山 ( 四 川 大 学 电 子 信 息 学 院 , 四 川 成 都 610064) 摘 要 : 设 计 并 实 现 了 一 种 基 于 定 点 数 字 信 号 处 理 器 ( DSP) 的 语 音 识 别 与 控 制 系 统 。 由 音 频 编 解 码 芯 片 ( TLV320AIC23) 负 责 采 集 语 音 信 号 ; 以 定 点 DSP ( TMS320VC5509A) 作 为 运 算 处 理 单 元 ; 通 过 定 点 运 算 与 浮 点 运 算 的 有 机 结 合 , 解 决 了 处 理 速 度 与 处 理 精 度 之 间 的 矛 盾 ; 在 保 证 处 理 速 度 的 前 提 下 , 提 高 了 运 算 精 度 和 识 别 率 。 关 键 词 : 定 点 DSP 定 点 运 算 浮 点 运 算 端 点 检 测 模 板 匹 配 语 音 识 别 ( Speech Recognition ) 是 机 器 通 过 训 练 和 匹 配 过 程 把 语 音 信 号 转 变 为 相 应 的 文 本 或 命 令 的 技 术 。关 于 语 音 识 别 技 术 , 先 后 出 现 了 动 态 时 间 弯 折 ( DTW) 、隐 马 尔 可 夫 和 人 工 神 经 网 络 三 种 主 要 方 法 [1]。由 于 每 种 方 法 都 涉 及 大 量 的 乘 加 运 算 , 并 且 计 算 精 度 是 算 法 性 能 的 有 效 保 障 , 因 此 对 处 理 器 的 运 算 能 力 要 求 较 高 。近 年 大 规 模 集 成 电 路 的 快 速 发 展 , 为 语 音 识 别 的 实 现 创 造 了 硬 件 条 件 。 目 前 , 基 于 DSP 的 语 音 识 别 系 统 多 以 浮 点 型 DSP 为 主 [2], 但 其 成 本 较 高 。 本 文 以 TI 公 司 的 较 低 成 本 定 点 DSP TMS320VC5509A 作 为 处 理 芯 片 。 在 软 件 编 程 时 , 考 虑 运 算 速 度 和 精 度 对 性 能 的 影 响 , 将 定 点 运 算 与 基 于 定 点 DSP 的 浮 点 运 算 巧 妙 结 合 , 既 保 证 了 处 理 速 度 , 又 提 高 了 运 算 精 度 和 识 别 率 。 此 外 , 该 系 统 的 DSP 芯 片 自 带 USB 接 口 , 可 使 程 序 下 载 不 借 助 于 硬 件 仿 真 器 , 便 于 推 广 应 用 ; 可 编 程 逻 辑 器 件 ( CPLD) 能 够 根 据 识 别 结 果 发 出 相 应 的 控 制 信 号 以 驱 动 各 种 控 制 对 象 ; 外 扩 Flash 达 1M×16Bit , 不 仅 能 存 储 较 多 数 量 的 模 板 , 也 可 实 现 程 序 的 并 行 加 载 , 使 系 统 能 够 脱 机 运 行 , 便 于 携 带 。 通 过 对 语 音 信 号 的 采 集 与 识 别 , 能 够 完 成 对 特 定 人 、小 词 汇 量 、 孤 立 词 的 识 别 , 并 且 能 发 出 相 应 的 控 制 信 号 , 以 达 到 系 统 的 设 计 要 求 。 实 践 验 证 了 该 系 统 具 有 可 靠 性 、稳 定 性 和 灵 活 性 。 1 语 音 识 别 原 理 语 音 识 别 原 理 框 图 如 图 1 所 示 。 语 音 信 号 输 入 之 后 , 预 处 理 和 数 字 化 是 进 行 语 音 识 别 的 前 提 条 件 。其 中 , 预 处 理 主 要 是 进 行 预 滤 波 , 保 留 正 常 人 的 300 ～3400Hz 的 语 音 信 号 ; 数 字 化 是 要 进 行 A/D 转 换 及 抗 混 叠 等 处 理 ; 特 征 提 取 是 进 行 语 音 信 号 训 练 和 识 别 必 不 可 少 的 步 骤 。能 够 体 现 语 音 信 号 特 征 的 参 数 包 括 : (1)基 于 LPC 的 倒 谱 参 数 ; (2)Mel 系 数 的 倒 谱 参 数 ; (3)采 用 前 沿 数 字 信 号 处 理 技 术 的 特 征 分 析 手 段 , 如 小 波 分 析 、 时 / 频 域 分 析 、人 工 神 经 网 络 等 。 本 文 采 用 基 于 LPC 的 倒 谱 参 数 表 示 方 法 , 提 取 出 的 特 征 值 存 入 参 考 模 式 库 中 , 用 来 匹 配 待 识 别 语 音 信 号 的 特 征 值 。匹 配 计 算 是 进 行 语 音 识 别 的 核 心 部 分 , 由 待 识 别 人 的 语 音 经 过 特 征 提 取 后 , 与 系 统 训 练 时 产 生 的 模 板 进 行 匹 配 , 在 说 话 人 辨 认 中 , 取 与 待 识 别 语 音 相 似 度 最 大 的 模 型 所 对 应 的 语 音 作 为 识 别 结 果 , 这 就 是 语 音 识 别 的 整 个 过 程 [1]。 语 音 输 入 预 处 理 与 数 字 化 特 征 提 取 参 考 模 式 训 练 识 别 匹 配 计 算 结 果 图 1 语 音 识 别 的 原 理 框 图 2 硬 件 结 构 部 分 本 系 统 的 硬 件 结 构 框 图 如 图 2 所 示 。 语 音 信 号 CODEC DSP SDRAM TLV320AIC23 TMS320VC5509A HY57V641620 等 控 制 对 象 CPLD FLASH EPM3128ATC100- 10 SST39VF1601 图 2 系 统 硬 件 结 构 框 图 此 系 统 的 核 心 器 件 是 TI 公 司 的 TMS320VC5509A 定 点 DSP 芯 片 。 它 是 系 统 的 运 算 处 理 单 元 , 具 有 2 个 乘 法 器 (MAC), 4 个 累 加 器 (ACC); 40 位 、16 位 的 算 术 逻 辑 单 元 (ALU)各 一 个 , 这 大 大 增 强 了 DSP 的 运 算 能 力 ; 指 令 字 长 不 只 单 一 的 16 位 , 可 扩 展 到 最 高 48 位 , 数 据 字 长 16 位 ; 在 144MHz 下 工作, 指令 周期可 达 6.94ns。TMS320VC5509A 还提供高速的多通道缓 冲串 口 McBSP(Multi- channel Buffer- erd Serial Ports) , DSP 可 通 过 McBSP 与 其 他 DSP 、编 解 码 器 等 器 件 相 连 。McBSP 具 有 全 双 工 通 信 , 双 缓 冲 数 据 寄 存 器 , 允 许 传 送 连 续 的 数 据 流 , 能 够 向 CPU 发 送 中 断 , 向 DMA 控 制 器 发 送 DMA 事 件 , 可 设 置 帧 同 步 脉 冲 和 时 钟 信 号 的 极 性 等 功 能 , 这 大 大 方 便 了 DSP 采 集 音 频 信 号 [3]。 36 欢迎网上投稿 www.aetnet.cn www.aetnet.com.cn 《电子技术应用》2007 年第 7 期 

嵌入式技术 Embedded Technology 除 此 之 外 , TMS320VC5509A 还 提 供 了 更 为 高 效 的 外 部 存 储 器 接 口 ( EMIF ) , 以 往 DSP 的 空 间 选 通 信 号 被 片 选 信 号 取 代 , 而 每 个 片 选 信 号 分 别 占 用 不 同 的 地 址 空 间 , 这 样 就 不 需 要 外 部 的 译 码 电 路 , 从 而 实 现 了 与 外 部 设 备 的 无 缝 连 接 , 可 使 DSP 外 部 存 储 空 间 扩 大 到 满 足 系 统 要 求 。 值 得 强 调 的 是 , 可 通 过 USB 接 口 对 TMS320VC5509A 烧 写 程 序 而 不 必 借 助 仿 真 器 。 正 是 基 于 这 些 优 点 , 选 择 该 芯 片 可 节 省 开 发 资 金 , 减 小 电 路 板 面 积 。 TLV320AIC23 是 TI 公 司 的 一 款 低 成 本 、低 功 耗 的 音 频 编 解 码 芯 片 (CODEC), 在 本 系 统 中 负 责 采 集 语 音 信 号 。 它 与 本 系 统 相 关 的 性 能 参 数 如 下 : (1 ) 支 持 8kHz～96kHz 可 调 采 样 率 ; (2)与 DSP 连 接 , 主 从 类 型 可 通 过 软 件 编 写 来 实 现 ; (3)DSP 可 通 过 I2C 总 线 来 配 置 TLV320AIC23 的 寄 存 器 ; (4)采 集 语 音 信 号 字 长 16/20/24/32Bit ; (5)MIC 音 频 输 入 具 有 强 抗 噪 性 ; (6 ) 具 有 可 调 1 ～5dB 的 完 整 缓 存 放 大 系 统 [4]。 EPM3128ATC100 - 10 可 编 程 逻 辑 器 件 (CPLD) 在 本 系 统 中 担 当 两 方 面 的 职 能 : (1)作 为 控 制 部 件 , 接 收 DSP 发 出 的 信 号 , 经 逻 辑 判 断 后 , 驱 动 诸 如 电 机 、发 光 二 极 管 等 器 件 ; (2)用 于 DSP 地 址 线 的 扩 展 。TMS320VC5509A 只 有 14 根 地 址 线 , 但 它 的 外 部 存 储 空 间 可 以 扩 展 到 16MB(字 节 寻 址 ), 显 然 , DSP 的 固 有 地 址 线 是 无 法 满 足 要 求 的 。 本 系 统 采 用 CPLD 完 成 地 址 线 的 扩 展 [5][6]。 HY57V641620 同 步 动 态 存 储 器(SDRAM), 容 量 为 4M× 16Bit 。 作 为 RAM 的 扩 展 , 大 大 增 强 了 DSP 的 存 储 与 运 算 能 力 [7]。 SST39VF1601 闪 存 存 储 器 (Flash), 容 量 为 1M×16Bit。 在 这 个 系 统 中 [8], 它 主 要 用 来 存 储 程 序 代 码 。 上 电 后 , DSP 从 外 部 Flash 加 载 并 执 行 程 序 代 码 , 使 系 统 能 够 脱 机 运 行 。 3 软 件 模 块 部 分 软 件 流 程 如 图 3 所 示 。 系 统 采 集 语 音 信 号 后 , 首 先 要 进 行 预 滤 波 和 预 加 重 ; 接 着 将 语 音 信 号 进 行 分 帧 , 由 于 语 音 信 号 具 有 极 强 的 相 关 性 , 因 此 在 分 帧 时 , 要 考 虑 帧 重 复 。本 文 将 语 音 信 号 以 256 个 采 样 点 为 一 帧 , 两 帧 之 间 的 重 复 点 数 为 80 ; 然 后 计 算 每 帧 信 号 的 短 时 能 量 与 短 时 平 均 过 零 率 , 这 也 是 接 下 来 进 行 端 点 检 测 的 依 据 ; 利 用 门 限 判 决 进 行 端 点 检 测 后 , 提 取 每 帧 信 号 的 LPC 系 数 , 作 为 该 帧 信 号 的 特 征 值 ; 最 后 , 用 语 音 信 号 的 特 征 值 与 模 板 逐 个 进 行 匹 配 。 相 似 度 最 大 的 模 板 所 对 应 的 语 音 信 号 为 识 别 结 果 , 根 据 识 别 结 果 就 可 以 向 外 发 出 控 制 信 号 。 3 . 1 端 点 检 测 端 点 检 测 就 是 要 从 采 集 的 信 号 中 检 测 出 说 话 人 的 命 令 字 。 此 系 统 中 , 对 语 音 信 号 进 行 了 分 帧 操 作 , 一 种 简 便 的 方 法 就 是 获 取 说 话 人 命 令 字 的 起 始 帧 数 , 具 体 操 作 是 通 过 求 一 帧 信 号 的 短 时 能 量 和 短 时 平 均 过 零 率 来 判 断 的 。 语 音 信 号 的 短 时 能 量 分 析 给 出 了 反 应 其 幅 度 变 化 的 一 个 合 适 描 述 方 法 。 一 帧 语 音 信 号 的 短 时 能 量 定 义 为 : n + N- 1 En= m= n! x2 ! (m) (1) 短 时 过 零 率 , 即 指 每 帧 内 信 号 通 过 零 值 的 次 数 , 能 够 在 一 定 程 度 上 反 映 信 号 的 频 谱 特 性 。一 帧 语 音 信 号 内 短 时 平 均 过 零 率 定 义 为 : Zn= 1 2 n + N- 1 m= n! sgn[x ! (m)]- sgn[x ! (m- 1)] (2) 在 正 式 端 点 检 测 开 始 后 , 短 时 能 量 与 短 时 平 均 过 零 率 一 起 做 为 门 限 来 判 决 说 话 人 命 令 字 的 开 始 与 结 束 : 连 续 5 帧 语 音 信 号 超 过 门 限 值 视 为 说 话 人 命 令 字 的 开 始 , 连 续 8 帧 语 音 信 号 低 于 门 限 值 视 为 说 话 人 命 令 字 的 结 束 。 3 . 2 特 征 值 提 取 此 系 统 以 语 音 信 号 的 线 性 预 测 系 数 ( LPC) 作 为 特 征 值 。 采 用 自 相 关 法 获 取 LPC 系 数 , 先 计 算 每 帧 语 音 信 号 的 13 阶 自 相 关 函 数 , 定 义 为 : n + N- k - 1 Rn(k)= m= n! x ! (m)x ! (m+k) k=1 , 2 , … , 13 (3) 得 到 自 相 关 函 数 后 , 采 用 莱 文 逊 — 杜 宾 递 推 算 法 计 算 线 性 预 测 系 数 , 得 到 说 话 人 一 个 命 令 字 的 LPC 系 数 矩 阵 , 大 小 为 : 命 令 字 帧 数 ×12 。 3 . 3 模 板 匹 配 ( DTW 算 法 ) 模 板 匹 配 就 是 把 上 述 计 算 得 到 的 LPC 系 数 矩 阵 中 的 元 素 与 事 先 存 在 DSP 中 的 模 板 元 素 进 行 差 值 计 算 。在 此 系 统 中 , 采 用 动 态 时 间 弯 折 ( DTW) 算 法 : 假 设 参 考 模 板 的 LPC 系 数 向 量 序 列 为 X=(x1, x2, … , xI), 输 入 语 音 的 LPC 系 数 向 量 序 列 为 Y=(y1, y2, … , yJ), I ≠J 。 DTW 算 法 就 是 要 寻 找 一 个 最 佳 的 时 间 规 正 函 数 , 使 待 测 语 音 的 时 间 轴 j 非 线 性 地 映 射 到 参 考 模 板 的 时 间 轴 i 上 , 使 总 的 累 计 差 值 最 小 [1]。 算 法 过 程 如 图 4 所 示 。 图 4 中 曲 线 连 接 起 来 的 点 就 是 模 板 与 待 测 语 音 信 号 间 的 距 离 d (xi (n), yj (n)), 亦 称 为 局 部 匹 配 距 离 。 DTW 算 法 就 是 通 过 局 部 优 化 的 方 法 实 现 加 权 距 离 总 和 最 小 , 也 就 是 相 似 度 最 大 , 定 义 为 : N D=min n = 1!d(xi (n), yj (n)) 3 . 4 小 数 的 定 点 运 算 (4) 在 进 行 语 音 信 号 处 理 时 , 通 常 要 先 对 其 进 行 归 一 《电子技术应用》2007 年第 7 期 欢迎订购《电子技术应用》2000～2006 年合订光盘(010- 82306084) 37 

嵌入式技术 Embedded Technology 15 i 10 间 时 板 模 考 参 5 1 0 1 5 10 15 20 待 测 语 音 时 间 j 图 4 动 态 时 间 弯 折 (DTW) 算 法 过 程 化 , 使 得 语 音 信 号 |x(n)| ≤1 , 为 后 面 计 算 自 相 关 函 数 及 求 LPC 系 数 提 供 方 便 。 这 样 就 面 临 一 个 实 际 问 题 : 对 定 点 DSP 而 言 , 参 与 数 值 运 算 的 数 是 16 位 二 进 制 整 型 数 , 而 DSP 芯 片 如 何 处 理 小 数 运 算 呢 ? 方 法 是 确 定 一 个 数 的 小 数 点 处 于 16 位 中 的 某 一 位 , 这 也 就 是 数 值 的 定 标 问 题 , 举 例 如 下 : (19AB)16=(31147)10 (19AB)16=(0.95)10 Q0 定 标 Q15 定 标 由 此 可 见 , 对 于 定 点 DSP 芯 片 内 部 而 言 , 一 个 16 位 整 型 数 到 底 表 示 多 少 , 它 本 身 是 不 能 够 分 辨 的 , 必 须 通 在 端 点 检 测 完 成 之 后 , 要 先 将 定 点 运 算 转 换 为 浮 点 运 算 ; 提 取 LPC 系 数 之 后 , 再 将 浮 点 运 算 转 换 为 定 点 运 算 进 行 匹 配 。 以 牺 牲 少 量 运 算 时 间 为 代 价 , 适 当 提 高 运 算 精 度 和 识 别 率 。 实 验 证 明 , 这 是 可 行 的 。 4 测 试 方 法 及 结 果 下 面 用 两 种 实 验 方 法 来 测 试 此 系 统 的 性 能 。 实 验 1: 用 CPLD 的 输 出 信 号 来 驱 动 两 个 步 进 电 机 R 和 L, 某 特 定 人 的 四 个 命 令 信 号 “走 ”, “左 ”, “右 ”, “停 ”控 制 这 两 个 电 机 的 运 转 。 对 应 的 实 验 现 象 : 走 —L、R 同 时 转 ; 左 —L 转 , R 停 ; 右 —L 停 , R 转 ; 停 —R、L 都 不 转 。 实 验 2 : 用 CPLD 的 输 出 信 号 驱 动 四 个 发 光 二 极 管 A、B、C、D, 某 特 定 人 的 四 个 命 令 信 号 “1 ”, “2 ”, “3 ”, “4 ”来 控 制 相 应 发 光 二 极 管 的 亮 灭 。对 应 的 实 验 现 象 : 1 — A 亮 , 其 余 灭 ; 2 — B 亮 , 其 余 灭 ; 3 — C 亮 , 其 余 灭 ; 4 — D 亮 , 其 余 灭 。 以 上 两 个 实 验 , 除 了 测 试 识 别 率 外 , 还 要 比 较 在 计 算 自 相 关 函 数 和 提 取 LPC 系 数 时 , 分 别 采 用 定 点 算 法 、 浮 点 算 法 所 消 耗 机 器 周 期 的 个 数 , 本 系 统 DSP 的 机 器 周 期 为 83.28ns 。由 于 每 次 采 集 的 命 令 字 帧 长 不 确 定 , 以 进 行 十 次 实 验 消 耗 的 机 器 周 期 的 平 均 值 来 统 计 , 测 试 结 果 如 表 1 所 示 。 表 1 试 验 结 果 过 定 标 来 确 定 。 进 行 归 一 化 处 理 就 是 把 数 以 Q15 形 式 定 标 , 为 以 后 的 运 算 做 好 准 备 [2]。 做 小 数 的 定 点 运 算 时 , 还 要 进 行 预 运 算 和 定 点 运 算 ( 识 别 率 , 机 器 周 期 ( 单 位 : 个 ) ) 浮 点 运 算 ( 识 别 率 , 机 器 周 期 ( 单 位 : 个 ) ) 试 验 1 试 验 2 85.4% , 18599 90.3% , 19756 90.5% , 24036 95.1% , 23854 移 位 。 预 运 算 就 是 事 先 估 计 运 算 结 果 , 为 下 一 步 移 位 做 准 备 。 其 实 现 可 采 用 如 Matlab 等 的 辅 助 软 件 。由 于 此 系 统 的 识 别 过 程 涉 及 较 多 的 乘 加 运 算 , 如 几 个 Q15 定 标 的 数 进 行 加 法 运 算 , 结 果 可 能 出 现 溢 出 现 象 , 如 果 不 能 进 行 很 好 的 预 运 算 , 将 对 后 面 的 运 算 产 生 很 大 影 响 ; 移 位 是 小 数 做 定 点 运 算 的 具 体 操 作 。 做 加 、减 、乘 、除 法 时 , 要 严 格 按 照 相 应 的 操 作 方 法 , 每 做 一 个 四 则 运 算 都 要 参 照 实 际 情 况 , 遵 循 先 移 位 、再 做 运 算 、 最 后 再 移 位 的 步 骤 , 以 在 精 度 损 失 最 少 的 情 况 下 保 证 运 算 结 果 的 可 靠 性 。 3 . 5 定 点 DSP 做 浮 点 运 算 定 点 运 算 是 以 DSP 的 实 际 存 储 形 式 ( 16 位 二 进 制 整 型 ) 为 数 值 格 式 进 行 加 、减 、乘 、除 等 四 则 运 算 , 允 许 数 值 的 表 示 范 围 是 : (- 32768)10～(32767)10。定 点 DSP 的 浮 点 运 算 是 人 为 地 开 辟 两 个 16 位 存 储 单 元 来 表 示 一 个 数 值 , 其 中 一 个 用 来 存 储 尾 数 , 另 一 个 用 来 存 储 指 数 , 按 照 自 然 科 学 计 数 法 进 行 四 则 运 算 。 显 而 易 见 , 这 样 的 存 储 计 算 方 法 , 其 精 度 和 动 态 表 示 范 围 都 远 远 高 于 定 点 运 算 。 为 降 低 成 本 , 本 系 统 选 择 了 一 款 定 点 DSP 。 由 于 端 点 检 测 、模 板 匹 配 对 精 度 要 求 不 高 , 所 以 采 用 定 点 算 法 进 行 小 数 运 算 ; 计 算 自 相 关 系 数 、提 取 LPC 系 数 时 , 要 求 精 度 高 , 因 此 采 用 浮 点 算 法 进 行 小 数 运 算 。这 也 意 味 着 , 由 表 1 可 见 , 在 相 同 的 测 试 条 件 下 , 当 采 用 浮 点 运 算 计 算 自 相 关 函 数 和 提 取 LPC 系 数 时 , 尽 管 识 别 率 高 于 定 点 运 算 , 但 是 系 统 消 耗 了 更 多 的 运 算 时 间 。 本 文 设 计 的 语 音 识 别 与 控 制 系 统 , 具 有 体 积 小 、成 本 低 、便 于 携 带 等 优 点 。 在 实 现 系 统 功 能 的 同 时 又 使 板 级 调 试 与 系 统 升 级 变 得 极 为 方 便 , 因 此 可 以 作 为 一 个 处 理 语 音 信 号 的 通 用 硬 件 平 台 , 亦 可 完 成 语 音 编 码 、声 回 波 对 消 等 算 法 的 实 现 。 系 统 在 DSP 提 供 的 地 址 线 少 于 Flash 地 址 线 的 情 况 下 , 由 CPLD 扩 展 了 DSP 的 地 址 线 。 在 不 借 助 硬 件 仿 真 器 的 情 况 下 , 实 现 了 对 Flash 的 在 线 烧 写 , 并 采 用 二 次 引 导 的 方 法 , 完 成 了 程 序 的 并 行 加 载 , 使 系 统 能 够 脱 机 运 行 。 由 CPLD 发 出 相 应 的 识 别 控 制 信 号 , 能 够 驱 动 电 动 机 及 指 示 灯 等 。测 试 结 果 表 明 , 该 系 统 处 理 速 度 快 , 运 行 稳 定 可 靠 , 达 到 设 计 要 求 。 参 考 文 献 [1] 韩 纪 庆 , 张 磊 , 郑 铁 然 . 语 音 信 号 处 理 [M]. 北 京 : 清 华 大 学 出 版 社 , 2004. [2] 张 雄 伟 , 陈 亮 , 徐 光 辉 .DSP 芯 片 的 原 理 与 开 发 应 用 [M]. 北 京 : 电 子 工 业 出 版 社 , 2004. [3] Texas Instruments.TMS320VC5509A Fixed- Point Digital Signal Processor[EB/OL].Texas Instruments Inc , 2006 , 3. www.ti.com. 38 欢迎网上投稿 www.aetnet.cn www.aetnet.com.cn 《电子技术应用》2007 年第 7 期 

集成电路应用 Application of Integrated Circuits 基于 H.264 帧间预测解码的研究及高效 VLSI 实现* 杨 海 池 , 宋 锐 , 吴 成 柯 , 冯 晓 茹 (西 安 电 子 科 技 大 学 ISN 国 家 重 点 实 验 室 , 陕 西 西 安 710071) 摘 要 : 在 深 入 研 究 H.264 帧 间 预 测 技 术 的 基 础 上 , 采 用 三 级 流 水 线 实 现 帧 间 预 测 解 码 的 VLSI 设 计 , 并 详 细 介 绍 了 基 于 宏 块 分 割 的 变 块 自 适 应 循 环 控 制 单 元 , 针 对 存 储 器 的 读 写 问 题 提 出 了 一 种 交 织 存 取 方 式 , 针 对 分 像 素 插 值 提 出 了 一 种 基 于 H.264 标 准 的 插 值 运 算 电 路 。通 过 仿 真 及 在 H.264 解 码 器 中 的 实 际 应 用 和 测 试 , 证 明 该 设 计 工 作 稳 定 , 能 够 满 足 H.264 标 准 基 本 框 架 下 4CIF 格 式 图 片 30fps( 帧 / 秒 ) 实 时 解 码 的 要 求 。 关 键 词 : 帧 间 预 测 VLSI 设 计 变 块 大 小 自 适 应 交 织 存 取 插 值 运 算 H.264 [1]是 联 合 视 频 工 作 组 JVT(Joint Video Team) 开 发 的 最 新 一 代 视 频 压 缩 标 准 。与 标 准 MPEG- 2 、MPEG- 4 和 H.263 相 比 , 其 总 体 结 构 为 基 于 增 强 的 运 动 估 计 与 补 偿 加 变 换 编 码 的 混 合 (hybrid)编 码 模 式 , 包 含 了 许 多 新 特 征 : 如 VCL 层 和 NAL 层 分 离 、帧 内 预 测 、高 精 度 运 动 估 计 、可 变 块 大 小 运 动 补 偿 、多 参 考 帧 运 动 补 偿 预 测 、低 复 杂 度 16bit 的 整 数 变 换 和 量 化 、 去 块 效 应 滤 波 器 和 高 效 的 熵 编 码 等 。 这 些 新 特 征 使 得 H.264/AVC 能 够 显 著 提 高 编 码 效 率 且 具 有 网 络 友 好 性 , 可 有 效 用 于 各 种 网 络 和 应 用 环 境 [2]。 作 为 视 频 压 缩 的 关 键 技 术 之 一 , 具 有 运 动 估 计 与 补 偿 的 帧 间 预 测 技 术 主 要 是 利 用 连 续 图 像 之 间 的 相 关 性 , 采 取 运 动 估 计 与 补 偿 的 方 法 来 消 除 时 间 上 的 冗 余 。H.264 解 码 代 码 的 复 杂 度 分 析 结 果 显 示 , 计 算 量 最 大 的 部 分 是 帧 间 预 测 模 块 、帧 内 预 测 模 块 和 去 块 效 应 滤 波 模 块 。 但 这 些 部 分 的 控 制 方 式 相 对 简 单 , 适 合 用 硬 件 来 实 现 。 本 文 在 深 入 研 究 H.264 帧 间 预 测 技 术 的 基 础 上 , 尽 量 降 低 硬 件 资 源 损 耗 , 采 用 三 级 流 水 线 实 现 帧 间 预 测 解 码 的 VLSI 设 计 。 1 帧 间 预 测 技 术 研 究 的 运 动 补 偿 预 测 模 式 。 与 以 往 标 准 帧 间 预 测 不 同 的 是 , H.264 增 加 了 许 多 新 功 能 [3], 主 要 包 括 四 个 方 面 : (1)可 变 块 大 小 运 动 补 偿 : 每 个 宏 块 ( 16 ×16 像 素 ) 的 亮 度 , 可 以 按 4 种 方 式 进 行 分 割 : 1 个 16 ×16 , 或 2 个 16 ×8 , 或 2 个 8 ×16 , 或 4 个 8 ×8 , 其 运 动 补 偿 也 相 应 有 4 种 。 而 8×8 模 式 的 每 个 子 宏 块 可 以 继 续 分 割 : 1 个 8×8, 或 2 个 4×8 , 或 2 个 8×4 , 或 4 个 4×4 。这 种 分 割 下 的 运 动 补 偿 , 称 为 树 状 结 构 运 动 补 偿 。 这 些 分 割 和 子 宏 块 大 大 提 高 了 各 个 宏 块 的 关 联 性 。 一 般 来 说 , 小 块 可 以 提 高 预 测 的 效 果 。 宏 块 的 色 度 成 分 (Cr 和 Cb)则 为 相 应 亮 度 的 一 半 (水 平 和 垂 直 各 一 半 )。 色 度 块 采 用 和 亮 度 块 相 同 的 分 割 模 式 , 只 是 尺 寸 减 半 (水 平 和 垂 直 方 向 都 减 半 )。 例 如 8 ×16 的 亮 度 块 其 相 应 的 色 度 块 尺 寸 为 4×8 。 (2)高 精 度 的 运 动 补 偿 : 帧 间 编 码 宏 块 的 每 个 分 割 或 子 宏 块 都 是 对 参 考 图 像 的 某 一 相 同 尺 寸 区 域 进 行 预 测 得 到 的 。 两 者 之 间 的 差 异 (MV), 对 亮 度 成 分 采 用 1/4 像 素 精 度 , 色 度 1/8 像 素 精 度 。 亚 像 素 位 置 的 亮 度 和 色 度 像 素 并 不 存 在 于 参 考 图 像 中 , 需 要 利 用 临 近 已 编 码 点 进 行 内 插 得 到 。 H.264 帧 间 预 测 是 利 用 已 编 码 视 频 帧 或 场 和 基 于 块 MV 可 由 临 近 已 编 码 分 割 的 MV 预 测 获 得 。 预 测 矢 """""""""""""""""""""""""""""""""""""""""""""""" (接 上 页 ) Date Sheets[EB/OL].Altera Corporation , 2003 , 6.lit_req@al- tera.com. [4] Texas Instruments.TLV320AIC23 Data Manual[EB/OL]. Texas Instruments Inc , 2002 , 1.www.ti.com. [7] Hynix.HY57V641620HG Data Sheets[EB/OL].Hynix Semi- [5] Texas Instruments.TMS320VC5509 Evaluation Module Tech- conductor , 2002 , 1.www.21ic.com. nical Reference[EB/OL].Texas Instruments Inc , 2002 , 1. www.ti.com. [6] Altera.MAX 3000A Programmable Logic Device Family [8] Silicon Storage Technology.SST39VF1601 Data Sheets[EB/ OL].Silicon Storage Technology, Inc , 2003 , 11.www.sst.com. (收 稿 日 期 : 2007- 02- 05) * 基 金 项 目 : 国 家 自 然 科 学 基 金 资 助 项 目 ( 60372043 ) , 重 点 实 验 室 基 金 资 助 项 目 ( 51434050105DZ0101 ) 。 《电子技术应用》2007 年第 7 期 欢迎订购《电子技术应用》2000～2006 年合订光盘(010- 82306084) 39