年 第 期 计 算 机 系 统 应 用 基 于 丁 的增 强 现 实 系 统 开 发 与 应 用 任 波 段 利亚 管 涛 李利军 华中科技大 学数 字化 工 程 与仿真 中心 武汉 青岛科技大 学 自动 化 与 电子 工 程 学院 摘要 介绍 了增 强 现 实 系统 二 次 开发 工 具 , 给 出 了其 体 系结 构 及 工 作 流 程 , 详 细 讨 论 了利 用 开 发 增 强 现 实应 用 系统 的 流程 。 并给 出 了一 个 实例 一基 于 增 强 现 实技 术 的 虚拟 样板房展 示 系统 。 关健词 增 强 现 实 三 维 注 册 引言 增强现 实 简称 是 虚拟 现 发流程 , 并给 出 了 一 个 实例一基 于 增强 现 实 技 术 的 虚 拟样板房展示 系统 。 实技术 的一个重要分 支 , 也 是近年来 的一个研 究 热 点 。 增强现 实与 虚 拟现 实 功 , 简称 不 同 , 技术让 用 户完 全 沉 浸 在 由计 算机 生 成 的虚 拟 环 境 中 , 而 的最终 目 的则 是 把 计 算 机 产 生 的虚 拟 场 景 无缝的融合到 用户所能观察到的真实世 界 当中 。 使 用 技术 可 以增 强 用 户 的视 觉 感 受 , 延 伸 用 户 视 觉 系 统 的功 能 , 并使其 能 以一种更 加 自然 的方 式与 真 实和 虚拟相融合 的环 境进 行 交 互 , 更 好地 完成某 些 任 务 。 增强 现 实系统作为 一种 新型 的媒 介 , 已 经 逐渐 应 用 到 从 医学 到军事等各个领域 。 简介 是一套基 于 语言的增强现 实系统二 次 开 发包 , 能 够 在 , 以 及 等 不 同 的操作 系 统 平 台上 运行 。 它利 用计算机视 觉技术 来计 算观察 者视 点相 对 于 已 知标识 的位置 和 姿 态 , 并 且 同 时支 持 基 于 视 觉 或视频 的增 强 现 实应 用 。 其实 时 、 精确 的三 维 注 册 功 能使 得 工 程 人 员能够非常方便 、 快捷的开发增强现 实应 用 系统 。 体系结构 开发增强现实系统 的难点在 于如何 实 时 、精确 的计 众 主要 由图 所 示 的几 个 函 数库 组 成 , 分 算观察者视点相对真实世界 的位置和 姿态 , 使 得虚 拟场 别是 景能够与真实世界 无 缝融 合 即 三 维 注 册 。 当前 流 行 的基于计算机视觉的三维注册 方法主 要有两 种 基 于标 识 的三维注册 和基 于 自然特征 的三 维 注册 。 国 内外 研 究人 员在以 上两方面开展 了大量 的研 究 工作 , 提 出 了一 包括摄 像 机 校 正 与参 数 收集 、 目标识 别 与跟踪模块 。 主 要 完成摄 像 机 定标 , 标 识识 别 与 三 维 注册 等功能 。 基 于 微 软 视 频 开 发 包 功 些解决方法 , 然而这些工作大部分都处于 实验 室研 究 阶 泊 的视频处理 函数库 。 主要 完成 图像 实时采集 段 , 真正形成产 品的较少 。 在基 于 自然特征 的三 维注册 技术没有发展成熟之 前 , 基 于标识 的三 维 注册将是 当前 增强现实应 用系统 中的主要注册方法 。 功能 。 仪 的 图 形 处理 函 数库 。 完成 图像 的实 时显 示 , 三 维 虚拟场 景 的实时渲染等功 基 干 该文介绍 了一 个 由 日本广 岛城市大学 与美 国华盛 育旨。 顿 大学联合 开 发 的 增强 现 实 系 统 二 次 开 发 工 具一 以上 几 个 模 块 中 除 外 , 其 它 部 〔’〕。 在介绍 其 体 系 结 构 及 工 作 流 程 的 基 础 上 , 分 的源 代 码 都 是 对 用 户 开 放 的 , 开 发人 员可 以根 据需 详细讨论 了基 于 。 的增 强 现 实 应 用 系统 的 开 要对 其进 行修改和 补充 。 口加如 实用案例 

年 第 飞 期 门‘介 , 「 沙言 ’万’ 」‘一 … 、, , 工作流程 利 用计算机视 觉技术来计算摄像机 相 对 于标识 的距 离与位置 , 工 作 流程如 图 所 示 , 首先根 据 用 户设 定 的阂值将 采集 到的一 帧彩 色 图像转换成一 幅 二 值 黑 白 图 像 , 然 后 对 该 二 值 图 像 进 行 连 通 域 分 析 , 找 出其 中所 有 的四边 形 区 域作为候选 匹 配 区 域 , 将 每 一 候选 区 域 与模板 库 中 的模板 进行 匹配 , 如果产生 愉 认 为 找 到 了 一 个 标识 , 利 用该标 识 匹 配 , 则 区 域 的变形来计算摄像机 相对 于 已 知标识 的位 置和姿 态 , 最后 根据得到 的变换矩 阵实现 虚 实之 间的注册 。 计 算 机 系 统 应 用 柳柳 图 计体 系结 构 , 朋 坐标 系 伙计也不 例 外 。 如何 有效的计算世 界坐标 系与摄像机坐 标 系之 间 的转换矩 阵 , 是增强现实系统 所面 临的主 要 问题之 一 , 汀 坐 标 系 如图 所 示 。 由于采 用 了基 于标识 的虚 实 注册 方 法 , 中的 注册 问题就转 变成标识坐标 系与摄像机坐标系 之 间变 换矩 阵的求解 。 两 者 之 间 的变 换关 系 如 式 所 示 , 其 中为待求 变换矩 阵 。 文献【 〕中详 细 介绍 了 的求 解过 程 , 不再赘述 。 图 工 作 流程 基于 的狱 的增强现实系统开 发 利 用 防 开 发 增强 现 实 系统之前必 须 进行 摄像头定标 、模板制作与训练两项 工作 。 摄像机定标 这 里 的定 标 指 的是 摄像 头 内部 几 何参数 的确 定 , 主要 包括 焦 距 、 像 面 中 心 、 像 素 的 水 平 和 垂 直 间 距 △ , △ 、倾斜率等 。 系统运行 时正 是根据这 些 内部 参数 来 实 时计 算摄 像 头 与 目标标识 之 间的三 维 变换矩 阵 , 因此这 些 内部参数的准确 与否将直接影 响到 系统 的注 图 厅 坐 标 系 实用案例 化 的 侧沦 

年 第 期 计 算 机 系 统 应 用 册 精度 。 提 供 了 用 于 摄 像头 定 标 的例 程 , 利 , , 主 用 它可 以 非 常方 便 的确定摄像头 的 内部参数 。 循 环 模板 制作与训练 在利 用 开 发增 强 现 实 系 统 之 前 , 必 须 制 函 数 实现 如 下 作标识 , 系统 正 是根 据这 些 不 同 的标 识 返 回 的不 同 值来叠加不 同 的虚拟场景 。 提供的标 准模板 是 一 个带 黑 色边框 的正 方形 , 开 发 人 员 可 以根 据 需 要 向白色 区域 中添加 自定义 图形 , 来 制作不 同 的标识 , 图 初始化视频采集参数 所 示 为 系统 自带 的几 个标识 。 』 , , 翻 彻 , , , 改 改 读取模板文件 二 廿 忆 图 标 识 在使 用标识 之 前 必 须 进 行 训 练 , 使 系统 根 据不 同 提供 了一 个 函 的标识 生成对应 的模板文件 。 数 。 来完成上述 工 作 。 制作标识 时须 注 意 标识 之 间的 区 分 度 , 应 使 标 识 改 , 二己 , , , , 之 间的 区 别尽 量 大 , 以免 系统识别 时发 生 混淆 。 开发流 程 利 用 众 进 行 系统 开 发 必 须 经 过 如 下 几 个 函 数 实现如 下 步骤 库 。 初始化 摄 像机 , 读 取 摄像 机 参 数 和 标 准 模 板 相关 变量定 义 获取 一 帧 图像 。 标识 识别 。 视点与 目标标识 之 间转换矩 阵的计 算 。 根据转 换矩 阵叠加虚拟场景 。 关 闭视频 流 。 仁 , 获取一帧 图像 。 彻 沁 其 中第二 步到 第五 步是 一 个 循 环 过 程 , 直 到 程 序 结束 。 第一 步 和 第 六 步 只 在 系 统 初 始 化 和 退 出 时 执 行 。 连通域分 析 『 『 , , , 以上 几 步 的程 序实现 如下 如 几 , 如 咋忍 , 主 函数 , 〕 川 系统初始化 开 启视频流 二 一 实用案例 

计 算 机 系 统 应 用 标识 匹配 二 二 二 二 一 〕 年 第 期 于 视频 增 强 现 实技 术 的虚 拟 样 板房展 示 系统 , 系统 能 够根据 自定义标识将虚拟 的三维 房间模型 直 接 叠 加 到 二 维平 面 图 上 。 效果如 图 所 示 , 其 中左 图 为 实 时 采 集 到的视频图像 , 右 图为 叠 加 了虚拟样板房后的效 果 , 用 户 可 以 自由移 动带 有标识 的二 维 平 面 图 , 三 维 虚 拟 样 板 房模型 会 随平 面 图 的移动 而 改 变位 置 , 就像 真 正 〔〕 二 摆放 到平 面 图上一 样 。 一 变换矩 阵计算 如 戊沁仃 竹, , 住 闭 叠 加 虚拟 场 景 『口四 廿 交换缓冲 区输 出合成 图像 伟 实例分析 现 有的样板 房展 示方 法包 括 二 维平 面 图 、 实体模 型等几种 。 二 维 平 面 图 的缺 点是 不够生 动直 观 , 用 户 无 法直观 的感 受 房 间 的三 维效 果 , 制作实 物模 型 不 仅 费时费力 , 而 且修改起来也极为不便 。 基 于 以上 原 因 , 笔 者利 用 开发 了一套 基 〔 」, , 图 样 板房展 示 实例 今后 的工 作 笔者利 用 冷 开 发 了 一 套 基 于 增 强现 实技 术 的样板 房 展 示 系统 , 今 后 的 工作 主 要 集 中在基于 增 强 现 实技术 的交互 式设计 与展示技术方面 的研究 。 今月片多忆献 。嗯丫 , 灿 灿 。 , 肋 『 一 相心 而 , , 硒 团 。愉 , 刀 协内叭夕 川 。而 。 , , 侧拓 豁若色 孕资产宇 异、苍延 谷廷穿幼湃挤 石愈毛冲毛释‘鹤豁率争娜宇 、争争 公从尹峨熟争导瑞冲罕毛熟鉴幼丹公幼尹砰导场丹导绮丹争孕墉丹签峨尹挤争 上接 第 页 护 。 系统具 有身份认证机 制 , 保 证会 议成 员 的合法性 。 一 参 月全岁忆力犬 一 一 , 一 石 免 『 , 砍 叱 实用案例 如