第 32 2013 卷第 年 7 期 7 期 煤 炭 技 术 Coal Technology Vol.32,No.07 July,2013 基于人机交互技术的智能多媒体互动投影系统的开 发和应用 鲍豫鸿 1，王 吉 2 （ 1. 昌吉职业技术学院，新疆 昌吉 ； 苏州明日吉辰软件研发有限公司，江苏 苏州 ） 2. 831100 215000 摘 要:智能多媒体互动投影系统将会对智能多媒体带来革命性的改变，该系统采用嵌入式的激光投影技术 图像的采集 红外 、 信息转换，嵌入在中间件中，投射出虚拟键盘图，连着 、 键盘和鼠标操作的一切功能；该技术是对传统 显示器 、 、 手机等移动终端的改革，作为一种新型的多媒体投影技术，方便了人们的科技和工作生活 、 目标识别 、 目标与背景的分离 、 目标跟踪控制 、 端，装上该自主研发的软件即可运行，可以实现触摸屏 触摸屏 PC PC、 关键词:人机交互；智能多媒体；虚拟；多点触摸 中图分类号:TP37 文献标识码:A （ 文章编号:1008-8725 07-0147-03 2013 ） 。 Development and Application of Intelligent Multimedia Interaction Projection System Based on Man-machine Interaction Technology BAO Yu-hong1， WANG Ji2 （ ） 1.Changji Vocational and Technical College, Changji 831100, China; 2.The Tomorrow Auspicious Day Software identification, the goal and the background separation, infrared imagery gathering, the target tracking control, Research and Development Limited Company of Suzhou, Suzhou 215000, China Abstract:The intelligent multimedia interaction projection system will be able multimedia to this system will use the embedded laser bring the revolutionary to the intelligence change, projection technology, the target in the middleware, will project including the PC end, will be installing this independent research and development the software then to move, might realize all functions which the touching screen, the monitor, the keyboard and the mouse will operate; This technology is to mobile termination and so on traditional PC, touching screen, handset reforms, took one kind of new multimedia projection technology, has facilitated people's science and technology and the work life. Key words:man-machine interaction 引言 the hypothesized keyboard chart, the information transforms, intelligence multimedia multi-spot touching hypothesized inserts ； ； ； 0 随着信息科技的不断发展进步，计算机的功能越 对 。 来越强大，在人们生活和工作中的作用也日益明显 浏览信息 电子商务 、 于目前可以上网阅读 物 的计算机和触摸一体机等多媒体来说，鼠标 摸操作等形式的外设安装 计算和处理办公事 邮件等等集众多功能于一身 、 触 、 操作复杂，以上的人机交互 、 、 聊天娱乐 、 键盘 、 、 为了提供二次开发的良好接口， !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! 碰撞检测技术方面的研究，在理论研究的基础 组件技术设计 司的 平台可以采用 公 公 司 的 形渲染 上，以 参考文献： 目前较成熟的组件技术有 ， SUN 、 Java/Java 3D 。 COM/COM + 为基础平台实现开源 开发平台 ， OMG 公司的 Microsoft CORBA VR VR 。 外设通信接口主要处理平台和 VR 头盔等）之接的通信问题，包括外设驱动加载 、 设备（如数据 外部 、 虚拟外设初始形态及位置等 、 VR 。 网络通信接口主要为平台提供网络通信 数据传 通过网络技术，还可以进一步实现 。 、 JavaBean[7]。 2.5 VR 外设通信接口 手套 数据输入初始化和管理 2.6 网络通信接口 输以及控制等功能 分布式应用 结语 。 3 文中对 VR 基于开源的 VR 思路进行了阐述 平台的相关技术进行了研究，设计了一 平台的框架，并对其主要模块的设计 三维图 、 后继工作将至力于组件技术 。 .VRML 虚拟现实应用技术 [M]. 北京：电子工业出版 虚拟现实技术的概况及应用 精密制造与自动 [J]. . .VRML 国际标准与应用指南 北京 : [M]. 电子工业出 ,2010. 张德丰，周灵 社 张志鹏，劳奇成 化 黄铁军，柳建 版社， 胡小强 1999.4-6 . ,2005,8(4):79-81. [1] [2] [3] [4] [5] 虚拟现实技术及应用 北京 : [M]. 高等教育出版社 ,2004. J Royan, C Bouville, P Gioia. PBTree-A New Progressive and Hierarchical Representation for Network -Based Navigation in Urban Environments, Proc[M]. Vision, Modeling, and Visualiza－ tion, 2003. [6] Brenton, H, Hernandez, J, Bello, F, et al. Using multimedia and Web3D to enhance anatomy teaching[J]. Computers & Ed－ ucation, 2007,49(1):32-53. 尹伟强 力 基于代理方式为面向对象系统提供二次开发能 计算机工程与应用 于晓辉 [7] , . , 2000 （ ） 7 :1-3. [J]. （责任编辑 张欣） 收稿日期:2012-08-18;修订日期:2013-04-15 作者简介: 鲍豫鸿（ 1980- ），女，新疆昌吉人，讲师，工程硕士，研究方向：计算机技术及应用 。 中国煤炭期刊网 www.chinacaj.net

·148· 煤 炭 技 术 第 32 卷 形式已经不能满足人们的需求，针对此问题结合现有 的人机交互技术，针对手势识别等软件进行开发，研制 出了智能多媒体互动投影系统 。 人机交互技术发展现状 1 1.1 国外研究现状 ） 纽约大学的 （ 1 FTIR 。2005 Jeff Han 全内反射眼里的多点触摸系统 实验室开发的基于受抑 年，纽约大学的 实验室成功地利用光线穿过不同介质时的受 Jeff Han 抑全内反射（ ）眼里，结合计算机视觉技术，设计出 了一种成本低且敏感度高的多点触摸系统，并开发出 很多支持多点触摸输入技术的应用程序 基于这种原 理的触摸屏幕可扩展到非常大的尺寸，成为低成本的 触摸墙 由于其工程安装是灵活多变的，因此这种多点 。 触摸输入的触摸屏可根据需要配置和定制，以满足不 同场合的需求 。 。 。2007 iPhone。 其触摸屏的实现原理与 （ ）苹果公司的多点触摸技术 2 年，苹果公司 推出以双指的动作表现多点触摸技术的显示屏幕的智 能手机 实验 室的完全不同，他采用的是投射式电容触摸屏技术，与 目前比较普及的采用表面电容触摸屏技术的触摸板有 倍以上的成本差价，且由于其将触摸面板贴附于 3 面板的工程的成功率不高，因此生产成本比较高 LCD 。 目前，因技术限制，还不能大量生产大幅面的基于此原 理的触摸屏 Jeff Han 。 （ ）微软的 3 52 系统 电脑 iPhone Surface 。Surface Reactabel 继 。 Surface 之后，微软很快 电脑 它最多可同 就推出支持多点触摸技术的 。 时识别 个触摸点，并且可以识别多用户的触摸操 作，除此之外，还能识别放置在屏幕表面带有特定底部 标签的物体，或与电子数码产品进行数据传输 。Surface 利用红外光学特性，结合计算机视觉技术进行触摸物 体检测 具有大的幅面，因此易于支持更丰富的 操作手势，也更易于协同工作，但是，阻碍其扩展应用 的一个因素是对每个不同的应用需求，都需要重新开 发或更改应用程序，因此，会明显影响其批量融入市场 的速度 。 （ ）西班牙的 4 年，西班牙的庞 比犹法布拉大学公开了一个桌面式的音乐模块化合成 系统，该系统能识别出各种放置于桌面上代表不同音 乐合成功能的方块，根据其相互运动关系，合成出相应 该系统的实现原理与硬件结构模型本质上类 的音乐 似于 电脑，但更进一步地基于图像处理技术识 别方块底部的图形编码，以识别出不同类型的方块 1.2 国内研究现状 目前多点触摸技术领域大部分研究的起源和原型 系统都是源于国外，国内在该领域和国外相比，存在着 明显的差距，首先，在时间上没有领先的独创性的研 究 其次，国内一些企业推出的相关产品并没有对多点 。 触摸技术做出根本性的突破，但是，令人欣喜的是，市 场上新出现了许多基于计算机视觉的触摸互动相关应 用，甚至有成为一个新产业的发展趋势 Surface 。2006 。 。 近年来，我国高度重视软件及游戏互动产业的科 研和产业化工作，国家在科技政策和税收政策方面给 。 2008 予支持，科技部在 了一个 “ 技术与装置 互装置 虚拟现实技术专题 年信息领域的 ，其中的 “ ” 课题，就包含了 “ ” 计划中增加 863 多通道人际交互 多人多触点大型表面交 作为其重要的研究内容 ” 。 项目内容及技术路线 2 2.1 人机交互技术项目内容 基于人机交互技术的智能多媒体互动投影系统， 其核心技术是红外图像采集与红外激光定位的智能识 别与控制系统，通过红外摄像机捕捉实时的视频数据， 将数据传送到图像处理单元，通过特定算法在视频数 据流进行动态背景建模，从背景中分离出目标，确定目 标的位置信息，并将位置信息转换为电脑的控制信号 通过无线蓝牙方式传输，实现对电脑及其他智能多媒 体系统的控制 该系统采用嵌入式的激光投影技术，嵌入在中间 端，装上该软件即可 件中，投射出虚拟键盘图，连着 PC 键盘和鼠标操作的一 运行，可以实现触摸屏 显示器 、 、 切功能；该技术是对传统 手机等移动终端 、 的改革，作为一种新型的多媒体投影技术，方便了人们 的科技和工作生活，例如：在配置 时无需配置液晶 显示器 盘大的中间 件和一个小机箱，即可以实现配件的一切功能如图 所示 鼠标和键盘，只需要一个几厘米 、 触摸屏 PC、 PC U 1 。 。 图 1 触摸功能和鼠标键盘功能实现 手指在投影区域划动即可移动鼠标光标，点击投 单指点按投影区后，再用另一 。 通过多点触控功能还可以实现页 影区即为鼠标左键功能 根手指点击为右键 面滚动 前进后退 、 。 放大缩小等等常用功能 、 。 把键盘图像投影到桌面 书本甚至是胳膊和手上， 、 在键盘投影图像区域内对键盘进行实际操作，支持触 摸点击 旋转等功能， 、 如图 多点触摸图像放大 、 打字 、 所示 缩小 、 2 。 图 2 键盘图像投影 还可以跨平台移植，例如手机端移植，如图 所示 。 基于人机交互技术的智能多媒体互动投影系统主 小机箱 （体积类似一个小的路由 部分组成： 3 要由 4 PC 中国煤炭期刊网 www.chinacaj.net

第 7 期 鲍豫鸿，等：基于人机交互技术的智能多媒体互动投影系统的开发和应用 ·149· 图 3 手机端移植 器），投影灯泡 摄像头镜头和架子 、 。 2.2 技术路线 CMOS 红外图像的采集，传统的目标检测与识别系统通 常采用彩色 摄像机进行图像采集，环境和光线 的变化会对检测与识别的精度造成严重的影响，并且 后端图像处理系统负担较重，该项目采用窄带通过的 红外图像传感阵列，摒除了环境光线对测量精度和准 确性的影响，并且为后期的处理提供了较好的数据源 。 目标与背景的分离，场景中大多包含干扰因素，比 如光线的扰动等 该项目采用基于时间序列的编码建 模算法，对每个像素或者一组像素建立时间序列模型， 在每个像素点进行抽样，根据颜色扭曲尺度和亮度边 界聚类获得编码本的集合，并随时间的变化不断更新 编码本，增强了模型的鲁棒性 较之传统的背景模型， 。 目标分离的精度和灵敏度有大幅度提高 。 。 。 目标识别，红外摄像机采集的实时的数据以背景 模型为掩膜进行差分处理，并完成频域滤波和形态学 处理后通过目标分离算法得到每个目标的位置坐标和 轮廓信息 KD 目标跟踪，在对目标进行识别之后，对每帧视频数 树结构，然后对 据包含的目标进行分组，建立动态 当前帧的每个目标在前一帧中搜索 树中的最近邻 域点，并且赋予相同的序列标记，通过卡尔曼滤波去除 扰动引起的轨迹 “ ，实现对目标的跟踪 ” 控制信息转换，通过操作系统底层协议接口，将跟 踪获得目标的位置信息转换成控制信号，传送给电脑 或智能多媒体系统，实现互动与控制 2.3 工艺路线 波动 KD 。 。 工艺路线如图 所示 项目技术创新 4 。 3 ）红外图像采集技术 （ 1 该项目摒弃了传统的可见 。 光摄像机，采用窄带通过的红外图像传感阵列，有效去 除了其他波段光源对系统的影响，提高了目标的获取 与分离的速度和精度，扩大了系统的适用范围 摆动的窗帘等 、 （ ）目标与背景分离技术 2 很多场景都包含干扰因 。 素，例如光线的扰动 为提高系统的适 。 用范围，需要建立一个随时间动态更新且具有较强抗 干扰能力的背景模型，该项目采用基于时间序列的编 码建模算法，对每个像素或者一组像素建立时间序列 扭曲尺度和 模型，在每个像素点进行抽样，根据颜色 、 。 图 4 工艺路线 。 亮度边界聚类获得编码本的集合，从而建立随时间不 断更新的动态背景模型 （ ）目标识别技术 3 。 在动态背景的基础上，将红外 。 摄像机采集的实时的数据以背景模型为掩膜进行差分 处理，处理后的图像经过频域滤波 形态学处理以降低 、 环境噪声对系统的影响，通过目标分离算法得到每个 目标的位置坐标和轮廓信息 KD （ ）目标跟踪技术 4 在对目标进行识别之后，需要 。 对一定时间段的目标位置运动情况进行描述，此处采 用目标跟踪技术，首先对每帧视频数据包含的目标进 树结构，然后对当前帧的每个目 行分组，建立动态 标在前一帧中搜索 树中的最近邻域点，并且赋予 相同的序列标记，通过卡尔曼滤波去除扰动引起的轨 迹 “ ，实现对目标的跟踪 ” 通过操作系统底层协议接口， 。 将跟踪获得目标的位置信息转换成控制信号，传送给 电脑或智能多媒体系统，实现互动与控制 波动 （ ）控制信息转换 5 KD 。 。 结语 4 。 ）在人机互动的应用领域，即智能多媒体互动投 （ 1 影系统技术开发和应用方面，国内目前没有核心技术 研发企业，因此对核心技术模块的需求非常大 。 （ ）本项目最核心的关键在软件，软件具有独特的 2 算法，也可以根据应用后续更新升级 目前，产品符合国家产业 。 （ ）对于社会创造更多的经济价值，带动整个行业 3 的快速发展 技术政策，隶属 、 于高新技术范畴，科技含量高，创新性较强，知识产权 清晰，技术处于国内外领先水平，打破了原有的市场空 白，具有革命性的创新意义 参考文献： 。 俞敏，杨力 与外部程序交互的研究 计算机工程， [J]. （ ）： 9 交互式虚拟产品展示系统开发平台关键技术的研发 80-81. [D]. 2007. 北京：北京大学出版社， 原理与应用 [M]. 人机交互技术 : 2004. [M]. 北京：清华大学 [1] [2] [3] [4] .VRML . ， 2005 21 王娜娜 青岛：青岛大学， 人机交互 董士海 孟祥旭 李学庆 出版社 . . , , 2004. （责任编辑 赵勤） 欢 迎 订 阅 煤 炭 技 术 " !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!" ! ! ! ! ! ! ! ! ! ! "!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!" 中国煤炭期刊网 www.chinacaj.net