2 2 2 2 ·81· 新技术新仪器 2003 年第 23 卷第 6 期 单目机器视觉测距技术在无人机自动着舰中的应用 杨迎化, 唐大全 (海军航空工程学院自动控制系, 山东 烟台 264001) 　　摘　要: 介绍了机器视觉的概念, 探讨了机载单目机器视觉在无人机自动着舰方案中的应用。 在对前 方舰艇进行快速探测以及对摄像机进行预先标定的基础上, 本文利用机器视觉理论与方法, 以及摄像机内 部参数和透视投影几何关系, 计算无人机与前方舰艇相对距离。 最后展望了机器视觉的发展及应用前景。 关键词: 无人机; 自动着舰; 机器视觉; 摄像机; 标定; 测距 中图分类号: P 215; V 279　　文献标识码: A 　　文章编号: 1002 6061 (2003) 06 0018 04 The Appl ica tion of D istance M ea surem en t Ba sed on the M onocular Cam era M ach ine V ision in the System of Auto- land ing on D eck of UAV YAN G Y ing hua, TAN G D a quan (D epartm en t of A u tom atic Con tro l, N aval A eronau tical Engineering In stitu te, Yan tai 264001, Ch ina) Abstract: T he p ap er in t roduces the concep t ion of m ach ine vision, d iscu sses the app lica t ion of the a ir land ing on deck of U AV. O n the ba sis of bo rne m onocu la r cam era m ach ine vision in the sy stem of au to qu ick detect ion of the fron t nava l sh ip and befo rehand ca lib ra t ion of cam era, u sing the theo ries and m eth od s of m ach ine vision, the in t rin sic p a ram eters of cam era and p ro ject ive geom et ry, the d istance betw een the U AV and the nava l sh ip is reckoned in the p ap er. F in lly it p ro sp ect s the developm en t and app lica t ion s of m ach ine vision. Key words: U AV ; au to land ing on deck; m ach ine vision; cam era; ca lib ra t ion; d istance m ea su rem en t 0　前言 机器视觉就是用计算机模拟人眼的视觉功能, 对 “目标图像”进行数字化, 从图像或图像序列中提取信 息, 对客观世界的三维景物和物体进行形态和运动识 别, 并通过计算机处理进行判断, 最终用于实际检测、 测量和控制[ 1 ]。 机器视觉在军事方面可用于自动监视军事目标, 自动发现、跟踪运动目标, 自动巡航捕获目标和确定距 离。 1　总体方案设计 在某型无人机自动着舰 (驱逐舰) 方案中, 无人机 末段撞网回收采用单目机器视觉导引, 如图 1 所示。 04 06 收稿日期: 2003 ) , 男, 硕士研究生, 主要研究方向: 飞 作者简介: 杨迎化 (1979 ) , 男, 副教授, 行控制系统及其仿真与自动检测; 唐大全 (1965 硕士生导师, 主要研究方向: 飞行控制系统及其仿真, 自动检 测, 惯性导航技术。 图 1　无人机末段撞网回收示意图 摄像机被固定在无人机的整流罩上, 摄像机利用 动态图像识别与跟踪算法, 向控制系统反馈目标 (舰 艇) 和自身 (无人机) 的状态与位置信息, 使无人机跟踪 航行中的舰艇, 始终保持舰艇处于视野的正中位置。其 工作原理如图 2 所示。 图 2　无人机机器视觉导引原理图 

航 空 计 测 技 术 新技术新仪器 ·91· 在此着舰过程中, 由于无人机对反馈的控制信号 作出反应存在一定的时间延迟, 所以有必要获取无人 机与舰艇的相对距离, 确保无人机在撞网前能够及时 地对准拦截网。 本文探讨了利用机载单目机器视觉测 量无人机与舰艇相对距离的方法。 2　前方舰艇探测 为了便于计算, 本文假设: ①舰艇以比较平稳的速 度在中等海情下航行; ②无人机已经进入末段跟踪阶 段, 无人机与舰艇的速度差基本稳定; ③此舰艇周围没 有其它舰只, 舰艇的尾流稳定。 探测目标是前方舰艇, 因此, 我们只需将搜索的区 域由整个图像缩小到舰艇的尾流范围内, 图像中的其 它区域可以不必考虑, 这样可大大提高处理速度。舰艇 尾流范 围 内 的 区 域 就 称 为 感 兴 趣 区 (A rea of In te rest, 简称 AO I)。 为此在区域增长算法的基础上进行 Hough 变换, 确定舰艇尾流范围的两条边缘线, 两条边 缘线内的区域即为AO I。 舰艇检测是基于灰度梯度的原则: 一般地, 在舰艇 的稳定尾流范围内, 可以认为在无人机和前方舰艇之 间的AO I 区域内的灰度变化是比较平缓的, 但在海面 和舰艇尾部的相交处, 会形成灰度由亮到暗的水平边 缘, 检测到此边缘就可认为检测到了舰艇尾部。 在AO I 中, 由下而上, 按水平线逐行扫描, 计算每 行灰度的平均值, 如公式 (1) G ( r) = 1 [ rb ( r) - rb ( r) lb ( r) ] c= lb ( r) f ( r, c) (1) 式中: lb ( r) 为AO I 中第 r 行的左坐标; rb ( r) 为AO I 中 第 r 行的右坐标; f ( r, c) 为像素 ( r, c) 的灰度值; G ( r) 为AO I 中第 r 行的灰度平均值。 当探测到前方舰艇时, G (r) 会急剧变化, 这说明我 们已经检测到前方舰艇的尾部。以此为基础, 我们来讨 论如何尽可能早的计算出无人机与前方舰艇的距离。 3　距离测量 图像采集是将客观世界的三维场景投影到 CCD 摄像机的二维像平面 (CCD 光敏矩阵表面) 上, 这个投 影一般采用几何透视变换来描述。 在本文中采用小孔 成像模型来描述此透视变换, 如图 3 所示。图中, f , , h 分别为 CCD 摄像机的有效焦距、俯仰角度和安装高度 (镜头中心到海面的高度) ; (x 0, y 0) 为光轴与像平面的 交点, 作为像平面坐标系的原点, 一般取为 (0, 0) ; (x , y ) 为海面上一点 P 在像平面上的投影坐标。 在这里, 点 P 就是检测出的前方舰艇尾部阴影上 的一点。根据几何关系, 点 P 与镜头中心的水平距离 d 的计算公式为 d = h tan{ + arctan [ (y 0- y ) f ]} (2) 图 3　单目机器视觉测距几何模型 4　摄像机内部参数的标定 4 1　摄像机内部参数 在公式 (2) 的参数中, h 可由机载设备提供, 可直 接测量得到, y 0 一般取作 0, f 和 y 是未知的。 f 是 CCD 摄像机的有效焦距, 属于内部参数, y 是目标点在 CCD 像平面上的投影坐标在 y 轴方向上的分量, 称为 像平面坐标, 单位是mm。由于数字图像存放于计算机 内的存储器中, 而我们通过图像处理只能获得目标点 在计算机内存中的坐标, 称之为帧存坐标 (u, v ) , 单位 是像素 (p ixels)。如图 4 所示。因此, 确定像平面坐标需 要将计算机内存中的帧存坐标转换到像平面坐标系统 中。 图 4　帧存坐标和投影坐标变换示意图 O 1 (u 0, v 0) 是 CCD 摄像机光轴与像平面交点 (x 0, y 0) 的帧存坐标, 该点一般位于帧存图像的中心处, 但 由于摄像机制作的原因, 也会有些偏离, 因此需要对其 进行标定。 设帧存中的一个像素对应于像平面上 x 轴 与 y 轴方向上的物理尺寸分别为 dx , dy , 则有变换关 系 u= x dx + u 0, v = y dy + v 0 (3) 式 (3) 中, v 可由图像处理获得, 计算 y 需要预先 确定 v 0 和 dy 的值。因此为计算 (2) 式, 摄像机参数 f 、 

1 1 ·02· 新技术新仪器 2003 年第 23 卷第 6 期 v 0、dy 必不可少, 这就需要进行摄像机参数的标定。 在 机器视觉中, 摄像机校正参数分为内部参数和外部参 数, 内部参数确定了摄像机内部的几何和光学特征, 不 随摄像机的移动而改变; 外部参数是确定摄像机像平 面相对于客观世界坐标系统的三维位置和朝向, 摄像 机移动后, 需重新校正。本文中虽然摄像机随无人机运 动, 但我们所需要的参数都是内部参数, 不需要在无人 机飞行过程中重新标定。因此, 只需预先标定摄像机的 内部参数, 就可以在无人机飞行过程中用来计算无人 机与前方舰艇的距离。 4 2　摄像机标定 摄像机标定需要先知道一组像平面点的客观世界 坐标和帧存坐标。 从客观场景到数字图像的成像变换 可看作由图 5 所示的 3 步组成。 具体变换过程见图 4 和图 6。 空间中任何一点 P (X c, Y c, Z c) 在像平面上的投影 位置 P (x , y ) 可以用小孔模型表示 f Y c Z c f X c Z c , y = x = 用齐次坐标与矩阵形式将 (5) 式表示为 Z c x y 1 = f 0 0 0 f 0 0 0 1 0 0 0 X c Y c Z c 1 4 2 3　从像平面坐标到计算机帧存坐标的变换 用齐次坐标和矩阵形式可将式 (3) 表示为 u v 1 = 1 dx 0 0 0 1 dy 0 u 0 v 0 1 x y 1 4 2 4　从客观世界坐标到计算机帧存坐标的变换 将式 (4)、(6)、(7) 结合起来可得 (5) (6) (7) (8) u 0 v 0 1 X w Y w 0 0 0 R 　　T O T 　　1 X w Y w Z w 1 = M X w Y w Z w 1 = M 1M 2 Z w 1 dx , ay = f 其中, a x = f dy ,M 1 为内部参数,M 2 为 外部参数,M 为投影矩阵。 式 (8) 表示了空间一个点的 帧存坐标和空间坐标的对应关系, 可以得到两个独立 的方程。 标定过程中, 一般取数十个已知空间点, 使方 程的个数大大超过未知数的个数, 从而用最小二乘法 求解以降低误差造成的影响, 得到投影矩阵M , 然后由 此分解出内外参数M 1 和M 2。 4 5　求解无人机与舰艇的距离 由公式 (3) 及 y 0= 0, a y = f dy , 公式 (2) 可整理为 (9) 可见, 求内部参数时不必分别求出有效焦距 f 和 + arctan [ v 0- v ) d = h a y ]} tan{ 2 像素对应的物理尺寸 dy , 而只需要二者的比值 a y。 5　试验验证 文献 (5) 对此方法进行了可行性验证。 用激光测距仪与单目机器视觉测距方法进行比 较, 以检验其有效性。考虑到激光测距仪的数据刷新频 率, 试验中每隔 200 m s 测距一次。 表 1 为相应的测量 图 5　摄像机成像坐标变换步骤 Z c u v 1 = a x 0 0 0 a y 0 图 6　摄像机标定几何模型 2 4 1　从客观世界坐标到摄像机坐标的变换 考虑到刚体的情况, 则从客观世界坐标 (X w , Y w , Z w ) 到摄像机坐标 (X c, Y c, Z c) 的变换可用齐次坐标表 示为 X c Y c Z c 1 = R 　　T O T 　　1 X w Y w Z w 1 (4) 其中: R 为 3×3 正交旋转变换矩阵, T 为三维平移向 量, O = (0, 0, 0) T。 4 2　从摄像机坐标到像平面坐标的变换 2 

航 空 计 测 技 术 结果。 表 1　机器视觉与激光测距的比较 m 　 序号 机器视觉测距 激光测距 两者误差 1 2 3 4 5 6 7 8 9 10 23 27 29 36 37 44 48 49 56 57 66 50 33 19 20 00 21 66 33 64 22 26 30 34 38 42 46 50 55 58 45 53 75 68 70 82 78 90 01 91 1 0 - 1 1 - 1 1 1 - 1 1 - 1 21 97 42 51 50 18 43 24 32 27 通过假设检验, 可知上述误差值在显著性水平 01 下服从均值为零的正态分布, 由数理统计理论可 0 知, 单目机器视觉测距方法与激光测距方法所获试验 数据之间的差异仅是由随机误差引起的, 即这两种方 法在测距精度上并没有显著差别。 利用立体视觉测量距离时, 由于对应点匹配费时 多, 所需时间都是以 s 计的。通过试验可知基于单目视 觉测距的方法所需时间仅是几个m s。可以满足无人机 自动着舰系统的实时性要求。 6　结束语 本文在AO I 内利用灰度梯度探测前方舰艇, 并在 此基础上利用摄像机内部参数和透视投影几何关系来 新技术新仪器 ·12· 测量无人机与舰艇距离的方法是可行的, 实时性的要 求也可以满足, 从而证明了利用单目视觉获取深度信 息的可行性。 但是由于海上环境的瞬息变化会引起舰 艇的六自由度摇摆以及无人机的颤振, 所以对单目机 器视觉测距的探测结果仍需进一步确认。 机器视觉技术不论从理论上还是从硬件设备上的 发展都已达到了实用阶段, 国外起步比较早, 已有不少 成熟的产品问世; 机器视觉在我国的应用才起步, 更多 的领域还需我们拓展。 参 考 文 献 [ 1 ] 张琦. 机器视觉系统的原理及现状 [ J ]. 电子工业专用设备, 1999, (4) : 20～ 21, 34. [ 2 ] Om id Shkern ia, Yi M a, Joao H espanha and Shankar. V ision Gu ided L anding of an U nm anned A ir V eh icle [J ]. IEEE Conf. on D eci sion and Con tro l, 1999. [ 3 ] D icm ann s E D , Schell F R. A u tonomou s L anding of A irp lanes by D ynam ic M ach ine V ision [J ]. IEEE, 1992. [ 4 ] Zhang Zhengyou. A F lex ib le N ew T echn ique fo r Cam era Cali b ration T ech ical R epo rt M SR TR 98 71, M icro soft R esearch [ R ]. M i cro soft Co rpo ration, 1998. [ 5 ] 王荣本, 李斌, 储江伟, 纪寿文. 公路上基于车载单目机器视觉 的前方车距测量方法的研究[J ]. 公路交通科技, 2001, 18 (6) : 94～ 98. [ 6 ] 郑南宁. 计算机视觉与模式识别[M ]. 北京: 国防工业出版社, 1998. [ 7 ] 李介谷. 计算机视觉的理论和实践[M ]. 上海: 上海交通大学出 版社, 1992. [ 8 ] 马颂德, 张正友. 计算机视觉——计算理论与算法基础[M ]. 北 京: 科学技术出版社, 1998. (上接第 17 页) 图 7　电枢电流曲线图 参 考 文 献 [ 1 ] 曾庆勇. 微弱信号检测 (第 1 版) [M ]. 杭州: 浙江大学出版社, 1986. 图 8　电机转子角度波动曲线 [ 2 ] 陈伯时. 电力拖动自动控制系统 (第 2 版) [M ]. 北京: 机械工业 出版社, 1995.