单目视觉测距
一、单目视觉测距背景
单目视觉测距一般采用对应点标定法来获取图像的深度信息,对应点标定法是指
通过不同坐标系中对应点的对应坐标求解坐标系的转换关系,但对应点标定法,在标
定过程中,由于受器材限制,仍无法做到十分精确地记录一个点在世界坐标系和图像
坐标系中的对应坐标如果其坐标不够精确,那么得到的转换矩阵的精确度也会受到制
约,坐标转换结果的精度也会因此而波动,由于对应点标定法对于摄像机的标定是在
摄像机的各个角度及高度已经确定的情况下进行的,当摄像机的任何一个参数发生变
化时,都要重新进行标定,以得到在该种具体情况下的转换矩阵,所以该方法仅适用
于位置固定的摄像机的情况,而对于应用在移动载体上的摄像机来说,由于摄像机载
体在运动过程中会使摄像机的参数发生变化,所以适用性受到了限制,本方案中所采
用的几何关系推导法较好地解决了对应点标定法的不足它是根据摄像机投影模型,通
过几何推导来得到世界坐标系和图像坐标系之间的关系。
二、单目视觉测距原理
基于单目视觉的测量方法需要从二维的图像信息中获取三维空间中的位置信
息,必须加以适当的约束(载体在平面运动,摄像头高度固定,保持视角与地面平行)
要确定摄像机的图像坐标系与物理空间中的三维参考坐标系之间的精确对应关系需
要对摄像机进行标定标定需要大量的矩阵运算,需要通过大量的优化,才能保证测距
的实时性。
2.1 单目测距方法一
基于以上的考虑,利用几何关系确定物体在世界坐标中位置点与其像点之间的
数学关系表达式,即确定摄像机成像几何模型而在线性摄像机模型中应用较多的是针
孔模型,因此采用针孔模型测距原理进行分析与研究图 1 显示了针孔模型测距原理,
如图所示,
点是世界坐标系中的一点,
是其在摄像机成像平面上的特征
点的像平面坐标,测距的目的就是将图像中目标特征点 的像平面坐标
转换为
其在机器人坐标系
下的坐标
(,)Pxy(,)uvp(,)uvxoy(,)Pxy
图 1:单目针孔模型相机测距原理
在上图中,摄像机被固定,并向下倾斜一定的角度 是物体, 是物体在图像中
的特征点, 是摄像机到地面的垂直距离, 是摄像机垂直视角投影在地面上的最
近距离,
是摄像机垂直视角投影在地面上的最远距离, 是当摄像机垂直视
角投影在地面上的距离最近时,其水平视角投影在地面上的距离。 和 分别是摄像
机垂直视角射线与地平面 轴的最大和最小夹角, 是摄像机水平视角在地面上的投
影与地平面 轴夹角。由摄像机针孔模型的几何关系可知,
可由下式推导得到:
(1)
(2)
(3)
其中,
可以通过测量得到。在得出了
角之后,就可以很
方便的推导出 和 的计算法公式:
(4)
(5)
PpH1y12yy1xyy,,arctan(/1)Hyarctan(/(12))Hyyarctan(1/1)xy,1,21Hyyx和,和xytan[(90)()()]yySuyHStan[()]yySuxyS
(6)
(7)
其中,
分别表示特征点 在图像平面上的行数和列数, 和 分别表示图
像平面在 和 方向上的总的行数和列数。 是点
在载体坐标系 下的纵坐
标,即目标点载体在垂线方向上的距离。 是
点在载体坐标系下的横坐标,即
目标点与载体在水平方向上的距离, 表示点 与前进方向上的夹角,而 则表示所
求目标点与载体之间的距离。
2.2 单目测距方法二
假设,有效焦距为 的 CCD 摄像机安装在载体的顶部, 俯仰角度,距离地面
的高度为 ;地面上有某个被测点 ;点 与镜头中心的水平距离为 。则被测点与
摄像机的光学成像几何关系如图 2 所示:
图 2:单目相机测距原理
其中, 是镜头的中心;
是光轴与像平面的交点,作为像平面坐标系的
原点;
是被测点 在像平面的投影。那么,有几何关系:
()xxSuS22Lxy,uvpxSySxyy(,)Pxyxoyx(,)PxyPLfhPPd0O00(,)Oxy'(,)PxyP
(8)
联解(1、 (2)和(3)式,有:
其中, 和 已知, 满足:
(9)
(10)
(11)
(12)
如果
为以像素为单位的图像坐标系的坐标,那么一个像素对应于像平面在
轴和 轴方向上的物理尺寸分别为 、 ,有:
(13)
则
令
。带入式(13)有:
,有:
(14)
(15)
其中,
是摄像机内部参数,可由摄像机定标来确定。联解式(11)
和式(15)可以求得测点 与摄像机之间的距离 。
三、摄像机标定
如下图 3 所示,在摄像机机标定过程中,一般包括三个层次的坐标系:世界坐标
系(
)、摄像机坐标系(
)和图像坐标系(包括物理坐标系(
)和像
素坐标系(
))。
tanhd'tanOPf'tan()tan[arctan()]dhhOPfh'P'222()OPyx(,)uvxydxdy00100110011udxuxvdyvy00(),()xuudxyvvdy'22200[()][()]OPuudxvvdy,xyfdxfdy'22200()[()][()]xyOPfuuvv00,,xyuv和Pd,,wwwxyz,,cccxyz,xy,uv
图 3:三个不同层次的坐标系统
世界坐标系中的点到摄像机坐标系的变换可由一个正交旋转变换矩阵 R 和一个平
移变换矩阵 T 表示为:
(16)
其中,
是世界坐标系原点在摄像机坐标系中的坐标,
(17)
分别为刚体相对于坐标系转动偏向角,俯仰角和横滚角。
图像物理坐标系(
)和像素坐标系(
)之间的转换关系为:
(18)
其中,
是图像中心(光轴与图像平面的交点)的坐标,
分别为一个
像素在 X 与 Y 方向上的物理尺寸,
分别为 X 和 Y 方向上的采样
111213212223313233cwwcwwcwwxxrrrxyRyTrrryTzzrrrz'[,,]xyzTtttcoscoscossinsinsinsincoscossinsinsinsincoscossincoscossincossinsincossinsinsincoscoscosR,,,xy,uv00100110011udxuxvdyvy00,uv,xydd1/,1/xxyyfdfd
频率,即单位长度的像素个数。
利用奇次坐标与矩阵的透视投影关系,可以得到图像物理坐标系与摄像机坐标系
之间的关系如下:
(19)
所以图像像素坐标与摄像机坐标系的有如下变换关系:
(20)
(21)
其中令
,因此,我们可以得到世界坐标系与图像坐标像素
坐标系的变换关系:
(22)
000000100101ccccxxfyzyfz0000000000100100101cxccycxufufyzvfvfz00000000101cxcycxffuyffvz,xxyyFffFff00000001100101wxwcyTwxuFuRTyzvFvz