第1页 / 共14页
第2页 / 共14页
第3页 / 共14页
第4页 / 共14页
第5页 / 共14页
第6页 / 共14页
第7页 / 共14页
第8页 / 共14页
基于Autoware的相机与激光雷达联合标定实现.doc
1、需求分析
2、单目相机标定
2.1 针孔相机模型
2.2 相机标定原理及坐标系统
2.3 标定流程
2.4 标定结果及误差分析
2.5 矫正结果对比
3、 相机与激光雷达联合标定
3.1 Autoware简介
3.2 Autoware标定原理简介
3.3 联合标定流程
3.4 标定结果
3.5联合标定结果验证
3.6 可能的误差分析
4、 总结
参考文献
研 究 生 专 业 技 能 考 核
专 业 技 能
目
项
基于 Autoware 的相机与激光
雷达联合标定实现
姓
学
专
名
号
业
邢修华
3180501005
电子与通信工程
学 位 类 别
专业学位
学
院
控制工程
指 导 教 师
付克昌
2018 年 12 月
目录
1、需求分析.................................................................................................................................................................................... 1
2、单目相机标定.................................................................................................................................................................................1
2.1 针孔相机模型........................................................................................................................................................................2
2.2 相机标定原理及坐标系统....................................................................................................................................................3
2.3 标定流程................................................................................................................................................................................5
2.4 标定结果及误差分析............................................................................................................................................................5
2.5 矫正结果对比........................................................................................................................................................................7
3、 相机与激光雷达联合标定...........................................................................................................................................................8
3.1 Autoware 简介.......................................................................................................................................................................8
3.2 Autoware 标定原理简介.......................................................................................................................................................9
3.3 联合标定流程......................................................................................................................................................................10
3.4 标定结果..............................................................................................................................................................................10
3.5 联合标定结果验证...............................................................................................................................................................11
3.6 可能的误差分析..................................................................................................................................................................12
业技能考核.................................................................................................................................................错误！未定义书签。
4、 总结.............................................................................................................................................................................................12
参考文献.............................................................................................................................................................................................12
1
1、需求分析
目标检测是无人驾驶需要完成的重要任务之一，自从 2012 年 Alexnet 卷积神经网络在图
片分类问题上的突破，基于深度学习的目标检测网络如雨后春笋般涌现，RCNN、MS-CNN、YOLO、
FastRCNN、DCNN 等一系列 2D 目标检测网络相继提高了检测准确度和速度。然而，相机具有一
些局限，采集的数据是 RGB 图像的像素阵列，没有深度信息（距离信息），双目相机可以完成
测距工作，但是算法不够成熟，其测量误差与雷达等专业测距设备差距太大。相机本身视场角
也有限，摄像头受外界条件的影响也比较大，如光线的强度。激光雷达能精确的采集带有距离
信息的 3D 点云数据，不受光照影响，并且感知距离能达到 150m，但在角分辨度上远远不如相
机，在复杂场景下，如小物体和远距离物体，相机可以清楚的识别目标，但激光雷达采集到的
目标物体点是比较少的，难以聚类，这不利于使用点云数据实现目标检测。且容易受雨雪、沙
尘、雾霾等影响。毫米波雷达受自身性能所限，无法反馈高度信息。它可以探测到物体所在的
位置，但无法探测它的高度，如路边存在一个较高的指路牌，毫米波雷达能探测代此处存在障
碍物，却不知道指路牌是悬挂于道路上方。多传感器融合技术能解决单一传感器在自动驾驶中
的局限。通过多传感器数据融合，传感器之间能取长补短，提升整个感知系统的效果。多传感
器融合具有众多先决条件，包括运动补偿、时间同步、传感器视场角及多传感器联合标定。多
传感器联合标定主要指传感器外参的标定，其核心是刚体旋转。其目的是找到这样一个刚体旋
转，可以把一个传感器的数据和另一个传感器对齐，即把一个传感器测量的数据从自身的坐标
系，通过刚体旋转，转到另一个传感器坐标系。多传感器联合标定是多传感器数据融合的前提。
本专业技能实践所需环境和硬件如表 1 所示：
环境工具/硬件
Ubuntu
ROS
PCL
Opencv
Visual Studio
相机
激光雷达
表 1 运行开发环境表
版本
16.04
kinetic
1.8.1
3.45
2017
MYNT EYE D
作用
系统环境
运行环境
点云处理
图像处理
相机标定
采集图像
Velodyne VLP16
采集点云数据
2、单目相机标定
1
2.1 针孔相机模型
（1）线性模型
图 2-1 线性摄像机模型
如图 2-1 所示, 空间点 O 是投影中心, f 是平面 s 与点 O 的距离。P 点是空间点 X 在平面 s
上的投影，是穿过空间点 X 和 O 的射线和平面 s 的交点。
平面 s 一般称作摄像机的图像平面(image plane), 点 O 为摄像机的光学中心,
f 称为摄
像机的焦距, 以点 O 为端点的射线，摄像机的光轴，也被称作为主轴，其与像平面垂直, 摄像
机的主点一般定义为光轴与像平面 s 的交点，即为上图中点 m。
图像的成像过程可以用式 3-1 表示：
(2-1)
公式 1 中矩阵 K 是以线性模型为参考的摄像机的内参数矩阵，u 轴和 v 轴上的比例因子可
(
f
u
,
f
v
)
以表示为
(
标系的 u 轴不完全垂直于 v 轴时，产生的 s 被称为失真畸变因子。
，主点坐标（光轴与图像平面交点的像素坐标）则被表示为
)
,
zyx
c
,
c
c
,
(
0 vu
0
)
。当图像坐
为空间点在摄像机
坐标系下的坐标。图像点
,(
yx 的齐次坐标为
)
,(
yx
)1,
。由于图像点的齐次坐标与空间点的坐标
具有线性关系，所以默认使用线性模型。
（2）非线性模型
在现实生活中，相机成像过程中存在着失真，因此与针孔模型不一致，这就是摄像机的非
线性模型，如公式 3-2 表示：
(2-2)
,(
yx 是线性模型下图像点的坐标， 是实际图像点的坐标； 是与图像中的图
)
公式 2
像点的位置有关的非线性畸变值，并且该关系表示为公式 3-3：
(2-3)
在 公 式 3 中 ， 径 向 畸 变 是 ， 薄 棱 镜 畸 变 为 。 非 摄 像 机 的 线 性 内 部 参 数 为
,
,
ssppkkkk
1
,
,
,
,
,
2
1
2
1
4
2
3
。
3
2
3
4
1
4
为径向畸变因子，
f
u
,
,
svuf
v
,
,
0
0
线 性 模 型 的 线 性 内 部 参 数
,
,
ssppkkkk
1
,
kkkk
1
,
,
,
,
,
,
,
2
2
1
3
2
(
和 非 线 性 模 型 的 非 线 性 内 部 参 数
1,ss 是离心畸
1, pp 为薄透镜畸变因子， 2
2
变因子)一起形成了摄像机的内部参数[1]。
2.2 相机标定原理及坐标系统
在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图
像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。
在大多数条件下这些参数必须通过实验与计算才能得到，这个求解参数的过程就称之为相机标
定。无论是在图像测量或者机器视觉应用中，相机参数的标定都是非常关键的环节，其标定结
果的精度及算法的稳定性直接影响相机工作产生结果的准确性。传统相机标定法需要使用尺寸
已知的标定物，通过建立标定物上坐标已知的点与其图像点之间的对应，利用一定的算法获得
相机模型的内外参数。
（1）三个重要的坐标系
1）世界坐标系
世界坐标系是空间直角坐标系，也称为现实/真实坐标系或全局坐标系；原点位置由用户
自定义产生，一个物体中的点在现实世界中的绝对坐标常用此来描述。
2）摄像机坐标系
三维直角坐标系也可以用来描述这个坐标系，我们可以选定焦点为坐标原点，以摄像机的
主轴为 Z 轴建立这个坐标系，并使得 ， 与下述图像物理坐标系的 X 和 Y 轴分别平行。
3）图像坐标系
图 3-2 摄像机图像坐标系
a) 图像物理坐标系
使用平面直角坐标系来描述的，以摄像机主轴与成像平面的交点作为原点的坐标系称为图像
物理坐标系。
b) 图像像素坐标系
图像像素坐标系依然使用平面直角坐标系进行描述，反应物体在成像平面上的像素坐标，只
不过坐标原点不再选取主轴与像平面的交点，而是选择图像左上角作为原点，因此需要进行一
定的转换才能获得图像点在图像物理坐标系下坐标。u 和 v 分别与物理坐标系中的 x 和 y 轴平
行。
3
（2）坐标之间的转换关系
图 3-3 坐标系关系示意图
1）世界坐标系与摄像机坐标系之间的转换关系为：
=
•
=
•
（3-4）
其中，T 是世界坐标系原点在摄像机坐标系中的坐标，矩阵 R 是正交旋转矩阵。且 R 满足
约束条件：
（3-5）
正交旋
转矩阵实际上只含有三个独立变量 ， ， ，再加上 ， ， 总共六个参数决定了摄像机光
轴在世界坐标系中的坐标，因此这六个参数称为摄像机的外部参数。
2）图像物理坐标系与摄像机坐标系的转换关系为：
3) 图像物理坐标系与图像像素坐标系的物理关系：
z
=
（3-6）
其中， , 是图像中心（光轴与图像交点）的坐标，dx, dy 分别为一个像素在 X 轴和 Y
（3-7）
（3-8）
轴方向上的物理尺寸，
个数。
,
分别为 X 轴和 Y 轴方向上的采样频率，即单位长度的像素
4）摄像机坐标系与图像像素坐标系之间的物理关系：
,
分别定义为 X 轴和 Y 轴方向的等效焦距。 , , , 这四个参数只与摄
（3-9）
像机内部结构有关，因此称为摄像机的内部参数。
5）图像像素坐标系与世界坐标系的转换关系：
z
=
=
（3-10）
最后，利用以上数学表达式，在摄像机内部参数确定的情况下，利用若干个已知的物点和
相应的像点坐标，就可以求解出摄像机的内部和外部参数，完成相机的标定。
5
2.3 标定流程
1. 采集图片。
2. 对每一张标定图片，提取角点信息。
3. 对每一张标定图片，进一步提取亚像素角点信息。
4. 在棋盘标定图上绘制找到的内角点。
5. 相机标定。
6. 对标定结果进行评价。
7. 查看标定效果——利用标定结果对棋盘图进行矫正。
2.4 标定结果及误差分析
每幅图像的标定误差：
第 1 幅图像的平均误差：0.0773771 像素
第 2 幅图像的平均误差：0.0754903 像素
第 3 幅图像的平均误差：0.080432 像素
第 4 幅图像的平均误差：0.0980649 像素
第 5 幅图像的平均误差：0.0918787 像素
第 6 幅图像的平均误差：0.0746452 像素
第 7 幅图像的平均误差：0.0963646 像素
第 8 幅图像的平均误差：0.0964202 像素
第 9 幅图像的平均误差：0.103699 像素
第 10 幅图像的平均误差：0.0938379 像素
第 11 幅图像的平均误差：0.13415 像素
第 12 幅图像的平均误差：0.0967832 像素
第 13 幅图像的平均误差：0.117459 像素
第 14 幅图像的平均误差：0.110319 像素
总体平均误差：0.0962087 像素
相机内参数矩阵：
[1457.126644088182,0,351.5204716700347;
0,1451.390746999145,201.0106420587414;
0, 0, 1]
5
畸变系数：
[0.7618991283105133,-75.1742218720933,-0.02239626631950153,
-0.004350419864625109, 1685.783089060775]
第 1 幅图像的旋转向量：
[15.13855417957474;
-23.43441327778751;
299.7646317967807]
第 1 幅图像的旋转矩阵：
[0.8617398349508663, 0.5052170156537982, 0.04647820943973161;
-0.5063020879094321, 0.8622292018579146, 0.01479862297692228;
-0.03259835329281838, -0.0362845774032611, 0.9988096799717469]
第 1 幅图像的平移向量：
[0.2137122779916852;
2.396488840671253;
0.6317114941755385]
第 2 幅图像的旋转向量：
[27.10019464785062;
-2.81900831973726;
291.9715553533634]
第 2 幅图像的旋转矩阵：
[-0.4657566779805197, 0.8730388851082657, 0.1444777560923022;
-0.8756657580976764, -0.478246614557472, 0.06700489354919069;
0.1275938752909872, -0.09530624718890753, 0.987236811628798]
第 2 幅图像的平移向量：
[0.1752601793391812;
3.033930763387421;
-0.7808621737352812]
相关推荐
2023年江西萍乡中考道德与法治真题及答案.doc
2012年重庆南川中考生物真题及答案.doc
2013年江西师范大学地理学综合及文艺理论基础考研真题.doc
2020年四川甘孜小升初语文真题及答案I卷.doc
2020年注册岩土工程师专业基础考试真题及答案.doc
2023-2024学年福建省厦门市九年级上学期数学月考试题及答案.doc
2021-2022学年辽宁省沈阳市大东区九年级上学期语文期末试题及答案.doc
2022-2023学年北京东城区初三第一学期物理期末试卷及答案.doc
2018上半年江西教师资格初中地理学科知识与教学能力真题及答案.doc
2012年河北国家公务员申论考试真题及答案-省级.doc
2020-2021学年江苏省扬州市江都区邵樊片九年级上学期数学第一次质量检测试题及答案.doc
2022下半年黑龙江教师资格证中学综合素质真题及答案.doc
