科技风 2019 年 8 月 科技创新 : DOI 10．19392 / j．cnki．1671-7341．201923006 基于毫米波雷达和视觉信息融合的车辆检测 王淑林 张 冉 南通职业大学 江苏南通 226007 摘 要: 为了避免单一传感器对于车辆检测的不稳定问题，本文基于假设验证的决策思想，通过融合毫米波雷达和机器视觉 信息，将雷达检测信息映射到图像中构建感兴趣区域，而后采用机器视觉方法在感兴趣区域中进行前方车辆验证。实验表明该信 息融合方法提高了车辆检测的准确性。 关键词: 车辆检测; 信息融合; 假设验证; 毫米波雷达; 机器视觉 ［ ］ 1 。 基于机器视觉的车辆检测方法简单直接，但受天气 光照 、 、 摄像头抖动等因素影响严重，易将一些非车辆区域误认 、 基于毫米波雷达的车辆检测方法能准确检测前方 阴影等环境影响，但主要缺点是 、 本文融合毫米波雷达采集信息 。 阴影 为是车辆 障碍物，且不易受天气 光照 、 不能区分障碍物是否为车辆 以及摄像头采集图像数据对前方车辆进行检测 。 1 。 所示，包括毫米波雷达信息处理模块 1 前车检测的传感器信息融合策略 基于毫米波雷达与机器视觉信息融合的车辆检测流程方 雷达视觉信息 法如图 、 融合模块以及机器视觉信息处理模块 毫米波雷达信息处理 模块用于获得初步前方障碍物区域，主要包括采集信息 信息 、 有效运动目标初选以及基于卡尔曼滤波的有效目标运 预处理 、 ］雷达视觉信息融合模块用于获得毫米波雷达信 动状态估计 息与图像信息在时间和空间上的对应关系，并基于此对应关系 将毫米波雷达获得的初步前方障碍物区域映射到图像信息中 。 机器视觉信息处理模块用于在毫米波雷达信息的基础上进一 步采用机器视觉进行前车验证，包括视觉采集信息 图像预处 、 的前车检测 理 建立图像感兴趣区域以及基于 、 Adaboost ［ 2 。 。 。 。 摄像机标定工具箱，求出空间融合模型建立所需要的 MATLAB 摄像机内 外参数以及摄像机的畸变参数 这样可以消除镜头 、 引入的变形现象，完成空间上的信息融合 ［ 3 。 60Hz。 时间上的信息融合主要是指两种传 感 器 在 时 间 上 的 同 ，摄像机的频率 ］本次采用的毫米波雷达采样频率为 步 由于这两种传感器的采样频率不相同，因而导致采集 为 的信息很可能为不同时刻的信息 传感器时间上的信息融合 需要两种传感器信息在时间上同步，本次采用线程同步的方式 在主控制程序中创建两种传感器信息的接收线程，并设 实现 置当毫米波雷达采集当前时间的信息时同时摄像机也检测当 前帧图像，从而保证了两者信息达到时间上的同步 20Hz 。 。 。 Adaboost 两种传感器的时间空间信息完成融合后，将毫米波雷达检 测到的前方障碍物信息映射到图像上，形成图像的感兴趣区 域，每个感兴趣区域被传递给嵌套级联 分类器来检测 如果此时基于机器视觉的车辆检测 前方障碍物是否为车辆 判断前方为车辆，则认为感兴趣区域位置中存在车辆 因此， 本文感兴趣区域 感兴趣区域的获取对于车辆检测尤为重要 的定义为: 首先，以轿车尾部的宽高值为依据( 宽度为 ，高 ) ，形成矩形区域作为感兴趣区域的基准大小; 然后， 度值为 将毫米波雷达得到的前方障碍物形心 距离信息映射到图像信 、 息上，作为图像感兴趣区域的中心; 最后，将车辆尾部矩形区域 映射在图像信息上绘制出感兴趣区域，并且感兴趣区域大小与 毫米波雷达测出的前车距离成反比 2．55m 2m 。 。 。 。 3 车辆检测实验 图 1 信息融合下的车辆检测流程 本文基于毫米波雷达和机器视觉信息融合的前车检测方 法本质上主要包括两个步骤: 假设产生和假设验证 假设产 生: 将毫米波雷达获取的前方障碍物判定为车辆，并在图像上 划分出该区域，即图像感兴趣区域 假设验证: 基于机器视觉 的方法对上述感兴趣区域进行验证，判断该区域内是否存在车 可以看出，信息 辆 融合是整个检测方法获取准确信息的关键，主要包含两方面的 融合，即空间上融合 如果是，则最终判定前方障碍物为车辆 。 。 。 。 时间上融合 、 。 2 传感器信息的时间空间融合 传感器信息空间上的融合主要包括以下步骤: ( ) 基于左手坐标系原则，通过旋转 缩放和平移操作，得 、 到毫米波雷达坐标系与三维世界坐标系之间的转换关系; ) 通过反用基于单帧静态图像的测距模型，得到三维世 界坐标系与摄像机坐标系之间的转换关系; ) 通过小孔成像模型，得到摄像机坐标系与图像坐标系 1 2 3 ( ( ( 之间的位置关系; ) 依据摄像机中的 CCD 标系与像素坐标系之间的转换; 4 传感器的存储原理，得到图像坐 ) 在 离 线 状 态 下，基 于 张 友 正 相 机 标 定 方 法，采 用 ( 5 图 2 前车检测效果 4 结语 实验证明，毫米波雷达能够快速检测到前方的障碍物信 息，并据此信息得到图像的感兴趣区域，使得基于机器视觉的 检测方法能够根据该感兴趣区域快速地检测前车，同时也节约 的计算资源，提高了不同环境下前方车辆检测的稳定，平均准 确性达到 参考文献: ［1］贾立山．体现驾驶员特性的车道偏离预警系统关键技 97．1%。 术研究［D］．武汉: 华中科技大学，2011． ［2］刘志强，王盈盈，倪捷，刘恒．前方车辆障碍物检测方法 的研究［J］．机械设计与制造，2018，7，23-29． ［3］高德芝，段建民，于宏啸．基于机关雷达和摄像头的前 方车辆检测［J］．北京工业大学学报，2012．38，1337-1342． 项目支持: 江苏省大学生创新创业训练项目( 201711052004Y) 7