单目视觉ADAS
技术与体验升级之路
本PPT由武汉极目智能技术有限公司与雷锋网硬创公开课联合出品
供学习交流使用,禁止用于其他目的
更多内容,请关注雷锋网旗下公号“新智驾”
武汉极目智能技术有限公司 WUHAN JIMU INTELLIGENT TECHNOLOGY CO., LTD.
ADAS的实现途径
感应
GPS
•
• 车身传感器
• 单目摄像头/多目摄像头/环
视摄像头
• 超声波雷达/毫米波雷达/激
光雷达
• 红外探头
识别
• 道路
• 车辆
• 行人
• 路标
武汉极目智能技术有限公司 WUHAN JIMU INTELLIGENT TECHNOLOGY CO., LTD.
决策
• 加减速
• 转向
• 制动
执行
• 加减速
• 转向
• 制动
视觉ADAS基本原理
样本采集
(标记)
训练
特征/模型
图像源
图像预处理
分类
(图像源优化:
宽动态、强光抑制、降噪)
(边缘化、纹理化)
武汉极目智能技术有限公司 WUHAN JIMU INTELLIGENT TECHNOLOGY CO., LTD.
视觉ADAS的难点
算法
样本
硬件
安装
视觉局限性
提高检测率;
降低误检率;
优化速度;
正负样本的积累
和学习,提升识
别能力
处理器性能与摄像头
简单方便
天气(雨雪)、
光(强光、反光、没光)
武汉极目智能技术有限公司 WUHAN JIMU INTELLIGENT TECHNOLOGY CO., LTD.
机器学习算法
优势
不足
1. 工程化,能量产(目前量产的基本都基于机器学习)
2. 运算资源可控
1. 难以实现360度检测,如遮挡等局部性检测较难
2. 检测率难以线性提升
武汉极目智能技术有限公司 WUHAN JIMU INTELLIGENT TECHNOLOGY CO., LTD.
车辆识别及跟踪
灰度图
边缘图1
边缘图2
结果
指标
• 检测率:图像源一致、样本,检测率99%(白天);
• 图像分割;对测距影响-1像素在50米时误差3米;
• 检测速率:20ms以内;
• 跟踪距离:100米以上;
• 高并行化:GPU和FPGA并行处理
武汉极目智能技术有限公司 WUHAN JIMU INTELLIGENT TECHNOLOGY CO., LTD.
车道线识别
原图
二值图
初选
精选
结果
指标
• 类型:虚线、实线、双黄线、路肩、栅栏、磨损线;曲线;
• 位置误差:厘米级;
• 识别速率:10ms以内;
• 可行驶区域划分、油渍、裂缝;
武汉极目智能技术有限公司 WUHAN JIMU INTELLIGENT TECHNOLOGY CO., LTD.
交通标志识别
方法:轮廓检测,颜色
提取,神经网络识别标
志内容;
种类:限速、解除限
速、限高、限重等;
距离:30m;
二值图
筛选
识别结果
二值图
筛选
识别结果
武汉极目智能技术有限公司 WUHAN JIMU INTELLIGENT TECHNOLOGY CO., LTD.