基于计算机视觉高速智能车辆的道路识别 王荣本 游峰 崔高健 郭烈 (吉林大学 交通学院，长春 130025) 摘要: 本文研究了基于计算机视觉高速智能车辆的道路识别。通过对 JLUIV-4 智能高速车辆系统采集 的图像进行中值滤波、边缘增强、最优阈值二值化，获得良好的梯度图像。根据道路特征采用 Hough 变换识别出道路边界。使用感兴趣区域，减少图像处理时间和提高道路识别的可靠性。JLUIV-4 的高速 导航实验表明，该种算法具有良好的实时性、可靠性和鲁棒性。 关键词：计算机视觉；智能车辆；Hough 变换；道路检测. Based on Machine Vision Lane Detection For High Speed Intelligent Vehicle WANG Rongben, YOU Feng, CUI Gaojian, GUO Lie (Transportation College of Jilin University, Changchun 130025) Abstract: The paper presents a fast and robust approach of automatic lane detection for high speed intelligent vehicle. In order to obtain good gradient images, median filter, edge enhancement and optimal threshold are adopted to processing images taken by JLUIV-4 CCD camera. Lane edge is located according to it’s feature model through Hough transformation. By focusing on Area of Interest(AOI) processing time is dramatically reduced. Moreover, the reliability of lane detection is improved. The experimental result shows that this approach is of high efficiency , reliability and robustness on JLUIV-4. Key words: computer vision; intelligent vehicle; Hough transformation; lane detection. 0 前言 近几十年来，随着科学技术的发展，特别是计 算机技术、信息技术、人工智能、电子技术的突 飞猛进，为智能车辆的开发研究奠定了坚实的物 质基础，智能车辆进入了深入、系统、大规模研 究阶段。自 80 年代以来, 智能车辆技术取得了突 破性的发展，如德国的 VaMP 车辆系统、美国的 NavLab 系统、意大利的 ARGO 系统[1][2][6]。在智 能车辆的导航技术方面，机器视觉系统由于其价 格低廉，用途多样，结构简单，能方便与其他传 感器进行数据融合等特点，有着广泛的应用前景， 成为当前研究主流方向。智能车辆高速导航的第 一步是道路的检测与识别。道路检测与识别就是 分析智能车辆预瞄的图像,检测出车辆相对于车道 的偏差，并将偏差信息送给转向伺服系统，从而 实现汽车“防偏安全行驶”。 本文以吉林大学 JLUIV-4 智能车辆为研究对 象，进行了相关的算法的研究。该课题得到了国 家博士点基金（有线图象识别式高速自动引导车 辆引导机理的研究）的资助。JLUIV-4 实验型智 能汽车是以一辆三菱前置前驱动轿车作为平台进 行改装而成。除原有的基本组成与结构外，将内 燃发动机改装为交流电动机，并加装伺服转向系 统、伺服制动系统、计算机控制系统以及电源系 统。JLUIV-4 实验型高速智能汽车整车外观如图 1 所示；整车改装后布置如图 2 所示。 JLUIV-4 实验型智能汽车采用的是“有线式” 视觉导航。其视觉系统采用单目视觉系统，CCD 摄像机选择德国 Basler 公司生产的 A301f 摄像机。 其显著特点是图像采集速度为普通 CCD 摄像机 的 3 倍，最高可达到 80 帧/秒，并且具有很高的 空间分辨率、灵敏度和信噪比，结构紧凑且可方 便的设定图像的感兴趣区域(AOI)。 备注：国家博士基金资助 项目名称：有线图象识别式高速自动车辆引导机理的研究 项目编号：97018508 作者简介：王荣本 1946(1946- )，男，辽宁省沈阳人，吉林大学 博士生导师、教授 _______________________________________________________________________________www.paper.edu.cn

图 1 JLUIV-4 智能车外观图 图 2 整车改装后的布置 1.伺服系统驱动电池组 2.伺服制动驱动机构 3.方向盘转角传感器 4.前 CCD5.三维激光探 测扫描仪 6.GPS 天线 7.控制仪表板 8.后 CCD9.单点激光测距仪 10.主电源充电接头 11.主驱动电池组 12.车速传感器 13.计算机.电 池组 14.计算机供电逆变器 15.变速器 16.制动 拉线与传感器 17.伺服转向驱动机构 18.伺服 系统控制供电逆变器 19.步进电机控制器 20. 变频器 21.后近距避障超声传感器 22.数传电 台 23 键盘 .24 显示器 .25 并行计算机. 26.主 驱动电机 27. 前近距避障超声传感器 JLUIV-4 视觉系统为了增大摄像机的视野范 围，采用了较大的 AOI 区域，为 640×432 像素。 但是 AOI 区域的增大将增加图像的数据处理量， 降低图像的处理速度，所以采用隔行隔列数据处 理的方法，因此实际处理的图像窗口大小为 320 ×216。 经过试验验证，这种处理方法不会造成图像中 有用环境信息较大的丢失，在很大程度上提高了 数据处理的速度，能够满足车辆高速情况下导航 的要求。为了减小 JLUIV-4 视觉系统受光照、天 气等外界因素的影响，提高视觉系统的适应性， 必须对图像进行必要的预处理。 1 滤波处理 JLUIV-4 成像系统获取的原始图像由于种种 条件限制和随机干扰，例如视觉成像系统镜头的 脏污，地面凹凸不平引起图像模糊等，不能直接 使用，必须对原始图像进行预处理。对于 JLUIV-4 视觉系统来说，所用的图像预处理方法并不需要 考虑图像降质的原因，只将图像中感兴趣的特征 能有选择地突出，衰减其不需要的特征。 计算机图像的滤波处理主要采用两大类方法： 一类方法是在空间域中处理，即在图像空间中对 图像进行各种处理；另一类方法是把空间图像经 过变化，如经过傅立叶变换，使之在频率域内进 行各种处理，然后再变回到图像的空间域，形成 处理后的图像[3]。目前频率域处理方法有[7]：图像 的傅立叶正变换和逆变换，各种小波变换和逆小 波变换，这些方法使用的计算机内存和计算时间 的开销很大，不适于智能车辆这样的实时系统。 因此，本文采用空间域中的中值滤波处理方法。 该种方法是一种局部平均的平滑技术，对脉冲干 扰和椒盐噪声的抑制效果好。在一定条件下可克 服线性滤波器如最小均方滤波、均值滤波等带来 的图像细节模糊，有效保护图像的边缘。由于在 实际运算中不需要图像的统计特征，因此这为 JIUIV-4 图像的预处理带来很大的方便。 nx L3 x ≤ L3 i 2 xxx , 1 x x 为一组序 2 ≤ ， ≤ x i 1 in , i 中值滤波定义为：若 列, 先把其按大小排列为 则该序列的中值为 { Median xxx , 1 , 2 M = x  ni 1  +   2     1 2 = x ( ni 2   3 n x } , L n 为奇数 （1） n 为偶数 + ) x ni 1  +  2   本文采用 33× 的窗口，把二维窗口中的数据 一维化，并排序，由公式(1)求出其中值 M ，然 中国科技论文在线_______________________________________________________________________________www.paper.edu.cn

后用中值 M 代替窗口中心 22x 原来的灰度，如表 1 所示。 11x 21x 31x 12x 22x 32x 13x 23x 33x 11x 13x 21x M 23x 33x 31x 12x 32x 2 边缘增强 表 1 中值滤波窗口 根据 Marr 视觉理论可知,识别一个对象是从其 边缘开始的,一幅图像不同部分的边缘往往是模式 识别最重要的特征。边缘是其周围像素灰度有阶 跃变化或屋顶变化的像素的集合，它广泛存在于 物体与物体、物体与背景之间、基元与基元之间。 在 JLUIV-4 机器视觉系统采集的图像中，车道的 边缘信息湮没在背景之间。 边缘增强的目的在于突出道路的边缘信息，以 利于道路边界识别。另外，边缘增强算法还有助 于克服道路光照不均的影响作用。常用边缘增强 算子有：Robert 算子、Sobel 算子、Prewitt 算子等。 本文研究中，边缘检测采用了 Sobel 算子。 Sobel 算子其实是一种一阶差分算子，它可以 有效地消除道路图象中大部分无用信息。 离散 Sobel 算法定义为下式 )2( ： [ xf yxf yxf xf y ( ),( )1 ,1 ,(2)1 ( = ∇ ++ − ++  x  ] [ yxf y y xf xf ,(2)1 ,1 ( )1 ,1 ( )1 − +− + − +− −   [ yxf y xf xf xf y ),( ,1 ),1 ( ,1 ( (2)1 = − + +− − ∇ −  y [ ]  y xf xf y xf y (2)1 ( ),1 ( ,1 ,1 )1 +− + + + + − +  梯度值大小可通过下式得到： ,1 + y ] )1 + y ] )1 + )2( f 2 )3( yxG ),( ∇= x 2 f ∇+ y Sobel 算子具有较强抑制噪声的能力。实际上， Sobel 算子的本质是反映相邻或相距一定距离的 像素点的灰度差异特征。对于道路而言，正常路 面上由于物理性质接近，且光照一般是均匀的， 在这种情况下，邻近的像素点的灰度值相差不大。 经过 Sobel 算子，就把这种接近程度转化成一定 值，该值通常接近 0 值。本文研究的道路边界与 道路其它部分具有一定的灰度差异，Sobel 算子能 突出边界处像素值的差异，相对于其它路面部分， 得到的值较大。同时还可得到边缘的梯度方向信 息，而且该算法计算简单，易于实现。图 3 为 Sobel 算子的边缘增强图像。 从图可见，经过 Sobel 算子运算后的图象，边 界从整幅图象中被突显出来。 图 3 Sobel 后的边缘增强图像 为了编程容易实现，将 Sobel 算子转换为两个卷 积核，分别为水平核和垂直核（见表 2、表 3）， 图像中的每个点都用这两个核做卷积，两处卷积 的最大值作为该点的输出值，运算结果即是一幅 边缘增强图像。 -1 0 1 -2 0 2 -1 0 1 表 2 水平核 -1 0 -2 0 -1 0 1 2 1 表 3 垂直核 3 二值化 对图像进行二值化处理的关键是阈值的合理 选取。阈值设置过小易产生噪声;阈值设置过大会 降低分辨率,使非噪声信号被视为噪声而滤掉。考 虑到 JLUIV-4 一般在光线较为均匀，或在光线不 发生强烈变化的条件下试验，因此本文选取了整 体最优阈值法进行图像二值化处理。 整体最优阈值原理是统计每幅图像灰度的分 布特性，利用类别方差作为判据,选取使类间方差 最大值作为选定的阈值[4]。具体来说，设一幅图 像分为1～ m 级,灰度值i 的像素数为 n ,则总像素 数 )4( )5( N = m ∑ i 1 = in 各像素值概率 P i = Nn i / 然后用一整数 K 将其分为两组 0C 和 1C ，即 C 0 = { L3,2,1 }K C 1 { K = + ,1 K + L,2 }m 则 0C 产生的概率为 中国科技论文在线_______________________________________________________________________________www.paper.edu.cn

ω 0 = K ∑ i 1 = P i = (ω K ) 对应的均值为 µ 0 K = ∑ i 1 = iP i / ( ωµω /) = ( K 0 1C 产生的概率 ω 1 m = ∑ P i Ki 1 += −= 1 ( ω K ) 对应的均值为 K ) )6( )7( )8( µ 1 m = ∑ iP i Ki 1 += / ( µµω − = 1 [ K ] [ 1/) − ( ω K ]) )9( 其中, ∑ = µ m i 1 = iiP 是整体图像灰度的统计均值,则 µωµωµ 1 + = 1 0 0 于是两组间方差 ( 0 − ( µµωω 0 =K ( 1 2 σ = ) 1 0 0 − 2 ) ) µµωµµω − + ( ) 2 1 1 )10( )11( 2 从 1,2,…,ｍ之间改变 K ,求使方差最大值时的 K , 即 max 2 Kσ 时的 K 值为最优阈值。 ) ( 在上述选取的最优阈值的基础上，按公式将边 缘增强图像转化为黑白二值图像 xf )( = 0 255    Kx < Kx ≥ 其中 K 值为最优阈值。 )12( 从图４知使用最优阈值算法的二值化图像进 一步减少了噪声，为后续的 Hough 变换提供了较 为“干净”的图像数据。 4 车道检测 从图 4 可知，Sobel 算子增强了各种边缘信息， 包括树木、行人、建筑、道路等。道路边界信息 淹没在大量的边界信息当中，因此必须从诸多边 界信息中识别出道路边界。 y r x = = + bmx y + y θ sin θ 变换识别车道边界。设有直线 cos 本文的车道模型选为直线模型，并选用 Hough ，它在 （图 5 极坐标中可表示为 示），式中 r 代表直线离原点的法线距离，θ是该 法线对 x 轴的角度。可见图像空间中一条直线经 Hough 变换映射到参数空间中是一个点，在图像 空间中的一点映射到参数空间则为一正弦曲线 （图 6）。 r 1 1 1 r y x = θ bmx + 图 5 直线的 Hough 变换 y 0 编程时将参数 r 和θ量化成许多小格，对于每 点代入θ的量化值，算出各个 r ，所 x )0,0( 得值（经量化）落在某个小格内，便使该小格的 yx 点变换后，对小 ,( 计数累加器加 1，当全部点 格进行检验，有大的计数值的小格对应于共线， ,( θr 可用作直线的拟合参数。有小的计数值的 图 6 图像空间与参数空间的映射关系 其 各小格一般反映非共线点，丢弃不用。 一个 1 2 3 4 5 y 1 1− ) ) π θ 3 4 5 0 2 0 x 以图像底边的中点为原点，水平向右为 x 轴的 正向，竖直向上为 y 轴的正向，建立图 7 所示的 坐标系。为了提高计算的效率，本文提出了以下 搜索的前提： 从图 4 中看出，左车道位于图像的左半平面， 右车道位于图像的右半平面。因此在 JLUIV-4 的 车道检测过程中，将图像分成左右两部分，分别 图 4 二值化后的数字图像 中国科技论文在线_______________________________________________________________________________www.paper.edu.cn

参考文献 [1] Rudolf Gregor, M. Lützeler, M. Pellkofer, “EMS-Vision: A Perceptual System for Autonomous Vehicles”, IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION, 2001 [2] C. Thorpe, T. Jochem, and D. A. Pomerleau, “Automated highways and the free agent demonstration,” in Proc. Int. Symp. Robotics Research, Oct. 1997. [3] 杨枝灵 王开 Visual C++数字图像获取处理及实践应 用 人民邮电出版社 2003,2 [4] 吴冰 秦志远 自动确定图像二值化最佳阈值的新方 法 测绘学院学报 2001.12（18）：283－286 [5] 李炜 黄心汉 王敏 一种快速 Hough 变换改进算法及 其在图像边缘检测中的应用 信号处理 1999,6(15)：182 －185 [6] 李兵 基于视觉的智能车辆自主导航控制的研究 吉 林大学博士学位论文 2000.8 [7] 徐友春 智能车辆视觉与 GPS 综合导航方法的研究 博 士学位论文 吉林大学 2001.12 识别道路的左右边界。 左右车道的边界与 x 轴所成的夹角分别为α 和β，将α和β的计算范围控制在 o90 ～ o 180 和 0 ～ o90 之间。 由于图像是连续的，图像序列中道路边界的位 置不会出现突变，因此在t 时刻求得坐标原点到道 路边界的距离为 r ，在 n t + 时刻（其中 n 为正整 数）将计算范围的限定在 d r + ，d 根据 实际情况标定。 r − 到 d y d d r 道路边界 利用这些约束条件，建立道路边界的感兴趣区 域(AOI)，可以大大减少参数的搜索范围，从而有 效提高了算法的速度和效率。 4 实验与结论 图 7 道路边界的感兴趣区 α β d d o x 图 9 图 10 图 8 根据上述算法，作者进行了 JLUIV-4 智能车 辆道路识别实验，道路识别结果如下面各图所示： 图 8 中地面有严重阴影，图 9 是光线较为均匀， 图 10 是有行人干扰，但都获得准确清晰的道路边 界。实验结果证明，研究的算法简单、易行，有 利于提高智能车辆视觉导航的可靠性和实时性。 中国科技论文在线_______________________________________________________________________________www.paper.edu.cn