车道标识线识别和跟踪方法研究 王荣本 余天洪 郭 烈 金立生 顾柏园 （吉林大学交通学院，长春 /+789,） :;<=>?：@ABCD?(EFG(HIJ 摘 要 为了得到比较理想的道路图像中车道标识的边缘，文中采用了基于二维直方图熵最大化的车道标识边缘提取 方法。对此边缘图像采用定向边界跟踪方法提取出车道标识特征点，对这些特征点采用线性回归技术就可以得到车道标 识线参数，从而完成对道路图像中的车道标识线的识别，并且文中还采用了建立梯形的感兴趣区域的办法实现了对车道 标识线的实时跟踪。 关键词 定向边界跟踪 车道标识识别 车道标识跟踪 二维熵 文章编号 ’""!()**’(（!""#）!!(77/K37! 文献标识码 + 中图分类号 L!K, !"#$%& ’#(&) *%+ ,-." /-+0 1&".#2*)2.3 -.& 4+-502.3 6-.3 7%.38". 9( 42-.$%.3 :(% ;2" <2. ;2=$".3 :( >-2)(-. （MA=JNO’AP=P>’J Q’??F)F，R>?>J LJ>SFAN>PT，Q*=J)I*(J U+889,） ?=JF <=AWNX FG)F >J = A’=G ><=)F，P*>N O=OFA (NFN = I* >N B=NFG ’J ?8=#+-5#： VJ ’AGFA P’ )FP =J >GF=? <=Y><(< P@’;G>’J FJPA’OT P’ O>IW;(O ?=JF <=AW FG)FNHZ=JF <=AW I*=A=IPFA O’>JPN I=J BF [’(JG BT (N>J) [>YFG ’A>FJP=P>’J FG)F PA=IF >J P*F FG)F ><=)FHVP >N AF=?>\FG P’ >GFJP>[T ?=JF <=AWN BFI=(NF ?=JF <=AW ?>JF O=A=AFG B=NFG ’J ?>JF=A AF)AFNN>’J PFI*J>](F BT (N>J) P*FNF O’>JPNH^>J=??T ?=JF <=AW ?>JFN AF=? _P>J) >N AF=?>\FG BT =OO?T>J) PA=OF\>= ‘aV YFG ’A>FJP=P>’J FG)F PA=IF，?=JF <=AWN >GFJP>[T>J)，?=JF <=AWN PA=IW>J)，P@’;G>’J FJPA’OT " 引言 导航路径的快速准确识别是智能车辆自主导航的关键。作 $ 基于二维直方图熵最大化的车道标识边缘提取 方法 为大部分高速智能车辆的导航路径，车道标识线快速准确的识 车道标识的边界特征是很多车道标识线识别方法利用的 别就显得尤为重要。目前，已经提出了很多基于视觉的车道标 重要特征。目前采用较多的边缘提取方法是先利用一定的边缘 识线识别方法#"，$%。当道路路面结构不均匀、光照变化以及各种 增强算子对车道标识边缘进行增强得到梯度图像，然后利用一 交通参与者的存在使道路图像变得复杂时，这些方法有时会出 定的自动阈值方法对梯度图像进行分割，得到车道标识的边 现误识别。究其原因，大部分是由于在预处理时的图像分割效 缘。这种方法存在的难点一是边缘增强算子的选择，二是如何 果不好，导致后续的车道标识线的识别出现偏差。 合理地利用自动阈值分割技术。这种方法最主要的问题还在于 目前大部分的高速智能车辆其道路识别模块都将车道标 增强有效边缘的同时，很多伪边缘也得到了增强。 识线作为直线处理。这样就将车道标识线的识别问题转化为道 实际道路图像中，边界一般是由两个参数决定的：边界领 路图像中具有一定特征的直线检测问题。目前采用较多的直线 检测方法是 &’()* 变换#+%,%。其优点是对噪音不敏感，能较好地 处理图像中物体局部被遮挡和覆盖的情况。但是该变换需要对 原图像进行边缘提取，然后把边缘点集映射到参数空间进行投 票，由于其将图像空间映射到参数空间时采用一对多的映射和 穷尽搜索，因而其计算和空间的复杂性都很高，从而增加了车 道标识识别的时间。为了加快车道标识的识别速度，文中提出 了一种基于定向边界跟踪的方法。该方法首先利用基于二维直 方图熵最大化的车道标识边缘提取方法得到车道标识的边缘 图像，然后采用定向边界跟踪方法实现对道路图像中的直线型 车道标识的识别，最后通过建立梯形的感兴趣区域实现对车道 标识线的实时跟踪。 域的灰度均值和边界区域的方差。本文采用的二维最大熵图像 分割方法#-%，既利用了像素本身的灰度信息，又利用了其邻域 信息。 $./ 二维最大熵图像分割方法原理 图 " 为本文使用的二维灰度直方图，横坐标为灰度级，纵 坐标为邻域灰度方差。设 !（"，#）01$（"%&，#%’）23（(3"）4$!&，’! （(3/）5$6表示大小为 (!( 的窗口，$（"，#）表示在图像坐标系中 坐标值为（"，#）的点的灰度值，( 为奇数，则： )（"，#）* / ( & $ 式（/）中 -0/(（"，#）0 / ( （"，#）"+（"，#）# #$（"，#）,-./(（"，#）% # 1（"，#）。 & （"，#）"+（"，#） $ （/） 基金项目：国家自然科学基金资助（,8Ub,8!-）；中国博士后科学基金资助项目 作者简介：王荣本，男，博士，吉林大学交通学院教授，博士生导师，主要研究方向：智能车辆自主导航、汽车安全辅助驾驶、视觉 ‘cd 及自动化物 流运输系统。余天洪，男，吉林大学交通学院博士生，研究方向为汽车安全辅助驾驶，智能车辆自主导航。 计算机工程与应用 !""#$!! UK 

在实际的道路图像分割过程中，为了加快处理速度，仅仅 处理子图像 " 和子图像 $，而直接将子图像 * 最为背景处理。 考虑到同一图像中道路标识上的象素其灰度值一般较路面上 象素点的灰度值高。可以利用经验计算出路面的灰度值最为一 个全局阈值 9。对子图像 " 和子图像 $ 的图像采用基于二维直 方图的最大熵图像分割算法得到其分割矢量（!，"），对图像中 灰度值小于全局阈值 9，则认为是背景；而大于全局阈值的象 素点再利用阈值矢量（!，"）进行分割，从而得到最终的二值化 图像。 该分割算法步骤如下： （"）将图像按图 $ 划分为大小不同的子图像； （$）子图像 * 的分割阈值为 9*&$55； （*）计算原图像底部中心 $%%$% 的区域为典型的路面区域， 计算其均值 ! 和方差 "，得到全局阈值：92!:"； （!）分别利用基于二维直方图的熵最大化法计算子图像 " 和子图像 $ 的分割矢量（!，"）； （5）各子图像中，按照式（9）利用象素点灰度值 ;（+，,）及其 领域方差 .（+，,）对图像进行分割： ;（+，,）&$55；当 ;（+，,）(9 且 .（+，,）( ;（+，,）!（"-!） ) :) ;（+，,）&%； 其 $55 它 （9） ! ! ! ! 假设灰度级数为 !，则在图 " 所述二维直方图中共有元素 个。设元素 "#$ 表示其自身灰度级为 #（%!#!%）且其邻域灰 # ! $ 度方差为 $ 的像素出现的次数。如果门限矢量为（!，"），则直方 图就被分割为两部分。其中 & 类像素点是边缘点的可能性较 大，’ 类像素点是非边缘点的可能性较大。其中直线 () 的方 程为： *（+，,）& %’" )-( %(.（+，,）-() （$） 二维熵分割方法所选择的阈值是使区域 / 的后验熵和区 域 0 的后验熵均取最大值的阈值矢量（!，"）。因为分别包含在 区域 & 和区域 0 的两类像素点的分布是相互独立的，所以这 两类中的每个（灰度级，领域方差）对的概率定义为： 1 1 （!，"）2 0 #$ "#$ # "34 （3，4）"0 （!，"）2 & 5$ "5$ # "34 （3，4）"& （*） 两类熵 6 7 （!，"）和 6 0 （!，"）分别为： & （!，"）&’ 6 # 1 （3，4）"& & 5$ （!，"）%+,1 & 5$ 0 （!，"）&’ 6 # 1 （3，4）"0 0 5$ （!，"）%+,1 （!，" ） 0 5$ $ & & & & & & & & % & & & & & & & & ’ $ & & & & & % & & & & & ’ （!，"） * 基于边界跟踪的车道标识线的识别 （!） 在进行车道标识线识别时，主要基于如下假设：车道标识 线为直线型，且道路为平面。如图 ! 所示建立像平面坐标系，采 用的左、右道路标识线模型为： 使得 -./ 5，$2%，…，%’" & （3，8），6 0 （3，8）1取最大值时的门限矢量 06 （!，"）就是利用二维熵最大化分割图像的最佳全局阈值，即： 6（!，"）2-230 -./ 0 （3，8）11 $6$ 基于二维熵最大化的道路图像分割 & （3，8），6 5，$2%，…，%’4 06 （5） ) +24<"5.=>!,:?@"5.=> +24@3A;>!,:?@3A; > （:） 经过对车载 778 获取的道路图像进行分析，根据其对车 道标识线识别的重要程度将图像按图 $ 划分为三个子图像：子 图像 "（图像底部十二分之七的左半部分），子图像 $（图像底部 十二分之七的右半部分）和子图像 *（图像顶部十二分之五）。 其中车道标识线主要集中在子图像 " 和子图像 $ 中。 #% !""#$!! 计算机工程与应用 *64 基于边界跟踪的车道标识线特征点提取 车道标识线特征点就是图像中每扫描行上表征车道标识 中心的点，得到车道标识线特征点后利用线性回归技术就可以 得到车道标识线的参数：;<+=>?，;<@.,A?，B<+=>?，B<@.,A?。利用 $C# 中所述的方法进行图像分割后，图像中存在着一些非车道标识 边界点，这些噪音点的存在将为车道标识特征点的提取增加很 

大的难度。因此，首先需要在已分割图像中将车道标识的边界 点提取出来，而将非车道标识边界点去除掉。文中采用定向边 界跟踪方法来提取车道标识边界。 "#$%& 定向车道标识边界跟踪方法 文中采用的定向边界跟踪方法根据需要跟踪的标识不同， 可以分为：定向左车道标识边界跟踪方法和定向右车道标识边 界跟踪方法。 踪方向为方向 * 时，设定其顺时针旋转 !’%后其跟踪方向变为 方向 &；跟踪方向为方向 & 时，设定其逆时针旋转 !’%后其跟踪 方向变为方向 *。 "%&%* 车道标识边界点的提取 车道标识边界点的提取主要在分割后的子图像 & 和子图 像 * 中进行，根据所采集的道路图像特点，文中采用的三个阈 值分别为： *).*’ *!".*!#.’ 车道标识边界点的提取步骤为： （$）记利用 *,* 中所述的方法分割后的子图像 $ 和 * 分别 为 /0123 &#- 和 /0123 *#-，分别利用定向左车道标识边界跟踪 方法和定向右车道标识边界跟踪方法对 /0123 &#- 和 /0123 *#- 进行处理得到图像 /0123 &#& 和 /0123 *#&； （*）对图像 /0123 &#& 和 /0123 *#- 用一个 &’" 的结构进 行形态学膨胀操作，得到图像 /0123 &#* 和 /0123 *#*； （"）对图像 /0123 &#* 和 /0123 *#* 再次利用左车道标识 定向边界跟踪方法进行处理得到图像 /0123 &#" 和 /0123 *#"； （!）对图像 /0123 &#" 和 /0123 *#" 进行细化操作，得到最 终提取出的车道标识边界点图像 /0123 &#! 和 /0123 *#!。 "#&#" 车道标识特征点的提取 在特征点提取的过程中主要用到了车道标识的一个重要 特征：同一扫描行上车道标识两个边界点的之间具有一定的间 隔。在图像 /0123 &#! 和 /0123 *#! 中，将具有这个特征的同一 扫描行上的车道标识的左右两个边界点坐标的均值作为该扫 描行上车道标识线特征点的坐标。分别对图像 /0123 &#! 和 /0123 *#! 进行逐行扫描，可以得到左、右车道标识特征点： ），&’&，*，…，&* 5 ），&’&，*，…，&& 5和4%./01- ，#& （"& ，#& （"& 4%)+,- "%&%&%& 定向左车道标识边界跟踪方法 对于一分割完毕的图像（假定白点为目标点，黑点为背景 点），由于在进行车道标识边界跟踪仅仅采用如图 ’ 和图 ( 所 示的三个确定的方向，因此该边界跟踪称作为定向边界跟踪。 定向左车道标识边界跟踪采用的方向如图 ’ 所示，其跟踪具体 步骤为： （$）首先假设一个与要进行边界跟踪的原图像大小一致的 缓存图像，将其所有象素点象素值设置都 )。 （") ，#) （*）从原图像进行逐行逐列进行扫描，行扫描的方向为从 图像底部到顶部，列扫描的方向为从左到右。当扫描到一个白 点时，以该点 !) ）为初始点进行跟踪，跟踪方向如图 ’ 所 示，默认跟踪方向为方向 )。当在目前跟踪方向上跟踪到一个 白点时，则将跟踪方向沿逆时针旋转 !’%，如果该方向上跟踪 不到白点，则将跟踪方向顺时针旋转 !’%。当跟踪方向为方向 * 时，设定其逆时针旋转 !’%后其跟踪方向变为方向 $；跟踪方向 为方向 $ 时，设定其顺时针旋转 !’%后其跟踪方向变为方向 *。 ），下一步跟 ，#) ）为初始 ）。将原图像中该跟踪链上的点 （"$ 踪时在方向 )，$，* 上都找不到白点，就视为以 %) 点的边界跟踪结束于点 !& 设为黑点。 （"）当前跟踪结束条件：假定跟踪到点 !$ ，#$ （") ，#& （"& （!）计算该跟踪链上的 !"’"&(") 和 !#’#&(#) 以及跟踪链的 长度 )。 （’）设定一边界长度阈值 *) ，以及跟踪链上 !" 和 !# 阈值 分别为 *!" 以及 !#!*!# 时，将缓存图像中该跟踪链上的点设为白点，并将该跟踪链进 行水平细化操作。 。当满足条件：)!*) ，且 !"!*!" 和 *!# （(）转向步骤（*）对下一个初始点按照步骤（"）&（’）进行跟 踪处理。直至将原图像所有点设置为黑点时，表征定向边界跟 踪处理结束。 （+）将缓存图像拷贝回原图像，得到提取出的车道标识边 界点图像。 ",&%&%* 定向右车道标识边界跟踪方法 定向右车道标识边界跟踪方法与定向左车道标识边界跟 踪方法相比，只是跟踪方向有所不同其具体的跟踪步骤与定向 左车道标识边界跟踪方法相同。其在进行边界跟踪时跟踪方向 的变化如下： 如图 ( 所示，默认跟踪方向为方向 -。当在目前跟踪方向 上跟踪到一个白点时，则将跟踪方向沿顺时针旋转 !’%，如果 该方向上跟踪不到白点，则将跟踪方向逆时针旋转 !’%。当跟 和 &* && 分别为提取出的左右车道标识特征点点数。 "#* 车道标识线识别 设定一个特征点数阈值 2（文中为 ’），当 && !2 时，利用 得到的左车道标识特征点4%)3,- ），&’&，*，…，&& 5，采用线 性回归技术就可求得左侧车道标识线的参数：67839: 和 ;783:9。 当 && <2 时认为该图像中左车道标识线不存在。 （"& ，#& 同理，当 &* !2 时，利用得到的右车道标识特征点4%./01- （"& ， ），&’&，*，…，&* 5，采用线性回归技术就可求得右侧车道标识 #& 线的参数：67=>2?: 和 ;7=>2?:。当 &* <2 时认为该图像中右车道 标识线不存在。 ! 基于梯形感兴趣区域的车道标识线跟踪 在进行车道标识线的跟踪时，由于图像采集速度很快（可 以达到 ’) 帧@A），相邻两帧图像中车道标识线的位置不会发生 突变。为此，采用建立感兴趣区域的方法，在感兴趣区域内利用 计算机工程与应用 !""#$!! *& 

文中讲述的车道标识线识别方法进行识别。 跟踪算法运行时间，与平行的感兴趣区域相比更加合理。 其感兴趣区域的建立如图 L 所示：实线表示前一帧图像中 识别出的车道标识线，虚线在图像中所夹区域为建立的感兴趣 区域，;\6eZ 和 ;\6eC 分别为左、右感兴趣区域。 考虑到由于投影投射影响，图像底部与图像中央部分的车 道标识线偏离的距离会有所不同，在建立感兴趣区域时，不采 用与前一帧中识别出的车道标识线平行的感兴趣区域的方法， （!）本文方法利用基于定向边界跟踪实现了对车道标识线 的识别和跟踪，与本课题组以前采用的基于统计的方法相比， 该算法对车道标识线识别的精度得到了一定的提高，同时算法 运行时间大大减少，从而为更高车速的智能车辆自主导航或车 而是建立一个非平行的感兴趣区域。文中实际采用的各感兴趣 区域顶部宽度为 @^ 个象素，下部宽度为 ?^ 个象素。 道偏离预警提供更快、更准确的车道标识线参数。 （收稿日期：@^^# 年 B 月） # 试验结果和结论 文中对前述方法进行了试验验证，试验平台为微型面包 车，< 为部分试验图片，实线为识别出的车道标识线，识别算法平均 耗时为 B^=1，具有很好的实时性。 （@）在长吉高速公路上对该车道标识线跟踪方法进行了 @^^H= 的试验验证，跟踪算法平均耗时为 @#=1f帧，正确识别率 为 >>(以上。 （?）建立梯形感兴趣区域的方法能有效地减少车道标识线 参考文献 "Mb-( ‘+8E，T%8EE+8E 9)(8，7+= P)G+8E J(.)MZ+8( :($(,$%.8 +8: $*+,H%8E -1%8E XF98+H(234M6=+E( V%1%.8 <.=&-$，@^^!；@@（!） @M3.(’ < Q,<+’’，Q.)+8 Q J*%/(:%M;8 68$(E*+$(:，C.D-1$ ;&&*.+,) $. Z+8( Q+*H%8E T($(,$%.8 +8: Z+8( J*+,H%8E2<4M68：N*., 6777 68$(’’%E(8$ V()%,’( 90=&.1%-=，@^^!F^B ?MC J-*,)($$.，C Q+8:-,)%MV%1-+’ <-*D Z.,+’%W+$%.8 U.* ;-$.8.=.-1 Y+/%E+$%.82<4M68：6777fC93 6C\9]^?，Z+1 V(E+1，@^^?F"^ !M;*+$+ J+H+)+1)%，Q+H.$. Y%1)%:+MC(+* V%(G Z+8( T($(,$%.8 D0 ‘%:( ;8E’( <+=(*+2<4M68：N*., .U 6777 68$(’’%E(8$ V()%,’( 90=&.1%-=，@^^@ #Mb- X，3+%8 ; PM Z+8( D.-8:+*0 :($(,$%.8 -1%8E + =-’$%*(1.’-$%.8 S.-E) $*+81U.*=2<4M68：6=+E( N*.,(11%8E，">>K N*.,((:%8E1，68$(*8+$%.8+’ <.8U(*(8,( .8，">>KF"^：K!L%K#" BM杨益军，赵荣椿，汪文秉M基于二维直方图和最大熵门限化的直线边 缘检测方法234M计算机工程，@^^@；@L（L）："@^%"@@ （上接 "# 页） $%&’( )%(*+*,)%,+’ ,(’’-’+* ./(*’+0123456777 3.-*8+’ .8 9(’(,$(: ;*(+1 %8 <.==-8%,+$%.81，">>#；"?（@）：!AB%!"# "@5C <..=D1，C 9$((’(568$*.:-,%8E =%,*.,(’’1 %8$. =+,*.,(’’-’+* 8($F G.*H1：+ ,+1( 1$-:0234I6777 J*+81+,$%.81 .8 <.==-8%,+$%.81，">>>； !K（!）：#BL%#KB "?MN.’’%8% O N，P 9 Q(%(*RS(’’1$(*8，T 3 O..:=+859%E8+’%8E J*+UU%, V.’-=( O(8(*+$(: D0 Q.D%’( +8: N(*1.8+’ <.==-8%,+$%.81234M6777 <.==-8%,+$%.81 Q+E+W%8(，">>#；??（B）：BA%B# "!MX*&W%. 3 Q，Y 3 9 9%’/+MN(*U.*=+8,( 7/+’-+$%.8 .U + Q-’$%FZ+0(* Z.,+$%.8 [&:+$( Q($).:2<4M68：N*., 6777 O’.D+’ J(’(,.==-8%,+$%.8 <.8U(*(8,(，OZ\X7<\Q]>B，">>B：>B%"^^ "#MZ+E*+8E( _MQ-’$%$%(* <(’’ T(1%E8234M6777 <.==-8%,+$%.81 Q+E+W%8(， ">>K；?#（L）：B^%B! "BM9-8E < ‘，‘ 9 ‘.8EM[1(* 9&((: 71$%=+$%.8 +8: T08+=%, <)+88(’ ;’’.,+$%.8 %8 S%(*+*,)%,+’ <(’’-’+* 901$(=1 2 < 4 M 68：N*., 6777 !!$) V()%,-’+* J(,)8.’.E0 <.8U(*(8,(，VJ< >!，9$.,H).’=，">>!：>"%># @@ !""#$!! 计算机工程与应用 "KMX(8/(8%1$( QM<(’’ 9(’(,$%.8 %8 JG.FJ%(* Q%,*.,(’’-’+*aQ+,*.,(’’-’+* 901$(=1 2 < 4 5 68 ：N*., 6777 O’.D+’ J(’(,.==-8%,+$%.8 <.8U(*(8,( ， OZ\X7<\Q]>#，">>#："#?@%"#?B "L5唐宏，吴中福，聂能等5基于多层小区结构的移动 6N 移动性管理2345 计算机科学，?^（#）："?B%"?L ">53+8E SF9，9FP Z%=，3FS b- ($ +’5N(*U.*=+8,( ;8+’01%1 .U =%8%=-=F TG(’’FJ%=(Fc%*1$ S+8:./(* 9,)(=( %8 Q.D%’( <(’’-’+* <.==-8%F ,+$%.812<4568：N*., "#$) 68$(*8+$%.8+’ J(’($*+UU%, <.8U(*(8,(，6J< "#， ‘+1)%8E$.8 T <，">>K：""?>%""!L @^57J96F9QO5c-8,$%.81 *(’+$(: $. Q.D%’( 9$+$%.8（QY）%8 %:’( =.:( +8: E*.-& *(,(%/( =.:(2945O9Q ^?5@@，">>L @"5唐宏，陈前斌，吴中福等5移动 6N 技术中 Z@FJ*%EE(* 方法研究2345重庆 邮电学院学报（自然科学版），"#（!）：LL%>" @@5N’+=(8 65XC;J;Y\V，[1(* Q.D%’%$0 Q.:(’%8E %8 <(’’-’+* <.==-F 8%,+$%.81 Y($G.*H1 2 T 4 5 N)T J)(1%1 5 681$%$-$( .U <.==-8%,+$%.81 +8: C+:%. F c*(d-(8,0 78E%8((*%8E ：V%(88+ [8%/(*1%$0 .U J(,)8.’.E0 ， ;-1$*%+，">>>F^@