11绪论1.1课题研究背景和意义近年来,随着社会经济的发展,公路网通过能力己经不能满足交通流量日益增长的需要,经过长期和广泛的研究,世界各发达国家逐渐开始采用高新技术来改造现有的公路交通运输系统及其管理体系,从而大幅提高了公路网的通行能力和服务质量。随着人工智能、自动控制和模式识别等领域的发展,智能交通系统(IntelligentTrafficsystem,简称ITS)应运而生,并获得了极大的发展。ITS包括了智能和交通两个方面。它将先进的人工智能、信息技术和自动控制技术等综合应用于整个交通运输管理体系,通过对交通信息的实时采集、传输和处理,对各种交通情况进行协调,建立起一种实时、准确、高效的综合运输管理体系,从而使交通设施得以充分利用,实现交通运输的集约式发展。ITS系统是21世纪世界公路交通的发展趋势,90年代中期我国学者也开始在相关领域开展大量的研究。计算机视觉和模式识别技术的不断发展,为以图像理解为基础ITS系统进入实际应用提供了契机。计算机视觉就是用计算机来模拟人的视觉功能,从客观事物的图象中提取信息,进行处理并加以理解,最终用于实际检测、测量和控制等。计算机视觉不仅能使机器感知环境中的几何信息,包括位置、大小、形状、运动等,还能对它们进行描述、解释和理解。计算机视觉为交通系统提供了直观方便的分析手段,交通环境中的大量信息,如车辆、交通标志和路面标识等都来源于视觉。基于图像识别的车型分类系统正是在这种背景下提出来的。车辆检测和车型分类在ITS应用领域中重要的分支,也是目前相对薄弱的技术环节。基于图像识别的车型分类是一门集计算机视觉、图像处理、模式识别、工业测控技术、电子技术和系统工程技术与一体的综合技术,引入了计算机信息管理的思想,它能够自动、实时地对车辆进行检测和分类,作为交通管理、收费、调度和统计的依据。目前,车型自动分类系统的主要应用场合为停车场、路桥收费管理和公安交通管理部门。其中停车场和路桥收费管理部门可利用该系统实现车型的自动识别及收费工作。车型自动分类系统识别车辆的车型,按照事先确定的收费标准确定车辆应收费额,自动保存收费记录,自动费用结算。这种自动收费方式可在不停车的情况下完成收费
2工作,达到提高车速和道路通行能力的目的,而且可以杜绝工作人员询私、贪污等行为。交通管理部门则可以利用该系统实现无人值守警察功能,实时抓拍违规车辆,结合相关数据库还可实现未年检车辆稽查、违章未交罚款、特定车辆查询等功能。1.2基于图像识别的车型分类系统研究现状基于图像识别的车型分类过程主要包括两个阶段:1、从图像中分割出目标车辆。2、提取车辆特征并进行分类。针对第一个阶段的算法主要利用图像序列之间存在的大量相关信息进行车辆区域定位和分割。第二阶段的算法比较多,主要可分为三类:1、简单参数分类法;2、模板匹配法;3、神经网络分类法。车型分类第二阶段的工作主要涉及车辆特征的提取和分类器的设计,而车辆特征的选取会影响到分类的精确程度,分类器的设计是否合理则直接决定了最终的分类结果。因此,一些学者针对第二阶段展开研究并取得了一定的成果。下面介绍目前存在的部分研究成果:有的学者采用一种基于三维结构模型的车辆特征提取方法,为车辆建立一个参数模型,然后以改进的BP神经网络作为车型分类器,采用梯度下降法训练网络,网络输入为30个特征参数。该文提出的参数模型能够细致地描述车辆的形状结构特征,但只考虑了固定简单背景下的情况,而且没有研究如何从图像中分割出完整的目标车辆区域。有的研究成果以顶长比(顶篷长度与车辆长度之比)、顶高比(顶篷长度与车辆高度之比)和前后比(以顶篷中垂线为界,前后两部分之比)三个车辆几何尺寸作为特征参数,将车辆划分为卡车、客车和货车三种类型。并设计了一种改进的BP算法(尺度共扼梯度法)对神经网络分类器进行训练,解决了一般算法收敛慢的问题。该研究工作主要解决的是上述第二阶段的问题,没有对目标车辆区域的分割作出研究。有的研究利用背景消减法进行运动车辆区域的分割,并提出了一种基于Gabor:滤波器和边缘特征的车型识别方法。与传统方法相比,提出一种新的基于车辆边缘的非均匀采样策略。首先将图像中长度大于某一确定值的边缘定为关键边缘,然后将取样窗口根据包含关键边缘像素的多少进行降序排列,把一定比例的取样窗口定位KSW(KeySamplingwindows)和ASW(AssistantsamplingWindows),在KSW和ASW中采用不同的采样间隔进行样点的抽取,最后计算低维的特征矢量,并将得到的Gabor特征集与模板特征集进行匹配,从而实现车型分类。该方法只适用于几何特征明显的物体识别,不能进行车型的细分。而且采用模板匹配法进行分类需要较多的计算时间。基于图像识别的车型自动分类系统
3还有学者以车辆前上方的图像作为处理对象,利用车牌位置信息确定车头位置,并对车头部分的保险杠所在位置进行测量,以保险杠的长度作为车辆的宽度,同时找出车顶位置,确定车辆高度;然后找到车尾位置,结合车头的位置和摄像头拍摄的角度计算车辆的长度;最后采用SVM(SupportVectorMachine)分类器对三个参数进行分类。该文把车辆的绝对长度、宽度和高度作为分类的依据,但对像轿车和吉普车这类车,只用三个参数并不能完全描述其形状,只能将车辆大致划分为大型、中型和小型三种类型,而且从车辆前上方确定其长度和高度存在很大的困难,对图像质量要求较高。也有研究是利用一种模糊模式识别方法对车型进行分类。首先从车辆上方、和侧面两个角度采集车辆图像,通过分割和轮廓跟踪得到车辆轮廓图,然后采用模糊识别技术对车型进行分阶段识别。第一阶段以车辆的顶长比和前后比作为特征参数,利用模糊支持向量机实现客车和货车的分类;第二阶段利用车辆的长度、高度和宽度作为特征参数,利用模糊神经网络建立客车的识别模型,用遗传算法来同时优化隶属函数和推理规则,得到了稳定精简的识别模型,从而把客车划分为大型、中型和小型三类。该图像采集,而且采用车辆的绝对几何尺寸作为特征参数,这就要求摄像头必须安装在固定的位置,限制了其应用场合。从已有的研究成果可以归纳出以下一些基于图像识别的车型分类系统的核心问题和关键技术:1、目标车辆区域的分割和提取:如何在复杂的背景下分割出完整的目标车辆区域是整个系统的前提和基础,目标车辆区域分割的质量直接影响到最后的车型分类结果。2、车辆特征的选取:在车辆图像经过预处理后,如何选取具有代表性的特征,并将其量化为描述车辆特征的参数至关重要。选取的特征应既能充分体现所属车型的特点,又具有简洁性,以减少计算复杂度。3、车型分类:在得到车辆的特征参数后,需要设计合适的分类器以对各种车型进行分类。针对第一项,目前采用的主要方法是基于图像序列的分析,然而目前的研究均没有考虑复杂背景下的情况,没有对车辆区域分割这一问题在实际应用中遇到于图像识别的车型自动分类系统的困难作深入讨论。第二项车辆特征的选取主要集中在车辆几何尺寸的度量,包括绝对几何尺寸和相
4对几何尺寸。绝对几何尺寸即根据摄像头与车辆之间的距离和图像拍摄的角度计算出车辆的实际大小,这种方法存在的缺陷是,摄像头与车辆之间的距离必须保持不变,而这在实际应用中几乎是无法实现的,而且车辆的大小有时并不能代表其所属车型;相对几何尺寸不要求计算车辆的实际尺寸,而是计算车辆各个几何参数之间的比例,这在一定程度上能反映车辆的整体形状结构,而且对车辆图像的大小不作限制,即对摄像头的安装要求比较灵活,从而扩大了其适用范围。第三项对车型作最终分类,最简单的方法就是对得到的车辆特征参数与标准特征参数进行比较得出分类结果,这种方法运算量小,但只能适用于参数个数较少的情况,而参数个数太少就无法对车型进行有效分类;模板匹配法把分割得到的车辆图像直接与标准模板进行比较,这需要耗费较多的计算时间另外存在一个更实际的问题是,目前的研究都仅限于将车辆划分为轿车、客车和货车三类,或按车辆大小分成大型、中型和小型,而在实际应用场合中都要求将车辆按座位数或吨位划分,因此目前研究的车辆类型划分都很难应用于如公路收费等场合。1.3本文的主要研究内容和结构安排智能交通系统(ITS)是现代交通发展的必然趋势,基于视频技术的车辆类型自动识别是智能交通系统的一个重要研究方向,在城市道路交通监控和高速公路收费等系统中有着广泛的应用前景。本设计要求对于拍摄的图像,在VC和OPENCV环境下,进行车型识别系统的设计。该系统的特征为:(1).具有完整的图像处理系统。(2)具有较高的识别率。本文的研究内容主要有以下几部分:1、分析车型分类系统的研究现状,确定了以图像识别为基础的车型分类方法,设计了系统的总体框架。2、基于图像处理和结构模式识别理论,探索出针对车型分类系统的图像处理方法,包括静态车辆区域的分割提取、图像边缘检测、基于车辆特征的提取。3、在分类方面,针对车型分类问题的独特性,选择最近邻分类法。
52车型识别系统的总体设计2.1基于OPENCV的车型识别系统设计基于图像识别的车型分类系统是集计算机视觉、图像处理、模式识别、工业测控技术、电子技术和系统工程技术于一体的综合综合识别系统,如图2.1所示,它一般包括车型图像获取,图像预处理、车型特征提取和分类识别4个大的步骤。图像获取图像预处理车型特征提取分类识别图2.1图像处理一般框图图像获取主要通过摄像机获取动态的视频图像,根据一定的规则,采集包含完整汽车侧面的单帧图像,为后续处理和识别做准备。图像预处理是采用图像处理技术对采集的单帧图像进行处理,包括滤波去噪、图像转换、二值化、边缘检测、形态学运算等步骤,为下一步的车型特征提取做准备。它是车型识别的重要的一个步骤。由于采集图像环境的复杂性,图像预处理效果的好坏,直接影响后期车型特征的提取,进而影响识别分类效果。车型特征的提取是车型识别系统的关键步骤。根据先验知识,提取区分不同车型的本质特征。提取的特征一般应满足平移、旋转和缩放不变性。分类识别是选择合适的分类器。对车型特征进行分类。一般采用传统的模式识别方法,如最近邻分类器等和神经网络分类方法,如BP神经网络方法等。本论文的车型识别系统是对采集的汽车侧面静态图像进行识别。它的步骤如图2.2所示:
6获取图像图像预处理特征提取最近邻分类训练图像图像预处理特征提取识别结果图2.2本设计的系统框图对静态图像先进行图像预处理,然后提取出车型特征,在采用传统的模式识别方法最近邻分类器,通过与事先提取的车型特征进行对比,输出识别结果。系统在Windows系统中,基于VC++6.0和OPENCV环境下编程实现。2.2数字图像处理技术数字图像处理(DigitalImageProcessing)是通过计算机对图像进行去除噪声、增强、复原、分割、提取特征等处理的方法和技术。数字图像处理的产生和迅速发展主要受三个因素的影响:一是计算机的发展;二是数学的发展(特别是离散数学理论的创立和完善);三是广泛的农牧业、林业、环境、军事、工业和医学等方面的应用需求的增长。一般来讲,对图像进行处理(或加工、分析)的主要目的有三个方面:(1)提高图像的视感质量,如进行图像的亮度、彩色变换、增强、抑制某些成分,对图像进行几何变换等,以改善图像的质量。(2)提取图像中所包含的某些特征或特殊信息,这些被提取的特征或信息往往为计算机分析图像提供便利。提取特征或信息的过程是模式识别或计算机视觉的预处理。提取的特征可以包括很多方面,如频域特征、灰度或颜色特征、边界特征、区域特征、纹理特征、形状特征、拓扑特征和关系结构等。
7(3)图像数据的变换、编码和压缩,以便于图像的存储和传输。不管是何种目的的图像处理,都需要由计算机和图像专用设备组成的图像处理系统对图像数据进行输入、加工和输出。数字图像处理主要研究的内容有以下几个方面:(1)图像变换由于图像阵列很大,直接在空间域中进行处理,涉及计算量很大。因此,往往采用各种图像变换的方法,如傅立叶变换、沃尔什变换、离散余弦变换等间接处理技术,将空间域的处理转换为变换域处理,不仅可减少计算量,而且可获得更有效的处理(如傅立叶变换可在频域中进行数字滤波处理)。目前新兴研究的小波变换在时域和频域中都具有良好的局部化特性,它在图像处理中也有着广泛而有效的应用。(2)图像编码压缩图像编码压缩技术可减少描述图像的数据量(即比特数),以便节省图像传输、处理时间和减少所占用的存储器容量。压缩可以在不失真的前提下获得,也可以在允许的失真条件下进行。编码是压缩技术中最重要的方法,它在图像处理技术中是发展最早且比较成熟的技术。(3)图像增强和复原图像增强和复原的目的是为了提高图像的质量,如去除噪声,提高图像的清晰度等。图像增强不考虑图像降质的原因,突出图像中所感兴趣的部分。如强化图像高频分量,可使图像中物体轮廓清晰,细节明显;如强化低频分量可减少图像中噪声影响。图像复原要求对图像降质的原因有一定的了解,一般讲应根据降质过程建立"降质模型",再采用某种滤波方法,恢复或重建原来的图像。(4)图像分割图像分割是数字图像处理中的关键技术之一。图像分割是将图像中有意义的特征部分提取出来,其有意义的特征有图像中的边缘、区域等,这是进一步进行图像识别、分析和理解的基础。虽然目前已研究出不少边缘提取、区域分割的方法,但还没有一种普遍适用于各种图像的有效方法。因此,对图像分割的研究还在不断深入之中,是目前图像处理中研究的热点之一。(5)图像描述图像描述是图像识别和理解的必要前提。作为最简单的二值图像可采用其几何特性描述物体的特性,一般图像的描述方法采用二维形状描述,它有边界描述和区域描述两类方法。对于特殊的纹理图像可采用二维纹理特征描述。随着图像处理研究的深入发展,已经开始进行三维物体描述的研究,提出了体积描述、表面描述、广义圆柱体描述等方法。(6)图像分类(识别)图像分类(识别)属于模式识别的范畴,其主要内容是
8图像经过某些预处理(增强、复原、压缩)后,进行图像分割和特征提取,从而进行判决分类。图像分类常采用经典的模式识别方法,有统计模式分类和句法(结构)模式分类,近年来新发展起来的模糊模式识别和人工神经网络模式分类在图像识别中也越来越受到重视。数字图像处理的工具可分为三大类:第一类包括各种正交变换和图像滤波等方法,其共同点是将图像变换到其它域(如频域)中进行处理(如滤波)后,再变换到原来的空间(域)中;第二类方法是直接在空间域中处理图像,它包括各种统计方法、微分方法及其它数学方法:第三类是数学形态学运算,它不同于常用的频域和空域的方法,是建立在积分几何和随机集合论的基础上的运算。2.3本系统用到的图像处理技术该过程主要是把模拟图像信号转化为计算机所能接受的数字形式,以及把数字图像的显示和表现出来。这一过程包括摄取图像,光电转换及数字化等几个步骤。在车型识别中图像的获取分为静态的和动态的,动态的是通过利用摄像头获取图像,并对其进行车型识别。图像的预处理包含:图像的灰度化,图像的二值话,图像复原,图像增强,图像分割,边缘检测。1.图像的灰度化一幅完整的图像,是由红色绿色蓝色三个通道组成的。红色、绿色、蓝色三个通道的缩览图都是以灰度显示的。用不同的灰度色阶来表示“红,绿,兰”在图像中的比重。通道中的纯白,代表了该色光在此处为最高亮度,亮度级别是255。在计算机领域中,灰度数字图像是每个像素只有一个采样颜色的图像。这类图像通常显示为从最暗黑色到最亮的白色的灰度,尽管理论上这个采样可以任何颜色的不同深浅,甚至可以是不同亮度上的不同颜色。灰度图像与黑白图像不同,在计算机图像领域中黑白图像只有黑色与白色两种颜色;灰度图像在黑色与白色之间还有许多级的颜色深度。但是,在数字图像领域之外,“黑白图像”也表示“灰度图像”,例如灰度的照片通常叫做“黑白照片”。在一些关于数字图像的文章中单色图像等同于灰度图像,在另外一些文章中又等同于黑白图像。按一定的规律修改像素的灰度值,是图像的亮度或对比度放生改变,使之更容易分辨,货或达到某种预定的视觉效果。