1 题目: 浅谈图像与机器视觉技术
2 课题研究的目的和意义
由于人类自身感觉器官存在各种极限,人们才发明了各种仪器设备、设计实验手段
去拓展我们认识的范围,以便我们能更好的认识世界和改造世界。通过理论联系实际,
巩固所学的知识,提高处理实际问题的能力,对图像与机器视觉等方面的应用进行归纳
总结,为毕业设计的顺利进行做好充分的准备。
3 课题总体设计方案
数字图像与机器视觉技术的概述,图像与机器视觉技术的应用特点
4 若干关键技术
4.1 光源
光源是指能够产生光辐射的辐射源,一般分为天然光源和人造光源。天然光源是
自然界中存在的辐射源,如太阳、天空、恒星等。人造光源是人为将各种形式的能量(热
能、电能、化学能)转化成光辐射的器件,其中利用点能产生光辐射的器件成为电光源。
按照发光原理,人工光源一般可以分为以下几类:热辐射光源、气体放电光源、固体发
光光源、激光器。
光源的基本参数:辐射效率和发光效率、光谱频率分布、空间的光强分布、光源的
色温、光源的寿命。
4.2 机器视觉系统的照明设计
4.2.1 常用的照明技术
1.直射光与漫射光
以炮弹型 LED 光源为例,直射光的发散角较小,光能量相对集中,光源亮度高,
当目标为漫反射材料时,可以使目标更加明亮,当目标为镜面反射材料时,目标表面形
成亮点,均匀性差,不利于检测;散射光是在直射光的前面覆盖一层漫反射半透明材料,
形成二次光源,随着漫反射材料透明度的降低,透射光的发散角度增大,散射光的均匀
性不断提高,但同时亮度会大幅度降低,对于镜面反射材料目标,均匀的发光面可以避
免目标表面形成热点,从而得到比较理想的检测图像。
2.互补色与邻近色—色光混合规律
光的三原色是红、绿、蓝,三原色中任意一色都不能由另外两种颜色混合产生,而
1
其他色光可由这三色光按照一定的比例混合出来。
3.白色连续变化规律:由两种色光组合成的混合色中,如果一种色光连续变化,混
合色也连续变化。
4.补色律:三原色等量混合,可以得到白光。如果先将红光与绿光混合得到黄光,
黄光再与蓝光混合,也可以得到白光。如果两种色光混合得到白光,这两种色光称为互
补色光,这两种颜色成为补色。
5.中间色律:任何两种非补色光混合,便产生中间色。
6.代替律:颜色外貌相同的光,不管它们光谱成分是否一样在色光混合中都具有相
同的效果。
7.前景光与背景光:前景光,即光源、相机位于目标的同侧的照明方式;背景光,
称为背光,则是指光源、相机位于目标的异侧的照明方式。前景光利于表现物体的表面
特征,可用于各种表面检测。背光照明有两种截然不同的使用;以投射方式观察透明物
体和使用不透明物体轮廓成像。背光照明更常用于表现不透明部分的轮廓。
4.2.2 LED 光源的照明设计
1.条形光源
特点:LED 均成直线或其组合排列,照度高,光线指向性强,照明效果也符合直
线型规律或其叠加。
应用场合:可用于线扫描相机缺陷检测;文字、形状识别;LCD 面板检测;AOI
检测等。
2.低角度光源
特点:照度低,有利于突出边缘轮廓。
场合:晶片或玻璃底片基上的伤痕检测;刻印文字的读取;工作边缘轮廓抽取检测。
3.同轴光源
特点:属于类平行光的应用,光源前面带漫反射板,形成二次光源,光线主要方向
趋于平行,但是有少量的非平行光成分。
应用场合:广泛用于半导体、PCB板、以及金属零件的表面成像检测,具有很好
的均匀性,对光洁表面上的异常特征成像突出,表现力好。
4.背光源
特点:发光部分为一个漫反射面,均匀性好。
应用场合:可用于镜面反射材料,如晶片或玻璃底基上的伤痕检测;LCD检测;
2
微小电子元件尺寸形状;靶标测试。
5.无影环形光源
特点:通过漫反射板形成二次光源,出射光线为一个较大范围的连续角度。
应用场合:晶片或玻璃底基上的伤痕检测;金属表面检测;镜面反射表面检测;
6.点光源
特点:发光部分为一个很小的园面,近似一个点,可组合使用作重点照明或补光照
明。
应用场合:可用作准平行光学系统的光源,替代卤素灯。
7.准平行光源
特点:能有力突出光洁表面上是微小起伏特征,例如金属、半导体、CD、玻璃等
光洁表面上的异常点均匀能清晰成像。
应用场合:配合同轴光源使用,两者采用不用的光强配比,可以调整对微小缺陷的
表现力,达到成像特征控制的目的。
4.2.3LED光源散热设计
大功率LED的使用过程中,工作温度是一项非常重要的指标,它对LED的寿命、
光谱、发光效率均会产生影响,其中寿命是尤为需要关注的,不良散热导致的温度升高
会严重缩短器件的寿命,甚至造成器件的损坏。由于大功率LED的单体工作率较大,
其PN结发热更多,相对普通LED温度问题也更加突出。通常结温度要求在120℃
以内,高功率LED的实用化过程中散热已经被公认为一个关键技术问题。
4.3 镜头
镜头的基本功能就是实现光束变换,在机器视觉系统中,镜头的主要作用是将成像
目标在图像传感器的光敏面上。镜头的质量直接影响到机器视觉系统的整体性能,合理
的选择和安装镜头,是机器视觉系统设计的重要环节。
4.3.1镜头的基本构成
常见的以成像为目的镜头,可以分为透镜组和光阑两部分。
4.3.2 镜头的基本参数
1.焦距
无限远目标的轴上共轭点是镜头的焦点,而此焦点到主面的距离成为焦距。焦距描
述了镜头的基本成像规律;在不同物距上,目标的成像位置和成像大小由焦距决定。
3
2.光圈/相对孔径
光圈和相对孔径是两个相关概念,相对孔径是镜头入瞳直径与焦距比值;而光圈是
相对孔径的倒数。
3.视场/视场角
视场和视场角它们都是用来衡量镜头成像范围的。在远距离成像中,例如望远镜、
航拍镜头等场合,镜头的成像范围常用视场角来衡量,用成像最大范围构成的张角表示。
在近距离成像中,常用实际物面的幅面表示成像范围,也称为镜头的视场。
4.工作距离
镜头与目标之间距离乘坐镜头的工作距离。
5.像面尺寸
一个镜头成清晰成像的范围是有限的,像面尺寸指它能支持的最大清晰成像范围。
超过这个范围成像模糊,对比度降低。
6.像质
像质就是指镜头的成像质量,用于评价一个镜头的成像劣质。传函和畸变就是用于
评价像质的两个重要参数。
7.工作波长与透过率
镜头的是成像器件,它的工作对象就是电磁波。一个实际的镜头在设计制造出来以
后,都只能对一定波长范围内的电磁波进行成像工作,这个波长范围通常称为镜头的工
作波长。镜头的透过率是与工作波长相关的一项指标,用于衡量镜头对光线的透过能力。
8.景深
在不做任何调节的情况下,在物方空间内,可接受的能清晰成像的空间范围。超出
景深范围的目标,成像模糊,已不能接受。
9.接口
镜头需要与相机经行配合使用,它们两者之间的连接方式通常称为接口。为提高各
生产厂家镜头之间的通用性和规范性,也内形成了数种常用的固定接口,例如C口、C
S口、F口等。
4.3.3镜头的分类
镜头的种类繁多,已经发展称为一个庞大的家族体系,以适应各种场合条件下的应
用。对镜头的划分可以从不用的角度来进行:
按工作波长分:X-ray、紫外、可见光、近红外、红外
4
变焦与否:定焦、变焦
工作距离:望远物镜、普通摄影镜头、显微镜头
4.4 图像采集技术
机器视觉成像板卡大体上可分为图像采集卡和图像处理卡两类。
1.图像采集卡
一个完整的图像采集卡包括视频输入接口、输入输出控制接口、计算机总线接口、
信号处理模块、显示模块等部分。涉及到的技术有接口技术、总线接口技术、控制逻辑
的FPGA实现、图像信号处理算法等。
图像采集卡是机器视觉系统的重要组成部分,主要功能是对相机输出的视频信号进
行实时采集,并提供与 PC 的高速接口。板卡通常包括以下几个部分:相机接口及接口
逻辑、相机控制接口、图像采集控制、图像算法、主控单元、数据传输总线、控制 I/O
和在板内存等部分。
2. PC 图像处理卡
由于在许多机器视觉应用中需要比较复杂的图像、图形处理,工业计算机系统有时
无法实现这种实时计算需要,一些具有很强实力的公司就开始研制专门能进行复杂视频
图像处理的板卡,即图像处理卡。这种板卡在采集卡的基础上增加了复杂的算法处理,
甚至建立了独立的操作系统。这种板卡的设计是专门应对算法的,它节约了大量的工业
计算机的 CPU 时间,大大提高了整个机器视觉系统的性能。
4.5 机器视觉软件
4.5.1 图像处理和分析工具
图像处理和分析工具主要功能是进行图像增强,便于后续的专业视觉工具进行识别
和理解。常用的图像处理和分析工具包括:直方图工具、滤波操作、形态学操作、轮廓
提取、几何变换、颜色空间变换。从输出关系角度,可将基本图像预处理算法分为:点
变换算法、邻域操作算法。
直方图分析:直方图分析是最基本的图像分析工具,直方图可对图像的整体灰度分
布进行刻画,主要指标包括:均值、标准差等。
滤波操作:滤波是最常使用的图像增强方法,主要包括:低通滤波、高通滤波、边
缘检测、高斯滤波等。
形态学操作:形态学操作是最常用的图像增强方法,主要包括:膨胀、腐蚀、开启、
5
闭合、中值滤波等。
轮廓提取:轮廓是图像的重要边缘特征,轮廓提取的精度、速度和稳定性是轮廓提
取工具的主要评价标准。
几何变换:常用的几何变换包括:旋转、平移、尺度、切变等,其统称为仿射变换。
仿射采样也称为几何变换范畴。
颜色空间转换:图像处理技术从图像格式上可以分为灰度图像处理和彩色图像处
理。在图像处理技术发展的早期,由于受计算机处理能力的限制,图像处理技术领域的
研究主要集中在灰度图像处理技术。随着计算机处理能力的飞速发展,彩色图像处理技
术越来越受到关注。原因在于彩色图像所包含的信息量比灰度图像丰富得多和彩色图像
更加符合人的视觉习惯。
4.5.2 专业视觉工具
专业视觉工具是专门针对机器视觉应用特性开发的综合视觉工具,主要包括:标定
工具、定位工具、测量工具、二维特征分析工具、检测工具、字符识别工具、条码识别
工具、颜色分析工具。
1. 标定工具
标定工具的主要功能是建立图像像素空间与真实物理空间的映射关系,实现由图像
坐标到空间坐标的转换。常用的靶标类型为棋盘靶标、点阵靶标。
2. 定位工具
定位工具的目的为在图像中确定一个或多个预先训练过的特征的位置,并对其质量
经行度量。定位工具一般可分为区域定位工具和几何定位工具两类。与机遇灰度信息的
区域定位工具相比,几何定位工具基于物体的几何信息进行定位,对物体的灰度信息的
非线性变化有很好的适应性,而且支持尺度和角度变化。
3. 测量工具
工业应用中经常需要对工件的加工尺寸进行测量,用于对加工件的生产质量经行控
制。二维几何工具的设计目的在于利用图像对物体的 2-D 尺寸进行准确测量,实现对产
品质量的检测。实际上,工业应用中常见的几何形状有直线、线段、圆和椭圆等。因此,
二维几何工具的测量对象主要是点、直线、线段、圆和椭圆之间的角度或距离。二维几
何工具主要包括:标定工具、反投影工具、卡尺工具、拟合工具、FindLine 工具、FindCircle
6
工具、测量工具、交点工具。
4. 二维特征分析工具
Blob 分析的目的在于对图像中的 2-D 形状进行检测和分析,得到诸如目标位置、
形状、方向。根据这些信息可对目标进行识别。Blob 分析工具主要内容包括:(1)图像
分割:将图像中的目标和背景分离;(2)连通性分析:根据目标的连通性对目标区域进
行标记;(3)特征量计算:计算目标的 2-D 形状特征。Blob 分析工具并不是适用于所有
视觉应用。
5. 检测工具
检测工具作为一种高性能的图像比对工具,能够高效的产生实时图像与模板图像之
间的差值图像,是缺陷检测中非常重要的一个环节。
6. 字符识别工具
字符识别用于产品生产日期、批号或其他标识字符的识别。有些字符识别工具还具
有字符校验功能。
7. 条码识别工具
条码识别工具根据编码原理的不同分为一维条码工和二维条码工具。一维条码工具
可以识别 Interleaved 2 of 5、Code39、Code128、UPC/EAN、4-State、POSTNET 和 PLANET
这些一维条码。
在工业应用中,二维条码符号主要应用在半导体、汽车、航空和电子行业的零件跟
踪和过程控制。
8. 颜色分析工具
颜色分析工具主要包括:颜色标定工具、色差测量工具、颜色识别工具。 (1)颜
色标定工具:确定由 RGB 颜色空间到 CIELAB 颜色空间之间的转换关系,将实际成像
条件下的 RGB 颜色值转换到标准成像条件下的 CIELAB 颜色值。(2) 色差测量工具:
测量图像中两个区域颜色均值之间的色差。色差的测量在 CIELAB 空间进行。(3)颜色
是识别工具:对标准样品以及待分类产品的图像进行对比分析,根据产品图像与样品图
像之间的颜色相似性对产品进行分类。
4.5.3 机器视觉软件分类
根据机器视觉软件不同使用层次,可分为:应用软件、专用开发包、平台软件。
7
1. 应用软件
特点:即机器视觉系统应用软件,针对特定应用,对软件进行功能和参数配置即可运行。
但无法进行功能扩展或调整。
使用要求:对应用有较好的理解,需要对软件进行功能和参数配置,无需编程和图像基
础。
2. 专用开发包
特点:即针对特定应用开发的专用开发包,视觉技术和应用理解的整合,开发和集成便
捷。
使用要求:对应用有较好的理解,需要进行编程开发,无需图像基础。
3. 平台软件
特点:即机器视觉平台软件,集成图像处理和分析工具、专业视觉工具和机器视觉系统
常用软件功能。具有最大的开发灵活性。
使用要求:对应用有深入理解,需进行编程开发,需要图像基础。
4.6 集成式机器视觉系统
集成式机器视觉系统,也称为智能相机,它集图像采集、处理与通信功能与一身,提
供了具有多功能、模块化、高可靠性、易于实现的机器视觉解决方案。同时,由于应用
了最新的 DSP、FPGA 及大容量存储技术,其智能化程度不断提高,可满足多种机器视
觉应用的需求。
4.6.1 集成式机器视觉系统的组成
图像采集单元:相当于采集卡,并输出至图像处理单元。
图像处理单元:实现图像采集卡/处理卡的部分作用,对采集到的图像数据进行实时
的存储,并在图像处理软件的支持下进行图像处理。
图像处理软件:图像处理软件在图像处理单元硬件环境的支持下,完成图像处理功
能。如标定、定位、几何测量等。
网络通信装置:完成控制信息、图像数据的通信任务。集成式机器视觉系统一般均
内置以太网通信接口,并支持多种网络和总线协议,从而使多套集成式机器视觉系统构
成更强大的机器视觉系统网络。
4.6.2 集成式机器视觉系统的优势和不足
8