中国科技论文在线
http://www.paper.edu.cn
基于改进形态学的吹塑产品外观在线检测
技术研究
5
10
15
20
25
30
35
40
姜洪权1,梁泽明1,3,王树辉2,高建民1,王昭1,王宏叶1,张雪微1*
(1. 西安交通大学机械工程学院,西安 710049;
2. 广东乐善机械有限公司,佛山 528305;
3. 广东顺德西安交通大学研究院,佛山 528300)
摘要:吹塑产品生产具有快速、大批量等特点,由于需要检测的外观尺寸众多,如何实现快
速准确的在线外观检测,为保障后续生产质量及节约成本都有重大意义。本文针对基于机器
视觉的吹塑产品外形尺寸在线测量系统中的边缘检测问题,提出了一种基于改进形态学亚像
素边缘检测方法。该方法是在已获得感兴趣区域的基础上,首先采用形态学梯度算子和
Canny 算法确定物体边缘点的像素级位置;然后以该位置的邻域像素灰度值作为判断的补充
信息,采用高斯拟合方法求得边缘点的亚像素边缘轮廓,进而得到外观尺寸。实验结果表明:
该算法主要具有抗噪声能力强、计算速度快、定位精度高等优点,即能够获得连续光滑的亚
像素轮廓,且每次检测周期约为 0.2s。
关键词:形态学;边缘检测;图像处理;吹塑产品
中图分类号:TG233.1
The research of blow molding product appearance online
detection technology based on the improved morphological
JIANG Hongquan1, LIANG Zeming1,3, WANG Shuhui2, GAO Jianmin1, WANG
Zhao1, WANG Hongye1, ZHANG Xuewei1
(1. Xi'an Jiaotong University School of Mechanical Engineering,Xi'an 710049;
2. Guangdong Leshan Machinery Co.,Ltd. Foshan 528305;
3. Guangdong Xi'an Jiaotong University Academy, Foshan 528300)
Abstract: The process of blow molding products has many features,such as, fast, high-volume and
so on.Because a large number of appearance dimensions are required to detect,achieving rapid and
accurate detection of online appearance is very important to guaranteeing the quality of
subsequent production and the cost savings.In this paper,a sub-pixel edge detection method based
on improved morphology is proposed,which is used to solve the edge detection problem of blow
product dimensions based on machine vision in the online measurement system.The method is
based on the area of target has been obtained,firstly, the object's pixel-level edge points position
should be determined by the morphological gradient operator and Canny algorithm ;then making
the pixel gray value as the supplementary information for judging in the neighborhood of the
position,and Gaussian fitting method is used to obtain edge point sub-pixel edge profile,and then
getting the size of appearance.The results show that the algorithm has a strong anti-noise
capability, computing speed, high precision positioning and so on,in another word ,continuous
smooth sub-pixel contour can be obtained,and each test cycle is about 0.2s.
Key words: Morphology; Edge detection; Image processing; Blow molding products
0 引言
吹塑产品广泛应用于各类制造业中,吹塑制造业已成为现代工业产品的重要组成部分。
吹塑产品的制造过程普遍采用大批量自动化生产流水线方式,但是,目前吹塑行业产品几何
45
作者简介:姜洪权(1978-),男,陕西铜川人,西安交通大学机械工程学院讲师,主要从事制造信息工程、
可靠性与可维护性工程研究. E-mail: xjtujhq@mail.xjtu.edu.cn
- 1 -
中国科技论文在线
http://www.paper.edu.cn
尺寸检测大多采用人工检测的方式,该方法存在抽检周期长、效率低、精度低、尺寸数据无
法存档等问题,这对吹塑产品的质量检测也相应提出了高效、自动化检测的要求。
在实际生产中,人工检测吹塑产品方式通常由质检人员根据质检计划,利用传统卡尺类
工具定时抽检流水线上的产品尺寸,检测尺寸多且检测工具杂。这种检测方式主观性强,时
50
滞性较大,工作繁重,且出现质量问题时无法及时反馈,往往会导致产品大批量尺寸不合格。
给生产企业造成人力、物力的极大浪费。随着机器视觉技术发展,以其为基础的产品质量自
动化检测技术研究已成为热点之一[1]。如文献[2]提出一种吹塑成型产品在线检测系统,使用
多波长离散光谱光源,测量其壁厚参数等相关特性。文献[3]研究基于机器视觉的焊缝轮廓尺
寸在线测量与缺陷检测技术,该过程是焊接质量检测及管理中的重要环节。文献[4]研究轴类
55
零件几何尺寸视觉测量方法。然而,吹塑产品生产过程具有大批量、高速不间断特点;同时,
由于现场环境的影响,如光照强度低、视觉背景干扰等,产品外形检测精度很难得到保证。
因此,如何利用机器视觉技术实现车间流水线产品在线高速精确检测,已成为吹塑生产过程
中急需解决的难题。
针对以上问题,本文提出一种基于改进形态学的亚像素边缘检测技术,以机器视觉技术
60
为采集手段,对车间流水线产品进行在线高速检测。通过实验对比证明,本方法具有抗噪声
能力强、计算速度快、定位精度高等优点,能够快速准确在线识别产品尺寸缺陷,进而减少
质量成本。
1 基于机器视觉的在线检测技术
1.1 机器视觉在线检测原理
65
基于机器视觉的在线测量系统具有非接触、速度快、精度高以及实时在线测量等优点,
在很多领域得到了广泛应用。在线视觉测量系统应用传感器技术、图像处理技术和计算机技
术,将被测物体的数字图像作为传递和测量的载体。其原理是通过在线采集图像,并对被测
量物体的边缘提取分析得到其几何参数,因此视觉在线测量系统是以图像输入作为被测物体
的感知手段,这就要求在线测量系统具备较高的辨识和分析判断能力。高速高精度在线视觉
70
测量系统是以计算机系统资源为中心,由传送系统、照明系统、光学系统、图像传感器(CCD
或 CMOS)、图像处理系统等模块组成。如图 1 所示,在线视觉测量的基本流程为工件传
送、图像采集、图像处理、图像校正、尺寸测量等环节。
- 2 -
中国科技论文在线
http://www.paper.edu.cn
图 1 在线视觉测量基本流程
75
基于以上检测流程,本文以吹塑产品为测量对象,设计了一种适用于吹塑生产线的在线
视觉测量系统。该系统工作原理如图 2 所示:由吹塑设备生产的吹塑产品经生产线进入下一
环节的过程中,传感器检测到被测物体并触发图像输入模块,由光学系统和图像输入设备采
集被测物体原始图像,将获得的图像经通讯接口 USB 输入计算机,然后采用图像预处理、
80
图像阈值分割、以及亚像素轮廓提取等算子对其进行处理,得到被测物体边缘轮廓数据,进
而利用轮廓间像素点的数量对应的世界坐标求得物体的几何尺寸。
图 2 吹塑产品外形尺寸在线测量系统工作原理
85
1.2 机器视觉在线检测原理
基于机器视觉的在线视觉测量系统中的关键技术包括系统标定、图像采集和图像处理,
它是系统的测量精度、测量速度以及系统稳定性的重要保证。
在视觉测量系统中,系统标定是不可缺或的重要步骤之一。其主要目的为确定空间物体
表面某点的三维几何位置与其在图像坐标中对应点之间的相互关系。因此,需要建立相机成
- 3 -
开始开始工件传送工件传送图像采集图像采集图像处理图像处理图像校正图像校正测量结果输出测量结果输出测量是否完成?测量是否完成?结束结束是是否否
中国科技论文在线
http://www.paper.edu.cn
90
像的几何模型,通过标定技术,确立被测物体空间点位置和图像中像素点位置之间相互对应
关系,保证图像处理精度及算法的稳定性和结果的准确性。
图像采集是指图像经过采样、量化后转换为数字图象并输入、存储到帧存储器的过程[5]。
由于计算机只能解析离散数据,故视觉在线测量系统需要将连续模拟图像数字化,然后将其
以二维矩阵的形式存储在计算机中。
95
图像处理是指为了达到应用要求对图像进行分析、识别和处理的技术,是视觉测量软件
的核心技术,它在一定程度上决定了测量精度、测量速度以及测量软件的自适应性。常见图
像处理包括图像增强、图像分割、图像识别、图像编码、图像理解、特征提取等[6]。利用计
算机对数字图像进行识别、分析和处理后,图像的质量和视觉效果均得到了改善。而针对本
文设计的基于机器视觉的吹塑产品在线测量系统中,运用的图像处理技术包括图像预处理、
100
图像分割、亚像素边缘提取等。
综上所述,以上三个关键技术决定在线视觉测量系统的高效性、实时性、准确性和鲁棒
性,其中尤以图像处理最为重要,本文提出的基于改进形态学的亚像素边缘轮廓提取技术亦
属于图像处理关键技术研究范围。
2 基于改进形态学的亚像素边缘提取技术
105
在实现对吹塑产品外形尺寸的测量之前应该获得被测物体的边缘轮廓。在视觉测量系统
中,边缘轮廓提取的准确性是保证测量精度的关键。而早期使用的边缘检测算子精度只能到
达像素级精度,如 Laplacian 算子、Canny 算子[7]、零交叉检测法等。若一个像素代表的实
际长度较大时,将导致结果出现很大的误差,因此像素级的边缘检测算子已经不能满足测量
精度要求,需要运用更高精度的边缘轮廓提取方法,故亚像素边缘检测方法应运而生。
110
亚像素是将像素单位进行细分,从而达到提高图像分辨率的目的。亚像素轮廓点往往出
现在图像灰度发生逐渐变化的过渡区域,可以使用多项式拟合、插值法等方法求解轮廓的亚
像素位置。亚像素边缘提取可以认为是在系统硬件不变的条件下,利用算法实现边缘高精度
检测,其精度远远高于像素级边缘检测。
亚像素边缘检测是由经典边缘检测方法发展而来的。其基本思路是先采用经典方法粗略求取
115
边缘轮廓的像素级位置,然后根据邻域像素灰度值信息利用求矩法、拟合法等方法更加精确
地定位边缘的亚像素位置。亚像素边缘检测精度虽然高于像素级边缘检测精度,但是处理速
度非常慢,不适应生产线在线实时检测,因此本文提出了基于改进形态学的亚像素边缘检测
方法,该方法具有较快的提取速度和定位精度。
2.1 基于形态学的边缘粗定位
120
数学形态学基本思想是选择具有一定形态的结构元素,用其提取或度量图像中的相关形
状,利于图像的分析和图像识别[8]。形态学处理在图像处理过程中运用较多,如膨胀、腐蚀、
开运算、闭运算、细化运算等是形态学中比较基本的运算。
腐蚀的基本原理是将具有一定形态的结构元素 S 于整个 z2 平面上移动,当移动到 z 点时
记作腐蚀,
能使 S 完全包含于 A 中,将 z 点构成的集合定义为 S 对 A 的腐蚀图像。将
125
其表达形式为:
- 4 -
AS{()}zASzSA
中国科技论文在线
http://www.paper.edu.cn
膨胀的基本原理是结构元素 S 在整个 z2平面上平移过程中,使 S 相对于自身原点的映像
和 A有公共交集,即 A和 至少有一个重合像素点,将 z 点构成的集合表示为 S 对 A 的
膨胀图像,将膨胀记作
,其表达形式为:
130
为了得到准确的图像边缘,先要获得准确的目标图像区域,但是经过阈值分割之后的目
标区域可能出现毛刺,如图 3 所示,如果直接对其进行基于改进形态学的边缘粗定位处理,
将使图像边缘失真,因此为了确保基于形态学的边缘检测能够完整保留边缘信息,可以通过
开运算平滑图像轮廓边缘,并能断开狭窄的连接,消除感兴趣区域周围细毛刺。下面采用结
135
构元素 S 对 A 进行开运算,记作
,表达式为:
将阈值分割获得的图像,经开运算处理得到的区域如图 3 所示。从图中可知,开运算使
图像轮廓变得光滑,去除了干扰,恢复了图像边缘信息。
140
图 3 开运算处理前后对比
在上述分析的基础上,本文基于形态学的边缘检测思路:首先选取一种结构元素对图像
进行开运算,以提高算子的抗噪声能力;然后采用另一结构元素对其进行腐蚀和膨胀,将通
过膨胀后的图像与腐蚀后的图像相减得到图像的边缘部分,这样能够很好地保留图像边缘信
息,大大提高处理速度。假设 f(x,y)表示图像,S1 、S2 表示不同的结构元素,且包含坐标
原点,那么本文提出的抗干扰的形态学算子如下:
145
上式表示膨胀腐蚀型算子,该算子检测到的图像边缘区域比较准确,并保证了原图像的
连通性。但经形态学处理之后边缘信息大于 1 个像素,因此下面采用像素级边缘检测算子对
其进行边缘粗定位,其定位精度是为像素级精度。
150
常用像素级边缘检测算子有 Robert 算子、Prewitt 算子、Log 算子、拉普拉斯算子等[9],
为了使图像轮廓边缘提取更加准确,使用的边缘检测算子应该具备良好的信噪比,定位性能
高和单边响应准则三条件,而 Canny 算法能获得较好的图像边缘,并在边缘检测处理中得
到了广泛的应用。本文也采用了 Canny 算子进行边缘检测,其算子主要包括四个步骤,如
图 4 所示,下面将详细介绍 Canny 边缘检测算法。
- 5 -
ssAS{()}ASzsAAS()ASASS1212()()GradfSSfSS
中国科技论文在线
http://www.paper.edu.cn
155
图 4 Canny 边缘检测算子流程
(1)高斯函数平滑
Canny 边缘检测原理是对高斯函数求其一阶导数,它是通过对信噪比与定位乘积进行
最优化逼近。二维高斯函数表达式如下:
160
高斯平滑滤波器 G(x,y,) 是对上述高斯函数离散化的结果,若图像函数为 f(i,j),高斯
平滑滤波器与图像的卷积由可分离滤波方法求得,其结果为已平滑数据阵列:
式中: ——高斯函数中的滤波大小,用于控制图像的平滑程度。
165
(2)计算方向导数和梯度
对于已平滑数据阵列
,一般采用 2*2 一阶有限差分方法近似计算其梯度。用阵
列
与
作为
对 x 与 y 偏导数:
在上述
矩阵内求得有限差分的均值,有利于计算图像中的同一点 x 与 y 方向的
170
偏导数梯度。那么,在极坐标系下,图像灰度梯度幅值和方位角可以表示为:
式(上式)中反正切函数包含了两个参数,其取值范围是(0,2)。
(3)非极大值抑制
当幅值阵列
的值增加,图像梯度值也随之增加,但边缘仍不能确定,这是因为
175
仅将图像快速变化的问题转换为求解幅值阵列局部最大值问题。因此需要通过对幅值图像中
的屋脊带(Ridge)细化的方法来确定边缘,该过程称之为非极大值抑制。非极大值抑制的实质
是仅保留幅值局部变化最大的点细化
中的梯度幅值屋脊,这种方式主要采用了抑制
梯度线上所有非屋脊峰幅值的方式。
(4)滞后阈值
180
为减少假边缘数量往往采用设置一个边缘幅度阈值,将所有小于该阈值的值置于零。对
非极大值抑制幅值进行阈值化后是图像 f(x, y)的边缘阵列。但是在阈值过程中,往往存
- 6 -
高斯函数平滑高斯函数平滑计算方向导数和梯度计算方向导数和梯度非最大值抑制非最大值抑制滞后阈值滞后阈值222()221(,)2xyGxye(,)(,)*(,,)SijfijGij(,)Sij(,)xSijy(,)Sij(,)Sij1(,)[(,1)(,)(1,1)(1,)]21(,)[(,)(1,)(,1)(1,1)]2xySijSijSijSijSijSijSijSijSijSij2*2221(,)(,)(,)(,)(,)tan(,)yxyxSijMijSijSijijSij(,)Mij(,)Mij
中国科技论文在线
http://www.paper.edu.cn
在这样的问题:当选择较高阈值时,相关边缘能够被选出,但是边缘会被割裂成若干段,甚
至会丢失轮廓信息;当选择低阈值时,虽然能保证完整的相关轮廓,但是会出现很多不相关
边缘。对此情况,Canny 提出一种特殊的阈值分割方法,即滞后阈值分割。
185
滞后阈值不同于单一阈值,其方法采用两个阈值,即高阈值和低阈值。当边缘幅度大于
高阈值的像素点将作为安全边缘被保留,边缘幅度小于低阈值的像素点立即被剔除,而边缘
幅度介于低阈值和高阈值之间的点按某一路经与安全边缘点相连时才作为边缘点保留。如图
5 所示的经阈值分割处理后的边缘,其中左图表示低阈值处理后的边缘,中图表示高阈值处
理后的边缘,右图表示滞后阈值处理后的边缘。
190
图 5 不同阈值分割后的边缘效果图
2.2 亚像素边缘检测方法
经上述 Canny 算子处理之后得到的是被测物体的整像素级边缘,因此为获得更加精确
的边缘轮廓,需要在粗定位的边缘轮廓基础上进一步进行亚像素边缘定位。目前常用的亚像
195
素边缘检测方法是矩方法、插值法和拟合法等。
传统求矩方法中,Mitchel 和 Tabatabai[10]提出了求解前三阶灰度矩来进行亚像素边缘定
位的方法。Shan[11]等人对传统求矩方法进行了改进,提出了模糊边缘模型,使边缘定位更
加准确。基于空间矩和 Zernike 正交矩也相继被提出。矩方法中的典型模型是基于空间矩的
边缘检测方法。矩方法的优点是便于计算,能够得到解析解。但是求矩法对图像噪声敏感,
200
若采用模糊边缘模型,将增加模型参数,使求解过程变得复杂,更严重的问题是解析解不易
确定。
插值法的实质是在图像灰度值函数或灰度值的导数中进行插值来实现亚像素边缘检测。
图像灰度函数实质是图像矩阵中保存的离散值,在矩阵的某行或列利用插值函数近似图像边
缘过渡区连续灰度函数,再根据亚像素边缘检测理论,求得图像边缘的各点的坐标。一般多
205
项式插值和三次样条函数插值应用较多。多项式插值是基于拉格朗日插值理论,而三次样条
函数插值是基于三次 Hermite 插值公式。插值法在一些工业应用中能够获得较好的定位精度。
拟合法是通过对假设边缘灰度值模型的拟合来获得亚像素的边缘定位。一般采用的边缘
模型是理想边缘与点扩散函数卷积得到的高斯型边缘函数,该方法能够获得较高的亚像素边
缘轮廓提取精度。本文采用拟合法来获得亚像素边缘轮廓。
210
因为高斯边缘模型能够较好地模拟图像边缘轮廓,在亚像素边缘检测方法中已得到了广
泛应用。考虑到摄像机的模糊作用,现将模糊边缘看作一个理想阶跃函数 f (x)与高斯函数 g
(x)的卷积。在一维情况下的 f(x)可以定义为:
(0-1)
那么,模糊边缘函数 h(x)表达形式如下:
- 7 -
()mxRfxmnxR
中国科技论文在线
http://www.paper.edu.cn
215
(0-2)
式中:f(x)——理想阶跃函数,x 处的灰度值;m ——背景灰度;n ——目标灰度与背景
灰度之差;R ——边缘位置; ——模糊高斯函数的方差。
又因为图像的灰度值函数时以矩阵形式存储在计算机中,属于离散函数。因此可以将图
像中每个像素点的灰度值采用如下积分形式表示:
220
(0-3)
式(0-3)中i为像素序号,拟合窗口大小为2a+1。二维形式的模糊边缘函数的形式与一维函
数类似,此处不再重复。
亚像素边缘检测方法求解的基本思想是使模糊边缘模型得到的灰度值
与图像的真
实灰度值之间的误差最小,求解模型参数,以此确定亚像素边缘的几何特性。若图像的真实
225
灰度为
, 基于上述分析,目标函数的多元边缘优化参数表达式如下(一维情况):
采用修正牛顿法来求解,最终求得模型的最优参数 R ,,m,n,其中 R 即为所求得的
(0-4)
亚像素边缘位置。
3 实验验证
230
3.1 基于形态学的亚像素边缘提取实现
基于形态学的亚像素边缘提取的算子实现的流程是:首先利用数学形态学算子和 Canny
算子对图像边缘轮廓进行粗定位,然后将边缘幅度拟合成二维多项式曲线,在梯度向量方向
寻找其最大值,得到亚像素边缘轮廓。
因为亚像素轮廓提取相对比较耗时,另外待处理图像分辨率为 4384*3288,如果在亚像
235
素处理过程中要处理图像上的每个像素点,将大大降低了图像的处理速度,因此本文提出的
基于改进形态学的亚像素轮廓提取方法的作用之一是尽可能缩小图像边缘提取区域,提高处
理速度。其形态学算子的实现方法:采用了半径为 15 像素的圆对该区域执行膨胀,采用半
径为 10 像素的圆对该区域进行腐蚀操作,将腐蚀图像与膨胀图像进行差运算,将差运算得
到的边缘区域作为亚像素轮廓提取区域。此时需要处理的亚像素轮廓提取区域如图 6 所示。
- 8 -
22+-()2()()*()()() =()()()()2xRxRuRxhxfxgxgufxudumguduhgudumngudunmedu0.50.5()()iiIihxdxaia()Ii()Gi2(,,,)()()minaiamnRIiGi