万方数据
158
红外与激光工程
第37卷
1.5特征点描述
之间特征点的关系。
以上步骤对每个特征点都分配了位置、尺度和方
设参考图为,@,y),实时图为J’(x’,y’),则角点检
向信息,在匹配时可以保证这些特征点对2D几何变
测算法如下。
换保持不变。下一步是对特征点局部区域定义一个特
(1)计算图像J在工和),方向的偏导t和,,,可
征描述符,使其对亮度变化和视角变化保持不变。
以通过和高斯核函数G(z,),,力卷积得到。
以特征点为中心取16×16个像素的窗口,分成16个
4X4的子块,在每个子块上计算O,45,90,135,180,
225。270,315这8个方向的梯度大小和梯度方向直方
图。因此,一个4×4的子块可以得到一8个方向的描
述符,则16个子块可以得到128个方向描述符,这
L O,y,以=,@,y)木q(z,),,力
,v(工,y,们=,@,y)堆G,@,y,盯)
LL@,y,们=t O,),)J,@,y,力
(6)
(2)构造自相关矩阵膨@,y,盯,盯)。此矩阵将通过
个l×128的向量定义为特征描述符向量。最后将此特
一个高斯核函数G(工,),,们做为加权与原Ha仃is的自相
征描述符向量归一化并对梯度幅值阈值限制,以使其
关矩阵Q(z,y,∞卷积得到:
对亮度的线性变化和照度不均不敏感。
M@,_),,毋∞=G(工,y,们木Q(工,),,力=
1.6特征点匹配
利用特征点的特征描述符向量之间的Euc瑚距
离作为特征点的匹配度量,Euclid距离最小的两个特
征点可以认为是匹配的候选点对。然后,用最小的
f
~
2
G@∥’叻半L阮y'回
~
1
G@∥∥户‘‘@’y'∞l(7)
G(z,y,力串‘O,y,力j
lG@,y,计木t‘0,),,力
(3)如果矩阵M有两个特征值,求取矩阵的行列
EucHd距离除以第二小的Euclid距离,如果其比值小
式值和矩阵的迹。
于一定阈值,一般取0.6—0.75,则认为候选点对就是
匹配点对,否则,认为是错误的匹配点对。
2改进的SIFT图像配准方法
S册是宽基线条件下图像匹配的较好方法,但是
其不足在于对特征点匹配的要求过于苛刻,特征点的
数量有时根本无法达到计算所需的3对以上;仅仅用
Euchd距离作为匹配度量仍然不能保证精确的匹配点
对,误匹配点对仍然存在;存在一个特征点对应多个
特征点的情况,当特征点对数量较少时,参数拟合误
差较大。因此,为了提高匹配点对的数量,增加多尺度
H删s角点检测的尺度空间表示,从初始匹配开始就
提高特征点的重复率,以利于提高匹配点对的数量;
同时,特征点数量增加带来的是误匹配点对的增加,
所以,有必要采取措施去除误匹配点对,增强不变点
特征的稳定性,同时又保证3个以上的匹配对;此外,
去除一个特征点对应多个特征点的情况,最终使匹配
点对一一对应,将配准误差控制在一个像素范围内。
2.1多尺度H盯ris角点检测
按以上步骤匹配时保证了在每个尺度检测到的
极值点为各个尺度内的特征点,却不能保证这些特征
点在不同的尺度都出现。当参考图和实时图分辨率不
同时,即图像尺度变化很大时,需要找到检测到的特
征点之间的关系,提高特征点的重复率,因此,利用多
尺度H耐s角点检测的尺度空间表示找到不同尺度
万方数据
C(z,),)=det(M(戈,),))一n×虹ace(M(x,),))
(8)
口是一个固定参数,一般取O.4。如果C(z,y)>r,f
是阈值,则可以确定(石,y)即为一个角点。
同理,图像,7也按照上述步骤计算角点。但是,由
于图像J和,’尺度不同,因此必须根据自相关矩阵求
得盯和仃,C和C’的关系。这样,才能对求得的图像,
和,’的角点进行匹配,确保在高斯尺度空间,当尺度
变化时,减小由于因果性带来的含糊性,提高角点的
重复率。
令图像J和,’的像素坐标关系为一=危R肿f,且,(z 7)
=戤),在图像,7和J的自相关矩阵中,采用一嘲一,则:
妇’
dl‘
m’
d’,
dv’
d“
咖’
dv
∽蚓篇 (9)
得到 Q@,们=(2)(L L)=^2尺TQ 7@’,盯7)尺
(1。)
而M(石,盯,面=G(工,面木Q(工,回=
J u』',Q(仉"G(u一“,弘V,面d珊忙
矿f(f∥LQ’(∥,矿)G(∥一Ⅳ’,矿叫’,^葫∥d矿)R二
●-r
~
矗尺G(戈,盯7)宰Q’(工’,盯7)R=
(11)
0蠢1 M,【xr,叮,。;、R
第l期
刘小军等:基于SⅡ丌的图像配准方法
159
上式说明如果在图像,和,’的自相关矩阵中,采
(1)不同分辨率,相同传感器的两幅图像之间的
用盯’=^盯,则角点检测必须满足C’=d矿,图像的分辨
率随尺度的增加而减小,即归l肪。若图像川I勺角点检
匹配。图1为不同分辨率下quickbird卫星的图像匹
配。目的是在机场图像中匹配机库的位置。
测算子满足c>f,则当尺度因子为s时,图像j。角点检
测算子必须满足托。>f。
2.2删除误配点对
为删除误配点对,对得到的初始匹配点对聚类,
匹配点特征包括4个参数:2D坐标(工,),),尺度和方
向,计算匹配点对的尺度倍数,如果倍数大于均值的
1.5倍或者小于均值的O.75倍,则认为特征点对为误
配点对;同理,计算匹配点对的角度差值,如果差值大
于均值的1.5倍,则认为特征点对为误配点对;这样,
去除明显的尺度和方向离群点对。
当多传感器图像匹配时,先利用已经得到的尺度
和方向参数,对实时图进行相应的变换,得到与参考
图尺度和方向大致相同的图像,然后再利用归一化互
信息(NMI)方法匹配位置特征,取匹配点邻域求其大
小,若其小于阈值,则认为特征点对为误配点,将其删
除。当出现一个特征点对应多个特征点的情况时,选
取归一化互信息较大的特征点对为匹配点对,删除其
余的特征点对。归一化互信息定义如下:
M(硼=器-2_器 (12)
式中:埘(墨l,)为图像X和l,的互信息。日(X,功为联合
熵;娥的和日(1,)分别为Sh锄non熵。
改进方法的实验结果如下,图l参考图(a),实时
图(b)为经过匹配得到的初始匹配点对,也是经过误
匹配删减以后得到的正确匹配点对;(c)为匹配好的
图像,图中黑色的方框所显示的位置就是实时图中机
库在参考图飞机场中的位置。其中参考图发现452个
点,实时图发现327个点,最终找到4个匹配点对,估
计旋转角度为330,估计尺度变化为2.96。实验结果
与实际情况相符,数据准确可靠。在这种情况下,由于
人造建筑物的特征比较明显,图像质量较好,初始匹
配点对因此比较准确,没有产生误配匹配点对。
图l第一个实验的匹配过程
Fig.1 MatcIlil唱p∞ccss of the触t expcrim∞t
(2)图像部分内容相同,相同传感器的两幅或多幅
图像间的配准,如图像的无缝镶嵌,由多幅单个图像匹
配,镶嵌成全景图像。图2为遥感图像的无缝镶嵌。目
的是将已知的小尺寸图像拼接成较大尺寸的图像。
改进方法的结果如下,图2(a),(b)为原图;(c),(d)
为经过匹配得到的初始匹配点对;(e),(f)为经过误匹
然后,利用剩下的匹配点对计算尺度和方向参数,
配删减以后得到的最终正确匹配点对;(g)为无缝拼
将实时图变换后验证位置参数,进行循环迭代,删除误
配点对,最终得到不少于3个以上的最佳匹配点对,再
接好的图像。第一幅图发现448个特征点,第二幅图
发现731个特征点,初始匹配候选点对为186,经过删
通过最小二乘法求取相似变换参数,找到实时图在参
除误匹配点,最终找到49个匹配点对,估计旋转角度
考图中的位置,或者对图像进行无缝拼接及配准。
3实验结果及分析
为验证基于S册的图像配准方法,在3种不同
情况下进行匹配实验。在Pend啪Ⅳ2.8 GHz、内存
512M的PC机上采用Matl曲6.5软件平台实现的。
为200,估计尺度变化为1.Ol。从结果图中可以看出,
两幅图像的接缝处过渡平滑,纹理清楚,图中河流连
接顺畅,误差几乎为0。在这种情况下,原S册图像
匹配方法得到81对匹配点对,估计旋转角度为19。,
估计尺度变化为1.1。造成误差的原因是匹配点对较
多,有个别离群点使参数拟合不够准确。
图2第二个实验的匹配过程
Fig.2 Matchil唱肼o∞韶of the辩cond既pcdmcnt
万方数据
160
红外与激光工程
第37卷
(3)不同传感器的两幅图像之间的配准。图3为
值为O.8,小于此阈值的匹配点对认为是误匹配。所以
NASA不同传感器之间的图像配准。目的是为不同传
感器之间的图像融合做准备,只有在几何形状上配准
以后,才能采用主分量分析、ⅢS变换和小波变换等
方法对图像进行融合。
图3第三个买验的匹配过程
Fig.3 Matching眦ess 0f thc third experime眦
得到的初始匹配点对较少,不过经过删除误匹配点,
仍然找到其中20%的正确匹配点对。
4结束语
文中提出的基于S册图像配准方法能处理大尺度
图像和不同传感器图像配准问题,对于不同分辨率的景
象匹配等完全相似变换问题效果很好,在未对图像进行
任何预处理和滤波的情况下,能提取不同传感器图像的
不变特征。在提取过程中加入多尺度Hafris检测算子的
尺度空间表示,提高了匹配点对的重复率,通过聚类和
归一化互信息对候选匹配点对的角度、尺度和位置特征
进行迭代筛选,删除错误的匹配点对,利用匹配点对的
位置、角度和尺度等特征,得到对两幅图像之间亮度变
化和相似变换保持不变的同名点对,最后通过重采样,
实现不同目的的图像分析和应用。
参考文献:
改进方法的结果如下,(a),(b)为经过匹配得到的
Ⅱ】
初始匹配点对;(c),(d)是经过误匹配删减以后得到的
最终的正确匹配点对;(e)为匹配好的图像,由于文中
不是讨论图像融合,因此只是简单地将两幅图进行叠
加。其中参考图发现972个特征点,实时图发现2 199
个特征点,初始匹配候选点对为22,经过删除误匹配
点,最终找到4个匹配点对,估计旋转角度为150,估
计尺度变化为1.458。在这种情况下,原S耵图像匹
配方法存在误匹配或者找不到足够的匹配点对。
实验表明,文中提出的基于S矾'的图像配准方
法对3种情况下的图像匹配都非常有效和稳健。在第
一种情况下,尺度变化非常大,得到最终正确的匹配
点对约为原始点对的1%,在这种情况下,采用一般的
Harris或者sUSAN角点检测算子检测角点,然后利
用黜蝌SAC的方法就无法将内点(正确的匹配点)和
外点(错误的匹配点)区分开。而只有将Harris角点用
尺度空间表示,使其对相似变换不敏感,同时构成不
变特征向量,最终利用距离度量准确找到匹配点对。
在第二种情况下,由于分辨率相同,灰度分布相似的
点比较多,因此初始匹配的点对相对较多,所以,误匹
配的概率也相当高,经过进一步删除误匹配点后,最
终得到的正确匹配点对仍然较多,用最小二乘法得到
的相似变换参数比较准确,配准结果令人满意。在第
三种情况下,尽管分辨率基本相同,但是由于采用不
同传感器成像,匹配难度较大,有必要利用归一化互
信息对初始匹配进行筛选,设邻域大小为30×30,阈
万方数据
LIU Xiaoj峨¨NG Jie,心G Ji觚督o.或aI.Sc哪Inatc峨
sign cor∞lati∞p1.h旺h恻珊耐
妇蛐钾一豫(刘小军,杨杰,凌建国,等.一种增量符号
incI锐n∞t
al,pfoach
by
相关的景象匹配方法.红外与激光工程),2006,弱(6):732—737.
【2】U狲G)(i∞.y趾,)(IJE Mo—g印,HAN Yu·sheng,et a1.
泖ence in城ge
stitclling based ∞area fealu∞and cmss
c0埘el砒i蛆【J】.hlrar耐蚰d L∞盯Dn毋n∞而唱(冷晓艳,薛
模根,韩裕生,等.基于区域特征与灰度交叉相关的序列图像
【3】
拼接.红外与激光工程),2005,34(5):602—605.
SC删Ⅷ【D C,M0Ⅲt I己,BAUClc】弘GE C.Evalua虹on 0f imere髓
point detect吣阴.ht唧砌蚰m Joumm 0f compIn盯Vi如峨
【4】H脚S C G's11强旺№M J.A‰b删cofn盯孤d Edgc
m眦tor【c】,,pr∞脚of铀AJv呵vi商蛐Co血棚蜕。
2000,37(2):15l一172.
1988:147一15l-
【5】UDWE D G.Distinctive imagc缸咖r懿劬m scale—inv撕柚t
keypoints【J】.h蛔咖嘣删眦Jo删lm 0f CI删put盯vid帆,
2004,印(2):91一110.
L烈嘞ERG T.Scale—sp戤theofy:a b舔ic tool for锄ly如g
g岫cnIrcs at di恐rent∞ales田.JoumI of A娜帕ed S协吐鲥船,
19914,21(2):224—270.
【6】
【7】~ⅡKoI.AJCzYK K.Detc鳓∞of 10cal蛾岫嘟岫ari锄t to
【8】
f9】
affi∞仃ansfbrmatio眦【I)1.Ff龃∞:hstimt Nalional P0lytccbn埘∞
de Grenoble.2002:37—40.
BRoWN M,I DWE D G.h甜.mt fc舭s fbm in吼est poim
groups【q,/Bri凼h M撕:hI耻vi鳓叫C蛐晚呦oe.2002:656-665.
Yv嚣Dufb眦Mlld,oordelia Sc王lmid,lhdu
Ho慨Ild.五跚唾re
ma蛐ing晰th s∞lc adjus锄锄t【J】.com阳丘盯V瑚蛐删
Ima妒under嘶啪di衄,2004,93(2):175一194.
基于SIFT的图像配准方法
作者:
刘小军, 杨杰, 孙坚伟, 刘志, LIU Xiao-Jun, YANG Jie, SUN Jian-Wei, LIU Zhi
作者单位:
刘小军,杨杰,LIU Xiao-Jun,YANG Jie(上海交通大学,图像处理与模式识别研究所,上海
,200240), 孙坚伟,SUN Jian-Wei(中国科学院上海技术物理研究所,上海,200083), 刘志
,LIU Zhi(上海大学,通信与信息工程学院,上海,200072)
刊名:
红外与激光工程
英文刊名:
INFRARED AND LASER ENGINEERING
年,卷(期):
2008,37(1)
16次
被引用次数:
参考文献(9条)
1.刘小军;杨杰;凌建国 一种增量符号相关的景象匹配方法[期刊论文]-红外与激光工程 2006(06)
2.冷晓艳;薛模根;韩裕生 基于区域特征与灰度交叉相关的序列图像拼接[期刊论文]-红外与激光工程 2005(05)
3.SCHMID C;MOHR R;BAUCKHAGE C Evaluation of interest point detectors[外文期刊] 2000(02)
4.HARRIS C G;STEPHENS M J A Combined Corner and Edge Detector 1988
5.LOWE D G Distinctive image features from scale-invariant keypoints[外文期刊] 2004(02)
6.LINDEBERG T Scale-space theory:a basic tool for analysing structures at different scales 1994(02)
7.MIKOLAJCZYK K Detection of local features invariant to affine transformations 2002
8.BROWN M;LOWE D G Invariant features from interest point groups 2002
9.Yves Dufournaud;Cordelia Schmid;Radu Horaud Image mashing with scale adjustment[外文期刊] 2004(02)
本文读者也读过(7条)
1. 刘立.彭复员.赵坤.万亚平.LIU Li.PENG Fu-yuan.ZHAO Kun.WAN Ya-ping 采用简化SIFT算法实现快速图像匹配
[期刊论文]-红外与激光工程2008,37(1)
2. 李玲玲.李翠华.曾晓明.李保.Li Lingling.Li Cuihua.Zeng Xiaoming.Li Bao 基于Harris-Affine和SIFT特征
匹配的图像自动配准[期刊论文]-华中科技大学学报(自然科学版)2008,36(8)
3. 傅卫平.秦川.刘佳.杨世强.王雯.Fu Weiping.Qin Chuan.Liu Jia.Yang Shiqiang.Wang Wen 基于SIFT算法的图
像目标匹配与定位[期刊论文]-仪器仪表学报2011,32(1)
4. 张锐娟.张建奇.杨翠.ZHANG Rui-juan.ZHANG Jian-qi.YANG Cui 基于SURF的图像配准方法研究[期刊论文]-红
外与激光工程2009,38(1)
5. 李晓明.郑链.胡占义.LI Xiao-ming.ZHENG Lian.HU Zhan-yi 基于SIFT特征的遥感影像自动配准[期刊论文]-遥
感学报2006,10(6)
6. 纪华.吴元昊.孙宏海.王延杰.JI Hua.WU Yuan-hao.SUN Hong-hai.WANG Yan-jie 结合全局信息的SIFT特征匹配
算法[期刊论文]-光学精密工程2009,17(2)
7. 张春美.龚志辉.孙雷.ZHANG Chun-mei.GONG Zhi-hui.SUN Lei 改进SIFT特征在图像匹配中的应用[期刊论文]-
计算机工程与应用2008,44(2)
引证文献(17条)
1.周峰.刘辉.李超峰 SIFT算法在图像配准中的应用[期刊论文]-办公自动化(综合版) 2009(11)
2.张建德.陆金桂 工件视觉测量中的图像配准[期刊论文]-南京工业大学学报(自然科学版) 2011(3)
3.曹世翔.江洁.张广军.袁艳 边缘特征点的多分辨率图像拼接[期刊论文]-计算机研究与发展 2011(9)
4.魏晓敏.黎宁 高斯核尺寸对SIFT算法的影响[期刊论文]-中国电子商情·通信市场 2010(6)
5.安建妮.刘贵喜 利用特征点配准和变换参数自动辨识的图像拼接算法[期刊论文]-红外与激光工程 2011(3)
6.赵秀影.王洪玉.杨子龙.周海参 基于误差阈值和最小二乘图像拼接关系矩阵的实现[期刊论文]-光电技术应用
2011(2)
7.王勃.龚志辉.靳克强.张一平 一种改进的无人机影像拼接方法[期刊论文]-计算机工程与应用 2011(35)
8.茹朝阳 基于SIFT特征的遥感影像自动配准[期刊论文]-城市勘测 2009(6)
9.于雅楠.王向军 采用频闪成像技术的柔性气动外形运动物体SIFT特征跟踪[期刊论文]-红外与激光工程 2011(9)
10.张建花.白仲斐.惠广裕 基于SIFT算法的异源遥感影像自动匹配研究[期刊论文]-电子设计工程 2011(13)
11.王晓丽.王丽荣 基于改进SIFT算法的局域盲人图像导航方法研究[期刊论文]-长春大学学报(自然科学版)
2010(5)
12.康燕妮.黄欢.朱玉艳.来沛剑 基于SIFT的超分辨率图像配准及MATLAB实现[期刊论文]-电脑知识与技术
2009(28)
13.梁栋.颜普.朱明.胡根生 一种基于NSCT和SIFT的遥感图像配准算法[期刊论文]-仪器仪表学报 2011(5)
14.董博.陶忠祥.苏伍各 基于SIFT的红外与可见光图像配准方法[期刊论文]-火力与指挥控制 2011(11)
15.张锐娟.张建奇.杨翠 基于SURF的图像配准方法研究[期刊论文]-红外与激光工程 2009(1)
16.鄢余武.姚小强.孙亚军 基于两特征博弈的图像配准方法[期刊论文]-计算机应用研究 2011(5)
17.刘婷.赵惠燕 基于局部特征提取的棉蚜天敌识别[期刊论文]-计算机工程与设计 2010(16)
本文链接:http://d.g.wanfangdata.com.cn/Periodical_hwyjggc200801036.aspx