logo资料库

基于SIFT的图像配准方法.pdf

第1页 / 共7页
第2页 / 共7页
第3页 / 共7页
第4页 / 共7页
第5页 / 共7页
第6页 / 共7页
第7页 / 共7页
资料共7页,全文预览结束
万方数据
158 红外与激光工程 第37卷 1.5特征点描述 之间特征点的关系。 以上步骤对每个特征点都分配了位置、尺度和方 设参考图为,@,y),实时图为J’(x’,y’),则角点检 向信息,在匹配时可以保证这些特征点对2D几何变 测算法如下。 换保持不变。下一步是对特征点局部区域定义一个特 (1)计算图像J在工和),方向的偏导t和,,,可 征描述符,使其对亮度变化和视角变化保持不变。 以通过和高斯核函数G(z,),,力卷积得到。 以特征点为中心取16×16个像素的窗口,分成16个 4X4的子块,在每个子块上计算O,45,90,135,180, 225。270,315这8个方向的梯度大小和梯度方向直方 图。因此,一个4×4的子块可以得到一8个方向的描 述符,则16个子块可以得到128个方向描述符,这 L O,y,以=,@,y)木q(z,),,力 ,v(工,y,们=,@,y)堆G,@,y,盯) LL@,y,们=t O,),)J,@,y,力 (6) (2)构造自相关矩阵膨@,y,盯,盯)。此矩阵将通过 个l×128的向量定义为特征描述符向量。最后将此特 一个高斯核函数G(工,),,们做为加权与原Ha仃is的自相 征描述符向量归一化并对梯度幅值阈值限制,以使其 关矩阵Q(z,y,∞卷积得到: 对亮度的线性变化和照度不均不敏感。 M@,_),,毋∞=G(工,y,们木Q(工,),,力= 1.6特征点匹配 利用特征点的特征描述符向量之间的Euc瑚距 离作为特征点的匹配度量,Euclid距离最小的两个特 征点可以认为是匹配的候选点对。然后,用最小的 f ~ 2 G@∥’叻半L阮y'回 ~ 1 G@∥∥户‘‘@’y'∞l(7) G(z,y,力串‘O,y,力j lG@,y,计木t‘0,),,力 (3)如果矩阵M有两个特征值,求取矩阵的行列 EucHd距离除以第二小的Euclid距离,如果其比值小 式值和矩阵的迹。 于一定阈值,一般取0.6—0.75,则认为候选点对就是 匹配点对,否则,认为是错误的匹配点对。 2改进的SIFT图像配准方法 S册是宽基线条件下图像匹配的较好方法,但是 其不足在于对特征点匹配的要求过于苛刻,特征点的 数量有时根本无法达到计算所需的3对以上;仅仅用 Euchd距离作为匹配度量仍然不能保证精确的匹配点 对,误匹配点对仍然存在;存在一个特征点对应多个 特征点的情况,当特征点对数量较少时,参数拟合误 差较大。因此,为了提高匹配点对的数量,增加多尺度 H删s角点检测的尺度空间表示,从初始匹配开始就 提高特征点的重复率,以利于提高匹配点对的数量; 同时,特征点数量增加带来的是误匹配点对的增加, 所以,有必要采取措施去除误匹配点对,增强不变点 特征的稳定性,同时又保证3个以上的匹配对;此外, 去除一个特征点对应多个特征点的情况,最终使匹配 点对一一对应,将配准误差控制在一个像素范围内。 2.1多尺度H盯ris角点检测 按以上步骤匹配时保证了在每个尺度检测到的 极值点为各个尺度内的特征点,却不能保证这些特征 点在不同的尺度都出现。当参考图和实时图分辨率不 同时,即图像尺度变化很大时,需要找到检测到的特 征点之间的关系,提高特征点的重复率,因此,利用多 尺度H耐s角点检测的尺度空间表示找到不同尺度 万方数据 C(z,),)=det(M(戈,),))一n×虹ace(M(x,),)) (8) 口是一个固定参数,一般取O.4。如果C(z,y)>r,f 是阈值,则可以确定(石,y)即为一个角点。 同理,图像,7也按照上述步骤计算角点。但是,由 于图像J和,’尺度不同,因此必须根据自相关矩阵求 得盯和仃,C和C’的关系。这样,才能对求得的图像, 和,’的角点进行匹配,确保在高斯尺度空间,当尺度 变化时,减小由于因果性带来的含糊性,提高角点的 重复率。 令图像J和,’的像素坐标关系为一=危R肿f,且,(z 7) =戤),在图像,7和J的自相关矩阵中,采用一嘲一,则: 妇’ dl‘ m’ d’, dv’ d“ 咖’ dv ∽蚓篇 (9) 得到 Q@,们=(2)(L L)=^2尺TQ 7@’,盯7)尺 (1。) 而M(石,盯,面=G(工,面木Q(工,回= J u』',Q(仉"G(u一“,弘V,面d珊忙 矿f(f∥LQ’(∥,矿)G(∥一Ⅳ’,矿叫’,^葫∥d矿)R二 ●-r ~ 矗尺G(戈,盯7)宰Q’(工’,盯7)R= (11) 0蠢1 M,【xr,叮,。;、R
第l期 刘小军等:基于SⅡ丌的图像配准方法 159 上式说明如果在图像,和,’的自相关矩阵中,采 (1)不同分辨率,相同传感器的两幅图像之间的 用盯’=^盯,则角点检测必须满足C’=d矿,图像的分辨 率随尺度的增加而减小,即归l肪。若图像川I勺角点检 匹配。图1为不同分辨率下quickbird卫星的图像匹 配。目的是在机场图像中匹配机库的位置。 测算子满足c>f,则当尺度因子为s时,图像j。角点检 测算子必须满足托。>f。 2.2删除误配点对 为删除误配点对,对得到的初始匹配点对聚类, 匹配点特征包括4个参数:2D坐标(工,),),尺度和方 向,计算匹配点对的尺度倍数,如果倍数大于均值的 1.5倍或者小于均值的O.75倍,则认为特征点对为误 配点对;同理,计算匹配点对的角度差值,如果差值大 于均值的1.5倍,则认为特征点对为误配点对;这样, 去除明显的尺度和方向离群点对。 当多传感器图像匹配时,先利用已经得到的尺度 和方向参数,对实时图进行相应的变换,得到与参考 图尺度和方向大致相同的图像,然后再利用归一化互 信息(NMI)方法匹配位置特征,取匹配点邻域求其大 小,若其小于阈值,则认为特征点对为误配点,将其删 除。当出现一个特征点对应多个特征点的情况时,选 取归一化互信息较大的特征点对为匹配点对,删除其 余的特征点对。归一化互信息定义如下: M(硼=器-2_器 (12) 式中:埘(墨l,)为图像X和l,的互信息。日(X,功为联合 熵;娥的和日(1,)分别为Sh锄non熵。 改进方法的实验结果如下,图l参考图(a),实时 图(b)为经过匹配得到的初始匹配点对,也是经过误 匹配删减以后得到的正确匹配点对;(c)为匹配好的 图像,图中黑色的方框所显示的位置就是实时图中机 库在参考图飞机场中的位置。其中参考图发现452个 点,实时图发现327个点,最终找到4个匹配点对,估 计旋转角度为330,估计尺度变化为2.96。实验结果 与实际情况相符,数据准确可靠。在这种情况下,由于 人造建筑物的特征比较明显,图像质量较好,初始匹 配点对因此比较准确,没有产生误配匹配点对。 图l第一个实验的匹配过程 Fig.1 MatcIlil唱p∞ccss of the触t expcrim∞t (2)图像部分内容相同,相同传感器的两幅或多幅 图像间的配准,如图像的无缝镶嵌,由多幅单个图像匹 配,镶嵌成全景图像。图2为遥感图像的无缝镶嵌。目 的是将已知的小尺寸图像拼接成较大尺寸的图像。 改进方法的结果如下,图2(a),(b)为原图;(c),(d) 为经过匹配得到的初始匹配点对;(e),(f)为经过误匹 然后,利用剩下的匹配点对计算尺度和方向参数, 配删减以后得到的最终正确匹配点对;(g)为无缝拼 将实时图变换后验证位置参数,进行循环迭代,删除误 配点对,最终得到不少于3个以上的最佳匹配点对,再 接好的图像。第一幅图发现448个特征点,第二幅图 发现731个特征点,初始匹配候选点对为186,经过删 通过最小二乘法求取相似变换参数,找到实时图在参 除误匹配点,最终找到49个匹配点对,估计旋转角度 考图中的位置,或者对图像进行无缝拼接及配准。 3实验结果及分析 为验证基于S册的图像配准方法,在3种不同 情况下进行匹配实验。在Pend啪Ⅳ2.8 GHz、内存 512M的PC机上采用Matl曲6.5软件平台实现的。 为200,估计尺度变化为1.Ol。从结果图中可以看出, 两幅图像的接缝处过渡平滑,纹理清楚,图中河流连 接顺畅,误差几乎为0。在这种情况下,原S册图像 匹配方法得到81对匹配点对,估计旋转角度为19。, 估计尺度变化为1.1。造成误差的原因是匹配点对较 多,有个别离群点使参数拟合不够准确。 图2第二个实验的匹配过程 Fig.2 Matchil唱肼o∞韶of the辩cond既pcdmcnt 万方数据
160 红外与激光工程 第37卷 (3)不同传感器的两幅图像之间的配准。图3为 值为O.8,小于此阈值的匹配点对认为是误匹配。所以 NASA不同传感器之间的图像配准。目的是为不同传 感器之间的图像融合做准备,只有在几何形状上配准 以后,才能采用主分量分析、ⅢS变换和小波变换等 方法对图像进行融合。 图3第三个买验的匹配过程 Fig.3 Matching眦ess 0f thc third experime眦 得到的初始匹配点对较少,不过经过删除误匹配点, 仍然找到其中20%的正确匹配点对。 4结束语 文中提出的基于S册图像配准方法能处理大尺度 图像和不同传感器图像配准问题,对于不同分辨率的景 象匹配等完全相似变换问题效果很好,在未对图像进行 任何预处理和滤波的情况下,能提取不同传感器图像的 不变特征。在提取过程中加入多尺度Hafris检测算子的 尺度空间表示,提高了匹配点对的重复率,通过聚类和 归一化互信息对候选匹配点对的角度、尺度和位置特征 进行迭代筛选,删除错误的匹配点对,利用匹配点对的 位置、角度和尺度等特征,得到对两幅图像之间亮度变 化和相似变换保持不变的同名点对,最后通过重采样, 实现不同目的的图像分析和应用。 参考文献: 改进方法的结果如下,(a),(b)为经过匹配得到的 Ⅱ】 初始匹配点对;(c),(d)是经过误匹配删减以后得到的 最终的正确匹配点对;(e)为匹配好的图像,由于文中 不是讨论图像融合,因此只是简单地将两幅图进行叠 加。其中参考图发现972个特征点,实时图发现2 199 个特征点,初始匹配候选点对为22,经过删除误匹配 点,最终找到4个匹配点对,估计旋转角度为150,估 计尺度变化为1.458。在这种情况下,原S耵图像匹 配方法存在误匹配或者找不到足够的匹配点对。 实验表明,文中提出的基于S矾'的图像配准方 法对3种情况下的图像匹配都非常有效和稳健。在第 一种情况下,尺度变化非常大,得到最终正确的匹配 点对约为原始点对的1%,在这种情况下,采用一般的 Harris或者sUSAN角点检测算子检测角点,然后利 用黜蝌SAC的方法就无法将内点(正确的匹配点)和 外点(错误的匹配点)区分开。而只有将Harris角点用 尺度空间表示,使其对相似变换不敏感,同时构成不 变特征向量,最终利用距离度量准确找到匹配点对。 在第二种情况下,由于分辨率相同,灰度分布相似的 点比较多,因此初始匹配的点对相对较多,所以,误匹 配的概率也相当高,经过进一步删除误匹配点后,最 终得到的正确匹配点对仍然较多,用最小二乘法得到 的相似变换参数比较准确,配准结果令人满意。在第 三种情况下,尽管分辨率基本相同,但是由于采用不 同传感器成像,匹配难度较大,有必要利用归一化互 信息对初始匹配进行筛选,设邻域大小为30×30,阈 万方数据 LIU Xiaoj峨¨NG Jie,心G Ji觚督o.或aI.Sc哪Inatc峨 sign cor∞lati∞p1.h旺h恻珊耐 妇蛐钾一豫(刘小军,杨杰,凌建国,等.一种增量符号 incI锐n∞t al,pfoach by 相关的景象匹配方法.红外与激光工程),2006,弱(6):732—737. 【2】U狲G)(i∞.y趾,)(IJE Mo—g印,HAN Yu·sheng,et a1. 泖ence in城ge stitclling based ∞area fealu∞and cmss c0埘el砒i蛆【J】.hlrar耐蚰d L∞盯Dn毋n∞而唱(冷晓艳,薛 模根,韩裕生,等.基于区域特征与灰度交叉相关的序列图像 【3】 拼接.红外与激光工程),2005,34(5):602—605. SC删Ⅷ【D C,M0Ⅲt I己,BAUClc】弘GE C.Evalua虹on 0f imere髓 point detect吣阴.ht唧砌蚰m Joumm 0f compIn盯Vi如峨 【4】H脚S C G's11强旺№M J.A‰b删cofn盯孤d Edgc m眦tor【c】,,pr∞脚of铀AJv呵vi商蛐Co血棚蜕。 2000,37(2):15l一172. 1988:147一15l- 【5】UDWE D G.Distinctive imagc缸咖r懿劬m scale—inv撕柚t keypoints【J】.h蛔咖嘣删眦Jo删lm 0f CI删put盯vid帆, 2004,印(2):91一110. L烈嘞ERG T.Scale—sp戤theofy:a b舔ic tool for锄ly如g g岫cnIrcs at di恐rent∞ales田.JoumI of A娜帕ed S协吐鲥船, 19914,21(2):224—270. 【6】 【7】~ⅡKoI.AJCzYK K.Detc鳓∞of 10cal蛾岫嘟岫ari锄t to 【8】 f9】 affi∞仃ansfbrmatio眦【I)1.Ff龃∞:hstimt Nalional P0lytccbn埘∞ de Grenoble.2002:37—40. BRoWN M,I DWE D G.h甜.mt fc舭s fbm in吼est poim groups【q,/Bri凼h M撕:hI耻vi鳓叫C蛐晚呦oe.2002:656-665. Yv嚣Dufb眦Mlld,oordelia Sc王lmid,lhdu Ho慨Ild.五跚唾re ma蛐ing晰th s∞lc adjus锄锄t【J】.com阳丘盯V瑚蛐删 Ima妒under嘶啪di衄,2004,93(2):175一194.
基于SIFT的图像配准方法 作者: 刘小军, 杨杰, 孙坚伟, 刘志, LIU Xiao-Jun, YANG Jie, SUN Jian-Wei, LIU Zhi 作者单位: 刘小军,杨杰,LIU Xiao-Jun,YANG Jie(上海交通大学,图像处理与模式识别研究所,上海 ,200240), 孙坚伟,SUN Jian-Wei(中国科学院上海技术物理研究所,上海,200083), 刘志 ,LIU Zhi(上海大学,通信与信息工程学院,上海,200072) 刊名: 红外与激光工程 英文刊名: INFRARED AND LASER ENGINEERING 年,卷(期): 2008,37(1) 16次 被引用次数: 参考文献(9条) 1.刘小军;杨杰;凌建国 一种增量符号相关的景象匹配方法[期刊论文]-红外与激光工程 2006(06) 2.冷晓艳;薛模根;韩裕生 基于区域特征与灰度交叉相关的序列图像拼接[期刊论文]-红外与激光工程 2005(05) 3.SCHMID C;MOHR R;BAUCKHAGE C Evaluation of interest point detectors[外文期刊] 2000(02) 4.HARRIS C G;STEPHENS M J A Combined Corner and Edge Detector 1988 5.LOWE D G Distinctive image features from scale-invariant keypoints[外文期刊] 2004(02) 6.LINDEBERG T Scale-space theory:a basic tool for analysing structures at different scales 1994(02) 7.MIKOLAJCZYK K Detection of local features invariant to affine transformations 2002 8.BROWN M;LOWE D G Invariant features from interest point groups 2002 9.Yves Dufournaud;Cordelia Schmid;Radu Horaud Image mashing with scale adjustment[外文期刊] 2004(02) 本文读者也读过(7条) 1. 刘立.彭复员.赵坤.万亚平.LIU Li.PENG Fu-yuan.ZHAO Kun.WAN Ya-ping 采用简化SIFT算法实现快速图像匹配 [期刊论文]-红外与激光工程2008,37(1) 2. 李玲玲.李翠华.曾晓明.李保.Li Lingling.Li Cuihua.Zeng Xiaoming.Li Bao 基于Harris-Affine和SIFT特征 匹配的图像自动配准[期刊论文]-华中科技大学学报(自然科学版)2008,36(8) 3. 傅卫平.秦川.刘佳.杨世强.王雯.Fu Weiping.Qin Chuan.Liu Jia.Yang Shiqiang.Wang Wen 基于SIFT算法的图 像目标匹配与定位[期刊论文]-仪器仪表学报2011,32(1) 4. 张锐娟.张建奇.杨翠.ZHANG Rui-juan.ZHANG Jian-qi.YANG Cui 基于SURF的图像配准方法研究[期刊论文]-红 外与激光工程2009,38(1) 5. 李晓明.郑链.胡占义.LI Xiao-ming.ZHENG Lian.HU Zhan-yi 基于SIFT特征的遥感影像自动配准[期刊论文]-遥 感学报2006,10(6) 6. 纪华.吴元昊.孙宏海.王延杰.JI Hua.WU Yuan-hao.SUN Hong-hai.WANG Yan-jie 结合全局信息的SIFT特征匹配 算法[期刊论文]-光学精密工程2009,17(2) 7. 张春美.龚志辉.孙雷.ZHANG Chun-mei.GONG Zhi-hui.SUN Lei 改进SIFT特征在图像匹配中的应用[期刊论文]- 计算机工程与应用2008,44(2) 引证文献(17条) 1.周峰.刘辉.李超峰 SIFT算法在图像配准中的应用[期刊论文]-办公自动化(综合版) 2009(11) 2.张建德.陆金桂 工件视觉测量中的图像配准[期刊论文]-南京工业大学学报(自然科学版) 2011(3) 3.曹世翔.江洁.张广军.袁艳 边缘特征点的多分辨率图像拼接[期刊论文]-计算机研究与发展 2011(9) 4.魏晓敏.黎宁 高斯核尺寸对SIFT算法的影响[期刊论文]-中国电子商情·通信市场 2010(6) 5.安建妮.刘贵喜 利用特征点配准和变换参数自动辨识的图像拼接算法[期刊论文]-红外与激光工程 2011(3)
6.赵秀影.王洪玉.杨子龙.周海参 基于误差阈值和最小二乘图像拼接关系矩阵的实现[期刊论文]-光电技术应用 2011(2) 7.王勃.龚志辉.靳克强.张一平 一种改进的无人机影像拼接方法[期刊论文]-计算机工程与应用 2011(35) 8.茹朝阳 基于SIFT特征的遥感影像自动配准[期刊论文]-城市勘测 2009(6) 9.于雅楠.王向军 采用频闪成像技术的柔性气动外形运动物体SIFT特征跟踪[期刊论文]-红外与激光工程 2011(9) 10.张建花.白仲斐.惠广裕 基于SIFT算法的异源遥感影像自动匹配研究[期刊论文]-电子设计工程 2011(13) 11.王晓丽.王丽荣 基于改进SIFT算法的局域盲人图像导航方法研究[期刊论文]-长春大学学报(自然科学版) 2010(5) 12.康燕妮.黄欢.朱玉艳.来沛剑 基于SIFT的超分辨率图像配准及MATLAB实现[期刊论文]-电脑知识与技术 2009(28) 13.梁栋.颜普.朱明.胡根生 一种基于NSCT和SIFT的遥感图像配准算法[期刊论文]-仪器仪表学报 2011(5) 14.董博.陶忠祥.苏伍各 基于SIFT的红外与可见光图像配准方法[期刊论文]-火力与指挥控制 2011(11) 15.张锐娟.张建奇.杨翠 基于SURF的图像配准方法研究[期刊论文]-红外与激光工程 2009(1) 16.鄢余武.姚小强.孙亚军 基于两特征博弈的图像配准方法[期刊论文]-计算机应用研究 2011(5) 17.刘婷.赵惠燕 基于局部特征提取的棉蚜天敌识别[期刊论文]-计算机工程与设计 2010(16) 本文链接:http://d.g.wanfangdata.com.cn/Periodical_hwyjggc200801036.aspx
分享到:
收藏