高分辨率多光谱遥感图像的自动配准

第 41 卷第 12 期 Vol.41 No.12 红外与激光工程 Infrared and Laser Engineering 2012 年 12 月 Dec. 2012 高分辨率多光谱遥感图像的自动配准吴俣 1,2，余涛 1，谢东海 1,2，郑利娟 1 (1. 中国科学院遥感应用研究所遥感科学国家重点实验室，北京 100101； 2. 中国科学院大学，北京 100049) 摘要：当前高分辨率多光谱遥感图像自动配准的主要困难，在于图像特征提取的自动化程度不足，计算速度较慢。针对不同传感器和不同时空分辨率的高分辨率多光谱遥感图像，改进点特征的提取方法，获得较高精度和较快速度。首先构建三维高斯差分尺度空间，由低层获得粗匹配点，在空间上向高层索引特征点。然后，通过逐层搜索获得精匹配点。在各层中，通过特征点方向描述子的空间增强，提高特征点的质量和数量。最后，综合多光谱遥感图像的可见光和近红外等波段的同名点集，获得亚像素级的匹配点。试验了环境星、TM、GEOEYE、无人机遥感图像等高分辨率遥感图像，对改进算法结果进行了较全面的对比分析。关键词：自动配准；同名点；高斯金字塔；差分尺度空间；多光谱遥感图像中图分类号： TP722 文章编号： 1007-2276(2012)12-3285-07 文献标志码： A Automatic registration of high resolution and multi-spectral temote sensing images Wu Yu1,2, Yu Tao1, Xie Donghai1,2, Zheng Lijuan1 (1. State Key Laboratory of Remote Sensing Science, Institute of Remote Sensing Applications of Chinese Academy of Sciences, Beijing 100101, China; 2. University of Chinese Academy of Sciences, Beijing 100049, China) Abstract: A modified a pproach of characteristic point extraction was presented, in order to improve the low automation and slow calculation of registration for high resolution and multi-spectral remote sensing images. This method can be used for different sensors with different temporal and spatial resolution, and obtain the better precision and faster computation. Firstly, based on the original SIFT algorithm, a new dimension was applied for progressive down sampled image spatial resolutions with two dimensional difference of Gaussian scale space. Thus, the three dimensional difference of Gaussian scale space was constructed for the gray image of individual bands. The coarse corresponding points, which were obtained from the lower layer, can be used for the spatial indices of the higher layers of the image. Then, the refined corresponding points were collected by the layer by layer searching. In every layer, since the spatial enhancement of the feature descriptors, the quality and quantity of the characteristic points were effectively increased. Moreover, the sub-pixel corresponding points were generated and integrated by the multi-spectral bands of the remote sensing image, such as the common corresponding infrared and visible bands. The remote sensing images of HJ, TM, GEOEYE and UAV were tested and compared with thi s 收稿日期：2012-04-22 ；修订日期：2012-05-19 基金项目：科技部国际科技合作计划 (Y0I0010062) ；中国科学院国际合作项目 (GJHZ1003) ；中国科学院对外重点合作项目作者简介：导师简介： (Y0Y00630KX) 吴俣男 (1986-) ，余涛 (1967-) ，男博士生研究员，，，，主要从事定量遥感方面的研究工作。 Email:wy51_rainbow@yahoo.com.cn 博士生导师博士，，主要从事定量遥感方面的研究工作。 Email:yutao@irsa.ac.cn

3286 红外与激光工程第 41 卷 algorithm. The results indicate that this improved approach of automatic registration for high resolution and multi-spectral remote sensing images is more accurate and faster than original characteristic point extraction method. Key words: automatic registration; corresponding points; Gaussian Pyramid; difference scale space; multi-spectral remote sensing images ，特征点阶差分矩阵 [1-2]，角点 harris 但是。匹配点。 FAST 0 引言基于点特征的图像同名点提取算法一般先获得，再根据特征信息进行匹配如。 harris 通过一可以准确地找出图像上纹理变化的算子对尺度敏感只能提取像素级，算法 [3-4]原理直观运算简单，对于角点。 SIFT[5-7]利用二获得特征，特征的提取，具有很强的抗噪声能力在尺度空间上进行特征检测维高斯函数，点的方向描述子，从而实现尺度不变特征变换基于，PCA-SIFT [8] 将直方图换作主元分析法，提升了特征匹小波响应。 Haar ，通过实验直接将以上算法移植于遥感图算法 SIFT SURF [9-10]采用卷积和配的速度 [11]。像的自动匹配限性，效果准。于 CCD 图像与和 CANNY 的边缘信息无论从速度和质量上，基于矢量的提取方法都存在较大局，如线匹配等常用 SAR ，图像间的配准等线提取方法 [12-14]，， SUSAN 采用 HOUGH、首先提取图像通过边缘的形状匹配获得结果张永军。，，等人 [15]详细论述了基于同名直线和圆曲线进行独立取得了很法相对定向和连续法相对定向的数学模型，。高次多项式建立其相应的，空间投影变换模好的效果。但在实际应用中较多精度明显不如点特征，对于图像配准，适用性有限，常用的最小二乘法，、线匹配方法的错误匹配纠正 [16-17]，转换关系型，利用可以很好的处理同名点对。Szeliski [18]提出了一种 LM 2D 算法进行非线性迭代，何变换参数来进行图像配准。像概率松弛法，有效地解决了不同时相求出图像间的几张祖勋 [19]利用多级影不同传感器、获取的不同分辨率遥感影像之间的配准问题。相对于图像配准而言，同名点对的准确度和正确率，决定了遥感图像的配准精度文中针对中高分。辨率遥感图像的特点，改进纹理特征提取的处理方法，能够获得较好的质量和较快的速度通过构建三。维高斯差分尺度空间，避免了由于图像分块 [20]而对利用前一在高斯。增加，值相对差分尺度空间上的特征信息损失实现大数据量的，遥感图像的特征提取。层给出的粗同名点索引在单层遥感图像上，加速同名点的搜索，差分尺度空间上，使用非线性算法或线性算法方向描述子的差异性能够更好的处理， DN 集中的遥感图像通过环境星、TM、GEOEYE、机遥感图像等中高分辨率遥感图像的实验对比。无人分，析改进后的结果。 1 基本原理与算法当前影响中高分辨率遥感图像几何配准的自动化程度，主要由遥感图像不同于一般图像的以下几个特点决定在单个波段内，息的表达不充分： (1) 遥感图像由于其 DN 像素间灰度值的差异小值分布集中，对于特征信遥感图像尺寸大。 (2) 而且存储方，，式不局限于单字节如环境星常有，，能力。 (3) 遥感图像波段多还有红外波段等，，，能够提供更多的特征信息用以表达地物；卫星遥感图像间的时间分辨率差异大不同，季节的地物特征呈现不同的状态同时；，在几何配准中，不同分辨率的传感器平台间的遥感图像空间分辨率差异较大，加大了同名点提取的难度。针对遥感图像的这些特点通过改进并行的，算法使得其能够很好地适用于遥感图像的自 SIFT 动匹配，获得较好的效果，对于两张独立的遥感图。像，分析说明如下：首先，根据地理坐标信息，搜索出同一个区域取两张遥感图像的处理范围如果没有地理坐标。获则，，以原始的遥感图像作为处理范围作为各自的初始图，像。然后，对各个对应波段进行独立的同名点提取分，别用以下方法获取各对应波段的同名点对再合并所，的宽高尺寸如， GEOEYE，同时些图像以浮点表达，易造成图像有效信息的割裂。常用双字节表达 16 000×14 000 甚至有，如果单纯的切分图像容，降低特征信息的表达，通常除了可见光波段外

第 12 期吴俣等：高分辨率多光谱遥感图像的自动配准 3287 实现定度量，根据最近距离与次近距离的比较从而得到，有同名点对。接双线性插值在单个波段内，对初始遥感图像进行直建立出图像金字塔，如图所示从最， 1 。低层到最高的初始层别进行特征点提取。对各层图像金字塔上的图像分，文中设定的降采样最低层次约束值，，是使得图像经过降采样后的最小宽高小于某个阈如像素。 100 根据初始图像和最低层图像之间的分辨率差异取出层， 3~5 ，作为遥感图像金字塔的图像层次，实现三维高斯差分尺度空间的第一维。图像层次从低到高图像间进行同名点匹配分层提取特征点在同一层，高层图像特征点的提取范，。围都来自于低层图像的特征点提取结果同时匹配，过程也相应的缩小，由此加速特征点的搜索。在最低层图像上按照原始， SIFT 的基本思想进行高斯金字塔 (Gaussian Pyramid) 的构建，，获得该层的多组高斯金字塔，实现三维高斯差分尺度空间的第二维。利用不同尺度的高斯差分核与图像快速生成该层各组金字塔对应的高斯差分卷积，尺度空间 (Difference of Gaussian Scale-space) ，三维高斯差分尺度空间的第三维如图所示在 DOG 的构建上，线性权重参数对各级 ω，使得遥感图像中微小的特征信息而被检测到。引入非线性权重参数 1 和 μ DOG 进行空间增强处理，值差异放大到可以作为 DN 从而获取最佳的高斯差分图像 D(x,y,ρ,σ,τ)。中，(x,y) 为图像坐标为双；ρ (1) 线性插值出的图像采样层次为该层图像的高斯；σ 金字塔组别图像级别。为该层图像该组高斯金字塔的差分；τ 通过各级金字塔的原始输入图像 I(x,y,ρ, 的直方图规定化非线性拉伸获得 σ) I (x,y,ρ,σ,μ)；也可以直接通过给定基于各传感器定标系数的经验，权重参数 ω，进行灰度的线性拉伸更加快速的处，理，同样获得较好的改进效果。图 1 图像的高斯金字塔与差分尺度空间 Fig.1 3D difference of Gaussian scale space ，公式 D(x,y,ρ,σ,τ)=(G(x,y,ρ,σ,τ+1)-G(x,y,ρ,σ,τ))× I(x,y,ρ,σ,μ)×ω 对于同一个特征点， (1) 由于图像进行了空间增强特征向量差异性更提在同名区域内，，同样有利于匹配处理强如图取出的特征点数量会更多关键点的梯度方向值更大，所示 2 更有利于匹配，，。，。图 2 特征描述子的空间增强处理 Fig.2 Spatial enhancement of the descriptors 在特征匹配的过程中基于原始 SIFT 算法建，，立 128 维归一化的 SIFT 特征向量，通过关键点特征向量的欧式距离，作为两幅图像中关键点的相似性判匹配的同名点去除误差点，采用误差检查方法。再用几何纠正提供的模型利用，式等，进行基于最小二乘法的粗差分离差最大点从而获得最优的匹配点对。 RANSAC[21-22] 如三次多项，依次分离残，在次低层图像中，通过最低层图像已经获取的同名点对，约束搜索的图像范围搜索利用特征点的多维索引。保证特征信息不分离和内存的有效利用，进行该层的同名点，对图像进行针对性处同时对，同名点加速提取独立各层中，。合并所有独立波段的结果，得到该层多光谱图像的同名点对过程中采，。去除误差点三次多项式等分离粗差 RANSAC 最终获得最优的匹配点对，。理，用点，同理，可以向上逆溯得到初始图像间的同名点对，获取遥感图像的结果。最后再进行误差检查利用，地理坐标信息和图像相对的关系去除错误匹配点；，用像素的区域选择，去除图像上位置相近的匹配点。该算法本身对不同时相不敏感能够有效地进，行不同时相的同名点提取。对于人工建筑区域等不随时相变化的区域，有相当稳定的提取结果但对于。图像上有云覆盖的区域，难以获得有效的特征信息。 2 实验结果为了验证算法的效果和适用性对于中等分辨，

3288 红外与激光工程率遥感图像，主要针对环境星 CCD 图像在不同时相如图 3 对于高分辨率遥感有增强的效果，；所示图 ( a ) ~ ( c ) ，分别为最低、第 41 卷为特征点描述子没次低和原始层次图的配准与遥感图像的匹配 TM ，利用无人机航空图像与图像，准作为实验数据。环境星的 CCD GEOEYE 遥感图像配像图； ( d ) ~ ( f ) 为加入空间增强后效果沿海区域上空覆盖有云的夏季上 ) ( 与植被明显减少的冬季遥感图像有可见光和近红外等个波段 4 ，遥感图像对应 30 m 空间分辨率通过特征信息提取，，对于不同时相的。能够获得经过优化的亚像素同名点集。下相近区域的同名点匹配 ( 得相同区域内的亚像素同名点集， ) 可以比较均匀的获各层特征点结，果与精度分析见表图 4 1 ，所示为最后优化后的结果。图 3 同名点搜索 Fig.3 Corresponding points search 表 1 不同时相的环境星的结果精度分析 Tab.1 Accuracy analysis of different temporal HJ images The lowest layer The second lowest layer The original layer ORI MOD ORI MOD ORI MOD Original SIFT and modified SIFT Number of corresponding 3 7 11 35 28 74 points Residual error NULL 5.8 9.6 3.2 4.7 2.4 图 4 环境星遥感图像不同时相而获得的同名点集 Fig.4 Corresponding points of different temporal HJ images 对于不同传感器的中等分辨率多光谱遥感图同样可以获得较好的效果的空间遥感图像幅宽环境星而幅宽为 30 m 像分辨率，。 16 000×14 000。 TM ，的宽高尺寸遥感图像的 7 000×6 000 不过在环境星可以基本吻合谱进行处理如图 TM ，所示， 5 。，大致是环境星图像的个波段中 1/4。个波段与 7 因此可以选择为对应的多光前 4 ，图 5 环境星上 ( ) 遥感图像与 TM( 下 ) 遥感图像同名点匹配 Fig.5. Corresponding points of HJ (upper) and TM (lower) images 一般每个遥感图像对可以通过优化同名点集得到数十个同名点对准结果如图所示。 6 ，通过三次多项式，图像的配准可以得到配，没有加入拼接线与，

第 12 期吴俣等：高分辨率多光谱遥感图像的自动配准 3289 匀色处理左图为，图像， TM 右图为环境星图像。图 6 环境星与 TM 遥感图像配准结果 Fig.6 Registration result of HJ and TM images ，，，，在高分辨率的遥感图像配准试验中对于没有如果待处理图像与基准图像或者两者对于重合区域的覆利用纹理信息提取特征点的方法对于都有地理坐标的不定位出大实验信息获得无人机遥感图像的地理上图为的在图下图是相对应区域的地理坐标的遥感图像的分辨率相差倍以上盖率相差倍以上难以获得较好的处理效果同传感器的遥感图像致的重合区域再进行提取中，信息无人机拼接结果真彩色合成遥感图像并叠加在拼接结果图像中可以利用初始位置获得较好的效果首先通过 GEOEYE POS 7 中，，。，，，。。，。图 8 GEOEYE( 左 ) 与无人机航空图像右 ) ( 的配准结果 Fig.8 Registration result of GEOEYE (left) and UAV images (right) 可以获得不错的效果。由于建立三维高斯金字塔，过程在优化索引的同时也导致算法增加更多的处理，因此，。对于不同传感器，降采样可能会使得最低层次没有获得同名点的情况出现。反而增加高斯金字塔的处理时间助，没有索引的帮算法基于 64 位操作系统采用，进行编程设计 C 。的粗差去除阈值，。并行加速处理利用 GPU 在匹配和优化的过程中， CUDA+ 采用相同，使用 RANSAC 等方法对提取出来的特征信息或同名点进行处理实验通过测试。结果表明数据，获得相应的平均结果。提取同名点方法能够获得正确结果的比例算法存在大量的错误匹配结果 SIFT 错误匹配结果获得显著的减少，；始进，。组 10 指通过自动，对于原，而经过改表 2 配准结果与精度分析 Tab.2 Corresponding points extraction results and accuracy analysis of test images Different temporal HJ images HJ and TM images GEOEYE and UAV images ORI MOD ORI MOD ORI MOD Original SIFT and modified SIFT 图 7 GEOEYE( 上 ) 与无人机航空图像下 ) ( 的同名点匹配 Fig.7 Corresponding points of GEOEYE (upper) and Success rate /% 60 100 50 80 60 80 经过以，左图 UAV (lower) images 对于无人机航空遥感图像等高分辨率图像，拼接后往往需要与而大范围的遥感图像进行配准便进行地理信息的定位配准结果如图所示， 8 。为 GEOEYE 图像，右图为拼接后的无人机航空遥感图像。在图像的配准中，没有加入拼接线与匀色处理因此在图像中有明显的色调不一致同时，。的时间在不同的季节地面植被有较大的差异。，由于拍摄表 2 ，为应用原始 SIFT 算法进行对比进后的 SIFT 与针对遥感图像进行改针对遥感图像的改进，， Number of corresponding 25.3 50.1 12.0 27.4 45.5 40.9 points Residual error 7.67 3.24 15.86 10.55 25.78 12.8 Compute time (second) 但是， 20 10 15 18 20 15 对于水面或者云覆盖严重的区域仍然，难以获得准确的同名点或变化过快的同质区域。，往往因为这些无明显特征造成较多的错误匹配同名点，影响了自动配准的精度和成功率实验中如果，。该类区域面积在图像上的比例大于将极大地 2/3 ，

3290 红外与激光工程第 41 卷减小正确同名点对的个数使得自动配准无法成功，进行区域。，且没有地理坐标的辅助对于重叠度过低的，如无人机图像与 GEOEYE 图像，将难以获得较高的成功率。 3 结论文中利用改进的图像完成自动配准，无人机等遥感图像进行实验验证，算法对中高分辨率遥感 SIFT 并通过环境星、TM、GEOEYE、取得较高的精度 [9] H Bay, A Ess, T Tuytelaars, et al. Speeded -up robust features (SURF) [J], International Journal on Computer Vision and Image Understanding ,vol. 2008, 110 (3): 346 - 359. [10] Cornelis N ,Van Gool L. Fast scale invariant feature detectionand matching on programmable graphics hardware[J]. In Proceedingsof the Computer Vision and Pattern Recognition (CVPR)workshop, 2008. [11] Luo Juan ,Oubong Gwun. A Comparison of SIFT, PCA-SFIT and SURF [J]. International Journal of Image Processing , 和较快的速度。相比传统基于点特征的同名点提取 2009, 3(4): 14-142. 方法，主要有如下的改进间 (3D DOG scale-space)，构建三维高斯差分尺度空：由低层获得粗匹配点作为空间索引，向高层逐层搜索获得精匹配点在各层；中，通过特征点方向描述子的空间增强增加特征点，的数量和质量；综合遥感图像的多光谱数据利用各，波段间相关的点特征信息获得匹配点。参考文献： [1] Harris C, S tephens M. A Combined Corner and Edge Detector [C]//Proceedings Fourth Alvey Vision Conference ， [12] Duda R O , P E Hart. Use of the hough transformation to detect lines and curves in pictures comm[J]. ACM, 1972, 15(1): 11-15. [13] Canny J F. A computational approach toedge detection [J]. IEEE Trans on Pattern Analysis and Machine Intelligence , 1986, 8(6). [14] Smith S M, Brady J M. Susan-a new approach to low Level image processing [J]. International Journal of Computer Vision,1997, 23(1): 45-78. [15] Zhang Yongjun, Hu Binghua, Zhang Jianqing. Relative orientation based on multiple conjugate features [J]. Acta Geodaetica et Cartographica Sinica , 2011, 40 (2): 194-199. Manchester, 1988. (in chinese) [2] Xie Donghai, Zhan Zongqian Jiang Wanshou. Improving [16] Abdelsayed S ，Ionescu D，Goodenough D. Matching and Harris Corner Detector [J]. Journal of Geomatic, 2003, 28 (2): 22-23. (in chinese) registration method for remote sensing images [C]// Proceedings of the International Geoscience and Remote [3] Edward Rosten,Tom Drummond.Fusing points and lines for Sensing Symposium IGARSS'95. 1995, 1029-1031. high performance tracking[C]//IEEE International Conference [17] Alexander Wong, David A Clausi. ARRSI: Automatic on Computer Vision, 2005, 2: 1508-1511. registration of remote -sensing images [J]. IEEE Transactions [4] Yan Peng, An Ru. Improved fast corner detection algorithm on Geoscience and Remote Sensing , 2007, 45(5). based on FAST [J]. Infrared and Laser Engineering , 2009, [18] Szeliski R, Shum H Y. Creating full view panoramic image 38(6): 1104-1108. (in chinese) Mosaics and environment maps [C]//Computer Graphics [5] Lowe DG. Distinctive image features from scale - invariant Proceedings (SIGGRAPH) ，1997 (8): 251-258. keypoints [J]. International Journal of Computer Vision , [19] Zhang Zuxun, Zhang Jianqing Liao Mingsheng, et al. 2004, 60(2): 91-110. Automatic precision registration of multi -resolution remote [6] Liu Li, Peng Fuyuan, Zhao Kun, et al. Simplified SIFT sensing imagery [J]. Journal of Wuhan Technical University algorithm for fast image matching [J]. Infrared and Laser of Surveying and Mapping, 1998，23(4): 320-323. (in chinese) Engineering, 2008, 37(1): 181-184. (in chinese) [20] Ding Lin, Ni Xiliang, Jiang Tao, et al. Automatic registration [7] Heymann S, Maller K, Smolic A, et al. SIFTimplementation of CCD images and IR images based on invariant feature [J]. and optimization for general -purpose GPU [C]// Proceedings Infrared and Laser Engineering, 2011, 40(2): 350-354. of the International Conference in Central Europe on [21] Fischler, Martin A , Robert C. Bolles, Random sample Computer Graphics, Visualization and Computer Vision, 2007. consensus: A paradigm formodel fitting with applications to [8] Ke Y, Sukthankar R. PCA -SIFT: A more distinctive image analysis and automated cartography [J]. representationfor local image descriptors [C]//in Proceedings Communications of the ACM, 1981, 24(6): 381-395. of the Conference on Computer Vision and Pattern [22] Hartley R. A Zisserman.Multiple View Geometry in Recognition, 2004, 511-517. Computer Vision[M]. Cambridge University Press, 2000.

资料库

高分辨率多光谱遥感图像的自动配准_吴俣.pdf

相关推荐

人工智能

热门标签

最新资料