http://www.paper.edu.cn
高光谱与多光谱数据融合
逯祎
中国航天二院研究生院,北京(100854)
E-mail: Lu Yi:caisuangly@yahoo.com.cn
摘 要: 多传感器的遥感数据融合在城市规划,土地利用、军事侦察等方面有着广阔的应
用前景。本文主要针对高光谱图像空间分辨率不高的缺点,阐述了高空间分辨率图像与高光
谱图像的数据融合,特别介绍了多光谱数据与高光谱数据融合的 CRISP 锐化算法。
关键词: 数据融合;高光谱数据;多光谱数据;CRISP 锐化
中图分类号:O157
1. 引 言
对于一套光学遥感器系统而言,图像空间分辨率和光谱分辨率是一对矛盾。在一定的信
噪比的情况下,较高光谱分辨率往往意味着不能有较高的光谱分辨率。而对于光谱分辨率较
高的高光谱遥感图像,尤其是航天高光谱图像的空间分辨率还不能达到很高。这是因为研发
一种高空间分辨率的空载高光谱传感器目前还很困难,主要困难是需要有足够大的光学器件
来收集光线,这会导致传感器体积过大,卫星难以负荷[1]。为此,已经或者即将发射的高光
谱卫星往往都带有一个高空间分辨率的全色通道遥感器。所以,研究高光谱遥感数据与高空
间分辨率数据之间的有效结合具有十分现实的意义。
相对于高光谱传感器,多光谱传感器却可以做得很小,因此可以用体积较小的多光谱传
感器得到较高空间分辨率的图像。但多光谱图像的光谱分辨率不高,为了解决这一矛盾,许
多高光谱分辨率卫星传感器中均加载了一个高空间分辨率的多光谱传感器,使得两者的优点
得以兼顾。数据融合技术就是研究如何将具有不同空间和光谱特性的遥感数据进行融合处
理,其目的就是有效地综合利用现有的遥感数据。
2. 高光谱和多光谱图像的融合
高光谱图像的多光谱锐化是对高光谱图像的频谱信息与多光谱图像的空间谱和频谱信
息进行融合。我们提出的这种方法比较了多光谱图像和高光谱图像的频谱信息,并给出了一
系列线性方程,这些方程把多光谱图像近似转化成合成高光谱图像。然后,这种合成高光谱
图像与原始的低分辨率高光谱图像重新组合,得到一个融合图像。本文最后使用多组数据来
评价这种方法,得到较好的效果[2]。这种算法的优点在于,即使在很高的锐化比率情况下,
信号检测也不会丢失信息。
一种有效的高光谱、多光谱传感器图像融合方法是利用 CRISP 算法进行图像融合。
CRISP 算法使用多个较高分辨率的图像来改善高光谱图像的分辨率。它利用一种理想的数学
方法组合高光谱数据和多光谱数据,这种方法的现实依据是高光谱图像和多光谱图像拍摄的
物理场景是相同的,因而两者具有较好的匹配性。多光谱图像具有较高的空间分辨率,而高
光谱具有较高的频谱细节,CRISP 锐化[3]方法正好结合了两者的优点,使得最终得到的结果
具有较高的空间分辨率和频谱细节。
3.高光谱转化为合成多光谱的模型(CRISP 锐化)
首先介绍一下 CRSIP 算法的整个流程,如下图-1 所示,原始的输入数据有两个,一个
- 1 -
http://www.paper.edu.cn
'
转化为合成高光谱图像
是原始的高光谱图像 HP ,一个是原始的多光谱图像 MP 。原始的多光谱图像通过线性近似
HP 。注意,在这个转化中,合成高光谱图像相比原来的多光谱图像,
HP 具有多光谱图像 MP 的高空间分辨率。最后使用小波变换
HP 和 HP 进行融合,得到最终的融合光谱图像。这种算法融合两者的
其频谱信息并没有增加,只是
或 Butterworth 方法对
优点:多光谱图像的高空间分辨率和高光谱图像的高频频分析能力[4]。
'
'
原始的多光谱图 MP 像
线性近
似转化
HP
合成高光谱图像 '
原始低空间分辨率
HP
的高光谱图像
图 1 CRSIP 算法过程
融合
图像融合
3.1 输入数据
整个系统的输入数据由一个高光谱图像和一个高分辨率的多光谱图像组成。高光谱图像
的频谱由几十甚至上百个连续的波段组成,这些连续波段使得每个图像象元都能够提取一条
连续的光谱曲线。多光谱图像的频谱是由一系列离散的波段构成。这个算法的输入数据要求:
多光谱和高光谱的图像背景应相同,拍摄时间间隔尽量短,两者拍摄的时间间隔越短,匹配
误差就约小。理想的输入数据是高光谱图像和多光谱图像在同一场景同一时间拍摄,两个图
像没有匹配误差没有任何变化。
3.2 多光谱数据线性近似转化为合成高光谱数据的模型
用一系列线性方程把多光谱图像近似转化为高光谱图像的前提是多光谱图像和高光谱
图像拍摄的是同一个场景,具有相同的物理特性,因此同一物理场景下的多光谱和高光谱之
间具有很强的关联性,可以用一系列线性方程表示两者之间的关系。这里用 HP 表示高光谱
图形的频谱矩阵, MP 表示多光谱矩阵的频谱矩阵。
P
M
FP
'
H
e
= + (1)
其中 F 表示高光谱变换为多光谱的滤波器矩阵,e 表示高斯白噪声。滤波器矩阵 F 用
来把高光谱数据转化为多光谱数据。当多光谱图像是一个由高光谱波段简单求和的全色光谱
时, F 是一单位行向量。上述方程描述了多光谱图像和高光谱图像之间最简单的关系。对
图像变换没有多大实际用处。我们真正需要的上述过程的反变换,既是要得到一个能够把多
光谱图像转化为高光谱图像的变换矩阵。但即使这种变换也不能增加多光谱的频谱信息,因
为多光谱图像包含的频谱信息本来就比高光谱少[5]。
由上列方程很容易得到其逆变换方程
P
'
H
GP
M
?
e
(2)
G 表示多光谱近似转化为高光谱的估计矩阵。这个变换过程相当于在多光谱的频域进行插
- 2 -
http://www.paper.edu.cn
值,即进行升采样。近似转化的效果很大程度上取决于图像中的波段数,这是一个近似估计,
高光谱的波段越多,估计的效果越好;另外也与波段的质量和位置有关。滤波器G 的表达
式可由最小二乘法可近似得出。(后面进行模型评价时就是从这三方面考虑)
G
»
(
P P
)T
-
M M
1
P P
T
M H
(3)
3.3 图像模型
估计矩阵G 与多光谱的频谱简单相乘,得到高光谱的频谱估计:
S
H
=
G S
M
(4)
®
高光谱的频谱向量, MS
®
其中 HS
得到最终的合成高光谱图像。需要注意的是,这个高光谱模型并不是原始的高光谱图像完美
表示多光谱的频谱向量[6]。逐个频谱按上述公式进行计算,
近似,因为这个模型只是把多光谱图像进行线性近似转化为高光谱图像,转化后的合成高光
谱图像和原始的高光谱图像在频谱上具有相同的秩。尽管这个合成高光谱图像比多光谱图像
的波段数多得多,但实际其统计特性和多光谱图像是一样的。这个合成高光谱并没有增加更
多有用的信息,只是便于图像融合进行下一步操作。应用上述模型,从图-2 可以看出,原
始的高光谱图像与拥有高空间分辨率的合成高光谱图像融合得到最终的锐化图像
图 2 原始的高光谱图像(左)高空间分辨率的合成高光谱图像(中)最终的锐化图像(右)
3.4 合成高光谱图像和原始高光谱图像融合的算法描述
当多光谱图像转化为高光谱图像后,就可以进行合成高光谱图像和原始高光谱图像的融
合了。
- 3 -
http://www.paper.edu.cn
合 成 高 光 谱 图
高通滤波器
原 始 高 光 谱 图
↑
低通滤波器
升采样
图 3 算法原理图
如图-3 所示,用一对滤波器有选择性得选取合成高光谱和原始高光谱中的数据进行融
合。让合成高光谱图像通过一个高通滤波器,选取其高频部分,让原始高光谱图像通过一个
低通滤波器,选取其低频部分,然后两者进行简单相加。相加得到的结果就是最终所要的锐
化图像。原始高光谱通过滤波器前要进行升采样,这是因为原始高光谱的空间分辨率比合成
高光谱的空间分辨率低,只有进行空间插值即升采样才能使两个图像匹配[7]。
当前广泛应用的两种滤波器是小波变换滤波器和巴特沃式(Butterworth)滤波器。小
波滤波器是一种简单的正交空间滤波器,能够很容易地把图像分解为高频子图像和低频子图
像。小波变换的优点是方便,快速。当两个图像之间的匹配性好时,这种方法得到的锐化结
果就好;反之,当两个图像匹配较差时,小波变换的效果就很差。这就是说小波变换滤波器
的稳健性不好。
Butterworth 滤波器的数据容量比小波变换滤波器小,但具有更多的数值特性。它是使用离
散余弦变换把高分辨率的图像和低分辨率的图像输入到频谱域,然后对两个图像的频谱参数
进行加权求和,求和的结果进行反余弦变换就得到锐化图像。Butterworth 滤波器的优点在
于,不管高分辨率图像和低分辨率图像的匹配性如何,最终的锐化结果都不会变换太大,就
是说其稳健性比小波变换好。缺点是计算耗内存,速度慢。
3.5 评价 CRSIP 算法
评价 CRSIP 算法的图像融合结果,需要用若干指标来衡量其效果。常用的客观评价准
则是输入图像和输出图像之间的均方根误差。均方根误差是一种检测两幅图像之间差异的方
法。将输出的锐化图像减去原始的高光谱图像然后开方得到均方差。本文选择 Naval 实验室
的 WarHorse 传感器的数据作为算法的输入数据。使用不同波段数的多光谱数据进行计算,
得到如下图的检测结果。
- 4 -
http://www.paper.edu.cn
图 4 使用 WarHouse 数据进行试验得到的锐化结果
从图-4 可以看出,一般来说,多光谱数据的波段数越多,均方误差越小,当然误差大
小与波段的位置也由很大关系[8]。
4.融合实例
本文以卡特里娜飓风袭击新奥尔良后的效果图为例。选用 EO-1 高光谱传感器获取的高
光谱数据和商用 Ikonos 传感器获取的多光谱数据。这些数据是 2005 年 8 月在新奥尔良市上
空得到的。在图-5 中显示了由这两种数据组成的真实的彩色图像。上面的两幅图像是原始
的 EO-1 和 Ikonos 传感器的数据的一部分。下面的两幅图像是在同一地区获得的 30m 空间
分辨率的高光谱数据和 4m 空间分辨率的多光谱数据进行空间配准算法后得到的结果。
图5 卡特里娜飓风袭击新奥尔良后的效果图
- 5 -
http://www.paper.edu.cn
经过锐化后的结果如图-6所示,锐化后的图像在空间分辨率方面有显著的提升。它具有
Ikonos传感器数据的空间分辨率和高光谱数据的光谱分辨率。锐化后的图像可以作为标准的
高光谱图像使用。这种图像可以更好的进行进一步的分析。
图6 原始的高光谱数据(左)和锐化后的结果(右)
5.结论
遥感数据融合在城市规划,土地利用、军事侦察等方面有着广阔的应用前景。目前已经
在理论与技术方面取得了很多成果,但大部分的研究和尝试仍处于探索阶段。本文主要讨论
了多元信息辅助下的高光谱图像分析,针对高光谱图像数据空间分辨率不高的缺点,阐述高
空间分辨率数据与高光谱数据的融合,特别介绍了多光谱数据与高光谱数据的融合的 CRISP
锐化算法。多元信息辅助下的高光谱数据融合已经展现出了良好的应用潜景,还有待进一步
实践和发展。
参考文献
[1]刘同明,夏祖勋,解洪成编著,数据融合技术及其应用,国防工业出版社,1998.9
[2]何友,王国宏,陆大金,彭应宁,多传感器信息触合及应用,电子工业出版社,2000.11
[3]童庆禧,张兵,郑兰芬等编著,高光谱遥感--原理、技术与应用,高等教育出版社,2006.6
[4]马艳华,高空间分辨率和高光谱分辨率遥感图像的融合,红外与毫米波学报,2003
[5]Shaum, A. and A. Stocker, Hyperspectral change detection and supervised matched filtering based on
Covariance Equalization Proceedings of SPIE 5424, 77-90 (2004)
[6]Stellman, C. F. Olchowski, and J. Michalowicz, WAR HORSE (wide-area reconnaissance: hyperspectral
overhead real-time surveillance experiment), Proc. SPIE Vol. 4379, pp. 339-346, Automatic Target Recognition
XI; Firooz A. Sa山adi; Ed., October 2001.
[7]LS.Reed and X. Yu, "Adaptive Multiband CFAR Detection of an Optical Pattern with Unknown Spectral
Distribution," IEEE Trans. on Acoustics, Speech and Signal Processing, Vol.38, No.10(October 1990).
[8]C.Stellman et al, Real-time hyperspectral detection and cuing, Opt. Eng. 39(7), pp. 1928一1935, July 2000.
- 6 -
Data fusion of multispectral image and hyperspectral image
(The Graduate School of The Second Academy of China Aerospace, Beijing 100854, China)
Lu Yi
http://www.paper.edu.cn
ABSTRACT
Multispectral sharpening of hyperspectral imagery fuses the spectral content of a hyperspectral image
with the spatial and spectral content of the multispectral image. The approach we have been
investigating compares the spectral information present in the multispectral image to the spectral
content in the hyperspectral image and derives a set of equations to approximately transform the
multispectral image into a synthetic hyperspectral image. This synthetic hyperspectral image is then
recombined with the original low-resolution hyperspectral image to produce a sharpened
product. We evaluate this technique against several types of data, showing good performance across
with all data sets. Recent improvements in the algorithm allow target detection to be performed without
loss of performance even at extreme sharpening ratios.
Keywords: Data fusion, Multispectral image, hyperspectral image, CRISP shapening
- 7 -