5
10
15
20
25
30
35
中国科技论文在线
http://www.paper.edu.cn
一种基于谱抠图的遥感图像滑坡半自动提
取方法#
王世博1,张大明1,罗斌1,张春燕2**
(1. 安徽大学计算机科学与技术学院,合肥 230039;
2. 安徽大学数学学院,合肥 230039)
摘要:滑坡提取是一种从遥感滑坡图像中识别滑坡区域并进行提取的技术。数字抠图是一种
把图像前景部分从背景部分分离的技术,通过用户指定少量的部分前景和背景,按照一定的
判定规则提取前景。本文将数字抠图方法应用于滑坡提取问题,提出了一种基于谱抠图的遥
感图像滑坡半自动提取方法。首先利用爬山算法进行图像分割,然后利用谱抠图方法得到前
景透明度,最后利用重建前景算法提取目标。理论分析和实验结果表明,该方法在遥感图像
滑坡提取方面取得较好的效果,准确率高,稳定性强。
关键词:遥感图像;滑坡提取;谱抠图;爬山算法
中图分类号:TP751
A method for semi-automatic extraction of landslide from
remote sensing image based on spectral mattting
WANG Shibo1, ZHANG Daming1, LUO Bin1, ZHANG Chunyan2
(1. School of Computer Science and Technology, Anhui University, Hefei 230039;
2. School of Mathematical Sciences, Anhui University, Hefei 230039)
Abstract: ILandslide extraction is a technique to recognize and extract landslide areas from images.
The goal of digital matting is to separate and extract the foreground of the image from its background
according to the small part labels specified by users. Based on spectral matting, one of the digital
matting technologies, this paper presents a method for semi-automatic extraction of landslide from
remote sensing image. First of all, hill-climbing algorithm is used to segment the image, then spectral
matting technology is used to get the foreground transparency, at last foreground-reconstructing
algorithm is used to extract the target. Theoretical analysis and experiments on remote sensing images
have shown our method can get good results and perform high accuracy, strong stability.
Key words: Remote sensing image; Landslide extraction; Spectral Matting; Hill-climbing
0 引言
滑坡是指斜坡上的土体或岩体受河流冲刷、地下水活动、地震及人工切坡等因素影响,
在重力作用下沿着一定的软弱面或者软弱带,整体地或者分散地顺坡向下滑动的自然现象。
滑坡给工农业生产以及人民生命财产造成巨大损失。为了灾后损失的准确评估,往往需要将
他们从图像中提取分离出来,才能对目标进一步测量。如何高效准确的从遥感图像中提取出
滑坡是人们研究的热点[1,2,3]。
滑坡提取属于遥感图像目标提取,遥感图像目标提取按照自动化程度分为:1)全自动
提取。通过认识和理解遥感图像特征,自动准确定位目标的位置,如基于对象的 Boosting
方法[1]。虽然全自动提取的速度快、效率高,但是由于环境、光照、噪声等因素影响,目前
基金项目:国家自然科学基金(60772122);高等学校博士学科点专项科研基金(20070357001);安徽省高校
优秀青年人才基金 (2010SQRL093);安徽省高校自然科学科研项目(KJ2010A326)
作者简介:王世博(1984-),男,硕士生,主要研究方向:模式识别与图像处理
通信联系人:罗斌(1963-),男,教授,博士生导师,主要研究方向:模式识别与图像处理. E-mail:
luobin@ahu.edu.cn
- 1 -
40
45
50
55
60
中国科技论文在线
http://www.paper.edu.cn
还不能准确地提取目标。2)半自动提取。利用人机交互式进行,人工提供初始点,然后根
据一定的规则进行处理识别,适当的交互能够保证识别的准确性。如基于 Hough 变换的航
空影像建筑物半自动提取方法[2],对图像中符合参数模型的主导特征如直线、圆等通过对其
参数进行聚类的方法抽取相应的特征;基于支持向量机的遥感图像半自动提取方法[3],使用
支持向量机得到最初分类,然后从初始区域开始,将相邻具有同样性质的像素或其它区域归
并到目前的区域中,从而逐步增长区域直至没有可以归并的点或其它小区域为止。
数字抠图也是一种半自动目标提取技术,主要运用于图像编辑、影视制作、电影特效等
方面。按方法分类有:1)基于样本的统计学方法。用户将图像标记为三个部分(确定前景、
确定背景、未知区域)。根据统计学规律建立数学模型,通过确定前景和确定背景估计未知
区域,如贝叶斯方法[4],PCA 方法[5];2)基于相邻关系的方法。建立图像的邻接矩阵,通
过邻接关系建立前景透明度的代价函数来提取目标。如 Closed-form[6],Spectral Matting[7];3)
样本和相邻关系相结合的方法。定义 Gibbs 能量函数,其中一项为数据项,表示像素属于前
景还是背景;另一项为平滑项,使得图像边缘平滑连续,最小化能量函数就能求得最佳的前
景估计值,提取出前景。如 GrabCut[8]。
本文将数字抠图方法应用于滑坡提取问题当中。在数字抠图技术中,基于样本的统计学
方法需将图像分为确定前景、确定背景、未知区域三个部分,待求的未知区域(目标的边缘
部分)只占小部分,但是为了计算它,需要大量的标记确定前景和背景,导致过分依赖用户
交互,不适合在遥感图像中应用;样本和相邻关系相结合的方法在复杂图像中处理边缘区域
效果很不好,也不适合应用于遥感图像;基于相邻关系的谱抠图方法相对于其他方法,以更
少的用户交互就能取得准确的前景,所以本文提出了基于谱抠图[7]的遥感图像滑坡半自动提
取方法。首先利用爬山算法[9]进行图像分割,然后利用谱抠图得到前景透明度,最后利用重
建前景算法[6]提取目标。
第 2 节介绍了谱抠图方法的概念和直接应用到遥感图像中存在的问题,第 3 节给出了本
文算法的详细描述,第 4 节结合具体例子进行实验比较和分析,第 5 节给出结论。
1 谱抠图
65
Porter 等人[10]将一幅输入图像 I 看成由一幅前景图像 F 和一幅背景图像 B 组合而成,提
出了著名的合成公式:
(1)
其中α为前景透明度,可以根据 Fα⋅ 得到前景图像。α的准确性决定了最终提取的前景图
像的准确性,所以α的计算是数字抠图问题的关键。
α α
(1
+ −
[0,1]
F
α
B
,
∈
=
I
)
70
2008 年 Anat Levin 等人提出了谱抠图方法[7],将输入图像看成由 K 个图像层线性组合
而成:
I
z
K
= ∑
k
1
=
Fα
k
z
k
z
(2)
zα 表示输入图像的第 k 个前景透明度, k
zF 表示第 k 个图像层。算法具体流程如图 1 所
其中 k
示:
- 2 -
中国科技论文在线
http://www.paper.edu.cn
75
80
图 1 谱抠图算法流程
Fig. 1 Flow chart of spectral matting algorithm
1.1 抠图拉普拉斯矩阵
I.Omer 和 M.Werman[11]证明了在自然图像中,局部小窗口的像素颜色在 RGB 空间中呈
现雪茄型,近似于直线。根据该证明,输入图像 I 在局部3 3× 的窗口中,F 和 B 的颜色分布
近似两条线段,则α 表示为:
∑
α =
(3)
+ ∀ ∈
i w
a I
c
b
,
c
i
i
c
其中α 表示估计的前景透明度, c 表示 RGB 三通道, w 表示 3 3× 的窗口,
a
=
1
−
F B
,
85
b
=−
B
−
F B
。根据公式(3)可以找到一个关于α(真实值)与α (估计值)的代价函数 (
J
a bα ,如
, )
,
公式(4)所示,并对其进行最小化,消除 a ,b ,建立一个只对α的代价函数 (
所示,其中 L 即为抠图拉普拉斯矩阵。
a b
, )
(
,
α
=
−
−
b
J
)
2
J α ,如公式(5)
)
90
95
其中 ijδ 是克罗内克函数, kµ 是 kw 窗口的 3 1× 颜色均值向量, kΣ 是 3 3× 协方差矩阵, 3I 是 3 3×
单位矩阵。
1.2 抠图成分
C
假设一幅图像由 K 个部分组成, K 个部分表示为 1,
N
, }
C ,那么一幅图像表示为
。在这种情况下,定义一个指示向量 kCm 表示像素点属于哪个 kC 。利用抠
{1,
图拉普拉斯矩阵 L 计算出图像的特征向量 E ,并采用 K-Means 方法对特征向量 E 进行聚类,
=
C=
1
∪
K
k
,
k
k
- 3 -
a I
c
j
c
i
∑
c
j
j
(
I
∈
∑ ∑
∑
ε
i w
∈
a
j
+
c
(
α
i
2
c
j
)
(4)
(5)
(6)
T
)
L
J
(
α α α=
1
∑
w
k
(
δ
ij
j w
∈
k
−
k i
|( , )
L
=
(1 (
+
I
i
−
µ
k
)
⋅
(
Σ +
k
ε
w
k
|
|
I
3
)
1
−
(
I
j
−
µ
k
)))
∑∑
c
I
i
∈
|
+
α
i
|
+
α
i
x
2
| ((
| ((
) )
2
) )
2
yiα 表示α对 x , y 求偏导。
B
c
i
x
B
c
i
y
F
i
F
i
+
+
)
)
(
(
c
x
c
y
2
y
(9)
中国科技论文在线
http://www.paper.edu.cn
将聚类结果赋值给指示向量 kCm ,投射到特征向量 E 上,如公式(7)所示,最后通过最小化能
量函数计算出 K 个前景透明度 kα ,取名为抠图成分。
TEE m
kC
k
α
i
(7)
(8)
k
|1
+ −
α
i
k
α
i
| ,
γ
min
|
γ
=
1
α =
∑
|
∑
k
i k
,
k
100
其中 E 表示 K 个特征向量, k
iα 表示 K 个抠图成分。当求得 K 个抠图成分后,由用户提供的
少量前景和背景标记,将 K 个抠图成分组合成一个前景抠图成分(前景透明度),表达式
为
,其中b 表示 K 维用户标记向量,标记前景或背景。
k
k
α
= ∑
bα
k
1.3 提取前景和背景
105
当求得前景透明度后,利用已知的α,采用最小二乘法对公式(3)求得最优的 a 和 b ,再
根据下式从 a ,b 中还原出 F , B 。
min
F
(
α
i
i
c
(1
+ −
α
i
)
B
c
i
−
I
c
i
2
)
其中 cF ,
cB 对 x , y 求偏导,
xiα ,
110
115
通过上述谱抠图方法直接运用到遥感图像上进行滑坡提取的大量实验发现以下三个方
面的问题:1)聚类数的选择。谱抠图方法中聚类数需要手动选择,图 2.a 至图 2.e 表明聚类
数取得越小(聚类数=3)对提取结果影响越严重,聚类数取得越大提取效果越明显,因此该方
法采取过分割策略提取前景,代价昂贵。2)容易丢失细节。谱抠图的 K-Means 聚类算法在对
遥感滑坡图像聚类时即使聚类数取得再大也会丢失一些细节部分,如图 2.e 没有将输入图像
的左下角和右上角滑坡区域提取出来。3)边缘过度平滑。谱抠图方法对提取的图像边缘采用
平滑策略,应用到遥感滑坡图像上使得提取区域边缘出现毛糙的现象。如图 2.a 至图 2.e 提
取的滑坡边缘都有不同程度的毛糙点。
Fig.2 Experimental results of spectral matting for extracting landslide
图 2 谱抠图方法提取实验图
120
2 本文算法
针对谱抠图方法直接应用到遥感滑坡图像中存在的三个问题,本文进行了相应的改进:
- 4 -
中国科技论文在线
http://www.paper.edu.cn
1)采用自适应选择聚类数的方法,由系统选择最佳聚类数进行提取。2)采用爬山聚类算法进
行图像分割,在颜色直方图上寻找局部的最高点,将与其相邻的像素点归为一类进行聚类。
3)将抠图成分边缘平滑项去掉,使聚类结果的指示向量 kCm 直接投射到特征向量 E 上作为抠
图成分。算法具体流程如图 3 所示:
125
图 3 本文算法流程
Fig.3 Flow chart of the proposed algorithm
2.1 自动确定聚类数
当建立抠图拉普拉斯矩阵 L ,计算出特征值和特征向量 E 后,将特征值按照从大到小进
行排序。根据矩阵的扰动理论[12],当上述的第 K 个和第 1K + 个特征值之间的差距越大,由
所选取的 K 个特征向量所构成的子空间就越稳定。此时,以特征向量中的每行作为 K 维空
间中的一个点所形成的 K 个聚类,彼此正交地分布于 K 维空间中的单位球上,并且在单位
球上形成的这 K 个聚类对应着原空间中所有点形成的 K 个聚类。由此可利用拉普拉斯矩阵
的特征值差值来确定聚类个数,其中特征值差值取经验值[0.08,0.1]。
图 4 特征值差值分布图
Fig. 4 Distribution of the difference of the eigenvalues
图 4.a,图 4.b,图 4.c 分别对应于图 7.a 三幅输入图像的前 50 个特征向量两两差值的分
布图。图 4 表明随着 K 值的不断增大,分布图的曲线由陡慢慢近似于水平线,选择曲线由
陡入平的分界点的 K 值作为最佳的聚类数,因为此后的聚类数对特征向量的分布和聚类影
响已经不大了。
130
135
140
145
- 5 -
中国科技论文在线
2.2 爬山算法
http://www.paper.edu.cn
爬山算法是一种启发式、局部择优的方法。首先定义一个函数 ( )
f x ,x 表示在一定取值
范围内的离散值。然后从当前的节点 x 开始,和周围的邻居节点 neighbor( )x 的值进行比较。
如果当前节点 x 是最大的,那么返回当前节点 x ,作为最大值(既山峰最高点),反之就用最
高的邻居节点 neighbor( )x 来替换当前节点,从而实现向山峰的高处攀爬的目的。如此循环直
到达到最高点。如公式(10)所示:
g x
f x
( ) max ( )
(10)
T.Ohashi 等人将爬山算法应用于图像分割提出了基于爬山算法的颜色图像分割[9],该方
法首先将图像转换为颜色直方图,利用直方图条表示公式(10)中的 x 。其次在直方图上利用
爬山算法求出所有可能的局部最高点,最后利用这些局部极值点对图像进行聚类。爬山算法
应用到本文的具体步骤如流程图 5 所示:
=
图 5 爬山算法流程图
Fig. Flow chart of hill-climbing algorithm
2.3 去平滑
谱抠图方法中,利用抠图拉普拉斯矩阵 L 计算出图像的特征向量 E ,采用 K-Means 方
法对特征向量 E 进行聚类,如公式(7)将聚类结果的指示向量 kCm 投射到特征向量 E 上,最后
通过公式(8)最小化能量函数计算出每一个抠图成分 kα 。在最小化能量函数的时候采用了牛
顿迭代算法[7]对抠图成分不断优化,使得边缘平滑化。根据实验测试和分析,去掉平滑项即
不用牛顿迭代算法对抠图成分边缘化,直接将公式(7)的结果作为抠图成分将会有助于边缘
的清晰并降低了错分出现的机率。
- 6 -
150
155
160
165
170
中国科技论文在线
http://www.paper.edu.cn
图 6 去掉平滑项效果图
Fig. 6 The result of abandoning smooth term
175
180
185
190
195
图 6.a,图 6.b 对应于图 7.a 的第一幅输入图像的滑坡提取效果图。在图 6.b 的滑坡边缘
没有毛糙点,并且相对于 6.a,左边滑坡中的非滑坡目标被剔除,呈现空洞状,连右上角的
小块滑坡也提取出来了。
3 实验结果
为了分析本文方法是否能在遥感滑坡图像提取的应用中取得较好的效果,对不同的滑坡
图像和不同的用户交互进行了大量的测试,采用 2008 年 5 月 12 日 14:28 的汶川大地震遥感
滑坡图像作为研究对象,所有的实验均在软件 MatlabR2007b 和硬件 intel core2 双核 2.1GHz
CPU,2GB RAM 的 PC 机上进行。谱抠图方法在图 7、图 8 上的聚类数均手动取为 20(聚类
数过小会产生较大误差,不利于与本文方法比较)。本文方法在图 7.a 的第一幅图像上聚类
数自动取为 12,第二幅图像上聚类数自动取为 11,第三幅图像上聚类数自动取为 20,在图
8 的图像上聚类数自动取为 12。
图 7 实验比较了谱抠图方法和本文方法的准确性。从图 7 中我们可以看到:图 7.b 将谱
抠图方法直接运用到遥感滑坡图像上,滑坡区域的正确性依次减小,出现错分现象,并且滑
坡边缘有毛糙点,而图 7.c 中本文方法将图像上所有的滑坡目标基本上都提取出来了,并且
基本上没有错分现象,边缘无毛糙点,效果明显好于谱抠图直接应用到遥感图像的方法。同
时纵向比较图 7.a 的输入图像,滑坡依次复杂,实验测试表明本文方法对复杂的滑坡图像仍
能取得很好的结果。
图 8 实验比较了用户交互不同时谱抠图方法和本文方法的稳定性。从图 8 中我们可以看
到:纵向比较图 8.a 的输入图像,用户交互依次减少。图 8.b 表明随着用户交互的减少,谱
抠图方法的滑坡提取错分现象依次增大,而图 8.c 表明本文方法随着用户交互依次减少,滑
坡提取变化不大。所以只要用户交互得当,很少的先验知识也能取得很好的效果。
- 7 -
中国科技论文在线
http://www.paper.edu.cn
Fig. 7 The results of spectral matting algorithm and the proposed algorithm
图 7 谱抠图和本文方法对比图
200
4 结论
图 8 用户交互不同的对比图
Fig. 8 The results of user interaction with two algorithm
205
本文将谱抠图的基本思想运用到滑坡遥感图像的提取当中,并针对谱抠图算法直接运用
到遥感图像中存在聚类数需手动选择、K-Means 图像分割容易丢失滑坡区域细节、提取后的
图像边缘过于平滑等问题进行了相应改进,采用自适应确定聚类数、直方图爬山聚类和去平
- 8 -