医学图像分割介绍
田捷
中国科学院自动化研究所
主要内容
分割概念
分割方法的分类
阈值分割
区域生长分割
交互式分割
Live wire分割
形变模型的分割
模糊连接度的分割
基于代理机模型的分割
http://www.3dmed.net
http://www.3dmed.net
分割的概念
将不同区域区分开来,这些区域是互不相交
的,每一个区域都满足特定区域的一致性。
其分割的目的是为了将感兴趣区域提取出
来,从而为定量、定性分析提供基础,同时它
也是三维可视化的基础。
医学图像特点
医学图像的特点:
模糊、不均匀、个体差异、复杂多样
● 不均匀的组织器官、磁场等
灰度不均匀
● 成像设备局限性、组织的蠕动
伪影和噪声
● 局部体效应
组织边缘模糊
● 病变组织
病变边缘不明确
http://www.3dmed.net
http://www.3dmed.net
医学图像分割
医学图像分割方法的公共特点
分割算法面向具体的分割任务,没有通用的方法
更加重视多种分割算法的有效结合
需要利用医学中的大量领域知识
交互式分割方法受到日益重视
人机交
互思想
医学图像分割是一项十分困难的任务,至今仍然没有获得圆满的解
决。
图像分割方法的分类
基于区域的分割方法
基于边缘的分割方法
结合区域与边界信息的方法
图谱引导(Atlas-guided)方法
基于模糊集理论的方法
基于神经网络的方法
基于数学形态学的方法
http://www.3dmed.net
http://www.3dmed.net
1
医学图像分割
基于
区域
基于
边缘
二者
结合
利用区域
之间相似度
利用区域
之间差异性
同时利用区域
和边缘信息
Region grow,
snakes, level
set …
Graph Search,
Border Tracing,
Hough
Transform
基于区域的
分割方法
阈值分割
区域生长和分裂合并
分类器和聚类
基于随机场的方法
其它基于统计学的方法
Geometric and
region,
Parametric and
region
http://www.3dmed.net
http://www.3dmed.net
基于边缘的
分割方法
并行微分算子
曲面拟合法
基于边界曲线拟合的方法
串行边界查找
医学图像分割
图像分割方法
基于 区域
基于 边缘
二者 结合
地
图
集
或
阈
值
数
学
形
态
学
基
于
概
率
统
计
基
于
聚
类
基
于
纹
理
基
于
知
识
神
经
网
络
边
缘
参
数
几
何
参数
+
区域
几何
+
区域
区域增长
边缘检测
FCM
AFCM
2D
3D
2D
3D
Bayes
EM
MRF
Active Contour
or Surface
Level Set
纹理+分类
知识+分类
神经网络+分类
Bayesian+Edge
参数
EM
参数
聚类
水平集
+分类
双水平集
+分类
水平集
+聚类
水平集
+形状
http://www.3dmed.net
http://www.3dmed.net
阈值分割
阈值分割示意图
阈值分割是最常见的一种分
割方法。它基于对灰度图像
的一种假设:目标或背景内
的相邻象素间的灰度值是相
似的,但不同目 标或背景的
象素在灰度上有差异,反映
在图像的直方图上,不同目
标和背景则对应不同的峰。
选取的阈值应位于两个峰之
间的谷,从而将各个峰分开
http://www.3dmed.net
http://www.3dmed.net
2
区域生长分割
区域生长的基本思想是将具有相似性质的像素集
中起来构成区域,该方法需要先选取一个种子点,
然后依次将种子像素周围的相似像素合并到种子像
素所在的区域中。区域生长算法的优点是计算简
单,特别适用于分割小的结构如肿瘤和伤疤
区域生长分割示意图
这里,采取较为简单的相似度条
件定义方法:设当前队列顶端元
素的灰度值为gc,当前邻点灰度
值为gn,种子点的灰度值为gs,
nv、cv为用户设定的值,定义
当
且
gn
nv
<
相似度条件。
时,满足
gn
<
gc
gs
cv
−
−
http://www.3dmed.net
http://www.3dmed.net
交互式分割
Live wire分割
由用户指定一些点作为多边形的顶点,系统自动
将多边形内部填充作为分割结果。
多边形填充:对于每
一条扫描线和每条多
边形边的交点,将该
扫描线上交点右方的
所有像素取补。对多
边行的每条边做此处
理,便可得到填充后
的结果
在live wire算法中,将图像看成是
一个连通图,图像中的像素当作
连通图中的节点,相邻像素间的
边当作连接节点的边。在边上定
义一个代价函数,使强边缘具有
较小的代价值,非边缘具有较大
的代价值,两个节点间的距离可
用代价值表示。然后通过图搜索
来找物体的边界。一般用动态规
划来查找连通图中两点之间的最
短路径
http://www.3dmed.net
http://www.3dmed.net
Live wire算法的特征值与特
征转换函数
f
1
=
pg
)(
−
qg
)(
f
2
=
f
3
=
f
4
=
1
3
1
2
1
4
pg
(
)
+
tg
)(
+
vg
)(
−
qg
)(
−
ug
)(
−
wg
(
)
pg
(
)
+
1
2
tg
)(
+
1
2
vg
)(
−
qg
)(
−
1
2
ug
)(
−
1
2
wg
)
(
(
pg
(
)
−
ug
)(
+
tg
)(
−
qg
)(
+
pg
(
)
−
wg
)
(
+
vg
)(
−
))(
qg
特征值
l
1
a
2
2
≤<
l
+≤
a
2
2
f
>
f
2
fc
)(
=
f
,
l
1
+
l
1
)
,1
a
2
f
−
,0
(2
⎧
⎪
⎪
⎪
⎨
⎪
⎪
⎪
⎩
l =
1
min(
f
)
l
2
特征转换函数
l =
2
a
=
f
)
]
max(
[
l
l
−
2
1
100
Live wire算法的实现
Live wire算法是用来确定图像中
轮廓线的方法,如果想把轮廓线
外或轮廓线内的部分分割出来,
还要用到种子点填充算法。种子
点填充是图形学中的算法,是轮
廓提取算法的逆过程。它首先假
定封闭轮廓线内某点是已知的,
然后算法开始搜索与种字点相邻
且位于轮廓线内的点。如果相邻
点不再轮廓线内,那么就到达轮
廓线的边界;如果相邻点位于轮
廓线之内,那么这一点就成为新
的种子点,然后继续搜索下去。
http://www.3dmed.net
http://www.3dmed.net
3
Live wire算法的框图
Live wire算法
种子点填充:
1. 种子点像素压入堆栈;
2. 当堆栈非空时,从堆栈中推
出一个像素,并将该像素设
置成所要的值;
3. 对每个于当前像素邻接的得
四连通或八连通像素,进行
上述两部分内容的测试;
4. 若所测试的像素在区域内没
有被填充过,则将该像素压
入堆栈;
http://www.3dmed.net
基于参数形变模型的医学影像
分割
M. Kass: Snakes: Active contour models.
International Journal of Computer Vision;
用能量最小化作为框架;
通过定义内能和外能来模拟物理上的力学原
理;
外能
内能
基于参数形变模型的分割
基于几何形变模型的分割
http://www.3dmed.net
参数形变模型
v(s) = (x(s),
y(s))
参数形变模型的三大要素:
内能,外能,能量最小化方法
http://www.3dmed.net
http://www.3dmed.net
参数形变模型—内能
轮廓点
的重新
参数化
参数形变模型—外能
M. Kass :传统的外能
Laurent D. Cohen: Balloon (气球)
L. D. Cohen and I. Cohen: Distance (距离)
Chenyang Xu: Gradient Vector Flow (GVF)
Steve R. Gunn: A Dual Active Contour
Cootes, Taylor, et al:Active Shape Models (ASMs)
http://www.3dmed.net
http://www.3dmed.net
4
参数形变模型—能量极小化方法
Kass et al:变分法
D. Williams et al:贪婪算法
动态规划
模拟退火、遗传算法、梯度下降法等
各种优化算法
我们算法—基于参数形
变模型的连续切片分割
1.受Dual Snake的启发:
提出了轮廓的活动区域的概念
2.受ASMs的启发:
开始
过度分割
定义了新的基于灰度模型的外
Live Wire
能
3.结合医学影像的特点:
相邻的切片之间图像的灰度和
几何等信息变化不大,提出了基
于参数形变模型的连续切片分割
算法
活动区域
灰度模型
结束
算
法
流
程
http://www.3dmed.net
http://www.3dmed.net
live wire算法
Live wire算法的基本思想:基于图论的边缘检测
寻找图中两点间最短路径
最小化代价函数
优化方法:动态规划
结合live wire算法和过度分割方法
动态规划的搜索范围受到限制,运行时间缩短。
在过度分割图中的区域边界上查找最短路径,提
高了分割的准确性,并减少了用户的交互次数。
减少了分割结果对代价函数和参数的依赖性,使
训练步骤不再需要。
目的:得到单张或多张切片的准确分割
http://www.3dmed.net
http://www.3dmed.net
参数形变模型的活动区域
参数形变模型的轮廓
过度分割后的边缘
轮廓点
活动轮廓v(s)(s∈[0, 1])一般用沿轮廓采样的
轮廓点表示:
v
(
=
sr
))(
sysx
(
<<≤
({
(
srsr
1
),
1
),....}
3
0
)( ,1
sr
i
i
....
≤
),
2
),
i
(
=
s
1
s
2
2
3
i
r3
r2
r1
目的:1. 减少能量最小化过程的复杂性
2. 将最后的分割结果限制在边缘上
活动轮廓与轮廓边缘点附近的物体内外区域
http://www.3dmed.net
http://www.3dmed.net
5
参数形变模型的外能定义
参数形变模型的外能定义
轮廓点处的灰度模型 :
),r
{RF_In(
)rGM(
i =
i
RF_Out(
)}r
i
RF
=
{
FF
,
1
,....,
F
}
n
2
待分割切片中轮廓点ri处的灰度模型:
gm(
)r
i =
{rf_In(
),r
i
rf_Out(
)}r
i
外能定义 :
rP
)(
i
−=
(
)(
rS
i
in
+
S
out
)(
r
i
−
S
diff
(
r
i
))
r
i
=
(
sx
(
i
),
))(
sy
i
)(
rS
i
in
=
(
exp
(
−
n
∑
k
1
=
F_in
−
k
δ
k
f_in
2
)
k
)
F_in
∈
RF_In
(
),
r
i
f_in
k
∈
rf_In
)(
r
i
k
S
out
)(
r
i
=
exp
(
−
n
∑
k
1
=
f_out
2
)
k
(
F_out
−
k
δ
k
)
F_out
∈
RF_Out
(
),
r
i
f_out
k
∈
rf_Out
)(
r
i
k
S
diff
)(
r
i
=
exp
(
−
n
∑
k
1
=
(
f_in
k
2
)
k
f_out
−
δ
k
)
f_in
∈
rf_In
(
),
r
i
k
f_out
k
∈
rf_Out
)(
r
i
灰度模型的作用:
通过体现在灰度模型中的已分割切片中包含的
物体和背景的局部区域统计信息来引导活动轮廓在
相邻的待分割切片中快速,准确的收敛到物体的实
际边界。
http://www.3dmed.net
http://www.3dmed.net
实验结果
定量比较
初始化
过度分割
活动区域
(
,
)
1
2
=
⎡
⎢⎣
M
∑
−=
TSD
⎤
⎥⎦
这里,s和t为轮廓的傅立叶描述子
−
s
M
t
n
n
n
2
我们算法
动态规划
贪婪算法
http://www.3dmed.net
http://www.3dmed.net
实验结果
实验结果
初始化
过度分割
动态规划
贪婪算法
我们算法
三维显示
http://www.3dmed.net
http://www.3dmed.net
6
性能比较
机器配置:P3 800, 128M
基于参数形变模型的分割
基于几何形变模型的分割
结论:和其它两种方法比较,我们算法运行
时间要长,但是交互次数少,分割结果更准确
http://www.3dmed.net
http://www.3dmed.net
曲线演化
Level Set 理论
J.A. SETHIAN: Dept. of Mathematics,
Univ. of California, Berkeley
主要思想:
将运动的界面作为零水平集嵌入到高一维的
水平集函数中,这样跟踪运动的界面问题就转化
为考虑水平集函数的演化,在任何时候,水平集
函数的零水平集就是运动的界面的演化结果。
http://www.3dmed.net
http://www.3dmed.net
Level Set 理论
定义一个高一维
的函数 ,通常
定义为符号距离
函数
的零水平集
运动方程
Fast Marching Method
速度F>0或者F<0,也就是说运动的界面
或者只能扩张,或者只能收缩;
http://www.3dmed.net
http://www.3dmed.net
7
Fast Marching Method
简单的 Eikonal 方程:
∇
T F
=
1
Sethian 证明:
2
2
+
T
x
T
x
+
ij
D
−
ij
,0)
,0) min(
+
max(
D
max(
⎡
⎢
⎢
⎣
-xT=(Tij - Ti-1,j)/(xi - xi-1), Dij
Dij
-yT=(Tij - Ti,j-1)/(yj - yj-1) , Dij
Dij
D
−
ij
1/ 2
⎤
⎥
⎥
⎦
=
1/
F
i
,
j
2
D
+
ij
y
T
,0)
2
y
T
,0) min(
+
+xT=(Ti+1,j - Tij)/(xi+1 - xi),
+yT=(Ti,j+1 - Tij)/(yj+1 - yj).
Fast Marching Method
具体
过程
(i)
(iii)
(ii)
(iv)
http://www.3dmed.net
http://www.3dmed.net
存在问题
Fast Marching Method
基于单个像素(pixel-based)来进行操作的;
对于模糊的图像边缘不能很好的处理
医学影像的特点:由许多一块块的性质相同
的小区域构成;
seeded point
blurred edge
cross edge
解决办法:
改进的Fast
Marching
方法
(a)
(b)
http://www.3dmed.net
算
法
流
程
输入数据
图像预处理
过度分割
Fast
Marching
输出结果
开始
初始化窄带
取最小时间
的网格点
是活动点
No
是窄带点
No
标识为
窄带点
更新到
达时间
大于阈值
Yes
结束
Yes
Yes
No
Fast
Marching
方
法
具
体
流
程
http://www.3dmed.net
过度分割:Watershed变换
Watershed变换
基本思想:
将梯度幅值图像看成一幅地形
图 。将地形图逐渐浸入一个湖
中,局部极小值点的盆地先进
水,分水岭就是分隔这些盆地
的堤坝,对应区域之间的边界
。
输出:原图像的过度分割 (区域数目超过实际对象数)
image
landscape
http://www.3dmed.net
http://www.3dmed.net
8