摘 要
图像复原领域中的数字图像修复技术是近几年来比较热门的一个研究课题,
它利用图像中已知的有效信息,按照一定规则对破损的图像进行信息填充,得到
连续、完整、自然的图像视觉效果。该技术广泛应用于文物保护、老照片的修复、
图像中文本信息的去除以及障碍物的去除、影视特技制作以及图像压缩、增强等
方面,具有很高的实用价值。本文所做的工作主要体现在以下几个方面:
(1)在阅读和查找图像修复算法的相关文献时,基于个人理解的基础上,
整理了一些经典的修复模型或算法,详细介绍和描述这些模型和及其算法原理,
如基于偏微分的修复模型包括 BSCB 模型、TV 模型、CDD 模型、调和模型等,
基于样本块的纹理合成算法如 Crimini 算法,最后且对这些模型的优缺点进行比
较。
(2)在之前的基础上,结合 TV、CDD 模型优缺点,针对扩散系数进行改进,
提出了一个基于偏微分方程的修复模型,它涵盖了 TV、CDD、指数曲率模型、
对数曲率模型这些子模型,为了仿真实现方便,继而给出了该修复模型及其子模
型的离散型模型。通过 MATLAB 实现该算法,证明该修复模型对于较小区域的
图像修复和去噪有很好的效果。
(3)最后总结本论文的创新点和不足点,继而提出该论文可以后续研究探
讨的内容。
关键词:数字图像修复;偏微分;纹理合成;
I
ABSTRACT
The digital image inpainting technique in the field of image restoration is a hot
reseach topic in recent years,using the known valid image information, inpainting the
missed or damaged image information according to some rules, to make the image to
the extent that the inpainted image looks continuous, intact and natural perceptually.
Currently, image inpainting technique has
been abroad applied in image processing
field, such as digital restoration of ancient paintings for conservations purposes,
restoration of the old photos, text,object removalation in images for special effects,
vision analysis, data compression and enlargement and so on, which is full of pratical
value. This paper attempts to research on digital image inpainting techniques base on
the ensemble learning techniques. The main content of this dissertation is described as
follows.
(1) On the basis of personal understanding of digital
image inpainting
algorithms got in the process of seaching and reading revelent inferences, this paper
reorgnizes some typical inpainting models or algorithms, introducing and describing
these models and their algorithm principles in details, like as partial differential
equation models including BSCB, TV, CDD etc, and the texture completion
exemplar-based inpainting method such as Crimini, at the last making a comparation
between these models.
(2) According to the previous discussion, combining with the advantages and
disadvantages of TV,CDD, coming up with improvement a model based on partial
diffrential equation,which inlcuds TV model,CDD model, the exponent curvature
function model,the logarithm curvature function model. To make the algorithm come
true easily,
then discrete models of those models are given.Through MATLBA
simulink ,which proves this inpainting method has a good inpainting effect, also in
image .
(3) At the end of the paper, on the basis of sumrizing up the navigations and
disadvantages,it has come up with some problems for subsequent research.
Key words : Digital Image Inpainting ; Partial Differential Equation ; Texture
Synthesis;
II
目 录
第一章 绪论 ........................................ 1
1.1 数字图像修复技术的背景、目的和意义 ................ 1
1.2 数字图像修复技术国内外研究现状 .....................2
第二章 数字图像修复算法综述 ........................5
2.1 图像的数学描述 .................................... 5
2.2 图像修复的相关理论 .................................7
2.2.1 变分法 ...................................... 7
2.2.2 梯度和散度 .................................. 9
2.2.3 卷积 ....................................... 10
2.2.4 纹理合成 ................................... 10
2.3 数字图像修复算法 ..................................11
2.3.1 BSCB 模型 ...................................11
2.3.2 P-LAPLACE 图像修补模型 ......................14
2.3.3 基于样本的纹理合成算法 ..................... 20
2.4 各种修复模型算法比较 ..............................24
2.5 本章小结 ......................................... 25
第三章 TV 模型改进及其实现 ........................ 26
I
3.1 预备知识 ......................................... 26
3.2 连续型模型 ....................................... 27
3.3 离散型模型 ....................................... 29
3.4 模型的仿真 ....................................... 33
3.5 模型的评价 ........................................ 3
3.6 本章小结 ......................................... 39
第四章 展望 ....................................... 40
参考文献 ........................................... 41
致 谢 ............................................. 48
II
江西理工大学 2011 届本科生毕业设计(论文)
第一章 绪论
1.1 数字图像修复技术的背景、目的和意义
一般情况下,一幅完整的图像是没有任何破损和杂质的。但在经历了时间、
等外在因素影响,就会导致图像发生退化,图像就会产生破损,对破损区域的修
复就是需要进行修复和补全。
欧洲文艺复兴时期,为了恢复美术作品中丢失或缺损的部分,保持作品的整
体效果,人们开始对中世纪美术作品进行修复,主要是填补美术作品上所出现的
裂痕。而这局限于手工修复,手工修复面临着一个致命的缺点,即直接在原始作
品上修改容易造成的微小失误会破坏珍贵的原作。随着美术博物馆的数字化,作
品被扫描到计算机里,通常只需要简单的人际交互工作就可完成修复。数字图像
修复技术相应地带来了极大的自由,比如可避免直接在原作上进行修复,出现错
误的时候或逐步增强修补效果的时候,不会破坏珍贵的原画。毫无疑问,数字图
像修复技术为修补古老的艺术作品提供了安全便捷的途径。
数字技术的发展带动了数字图像技术在数字产品中如扫描仪、数码相机等的
广泛应用,而在获取数字图像的过程中,会有诸多因素造成数字图像局部范围或
大块信息的缺损[1]:
(1)原本有缺损的图片经过扫描得到的图像;
(2)基于某种特殊目的对图像进行一些处理而留下的空白区,如移走图像上的
目标物或文字 信息;
(3)在数字图像的获取、处理、压缩、传输和解压过程中,因信息丢失而造成
的信息缺损区。
所谓图像修复是对根据图像已有信息对图像上信息缺损区域按照一定规则
进行填充的过程,其目的是为了恢复有缺损的图像,使其接近或者达到原图像的
视觉效果。由于没有足够的信息可以保证唯一正确地修复破损图像,因此图像修
复是个病态问题。因此人们从视觉心理学的角度出发,提出各种假设限定来解决
这个问题。随着科学技术的发展及待修复作品客观因素的要求,图像修复也从手
工修复发展到如今的数字图像修复。
随着数字图像技术的发展,越来越多的领域期望能够对图像进行一定的修
改,因此数字图像修复技术成为当前计算机图形学和计算机视觉中的一个研究热
点,在文物保护、影视特技制作、多余目标物体移除、图形缩放、图像的有损压
缩、视频通信的错误隐匿等方面有重大的应用价值。目前的一些图像处理软件虽
有专业的特效处理和图像修复处理,但这要求用户掌握必要的图像处理知识。因
此简单、自动、快速的修复算法正被人们热切期望着。
Bertalmio 等在 2000 年的一次学术会议上,首次提出数字图像修复技术这
1
江西理工大学 2011 届本科生毕业设计(论文)
个术语。现在,数字图像修复技术正被广泛研究,基于不同原理提出了各种不同
修复算法,这些算法致力于简单实用,只要求用户简单选择要修复的区域,剩下
的工作则由计算机自动完成。
1.2 数字图像修复技术国内外研究现状
目前存在两大类图像修复技术:一类用于修复小尺度缺损的图像修补技术
(image inpainting technique),也可称为基于变分 PDE 的图像 inpainting
算法。一类用于填充图像中大块丢失信息的图像补全技术(image completion
technique),这一技术包含两种方法:基于图像分解(结构部分和纹理部分)的
修 复 技 术 和 基 于 块 的 纹 理 合 成 技 术 。 如 图 1.1 所 示 。
Digital image inpainting
(数字图像修复)
Image inpainting
(图像修补)
Image completion
(图像补全)
Variation and PDE
(变分和偏微分)
Image division
(图像分解)
Total variation
(全变分)
PDE(偏
微分)
part
Structure
(结构部分)
Synthesis part
(纹理部分)
Texture
synthesis
based
on
block(基于
块 的 纹 理 合
成)
图 1.1 数字图像修复方法(Method of digital image inpainting)
小尺度破损图像目前主要使用变分 PDE 方法,其主要思想是利用待修补区域
的边缘信息,确定扩散信息和扩散方向。这种基于 PDE 方法的思想首先由
Bertalmio, Sapiro, Caselles, Bellester[2]提出,他们利用带修补区域的边缘
信息,采用一种由粗到精的方法来估计等照度线的方向,并采用传播机制将信息
传播到待修补的区域内,以便得到较好的修补效果。本质上,他是一种基于偏微
分方程(partial differential equation, PDE)的 inpainting 算法,该类方
法的主要思想是利用物理学中的热扩散方程将待修补区域周围的信息传播到修
补 区 域 中 , 其 典 型 的 方 法 包 括 BSCB[2] ( Bertalmio, Sapiro, Caselles,
Bellester)模型用三阶 PDE 来模拟平滑传输过程及 Chan-Shen 提出的用三阶 PDE
来模拟 CDD[3](curvature driven diffusion)等。在这类方法中,还有一种是
基于几何图像模型的变分修补技术,该类算法的主要思路是模仿修补师手工修复
2
江西理工大学 2011 届本科生毕业设计(论文)
图像的过程,该类算法认为修补一幅缺损图片主要依赖于以下两个因素:(1) 如
何观察并读懂图片的现存部分 ,其用数学语言表达,也就是如何建立图像的数
据模型(data model);(2) 原始图片 I 属于哪类图像,其用数学语言表达就是,
也就是如何获得图像的先验模型(image prior model),即通过建立图像的先验
模型和数据模型,将修补问题转化为一个泛函求极值的变分问题。这类算法主要
包括全变分(total variation, TV)模型 [4]、Euler’s elastica 模型 [5]、
Mumford-Shah 模型[6],[7]、Mumford-Shah-Euler 模型[8 ]等。由于偏微分方程与变
分法是可以通过变分原理相互等价推出的,因此,可把这一类方法统称为基于变
分 PDE 的图像 inpainting 算法。
另 外 一 类 是 用 于 填 充 图 像 中 大 块 丢 失 信 息 的 图 像 补 全 技 术 ( image
completion)。基于图像分解的技术将图像分解为结构部分和纹理部分,其中结
构部分用 inpainting 算法修补,纹理部分用纹理合成方法填充。基于块的纹理
合成技术填充丢失的信息,该种算法的主要思想,首先从待修补区域边界选择一
个元素,以其为中心,根据图像纹理特征,选择大小合适的纹理块。再在待修补
区域的周围寻找与之最相配的纹理块,来替代该纹理块。
目前的数字图像修复算法也可以分为基于非纹理结构的修复算法和基于纹理结
构的图像修复算法。变分和偏微分方法都属于非纹理结构性的算法。
由于数字图像修复技术是近几年发展起来的一个课题,国外的研究正处于初
步发展阶段,国内也随后进行相关的研究,逐渐成为国际的热点研究课题。
1.3 图像修复算法的客观评价
一幅
NM 的原灰度图像
,(ˆ
yxI
)
,
I
,(0
yx
)
为受损图像,其复原后图像
,(
yxI
)
质
量的评价测度有:
(1) 均方差测度(MSE)
MSE
N
M
1
MN
1
1
x
y
,(ˆ
yxI
)
,
yxI
2
(2) 信噪比测度(SNR)
SNR
10
lg
M
x
1
y
1
,(ˆ
yxI
2
)
M
N
y
1
1
,(ˆ
yxI
x
N
2
)
,
yxI
(3) 峰值信噪比测度(PSNR)
3
江西理工大学 2011 届本科生毕业设计(论文)
PSNR
10
lg
1
MN
2
255
,(ˆ
yxI
)
,
yxI
2
N
M
x
1
y
1
(4) 改进信噪比测度(ISNR)
ISNR
10
lg
N
M
x
1
y
1
x
1
M
y
1
N
,(ˆ
yxI
,(ˆ
yxI
0
I
)
,
yx
)
,
yxI
2
2
图像修复较常用的客观评价测度为峰值信噪比测度(PSNR)和改进信噪比测度
(ISNR),它们的值越大时,表示修复效果越好。本文仿真实验中用到的是峰值信
噪比测度(PSNR)。
4