2
2
2
第 27 卷 第 7 期
2006 年 7 月
小 型 微 型 计 算 机 系 统
M IN I- M ICRO SYST EM S
27 N o. 7
V o l
Ju ly 2006
数字图像拼接技术
王 伟, 陆佩忠
(复旦大学 计算机科学与工程系, 上海 200433)
E
m ail: 032021227@ fudan. edu. cn
摘 要: 数字图像拼接技术在现实生活中有广泛的应用. 本文阐述了图像拼接技术的要点, 图像拼接技术大致可以分为图像预
处理、图像配准和图像缝合三个基本步骤, 我们对各步骤中所需要的各类经典算法进行了详细论述. 根据实验经验, 揭示了这些
算法的使用范围, 比较了各自的优缺点. 最后对图像拼接算法的发展进行了展望.
关 键 词: 图像拼接; 图像配准; 全景图
中图分类号: T P391. 41 文献标识码: A 文 章 编 号: 1000
1220 (2006) 07
1347
06
An O verv iew of D ig ita l Image M osa ic
W AN G W ei, LU Pei
zhong
(D ep a rtm en t of Com p u ter S cience and E ng ineering , F ud an U n iversity , S hang ha i 200433, Ch ina)
Abstract: D igital m o saic techn ique is u sefu l in real life and is being u sed in a variety of fields. In th is p ap er,w e in troduce the key
po in ts of m o saic techn ique. B ased on the basic m o saic step s
registration, and stitch ing, w e review som e
typ ical algo rithm s. A cco rding to ou r ex ten sive exp erim en tal resu lts,w e expound the lim itation s and su itab le areas of these algo
rithm s. F inally,w e summ arized the ex isting p rob lem s and po in t ou t som e p rom ising direction s fo r the fu tu re research.
Key words: im age m o saic; im age registration; p ano ram a
im age p retreatm en t,
1 引 言
图像拼接就是把针对同一场景的相互有部分重叠的一系
列图片合成一张大的宽视角的图像. 拼接后的图像要求最大
程度地与原始图像接近, 失真尽可能小, 没有明显的缝合线.
2003 年, 美国“勇气号”和“机遇号”火星探测器发回了大量的
火星地面照片, 科学家们就是运用图像拼接技术合成了火星
表面的宽视角全景图像.
图像拼接技术在宇宙空间探测、海底勘测、医学、气象、地
质勘测、军事、视频压缩和传输, 档案的数字化保存, 视频的索
引和检索, 物体的 3
D 重建, 军事侦察和公安取证, 数码相机
的超分辨处理等领域都有广泛的应用. 主要表现为:
(1) 全景图和超宽视角图像的合成: 将普通图像或视频
图像进行无缝拼接, 得到超宽视角甚至 360°的全景图, 这样就
可以用普通相机实现场面宏大的景物拍摄;
(2) 碎片图像的组合: 将医学和科研的显微碎片图像或
者空间、海底探测得到的局部图像合成大幅的整体图像;
( 3) 虚拟现实: 图像拼接是虚拟现实领域里场景绘制
based R endering, IBR ) 方法中的一项基本技术, 利用
( Im age
图像拼接技术可以生成全方位图像, 用全景图表示实景可代
替 3D 场景建模和绘制 1 .
2 图像拼接算法分类
原始图像的性质是影响图像拼接算法的最重要因素. 原
始图像得到的方式不同, 图像整体性质也有很大差异, 需要使
用不同的拼接算法. 大致可分为如下几类:
2. 1 柱面
立方体全景图拼接
球面
全景图的表示模式主要有球面全景图、柱面全景图和立
方体全景图. 柱面全景图易获得, 能生成任意视线的场景, 但
对垂直方向的视域有限制; 球面全景图能完整地表达整个视
点空间, 但会导致在两极的场景扭曲变形; 立方体全景图一般
由 6 幅广角为 90°的画面组成, 易于数据的存储, 便于显示, 主
要应用于三维虚拟现实领域.
柱面模型是最普遍采用的全景图拼接模型, 该方法要求
相机绕垂直转轴 (如三脚架) 作水平转动. 将图像投影到一个
统一的柱面上之后, 拼接问题就转化为在柱面上图像间的平
移问题. H eung
Yeung Shum 等提出的同心圆拼接算法 2 是
一种依赖于相机参数的方法, 该算法可看作是柱面模型的变
异.
2. 2 基于透视变换的拼接
透视变换的拼接 3 对相机的运动没有严格的限制, 但为
了防止视差的出现, 要求被拍摄的景物是一个近似的平面. 拍
摄中, 景物距离相机足够远即可把它视为平面. 当获得的是排
列顺序未知的碎片图像, 或相机的运动方式未知, 可采用这种
模型.
2. 3 基于仿射变换的拼接
仿射变换常作为基于透视变换全景图的一种近似, 在相
机倾斜角度不大、焦距足够大的时候可获得较好的匹配结果.
收稿日期: 2005
主要研究方向为图像处理、数字水印; 陆佩忠, 男, 1961 年生, 教授, 博士生导师, 主要研究方向为信息隐藏与分析、数字水印、数字通信等.
17 基金项目: 国家自然科学基金重大研究计划项目 (90204013) 资助. 作者简介: 王 伟, 男, 1976 年生, 硕士研究生,
03
Þ
Þ
2
3
Þ
2
2
Þ
2
2
2
8431
小 型 微 型 计 算 机 系 统
2006 年
仿射变换是定义在连续的图像上, 离散的图像 I 仿射变
换到 I ’可以由图 1 所示. I 和 I ’有相同的大小, 它们可以分别
由连续的图像 I c 和 I ’
c 采样得到.
图 1 采样图像的仿射变换
2. 4 基于图像检索的图像拼接
运用基于内容的图像检索方法进行图像拼接是一种结合
图像数据库、图像检索、模式识别等技术的拼接方法 4 . 首先
把原图分成很多小块, 然后对每个小块, 从图像数据库中找到
与之在视觉上最相近的图像, 最后用替代的方法把从数据库
中选出的图像组成一张大图.
3 图像拼接算法概述
图像的拼接过程一般由拼接预处理、图像配准、图像缝合
三个步骤组成. 拼接流程如图 2 (以两幅图的拼接为例) 所示.
图 2 图像拼接流程图
3. 1 预处理算法
图像拼接预处理的主要目的是保证下一步图像配准的精
度, 对原始图像做一些折叠变化和坐标变换, 初略定位, 找到
大致的重叠区域, 缩小匹配范围, 提高速度.
3. 1. 1 图像平滑与边缘锐化处理
相邻图像样本的重叠部分在细节上是不完全相同的, 一
般选取轮廓等主要边缘做匹配特征的垂直边缘. 首先对灰度
化图像进行平滑处理
g (i, j ) = h (i, j )
(1)
其中 f 是输入图像, g 是输出图像, h 是平滑卷积滤波
h (k , l) f (i
k , j
l).
f (i, j ) = ∑
k= 0
n
1
∑
l= 0
m
1
器, 可以是均值滤波器或者高斯平滑滤波器.
平滑处理后, 再对图像样本作垂直边缘锐化处理, 可采用
图像样本卷积梯度算子 H x (c,
c) 锐化边缘. 其中 c 是模板增
益, 用以突出锐化的边缘特征, 一般采用 1×2 模板. 其公式
为:
g (i, j ) =
h x = (i, j )
f (i, j )
= c
f (i, j )
f (i+ 1, j )
.
(2)
3. 1. 2 相位相关算法
如果假设只有在平面上的平移运动, 平移运动转化到傅
立叶域就是相位差. 设两幅离散图像 f 1 和 f 2 在空间域简单
的平移相关:
f 1 (x , y ) = f 2 (x
x 0, y
y 0).
(3)
相应的傅立叶变换 F 1 和 F 2 也是相关的.
F 2 (u, v ) = F 1 (u, v ) e
(ux 0+ vy 0).
(4)
其中 (x 0, y 0) 表示在 x , y 方向上的位移量. 相位差为 (其中 F
是 F 1 的复数共轭) :
j2
1
e
j2
(ux 0+ vy 0) =
F
F
1 (u, v ) F 2 (u, v )
1 (u, v ) F 2 (u, v )
.
(5)
相位差的傅立叶反变换是在平移运动坐标上的脉冲, 即除了
需要对齐两幅图像的偏移位置外, 其他任何地方几乎都是 0.
搜索最大值的位置就是两幅图像的对齐点.
当相机的运动幅度较大时, Yo si Keller 等提出了基于傅
立叶变换的估计方法 5 . 该方法使用 p seu
d op ola r (P P ) 傅立
叶变换以获得图像的极坐标和对数极坐标的傅立叶变换近似
表示, 把旋转和缩放都转化为平移, 使用相位矫正进行估计.
3. 1. 3 灰度图投影算法
当垂直方向上的平移可以忽略时, 可采用灰度图投影算
法进行相邻图像的粗略定位. 首先将真彩图转为灰度图, 然后
将灰度值二值化, 再将各象素灰度值投影到垂直方向予以累
加, 通过比较相临图像的投影曲线, 获得粗略的匹配位置.
3. 1. 4 视频序列子集的筛选
基于视频的图像拼接, 应先对视频序列图像进行筛选. 由
于视频序列图像相互之间的位移量很小, 一般只选取全部视
频序列图像的一个子集, 以降低对准误差和不连续性, 减小计
算量. 先确定目标参考帧, 把能最准确地与参考帧对齐的图像
帧作为选择帧, 这样选择帧和参考帧图像之间仅存在整数级
线性平移关系. L I 等提出了分象限匹配算法 6 , 先把每帧图
像分成 4 个象限, 在每个象限内对参考帧和选择帧进行匹配,
当所有象限的匹配值都相同时, 就认为只存在线性平移. 否
则, 认为存在旋转、剪切、投影或者它们的组合变换.
3. 1. 5 遗传算法估计碎片图像的拓扑排列
如果原始图像是碎片图像, 拓扑排列顺序未知, 或者相机
的运动方式未知、不规则时可以采用拓扑排列估计的方法.
TO YAM A 等提出基于用矩阵表示图像拓扑排列顺序的遗传
算法 (GA ) 7 . 该算法用 N H ×N W 的矩阵来表示 N (N = N H ×
N W ) 幅图像的排列顺序, 并用遗传算法来确定每副图像在矩
阵中的位置. 结合局部调整算法, 该方法能够拼接出质量很高
的大幅显微图像. 文献 27 中提出了有向图聚核算法, 该算法
使得只有相邻的两副图像才能在序列中匹配, 因而能达到很
小的匹配误差.
总之, 图像拼接预处理可以看成原始图像的预先对齐. 一
方面可以根据原始图像的特性来确定M o saic 图像的表示模
型, 选择合适的预处理算法, 并确定下一步配准算法; 另一方
面, 我们也可以根据确定的配准算法, 相应地选择合适的预处
理方式, 以提高拼接精度和速度. 当然, 预处理算法与配准算
法并没有明显的界限, 某些预处理算法也在配准的过程中使
用.
3. 2 图像配准算法
M o saic 图像的质量主要依赖图像的配准精度. 配准算法
既要保证配准的精度, 又要使计算量不至于过大. 其核心问题
是: 寻找一个变换, 使图像间相互重叠的部分对准, 并“缝合”
5
5
7 期
王 伟 等: 数字图像拼接技术
2
9431
成为一个新的大画面的视图. 精确配准的关键就是要有能很
好的描述两幅图像之间转化关系的模型, 大部分的拼接都采
用对应匹配 (hom ograp h ic m app ing) 模型, 即原始图像是由针
孔相机拍摄的投射图像, 相机的运动主要是绕其光学中心的
摇镜 (p an)、平移、倾斜、旋转和缩放.
对应匹配由 8 个参数 8 决定:
p (x , y ) =
A
C T
x
y
x
y
+ B
+ 1
, (A =
a11 a12
a21 a22
, B =
b1
b2
, C =
c1
c2
) (6)
其中 A 是表示缩放和旋转, B 表示平移, C T 表示投影.
可以从基于特征匹配的算法、基于光流的运动估计算法
和一些辅助算法三方面来讨论图像配准:
3. 2. 1 基于特征匹配的算法
RAN SA C 算法是基于特征匹配的典型算法. 先求出相邻
图像的特征点 (H arris 方法、SU SAN 方法等) , 然后计算特征
点对, 随机选取 4 个点对建立方程组解出 8 个未知参数. 再用
图 3 标注了特征点的图像
迭代和 RAN SA C 估计求得最优解. 该算法缺点是计算量大,
而且与特征点的提取和特征点匹配的精度密切相关. 很多新
算法都是在这两个方面进行改进和拓展, 以提高配准的精确
性、速度和鲁棒性.
图 4 特征点对应匹配图
我们采用基于 H arris 特征点匹配的方法进行图像拼接
试验, 用最小二乘法来进行 8 个参数的估计以提高配准精度.
用数码相机拍摄了一系列复旦校园北区大道的图像, 先用
H arris 方法求出特征点 (图 3, 其中的白色点表示是特征点) ,
然后进行特征点匹配 (图 4 中两条直线之间的区域表示两幅
图像的匹配区域) , 然后进行图像缝合 (图 5 是拼接后的图
像). 试验显示该方法有较好的效果.
P IZA RRO 等 9 提出了一种基于 Zern ike 矩的特征表示
方法来进行 H arris 特征点的匹配, 并通过特征点对的配准来
进行海底考古探测图像拓扑排列顺序的估计和图像光度的补
偿, 该方法很好的实现了图像的拼接. 可见, 当原始图像的重
合率低, 背景光线变化大, 相机运动不规则时, 图像配准多选
用基于特征点的方法.
M arquardt (L
为了提高精度和降低计算复杂度, 基于特征的算法往往
与其他的方法相结合. SHU 等 10 提出了基于相位相关和
KL T 特征跟踪的拼接算法. 先用相位相关算法来进行初步的
图像对齐, 然后用 KL T 算法优化其结果, 给后续的 L even
M ) 算法提供更好的初始值. 这种算法不
berg
需要知道任何相机参数和景深信息, 能降低迭代次数减少计
算时间, 但只适合图像之间仅存在平移变换的情况. 文献 26
用基于现实场景特性分析的全平面补片 (CPP ) 作为特征, 并
用解释树来表示这种特征, 通过对解释树的搜索来完成图像
的配准.
图 5 拼接后的图像
在进行档案数字化保存的时候, 需要把面积很大的文件
分部分进行扫描, 再拼接成大图. P ILU 等提出了基于特征匹
配的变换假设估计方法 11 , 该方法能满足文件图片拼接时的
高鲁棒性和高分辨率的要求, 并能够实现不需人工干预的自
动拼接.
3. 2. 2 基于光流的算法
M ANN 等 8 提出了无特征的光流算法, 主要应用于视频
图像拼接. 其本质是微分方法, 把图像看成有两个变元的满足
连续光滑可微等条件的曲面. 而图像是定义在二维网格上的
整值离散函数, 要使图像运动满足光流方程, 图像中的小区域
应该具备连续可微的特性. 因此在运动估计时采用分层迭代
的方法, 即将图像分块, 每块看成一个象素, 每块的平均灰度
值看成该象素的灰度, 这样图像就有了微分的物理特性.
设 I (x , y , t) 是 t 时刻帧, 假设下一帧是由摄像机作细微
的运动导出, 则图像中的每个象素满足关系 I (x +
y , t+
t) = I (x , y , t). 可以建立目标函数:
x , y +
[ (A X + b)
(cTX + 1) ·X ) ·I x + (cTX + b)
E (p , S ) = ∑
X ∈S
·I ) ]2.
(7)
S 是图像区域, p 是要求的参数, I x 是帧对坐标的偏导数. 要
使 (7) 式达到最小值, 即解方程:
E (p , S )
d
= 0, d ∈{a11, a12, a21, a22, b1, b2, c1, c2}.
M ANN 12 等还提出了空域上的 P referred 模型:
f (g; k ) =
c
c
g (1
g
k a) + k a
]c.
(8)
(9)
其中 f 和 g 表示要配准的两幅图像. k 是表示 f 和 g 之间曝
光差异的标量, a 和 c 是与相机本身相关的参数. 根据这个模
型, 使用光流算法, 任何图像 g 都可以转化为另外一幅新的
图像 f (g (p (x ) ) ) , 并且能同时进行相机参数的估计.
GON G 等 提 出 了 基 于 虚 拟 相 机 (virtual cam era) 的 算
法 13 , 他们将全球定位系统 (GPS) 与摄像机相连, 用 GPS 的
Γ
0531
小 型 微 型 计 算 机 系 统
2006 年
输出数据对相机的平移参数进行初始估计. 该算法中提出了
9 参数的投影变换模型, 其中 3 个参数是表示平移, 3 个参数
表示旋转, 3 个参数表示景深. 由于对景深的计算, 就可以把
目标图像投影到任何特定的相机坐标系统中, 从而便于给定
的任意虚拟相机的全景图的实现.
3. 2. 3 相关的辅助方法
为了降低匹配误差, 在进行配准的时候有许多辅助方法.
1) 分层迭代. CA STL EM AN 等 14 提出了由粗到细的金
字塔状的分层计算方法. 先将图像分成一些 m ×n 的方块, 每
个方块看成一个象素进行配准计算. 然后, 把 m 减半, 继续把
图像分块; 以此类推, 直到每个方块就是一个象素为止.
2) 滤波处理. 一般说来, 较平滑的信号能降低配准的局
部误差, 所以对图像先进行低通滤波处理可以降低噪声的影
响. 采用分层计算时, 对每层的图像都使用低通滤波处理, 对
最粗的层使用最大化的滤波, 随着 m 的减小, 滤波的幅度也
相应减小. 对由于干扰造成的图像数据中的抖动, 可以采用中
值滤波的方法进行消除.
3) 全局反馈. 在进行视频图像或者多幅相机图像的M o
saic 拼接时, 一个最大的难点时如何处理多幅图像拼接到同
一图像中去所产生的累计误差. M ANN 提出了利用群论的合
成, 将多个坐标变换合成一个变化以减少累计误差, 他还采用
分段拼接, 再合成的方法. 我们提出了基于局部精调和全局反
馈的累计误差控制方法 23 , 该方法不但大幅减少了多帧图像
拼接过程中矩阵的乘法, 而且中间变换得到了矫正, 有效的控
制了累计误差. 文献 5 中则是通过求以参考帧图像为根节点
的最小代价生成树 (M ST ) 来降低累计误差.
3. 3 图像缝合算法
当准确的计算出图像之间的转换参数之后, 我们需要根
据求出的参数把多张原始图像缝合成一张大的M o saic 图像
或者全景图. 图像缝合算法的目标包括:M o saic 图像的画出,
光度的调整混合. 我们需要消除全局匹配的累计误差和图像
重合区域的失真.
3. 3. 1 图像的混合
图像混合的主要目的是保证在图像与图像的重叠区域能
够连续, 并且没有可见的缝合线.
相同的场景在不同的图像上的灰度值和对比度都不一
来修正图像重叠区域 s0 的
致. 可以定义一个光度补偿因子
光度偏差 42 :
=
∑u∈s0 I 1 (u)
∑u∈s0 I 2 (u)
.
(10)
其中 I 1 和 I 2 表示象素点的光度. 在画出M o saic 图像时, 对重
叠区域的象素的光度值乘上此因子. 文献 10 提出了一种带
权重的象素带权平均法, 离图像中心近的象素被赋予大一点
的权重, 边缘的象素权重小, 于是对于M o saic 图像, 位于图像
中心的象素点做的贡献就大一点. 文献 15 中使用了重叠区
域平滑过渡的方法对相邻图像重叠区域局部光强逐渐过渡,
这种方法使图像融合结果更加平滑流畅.
也可以采用对每个 R GB 通道都使用 6 参数的仿射模型:
r2
g 2
b2
=
r 0 0
0
g 0
0 0
b
·
r1
g 1
b1
+
.
r
g
b
(11)
同样可以使用 RAN SA C 估计算法来估计这 6 个参数.
该模型能很好的保证M o saic 图像在色彩上的连续性和一致
性.
SU 等提出了基于小波域的混合方法 16 : 首先把图像投
影到小波空间, 然后进行混合, 使用可变积分的方法平衡缝合
线附近区域平滑度与保真度之间的矛盾, 从而达到较好的缝
合效果. 通过调整平滑度与保真度之间的折中参数, 还能够获
得不同质量的M o saic 图像.
合成的M o saic 图像中由于同一物体部分重叠而使物体
变得模糊, 这种现象称为鬼影. 文献 17 提出通过计算光流的
多次变换的方法减少由于较小的配准误差引起的鬼影, 但是
该方法相当复杂. 文献 18, 19 是寻找一条最佳的缝合线, 通
过在缝合线两边只取一幅图像的内容实现两幅图像的拼接,
达到消除鬼影的目的, 分别利用复杂度很高的 D ijk stra 算法
和动态规划的思想找到最佳的缝合线.
相邻两幅图像由于曝光不同造成的M o saic 图像色彩的
明显不协调称为曝光差异. 文献 20 通过一个线性的均衡器
进行两幅图像之间的曝光差异处理. 文献 21 通过预先调整
单幅图像曝光的方式进行曝光差异的处理. Candocia 用有限
制的线性函数来近似表示相机的非线性 Com p aram etric 函数
的方法来进行图像曝光估计 18 , 该方法使分段线性近似和曝
光估计更加准确. 2005 年 Candocia 又提出了在该模型中加入
斜率限制和结合点位置选择的分段线性 Com p aram etric 分
析 22 , 该方法对分段的数目不敏感, 并且降低了对误差的敏
感性.
3. 3. 2 M o saic 图像的画出方法
图像对齐以后, 将原始图像合并起来的方法有很多. 在目
标图像的每个坐标点可能有许多原始图像的坐标与其对齐,
问题在于选取哪幅图像的对应坐标象素作为M o saic 图像的
象素. 选均值的方法是取与目标图像坐标对齐的所有象素的
平均值, 该方法容易产生图像模糊; 选中值的方法是取所有原
始图像的象素值的中间值, 该方法能消除快速移动的局部噪
声. 我们采用选均值的方法, 并尽量选取离图像中心点较近的
象素 23 , 目标图像坐标 (x , y ) 上的象素可用如下公式表示:
1
R (x , y )
∑
i∈G
ri (x , y ).
ri (x , y ) I i (f i (x , y ) ).
I d (x , y ) =
(12)
G 是能与坐标 (x , y ) 对齐的图像, ri (x , y ) 是与 (x , y ) 对齐
的第 i 幅图像上坐标 f i (x , y ) 离边框的最近距离. 其中 R (x ,
y ) = ∑
i∈G
我们使用无特征的光流的方法, 用局部精调和全局反馈
来控制累计误差, 用选取中值的方法消除局部噪声, 成功对复
旦校园北区大道的视频图像进行了拼接. 图 6 (见下页) 表明
我们的方法有很好的效果. 对于视频流中的摄像机运动参数
模型, 我们还进行了代数分析 24 .
当场景中存在局部运动时, 我们利用了多重分层叠代的
优点, 并充分考虑频图像空间和时间上的属性, 实现了运动物
2
2
1531
2
2
2
2
2
2
2
7 期
王 伟 等: 数字图像拼接技术
体和覆盖背景的精确分割 25 . 首先在分层叠代过程中进行区
域分类, 得到初始运动模板. 接着空间分割原始图像, 先根据
图像的空间属性由底向上分层合并图像空间区域, 再利用视
频图像时间属性进一步向上合并, 得到图像空间分割结果. 结
合初始运动模板和图像空间分割结果, 采用区域分类新方法
重新对图像空间分割结果的每个区域进行分类, 然后根据分
类结果逐步精确求解全局运动参数, 最后进行图像合成得到
全景拼接图像. 既避免了遮挡问题对全局运动参数估计精度
图 6 复旦北区大道部分视频图像和M osa ic 图
的影响, 而且解决了拼接图可能产生模糊或某些区域不连续
等问题.
4 结论与展望
图像拼接技术作为数字图像处理的一个重要分支, 不断
与其它学科结合, 发展速度日新月异. 但是还有许多问题需要
进一步解决. 首先, 对于全局运动位置不规则, 背景光线变化
剧烈, 图像排列顺序未知的图像拼接依然没有很好的算法; 另
外, 对于存在局部运动的图像拼接依然是一个值得探讨的问
题. 在已知的诸多成熟算法中, 都对相机或者摄像机的运动有
很明确的限制, 但在现实生活中, 许多图像都是由不规则运动
的相机拍摄的, 图像之间存在很大的几何形变和光度色度变
化, 这给高质量的拼接带来很大的难度.
未来, 希望能够建立完备的图像拼接理论, 在图像的配
准、光色度的混合, 多幅图像缝合时的累计误差的降低方面建
立更精确的的数学模型, 找到鲁棒性更高的算法. 可以进行基
于特征与光流的混合算法的探讨, 建立解决拼接时图像平滑
度与保真度矛盾的明确表达式.
总之, 图像拼接的发展要与多媒体技术、虚拟现实技术、
通信理论、信号处理、模式识别等多个学科结合, 才能产生新
的思路并实现质的突破.
References:
1
Szelisk i R , H eung
Yeung Shum. C reating fu ll view pano ram ic
im age mo saics and environm en t m ap s[C . Siggraph 97 Confer
ence P roceedings, 1997, 3 (1) : 251
258.
2 H eung
Yeung Shum , L i
h ttp:
OL .
w ei H e. R endering w ith concen tric mo
,
pub s
research. m icro soft. com
asia
In:
33.
(Cam b ridge, M A ) 1995, 26
saics [ EB
1999.
Szelisk i R , Kang S B. D irect m ethod fo r visual scene recon strc
tion [ C .
IEEE W o rk shop on R ep resen tation s of V isual
Scenes,
Zhang Y, N ascim en to M A , Zaiane, O R. Bu ilding im age mo
In:
saics: an app lication of con ten tbased im age retrieval [ C .
P roc. of the IEEE In tl. Conf. on M u ltim edia and Expo,
ICM E
2003.
Keller Y, A verbuch A ,
of large tran slation s, Ro tation s, and Scalings in Im ages[J .
T ran saction Im age P rocessing, 2005, 14 (1) : 12
J imm y L i J S, R andaw a S. Imp roved video mo saic con struction
by selecting a su itab le sub set of video im ages [C .
In: P roceed
ings of the 27th Conference on A u stralasian Compu ter Science,
2004, 143
Toyam a F, Sho ji K, M iyam ich i J.
Im age mo saicing from a set of
im ages w ithou t configu ration info rm ation Pattern R ecogn ition
[C. 17 th In ternational Conference, 2004: 899
based estim ation
IEEE
IsraeliM. P seudopo lar
149.
902.
22.
3
4
5
6
7
8 M ann S, P icard R W. V ideo o rb its of the p ro jective group: a
1295.
simp le app roach to featu reless estim ation of param eters [ J .
IEEE T ran saction on IP, 1997, 6 (9) : 1281
P izarro O , Singh H. Tow ard largearea mo saicing fo r underw ater
scien tific app lication s[J .
IEEE Jou rnal of O cean ic Engineering,
2003, 28 (4) : 651
672.
Shu Z L , R uan Q Q.
tracker in im age mo saicing app lication [ C .
Im age registration based on KL T featu re
In: P roceedings of
9
10
2531
小 型 微 型 计 算 机 系 统
2006 年
11
1146.
ICSP2000. 2000: 1143
P ilu M ,
Isgro F. Fast and robu st p lanar registration by early
u s w ith app lication s to docum en t stitch ing [ C . Six th
con sen s
IEEE W o rk shop on A pp lication s of Compu ter V ision, 2002,
245
250.
R ecogn ition, 1998, 354
360.
20 U yttendaele M , Eden A , Skelisk i R. E lim inating gho sting and
expo su re artifacts in im age mo saics[C.
In: P roceedings of IEEE
Compu ter Society Conference on Compu ter V ision and Pattern
R ecogn ition, 2001, 509
516.
12 M ann S. Comparam etric equation s w ith p ractical app lication s in
IEEE T ran saction, Im age
quan tigraph ic im age p rocessing [ C .
P rocessing, 2000, 1389
1406.
13 Gong Y, L aRo se D , P ro ietti G. A robu st im age mo saicing tech
n ique capab le of creating in tegrated pano ram as [C .
IEEE 1999
In ternational Conference on Info rm ation V isualization, 1999, 24
29.
Castlem an K R. D igital im age p rocessing [ C . P ren tice H all,
U pper Saddle R iver, N J , 1996.
14
15 M arzo tto R , Fu siello A ,M u rino V. H igh reso lu tion video mo
saicing w ith global alignm en t. Compu ter vision and pattern
recogn ition [C. P roceedings of the 2004 IEEE Compu ter Society
Conference, 2004, 602
Su M ing
calcu lu s app roach to m u ltireso lu tion im age mo saic [C.
tional Conference on Im age P rocess, 2001, 245
698.
sh ing, H uang W en
Yong. V aritional
In terna
liang, Cheng Kuo
248.
16
17 H eung
Yeung Shum , Szelisk i R. Con struction of pano ram ic im
age mo saics w ith global and local alignm en t [ J .
Jou rnal of Compu ter V ision, 2000, 36 (2) : 101
130.
In ternational
18 Candocia F M. Jo in tly registering im ages in dom ain and range by
IEEE T ran saction
p iecew ise linear comparam etric analysis [ J .
Im age P rocessing, 2003, 12 (4) : 409
419.
19 D avis J. M o saics of scenes w ith moving ob jects[C.
IEEE Com
pu ter Society Conference on Compu ter V ision and Pattern
27
21 Chen S E. Q u ick tim e V R
vironm en t navigation [C .
ference Series (S IGGRA PH ’95) , 29
38.
an im age based app roach to virtual en
In: Compu ter Graph ics A nnual Con
22 Candocia F M. A nalysis and enhancem en ts to p iecew ise linear
IEEE T ran saction Im age
comparam etric im age registration [C .
P rocessing, 2005, 14 (2).
23 L u Pei
213.
zhong, W u L i
de. Doub le h ierarch ical algo rithm fo r video
IEEE Pacific R im Conference on M u ltim edia, 2001,
mo saics[C.
206
zhong. T he estim ation of mo tion pa
T ang Q ing
ram eters and dynam ic mo saic rep resen tation fo r video s [ J .
Compu ter Science, 2004, 31 (6) : 189
yang, L u Pei
193.
24
25 L u Pei
zhong,W u L i
tion models in video [J .
Science) , 1999, 38 (4) : 460
de. A lgeb raic analysis of the cm aera mo
Jou rnal of Fudan U n iversity (N atu ral
464.
26 H e W en
feng, M a W ei, Zha Hong
b in . A u tom atic registration
of
range im ages based on co rrespondence of comp lete p lane
patches [C. F ifth In ternational Conference of 3D D igital Im ag
ing and M odeling, 2005, 470
Sara R , O katan i I S, Sugimo to A. Globally convergen t range
im age registration by graph kernel algo rithm [C. F ifth In terna
tional Conference of 3D D igital Im aging and M odeling, 2005,
377
475.
384.