Modeling the World from
Internet Photo Collections
利用互联网图片集对世界进行建模
Modeling the World from Internet Photo Collections
Noah Snavely ·Steven M. Seitz ·Richard Szeliski
• Abstract
• 1 Introduction
• 2 Previous Work
• 3 Overview
• 4 Reconstructing Cameras and Sparse Geometry
• 5 Photo Explorer Rendering
• 6 Photo Explorer Navigation
• 7 Enhancing Scene
• 8 Results
• 9 Research Challenges
Abstract & Introduction
Main point : Using structure-from-motion and image-based
rendering algorithms to operate images downloaded from the
Internet ,and reconstructing world sites.
(核心:从网络图片实现世界的三维重建)
Major challenge: the images are unorganized, uncalibrated,
with widely variable illumination, resolution, and image quality.
(主要挑战:网络图片质量参差不齐)
2 Previous Work
2.1 Feature Correspondence-特征匹配
•
“corner-like” feature points, Harris feature points等特征;
本文采用:SIFT特征,因其优越的尺度不变性
2.2 Structure from Motion-稀疏重建
•
在Lowe 2005提出的 SfM 基础上做了四点改变:
姿态估计初始化相机参数,启发式规则选择初始图像,检验重构点优良性,从EXIF中计算焦距
2.3 Image-Based Modeling-基于图像建模
•
稀疏重建、基于模型重建等计算机视觉技术,研究成果众多,其又被称为 基于图像的建模 方法。
本文强调creating smooth 3D transitions between photographs 而不是interactively visualizing a 3D world。
2.4 Image-Based Rendering-基于图像渲染
•
本文避开IRB技术的核心:重建逼真的物体表面,光照问题、精确像素插值问题
这使文章能够不受IBM与IBR方法的限制,更自由地操作输入图片。
2.5 Image Browsing, Retrieval, and Annotation搜集图片
•
检索技术: Video Google 的三维扩展版本
注释技术:能使得注释在不同图片之间迁移
3 Overview
(此部分为文章脉络概述)
• 本文主要目标:geometrically register large photo collections from the Internet and other
sources
• 主要困难:网络图形对于建模的不友好性,质量问题
• 主要解决方法:特征匹配和稀疏重建
• 第四部分:详细叙述本文建模方法
• 第五部分:如何得到一个相对完美的物体表面
• 第六部分:photo explorer接口,用于用户输入图片后三维场景重建
• 第七部分:标注在多张图片中转移的技术
• 第八部分:11个场景的建模效果展示
• 第九部分:研究团队遇到的挑战性问题
4 Reconstructing Cameras and Sparse Geometry
相机标定与稀疏重建
• 4.1Keypoint Detection and Matching(关键点检测和匹配)
• 4.2 Structure from Motion(稀疏重建)
• 4.3 Geo-Registration(确定相机的绝对坐标)
• 4.4 Scene Representation(场景模型表达)
4 Reconstructing Cameras and Sparse Geometry
相机标定与稀疏重建
• 4.1Keypoint Detection and Matching(关键点检测和匹配)
Step1 检测每一张图片中的SIFT特征
Step2 ANN算用于匹配图片对(I,J)之间的特征,通过比值测试确定相匹配的特征
d
1
d
2
0.6
Step3 去除不合格匹配点: RANSAC算法计算两视图几何中的基本矩阵F得到最大候
选匹配集合,每次迭代利用八点法计算F,F矩阵的8个参数由 Levenberg-Marquardt
algorithm进行优化(捆绑调整)。
Step4 连接多张图片之间的匹配点,构成图像连通轨
Step5 由图像连通轨构造图像连通集合
4 Reconstructing Cameras and Sparse Geometry
相机标定与稀疏重建
4.1Keypoint Detection and Matching(关键点检测和匹配)
•
Step3 RANSAC算法:排除外点的数据,重新拟合模型,得到最大一致集合
1. 确定求解模型M,所需要的最小数据点的个数n。由n个数据点组成的子集称为模型M的一个样本;
2. 从数据点集D中随机地抽取一个样本J,由该样本计算模型的一个实例(),确定与()之间几何
距离< 阈值 t 的数据点所构成的集合,并记为S(()) ,称为实例()的一致集;
3. 如果在一致集S(())中数据点的个数# S(()) >阈值T, 则用S(())重新估计模型M,并输出结
果;如果# S(()) <阈值T,返回到步骤2;
4. 经过K次随机抽样,选择最大的一致集S(()) ,用S(())重新估计模型M,并输出结果。