logo资料库

Modeling the World from Internet Photo Collections.pptx

第1页 / 共26页
第2页 / 共26页
第3页 / 共26页
第4页 / 共26页
第5页 / 共26页
第6页 / 共26页
第7页 / 共26页
第8页 / 共26页
资料共26页,剩余部分请下载后查看
Modeling the World from Internet Photo Collections 利用互联网图片集对世界进行建模
Modeling the World from Internet Photo Collections Noah Snavely ·Steven M. Seitz ·Richard Szeliski • Abstract • 1 Introduction • 2 Previous Work • 3 Overview • 4 Reconstructing Cameras and Sparse Geometry • 5 Photo Explorer Rendering • 6 Photo Explorer Navigation • 7 Enhancing Scene • 8 Results • 9 Research Challenges
Abstract & Introduction Main point : Using structure-from-motion and image-based rendering algorithms to operate images downloaded from the Internet ,and reconstructing world sites. (核心:从网络图片实现世界的三维重建) Major challenge: the images are unorganized, uncalibrated, with widely variable illumination, resolution, and image quality. (主要挑战:网络图片质量参差不齐)
2 Previous Work 2.1 Feature Correspondence-特征匹配 • “corner-like” feature points, Harris feature points等特征; 本文采用:SIFT特征,因其优越的尺度不变性 2.2 Structure from Motion-稀疏重建 • 在Lowe 2005提出的 SfM 基础上做了四点改变: 姿态估计初始化相机参数,启发式规则选择初始图像,检验重构点优良性,从EXIF中计算焦距 2.3 Image-Based Modeling-基于图像建模 • 稀疏重建、基于模型重建等计算机视觉技术,研究成果众多,其又被称为 基于图像的建模 方法。 本文强调creating smooth 3D transitions between photographs 而不是interactively visualizing a 3D world。 2.4 Image-Based Rendering-基于图像渲染 • 本文避开IRB技术的核心:重建逼真的物体表面,光照问题、精确像素插值问题 这使文章能够不受IBM与IBR方法的限制,更自由地操作输入图片。 2.5 Image Browsing, Retrieval, and Annotation搜集图片 • 检索技术: Video Google 的三维扩展版本 注释技术:能使得注释在不同图片之间迁移
3 Overview (此部分为文章脉络概述) • 本文主要目标:geometrically register large photo collections from the Internet and other sources • 主要困难:网络图形对于建模的不友好性,质量问题 • 主要解决方法:特征匹配和稀疏重建 • 第四部分:详细叙述本文建模方法 • 第五部分:如何得到一个相对完美的物体表面 • 第六部分:photo explorer接口,用于用户输入图片后三维场景重建 • 第七部分:标注在多张图片中转移的技术 • 第八部分:11个场景的建模效果展示 • 第九部分:研究团队遇到的挑战性问题
4 Reconstructing Cameras and Sparse Geometry 相机标定与稀疏重建 • 4.1Keypoint Detection and Matching(关键点检测和匹配) • 4.2 Structure from Motion(稀疏重建) • 4.3 Geo-Registration(确定相机的绝对坐标) • 4.4 Scene Representation(场景模型表达)
4 Reconstructing Cameras and Sparse Geometry 相机标定与稀疏重建 • 4.1Keypoint Detection and Matching(关键点检测和匹配) Step1 检测每一张图片中的SIFT特征 Step2 ANN算用于匹配图片对(I,J)之间的特征,通过比值测试确定相匹配的特征 d 1 d 2  0.6 Step3 去除不合格匹配点: RANSAC算法计算两视图几何中的基本矩阵F得到最大候 选匹配集合,每次迭代利用八点法计算F,F矩阵的8个参数由 Levenberg-Marquardt algorithm进行优化(捆绑调整)。 Step4 连接多张图片之间的匹配点,构成图像连通轨 Step5 由图像连通轨构造图像连通集合
4 Reconstructing Cameras and Sparse Geometry 相机标定与稀疏重建 4.1Keypoint Detection and Matching(关键点检测和匹配) • Step3 RANSAC算法:排除外点的数据,重新拟合模型,得到最大一致集合 1. 确定求解模型M,所需要的最小数据点的个数n。由n个数据点组成的子集称为模型M的一个样本; 2. 从数据点集D中随机地抽取一个样本J,由该样本计算模型的一个实例(),确定与()之间几何 距离< 阈值 t 的数据点所构成的集合,并记为S(()) ,称为实例()的一致集; 3. 如果在一致集S(())中数据点的个数# S(()) >阈值T, 则用S(())重新估计模型M,并输出结 果;如果# S(()) <阈值T,返回到步骤2; 4. 经过K次随机抽样,选择最大的一致集S(()) ,用S(())重新估计模型M,并输出结果。
分享到:
收藏