
基于多视图立体视觉的运动恢复结构(Structure from Motion with Multi-View Stereo,SfM-MVS)方法使用标准紧凑型相机获得的图像和地面控制点网络,提供了超大尺度的地形模型。这一技术不再局限于时间频率,生成的点云数据的密度和精度与地面和机载激光扫描相当,但是成本仅为地面和机载激光扫描需要成本的部分。SfM-MVS方法提供了激动人心的机遇,它以前所未有的细节表征表面地形,以及通过多时相数据检测地球表面演化过程中高程、位置和体积的变化。本书首次将SfM置于其他数字测量方法的上下文环境中,详细介绍了SfM的工作流程,包括可用的软件包以及不确定性和精度的评估。然后,审慎地回顾了SfM方法在地球科学领域的应用现状,提供了近期SfM验证研究的综合分析,展望了未来,突出了相关学科发展带来的机遇。本书可以作为地图学与地理信息工程(系统)、环境科学与工程、地理学、地质学、作战环境学等地球科学领域的研究生或本科生的辅助教材,也可以作为高等院校测绘科学与技术、遥感科学、地理信息科学等相关领域研究人员的科研参考书。
译者序 从二维图像恢复场景或场景中对象的三维模型,是计算机视觉研究的重要内容之一。 20世纪80年代初,Marr首次从信息处理的角度综合了图像处理、心理物理学、神经生理学和临床精神病学的研究成果,提出了较为完善的视觉系统框架。Marr认为视觉系统的研究应当分为三个层次,分别是计算理论层次、表达与算法层次、硬件实现层次。计算理论层次主要回答系统各部分的计算目的和计算策略,也就是系统各部分的输入输出是什么,相互之间是变换关系还是约束关系?Marr将视觉系统的总输入输出关系设定为一个总目标,即输入是二维图像,输出是“重建”的三维物体的位置与形状。表达与算法层次主要给出系统各部分输入输出和内部的信息表达,以及实现计算理论层次规定的目标的算法;算法与表达是比计算理论低一层次的问题,不同的表达与算法,在计算理论层次上可以相同。硬件实现层次主要回答“如何使用硬件实现算法”。 以Marr的视觉理论框架为基础,基于图像的三维重建形成了多种理论方法,其中单目视觉方法就是一种比较常用的方法。 单目视觉方法是指通过一台摄像机拍摄的图像进行三维重建,使用的图像可以是单个视点的单(多)幅图像,也可以是多个视点的多幅图像。其中基于单视点单幅或多幅图像的重建方法包括明暗度法(Shape from Shading,SfS)、纹理法(Shape from Texture,SfT)等;基于多视点多幅图像的重建方法包括运动恢复结构方法(Structure from Motion,SfM),以及以SfM为基础形成的多视图立体视觉方法(Multi-View Stereo,MVS)。 1992年,Tomasi和Kanade提出了SfM方法。它首先通过在多幅未标定图像中提取特征点,然后匹配特征获得匹配特征点集,最后通过最小化投影误差求解摄像机内外参数和被重建物体的三维信息。2006年,Noah Snavely等开发的Bundler增量式重建系统,实现了基于无序图像序列的三维模型重建,这一系统尤其适用于大规模的城市场景。Bundler算法中集成了当时鲁棒性最强、精确度最高的特征点检测、匹配和光束法平差算法,生成了效果较好的稀疏三维点云。2010年,Furukawa在Snavely工作的基础上,结合光束法平差算法与三角测量算法,提出了一种基于面片的多视图立体视觉(Patch based Multi-view Stereopesis,PMVS)方法。但是,PMVS只重建刚体结构,自动忽略非刚体结构。2014年,Simon Fuhrmann等开发了多视图重建环境(Multi-View Reconstruction Environment,MVE)的三维建模软件,其输入源为图像序列,输出结果是带纹理的三维网格模型。MVE采用SfM估计相机参数、重建稀疏三维点云,然后对图像序列采用多视图立体视觉方法计算深度图,最后使用曲面重建算法在深度图集合中提取带颜色信息的多边形网格曲面。 综上所述,自20世纪80年代初以来,SfM方法取得了显著进展。但是,正如本书所提及的,截至到2015年,与SfM相关的大约1000条文献记录当中,大部分来自于计算机科学领域,其次是工程学,地球科学领域仅排名第九。由此可见,地球科学领域使用SfM作为一种新型地形测量技术尚处于起步阶段。《运动恢复结构(SfM):理论方法与地球科学应用》的出现正当其时,它作为地球科学领域的第一部SfM方面的教科书,首次将SfM置于其他数字测量方法的上下文环境中,详细介绍了SfM的工作流程,包括可用的软件包以及不确定性和精度的评估;审慎回顾了SfM方法在地球科学领域的应用现状,提供了近期SfM验证研究的综合分析,展望了未来,突出了相关学科发展带来的机遇。 如果站在计算机科学的角度,客观看待《运动恢复结构(SfM):理论方法与地球科学应用》,它并不完全属于计算机科学领域的专著,其中相关关键技术的描述也算不得清晰、完整、深入。但是,如果站在地球科学的角度,仔细审视《运动恢复结构(SfM):理论方法与地球科学应用》,那么它是地球科学领域重要的入门级参考书,它巧妙地绕过了SfM中涉及的复杂的数学公式和数学运算,为地球科学领域的学生、学者、行业从业人员打开了通向SfM三维重建的大门。 这可能就是本书的最大价值所在,也是我们翻译本书的初衷所在! 翻译外文著作是一项工作量巨大的工程,期间得到了老师、同学、朋友、家人的无私帮助和谅解,正是在这些帮助和谅解之下,翻译工作得以有条不紊地进行。首先感谢三位原著作者,正是由于他们的辛勤劳动,使得我们有幸能够了解运动恢复结构方法在地球科学领域中的应用,以及未来我们需要为之继续努力的方向。其次感谢我的四位合作者:陈卓老师、龚桂荣老师、任琰老师和田薇同学。翻译之初,为了确保在翻译质量方面不出太大的纰漏,特意邀请信息工程大学理学院的英语教师陈卓参与这项工作,现在看来,陈卓老师的专业能力和敬业精神是本书成型的重要基础。龚桂荣老师、任琰老师和田薇同学为本书的翻译工作做出了突出贡献,龚桂荣老师完成了第5~6章的翻译,任琰老师和田薇同学完成了第7~8章的翻译。如果没有他(她)们的辛勤工作和无私奉献,我难以完成这项工作。感谢中科院遥感所的龚建华研究员、杭州师范大学的潘志庚教授在百忙之中审阅了书稿,并热情地撰写了推荐意见。感谢电子工业出版社的李敏老师,为本书的引进、编辑、审校、出版付出了大量的心血。最后需要感谢的是我的爱人和儿子,正是他们的无私包容和理解,是本书成型的重要保障。 由于本书内容广泛,涉及许多国际上最新的专业词汇和学术用语;尽管在翻译的过程中,我们试图通过各种途径保证翻译内容的准确性、规范性,但是由于专业知识水平的限制,仍然不可避免地存在不足甚至错漏之处。最后,希望大家以包容的心态阅读本书,如有对译著的任何有益的意见和建议,欢迎发送邮件至mapviewer@163.com,在此致以深深地感谢! 本书的出版同时得到了国家自然科学基金项目(41371383)和海岸带地理环境监测国家测绘地理信息局重点实验室、空间信息智能感知与服务深圳市重点实验室开放基金资助项目(2015)的资助,在此致以我最诚挚的谢意! 张锦明 2017.10.01
目 录 1面向地球科学的运动恢复结构概述 1 1.1 地球科学及其相关学科 2 1.2 本书目的和范围 4 1.3 现势性和重要性 5 1.4 什么是运动恢复结构? 7 1.4 本书结构 7 参考文献 9 2运动恢复结构的地位:地形测量新范式 11 2.1 引言 13 2.2 直接地形测量法 15 2.3 远程数字测量 20 2.4 总结 34 参考文献 35 延伸阅读 43 3运动恢复结构的背景知识 45 3.1 引言 46 3.2 特征检测 48 3.3 关键点对应 53 3.4 几何一致性匹配的识别 55 3.5 运动恢复结构 57 3.6 缩放和地理参考 60 3.7 参数值优化 61 3.8 MVS聚类 61 3.9 MVS图像匹配算法 63 3.10 总结 65 参考文献 66 延伸阅读 71 4运动恢复结构实践 73 4.1 引言 74 4.2 平台 77 4.3 传感器 85 4.4 获取图像和地面控制点数据 88 4.5 软件 93 4.6 点云浏览器 104 4.7 滤波 107 4.8 从点云生成数字高程模型 109 4.9 关键问题 112 4.10 总结 113 参考文献 115 相关参考文献 122 延伸阅读 123 5质量评估:SfM导出地形数据的误差量化 115 5.1 引言 116 5.2 验证数据集 117 5.3 验证方法 118 5.4 测量平台 122 5.5 测量距离和尺度 123 5.6 误差度量 129 5.7 地面控制点的分布 130 5.8 地形 131 5.9 软件 138 5.10 相机 143 5.11 结论 144 参考文献 145 延伸阅读 148 6运动恢复结构在地球科学领域中的最新应用 149 6.1 前言 150 6.2 SfM-MVS衍生的正射影像拼接图的应用 151 6.3 面向三维点云的SfM-MVS应用 160 6.4 面向网格化地形的SfM-MVS应用 160 6.5 正射影像和点云的联合分析 165 6.6 跨越时间尺度:检测变化展示演变过程 172 6.7 基于实践者的SfM-MVS 180 6.8 总结 182 参考文献 183 延伸阅读 188 7运动恢复结构在地球科学领域中的未来发展方向 189 7.1 引言 190 7.2 硬件的发展 191 7.3 不断发展的采集自动化 194 7.4 相片的有效管理和操作 207 7.5 点云生成和抽取 208 7.6 实时SfM-MVS和即时地图:同步定位与地图创建 211 7.7 增强现实 212 7.8 物体或表面运动的检测:非刚体SfM 212 7.9 总结 215 参考文献 216 延伸阅读 220 8运动恢复结构方法的关键建议 221 8.1 关键建议1:终端用户要理解SfM-MVS的本质, 以便做出批判性思考 222 8.2 关键建议2:协同合作,以便理解误差的来源和幅值 223 8.3 关键建议3:关注研究问题 223 8.4 关键建议4:专注于数据处理工作 224 8.5 关键建议5:借鉴其他学科的经验 224 8.6 关键建议6:驾驭SfM-MVS的大众化力量 225
张锦明__eol__1976 年8 月出生,浙江金华人,信息工程大学地理空间信息学院副教授,中国科学院遥感与数字地球研究所博士后,硕士生导师。现主要从事虚拟地理环境、地学可视化等领域的教学与科研工作。获国家科技进步奖二等奖2 项,省部级一、二、三等奖10 项;出版著作5 部、教材2 部,发表学术论文30 余篇。__eol____eol__陈卓__eol__1984 年10 月出生,河南禹州人,信息工程大学理学院应用语言学教研室讲师。现主要从事专业英语的教学和科研工作。参编教材3 部,发表学术论文10 余篇。__eol____eol__龚桂荣__eol__1981 年9 月出生,湖南桃江人,信息工程大学地理空间信息学院讲师,博士。现主要从事虚拟地理环境、作战建模与仿真等领域的教学与科研工作。获省部级二、三等奖5 项;参与编写专著、教材2 部,发表学术论文10 余篇。__eol____eol__田薇__eol__1990年9月出生,山西侯马人,信息工程大学地理信息空间学院硕士研究生。现主要从事遥感环境保护方向的研究工作。发表学术论文3篇。__eol____eol__任琰__eol__1992年1月出生,河南郑州人,信息工程大学地理空间信息学院助教,硕士。现主要从事作战环境仿真、大数据可视化等领域的教学与科研工作。发表学术论文4篇。__eol__