论文核心贡献是把三维场景认知（Thinking in 3D）引入图像识别，提出了一种数据与认知双向驱动的三维语义理解的理论框架，在似物性预测和多模态特征融合等核心问题上取得了关键性突破，并应用于自动驾驶场景的三维感知，具有重要理论意义和应用价值。本书适合计算机领域的科研人员和工程师阅读。

一流博士生教育体现一流大学人才培养的高度（代丛书序） ①

人才培养是大学的根本任务。只有培养出一流人才的高校，才能够成为世界一流大学。本科教育是培养一流人才最重要的基础，是一流大学的底色，体现了学校的传统和特色。博士生教育是学历教育的最高层次，体现出一所大学人才培养的高度，代表着一个国家的人才培养水平。清华大学正在全面推进综合改革，深化教育教学改革，探索建立完善的博士生选拔培养机制，不断提升博士生培养质量。

学术精神的培养是博士生教育的根本

学术精神是大学精神的重要组成部分，是学者与学术群体在学术活动中坚守的价值准则。大学对学术精神的追求，反映了一所大学对学术的重视、对真理的热爱和对功利性目标的摒弃。博士生教育要培养有志于追求学术的人，其根本在于学术精神的培养。

无论古今中外，博士这一称号都和学问、学术紧密联系在一起，和知识探索密切相关。我国的博士一词起源于 2000多年前的战国时期，是一种学官名。博士任职者负责保管文献档案、编撰著述，须知识渊博并负有传授学问的职责。东汉学者应劭在《汉官仪》中写道：“博者，通博古今；士者，辩于然否。 ”后来，人们逐渐把精通某种职业的专门人才称为博士。博士作为一种学位，最早产生于 12世纪，最初它是加入教师行会的一种资格证书。 19世纪初，德国柏林大学成立，其哲学院取代了以往神学院在大学中的地位，在大学发展的历史上首次产生了由哲学院授予的哲学博士学位，并赋予了哲学博士深层次的教育内涵，即推崇学术自由、创造新知识。哲学博士的设立标志着现代博士生教育的开端，博士则被定义为独立从事学术研究、具备创造新知识

①本文首发于《光明日报》，2017年 12月 5日。

能力的人，是学术精神的传承者和光大者。

博士生学习期间是培养学术精神最重要的阶段。博士生需要接受严谨的学术训练，开展深入的学术研究，并通过发表学术论文、参与学术活动及博士论文答辩等环节，证明自身的学术能力。更重要的是，博士生要培养学术志趣，把对学术的热爱融入生命之中，把捍卫真理作为毕生的追求。博士生更要学会如何面对干扰和诱惑，远离功利，保持安静、从容的心态。学术精神，特别是其中所蕴含的科学理性精神、学术奉献精神，不仅对博士生未来的学术事业至关重要，对博士生一生的发展都大有裨益。

独创性和批判性思维是博士生最重要的素质

博士生需要具备很多素质，包括逻辑推理、言语表达、沟通协作等，但是最重要的素质是独创性和批判性思维。

学术重视传承，但更看重突破和创新。博士生作为学术事业的后备力量，要立志于追求独创性。独创意味着独立和创造，没有独立精神，往往很难产生创造性的成果。 1929年 6月 3日，在清华大学国学院导师王国维逝世二周年之际，国学院师生为纪念这位杰出的学者，募款修造“海宁王静安先生纪念碑”，同为国学院导师的陈寅恪先生撰写了碑铭，其中写道：

“先生之著述，或有时而不章；先生之学说，或有时而可商；惟此独立之精神，自由之思想，历千万祀，与天壤而同久，共三光而永光。 ”这是对于一位学者的极高评价。中国著名的史学家、文学家司马迁所讲的“究天人之际，通古今之变，成一家之言”也是强调要在古今贯通中形成自己独立的见解，并努力达到新的高度。博士生应该以“独立之精神、自由之思想”来要求自己，不断创造新的学术成果。

诺贝尔物理学奖获得者杨振宁先生曾在 20世纪 80年代初对到访纽约州立大学石溪分校的 90多名中国学生、学者提出：

“独创性是科学工作者最重要的素质。 ”杨先生主张做研究的人一定要有独创的精神、独到的见解和独立研究的能力。在科技如此发达的今天，学术上的独创性变得越来越难，也愈加珍贵和重要。博士生要树立敢为天下先的志向，在独创性上下功夫，勇于挑战最前沿的科学问题。

批判性思维是一种遵循逻辑规则、不断质疑和反省的思维方式，具有批判性思维的人勇于挑战自己，敢于挑战权威。批判性思维的缺乏往往被认为是中国学生特有的弱项，也是我们在博士生培养方面存在的一个普遍问题。 2001年，美国卡内基基金会开展了一项“卡内基博士生教育创新计划”，针对博士生教育进行调研，并发布了研究报告。该报告指出：在美国和欧洲，培养学生保持批判而质疑的眼光看待自己、同行和导师的观点同样非常不容易，批判性思维的培养必须成为博士生培养项目的组成部分。

对于博士生而言，批判性思维的养成要从如何面对权威开始。为了鼓励学生质疑学术权威、挑战现有学术范式，培养学生的挑战精神和创新能力，清华大学在 2013年发起“巅峰对话”，由学生自主邀请各学科领域具有国际影响力的学术大师与清华学生同台对话。该活动迄今已经举办了 21期，先后邀请 17位诺贝尔奖、 3位图灵奖、 1位菲尔兹奖获得者参与对话。诺贝尔化学奖得主巴里·夏普莱斯（ Barry Sharpless）在 2013年 11月来清华参加“巅峰对话”时，对于清华学生的质疑精神印象深刻。他在接受媒体采访时谈道：

“清华的学生无所畏惧，请原谅我的措辞，但他们真的很有胆量。 ”这是我听到的对清华学生的最高评价，博士生就应该具备这样的勇气和能力。培养批判性思维更难的一层是要有勇气不断否定自己，有一种不断超越自己的精神。爱因斯坦说：

“在真理的认识方面，任何以权威自居的人，必将在上帝的嬉笑中垮台。 ”这句名言应该成为每一位从事学术研究的博士生的箴言。

提高博士生培养质量有赖于构建全方位的博士生教育体系

一流的博士生教育要有一流的教育理念，需要构建全方位的教育体系，把教育理念落实到博士生培养的各个环节中。

在博士生选拔方面，不能简单按考分录取，而是要侧重评价学术志趣和创新潜力。知识结构固然重要，但学术志趣和创新潜力更关键，考分不能完全反映学生的学术潜质。清华大学在经过多年试点探索的基础上，于 2016年开始全面实行博士生招生“申请审核”制，从原来的按照考试分数招收博士生，转变为按科研创新能力、专业学术潜质招收，并给予院系、学科、导师更大的自主权。《清华大学“申请 -审核”制实施办法》明晰了导师和院系在考核、遴选和推荐上的权力和职责，同时确定了规范的流程及监管要求。

在博士生指导教师资格确认方面，不能论资排辈，要更看重教师的学术活力及研究工作的前沿性。博士生教育质量的提升关键在于教师，要让更多、更优秀的教师参与到博士生教育中来。清华大学从 2009年开始探索将博士生导师评定权下放到各学位评定分委员会，允许评聘一部分优秀副教授担任博士生导师。近年来，学校在推进教师人事制度改革过程中，明确教研系列助理教授可以独立指导博士生，让富有创造活力的青年教师指导优秀的青年学生，师生相互促进、共同成长。

在促进博士生交流方面，要努力突破学科领域的界限，注重搭建跨学科

的平台。跨学科交流是激发博士生学术创造力的重要途径，博士生要努力提

升在交叉学科领域开展科研工作的能力。清华大学于 2014年创办了“微沙

龙”平台，同学们可以通过微信平台随时发布学术话题，寻觅学术伙伴。 3年

来，博士生参与和发起“微沙龙” 12 000多场，参与博士生达 38 000多人次。

“微沙龙”促进了不同学科学生之间的思想碰撞，激发了同学们的学术志趣。清华于 2002年创办了博士生论坛，论坛由同学自己组织，师生共同参与。博士生论坛持续举办了 500期，开展了 18 000多场学术报告，切实起到了师生互动、教学相长、学科交融、促进交流的作用。学校积极资助博士生到世界一流大学开展交流与合作研究，超过 60%的博士生有海外访学经历。清华于 2011年设立了发展中国家博士生项目，鼓励学生到发展中国家亲身体验和调研，在全球化背景下研究发展中国家的各类问题。在博士学位评定方面，权力要进一步下放，学术判断应该由各领域的学

者来负责。院系二级学术单位应该在评定博士论文水平上拥有更多的权力，

也应担负更多的责任。清华大学从 2015年开始把学位论文的评审职责授权给

各学位评定分委员会，学位论文质量和学位评审过程主要由各学位分委员会

进行把关，校学位委员会负责学位管理整体工作，负责制度建设和争议事项

处理。

全面提高人才培养能力是建设世界一流大学的核心。博士生培养质量的

提升是大学办学质量提升的重要标志。我们要高度重视、充分发挥博士生教

育的战略性、引领性作用，面向世界、勇于进取，树立自信、保持特色，不断

推动一流大学的人才培养迈向新的高度。

清华大学校长 

2017年 12月 5日

丛书序二

以学术型人才培养为主的博士生教育，肩负着培养具有国际竞争力的高层次学术创新人才的重任，是国家发展战略的重要组成部分，是清华大学人才培养的重中之重。

作为首批设立研究生院的高校，清华大学自 20世纪 80年代初开始，立足国家和社会需要，结合校内实际情况，不断推动博士生教育改革。为了提供适宜博士生成长的学术环境，我校一方面不断地营造浓厚的学术氛围，一方面大力推动培养模式创新探索。我校从多年前就已开始运行一系列博士生培养专项基金和特色项目，激励博士生潜心学术、锐意创新，拓宽博士生的国际视野，倡导跨学科研究与交流，不断提升博士生培养质量。

博士生是最具创造力的学术研究新生力量，思维活跃，求真求实。他们在导师的指导下进入本领域研究前沿，吸取本领域最新的研究成果，拓宽人类的认知边界，不断取得创新性成果。这套优秀博士学位论文丛书，不仅是我校博士生研究工作前沿成果的体现，也是我校博士生学术精神传承和光大的体现。

这套丛书的每一篇论文均来自学校新近每年评选的校级优秀博士学位论文。为了鼓励创新，激励优秀的博士生脱颖而出，同时激励导师悉心指导，我校评选校级优秀博士学位论文已有 20多年。评选出的优秀博士学位论文代表了我校各学科最优秀的博士学位论文的水平。为了传播优秀的博士学位论文成果，更好地推动学术交流与学科建设，促进博士生未来发展和成长，清华大学研究生院与清华大学出版社合作出版这些优秀的博士学位论文。

感谢清华大学出版社，悉心地为每位作者提供专业、细致的写作和出版指导，使这些博士论文以专著方式呈现在读者面前，促进了这些最新的优秀研究成果的快速广泛传播。相信本套丛书的出版可以为国内外各相关领域或交叉领域的在读研究生和科研人员提供有益的参考，为相关学科领域的发展和优秀科研成果的转化起到积极的推动作用。

感谢丛书作者的导师们。这些优秀的博士学位论文，从选题、研究到成文，离不开导师的精心指导。我校优秀的师生导学传统，成就了一项项优秀的研究成果，成就了一大批青年学者，也成就了清华的学术研究。感谢导师们为每篇论文精心撰写序言，帮助读者更好地理解论文。

感谢丛书的作者们。他们优秀的学术成果，连同鲜活的思想、创新的精神、严谨的学风，都为致力于学术研究的后来者树立了榜样。他们本着精益求精的精神，对论文进行了细致的修改完善，使之在具备科学性、前沿性的同时，更具系统性和可读性。

这套丛书涵盖清华众多学科，从论文的选题能够感受到作者们积极参与国家重大战略、社会发展问题、新兴产业创新等的研究热情，能够感受到作者们的国际视野和人文情怀。相信这些年轻作者们勇于承担学术创新重任的社会责任感能够感染和带动越来越多的博士生，将论文书写在祖国的大地上。

祝愿丛书的作者们、读者们和所有从事学术研究的同行们在未来的道路上坚持梦想，百折不挠！在服务国家、奉献社会和造福人类的事业中不断创新，做新时代的引领者。

相信每一位读者在阅读这一本本学术著作的时候，在吸取学术创新成果、享受学术之美的同时，能够将其中所蕴含的科学理性精神和学术奉献精神传播和发扬出去。

清华大学研究生院院长 

2018年 1月 5日

导师序言

计算机视觉是人工智能领域的一个重要研究分支，是实现计算机与真实物理世界交互的基础。陈晓智的博士学位论文对计算机视觉的一个核心领域 ——三维场景空间的语义理解进行了深入研究。随着计算硬件和深度学习技术的发展，计算机已经在一些特定的二维图像识别任务上达到甚至超过了人类的表现。然而，三维场景语义理解是一个难度更大且更复杂的问题，已有的视觉技术仍然与人类差距甚远。本书研究的问题在自动驾驶、机器人、增强现实等领域具有广泛的应用前景。

本书总结了陈晓智在攻读博士学位期间的主要研究成果。其核心贡献是把三维场景认知（ Thinking in 3D）引入图像识别，提出了一种数据与认知双向驱动的三维语义理解的理论框架，在似物性预测和多模态特征融合等核心问题上取得了关键性突破，并已应用于自动驾驶场景的三维感知，具有重要理论意义和应用价值。本书阐述了以下创新研究成果：

（1）提出了一种基于场景空间认知的三维点云似物性预测方法。三维点云的处理与语义理解是计算机视觉研究的重要问题。本书首次提出了三维点云的似物性准则，并基于体素网格表示建立了三维场景空间的认知模型和三维物体的表示方法。该方法将能量最小化模型与深度神经网络相结合，实现了点云的似物性区域提取与三维语义预测。该方法于 2015年在国际公开的最大自动驾驶数据集 KITTI上取得物体检测与姿态估计任务第一名的成绩。相关论文发表在人工智能领域的顶级期刊 IEEE TPAMI 2017和顶级会议 NIPS 2015上。

（2）提出了一种基于语义特征的图像似物性预测与三维物体检测方法。基于二维图像提取三维语义信息是计算机视觉研究的基础问题，本书创新性地提出了一种基于单张图像的准确的三维物体检测方法。该方法提出了一

种基于高层语义特征的能量最小化模型，解决了传统的基于底层特征方法的语义不足问题；提出了一种基于三维空间的物体采样方法，解决了传统的基于图像的物体区域搜索复杂度高的问题；提出了一种基于道路几何先验的三维场景建模方法，有效解决了单张图像的三维信息提取问题。所提出的方法在国际公开的最大自动驾驶数据集 KITTI上将物体检测的召回率提升了 20%以上，在联合物体检测与姿态估计任务方面比之前最好的方法提升了 13%。相关论文发表在计算机视觉顶级会议 CVPR 2016上。

（3）提出了一种基于数据驱动的多模态多视角三维特征学习方法。多模态特征表示与学习，是三维场景语义理解的重要问题。本书提出了一种端到端的三维物体检测网络，设计了一种三维似物性预测网络来建立点云的多视角表示和图像之间的映射，通过深度融合网络来学习多模态的特征表示。在自动驾驶数据集 KITTI上，该方法在三维物体定位和三维物体检测任务上的准确率比之前最好的方法分别提升了 25%和 30%。该成果发表在 CVPR 2017上，并获邀作口头报告。

基于以上理论研究成果，作者依托课题组在学术成果转化方面做了许多工作。本书第 5章介绍了以上研究成果在自动驾驶的视觉感知系统中的应用。该章还提出了一种高效的基于多级特征融合的轻量级多任务场景语义理解模型 FastNet，从结构设计和特征变换两方面提出了高效的网络优化方法。依托课题组与美国高通公司的合作，本书所提出的多任务网络模型已成功应用于嵌入式平台，实现了实时的三维场景语义理解，并在 CES 2017展会上获得工业界的积极反响。

总体而言，本书较全面地梳理了三维场景语义理解的核心技术问题、研究现状和面临的挑战，详细阐述了陈晓智提出的若干重要创新性研究成果。相信本书对想了解该研究领域的学者和工程技术人员会有一定的帮助。

马惠敏清华大学电子工程系

第 1章绪论 .......................................................................................1 

1.1研究背景与意义 ......................................................................1 

1.1.1似物性预测与物体检测 .................................................3 

1.1.2三维场景建模与三维物体表示 .......................................4 

1.1.3特征学习与多模态特征融合 ...........................................5 

1.2研究目标与主要贡献 ...............................................................6 

1.3本书的组织结构 ......................................................................9

第 2章基于语义特征的图像似物性预测与三维物体检测 ...................... 11 

2.1引言 ..................................................................................... 11 

2.1.1背景知识与研究动机 ................................................... 11 

2.1.2理论方法与创新点 ...................................................... 12 

2.2相关工作 .............................................................................. 14 

2.2.1基于底层特征的似物性预测 ......................................... 14 

2.2.2基于图像的物体检测与姿态估计 .................................. 15 

2.2.3图像语义特征提取 ...................................................... 16 

2.3基于场景先验的三维区域选取 ................................................ 16 

2.3.1三维场景物体空间估计 ............................................... 17 

2.3.2三维物体区域选取策略 ............................................... 18 

2.4基于语义特征的似物性预测 ................................................... 18 

2.4.1基于语义特征的能量最小化模型 .................................. 18 

2.4.2三维似物性区域的推理 ............................................... 21 

2.4.3能量模型的参数学习 ................................................... 22 

2.5基于多任务学习的三维物体检测网络 ...................................... 22 

三维场景空间的似物性与多模态特征融合研究 

2.5.1区域上下文信息融合 ................................................... 23 

2.5.2多任务预测网络 ......................................................... 24 

2.6实验分析 .............................................................................. 25 

2.6.1数据集和评价指标 ...................................................... 25 

2.6.2似物性区域的召回率 ................................................... 26 

2.6.3物体检测与姿态估计 ................................................... 28 

2.6.4语义特征分析 ............................................................. 31 

2.7小结与讨论 ........................................................................... 34

第 3章基于场景空间认知的三维点云似物性预测 ................................ 37 

3.1引言 ..................................................................................... 37 

3.1.1背景知识与研究动机 ................................................... 37 

3.1.2理论方法与创新点 ...................................................... 38 

3.2相关工作 .............................................................................. 40 

3.2.1三维场景点云表示 ...................................................... 40 

3.2.2基于点云的三维物体检测 ............................................ 40 

3.3基于场景空间认知的点云三维物体表示 ................................... 41 

3.3.1三维点云的体素网格表示 ............................................ 41 

3.3.2三维点云的似物性准则 ............................................... 42 

3.4三维点云的似物性预测与物体检测 ......................................... 42 

3.4.1基于三维点云特征的似物性建模 .................................. 43 

3.4.2三维似物性区域的推理 ............................................... 44 

3.4.3类别无关的似物性预测 ............................................... 45 

3.4.4融合深度信息的双路检测网络 ..................................... 46 

3.5实验分析 .............................................................................. 47 

3.5.1似物性区域的召回率 ................................................... 47 

3.5.2二维物体检测与姿态估计 ............................................ 51 

3.5.3三维物体检测与定位 ................................................... 53 

3.5.4立体视觉与激光雷达的对比 ......................................... 54 

3.5.5模型分解实验 ............................................................. 56 

3.6小结与讨论 ........................................................................... 58 

 17

第 4章基于数据驱动的多视角三维特征学习 ....................................... 59 

4.1引言 ..................................................................................... 59 

4.1.1背景知识与研究动机 ................................................... 59 

4.1.2理论方法与创新点 ...................................................... 60 

4.2相关工作 .............................................................................. 62 

4.2.1数据驱动的似物性预测 ............................................... 62 

4.2.2多模态特征融合 ......................................................... 63 

4.3三维点云的多视角表示方法 ................................................... 63 

4.3.1点云的俯视图表示 ...................................................... 64 

4.3.2点云的前视图表示 ...................................................... 64 

4.4三维似物性预测网络 ............................................................. 65 

4.4.1基于全卷积网络的似物性区域建模 ............................... 65 

4.4.2似物性区域生成与似物性预测 ..................................... 66 

4.5多视角区域特征融合网络 ....................................................... 67 

4.5.1多视角感兴趣区域池化 ............................................... 67 

4.5.2深度融合网络 ............................................................. 67 

4.5.3三维区域回归与姿态估计 ............................................ 69 

4.5.4随机训练与辅助监督 ................................................... 69 

4.6实验与分析 ........................................................................... 70 

4.6.1实现细节 ................................................................... 70 

4.6.2三维物体检测性能 ...................................................... 72 

4.6.3二维物体检测性能 ...................................................... 75 

4.6.4特征融合方式对比 ...................................................... 76 

4.7小结与讨论 ........................................................................... 77

第 5章应用：高效多任务场景语义理解 .............................................. 79 

5.1引言 ..................................................................................... 79 

5.1.1背景知识与研究动机 ................................................... 79 

5.1.2方法概要与创新点 ...................................................... 80 

5.2相关工作 .............................................................................. 81 

5.2.1神经网络加速 ............................................................. 81 

三维场景空间的似物性与多模态特征融合研究 

5.2.2场景语义分割 ............................................................. 82 

5.3高效基础网络 FastNet ............................................................ 82 

5.3.1 FastNet网络结构 ....................................................... 83 

5.3.2 ImageNet分类性能 .................................................... 86 

5.4多任务统一网络模型 ............................................................. 88 

5.5自动驾驶感知应用 ................................................................. 90 

5.5.1道路障碍物检测 ......................................................... 90 

5.5.2场景语义分割 ............................................................. 91 

5.5.3实时多任务语义预测 ................................................... 92 

5.6小结与讨论 ........................................................................... 93

第 6章总结与展望 ........................................................................... 97 

6.1总结 ..................................................................................... 97 

6.2展望 ..................................................................................... 99

参考文献 ........................................................................................... 101

在学期间发表的学术论文与研究成果 ................................................... 115

致谢 .................................................................................................. 117 

本书入选“清华大学优秀博士学位论文丛书”。

作者于2017年6月从清华大学获得工学博士学位，毕业后加入深圳市大疆创新科技有限公司担任算法研究员。作者于博士期间从事计算机视觉与机器学习研究，在三维场景语义理解方面的研究取得了多项具有国际影响力的创新性成果。作者在IEEE TPAMI、CVPR、NIPS等国际顶级期刊和会议上发表论文10余篇。这些成果受到了国内外同行学者的关注和认可，论文他引440余次。作者曾获2017 ACM SIGAI中国优秀博士论文奖、中国图像图形学会全国优秀博士论文、清华大学优秀博士论文、清华大学博士生国家奖学金等荣誉。