本书基于卷积神经网络和图像识别方法，介绍了PyTorch和PaddlePaddle两种框架，并结合移动机器人讲解了具体的开发过程。书中所用的硬件平台，带有两个摄像头传感器，为机器人和无人驾驶车辆多摄像头导航提供了理论指导。书中提到的模拟沙盘，正是机器人作为园区巡检或无人配送实例的缩影。通过基于理论的实践，本书不局限于具体的平台和场景，可以作为实现深度学习的通用化方法。本书源于工程化实践，抽象为具体方法和案例，为学习基于深度学习的机器人技术提供了指南。

序 从微软在2014年对Windows XP停止服务，到2020年对Windows 7停止服务，这不仅需要我国加快推动国产操作系统的建设，也需要加强我国在开源软件生态中的话语权，提高国产软件的核心研发能力。 现在，我们正处于进入辅助驾驶的重要阶段，这一阶段是实现无人驾驶的过渡期。也许三五年后，在路况较好的情况下，人们就可以坐在车内欣赏窗外的风景，只需要在拥堵等特殊情况下握住方向盘。相较于欧美国家，我国在无人驾驶技术研发方面稍有差距，但后劲十足，这是因为无人驾驶需要基于大数据技术的高精度导航。 包括操作系统在内的核心关键技术，我国是必须掌握的。关键核心技术要立足于自主创新、要自主可控，得到了国家层面的大力支持。希望在IT一线的科技工作者，要始终坚持关键核心技术不能受制于人的原则，加强产业链上下游的组织与协作，提升关键软硬件供给能力。北京钢铁侠科技有限公司（“钢铁侠科技”）在这方面做得比较成功。 “钢铁侠科技”在理论积累和实践创新的基础上，编著了“智能驾驶理论与实践系列丛书”。该丛书涵盖无人驾驶感知智能、深度学习与机器人、ROS与ROS2开发指南等。丛书蕴含着“钢铁侠科技”多年的研发实践和成果积累，对从业者学习机器人编程基础、深度学习理论知识和无人驾驶实现方法有所裨益。 《深度学习与机器人》是该丛书之一，其很好地结合了人工智能的基础理论与机器人的创新操作，为数字经济与实体产业相结合打造了样板。在“钢铁侠科技”成立8周年之际，迎来了该书的出版。若读者能从本书中受到启发，产生两三点新思想，实现与时俱进，则更是我期待看到的。 倪光南 中国工程院院士 前言 移动机器人产品开发过程大致包含3个阶段。第一阶段称为做原理样机的阶段，这时侧重对机械本体、控制算法的设计和研究。比如波士顿动力的Bigdog、Atlas和钢铁侠科技的双足人形机器人ART-0、ART-1、ART-3，虽然表现炫酷，但是只能做设定好的动作或在设定好的环境下运动。其典型特征是机器人没有摄像头等传感器。第二阶段称为做人工智能的阶段，这时侧重对视觉、交互方面的研究和分析。比如特斯拉的人形机器人擎天柱和钢铁侠科技的人形机器人ART-2、ART-4，都是在对机器人实现控制的同时，为机器人添加了视觉，通过视觉反馈让机器人完成任务。第三阶段称为做应用的阶段，这时会把机械本体、控制算法和人工智能相结合，开发机器人“运动脑”，让机器人具备自主或协同完成任务的能力，侧重对产品可靠性和成熟度方面的研究。如俄罗斯宇航局的人形机器人Fedor和钢铁侠科技的人形机器人ART-5，都是面向太空在轨服务而设计的机器人，具备完成任务的能力。 本书的编写工作，正是面向机器人产品开发过程的第二和第三阶段而展开的。全书分为三篇：认知篇、框架篇和实战篇。认知篇为读者讲解了人工智能基本知识，重点介绍了卷积神经网络和图像目标检测。只有掌握了基本原理，才可以真正领悟深度学习的数学基础。框架篇结合工程实践的需要，为读者介绍了PyTorch和PaddlePaddle两种框架。这两种框架在产业内应用较为广泛，可以节省开发团队大量时间。实战篇结合移动机器人的硬件平台，介绍了一系列的工程实践项目。三篇层层递进，引导读者深入学习深度学习相关知识和技术。 本书介绍的理论知识，可以作为图像感知、目标检测和导航规划方面的重要理论基础，应用于机器人巡检、侦查、抓取、搬运、导航等方面。最近5年，依据本书内容做成的产品和课件，在全国500多所大学里被广泛使用。很多学校基于本书内容，设计了各种有意思的毕业设计课题。相信未来也会有很多青出于蓝的新技术值得一起探讨。 为了方便读者学习，读者可以登录华信教育资源网（http://www.hxedu.com.cn）免费注册后下载本书相关代码。 本书由张锐主编、北京钢铁侠科技有限公司编著，在编写过程中吸纳了全国数十位大学老师的建议。希望通过尽自己的微薄之力，帮助科研工作者、高校教师及相关专业学生，快速理解深度学习相关理论基础及实践方法，推进我国无人驾驶和智能机器人事业的快速发展。由于编者能力有限，书中难免有不到之处，烦请读者批评指正。 在本书付诸出版之际，感谢公司研发团队的辛勤付出，感谢电子工业出版社张迪等老师的悉心指导，感谢北京市科学技术委员会、中关村科技园区管理委员会给予“高算力低功耗机器人步态控制器研制”和“高抗扰性目标检测技术及应用”两项科技重大专项支持，感谢以各种形式帮助我们的朋友们。钢铁侠科技向各位致以深深的谢意。 北京钢铁侠科技有限公司 2023年6月

目录 认 知 篇 第1章 人工智能、深度学习和计算机视觉 1 1.1 人工智能简介 1 1.2 人工智能的发展 3 1.3 深度学习简介 4 1.4 计算机视觉 5 第2章 卷积神经网络及应用介绍 7 2.1 神经网络结构 8 2.1.1 神经元与感知器 8 2.1.2 神经网络 9 2.2 图像识别的任务 10 2.2.1 视觉感知 10 2.2.2 图像表达 11 2.2.3 画面不变性 12 2.3 卷积神经网络结构 14 2.3.1 卷积层 15 2.3.2 池化 16 2.3.3 激活函数 16 2.3.4 全连接层 17 2.3.5 卷积神经网络训练 18 2.4 软件环境安装 20 2.4.1 Python环境安装 20 2.4.2 Numpy功能包安装 25 2.5 卷积神经网络代码详解 26 2.5.1 Numpy功能包导入 26 2.5.2 卷积层的实现 26 2.5.3 Max Pooling层的实现 35 2.6 网络参数调整或微调 37 框 架 篇 第3章 图像分类及目标检测 38 3.1 图像分类简介 38 3.1.1 AlexNet 42 3.1.2 VGG 45 3.1.3 GoogLeNet 49 3.1.4 ResNet 53 3.2 目标检测 60 3.2.1 目标检测简介 60 3.2.2 RCNN基础 72 3.2.3 Faster RCNN原理 80 3.2.4 Yolo系列算法 89 3.2.5 Yolov3案例 105 第4章 PyTorch基础 137 4.1 PyTorch简介 137 4.1.1 Tensor数据类型 137 4.1.2 Tensor运算 140 4.1.3 搭建简单的神经网络 144 4.2 自动求梯度 146 4.3 构建模型和优化参数 148 4.3.1 torch.nn 148 4.3.2 torch.optim 151 4.4 案例：基于PyTorch的CIFAR-10图片分类 153 第5章 PaddlePaddle基础 157 5.1 PaddlePaddle卷积神经网络基础 157 5.1.1 CNN的构成 158 5.1.2 卷积层 159 5.1.3 填充 160 5.1.4 步长 161 5.1.5 多通道卷积 161 5.1.6 多卷积核卷积 162 5.1.7 特征图大小 163 5.1.8 池化层 163 5.1.9 全连接层 164 5.2 PaddlePaddle基本运算 165 5.3 使用PaddlePaddle高层API直接调用分类网络 170 5.4 手写数字识别案例 171 5.4.1 数据处理及数据加载 172 5.4.2 网络结构和设置学习率 173 5.4.3 模型训练及模型推理 174 实 战 篇 第6章 深度学习智能车项目 180 6.1 智能车硬件架构设计 181 6.2 深度学习智能车各部分介绍 182 6.3 软件安装和使用 183 6.4 点亮深度学习智能车的车灯 185 6.4.1 深度学习智能车车灯介绍 185 6.4.2 智能车LED引脚连接配置 185 6.4.3 智能车LED电路设计 186 6.4.4 程序设计 186 6.4.5 执行程序和查看结果 187 6.5 智能车运动控制 187 6.5.1 智能车电机特征 187 6.5.2 电机工作方式 188 6.5.3 智能车电机控制 189 6.5.4 智能车电机引脚连接配置 190 6.5.5 电机驱动电路 190 6.5.6 智能车驱动程序设计 192 6.5.7 执行程序和查看结果 194 6.6 智能车上位机与下位机通信 194 6.6.1 智能车下位机程序设计 194 6.6.2 智能车上位机程序设计 198 6.6.3 智能车串口通信调试 199 第7章 实战案例 200 7.1 基于PaddlePaddle深度学习框架的安装 200 7.2 车道线识别数据处理与模型构建 203 7.3 车道线识别训练模型 207 7.4 标志物检测的数据采集与处理 211 7.5 Yolov5网络模型介绍 213 7.5.1 Yolov5网络结构 213 7.5.2 Yolov5相对于Yolov4和Yolov3的改进 215 7.6 标志物识别的模型训练 218 7.7 智能车无人驾驶实践 226 7.7.1 无人驾驶沙盘模型 226 7.7.2 深度学习智能车 227 7.7.3 遥控使用 228 7.7.4 深度学习智能车 229 参考文献 235