
Roban 机器人是一款基于 ROS(机器人操作系统) 的人工智能人形机器人。本书围绕Roban机器人,阐述人工智能相关理论、方法及应用。内容涵盖Roban机器人的基本原理、操作与开发方法、相关的双足机器人数学模型及控制理论、人工智能相关的语音及视觉应用。全书共 8 章,主要内容包括 Roban 机器人概述、Python 编程基础、ROS 编程基础、SLAM 定位和导航基础、V-REP 仿真基础、运动控制基础,步态算法基础,以及人工智能基础。
本书深入浅出,内容新颖,案例丰富,实用性强,寓教于乐。本书既可作为机器人初学者掌握机器人知识的入门书,也可作为机器人研究者钻研机器人技术的参考书,适合各种不同知识水平的读者阅读。
自从发明机器人以来,对两足机器人(具有两条腿的机器人)的研究一直持续地进行,特
别是仿人型双足机器人。创造类似于人的机器人并使其不进行任何改变就可以在相同的人类工
作环境中使用,意味着它们被建造用来模仿人类和人类的行为。这类机器人与轮式机器人相比,
能更加有效地适应复杂环境。双足机器人在人机交互和复杂地形的适应方面有天然优势。如果
运动平衡问题解决得好,再用人工智能技术当大脑,仿人机器人将具备广阔的应用场景和巨大
的商业化价值——不仅可在机场、酒店、养老等服务行业广泛应用,而且在高校教具、娱乐影
视、军用装备等方面也具有重要价值。随着人工智能的发展,在未来的生产、生活中,仿人型
双足机器人可以帮助人类解决很多问题,比如完成送餐、驮物、抢险、采矿等一系列危险或繁
重的工作。Roban
机器人是一款高端仿人机器人,拥有讨人喜欢的外形,具有人工智能,能够在
视听方面与人类互动。Roban
机器人的相关技术完全是开源的,开放给所有的高等教育项目,支
持在Roban
上的开发及教育相关领域的研究。
Roban
机器人支持Linux、Windows
或Mac
OS
等环境下的编程开发,开放的编程构架支持
C+
+
或Python
语言。无论使用者专业水平如何,都可以通过编程平台与Roban
机器人进行编程。
本书介绍Roban
机器人相关基础知识及编程操作,全书共分
8
章,内容如下。
第
1
章Roban
机器人概述。介绍Roban
机器人系统、关节运动模型、机器人操作系统框架、
Roban
机器人基本操作、网络连接设置和远程登录。
第
2
章Python
编程基础。介绍Python
的基本语法、函数、对象与类、文件和异常。
第
3
章ROS
使用概述。介绍ROS
的程序包与节点、话题与服务、文件与参数及调试工具,
最后给出了ROS
安装和配置、主从机设置实例及消息通信实例。
第
4
章同步定位与地图构建。介绍SLAM
技术中对图像的接收和发布、位置的定位和图像
追踪、八叉树存储方式及平面图的生成、路径生成及控制机器人行走。
第
5
章V-REP
使用概述。介绍V-REP
仿真环境的搭建,提供了Roban
机器人在V-REP
环
境下的导入和配置,以及仿真环境下的传感器配置,最后给出机器人大赛仿真环境的应用示例。
第
6
章Roban
机器人运动控制基础。介绍Roban
机器人相关的基础结构、动作控制方法,以
及机器人姿态的运动学正、逆求解方法,最后给出控制Roban
机器人避障行走实例。
第
7
章双足步行基础。介绍Roban
机器人相关的运动学基础、ZMP
含义以及基于线性倒立
摆生成双足行走步态,最终给出Roban
机器人行走及上下楼梯实例。
第
8
章人机交互。介绍Roban
机器人音频及视频处理的硬件基础、相关理论及相关应用,最
后给出人脸识别及数字识别的人工智能实践。
本书各章内容相对独立,在内容安排上按照先易后难的原则编写。前面章节解释的语句后
面再次出现时不做解释,读者在学习时尽量按照章节顺序阅读和调试程序。书中罗列相应内容,
如参数、软件安装、程序调试方法等,供需要时查阅。
本书面向初学者,对机器人学相关理论、Python
语言、视觉及声学知识等介绍得相对简单,
仅选择调试机器人所必须掌握的基础知识,书中所使用的范例也不涉及复杂算法。读者在掌握
Roban
机器人系统的基础知识、开发设计思路后,可以参考开源WIKI,查阅所提供的更多API。
本书可作为Roban
机器人的操作手册和编程参考书,也可作为高等学校计算机及相关专业
“机器人程序设计”课程的教材。
由于作者水平和经验有限,书中疏漏之处在所难免,敬请读者指正。
编者
2020
年12
月
序言......................................................................................
.
III
前言......................................................................................
. V
第
1
章Roban
机器人概述.................................................................
1
1.1
Roban
机器人简介.................................................................
1
1.1.1
Roban
机器人系统...........................................................
. 1
1.1.2
Roban
机器人关节运动模型...................................................
. 4
1.1.3
Roban
机器人控制框架.......................................................
. 6
1.2
操作Roban
机器人...............................................................
. 6
1.2.1
无线网络设置...............................................................
. 6
1.2.2
远程登录Roban
机器人........................................................
8
1.2.3
使用VS
Code
开发...........................................................11
第
2
章Python
编程基础................................................................
.
15
2.1
Python
语法.....................................................................
.
15
2.1.1
Python
运行方式.............................................................15
2.1.2
Python
程序书写格式.........................................................18
2.1.3
变量、数据类型、表达式.....................................................19
2.1.4
条件语句..................................................................
.
22
2.1.5
while
循环语句.............................................................
.
24
2.1.6
continue
与break
语句.......................................................
.
26
2.1.7
列表......................................................................
.
27
2.1.8
元组与字典................................................................
.
30
2.2
Python
函数.....................................................................
.
31
2.2.1
函数定义..................................................................
.
32
2.2.2
函数参数..................................................................
.
33
VIII
2.2.3
Python
模块................................................................
.
35
2.3
Python
对象与类................................................................
.
36
2.3.1
类的定义与使用............................................................
.
37
2.3.2
类的继承..................................................................
.
38
2.4
文件和异常.....................................................................
.
39
2.4.1
文本文件读写..............................................................
.
40
2.4.2
二进制文件读写............................................................
.
42
2.4.3
异常......................................................................
.
43
第
3
章ROS
使用概述....................................................................45
3.1
ROS
简介.......................................................................
.
45
3.2
程序包与节点....................................................................46
3.2.1
程序包与节点介绍.........................................................
.
46
3.2.2
节点的编译与运行.........................................................
.
47
3.3
话题与服务.....................................................................
.
49
3.3.1
ROS
话题.................................................................
.
49
3.3.2
ROS
消息与消息类型.......................................................
.
50
3.3.3
ROS
服务.................................................................
.
53
3.4
launch
文件与参数..............................................................
.
56
3.4.1
launch
文件介绍.............................................................56
3.4.2
机器人实践.................................................................59
3.5
常用调试工具rqt.................................................................61
3.5.1
rqt_plot
...................................................................
.
61
3.5.2
rqt_img_View
.............................................................
.
61
3.5.3
rqt_graph
.................................................................
.
62
3.6
ROS
配置实践..................................................................
.
63
3.6.1
ROS
编译环境搭建与测试...................................................
.
63
3.6.2
ROS
话题.................................................................
.
70
3.6.3
ROS
服务.................................................................
.
78
3.7
主从机配置.....................................................................
.
86
3.7.1
获取IP
地址和Hostname
....................................................
.
86
IX
3.7.2
修改对应的hosts
...........................................................
.
87
3.7.3
配置主从关系...............................................................87
3.8
ROS
CvBridge
实践...............................................................88
3.8.1
将ROS
图像消息转换为OpenCV
的图像......................................
.
88
3.8.2
将OpenCV
图像转换为ROS
图像消息........................................
.
88
3.8.3
在计算机上显示Roban
机器人摄像头数据......................................89
第
4
章同步定位与地图构建............................................................
.
90
4.1
SLAM
简介.....................................................................
.
90
4.2
图像的接收和发布..............................................................
.
91
4.2.1
初始化和配置...............................................................91
4.2.2
主要功能实现...............................................................93
4.3
定位和图像追踪——ORB-SLAM2...............................................
.
97
4.3.1
数据接收和程序初始化.....................................................
.
97
4.3.2
点云地图创建/重用.........................................................
.
99
4.4
八叉树图层的截取以及平面地图的生成..........................................102
4.4.1
八叉树图层的截取........................................................
.
102
4.4.2
平面地图的生成..........................................................
.
103
4.5
路径规划......................................................................
.
104
4.6
行走实现......................................................................
.
107
4.6.1
路径分析..................................................................107
4.6.2
行走控制..................................................................110
第
5
章V-REP
使用概述...............................................................
.
113
5.1
V-REP
使用简介...............................................................
.
114
5.1.1
前言......................................................................114
5.1.2
安装带有ROS
的V-REP
...................................................
.
116
5.1.3
V-REP
的简单使用........................................................
.
122
5.1.4
理解RosInterface
...........................................................128
5.2
V-REP
中的Roban
机器人......................................................
.
138
5.2.1
导入Roban
机器人........................................................
.
138
5.2.2
BodyHub
简介与启动......................................................
.
140
5.2.3
关节运动控制............................................................
.
148
5.2.4
仿真中的步态运行........................................................
.
159
5.3
V-REP
传感器使用.............................................................
.
166
5.3.1
视觉传感器..............................................................
.
166
5.3.2
接近传感器..............................................................
.
177
5.4
V-REP
使用实践...............................................................
.
181
5.4.1
过坑路段..................................................................182
5.4.2
雷区路段..................................................................186
5.4.3
踢球进洞路段............................................................
.
192
第
6
章Roban
机器人运动控制基础....................................................
.
199
6.1
关节............................................................................199
6.1.1
头部关节..................................................................200
6.1.2
手臂关节..................................................................201
6.1.3
髋关节....................................................................202
6.1.4
腿部关节..................................................................202
6.1.5
伺服电机..................................................................204
6.2
完整动作执行...................................................................205
6.3
运动控制......................................................................
.
207
6.3.1
舵机参数设置............................................................
.
208
6.3.2
关节位置控制............................................................
.
208
6.3.3
步态控制..................................................................211
6.4
运动学正解....................................................................
.
215
6.4.1
运行IK
节点.............................................................
.
215
6.4.2
计算四肢末端位置........................................................
.
215
6.5
运动学逆解....................................................................
.
218
6.5.1
机器人扭腰..............................................................
.
218
6.5.2
扭腰中IK
逆解的处理.....................................................
.
223
6.5.3
机器人晃腰..............................................................
.
227
6.6
自动避障实践...................................................................230
6.6.1
3D
相机的原理...........................................................
.
230
6.6.2
设计思路以及步骤........................................................
.
231
6.6.3
示例代码..................................................................232
XI
第
7
章双足步行基础..................................................................
.
235
7.1
机器人运动学...................................................................235
7.1.1
坐标变换..................................................................236
7.1.2
人形机器人运动学模型....................................................
.
239
7.1.3
正运动学..................................................................239
7.1.4
逆运动学..................................................................242
7.2
ZMP
的含义...................................................................
.
246
7.2.1
ZMP
与地面反力..........................................................
.
246
7.2.2
ZMP
分析................................................................
.
248
7.2.3
ZMP
的测量..............................................................
.
252
7.2.4
ZMP
与机器人运动.........................................................256
7.3
基于线性倒立摆的双足步态生成...............................................
.
258
7.3.1
质心轨迹生成............................................................
.
258
7.3.2
足端轨迹生成............................................................
.
261
7.3.3
台阶及斜坡地形的步态规划................................................
.
263
7.4
机器人静步态实践.............................................................
.
267
7.4.1
五次样条插值............................................................
.
267
7.4.2
实现机器人双足支撑情况下的重心位置移动...................................268
7.4.3
实现摆动脚轨迹规划以及摆动脚的运行......................................
.
270
7.5
机器人上楼梯实践.............................................................
.
276
7.5.1
第一阶段..................................................................276
7.5.2
第二阶段..................................................................278
7.5.3
第三阶段..................................................................279
7.5.4
第四阶段..................................................................281
第
8
章人机交互........................................................................283
8.1
音频处理......................................................................
.
283
8.1.1
语音识别..................................................................285
8.1.2
语音合成..................................................................289
8.1.3
聊天机器人综合应用......................................................
.
293
8.2
视频处理......................................................................
.
297
8.2.1
视频设备简介............................................................
.
297
XII
8.2.2
图像处理工具............................................................
.
300
8.2.3
颜色检测..................................................................309
8.3
综合应用......................................................................
.
323
8.3.1
基本原理..................................................................323
8.3.2
主要接口..................................................................324
8.3.3
运行方式..................................................................324
8.4
颜色识别实践...................................................................324
8.4.1
HSV
颜色模型介绍........................................................
.
324
8.4.2
识别小球..................................................................325
8.4.3
追踪小球..................................................................327
8.4.4
追踪多种颜色小球........................................................
.
328
8.5
人脸识别实践...................................................................330
8.6
数字识别实践...................................................................348
8.6.1
深度学习之Keras
.........................................................
.
348
8.6.2
使用模型进行数字识别....................................................
.
355
参考文献................................................................................
.
358
机器人学作为交叉学科,汇集了当今机械、电子、自动化控制和计算机等相关领域的研究成果,是当前世界科技研究最为前沿的领域之一。模仿人的形态和行为而设计制造的机器人就是仿人机器人,一般分别或同时具有仿人的四肢和头部。仿人机器人研究集多门科学于一体,代表着一个国家的高科技发展水平。
乐聚 (深圳) 机器人公司掌握集机械、控制、传感器、电源于一体的高度集成技术,研制出具有视觉、语音对话、力觉、平衡觉等功能的仿人机器人Roban,具有自主知识产权。
Roban机器人具有的听觉和视觉能力,极大地扩展了其在人工智能方面的应用。其配套的ROS系统、Pyhon支持、开放的接口,使Roban机器人成为学习、研究人工智能的极佳硬件。
本书基于Roban机器人,围绕机器人学、人工智能两大论题,充分阐释了人工智能在双足机器人上的应用,为人工智能领域教育提供强有力的支持。
机器人学作为交叉学科,汇集了当今机械、电子、自动化控制和计算机等相关领域的研究成果,是当前世界科技研究最为前沿的领域之一。模仿人的形态和行为而设计制造的机器人就是仿人机器人,一般分别或同时具有仿人的四肢和头部。仿人机器人研究集多门科学于一体,代表着一个国家的高科技发展水平。
融亦鸣,讲席教授、博士生导师,南方科技大学机械与能源工程系主任、致新书院创院院长。1989年获美国肯塔基大学机械工程博士学位。曾任美国伍斯特理工大学(WPI)终身正教授。2010—2015年任清华大学机械制造专业教授。美国机械工程师学会会士(ASME Fellow),美国制造工程师学会(SME)会员,计算机辅助设计与制造领域国际知名学者,机械夹具设计研究领域国际权威专家。在美国,先后主持科研项目50余项;回国后,主持或参与国家自然科学基金、973、863、国家重大专项以及工业合作课题十余项。出版专著2部,发表论文400多篇,授权应用发明专利多项。
朴松昊,教授、博士生导师,哈尔滨工业大学计算学部主任助理、计算机学院多智能体机器人研究中心主任。中国人工智能学会机器人文化艺术专业委员会主任委员、中国人工智能学会常务理事,黑龙江省机器人学会副理事长,黑龙江省计算机学会智能机器人专业委员会主任委员。主持或参加国家自然科学基金、863计划重点及面上项目、机器人技术与系统国家重点实验室基金、黑龙江省自然科学基金、教育部“985”项目、“三星”国际合作项目多项。出版专著2部,发表论文100多篇,其中SCI、EI、ISTP检索100余篇。
冷晓琨,哈尔滨工业大学博士,乐聚(深圳)机器人技术有限公司董事长、创始人。作为青年代表受邀参加在人民大会堂举行的纪念五四运动100周年大会。曾获中国青少年科技创新奖、中国青年创业奖、全国优秀共青团员、“创青春”全国大学生创新创业大赛金奖、工信部创新创业特等奖等20余项荣誉,曾登上福布斯杂志封面并入选福布斯亚洲榜单,带领团队研发的Aelos机器人登上平昌冬奥会“北京八分钟”的舞台。
融亦鸣,讲席教授、博士生导师,南方科技大学机械与能源工程系主任、致新书院创院院长。1989