本书旨在介绍三维手势跟踪的理论和方法，集中展现有关研究的国内外最新前沿进展，重点介绍近几年作者的最新研究成果。主要内容包括：①国内外最新研究状况，重点介绍研究背景、研究目标、研究方法、研究难点、关键科学问题、理论和应用成果。②对手势跟踪中的关键问题进行建模。③几种典型的三维手势跟踪理论和方法：基于分析合成技术的手势跟踪方法、基于手势识别的手势跟踪方法、基于Monte Carlo理论的手势状态估计方法。④基于贝叶斯滤波理论的手势状态估计方法。⑤基于粒子滤波跟踪器的理论和方法。⑥手势特征提取的理论和方法。⑦探讨跟踪方法的评价问题。

本书可以作为信息科学技术领域高年级本科生或研究生教材，也可以供从事人机交互方向的科研和技术人员参考。

鉴于新一代智能人机交互(HCI)系统和虚拟现实(VR)系统的应用需要，自然人手的三维(3D)跟踪理论和方法研究已经成为国内外广泛关注的热点问题之一，在三维互联网、手语识别、手指鼠标、虚拟物体控制、家电遥控、Windows命令控制、手指绘画、机器人控制等领域得到初步应用。这种成功应用的主要原因在于HCI技术正在从以计算机为中心逐步转移到以人为中心。然而，目前绝大多数新型HCI仍然以数字手套为基本输入设备，其主要优点是： 算法设计简单，精度高，速度快，无需摄像设备，数据采样结果不受光线等外界条件的影响，输入数据量小，可以直接获得手在空间的三维信息和手指的运动信息。其主要缺点是： 影响操作者的沉浸感，且数字手套本身价格昂贵、容易损坏。为了克服这些弊端，研究者通过在手上作标记，进行带标记的手势跟踪研究。但该方法在带来方便和简单的同时，也带来了不便和麻烦。在基于人脸、头部、手臂、人手、人眼以及整个人体的输入方式中，由于在通信和操作中的灵巧性，人手是最有效、用途最多的输入工具。手势是一种自然、直观、易于学习的人机交互手段，以人手直接作为计算机的输入方式，人机间的通信将不再需要中间媒体，用户可以简单地定义一种适当的手势来对周围的机器进行控制；手势是人与人之间的一种非口头交流形式，它包括从用手指示方向和移动物体的简单动作到能够表达感情以及允许彼此交流的复杂手势。考虑到人们拥有做手势的大量经验知识，如果人们能够把这些技能从日常的经验中转换过来并用在人机交互方面上，就可以期盼直观的、操作简便的，并且功能强大的人机接口。

实际上，手势跟踪和交互技术已经引起国内外很多著名IT企业的高度关注。2008年，苹果公司就把手势交互技术引入MacBook笔记本电脑；微软公司已经把手势识别功能引进到Xbox游戏机和Windows；Softkinetic的CEO Michel Tombroff认为：“与3D解决方案的引领者Virtools的合作，对我们来说开发无标识的3D手势识别跟踪是必然的选择。”2010年1月8日，GestureTek在CES 2010大会上宣布其最新专利成果，屡获殊荣的基于手势移动设备的交互应用软件现在已经支持Android操作系统。2010年9月，Intel在旧金山信息技术峰会上展示了Intel的7大研究方向，OASIS(ObjectAware Situated Interactive System)便是其中之一，它旨在研究如何在家庭环境中使用3D物体识别和基于手势的互动。手势跟踪和交互技术已经在手语识别、手指鼠标、虚拟物体控制、家电遥控、Windows命令控制、手指绘画和机器人控制等领域得到初步应用。

然而，相比之下，目前在三维手势跟踪研究方面还比较薄弱，绝大部分研究和应用集中在二维手势。我们认为，随着计算机交互设备和交互技术的不断发展，二维图形用户界面的局限性越来越明显地体现出来。

(1) 从界面的信息表示能力来看，二维图形技术的一个重要的缺点是不能用一种自然的方法表示复杂的多维关系。

(2) 从交互方式而言，在虚拟现实等环境下很难用传统的交互方式来进行自然、和谐的表达，因为用传统方法反而大大增加了用户的交互难度，同时也加重了交互任务的整合工作。

(3) 用户界面的发展历经了批处理、命令行和图形界面三个阶段，三维人机交互界面的研究已经成为一个紧迫的研究课题。

目前，HCI技术正在从以计算机为中心逐步转移到以人为中心，以三维手势作为交互工具的必要性越来越突出：

(1) 交互方式逐渐演化为适应人类的行为习惯，而不是计算机程序，更加强调以人为本；

(2) 使用多种媒体、多种模式进行交互；

(3) 基于多通道和多媒体的自然、高效、智能化、无障碍的HCI将是新一代智能HCI的主要发展方向；

(4) 人类自然形成的与自然界沟通的认知习惯和形式必定是人机交互的发展方向，人机交互正朝着自然和谐的人机交互技术和用户界面的方向发展，而三维人机交互是其中一个重要的研究方向；

(5) 在VR等三维系统中，采用二维手势进行交互是不方便的；

(6) 网络从2D的时代也将逐渐转变为3D网络时代，这是信息时代的呼唤，也是人类和世界科技发展的必然趋势；

(7) 随着三维显示技术的迅速发展，光纤网络的逐渐普及，网络带宽的不断增加，3D网络将成为未来发展的趋势，也具有非常好的市场前景。

在3D网络得以应用的条件下，3D显示技术的进一步延伸，三维物体的数字全息显示将为人们提供巨大的视觉冲击，它能够在近似真实三维空间再现原物体的三维图形，为实现真3D立体显示提供可行的方法，但怎样与之进行交互，尤其以手势作为自然交互工具，怎样将交互与可视化融合到3D网络界面，显然是学者们面临的另一个极富挑战性课题之一。

手势跟踪往往是手势交互的前提和基础，其核心目标是在普通摄像头、自然光照条件、复杂背景和普通PC条件下，在线、实时、鲁棒、精准地逐帧获取用户手势的三维结构及运动参数。这种研究涉及计算机图形图像处理、人机交互理论、计算机视觉、射影几何学、预测估计方法学和软计算理论等众多交叉学科，对其进行深入研究，对于深化智能HCI的理论和应用，尤其是在虚拟现实中的应用，对于推进相关学科的应用研究都具有重要意义。

本书主要研究三维手势跟踪的理论和方法：一是梳理国内外前沿的研究进展和动态，二是揭示在通往研究目标之路上可能面临的关键科学问题和应用实践问题。

本书得到国家自然科学基金(No. 61173079, No. 60973093, No. 61173078，No. 60773109)、山东省自然科学基金重点项目(ZR2011FZ003)以及济南大学学科建设重点项目经费(YTD1103)的资助。本书也是团队成员集体劳动的结晶，尤其感谢团队的徐涛博士、郑艳伟老师、唐好魁老师和历届研究生为本书付出的艰辛努力。在此一并表示感谢。

由于作者研究水平有限，书中错误在所难免，欢迎读者批评指正。

冯志全杨波2013年1月

第1章绪论1

1.1人手跟踪的意义1

1.2人手跟踪的研究目标2

1.3人手跟踪的研究现状3

1.3.1可穿戴HCI系统3

1.3.2人手运动跟踪与识别6

1.4人手跟踪的典型应用10

1.4.1对象编辑10

1.4.2操作物体11

1.4.3漫游和导航11

1.4.4聋哑人手语11

1.4.5家电控制12

1.5手势跟踪研究的难点14

1.6本章小结16

第2章手势跟踪建模17

2.1人手建模17

2.1.1人手的几何建模17

2.1.2人手的约束建模18

2.2相机建模21

2.2.1经典针孔相机模型21

2.2.2简化的相机模型22

2.2.3基于镜面对称的校准算法22

2.2.4基于粒子群优化的摄像机内参数标定算法\[121\]28

2.2.5样本的选择29

2.2.6算法描述29

2.2.7实验结果及分析29

2.3肤色建模31

2.3.1基于多尺度的肤色建模32

2.3.2基于多方法融合的人手肤色建模33

2.3.3基于双肤色模型的肤色分割建模38

2.3.4基于彩色图像增强算法的肤色建模45

2.3.5基于椭圆聚合的人手肤色的检测48

2.4遮挡建模53

2.4.1基于动态可见手指分析的自遮挡处理方法54

2.4.2基于特征点分析的遮挡处理方法55

2.5运动建模67

2.6初始化手势建模67

2.6.1算法描述68

2.6.2手势的初始分类70

2.6.3快速调整手势模型71

2.6.4算法分析72

2.6.5实验结果73

2.6.6实验分析73

2.7观测似然函数建模74

2.7.1手势约束74

2.7.2观测似然模型75

2.7.3观测似然模型在人手跟踪中的应用78

2.8本章小结82

三维自然手势跟踪的理论与方法第3章基于手势识别的手势跟踪84

3.1多灰度图像连续形变的计算机识别技术研究［153］85

3.1.1基本背景85

3.1.2基本术语85

3.1.3识别算法89

3.1.4基本定理89

3.1.5压线格算法90

3.1.6连续形变识别90

3.1.7与数据库中已知图像的匹配91

3.1.8算法性能分析及实验结果92

3.2基于连续形变理论和方法的手势识别技术［164］93

3.2.1识别算法94

3.2.2追踪识别算法95

3.2.3相邻两帧连续形变的跟踪算法96

3.2.4算法的进一步讨论96

3.2.5算法性能分析96

3.2.6实验结果96

3.3对连续形变图像的追踪识别算法的再改进98

3.3.1基本性质和基本定理98

3.3.2追踪识别算法99

3.3.3网格图像的获取99

3.3.4相邻两帧连续形变的跟踪算法100

3.3.5算法性能分析100

3.3.6实验结果101

3.4基于机器学习和人工神经网络技术的手势识别101

3.4.1HMM原理102

3.4.2HMM应用104

3.5基于空间密度分布特征的手势识别104

3.5.1手势空间分布特征104

3.5.2静态手势识别106

3.6实验结果分析和比较109

3.7无人脸干扰的手势识别实验109

3.8存在肤色干扰时的手势识别实验111

3.9弯曲变形手势的识别112

3.10算法分析114

3.10.1算法识别速率的分析114

3.10.2算法特点分析114

3.11本章小结114

第4章基于贝叶斯滤波理论的手势状态估计方法116

4.1研究现状116

4.2KF滤波器118

4.3EKF滤波器119

4.3.1EKF滤波器原理及其缺陷119

4.3.2一种新的强跟踪滤波器120

4.4UKF滤波器122

4.5一种基于改进UKF的3D人手跟踪算法124

4.6UKFDUT+MM手势跟踪算法126

4.6.1Sigma点的定义126

4.6.2获取Sigma点的条件及方法127

4.6.3UKF算法的缺陷130

4.6.4基于双UT变换的UKF算法（UKFDUT算法）131

4.6.5UKFDUT与多运动模型的融合131

4.6.6实验结果及其分析132

4.7本章小结136

第5章粒子滤波137

5.1粒子滤波的基本原理137

5.2基于状态变量微观结构的手势粒子采样方法研究139

5.2.1研究背景139

5.2.2人机交互系统中的人手行为研究140

5.2.3状态变量的微观结构145

5.2.4基于微观结构的粒子生成器(PGM)148

5.2.5算法分析149

5.2.6实验149

5.2.7采样方法的再讨论152

5.3基于SOUKF状态预测的PF算法157

5.3.1PDUT算法157

5.3.2PF算法158

5.3.3实验结果158

5.4粒子滤波手势跟踪方法中的时间优化160

5.4.1人机交互实验160

5.4.2人机交互心理模型分析160

5.4.3人手运动的基本模型161

5.4.4连续形变的特征161

5.4.5基于交互模型的状态变量的微观结构163

5.4.6粒子跟踪算法163

5.4.7实验结果的分析与评价165

5.4.8结论166

5.5基于遮挡信息分析的抓取手势跟踪算法167

5.5.1算法的总体框架167

5.5.2图像的边界跟踪167

5.5.3手掌的有效区域确定168

5.5.4手势跟踪算法169

5.5.5实验结果及分析170

5.6本章小结172

第6章特征提取174

6.1研究进展概述174

6.2基于多尺度描述子的手势图像特征鲁棒性提取方法176

6.2.1特征粗定位177

6.2.2CL算法分析181

6.2.3基于多尺度和CL方法的特征鲁棒性提取算法182

6.2.4RE算法分析186

6.2.5实验结果及其分析187

6.3基于矢量边缘分析的手势特征提取算法研究193

6.3.1二维直线边缘模型设计193

6.3.2直线边缘检测算法194

6.4实验过程及结果196

6.5以精度及实时性为目标的手势特征检测方法198

6.5.1亮度索引和特征向量198

6.5.2肤色模型198

6.5.3手势分割算法199

6.5.4手势特征及其分析199

6.5.5特征检测算法200

6.5.6手势特征点分离201

6.5.7实验结果202

6.6肤色分割208

6.7本章小结214

第7章跟踪方法的评价215

7.1基于串行生成技术的评价方法215

7.1.1基本思想215

7.1.2连接序列的产生215

7.1.3连接的串行生成算法216

7.1.4初始化217

7.1.5参考手势的正确性问题217

7.1.6评价标准218

7.1.7对几种典型跟踪算法的实验和评价218

7.2基于精度和时间的评价体系220

7.2.1精度评价体系220

7.2.2运行时间评价232

7.2.3误差分析232

7.3自封闭性精度评价233

7.3.1基于线约束关系的形变量233

7.3.2基于面约束关系的形变量233

7.3.3基于静态和动态约束关系的形变量234

7.3.4基于投影的形变量234

7.3.5基于形变量的跟踪精度评价方法235

7.3.6一个评价案例235

7.4本章小结237

参考文献238