表面肌电信号作为一种生物电信号，能够反映功能性肌肉收缩的电活动，具有检测方便、无创伤等特点，可以用于仿生假肢控制等功能，提升仿生设备的便捷性、经济性、可穿戴性及智能化程度。本书研究表面肌电信号采集通道与特征多目标智能优化算法，特别是还研究基于深度学习的表面肌电信号手势识别算法。为了弥补表面肌电信号的不足，本书会进一步研究肌电与超声波模态融合的残疾人手部动作意图识别等关键问题，以提升手势识别的准确度和鲁棒性。

近年来，基于模式识别的智能仿生技术取得了长足的发展，智能仿生假肢的功能、性能、可穿戴性越来越好，智能化程度越来越高，已成为国内外学者的研究热点，具有很高的社会价值与经济价值。 表面肌电信号（surface Electromyography，sEMG）作为一种生物电信号，能够反映功能性肌肉收缩的电活动，具有提取方便、无创伤等特点。优化肌电信号电极位置、采集通道数量与特征配置，对提升可穿戴仿生设备的便捷性和经济性尤为重要。另外，由于肌电信号本身固有的缺陷，残肢接口信息源不足，所以难以同时呈现同一肌肉收缩的电生理和形态学变化信息，采用A型超声波传感（A-mode Ultrasonic Sensing, AUS）能够无创监测活动性肌肉的形态结构。本书研究表面肌电信号采集通道与特征智能优化算法，以及肌电与超声波模态融合的手势识别算法，充分挖掘肌肉神经电的机理，提高残肢的信息传输率。书中针对肌电接口信号采集通道与特征多目标智能优化、sEMG/AUS模态融合、残疾人手部动作意图识别等关键问题，分别提出了多目标智能优化算法和基于深度学习的表面肌电信号手势识别算法。最后，对未来进一步的研究提出了建议。 本书系统分析了国内外基于肌电与超声波的手势识别研究进展，着重分析了基于表面肌电信号的手势识别、利用超声波探测肌肉形变及其感知解码、基于多模态融合的动作意图识别等几方面的研究现状，对基于表面肌电信号进行手势识别进行了深入研究，取得的主要成果如下所述。 （1）本书首先研究了表面肌电信号产生的机理与采集方法，有助于使读者对表面肌电信号的本质有更深入的理解，建立表面肌电信号的数学模型，能够根据所需的研究情况和外部环境因素等对表面肌电信号进行有针对性的调整和处理。本书系统总结了表面肌电信号采集电极的研制现状，介绍了作者团队开发的ELONXI肌电采集系统。本书还介绍了后面实验所使用的表面肌电信号数据集Ninapro DB和ELONXI DB的基本情况。最后本书介绍了建立在对表面肌电信号产生机理理解的基础上抽象概括而来的表面肌电信号的数学模型，得到了线性模型、集中参数模型、非稳态模型及双极型模型四种数学模型。 （2）与传统机器学习分类方法结合的模式识别方法在目前仍然是表面肌电信号处理的经典方法。本书研究了表面肌电信号的特征提取与识别方法，简单介绍了一些传统的表面肌电信号特征提取方法及常见的一部分识别模型，包括时域特征、频域特征、时频域特征及参数模型特征等方面的提取方法，以及K最近邻算法、线性判别分析、支持向量机、随机森林等表面肌电信号识别模型。 （3）本书针对表面肌电信号采集通道与特征优选及电极配置等一系列关键问题，开展了以表面肌电信号手势识别准确度为目标的优化算法研究，研究表面肌电信号采集通道与特征组合智能优化算法。本书采用遗传算法实现了表面肌电信号采集通道数量和分布的最优化。在此基础上本书进一步研究了表面肌电信号采集通道与特征组合优化问题，不仅研究最优采集通道数量，而且确定了采集通道的最优分布，从而可以减少表面肌电信号采集通道数量，降低信号检测和识别系统的制造复杂度，提高系统的鲁棒性。本书还系统研究了基于差分进化算法、量子进化算法、粒子群优化算法、量子粒子群优化算法和蚁群优化算法的表面肌电信号采集通道和特征组合优化方法，降低了手势识别算法的维度及对肌电手势识别系统的硬件要求，为实现低密度表面肌电信号检测系统奠定了基础。 （4）本书以表面肌电信号采集通道数、特征数、方差及全部动作识别准确度为目标函数，建立了表面肌电信号采集通道与特征多目标优化数学模型，综合考虑了识别准确度、采集通道与特征的数目及动作识别不均匀等问题。本书采用切比雪夫聚合方法将多目标优化问题转换为单目标优化问题，改进了基于角度选择的多目标优化算法（MOEA/D-AU），提出了基于全局综合排序自适应角度选择的多目标优化进化算法MOEA/D-AUU-GGR，进行了表面肌电信号采集通道与特征多目标优化的机器人手势识别控制实验，检验了多目标优化算法及手势识别算法在实际应用中的有效性。 （5）本书将卷积神经网络（CNN）、长短期记忆（Long Short Term Memory，LSTM）神经网络、胶囊网络（CapsNets）等深度学习算法应用于了基于表面肌电信号的手势识别；引入了基于GAF的一维时间序列信号二维化方法，将原始表面肌电信号进行GAF转换后用于识别网络，从而能够应用深度学习算法进行基于表面肌电信号的手势识别。本书还提出了基于GAF的CNN-LSTM串并联网络结构的表面肌电信号手势识别方法，基于CNN-CapsNet并联的表面肌电信号手势识别算法，以及基于双流网络的表面肌电信号手势识别算法，提升了手势识别的准确度和鲁棒性，为精确控制仿生假肢手的动作提供了基础。此外，本书还设计了基于双流网络模型的机械臂控制实验。 （6）本书针对残肢表面肌电信号存在的缺陷及其在反映深层肌肉活动方面固有的局限性，从而导致出现准确度骤降、性能不稳定等问题，特别是截肢患者的皮肤往往面临改变的问题，将AUS信号应用于手势识别，构建了sEMG/AUS双模态融合的信号同步采集实验系统，提出了基于CNN-LSTM的肌电与超声波模态融合的手势识别算法，具有显著的识别效果。本书设计了肌电与超声波模态融合的手势识别实验：通过在英国某康复临床中心获取的残疾人实验数据，使用4组便携式混合sEMG/AUS装置进行了9种手势的20次实验，采集桡骨截肢患者前臂残余肌肉信号，对所获得的sEMG与AUS信号数据进行了特征提取。本书通过三种交叉验证方法对比了sEMG和AUS信号的性能。 本书涉及的研究成果是在国家自然科学基金“基于多频超声波检测及电刺激感知反馈的假肢手双向人机接口研究（51575338）”等项目资助下取得的，在此表示衷心的感谢！ 本书可供计算机、控制、机电、生物工程等领域的教学、科研人员阅读，也可作为相关专业研究生的教材和教学参考书。

第1章　绪论 1 1.1　研究背景与意义 1 1.2　智能假肢控制与识别研究存在的主要问题 4 1.2.1 表面肌电信号采集通道数量与位置分布需要优化 4 1.2.2 深层肌肉活动信号采集不足 4 1.2.3 已有算法识别的手势数量少、鲁棒性差 4 1.2.4 电极移位和串扰对信号采集影响较大 5 1.3　本书主要研究内容和主要章节安排 5 1.3.1 本书主要研究内容 5 1.3.2 本书主要章节安排 7 第2章 基于肌电信号与超声波的手势识别研究进展 9 2.1　基于表面肌电信号的手势识别研究进展 9 2.1.1 表面肌电信号的特征提取 9 2.1.2 基于传统识别算法的表面肌电信号识别 11 2.1.3 基于深度学习的表面肌电信号识别 12 2.1.4 表面肌电信号识别稳定性方法研究 13 2.2　利用超声波探测肌肉形变及其感知解码的研究现状 14 2.3　基于多模态融合的动作意图识别的研究现状 16 2.3.1 肌电信号与超声波模态融合 16 2.3.2 肌电信号与脑电信号融合 17 2.3.3 肌电信号与惯性测量单元融合 18 2.3.4 肌电信号与近红外融合 18 2.3.5 肌电信号与肌动图融合 19 2.3.6 肌电信号与铁磁共振融合 19 2.4　基于肌电信号的假肢人机接口系统开发 19 2.5　本章小结 20 第3章 表面肌电信号产生的机理分析与检测 21 3.1　引言 21 3.2　表面肌电信号的生理学机理 21 3.3　表面肌电信号的特点 23 3.4　前臂肌肉与手势的关系 24 3.5　表面肌电信号的数据采集 25 3.5.1 表面肌电信号采集电极的研制现状 26 3.5.2 ELONXI肌电采集系统 26 3.5.3 表面肌电信号电极设计 27 3.5.4 表面肌电信号实验方案设计 28 3.6　表面肌电信号的实验数据集 29 3.6.1 Ninapro DB数据集 29 3.6.2 ELONXI DB数据集 32 3.7　表面肌电信号的数学模型 33 3.7.1 表面肌电信号产生机理的数学抽象 33 3.7.2 线性模型 34 3.7.3 集中参数模型 35 3.7.4 非稳态模型 35 3.7.5 双极型模型 36 3.8 本章小结 37 第4章 表面肌电信号的特征提取与识别方法 38 4.1　引言 38 4.2　表面肌电信号的窗口分析法 38 4.3　表面肌电信号的特征提取 40 4.3.1 时域特征 40 4.3.2 频域特征 42 4.3.3 时频域特征 44 4.3.4 参数模型特征 44 4.4　表面肌电信号的经典识别模型 46 4.4.1 K最近邻算法 46 4.4.2 线性判别分析 46 4.4.3 支持向量机 47 4.4.4 随机森林 49 4.5　本章小结 50 第5章 表面肌电信号采集通道与特征智能优化算法 51 5.1　引言 51 5.2　基于遗传算法的表面肌电信号采集通道优化 52 5.2.1 表面肌电信号采集通道优化的遗传算法 52 5.2.2 基于遗传算法的采集通道优化实验结果与分析 54 5.2.3 电极位置影响的实验结果与分析 59 5.3　基于进化算法的表面肌电信号采集通道与特征组合优化 60 5.3.1 表面肌电信号采集通道与特征组合优化的差分进化算法 61 5.3.2 表面肌电信号采集通道与特征组合优化的量子进化算法 65 5.4　基于群智能算法的表面肌电信号采集通道与特征组合优化 72 5.4.1 表面肌电信号采集通道与特征组合优化的粒子群优化算法 72 5.4.2 表面肌电信号采集通道与特征组合优化的量子粒子群优化算法 74 5.4.3 表面肌电信号采集通道与特征组合优化的蚁群优化算法 76 5.5　表面肌电信号采集通道与特征智能优化算法实验分析 79 5.5.1 表面肌电信号采集通道与特征组合优化的单一算法实验与分析 79 5.5.2 表面肌电信号采集通道与特征组合优化的多种智能算法对比分析 83 5.6　本章小结 86 第6章 表面肌电信号采集通道与特征多目标智能优化算法 88 6.1　引言 88 6.2　表面肌电信号采集通道与特征多目标优化问题建模 89 6.3　多目标优化问题差分进化求解方法 90 6.3.1 多目标优化问题转换为一组单目标优化问题 91 6.3.2 多目标优化问题差分进化求解方法详叙 91 6.4　基于全局综合排序自适应角度选择的多目标优化进化算法 92 6.5 MOEA/D-AAU-GGR算法实验分析 95 6.6　MOEA/D、MOEA/D-AU与MOEA/D-AAU-GGR实验对比分析 98 6.7　多目标优化算法的评价与有效性验证 103 6.7.1 多目标优化算法的评价 103 6.7.2 有效性验证 105 6.8　基于肌电通道与特征优化的机器人识别系统 105 6.8.1 系统平台与架构 105 6.8.2 系统软件功能与实现 106 6.8.3 现场实验与结果分析 113 6.9　本章小结 114 第7章 基于深度学习的表面肌电信号手势识别 116 7.1　引言 116 7.2　循环神经网络与长短期记忆神经网络 117 7.2.1 循环神经网络 117 7.2.2 长短期记忆神经网络 119 7.3　基于GAF的一维时间序列信号二维化 122 7.4　基于GAF的CNN-LSTM串并联网络结构的表面肌电信号手势识别 123 7.5　基于GAF的CapsNet的表面肌电信号手势识别 126 7.5.1 CapsNet的结构 126 7.5.2 基于CNN-CapsNet并联的表面肌电信号手势识别实验设计 128 7.5.3 采集臂套偏移鲁棒性实验及其结果分析 129 7.5.4 基于CapsNet的表面肌电信号手势识别的迁移性实验及其结果分析 129 7.6　基于CapsNet-GRU的表面肌电信号手势识别 130 7.6.1 CapsNet-GRU复合神经网络模型 130 7.6.2 优化算法与损失函数 131 7.6.3 离线实验设置 132 7.6.4 离线实验结果与分析 133 7.7　基于双流网络的表面肌电信号手势识别 138 7.7.1 基于时空特征的双流网络模型 138 7.7.2 CNN-LSTMs串行网络模型 140 7.7.3 多特征融合网络模型 140 7.7.4 三种模型的实验对比 141 7.7.5 基于时空特征的双流网络模型与传统方法的对比 143 7.8　基于深度学习的表面肌电信号手势识别实验研究 144 7.8.1 不同手势数量的实验对比与分析 145 7.8.2 不同训练集规模的实验对比与分析 145 7.8.3 不同LSMT神经网络隐藏层单元数量的实验对比与分析 146 7.8.4 时空特征的可视化实验对比与分析 146 7.9　基于双流网络模型的机械臂控制 148 7.10　本章小结 150 第8章 肌电与超声波模态融合的残疾人手部动作意图识别 152 8.1　引言 152 8.2　肌电与超声波模态融合的手势识别实验设计 153 8.2.1 sEMG/AUS实验数据采集 153 8.2.2 混合sEMG/AUS系统同步采集 155 8.2.3 sEMG/AUS手势识别实验设计 155 8.2.4 AUS信号实验数据预处理与特征提取 156 8.3　基于CNN-LSTM的肌电与超声波模态融合手势识别 158 8.3.1 基于CNN的超声波信号手势识别 158 8.3.2 肌电与超声波模态融合的神经网络结构 159 8.3.3 肌电与超声波模态融合的手势识别实验 160 8.3.4 CNN-LSTM与SVM的识别准确度比较 163 8.4　桡骨截肢患者手部动作意图识别交叉验证分析 164 8.4.1 比较sEMG和AUS信号性能的三种交叉验证实验 164 8.4.2 三种交叉验证的识别准确度分析 165 8.4.3 sEMG和AUS信号对每种动作意图识别的准确度分析 165 8.4.4 sEMG和AUS信号三种交叉验证的混淆矩阵分析 167 8.5　基于超声波和肌电的残疾人手势识别对比与难点分析 169 8.5.1 准确度和鲁棒性分析 169 8.5.2 基于AUS信号手势识别的难点分析 170 8.6　本章小结 170 第9章 基于sEMG的在线手势识别与抓取实验平台的开发 171 9.1　引言 171 9.2　在线手势识别与抓取实验平台 171 9.2.1 人机交互界面的开发 172 9.2.2 Baxter机器人的简介 174 9.3　在线手势识别与抓取实验 176 9.3.1 实验方案设计 176 9.3.2 评价指标设定 178 9.3.3 在线实验结果与分析 178 9.4　本章小结 179 第10章 总结与展望 180 10.1　总结 180 10.2　展望 181 参考文献