
本书内容丰富,阐述清晰详尽,文图结合紧密,可读性好,实用性强,主要介绍了人脸识别中的一些算法与案例,主要包括素描人脸识别与人脸合成的研究与应用、传统特征提取算法在素描人脸识别中的应用、深度学习在素描人脸识别上的研究与应用、传统素描人脸合成方法、基于生成对抗网络的素描人脸合成方法、人脸超分辨率重建方法等内容。本书可作为研究人脸识别技术的参考用书,也可以作为高等院校相关专业的本科生和研究生参考书,还可供人脸识别技术领域工作的工程技术人员阅读。
随着计算机视觉和机器学习的快速发展,人脸识别应用取得了巨大的成功。 人脸识别技术因具有直观、便捷、非接触等优良特性,相对于其他身份识别技术,得到了更广泛的应用。几十年来,人脸识别技术一直都是最受关注的研究热点之一。尤其随着深度学习技术的发展、计算机运算速度的提高和大数据集的公开,人脸识别技术到了极大的发展,该技术现已经被成功地应用在日常生活中的多个场景,给人们的生活带来了极大的便利。然而,在刑侦领域存在更为复杂的识别场景,例如受设备性能限制或拍摄条件影响,摄像设备得到的犯罪嫌疑人的照片质量较差;甚至当警方无法获得犯罪嫌疑人的照片时,仅能根据目击者的描述绘制犯罪嫌疑人的面部素描。 本书以人脸识别的一些基本理论与方法为基础,重点讨论了素描人脸识别、素描人脸合成、人脸着色、图像超分辨率重建。全书共分7章,其中第1章~第4章由曹林撰写,第5章由郭亚男撰写,第6章~第7章由杜康宁撰写,全书由曹林统稿。各章节主要内容如下: 第1章概述了素描人脸识别、素描人脸合成、人脸着色及人脸图像超分辨率重建技术的研究与应用。 第2章概述了传统素描人脸识别算法的相关原理,并分别介绍了基于Surf匹配坐标邻域优化和基于张量排序保留判别分析的人脸特征提取方法。 第3章介绍了深度学习在素描人脸识别上的应用,提出了基于联合分布适配的素描人脸识别,通过深度迁移学习方法从深度学习网络中提取光学人脸特征并使用迁移学习方法将其与素描人脸适配;提出了基于残差网络和度量学习的素描人脸识别,通过大规模的光学人脸数据库训练ResNet-50网络得到预训练模型,基于迁移学习的思想,固定识别率较好的模型参数,同时采用素描人脸数据库微调识别率低的模型参数,最后结合度量学习的方法来最大化类间差距;提出了基于SE-ResNeXt模型的素描人脸识别,在SE-ResNeXt网络的基础上,将Softmax损失和中心损失相结合,共同监督模型的训练。 第4章介绍了结合LBP局部特征提取的素描人脸合成方法,该算法的研究核心是通过层层优选得到最优块进行合成。介绍了结合pHash稀疏编码的素描人脸画像合成方法,根据图像信息熵将图像分成大小不同的子块,对尺寸不同的子块采取不同的特征提取方法,然后根据图像块的特征选取初始候选图像块,随后采用二次稀疏编码的方法合成最终的素描图像块,最后将全部素描块合成整幅素描人脸图像。 第5章对生成对抗网络相关原理和模型进行了概述,并提出了基于生成对抗网络的素描人脸合成算法,该算法利用U-Net 网络作生成器,二分类器作判别器,构成一个生成式对抗网络。通过训练照片-素描图像数据库训练出可以将照片生成对应素描图像的生成器和可以判别图像是“真”素描图像还是经过生成的“假”素描图像的鉴别器。提出了基于双层对抗网络的素描人脸合成方法。利用深度神经网络来设计生成模型与判别模型,二者以对抗的方式进行训练,并在生成模型中加入了跳跃连接,提升了网络合成图像的效果。提出了基于特征学习生成对抗网络的高质量素描人脸合成方法,将对抗学习模型和特征学习模型相结合,增强了合成图像面部细节的能力。提出了基于多判别器循环生成对抗网络的素描人脸合成方法,多判别网络对生成网络的反馈传递优化,完善生成图像中高频特征细节,并且使用最小二乘损失描述生成对抗损失,结合重构误差损失和对偶联合损失,生成高质量图像。 第6章提出了联合一致循环生成对抗网络的人像着色方法,该方法采用联合的一致性损失,联合重构的数据计算其与输入彩色图像的损失,实现整个网络的反向传递优化。 第7章提出了双层级联神经网络的人脸超分辨率重建方法,通过向结构约束网络中加入面部先验信息估计模块,捕捉输入图像的面部关键点信息,约束重建图像与目标图像的空间一致性。提出了基于引导图像的级联人脸超分辨率重建方法,该方法由姿态变形模块与超分辨率重建网络组成,以低分辨率图像和高清人脸引导图像为共同输入,生成分辨率更高的清晰人脸图像。 本书的出版得到了国家自然科学基金(项目编号:61671069、U20A20163、62001033),北京市教委科研计划(项目编号:KZ202111232049、KM202011232021、KM202111232014)和北京信息科技大学勤信人才项目(QXTCP A201902)等科研项目的资助,在此一并表示感谢。 由于时间仓促,书中难免存在不足,欢迎读者对本书批评指正。 笔者 2021年1月,北京
第1章 人脸识别的研究与应用 001 1.1 素描人脸识别的研究与应用 002 1.1.1 光学人脸识别研究历程 002 1.1.2 素描人脸识别国内外研究现状 003 1.1.3 素描人脸识别数据库 005 1.1.4 素描人脸识别的难点和发展趋势 011 1.2 素描人脸合成的研究与应用 011 1.2.1 素描人脸合成的国内外研究现状 012 1.2.2 素描人脸图像质量评估指标 019 1.2.3 素描人脸合成的难点与发展趋势 020 1.3 人像着色的研究与应用 021 1.3.1 人像着色的国内外研究现状 021 1.3.2 人像着色的难点与发展趋势 022 1.4 人脸图像超分辨率重建技术的研究与应用 022 1.4.1 人脸图像超分辨率的发展及国内外研究现状 022 1.4.2 人脸图像超分辨率重建质量评价标准 024 1.4.3 人脸图像超分辨率重建技术的难点与发展趋势 026 1.5 本章小结 027 参考文献 027 第2章 传统特征提取算法在素描人脸识别上的应用与研究 036 2.1 传统素描人脸识别算法相关原理 037 2.1.1 人脸图像分割算法 037 2.1.2 人脸特征提取算法 042 2.2 基于Surf匹配坐标邻域优化的素描人脸识别 049 2.2.1 Surf匹配 050 2.2.2 坐标邻域优化 053 2.2.3 识别过程 055 2.2.4 实验结果与分析 056 2.3 基于张量排序保留判别分析的人脸特征提取 062 2.3.1 张量排序保留判别投影(TRPDA)模型 064 2.3.2 TRPDA求解算法 068 2.3.3 实验结果与分析 072 2.4 本章小结 081 参考文献 082 第3章 深度学习在素描人脸识别上的应用 087 3.1 深度学习相关原理 087 3.1.1 卷积神经网络概述 087 3.1.2 主流人脸识别模型框架 089 3.1.3 度量学习 095 3.2 基于联合分布适配的素描人脸识别 096 3.2.1 迁移学习 096 3.2.2 模型结构 100 3.2.3 损失函数 102 3.2.4 实验结果与分析 103 3.3 基于残差网络和度量学习的素描人脸识别 106 3.3.1 模型结构 107 3.3.2 损失函数 108 3.3.3 实验结果与分析 109 3.4 基于SE-ResNeXt模型的素描人脸识别 117 3.4.1 SE-ResNeXt网络模型 118 3.4.2 损失函数 120 3.4.3 实验结果与分析 121 3.5 本章小结 127 参考文献 128 第4章 传统素描人脸合成方法 131 4.1 结合LBP局部特征提取的素描人脸合成方法 131 4.1.1 欧氏距离粗提取 132 4.1.2 结合子块切分的LBP局部特征提取 133 4.1.3 合成过程 134 4.1.4 实验结果与分析 137 4.2 结合pHash稀疏编码的素描人脸合成方法 141 4.2.1 基于图像熵的图像分块 141 4.2.2 图像块的特征提取 145 4.2.3 实验结果与分析 150 4.3 本章小结 157 参考文献 157 第5章 生成对抗网络在素描人脸合成中的应用 161 5.1 生成对抗网络相关原理 161 5.1.1 生成对抗网络模型概述 161 5.1.2 生成对抗网络的改进 163 5.2 基于生成对抗网络的素描人脸合成方法 169 5.2.1 生成对抗网络模型 169 5.2.2 损失函数 174 5.2.3 实验结果与分析 177 5.3 基于双层对抗网络的素描人脸合成方法 185 5.3.1 双层对抗网络模型 186 5.3.2 损失函数 188 5.3.3 实验结果与分析 189 5.4 基于特征学习生成对抗网络的高质量素描人脸合成方法 194 5.4.1 特征学习生成对抗网络模型 194 5.4.2 损失函数 199 5.4.3 实验结果与分析 202 5.5 多判别器循环生成对抗网络的素描人脸合成方法 211 5.5.1 多判别循环生成对抗网络模型 211 5.5.2 损失函数 215 5.5.3 实验结果与分析 216 5.6 本章小结 223 参考文献 224 第6章 基于联合一致循环生成对抗网络的人像着色方法 228 6.1 色彩空间 229 6.2 网络结构 229 6.2.1 着色网络模型 230 6.2.2 生成网络 231 6.2.3 判别网络 232 6.3 损失函数 233 6.3.1 生成对抗损失 233 6.3.2 联合一致性损失 234 6.4 实验结果与分析 235 6.4.1 数据库及参数设置 235 6.4.2 消融实验 238 6.4.3 和已有方法对比 239 6.5 本章小结 242 参考文献 242 第7章 人脸超分辨率重建 246 7.1 双层级联神经网络的人脸超分辨率重建 246 7.1.1 堆叠沙漏块结构 246 7.1.2 双层级联神经网络结构 248 7.1.3 损失函数 250 7.1.4 实验结果与分析 251 7.2 基于引导图像的人脸超分辨率重建 256 7.2.1 3DMM人脸拟合 257 7.2.2 基于3DMM的人脸矫正 257 7.2.3 基于引导图像的人脸超分辨率重建网络 258 7.2.4 实验结果与分析 261 7.3 本章小结 267 参考文献