深度学习凭借其在识别应用领域中超高的预测准确率，在图像处理领域获得了极大关注，这势必将提升现有图像处理系统的性能并开创新的应用领域。利用卷积神经网络等深层神经网络的解决方案，可以逐渐取代基于算法可解释的传统图像处理工作。尽管图像预处理、后期处理和信号处理仍在大量采用现有方法，但在图像分类应用中，深度学习变得愈加重要。在该背景下，本书系统介绍了深度学习在数字图像处理各个研究分支的应用，包括图像增强、图像复原、图像检索、图像压缩、图像分割、目标检测、动作识别和图像配准等。每一部分都对传统方法做了概述，并穿插介绍本书作者的研究成果，反映了深度学习在数字图像处理各个研究分支的发展现状。本书可作为高等院校具有一定计算机基础的人工智能、自动化、信号与信息处理、电子信息工程、计算机科学与技术、通信工程等专业的研究生或高年级本科生的教材或参考书，也可作为科研院所相关专业的科技工作者的参考书。

深度学习作为人工智能的代表性技术之一，近年来发展迅速，与其紧密相关的数字图像处理技术也取得了革命性进步。人工智能的发展促进了现代化科技和智能化生活的发展，它最大的贡献就是给人们的生活和工作带来了极大的方便。而深度学习作为机器学习领域的一部分，在人工智能发展方面起着至关重要的作用。为此，加大对深度学习的研究，将深度学习与其他领域有机结合起来，为促进人们的生活和社会的发展去研发一些新产品和新技术，显然是很有必要的。用深度学习的神经网络模型模拟人脑工作的原理，在图像处理和识别领域已经取得了一些成果。 基于卷积神经网络的深度学习方法在图像处理方面有其独特的优势。本书旨在介绍近15年来数字图像处理领域涌现的基于深度学习的新方法，共9章，分别是数字图像处理概述、深度学习概述、基于深度学习的图像增强与图像恢复、基于深度学习的图像检索、基于深度学习的图像压缩、基于深度学习的图像分割、基于深度学习的人脸检测与行人检测、基于深度学习的动作识别、基于深度学习的医学图像配准。欲深入学习传统严格意义上的图像处理（输入、输出均为图像）的深度学习方法，建议学习本书第1、2、3、5章，各分配4学时、6学时、8学时、6学时，共24学时。欲深入学习图像分析识别方面的深度学习方法，建议学习本书第1、2、4、6、7、8、9章，各分配4学时、6学时、4学时、4学时、6学时、4学时、4学时，共32学时。本书各章内容简介如下。 第1章介绍数字图像和数字图像处理相关的基本概念与基础知识，包括数字图像的基本概念、数字图像的获取与描述、数字图像处理的研究内容和应用领域。 第2章对深度学习领域进行简明介绍，包括深度学习的概念、国内外研究现状、深度学习典型模型结构和训练算法、深度学习的优点和已有的应用、深度学习存在的问题及未来研究方向。 第3章主要讲述图像增强和图像恢复的深度学习方法。首先介绍图像去噪，包括传统图像去噪方法概述、基于DnCNN的图像去噪和基于CBD-Net的图像去噪。接着介绍图像去雾，包括传统图像去雾方法概述、基于DehazeNet的图像去雾、基于EPDN的图像去雾和基于PMS-Net的图像去雾。然后介绍图像去模糊，包括传统图像去模糊方法概述、基于ResBlocks的图像去模糊和基于DAVANet的图像去模糊。最后介绍图像增强，包括传统图像增强方法概述、基于Deep Bilateral Learning的图像增强、基于Deep Photo Enhancer的图像增强和基于Deep Illumination Estimation的图像增强。 第4章主要讲述图像检索的深度学习方法。首先介绍图像检索的研究背景和研究现状，然后介绍图像特征和相似性度量，接着介绍基于内容的图像检索的5类方法，包括基于颜色特征、纹理特征、形状特征、多特征、视觉词袋的图像检索。其中，基于多特征的方法是本书作者的研究成果。最后介绍两种其他研究者提出的深度学习方法。 第5章主要讲述图像压缩的深度学习方法。首先概述图像压缩，然后介绍基于矢量量化的图像压缩方法，包括基于矢量量化的图像压缩概述和本书作者提出的两种码书设计方法，即基于边缘分类和范数排序的K-means算法的码书设计、基于特征分类和分组初始化的改进K-means算法的码书设计。最后，介绍基于深度学习的图像压缩方法，包括基于卷积神经网络、循环神经网络和生成对抗网络的图像压缩方法概述，并介绍其他文献提出的结合卷积神经网络和传统方法的图像压缩方法。 第6章对基于深度学习的图像分割进行介绍。首先概述图像分割，然后介绍本书作者提出的一种复杂背景下毛坯轮毂图像分割及圆心精确定位方法，接着对基于深度学习的图像分割进行概述，包括研究现状、几种典型实现方案和基于全卷积神经网络的图像分割实验结果。最后介绍本书作者提出的基于深度生成对抗网络的超声图像分割方法。 第7章介绍基于深度学习的人脸检测与行人检测，包括基于深度学习的人脸检测、行人检测概述和本书作者提出的基于ViBe结合HOG+SVM的快速行人检测与跟踪。基于深度学习的人脸检测包括人脸检测概述、基于深度学习的人脸检测算法分类和数据集、本书作者提出的多任务级联卷积网络的加速方法。行人检测概述包括行人检测基本框架、基于传统机器学习的方法、基于深度学习的方法和行人检测评判标准。 第8章围绕动作识别技术进行广泛的探讨研究。首先概述人体动作识别技术，并对图卷积网络进行总结，包括其分类、特点、研究方法、推导过程等。然后详细讨论人体姿态估计算法，接着讨论注意力机制和共现特征学习的重要性，介绍适用于空时图卷积网络（ST-GCN）的注意力分支和共现特征分支从而形成动作识别的多任务框架。最后，介绍双流卷积网络的计算速度优化算法。 第9章主要探讨基于深度学习的医学图像配准问题。首先对医学图像配准进行概述，然后介绍本书作者提出的3种方法，分别是：基于分形沙漏网络由MV-DR合成kV-DRR的方法、基于公共表征学习和几何约束的多模态医学图像配准、基于信息瓶颈条件生成对抗网络的MV-DR和kV-DRR配准。 本书可作为高等院校具有一定计算机基础的人工智能、自动化、信号与信息处理、电子信息工程、计算机科学与技术、通信工程等专业的研究生或高年级本科生的教材或参考书，也可作为科研院所相关专业的科技工作者的参考书。 本书的第1、4章由马龙华教授执笔，第3、5、8章由陆哲明教授执笔，第2、6、7章由崔家林老师执笔，第9章由上海商学院刘琮老师执笔，最后由马龙华和陆哲明共同审定。本书广泛参考了国内外数字图像处理研究领域的学术论文、学位论文和学术著作，并包含了作者的部分研究成果。在本书撰写过程中，还得到了浙大宁波理工学院智能自动化研究所、浙江大学航天电子工程研究所一些博士生和硕士生的协助，在此表示衷心的感谢。 限于水平，书中难免有错误与不妥之处，恳请读者批评指正。 编著者 2022年6月

第1章　数字图像处理概述 1 1.1　数字图像的基本概念 1 1.1.1　数字图像 1 1.1.2　获取静态数字图像的方式 7 1.1.3　色彩及色彩模型 10 1.2　数字图像的获取与描述 15 1.2.1　图像数字化 15 1.2.2　图像灰度直方图 17 1.2.3　图像处理算法的形式 20 1.2.4　图像的数据结构与特征 21 1.3　数字图像处理的研究内容和应用领域 25 1.3.1　数字图像处理的基本流程 25 1.3.2　数字图像处理的研究分支 26 1.3.3　传统数字图像处理常用的理论工具 30 1.3.4　数字图像处理的应用领域 30 参考文献 32 第2章　深度学习概述 33 2.1　深度学习的概念 33 2.1.1　深度学习的历史背景 33 2.1.2　深度学习的基本思想 33 2.1.3　深度学习的本质和优势 34 2.2　国内外研究现状 35 2.2.1　深度学习在语音识别领域的研究现状 35 2.2.2　深度学习在图像识别领域的研究现状 37 2.2.3　深度学习在自然语言处理领域的研究现状 40 2.3　深度学习典型模型结构和训练算法 41 2.3.1　感知机 42 2.3.2　前馈神经网络之多层感知机 43 2.3.3　前馈神经网络之卷积神经网络 45 2.3.4　反馈深度网络 48 2.3.5　双向深度网络 50 2.3.6　深度学习训练算法 55 2.4　深度学习的优点和已有的应用 57 2.4.1　深度学习的优点 57 2.4.2　深度学习已有的典型应用 57 2.5　深度学习存在的问题及未来研究方向 60 2.5.1　深度学习目前存在的问题 60 2.5.2　深度学习未来研究方向 61 参考文献 62 第3章　基于深度学习的图像增强与图像恢复 66 3.1　图像去噪 66 3.1.1　传统图像去噪方法概述 66 3.1.2　基于DnCNN的图像去噪 69 3.1.3　基于CBDNet的图像去噪 72 3.2　图像去雾 74 3.2.1　传统图像去雾方法概述 74 3.2.2　基于DehazeNet的图像去雾 77 3.2.3　基于EPDN的图像去雾 79 3.2.4　基于PMS-Net的图像去雾 80 3.3　图像去模糊 82 3.3.1　传统图像去模糊方法概述 82 3.3.2　基于ResBlock的图像去模糊 85 3.3.3　基于DAVANet的图像去模糊 86 3.4　图像增强 91 3.4.1　传统图像增强方法概述 91 3.4.2　基于Deep Bilateral Learning的图像增强 94 3.4.3　基于Deep Photo Enhancer的图像增强 96 3.4.4　基于Deep Illumination Estimation的图像增强 97 参考文献 99 第4章　基于深度学习的图像检索 105 4.1　图像检索的研究背景和研究现状 105 4.1.1　图像检索的研究背景 105 4.1.2　为什么要引入深度学习 106 4.1.3　图像检索的研究现状 106 4.2　图像特征和相似性度量 108 4.2.1　原始数据层特征 108 4.2.2　物理层特征 109 4.2.3　语义层特征 110 4.2.4　图像相似性度量 110 4.3　基于内容的图像检索 111 4.3.1　基于颜色特征的图像检索 111 4.3.2　基于纹理特征的图像检索 113 4.3.3　基于形状特征的图像检索 114 4.3.4　基于多特征的图像检索 115 4.3.5　基于视觉词袋的图像检索 119 4.4　基于注意力机制和卷积神经网络的图像检索 122 4.4.1　注意力机制简介 122 4.4.2　图像检索中的注意力机制 123 4.4.3　基于注意力机制和卷积神经网络模型的图像检索 124 4.4.4　实验结果 127 4.5　基于深度信念网络的人脸图像检索 130 4.5.1　局部二值模式 130 4.5.2　DBN训练模型 130 4.5.3　融合LBP算子与DBN网络模型的图像检索 131 4.5.4　实验结果 131 参考文献 132 第5章　基于深度学习的图像压缩 136 5.1　图像压缩概述 136 5.1.1　图像压缩的目的和意义 136 5.1.2　传统图像压缩的方法分类和简介 137 5.1.3　为什么要引入深度学习 139 5.1.4　基于深度学习的图像压缩技术现状 139 5.2　基于矢量量化的图像压缩方法 140 5.2.1　基于矢量量化的图像压缩概述 140 5.2.2　基于边缘分类和范数排序的K-means算法的码书设计 142 5.2.3　基于特征分类和分组初始化的改进K-means算法的码书设计 146 5.3　基于深度学习的图像压缩方法 151 5.3.1　基于卷积神经网络的图像压缩方法概述 151 5.3.2　基于循环神经网络的图像压缩方法概述 153 5.3.3　基于生成对抗网络的图像压缩方法概述 154 5.3.4　结合卷积神经网络和传统方法的图像压缩 155 5.3.5　实验结果与分析 159 参考文献 161 第6章　基于深度学习的图像分割 167 6.1　图像分割概述 167 6.1.1　图像分割的目的和意义 167 6.1.2　传统图像分割方法分类 168 6.1.3　典型传统图像分割方法简介 170 6.1.4　为什么引入深度学习 175 6.2　复杂背景下毛坯轮毂图像分割及圆心精确定位 176 6.2.1　引言 176 6.2.2　基于超像素能量谱的轮毂分割 177 6.2.3　精确圆拟合算法 178 6.2.4　圆拟合结果分析 179 6.3　基于深度学习的图像分割概述 181 6.3.1　研究现状 181 6.3.2　几种典型实现方案 182 6.3.3　基于全卷积神经网络的图像分割实验结果 185 6.4　基于深度生成对抗网络的超声图像分割 186 6.4.1　引言 186 6.4.2　相关工作 187 6.4.3　基于深度生成对抗网络的臂丛分割 188 6.4.4　实验 190 参考文献 193 第7章　基于深度学习的人脸检测与行人检测 198 7.1　基于深度学习的人脸检测 198 7.1.1　人脸检测概述 198 7.1.2　基于深度学习的人脸检测算法分类和数据集 200 7.1.3　多任务级联卷积网络的加速 203 7.1.4　实验结果 209 7.2　行人检测概述 212 7.2.1　行人检测基本框架 212 7.2.2　基于传统机器学习的方法 212 7.2.3　基于深度学习的方法 213 7.2.4　行人检测评判标准 216 7.3　基于ViBe结合HOG+SVM的快速行人检测与跟踪 216 7.3.1　引言 216 7.3.2　ViBe算法 217 7.3.3　基于HOG+SVM的行人检测 218 7.3.4　基于ViBe结合HOG+SVM方案 220 7.3.5　实验结果与分析 222 参考文献 227 第8章　基于深度学习的动作识别 232 8.1　人体动作识别技术概述 232 8.1.1　引言 232 8.1.2　国内外研究现状 233 8.1.3　研究难点 236 8.2　动作识别相关技术 237 8.2.1　图卷积网络 237 8.2.2　用于骨骼动作识别的空时图卷积网络 239 8.2.3　用于视频动作识别的双流卷积网络 240 8.2.4　动作识别相关数据集 241 8.3　人体姿态估计 244 8.3.1　人体姿态估计的分类 244 8.3.2　OpenPose算法 245 8.3.3　AlphaPose算法 248 8.3.4　实验结果比较分析 251 8.4　基于图卷积网络的骨骼序列动作识别算法 253 8.4.1　引言 253 8.4.2　注意力机制和共现特征学习 253 8.4.3　基于图卷积网络的多任务框架 254 8.4.4　实验结果及分析 257 8.5　一种替代光流的视频动作识别算法 261 8.5.1　基于光流估计的双流卷积网络 261 8.5.2　时间轨迹滤波器 262 8.5.3　随机跨帧融合 264 8.5.4　实验结果及分析 265 参考文献 266 第9章　基于深度学习的医学图像配准 270 9.1　医学图像配准概述 270 9.1.1　基本概念 270 9.1.2　基本变换 270 9.1.3　方法分类 272 9.1.4　典型配准方法 272 9.1.5　评估方法 273 9.2　基于分形沙漏网络由MV-DR合成kV-DRR 274 9.2.1　引言 274 9.2.2　分形沙漏网络 274 9.2.3　实验 276 9.3　基于公共表征学习和几何约束的多模态医学图像配准 278 9.3.1　引言 278 9.3.2　方法 279 9.3.3　实验及算法比较 280 9.4　基于信息瓶颈条件生成对抗网络的MV-DR和kV-DRR配准 281 9.4.1　引言 281 9.4.2　材料和方法 282 9.4.3　结果 287 参考文献 290