神经网络与深度学习是人工智能研究的重要领域，是机器学习的重要组成部分。人工智能是研究理解和模拟人类智能、智能行为及其规律的科学。本书紧紧围绕神经网络和深度学习的基础知识体系进行系统的梳理，力求从基础理论、经典模型和前沿应用展开论述，便于读者能够较为全面地掌握深度学习的相关知识。全书共 16 章。第 1 章是绪论，简要介绍人工智能、机器学习、神经网络与深度学习的基本概念及相互关系，并对神经网络的发展历程和产生机理进行阐述；第2章介绍神经网络的基本神经元模型、网络结构、学习方法、学习规则、正则化方法、模型评估方法等基础知识；第3～8章介绍多层感知器神经网络、自组织竞争神经网络、径向基函数神经网络、卷积神经网络、循环神经网络、注意力机制与反馈网络；第9章介绍深度学习网络优化的相关内容；第 10～13章介绍受限玻尔兹曼机和深度置信网络、栈式自编码器、生成对抗网络和图神经网络；第 14 章介绍深度强化学习；第15章介绍深度学习的可解释性；第16章介绍多模态预训练模型。深度学习是源于对含有多个隐藏层的神经网络结构进行的研究，以便建立和模拟人脑的学习过程。本书整理了人工神经网络从简单到复杂的模型，归纳和总结了神经网络的理论、方法和应用实践。本书可以作为高等院校人工智能及相关专业或非计算机专业的参考用书，也可以作为人工智能领域的科技工作者或科研机构工作人员的参考用书。

人工智能科学是研究理解人的心智和模拟人类的思维与智能，建立人机结合（人机一体化）的系统的理论。它以整体论和还原论为指导思想，采用从定性到定量的综合集成法，以人机结合为指导方针，把各方面有关专家的知识及才能、各种类型的信息及数据、计算机软件有机地结合起来，构成一个系统，发挥系统的整体优势和综合优势。人工智能科学的重点在于人的智能与计算机的高性能两者的结合，构建人机结合的智能系统；思维科学着重研究思维的规律，旨在建立人工智能的基础；认知科学着重研究人的认知，并扩展为研究动物智能及机器智能。深度学习是人工智能发展的高级阶段，是机器学习重要的研究领域，采用包含多个隐藏层的神经网络结构，目的是建立、模拟人脑学习过程的人工神经网络。近年来，随着数字经济的全面深化发展，深度学习已经在自然语言处理、计算机视觉、机器人学、城市计算、智慧医疗、智能交通等领域取得了重要的成果。 《新一代人工智能发展规划》提出，到2025年人工智能基础理论实现重大突破，部分技术与应用达到世界领先水平，人工智能成为带动我国产业升级和经济转型的主要动力，智能社会建设取得积极进展；到2030年人工智能理论、技术与应用总体达到世界领先水平，成为世界主要人工智能创新中心，智能经济、智能社会取得明显成效，为跻身创新型国家前列和经济强国奠定重要基础。 本书从深度学习的理论基础和应用实践出发，以神经网络的时间轴，即发展顺序为主线，以深度学习的知识体系为骨架，尽量系统地梳理了深度学习涉及的基础理论和算法，力图做到以下几点。 （1）知识框架清晰且知识范围重点突出。 深度学习作为机器学习的后起之秀，涉及知识面广、研究方向多，在知识体系的组织方面，以神经网络的生物原理和神经元模型作为开端，由浅入深地逐章讲解几种典型的神经网络模型，包括多层感知器神经网络、自组织竞争神经网络、径向基函数神经网络、卷积神经网络、循环神经网络、注意力机制与反馈网络、受限玻尔兹曼机和深度置信网络、栈式自编码器、生成对抗网络、图神经网络、深度强化学习等，基本构成深度学习的学习方法、学习规则、模型评估方法、正则化方法、优化算法等。知识点间考虑详略布局、突出重点、层次清楚。 （2）重视基础理论及知识点关联关系。 本书以机器学习、神经网络及深度学习为基础理论。由于深度学习知识关系错综复杂，并且新知识层出不穷，所以本书尽量厘清各知识点的相关概念、机理，以及知识点间的相互关系。对于各个知识点，注重由基础到扩展，形成本书深度学习相关的基础知识体系。 （3）强化理论与实践应用相结合。 深度学习将人工智能技术推向新的热点、高度及前所未有的应用。机器学习是实践性很强的综合学科，本书尽量在罗列深度学习知识、概念、理论和方法的基础上，紧密结合实际应用，除在介绍相关模型算法后附有算法代码实现、工具说明或实验数据外，还有与实际应用紧密结合的经典案例，有利于读者通过应用灵活掌握知识、融会贯通，从而解决工作中的智能问题。 全书共16章，第1章是绪论，简要介绍人工智能、机器学习、神经网络与深度学习的基本概念及相互关系，并对神经网络的发展历程和产生机理进行阐述。 第2章介绍神经网络的基本神经元模型、网络结构、学习方法、学习规则、正则化方法、模型评估方法等基础知识。 第3～8章介绍多层感知器神经网络、自组织竞争神经网络、径向基函数神经网络、卷积神经网络、循环神经网络、注意力机制与反馈网络。这几章主要介绍几种基础的典型神经网络。 第9章介绍深度学习网络优化的相关内容。网络优化主要包括参数初始化、数据预处理、逐层归一化、超参数优化、优化算法。 第10～13章介绍受限玻尔兹曼机和深度置信网络、栈式自编码器、生成对抗网络及图神经网络。这几章介绍比较复杂的神经网络，受限玻尔兹曼机是一种概率图模型，Carreira-Perpinan等（2005）提出了对比散度算法，使得受限玻尔兹曼机的训练非常高效。对于自编码器，主要介绍稀疏编码器、栈式自编码器、降噪自编码器。生成对抗网络是一种深度生成模型，通过让两个神经网络相互博弈的方式进行学习。图神经网络（Graph Neural Network，GNN）是斯坦福大学Jure Leskovec教授在ICLR 2019中提出的图深度生成模型，阐述了图生成模型的方法和应用。 第14章介绍深度强化学习。强化学习是机器学习的一种重要方法，通过智能体不断与环境进行交互，并根据经验调整其策略来最大化其长远的所有奖励的累积值。本章主要介绍马尔可夫决策过程的价值函数、策略函数，Q-Learing/Deep Q-Network/AlphaGo/蒙特卡罗算法等。 第15章介绍深度学习的可解释性。长期以来，深度学习作为一种黑盒系统在发挥作用。2016年以后，越来越多的研究者建议通过对深度学习的可解释性来解释深度学习的黑盒。本章介绍可解释性的方法和分类，并进一步对卷积神经网络特征可视化进行原理分析。 第16章介绍多模态预训练模型。本章梳理多模态预训练的理论基础和模型特征，主要基于Transformer模型架构基础，以及扩展的BERT、GPT、OPT模型对预训练的自监督学习方法及预训练模型的微调进行阐述。 本书是人工智能系列内容的深度学习部分，选编的内容主要以神经网络和深度学习的理论知识为主，但限于篇幅有限和写作时间上的原因，有些前沿或专业方面的知识未能列入其中，更多专业和高阶的知识还需要读者在专业领域内深入学习。 深度学习是综合性较高的交叉学科，不仅包含较深的概率论、微积分、数学优化知识，还包括统计学、信息论、计算机知识等，再加上现有深度学习算法大多数还需要大量的标注数据，即使有相当多的预训练模型通过自监督完成了一些任务，但在完成其他任务时，也需要进行迁移学习、预训练微调等，需要做大量的调参或训练工作，因此，通用人工智能还有很长的路要走。本书立足神经网络与深度学习的发展历程，总结和梳理经典理论、方法和应用场景，试图逐步总结出人工智能理论体系和最佳应用实践，但人工智能知识体系错综复杂、头绪比较多，可能离目标还相差甚远。 本书在编著的过程中参阅了大量人工智能与深度学习方面的书籍并收集了大量的资料，参考和引用了国内外许多著名专家、学者的著作和论文，也得益于这些年在我参与的一些智慧工程项目（如智慧医疗、智能交通、服务推荐等）中获得的一些专家专著的知识分享和经验总结，在此表示衷心的感谢。另外，还要感谢我的家人给予的支持和鼓励，使我顺利完成写作。深度学习已经成为人工智能发展一颗璀璨的明珠，新的技术快速发展。由于时间仓促，加上我对深度学习领域的研究和知识水平都有很大的局限性，书中难免存在疏漏，敬请读者批评指正。

第1章 绪论 1 1.1 与深度学习有关的几个概念 1 1.1.1 人工智能 2 1.1.2 机器学习 4 1.1.3 表示学习 10 1.1.4 机器学习、神经网络及深度学习的关系 12 1.1.5 深度学习常用的框架 14 1.2 神经网络与深度学习的发展历程 15 1.2.1 神经网络的诞生 16 1.2.2 神经网络的复兴 16 1.2.3 深度学习的崛起 17 1.3 神经网络的产生机理 18 1.3.1 大脑研究的基本情况 19 1.3.2 脑组织的基本组成 20 1.3.3 脑组织的分层结构 22 1.3.4 大脑的基本工作原理 22 1.4 生物神经网络基础 25 1.4.1 神经元的基本结构 25 1.4.2 神经元的基本分类 28 1.4.3 神经元的信息传递机理 28 1.4.4 生物神经网络的构成 31 1.5 本书的知识框架体系 32 1.6 本章小结 33 第2章 人工神经网络计算 35 2.1 神经网络概述 35 2.2 人工神经元模型 36 2.2.1 基本神经元模型 36 2.2.2 常用激活函数 38 2.2.3 Softmax输出分类 42 2.3 神经网络结构 43 2.3.1 单层前馈网络 44 2.3.2 多层前馈网络 45 2.3.3 反馈网络 46 2.3.4 图网络 46 2.4 神经网络的学习方法 47 2.4.1 无监督学习的Hebb算法 48 2.4.2 监督学习的Delta规则 49 2.5 神经网络的损失函数 50 2.5.1 均方差损失函数 50 2.5.2 平均绝对误差损失函数 50 2.5.3 交叉熵损失函数 51 2.6 神经网络的学习规则 55 2.6.1 极大似然估计 55 2.6.2 经验风险最小化准则 57 2.6.3 过拟合与欠拟合 57 2.7 梯度下降法 58 2.7.1 一维梯度下降 59 2.7.2 多维梯度下降 60 2.7.3 随机梯度下降 61 2.8 网络正则化方法 62 2.8.1 L1和L2正则化 62 2.8.2 提前停止 63 2.8.3 权重衰减 64 2.8.4 丢弃法 64 2.8.5 数据增强 69 2.8.6 标签平滑 69 2.9 模型评估方法 70 2.9.1 混淆矩阵 70 2.9.2 准确率、精确率、召回率 71 2.9.3 ROC/AUC/PR曲线 72 2.10 本章小结 74 第3章 多层感知器神经网络 75 3.1 感知器及其发展过程 75 3.2 感知器学习算法 76 3.2.1 离散单输出感知器学习算法 76 3.2.2 离散多输出感知器学习算法 77 3.2.3 多层感知器线性处理问题 79 3.3 多层感知器的算法实现 82 3.4 反向传播算法 84 3.4.1 反向传播多层感知器模型 84 3.4.2 反向传播算法的原理 85 3.4.3 反向传播算法的执行步骤 89 3.4.4 梯度消失和梯度爆炸问题 91 3.4.5 反向传播网络的数据拟合问题 92 3.5 本章小结 97 第4章 自组织竞争神经网络 98 4.1 竞争学习的概念与原理 98 4.1.1 竞争学习规则 98 4.1.2 竞争学习原理 100 4.2 SOFM网络 101 4.2.1 SOFM网络结构 101 4.2.2 运行原理 102 4.2.3 学习过程 103 4.2.4 两阶段学习 104 4.3 ART网络 105 4.3.1 ART网络结构 105 4.3.2 网络运行与训练 107 4.3.3 网络运行的参数说明 108 4.4 自组织竞争神经网络的算法实现 108 4.5 本章小结 109 第5章 径向基函数神经网络 111 5.1 径向基函数介绍及结构 111 5.2 函数逼近与内插 112 5.2.1 插值问题的定义 112 5.2.2 径向基函数的一般形式 112 5.2.3 径向基函数的性质 113 5.3 正则化理论 114 5.4 径向基函数神经网络学习 117 5.4.1 随机选取径向基函数中心 117 5.4.2 自组织学习选取径向基函数中心 118 5.4.3 有监督学习选取径向基函数中心 119 5.5 本章小结 120 第6章 卷积神经网络 122 6.1 卷积神经网络的概念及特点 122 6.1.1 卷积的定义 122 6.1.2 卷积的变形 123 6.1.3 卷积与互相关操作 124 6.1.4 卷积神经网络的特点 125 6.2 卷积神经网络的基本结构 126 6.2.1 卷积层 127 6.2.2 汇聚层 131 6.2.3 全连接层 133 6.2.4 输出层 134 6.3 卷积神经网络参数学习 134 6.4 卷积神经网络常用模型 137 6.4.1 LeNet模型 137 6.4.2 AlexNet模型 139 6.4.3 VGGNet模型 140 6.4.4 GoogLeNet模型 141 6.4.5 ResNet模型 146 6.4.6 DenseNet模型 148 6.5 卷积神经网络的算法实现 149 6.6 本章小结 152 第7章 循环神经网络 153 7.1 循环神经网络的概念 153 7.2 循环神经网络模型 154 7.3 循环神经网络参数学习 156 7.3.1 BPTT算法 156 7.3.2 RTRL算法 157 7.4 网络梯度问题改进 157 7.5 长短期记忆 158 7.6 门控循环单元网络 161 7.7 深度循环神经网络 162 7.7.1 堆叠循环神经网络 162 7.7.2 双向循环神经网络 163 7.8 循环神经网络算法实现——手写体数字识别问题 164 7.9 本章小结 168 第8章 注意力机制与反馈网络 169 8.1 注意力机制网络 170 8.1.1 注意力机制网络的概念及分类 170 8.1.2 自注意力模型 174 8.2 离散型Hopfield神经网络 176 8.2.1 网络的结构与工作方式 176 8.2.2 网络的能量状态分析 178 8.2.3 网络吸引子的性质 181 8.3 连续型Hopfield神经网络 183 8.3.1 网络的拓扑结构 183 8.3.2 网络的能量与稳定性分析 185 8.4 Hopfield神经网络应用实例 186 8.5 Hopfield神经网络求解TSP 190 8.6 本章小结 192 第9章 深度学习网络优化 193 9.1 参数初始化 193 9.1.1 固定方差参数初始化 194 9.1.2 方差缩放参数初始化 195 9.1.3 正交初始化 197 9.2 数据预处理 198 9.3 逐层归一化 201 9.3.1 批量归一化 201 9.3.2 层归一化 203 9.3.3 权重归一化 204 9.3.4 局部响应归一化 205 9.4 超参数优化 205 9.4.1 网格搜索 206 9.4.2 随机搜索 206 9.4.3 贝叶斯优化 207 9.4.4 动态资源分配 208 9.4.5 神经架构搜索 208 9.5 优化算法 209 9.5.1 空间变量的非凸优化 209 9.5.2 Momentum 210 9.5.3 NAG 211 9.5.4 AdaGrad 211 9.5.5 AdaDelta 212 9.5.6 RMSProp 212 9.5.7 Adam 212 9.6 本章小结 213 第10章 受限玻尔兹曼机和深度置信网络 214 10.1 概率图模型 214 10.2 受限玻尔兹曼机的基本结构 215 10.3 受限玻尔兹曼机的能量模型和似然函数 216 10.4 受限玻尔兹曼机的学习任务 217 10.4.1 最优参数的梯度计算 217 10.4.2 吉布斯采样 219 10.4.3 对比散度算法 220 10.5 深度置信网络 222 10.5.1 网络模型 222 10.5.2 网络训练算法 223 10.6 深度置信网络的应用 225 10.6.1 音频特征提取 225 10.6.2 多模态数据建模 226 10.7 本章小结 228 第11章 栈式自编码器 230 11.1 自编码器 230 11.2 稀疏自编码器 233 11.3 栈式自编码器的原理 234 11.4 降噪自编码器 234 11.5 自编码器的图像还原 236 11.6 自编码器的机器翻译应用 238 11.7 本章小结 239 第12章 生成对抗网络 240 12.1 深度生成模型 240 12.1.1 概率密度估计 241 12.1.2 生成样本 241 12.2 生成对抗网络的基本结构 242 12.3 原始-对偶次梯度方法训练 246 12.4 生成对抗网络的应用 249 12.4.1 人脸图像的生成 249 12.4.2 生成对抗网络的算法实现 251 12.5 本章小结 252 第13章 图神经网络 254 13.1 图网络概述 254 13.1.1 图的定义 254 13.1.2 图数据网络的性质和特点 256 13.1.3 图神经网络的发展 257 13.2 图卷积神经网络 259 13.2.1 谱域图卷积神经网络 259 13.2.2 切比雪夫网络 262 13.2.3 图卷积神经网络 263 13.3 图循环神经网络 265 13.3.1 不动点理论 266 13.3.2 归纳式图表示学习 267 13.3.3 图注意力网络 269 13.4 消息传递神经网络 271 13.5 图神经网络模型的应用 273 13.5.1 图分类 273 13.5.2 知识图谱与注意力模型 274 13.5.3 基于图神经网络的推荐系统 275 13.5.4 计算机视觉 276 13.6 本章小结 277 第14章 深度强化学习 278 14.1 强化学习概述 278 14.2 马尔可夫决策过程 280 14.2.1 价值函数 281 14.2.2 动作价值函数 281 14.2.3 最优价值函数 282 14.2.4 策略迭代 282 14.2.5 价值迭代 283 14.3 Q-Learning算法 285 14.4 Deep Q-Network强化学习 288 14.5 蒙特卡罗算法 291 14.6 AlphaGo强化学习 292 14.6.1 AlphaGo发展概述 292 14.6.2 AlphaGo Fan算法的原理 295 14.6.3 AlphaGo Zero算法的原理 300 14.7 强化学习的应用 304 14.7.1 游戏领域 304 14.7.2 机器人控制领域 305 14.7.3 自然语言处理领域 305 14.7.4 其他领域 306 14.8 本章小结 306 第15章 深度学习的可解释性 308 15.1 可解释性的定义 309 15.2 可解释性方法 309 15.2.1 模型透明度 309 15.2.2 模型功能 311 15.3 可视化方法分类 312 15.3.1 特征可视化 312 15.3.2 关系可视化 312 15.3.3 过程可视化 313 15.4 神经网络特征可视化 313 15.5 本章小结 317 第16章 多模态预训练模型 319 16.1 预训练 320 16.2 多模态数据的特征表示 321 16.2.1 文本特征 321 16.2.2 图像特征 329 16.3 Transformer模型 330 16.3.1 模型的基本结构 330 16.3.2 编码模型 331 16.3.3 解码模型 335 16.3.4 基于Transformer模型的扩展 337 16.4 预训练模型学习 342 16.4.1 预训练模型的学习方式 342 16.4.2 预训练迁移学习 346 16.5 大模型的训练与预测 348 16.5.1 大模型的共享模式和组合方式 348 16.5.2 多模态预训练方法 349 16.5.3 预训练模型实例 356 16.6 本章小结 359 附录A 主要符号 361 参考文献 363