本书初定五个章节，第一章浅层模型部分介绍线性回归、Logistics 回归、Softmax 回归、广义线性回归模型以及机器学习基本概念。第二章介绍深度学习模型以及相应的正则化技术。第三章介绍卷积的物理意义、卷积神经网络及其各种改进。第四章介绍反馈神经网络及其改进的长短期记忆单元。第五章介绍深度强化学习，展示深度卷积网络如何与强化学习技术融合用以人机围棋博弈以及自动驾驶领域。

这是一部关于深度学习的原创中文专著。为了使尽可能多的读者通过本书对深度学习能够知其然且知其所以然，作者试图用尽可能统一的数学符号、尽可能少的数学知识以及必要的直观模型来介绍深度学习背后深刻的本质。本书涉及的数学知识主要有优化、概率、统计、代数等方面。从教学科研实践效果来看，大学三年级以上的学生应该已具备这些必要的数学基础知识。因此，本书的核心读者是大学三年级以上的本科生和研究生，以及在企业事业单位从事机器学习、深度学习、数据分析等相关研发工作的工程技术人员。为了能更直观地向读者展示深度学习技术背后的原理，本书使用了不少帮助读者理解的直观模型和简单易懂的例子，比如解释统计语言模型时使用了领导背诵秘书代写稿模型，介绍马尔可夫决策模型的跳蛙模型，介绍角色 -评委算法时的教练-学徒模型，讲解围棋 AlphaGo和 AlphaGo Zero时的作战指挥部模型，介绍卷积网时使用的手写体数字 “7”的识别例子，等等。这些直观模型和浅显易懂的例子在增强本书可读性的同时降低了理解深度学习相关技术的门槛，这为理工科学生和工程技术人员之外的其他学生、管理人员以及对技术前沿感兴趣的其他相关人员提供了一个了解深度学习科技前沿的窗口。

本书致力于深度学习的原理和技术细节的介绍，围绕从数据中学习知识这一主线，希望通过一种通俗易懂的方式梳理深度学习技术的整个发展脉络，向读者展示各种技术的来龙去脉，以及它们彼此之间的关系。全书共分为五章：作为搭建深度学习模型的基础，第 1章介绍包括线性回归模型、 logistics二分类模型、 softmax多分类模型等在内的浅层模型，通过这些浅层模型的介绍，读者可从中获得机器学习基本概念以及对这些浅层模型本质的认识。第 1章的难点和亮点在于通过对传递函数 (连接函数的反函数 )进行泰勒展开，解释了传递函数在本质上起到将低维属性空间变换到高维特征空间的作用，读者从中可以理解到为何这些模型均属于“线性”模型范畴。第 2章首先介绍三层 BP网络，并详细解释多层 BP网络中存在的梯度消失或爆炸问题，然后介绍经典的深度网络模型以及避免过拟合的正则化技术。第 2章的特色之处主要体现在统一深度网络符号体系基础上，对神经元输入输出端的误差作了概念上的明确区分 (上游误差和下游误差 )。第 3章在介绍卷积公式的直观含义基础上，通过一个简单易于理解的手写体数字 “7”的识别例子，清晰地展示卷积网络的原理和技术细节，

. II .深度学习

并通过一个将卷积网络应用于自然语言处理的简化算例展示具体计算过程。第 3章的难点和特色之处在于通过柯西许瓦茨不等式解读埋藏在卷积神经网络背后的特征识别原理，理解这个原理是理解整个网络的基石。作为前向神经网络和卷积神经网络在时间序列建模能力上不足的补充。第 4章从一个语言模型出发，介绍适合处理时间序列数据的一类网络 -反馈神经网络 RNNs，以及通过引入门机制来克服 RNNs存在的梯度沿时间轴消失或爆炸难题的 LSTM网络。第 4章的特色之处体现在采用了独有的 RNNS和 LSTM网络结构图，读者能在明确网络结构图基础上清晰地明确误差信号的流动路径 ,进而较容易地掌握这两种网络的工作原理。第 5章介绍深度强化学习技术。该章首先通过青蛙模型介绍马尔可夫决策过程模型，然后讨论求解马尔可夫决策模型的三类强化学习算法。在此基础上讨论能用来解决实际复杂问题的深度强化学习方法，并介绍了深度强化学习在围棋 AlphaGo，AlphaGo Zero等领域的应用。在本书的最后，对深度强化学习的发展现状进行了简要的梳理和回顾。

本书在内容上尽可能深入浅出地涵盖深度学习从基础到前沿知识的各方面，但限于笔者学识，很多重要、前沿的材料可能未能覆盖，即便覆盖到的部分也仅是管中窥豹，更多更深的内容留待读者进一步拓展。为方便有兴趣的读者进一步深入钻研，本书每章后面均列出了相应的参考文献，谨供读者参考。

深度学习是目前最为活跃的研究领域之一，众多原创、前沿的研究成果来自加拿大、美国、德国、日本等国家的研究者。为方便读者在本书基础上进一步阅读文献，追踪国际前沿，也为避免由于本人才学疏浅带来的不准确和不到位，本书对深度学习众多概念和术语的翻译在力求准确的基础上保留了原来的英文用词，且保留大多数国外学者的英文名字，不加翻译直接使用。

深度学习发展日新月异，目前已渗透到各行各业，罕有人能对众多交叉领域均有全面精深的理解。笔者自认乃才学粗浅的无名之辈，仅略知皮毛，更兼时间和精力所限，书中难免有错谬之处，还请读者海涵，若蒙读者厚爱不吝告知，将不胜感激。

陈蔼祥 

2018年 7月于广州祈乐苑

第 1章浅层模型 ............................................................... 1 

1.1深度学习史前发展史 ........................................................ 1 

1.1.1数据分析的初级阶段：手工演算阶段 ........................................ 1 

1.1.2数据分析的中级阶段：浅层模型阶段 ......................................... 3 

1.1.3数据分析的高级阶段：大数据深度学习阶段 .................................. 4 

1.2线性回归模型 .............................................................. 7 

1.2.1极小二乘线性回归 ........................................................ 8 

1.2.2模型选择：模型容量与过拟合和欠拟合问题 ................................ 19 

1.2.3属性空间、假设函数空间与基于核函数的特征映射 ...................... 22 

1.2.4特征选择 ............................................................... 26 

1.2.5回归分析的概率解释 ..................................................... 32 

1.3 Logistics二分类模型 ..................................................... 33 

1.4 Softmax多分类模型 ....................................................... 37 

1.5 广义线性模型 ............................................................ 42

参考文献 .................................................................... 52

第 2章深度神经网络 .......................................................... 56 

2.1引言 ..................................................................... 56 

2.2 BP神经网络 .............................................................. 58 

2.2.1从生物神经元到 MP神经元模型 .......................................... 58 

2.2.2 BP神经网络结构 ........................................................ 59 

2.2.3 BP算法 ................................................................ 64 

2.2.4 BP算法算例 ............................................................ 72 

2.3从 BP网络到深度网络 ...................................................... 73 

2.3.1梯度消失：多层 BP网络训练难题 ........................................... 74 

2.3.2逐层贪心预训练 +全局微调 ............................................. 76 

2.4深度网络的进一步解释 ..................................................... 83 

2.5克服过拟合：深度网络中的正则化技术 ........................................ 85 

2.5.1模型约束技术 ........................................................... 86 

2.5.2输入约束技术 ........................................................... 88 

2.5.3模型集成技术 ........................................................... 92 

2.6深度网络发展史 ........................................................... 98 

2.6.1早期神经网络模型（ 1958—1969年） ....................................... 98 

2.6.2深度学习萌芽期（ 1969—2006年） .......................................... 99 

2.6.3深度学习爆发期（2006年至今） ............................................100

参考文献 ....................................................................101

第 3章卷积神经网络 .........................................................108 

3.1引言 ....................................................................108 

3.2卷积的数学公式及其含义 .................................................109 

3.3卷积神经网络的技术细节 .................................................114 

3.3.1计算机“眼”中的图像 ...............................................115 

3.3.2卷积神经网络 ..........................................................116 

3.3.3卷积神经网络的结构 .................................................116 

3.3.4 CNNs训练算法 ..........................................................121 

3.3.5卷积网提取特征的可视化 .............................................129 

3.4 CNNs的变体 ..............................................................131 

3.4.1关于卷积核的变体 .....................................................132 

3.4.2关于卷积通道的变体 ..................................................136 

3.4.3关于卷积层连接的变体 .................................................141 

3.5卷积网络在自动驾驶中的应用 .............................................145 

3.6 卷积网络发展史 .........................................................146

参考文献 ................................................................148

第 4章反馈神经网络 ........................................................151 

4.1引言 ....................................................................151 

4.2反馈神经网络 ............................................................153 

4.2.1统计语言模型 .......................................................154 

4.2.2 RNNs的网络结构 ........................................................158 

4.2.3 RNNs的训练算法：BPTT ...............................................162 

4.2.4 RNNs的误差沿时间轴传播公式 .........................................170 

4.2.5 RNNs的变体 ..........................................................172 

4.3长短期记忆单元反馈神经网络 ............................................175 

4.3.1早期解决长时间序列学习难题的朴素方法 .................................176 

4.3.2 LSTM网络结构 .........................................................177 

4.3.3 LSTM的前向计算 ....................................................179 

4.3.4 LSTM的反向计算 .....................................................181 

4.3.5 LSTM的权值更新 .....................................................184 

4.3.6理解 LSTM网络 ........................................................186 

4.4时间序列处理中的几种重要机制 ..........................................188 

4.4.1处理变长序列的编码器-解码器模型 ..................................189 

4.4.2注意力机制 ............................................................192 

4.4.3序列自动对齐的 CTC技术 .............................................195 

4.4.4小结 .............................................................215 

4.5深度反馈网络在时间序列处理中的应用 ....................................216 

4.5.1 Google神经机器翻译系统 ...............................................216 

4.5.2深度语音识别系统 ..................................................219 

4.5.3用 LSTM编程和写作 ..................................................223 

4.6 反馈神经网络发展现状 ....................................................229

参考文献 ...................................................................229

第 5章深度强化学习 .........................................................234 

5.1引言 ....................................................................234 

5.2马尔可夫决策过程 .....................................................238 

5.2.1马尔可夫过程 .......................................................239 

5.2.2马尔可夫奖励过程 .....................................................243 

5.2.3马尔可夫决策过程 .....................................................246 

5.2.4广义策略迭代 ..........................................................255 

5.2.5小结 .................................................................257 

5.3强化学习算法 ............................................................257 

5.3.1动态规划算法 ........................................................258 

5.3.2蒙特卡罗算法 ..........................................................263 

5.3.3时间差分学习算法 ......................................................274 

5.3.4小结 ..................................................................297 

5.4深度强化学习算法 ........................................................299 

5.4.1基于深度网络的状态价值和动作价值函数近似 ...........................301 

5.4.2基于深度网络的策略梯度法 ..........................................307 

5.5深度强化学习的应用 .....................................................317 

5.5.1围棋 AlphaGo ........................................................317 

5.5.2从 AlphaGo到 AlphaGo Zero............................................332 

5.5.3基于像素的乒乓球游戏 .................................................341 

5.6深度强化学习发展现状 ................................................344 

5.6.1强化学习起源与发展现状 ................................................344 

5.6.2深度强化学习在棋类中的应用 ............................................345 

5.6.3深度强化学习技术在自主智能体中的应用 .................................347

参考文献 ..................................................................350

后记 ........................................................................353 

本书目标读者是大三以上的学生，以及广大的工程技术人员，研发人员。亦可以作为统计、计算机、大数据以及相关专业和各交叉学科的教材使用。

陈蔼祥，中山大学博士，广东财经大学统计与数学学院副院长，先后访问美国韦恩州立大学、北京大学