《深度学习全书——公式+推导+代码+TensorFlow全程案例》共有15章，分为5部分，第一篇说明深度学习的概念，包括数理基础，特点是结合编程解题，加深读者印象，第二篇说明TensorFlow的学习地图，从张量、自动微分、梯度下降乃至神经层的实践，逐步解构神经网络，第三篇介绍CNN算法、影像应用、转移学习等，第四篇则进入自然语言处理及语音识别的领域，介绍RNN/BERT/Transformer算法、相关应用等，最后，介绍了强化学习的基础知识，包括马尔可夫决策过程、动态规划、蒙特卡洛、Q Learning算法，当然，还有相关案例实践。

 (Preface)

为何撰写本书

笔者从事机器学习教育行业已有四年，其间也在“IT 邦帮忙”撰写过上百篇文章(https://ithelp.ithome.com.tw/users/20001976/articles)，从学员及读者的回馈中获得了许多宝贵意见，期望能将整个历程集结成册，同时，相关领域的发展也在飞速变化，过往的文章内容需要翻新，因此笔者借机再重整思路，思考如何能将算法的原理解释得更简易清晰，协助读者跨入 AI 的门坎，另外，也尽量避免流于空谈，增加应用范例，希望能使学生实现即学即用，不要有过多理论的探讨。

AI 是一个将数据转化为知识的过程，算法就是过程中的生产设备，最后产出物是模型，再将模型植入各种硬件装置，如计算机、手机、智能音箱、汽车、医疗诊断仪器等，这些装置就拥有了特殊专长的智能，再进一步整合各项技术就可以构建出智能制造、智能金融、智能交通、智慧医疗、智能城市、智能家庭等应用系统。AI 的应用领域如此广阔，个人精力和能力有限，唯有从基础扎根，再扩及有兴趣的领域，因此， 笔者撰写这本书的初衷，就是希望读者在扎根的过程中，贡献一点微薄的力量。

本书主要的特点

笔者身为统计人，希望能以统计 / 数学为出发点，介绍深度学习必备的数理基础， 但又不希望内文有太多数学公式的推导，让离开校园已久的在职者看到大量数学符号心生恐惧，因此，本书尝试以程序设计取代定理证明，缩短学习历程，增进学习乐趣。

TensorFlow 2.X 版有巨大的变动，默认模式改为 Eager Execution，并以 Keras 为主力，整合 TensorFlow 其他模块，形成完整的架构，本书期望对 TensorFlow 架构作完整性的介绍，并非只是介绍 Keras 而已。

算法介绍以理解为主，辅以大量图表说明，摒弃长篇大论。

完整的范例程序及各种算法的延伸应用，以实用为要，希望能触发读者灵感， 能在项目或产品内应用。

介绍日益普及的算法与相关套件的使用，如 YOLO( 目标检测 )、GAN( 生成对抗网络 )/DeepFake( 深度伪造)、OCR( 光学文字辨识)、人脸识别、BERT/Transformer、ChatBot、强化学习、语音识别 (ASR) 等。

目标对象

深度学习的入门者：必须熟悉 Python 程序语言及机器学习的基本概念。

数据工程师：以应用系统开发为职业志向，希望能应用各种算法，进行实际操作。

信息工作者：希望能扩展深度学习知识领域。

从事其他领域的工作：希望能一窥深度学习奥秘者。

阅读重点

第 1 章介绍 AI 的发展趋势，鉴古知今，引导读者了解前两波 AI 失败的原因， 比较第三波发展的差异性。

第 2 章介绍深度学习必备的统计 / 数学基础，读者不仅要理解相关知识，也要力求能撰写程序解题。

第 3 章介绍 TensorFlow 的基本功能，包括张量 (Tensor) 运算、自动微分及神经网络模型的组成，并说明梯度下降法求解的过程。

第 4 章开始实作，依照机器学习十项流程，撰写完整的范例，包括 Web、桌面程序等。

第 5 章介绍 TensorFlow 进阶功能，包括各种工具，如 TensorBoard、TensorFlow Serving、Callbacks 等。

第 6 ～ 10 章介绍图像 / 视频的算法及各式应用。

第 11 ～ 14 章介绍自然语言处理、语音及各式应用。

第 15 章介绍 AlphaGo 的基础—强化学习算法。

本书范例程序代码和参考文献全部可以通过扫描二维码获取。

致谢

原本笔者计划整理过往文章集结成书，但由于相关技术发展太快，几乎全部重新撰写编排，因此耗时较长，因个人能力有限，还是有许多问题成为遗珠之憾，仍待后续努力，编写过程中感谢栾大成、申美莹在编辑、校正、封面构想环节的尽心协助， 也感谢清华大学出版社的大力支持，使本书得以顺利出版，最后要借此书，纪念一位挚爱的亲人。

书中内容如有疏漏、谬误之处或有其他建议，欢迎广大读者来信指教。

陈昭明

2022-08

 

目 录

  第一篇 深度学习导论

 

第 1 章   深度学习导论 2

1-1 人工智能的三波浪潮 2

1-2 AI 的学习地图 4

1-3 机器学习应用领域 5

1-4 机器学习开发流程 6

1-5 开发环境安装 7

第 2 章   神经网络原理 12

2-1 必备的数学与统计知识 12

2-2 线性代数 14

2-3 微积分 24

 

2-3-5    积分 37

2-4 概率与统计 41

2-4-1 数据类型 ……………… 42

2-4-2 抽样 …………………… 43

2-4-3 基础统计 ……………… 46

2-4-4 概率 …………………… 53

2-4-5 概率分布 ……………… 59

2-4-6 假设检定 ……………… 69

2-5 线性规划 78

2-6 普通最小二乘法与最大似然

估计法 81

2-6-1 普通最小二乘法 81

2-6-2 最大似然估计法 84

2-7 神经网络求解 88

 

2-3-1 微分 …………………… 24

2-3-2 微分定理 ……………… 29

2-3-3 偏微分 ………………… 32

2-3-4 简单线性回归求解 …… 36

 

深度学习全书——公式 + 推导 + 代码 +TensorFlow 全程案例

 

  第二篇 TensorFlow 基础篇

 

第 3 章 TensorFlow 架 构 与

主要功能 98

3-1 常用的深度学习框架 98

3-2 TensorFlow 架构 99

3-3 张量运算 100

3-4 自动微分 105

3-5 神经网络层 109

第 4 章   神经网络实践 114

4-1 撰写第一个神经网络程序 114

4-1-1 最简短的程序 114

4-1-2 程序强化 115

4-1-3    实验 124

4-2 Keras 模型种类 129

4-2-1 Sequential model 129

4-2-2 Functional API 133

4-3  神 经层 135

4-3-1 完全连接神经层 135

4-3-2 Dropout Layer 137

4-4 激活函数 137

4-5 损失函数 142

4-6  优 化器 144

4-7 效果衡量指标 148

4-8 超参数调校 152

第 5 章 TensorFlow 其他常用

指令 156

5-1 特征转换 156

5-2 模型存盘与加载 157

5-3 模型汇总与结构图 159

 

5-4 回调函数 161

5-4-1 EarlyStopping

Callbacks 162

5-4-2 ModelCheckpoint

Callbacks 163

5-4-3 TensorBoard Callbacks … 164

5-4-4 自定义 Callback 165

5-4-5 自定义 Callback 应用 … 168

5-4-6    总结 169

5-5 TensorBoard 169

5-5-1    TensorBoard 功能 169

5-5-2    测试 171

5-5-3    写入图片 172

5-5-4  直 方图 173

5-5-5 效果调校 174

5-5-6 敏感度分析 175

5-5-7    总结 176

5-6 模型部署与 TensorFlow

Serving 176

5-6-1 自行开发网页程序 176

5-6-2 TensorFlow Serving 178

5-7 TensorFlow Dataset 180

5-7-1 产生 Dataset 180

5-7-2 图像 Dataset 184

5-7-3 TFRecord 与 Dataset … 186

5-7-4 TextLineDataset 189

5-7-5 Dataset 效果提升 191

第 6 章   卷积神经网络 193

6-1    卷积神经网络简介 193

 

IV

 

目 录

 

 

6-2    卷积 194

6-3    各式卷积 197

6-4  池 化层 201

6-5 CNN 模型实践 202

6-6 影像数据增补 206

6-7 可解释的 AI 211

 

第 7 章   预先训练的模型   ………219

7-1 预先训练的模型简介 219

7-2 采用完整的模型 221

7-3 采用部分模型 225

7-4 转移学习 229

7-5 Batch Normalization 说明 233

 

  第三篇 进阶的影像应用

 

第 8 章   目标检测 238

8-1 图像辨识模型的发展 238

8-2 滑动窗口 239

8-3 方向梯度直方图 242

8-4 R-CNN 目标检测 252

8-5 R-CNN 改良 263

8-6 YOLO 算法简介 266

8-7 YOLO 环境配置 269

8-8 以 TensorFlow 实践 YOLO

模型… 274

8-9 YOLO 模型训练 280

8-10 SSD 算法 285

8-11 TensorFlow Object Detection

API 285

8-12 目标检测的效果衡量指标 294

8-13    总结 295

第 9 章   进阶的影像应用 296

9-1 语义分割介绍 296

9-2 自动编码器 297

9-3 语义分割实践 305

9-4 实例分割 311

 

9-5 风格转换—人人都可以是

毕加索 315

9-6 脸部辨识 327

9-6-1 脸部检测 327

9-6-2 MTCNN 算法 332

9-6-3 脸部追踪 334

9-6-4 脸部特征点检测 340

9-6-5 脸部验证 346

9-7 光学文字辨识 349

9-8 车牌辨识 353

9-9 卷积神经网络的缺点 357

第 10 章   生成对抗网络 359

10-1 生成对抗网络介绍 359

10-2 生成对抗网络种类 361

10-3 DCGAN 364

10-4 Progressive GAN 375

10-5 Conditional GAN 380

10-6 Pix2Pix 385

10-7 CycleGAN 396

10-8 GAN 挑战 406

10-9 深度伪造 406

 

V

 

深度学习全书——公式 + 推导 + 代码 +TensorFlow 全程案例

 

  第四篇 自然语言处理

 

第 11 章 自然语言处理的介绍 …412

11-1 词袋与 TF-IDF 412

11-2 词汇前置处理 416

11-3 词 向量 421

11-4 GloVe 模型 433

11-5 中文处理 436

11-6 spaCy 库 439

第 12 章   自然语言处理的算法 444

12-1 循环神经网络 444

12-2 长短期记忆网络 451

12-3 LSTM 重要参数与多层

LSTM 456

12-4 Gate Recurrent Unit 467

12-5 股价预测 468

12-6 注意力机制 475

12-7 Transformer 架构 485

12-7-1 Transformer 原理 486

12-7-2 Transformer 效能 487

12-8 BERT 488

12-8-1 Masked LM 488

12-8-2 Next Sentence

Prediction 489

12-8-3 BERT 效能微调 490

12-9 Transformers 库 491

12-9-1   Transformers 库范例 … 491

 

12-9-2 Transformers 库效能

微调 501

12-9-3 后续努力 507

12-10    总结 507

第 13 章   聊天机器人 508

13-1 ChatBot 类别 508

13-2 ChatBot 设计 509

13-3 ChatBot 实践 511

13-4 ChatBot 工具框架 514

13-4-1 ChatterBot 实践 514

13-4-2 Chatbot AI 实践 517

13-4-3 Rasa 实践 520

13-5 Dialog?ow 实践 523

13-5-1 Dialog?ow 安装 525

13-5-2 Dialog?ow 基本功能 … 527

13-5-3    履行 532

13-6    总结 536

第 14 章 语 音 识别 537

14-1 语音基本认识 538

14-2 语音前置处理 549

14-3 语音相关的深度学习应用 561

14-4 自动语音识别 574

14-5 自动语音识别实践 577

14-6    总结 578

 

VI

 

目 录

 

  第五篇 强化学习

 

第 15 章 强 化 学习 580

15-1 强化学习的基础 581

15-2 强化学习模型 583

15-3 简单的强化学习架构 586

15-4 Gym 库 593

15-5 Gym 扩充功能 600

15-6 动态规划 602

 

15-7  值 循环 607

15-8 蒙特卡洛 610

15-9 时序差分 619

15-10 其他算法 628

15-11 井字游戏 630

15-12 木棒小车 636

15-13    总结 637

 

VI 

 

深度学习已经风靡全球，对于计算机相关的从业者来说，学习其相关知识至关重要，对于非计算机领域的从业者来说，学习这些知识也可以大大扩宽自己的视野，对科技世界的发展动向略知一二。《深度学习全书——公式+推导+代码+TensorFlow全程案例》的作者以统计学人的角度，从深度学习必备的数理知识出发，一步步介绍各种领域的算法和应用，帮助学习者们构建一个完整的知识体系，做到即学即用，避免让知识成为空中楼阁。

陈昭明，成功大学统计系学士、清华大学工业工程研究所硕士。曾任职于IBM、工研院电通所、软件开发公司、ERP顾问公司、电信公司、财经数据库公司，目前担任Python、机器学习、深度学习、AIoT讲师。获2018年IT邦帮忙铁人赛 AI 组冠军、2021年IT邦帮忙铁人赛 AI 组优选。

洪锦魁，中国台湾计算机专家，著名程序员与IT作家。横跨DOS时代、Windows时代、Internet时代、大数据时代，纵观IT兴衰而笔耕不辍。台湾天龙书局IT图书常年霸榜专业户。其作品版权包括：中国台湾（繁体中文）、中国大陆（简体中文）、马来西亚（马来文）、美国（英文）。写作特色：所有程序语法依特性分类，同时以实用的程序范例进行解说，程序确保跑通，让读者可以事半功倍地轻松掌握相关知识。