
深度学习,特别是深度卷积神经网络是人工智能的重要分支领域,卷积神经网络技术也被广泛应用于各种现实场景,在许多问题上都取得了超越人类智能的结果。本书作为该领域的入门书籍,在内容上涵盖深度卷积神经网络的基础知识和实践应用两大方面。全书共14 章,分为三个部分:第一部分为绪论;第二部分(第1~4 章)介绍卷积神经网络的基础知识、基本部件、经典结构和模型压缩等基础理论内容;第三部分(第5~14 章)介绍深度卷积神经网络自数据准备开始,到模型参数初始化、不同网络部件的选择、网络配置、网络模型训练、不平衡数据处理,最终到模型集成等实践应用技巧和经验。本书并不是一本编程类书籍,而是希望通过“基础知识”和“实践技巧”两方面使读者从更高维度了解、掌握并成功构建针对自身应用问题的深度卷积神经网络。本书可作为深度学习和卷积神经网络爱好者的入门书籍,也可供没有机器学习背景但希望能快速掌握该方面知识并将其应用于实际问题的各行从业者阅读参考。
推荐序 卷积神经网络乃机器学习领域中深度学习技术最著名内容之一。魏秀参博士在LAMDA求学数年,对卷积神经网络及其视觉应用颇有所长,博士未毕业即被旷视科技聘为南京研究院负责人,毕业之际将心得材料转撰成书请愚致序。师生之谊,盛情难却。 在国内计算机领域,写书乃吃力不讨好之事。且不论写一本耐读、令读者每阅皆有所获之书何等不易,更不消说众口难调、令各型读者皆赞之书何等无望,仅认真写书所耗时间精力之巨、提职时不若期刊论文之效、收入不比同等精力兼差打工之得,已令人生畏,何况稍不慎就有误人子弟之嫌,令一线学者若不狠心苛己,实难着手。 然有志求学本领域之士渐增,母语优良读物之不足实碍科学技术乃至产业发展。毕竟未必众人皆惯阅外文书籍,亦未必尽能体会外文微妙表达变化之蕴义,更不消说母语阅读对新入行之轻快适意。愚曾自认四十不惑前学力不足立著,但国内科研水准日新月异,青年才俊茁然成长,以旺盛之精力分享所学,诚堪嘉勉。 市面上深度学习书籍已不少,但专门针对卷积神经网络展开,侧重实践又不失论释者尚不多见。书中基本覆盖了卷积神经网络实践所涉之环节,作者交代的若干心得技巧亦可一观,实践中或有见益。望本书之出版能有助于读者更好地了解和掌握卷积神经网络,进一步促进深度学习技术之推广。 ——周志华,2018年10月于南京 人工智能,一个听起来熟悉但却始终让人备感陌生的词汇。让人熟悉的是科幻作家艾萨克·阿西莫夫笔下的《机械公敌》和《机器管家》,令人陌生的却是到底如何让现有的机器人咿呀学语、邯郸学步;让人熟悉的是计算机科学与人工智能之父图灵设想的“图灵测试”,令人陌生的却是如何使如此的高级智能在现实生活中不再子虚乌有;让人熟悉的是2016 年初阿尔法狗与李世乭在围棋上的五番对决,令人陌生的却是阿尔法狗究竟是如何打通了“任督二脉”的……不可否认,人工智能就是人类为了满足自身强大好奇心而脑洞大开的产物。现在提及人工智能,就不得不提阿尔法狗,提起阿尔法狗就不得不提到深度学习。那么,深度学习究竟为何物? 本书从实用角度着重解析了深度学习中的一类神经网络模型——卷积神经网络,向读者剖析了卷积神经网络的基本部件与工作机理,更重要的是系统性地介绍了深度卷积神经网络在实践应用方面的细节配置与工程经验。 笔者希望本书“小而精”,避免像某些国外相关教材一样浅尝辄止的“大而空”。写作本书的主因源自笔者曾于2015 年10 月在个人主页(http://lamda.nju.edu.cn/weixs)上开放的一个深度学习的英文学习资料“深度神经网络之必会技”(Must Know Tips/Tricks in Deep Neural Networks)。该资料随后被转帖至新浪微博,受到不少学术界和工业界朋友的好评,至今已有逾36 万的阅读量,后又被国际知名论坛KDnuggets 和Data Science Central 特邀转载。在此期间,笔者频繁接收到国内外读过此学习资料的朋友微博私信或邮件来信表示感谢,其中多人提到希望开放一个中文版本以方便国人阅读学习。另一方面,随着深度学习领域发展的日新月异,当时总结整理的学习资料现在看来已略显滞后,不少最新研究成果并未涵盖其中,同时加上国内至今尚没有一本侧重实践的深度学习方面的中文书籍。因此,笔者笔耕不辍,希望将自己些许的所学所知所得所感及所悟汇总于本书中,分享给大家学习和查阅。 这是一本面向中文读者的轻量级、偏实用的深度学习工具书,本书内容侧重深度卷积神经网络的基础知识和实践应用。为了使尽可能多的读者通过本书对卷积神经网络和深度学习有所了解,笔者试图尽可能少地使用晦涩的数学公式,而尽可能多地使用具体的图表形象表达。本书的读者对象为对卷积神经网络和深度学习感兴趣的入门者,以及没有机器学习背景但希望能快速掌握该方面知识并将其应用于实际问题的各行从业者。 为方便读者阅读,本书附录给出了一些相关数学基础知识简介。 全书共有14 章,除“绪论”外可分为两个部分:第一部分“基础理论篇”包括第1~4 章,介绍卷积神经网络的基础知识、基本部件、经典结构和模型压缩等基础理论内容;第二部分“实践应用篇”包括第5~14 章,介绍深度卷积神经网络自数据准备开始,到模型参数初始化、不同网络部件的选择、网络配置、网络模型训练、不平衡数据处理,最终到模型集成等实践应用技巧和经验。另外,本书基本在每章结束均有对应小结,读者在阅读完每章内容后不妨掩卷回忆,看是否完全掌握了此章重点。对卷积神经网络和深度学习感兴趣的读者可通读全书,做到“理论结合实践”;对希望迅速应用深度卷积神经网络来解决实际问题的读者,也可直接参考第二部分的有关内容,做到“有的放矢”。笔者在本书写作过程中得到很多同学和学术界、工业界朋友的支持与帮助,在此谨列出他们的姓名以致谢意(按姓氏拼音序):高斌斌、高如如、罗建豪、屈伟洋、谢晨伟、杨世才、张晨麟等。感谢高斌斌和罗建豪帮助起草本书第3.2.4节和第4章的有关内容。此外,特别感谢南京大学周志华教授、吴建鑫教授和澳大利亚阿德莱德大学沈春华教授等众多师长在笔者求 学科研过程中不厌其烦细致入微的指导、教育和关怀。同时,感谢电子工业出版社的刘皎老师为本书出版所做的努力。最后非常感谢笔者的父母,感谢他们的养育和一直以来的理解、体贴与照顾。写就本书,笔者自认才疏学 浅,仅略知皮毛,更兼时间和精力有限,书中错谬之处在所难免,若蒙读者不弃,还望不吝赐教,笔者将不胜感激! ——魏秀参
第一部分绪论 / 1 第二部分基础理论篇 / 9 1 卷积神经网络基础知识 / 10 1.1 发展历程 / 11 1.2 基本结构 / 13 1.3 前馈运算 / 16 1.4 反馈运算 / 16 1.5 小结 / 19 2 卷积神经网络基本部件/ 21 2.1 “端到端”思想/21 2.2 网络符号定义/ 23 2.3 卷积层/24 2.3.1 什么是卷积/ 24 2.3.2 卷积操作的作用/27 2.4 汇合层/28 2.4.1 什么是汇合/ 29 2.4.2 汇合操作的作用/30 2.5 激活函数/ 31 2.6 全连接层/ 33 2.7 目标函数/ 34 2.8 小结/ 34 3 卷积神经网络经典结构/ 35 3.1 CNN 网络结构中的重要概念/35 3.1.1 感受野/ 35 3.1.2 分布式表示/ 37 3.1.3 深度特征的层次性 /39 3.2 经典网络案例分析/42 3.2.1 Alex-Net 网络模型/ 42 3.2.2 VGG-Nets 网络模型/46 3.2.3 Network-In-Network /48 3.2.4 残差网络模型/49 3.3 小结/ 54 4 卷积神经网络的压缩/ 56 4.1 低秩近似/ 58 4.2 剪枝与稀疏约束/60 4.3 参数量化/ 64 4.4 二值网络/ 68 4.5 知识蒸馏/ 71 4.6 紧凑的网络结构//74 4.7 小结/ 76 第三部分实践应用篇/ 77 5 数据扩充/ 78 5.1 简单的数据扩充方式/78 5.2 特殊的数据扩充方式/80 5.2.1 Fancy PCA /80 5.2.2 监督式数据扩充/80 5.3 小结/ 82 6 数据预处理/ 83 7 网络参数初始化/ 85 7.1 全零初始化/86 7.2 随机初始化/86 7.3 其他初始化方法/89 7.4 小结/ 90 8 激活函数/ 91 8.1 Sigmoid 型函数/ 92 8.2 tanh(x) 型函数/ 93 8.3 修正线性单元(ReLU) /93 8.4 Leaky ReLU /94 8.5 参数化ReLU /95 8.6 随机化ReLU /97 8.7 指数化线性单元(ELU)/ 98 8.8 小结/ 99 9 目标函数100 9.1 分类任务的目标函数/100 9.1.1 交叉熵损失函数/101 9.1.2 合页损失函数/101 9.1.3 坡道损失函数/101 9.1.4 大间隔交叉熵损失函数/ 103 9.1.5 中心损失函数/105 9.2 回归任务的目标函数//107 9.2.1 ?1 损失函数/ 108 9.2.2 ?2 损失函数/ 108 9.2.3 Tukey’s biweight 损失函数/109 9.3 其他任务的目标函数//109 9.4 小结/ 111 10 网络正则化/ 113 10.1 ?2 正则化/ 114 10.2 ?1 正则化/ 115 10.3 最大范数约束/ 115 10.4 随机失活/ 116 10.5 验证集的使用/ 118 10.6 小结/ 119 11 超参数设定和网络训练/ 120 11.1 网络超参数设定/120 11.1.1 输入数据像素大小/120 11.1.2 卷积层参数的设定/121 11.1.3 汇合层参数的设定/122 11.2 训练技巧/ 123 11.2.1 训练数据随机打乱/123 11.2.2 学习率的设定/123 11.2.3 批规范化操作/125 11.2.4 网络模型优化算法选择/ 127 11.2.5 微调神经网络/132 11.3 小结/ 133 12 不平衡样本的处理/ 135 12.1 数据层面处理方法/136 12.1.1 数据重采样/ 136 12.1.2 类别平衡采样/137 12.2 算法层面处理方法/138 12.2.1 代价敏感方法/139 12.2.2 代价敏感法中权重的指定方式/140 12.3 小结 / 142 13 模型集成方法/ 143 13.1 数据层面的集成方法/143 13.1.1 测试阶段数据扩充/143 13.1.2 “简易集成”法/144 13.2 模型层面的集成方法/144 13.2.1 单模型集成/ 144 13.2.2 多模型集成/ 146 13.3 小结/ 149 14 深度学习开源工具简介/ 151 14.1 常用框架对比/ 151 14.2 常用框架的各自特点/153 14.2.1 Caffe /153 14.2.2 Deeplearning4j /153 14.2.3 Keras /154 14.2.4 MXNet / 155 14.2.5 MatConvNet / 155 14.2.6 TensorFlow /155 14.2.7 Theano / 156 14.2.8 Torch /157 A 向量、矩阵及其基本运算/ 158 B 随机梯度下降/ 162 C 链式法则/ 165 参考文献/ 167 索引/ 181