本书分为基础篇和高级篇。基础篇介绍机器学习的主要原理和方法、以及最近几年来的最新进展，包括机器学习的发展史、决策树学习、PAC模型、贝叶斯学习、支持向量机、AdaBoost、压缩感知、子空间、深度学习与神经网络、MCNs、强化学习等内容。在高级篇部分，主要介绍一下作者多年来在机器学习与视觉感知方面的研究成果，包括HGPP、LDP、KBP、高阶差分码、Kernel Learning、Bag of Feature model等方法原理阐述与应用。

模式识别诞生于20世纪20年代，随着20世纪40年代计算机的出现，20世纪50年代人工智能的兴起，模式识别在20世纪60年代初迅速发展成一门学科。什么是模式和模式识别呢？广义地说，存在于时间和空间中可观察的事物，如果可以区别它们是否相同或相似，都可以称之为模式；狭义地说，模式是通过对具体的个别事物进行观测所得到的具有时间和空间分布的信息。模式所属的类别或同一类中模式的总体称为模式类(或简称为类)。而“模式识别”则是在某些一定度量或观测基础上把待识别模式划分到各自的模式类中去。经过多年的研究和发展，模式识别技术已被广泛应用于人工智能、计算机工程、机器人学、神经生物学，以及宇航科学和武器技术等许多重要领域，如语音识别、语音翻译、人脸识别、指纹识别、生物认证技术等。模式识别技术对国民经济建设和国防科技发展的重要性已得到了人们的认可和广泛重视。

作为模式识别不可分割的一部分，机器学习与视觉感知是当前计算机与自动化领域的技术热点，也是未来的主要研究方向之一。各行各业都会应用机器学习方法解决问题。而视觉作为最主要的信息获取方式，是目前最为重要的研究领域之一。作者结合长期的科研经验完成了这本面向大学本科及研究生的教材。本书面向有一定数学基础的模式识别专业的本科生和研究生，以及有志于钻研模式识别相关领域，包括机器学习和视觉感知等方向的读者。由于机器学习算法大多与线性代数和矩阵相关，作者认为本书读者已经掌握了基础的数学知识。本书介绍机器学习的主要原理和方法，以及最新进展。全书包括机器学习的发展史、决策树学习、PAC模型、贝叶斯学习、支持向量机、AdaBoost、压缩感知、子空间、深度学习与神经网络调制卷积神经网络和强化学习。

由于机器学习与视觉感知方向书籍众多，本书在介绍其余书籍所涉及的基础知识的基础上，加入了许多前沿的算法和原理，希望读者不仅可以学习到这些基础知识，还可以根据这些知识确定自己的研究方向。基于此，作者在编书过程中做了两方面工作： 一方面，该书从易于读者学习的角度逐步讲解了诸如决策树学习、贝叶斯学习、支持向量机、压缩感知以及深度学习等知识，不同于以往的书籍中理论过于烦琐、公式推导过于复杂的特点，本书重点强调实用性，书中加入了大量的例子来实现算法，使得读者可以在学习示例的基础上去学习算法和理论；另一方面，本书内容安排每一章为比较独立的一个整体，这些章节不仅包括传统的理论和方法，也融入了作者的一些算法和最近比较流行的机器学习理论，使得读者可以知道机器学习的新方向和新进展。

本书对最新的机器学习领域的成果进行了介绍，并对作者多年来的研究成果进行了总结。由于作者在分类器设计、人脸识别、视频理解、掌纹识别、铁路图像检测方面进行了多年的研究，本书对于相关领域的研究人员具有一定的启发作用。

本书由张宝昌、杨万扣、林娜娜编著。张宝昌负责对全书的内容进行了撰写和整理，杨万扣主要针对子空间学习和压缩感知部分进行了修订，而林娜娜对增强学习部分整理和全书的核对做了大量的工作。感谢杨赟、刘娟、王蕾等研究生对本书后期整理所做的大量工作。写作过程中，作者借阅了大量机器学习相关的书籍和互联网上的资料，详见参考文献，没有他们的贡献就没有本书的出版，在此表示衷心的感谢。

由于时间仓促和个人能力有限，书中难免存在疏漏，希望广大读者给予批评指正。

  作者                                         2020年7月

第1章机器学习的发展史1

引言1

1.1机器学习1

1.1.1基本简介1

1.1.2机器学习的定义和研究意义2

1.1.3机器学习的发展史3

1.1.4机器学习的主要策略3

1.1.5机器学习系统的基本结构4

1.1.6机器学习的分类4

1.1.7目前研究领域8

1.2统计模式识别问题9

1.2.1机器学习问题的表示9

1.2.2经验风险最小化11

1.2.3复杂性与推广能力11

1.3统计学习理论的核心内容12

1.3.1学习过程一致性的条件13

1.3.2推广性的界13

1.3.3结构风险最小化15

小结17第2章PAC模型18

引言18

2.1基本的PAC模型18

2.1.1PAC简介18

2.1.2基本概念18

2.1.3问题框架19

2.2PAC模型样本复杂度分析20

2.2.1有限空间样本复杂度20

2.2.2无限空间样本复杂度21

小结22第3章决策树学习23

引言23

3.1决策树学习概述23

3.1.1决策树24

3.1.2性质25

3.1.3应用25

3.1.4学习26

3.2决策树设计26

3.2.1决策树的特点27

3.2.2决策树的生成27

小结33第4章贝叶斯学习34

引言34

4.1贝叶斯学习34

4.1.1贝叶斯公式34

4.1.2最小误差决策35

4.1.3正态密度35

4.1.4最大似然估计36

4.2朴素贝叶斯原理及应用37

4.2.1贝叶斯最佳假设原理37

4.2.2Naive Bayes分类37

4.2.3基于Naive Bayes的文本分类器38

4.3HMM（隐性马氏模型）及应用41

4.3.1马尔科夫性41

4.3.2马尔科夫链41

4.3.3转移概率矩阵41

4.3.4HMM（隐性马尔科夫模型）及应用42

小结44第5章支持向量机45

引言45

5.1支持向量机45

5.2支持向量机的核函数选择50

5.3支持向量机的实例51

5.4多类支持向量机54

小结54第6章AdaBoost55

引言55

6.1AdaBoost与目标检测55

6.1.1AdaBoost算法55

6.1.2初始化57

6.2具有强鲁棒性的实时目标检测59

6.2.1矩形特征选取59

6.2.2积分图60

6.2.3训练结果61

6.2.4级联62

6.3运用统计学的目标检测63

6.4随机森林64

6.4.1原理阐述64

6.4.2算法详解64

6.4.3算法分析64

小结65第7章压缩感知66

引言66

7.1压缩感知理论框架66

7.2压缩感知的基本理论及核心问题67

7.2.1压缩感知的数学模型67

7.2.2信号的稀疏表示67

7.2.3信号的观测矩阵68

7.2.4信号的重构算法69

7.3压缩感知的应用与仿真69

7.3.1应用69

7.3.2人脸识别70

小结72第8章子空间73

引言73

8.1基于主成分分析的特征提取73

8.2数学模型75

8.3主成分的数学上的计算76

8.3.1两个线性代数的结论76

8.3.2基于协方差矩阵的特征值分解76

8.3.3主成分分析的步骤77

8.4主成分分析的性质78

8.5基于主成分分析的人脸识别方法79

小结80第9章深度学习与神经网络81

引言81

9.1神经网络及其主要算法81

9.1.1前馈神经网络81

9.1.2感知器81

9.1.3三层前馈网络83

9.1.4反向传播算法84

9.2深度学习86

9.2.1深度学习概述86

9.2.2自编码算法AutoEncoder87

9.2.3自组织编码深度网络88

9.2.4卷积神经网络模型89

小结92第10章调制卷积神经网络（MCN）93

10.1概述93

10.2损失函数95

10.3前向卷积96

10.4卷积神经网络模型的梯度反传98

10.5MCN网络的实验验证100

10.5.1实验数据集100

10.5.2实验与实现细节103第11章强化学习112

引言112

11.1强化学习概述112

11.2强化学习过程113

11.2.1马尔科夫性113

11.2.2奖励113

11.2.3估价函数114

11.2.4动态规划114

11.2.5蒙特卡洛方法115

11.2.6时序差分学习115

11.2.7QLearning117

11.2.8QLearning算法的改进118

11.3程序实现120

参考文献124

本书从易于学生学习的角度逐步讲解了诸如决策树学习、贝叶斯学习、支持向量机、压缩感知、调制压缩神经网络以及深度学习等知识，书中加入了大量的例子来实现算法，使得读者可以在学习示例的基础上去学习算法和理论。本书把最新的机器学习领域的成果进行了介绍，对作者多年来的研究成果也进行了总结。由于作者在人脸识别、铁路图像检测方面进行了多年的研究，该书对于该领域的研究人员具有一定的启发作用。

张宝昌， 北京航空航天大学自动化学院长聘副教授，特聘研究员。2001-2006年，中国科学院，中科院联合实验室(jdl)2007年优秀论文提名奖。2006-2007,先后在香港中文大学、澳大利亚Griffith University从事研究工作，主要的研究方向为人脸识别、视频理解、机器学习。2008.3-，北航自动化学院，主讲“模式识别与机器学习”“现代控制导论”“机器学习理论与应用”“图像处理系列实验”等课程。自获得博士学位(2007年)以来发表论文40余篇，其中SCI(SCI)检索期刊12篇（其中1篇录用待检索），EI检索16篇，在SCI网络版他引次数155次。