本课程从实践角度考虑，结合部分数学统计学知识讲解最经典的机器学习算法，主要内容是机器学习思想在具体项目上的示例和代码实现、如何做算法的参数调试和分析各种算法的选择等。本课程重视项目实践如工业实践、算法竞赛实践等，重视落地，使学生在实践中思考不同算法之间的区别和联系，提高在实际工作中选择算法的能力。本课程实践项目涉及信用卡欺诈、公共自行车租赁、波士顿房价、地铁人流量预测、广告点击率、O2O电商优惠券核销、美国人口普查及收入预测等18个实践案例。

这是一本遵循OBE(产出为导向的教育模式)理念，注重PBL（项目式教学）方法的机器学习教科书，为了使大部分读者通过本书掌握机器学习的实践方法，作者试图较少地讲述数学知识，而用大量篇幅分析实现机器学习的代码思路及编程技巧。因此，本书比较适合大学三年级以上理工科本科生，以及具有编程基础且对机器学习感兴趣的人士。本书基于Python编程，为促进读者学习，本书附录A给出了一些关于Python编程常见问题介绍。

全书共分10章，大体上可以分为4部分： 第1～2章为第1部分，主要介绍机器学习的基础知识；第3～8章为第2部分，主要介绍有监督学习场景的经典且常用的机器学习算法及实践方法；第9章和第10章分别为第3部分和第4部分，分别介绍无监督学习场景常用算法和神经网络方法。前2章是读者必须要掌握的基础知识，之后的章节相对独立，读者可根据自己的兴趣选择学习。根据课时的分配，本科的课程可讲授前8章的知识，后2章可作为课外扩展知识让学生自行学习。书中每章都给出了5道习题，大部分习题是为了帮助读者巩固该章节的学习，少部分习题属于开放型习题，以供读者启发思考。

本书在内容上尽可能涵盖机器学习技术常见应用场景，但作为机器学习入门教材且因授课时间安排的考虑，书中涉及的案例未能覆盖很多重要且有难度的工业场景，更多的知识和编程方法留待读者在实际应用中探索学习。

作者以为，从项目中学习是一种较好的实践教学方法，本书除了第1章外，后续每章都包含2个典型应用案例，建议读者在阅读的同时能辅以代码实操，相信不管是老师还是学生，都可以获得丰富的学习收益。

机器学习是一门多领域交叉学科，涉及多门复杂学科知识，鲜有人士能精通其全领域。笔者自认才疏学浅，了解甚少，若能起到抛砖引玉的作用，于心甚慰。由于时间和精力有限，书中难免有错谬之处，望读者不吝告知，将不胜感激。

 杨金坤2021年1月

第1章机器学习概览1

1.1人工智能技术发展史和机器学习定义1

1.2必要的基础概念3

1.3机器学习项目工作流程5

1.4机器学习任务场景6

小结与讨论8

习题8第2章特征工程方法9

2.1特征类型9

2.2特征处理10

2.3特征选择11

2.4案例1： 北京房价数据特征工程12

2.4.1案例介绍12

2.4.2案例目标13

2.4.3案例拆解13

2.5案例2: 泰坦尼克号乘客逃生数据特征工程16

2.5.1案例介绍16

2.5.2案例目标17

2.5.3案例拆解17

小结与讨论20

习题20第3章决策树21

3.1决策树实现过程21

3.2决策树的目标函数24

3.3案例1: 鸢尾花分类26

3.3.1案例介绍26

3.3.2案例目标26

3.3.3案例拆解26

3.4案例2: 信用卡欺诈预测31

3.4.1案例介绍31

3.4.2案例目标31

3.4.3案例拆解31

小结与讨论41

习题42第4章K最近邻43

4.1K最近邻实现43

4.2距离度量45

4.3案例1: O2O优惠券使用日期预测46

4.3.1案例介绍46

4.3.2案例目标46

4.3.3案例拆解47

4.4案例2: 葡萄酒原产地预测52

4.4.1案例介绍52

4.4.2案例目标52

4.4.3案例拆解52

小结与讨论61

习题61第5章支持向量机62

5.1SVM建模思路62

5.2核技巧64

5.3案例1: 手写数字识别69

5.3.1案例介绍69

5.3.2案例目标70

5.3.3案例拆解70

5.4案例2: 地铁人流量预测71

5.4.1案例介绍71

5.4.2案例目标71

5.4.3案例拆解71

小结与讨论77

习题78第6章朴素贝叶斯79

6.1贝叶斯基础和最大后验概率79

6.2朴素贝叶斯的实现81

6.3案例1： 糖尿病病情预测85

6.3.1案例介绍85

6.3.2案例目标85

6.3.3案例拆解85

6.4案例2: 亚马逊消费者投诉分析91

6.4.1案例介绍91

6.4.2案例目标91

6.4.3案例拆解92

小结与讨论98

习题98第7章线性回归与逻辑回归99

7.1线性回归的实现99

7.2逻辑回归的实现100

7.3案例1： 广告点击率预测101

7.3.1案例介绍101

7.3.2案例目标101

7.3.3案例拆解101

7.4案例2: 波士顿房价预测105

7.4.1案例介绍105

7.4.2案例目标105

7.4.3案例拆解105

小结与讨论110

习题110第8章集成思想 111

8.1随机森林111

8.2梯度提升决策树112

8.3案例1： 美国居民收入预测112

8.3.1案例介绍112

8.3.2案例目标112

8.3.3案例拆解112

8.4案例2: 公共自行车租赁预测120

8.4.1案例介绍120

8.4.2案例目标120

8.4.3案例拆解120

小结与讨论125

习题125第9章聚类与降维126

9.1聚类概述126

9.2KMeans算法的实现过程129

9.3案例1： 蘑菇数据聚类131

9.3.1案例介绍131

9.3.2案例目标131

9.3.3案例拆解131

9.4案例2: 图像数据压缩136

9.4.1案例介绍136

9.4.2案例目标136

9.4.3案例拆解136

小结与讨论138

习题138第10章神经网络方法 139

10.1神经网络方法基础原理139

10.2全连接神经网络的组成139

10.3案例1: 时装图像分类140

10.3.1案例介绍140

10.3.2案例目标140

10.3.3案例拆解140

10.4案例2: 人脸图像识别143

10.4.1案例介绍143

10.4.2案例目标143

10.4.3案例拆解143

小结与讨论147

习题148

附录A环境问题QA149

山西大学认知科学哲学方向硕士。主要从事人工智能算法方向的研究工作，具有丰富的人工智能教育类项目管理经验和高校授课经验。在CSSCI中文核心期刊《科学技术哲学研究》发表《对笛卡尔预设批判与重建》一文。