本教材从实用的角度出发，采用理论与实践相结合的方式，介绍机器学习算法与应用的基础知识，力求培养读者使用机器学习相关算法进行数据分析的能力。本教材的主要内容有机器学习概述，机器学习的Python常用库，回归分析与应用，特征工程、降维与超参数调优，分类算法与应用，关联规则，聚类算法与应用，神经网络，文本分析，图像数据分析，深度学习入门。本教材可以作为人工智能学科相关的机器学习技术的入门教材，目的不在于覆盖机器学习技术的所有知识点，而是介绍机器学习的常用算法及其应用，使读者了解机器学习的基本构成及不同场景下使用何种机器学习算法。为了增强实践效果，本教材引入了多个基础技术案例及综合实践案例，以帮助读者了解机器学习涉及的基本知识和技能。本教材可作为高等院校机器学习算法与应用课程的教材，也可供对机器学习技术感兴趣的读者阅读参考。

机器学习是人工智能的重要技术基础，涉及的内容十分广泛。本教材涵盖了机器学习的基础知识，主要包括机器学习的概述、回归、分类、聚类、神经网络、文本分析、图像分析等经典的机器学习基础知识，还包括深度学习入门等拔高内容。 本教材是由广东白云学院曙光大数据产业学院牵头，联合数据中国“百校工程”项目中的高校及广东白云学院白云宏产业学院老师共同编写的校企双元教材。本教材适合作为高等院校本科生机器学习、数据分析、数据挖掘等课程的教材。全书章节结构如下。 第1章为机器学习概述，介绍机器学习的基础概念和知识，包括机器学习简介，人工智能、数据挖掘和机器学习，典型机器学习应用领域，机器学习算法分类。 第2章为机器学习的Python常用库，在机器学习和人工智能领域，Python是最受欢迎的编程语言之一。Python的设计哲学是优雅、明确、简单，属于通用型的编程语言。本章介绍机器学习常用的几个Python库及其基础使用。 第3章为回归分析与应用，回归分析是一种针对连续型数据进行预测的方法，目的在于分析两个或多个变量之间是否相关及相关方向和强度的关系。回归分析可以帮助人们观测数据连接有一个自变量变化时因变量的变化情况。本章介绍不同回归算法及其应用，并使用Python来建立回归模型进行分析。几种回归算法分别是线性回归、岭回归和Lasso回归、逻辑回归。 第4章为特征工程、降维与超参数调优，本章介绍机器学习的基础知识，包括特征工程、降维与超参数调优，目标是使读者理解并掌握机器学习的主要原理。特征工程就是一个从原始数据提取特征的过程，从而使这些特征能表征数据的本质特点，并使基于这些特征建立的模型在未知数据上的性能可以达到最优。特征提取越有效，意味着构建的模型性能越出色。高维数据降维是指采用某种映射方法，降低随机变量的数量，如将数据点从高维空间映射到低维空间中，从而实现维度减少。降维分为特征选择和特征提取两类，前者是从含有冗余信息及噪声信息的数据中找出主要变量，后者是去掉原来数据，生成新的变量，可以寻找数据内部的本质结构特征。通常情况下，有很多参数是需要手动指定的（如K近邻算法中的K值），这种叫超参数。但是手动指定过程繁杂，所以需要对模型预设几种超参数组合。每组超参数都采用交叉验证来进行评估，最后选出最优参数组合建立模型。它们跟训练过程中学习的参数（权重）是不一样的，通常是手工设定的，还要不断试错调整。机器学习模型的性能与超参数直接相关。超参数调优越多得到的模型就越好。 第5章为分类算法与应用，分类是一种常见的机器学习问题。本章首先讨论分类问题简介，然后对K近邻算法、概率模型、朴素贝叶斯分类、向量空间模型、支持向量机及集成学习进行介绍。 第6章为关联规则，关联规则是机器学习经典的算法之一。本章首先讨论关联规则的概念，然后讲解典型关联规则算法——Apriori算法。 第7章为聚类算法与应用，聚类算法是一种无监督学习算法，在无监督学习中占据很大的比例。本章主要介绍几种聚类分析的算法，如划分聚类、层次聚类、密度聚类。除此之外还介绍了聚类效果评测。 第8章为神经网络，人工神经网络（ANN）是由简单神经元经过相互连接形成的网状结构，通过调节各连接的权重改变连接的强度，进而实现感知判断。神经网络作为一种重要的机器学习方法，已在医学诊断、信用卡欺诈识别、手写数字识别及发动机的故障诊断等领域得到了广泛应用。本章包括神经网络介绍、神经网络相关概念、神经网络识别MNIST手写数据集三部分，重点介绍神经网络的概念，为后续深度学习章节的内容打下基础。 第9章为文本分析，文本分析是机器学习领域重要的应用之一。通过对文本内部特征提取获取隐含的语义信息或概括性主题，从而产生高质量的结构化信息，合理的文本分析技术能够获取作者的真实意图。本章首先讨论文本数据处理的相关概念，再介绍中英文的文本数据处理方法对比，然后介绍文本数据处理分析案例，最后介绍自然语言处理的应用。 第10章为图像数据分析，图像分析是机器学习领域重要的应用之一。本章首先讨论图像相关的基本概念，然后结合Python图像处理工具包介绍图像数据分析的常用方法。本章包括图像数据、图像分析方法、图像数据分析案例、计算机视觉的应用四部分。 第11章为深度学习入门，深度学习是一种利用复杂结构的多个处理层来实现对数据进行高层次抽象的算法，是机器学习的一个重要分支。传统的BP算法往往仅有几层网络，需要手工指定特征且易出现局部最优问题；而深度学习引入了概率生成模型，可自动从训练集里提取特征，解决了手工特征考虑不周的问题；而且深度学习初始化了神经网络权重，采用反向传播算法进行训练，与BP算法相比取得了很好的效果。本章首先介绍深度学习的概念，然后重点介绍卷积神经网络和循环神经网络的理论及深度学习流行框架，最后介绍一个基于卷积神经网络识别手写数字的实战。

第1章 机器学习概述 1 1.1　机器学习简介 1 1.1.1 机器学习简史 1 1.1.2 机器学习主要流派 3 1.2　人工智能、数据挖掘和机器学习 5 1.2.1 什么是人工智能 5 1.2.2 什么是数据挖掘 6 1.2.3 人工智能、数据挖掘和机器学习的关系 7 1.3　典型机器学习应用领域 7 1.3.1 艺术创作 7 1.3.2 金融领域 8 1.3.3 医疗领域 9 1.3.4 自然语言处理 10 1.3.5 网络安全 12 1.4　机器学习算法分类 14 1.4.1 分类算法 15 1.4.2 关联分析 19 1.4.3 回归分析 19 1.4.4 深度学习 20 1.5　机器学习的一般流程 22 第2章 机器学习的Python常用库 24 2.1　Numpy简介及基础使用 24 2.1.1 Numpy简介 24 2.1.2 Numpy基础使用 27 2.2　Pandas简介及基础使用 31 2.2.1 Pandas简介 31 2.2.2 Pandas自行车数据统计分析 36 2.3　Matplotlib简介及基础使用 42 2.3.1 Matplotlib简介 42 2.3.2 Matplotlib绘图实例 45 2.4　Scikit-Learn简介及基础使用 52 2.4.1 Scikit-Learn安装与简介 52 2.4.2 Scikit-Learn基础使用 56 2.5　波士顿房价预测实验 59 第3章 回归分析与应用 64 3.1　回归分析问题 64 3.1.1 介绍 64 3.1.2 常见回归数据集 66 3.2　线性回归 68 3.2.1 原理与应用场景 68 3.2.2 实现线性回归 70 3.2.3 Python实现最小二乘法拟合直线 71 3.3　岭回归和Lasso回归 72 3.3.1 原理与应用场景 73 3.3.2 实现岭回归 75 3.3.3 实现Lasso回归 76 3.4　逻辑回归 76 3.4.1 原理与应用场景 76 3.4.2 实现逻辑回归 78 第4章 特征工程、降维与超参数调优 80 4.1　特征工程 80 4.1.1 缺失值处理 81 4.1.2 数据的特征值化 87 4.1.3 特征选择 89 4.1.4 特征构建 89 4.2　降维与超参数调优 91 4.2.1 降维 91 4.2.2 实现降维 92 4.2.3 超参数调优 93 第5章 分类算法与应用 97 5.1　分类问题简介 97 5.1.1 分类问题的流程与任务 97 5.1.2 常用的分类数据集 98 5.2　K近邻算法 102 5.2.1 K近邻算法原理与应用场景 102 5.2.2 基于K近邻算法实现分类任务 103 5.2.3 使用Python实现KNN算法 110 5.3　概率模型 111 5.3.1 原理 111 5.3.2 应用场景 111 5.4　朴素贝叶斯分类 112 5.4.1 原理与应用场景 112 5.4.2 朴素贝叶斯算法应用 115 5.5　向量空间模型 115 5.5.1 原理与应用场景 115 5.5.2 向量空间模型应用 116 5.6　支持向量机 120 5.6.1 支持向量机概述 120 5.6.2 支持向量机实现分类 122 5.6.3 支持向量机实现回归 123 5.6.4 支持向量机异常检测 123 5.6.5 过拟合问题 125 5.7　集成学习 129 5.7.1 集成学习概述 129 5.7.2 决策树 131 5.7.3 随机森林 135 5.7.4 Adaboost算法 137 第6章 关联规则 140 6.1　关联规则的概念 140 6.1.1 什么是关联规则 140 6.1.2 关联规则的挖掘过程 141 6.2　Apriori算法 142 6.2.1 Apriori算法概念 142 6.2.2 Apriori算法实现原理 142 6.2.3 实现Apriori算法 144 第7章 聚类算法与应用 148 7.1　无监督学习问题 148 7.1.1 无监督学习 148 7.1.2 聚类分析的基本概念与原理 149 7.1.3 常见聚类数据集 150 7.2　划分聚类 152 7.2.1 划分聚类概述 152 7.2.2 K-Means算法 152 7.2.3 sklearn中K-Means算法聚类的使用 155 7.2.4 使用聚类进行图像压缩 156 7.2.5 Numpy实现K-Means聚类 158 7.3　层次聚类 159 7.3.1 层次聚类算法 159 7.3.2 使用层次聚类算法聚类 161 7.4　密度聚类 162 7.4.1 DBSCAN算法 163 7.4.2 OPTICS算法 167 7.4.3 DENCLUE算法 168 7.5　聚类效果评测 169 第8章 神经网络 172 8.1　神经网络介绍 172 8.1.1 神经元原理 173 8.1.2 前馈神经网络 174 8.1.3 反馈神经网络 175 8.1.4 自组织神经网络 176 8.2　神经网络相关概念 177 8.2.1 激活函数 177 8.2.2 Softmax算法与损失函数 182 8.2.3 梯度下降算法 185 8.2.4 学习率 186 8.2.5 过拟合与欠拟合 187 8.2.6 神经网络模型的评估指标 189 8.3　神经网络识别MNIST手写数据集 190 第9章 文本分析 198 9.1　文本数据处理的相关概念 198 9.2　中英文的文本数据处理方法对比 199 9.2.1 中英文分词与分词粒度 200 9.2.2 中英文的多种形态 200 9.2.3 词性标注方法的差异 201 9.2.4 句法结构分析方法 201 9.3　文本数据处理分析案例 202 9.3.1 使用NLTK进行文本数据分析 202 9.3.2 使用jieba进行文本数据分析 215 9.4　自然语言处理的应用 221 第10章 图像数据分析 226 10.1　图像数据 226 10.2　图像数据分析方法 228 10.3　图像数据分析案例 230 10.3.1 PIL：Python图像处理类库应用示例 230 10.3.2 Numpy图像数据分析示例 235 10.3.3 SciPy图像数据分析示例 238 10.3.4 Scikit-Image 241 10.3.5 OpenCV 246 10.4　计算机视觉的应用 255 10.4.1 图像分类 256 10.4.2 目标检测 257 10.4.3 图像分割 258 10.4.4 风格迁移 260 10.4.5 图像重构 260 10.4.6 超分辨率 261 10.4.7 图像生成 261 10.4.8 人脸图像的应用 262 10.4.9 其他 262 第11章 深度学习入门 263 11.1　深度学习的概述 263 11.2　卷积神经网络 264 11.2.1 卷积神经网络简介 264 11.2.2 卷积神经网络的整体结构 265 11.2.3 常见的卷积神经网络 267 11.3　循环神经网络 276 11.3.1 RNN基本原理 276 11.3.2 长短期记忆网络 278 11.3.3 门限循环单元 282 11.4　深度学习流行框架 283 11.5　基于卷积神经网络识别手写数字的实战 284 11.5.1 实验目的 284 11.5.2 实验背景 284 11.5.3 实验原理 285 11.5.4 实验环境 285 11.5.5 实验步骤 285