
本书深入浅出地介绍了机器学习的基本原理与主要方法,以及必要的数学知识与程序设计方法。全书共有7章,分别讲解了机器学习的概念及应用、数学基础(导数与极值、向量与矩阵、概率统计、凸优化)、Python程序设计、线性回归及其程序实现、逻辑回归及多分类、分类与聚类、基于神经网络的机器学习。 本书可作为高等院校机器学习课程的教材,也可作为机器学习爱好者及从事相关工作的工程技术人员的参考书。
人工智能、大数据分析、云计算、物联网等技术与应用的飞速发展,使这些领域中最活跃、最有前途的机器学习方法与技术备受关注。作为高等院校的学生,储备基本的机器学习理论知识,掌握一定程度的机器学习应用技术,无论对于现在的学习还是将来的工作,都是十分有益的。 机器学习是由多种科学技术融合而成的新兴学科,其理论与方法涉及数学、计算机科学、工程学、心理学、管理学等多门学科,尤其是数学与计算机科学,其应用的深度与广度是大多数传统学科无法比拟的。由于需要学习的基础知识难度较大,需要掌握的思想方法较多且较复杂,赖以生存的开发与应用平台种类繁多且受限于生产厂商及其他因素的影响,选择与使用有诸多不便。鉴于此,作者通过研读多种相关教材与技术文献,根据大学理工科专业的实际需求,结合自己的教学实践,编写了本书。 本书以必要的数学知识为先导,以Python程序设计语言及其集成开发环境为工具,深入浅出地介绍了掌握机器学习理论与方法必须具备的数学知识、程序设计方法与常用的机器学习原理和方法,力图使读者在有限的时间内,对这门学科的主要知识和技能有一个清晰、完整的理解与把握。 全书包括以下内容。 第1章,机器学习的概念及应用:简单介绍了机器学习的历史、现状及发展趋势,讲解了机器学习的概念、机器学习系统的一般结构、机器学习的种类、主要技术特点及其应用范围。 第2章,数学基础:讲解了机器学习领域常用的数学知识,包括一元函数和多元函数的导数、极值及求解方法,向量、矩阵的相关概念与求解方法,概念论、统计学的相关概念与求解方法,凸优化的基本概念与应用范围。 第3章,Python程序设计:讲解了Python的主要语法与程序设计的基本方法,包括Python程序的一般结构、基本数据类型、序列与字典的使用、函数与模块的定义和调用、面向对象程序设计方法。 第4章,线性回归及其程序实现:讲解了线性回归的概念与程序实现,包括模型的源流、构造、应用与评估,机器学习的一般过程(训练、测试、评估)及其Python程序实现的一般方法。 第5章,逻辑回归及多分类:讲解了逻辑回归及多分类的方法,包括分类的概念,逻辑回归的概念、模型、训练及预测方法,逻辑回归与贝叶斯分类的联系与区别,多分类策略及Softmax回归模型。 第6章,分类与聚类:讲解了决策树的概念、模型、训练及预测方法,支持向量机的概念、模型及实例,聚类的一般概念及K-均值聚类的一般方法。 第7章,基于神经网络的机器学习:讲解了人工神经网络的概念、模型及工作方式,包括神经元的基本结构及应用,人工神经网络的一般工作方式,感知机的结构、模型、训练、预测、缺陷及多层感知机的特点与应用,后向传播算法的概念与工作方式,卷积神经网络的原理、模型、训练及预测方式。 本书可作为高等院校机器学习课程的教材,也可作为机器学习爱好者及从事相关工作的工程技术人员的参考书。采用本书作为教材的机器学习课程的学时以48~64(包括上机时数)为宜。当学时较少时,可以简要讲解某些内容,如某些数学知识、支持向量机等某种机器学习方法。本书中的各章都配备了内容丰富的习题,不同类型的读者可以根据自己的需求选做部分习题。 机器学习技术涉及的知识面广、模型复杂、应用环境千变万化且仍处于快速发展之中,受篇幅、时间、读者定位、使用环境及作者水平等因素的限制,本书涵盖的内容及表达的思想存在一定局限性。因此,作者希望传达给读者的信息是否到位或得体,还要经过读者的检验,望广大读者批评指正。
目 录 第1章 机器学习的概念及应用 1 1.1 机器学习的发展与应用 1 1.1.1 机器学习的发展历程 1 1.1.2 机器学习的应用 3 1.2 机器学习的概念 4 1.2.1 机器学习的特点 5 1.2.2 机器学习的要素 6 1.2.3 机器学习系统的结构 8 1.3 机器学习分类 10 1.3.1 映射函数与样本 10 1.3.2 监督学习 11 1.3.3 无监督学习 13 1.3.4 强化学习 15 1.4 深度学习 16 1.4.1 机器学习的困境 16 1.4.2 深度学习机制 17 习题1 20 第2章 数学基础 21 2.1 导数与极值 21 2.1.1 导数及求导法则 21 2.1.2 函数的单调性、凹凸性与极值 22 2.1.3 偏导数与梯度 24 2.1.4 多元函数的极值 25 2.2 向量与矩阵 27 2.2.1 矩阵及其性质 27 2.2.2 矩阵的基本运算 29 2.2.3 向量组与线性相关性 31 2.2.4 正交向量与相似矩阵 34 2.3 概率统计 36 2.3.1 随机事件与概率 36 2.3.2 条件概率与贝叶斯公式 37 2.3.3 随机变量的概率分布 39 2.3.4 随机变量的数字特征 43 2.3.5 中心极限定理 45 2.3.6 极大似然估计 46 2.4 凸优化 48 习题2 52 第3章 Python程序设计 56 3.1 Python程序的编辑与运行 56 3.2 数据与表达式 60 3.2.1 常量 60 3.2.2 变量 62 3.2.3 数据的输入输出 63 3.2.4 常用函数 65 3.2.5 运算符与表达式 67 3.3 序列和字典 69 3.3.1 字符串 69 3.3.2 列表 72 3.3.3 元组 73 3.3.4 字典 74 3.4 程序的控制结构 76 3.4.1 分支语句 76 3.4.2 while语句 77 3.4.3 for语句 78 3.4.4 用户自定义函数 80 3.4.5 模块 81 3.5 类和对象 83 3.5.1 类的定义和使用 83 3.5.2 面向对象程序设计方式 86 3.5.3 类的继承性 87 3.5.4 异常处理 89 习题3 91 第4章 线性回归及其程序实现 96 4.1 线性回归的概念 96 4.1.1 线性回归的源流 96 4.1.2 监督学习与线性回归 97 4.2 线性回归模型 99 4.2.1 一元线性回归模型 99 4.2.2 多元线性回归模型 103 4.2.3 模型的泛化与优劣 106 4.3 数据拟合与可视化操作 108 4.3.1 NumPy多维数组操作 108 4.3.2 Matplotlib数据可视化操作 110 4.3.3 SciPy数据拟合操作 114 4.4 最小二乘法线性回归程序 118 4.4.1 最小二乘法与一元线性回归 118 4.4.2 一元线性回归程序 120 4.5 梯度下降法及其程序 122 习题4 125 第5章 逻辑回归及多分类 127 5.1 逻辑回归的概念与模型 127 5.1.1 Logistic函数 127 5.1.2 线性分类问题 129 5.1.3 逻辑回归模型 131 5.2 逻辑回归计算 134 5.2.1 逻辑回归模型的预测函数 134 5.2.2 逻辑回归模型的极大似然估计 135 5.2.3 逻辑回归模型的参数求解 136 5.3 逻辑回归与朴素贝叶斯分类 139 5.4 多分类策略 143 5.5 Softmax回归 145 5.5.1 广义线性模型 145 5.5.2 Softmax回归模型 148 习题5 150 第6章 分类与聚类 152 6.1 决策树 152 6.1.1 决策树与决策过程 152 6.1.2 信息熵与信息增益 154 6.1.3 决策树的构造 157 6.1.4 寻找最佳分裂 162 6.1.5 决策树训练的主要问题及流程 165 6.2 支持向量机 167 6.2.1 支持向量机基本原理 167 6.2.2 支持向量机实现鸢尾花分类 171 6.3 聚类算法 173 6.3.1 距离计算与聚类评价 173 6.3.2 K-均值聚类算法 175 习题6 177 第7章 基于神经网络的机器学习 179 7.1 神经网络与人工神经网络 179 7.2 感知机 182 7.2.1 人工神经元与感知机 182 7.2.2 感知机训练算法 185 7.2.3 感知机训练实例 187 7.2.4 感知机训练与预测程序 189 7.2.5 线性可分性与多层感知机 190 7.3 BP算法 193 7.3.1 多层神经网络的结构 193 7.3.2 多层神经网络的参数调整 194 7.3.3 BP算法及评价 196 7.4 卷积的概念及运算 198 7.4.1 卷积的概念 199 7.4.2 二维互相关运算 201 7.4.3 二维卷积运算程序 204 7.5 卷积神经网络 205 7.5.1 卷积神经网络的特点 206 7.5.2 多通道卷积及常用卷积核 209 7.5.3 卷积神经网络的结构 213 7.6 卷积神经网络实例 215 习题7 218 附录A 机器学习名词中英文对照 220 参考文献 230