本书内容涵盖经典的有监督机器学习算法，无监督机器学习算法，深度机器学习算法，阐述从浅层学习到深度学习，从简单的线性模型到复杂的神经网络非线性模型的原理与应用。书中每个章节遵循先简介理论基础，再构建数学模型，然后辅以实例分析，从理论到实践的讲解原则。每个章节可独立阅读，也可从前向后，从简到难，从浅层学习到深度学习，循序渐进学习。本书**特色为机器学习算法的嵌入化应用，尤其对难于并行化的深度学习算法，详细介绍了在ARM处理器和FPGA硬件平台的实现步骤。

人工智能如同长生不老和登陆火星一样，是人类最美好的梦想之一。从20世纪50年代著名的图灵测试提出至今，人工智能经历学科寒冬，迎来了新的春天，然而到目前为止，尚未有一台计算机能获取智慧生命的真正的“自我意识”。

人工智能的核心技术是机器学习算法，尤其是深度学习算法，自从21世纪初获得突破性研究进展之后，机器学习算法已经成为各研究领域的热门话题。无论在科研还是工程领域，拥有了机器学习以及深度学习算法，就似乎真的找到了如何让机器自主获取智慧的那扇神奇之门。人类想让机器获得并提升智能，媲美甚至超越人类智慧。物联网为机器提供了丰富的知识，让机器能像人一样，获取物理环境中的丰富信息，制订计划和策略，并做出智能的抉择，这是机器学习研究的重要目标。

无处不在的物联网传感器，为机器学习算法提供了大量丰富的原始数据，数字图像传感器如同人的眼睛，声音传感器如同人的耳朵，还有数十亿种温度、压力、流量、气体和火焰等传感器，存在于物联网的嵌入式设备中，实时采集海量数据。面对如此庞大的信息，机器学习这个大脑需要像初生的婴儿一样，从海量数据和知识中学习智慧，训练高度的特征抽象能力、知识表示能力和分类预测能力，才能做出媲美甚至超越人类智慧的最优决策。然而，物联网数据通过各种复杂的传感器收集，包含大量噪声，同时绝大部分物联网设备的存储和计算能力有限，如何设计有效的机器学习算法，处理物联网传感器采集的粗糙原始数据，如何嵌入机器学习算法，尤其是深度学习算法，使得物联网设备拥有真正的智能，是未来机器学习算法在物联网应用中面临的重大挑战和机遇。

本书的学习要求具备熟练的编程技能、基本线性代数(向量、矩阵、矩阵向量乘法)知识和基本概率(随机变量、基本属性的概率)相关知识。虽然完成本书学习不必熟悉基本的微积分(导数和偏导数)知识，但是如果有相关基础知识将有助于更深入地理解算法。 作为一名普通的教学和科研工作者，当所研究的方向再次获得关注时，希望在人人谈学习、处处要深度的时刻，为人工智能、物联网、计算机与自动控制方向的学生和工程师们，提供一些有益的参考资料，这正是本书出版的初衷。

本书提供以下相关配套资源：

 程序代码、教学课件（PPT）、习题答案、教学大纲等资料，请扫描此处二维码或到清华大学出版社官方网站本书页面下载。

配套资源下载

 微课视频，请扫描书中对应位置二维码观看。

本书适用但不局限于对人工智能和机器学习算法感兴趣的读者，特别适合作为人工智能、物联网工程、计算机科学与技术、自动控制以及相关专业的本科生、研究生，相关领域科研人员和工程技术人员的参考书。

本书初稿写于笔者在美国访学期间，在异国他乡，将对家乡和亲人的思念寄予文字，结集成册，谨以此书献给长安城内年迈的父母，替我分担照顾父母的兄姐，鼎力支持的丈夫和孜孜求学的儿子。

同时感谢University of Florida的Mark M.Tehranipoor教授和Yier Jin教授对本书的支持，感谢他们给本书提供的科研资料和开发平台。感谢访学Florida Institute for Cybersecurity (FICS) Research 实验室的杨坤、石启航、郭小龙、王寰宇、杨朔、何淼、Fahim、Niton等博士和博士后对本书提出的宝贵意见。

感谢长安大学的倪园园、杨继海、张凯、唐蕾、康军、王青龙、李东海、樊娜、朱依水、王璐阳、马骏驰、闵海根、孙朋朋等硕士、博士和老师在本书的资料整理及校对过程中所付出的辛勤劳动。由于研究方向局限，书中实例分析尽量覆盖各学科，然而也难免偏向智能交通应用，书中错误与不妥之处还望读者多多指正，有兴趣的读者朋友可发送邮件到： workemail6@163.com。

编者

2020年4月于西安

配套资源下载

第1章机器学习简介

1.1什么是机器学习

1.2有监督学习

1.3无监督学习

1.4强化学习

1.5深度学习

1.6机器学习算法的应用趋势

1.6.1机器学习算法在物联网的应用

1.6.2机器学习算法在其他领域的应用

1.7安装MATLAB或Octave

1.8Python语言和C/C++语言简介

1.8.1Python语言简介

1.8.2C/C++语言简介

1.9习题

第2章线性回归

2.1线性回归模型

2.2代价函数

2.3梯度下降法

2.4线性回归中的梯度下降

2.5特征归一化

2.6最小二乘正规方程

2.7线性回归实例分析

2.7.1实例一： 一元线性回归模型与代价函数理解

2.7.2实例二： 多元线性回归模型与代价函数理解

2.8习题

第3章逻辑回归

3.1逻辑回归模型

3.2逻辑回归的代价函数

3.3优化函数

3.4逻辑回归解决分类问题

3.4.1实例一： 牛顿法实现逻辑回归模型

3.4.2实例二： 逻辑回归解决二分类问题

3.5正则化

3.6正则化后的线性回归和逻辑回归模型实例分析

3.6.1实例一： 最小二乘正规方程法优化正则化线性回归模型

3.6.2实例二： 牛顿法优化正则化逻辑回归模型

3.6.3参考解决方案

3.7习题

第4章朴素贝叶斯

4.1数学基础

4.2朴素贝叶斯分类

4.3朴素贝叶斯分类实例分析

4.3.1实例一： 多项式朴素贝叶斯用于邮件分类

4.3.2实例二： 朴素贝叶斯解决多分类问题

4.4习题

第5章支持向量机

5.1支持向量机模型

5.2支持向量机代价函数

5.3支持向量机实例分析

5.3.1实例一： SVM 解决线性可分问题

5.3.2实例二： SVM解决邮件分类问题

5.3.3实例三： 核函数SVM解决线性不可分问题

5.4习题

第6章神经网络

6.1神经网络模型

6.2反向传播算法

6.3神经网络实例分析

6.3.1实例一： 神经网络实现简单分类问题

6.3.2实例二： 神经网络解决预测问题

6.4习题

第7章K近邻算法

7.1K近邻算法原理

7.2K近邻算法实例分析

7.2.1实例一： K近邻算法解决二分类问题

7.2.2实例二： K近邻算法解决多分类问题

7.3习题

第8章K均值算法

8.1K均值算法原理

8.2K均值算法实例分析

8.2.1实例一： K均值算法实现简单聚类

8.2.2实例二： K均值算法解决病毒聚类问题

8.3习题

第9章高斯混合模型

9.1高斯混合模型原理

9.2最大期望算法

9.3高斯混合模型实例分析

9.3.1实例一： 高斯混合模型聚类原理分析

9.3.2实例二： 高斯混合模型实现鸢尾花数据聚类

9.4习题

第10章降维算法

10.1降维算法原理

10.2降维算法实例分析

10.2.1实例一： 线性判别分析(LDA)降维算法实现

10.2.2实例二： 主成分分析(PCA)降维算法实现

10.3线性判别分析与主成分分析对比

10.4习题

第11章隐马尔可夫模型

11.1隐马尔可夫模型定义

11.2隐马尔可夫模型实例分析

11.2.1实例一： HMM实现简单序列预测

11.2.2实例二： HMM 解决车流预测问题

11.3习题

第12章强化学习

12.1Qlearning强化学习算法原理

12.2Qlearning实例分析

12.2.1实例一： Qlearning解决走迷宫问题

12.2.2实例二： Qlearning解决小车爬坡问题

12.3习题

第13章决策树

13.1决策树构造原理

13.2决策树实例分析

13.2.1实例一： 应用CART算法构造决策树

13.2.2实例二： 决策树算法拟合曲线

13.3习题

第14章启发式优化算法

14.1遗传算法原理

14.2优化算法对比实例分析

14.2.1实例一： 粒子群(PSO)算法

14.2.2实例二： 差分进化(DE)算法

14.2.3实例三： 人工蜂群(ABC)算法

14.2.4实例四： 对比粒子群、差分进化和人工蜂群算法

14.3习题

第15章深度学习

15.1卷积神经网络

15.1.1卷积层

15.1.2池化层

15.1.3CNN模型

15.1.4实例一： CNN实现手写数字识别

15.2循环神经网络

15.2.1RNN网络概述

15.2.2LSTM网络

15.2.3实例一： RNN实现时序数据预测

15.2.4实例二： LSTM预测交通流量

15.3深度学习算法物联网硬件加速

15.3.1FPGA硬件平台简介

15.3.2开发软件环境简介

15.3.3实例一： RNN时序数据预测物联网平台实现

15.4习题

第16章集成学习

16.1集成学习算法

16.1.1随机森林算法

16.1.2Adaboost算法

16.2集成学习算法实例分析

16.2.1实例一： 集成学习Stacking实现

16.2.2实例二： 集成学习解决预测问题

16.3习题

第17章推荐系统

17.1推荐算法原理

17.2知识图谱与推荐系统

17.2.1知识图谱定义

17.2.2知识图谱特征学习

17.2.3知识图谱用于推荐系统

17.3推荐系统实例分析

17.3.1实例一： 基于线性混合深度网络的推荐系统实现

17.3.2实例二： 基于知识图谱的多任务神经网络智能推荐系统

17.4习题

附录A专用符号和名词解释

附录B机器学习资源列表

附录C数学推导BPTT算法

参考文献

《机器学习算法与应用（微课视频版）》讲解机器学习算法在物联网时代边缘计算平台的嵌入化个性应用，尤其对计算复杂度高且难以并行化的深度循环神经网络模型，详细介绍了在ARM处理器和FPGA硬件平台的并行加速实现步骤。

（1）涵盖内容  有监督机器学习算法、无监督机器学习算法、强化学习算法和深度学习算法，阐述从浅层学习到深度学习，从简单的线性模型到复杂的神经网络非线性模型的原理与应用。涉及模型在物联网边缘计算平台的实现、**知识图谱与推荐系统结合的应用。

（2）讲解原则  从理论到实践，每个章节先简介理论基础，再构建数学模型，然后辅以实例分析，最后设计源码实现，共给出40个实例。

（3）学习方法  每个章节可独立阅读，也可从前向后，从简到难，循序渐进学习。

杨云  女，1973年生，2007年毕业于华南理工大学控制理论与控制工程专业，获博士学位，2009年于西北工业大学航天学院兵器科学与技术博士后流动站出站，同年进入长安大学信息工程学院物联网与网络工程系任教，2018—2019年在美国佛罗里达大学工程学院电子与计算机工程系访学。目前主讲课程“射频识别技术及应用”“人工智能基础”，主要研究方向为智能交通、机器学习应用和物联网硬件安全；主持4项科研项目，发表10余篇国际期刊和会议论文，授权2项专利。

段宗涛  男，1977年生，2006年毕业于西北工业大学计算机科学与技术专业，获博士学位，同年进入长安大学交通运输与工程博士后流动站工作，2009年出站后于长安大学信息工程学院任教至今。2009—2010年在美国北卡罗来纳大学信息学院访学。主要研究方向为交通大数据处理和泛在交通信息服务理论与技术；主持6项科研项目，发表20余篇国际期刊和会议论文，授权6项专利。