随着互联网技术的发展，在新经济的大时代背景下，各行各业都催生出众多的全新业态。伴随大数据、人工智能、区块链等技术的加持，这些业态划分也越来越精细，社会活动的整体效率也越来越高。然而，这一切都不开数据，特别是高质量的数据。本书围绕智能数据分析与应用处理业务背景及相关技术，以学习情境的方式介绍了：数据分析工具Beautiful Soup与XPath和数据采集工具Requests；根据数据规模大小和格式，可采用Excel、Tabula或Kettle进行数据处理；数据分析工具NumPy、Pandas和可视化工具Matplotlib，通过Matplotlib进行数据可视化，使得NumPy、Pandas的处理结果更容易观察、识别。通过基于机器学习算法模型的推荐系统的构建过程，介绍了主流的数据分析框架Spark；通过基于深度学习技术的人脸识别系统的构建过程，介绍了图像数据的采集、处理、分析，并应用到神经网络的整个过程，即从数据采集到应用的一个闭环过程。本书理论分析相对较少，侧重于动手实践，适用于应用型本科、高职高专大数据专业学生和希望快速进入大数据、机器学习、人工智能领域的读者。

本教材系重庆工商职业学院首批国家级职业教育教师教学创新团队联合四川华迪信息技术有限公司、四川川大智胜股份有限公司编写的基于工作过程系统化的人工智能技术应用专业“活页式”“工作手册式”系列教材之一。 依托数字工场和省级“双师型”教师培养培训基地，由创新团队成员和企业工程师组成教材编写团队，目的是打造高素质“双师型”教师队伍，深化职业院校教师、教材、教法“三教”改革，探索产教融合、校企“双元”有效育人模式。教材编写初衷是为了使人工智能技术应用专业学生掌握人工智能数据分析核心技术，提高学生们的智能数据应用能力，为进入人工智能及相关领域工作或继续深造奠定基础。 教材体系 重庆工商职业学院联合企业共同开发了面向高等职业教育的“人工智能技术专业教材体系”，整套教材体系框架如下： 序号 教材名称 适应专业 1 Python网络爬虫 大数据技术、人工智能技术应用专业 2 深度学习实践 人工智能技术应用专业 3 智能数据分析与应用 大数据技术、人工智能技术应用专业 4 智能感知技术应用实训 人工智能技术应用专业 5 智能识别系统实现实训 人工智能技术应用专业 6 计算机视觉技术与应用 人工智能技术应用专业 受众定位 本教材适用于应用型本科、高职高专人工智能技术应用专业及相关专业，也可作为人工智能技术开发人员自学和阅读教材。 教材特色 本教材参考高职专科人工智能技术应用专业教学标准，由教学经验丰富的一线教师和实践经验丰富的企业软件开发工程师共同编写而成，教材特点如下。 （1）基于OBE理念选取教材内容 编写团队以职业素养、编程规范为准则，以课程所需关键知识点和技能点为核心，从行业内知名企业四川川大智胜股份有限公司、四川华迪信息技术有限公司等校企合作单位提供的真实项目中选取适合教学的案例作为教材内容的基本载体。基于OBE理念，提高教育教学与岗位技能点的契合度，使学生在理论、技能等方面得到全面提升。 （2）以学习情景和典型工作环节为主线 以学习情景和典型工作环节为主线模式编写。每个项目首先进行学习情境描述，然后确定学习目标、能力目标和知识目标，最后划分若干个典型工作环节，融入全部知识点。 教材的典型工作任务对照高职专科人工智能技术应用专业教学标准的专业核心课程典型工作任务，相关知识点参考了智能数据分析与应用课程的主要教学内容，做到全覆盖。 （3）“活页式”“工作手册式”系列教材的内容设计 编写团队通过问卷调查和师生座谈，了解教与学的需求，充分考虑教师的授课便利性和学生的学习习惯，确定了“活页式”“工作手册式”的编写方式，让学生在使用中通过记录、反思等多种方式在理论、技能等方面得到全面提升。 （4）配套丰富教学资源，引入1+X职业技能等级证书技能点 在教材编写之初同步打造一体化配套教学资源，包括教案、课件等教学资源包，极大提升教材可读性，为学习者创造自主学习环境。教材知识点对应获取包括人工智能数据处理职业技能等级证书在内的多个职业技能等级证书应具备的技能点。 教材基本概况 教材主要围绕智能数据分析与应用业务背景及相关技术，分为1个导言和7个单元。 导言：介绍了课程性质与背景、工作任务、学习目标、课程核心内容、重点技术、学习方法等。通过导言，读者能对本课程有个基本的了解。单元1：介绍了流行的数据分析工具Beautiful Soup与XPath语法，这两个工具主要用来对数据集进行提取；介绍了Requests库，该库主要用来进行大规模网络数据采集。单元2：介绍了三种场景下的数据处理。比如在数据集较小的情况下，可以使用Excel处理数据；对于Excel处理不了的文档，比如pdf，就可以使用Tabula；如果想更自动化，抽取更复杂的数据，可以使用Kettle。单元3：本单元的内容相对来说专业性较强，主要介绍如何使用NumPy来进行数值数据分析。单元4：介绍了Pandas应用。Pandas是一个数据统计分析的框架。所有的数据整理好后，都可以使用Pandas观察数据集的描述性信息，用以分析数据质量。单元5：介绍了Matplotlib和Seaborn可视化工具。通过该工具，可以直观看到数据集的具体情况，使得NumPy、Pandas的处理结果更容易观察、识别。单元6：介绍了目前行业主流的数据分析框架之一Spark。Spark易于使用的调用方式、丰富的算子、已经实现了的大量机器学习算法，这些优势都是数据分析师对其优先选择的主要原因。学习本单元，读者可以了解到数据与数据处理在推荐系统中的应用。单元7：介绍了人脸识别的开发过程。该过程本质上是对图像数据的采集、处理、分析，并应用到神经网络的整个过程。人脸识别是图像数据处理的常见应用，非常典型。通过本单元的学习，读者可以了解到从数据采集到应用的一个闭环过程。 编写团队 本书的编者是大数据专业骨干教师和在企业工作多年的工程师。骨干教师平均教龄?8年，具有丰富的教学实践经验、大数据开发企业工作经验和指导学生竞赛经验，指导学生获得国际、国家级和省级竞赛奖项；企业工程师均有10年以上工作经验，5年以上的人工智能、大数据开发企业工作经验。 本教材由唐春玲（重庆工商职业学院教授，全国职业院校技能大赛优秀指导教师，重庆市高等职业院校学生职业技能竞赛优秀指导教师，国家“双高计划”高水平专业群、首批国家级职业教育教师教学创新团队、国家骨干高职院校软件技术专业核心成员，重庆工商职业学院移动应用开发专业带头人，1+X数据采集技术（中级）认证培训师，“一带一路”暨金砖国家技能发展与技术创新大赛之数据分析与可视化赛项国内赛优秀指导教师）、马庆祥（重庆工商职业学院大数据技术专业骨干教师、国家“双高计划”高水平专业群核心成员、首批国家级职业教育教师教学创新团队骨干教师、1+X数据采集技术（中级）认证培训师、“一带一路”暨金砖国家技能发展与技术创新大赛之数据分析与可视化赛项国内赛优秀指导教师）担任主编。 重庆工商职业学院唐春玲负责第1～3单元的编写工作，单元4由重庆工商职业学院马庆祥编写，单元5由重庆工商职业学院刘莹编写，单元6、单元7由四川华迪信息技术有限公司朱春旭编写。重庆工商职业学院李真负责教材的校对和排版工作，四川华迪信息技术有限公司的朱春旭和张遵富负责教材项目案例提供。 由于编者水平有限，教材中难免存在不妥之处，敬请读者批评指正。 编 者

导 言 1 单元1　采集网络数据 6 学习情境1.1　使用Beautiful Soup库与XPath语法解析网页 6 学习情境描述 6 学习目标 7 任务书 7 获取信息 7 工作计划 7 进行决策 8 知识准备 9 相关案例 12 工作实施 14 评价反馈 14 拓展思考 15 学习情境1.2　使用Requests采集网络数据 16 学习情境描述 16 学习目标 16 任务书 16 获取信息 16 工作计划 17 进行决策 18 知识准备 18 相关案例 22 工作实施 24 评价反馈 24 拓展思考 25 单元2　对数据进行处理 26 学习情境2.1　使用Excel处理数据 26 学习情境描述 26 学习目标 27 任务书 27 获取信息 27 工作计划 27 进行决策 28 知识准备 29 相关案例 32 工作实施 33 评价反馈 33 拓展思考 34 学习情境2.2　使用Tabula处理数据 35 学习情境描述 35 学习目标 35 任务书 35 获取信息 35 工作计划 36 进行决策 37 知识准备 37 相关案例 38 工作实施 39 评价反馈 40 拓展思考 41 学习情境2.3　使用Kettle处理数据 41 学习情境描述 41 学习目标 42 任务书 42 获取信息 42 工作计划 43 进行决策 44 知识准备 44 相关案例 60 工作实施 64 评价反馈 65 拓展思考 66 单元3　对数值数据进行分析 67 学习情境3.1　使用NumPy创建与索引复杂数据对象 67 学习情境描述 67 学习目标 68 任务书 68 获取信息 68 工作计划 68 进行决策 69 知识准备 70 相关案例 73 工作实施 74 评价反馈 75 拓展思考 76 学习情境3.2　对招聘数据的数组进行形态变换 76 学习情境描述 76 学习目标 77 任务书 77 获取信息 77 工作计划 77 进行决策 78 知识准备 79 相关案例 81 工作实施 82 评价反馈 83 拓展思考 84 学习情境3.3　读写招聘信息数据集 84 学习情境描述 84 学习目标 84 任务书 85 获取信息 85 工作计划 85 进行决策 86 知识准备 86 相关案例 88 工作实施 89 评价反馈 89 拓展思考 90 单元4　对数据进行统计及对相关性进行分析 91 学习情境4.1　使用Pandas访问不同的数据源 91 学习情境描述 91 学习目标 92 任务书 92 获取信息 92 工作计划 92 进行决策 93 知识准备 94 相关案例 96 工作实施 97 评价反馈 97 拓展思考 99 学习情境4.2　使用Pandas进行数据处理 99 学习情境描述 99 学习目标 99 任务书 99 获取信息 99 工作计划 100 进行决策 101 知识准备 101 相关案例 104 工作实施 105 评价反馈 105 拓展思考 106 学习情境4.3　使用Pandas分析招聘数据 107 学习情境描述 107 学习目标 107 任务书 107 获取信息 107 工作计划 108 进行决策 109 知识准备 109 相关案例 112 工作实施 114 评价反馈 114 拓展思考 115 单元5　数据可视化 116 学习情境5.1　掌握Matplotlib的基本应用 116 学习情境描述 116 学习目标 117 任务书 117 获取信息 117 工作计划 117 进行决策 118 知识准备 118 相关案例 127 工作实施 128 评价反馈 128 拓展思考 130 学习情境5.2　使用Matplotlib对招聘数据进行可视化分析 130 学习情境描述 130 学习目标 130 任务书 130 获取信息 131 工作计划 131 进行决策 132 知识准备 132 相关案例 136 工作实施 138 评价反馈 138 拓展思考 140 学习情境5.3　使用Seaborn对招聘数据进行进一步分析 140 学习情境描述 140 学习目标 140 任务书 141 获取信息 141 工作计划 141 进行决策 142 知识准备 143 相关案例 146 工作实施 148 评价反馈 148 拓展思考 149 单元6　使用机器学习算法模型构建推荐系统 150 学习情境6.1　了解机器学习的基本原理 150 学习情境描述 150 学习目标 151 任务书 151 获取信息 151 工作计划 152 进行决策 153 知识准备 153 相关案例 156 工作实施 159 评价反馈 160 拓展思考 161 学习情境6.2　使用Spark API进行数据分析 161 学习情境描述 161 学习目标 162 任务书 162 获取信息 162 工作计划 163 进行决策 164 知识准备 164 相关案例 171 工作实施 172 评价反馈 173 拓展思考 174 学习情境6.3　使用SparkMLib构建推荐系统 174 学习情境描述 174 学习目标 175 任务书 175 获取信息 175 工作计划 176 进行决策 177 知识准备 177 相关案例 181 工作实施 183 评价反馈 183 拓展思考 185 单元7　使用深度学习技术构建人脸识别系统 186 学习情境7.1　使用Keras构建神经网络 186 学习情境描述 186 学习目标 187 任务书 187 获取信息 187 工作计划 188 进行决策 189 知识准备 189 相关案例 192 工作实施 202 评价反馈 202 拓展思考 204 学习情境7.2　使用神经网络构建人脸识别系统 204 学习情境描述 204 学习目标 205 任务书 205 获取信息 205 工作计划 206 进行决策 207 知识准备 207 相关案例 218 工作实施 219 评价反馈 220 拓展思考 221