教育>高职高专>计算机类
Hadoop大数据平台搭建与应用(工作手册式)(微课版)  

Hadoop大数据平台搭建与应用(工作手册式)(微课版)  "

作者:时东晓,李强
ISBN:9787121461446
定价:¥55.0
字数:457千字
页数:272
出版时间:2023-08
开本:16开
版次:01-01
装帧:
出版社:电子工业出版社
简介

本书为高等职业教育计算机类新形态——工作手册式教材,内容包括基础环境的搭建与配置,Hadoop完全分布式集群的搭建与运行,Hadoop 核心组件的应用案例,Hive 组件的安装、配置与应用,ZooKeeper的安装、配置与应用,HBase 的安装、配置与应用,Sqoop 组件的安装、配置与应用,Flume 组件的安装、配置与应用,Kafka 的安装、配置与应用,Spark 的安装、配置与应用,广电大数据用户画像。本书采用项目式设计,以项目学习目标、任务描述、任务分析和任务实施作为立体化工作指南。本书由校企联合开发,融合了大数据平台运维的“1+X”技能考证、大数据运维工程师岗位证书考试等内容,从实用出发,通俗易懂,难度适宜,便于开展理论实践一体化、岗课赛证融通教学。本书配有电子教学课件、微课视频、项目素材(代码和数据等)和考试题库等数字资源。

前言

大数据技术发展到今日,其应用已渗透到各行各业,大数据价值不断凸显,数据驱动决策和社会智能化程度大幅度提高,大数据产业迎来快速发展,大数据技术迎来大规模应用。 中国特色社会主义进入新时代,实现中华民族伟大复兴的中国梦开启新征程。党中央决定实施国家大数据战略,吹响了加快发展数字经济、建设数字中国的号角。党的二十大报告中指出:“建设现代化产业体系”,并做出了“推动战略性新兴产业融合集群发展,构建新一代信息技术、人工智能、生物技术、新能源、新材料、高端装备、绿色环保等一批新的增长引擎”的战略部署,为我国构筑大数据时代国家综合竞争新优势指明了方向。 随着我国大数据战略谋篇布局的不断展开,国家高度重视并不断完善大数据政策支撑,大数据产业加速发展,大致经历了 4 个不同阶段(预热阶段、起步阶段、落地阶段和审核阶段),正逐步从数据大国向数据强国迈进。 随之带来新的问题之一是大数据人才需求量呈现指数级的暴增,相应的岗位要求也呈现了高、中、低复合型的需求模式。新时代对职业教育高质量发展提出了新要求,也给职业院校“三教”改革赋予了新内涵,其中,如何以服务的理念、系统的思维、科学的态度、务实的精神,规划设计出标本兼治的“三教”改革整体推进举措,是职业院校能否把握高质量发展新机遇、新挑战的关键。以“资源互通”为依据创新教材资源开发机制,激发教材资源开发活力,是职业院校解决教材资源开发机制不畅,内容与企业需求融合不足的必然要求。 本书以广州城市职业学院为主导单位,联合广东泰迪科技有限公司进行校企合作,采用新形态工作手册式方式,选用企业一线真实、有效的项目案例资源,融合大数据平台运维的“1+X”技能考证、大数据运维工程师岗位证书考试等内容,与广东省其他几所兄弟院校大数据技术专业一线教师共同编写。 另外,本书在编写过程中,特别是在搭建 Hadoop 生态平台组件的过程中,参考了许多其他相关教材和网上一些常见问题解决方案,吸收了许多专家的观点,但为了行文方便,不便一一注明。在此,特向在本书中引用和参考的已注明及未注明的教材、文章的作者表示诚挚的谢意。 本书由时东晓和李强担任主编,由孔宇彦、王圆、彭之军、王月梅和张良均担任副主编。本书得到广州城市职业学院教务处的鼓励和资助,在此深表谢意。 为了方便教师教学,本书配有电子教学课件、微课视频、项目素材等数字资源,请有此需要的教师登录华信教育资源网(www.hxedu.com.cn)注册后免费下载,如果有问题,可在网站的留言板中留言或与电子工业出版社联系(hxedu@phei.com.cn)。 虽然编者精心组织,细致编写,但是疏漏之处在所难免;同时由于编者水平有限,书中也存在诸多不足之处,恳请广大读者朋友们给予批评和指正,以便在今后的修订中不断改进。 编 者

目录

项目1 基础环境的搭建与配置 1 任务1.1 搭建虚拟机 2 1.1.1 安装虚拟机软件 2 1.1.2 安装master节点虚拟机 4 1.1.3 配置master节点的网络 7 1.1.4 克隆slave节点 10 任务1.2 配置连接工具 13 1.2.1 测试Windows操作系统连接虚拟机 14 1.2.2 使用Xshell工具 15 1.2.3 使用Xftp工具 18 任务1.3 配置Hadoop平台基础环境 20 1.3.1 设置服务器的主机名 20 1.3.2 关闭并禁用防火墙 21 1.3.3 修改主机IP地址映射文件 23 1.3.4 配置SSH免密登录 24 1.3.5 设置集群时间同步 29 1.3.6 安装Java环境 32 项目总结 35 项目2 Hadoop完全分布式的搭建与运行 36 任务2.1 搭建Hadoop完全分布式集群 37 任务2.2 运行Hadoop集群 46 2.2.1 格式化NameNode 46 2.2.2 启动和关闭Hadoop集群 47 2.2.3 使用浏览器查看节点状态 49 项目总结 50 项目3 Hadoop核心组件的应用案例 51 任务3.1 Hadoop Java API读取序列化日志文件 51 3.1.1 配置开发环境 52 3.1.2 创建Maven工程 55 3.1.3 读取序列化文件 57 任务3.2 预测M电影网站用户性别 60 3.2.1 获取数据 61 3.2.2 数据变换 62 3.2.3 数据清洗 77 3.2.4 划分数据集 79 3.2.5 实现用户性别聚类 83 项目总结 91 项目4 Hive组件的安装、配置与应用 92 任务4.1 安装与配置MySQL数据库 93 4.1.1 安装MySQL数据库 93 4.1.2 配置MySQL数据库 96 任务4.2 安装与配置Hive组件 99 4.2.1 安装Hive组件 99 4.2.2 配置Hive环境 101 4.2.3 初始化Hive数据库 103 任务4.3 Hive Shell的基本操作 104 4.3.1 启动Hive 105 4.3.2 操作Hive数据库 105 4.3.3 操作Hive内部表 106 任务4.4 统计分析餐饮数据 110 4.4.1 数据说明 110 4.4.2 创建表并导入数据 111 4.4.3 统计分析任务实现 112 项目总结 117 项目5 ZooKeeper的安装、配置与应用 118 任务5.1 分布式搭建部署与管理ZooKeeper 119 5.1.1 在master节点上安装ZooKeeper组件 119 5.1.2 在master节点上配置ZooKeeper组件 121 5.1.3 在slave节点上安装与配置ZooKeeper组件 122 5.1.4 管理ZooKeeper服务 123 任务5.2 监控服务器上下线动态 124 5.2.1 创建Maven工程并连接ZooKeeper集群 125 5.2.2 任务实现 125 项目总结 128 项目6 HBase的安装、配置与应用 129 任务6.1 安装与配置HBase 130 6.1.1 在master节点上安装HBase组件 130 6.1.2 在master节点上修改配置文件 132 6.1.3 在slave节点上安装HBase组件 134 6.1.4 启动HBase集群 134 任务6.2 HBase Shell的基本操作 136 6.2.1 应用HBase Shell 136 6.2.2 操作HBase表 138 6.2.3 操作HBase数据 139 任务6.3 设计手游信息的数据存储 141 6.3.1 设计表结构 142 6.3.2 创建表结构 142 6.3.3 设计业务逻辑 147 项目总结 156 项目7 Sqoop组件的安装、配置与应用 157 任务7.1 安装与配置Sqoop组件 158 7.1.1 安装Sqoop组件 158 7.1.2 修改Sqoop组件配置文件 160 7.1.3 测试Sqoop组件的安装情况 161 任务7.2 Sqoop组件的导入与导出应用操作 162 7.2.1 准备MySQL数据库数据 162 7.2.2 在Hive中准备表 163 7.2.3 将MySQL数据库中的数据导入Hive 164 7.2.4 将MySQL数据库中的数据导入HDFS 165 7.2.5 从Hive中导出数据至MySQL数据库 168 任务7.3 查询与传输用户日志数据 170 7.3.1 查询MySQL数据库的用户日志数据表中的记录数 170 7.3.2 增量导入MySQL数据库中的用户日志数据至Hive 171 7.3.3 导出Hive中的浏览信息筛选结果至MySQL数据库 172 项目总结 173 项目8 Flume组件的安装、配置与应用 174 任务8.1 安装与配置Flume组件 175 8.1.1 安装Flume组件 175 8.1.2 配置Flume组件 177 8.1.3 创建代理配置文件 178 8.1.4 启动Flume并传输数据 179 8.1.5 查看Flume传输的文件数据 179 任务8.2 广告日志数据采集系统 180 8.2.1 采集系统日志数据 182 8.2.2 采集广告曝光日志数据 183 项目总结 186 项目9 Kafka的安装、配置与应用 187 任务9.1 安装与配置Kafka 188 9.1.1 在master节点上安装与配置Kafka组件 188 9.1.2 在slave节点上安装Kafka组件 190 9.1.3 管理Kafka服务 191 9.1.4 演示Kafka分布式发布订阅消息 192 任务9.2 实时传输广告日志数据 194 9.2.1 创建脚本文件 194 9.2.2 创建Kafka主题 196 9.2.3 Flume采集日志 196 项目总结 198 项目10 Spark的安装、配置与应用 199 任务10.1 安装与配置Scala 200 10.1.1 在master节点上安装Scala 200 10.1.2 在slave节点上安装Scala 202 10.1.3 测试Scala的安装情况 202 任务10.2 安装与配置Spark组件 203 10.2.1 在master节点上安装Spark组件 203 10.2.2 修改Spark配置文件 205 10.2.3 在slave节点上安装Spark组件 206 10.2.4 运行Spark集群 206 任务10.3 应用举例spark-shell 208 10.3.1 上传数据文件 208 10.3.2 运行spark-shell单词统计程序 209 任务10.4 聚类分析超市客户 212 10.4.1 安装Scala插件 212 10.4.2 配置Spark运行环境 214 10.4.3 探索数据与构建特征 217 10.4.4 保存数据至Hive 221 10.4.5 构建K-means聚类模型 221 项目总结 224 项目11 广电大数据用户画像 225 任务11.1 说明与存储数据 225 任务11.2 数据探索与数据预处理 231 11.2.1 总体概述 232 11.2.2 探索异常数据 234 11.2.3 探索主要业务数据 236 11.2.4 探索标签阈值 239 11.2.5 数据预处理 245 任务11.3 构建SVM预测模型与用户画像 250 11.3.1 构建特征列和标签列数据 250 11.3.2 构建SVM模型、评价模型效果并预测用户是否挽留 253 11.3.3 构建用户画像 255 项目总结 261 附录A 选用组件版本列表 262

作者简介

编辑推荐

作者寄语

电子资料

www.luweidong.cn

下一个