教育>高职高专>计算机类
大数据平台部署与运维  

大数据平台部署与运维  "

作者:郭建磊,刘学,王立军
ISBN:9787121448843
定价:¥52.0
字数:464千字
页数:288
出版时间:2023-06
开本:16开
版次:01-01
装帧:
出版社:电子工业出版社
简介

本书围绕 Hadoop 大数据平台及其生态系统组件的部署与运维,采用 “任务驱动+知识准备+任务实施+考核评价" 的项目化模式组织各单元的内容。全书分为 11 个单元,主要内容包括大数据简介、Hadoop伪分布式安装部署、Hadoop 集群部署与监控、HDFS 分布式存储、使用 MapReduce 实现电商销售数据的统计、Hadoop 高可用集群规划部署、分布式数据库 HBase 部署与应用、数据仓库 Hive 部署与应用、Spark计算框架部署、Flink流式计算框架部署与操作、020外卖服务大数据平台部署运维综合实训。本书可作为高等职业院校大数据及计算机相关专业的专业课教材, 也可作为大数据培训班的辅导教材, 还可供从事大数据技术及应用的专业人员和广大大数据平台爱好者自学选用参考。

前言

大数据是21世纪的 “钻石矿“,大数据产业已成为新的经济增长点,2020年全球大数据产业市场规模已达到560亿美元,增长率在10%以上。根据最新调研数据,我国大数据产业迅速发展,产业规模从2016年的2840.8亿元增长至2021年的8000亿元,增长速度始终在20%以上,领跑全球大数据产业增长速度。数字经济的蓬勃发展及产业数字化、 网络化、 智能化发展新趋势,对大数据人才都有较大的需求,同时对人才培养质侬提出了更高的要求。本书以党的二十大精神为指引,充分发挥教材的铸魂育人功能,深入贯彻落实党的二十大精神, 山职业院校教师和企业高级工程师倾力合作打造,为深入实施科教兴国战略,强化现代化建设人才支撑贡献力董。 根据人力资源和社会保障部发布的《新职业 大数据工程技术人员就业景气现状分析报告》,中国大数据行业人才需求规模未来5年内将保持30%??40%的增速,需求总晕预计为2000万左右。从大数据技术类岗位典型工作任务分析情况来看,大数据平台部署与配置、 系统运维等为主要的典型工作任务,重要程度较高。 本书由多所高校教师和企业专家共同撰写,以培养大数据平台运维能力为中心,将大数据实施与运维职业岗位能力要求、 l+X职业技能等级要求、 大数据技术与应用技能竞赛内容科学地融入课程学习任务,实现 “岗课赛证” 相融互通。本书基千教学过程项目化的理念,对课程开发的思路与步骤进行了梳理和阐述,希望能对广大高等职业院校、 应用型本科院校的课程教学提供切实的帮助。 本书由郭建磊、 刘学、 主立军担任主编,张治斌、 董常、 罗清彩、李存冰担任副主编,参与编写的人员还有主晓恒、 刘长升、 刘成杭、 王森、 秦娜、 姚锦森和林建。其中,郭建磊编写单元7、 单元8 和单元10, 刘学、 张治斌编写单元9, 王立军、 刘长升编写单元3和单元4, 王森、 秦娜编写单元1, 王晓恒编写单元6, 刘成杭、 罗清彩编写单元11, 姚锦 森、李存冰编写单元5, 林建编写单元2 。北京汇智科教软件开发有限公司、 浪潮优派科技教育有限公司在本书的编写过程中提供了大量的技术支持和案例。同时,本书在写作过程中得到了山东电子职业技术学院、 北京信息职业技术学院的支持与帮助,在此谨对他们的无私奉献表示衷心的感谢。同时,特别感谢北京汇智科教软件开发有限公司的资助,为本书的正式出版和发行提供了全力保障和后勤服务! 由千大数据技术发展极其迅速,新技术和新平台层出不穷,且编者水平有限,书中疏漏和不足之处在所难免,承蒙读者不吝告知,将不胜感激。

目录

单元1 大数据简介 任务 认识大数据 . 1.1.1 大数据的概念及特点 1.1.2 大数据的发展背景 1.1.3 大数据技术的发展历程 1.1.4 大数据的意义和应用现状 1.1.5 大数据的未来 1.1.6 大数据人才需求与岗位介绍 单元 2 Hadoop 伪分布式安装部署 任务2.1 搭建Hadoop伪分布式 2.1.1 Hadoop的发展 历程 与应用现状 2.1.2 Hadoop 的优 点与核心 组成 2.1.3 Hadoop 的安装方式 2.1.4 Hadoop 各版本选择 2.1.5 Hadoop 伪分布式搭建的基本流程. 任务 2.2 启动与访问 Hadoop 2.2.1 Hadoop 启动/停止 的操作命令 2.2.2 基于 Web UI 监控 Hadoop 平 台 单元 3 Hadoop 集群部署与监控 任务3.1 搭建Hadoop集群 3.1.1 集群概述 3 .1.2 Hadoop 集群的 特点 3.1.3 H adoop 集群规 划 3.1.4 Hadoop 集群部署 的过程 .. 任务 3.2 监控 Hadoop 集群.. 单元 4 HDFS 分布式存储 任务4.1 认识HDFS 4.1.1 HDFS的原理 4.1.2 HDFS 读写文件 的流程 4.1.3 HDFS 的特点及其不适合的 应用场景 任务 4.2 HDFS 的文件 系统操作 任务 4.3 HDFS 的系统管理操作 4.3.1 HDFS 的安全模 式操作 4.3.2 HDFS 增加扩容操作.............. 4.3.3 HDFS 数据平衡 4.3.4 HDFS 存储策略.. 4.3.5 HDFS 快照 任务4.4 部署本地开发环境 4.4.1 认识JDK 4.4.2 认 识 Maven 4.4.3 认 识 IDEA 任务 4.5 HDFS 的 Java API 操作 单元5 使用MapReduce 实现电商销售数据的统计 任务 5.1 认识 MapReduce 5.1.1 MapReduce 的概 念与原理 5.1.2 MapReduce 的体 系 架构 5.1.3 MapReduce 的发展现状 5.1.4 YARN 的运行机制 任务 5.2 使用 MapReduce 实现词频的统计 5.2.1 MapReduce 数据处理的流程. 5.2.2 MapReduce 相关 Java API 及应用 5.2.3 MapReduce 驱动类 任务 5.3 使用 MapReduce 完成电商销售数据的统计 5.3.1 MapReduce 完成电 商销售数 据统计的 流程 5.3.2 自定义分区 5.3.3 自 定 义 数 据 类 型 任务 5.4 MapReduce 任务监控.. 5.4.1 MapReduce 任务监控的方式 5.4.2 任务失败的几种情况 5.4.3 MapReduce日志文件 单元 6 Hadoop 高可用集群规划部署 任务 6.1 部署与访问 ZooKeeper 6.1.1 ZooKeeper 概述及其特性 6.1.2 ZooKeeper 的应 用场 景 6.1.3 ZooKeeper 的工作原理 6.1.4 ZooKeeper 的部 署方式 任务 6.2 部署 Hadoop 高可用集群 6.2.1 Hadoop 高可 用集群的 工作原理.. 6.2.2 Hadoop 高可用集 群的主要配置项及含义. 单元 7 分布式数据库HBase 部署与应用 任务 7.1 搭建伪分布式 HBase 7.1.1 HBase 的原理 7.1.2 HBase 的体系架构 7.1.3 HBase 与 JDK、Hadoop 版本的兼容关系 7.1.4 HBase 伪分布式部署准备 ... 任务 7.2 部署 HBase 完全分布式集群 7.2.1 HBase 集群规划 7.2.2 HBase 的主要配置项及含义. 7.2.3 HBase 访问命令 7.2.4 基于 Web UI 监控 HBase 的 状 态 任务 7.3 HBase 集群运维 7.3.1 HBase 监控工具介绍 7.3.2 HBase 集群优化 单元 8 数据仓库Hive 部署与应用 任务 8.1 部署 Hive 本地模式 8.1.1 Hive 介绍 8.1.2 Hive 的安装方式 任务 8.2 部署 Hive 远程模式·.... 单元 9 Spark 计算框架部署.. 任务 9.1 部署与操作 Spark Local 任务 9.2 部署与操作 Spark Standalone 9.2.1 Spark 运行流程 9.2.2 Spark 配置文件与配置参数 任务 9.3 部署与操作 Spark on YARN 单元 10 Flink 流式计算框架部署与操作. 任务 10.1 部署本地模式 Flink 10.1.1 Flink 介绍 10.1.2 Flink 的部署模式 任务 10.2 部署独立模式Flink集群 10.2.1 Flink的体系架构 10.2.2 Flink 集群的运行模式 任务 10.3 部署并运行 Flink on YARN 集群 10.3.1 Flink on YARN 的运行方法 10.3.2 故 障调试与恢复 单元 11 0 20 外卖服务大数据平台部署运维综合实训...

作者简介

编辑推荐

作者寄语

电子资料

www.luweidong.cn

下一个