本书系统介绍了大数据基础知识和相关技术，全书分为大数据概述篇、大数据存储与管理篇、大数据采集与预处理篇、大数据分析与挖掘篇、大数据平台Hadoop实践与案例分析篇。全书共15章，主要内容包括大数据基本概念、大数据存储与管理概念及技术、大数据采集及预处理技术、大数据计算模式、大数据分布式并行处理框架Hadoop、大数据分布式文件系统HDFS、大数据分布式数据库系统HBASE、大数据Hadoop平台操作实践及具体大数据预测应用案例分析。

随着大数据时代的来临，大数据相关概念和技术被人们广泛关注。目前，大数据技术已被广泛应用于各行各业。它对人们的思维模式及科学研究方法有深远影响，已被列为国家重大发展战略之一。社会各界对具有大数据专业素养的高级人才求贤若渴。鉴于此，国内外一些高校先后开设“数据科学与大数据”专业，旨在培养具备大数据技术的高级人才。

为满足相关人员学习大数据相关技术的需求，我们在总结近几年大数据技术课程教学经验和项目成果的基础上，引入中科曙光XData大数据相关技术及应用案例，从理论结合实践的角度，将大数据基本概念与大数据技术相结合，精心组织设计并完成了本书的编写。

本书全面而系统地介绍了大数据基础知识和相关技术。全书分为大数据基础、大数据存储与管理、大数据采集与预处理、大数据分析与挖掘和大数据平台Hadoop实践与应用案例5篇(16章)，主要内容包括大数据基本概念，大数据存储与管理概念及技术，大数据采集与预处理技术，大数据平台Hadoop基础，大数据分布式文件系统HDFS，大数据分布式数据库系统HBase，大数据分布式数据仓库系统Hive，大数据MapReduce计算模型，大数据Spark计算模型，大数据MapReduce基础算法，大数据关联分析、分类、聚类典型数据挖掘算法，大数据平台Hadoop操作实践，大数据预测应用案例分析，以及曙光XData大数据平台架构、关键技术及其应用案例。全书提供了大量应用实例，每章后附有习题。本书特色在于将大数据概念、技术及应用融合在一起，便于读者理解大数据基本概念，更快掌握大数据前沿技术及其应用。

第一篇大数据基础。本篇着重介绍大数据基本概念和大数据Hadoop平台组件，旨在帮助读者正确理解大数据的核心概念及其应用技术，为后续章节的学习奠定基础。本篇包括两章。

第1章主要介绍了大数据产生的背景及发展历程，大数据对科学研究、思维模式的影响，大数据的4V特征，大数据在科研、交通、通信、医疗、金融、制造、体育、个性化生活、安全等领域的应用； 并简要介绍了大数据框架体系，大数据关键技术——数据采集与预处理技术、数据存储和管理技术、数据分析与挖掘技术、数据可视化技术、数据安全保护技术，大数据支撑技术——云计算、物联网和机器学习等。

第2章主要介绍了大数据平台Hadoop基础，包括Hadoop的项目来源、发展历程、主要用途、分布式存储和并行计算基本原理，以及对Hadoop平台核心组件(HDFS、MapReduce、ZooKeeper、Yarn、HBase、Hive、Spark、Mahout等)的简要描述。

第二篇大数据存储与管理。本篇着重介绍大数据存储与管理的基本概念和常用的大数据分布式文件系统HDFS、大数据分布式数据库系统HBase、大数据分布式数据仓库系统Hive，旨在帮助读者正确理解大数据存储与管理的核心概念和相关软件技术。本篇包括4章。

第3章主要介绍了大数据存储与管理的基本概念和技术，包括数据管理技术发展回顾、大数据的数据类型、分布式系统基础理论和NoSQL数据库的兴起，以及与大数据存储和管理密切相关的分布式存储技术、虚拟化技术和云存储技术。

第4章主要介绍了大数据分布式文件系统HDFS，包括HDFS的设计特点、体系结构和工作组件； 阐述了HDFS文件系统的工作流程，分析了在HDFS下读写数据的过程； 围绕HDFS文件系统操作，详细介绍了HDFS文件管理命令和HDFS API的主要编程接口，并给出了编程实例。

第5章主要介绍了大数据分布式数据库系统HBase，重点描述了HBase列式数据库的逻辑模型和物理模型的基本概念，给出了HBase体系结构及其工作原理； 结合实例介绍了HBase表及其数据的操作命令，介绍了HBase API的主要编程接口，并给出了编程实例。

第6章主要介绍了大数据分布式数据仓库系统Hive，包括Hive的工作原理和执行流程、Hive的数据类型与数据模型，常用的Hive SQL查询语法及其操作实例，以及Hive的主要访问接口等。

第三篇大数据采集与预处理。本篇着重介绍大数据采集与预处理技术，对常用大数据采集工具进行了简单介绍。本篇包括2章。

第7章主要介绍了大数据采集与预处理相关技术，包括数据抽取、转换和加载技术，数据爬虫技术，数据清理、数据集成、数据变换和数据归约的方法和技术。

第8章主要介绍了常用的大数据采集工具，包括Sqoop关系型大数据采集工具、Flume日志大数据采集系统和Nutch分布式大数据爬虫系统。

第四篇大数据分析与挖掘。本篇着重介绍了大数据计算模式，包括大数据MapReduce计算模型、大数据Spark内存计算模型，以及大数据MapReduce基础算法和挖掘算法，旨在帮助读者全面理解大数据分析与挖掘的核心思想与编程技术。本篇包括5章。

第9章主要介绍了5种大数据计算模式，包括大数据批处理、大数据查询分析计算、大数据流计算、大数据迭代计算和大数据图计算。

第10章主要介绍了大数据MapReduce计算模型，包括MapReduce的由来、主要功能、技术特征、模型框架、数据处理过程、程序执行过程、主要编程接口及实例分析。

第11章主要介绍了大数据Spark计算模型，包括Spark的产生、技术特征、工作流程、集群架构及运行模式、主要访问接口，并给出了3种WordCount编程实现。

第12章主要介绍了大数据MapReduce基础算法，包括关系代数运算的MapReduce设计与实现，矩阵乘法的MapReduce设计与实现。

第13章主要介绍了大数据挖掘算法，包括大数据关联分析Apriori算法、大数据KNN分类算法和大数据KMeans聚类算法及其MapReduce设计与实现。

第五篇大数据平台Hadoop实践与应用案例。本篇着重介绍大数据Hadoop平台的实践操作，给出了大数据技术在开敞式码头系泊缆力预测中的应用，以及曙光XData大数据平台架构、关键技术及其应用案例，旨在帮助读者理解如何将大数据的方法和技术运用到项目需求中，促进大数据技术在各领域和行业中的应用。本篇包括3章。

第14章主要介绍Hadoop大数据平台实践，包括Hadoop系统的安装与配置，Hadoop平台文件操作及程序运行命令，以及Hadoop平台程序开发方法和过程。

第15章主要介绍大数据方法和技术在开敞式码头系泊缆力预测中的应用，给出了大数据系泊缆力相似性查询预测方法，并基于Hadoop大数据平台完成了系泊缆力预测的相似性查询方法的MapReduce设计与实现。

第16章主要介绍曙光XData大数据平台的架构及关键技术，包括曙光XData大数据集成与数据治理组件、大数据存储与数据计算组件、大数据分析与数据智能组件、大数据可视化分析组件、大数据安全管控与管理运维组件，并给出了基于曙光XData大数据平台的智能交通应用案例。

本书可作为高等院校计算机、软件工程、信息管理等相关专业大数据技术课程的本科生和研究生教材，也可作为IT工程技术人员的参考用书。

本书由大连交通大学宋旭东教授担任主编，并辅助全书内容的组织和编审，宋亮、王立娟、张鹏担任副主编。本书第一篇、第四篇、第五篇由宋旭东编写，第二篇由宋亮编写，第7章由王立娟编写，第8章由张鹏编写。

在本书的编写过程中，丛郁洋、杨杰、朱大杰等研究生做了大量辅助工作； 曙光大数据部副总经理郭庆先生、曙光大数据团队工程师参编了第16章； 张旗教授对全书进行了审阅； 曙光公司对本书出版给予了大力支持和帮助。在此，一并表示衷心的感谢。在本书的编写过程中，参考了大量国内外教材、论文、技术论坛等相关文献，在此也向文献的作者表示感谢。

由于编者水平有限，书中不足之处在所难免，敬请广大读者批评指正。

编者2019年8月

第一篇大数据基础

第1章大数据基本概念

1.1大数据时代

1.1.1大数据有多大

1.1.2大数据的产生

1.1.3大数据的发展历程

1.1.4大数据对科学研究的影响

1.1.5大数据对思维模式的影响

1.2大数据的定义与特征

1.2.1大数据的定义

1.2.2大数据的数据特征

1.3大数据的应用

1.3.1大数据在科研领域的应用

1.3.2大数据在交通领域的应用

1.3.3大数据在通信领域的应用

1.3.4大数据在医疗领域的应用

1.3.5大数据在金融领域的应用

1.3.6大数据在制造领域的应用

1.3.7大数据在体育领域的应用

1.3.8大数据在个性化生活领域的应用

1.3.9大数据在安全领域的应用

1.4大数据框架体系

1.4.1大数据基础设施层

1.4.2大数据采集层

1.4.3大数据存储层

1.4.4大数据处理层

1.4.5大数据交互展示层

1.4.6大数据应用层

1.5大数据关键技术

1.5.1数据采集与预处理技术

1.5.2数据存储与管理技术

1.5.3数据分析与挖掘技术

1.5.4数据可视化技术

1.5.5数据安全和隐私保护技术

1.6大数据支撑技术

1.6.1云计算

1.6.2物联网

1.6.3机器学习

习题

第2章大数据平台Hadoop基础

2.1大数据平台Hadoop概述

2.1.1Hadoop简介

2.1.2Hadoop项目起源

2.1.3Hadoop发展历程

2.1.4Hadoop特性

2.1.5Hadoop主要用途

2.2大数据平台Hadoop原理

2.2.1分布式计算原理

2.2.2MapReduce原理

2.2.3Yarn原理

2.3大数据平台Hadoop组件

2.3.1HDFS组件

2.3.2MapReduce组件

2.3.3ZooKeeper组件

2.3.4Yarn组件

2.3.5HBase组件

2.3.6Hive组件

2.3.7Spark组件

2.3.8Mahout组件

2.3.9Flume组件

2.3.10Sqoop组件

2.3.11Kafka组件

2.3.12Pig组件

2.3.13Ambari组件

2.3.14Tez组件

2.3.15Common组件

习题

第二篇大数据存储与管理

第3章大数据存储与管理基本概念

3.1大数据的数据类型

3.1.1结构化数据

3.1.2半结构化数据

3.1.3非结构化数据

3.2数据管理技术的发展

3.2.1文件系统阶段

3.2.2数据库系统阶段

3.2.3数据仓库阶段

3.2.4分布式系统阶段

3.3分布式系统基础理论

3.3.1CAP理论

3.3.2BASE思想

3.4NoSQL数据库

3.4.1NoSQL数据库的兴起

3.4.2NoSQL数据库与关系数据库的比较

3.4.3NoSQL数据库的四大类型

3.5大数据存储与管理技术

3.5.1分布式存储技术

3.5.2虚拟化技术

3.5.3云存储技术

习题

第4章大数据分布式文件系统

4.1HDFS概述

4.1.1HDFS简介

4.1.2HDFS设计特点

4.2HDFS工作原理

4.2.1HDFS体系结构

4.2.2HDFS工作组件

4.3HDFS工作流程

4.3.1读数据的过程

4.3.2写数据的过程

4.4HDFS基本操作

4.4.1HDFS文件操作

4.4.2HDFS管理命令

4.5HDFS编程接口

4.5.1HDFS常用Java API

4.5.2HDFS API编程实例

习题

第5章大数据分布式数据库系统HBase

5.1HBase概述

5.1.1HBase简介

5.1.2HBase特性

5.1.3HBase与传统关系数据库对比

5.1.4HBase应用场景

5.2HBase数据模型

5.2.1HBase数据模型术语

5.2.2HBase数据逻辑模型

5.2.3HBase数据物理模型

5.3HBase工作原理

5.3.1HBase体系结构

5.3.2HBase工作组件

5.4HBase操作命令

5.4.1HBase表操作

5.4.2HBase数据操作

5.5HBase编程接口

5.5.1HBase常用Java API

5.5.2HBase API编程实例

习题

第6章大数据分布式数据仓库系统Hive

6.1Hive概述

6.1.1Hive特性

6.1.2Hive工作原理

6.1.3Hive执行流程

6.2Hive数据类型及数据模型

6.2.1Hive数据类型

6.2.2Hive数据模型

6.3Hive SQL查询语法

6.3.1DDL语句

6.3.2DML语句

6.3.3DQL语句

6.3.4Hive实例操作

6.4Hive访问接口

6.4.1Hive CLI访问接口

6.4.2JDBC访问接口

习题

第三篇大数据采集与预处理

第7章大数据采集与预处理技术

7.1数据抽取、转换、加载技术

7.1.1ETL概述

7.1.2数据抽取

7.1.3数据转换

7.1.4数据加载

7.1.5ETL工具

7.2数据爬虫技术

7.2.1爬虫流程

7.2.2爬虫分类

7.2.3大数据爬虫技术

7.3数据预处理技术

7.3.1数据清理

7.3.2数据集成

7.3.3数据变换

7.3.4数据归约

习题

第8章大数据采集工具

8.1Sqoop关系型大数据采集系统

8.1.1Sqoop简介

8.1.2Sqoop工作原理

8.2Flume日志大数据采集系统

8.2.1Flume简介

8.2.2Flume工作原理

8.3Nutch分布式大数据爬虫系统

8.3.1Nutch简介

8.3.2Nutch工作原理

习题

第四篇大数据分析与挖掘

第9章大数据计算模式

9.1大数据批处理

9.1.1大数据批处理概述

9.1.2大数据批处理常用组件

9.2大数据查询分析计算

9.2.1大数据查询分析计算概述

9.2.2大数据查询分析计算组件

9.3大数据流计算

9.3.1大数据流计算概述

9.3.2大数据流计算组件

9.4大数据迭代计算

9.4.1大数据迭代计算概述

9.4.2迭代计算组件

9.5大数据图计算

9.5.1大数据图计算概述

9.5.2图计算组件

习题

第10章大数据MapReduce计算模型

10.1MapReduce概述

10.1.1MapReduce简介

10.1.2MapReduce由来

10.1.3MapReduce主要功能

10.1.4MapReduce技术特征

10.2MapReduce模型框架

10.2.1MapReduce设计思想

10.2.2MapReduce模型架构

10.3MapReduce数据处理过程

10.3.1MapReduce运行原理

10.3.2MapReduce数据输入输出流程

10.4MapReduce程序执行过程

10.4.1作业提交

10.4.2作业初始化

10.4.3作业分配

10.4.4任务执行

10.4.5过程和状态更新

10.4.6作业完成

10.5MapReduce编程接口

10.5.1数据读入

10.5.2Mapper类和Reduce类

10.5.3数据处理

10.5.4数据输出

10.6MapReduce实例分析

10.6.1WordCount MapReduce设计

10.6.2WordCount编程实现

习题

第11章大数据Spark计算模型

11.1Spark概述

11.1.1Spark的产生

11.1.2Spark的相关概念及其组件

11.1.3Spark的特性

11.2Spark工作原理

11.2.1RDD原理

11.2.2Spark工作流程

11.2.3Spark集群架构及运行模式

11.2.4Spark Streaming工作原理

11.3Spark访问接口

11.3.1Spark访问接口概述

11.3.2SparkContext 访问接口

11.3.3RDD 访问接口

11.4Spark实例分析

11.4.1Spark Shell Wordcount编程实现

11.4.2Scala Wordcount编程实现

11.4.3Java Wordcount编程实现

习题

第12章大数据MapReduce基础算法

12.1关系代数运算

12.1.1关系代数运算规则

12.1.2关系代数运算的MapReduce设计与实现

12.2矩阵乘法

12.2.1矩阵乘法原理

12.2.2矩阵乘法MapReduce设计

12.2.3矩阵乘法MapReduce实现

习题

第13章大数据挖掘算法

13.1大数据关联分析算法

13.1.1Apriori算法简介

13.1.2Apriori算法MapReduce设计

13.1.3Apriori算法MapReduce实现

13.2大数据kNN分类算法

13.2.1kNN分类算法简介

13.2.2KNN算法MapReduce设计

13.2.3KNN算法MapReduce实现

13.3大数据kMeans聚类算法

13.3.1kMeans聚类算法简介

13.3.2基于MapReduce的kMeans算法的设计

13.3.3基于MapReduce的kMeans算法的实现

习题

第五篇大数据平台Hadoop实践与应用案例

第14章Hadoop大数据平台实践

14.1Hadoop的安装与配置

14.1.1安装Hadoop的准备工作

14.1.2Linux虚拟机的安装

14.1.3安装和配置JDK

14.1.4下载安装Hadoop

14.1.5SSH免密登录

14.1.6虚拟机克隆

14.1.7Hadoop运行

14.1.8查看集群状态 

14.2Hadoop平台基本操作

14.2.1Hadoop启动与关闭命令

14.2.2Hadoop文件操作

14.2.3Hadoop程序运行命令

14.3Hadoop平台程序开发过程

14.3.1开发环境配置

14.3.2程序开发流程

习题

第15章开敞式码头系泊作业缆力预测应用案例

15.1开敞式码头系泊作业缆力预测背景描述

15.1.1开敞式码头系泊作业缆力背景描述

15.1.2开敞式码头系泊作业缆力预测背景

15.2大数据系泊缆力相似性查询预测方法

15.2.1模糊相似性查询基本方法

15.2.2系泊缆力相似性查询预测模型

15.3相似性查询预测方法MapReduce设计

15.3.1相似性查询预测方法Map设计

15.3.2相似性查询预测方法Reduce设计

15.4相似性查询预测方法MapReduce实现

15.4.1系泊缆力预测结果展示

15.4.2系泊缆力预测结果分析

第16章曙光XData大数据平台及应用案例

16.1曙光XData大数据平台简介

16.1.1曙光XData大数据平台概述

16.1.2曙光XData大数据平台特点及应用

16.2曙光大数据平台架构及关键技术

16.2.1曙光XData大数据平台架构

16.2.2曙光XData大数据平台关键技术

16.3曙光XData大数据平台组件

16.3.1曙光XData大数据集成与数据治理组件

16.3.2曙光XData大数据存储与数据计算组件

16.3.3曙光XData大数据分析与数据智能组件

16.3.4曙光XData大数据可视化分析组件

16.3.5曙光XData大数据安全管控与管理运维组件

16.4曙光XData大数据平台操作实践

16.4.1曙光XData大数据平台安装与配置概述

16.4.2曙光XData大数据平台基本操作

16.5基于曙光XData大数据平台的智能交通应用案例

16.5.1曙光XData智能交通应用项目背景

16.5.2曙光XData智能交通应用方案设计

16.5.3曙光XData智能交通功能实现及应用效果

参考文献

本书从大数据的基本概念、原理，以及存储、采集、挖掘及应用，做了详细的概述。适合于高等学校师生及技术爱好者。

宋旭东，男，博士，大连交通大学软件学院教授，计算机科学与技术、软件工程专业硕士生导师，美国伍斯特理工学院国家公派访问学者，辽宁省高校优秀青年骨干教师，教育部学位与研究生教育评估评审专家，教育部科研基金和科技奖励评审专家。主要从事：大数据、人工智能、数据挖掘与决策支持系统等方面的研究工作，具有深厚的理论基础及较为丰富的科研经验。发表科研学术论文80多篇，出版教材9部，主持及参加过30多项科研项目。