本书主要介绍了大数据的相关背景、大数据基础知识、大数据下的相关编程语言、相关工具框架以及大数据下的其他相关技术等，另外，还对机器学习、神经网络和深度学习等内容进行了介绍，并且对常用的大数据可视化工具进行了阐述。由于大数据、云计算、人工智能有着密不可分的关系，本书既包含了大数据的基础知识，同时也涵盖了大数据下的人工智能以及可视化工具等相关内容，方便读者通过本书了解到大数据以及相关技术的基础知识。本书可以作为本科院校、高等职业院校各专业学生学习大数据基础知识的教材，也可以满足对大数据分析感兴趣的广大读者的学习需求。

前 言 PREFACE 现代社会中，人们每天都在使用不同的方式来收集数据，例如通过手机浏览短视频、通过各种自媒体来读取感兴趣的内容等。而每个人在收集和使用数据的同时，也都时时刻刻在产生着数据。透过查询搜索引擎的关键词趋势，人们可以清楚地看到，在中国，2011年后 “数据”这个词语的搜索率在不断地上升，这意味着人们越来越关注 “数据”这个看不见摸不着而又确确实实是人们生活中必不可少的东西。从宏观的角度来看，一个人的数据似乎并不能产生什么特别大的价值，但是当海量的数据产生时，其中所蕴含的价值就能改变整个行业。大数据的出现，帮助了很多行业进行产业升级。无论是人们平时的生活还是商业行为甚至是政治活动，都在不知不觉中受到大数据的影响。例如当你每天打开电子商务网站，在将相关的推送商品添加进你的购物车中时，你就在享受大数据所带来的便利了。 大数据带来的不仅仅是购物车中物品的增加，同样也能改善人们的健康状况。透过大数据的技术，越来越多的遗传疾病可以在不久的将来被攻克。物联网、人工智能、云计算等更与大数据相辅相成，为信息化社会带来了新的技术革命。在这样的人工智能和数据为主的大时代中，国家更是将大数据作为战略之一进行重点发展。通过“大数据 +民生”的方式来促进产业升级，强化民生服务，通过深度开发各类便民应用从而提升人民的幸福感。 为了更好地普及大数据以及相关知识，帮助读者了解基本的大数据以及相关技术的概念，本书主要从大数据的基础、云计算的基本概念、人工智能等方面着手，帮助读者构建一个大数据以及相关技术的框架，开拓读者的视野。 本书主要介绍了大数据、云计算、人工智能等基本概念。为了方便读者更好地理解进而对大数据产生兴趣，本书并未添加过多的数学逻辑内容，因此本书也可以作为通用教材被非计算机专业的学生所使用。 本书由来自业内知名企业的专家和来自教学一线的教师共同编写。其中第 1章由浙江商业职业技术学院孔美云、宁波财经学院韦凝芳和浙江大学宁波理工学院唐云廷共同撰写，第 2章由陈述魏编写，第 3章至第 5章由陈述、魏苗和吴禀雅共同撰写。本书在编写过程中也参考了许多优秀的中英文专著和文献，在此一并表示感谢。 大数据、人工智能以及相关技术作为新兴领域，技术日新月异，相关学术观点以及理解也存在争议，希望有兴趣的读者能继续加深了解。由于时间有限，书中难免存在疏漏和不妥之处，望读者雅正，以便本书后续的完善。更多关于神经网络以及机器学习等的具体算法以及相关实际案例将在第2版中进行添加。 编著者 2018.12

目 录 1.1 大数据的产生 ............................................................................1 1.1.1.天文学——信息爆炸的起源 ...................................... 3 1.1.2.大数据产生的背景......................................................4 1.2 大数据与可视化 .......................................................................9 1.2.1.数据可视化的概念和意义 .......................................... 9 ▲ 1.2.2.打造最好的可视化效果 ............................................ 11 1.2.3.数据可视化的运用.................................................... 12 1.3 人工智能和大数据的关系 ......................................................13 1.4 大数据的相关技术 ..................................................................22 1.4.1.数据挖掘 ................................................................... 22 1.4.2.机器学习 ................................................................... 26 ▲ 1.4.3.神经网络 ................................................................... 29 第 2章大数据概述 ...................................................... 37 2.1 数据处理与大数据 ..................................................................37 2.1.1.古典数据处理案例.................................................... 38 2.1.2.现代数据处理案例.................................................... 39 2.2 什么是大数据 ..........................................................................40 2.3 大数据工作流程 ......................................................................41 ▲ 2.3.1.数据收集 ................................................................... 42 2.3.2.数据处理 ................................................................... 43 2.3.3.知识生成 ................................................................... 45 2.3.4.数据存储 ................................................................... 46 2.4 大数据来源 ..............................................................................47 2.4.1.互联网以及线上金融数据 ........................................ 48 2.4.2.社交平台数据............................................................ 49 2.4.3.传感器数据................................................................ 51 2.4.4.企业管理数据............................................................ 52 2.5 大数据特征 ..............................................................................52 2.5.1.大数据的基本特征：3V............................................ 53 2.5.2.大数据新增特征：4V ............................................... 55 2.5.3.IBM对于大数据的解读：5V ................................... 56 2.6 大数据基本架构设计原理 ......................................................58 第 3章大数据相关开发语言........................................63 3.1 Python语言 .............................................................................64 3.1.1.Python的历史 ........................................................... 64 3.1.2.Python的特点 ........................................................... 65 3.1.3.Python的版本与区别................................................ 66 3.1.4.Python的安装步骤 ................................................... 68 3.1.5.Python的基本用法 ................................................... 70 3.1.6.Python的常用库 ....................................................... 74 3.1.7.Python实际运用案例 ............................................... 76 3.1.8.Python金融数据分析实例........................................ 81 ▲ 3.2 R语言 ......................................................................................84 3.2.1.R语言简介 ............................................................... 84 3.2.2.R语言的特性 ........................................................... 85 3.2.3.R语言的安装 ........................................................... 86 3.2.4.R语言工具库的加载................................................ 87 3.2.5.R语言实际运用案例................................................ 88 3.3 分布式计算框架 ......................................................................91 3.3.1.大数据所带来的挑战 ................................................ 92 3.3.2.Hadoop概述.............................................................. 92 3.3.3.Hadoop的发展历史 .................................................. 93 3.3.4.Hadoop框架组件...................................................... 95 第 4章大数据的相关技术 ........................................... 99 4.1 云计算 ......................................................................................99 4.1.1.什么是云计算............................................................ 99 4.1.2.云计算的服务层面.................................................. 100 4.2 人工智能 ................................................................................101 4.3 机器学习 ................................................................................104 4.3.1.机器学习的原因...................................................... 105 4.3.2.机器学习的定义...................................................... 106 4.3.3.机器学习算法的分类 .............................................. 107 4.3.4.机器学习问题领域.................................................. 109 4.3.5.机器学习的一般步骤 .............................................. 110 4.3.6.模型评价指标.......................................................... 113 4.3.7.现实中的分类问题以及 KNN算法........................ 116 4.3.8.机器学习实例.......................................................... 118 4.4 神经网络和深度学习 ............................................................124 4.4.1.神经网络 ................................................................. 124 4.4.2.深度学习 ................................................................. 128 4.5 大数据可视化工具 ................................................................133 4.5.1.Matplotlib................................................................. 134 4.5.2.Excel......................................................................... 136 4.5.3.百度 ECharts............................................................ 148 4.5.4.Tableau..................................................................... 149 第 5章大数据分析应用案例：通过社交媒体对市场进行分析........................................................ 151 5.1 社交媒体非结构化大数据的背景 ........................................152 5.2 社交媒体大数据情绪分析 ....................................................156 5.2.1.情绪分析的概念...................................................... 156 5.2.2.情绪分析的步骤...................................................... 157 ▲▲ 5.2.3.情绪分析实际案例.................................................. 158 5.3 使用社交媒体大数据对市场结构进行分析 ........................160 5.3.1.市场结构及分析...................................................... 160 5.3.2.品牌联想网络.......................................................... 163 5.3.3.文本挖掘技术.......................................................... 165 5.3.4.市场结构分析步骤.................................................. 166 参考文献....................................................................... 171

http://www.hxedu.com.cn/hxedu/fg/book/bookinfo.html?code=G0360220