本书基于作者对云计算与物联网的相关研究成果，从云计算的工作原理出发，介绍作者研究开发的基于云平台的应用案例，提出自己的看法和思路；接着从物联网方面进行研究，介绍所开发的基于物联网的应用案例研究成果。对云计算与物联网的理论研究和技术实践经验总结，构成本书的主要内容。本书可以作为本科和研究生教材，也可以作为相关研究人员的参考书。

前 言 云计算与物联网是当今国内外备受关注的、由多学科高度交叉形成的新兴前沿研究领域。信息技术产业迅猛发展，极大丰富了人们生活的方方面面。与此同时，企业、组织和个人所产生的数据量也与日俱增，我们生活在一个数据增长比以往任何时候都要快的时代。IDC预测，2020年将有40亿人接入网络，全球数据量将达到44ZB，是2013年的10倍之多。特别是在互联网领域，随着Web 2.0技术的发展，以超大规模、高并发为特点的社交网站逐渐兴起，随之而来的海量用户数据需要处理。Web 2.0的“瘦客户端+服务”运行模式将这些庞大的数据处理任务交给服务器端，对服务器端的数据计算和存储能力要求越来越高。2012年，Google在世界范围内拥有数百万台服务器总量的数据中心，平均每天要处理33亿次的搜索请求，每月要处理的用户生成数据更是超过400PB；同年，Facebook公布其数据中心平均每天接收3亿幅用户上传的图片，数据库中新增数据也超过500TB。这些海量数据所蕴含的4V特征，即体量大（Volume）、模式多（Variety）、速度快（Velocity）、价值密度低（Value），正是大数据管理和信息提取的困难度和复杂性所在。随着社会全面信息化，我们进入了“大数据时代”。传统数据存储能力和数据处理技术逐渐显得乏力，云计算技术应运而生。 面对这些海量的数据，它们的存储、挖掘、实时处理等，都需要云计算作为技术支撑，所以云计算是让大数据发挥价值的关键。云计算采取集群计算，将若干独立计算实体通过网络整合成一个具有强大计算能力的资源池，并借助基础设施即服务（IaaS）、平台即服务（PaaS）、软件即服务（SaaS）和管理服务提供商（MSP）等先进的商业模式，把计算资源池中强大的计算能力按需分配到用户手中。工业界的云计算实例，包括Google公司的云计算平台以及云计算的网络应用程序（如Google App Engine），IBM公司的“蓝云”平台，Amazon公司的可伸缩弹性计算云等。其中，Google云计算平台成为了互联网云计算的领头羊。 在硬件系统方面，Google已经拥有超过200万台服务器。而随着大数据时代的深化以及云计算技术的发展，许多云服务提供商的云计算数据中心集群规模也持续扩展，服务器节点数目不断增多。这就带来了大规模集群和底层网络支撑之间矛盾的日益凸显，这一问题逐渐得到了学者和工业界的广泛关注。传统网络架构已不能满足越来越灵活的网络需求，软件定义网络（Software-Defined Networking，SDN）在这种背景下被人们提出。它可为网络提供实时、快速和灵活的配置能力，使得云计算中心集群可以根据需求来调用网络资源。近年来，Google公司已经在云计算数据中使用了SDN技术。 在软件系统方面，Google以学术论文的形式陆续公开了其GFS、MapReduce、BigTable等分布式海量数据处理框架，同时证明了该框架的高可扩展、高性能等优点。基于这些技术，Doug Cutting将其运用到了全网搜索引擎项目（Nutch）中。2006年年初，开发人员将这个开源实现移出了Nutch，成为Lucene的一个子项目，称为Hadoop。同年2月，Apache Hadoop项目正式启动，以支持MapReduce和HDFS的独立发展。其中，HDFS（Hadoop Distributed File System）是Hadoop的分布式文件系统，也是GFS的开源实现，它主要提供在集群中的流式高吞吐量数据访问。MapReduce则是Hadoop的分布式数据处理框架，也是Google MapReduce计算模型的开源实现，它支持大规模数据集的并行运算。 在大数据时代，计算能力已经成为衡量一个国家综合国力的重要标准，开源的Apache Hadoop提供了稳定、廉价、高效的大数据处理工具，是大数据计算的事实标准，成为云计算研究的重要样本之一，被广泛应用在海量数据的存储、计算、挖掘、分析、查询以及机器学习等领域。随着云计算技术的发展，不断有类似的大数据处理工具诞生，例如Spark、Storm等，这说明在市场需求方面有广阔的空间。 除此之外，从Apache基金会推出Hadoop平台到目前为止不过短短数年时间，虽然得到了学术界和工业界的重视，但在很多方面仍然需要进一步完善和提高。其中，调度策略作为一项关键技术还有很长的路要走。Hadoop中的调度策略组件负责系统中所有作业与其子任务的整个调度过程，包括如何选择作业和它的子任务，以及如何选择适合的计算节点来执行它们。调度的结果会直接影响Hadoop系统的整体性能和集群资源利用率。所以衡量调度策略优劣的主要指标就是系统对作业任务的响应时间（即周转时间），和集群资源（例如计算资源和带宽资源）的利用率。而目前Hadoop系统中仍在广泛使用的调度策略均存在许多不足之处。 社会信息化技术快速发展，通信系统与互联网技术的融合，使得科学研究工作不断更新，其中，物联网相关的各种技术研究状况较为热烈。物联网（Internet of Things，IoT）将物与物之间、人与物之间通过互联网联系起来，采取智能感知识别技术、计算机通信技术等，以互联网为核心基础，在其层面上深层次研究拓展而形成网络，用户通过物与物的通信过程实现信息交换，如远程管理、智能监控等信息化操作。从1999年中科院对IoT的研究工作开始，我国各项工程都针对IoT的相关技术进行了深层次的探索，如2006年在重庆成立的移动物联网运营中心，2009年建立的国家传感信息中心，2010年在上海开幕的IoT大会，将物联网视为国家重点发展新型产业之一。由于传感技术的逐渐成熟与政府的大力支持，智能交通、安防、家居等市场已经融入IoT的相关技术，多个城市已经投入规模化的应用，目前我国IoT的产业链已经基本形成。与此同时，云计算、大数据、移动互联网的时代已经来临，目前互联网的数据传递方式从最传统的形式变为海量数据互联，随着国内云计算服务的建设，IoT的广泛应用推动着云计算的发展。 本书作者经过近5年对云计算与物联网的学习和研究，积累了一定的成果，为本书的出版奠定了扎实的基础。我们首先从云计算的工作原理出发，通过吸收国内外大学和研究所的研究成果，对云计算技术进行了研究并开发了基于云平台的应用案例，提出自己的看法和思路；接着从物联网方面进行研究并开发了基于物联网的应用案例，取得一定的研究成果。随着不断地研究开发积累，通过对云计算与物联网的理论研究和技术实践经验总结，构成本书的全部内容。根据当前国家有关部门对云计算与物联网技术和应用的密切关注程度，以及国家未来15年中长期科技发展战略部署和国家重点基础研究发展计划纲要的主题，本书划分为18章、6大部分。第一部分主要介绍云计算产生、发展和应用，以及经典的云计算平台，包括Google、Amazon、Microsoft和OpenStack等。第二部介绍云平台优化技术、云存储关键技术、数据中心网络优化技术等内容。第三部分主要介绍新闻云、导航云等应用案例。第四部分介绍物联网体系结构及其关键技术。第五部分介绍物联网之触觉——传感网通信协议、节点定位关键技术及数据传输机制等。第六部分介绍物联网应用技术，包括儿童位置服务、智能实验室、基于SDN的视频应用和物联网数据融合技术等。 本书由尚凤军著，程克非博士、黄颖博士、雷建军博士、张旭博士等多次参与有关本书的技术讨论，提供了云计算与物联网的相关资料。另外，感谢重庆邮电大学计算机科学与技术学院对本书出版工作的支持。同时，参与资料整理的人员有付强、闫辰云、龚文娟、邓小林、王楹颖、吴江、陈炫伶、李燕、胡尚平、李雅琳、梁聪、刘海昇、何德祥、王文凯、晨星、李路中。另外，在本书编写过程中，引用和参考了部分其他作者和网上的相关文献材料，在此一并表示感谢。同时，被引用的内容版权归站点或其他作者所有。 本书的出版得到了国家自然科学基金项目（项目编号：61672004）、重庆邮电大学出版基金、重庆邮电大学教材建设项目（项目编号：JC2012-05）、重庆市基础与前沿研究计划项目（项目编号：cstc2016jcyjA0590）、重庆市研究生教育教学改革研究项目（项目编号：yjg143056）、重庆市高等教育教学改革研究项目（项目编号：173068）、重庆邮电大学教育教学改革研究项目（XJG1513）等的资助，特此表示感谢！ 由于水平有限，加之编写时间仓促，书中疏漏之处在所难免，欢迎广大读者和同行批评指正。无线传感器网络正处在飞速发展的阶段，我们愿在吸取大家意见和建议的基础上，不断修改和完善书中有关内容，为推动无线传感器网络应用领域的发展与进步尽微薄之力。 为充分展现本书编写特色，帮助读者深刻理解本书的编写意图与内涵，进一步提高对本书教学的使用效率，我们给出本书使用指导联络方式，欢迎读者将图书使用过程中的问题与各种探讨、建议反馈给我们，本书编者将竭诚为您服务。我们的联系方式是E-mail: shangfj@cqupt.edu.cn。 编 者 2017年9月

目 录 云 基 础 篇 第1章 云计算概述 2 1.1 云计算产生 2 1.2 云计算体系结构 3 1.3 云计算发展 5 1.4 云计算应用 5 参考文献 7 第2章 云计算基础 8 2.1 Google云计算 8 2.2 Amazon云计算 11 2.3 Microsoft云计算 13 2.4 VMware云计算 18 2.5 OpenStack云计算 21 2.6 开源云计算系统 23 2.7 云计算关键技术 25 2.8 国内云平台 26 参考文献 30 云 研 究 篇 第3章 Hadoop云计算中任务调度策略研究 34 3.1 Hadoop系统基本框架 34 3.1.1 Hadoop作业调度模型 35 3.2 MapReduce简介 35 3.2.1 MapReduce作业执行过程 36 3.2.2 MapReduce 的任务调度策略 37 3.2.3 云计算应用案例 38 3.3 Hadoop作业调度优化 42 3.3.1 MNBC调度策略 42 3.3.2 代价计算模型及调度算法 43 3.3.3 带宽节省效率分析 47 参考文献 50 第4章 OpenStack云计算中资源调度机制研究 51 4.1 OpenStack虚拟机初始资源调度算法 51 4.1.1 虚拟机初始资源调度算法概述 51 4.1.2 国内外研究现状 53 4.2 OpenStack的初始放置机制设计 54 4.2.1 虚拟机放置模型 55 4.2.2 虚拟机初始放置机制 56 4.3 OpenStack虚拟机初始放置算法仿真实现 60 4.3.1 MHD-VMP算法仿真流程 60 4.3.2 MHD-VMP算法代码仿真实现 61 4.4 仿真实验 62 4.4.1 实验条件 63 4.4.2 实验结果与分析 63 参考文献 65 第5章 数据中心网络传输机制研究 68 5.1 数据中心网络概述 68 5.1.1 多约束QoS路由算法 68 5.1.2 数据中心流量负载均衡 69 5.1.3 国内外研究现状 70 5.2 大象流碰撞回避流量调度算法 70 5.2.1 数据中心网络中大象流碰撞问题 71 5.2.2 基于FatTree的路由模型 71 5.2.3 单流调度优化算法 73 5.2.4 基于非等概率的大象流碰撞回避流量调度算法 74 5.3 仿真实验及分析 75 5.3.1 对比模型 75 5.3.2 实验方法 76 5.3.3 实验结果及分析 78 参考文献 81 第6章 云计算平台中混合存储机制研究 82 6.1 混合主存系统 82 6.1.1 混合主存系统概述 82 6.1.2 国内外研究现状 83 6.2 基于热度感知的页面划分管理算法 84 6.2.1 算法结构 84 6.2.2 页面迁移策略 88 6.2.3 页面管理策略 91 6.3 实验和结果分析 93 6.3.1 模拟器研究 93 6.3.2 实验环境 94 6.3.3 实验结果对比 95 参考文献 98 云 应 用 篇 第7章 新闻云 102 7.1 背景 102 7.2 新闻云搭建方案 102 7.3 实现流程及系统框架 104 7.3.1 新闻云服务 104 7.3.2 数据分析处理及存储 106 7.4 测试 106 7.4.1 新闻云手机客户端测试 107 7.4.2 客户机测试 108 参考文献 113 第8章 基于Hadoop平台的导航系统设计 115 8.1 背景 115 8.2 使用环境及软件介绍 115 8.3 原理 116 8.4 实现流程及系统框架 117 8.5 测试 118 8.5.1 测试环境 119 8.5.2 功能测试方案 119 8.5.3 性能测试方案 120 8.5.4 测试数据及结果 121 参考文献 123 第9章 基于Hadoop和Storm的交通预测 124 9.1 背景 124 9.2 应用技术 124 9.3 系统架构图 125 9.4 实现原理 125 9.5 测试 126 参考文献 128 物联网基础篇 第10章 物联网概述 130 10.1 物联网的产生 130 10.2 物联网的体系结构 132 10.3 物联网关键技术 133 10.4 物联网应用 134 参考文献 135 第11章 物联网基础 137 11.1 EPC与物联网 137 11.2 RFID技术 139 11.2.1 RFID的工作原理 140 11.2.2 RFID体系结构 140 11.2.3 RFID系统分类 141 11.2.4 RFID应用 142 11.3 智能技术 143 11.3.1 智能 143 11.3.2 智能技术的应用 143 11.4 纳米技术 145 11.4.1 纳米材料 145 11.4.2 纳米材料的特性 146 参考文献 146 物联网研究篇 第12章 传感器网络通信协议研究 150 12.1 传感器网络简介 150 12.2 无线传感器网络体系结构 150 12.3 传感器网络通信协议 152 12.3.1 CHTD簇头的产生 152 12.3.2 CHTD簇头数目的确定 153 12.3.3 CHTD最优簇半径 155 12.3.4 CHTD描述 156 12.4 CHTD算法的改进 157 12.5 仿真分析 161 12.5.1 生命周期 162 12.5.2 接收数据包量 164 12.5.3 能量消耗 165 12.5.4 负载均衡 166 参考文献 169 第13章 传感器网络定位研究 171 13.1 无线传感器网络定位技术 171 13.2 存在的问题 171 13.3 基于测距的定位方法 171 13.4 非测距定位算法 173 13.5 传感器网络应用 174 13.6 定位算法实现 175 13.7 定位算法仿真及分析 177 参考文献 180 第14章 基于随机游走的安全传输机 181 14.1 无线传感器安全 182 14.2 基于数据分片的安全路由机制 182 14.2.1 安全路由机制介绍 183 14.2.2 安全通信模型的实现与改进 183 14.3 仿真与分析 195 参考文献 198 物联网应用篇 第15章 儿童定位技术 202 15.1 背景 202 15.2 使用环境及软件 202 15.3 具体设计方案 202 15.3.1 整体架构 203 15.3.2 定位方法 205 15.4 测试 206 15.4.1 测试设备 206 15.4.2 测试内容 207 15.4.3 测试数据 209 15.4.4 测试结果分析 216 参考文献 218 第16章 智能实验室系统 220 16.1 智能实验室介绍 220 16.2 系统方案 220 16.3 实施原理及过程 222 16.4 硬件框图与测试结果 224 参考文献 227 第17章 软件定义网络应用 228 17.1 SDN技术及其在视频业务带宽保障中的应用 228 17.1.1 研究问题及本设计的特色 229 17.1.2 设计架构与程序流程 230 17.1.3 实验设计 232 17.1.4 实验结果 233 17.2 SDN中的链路故障快速重构应用 235 17.2.1 背景及应用场景 235 17.2.2 具体设计 236 17.2.3 实验测试 242 参考文献 246 第18章 物联网数据融合技术 248 18.1 多聚焦图像融合概述 248 18.2 基于DCT域多聚集图像融合算法及评判标准 249 18.2.1 几种重要的基于DCT域多聚集图像融合算法 249 18.2.2 常用的图像融合评价标准 253 18.3 一种基于DCT块与系数相结合的融合算法 254 18.3.1 无线视觉传感器中的图像融合 254 18.3.2 算法描述 254 18.3.3 实验结果 257 参考文献 258

尚凤军，博士，重庆邮电大学计算机学院教授。主要从事计算机网络、物联网、云计算等方向的研究。获国家发明专利授权4项；专著1部；论文40余篇。目前从事的科研项目主要研究方向涉及计算机网络、物联网、云计算等。__eol__