
云数据中心是云计算中负责存储、处理和交换数据信息的核心组件。本书重点介绍云数据中心中的智能管理技术与平台。本书在介绍云计算、云数据中心、云资源管理等的基础上,重点介绍了作者团队在云数据中心的创新性研究成果,主要包括基于VMA和区块链的云数据完整性监控方案和验证方案,基于SDN的多路径流量调度机制、自适应流表调节机制和攻击检测溯源机制,基于引力效应的虚拟机部署算法,基于CM-MC的负载预测算法,以及面向云计算系统的分布式协同监控机制,尤其是作者领导项目组研发的大规模云数据中心智能化功耗模拟器。
基于互联网基础设施的数据中心(Data Center)已经成为网络系统中负责存储、处理和交换数据信息的核心组件。如今,许多大中型机构都建立了自己的数据中心,以管理本机构的数字化信息,支持业务的高效运转。同时,各种数据中心在数量和规模上都迅速增长。但是,我们在从数据中心获得各种效益的同时,数据中心的成本、安全、能源消耗等也给我们带来了一系列严峻的挑战。传统数据中心管理复杂,难以适应新业务的发展需要,资源利用率低,运维成本居高不下。 云计算(Cloud Computing)通过网络有效聚合被虚拟化的计算资源,基于集中构建的数据中心为单一用户或多租客(Multi-Tenant)提供动态、高性价比、弹性规模扩展的计算、存储等各类信息服务,改变了传统信息技术产业的体系架构和运作模式,受到了国内外学术界和产业界的极大关注。目前本领域的研究人员已经在云计算的虚拟化、任务调度、资源管理、数据存储、网络结构及安全保障机制等方面取得了很多重要的研究成果。 为了支撑云计算平台,许多国家政府和具有显著影响力的企业机构纷纷构建大规模的云数据中心(Cloud Data Center)。随着云计算技术和大数据应用在数据中心中核心地位的逐渐确立,云数据中心已经成为近年来引人瞩目的研究热点。云数据中心是云计算环境下由硬件和软件组成的松耦合资源共享架构,以用户为中心,利用分布式技术按需提供各类云服务的资源共享架构,用户可以动态地使用这些硬件和软件资源,并根据服务使用量支付服务费用。 云数据中心是一种基于云计算架构的新型数据中心。Amazon、Google、IBM、阿里巴巴、腾讯、百度等商业机构都已经构建了各自的大规模云数据中心,并在云计算平台上承载了信息检索、数据挖掘、商业信息处理、科学计算和电子商务等大规模的数据处理工作,终端用户通过合适的互联网接入设备即可获取各类计算和数据服务。 然而,目前的云数据中心普遍存在以下问题。 (1)信息安全问题。基于集中建设、管理的云数据中心广泛聚集了用户的应用和数据资源,虽然可以组织安全专家及专业化安全服务队伍实现整个系统的安全管理,但也易受到黑客发动集中的攻击,从而带来更大的安全风险事故。安全事故一旦发生,用户信息就有可能被泄露和修改,后果十分严重。 (2)功耗巨大问题。相较于传统的数据中心功耗和性能不均衡问题,用于支持云计算系统的云数据中心在这方面有所改善,但其功耗仍然非常惊人,并仍然会在服务的高峰期出现服务质量(Quality of Service,QoS)难以保证和低谷期间资源浪费等一系列问题。 (3)运维规模问题。在大数据时代,云数据中心系统管理人员需要管理日益庞大、复杂的云计算系统,其中包含计算机系统、通信和存储系统、数据通信连接、环境控制设备、监控设备及各种安全装置等,给高效运维带来了巨大的困难。 (4)发展不平衡问题。目前的云数据中心在绿色节能方面仍有较大的改善空间,云数据中心标准体系仍不够完善,标准工作尚不能满足业界对数据中心服务质量、评估、评测、数据安全等方面的需求。 在学术界,云数据中心的存储、网络、容灾、节能、环境控制等方向的研究已成为较活跃的研究领域,很多高校与研究部门针对云数据中心关键技术展开了多方面研究。在产业界,国内外企业也投入大量的人力、物力和财力进行云数据中心的战略部署。从全球的综合实力来看,公有云厂商发展较为成熟的是Amazon、Microsoft、Google、阿里巴巴和IBM。Amazon网络服务(Amazon Web Service,AWS)云平台以其极高的市场占有率,在全球保持领先地位,而阿里巴巴的阿里云则是跻身全球前列的国内云服务商。 本书作者在云计算、大数据、系统运维、信息安全技术及节能优化领域进行了多年的研究,具有扎实的理论基础和实践经验。本书的内容主要源于作者所领导科研团队承担和参与的国家重点研发计划专项项目“数据驱动的云数据中心智能管理技术与平台”(编号:2018YFB1003700)、国家自然科学基金项目“面向绿色云计算的节能型资源整合和任务调度关键技术的研究”(编号:61472192)、江苏省 “333工程”科研项目“面向高效能云计算系统的智能虚拟化机制及平台”(编号:BRA2017228)、江苏省“六大人才高峰”高层次人才资助项目“节能优化的多数据中心的资源协同管理与任务动态调度关键技术”(编号:JNHB-012)等研究工作和相关成果。 针对目前国内对云计算及云数据中心技术的研究需求,本书参考国内外前沿资料,在认真总结作者主持的国家自然科学基金项目、国家重点研发计划专项项目等相关科研成果的基础上,精心组织编写。本书详细、深入地介绍了云计算、云数据中心、云资源管理、云数据中心数据安全、云数据中心软件定义网络、云数据中心节能优化、云数据中心协同监控和云管理仿真模拟器,集中反映了云数据中心的新思路、新观点、新方法和新成果,具有较高的学术价值和应用价值。 本书分三大部分:第1~3章的主要内容为云计算概述、云计算关键技术、云计算技术延伸、数据中心的发展、云数据中心基本概念、云数据中心关键技术、云数据中心的机遇与风险、新型云数据中心、资源管理、计算资源管理、网络资源管理、存储资源管理、镜像管理、虚拟化管理、功耗管理、安全认证管理;第4~7章的主要内容为数据安全、云数据完整性方案、基于VMA的云数据完整性监控方案、基于区块链的云数据完整性验证方案、云数据完整性保护系统、SDN技术现状及存在问题、基于SDN的多路径流量调度机制、基于SDN的自适应流表调节机制、基于SDN的攻击检测溯源机制、SDN中流表优化及攻击检测系统、绿色云计算、基于引力效应的虚拟机部署算法、基于CM-MC的负载预测算法、面向云计算系统的分布式协同监控机制、云数据中心协同监控系统;第8章的主要内容为云管理仿真模拟器的背景与需求、典型云仿真平台、大规模云数据中心智能化功耗模拟器。 本书从实际出发,采用读者容易理解的体系和叙述方法,深入浅出、循序渐进地帮助读者把握云数据中心技术的主要内容,富有启发性。与国内外已出版的同类书籍相比,本书选材新颖,学术思想新,内容新,体系完整,内容丰富,参考案例实用性强、应用价值高,概念清晰,通俗易懂。本书既可作为高校计算机科学与技术、软件工程、信息安全及自动化专业的教材,也可作为从事分布式计算、网络通信、信息安全技术、信息应用系统研究和开发工作的科研人员的参考用书。 项目团队中的李洋、林皓伟、蒋帅参与了本书的编写工作。本书融合了林皓伟、刘广沛、胡留赟、谌运、张栖桐等成员的研究成果。此外,本书还引用了国内外相关研究人员的诸多研究成果,以及网络上的相关资料,在此向这些研究人员及资料提供者表示衷心感谢! 由于编写时间仓促,加之作者水平有限,书中难免存在错误及不妥之处,敬请广大读者批评指正。 作 者
第1章 云计算 1 1.1 云计算概述 1 1.1.1 云计算概念 1 1.1.2 云计算发展历程 3 1.1.3 云计算体系架构 12 1.2 云计算关键技术 16 1.2.1 虚拟化 16 1.2.2 分布式计算 24 1.2.3 云存储 29 1.2.4 云安全 36 1.2.5 云能源 41 1.2.6 云网络 46 1.2.7 资源监控 51 1.3 云计算技术延伸 53 1.3.1 边缘计算及雾计算 53 1.3.2 云端融合计算 57 1.3.3 区块链 58 1.4 本章小结 62 本章参考文献 62 第2章 云数据中心 71 2.1 数据中心的发展 71 2.1.1 发展历程 71 2.1.2 传统数据中心 73 2.2 云数据中心基本概念 74 2.2.1 基本概念与特征 74 2.2.2 云数据中心架构 75 2.2.3 云数据中心分类 76 2.2.4 传统数据中心与云数据中心的比较 76 2.3 云数据中心关键技术 78 2.3.1 存储技术 78 2.3.2 网络技术 80 2.3.3 容灾技术 81 2.3.4 电源管理技术 82 2.3.5 环境控制技术 83 2.4 云数据中心的机遇与风险 84 2.4.1 机遇 84 2.4.2 风险 84 2.5 新型云数据中心 86 2.5.1 Amazon云数据中心 86 2.5.2 阿里云数据中心 90 2.6 本章小结 95 本章参考文献 95 第3章 云资源管理 97 3.1 资源管理 97 3.1.1 资源管理概述 97 3.1.2 资源管理目标 98 3.1.3 单数据中心 99 3.1.4 多数据中心 99 3.2 计算资源管理 100 3.3 网络资源管理 101 3.3.1 网络资源管理目标 101 3.3.2 对用户的管理 102 3.3.3 对系统的管理 102 3.3.4 对计费的管理 103 3.4 存储资源管理 103 3.4.1 云存储的目的 103 3.4.2 云存储技术 104 3.4.3 云存储管理 105 3.5 镜像管理 106 3.5.1 镜像简介 106 3.5.2 镜像管理方法 106 3.6 虚拟化管理 110 3.7 功耗管理 113 3.7.1 虚拟化节能 113 3.7.2 任务调度节能 113 3.7.3 负载均衡节能 114 3.7.4 DVFS节能 114 3.8 安全认证管理 114 3.9 本章小结 116 本章参考文献 117 第4章 云数据中心数据安全 121 4.1 数据安全 121 4.1.1 数据完整性 121 4.1.2 数据隐私保护 123 4.1.3 数据销毁 125 4.2 云数据完整性方案 126 4.2.1 密码学基础 126 4.2.2 完整性验证模型 127 4.2.3 完整性验证方案 128 4.3 基于VMA的云数据完整性监控方案 130 4.3.1 基本概念 130 4.3.2 体系架构 132 4.3.3 工作流程 135 4.3.4 监控方案 136 4.3.5 安全性分析 138 4.3.6 性能分析 140 4.4 基于区块链的云数据完整性验证方案 140 4.4.1 算法描述 141 4.4.2 安全性分析 143 4.4.3 实验与验证 145 4.5 云数据完整性保护系统 148 4.5.1 系统架构 148 4.5.2 系统整体流程 150 4.5.3 关键类图 151 4.5.4 系统实现 152 4.6 本章小结 161 本章参考文献 161 第5章 云数据中心软件定义网络 165 5.1 SDN技术现状及存在问题 165 5.2 基于SDN的多路径流量调度机制 166 5.2.1 多路径流量调度算法模型架构 168 5.2.2 负载监控模块 169 5.2.3 路径优化模块 169 5.2.4 流表下发模块 171 5.2.5 实验验证与性能分析 172 5.3 基于SDN的自适应流表调节机制 177 5.3.1 网络分析 177 5.3.2 自适应流表调节算法 180 5.3.3 实验验证与性能分析 183 5.4 基于SDN的攻击检测溯源机制 187 5.4.1 模型分析 187 5.4.2 攻击检测溯源算法 189 5.4.3 实验验证与性能分析 193 5.5 SDN中流表优化及攻击检测系统 196 5.5.1 整体架构设计 196 5.5.2 系统实现 198 5.6 本章小结 203 本章参考文献 203 第6章 云数据中心节能优化 207 6.1 绿色云计算 207 6.2 基于引力效应的虚拟机部署算法 208 6.2.1 数据中心与其制冷方式 209 6.2.2 虚拟机部署算法 210 6.2.3 VSG算法 211 6.2.4 VSG算法实现 218 6.2.5 实验与性能分析 222 6.3 基于CM-MC的负载预测算法 229 6.3.1 基本概念 231 6.3.2 CM-MC算法 234 6.3.3 基于CM-MC算法与VSG算法的虚拟机迁移机制 239 6.3.4 实验验证与性能分析 240 6.4 本章小结 247 本章参考文献 247 第7章 云数据中心协同监控 251 7.1 面向云计算系统的分布式协同监控机制 251 7.1.1 协同监控模型 253 7.1.2 自适应阈值控制算法 259 7.1.3 监控数据采集 261 7.1.4 实验验证与性能分析 264 7.2 云数据中心协同监控系统 268 7.2.1 整体架构设计 268 7.2.2 系统实现——节点资源管理模块 268 7.2.3 系统实现——网络资源管理模块 275 7.3 本章小结 276 本章参考文献 277 第8章 云管理仿真模拟器 279 8.1 背景与需求 279 8.2 典型云仿真平台 280 8.2.1 CloudSim 280 8.2.2 其他云仿真平台 282 8.3 大规模云数据中心智能化功耗模拟器 285 8.3.1 设计目标 285 8.3.2 功耗预测原理 288 8.3.3 系统流程 289 8.3.4 实验验证与性能分析 291 8.4 本章小结 301 本章参考文献 301