本书是国内销量最大、被众多高校采用的教材《云计算》的最新升级版，是中国云计算专家咨询委员会秘书长刘鹏教授团队的心血之作。在应对大数据挑战的过程中，云计算技术日趋成熟，拥有大量的成功商业应用。本书追踪最新技术，相比第二版更新了60%以上的内容，包括大数据与云计算、Google云计算、Amazon云计算、微软云计算、Hadoop 2.0及其生态圈、虚拟化技术、OpenStack开源云计算、云计算数据中心、云计算核心算法和中国云计算技术等。刘鹏教授创办的中国云计算（chinacloud.cn）、中国大数据（thebigdata.cn）网站和刘鹏微信公众号（lpoutlook）为本书学习提供技术支撑。

第三版前言 《云计算》第一版于2010年3月出版，第二版于2011年5月出版。时隔四年，在读者的翘首以待中，最受欢迎的云计算教材，终于出第三版啦！ 有趣的是，2010年初，我曾经发表了《云计算开启潘多拉星球时代》一文，对2015年的云计算发展进行了预测，我们来看看准不准。 “云计算的影响将是深远的，它将彻底改变IT产业的架构和运行方式。作者在此（2010年1月）做出大胆预测，请广大读者在5年后（2015年1月）回过头来检验这些预测的正确性：在短期之内，高性能计算机、高端服务器、高端存储器、高端处理器的市场的增长率将进入拐点，这些高端硬件市场将被数量众多、低成本、低能耗、高性价比的云计算硬件市场所挤占。紧接着，成本远高于云计算的传统数据中心（IDC），将因为其过高的硬件、网络、管理和能耗成本，以及过低的资源利用率，而迅速被云计算数据中心取代，已建的数以万计的数据中心将被迫转换成云计算运行模式。很快地，绝大多数软件将以服务方式呈现，用户通过浏览器访问，数据都存储在‘云’中。甚至连大多数游戏都将在‘云’里运行，用户终端只负责玩家输入和影音输出。在不远的将来，会出现‘泛云计算化’的现象，呼叫中心、网络会议中心、智能监控中心、数据交换中心、视频监控中心、销售管理中心等，将越来越向某些超大型专业运营商集中而获取高得多的性价比。” 可以说，云计算发展到今天，与预测的结果非常吻合！现在几乎是一切皆云了！ 我们唯一能做的就是跟上变化。学习最新的云计算知识，应对大数据挑战，武装自己，迎接未来！ 一些同志参加了《云计算》第二版的编写工作，第三版部分地继承了他们的成果，在此记载他们的贡献。他们是：朱军、田浪军、程浩、张洁、张贞、李浩、邓鹏、刘楠、张建平、邓谦、魏家宾、王昊、李松、马少兵、冯颖聪、陈秋晓、傅雷扬等。在此一并致谢！ 作者时间充分，但水平有限，欢迎大家不吝赐教。可以通过“刘鹏看未来”（lpoutlook）微信公众号或刘鹏的邮箱gloud@126.com与刘鹏取得联系。 刘鹏 教授 2015年7月1日

目 录 第1章 大数据与云计算 1 1.1 大数据时代 1 1.2 云计算——大数据的计算 3 1.3 云计算发展现状 6 1.4 云计算实现机制 7 1.5 云计算压倒性的成本优势 9 习题 12 参考文献 12 第2章 Google云计算原理与应用 13 2.1 Google文件系统GFS 13 2.1.1 系统架构 14 2.1.2 容错机制 16 2.1.3 系统管理技术 17 2.2 分布式数据处理MapReduce 17 2.2.1 产生背景 17 2.2.2 编程模型 18 2.2.3 实现机制 19 2.2.4 案例分析 20 2.3 分布式锁服务Chubby 22 2.3.1 Paxos算法 23 2.3.2 Chubby系统设计 24 2.3.3 Chubby中的Paxos 26 2.3.4 Chubby文件系统 28 2.3.5 通信协议 29 2.3.6 正确性与性能 31 2.4 分布式结构化数据表Bigtable 32 2.4.1 设计动机与目标 32 2.4.2 数据模型 33 2.4.3 系统架构 34 2.4.4 主服务器 35 2.4.5 子表服务器 36 2.4.6 性能优化 40 2.5 分布式存储系统Megastore 41 2.5.1 设计目标及方案选择 41 2.5.2 Megastore数据模型 42 2.5.3 Megastore中的事务及并发控制 44 2.5.4 Megastore基本架构 45 2.5.5 核心技术——复制 47 2.5.6 产品性能及控制措施 51 2.6 大规模分布式系统的监控基础架构Dapper 52 2.6.1 基本设计目标 52 2.6.2 Dapper监控系统简介 53 2.6.3 关键性技术 56 2.6.4 常用Dapper工具 57 2.6.5 Dapper使用经验 59 2.7 海量数据的交互式分析工具Dremel 61 2.7.1 产生背景 61 2.7.2 数据模型 62 2.7.3 嵌套式的列存储 63 2.7.4 查询语言与执行 68 2.7.5 性能分析 70 2.7.6 小结 71 2.8 内存大数据分析系统PowerDrill 71 2.8.1 产生背景与设计目标 71 2.8.2 基本数据结构 72 2.8.3 性能优化 73 2.8.4 性能分析与对比 75 2.9 Google应用程序引擎 76 2.9.1 Google App Engine简介 77 2.9.2 应用程序环境 78 2.9.3 Google App Engine服务 80 习题 88 参考文献 88 第3章 Amazon云计算AWS 90 3.1 基础存储架构Dynamo 90 3.1.1 Dynamo概况 90 3.1.2 Dynamo架构的主要技术 91 3.2 弹性计算云EC2 99 3.2.1 EC2的基本架构 99 3.2.2 EC2的关键技术 100 3.2.3 EC2的安全及容错机制 102 3.3 简单存储服务S3 103 3.3.1 S3的基本概念和操作 103 3.3.2 S3的数据一致性模型 105 3.3.3 S3的安全措施 105 3.4 非关系型数据库服务SimpleDB和DynamoDB 108 3.4.1 非关系型数据库与传统关系数据库的比较 108 3.4.2 SimpleDB 108 3.4.3 DynamoDB 110 3.4.4 SimpleDB和DynamoDB的比较 111 3.5 关系数据库服务RDS 111 3.5.1 RDS的基本原理 111 3.5.2 RDS的使用 112 3.6 简单队列服务SQS 113 3.6.1 SQS的基本模型 113 3.6.2 SQS的消息 114 3.7 内容推送服务CloudFront 115 3.7.1 CDN 116 3.7.2 CloudFront 117 3.8 其他Amazon云计算服务 119 3.8.1 快速应用部署Elastic Beanstalk和服务模板CloudFormation 119 3.8.2 DNS服务Router 53 120 3.8.3 虚拟私有云VPC 120 3.8.4 简单通知服务和简单邮件服务 120 3.8.5 弹性MapReduce服务 121 3.8.6 电子商务服务DevPay、FPS和Simple Pay 122 3.8.7 Amazon执行网络服务 127 3.8.8 土耳其机器人 128 3.8.9 数据仓库服务Redshift 129 3.8.10 应用流服务AppStream和数据流分析服务Kinesis 129 3.9 AWS应用实例 130 3.9.1 照片和视频共享网站SmugMug 130 3.9.2 视频制作网站Animoto 131 3.9.3 网站排名Alexa 132 3.10 小结 132 习题 132 参考文献 133 第4章 微软云计算Windows Azure 136 4.1 微软云计算平台 136 4.2 微软云操作系统Windows Azure 137 4.2.1 Windows Azure概述 137 4.2.2 Windows Azure计算服务 138 4.2.3 Windows Azure存储服务 140 4.2.4 Windows Azure Connect 147 4.2.5 Windows Azure CDN 148 4.2.6 Fabric控制器 149 4.3 微软云关系数据库SQL Azure 150 4.3.1 SQL Azure概述 150 4.3.2 SQL Azure关键技术 151 4.3.3 SQL Azure和SQL Server对比 153 4.4 Windows Azure AppFabric 154 4.4.1 AppFabric概述 154 4.4.2 AppFabric关键技术 155 4.5 Windows Azure Marketplace 159 4.6 Windows Azure服务平台 160 4.6.1 网站 160 4.6.2 虚拟机 161 4.6.3 云服务 162 4.6.4 移动服务 163 4.6.5 大数据处理 164 4.6.6 媒体支持 165 习题 166 参考文献 166 第5章 Hadoop 2.0：主流开源云架构 168 5.1 引例 168 5.1.1 问题概述 168 5.1.2 常规解决方案 168 5.1.3 分布式下的解决方案 169 5.1.4 小结 173 5.2 Hadoop 2.0简述 173 5.2.1 Hadoop 2.0由来 173 5.2.2 Hadoop 2.0相关项目 174 5.2.3 Hadoop应用 175 5.3 Hadoop 2.0部署 175 5.3.1 部署综述 175 5.3.2 传统解压包部署 179 5.4 Hadoop 2.0体系架构 182 5.4.1 Hadoop 2.0公共组件Common 182 5.4.2 分布式文件系统HDFS 184 5.4.3 分布式操作系统Yarn 190 5.4.4 Hadoop 2.0安全机制简介 198 5.5 Hadoop 2.0访问接口 199 5.5.1 访问接口综述 199 5.5.2 浏览器接口 199 5.5.3 命令行接口 200 5.6 Hadoop 2.0编程接口 202 5.6.1 HDFS 编程 202 5.6.2 Yarn编程 205 习题 214 参考文献 214 第6章 Hadoop 2.0大家族 215 6.1 Hadoop 2.0大家族概述 215 6.1.1 分布式组件 215 6.1.2 部署概述 217 6.2 ZooKeeper 223 6.2.1 ZooKeeper简介 223 6.2.2 ZooKeeper 入门 224 6.3 Hbase 226 6.3.1 Hbase简介 226 6.3.2 Hbase入门 229 6.4 Pig 232 6.4.1 Pig简介 232 6.4.2 Pig入门 233 6.5 Hive 234 6.5.1 Hive简介 234 6.5.2 Hive入门 235 6.6 Oozie 238 6.6.1 Oozie简介 238 6.6.2 Oozie入门 238 6.7 Flume 241 6.7.1 Flume简介 241 6.7.2 Flume入门 243 6.8 Mahout 246 6.8.1 Mahout简介 246 6.8.2 Mahout入门 246 6.9 小结 247 习题 248 参考文献 248 第7章 虚拟化技术 250 7.1 虚拟化技术简介 250 7.2 服务器虚拟化 251 7.2.1 服务器虚拟化的层次 251 7.2.2 服务器虚拟化的底层实现 252 7.2.3 虚拟机迁移 253 7.2.4 隔离技术 256 7.2.5 案例分析 257 7.3 存储虚拟化 258 7.3.1 存储虚拟化的一般模型 258 7.3.2 存储虚拟化的实现方式 259 7.3.3 案例分析 260 7.4 网络虚拟化 262 7.4.1 核心层网络虚拟化 262 7.4.2 接入层网络虚拟化 262 7.4.3 虚拟机网络虚拟化 262 7.4.4 案例分析: VMware的网络虚拟化技术 263 7.5 桌面虚拟化 265 7.5.1 桌面虚拟化简介 266 7.5.2 技术现状 266 7.5.3 案例分析 267 习题 267 参考文献 268 第8章 OpenStack开源虚拟化平台 269 8.1 OpenStack背景介绍 269 8.1.1 OpenStack是什么 269 8.1.2 OpenStack的主要服务 270 8.2 计算服务Nova 272 8.2.1 Nova组件介绍 272 8.2.2 Libvirt简介 273 8.2.3 Nova中的RabbitMQ解析 275 8.3 对象存储服务Swift 282 8.3.1 Swift特性 282 8.3.2 应用场景 283 8.3.3 Swift主要组件 284 8.3.4 Swift基本原理 286 8.3.5 实例分析 290 8.4 镜像服务Glance 291 8.4.1 Glance的作用 291 8.4.2 Glance的组成部分 291 习题 292 参考文献 292 第9章 云计算数据中心 293 9.1 云数据中心的特征 293 9.2 云数据中心网络部署 294 9.2.1 改进型树结构 294 9.2.2 递归层次结构 296 9.2.3 光交换网络 299 9.2.4 无线数据中心网络 301 9.2.5 软件定义网络 301 9.3 绿色节能技术 305 9.3.1 配电系统节能技术 305 9.3.2 空调系统节能技术 307 9.3.3 集装箱数据中心节能技术 310 9.3.4 数据中心节能策略和算法研究 312 9.3.5 新能源的应用 315 9.3.6 典型的绿色节能数据中心 318 9.4 自动化管理 320 9.4.1 自动化管理的特征 320 9.4.2 自动化管理实现阶段 321 9.4.3 Facebook自动化管理 322 9.5 容灾备份 324 9.5.1 容灾系统的等级标准 325 9.5.2 容灾备份的关键技术 325 9.5.3 云存储在容灾备份中的应用 327 习题 328 参考文献 328 第10章 云计算核心算法 332 10.1 Paxos算法 332 10.1.1 Paxos 算法背景知识 332 10.1.2 Paxos 算法详解 333 10.1.3 Paxos 算法举例 336 10.2 DHT算法 338 10.2.1 DHT原理介绍 339 10.2.2 Chord中DHT的具体实现 340 10.2.3 Pastry中DHT的具体实现 342 10.2.4 CAN中DHT的具体实现 343 10.2.5 Tapestry中DHT的具体实现 345 10.3 Gossip协议 345 10.3.1 Gossip协议的特点 346 10.3.2 Gossip协议的通信方式及收敛性 346 10.3.3 Gossip节点管理算法 348 10.3.4 Cassandra中Gossip协议的具体实现方式 349 10.3.5 CoolStreaming系统中Gossip协议的具体实现方式 352 习题 354 参考文献 354 第11章 中国云计算技术 355 11.1 国内云计算发展概况 355 11.2 国产云存储技术 356 11.2.1 淘宝分布式文件系统TFS 356 11.2.2 云创存储cStor分布式文件系统 359 11.2.3 A8000超低功耗云存储一体机 364 11.3 国产大数据库技术 367 11.3.1 阿里巴巴OceanBase 367 11.3.2 云创存储数据立方（DataCube） 371 11.4 云视频监控技术 376 11.4.1 cVideo云视频监控系统 376 11.4.2 cVideo智能分析系统 378 11.4.3 cVideo云转码系统 381 11.5 阿里巴巴阿里云服务 383 11.5.1 阿里云计算体系架构 383 11.5.2 弹性计算服务（ECS） 384 11.5.3 开放存储服务（OSS） 385 11.5.4 开放结构化数据服务（OTS） 385 11.5.5 开放数据处理服务（ODPS） 385 11.5.6 关系型数据库（RDS） 386 11.6 云创存储万物云服务 386 11.6.1 平台简介 386 11.6.2 系统架构 387 11.6.3 功能服务 388 11.6.4 应用举例 391 习题 392 参考文献 392 第12章 总结与展望 394 12.1 主流商业云计算解决方案比较 394 12.1.1 应用场景 394 12.1.2 使用流程 396 12.1.3 体系结构 397 12.1.4 实现技术 397 12.1.5 核心业务 398 12.2 主流开源云计算系统比较 400 12.2.1 开发目的 401 12.2.2 体系结构 402 12.2.3 实现技术 403 12.2.4 核心服务 403 12.3 云计算的历史坐标与发展方向 404 12.3.1 互联网发展的阶段划分 404 12.3.2 云格（Gloud）——云计算的未来 407 习题 409 参考文献 409

http://www.hxedu.com.cn/hxedu/fg/book/bookinfo.html?code=TP263860