
本书以工程实践为导向,详细阐述了持久内存的整体技术细节。本书对持久内存的硬件和固件架构、编程模型、优化方法等方面都进行了深入剖析。从架构选择、方案实施、性能调优几个方面,对数据库、大数据等场景进行了细致介绍,以帮助读者建立掌握持久内存应用的系统方法。本书还对持久内存和内存计算的未来发展趋势也进行了探讨,通过抛砖引玉,希望对业界人员在该领域的进一步创新有所帮助。
推荐序一 当我们审视如人工智能、5G、自动驾驶、电子商务、区块链等行业的技术发展趋势时,会碰到一个共同的挑战:其对数据的需求持续增长,并且超过了我们现有的存储、移动和处理数据的能力。DRAM(Dynamic Random Access Memory)虽然速度足够快,且可以将稳定的数据流提供给功能强大的处理器和AI算法,但由于其价格昂贵,因此只能用于小容量设计。当数据超过DRAM的容量时,处理器就要从后级存储中获取数据,从而导致访问延时以指数级增加。因此我在整个职业生涯中一直致力于开发新兴的存储技术,以期解决DRAM速度与存储容量和非易失性之间的矛盾,从而推动该行业的持续发展。 现在,借助英特尔傲腾持久内存,我们在内存-存储子系统中创建了一个新的层次,这使整个行业都得以受益。持久性内存基于革命性的英特尔3D-XPoint存储介质技术,将传统内存的速度与存储的容量和持久性结合在一起。自从该方案于2019年4月推出,我们已经看到了一系列针对数据存储问题的创新解决方案。例如,在相同成本的硬件上支持更高密度的虚拟机,或通过从持久内存而非存储中重建数据库来减少重新加载时间。鉴于DRAM已接近其扩展极限,而处理器技术还需继续扩展性能及其相应的内存需求,因此拓展新层次的内存是一个必然趋势。英特尔只是这场革命的第一个成员。 中国有着丰富的创新成长土壤。从2019年英特尔傲腾持久内存发布后,中国就一直站在持久内存应用创新的前沿。从AI推理系统优化、内存数据库更具可扩展性和可负担性,到建立适合社区的开放性解决方案,中国公司对持久内存和新的内存-存储架构进行了大量探索,并在生产环境中进行了部署实践。本书作者总结了大量关于硬件和软件系统的应用设计经验,可以向更广泛的社区进行分享。 自二十多年前NAND闪存问世以来,在内存-存储层次架构中引入新层级是业界最艰巨的挑战。创新者们正在积累宝贵的经验,把物理及虚拟化的基础架构、中间件和软件融合在一起,加速下一波技术发展趋势。我很荣幸能为这项工作做出一些贡献,也欢迎您加入这场持久内存技术革命。 阿尔珀?伊尔克巴哈(Alper Ilkbahar) 数据平台事业部副总裁 内存和存储产品事业部总经理 英特尔公司 2021年1月 推荐序二 持久内存并不是一个全新的概念。学术界早在20世纪,就已经开始了对持久内存颗粒和应用技术的研究。随着移动互联网的蓬勃发展,应用接入端对存储系统的要求不断提高:数据规模越来越大,数据访问频率越来越高,曾被寄予厚望的Flash技术,愈发难以满足需求。从早期的Flash DIMM(一种将Flash颗粒贴在DIMM条上的技术),到NVDIMM标准的确立,再到基于DRAM+Flash的NVDIMM-N产品的问世,业界关于持久内存的尝试从未停止。但真正把持久内存从实验室推向工业界的是2016年英特尔公司和美光(Micron)公司联合发布的3D-XPoint颗粒技术,以及之后英特尔公司基于3D-XPoint颗粒研发的英特尔Optane(傲腾)系列产品和配套的软硬件架构。 Flash是一项被熟知的技术,我们的手机、计算机等各类电子产品都使用Flash作为数据存储颗粒。在数据中心内部,Flash作为主要的高速存储介质,响应着峰值高达每秒亿次的请求。作为机械硬盘的替代品,Flash非常好地解决了随机读写吞吐、读写延时和存储密度低等问题。然而,Flash的读写延时长尾,页对齐访问、读写放大及擦写寿命等问题,限制了Flash的使用场景。此外,从平均访问延时上分析,Flash百微秒的量级对比内存几十纳秒的量级,有着103的量级的差距。简单来说,访问一次Flash的耗时,可以访问一千次内存,存储系统中的数据持久化操作,仍旧是突出的性能瓶颈。传统的DRAM内存,由于其容量有限且数据易失,无法满足数据量和编程模型的需求。持久内存,尤其是3D-XPoint技术的出现,在一定程度上解决了这些问题。 持久内存拥有比Flash更低的读写延时、更稳定的QoS、更高的寿命,以及近似内存的读写访问模式,可以提供更好的性能。利用3D-XPoint技术的高存储密度,可以将单台机器的内存容量轻松扩展到几TB。借助持久内存的数据非易失特性,可以重新构建存储系统的数据持久化架构,实现更好的服务质量和数据恢复效率。然而令人遗憾的是,国内关于持久内存的研究相对来说较少,且缺乏系统性,对这项技术感兴趣的人,很难从网络中获取相关资料。即使已经在使用持久内存技术的团队,对该技术的了解,往往也只停留在表面。这极大的限制了技术人员对持久内存的技术探索和规模部署,导致一些适合部署持久内存的场景还在使用不适合的旧技术来满足需求,甚至干脆不能提供满足需求的策略。 这本由英特尔公司一线技术人员编写的《持久内存架构与工程实践》,详细地介绍了持久内存技术的软硬件架构。相信对计算机体系结构有一定基础的读者,在读完这本书之后,对持久内存会有更加清晰的认识,进而可以尝试在自己的项目里使用持久内存。我在试读样稿之后,有这样几个体会:首先,这本书的知识结构非常系统。不像网络上关于持久内存的只言片语,或者在一些应用场景中介绍的浅尝辄止,而是从比较系统和全面的角度,介绍了持久内存的原理、架构和使用模式等,高屋建瓴。其次,内容有针对性且通俗易懂。本书作者作为英特尔公司一线技术团队,在推广持久内存技术的过程中,汇总了业务团队和一线研发人员最关注的问题,并在书中对这些问题进行了有针对性的解答和介绍,内容鞭辟入里。最后,书中还集成了持久内存工程实践的例子。这些工程实践是过去一年中知名互联网厂商规模部署持久内存的真实案例,时效性很强,极具参考性,是不可多得的技术资料。 以前,国内的技术人员在很多时候只能阅读翻译的外文书籍,或者查阅国外的资料去了解最新的技术,获取的资料要么已经过时,难以举一反三;要么翻译不符合我们的语义,难以全面理解;要么举例离我们的生活太远,不能很好领悟,因此,这些技术图书的最终命运往往就是被束之高阁。而本书完全由国人编写,面向国内技术人员,案例也更多的取自国内场景。在确保严谨的同时,带来了很好的阅读体验。 移动互联网时代,越来越多的国内厂商探索出了有自身特色的应用。希望这本书可以帮助读者在自己的场景中,借助持久内存,创造出更大的价值。 感谢李志明、潘丽娜、朱大义、张志杰和整个英特尔团队,在百度导入持久内存技术的过程中给予的帮助。谢谢! 张家军 系统部高级经理 百度 2021年1月 前言 动态随机访问内存是计算机系统的核心部件,用来暂时保存计算所需的数据和中间结果。动态随机访问内存的访问延迟大大优于机械硬盘甚至固态硬盘,因此微处理器需要先把访问的数据从硬盘读取到内存,然后在内存中直接对数据进行处理,最后再将数据写回硬盘中。如果大部分数据都不在内存中,那么程序的性能将受限于硬盘读取速度;同时,为了防止意外断电造成的数据丢失或者数据完整性破坏,数据需要频繁的以阻塞的方式写入硬盘,减少程序并发性和性能。持久内存的出现可以从根本上解决上述问题,常用的数据可以常驻在持久内存中,微处理器可以直接访问及处理,不需要频繁向磁盘写入。持久内存最先在存储等场景获得广泛关注。2019年英特尔发布的傲腾持久内存,把该技术的应用进一步拓展到云计算的各个细分领域。 为什么写作本书 持久内存技术是内存领域革命性的技术,从根本上改变了内存和存储设备的界限。持久内存技术对产业界和学术界产生了深远的影响,涉及计算机微架构、系统硬件、固件、操作系统、开发库和应用软件等众多领域。作者在推动持久内存在互联网行业应用时,发现持久内存技术是一项对起步知识要求非常高的技术,即便资深计算机行业从业者也需要花费几个月的时间通过阅读大量的文献并进行大量的实践,才能充分掌握核心概念并将其应用到自身的领域中。尽管国外的学术会议陆续有相关的研究发表,持久内存编程库的英文在线书籍刚刚发布,但仍然缺乏对持久内存系统性的介绍和应用实践的总结,中文的资源则基本处于空白状态。与此相对的是中国的云计算用户和厂商对该技术的兴趣非常高涨,一些早期应用原型甚至走在世界的前列。基于此,笔者萌发了系统性地总结持久内存技术和应用实践的想法,以推动持久内存应用技术在中国更快更广泛的传播,促进更多的创新。 关于本书作者 本书作者均就职于英特尔公司,从事持久内存的开发、验证和应用等前沿工作,具备丰富的理论知识和一线实战经验,并与相关产业合作伙伴有着密切的合作。 第1章由胡寅玮负责,桂丙武参与编写;第2章由李翔负责,周瑜锋、李军、李志明参与编写;第3章由杜凡负责,任磊、杨伟参与编写;第4章由吴国安编写;第5章由束文辉编写;第6章由斯佩峰负责,吴国安、周雨馨参与编写;第7章由徐铖负责,张建、杜炜、双琳娜、刘献阳等参与编写;第8章由李志明编写。全书由李志明统稿。 本书主要内容 本书共包括8章,可以分为三部分: 1.架构基础。第1章介绍持久内存产生的背景及技术的分类;第2章介绍持久内存的硬件、固件架构和性能。 2.软件、编程和优化。第3章介绍操作系统和虚拟化下驱动程序实现;第4章介绍编程模型和开发库;第5章介绍性能优化方法和工具。 3.应用实践。第6章介绍数据库应用;第7章介绍大数据应用;第8章介绍其他应用。第6章、第7章中的案例多数由本书作者开发,第8章中的案例来自公开文献或经合作伙伴授权发布。 致谢 感谢英特尔数据平台部副总裁阿尔珀?伊尔克巴哈(Alper Ilkbahar)先生,他在非易失存储领域耕耘多年,对持久内存在英特尔及产业界的推动,发挥了巨大的作用。自2017年起,阿尔珀?伊尔克巴哈就对持久内存在中国的技术发展和客户合作给以了充分支持,促进了一大批人才的培养。感谢英特尔公司院士Naga Gurumoorthy,资深首席工程师Lily Looi、Andy Rudoff、Arafa、Mohamed Arafa、Ian Steiner、Min Liu,首席工程师Kaushik Balasubramanian、Jane Xu等人在持久内存技术发展中做出的巨大贡献。以上人才和知识储备是本书得以写成的基础。感谢英特尔资深总监周翔对持久内存在中国发展的推动,他的激励直接促成了本书的写作。 感谢百度公司的基础架构部总监张家军在百忙中为本书作序,他的团队对持久内存在信息流和搜索等领域的应用,在行业中起到了示范作用。 感谢本书所有作者在繁忙工作之余完成了本书的写作。感谢阿里巴巴的付秋雷(花名漠冰)、严春宝(花名叶目),百度的胡剑阳,快手的张新杰、任恺、王靖、徐雷鸣和刘富聪,以及英特尔公司的王宝临、朱大义、张志杰、王晨光、王超提供了宝贵的案例。感谢何飞龙,唐浩栋,刘景奇、潘丽娜、张骏、彭翔宇、龚海峰、梁晓国、应蓓蓓、Simin Xiong、Ren Wu、John Wither等人为本书提供宝贵意见。感谢余志东、翟纲对本书的大力支持。 感谢电子工业出版社博文视点的宋亚东编辑在本书构架、写作过程中给予我们的持续的帮助,他专业负责的态度让我们获益匪浅。 由于作者水平有限,书中不足之处在所难免,敬请专家和读者给予批评指正。 李志明 2021年1月
目录 第1章 持久内存的需求 / 1 1.1 持久内存的产生 / 2 1.1.1 大数据发展对内存的需求 / 2 1.1.2 内存和存储间的性能鸿沟 / 5 1.1.3 持久内存的使用场景 / 7 1.2 非易失性存储介质 / 10 1.2.1 传统非易失性存储介质 / 10 1.2.2 新型非易失性存储介质 / 11 1.2.3 非易失性存储介质主要特性比较 / 14 1.3 持久内存模块 / 15 1.3.1 持久内存的JEDEC标准分类 / 15 1.3.2 Intel傲腾持久内存 / 16 参考文献 / 18 第2章 持久内存的架构 / 19 2.1 内存数据持久化 / 20 2.1.1 数据持久化 / 20 2.1.2 持久化域 / 21 2.1.3 异步内存刷新技术 / 23 2.2 持久内存硬件架构 / 25 2.2.1 持久内存的硬件模块 / 25 2.2.2 持久内存的外部接口 / 27 2.3 持久内存及主机端的固件架构 / 30 2.3.1 接口规范 / 30 2.3.2 持久内存固件 / 34 2.3.3 主机端固件 / 34 2.4 持久内存的安全考虑 / 37 2.4.1 威胁模型 / 37 2.4.2 安全目标 / 38 2.4.3 基于硬件的内存加密 / 40 2.5 持久内存的可靠性、可用性和可维护性 / 40 2.5.1 可靠性、可用性和可维护性定义 / 40 2.5.2 硬件基础 / 41 2.5.3 错误检测和恢复 / 42 2.5.4 单芯片数据纠正和双芯片数据纠正 / 43 2.5.5 巡检 / 43 2.5.6 地址区间检查 / 44 2.5.7 病毒模式 / 45 2.5.8 错误报告和记录 / 45 2.5.9 持久内存故障隔离 / 45 2.5.10 错误注入 / 46 2.6 持久内存的管理 / 47 2.6.1 带内管理和带外管理 / 47 2.6.2 温度管理 / 51 2.7 持久内存的性能 / 53 2.7.1 空闲读取延时 / 53 2.7.2 带宽 / 53 2.7.3 访问粒度 / 53 2.7.4 加载读取延时 / 54 2.7.5 应用性能 / 56 第3章 操作系统实现 / 59 3.1 Linux持久内存内核驱动实现 / 60 3.1.1 操作系统驱动及实现 / 60 3.1.2 固件接口表 / 61 3.1.3 驱动框架 / 61 3.1.4 块设备接口实现 / 63 3.1.5 字符设备接口实现 / 66 3.1.6 NUMA节点接口实现 / 67 3.1.7 持久内存的RAS适配 / 70 3.2 Linux持久内存虚拟化实现 / 71 3.2.1 持久内存虚拟化实现 / 71 3.2.2 使用配置方法 / 77 3.2.3 性能优化指导 / 80 3.3 Windows持久内存驱动实现 / 82 3.3.1 持久内存支持概述 / 82 3.3.2 持久内存驱动框架解析 / 82 3.4 持久内存管理工具 / 83 3.4.1 持久内存的配置目标和命名空间 / 83 3.4.2 IPMCTL / 90 3.4.3 NDCTL / 94 3.4.4 Windows管理工具 / 97 第4章 持久内存的编程和开发库 / 98 4.1 持久内存SNIA编程模型 / 99 4.1.1 通用持久内存设备驱动 / 100 4.1.2 传统文件系统 / 100 4.1.3 持久内存感知文件系统 / 100 4.1.4 管理工具和管理界面 / 101 4.2 持久内存访问方式 / 101 4.2.1 持久内存访问方式 / 102 4.2.2 传统块访问方式 / 104 4.2.3 底层数据存取方式 / 105 4.3 持久内存编程的挑战 / 106 4.3.1 数据持久化 / 107 4.3.2 断电一致性 / 107 4.3.3 数据原子性 / 108 4.3.4 持久内存分配 / 109 4.3.5 位置独立性 / 109 4.4 PMDK编程库 / 110 4.4.1 libmemkind库 / 110 4.4.2 libpmem库 / 113 4.4.3 libpmemobj库 / 120 4.4.4 libpmeblk 和libpmemlog / 143 4.4.5 libpmemobj-cpp库介绍 / 143 4.5 持久内存和PMDK的应用 / 152 4.5.1 PMDK库的应用场景 / 152 4.5.2 pmemkv键值存储框架的介绍 / 153 4.5.3 PMDK在Redis持久化的应用 / 156 参考文献 / 162 第5章 持久内存性能优化 / 163 5.1 与持久内存相关的配置选项和性能特点 / 164 5.1.1 持久内存的常见配置选项与使用模式介绍 / 164 5.1.2 内存模式下的性能特点与适用业务的特征 / 164 5.1.3 AD模式下的性能特点与适用业务的特征 / 167 5.2 持久内存的相关性能评测与基础性能表现 / 170 5.2.1 不同持久内存配置与模式下的基础性能表现 / 170 5.2.2 内存模式下的典型业务场景 / 171 5.2.3 AD模式下的典型业务场景 / 172 5.3 常用性能优化方式与方法 / 173 5.3.1 平台配置优化 / 173 5.3.2 微架构选项优化 / 176 5.3.3 软件编程与数据管理策略的优化 / 181 5.4 性能监控与调优工具 / 183 5.4.1 Memory Latency Checker / 183 5.4.2 Performance Counter Monitor / 186 5.4.3 VTune Amplifier / 188 第6章 持久内存在数据库的应用 / 192 6.1 Redis概况 / 193 6.2 使用持久内存扩展Redis内存容量 / 194 6.2.1 使用持久内存扩展内存容量 / 195 6.2.2 使用NUMA节点扩展内存容量 / 196 6.2.3 使用AD模式扩展内存容量 / 198 6.3 使用持久内存的持久化特性提升Redis性能 / 200 6.3.1 使用AD模式实现RDB / 202 6.3.2 使用AD模式实现AOF / 204 6.4 RocksDB概述及性能特性 / 206 6.5 RocksDB的LSM索引树 / 208 6.6 利用持久内存优化RocksDB性能 / 211 6.6.1 RocksDB的性能瓶颈 / 217 6.6.2 持久内存优化RocksDB的方式和性能结果 / 219 第7章 持久内存在大数据的应用 / 234 7.1 持久内存在大数据分析和人工智能中的应用概述 / 235 7.2 持久内存在大数据计算方面的加速方案 / 235 7.2.1 持久内存在Spark SQL数据分析场景的应用 / 235 7.2.2 持久内存在MLlib机器学习场景的应用 / 241 7.2.3 Spark PMoF:基于持久内存和RDMA网络的高性能Spark Shuffle方案 / 247 7.3 持久内存在大数据存储中的应用 / 255 7.3.1 持久内存在HDFS缓存中的应用 / 255 7.3.2 持久内存在Alluxio缓存中的应用 / 260 7.4 持久内存在Analytics Zoo中的应用 / 264 7.4.1 Analytics Zoo简介 / 264 7.4.2 持久内存在Analytics Zoo中的具体应用 / 264 第8章 持久内存在其他领域的应用 / 267 8.1 持久内存的应用方式及可解决的问题 / 268 8.1.1 持久内存的应用方式 / 268 8.1.2 持久内存能够解决的问题 / 269 8.2 持久内存在推荐系统中的应用 / 270 8.2.1 推荐系统的主要组成 / 271 8.2.2 推荐系统的持久内存应用方法 / 272 8.2.3 推荐系统应用案例 / 272 8.3 持久内存在缓存系统的应用 / 277 8.3.1 缓存系统的分类和特点 / 277 8.3.2 缓存系统应用案例 / 280 8.4 持久内存在高性能计算中的应用 / 284 8.5 持久内存在虚拟云主机中的应用 / 285 8.6 持久内存的应用展望 / 286