本书由浅入深地讲解了Apache Pulsar中各个组件的使用方式及内部实现原理，通过阅读本书，读者可以快速、轻松地了解Apache Pulsar内部的运行机制。第1章介绍Apache Pulsar的背景，以及如何快速部署一个Apache Pulsar服务。第2章介绍Apache Pulsar客户端的实现机制与原理，包括生产者、消费者、管理流客户端等。第3章介绍Apache Pulsar中最重要的逻辑组件—Broker，读者通过这部分内容可以了解Broker所有的特性。除了最基础的收发消息，Apache Pulsar还能进行轻量级的函数计算、数据流转。第4章详细介绍Apache Pulsar的Function和Pulsar IO （Connector）。第5章介绍Apache Pulsar的存储层—BookKeeper，通过本章的学习，读者可以了解Apache Pulsar的数据存储模型及流程实现。第6章介绍线上实战的一些经验，包括高可用、扩/缩容、资源隔离等。

前言 写作目的 2018年9月，Apache Pulsar（简称Pulsar）从Apache毕业，虽然才出现短短几年，但由于其天生适配云原生环境的能力，已经受到了广泛的关注。Pulsar社区热度在不断提升，Pulsar不仅增加了许多新特性，稳定性等各方面也都在不断提升。在本书定稿时，Pulsar 2.8.1已经成为Release版本，腾讯基于Pulsar构建的TDMQ也开始大规模应用，这些都标志着Pulsar已经褪去了最初的青涩，开始在各行各业大放异彩。 由于Pulsar近几年才在国内兴起，所以相关的中文资料较少。虽然有TGIP、Pulsar公众号、Pulsar技术群，官网的文档也开始不断地完善，网上也有一些Pulsar文章，但许多知识点都非常碎片化，而且网上很多观点其实是错误的。另外，官网的文档都是英文的，即使切换到中文，对于专业性较强的术语，Google的翻译结果也比较难以理解。笔者一直奉行体系化的学习，因此对Pulsar做了全面的梳理。笔者还记得刚接触Pulsar时，国内没有任何Pulsar相关的资料，Pulsar官网也只有屈指可数的几页英文文档。为了让更多的开发者可以了解Pulsar，降低Pulsar使用和开发的门槛，也算是对自己这段时间工作的一个总结，于是笔者萌生了写书的想法。 读者对象 ?想了解和使用Pulsar的初级用户。本书详细介绍了Pulsar的各个功能点，以及各个功能点背后的实现原理。 ?想二次开发、参与Pulsar社区建设的用户。通过阅读每个功能点的原理部分，可以了解代码的运行逻辑及总体架构，后续阅读源码或者二次开发时可以做到心中有数。 本书特点 1. 适用范围广 本书对Pulsar的每个功能点都先做简介与使用说明，然后进行原理级别的剖析。因此适用范围较广，对于不想深入理解Pulsar内部原理，只想先了解并使用Pulsar的读者，可以阅读前面的章节快速了解Pulsar。如果读者后续需要对Pulsar进行二次开发，或者想深入了解源码，则可以阅读后续的原理章节。对流程、实现思路有了了解之后，阅读源码的门槛就会低得多。 2. 代码量少 本书中基本没有大段的代码，出现的源码也非常简短。本书主要以图和文字的方式对概念和原理进行描述，力求让新手读者也能快速理解Pulsar。 本书内容 本书共6章，第1章主要介绍Pulsar的一些背景知识，以及初步上手Pulsar，包括代码目录结构，如何部署Pulsar，等等。第2章主要介绍Pulsar的客户端，包括生产者（Producer）客户端和消费者（Consumer）客户端，它们是请求的发起者，其中还会介绍Pulsar中最重要的概念Topic。第3章主要介绍Pulsar的核心组件Broker，从Broker的启动、流程开始，剖析Broker中几乎所有重要功能点。第4章主要介绍Pulsar Function和Pulsar IO，这些能力通常应用在轻量级计算和流式计算中。第5章主要介绍Pulsar的存储层BookKeeper，包括写入、读取、数据自动恢复的实现。第6章属于实战篇，介绍日常业务中的一些架构上的高级特性，比如跨地域复制、动态扩/缩容等。 勘误和支持 笔者编写本书的时间跨度接近一年，其间Pulsar一直在迅速发展，代码与机制不断在变化，书中可能存在部分内容与最新代码不一致的情况。另外，Pulsar的代码接近70万行，社区发展非常迅速，每天都有多个PR被合并，不断有新的特性被加入，笔者能力有限，也无法保证对所有代码的理解都准确无误。因此，若读者在阅读本书的过程中发现有任何问题或者错误，可以发送勘误到笔者的邮箱：linlin@apache.org。 源代码与官方参考 本书的源代码可以直接访问Pulsar的GitHub仓库获取。 Pulsar官方也有官网，其中也有很多文档，特别是API相关的文档。 如果读者想咨询或讨论Pulsar相关的问题，欢迎来笔者的知识星球（Pulsar星球，ID50221503）一起交流。 致谢 首先感谢我的妻子，我平时工作非常忙，每天晚上、周末都需要加班加点来完成本书的写作，如果没有妻子在背后的默默支持，那么这本书是不可能完成的。 独自写完一本书是一项艰巨的任务，虽然已经详细拆分了任务，笔者也自认为对Pulsar的代码很熟悉，但实际写作时还需要不断地翻阅源码并反复推敲。感谢在这个过程中为我提供帮助的各位朋友：李鹏辉、陈航、翟佳、郭思杰等。 感谢电子工业出版社博文视点的陈晓猛编辑，陈编辑一丝不苟地制订出版计划，以及有效地完成出版工作，本书才得以顺利出版。 感谢每一位Pulsar的布道者，他们的各种分享、博客文章都在积极推动着Pulsar的发展，也为本书的编写提供了灵感和参考。 林琳

目录 第1章　认识Pulsar 1 1.1　Pulsar的背景 1 1.2　Pulsar总体介绍 5 1.3　第一个Pulsar程序 7 1.3.1　环境的准备 7 1.3.2　下载Pulsar 7 1.3.3　Pulsar的目录结构 9 1.3.4　部署Pulsar 12 1.4　小结 18 第2章　客户端 19 2.1　名词介绍 19 2.2　Topic 20 2.2.1　Topic简介 20 2.2.2　Topic的创建与删除 23 2.2.3　Topic的归属 26 2.2.4　Topic的迁移 29 2.2.5　可压缩Topic 33 2.3　Pulsar客户端 36 2.3.1　不同的客户端 37 2.3.2　创建管理流客户端的流程 38 2.3.3　创建数据流客户端的流程 41 2.4　生产者客户端 43 2.4.1　生产者客户端简介 43 2.4.2　生产者原理解析 48 2.5　消费者客户端 56 2.5.1　消费者客户端简介 56 2.5.2　创建ConsumerImpl 64 2.5.3　接收消息 65 2.5.4　确认消息 67 2.5.5　MultiTopicsConsumerImpl 75 2.5.6　ZeroQueueConsumerImpl 77 2.5.7　PatternMultiTopicsConsumerImpl 77 2.5.8　Consumer的其他接口 78 2.6　Reader 79 2.6.1　创建ReaderImpl 80 2.6.2　Reader的实现原理 81 2.7　客户端其他能力 82 2.7.1　连接管理与线程池管理 82 2.7.2　LookupService 88 2.7.3　MemoryLimitController 90 2.8　小结 91 第3章　Broker 92 3.1　Broker简介 92 3.1.1　Broker的启动流程 93 3.1.2　Broker的生产消费流程 96 3.2　Schema 99 3.2.1　Schema简介 99 3.2.2　Schema的类型 101 3.2.3　Schema的管理 105 3.2.4　Schema的版本与兼容性 108 3.2.5　Schema的实现 110 3.3　安全机制 112 3.3.1　认证授权简介 113 3.3.2　认证授权框架 114 3.3.3　默认的认证插件 117 3.3.4　端到端加密 131 3.4　配置与策略 134 3.4.1　配置的加载 135 3.4.2　动态配置的实现 135 3.4.3　Namespace策略 137 3.4.4　Topic策略 139 3.4.5　策略的实现 144 3.5　元数据管理 145 3.5.1　元数据简介 145 3.5.2　元数据的缓存 148 3.5.3　元数据的线程安全 150 3.5.4　Session检测 151 3.6　存储管理 153 3.6.1　存储模型 153 3.6.2　存储流程 156 3.6.3　游标 160 3.6.4　消息回溯的实现 171 3.6.5　数据的清理 172 3.6.6　BacklogSize与StorageSize 176 3.7　分层存储 177 3.7.1　分层存储的使用 178 3.7.2　数据的卸载与加载 179 3.8　扩展点 181 3.8.1　扩展点简介 181 3.8.2　ProtocolHandler扩展点 183 3.8.3　BrokerInterceptor 184 3.8.4　其他扩展点 186 3.9　负载管理 188 3.9.1　负载管理简介 188 3.9.2　负载的上报 190 3.9.3　负载策略 194 3.9.4　Bundle的自动分裂 196 3.9.5　Leader选举与Broker分配 197 3.10　管理流服务 198 3.10.1　管理流服务简介 199 3.10.2　REST接口的重定向 201 3.10.3　WebSocket 202 3.11　消息去重 203 3.12　事务消息 205 3.12.1　事务简介 206 3.12.2　事务流程 208 3.12.3　事务的实现 210 3.13　Dispatcher 214 3.13.1　Dispatcher流程 215 3.13.2　Dispatcher的实现原理 217 3.14　小结 219 第4章　Function与Pulsar IO 221 4.1　Function简介 222 4.2　Function的使用 224 4.3　Function的架构 230 4.4　Function的实现原理 233 4.4.1　服务的启动 233 4.4.2　LeaderService的实现 234 4.4.3　MembershipManager与SchedulerManager的实现 235 4.4.4　FunctionAssignmentTailer的实现 236 4.4.5　FunctionMetaDataManager的实现 236 4.4.6　FunctionRuntimeManager的实现 237 4.5　Runtime的实现 240 4.5.1　ThreadRuntime的实现 240 4.5.2　ProcessRuntime的实现 242 4.5.3　KubernetesRuntime的实现 243 4.6　Pulsar IO简介 244 4.7　部署Connector 245 4.8　开发Connector 247 4.9　Pulsar IO的实现 249 4.10　小结 249 第5章　BookKeeper存储 251 5.1　项目结构 251 5.2　存储简介 252 5.3　数据写入的实现 255 5.4　数据读取的实现 259 5.5　自愈能力 260 5.6　小结 263 第6章　实战Pulsar 264 6.1　高可用 264 6.1.1　跨区域感知 266 6.1.2　跨地域复制 271 6.1.3　跨地域复制的使用 277 6.1.4　跨地域复制的实现 280 6.2　扩/缩容 284 6.3　资源隔离 287 6.3.1　资源隔离的使用 287 6.3.2　资源隔离的实现 290 6.4　小结 291