
本书内容涵盖分布式存储、数据库、容器集群、服务框架、消息队列、异地多活、机器学习等一系列经典技术话题,深入浅出地向读者展示了京东基础架构的搭建、演进、变革及发展的完整画像,系统地阐述了京东重要阶段的技术进步历程及里程碑级别的技术突破,堪称是一部“从入门到精通”的基础架构经典教材。 作为过去几年里推进京东基础架构变革的技术实践者,我们乐于把自己的经验分享给更多的基础架构从业者或感兴趣的人,技术无止境,愿我们一路相伴共创奇迹
这本书在与大家见面的时候,又到了一年一度的11.11大促时期,在屏幕前翘首以盼的消费者,摩拳擦掌的商家,蓄势以待的友商,一切都为了那激情燃烧的狂欢。巨大的期待带来的不仅仅是巨大的销量,同样也会给电商系统带来巨大的压力。辉煌的背后,无不是坚守在系统一线技术人员的殚思极虑。伴随着市场的繁荣及消费者的巨大差异化,我们持续通过技术创新来提升用户体验,努力让购物从简单的交易变成贴心的帮助与关怀。 基础架构是京东业务的技术基石。为了不断提升系统的稳定性,我们自主研发了容器计算平台JDOS、分布式存储JFS、弹性数据库JED,以及JIMDB、JMQ、JSF等中间件服务;在今年,我们还顺利实施了异地多活,即商城广域分布架构,初步建立了机器学习与知识图谱等数据算法类服务。在系统压测方面,京东以往大促前主要通过订单后军演等方式进行多次压测,但毕竟无法准确模拟真实场景;从今年的618开始,我们大规模应用“军演机器人”系统,真切地模拟大促开始时海量订单涌入的情景,让每个系统都得到充分压测,有效发现性能瓶颈。 本书的作者,作为过去几年里推进京东基础架构变革的技术实践者,一直坚定执行京东集团“下一个十二年,只有技术”的发展路线,并在这条路上不断迎接新的挑战,为提升京东商城的用户体验不断努力。 我也借此书,代表所有奋战在一线的技术研发团队,将京东在基础架构技术领域这几年中的发展和创新分享给关注我们的朋友。感谢所有互联网技术从业者对我们的关注、帮助与指正。我们会持续推进技术架构演进,为京东电商业务继续高速发展保驾护航。 马 松 京东集团高级副总裁、商城研发体系负责人 从人类历史的发展来看,最终影响人们生活、推动社会进步的是科技的发展。每个历史时代都会涌现新的科技,使人类社会不断向前进步。那么什么是科技?其实我们可以将其定义为需求驱动的以基础科学研究与突破为依托的解决产业问题的科技体系。就本书而言,京东的基础架构就是本着以解决问题为导向,同时通过技术的积累与创新,采用技术驱动业务的途径逐步实现的。 本书的主要作者刘海锋是我十多年前的学生,从他的书中能读出他在这些年的技术积累与沉淀,同时也读出了我们中国科学技术大学校训中 “理实交融”的思想——理论研究需要与实际应用联系在一起;也再一次印证了中国科学技术大学注重基础研究并以解决实际问题为导向的学风、多元交叉的院系设置和学科设置对解决产业问题的极大帮助。 《人类简史》让我们看到人类的发展是跟文明的进步和科技的变革息息相关的,而《未来简史》将这几年的热点词——“人工智能”“大数据”——纳入了人类历史中,给出了一些历史命运层面的抽象,有追捧也有争议。那么,在这个大家热议的人工智能时代,也使我们有了更多的反思,其实在这些热点议题的背后,一些基础架构与底层系统技术的发展与实现或许更加务实和接地气一些,同时产业界也需要有更坚实的基础架构与底层系统技术来支撑日益增长的庞大的业务量。而《京东基础架构建设之路》这本书,从底层的容器管理集群技术,到服务框架、分布式内存数据库和分布式文件存储系统,再到机器学习在京东的多场景应用和商品数据知识图谱的构建,都做了详细的介绍,向大家展现了整个系统搭建的发展历程。同时,书中也解密了京东技术研发在每年618和11.11超大流量和高并发时刻的应对策略,相信会对互联网和电商行业的从业者有着不错的借鉴作用。 陈恩红 中国科学技术大学计算机学院教授、博士生导师、副院长
第1 章 容器集群技术 1.1 概述 3 1.2 JDOS 1.0:“胖容器”时代 3 1.3 JDOS 2.0:新一代应用容器引擎 9 1.4 JDOS 3.0:服务融合平台 15 1.5 JDOS 4.0:弹性数据计算 18 1.6 总结 22 第2 章 数据库技术 2.1 发展历程 25 2.2 BinLake日志订阅服务 27 2.3 弹性数据库 33 第3 章 分布式存储技术 3.1 JFS:京东文件系统 47 3.2 JIMDB:内存是新的磁盘 52 3.3 FBase:大表存储 60 3.4 Container File System 66 第4 章 中间件技术 4.1 服务框架 75 4.2 消息队列 88 4.3 JMQ复制技术解析 101 4.4 CallGraph:分布式服务跟踪系统 112 第5 章 整体架构升级 5.1 ForceBot :全链路军演机器人 125 5.2 异地多活 133 第6 章 机器学习技术 6.1 基于机器学习的商品数据治理 145 6.2 智能分单 155 6.3 列表页排序 157 6.4 语音识别与客服导航 159 6.5 商品上新助手 162
京东商城基础架构部是京东商城的一级部门,专注于核心基础技术的自主研发与工程实施,涉及的技术有数据中心集群管理、数据库系统与分布式存储、电商中间件技术、商城整体架构提升、机器学习与知识工程,为618和11.11大促作强有力的技术支撑,是京东商城的技术基石。