
本书采用循序渐进的讲解方式,介绍了如何从零开始构建一个企业级监控平台的相关理论技术和实践方法。首先从监控系统总体设计原理出发,逐步介绍企业级监控系统的常用架构、各个组件模块作用、运行模式、监控体系的建设路线、监控信息的合并算法、监控颗粒度设置经验以及如何保障监控系统自身可靠性等内容;随后自底向上依次对硬件设备、操作系统、虚拟机、常用数据库和中间件、容器和容器编排、系统和应用日志以及应用链路等常见监控领域实施监控的技术原理、常用监控指标以及实现方式等内容作了介绍;最后对监控系统下阶段发展趋势也即智能监控作涉及相关技术原理及常用智能监控功能作了展望及介绍。通过对本书的系统学习,可以对计算机监控系统的基本原理、设计思想、实现方式等方面有全面而深入的了解。
推荐序一 近年来,随着以5G、物联网、大数据、云计算、人工智能、区块链、量子科技等为代表的新技术与金融业务融合步伐的加速,有效提升了金融服务的能力和效率,科技赋能金融业创新将成为增强金融稳定发展的动力核心。金融科技创新催生了智能化、精细化、多元化的新场景,有效促进企业的数字化转型,但是金融科技在为金融发展注入新活力的同时,也深刻改变了风险的传播方式与传播速率,并且伴随着微服务、云原生、容器化等理念或技术被逐渐引入企业系统建设工作中,系统运行及建设模式逐步从稳态转变为敏态,系统之间的交互方式变得越来越复杂。这些因素对业务系统在稳定运行、业务连续性保障、金融风险防范等方面都带来了不小的挑战,而解决这些问题的有效手段之一就是打造一个可以对业务系统运行情况及IT全栈要素实现立体化监控及健康度评估,并且能够做到事前智能预警、事后快速定位的监控平台,从而实现对系统风险的多维度、全天候监测,从源头提升安全风险防范能力。 不仅在金融行业内,在各个行业中,无论系统规模大小、系统架构是单体架构还是分布式架构、所用技术是传统技术还是新兴技术,都需要对业务系统尤其是核心业务系统及所承载的业务功能进行持续监控,并结合相关风险防范机制确保问题早发现、漏洞早补救、风险管得住,所以建设一套可靠好用的监控平台是夯实企业信息化建设工作的重要一环。 本书作者姜才康深耕于金融科技领域,长期从事金融行业应用软件设计开发、技术标准制定和技术管理等工作,在构建全方位的银行间市场风险治理和安全运维体系等方面有着丰富经验。他和他的团队将从业以来关于IT系统监控平台建设所积累的实践经验、领域知识及解决方案等内容进行归纳总结,为读者详细介绍了从底层基础设施到上层业务监控各个阶段所涉及的监控原理、实现技术及实施方法等内容,从理论到实践,皆言之有物,是一本不可多得的介绍监控平台建设的专业书籍。 最后,祝每一位读者通过对本书的阅读能够在各自的专业领域里打开新的思路,不断提升信息系统建设质量和运行保障水平,在科技创新浪潮中,奋楫扬帆,逐浪前行。 李伟 中国人民银行科技司司长 推荐序二 金融基础设施作为国家发展和稳定金融市场的主要载体,对于系统的稳定性和可靠性要求极高,运维团队作为最后一道防线,起到了至关重要的作用。近年来,随着分布式、云原生系统架构的逐渐兴起,系统的复杂度日渐上升,传统的手工运维已经逐渐被自动化的运维平台所替代,一个高可靠、可扩展的运维平台方能支撑起高度复杂的业务系统。 如今的运维平台的监控范畴也早已跨越了针对系统硬件和网络设备的传统监控,要求运维平台的建设人员能以业务人员的视角出发去审视系统功能,从设计人员的视角入手拆解系统架构,从开发人员的视角介入去理解应用代码,把基础资源和应用系统作为一个整体,用系统论的方法去分析问题,在工具平台层面找到落脚点,综合运用传统监控技术与人工智能、数据挖掘的新兴技术,最终通过快速迭代的建设方式形成监控和运营一体化、为业务赋能的运维平台。 作为金融系统的建设者,无论是业务人员、设计人员、开发人员还是运维人员,掌握运维平台的运行机制和相关技术知识,合理运用平台功能来跟踪、预警和解决应用系统日常运行问题,都是必不可少的技能,有些时候更能起到事半功倍的效果。 本书从监控平台的原理和规划谈起,既涵盖了传统的计算机设备、虚拟机、操作系统监控,也囊括了常用的数据库和中间件监控,还有针对性地介绍了日志分析各类监控领域中的应用和基于容器化技术的应用系统监控原理和实现方式。全书内容覆盖完整,行文深入浅出,是一本既有广度又有深度的工具书。 本书作者姜才康长期战斗在银行间市场业务系统建设的最前线,先后参与了四代本外币交易系统的建设和运维工作,是业内有名的运维专家,熟知系统运维和监控领域的相关产品和技术。本书是其近三十年工作经验的精华,可供有志于了解或从事运维工作的读者参考,相信各位读者在阅读此书后都能获益匪浅。 许再越 跨境银行间支付清算有限公司总裁 推荐序三 运维监控,在很多人看来是一个传统的技术领域,在过去的二十多年里,BMC Patrol、HP OpenView、IBM Tivoli等外企传统监控产品一度成为国内监控领域的标配产品,但随着最近五年开源逐渐被认知、云计算成为数据中心建设核心、云原生开始崭露头角,新的运维监控技术和产品被大量采用,开源的Zabbix、Prometheus等监控系统逐渐成为主角。同时,人工智能技术的加持使得近几年智能运维AIOps成为大家关注的热点,通过人工智能技术来提前发现问题、预防问题乃至自动解决问题,不正是运维团队一直期望和梦想的吗?所以,运维监控也是一个与时俱进的技术分支,其重要性伴随着企业数字化进程而相应提升。 中国外汇交易中心的核心交易系统是我国金融市场的重要金融基础设施,其本币、外币两大国内外交易系统及数十个周边交互系统共同承载覆盖国内外银行、证券、保险等行业3万多家机构投资者每天海量的本外币交易及相关业务。如何确保这么多系统及组件稳定运行,如何第一时间发现隐患,运维监控系统在其中扮演着最关键的角色。本人有幸曾和外汇交易中心的技术团队共同参与到早期运维监控系统的规划和建设工作中,外汇交易中心的技术团队经过多年实践,积累了大量宝贵经验,从IBM Tivoli到开源Zabbix监控,再到自研监控系统,所用监控工具及技术不断迭代,管理效能不断提升,确保了交易系统数十年如一日的可靠运行。 本书作者姜才康负责的部门从开发中心到数据中心,经历了核心业务系统从开发阶段到生产运维阶段的全过程。哪里是可能的风险点、哪里是可能的性能瓶颈、哪里必须实现秒级监控、哪里需要进行历史数据汇总分析,他了然于心,他带队搭建的监控平台是业务系统长期稳定运行不可或缺的组成部分。 本书没有深奥的原理,也没有花哨的技术包装,实实在在从实战角度出发,从一个从业多年,同时具备开发和运维深厚经验的专家角度诠释了监控系统的建设之路,是一本在智能监控平台建设领域非常有参考价值的著作,相信读过此书的读者都会有自己的体会和收获。 沈鸥 北京青云科技股份有限公司副总裁 前言 在IT建设工作中,监控一直扮演着重要角色。我们能否在应用系统及其所依赖的各类基础设施发生异常时及时探测异常、迅速定位问题原因、快速解决异常,以及总结经验、避免再次发生类似问题,在很大程度上取决于监控系统的支持程度,可以说,在数据中心的建设过程中,监控贯穿了各个环节,从最上层的应用系统到底层的基础设施,都需要通过不间断的、近乎实时的监控检测措施来保障业务的连续性。监控系统的建设工作是各企业内部一项最基础,同时也是最重要的工作,尤其是在对业务连续性要求非常高的金融机构内,构建一套成熟完备的监控系统更是重中之重。 在业务系统结构不复杂、业务规模不大的情况下,监控系统的建设相对没有那么复杂,我们通过搭建一套主流的监控系统,就可以实现大部分的监控需求了。但是,随着IT技术的快速迭代和发展,云计算、容器、分布式架构等技术在企业内部的应用、落地及推广程度逐渐加深,以及相应配套基础设施的规模呈几何级数增加,构建一个能够第一时间发现问题、精准定位问题,甚至可以通过大数据分析、人工智能等手段进行异常预警及事后分析且避免同类问题再次发生的监控系统就并非易事了。这对监控系统的功能、监控信息的准确性和及时性、监控范围的覆盖程度,以及监控系统自身的高可用性等方面都提出了更高的要求,涉及从底层基础设施到顶层应用系统所涉及的各个领域的监控实施工作。我们几乎很难找到一套可以满足所有监控需求的监控系统,所以监控系统的建设工作通常包括把对各类监控细分领域实施精细化监控的监控系统或工具进行整合、定制开发及自研等工作。 本书试图以理论结合实践的方式,为读者介绍如何从0到1打造一个一体化企业级监控系统,全书共11章,第1章“监控系统规划及原理”详细介绍了监控运维管理的发展历程、监控体系总体规划、监控系统的分类、监控系统工作原理、监控系统运行模式分类,以及监控事件总线等内容。从第2章开始至第10章自底向上依次对计算机设备、虚拟机、操作系统、数据库、中间件、Docker容器、Kubernetes、应用系统,以及日志等领域实施监控的技术原理、常用监控指标及实现方式等内容做了介绍。第11章“智能监控”作为全书总结,对监控系统下一个阶段的发展趋势,即智能监控所涉及的相关技术原理及常用智能监控功能做了介绍。本书第1章监控系统规划及原理由姜才康编著;第2章计算机硬件设备监控、第4章操作系统监控、第11章智能监控由何玮编著;第3章虚拟机监控、第5章数据库监控、第6章中间件监控、第7章Docker容器监控由邢世友编著;第8章Kubernetes监控、第9章应用监控由蒋德良编著;第10章日志监控由杜旭东编著;全书由我和蒋德良统稿。 监控系统的成功建设离不开运维和研发工程师的互相配合及共同努力,所以本书对运维和研发工作具有同样重要的意义。运维工程师通过对本书的系统学习,可以对监控系统的基本原理、设计思想、实现方式等内容有全面理解及深入掌握,从而可以将这些内容运用到监控系统的建设或完善工作中。研发工程师通过对本书的系统学习,可以更好地了解监控系统对应用系统进行监控的工作原理及可能产生的影响,从而在系统研发过程中能更全面地考虑与监控系统的整合方式,构建能更加稳定运行的业务系统。 本书的出版离不开人民银行科技司、中国外汇交易中心及中汇信息技术(上海)有限公司各位领导的指导和同事的大力支持,离不开电子工业出版社徐蔷薇和朱雨萌编辑的认真态度和辛勤工作,作者都是利用业余时间完成本书的编写工作的,期间更是离不开家人的体谅与支持,在此一并表示由衷的感谢!同时,特别感谢中国人民银行科技司李伟司长、跨境银行间支付清算有限责任公司许再越总裁、北京青云科技股份有限公司沈鸥副总裁为本书倾情作序。 最后,因监控技术的迭代和新技术的涌现速度非常迅速,受限于水平和经验,书中内容的编写难免有欠妥和不足之处,热忱欢迎读者批评指正。 姜才康 2021年8月于上海
第1章 监控系统规划及原理 1 1.1 IT监控运维管理的发展历程 1 1.1.1 新兴的中国市场(1985—1994年) 2 1.1.2 运营商大建设期(1995—2000年) 2 1.1.3 多元化的监控运维系统(2001—2010年) 4 1.1.4 面向云和应用(2010年至今) 5 1.2 监控体系总体规划 5 1.2.1 IT运营体系的阶段性 5 1.2.2 监控体系建设的阶段性 7 1.3 监控系统的分类 12 1.4 监控系统工作原理 13 1.5 监控系统运行模式分类 16 1.5.1 主动/被动监控 16 1.5.2 有代理/无代理 18 1.6 监控事件总线 19 1.6.1 什么是集中监控事件总线 19 1.6.2 事件总线的市场格局 20 1.6.3 监控事件总线的功能设计 22 本章小结 25 第2章 计算机硬件设备监控 26 2.1 计算机的分类 26 2.2 数据中心常见的计算机种类 27 2.2.1 大型机 27 2.2.2 小型机、PC服务器 28 2.2.3 RISC、CISC 30 2.2.4 刀片机 31 2.3 计算机硬件设备监控 31 2.3.1 大型机设备监控 32 2.3.2 小型机设备监控 33 2.3.3 PC Server设备监控 41 2.3.4 刀片机设备监控 46 本章小结 47 第3章 虚拟机监控 48 3.1 虚拟化分类 48 3.1.1 硬件虚拟化 49 3.1.2 桌面虚拟化 49 3.1.3 应用程序虚拟化 49 3.1.4 网络虚拟化 49 3.2 ESXi虚拟化监控 50 3.2.1 ESXi虚拟化概述 50 3.2.2 ESXi架构图及监控入口 53 3.2.3 使用Zabbix监控ESXi 53 3.3 KVM虚拟化监控 60 3.3.1 KVM虚拟化概述 60 3.3.2 使用Zabbix监控KVM 61 本章小结 63 第4章 操作系统监控 64 4.1 操作系统的种类 64 4.1.1 类UNIX系统 64 4.1.2 Windows系统 65 4.2 操作系统功能模块 66 4.3 CPU监控 69 4.3.1 CPU相关概念 69 4.3.2 CPU状态 70 4.4 内存监控 72 4.4.1 内存相关概念 72 4.4.2 内存状态 74 4.5 进程监控 74 4.5.1 进程相关概念 74 4.5.2 进程状态监控 76 4.6 文件属性监控 78 4.6.1 Windows中的文件属性 78 4.6.2 类UNIX中的文件属性 78 4.7 文件系统监控 83 4.7.1 文件系统概念 83 4.7.2 文件系统状态 84 4.8 网络模块监控 85 4.8.1 网络流量监控 85 4.9 监控系统如何监控操作系统 87 4.9.1 Windows 87 4.9.2 Linux 90 本章小结 92 第5章 数据库监控 93 5.1 数据库分类 93 5.1.1 关系型数据库 94 5.1.2 非关系型数据库 94 5.2 数据库状态指标分类 94 5.3 当前连接数与最大允许连接数 95 5.3.1 连接数的相关概念 95 5.3.2 连接数指标实例 95 5.4 QPS/TPS 99 5.4.1 QPS/TPS的相关概念 99 5.4.2 QPS/TPS指标实例 99 5.5 慢查询 102 5.5.1 慢查询的相关概念 102 5.5.2 慢查询指标实例 102 5.6 磁盘I/O监控 108 5.6.1 磁盘I/O相关概念 108 5.6.2 磁盘I/O的获取 108 5.7 其他针对性指标 110 5.7.1 Mysql Binlog cache的相关概念 110 5.7.2 Mysql Binlog cache指标实例 111 5.7.3 Oracle表空间的概念 112 5.7.4 Oracle表空间指标实例 112 5.7.5 Mysql MHA高可用集群的概念 113 5.7.6 Mysql MHA高可用集群指标 115 5.7.7 Oracle集群的概念 117 5.7.8 Oracle集群指标实例 118 本章小结 126 第6章 中间件监控 127 6.1 Nginx监控 128 6.1.1 Nginx概述 128 6.1.2 Nginx服务的进程及端口 128 6.1.3 服务可用性监控 130 6.1.4 Nginx日志监控 131 6.1.5 Nginx状态页监控 134 6.2 Tomcat监控 136 6.2.1 Tomcat概述 136 6.2.2 请求吞吐量指标和延迟指标 137 6.2.3 线程池指标 140 6.2.4 Errors错误率指标 144 6.2.5 JVM内存使用情况指标 146 6.2.6 JVM监控工具 149 6.3 ActiveMQ监控 152 6.3.1 ActiveMQ概述 152 6.3.2 生产者数量监控 152 6.3.3 消费者数量监控 153 6.3.4 队列深度监控 154 6.3.5 ActiveMQ监控实践 155 本章小结 157 第7章 Docker容器监控 159 7.1 Docker容器运行状态 159 7.2 Docker容器性能指标 161 7.3 cAdvisor对容器监控 162 7.3.1 CPU的监控 164 7.3.2 内存的监控 165 7.3.3 磁盘的监控 165 7.3.4 网络的监控 165 7.4 Docker容器内的应用日志监控 166 本章小结 170 第8章 Kubernetes监控 171 8.1 Kubernetes简介 171 8.2 Prometheus简介 174 8.3 Prometheus部署 176 8.4 Kubernetes集群监控 186 8.4.1 宿主机监控 187 8.4.2 容器监控 196 8.4.3 集群资源监控 199 8.4.4 API Server监控 207 8.4.5 应用系统监控 209 本章小结 214 第9章 应用监控 215 9.1 应用性能管理概述 215 9.2 调用链路跟踪 217 9.2.1 Span的概念 218 9.2.2 Trace的概念 220 9.3 APM系统的设计与实现 222 9.3.1 APM系统通用架构 222 9.3.2 Span的创建及SpanContext的传递逻辑 223 9.3.3 TraceID和SpanID的生成方法 225 9.3.4 代码注入方法 227 9.3.5 APM系统性能优化 228 本章小结 231 第10章 日志监控 232 10.1 日志的基本概念 232 10.2 日志的作用 233 10.2.1 运维监控 233 10.2.2 资源管理 233 10.2.3 入侵检测 234 10.2.4 取证和审计 234 10.2.5 挖掘分析 235 10.3 常见日志类型及格式 235 10.3.1 W3C Extended Log File格式 236 10.3.2 Apache access log 237 10.3.3 Syslog 237 10.4 日志规范 239 10.4.1 应用日志打印规范 240 10.4.2 日志的轮转归档 241 10.4.3 日志的爆发抑制 242 10.5 日志监控基本原理 243 10.5.1 前置式日志监控 243 10.5.2 集中式日志监控 244 10.5.3 日志监控的基本过程 245 10.6 日志监控的常见场景 246 10.6.1 关键字监控 246 10.6.2 多节点日志监控 247 10.6.3 应用系统性能监控 248 10.6.4 应用系统业务量异常监控 250 10.6.5 安全监控与异常IP自动封禁 250 10.7 日志采集与传输 251 10.7.1 拉式采集(PULL) 252 10.7.2 推式采集(PUSH) 252 10.7.3 日志过滤 253 10.8 日志解析与日志监控策略 254 10.8.1 日志解析工具 254 10.8.2 正则表达式 258 10.8.3 日志监控策略 261 10.9 常见日志监控系统 262 10.9.1 基于ELK的日志监控 262 10.9.2 基于Splunk的日志监控 263 本章小结 265 第11章 智能监控 266 11.1 智能监控概述 267 11.1.1 Gartner AIOps 267 11.1.2 NoOps 267 11.1.3 智能监控实施路径 268 11.2 监控数据治理 269 11.2.1 大数据平台选型 269 11.2.2 大数据平台设计 270 11.2.3 监控运维数据治理 271 11.3 监控动态基线 273 11.3.1 动态阈值设计与计算 274 11.3.2 基于动态阈值异常检测 276 11.3.3 监控动态阈值案例 276 11.4 监控自愈 278 11.4.1 什么是自愈 278 11.4.2 自愈的优势 283 11.4.3 监控自愈模块设计 284 11.4.4 监控自愈案例分享 285 本章小结 286 参考文献 287