
随着云计算的迅猛发展,越来越多的业务迁移至云端,众多企业在审计成本的过程中发现,用来支撑业务的云成本并没有节省,费用支出反而比以前更大。如何降低云成本成为企业的核心诉求和通用诉求。为此,Linux 基金会成立了专门的FinOps 基金会,致力于通过培训、方法论和最佳实践的输出,助力企业优化云成本。Cloud FinOps 正是这些云成本优化规则和最佳实践的集合。它提供了由中心化团队驱动,将云成本职责下发到分布式团队的实践方法。并由工程团队、财务团队、产品团队通过跨团队合作,保证成本在可预测、可管控的前提下,实现更快速的产品能力交付。本书是第一本系统性解读什么是FinOps,以及如何实施FinOps 的书:它定义了在云成本优化领域的众多技术术语、财务术语,分享了企业要推动云成本优化所必须完成的组织架构调整、流程推动、职责划分,以及所需要依托的常见技术手段,等等。本书收录了来自FinOps 基金会社区大量的实践案例,能让读者了解成功的云成本优化故事,以及背后成功的原因。此外,对主流云厂商提供的技术能力做了剖析,让读者在选择云技术解决成本优化问题时有所参照。本书适读的对象较广,包括使用云计算的企业中的各种角色,如决策层、运维工程师、财务和采购人员,以及提供云成本优化方案的云服务提供商和第三方集成商。本书包含大量财务术语和技术术语,如果你具备相关的财务或者技术知识,对阅读本书会有事倍功半的效果。
前言 多年来,我们一次又一次地听到这样的说法:由于工程团队对成本效益了解过少,所以 云计算的支出远超预期。与此同时,财务部门也无法理解并及时跟进团队支出。但最糟 糕的是,公司的领导层不但缺乏对公司成本管理的建议,甚至很少强调将成本管理作为 组织层面的重要任务。 长期以来,采购部门是IT 设备支出的命门,购买大型设备都需要经其批准。然而,随着 公司进入云时代,按量计费制(也称为可变支出模型)的出现省去了原先的采购审批流程。 当云支出达到预期水平时,公司不得不对成本进行分配、解释与控制。由于云服务提供 商每年为公司提供远超30 万个SKU(Stock Keeping Unit,库存量单位)、数千个新功能, 所以云成本优化成为公司无法忽视的一大问题。 业界亟须一个新的云成本优化运营模型,这便是FinOps。 我们在学术峰会或博客上看到的成功案例,其展示重点都在于公司如何进行技术迁移。 他们的故事往往始于夸大开发与运营团队面临的挑战,再冠以完美解决的英雄式结尾。 他们会谈到规模、数据,以及如何通过最新服务来解决复杂的问题。然而,成功路上必 不可少的财务管理实践却往往被忽略。多年来,由于云成本优化失败而陷入困境的案例 层出不穷。 在我们过去八年的职业生涯里,从公司高管和从业者口中了解到同一个问题:当代公司 对于FinOps 教育与相关知识非常匮乏。Mike 在对Atlassian 公司大规模云业务部署进行 成本优化时听到了对该问题的反馈。而J.R. 作为Apptio Cloudability 云支出管理平台联 合创始人,在指导世界上最大的云用户进行成本优化时听到了同样的问题。 公司与科技独角兽在基于云的DevOps 实践中,努力改进团队的协作方式。当他们将每 日最佳实践代码化时,却陷入了重复造轮子的怪圈。更绝望的是,他们找不到同行者。 佛法在世间,不离世间觉。少数几家有远见的公司(且称之为FinOps 英雄)严格遵守 xxii | 前言 FinOps 成熟度曲线深入实践,从而打破了僵局。相较于采用FinOps 之前的云支出,他 们节省了大量成本。同时,工程师也加速了创新。采购团队也开始优化采购战略,并统 一负责与云供应商的合作关系。之前不参与这些流程的财务人员,现在却已成为具备技 术能力、关注单位经济学的积极参与者。而领导层则有意识地在权衡速度、质量和成本 之后,做出频繁的战略调整。 不断有人寻求FinOps 资源以供学习,他们不仅想学习FinOps 的具体知识,而且渴望从 权威的FinOps 从业者处汲取经验。简而言之,我们的目的就是从他们的经验中提取精华, 汇编成书,供世界各地的同好们研究。 这也是我们建立FinOps 基金会的原因。正是这些实践者推动了最佳实践的发展。书中 介绍的实例均从实践者的经验中得来,我将他们的陈述直接引用、转述,以便将FinOps 的观点与实操呈现给你。 本书为谁而写 任何已经将业务运行在云上,或准备将业务迁移至云上,从事工程、金融、采购、产品 相关行业,或负责公司运营(包括有运营意愿)的领导层都将从此书中受益。只要组织 了解FinOps 的人物角色分配,就可以在团队中如法炮制。 工程和运营团队不习惯日复一日地关注成本。在过去的非云时代,他们关心应用的性能。 由于受到硬件采购的限制,不能随时随地获得所需服务器,所以他们不得不囤积资源、 提前计划。硬件容量规划提前几个月甚至几年就完成了。现在,在云计算环境下,无论 何时需要额外容量,只要花费更多钱就能获得相应资源,解决相应问题。但这又为工作 增加了全新挑战。即公司必须考虑到,选择基础架构的成本及该成本对业务有何影响。 一开始,大家会感觉成本考量与更受关注的软件交付相悖。但他们很快意识到,这些成 本可以看作另一个效能指标,应该被优化以对业务产生正面影响。 许多工程师只会通过“堆硬件”来解决问题,而FinOps 需要工程师进一步考 虑这样做的成本(和利润)。 —John Stuart,Jobvite 安全与IT 部门DevOps 副总裁 财务团队的传统操作是关注按月或按季度的追溯报告,并基于报告设定很快过期的财务 预算。现在,这项工作已经演变成助力业务持续发展,即财务团队会根据工程、技术团 队的需求(他们不习惯考虑成本),主动与其合作,预测支出。换句话说,他们正尝试 摒弃固定、不透明的资本支出报告,采用流动性强、透明的运营支出预测。作为其中的 一分子,财务部门通过了解云支出在数千个规格中的驱动因素,与工程、技术团队并肩 前言 | xxiii 作战。完成这些工作有助于财务人员从根本上重塑如何履行财务职能的观念,并尝试用 新的方式向高管和投资者汇报技术支出。 采购团队总是严格控制支出,在价格谈判时格外谨慎,也会在支付供应商费用之前,先 行使其在采购订单上列明的权力。而现在,采购团队进行了战略化改革,他们将所有异 常支出与云服务提供商的公司协议进行整合,以得出工程师已使用产品的最佳价格。 我们不靠压榨云服务提供商获取盈利,我们通过向客户提供优质功能而成功。 —Alex Landis,Autodesk 首席信息官(CIO)、首席技术官(CTO)等技术高管丧失了控制许多支出决策的权力, 他们现在必须放权,任团队在合理预算范围内自行运作。技术高管不再对大型采购决策 进行规划,而是更多地考虑如何预测目前的运营支出。开会时的话题已经从确保有足够 资源运行服务,转移到了确保有足够的钱运行服务。其实技术高管希望能在更大程度上 控制支出,并在战略化层面决定资金的去处。 本书通过介绍一系列公共术语及最佳实践,使各部门得以在相同理解层面上进行公平交 流与合作。 关于本书 在之后的章节中,我们正式定义FinOps。该定义是我们与一些每年管理着数亿美元云支 出的、最具经验的云成本优化团队共同制定的。我们摘录了他们成功的云实践,包括他 们在研究中发现、解决的一些问题。除此之外,我们还将展示何为有效的FinOps 实践, 以及它如何被应用于公司。 之前,了解这类知识的唯一途径就是参加一些公共活动、听专家讲座。本书和FinOps 基金会正努力改变这种现状,我们的创始成员包括来自Spotify、Nationwide、Pearson、 Atlassian、Thermos Fisher Scientific、HERE Technologies 和Australia Post 等不同公司 的优秀FinOps 智囊团成员。FinOps 基金会是一个非营利的行业协会,其目的是编写、 促进云成本优化的最佳实践与标准。 读完本书后,你会发现,FinOps 基金会是一个可以让你进一步学习云成本优化的好去处。 这是一个充满活力的社区,实践者们可以在线或在虚拟会议上分析、探讨实践过程中遇 到的困难,分享解决方案。 我们衷心希望公司制定的策略、流程及本书中的真实案例能帮助大家更好地管理云支出。 xxiv | 前言 并且,通过了解这些流程,相信你们的公司或个人职业生涯都会更具竞争力。FinOps 基 金会欢迎任何认为公司、职业生涯需要向一种新型、更具效率的云成本优化方式转变的 同好们加入。 本书中,我们以Apptio Cloudability 为例来介绍一个云成本优化平台,因为J.R. 是 Apptio Cloudability 的联合创始人,参与了整个云成本优化过程,并伴其一步步走向成熟。 FinOps 不需要特定的技术平台,你可以使用其他工具、开放源代码或自己创建的脚本, 来完成本书提到的最佳实践。 阅读前准备 我们将与你分享在FinOps 中不断成长的经验,从而赋予我们的公司更多竞争力。在阅 读过程中,我们假设你至少对三大公有云供应商(AWS、Azure、GCP)之一有基本的 认知。你应具备对云工作原理、云资源计费方式的基本理解能力,熟悉主要的资源类型(例 如计算与储存),以及更高级别的服务(例如管理数据库、队列及对象储存)。 如果你想达到专业AWS(Amazon Web Services,亚马逊云科技)水平,可以参加AWS 业务专业培训,若获得AWS 云从业者资格证书培训更佳,上述两种方式都能帮助大家 学到AWS 运营的基本知识。同样,要学习谷歌云平台相关知识,可以报名GCP(Google Cloud Platform,谷歌云平台)基础学习课程;学习Azure 专业知识,则报名Azure 基础 知识学习课程。以上相关课程或在线特训通常为期一天。 你还应该了解云计算工作原理;知晓云供应商提供的主要服务,包括通用案例;基本了 解按量计费消费模式下的计费与定价标准。 例如,作为AWS 用户,你应该已经了解EC2(弹性计算云)和RDS(关系数据库服务) 之间的区别;多种资源付费类型,例如按量计费、预留实例(RI)和竞价实例(Spot)。 如果你不知道预留实例具体是如何工作的,或如何规划购买策略也没关系,书里有相关 介绍,你需要知道的是应用它们可以节省EC2 资源的费用。 FinOps 在演进 在过去的这些年里,FinOps 一直在演进,并将持续发展,随着云服务提供商提供的服务 越来越多,平台的优化手段越来越多,FinOps 将不断进化。我们建议你在实际项目中, 重新确认本书提到的云服务提供商提供的服务细节。一旦发现本书内容有任何需要更正 选择方案或改进之处,请随时联系我们。毕竟,成功的FinOps 实践是在不断的挑战、质 疑中发展进步的。
目录 前言................................................................................ xxi 第一部分 FinOps 简介 第1 章 什么是FinOps......................................................... 3 FinOps 英雄之旅 ........................................................................................................... 3 FinOps 从何而来 ........................................................................................................... 5 定义 .............................................................................................................................. 6 实时报告(“普锐斯效应”) ........................................................................................... 7 FinOps 的核心原则 ....................................................................................................... 9 应该从何时开始使用FinOps ...................................................................................... 10 从内心的终极目标开始:单位经济学 ........................................................................ 11 总结 ............................................................................................................................ 11 第2 章 为什么选择FinOps...................................................13 合理运用云 ................................................................................................................. 13 相关问题 ..................................................................................................................... 14 缺少FinOps 体系的后果 ............................................................................................. 16 总结 ............................................................................................................................ 16 第3 章 文化转变和FinOps 团队的关系.....................................19 谁在运行FinOps ......................................................................................................... 19 为什么需要一个中心团队 ................................................................................... 21 各个团队在FinOps 中扮演的角色 ...................................................................... 21 xii | 目录 合作的新途径 ............................................................................................................. 22 FinOps 团队的定位 ..................................................................................................... 23 深入理解背后动机 ...................................................................................................... 24 工程师 ................................................................................................................. 24 财务人员 ............................................................................................................. 25 高管 ..................................................................................................................... 25 采购人员 ............................................................................................................. 26 贯穿始终的FinOps ..................................................................................................... 26 FinOps 人员招聘 ......................................................................................................... 26 FinOps 文化落地实践 ................................................................................................. 27 总结 ............................................................................................................................ 28 第4 章 FinOps 语言与云语言............................................... 29 定义通用语言 ............................................................................................................. 29 基本术语的定义 .......................................................................................................... 30 为云计算专家定义的财务术语 ............................................................................ 32 抽象化以助理解 .......................................................................................................... 34 云语言与业务语言 ...................................................................................................... 35 在DevOps 与财务团队之间建立理解的枢纽 .............................................................. 36 教育双方的必要性 ...................................................................................................... 36 基准评价与团队竞争 .................................................................................................. 37 总结 ............................................................................................................................ 37 第5 章 对云账单的剖析....................................................... 39 云计费的复杂性 .......................................................................................................... 39 账单数据的基本格式 .................................................................................................. 40 放过我,时间! .......................................................................................................... 41 不积小流,无以成江海 ....................................................................................... 42 云账单的数据简史 .............................................................................................. 42 每小时数据的重要性 .................................................................................................. 44 一个月不再是一个月 .................................................................................................. 44 一美元不再是一美元 .................................................................................................. 45 支出计算公式 ............................................................................................................. 45 影响账单的两个杠杆 ........................................................................................... 46 谁该规避成本,谁该降低费率 ............................................................................ 46 目录 | xiii 为什么要去中心化优化用量 ............................................................................... 47 总结 ............................................................................................................................ 48 第二部分 告知阶段 第6 章 FinOps 生命周期.....................................................51 FinOps 六大原则 ......................................................................................................... 51 团队协作 ............................................................................................................. 51 云的商业价值推动公司决策 ............................................................................... 52 云资源优化人人有责 ........................................................................................... 52 FinOps 报告能被即时访问 .................................................................................. 52 中心化团队驱动FinOps ...................................................................................... 52 有效利用云的可变成本模型 ............................................................................... 53 FinOps 的生命周期 ..................................................................................................... 53 告知 ............................................................................................................................ 54 优化 ............................................................................................................................ 55 运营 ............................................................................................................................ 56 注意事项 ..................................................................................................................... 58 你该从何处启程 .......................................................................................................... 58 为何实践需要从头开始............................................................................................... 59 总结 ............................................................................................................................ 60 第7 章 自我定位.................................................................61 缺乏上下文的数据毫无意义 ....................................................................................... 61 寻找第一个共识 .......................................................................................................... 62 本阶段的组织任务 ...................................................................................................... 64 透明度与反馈循环 ...................................................................................................... 64 团队绩效测评 ............................................................................................................. 65 预测与预算 ................................................................................................................. 66 团队管理预算的重要性............................................................................................... 67 至高无上的原则:从爬到走,再到跑 ........................................................................ 69 总结 ............................................................................................................................ 70 第8 章 成本分配:不遗漏一分钱..............................................71 为什么分配很重要 ...................................................................................................... 71 xiv | 目录 费用分摊与费用展示 .................................................................................................. 72 选择合适的模型组合 ........................................................................................... 72 费用展示模型实践 ...................................................................................................... 74 费用分摊和费用展示的注意事项 ................................................................................ 74 分摊成本 ..................................................................................................................... 75 摊销:这是权责发生制的世界 ................................................................................... 76 与会计建立商誉和审计............................................................................................... 78 使用TBM 分类法帮助云计算 ..................................................................................... 78 “消费恐慌”临界点 .................................................................................................... 80 总结 ............................................................................................................................ 82 第9 章 标记,标签,账号,天哪!.......................................... 83 基于标签和层次结构的成本分配方法 ........................................................................ 83 开始你的策略 ...................................................................................................... 85 比较三巨头的分配方案 ....................................................................................... 86 比较账户和文件夹,标记和标签 ........................................................................ 87 使用谷歌云平台中的文件夹组织项目................................................................. 88 标记和标签:最灵活的分配选项 ................................................................................ 89 使用标记计费 ...................................................................................................... 90 尽早开始标记 ...................................................................................................... 90 什么时候设置标记标准 ....................................................................................... 91 制定正确的标记数量 ........................................................................................... 91 标记/ 标签的限制 ............................................................................................... 92 维护标记的完善性 .............................................................................................. 93 标记应用报告 ...................................................................................................... 93 让团队实施标记 .......................................................................................................... 94 总结 ............................................................................................................................ 94 第三部分 优化阶段 第10 章 通过调整优化达到目标.............................................. 97 为什么设定目标 .......................................................................................................... 97 第一个目标是实现合理的成本分配 ............................................................................ 97 节省是目标吗 ............................................................................................................. 98 铁三角:好、快、便宜 ....................................................................................... 99 目录 | xv 用OKR 实现目标 ..................................................................................................... 100 OKR 关注领域1: 可信度 .................................................................................. 100 OKR 关注领域2 :可持续性 ............................................................................. 100 OKR 关注领域3: 控制 ...................................................................................... 101 制定目标战略线 ........................................................................................................ 102 检测异常 ................................................................................................................... 104 通过减少开支来达到预期 ......................................................................................... 105 用得少与花得少 ................................................................................................ 105 总结 .......................................................................................................................... 105 第11 章 减少使用:使用率优化............................................. 107 云消费的冰冷现实 .................................................................................................... 107 浪费从哪里来 ........................................................................................................... 108 通过清理/ 移动减少使用 .......................................................................................... 109 通过调整资源利用减少使用( 规格调整) ................................................................. 109 常见的调整使用的误区 ..................................................................................... 110 不只是EC2 :存储成本的控制建议 .................................................................. 112 通过重新设计减少使用............................................................................................. 114 弹性 ................................................................................................................... 114 按计划运作........................................................................................................ 114 预留实例的影响 ........................................................................................................ 114 收益vs 投入 .............................................................................................................. 115 无服务器计算 ........................................................................................................... 116 并非所有的浪费都是浪费 ......................................................................................... 117 爬、走、跑 ............................................................................................................... 118 高级工作流程:自动选择退出调整 .......................................................................... 118 追踪优化节省 ........................................................................................................... 121 总结 .......................................................................................................................... 123 第12 章 减少支出:费率优化............................................... 125 计算资源定价 ........................................................................................................... 125 按需 ................................................................................................................... 125 现货/ 可被抢占的/ 低优先级资源 .................................................................... 126 预留 ................................................................................................................... 126 存储资源定价 ........................................................................................................... 126 xvi | 目录 批量使用折扣 ........................................................................................................... 127 基于使用 ........................................................................................................... 127 基于时间 ........................................................................................................... 128 协议费率 ................................................................................................................... 128 定制的定价协议 ................................................................................................ 129 销售的私人定价 ................................................................................................ 129 BYOL 注意事项 ........................................................................................................ 129 总结 .......................................................................................................................... 129 第13 章 使用预留实例和承诺使用折扣减少支出.......................... 131 预留概览 ................................................................................................................... 131 预留和承诺的使用 .................................................................................................... 133 实例规格的灵活性 ............................................................................................ 134 转换和取消........................................................................................................ 135 三巨头提供的使用承诺概述 ..................................................................................... 135 AWS .......................................................................................................................... 135 预留实例提供什么 ............................................................................................ 136 AWS 预留实例的参数 ....................................................................................... 136 匹配关联账户 .................................................................................................... 137 标准预留实例与可转换预留实例 ...................................................................... 139 实例大小的灵活性 ............................................................................................ 140 节省计划 ........................................................................................................... 142 GCP ........................................................................................................................... 143 不为虚拟机实例按小时付费 ............................................................................. 144 账单和共享的承诺使用折扣 ............................................................................. 144 组织与计费账户的关系 ..................................................................................... 145 在项目中应用承诺使用折扣 ............................................................................. 146 Azure ........................................................................................................................ 146 实例规格的灵活性 ............................................................................................ 147 总结 .......................................................................................................................... 149 第14 章 RI 和CUD 策略................................................... 151 常见的错误 ............................................................................................................... 151 构建RI 策略的步骤 .................................................................................................. 152 学习基础知识 .................................................................................................... 152 目录 | xvii 构建可重复的RI 流程 ....................................................................................... 155 定期购买和长期购买 ......................................................................................... 156 衡量有效性,不断迭代 ..................................................................................... 156 合理分配RI 成本 .............................................................................................. 156 集中式预留模型 ........................................................................................................ 157 预留时机 ................................................................................................................... 158 何时调整规格与预留 ................................................................................................ 159 构建你的战略 ........................................................................................................... 160 对云服务提供商的承诺级别 ............................................................................. 160 资本成本 ........................................................................................................... 161 红区/ 绿区法 ..................................................................................................... 161 采购批准 ........................................................................................................... 162 谁为预留付款 .................................................................................................... 163 策略建议 ........................................................................................................... 164 总结 .......................................................................................................................... 165 第四部分 运营阶段 第15 章 对齐团队和商业目标............................................... 169 完成目标 ................................................................................................................... 169 流程 .......................................................................................................................... 170 加入(Onboarding) ........................................................................................... 170 责任(Responsibility) ....................................................................................... 171 可视化(Visibility) ........................................................................................... 171 行动(Action) ................................................................................................... 172 责任制强化文化 ........................................................................................................ 173 胡萝卜加大棒 .................................................................................................... 173 与差成员一起工作 ............................................................................................ 173 将运营付诸行动 ........................................................................................................ 174 总结 .......................................................................................................................... 175 第16 章 指标驱动成本优化.................................................. 177 核心原则 ................................................................................................................... 177 自动测量 ........................................................................................................... 178 目标 ................................................................................................................... 178 xviii | 目录 可实现的目标 .................................................................................................... 178 数据驱动 ........................................................................................................... 181 指标驱动的流程与节奏驱动的流程 .......................................................................... 182 设定目标 ................................................................................................................... 183 采取行动 ................................................................................................................... 183 总结 .......................................................................................................................... 184 第17 章 自动化成本管理..................................................... 185 自动化的目标是什么 ................................................................................................ 185 你想要实现的结果是什么 ................................................................................. 185 自动任务与手动任务 ......................................................................................... 186 自动化工具 ............................................................................................................... 186 成本 ................................................................................................................... 187 其他注意事项 .................................................................................................... 187 工具部署选项 .................................................................................................... 188 自动化协同工作 ........................................................................................................ 188 集成 ................................................................................................................... 188 自动化冲突........................................................................................................ 189 安全 .......................................................................................................................... 189 如何开始 ................................................................................................................... 190 自动化内容 ............................................................................................................... 191 标签治理 ........................................................................................................... 191 计划资源启动/ 停止 ......................................................................................... 191 减少使用量........................................................................................................ 191 总结 .......................................................................................................................... 191 第18 章 容器世界的FinOps............................................... 193 初识容器 ................................................................................................................... 193 迁移到容器编排引擎 ................................................................................................ 195 容器FinOps 生命周期 .............................................................................................. 196 容器告知阶段 ........................................................................................................... 196 成本分配 ........................................................................................................... 196 容器比例 ........................................................................................................... 197 标记、标签和命名空间 ..................................................................................... 199 容器优化阶段 ........................................................................................................... 199 目录 | xix 集群部署 ........................................................................................................... 199 容器用量优化 .................................................................................................... 200 服务器实例费率优化 ......................................................................................... 202 容器运营阶段 ........................................................................................................... 202 无服务器容器 ........................................................................................................... 202 总结 .......................................................................................................................... 203 第19 章 管理单位经济学:FinOps 涅..................................205 作为单位经济学基础的指标 ..................................................................................... 205 回到铁三角 ............................................................................................................... 208 基于活动的成本核算 ................................................................................................ 210 计算方式中缺少什么 ................................................................................................ 211 总结 .......................................................................................................................... 212 下一步是什么 ........................................................................................................... 212 关于优先级的后记(来自J.R.) .............................................. 215 词汇表............................................................................ 217