教育>本科研究生>计算机类
分布式流数据处理的容错技术研究  

分布式流数据处理的容错技术研究  "

作者:庄园,申林山,徐丽
ISBN:9787121452857
定价:¥42.0
字数:146千字
页数:112
出版时间:2023-01
开本:16开
版次:01-01
装帧:
出版社:电子工业出版社
简介

本书主要论述分布式流数据处理的容错技术方法。通过深入分析和探讨,从理论模型、容错策略、容错机制和协议等方面开展相关研究工作,通过建立理论方法和核心技术,提升分布式流处理系统的可靠性,为分布式流处理容错技术提供了一种新的思路和解决方案。本书共6章,主要内容包括绪论、支持分布式流处理的低开销容错机制、支持弹性流处理的自适应容错机制、负载感知的最佳检查点间隔策略、负载感知的近似备份策略和总结与展望。本书通过理论建模、仿真分析及实验验证等手段,对分布式流数据处理的容错技术进行了有意义的探索。 本书可作为高等工科院校计算机科学与技术、自动化、电子信息等专业研究生的参考书,也可供从事分布式处理系统容错技术设计的工程技术人员自学参考。

前言

前 言 近年来,随着大规模流数据快速处理和分析技术的快速发展,分布式流处理系统(DSPS)已被证明是解决大规模数据流问题的有效方法。由于流数据具有持续性、时效性、突发性等特点,因此对故障容错技术提出了新的实时性挑战。本书通过深入分析和探讨,从理论模型、容错策略、容错机制和协议等方面开展相关研究工作,通过建立理论方法和核心技术,提升分布式流处理系统的可靠性,为分布式流处理容错技术提供了一种新的思路和解决方案。 本书的研究内容如下:支持分布式流处理的低开销容错机制的设计与实验测试(研制分布式容错协议,包括计算状态异步更新机制和多级数据精准删除机制,实现支持低开销和低延迟的故障容错机制并通过原型系统进行可靠性测试),支持弹性流处理的自适应容错机制的设计与实验验证(针对弹性流处理的动态拓扑变化,研制容错方案在线调整策略,实现备份调整机制及分布式调整协议,针对提出的在线调整容错机制进行模拟实验及性能测试),负载感知的最佳检查点间隔策略的设计与实验测试(针对流数据随时间变化的负载波动,研制扩展的容错开销和故障代价模型,构建节点级处理效率的最优化目标,进而给出节点级按需容错策略优化算法并进行模拟实验、性能测试),负载感知的近似备份策略与实验验证(针对高实时需求的流数据处理作业,提出最优近似备份问题,权衡容错开销与输出准确度的最大收益,研制单点故障和级联故障两种场景下的近似备份算法,进行模拟实验和容错性能测试)。 本书基于作者多年从事分布式容错技术的研究成果,参考和借鉴国内外分布式流处理容错设计与研究的具体实践,将理论与实际相结合,以支持分布式流处理的低开销容错模型等理论方法为基础,论述了实时响应的在线调整容错机制、基于负载感知的最佳检查点间隔模型及近似备份容错方法等分布式领域的多种容错技术。 本书针对分布式流处理容错技术的设计具有独到之处:第一,在研究方法上,既重视基础理论,又概括了一些分布式流处理容错技术最新发展的内容;第二,在内容设置上,章节连接紧密,结构体系完整,理论分析简明扼要、重点突出,内容清晰易懂。在本书出版之际,向本书所引用的文献与资料的原作者及支持和帮助本书出版的专家表示由衷的感谢。 本书涉及的研究工作,得到了国家自然基金面上项目(61772228)、国家自然基金青年基金项目(61602205)及中央高校基本科研业务费的大力支持。 限于著者水平,加之时间紧迫,书中难免存在疏漏和不足之处,敬请读者批评指正,并提出宝贵意见。 著 者

目录

目 录 第1章 绪论 1 1.1 研究背景与意义 1 1.1.1 分布式流数据处理 1 1.1.2 系统可靠性问题与容错机制 2 1.1.3 流数据处理容错技术的挑战 3 1.2 国内外研究现状 5 1.2.1 分布式流数据处理系统 5 1.2.2 流处理自动并行化技术 9 1.2.3 容错技术 10 1.3 本书的主要内容 13 1.4 本书的组织结构 14 第2章 支持分布式流处理的低开销容错机制 16 2.1 引言 16 2.2 相关工作 16 2.3 通用分布式流处理框架 17 2.4 系统模型 18 2.4.1 流数据处理作业 18 2.4.2 节点运行状态 19 2.5 结合检查点的上游备份模型 21 2.5.1 异步检查点 22 2.5.2 上游数据备份 22 2.6 容错协议及算法 24 2.6.1 上游备份协议 24 2.6.2 协议开销分析 26 2.6.3 快速恢复算法 27 2.7 实验结果与性能分析 29 2.7.1 系统原型实现 29 2.7.2 实验设置 29 2.7.3 容错通信开销 32 2.7.4 容错延迟开销 33 2.7.5 容错内存开销 33 2.7.6 故障恢复测试 34 2.8 本章小结 35 第3章 支持弹性流处理的自适应容错机制 36 3.1 引言 36 3.2 相关工作 37 3.3 弹性流处理下容错问题建模 38 3.3.1 问题概述 38 3.3.2 备份调整函数 40 3.3.3 问题模型假设 41 3.4 支持弹性流处理的自适应容错机制 41 3.4.1 弹性数据备份单元 42 3.4.2 数据依赖关系追踪 44 3.4.3 在线检查点调整机制 46 3.5 自适应容错协议 46 3.6 实验与结果分析 49 3.6.1 系统原型实现 49 3.6.2 实验设置 50 3.6.3 容错开销测试 51 3.6.4 故障恢复测试 52 3.6.5 综合性能比较 52 3.7 本章总结 53 第4章 负载感知的最佳检查点间隔策略 54 4.1 引言 54 4.2 相关工作 55 4.3 最佳检查点问题建模 57 4.3.1 系统模型 57 4.3.2 处理效率 58 4.3.3 问题定义 60 4.4 动态最佳检查点间隔(DOCI)模型 61 4.4.1 在线恢复时间预测 61 4.4.2 最佳检查点间隔 62 4.5 DOCI调整策略 63 4.5.1 DOCI调整算法 63 4.5.2 缓存对最佳检查点间隔的影响 66 4.6 实验与结果分析 67 4.6.1 模拟方法 67 4.6.2 恒定输入速率下的效率测试 68 4.6.3 工作负载波动下的效率测试 69 4.6.4 备份缓存区容量的影响测试 71 4.7 应用场景 72 4.8 本章总结 73 第5章 负载感知的近似备份策略 74 5.1 引言 74 5.2 相关工作 76 5.3 系统模型介绍 77 5.3.1 流处理模型 77 5.3.2 近似备份模型 77 5.3.3 前提假设 78 5.4 容错问题建模 79 5.4.1 备份开销 79 5.4.2 恢复质量 80 5.4.3 问题描述 81 5.5 近似备份算法 82 5.5.1 单节点故障算法 82 5.5.2 级联故障算法 83 5.5.3 负载倾斜备份算法 85 5.6 实验结果与分析 87 5.6.1 实验设置 87 5.6.2 综合性能测试 89 5.6.3 系统性能与故障恢复精度的影响测试 91 5.6.4 负载倾斜下的性能测试 92 5.6.5 可扩展性测试 93 5.7 结论 94 第6章 总结与展望 96 6.1 总结 96 6.2 未来研究展望 96 参考文献 98

作者简介

编辑推荐

作者寄语

电子资料

www.luweidong.cn

下一个