智能电网大数据云计算技术研究

智能电网大数据云计算技术研究"

作者:周国亮、宋亚奇、朱永利、王桂兰、萨初日拉
ISBN:9787302434894
定价:¥39
字数:千字
页数:
出版时间:2016.09.01
开本:
版次:1-1
装帧:
出版社:清华大学出版社
简介

本书针对智能电网大数据云计算技术展开研究,通过提高数据利用率,探索数据驱动的电力系统各种挑战解决方案。重点研究了批处理、流式计算和内存计算等在智能电网大数据分析处理中的应用,探讨了电力系统全景实时大数据体系架构。

本书在深入分析智能电网大数据特点的基础上,开展了云计算与电力系统深度融合的研究工作,是云计算在电力系统中落地的尝试。本书可以作为电气工程类、计算机科学与技术类专业的研究生课外参考读物,也可作为相关专业工程技术人员、教师及科技工作者的参考。

前言

近年来,随着智能电网研究和建设的不断推进、各种分布式可再生能源的大规模应用等,电网规模不断扩大、结构日趋复杂,对电网监测的广度不断扩大、深度不断加强,而对大规模电网的全方位、多尺度感知将使电力系统运行和监测过程中收集的数据量呈指数级增长,并逐渐形成了电力大数据。通常情况下,电力大数据具有如下特点。

(1) 体量巨大。从TB级别跃升到PB级别,广域向量测量系统(Wide Area Measurement System,WAMS)和数据采集与监视控制系统(Supervisory Control and Data Acquisition,SCADA)遥测点增加、采集频率提高,每年将产生超过TB级的数据; 用电信息采集系统成为世界上最大的自动化计量系统,连接着以亿计算的用户,随着采集频率提高,数据量将以PB计算。

(2) 多源异构特性。电力系统本身结构复杂、规模庞大,采集的数据具有明显的多源异构特性。同时也需要对电网系统外数据(气象、地理、环境等)与内部数据进行关联分析。比如与电力设备状态评估相关的数据来源广、种类多,包括在线监测实时数据、设备台账信息、预试数据以及音视频和气候环境等非结构化数据。

(3) 生成速度快。由于电力系统的特殊性,在某些场景下数据采样频率很高,数据生成速度非常快。分布式能源随气候环境动态变化,要求快速准确预测变化,需要对设备和环境实时监控。在SCADA调度系统中,每分钟产生的数据量也将达到GB级。

(4) 价值密度低。以视频数据为例,连续不间断监控过程中,可能有用的数据仅仅有1~2s。在基于经验和人工的传统输变电设备状态监测评估中,只对少量异常数据关注、处理和采用,而丢弃所谓“正常数据”,然而大量的正常数据也可能成为故障分析判断的重要依据。

基于电力大数据的特点,深入探讨数据驱动的电力系统各项技术,提高数据利用率是当前智能电网建设过程中必须要面对的问题。云计算技术是处理分析大数据的有效方式,具有良好的可扩展性和容错机制,在商业互联网领域应用广泛。随着电力大数据的形成,探讨基于云计算技术的电力大数据分析处理,进而对提高电力系统的整体安全性和可靠性具有重要的研究价值。然而,由于电力系统运行模式与商业互联网企业相比具有自身的特点和性能要求,当云计算应用于生产运行数据时具有很大的挑战性,本文正是基于此背景展开相关研究和探讨。

当前云计算技术包括批处理计算、流式计算和内存计算等三种方式,分别适应于不同的数据处理类型。其中,批处理适合离线静态数据分析,对运行时间要求较低; 而流式计算面对流动的实时数据动态计算,对时限性要求较高; 内存计算是针对批处理频繁磁盘操作性能瓶颈,适应需要多次迭代的机器学习类算法。另外,针对电力大数据的多源异构特点,需要开展数据融合分析技术,为用户提供统一综合的查询视图。综上所述,本书主要开展了如下几项研究工作。

(1) 智能电网大数据批处理技术模式研究与应用(第1章)

利用收集的静态离线电力大数据,开展了电力短期负荷预测、绝缘子泄漏电流数据高效存储和聚类划分及局部放电信号处理的并行EEMD算法研究。主要采用的技术是Hadoop的MapReduce技术,通过并行计算和大数据的支撑,提高数据处理的效率。

(2) 智能电网大数据高性能内存计算技术研究(第3章)

针对电力系统中部分应用需要高性能计算分析的特点,开展内存计算技术在电力系统中的应用研究。重点对监测数据尤其是在线监测领域,监测数据速度快的特点,研究高效的内存聚类算法。另外,对电力数据高级分析的OLAP技术开展了基于内存计算的并行方体计算技术研究。

(3) 智能电网大数据的多源数据融合分析技术(第4章)

针对智能电网大数据多源异构的特点,研究数据融合技术,为用户提供统一的查询或显示视图。重点研究内容包括多通道数据融合特征提取和多数据源的连接技术,并结合Hadoop和Spark研究并行计算模式和高速融合算法。

(4) 智能电网大数据的流式计算研究(第5章)

针对智能电网大数据速度快,多种场景下表现出流数据的特征,研究流式计算技术动态处理数据,应用在在线监测和实时用电信息采集系统中。研究了监测流数据实时过滤和检测技术,通过设计基于工作流的处理模型,快速实现对大规模流数据的监测,实时发现异常,提高监测效率。针对大规模用电信息采集系统,设计流式计算的聚类算法,完成数据聚类划分,实时发现用电行为异常,从而提升数据分析技术与生产系统的融合水平。

(5) 全景实时分析平台关键技术探索(第6章)

智能电网最终目标的实现需要借助全景实时分析平台的支撑,将大数据平台变为智能电网的神经中枢,促进大数据与电力系统的深度融合,从数据驱动的角度研究当前电力系统面临的挑战问题。探讨基于内存计算、实时流式大数据处理技术、大规模并行计算技术及列存储等在电力大数据实时分析中的应用,满足电力系统对大数据分析的时效性需求; 结合主流开源大数据处理技术,设计了电力大数据分析平台的分层体系架构,为电力系统的高效运行提供保证。

(6) 能源互联网中的大数据(第7章)

能源互联网是实现广域范围内的能源分享和支持分布式清洁能源为主体,将涵盖大规模的分布式能源、交通网络、天然气网络等,而支撑能源互联网高效运行和实时能源分享的核心技术应包括大数据分析技术。探讨了通过大数据提高能源互联网的安全等级和高效实时调度技术。

本书由国网冀北电力有限公司技能培训中心周国亮统稿,并负责第1、2、5、6、7、8章的编写,华北电力大学宋亚奇和王桂兰分别负责第3、4章的编写,华北电力大学朱永利教授对全书进行了审阅。

本书的研究工作得到了河北省自然科学基金(F2014502069)的资助。在这里,谨对所有给予我们指导、关心和帮助过的单位和个人表达最诚挚的谢意,没有你们认真负责的工作,此书不可能完成。感谢本书引用中所涉及的各位学者、专家。本文引用了多位学者的研究文献,如果没有各位学者研究成果的帮助和启发,我们将很难完成本书的内容。感谢为本书出版做出辛勤工作的出版社同志,没有你们的专业劳动,展现在读者面前的内容会很凌乱,很难示人。感谢阅读此书的每一位读者,是你们的阅读才使我们的工作有意义,谢谢你们。

由于我们的学术水平、工程经验有限,对所研究内容把握能力还存在不足和欠缺,书中不足之处在所难免,恳请各位专家和读者批评和指正!我们的邮箱是yu_bing_2000@163.com,谢谢!

周国亮

2016年3月28日

目录

第1章智能电网大数据现状及挑战

1.1智能电网

1.2云计算与大数据

1.3智能电网大数据及特点

1.3.1智能电网中的大数据

1.3.2智能电网中大数据的特点

1.4大数据处理技术

1.4.1大数据处理的价值和复杂性

1.4.2并行数据库

1.4.3云计算技术

1.4.4云计算在智能电网中的应用

1.5智能电网大数据机遇与挑战

1.5.1大数据传输及存储技术

1.5.2实时数据处理技术

1.5.3异构多数据源处理技术

1.5.4大数据可视化分析技术

1.5.5流式计算技术

1.6小结

第2章批处理计算模式及其应用

2.1批处理技术

2.2用户短期用电负荷预测技术

2.2.1智能电网的互动特性

2.2.2电力短期负荷预测

2.2.3基于MapReduce的用户短期电力负荷预测技术

2.3绝缘子泄漏电流数据聚类划分技术

2.3.1状态监测数据特点

2.3.2基于数据驱动的状态监测技术

2.3.3状态监测大数据存储技术

2.3.4基于分形维数的密度聚类划分

2.3.5大数据聚类算法及仿真试验

2.4局部放电信号处理的并行EEMD算法

2.4.1局部放电信号处理介绍

2.4.2经验模态分解EMD

2.4.3总体经验模态分解EEMD

2.4.4EEMD去噪

2.4.5基于MapReduce模型的并行化EEMD算法

2.4.6实验研究

2.5小结

第3章智能电网中内存计算高性能数据分析技术及应用

3.1内存计算技术

3.2高性能数据分析

3.3状态监测实时内存计算技术

3.3.1状态监测实时批处理技术

3.3.2实时批处理的Spark技术

3.3.3Spark大数据分析

3.4模糊C均值聚类算法

3.4.1FCM算法

3.4.2Spark上矩阵操作定义

3.4.3SparkFCM算法

3.4.4实验与实验结果分析

3.5Spark环境下的高性能OLAP分析查询

3.5.1相关背景及工作介绍

3.5.2相关理论知识介绍

3.5.3基于Spark的BUC算法设计及改进

3.5.4实验与实验结果分析

3.6小结

第4章智能电网多源异构数据分析技术

4.1多源异构数据

4.2存储优化研究

4.2.1数据分布优化

4.2.2数据块尺寸调优

4.2.3Hadoop集群网络拓扑规划

4.3并行数据融合算例分析

4.3.1多数据源并行连接查询

4.3.2多通道数据融合特征提取

4.3.3实验与结果分析

4.4多维数据连接技术

4.4.1连接操作

4.4.2多维Bloom Filter

4.4.3基于MDBF的星型连接算法

4.4.4算法分析及性能测试

4.5小结

第5章流式计算技术应对智能电网高速实时数据

5.1流式数据

5.1.1流式计算概述

5.1.2智能电网中的流式数据

5.1.3基于分布式技术的监测大数据可靠接收及其快速分发

5.1.4流式计算在电力系统中的应用

5.2状态监测实时流数据处理技术

5.2.1状态监测流数据

5.2.2Storm流数据处理技术

5.2.3状态监测流数据处理

5.3大规模用电数据流实时聚类技术

5.3.1用电数据流

5.3.2DBSCAN聚类算法

5.3.3流数据上DBSCAN

5.3.4Spark中的流式DBSCAN算法

5.4基于近似熵算法的电网数据特征提取

5.4.1近似熵理论

5.4.2Storm框架下近似熵算法的实现

5.5小结

第6章智能电网大数据全景实时分析平台探索

6.1全景实时分析背景

6.2全景实时分析关键技术问题

6.2.1基于大数据的大电网安全可靠性分析技术

6.2.2基于大数据的输变电设备全寿命周期管理

6.2.3全景实时能源动态平衡调度技术

6.3电力大数据实时分析核心技术

6.3.1主要技术挑战

6.3.2多核/众核并行计算技术

6.3.3列存储技术

6.3.4基于优先级的电力云平台的任务调配

6.3.5大规模流数据可靠接收技术

6.4电力大数据分析平台

6.4.1平台架构

6.4.2平台特色

6.5小结

第7章大数据支撑能源互联网建设

7.1能源互联网

7.2能源互联网中的实时大数据

7.3大数据支撑能源互联网

7.3.1大数据支撑能源互联网整体优化和调度

7.3.2大数据提高能源互联网安全等级

第8章总结与展望

8.1总结

8.2展望

参考文献

作者简介

编辑推荐

随着智能电网研究和建设的不断推进、各种分布式可再生能源的大规模应用等,电网规模不断扩大、结构日趋复杂,对电网监测的广度不断扩大、深度不断加强,而对大规模电网的全方位、多尺度感知将使电力系统运行和监测过程中收集的数据量呈指数级增长,并逐渐形成了电力大数据。本书主要介绍智能电网大数据批处理技术模式研究与应用,智能电网大数据高性能内存计算技术研究,智能电网大数据的多源数据融合分析技术,智能电网大数据的流式计算研究,全景实时分析平台关键技术探索,能源互联网中的大数据。

作者寄语

随着智能电网研究和建设的不断推进、各种分布式可再生能源的大规模应用等,电网规模不断扩大、结构日趋复杂,对电网监测的广度不断扩大、深度不断加强,而对大规模电网的全方位、多尺度感知将使电力系统运行和监测过程中收集的数据量呈指数级增长,并逐渐形成了电力大数据。本书主要介绍智能电网大数据批处理技术模式研究与应用,智能电网大数据高性能内存计算技术研究,智能电网大数据的多源数据融合分析技术,智能电网大数据的流式计算研究,全景实时分析平台关键技术探索,能源互联网中的大数据。

电子资料

www.luweidong.cn

下一个