一种基于大数据的电网信息运维主动预警方法与流程

1.本发明涉及电力技术领域，具体为一种基于大数据的电网信息运维主动预警方法。


背景技术：

2.电力信息网络是电网稳定运行的重要基础，近年来，随着国家电网公司信息化建设的快速发展，公司信息系统数量不断增加，对日常运维提出了更高的标准和需求，目前主要采取在故障发生之后进行告警和抢修的被动运维模式，这种模式导致运维人员将日常大部分时间和精力都花在处理简单且重复的“被动救火”问题上，不但事倍功半而且常会出现恶性连锁反应，公司缺乏在故障发生之前对信息运维体系进行提前预警的能力，缺乏对运维隐患进行定位和分析的能力，亚需实现以预防为主的主动运维模式。
3.目前电力公司的信息运维体系实现了事后报警，处于被动的状态，因此，整合当前分散在各个系统中的电网生产运行等关键数据，采用数据挖掘分析等相关技术，挖掘数据背后隐藏的规律和关联关系，为电网发展提供预测和决策支持，为此，我们提出一种基于大数据的电网信息运维主动预警方法。


技术实现要素：

4.(一)解决的技术问题
5.针对现有技术的不足，本发明提供了一种基于大数据的电网信息运维主动预警方法，基于大数据电网信息运维预警模块由数据采集模块、集成模块、分析模块、预警模块与反馈模块组成，实现了对电网信息资源的统一管理；对海量电网信息运维数据的高效分析挖掘；在故障发生之前的故障定位、故障分析、故障预警和故障解决，从而全面提升电网信息运维整体水平，可以有效解决背景技术中的问题。
6.(二)技术方案
7.为实现上述目的，本发明采取的技术方案为：一种基于大数据的电网信息运维主动预警方法，包括基于大数据电网信息运维预警模块，所述基于大数据电网信息运维预警模块包括数据采集模块、集成模块、分析模块、预警模块与反馈模块，且所述数据采集模块与集成模块相连，所述集成模块与分析模块相连，所述分析模块与预警模块相连，所述预警模块与反馈模块相连，所述预警模块、反馈模块与集成模块相连。
8.优选的，所述数据采集模块包括基础设施数据、信息系统运维数据、外部数据、日志流与数据库导入。
9.优选的，所述集成模块包括分布式存储模块、大数据存储模块、与批量处理模块，且所述分布式存储模块采用hdfs/yarn分布式文件系统。
10.优选的，所述大数据存储模块采用hdfs/nosql存储框架，所述批量处理模块采用spak/mapreduce计算框架。
11.优选的，所述预警模块包括状态预警、阂值预警、快变预警、趋势预警、评价预警与
关联预警，且所述阂值预警对信息资源设置风险预警阂值，将当前监测数据与预警阂值进行比较，如果监测数据不在相应的预警阂值范围内，则认为监测对象符合预警条件，生成预警事件。
12.优选的，所述关联预警是在信息系统及其基础设施的海量运行和应用数据中，查找存在于项目集合或对象集合之间的频繁模式、关联、相关的因果结构。
13.(三)有益效果
14.与现有技术相比，本发明提供了一种基于大数据的电网信息运维主动预警方法，具备以下有益效果：
15.1、该一种基于大数据的电网信息运维主动预警方法，设置的数据采集模块，基于snmp等数据采集协议实现对电网信息资源的运行与数据的采集，采集信息的主要资源包括基础设施数据、信息系统运维数据、外部数据、日志流与数据库导入。
16.2、该一种基于大数据的电网信息运维主动预警方法，设置的集成模块，集成模块包括分布式存储模块、大数据存储模块与批量处理模块，实现对多源数据的汇聚、存储和清洗，且提供批量数据和计算服务，大数据存储模块采用hdfs/nosql存储框架，批量处理模块采用spak/mapreduce计算框架，分布式存储模块采用hdfs/yarn分布式文件系统。
17.3、该一种基于大数据的电网信息运维主动预警方法，通过设置的分析模块，通过大数据分析挖掘基础的算法库和主动预警方法库，提供分析支持，数据挖掘与大数据分析可以从海量数据中，找到值得参考的样型或规则，转换成有价值的信息，算法库包含回归分析、分类分析等基础的算法。
18.4、该一种基于大数据的电网信息运维主动预警方法，设置的预警模块，实现对电力信息网络的主动预警，包含了状态预警、阂值预警、快变预警、趋势预警、评价预警与关联预警，通过对各类信息资源运行异常的监测和分析，实现了各类缺陷的预判和预警信息的生成。
19.5、该一种基于大数据的电网信息运维主动预警方法，设置的反馈模块，便于对预警效果做出客观的评价，便于做出改进。
附图说明
20.图1为本发明一种基于大数据的电网信息运维主动预警方法的整体结构示意图。
21.图2为本发明一种基于大数据的电网信息运维主动预警方法中数据采集模块的结构示意图。
22.图3为本发明一种基于大数据的电网信息运维主动预警方法中集成模块的结构示意图。
23.图4为本发明一种基于大数据的电网信息运维主动预警方法中预警模块的结构示意图。
24.图中：1、基于大数据电网信息运维预警模块；2、数据采集模块；3、集成模块；4、分析模块；5、预警模块；6、反馈模块；7、基础设施数据；8、信息系统运维数据；9、外部数据；10、日志流；11、数据库导入；12、分布式存储模块；13、大数据存储模块；14、批量处理模块；15、状态预警；16、阂值预警；17、快变预警；18、趋势预警；19、评价预警；20、关联预警。
具体实施方式
25.为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
26.具体实施例一
27.本实施例是一种基于大数据的电网信息运维主动预警方法。
28.如图1-4所示，包括基于大数据电网信息运维预警模块1，基于大数据电网信息运维预警模块1包括数据采集模块2、集成模块3、分析模块4、预警模块5与反馈模块6，且数据采集模块2与集成模块3相连，集成模块3与分析模块4相连，分析模块4与预警模块5相连，预警模块5与反馈模块6相连，预警模块5、反馈模块6与集成模块3相连。
29.数据采集模块2包括基础设施数据7、信息系统运维数据8、外部数据9、日志流10与数据库导入11；集成模块3包括分布式存储模块12、大数据存储模块13、与批量处理模块14，且分布式存储模块12采用hdfs/yarn分布式文件系统；大数据存储模块13采用hdfs/nosql存储框架，批量处理模块14采用spak/mapreduce计算框架；预警模块5包括状态预警15、阂值预警16、快变预警17、趋势预警18、评价预警19与关联预警20，且阂值预警16对信息资源设置风险预警阂值，将当前监测数据与预警阂值进行比较，如果监测数据不在相应的预警阂值范围内，则认为监测对象符合预警条件，生成预警事件；关联预警20是在信息系统及其基础设施的海量运行和应用数据中，查找存在于项目集合或对象集合之间的频繁模式、关联、相关的因果结构。
30.需要说明的是，本发明为一种基于大数据的电网信息运维主动预警方法，设置的数据采集模块2，基于snmp等数据采集协议实现对电网信息资源的运行与数据的采集，采集信息的主要资源包括基础设施数据7、信息系统运维数据8、外部数据9、日志流10与数据库导入11；设置的集成模块3，集成模块3包括分布式存储模块12、大数据存储模块13与批量处理模块14，实现对多源数据的汇聚、存储和清洗，且提供批量数据和计算服务，大数据存储模块13采用hdfs/nosql存储框架，批量处理模块14采用spak/mapreduce计算框架，分布式存储模块12采用hdfs/yarn分布式文件系统；通过设置的分析模块4，通过大数据分析挖掘基础的算法库和主动预警方法库，提供分析支持，数据挖掘与大数据分析可以从海量数据中，找到值得参考的样型或规则，转换成有价值的信息，算法库包含回归分析、分类分析等基础的算法；设置的预警模块5，实现对电力信息网络的主动预警，包含了状态预警15、阂值预警16、快变预警17、趋势预警18、评价预警19与关联预警20，通过对各类信息资源运行异常的监测和分析，实现了各类缺陷的预判和预警信息的生成；设置的反馈模块6，便于对预警效果做出客观的评价，便于做出改进。
31.具体实施例二
32.本实施例是一种基于大数据的电网信息运维主动预警方法中数据采集模块2的实施例。
33.如图1、2所示，一种基于大数据的电网信息运维主动预警方法用的数据采集模块2，包括基础设施数据7、信息系统运维数据8、外部数据9、日志流10与数据库导入11，基于snmp等数据采集协议实现对电网信息资源的运行与数据的采集，snmp是专门设计用于在ip网络管理网络节点服务器、工作站、路由器、交换机及hubs等的一种标准协议，它是一种应用层协议，snmp使网络管理员能够管理网络效能，发现并解决网络问题以及规划网络增长，
通过snmp接收随机消息及事件报告网络管理系统获知网络出现问题。
34.具体实施例三
35.本实施例是一种基于大数据的电网信息运维主动预警方法中预警模块5的实施例。
36.如图1、4所示，一种基于大数据的电网信息运维主动预警方法用的预警模块5，预警模块5包括状态预警15、阂值预警16、快变预警17、趋势预警18、评价预警19与关联预警20，设置的状态预警15，在确定信息资源是否可达的前提下，将其状态分为三种:正常状态、失联状态和不稳定状态，正常状态表示信息资源每次都可达，失联状态表示信息资源连续两次不可达，不稳定状态表示信息资源经常不可达，但是达不到失联标准，目前的不稳定状态判断原则是:一个工作日探测的288次中至少有3次不可达，且不连续，则认为其处于不稳定状态，如果信息资源处于不稳定状态，需要对其进行状态预警15,实现各类缺陷的预判和预警信息的生成。
37.需要说明的是，在本文中，诸如第一和第二(一号、二号)等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
38.以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

技术特征：
1.一种基于大数据的电网信息运维主动预警方法，包括基于大数据电网信息运维预警模块(1)，其特征在于：所述基于大数据电网信息运维预警模块(1)包括数据采集模块(2)、集成模块(3)、分析模块(4)、预警模块(5)与反馈模块(6)，且所述数据采集模块(2)与集成模块(3)相连，所述集成模块(3)与分析模块(4)相连，所述分析模块(4)与预警模块(5)相连，所述预警模块(5)与反馈模块(6)相连，所述预警模块(5)、反馈模块(6)与集成模块(3)相连。2.根据权利要求1所述的一种基于大数据的电网信息运维主动预警方法，其特征在于：所述数据采集模块(2)包括基础设施数据(7)、信息系统运维数据(8)、外部数据(9)、日志流(10)与数据库导入(11)。3.根据权利要求1所述的一种基于大数据的电网信息运维主动预警方法，其特征在于：所述集成模块(3)包括分布式存储模块(12)、大数据存储模块(13)、与批量处理模块(14)，且所述分布式存储模块(12)采用hdfs/yarn分布式文件系统。4.根据权利要求3所述的一种基于大数据的电网信息运维主动预警方法，其特征在于：所述大数据存储模块(13)采用hdfs/nosql存储框架，所述批量处理模块(14)采用spak/mapreduce计算框架。5.根据权利要求1所述的一种基于大数据的电网信息运维主动预警方法，其特征在于：所述预警模块(5)包括状态预警(15)、阂值预警(16)、快变预警(17)、趋势预警(18)、评价预警(19)与关联预警(20)，且所述阂值预警(16)对信息资源设置风险预警阂值，将当前监测数据与预警阂值进行比较，如果监测数据不在相应的预警阂值范围内，则认为监测对象符合预警条件，生成预警事件。6.根据权利要求5所述的一种基于大数据的电网信息运维主动预警方法，其特征在于：所述关联预警(20)是在信息系统及其基础设施的海量运行和应用数据中，查找存在于项目集合或对象集合之间的频繁模式、关联、相关的因果结构。

技术总结
本发明公开了一种基于大数据的电网信息运维主动预警方法，包括基于大数据电网信息运维预警模块，所述基于大数据电网信息运维预警模块包括数据采集模块、集成模块、分析模块、预警模块与反馈模块，且所述数据采集模块与集成模块相连，所述集成模块与分析模块相连，所述分析模块与预警模块相连，所述预警模块与反馈模块相连，所述预警模块、反馈模块与集成模块相连。本发明所述的一种基于大数据的电网信息运维主动预警方法，实现了对电网信息资源的统一管理；对海量电网信息运维数据的高效分析挖掘；在故障发生之前的故障定位、故障分析、故障预警和故障解决，从而全面提升电网信息运维整体水平，带来更好的使用前景。带来更好的使用前景。带来更好的使用前景。


技术研发人员：戴忠 李洋 许钒 孟干 阮兆文
受保护的技术使用者：国网安徽省电力有限公司马鞍山供电公司
技术研发日：2021.10.18
技术公布日：2022/3/8