一种多模态数据的特征数据提取方法、装置、设备以及存储介质与流程

本发明涉及特征数据提取，尤其涉及一种多模态数据的特征数据提取方法、装置、设备以及存储介质。

背景技术：

1、数字电网以新一代数字技术为核心驱动力，以数据为关键生产要素，以现代电力能源网络与新一代信息网络为基础，通过数字技术与能源企业业务、管理深度融合，不断提高数字化、网络化、智能化水平，而形成的新型能源生态系统。

2、现有电网系统主要采用了监测数据、预试数据、巡检数据等数值类数据来对设备状态进行评估，因此电网设备积累了大量包含无效冗余数据的运行数据，这对电网特征数据的提取造成了困难。

技术实现思路

1、本发明提供了一种多模态数据的特征数据提取方法、装置、设备以及存储介质，能对通过主成分分析，对时序数据进行清洗和特征数据提取；根据关键词对非结构化文本数据进行标注，对非结构化文本数据进行清洗个特征数据提取；通过对图像数据进行自适应增强，对图像数据进行清洗和特征数据提取。

2、本发明一实施例提供一种多模态数据的特征数据提取方法，包括：

3、获取电网设备的历史多模态数据；其中，上述历史多模态数据包括：历史时序数据、历史非结构化文本数据以及历史图像数据；

4、对上述历史时序数据进行修正，得到修正后的历史时序数据，继而根据修改后的历史数据提取对应的特征向量；

5、根据上述特征向量以及上述修正后的历史时序数据，计算得到上述修正后的历史时序数据的主成分数据，将上述主成分数据作为清洗后的历史时序特征数据；

6、根据预设关键词从上述历史非结构化文本数据中抽取含有上述预设关键词的目标历史非结构化文本数据，并根据上述预设关键词对上述目标历史非结构化文本数据进行语义标注，得到清洗后的历史非结构化文本特征数据；

7、根据上述历史图像数据，计算得到上述历史图像数据中各像素对应的灰度值；

8、对上述灰度值求平均值，得到上述历史图像数据中各像素对应的归一化灰度值，并根据上述归一化灰度值计算历史图像自适应增强像素值，继而根据上述历史图像自适应增强像素值生成历史自适应图像，将上述历史自适应图像与预设基准特征图像进行比对，提取与上述预设基准特征图像的灰度值一致的目标历史自适应图像，继而将上述目标历史自适应图像作为清洗后的历史图像特征数据；

9、根据上述清洗后的历史时序特征数据、上述清洗后的历史非结构化文本特征数据以及清洗后的历史图像特征数据，得到上述历史多模态数据的特征数据。

10、进一步的，上述对上述历史时序数据进行修正，得到修正后的历史时序数据，包括：

11、根据上述历史时序数据，计算上述历史时序数据的内积，并将若干上述内积作为广义期望最大化算法中似然函数的期望；

12、根据上述广义期望最大化算法对上述期望进行求解，得到无量纲化的历史时序数据；

13、根据上述无量纲化的历史时序数据，计算得到上述无量纲化的历史时序数据之间的相关性，并将具有相关性的无量纲化的历史时序数据作为修正后的历史时序数据；

14、其中，根据以下式子计算上述无量纲化的历史时序数据之间的相关性：

15、

16、式中，xt表示t时刻的无量纲化的历史时序数据x，yt表示t时刻的无量纲化的历史时序数据y，表示无量纲化的历史时序数据x的平均值，表示无量纲化的历史时序数据y的平均值，表示无量纲化的历史时序数据x和y之间的皮尔逊相关系数。

17、进一步的，上述根据上述特征向量以及上述修正后的历史时序数据，计算得到上述修正后的历史时序数据的主成分数据，包括：

18、根据上述特征向量，构建上述修正后的历史时序数据的多维随机矢量；

19、根据上述多维随机矢量，通过以下公式计算得到上述主成分数据；

20、x′＝(x′1,x′2,l,x′p)t；

21、

22、式中，x′1，x′2，l，x′p均为修正后的历史时序数据的特征向量，p表示多维随机矢量的维度数，x′表示修正后的历史时序数据，yi表示修正后的历史时序数据中的第i类主成分数据，ai表示多维数字矢量。

23、进一步的，根据以下式子，计算得到上述灰度值：

24、

25、式中，i(x,y)表示第x行第y列处像素的灰度值，ir(x,y)表示历史图像数据中第x行第y列处像素的红色通道像素值，ig(x,y)表示历史图像数据中第x行第y列处像素的绿色通道像素值，ib(x,y)表示历史图像数据中第x行第y列处像素的蓝色通道像素值。

26、进一步地，根据以下式子计算得到历史图像自适应增强像素值：

27、

28、式中，表示第x行第y列处像素的历史图像自适应增强像素值，iin(x,y)表示第x行第y列处像素的归一化灰度值，iave(x,y)表示第x行第y列处像素的输出局部归一化灰度值。

29、进一步的，在得到上述历史时序特征数据之后，还包括：

30、根据滑动时间窗，获取预设时刻的历史时序特征数据，并根据获取的预设时刻的历史时序特征数据构建目标历史时序特征矩阵；

31、对上述目标历史时序特征矩阵进行标准化处理，得到标准化目标历史时序特征矩阵；

32、对上述标准化目标历史时序特征矩阵进行奇异值分解，得到目标历史时序特征矩阵对应的奇异值矩阵以及矩阵积；

33、根据上述奇异值矩阵以及矩阵积，对上述奇异值矩阵进行标准化，得到重构后的历史时序特征数据；

34、根据上述重构后的历史时序特征数据，对电网设备的状态进行异常评估。

35、在上述方法项实施例的基础上，本发明对应提供了装置项实施例；

36、本发明提供了一种多模态数据的特征数据提取装置，包括：

37、数据获取模块、时序数据修正模块、时序特征数据计算模块、文本特征数据清洗模块、灰度值计算模块、图像特征数据清洗模块以及多模态特征数据获取模块；

38、上述数据获取模块，用于获取电网设备的历史多模态数据；其中，上述历史多模态数据包括：历史时序数据、历史非结构化文本数据以及历史图像数据；

39、上述时序数据修正模块，用于对上述历史时序数据进行修正，得到修正后的历史时序数据，继而根据修改后的历史数据提取对应的特征向量；

40、上述时序特征数据计算模块，用于根据上述特征向量以及上述修正后的历史时序数据，计算得到上述修正后的历史时序数据的主成分数据，将上述主成分数据作为清洗后的历史时序特征数据；

41、上述文本特征数据清洗模块，用于根据预设关键词从上述历史非结构化文本数据中抽取含有上述预设关键词的目标历史非结构化文本数据，并根据上述预设关键词对上述目标历史非结构化文本数据进行语义标注，得到清洗后的历史非结构化文本特征数据；

42、上述灰度值计算模块，用于根据上述历史图像数据，计算得到上述历史图像数据中各像素对应的灰度值；

43、上述图像特征数据清洗模块，用于对上述灰度值求平均值，得到上述历史图像数据中各像素对应的归一化灰度值，并根据上述归一化灰度值计算历史图像自适应增强像素值，继而根据上述历史图像自适应增强像素值生成历史自适应图像，将上述历史自适应图像与预设基准特征图像进行比对，提取与上述预设基准特征图像的灰度值一致的目标历史自适应图像，继而将上述目标历史自适应图像作为清洗后的历史图像特征数据；

44、上述多模态特征数据获取模块，用于根据上述清洗后的历史时序特征数据、上述清洗后的历史非结构化文本特征数据以及清洗后的历史图像特征数据，得到上述历史多模态数据的特征数据。

45、进一步的，还包括：时序特征数据标准化模块；

46、上述时序特征数据标准化模块，用于根据滑动时间窗，获取预设时刻的历史时序特征数据，并根据获取的预设时刻的历史时序特征数据构建目标历史时序特征矩阵；对上述目标历史时序特征矩阵进行标准化处理，得到标准化目标历史时序特征矩阵；对上述标准化目标历史时序特征矩阵进行奇异值分解，得到目标历史时序特征矩阵对应的奇异值矩阵以及矩阵积；根据上述奇异值矩阵以及矩阵积，对上述奇异值矩阵进行标准化，得到标准化历史时序特征数据；根据上述标准化历史时序特征数据，对电网设备的状态进行异常评估。

47、在上述方法项实施例的基础上，本发明对应提供了一终端设备项实施例；

48、本发明提供了一种终端设备，包括处理器、存储器以及存储在上述存储器中且被配置为由上述处理器执行的计算机程序，上述处理器执行上述计算机程序时实现本发明任意一实施例上述的一种多模态数据的特征数据提取方法。

49、在上述方法项实施例的基础上，本发明对应提供了一存储介质项实施例；

50、本发明提供了一种存储介质，包括处理器、存储器以及存储在上述存储器中且被配置为由上述处理器执行的计算机程序，上述处理器执行上述计算机程序时实现本发明任意一实施例上述的一种多模态数据的特征数据提取方法。

51、本发明的实施例，具有如下有益效果：

52、本发明提供了一种多模态数据的特征数据提取方法、装置、设备以及存储介质，上述方法，包括：获取电网设备的历史多模态数据；根据历史时序数据，计算得到修正后的历史时序数据以及修正后的历史时序数据对应的特征向量；再根据特征向量以及修正后的历史时序数据，计算得到上述修正后的历史时序数据的主成分数据，将主成分数据作为清洗后的历史时序特征数据；随后从历史非结构化文本数据中抽取含有预设关键词的目标历史非结构化文本数据，并根据预设关键词对目标历史非结构化文本数据进行语义标注，得到清洗后的历史非结构化文本特征数据；再根据历史图像数据，计算得到历史图像数据中各像素对应的灰度值；然后获取各像素对应的亮度，对上述灰度值求平均值，得到上述历史图像数据中各像素对应的归一化灰度值，并根据上述归一化灰度值计算历史图像自适应增强像素值，继而根据上述历史图像自适应增强像素值生成历史自适应图像，将上述历史自适应图像与预设基准特征图像进行比对，提取与上述预设基准特征图像的灰度值一致的目标历史自适应图像，继而将上述目标历史自适应图像作为清洗后的历史图像特征数据；最后根据清洗后的历史时序特征数据、清洗后的历史非结构化文本特征数据以及清洗后的历史图像特征数据，得到历史多模态数据的特征数据。因此本发明中，通过对修正后的历史时序数据进行主成分分析，在主成分分析中可得到各时序数据之间的内在联系，在降低数据维度的同时保存数据中原本所包含的信息，以实现对修正后的历史时序数据的清洗；根据预设关键词对历史非结构化文本数据进行抽取和语义标注，能根据需要的关键词准确筛选出关键词对应的历史非结构化文本数据，实现对历史非结构化文本数据的清洗；根据像素点的灰度值对历史图像数据进行自适应增强，使得图像中的重要特征更加显著，再与预设基准图像的灰度值进行比对，实现对历史图像数据的清洗，最终实现了对电网中多模态数据的清洗，继而成功提取电网多模态数据中的特征数据。

技术特征：

1.一种多模态数据的特征数据提取方法，其特征在于，包括：

2.根据权利要求1所述的一种多模态数据的特征数据提取方法，其特征在于，所述对所述历史时序数据进行修正，得到修正后的历史时序数据，包括：

3.根据权利要求2所述的一种多模态数据的特征数据提取方法，其特征在于，所述根据所述特征向量以及所述修正后的历史时序数据，计算得到所述修正后的历史时序数据的主成分数据，包括：

4.根据权利要求3所述的一种多模态数据的特征数据提取方法，其特征在于，根据以下式子，计算得到所述灰度值：

5.根据权利要求4所述的一种多模态数据的特征数据提取方法，其特征在于，根据以下式子计算得到历史图像自适应增强像素值：

6.根据权利要求5所述的一种多模态数据的特征数据提取方法，其特征在于，在得到所述历史时序特征数据之后，还包括：

7.一种多模态数据的特征数据提取装置，其特征在于，包括：

8.根据权利要求7所述的一种多模态数据的特征数据提取装置，其特征在于，还包括：时序特征数据标准化模块；

9.一种终端设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6中任意一项所述的一种多模态数据的特征数据提取方法。

10.一种存储介质，其特征在于，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述存储介质所在设备执行如权利要求1至6中任意一项所述的一种多模态数据的特征数据提取方法。

技术总结
本发明公开了一种多模态数据的特征数据提取方法、装置、设备以及存储介质，上述方法包括：获取电网设备的历史多模态数据，分别对历史时序数据、历史非结构化文本数据及历史图像数据进行主成分分析、按关键词进行抽取和标注及计算图像灰度值及对图像进行自适应增强，完成对历史多模态数据的清洗，以及多模态特征数据的提取。通过实施本发明，主成分分析实现了对历史时序数据的清洗；根据需要的关键词筛选文本数据，实现对历史非结构化文本数据的清洗；通过计算灰度值，再与预设基准图像的灰度值进行比对，实现对历史图像数据的清洗，最终获得电网多模态数据的特征数据。

技术研发人员：江俊飞,罗颖婷,鄂盛龙,李妍,饶章权,赖诗钰,孙文星,魏瑞增,王磊,文豹,李兴旺,蔡泓威
受保护的技术使用者：广东电网有限责任公司
技术研发日：
技术公布日：2024/12/5