异常放电检测方法、模型训练方法、装置、介质及设备

本公开的实施方式涉及人工智能，更具体地，本公开的实施方式涉及异常放电检测方法、异常放电检测模型的训练方法、异常放电检测装置、异常放电检测模型的训练装置、计算机可读存储介质及电子设备。

背景技术：

1、本部分旨在为权利要求中陈述的本公开的实施方式提供背景或上下文，此处的描述不因为包括在本部分中就承认是现有技术。

2、脑电图是判断患者脑部功能是否异常的重要依据，对于临床诊疗、病情严重程度评估具有重要价值。目前，主要通过医生查看脑电图波形，来判断患者脑部是否存在异常。

技术实现思路

1、然而，上述方案对于医生而言，工作量大，且在患者较多的情况下，医生难免会由于疲劳等而出现判断不准确的情况。

2、为此，非常需要一种异常放电检测方法，可以快速的得到准确性高的异常放电检测结果，降低医生的工作量，以辅助医生更加准确的进行临床诊断。

3、在本上下文中，本公开的实施方式期望提供一种异常放电检测方法、异常放电检测装置、异常放电检测模型的训练方法、异常放电检测模型的训练装置、计算机可读存储介质及电子设备。

4、根据本公开实施方式的第一方面，提供一种异常放电检测方法，包括：获取采集的受测对象的生物医学信号和监控视频，所述监控视频为在采集所述受测对象的生物医学信号时对所述受测对象进行拍摄所得到的；根据所述生物医学信号的信号曲线得到生物医学信号图像；将所述生物医学信号图像和所述监控视频输入到预先训练的异常放电检测模型中，以得到所述受测对象的异常放电检测结果。

5、在一种可选的实施方式中，所述将所述生物医学信号图像和所述监控视频输入到异常放电检测模型中，以得到所述受测对象的异常放电检测结果包括：根据预设时长对所述生物医学信号图像进行图像切片，以得到生物医学信号子图像；根据所述预设时长对所述监控视频进行分段，以得到与所述生物医学信号子图像属于同时段的监控视频片段；将所述生物医学信号子图像和所述监控视频片段输入到异常放电检测模型中，以得到所述受测对象的异常放电检测结果。

6、在一种可选的实施方式中，所述将所述生物医学信号图像和所述监控视频输入到异常放电检测模型中，以得到所述受测对象的异常放电检测结果包括：根据预设时长对所述生物医学信号图像进行图像切片，以得到生物医学信号子图像；在所述生物医学信号子图像指示所述受测对象存在异常放电的情况下，从所述监控视频中截取出与所述生物医学信号子图像属于同时段的监控视频片段；将所述生物医学信号子图像和所述监控视频片段输入到异常放电检测模型中，以得到所述受测对象的异常放电检测结果。

7、在一种可选的实施方式中，所述生物医学信号包括多通道生物医学信号，所述根据所述生物医学信号的信号曲线得到生物医学信号图像包括：根据所述多通道生物医学信号的信号曲线，得到一个生物医学信号图像；或根据所述多通道生物医学信号的信号曲线，得到多个生物医学信号图像。

8、在一种可选的实施方式中，所述将所述生物医学信号图像和所述监控视频输入到异常放电检测模型中，以得到所述受测对象的异常放电检测结果包括：将所述生物医学信号图像输入到生物医学信号特征提取网络中，以得到生物医学信号特征；根据所述监控视频确定出所述受测对象的运动特征，所述运动特征包括身体运动特征、头部运动特征、眼睛运动特征、嘴巴运动特征、鼻子运动特征中的至少一种；将所述生物医学信号特征和所述运动特征输入到预先训练的异常放电检测模型中，以得到所述受测对象的异常放电检测结果。

9、在一种可选的实施方式中，所述将所述生物医学信号特征和所述运动特征输入到预先训练的异常放电检测模型中，以得到所述受测对象的异常放电检测结果包括：对所述运动特征进行特征增强，以增加所述运动特征的特征维度，得到目标运动特征；拼接所述生物医学信号特征和所述目标运动特征，以得到拼接特征；将所述拼接特征输入到预先训练的异常放电检测模型中，以得到所述受测对象的异常放电检测结果。

10、在一种可选的实施方式中，在所述运动特征包括身体运动特征的情况下，所述身体运动特征包括身体运动和身体未运动，所述身体运动特征的确定方式包括：针对所述待检测监控视频的任一监控视频帧，根据头部位置检测模型确定出所述监控视频帧中所述受测对象的头部位置，根据所述头部位置对所述监控视频帧进行裁剪，以得到所述监控视频帧对应的身体视频帧；针对任一所述身体视频帧，根据与所述身体视频帧相邻的n个其它身体视频帧，确定出所述身体视频帧的参考视频帧；针对每个所述参考视频帧，根据所述身体视频帧与所述参考视频帧的同一位置的像素值差值之和，确定出所述参考视频帧对应的帧差值；根据参考视频帧对应的帧差值中的最大值确定出身体视频帧的目标帧差值，基于所述目标帧差值，确定出所述受测对象的身体运动特征。

11、在一种可选的实施方式中，在所述运动特征包括头部运动特征的情况下，所述头部运动特征包括头部运动和头部未运动，所述头部运动特征的确定方式包括：根据头部位置检测模型确定出所述待检测监控视频的视频帧中所述受测对象的头部位置；基于所述头部位置对所述待检测监控视频的视频帧进行裁减，得到受测对象的头部监控视频；将所述头部监控视频输入到预先训练的头部运动检测模型中，在所述头部运动检测模型的输出结果指示头部运动的情况下，确定所述头部运动特征为头部运动，否则，确定所述头部运动特征为头部未运动；其中，头部运动检测模型的训练标签根据训练视频中对象的头部是否运动和面部是否存在表情变化确定。

12、在一种可选的实施方式中，在所述运动特征包括嘴巴运动特征和/或眼睛运动特征的情况下，所述嘴巴运动特征包括嘴巴运动和嘴巴未运动，所述眼睛运动特征包括左眼运动特征和右眼运动特征，所述左眼运动特征包括左眼运动和左眼未运动，所述右眼运动特征包括右眼运动和右眼未运动，所述嘴巴运动特征和眼睛运动特征的确定方式包括：根据头部位置检测模型，确定出所述待检测监控视频的视频帧中所述受测对象的头部位置；基于所述头部位置检测受测对象的脸部关键点，以得到所述受测对象的嘴巴关键点、左眼关键点和右眼关键点；根据所述嘴巴关键点中的目标嘴巴关键点确定出嘴巴的第一宽高比；根据左眼关键点中的目标左眼关键点确定出左眼的第二宽高比，根据右眼关键点中的目标右眼关键点确定出右眼的第三宽高比；根据待检测监控视频中的相邻帧对应的第一宽高比的第一变化值，确定出所述嘴巴运动特征；根据待检测监控视频中的相邻帧对应的第二宽高比的第二变化值，确定出所述左眼运动特征；根据待检测监控视频中的相邻帧对应的第三宽高比的第三变化值，确定出所述右眼运动特征。

13、在一种可选的实施方式中，在所述运动特征包括鼻子运动特征的情况下，所述鼻子运动特征包括鼻子运动和鼻子未运动，所述鼻子运动特征的确定方式包括：根据头部位置检测模型，确定出所述待检测监控视频的视频帧中所述受测对象的头部位置；基于所述头部位置检测受测对象的脸部关键点，以得到所述受测对象的鼻子关键点位置；根据所述待检测监控视频的视频帧中鼻子关键点位置序列指示的鼻子关键点位置变化情况，确定出所述鼻子运动特征。

14、根据本公开实施方式的第二方面，提供一种异常放电检测模型的训练方法，包括：获取训练样本和所述训练样本对应的样本标签，所述训练样本包括受测对象的生物医学信号样本和监控视频样本，所述监控视频样本为在采集所述受测对象的生物医学信号样本时对所述受测对象进行拍摄所得到的；根据所述生物医学信号样本的信号曲线，得到生物医学信号图像样本；将所述生物医学信号图像样本和所述监控视频样本输入到待训练的异常放电检测模型中，以得到所述训练样本的异常放电检测结果；根据所述训练样本的异常放电检测结果和所述样本标签之间的差值，确定出所述待训练的异常放电检测模型的损失值；根据所述损失值对所述待训练的异常放电检测模型进行迭代训练，直到满足预设条件，得到预先训练的异常放电检测模型。

15、在一种可选的实施方式中，所述将所述生物医学信号样本和所述监控视频样本对应的样本运动特征输入到待训练的异常放电检测模型中，以得到所述训练样本的异常放电检测结果包括：所述将所述生物医学信号图像样本和所述监控视频样本输入到待训练的异常放电检测模型中，以得到所述训练样本的异常放电检测结果包括：确定出所述监控视频样本对应的样本运动特征，所述样本运动特征包括样本身体运动特征、样本头部运动特征、样本眼睛运动特征、样本嘴巴运动特征、样本鼻子运动特征中的至少一种；将所述生物医学信号图像样本输入到生物医学信号特征提取网络中，以得到第一输出；将所述样本运动特征输入到运动特征增强网络，以得到第二输出；拼接所述第一输出和所述第二输出，以得到目标拼接结果；将所述目标拼接结果输入到待训练的异常放电检测模型中，根据所述待训练的异常放电检测模型的输出得到所述训练样本的异常放电检测结果。

16、根据本公开的第三方面，提供一种异常放电检测装置，包括：数据获取模块，被配置为获取采集的受测对象的生物医学信号和监控视频，所述监控视频为在采集所述受测对象的生物医学信号时对所述受测对象进行拍摄所得到的；图像生成模块，被配置为根据所述生物医学信号的信号曲线得到生物医学信号图像；第一检测模块，被配置为将所述生物医学信号图像和所述监控视频输入到预先训练的异常放电检测模型中，以得到所述受测对象的异常放电检测结果。

17、在一种可选的实施方式中，所述第一检测模块被具体配置为：根据预设时长对所述生物医学信号图像进行图像切片，以得到生物医学信号子图像；根据所述预设时长对所述监控视频进行分段，以得到与所述生物医学信号子图像属于同时段的监控视频片段；将所述生物医学信号子图像和所述监控视频片段输入到异常放电检测模型中，以得到所述受测对象的异常放电检测结果。

18、在一种可选的实施方式中，所述第一检测模块被具体配置为：根据预设时长对所述生物医学信号图像进行图像切片，以得到生物医学信号子图像；在所述生物医学信号子图像指示所述受测对象存在异常放电的情况下，从所述监控视频中截取出与所述生物医学信号子图像属于同时段的监控视频片段；将所述生物医学信号子图像和所述监控视频片段输入到异常放电检测模型中，以得到所述受测对象的异常放电检测结果。

19、在一种可选的实施方式中，所述生物医学信号包括多通道生物医学信号，所述图像生成模块被配置为：根据所述多通道生物医学信号的信号曲线，得到一个生物医学信号图像；或根据所述多通道生物医学信号的信号曲线，得到多个生物医学信号图像。

20、在一种可选的实施方式中，所述第一检测模块被配置为：将生物医学信号图像输入到生物医学信号特征提取网络中，以得到生物医学信号特征；根据所述监控视频确定出所述受测对象的运动特征，所述运动特征包括身体运动特征、头部运动特征、眼睛运动特征、嘴巴运动特征、鼻子运动特征中的至少一种；将所述生物医学信号特征和所述运动特征输入到预先训练的异常放电检测模型中，以得到所述受测对象的异常放电检测结果。

21、在一种可选的实施方式中，所述将所述生物医学信号特征和所述运动特征输入到预先训练的异常放电检测模型中，以得到所述受测对象的异常放电检测结果包括：对所述运动特征进行特征增强，以增加所述运动特征的特征维度，得到目标运动特征；拼接所述生物医学信号特征和所述目标运动特征，以得到拼接特征；将所述拼接特征输入到预先训练的异常放电检测模型中，以得到所述受测对象的异常放电检测结果。

22、在一种可选的实施方式中，在所述运动特征包括身体运动特征的情况下，所述身体运动特征包括身体运动和身体未运动，所述身体运动特征的确定方式包括：针对所述待检测监控视频的任一监控视频帧，根据头部位置检测模型确定出所述监控视频帧中所述受测对象的头部位置，根据所述头部位置对所述监控视频帧进行裁剪，以得到所述监控视频帧对应的身体视频帧；针对任一所述身体视频帧，根据与所述身体视频帧相邻的n个其它身体视频帧，确定出所述身体视频帧的参考视频帧；针对每个所述参考视频帧，根据所述身体视频帧与所述参考视频帧的同一位置的像素值差值之和，确定出所述参考视频帧对应的帧差值；根据参考视频帧对应的帧差值中的最大值确定出身体视频帧的目标帧差值，基于所述目标帧差值，确定出所述受测对象的身体运动特征。

23、在一种可选的实施方式中，在所述运动特征包括头部运动特征的情况下，所述头部运动特征包括头部运动和头部未运动，所述头部运动特征的确定方式包括：根据头部位置检测模型确定出所述待检测监控视频的视频帧中所述受测对象的头部位置；基于所述头部位置对所述待检测监控视频的视频帧进行裁减，得到受测对象的头部监控视频；将所述头部监控视频输入到预先训练的头部运动检测模型中，在所述头部运动检测模型的输出结果指示头部运动的情况下，确定所述头部运动特征为头部运动，否则，确定所述头部运动特征为头部未运动；其中，头部运动检测模型的训练标签根据训练视频中对象的头部是否运动和面部是否存在表情变化确定。

24、在一种可选的实施方式中，在所述运动特征包括嘴巴运动特征和/或眼睛运动特征的情况下，所述嘴巴运动特征包括嘴巴运动和嘴巴未运动，所述眼睛运动特征包括左眼运动特征和右眼运动特征，所述左眼运动特征包括左眼运动和左眼未运动，所述右眼运动特征包括右眼运动和右眼未运动，所述嘴巴运动特征和眼睛运动特征的确定方式包括：根据头部位置检测模型，确定出所述待检测监控视频的视频帧中所述受测对象的头部位置；基于所述头部位置检测受测对象的脸部关键点，以得到所述受测对象的嘴巴关键点、左眼关键点和右眼关键点；根据所述嘴巴关键点中的目标嘴巴关键点确定出嘴巴的第一宽高比；根据左眼关键点中的目标左眼关键点确定出左眼的第二宽高比，根据右眼关键点中的目标右眼关键点确定出右眼的第三宽高比；根据待检测监控视频中的相邻帧对应的第一宽高比的第一变化值，确定出所述嘴巴运动特征；根据待检测监控视频中的相邻帧对应的第二宽高比的第二变化值，确定出所述左眼运动特征；根据待检测监控视频中的相邻帧对应的第三宽高比的第三变化值，确定出所述右眼运动特征。

25、在一种可选的实施方式中，在所述运动特征包括鼻子运动特征的情况下，所述鼻子运动特征包括鼻子运动和鼻子未运动，所述鼻子运动特征的确定方式包括：根据头部位置检测模型，确定出所述待检测监控视频的视频帧中所述受测对象的头部位置；基于所述头部位置检测受测对象的脸部关键点，以得到所述受测对象的鼻子关键点位置；根据所述待检测监控视频的视频帧中鼻子关键点位置序列指示的鼻子关键点位置变化情况，确定出所述鼻子运动特征。

26、根据本公开的第四方面，提供一种异常放电检测模型的训练装置，包括：训练样本获取模块，被配置为获取训练样本和所述训练样本对应的样本标签，所述训练样本包括受测对象的生物医学信号样本和监控视频样本，所述监控视频样本为在采集所述受测对象的生物医学信号样本时对所述受测对象进行拍摄所得到的；图像样本生成模块，被配置为根据所述生物医学信号样本的信号曲线，得到生物医学信号图像样本；第二检测模块，被配置为将所述生物医学信号图像样本和所述监控视频样本输入到待训练的异常放电检测模型中，以得到所述训练样本的异常放电检测结果；损失确定模块，被配置为根据所述训练样本的异常放电检测结果和所述样本标签之间的差值，确定出所述待训练的异常放电检测模型的损失值；迭代训练模块，被配置为根据所述损失值对所述待训练的异常放电检测模型进行迭代训练，直到满足预设条件，得到预先训练的异常放电检测模型。

27、在一种可选的实施方式中，所述第二检测模块可以被具体配置为：确定出所述监控视频样本对应的样本运动特征，所述样本运动特征包括样本身体运动特征、样本头部运动特征、样本眼睛运动特征、样本嘴巴运动特征、样本鼻子运动特征中的至少一种；将所述生物医学信号图像样本输入到生物医学信号特征提取网络中，以得到第一输出；将所述样本运动特征输入到运动特征增强网络，以得到第二输出；拼接所述第一输出和所述第二输出，以得到目标拼接结果；将所述目标拼接结果输入到待训练的异常放电检测模型中，根据所述待训练的异常放电检测模型的输出得到所述训练样本的异常放电检测结果。

28、根据本公开实施方式的第五方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的异常放电检测方法，和/或，上述第二方面所述的异常放电检测模型的训练方法。

29、根据本公开实施方式的第六方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述第一方面所述的异常放电检测方法，和/或，上述第二方面所述的异常放电检测模型的训练方法。

30、根据本公开实施方式的第七方面，提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述的第一方面所述的异常放电检测方法，和/或，上述的第二方面所述的异常放电检测模型的训练方法。

31、根据本公开实施方式的异常放电检测方法、异常放电检测装置、异常放电检测模型的训练方法、异常放电检测模型的训练装置、计算机可读存储介质及电子设备，通过生物医学信号的信号曲线得到生物医学信号图像，然后将生物医学信号图像和监控视频共同输入到异常放电检测模型中，以自动得到异常放电检测结果。一方面，无需人工读图就可以得到异常放电检测结果，提高了异常放电识别效率；另一方面，本公开的异常放电检测模型的训练标签是由人工查阅生物医学信号图像和对应的监控视频进行标注的，因此将生物医学信号图像作为异常放电检测模型的输入，可以让模型的输入数据格式和训练标签标注时的数据格式一致，以让模型更好的模拟医生读图判断异常放电的场景，提高异常放电检测的准确性。再一方面，由于本公开的方法确定的异常放电检测结果准确性较高，所以其可以为医生提供较高的参考价值，辅助医生快速准确的进行临床诊断，节省了医生的工作量，便于广泛应用于临床实践中。

技术特征：

1.一种异常放电检测方法，其特征在于，包括：

2.根据权利要求1所述的异常放电检测方法，其特征在于，所述将所述生物医学信号图像和所述监控视频输入到预先训练的异常放电检测模型中，以得到所述受测对象的异常放电检测结果包括：

3.根据权利要求1所述的异常放电检测方法，其特征在于，所述将所述生物医学信号图像和所述监控视频输入到预先训练的异常放电检测模型中，以得到所述受测对象的异常放电检测结果包括：

4.根据权利要求1所述的异常放电检测方法，其特征在于，所述生物医学信号包括多通道生物医学信号，所述根据所述生物医学信号的信号曲线得到生物医学信号图像包括：

5.一种异常放电检测模型的训练方法，其特征在于，包括：

6.根据权利要求5所述的异常放电检测模型的训练方法，其特征在于，所述将所述生物医学信号图像样本和所述监控视频样本输入到待训练的异常放电检测模型中，以得到所述训练样本的异常放电检测结果包括：

7.一种异常放电检测装置，其特征在于，包括：

8.一种异常放电检测模型的训练装置，其特征在于，包括：

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的方法。

10.一种电子设备，其特征在于，包括：

技术总结
本公开实施方式涉及异常放电检测方法、异常放电检测装置、异常放电检测模型的训练方法、异常放电检测模型的训练装置、计算机可读存储介质与电子设备，涉及人工智能技术领域。其中，上述异常放电检测方法包括：获取采集的受测对象的生物医学信号和监控视频，所述监控视频为在采集所述受测对象的生物医学信号时对所述受测对象进行拍摄所得到的；根据所述生物医学信号的信号曲线得到生物医学信号图像；将所述生物医学信号图像和所述监控视频输入到预先训练的异常放电检测模型中，以得到所述受测对象的异常放电检测结果。本公开将受测对象的视频动作和生物医学信号图像结合，进行异常放电的检测，可以提高检测的准确性。

技术研发人员：林楠,李恋,卢强,梁子,崔丽英,胡鹏,孙鹤阳,董一粟,高伟芳,张少博,贺海波
受保护的技术使用者：中国医学科学院北京协和医院
技术研发日：
技术公布日：2024/12/5