基于视觉感知的化工企业安全风险预警方法与系统与流程

1.本发明涉及人工智能技术领域，具体涉及一种基于视觉感知的化工企业安全风险预警方法与系统。


背景技术：

2.火灾检测是模式识别和图像处理领域近年来兴起的研究热点。当化工企业发生大规模的灾害事故后，通常根据出现的烟雾的颜色特征、形状特征和纹理特征来分析当前事故的危害程度。
3.目前本领域的技术人员都是通过检测烟雾区域的周长或面积来反映烟雾的形状变化，进而来预测火灾的严重程度。但是根据烟雾区域的周长和面积反映烟雾的形状变化会忽略烟雾的细节变化特征，会导致预测结果出现误差。


技术实现要素：

4.为了解决上述技术问题，本发明的目的在于提供一种基于视觉感知的化工企业安全风险预警方法与系统，所采用的技术方案具体如下：
5.第一方面，本发明实施例提供了一种基于视觉感知的化工企业安全风险预警方法，该方法包括：
6.获取设备区域的无烟雾标准图像和烟雾图像，由所述无烟雾标准图像和所述烟雾图像中设备的边缘特征和图像纹理特征得到所述烟雾图像的模糊度特征；
7.根据所述模糊度特征确定模糊的所述烟雾图像，对模糊的所述烟雾图像进行帧差法得到关键帧图像以及图像中的烟雾区域；检测所述烟雾区域中的烟雾颜色以获取所述烟雾颜色对应的危险权重；
8.获取所述关键帧图像的灰度图像，得到所述灰度图像中所述烟雾区域的几何中心点，过所述几何中心点作与所述烟雾区域的边缘分别交于两点的多条直线，相邻所述直线之间的夹角相同，获取所述直线的等分点，所述等分点是将所述直线分割为像素值总和相等的两部分所对应的像素点；根据每条所述直线的所述等分点构建一个多边形，由相邻帧的所述多边形的内角角度的差值得到烟雾的波动性指标；
9.利用相邻帧的所述多边形的几何中心点坐标的偏移得到所述烟雾的扩散性指标；获取所述烟雾区域的能量特征以得到相邻帧的能量特征差值；
10.由所述危险权重、所述波动性指标、所述扩散性指标和所述能量特征差值构建的危险评估模型以检测企业生产的危险程度。
11.进一步地，所述关键帧图像的获取方法，包括：
12.将相邻的所述烟雾图像中对应像素点的灰度差值大于差值阈值的所述烟雾图像作为所述关键帧图像。
13.进一步地，所述根据所述模糊度特征确定模糊的所述烟雾图像的方法，包括：
14.当所述烟雾图像的所述模糊度特征大于模糊阈值时，确认所述烟雾图像是模糊
的。
15.进一步地，所述扩散性指标的计算公式为：
[0016][0017]
其中，σj为第j帧所述关键帧图像的所述扩散性指标；为第j+1帧所述关键帧图像中所述烟雾区域的所述几何中心点坐标；为第j帧所述关键帧图像中所述烟雾区域的所述几何中心点坐标。
[0018]
进一步地，所述夹角为30度。
[0019]
进一步地，所述波动性指标的优化方法，包括：
[0020]
根据历史数据获取所述烟雾的自身波动参数；
[0021]
结合所述波动性指标和所述自身波动参数对所述波动性指标进行优化。
[0022]
进一步地，所述由相邻帧的所述多边形的内角角度的差值得到烟雾的波动性指标的计算公式为：
[0023][0024]
其中，δj为第j帧所述关键帧图像的所述烟雾的波动性指标；m为所述多边形的内角数量；为第j+1帧所述关键帧图像对应的所述多边形的第k个内角；为第j帧所述关键帧图像对应的所述多边形的第k个内角。
[0025]
进一步地，所述能量特征是通过灰度共生矩阵得到的。
[0026]
进一步地，一种基于视觉感知的化工企业安全风险预警系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意一项方法的步骤。
[0027]
本发明实施例至少存在以下有益效果：通过像素点的像素值构建烟雾区域的多边形，根据多边形的角度变化能够快速准确的反映烟雾的动态变化特征和边缘细节变化，能够减少危险程度的预测结果，有效避免危险事故的发生。
附图说明
[0028]
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
[0029]
图1为本发明一个实施例所提供的一种基于视觉感知的化工企业安全风险预警方法的步骤流程图。
具体实施方式
[0030]
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于视觉感知的化工企业安全风险预警方法与系统，其具体实施方式、结构、特征及其作用，详细说明如下。在下述说明中，不同的“一
个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
[0031]
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
[0032]
下面结合附图具体的说明本发明所提供的一种基于视觉感知的化工企业安全风险预警方法与系统的具体方案。
[0033]
本发明实施例主要针对的具体场景为：企业内部设备区域，环境比较密闭，图像背景相对单一，与室外或深林中的火灾烟雾检测有较大的区别。
[0034]
参照附图1，本发明实施例提供了一种基于视觉感知的化工企业安全风险预警方法，该方法包括：
[0035]
步骤s001，获取设备区域的无烟雾标准图像和烟雾图像，由无烟雾标准图像和烟雾图像中设备的边缘特征和图像纹理特征得到烟雾图像的模糊度特征。
[0036]
具体的，通过化工企业内部各个设备区域的监控摄像头获取设备区域的无烟雾标准图像和烟雾图像。对无烟雾标准图像和烟雾图像进行静态特征提取，分别得到图像中设备的边缘特征和图像纹理特征，其中，边缘特征是指边缘数量，图像纹理特征是指图像各方向上的纹理灰度均值。由于烟雾会对采集的图像造成模糊，会使得图像中设备的边缘特征和图像纹理特征存在差异，烟雾越浓会对设备的边缘特征和图像纹理特征的影响越严重，因此，由无烟雾标准图像和烟雾图像中设备的边缘特征和图像纹理特征得到烟雾图像的模糊度特征m，即m＝e
(e-e
′
)(v-v
′
)
，其中e为无烟雾标准图像中设备的边缘特征；e
′
为烟雾图像中设备的边缘特征；v为无烟雾标准图像的图像纹理特征；v
′
为烟雾图像的图像纹理特征。
[0037]
需要说明的是，化工企业内部由多个设备区域，且每个设备区域均装有监控摄像头，每个监控摄像头都有位置编号，这样有利于更好的获取传输的图像数据对应于哪个设备区域。
[0038]
优选的，本发明实施例利用canny边缘检测算法获取边缘特征。
[0039]
优选的，本发明实施例利用二维gabor滤波器对图像进行滤波处理，得到不同方向的滤波图像，将所有图像的滤波结果进行相加得到整体纹理特征。
[0040]
步骤s002，根据模糊度特征确定模糊的烟雾图像，对模糊的烟雾图像进行帧差法得到关键帧图像以及图像中的烟雾区域；检测烟雾区域中的烟雾颜色以获取烟雾颜色对应的危险权重。
[0041]
具体的，通过烟雾图像的模糊度特征m判断设备是否出现异常情况，当模糊度特征大于模糊阈值时，说明设备区域中存在设备冒烟。由于烟雾是不稳定流动状态，根据模糊度特征确定模糊的烟雾图像，对模糊的烟雾图像进行帧差法得到关键帧图像以及图像中的烟雾区域。具体方法为：当模糊度特征大于模糊阈值时，确认该烟雾图像是模糊的，并让模糊的烟雾图像形成图像序列，将图像序列中相邻帧烟雾图像中对应像素点的像素值相减，获取烟雾图像中运动像素点的尺度、移动速度大小和方向，根据运动像素点判断烟雾特征的变化。当烟雾是稳定状态时，即运动比较缓慢，可能相邻帧烟雾图像的烟雾特征变化近似相等，则可对比间隔帧烟雾图像之间的烟雾特征变化，直到烟雾特征变化大于变化阈值时，将该烟雾图像作为关键帧图像，进而将关键帧图像中烟雾最外侧边缘轮廓进行连接得到不规则的闭合区域，该闭合区域为关键帧图像中的烟雾区域。
[0042]
优选的，本发明实施例中模糊阈值为0。
[0043]
作为一个示例，本发明实施例中将相邻的烟雾图像中对应像素点的灰度差值大于差值阈值的烟雾图像作为关键帧图像，即g-g
′
＞ε，其中，g为当前帧中像素点的灰度值；g
′
为下一帧中像素点的灰度值；ε为差值阈值。
[0044]
优选的，本发明实施例中差值阈值ε＝1。
[0045]
进一步地，将关键帧图像进行hsv颜色空间转化，以获取烟雾区域中烟雾颜色，烟雾颜色基本可以分为白色、黄色、灰色和黑色等。当烟雾颜色由白色到黄色时，说明烟雾中包含硫化物；当烟雾颜色转变为灰色甚至为黑色时，说明危险源引起的火灾程度越来越严重，所以通过烟雾颜色能够反映当前危险源中隐含的危险程度，故本发明实施例获取烟雾区域中烟雾颜色的色调h值，对烟雾颜色对应的色调h值分配危险权重ω
l
，其中白色的色调h1值对应的危险权重为ω1＝0.05；黄色的色调h2值对应的危险权重为ω2＝0.3；灰色的色调h3值对应的危险权重为ω3＝0.25；黑色的色调h4值对应的危险权重为ω4＝0.4。
[0046]
步骤s003，获取关键帧图像的灰度图像，得到灰度图像中烟雾区域的几何中心点，过几何中心点作与烟雾区域的边缘分别交于两点的多条直线，相邻直线之间的夹角相同，获取直线的等分点，等分点是将直线分割为像素值总和相等的两部分所对应的像素点；根据每条直线的等分点构建一个多边形，由相邻帧的多边形的内角角度的差值得到烟雾的波动性指标。
[0047]
具体的，由于烟雾本身存在扩散性和不规则性的特点，而只通过整体图像中烟雾的边缘描述并不能准确的表征烟雾的动态特征，因此本发明实施例通过构建多边形来反映关键帧中烟雾的轮廓变化。
[0048]
作为一个示例，本发明实施例通过建立直角坐标系来获取过几何中心点作与烟雾区域的边缘分别交于两点的多条直线，进而获取直线的等分点以构建多边形，则多边形构建的方法为：
[0049]
1)将关键帧图像进行灰度化处理，以获取灰度图像，计算灰度图像中烟雾区域的几何中心点，以几何中心点为原点建立直角坐标系。
[0050]
2)分别计算烟雾区域在横坐标轴上的像素点的像素值总和与纵坐标轴上的像素点的像素值总和以得到横坐标轴和纵坐标轴上的等分点。
[0051]
具体的，利用横坐标轴对应的像素值总和得到横坐标轴两侧的像素均值，当一侧的像素点的像素值之和等于像素均值时，将该侧离原点的最后一个像素点作为横坐标轴上的等分点。相同的，利用纵坐标轴对应的像素值总和得到纵坐标轴两侧的像素均值，当一侧的像素点的像素值之和等于像素均值时，将该侧离原点的最后一个像素点作为纵坐标轴上的等分点。
[0052]
需要说明的是，当像素均值无法正好匹配到等分点所对应的像素点时，若一侧的n个像素点的像素值之和小于像素均值，且该侧的n+1个像素点的像素值之和大于像素均值时，将第n个像素点作为等分点，即其中，gi为第i个像素点的像素值；m为坐标轴上像素点的总数量。
[0053]
3)在0-360度的范围内将直角坐标系以预设旋转角度依次进行旋转以得到每次旋转后对应的等分点，根据等分点构建一个多边形。
[0054]
具体的，在0-360度的范围内将直角坐标系以预设旋转角度依次进行旋转，旋转后同样计算两个坐标轴上的等分点，进而得到每次旋转后对应的等分点。将旋转后得到的多个等分点连接起来构成一个多边形。
[0055]
优选的，本发明实施例中预设旋转角度为30度，则相对应的多边形为十二边形，在其他实施例中，实施者可根据自身的需求进行旋转角度的设定。
[0056]
进一步地，通过多边形的构建方法能够得到不同的关键帧图像中的多边形，计算每个多边形中的每个内角角度由于不同位置的内角的大小能够间接反映此方向上烟雾边缘轮廓的曲率大小，因此由相邻帧的多边形的内角角度的差值得到烟雾的波动性指标，即其中，δj为第j帧关键帧图像中烟雾的波动性指标；k为多边形的内角数量；为第j帧关键帧图像中多边形的第k个内角的角度；为第j+1帧关键帧图像中多边形的第k个内角的角度。
[0057]
烟雾在不受外界因素干扰的情况下，烟雾由于自身不稳定流动会引起的多边形的内角变化，因此本发明实施例根据历史数据对关键帧图像中烟雾的多边形进行分析，以获取烟雾的自身波动参数ε；本发明实施例为了获取仅因外界因素而引起的烟雾波动的波动性指标，需要除去烟雾的自身波动，进而结合烟雾的波动性指标和自身波动参数对波动性指标进行优化，即δ
′j＝δ
j-ε，其中，δ
′j为优化后的第j帧关键帧图像中烟雾的波动性指标。
[0058]
需要说明的是，外界因素包括：设备区域的温差和能量波动，其中设备区域的危险程度越高设备区域的温差越大；能量波动是发生爆炸等情况造成的。
[0059]
步骤s004，利用相邻帧的多边形的几何中心点坐标的偏移得到烟雾的扩散性指标；获取烟雾区域的能量特征以得到相邻帧的能量特征差值。
[0060]
具体的，获取每个关键帧图像中多边形的几何中心点坐标，根据相邻帧的多边形的几何中心点位置的偏移来反映烟雾的扩散能力，则烟雾的扩散性指标的计算公式为：
[0061][0062]
其中，σj为第j帧关键帧图像对应的烟雾的扩散性指标；为第j+1帧关键帧图像中多边形的几何中心点坐标；为第j帧关键帧图像中多边形的几何中心点坐标。
[0063]
进一步地，通过灰度共生矩阵获取关键帧图像中烟雾区域的能量特征其中，p(x，y)为像素点(x，y)的灰度值在关键帧图像中出现的概率，能量特征能够反映烟雾区域的灰度分布和纹理粗细度。
[0064]
关键帧图像的能量特征大小反映了当前危险程度大小，即烟雾的纹理特征和灰度分布越复杂，说明当前区域的危险程度越高，越容易发生更大的危险，甚至有可能出现闪络效应。因此，本发明实施例获取相邻关键帧图像对应的能量特征差值θ＝(asm
j+1-asmj)，其中asm
j+1
为第j+1帧关键帧图像对应的能量特征；asmj为第j帧关键帧图像对应的能量特征。
[0065]
步骤s005，由危险权重、波动性指标、扩散性指标和能量特征差值构建的危险评估模型以检测企业生产的危险程度。
[0066]
具体的，对烟雾的颜色特征对应的危险权重、波动性指标、扩散性指标和能量特征
差值进行融合，进而对当前危险程度进行评估。由于危险权重、波动性指标、扩散性指标、能量特征差值与危险程度均成正相关关系，所以为不同的烟雾特征分配权重以构建危险评估模型，则危险评估模型为：
[0067][0068]
其中，为第j帧关键帧图像对应的企业生产的危险程度；为第p个设备区域中烟雾的危险权重；δ
′j为第j帧关键帧图像中烟雾的波动性指标；σj为第j帧关键帧图像中烟雾的扩散性指标；θj为第j帧关键帧图像对应的烟雾的能量特征差值；n为企业生产中设备区域的数量；w1为波动性指标的权重；w2为扩散性指标的权重；w3为能量特征差值的权重。
[0069]
优选的，本发明实施例中w1＝0.5，w2＝0.3，w3＝0.2。
[0070]
需要说明的是，由于本发明实施例中是为了观察危险程度的变化过程，因此第j帧关键帧图像也表示第j时刻。
[0071]
进一步地，设定危险阈值，根据危险阈值进行危险事故报警。当危险蔓延，事故升级时，设定危险程度区间，以对实时危险程度进行分级，为救援策略、救援难度等问题提供依据。
[0072]
优选的，本发明实施例中危险程度区间可设为:低危险[0.1，0.3]；中危险[0.4，0.6]；高危险[0.6，1]。在其他实施例中，实施者可根据自身需要进行划分。
[0073]
综上所述，本发明实施例提供了一种基于视觉感知的化工企业安全风险预警方法，该方法对模糊度特征大于模糊阈值的设备区域的烟雾图像进行检测以获取图像中的烟雾区域；获取烟雾区域中的烟雾颜色以分配危险权重；通过建立烟雾区域的直角坐标系，利用坐标轴上像素点的像素值分别获取横坐标轴和纵坐标轴上的等分点，进而旋转直角坐标系获取多个等分点以构建多边形，根据相邻帧中多边形的内角角度的差值获取烟雾的波动性指标；根据相邻帧中多边形的几何中心点坐标的偏移获取烟雾的扩散性指标，同时利用由灰度共生矩阵得到的烟雾的能量特征得到相邻帧的能量特征差值；由危险权重、波动性指标、扩散性指标和能量特征差值构建点的危险评估模型以检测企业生产的危险程度。通过构建烟雾区域的多边形能够快速准确的反映烟雾的动态变化特征和边缘细节变化，能够减少危险程度的预测结果，有效避免危险事故的发生。
[0074]
进一步地，本发明实施例提供了一种基于视觉感知的化工企业安全风险预警系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上述一种基于视觉感知的化工企业安全风险预警方法的步骤。
[0075]
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0076]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部
分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
[0077]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于视觉感知的化工企业安全风险预警方法，其特征在于，该方法包括：获取设备区域的无烟雾标准图像和烟雾图像，由所述无烟雾标准图像和所述烟雾图像中设备的边缘特征和图像纹理特征得到所述烟雾图像的模糊度特征；根据所述模糊度特征确定模糊的所述烟雾图像，对模糊的所述烟雾图像进行帧差法得到关键帧图像以及图像中的烟雾区域；检测所述烟雾区域中的烟雾颜色以获取所述烟雾颜色对应的危险权重；获取所述关键帧图像的灰度图像，得到所述灰度图像中所述烟雾区域的所述几何中心点，过所述几何中心点作与所述烟雾区域的边缘分别交于两点的多条直线，相邻所述直线之间的夹角相同，获取所述直线的等分点，所述等分点是将所述直线分割为像素值总和相等的两部分所对应的像素点；根据每条所述直线的所述等分点构建一个多边形，由相邻帧的所述多边形的内角角度的差值得到烟雾的波动性指标；利用相邻帧的所述多边形的几何中心点坐标的偏移得到所述烟雾的扩散性指标；获取所述烟雾区域的能量特征以得到相邻帧的能量特征差值；由所述危险权重、所述波动性指标、所述扩散性指标和所述能量特征差值构建的危险评估模型以检测企业生产的危险程度。2.如权利要求1所述的方法，其特征在于，所述关键帧图像的获取方法，包括：将相邻的所述烟雾图像中对应像素点的所述灰度差值大于差值阈值的所述烟雾图像作为所述关键帧图像。3.如权利要求1所述的方法，其特征在于，所述根据所述模糊度特征确定模糊的所述烟雾图像的方法，包括：当所述烟雾图像的所述模糊度特征大于模糊阈值时，确认所述烟雾图像是模糊的。4.如权利要求1所述的方法，其特征在于，所述扩散性指标的计算公式为：其中，σ
j
为第j帧所述关键帧图像的所述扩散性指标；为第j+1帧所述关键帧图像中所述烟雾区域的所述几何中心点坐标；为第j帧所述关键帧图像中所述烟雾区域的所述几何中心点坐标。5.如权利要求1所述的方法，其特征在于，所述夹角为30度。6.如权利要求1所述的方法，其特征在于，所述波动性指标的优化方法，包括：根据历史数据获取所述烟雾的自身波动参数；结合所述波动性指标和所述自身波动参数对所述波动性指标进行优化。7.如权利要求1所述的方法，其特征在于，所述由相邻帧的所述多边形的内角角度的差值得到烟雾的波动性指标的计算公式为：其中，δ
j
为第j帧所述关键帧图像的所述烟雾的波动性指标；m为所述多边形的内角数量；为第j+1帧所述关键帧图像对应的所述多边形的第k个内角；为第j帧所述关键帧
图像对应的所述多边形的第k个内角。8.如权利要求1所述的方法，其特征在于，所述能量特征是通过灰度共生矩阵得到的。9.一种基于视觉感知的化工企业安全风险预警系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1～8任意一项所述方法的步骤。

技术总结
本发明涉及人工智能技术领域，具体涉及一种基于视觉感知的化工企业安全风险预警方法与系统。该方法根据模糊度特征获取模糊的烟雾图像，检测烟雾图像以得到关键帧图像和图像中的烟雾颜色的危险权重；获取烟雾区域的几何中心点，过几何中心点作多条直线，获取每条直线的等分点以构建多边形，由多边形的内角角度的差值得到烟雾的波动性指标；由几何中心点坐标的偏移得到烟雾的扩散性指标，由烟雾区域的能量特征得到能量特征差值；由危险权重、波动性指标、扩散性指标和能量特征差值构建的危险评估模型获取危险程度。通过构建烟雾区域的多边形能够快速准确的反映烟雾的动态变化特征和边缘细节变化，能够减少危险程度的预测结果，避免危险事故的发生。避免危险事故的发生。避免危险事故的发生。


技术研发人员：孔庆端 杨耀党 邱新亚 贾志闯 赵荣华 郑朝晖 张展 黄庭刚 贾翠芳 颜韩思 罗贤元 张现增 王飞强 赵夏冰 来红伟 白小杰
受保护的技术使用者：河南鑫安利安全科技股份有限公司
技术研发日：2021.12.07
技术公布日：2022/3/8