基于双模态的回转窑燃烧状态识别模型的构建及应用方法

本技术涉及窑炉图像分析，特别是涉及一种基于双模态的回转窑燃烧状态识别模型的构建及应用方法。

背景技术：

1、回转窑作为一种重要的热加工设备，广泛应用于水泥、冶金、化工等领域，其主要作用是通过高温煅烧处理各种物料，促使物料发生物理和化学转变。然而，回转窑的运行过程复杂，受到诸多因素的影响，如燃料类型、煅烧温度、物料特性、进料速度以及风量等。因此，如何准确识别回转窑燃烧状态（过燃烧、正常燃烧、欠燃烧），成为亟待解决的关键问题。传统的识别方法主要依靠工人的经验，难以满足复杂工况下的精准控制需求，工人长时间的高强度监控不仅增加了劳动强度，还可能导致判断失误，影响生产效率和环境保护。

2、针对上述问题，公开号为cn117079045a的专利公开了基于色彩校正和卷积网络的回转窑燃烧图像分类方法：该方法通过引入色彩校正技术来改善图像的质量，然后结合卷积神经网络搭建网络模型，以图像数据集作为输入，最终生成三维预测结果，系统会选择预测得分最高的燃烧状态作为当前回转窑内的燃烧状态，并输出最终识别结果。但此方法过于依赖色彩校正，如果图像的初始质量较差或光照条件复杂，校正效果可能不理想，导致后续卷积网络的预测准确性受到影响。此外，该方法仅基于卷积网络，在处理复杂或长时间依赖的时序信息时表现有限。

3、公开号为cn115100578b的专利公开了一种基于res2net和注意力机制的回转窑火焰燃烧状态识别方法：该方法通过引入res2net网络结构和卷积注意力模块（cbam），提升了模型对火焰燃烧状态的预测能力，并基于最高得分的状态输出当前燃烧状态。但是，尽管引入了res2net和注意力机制提升了模型的表现，但其计算复杂度较高，训练时间较长，不适用于实时应用。另外，cbam虽然能捕捉全局和局部信息，但在高噪声数据下，注意力机制可能会放大无关信息，从而影响识别结果的准确性。

4、公开号为cn114078225a的专利公开了一种基于塔克分解的回转窑状态识别方法及其相关设备：该方法通过基于获取的工艺参数构建时间窗口的工艺组合数据，并基于窑况视频构建烧成带拼接图像，再分别训练初始全卷积模型和初始残差神经模型，最后利用这两种模型对回转窑燃烧状态进行识别。然而该方法依赖于大量的工艺参数和视频数据，数据获取和处理复杂且成本较高。此外，塔克分解和两种模型的联合使用，虽然理论上提高了识别精度，但模型训练和推理过程的计算量较大，实时性差，且对硬件要求较高，不适合资源有限的工业现场。

5、公开号为cn112766410a的专利公开了一种基于图神经网络特征融合的回转窑烧成状态识别方法：该方法通过融合图神经网络提取的固定点和随机点组合生成的无向图数据的图像特征，从而扩充更多的图像特征，提升了对回转窑烧成状态识别的准确率，虽然图神经网络的应用虽然增强了特征提取能力，但其对数据的依赖性较强，尤其是需要准确的固定点和随机点数据，否则可能导致图像特征提取不准确，进而影响识别结果。另外，图神经网络的训练和推理过程相对复杂，可能需要更多计算资源，不利于在低资源环境下部署。

技术实现思路

1、本技术实施例提供了一种基于双模态的回转窑燃烧状态识别模型的构建及应用方法，优化设计了可高效捕捉回转窑复杂燃烧状态的回转窑燃烧状态识别模型，通过引入双模态判别、窗口级别的区域特征权重以提高回转窑燃烧状态识别的准确度。

2、第一方面，本技术实施例提供了一种基于双模态的回转窑燃烧状态识别模型的构建方法，包括以下步骤：

3、获取不同燃烧状态的回转窑燃烧图像；

4、将回转窑燃烧图像输入到分割模型中输出对应的分割结果，其中分割结果标记回转窑燃烧图像中的不同燃烧区域；

5、将标记有燃烧状态的回转窑燃烧图像和对应的分割结果作为训练数据输入到回转窑燃烧状态识别架构中训练得到回转窑燃烧状态识别模型，其中回转窑燃烧状态识别架构包括依次连接的输入层、双通道主干网络、组合层以及分类头，其中双通道主干网络由多阶段的主干模块依次连接而成，每一阶段的主干模块包括相同结构的并行的原始图像通道和分割图像通道，原始图像通道和分割图像通道上含有线性层和至少一个区域感知自适应注意力头，区域感知自适应注意力头采用swin transformer，并在swin transformer的多头自注意力计算中引入区域亮度指数和区域面积指数进行区域自适应注意力计算；

6、回转窑燃烧图像自输入层输入到双通道主干网络的原始图像通道，回转窑燃烧图像对应的分割图像自输入层输入到双通道主干网络的分割图像通道，每一阶段的主干模块的原始图像通道输出的原始图像通道特征图和分割图像通道输出的分割图像通道特征图叠加得到当前阶段的主干模块的阶段特征图，不同阶段的阶段特征图组合在组合层中组成得到特征金字塔，特征金字塔输入到分类头中依次进行拼接、归一化和全连接层处理后输出燃烧状态作为分类结果。

7、第二方面，本技术实施例提供了一种基于双模态的回转窑燃烧状态识别模型的应用方法，包括步骤：

8、获取回转窑燃烧图像，将回转窑燃烧图像输入到分割模型中输出对应的分割结果，其中分割结果标记回转窑燃烧图像中的不同燃烧区域；

9、将回转窑燃烧图像和对应的分割结果输入到所述的基于双模态的回转窑燃烧状态识别模型的构建方法构建得到的基于双模态的回转窑燃烧状态识别模型中输出对应的燃烧状态。

10、第三方面，本技术实施例提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述的基于双模态的回转窑燃烧状态识别模型的构建方法或者基于双模态的回转窑燃烧状态识别模型的应用方法。

11、第四方面，本技术实施例提供了一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括所述的基于双模态的回转窑燃烧状态识别模型的构建方法或者基于双模态的回转窑燃烧状态识别模型的应用方法。

12、本发明的主要贡献和创新点如下：

13、本方案采用回转窑燃烧图像和对应的分割结果作为双模态的输入，以解决由于回转窑燃烧图像的燃烧区域的界限模糊而导致的模型识别精度不高的问题，本方案设计的基于双模态的回转窑燃烧状态识别模型通过结合分割结果和回转窑燃烧图像以充分捕捉回转窑燃烧过程中的复杂特征；另外，本方案以swin transformer为基础的主干网络，并在swin transformer 的多头自注意力计算（w-msa 和 sw-msa）中引入基于窗口级别的区域特征权重，使得基于双模态的回转窑燃烧状态识别模型在自适应地分配注意力时，能够更加灵活地关注燃烧状态中重要的特征区域，进而提高了识别准确度。另外，本方案采用生成对抗网络来生成回转窑燃烧图像以弥补样本量不足的问题，采用ket网络作为分割模型以提高分割结果的分割精度。

14、本技术的一个或多个实施例的细节在以下附图和描述中提出，以使本技术的其他特征、目的和优点更加简明易懂。

技术特征：

1.一种基于双模态的回转窑燃烧状态识别模型的构建方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于双模态的回转窑燃烧状态识别模型的构建方法，其特征在于，每一线性层包括映射分区和线性内嵌层，输入到每一主干头的原始图像通道上的特征输入到线性层中经过映射分区进行分区以及位置编码，随后经过线性内嵌层线性变化得到对应的原始图像线性变化特征，原始图像线性变化特征输入到区域感知自适应注意力机制中进行自适应注意力处理得到原始图像通道特征图；输入到每一主干头的分割图像通道上的特征输入到线性层中经过映射分区进行分区以及位置编码，随后经过线性内嵌层线性变化得到对应的分割图像线性变化特征，分割图像线性变化特征输入到区域感知自适应注意力机制中进行自适应注意力处理得到分割图像通道特征图。

3.根据权利要求1所述的基于双模态的回转窑燃烧状态识别模型的构建方法，其特征在于，在swin transformer的多头自注意力计算的每个滑动窗口内计算区域面积指数和区域亮度指数，并将区域面积指数和区域亮度指数动态融合为区域权重，利用区域权重调整当前滑动窗口多头自注意力计算。

4.根据权利要求3所述的基于双模态的回转窑燃烧状态识别模型的构建方法，其特征在于，计算swin transformer的每个滑动窗口的不同燃烧区域的像素点在当前窗口的占比，取不同燃烧区域的占比的加权和作为当前滑动窗口的区域面积指数；计算swintransformer的每个滑动窗口的所有像素点的亮度的平均值和亮度的最大值的比值作为当前滑动窗口的区域亮度指数，加权区域面积指数和区域亮度指数得到当前滑动窗口的区域权重，基于区域权重加权调整对应的注意力机制中对应的相对位置编码。

5.根据权利要求1所述的基于双模态的回转窑燃烧状态识别模型的构建方法，其特征在于，组合层将不同阶段的阶段特征图组合成fpn的特征金字塔，并基于特征金字塔构建自上而下的组合特征图，对组合特征图进行卷积处理，分类头对卷积处理后的组合特征图进行通道维度的拼接、归一化以及全连接层处理得到分类结果。

6.根据权利要求1所述的基于双模态的回转窑燃烧状态识别模型的构建方法，其特征在于，采用k-net网络训练得到可分割燃烧区域的分割模型。

7.根据权利要求1所述的基于双模态的回转窑燃烧状态识别模型的构建方法，其特征在于，获取原始回转窑燃烧图像，将原始回转窑燃烧图像输入到生成对抗网络中生成虚拟回转窑燃烧图像，整合原始回转窑燃烧图像和虚拟回转窑燃烧图像作为不同燃烧状态的回转窑燃烧图像。

8.一种基于双模态的回转窑燃烧状态识别模型的应用方法，其特征在于，包括步骤：

9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行基于权利要求1到7任一所述的基于双模态的回转窑燃烧状态识别模型的构建方法或者基于权利要求8 的基于双模态的回转窑燃烧状态识别模型的应用方法。

10.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括根据权利要求1到7任一所述的基于双模态的回转窑燃烧状态识别模型的构建方法或者基于权利要求8 的基于双模态的回转窑燃烧状态识别模型的应用方法。

技术总结
本方案提供了一种基于双模态的回转窑燃烧状态识别模型的构建及应用方法，该回转窑燃烧状态识别模型以回转窑燃烧图像和对应的分割结果作为双模态输入，在Swin Transformer的多头自注意力计算的每个滑动窗口内计算区域面积指数和区域亮度指数，并将区域面积指数和区域亮度指数动态融合为区域权重，利用区域权重调整当前滑动窗口多头自注意力计算。本方案的区域自适应注意力计算可使得模型在自适应地分配注意力时，能够更加灵活地关注燃烧状态中重要的特征区域，以提高回转窑燃烧状态识别模型对回转窑复杂的燃烧状态的识别。

技术研发人员：肖丙刚,张鸿飞,沈奇,章东平
受保护的技术使用者：中国计量大学
技术研发日：
技术公布日：2024/12/5