一种基于Transformer的工程施工风险预测方法及系统与流程

本发明涉及施工风险预测，特别涉及一种基于transformer的工程施工风险预测方法及系统。

背景技术：

1、工程施工安全始终是项目管理的重中之重。随着施工规模的扩大和复杂度的提升，准确预测并有效管理施工风险成为保障工程顺利进行和人员安全的关键。施工风险预测任务旨在通过分析施工现场的各类隐患，提前识别可能引发安全事故的风险点，从而采取预防措施，降低事故发生的概率和潜在损失。

2、目前，工程施工风险预测主要依赖于人工巡查、视频监控、传感器监测等传统手段来收集已知隐患信息。这些方法在一定程度上能够发现施工现场的明显安全隐患，但存在明显的局限性：人工巡查和视频监控易受人为因素和环境条件限制，难以做到全天候、无死角覆盖，导致部分隐患可能被遗漏；收集到的大量数据需要人工筛选和分析，不仅耗时费力，而且难以实时响应风险变化；现有技术往往基于经验判断或简单统计模型进行风险预测，缺乏对复杂隐患关联性的深入分析，导致预测准确率不高。

技术实现思路

1、基于此，本发明的目的是提出一种基于transformer的工程施工风险预测方法及系统，以解决上述提到的问题。

2、根据本发明提出的一种基于transformer的工程施工风险预测方法，所述方法包括：

3、实时采集并预处理工程施工过程中的多模态数据；

4、基于所述多模态数据，构建包含已知隐患的隐患集合以及包含潜在隐患的潜在隐患集合；

5、将施工风险-隐患知识图谱嵌入至transformer模型的输入层，并利用transformer模型架构构建施工风险预测模型；

6、基于输入的隐患集合及潜在隐患集合，通过所述施工风险预测模型逐步预测各个潜在隐患，以更新隐患序列，并结合更新的隐患序列进行推理预测，以输出最终的潜在隐患集合及施工风险判断结果。

7、更进一步的，所述将施工风险-隐患知识图谱嵌入至transformer模型的输入层，并利用transformer模型架构构建施工风险预测模型，包括：

8、将所述隐患集合和潜在隐患集合输入隐患编码器，以将其中的已知隐患和潜在隐患转换为令牌输入，并生成隐患序列；

9、构建施工风险-隐患知识图谱，将隐患序列与施工风险-隐患知识图谱之间的实体进行匹配链接，并获取相应的实体嵌入；

10、利用交叉注意力机制将隐患编码器的隐患序列输出与实体嵌入进行融合，得到融合嵌入向量；

11、基于所述融合嵌入向量，在隐患分类层进行各个潜在隐患的逐步检测并计算隐患检测损失，以及在施工风险分类层进行施工风险检测并计算施工风险损失，将所有隐患检测损失与施工风险损失之和作为最终训练损失，通过反向传播优化模型参数，最终得到优化后的施工风险预测模型。

12、更进一步的，所述将所述隐患集合和潜在隐患集合输入隐患编码器，以将其中的已知隐患和潜在隐患转换为令牌输入，并生成隐患序列，步骤中：

13、所述隐患编码器为采用多个堆叠的transformer块构建的风险检测序列生成模型，其中，每个transformer块中包含一个前馈网络和一个多传感头注意力机制；

14、在transformer块的每个多头注意力中，设置注意力屏蔽。

15、更进一步的，所述在每个transformer块的多头注意力中，设置注意力屏蔽，包括：

16、在每个transformer块的多头注意力中，通过修改注意力权重来决定查询和键在自注意力中的相互可见性，以使每个已知隐患只能看到已知隐患，每个潜在隐患能够看到已知隐患和前面已检测到的潜在隐患。

17、更进一步的，所述将所述隐患集合和潜在隐患集合输入隐患编码器，以将其中的已知隐患和潜在隐患转换为去除位置嵌入的令牌输入，生成隐患序列表示之后，还包括：

18、在所述隐患序列的后面，插入一个长度为n+1的[r]序列，其中，n是潜在隐患的个数，所述[r]序列包含n个用于触发潜在隐患预测的[r]令牌以及一个用于预测结束询问动作的[r]令牌，所述[r]序列中的第i个[r]用于触发第i个潜在隐患的预测，所述[r]序列中的最后一个[r]用于预测结束询问的动作。

19、在所述[r]序列后，添加[e]令牌，用于触发施工风险的预测。

20、更进一步的，所述基于所述融合嵌入向量，在隐患分类层进行各个潜在隐患的逐步检测并计算隐患检测损失，以及在施工风险分类层进行施工风险检测并计算施工风险损失，将所有隐患检测损失与施工风险损失之和作为最终训练损失，通过反向传播优化模型参数，最终得到优化后的施工风险预测模型，包括：

21、基于所述融合嵌入向量，利用所述[r]序列来学习生成潜在隐患；

22、当触发到所述[r]序列中的第i个[r]令牌时，则利用第i个[r]令牌与已知隐患和前面已预测的潜在隐患之间的注意力权重，对第i个潜在隐患进行预测；

23、对于所述[r]序列中的每个[r]令牌，在其经过隐患编码器处理后的最后一层输出上，应用包含线性层权重的隐患分类层进行分类，应用包含线性层权重的隐患分类层进行分类，通过softmax函数将分类结果转换为概率分布并计算交叉熵损失，作为一部分隐患检测损失；

24、当触发到所述[r]序列中的最后一个[r]令牌时，则结束隐患预测，得到完整的隐患序列；

25、当触发到所述隐患序列的[e]令牌时，则基于所述隐患序列中所有已知隐患和已预测的潜在隐患，利用施工风险分类层进行分类，通过softmax函数将分类结果转换为概率分布并计算交叉熵损失，作为施工风险损失；

26、将所有的隐患检测损失与施工风险损失之和作为最终训练损失，通过反向传播优化模型参数，使模型在训练过程中逐渐收敛，并最终得到优化后的施工风险预测模型。

27、更进一步的，所述将所述隐患集合和潜在隐患集合输入隐患编码器，以将其中的已知隐患和潜在隐患转换为令牌输入，并生成隐患序列，包括：

28、对于所述隐患集合和潜在隐患集合中的已知隐患和潜在隐患，通过求和相应的令牌嵌入、隐患状态嵌入和隐患类型嵌入计算每个隐患的输入表示，其中，隐患状态包括存在隐患和不存在隐患，隐患类型包括已知隐患和潜在隐患；

29、去除位置嵌入，基于所有隐患的输入表示，生成隐患序列。

30、更进一步的，所述构建施工风险-隐患知识图谱，将隐患序列与施工风险-隐患知识图谱之间的实体进行匹配链接，并获取相应的实体嵌入，包括：

31、构建施工风险-隐患知识图谱，将语义事实存储为三元组形式，其中，三元组表示实体施工风险、实体隐患及其之间的关联关系；

32、将所述隐患序列中的实体与所述施工风险-隐患知识图谱中的节点进行匹配；

33、基于匹配结果，将隐患序列中的实体链接到所述施工风险-隐患知识图谱中的相应节点上；

34、在图卷积神经网络的基础上，引入关系类型感知机制，以构建ragcn模型；

35、通过所述ragcn模型，对所述施工风险-隐患知识图谱进行信息的传播、聚合及关系类型感知，得到每个节点的嵌入表达及对应的关系嵌入；

36、获取所述隐患序列中实体的节点嵌入和关系嵌入，在联合嵌入空间中进行融合，并组成一个矩阵，得到实体嵌入矩阵。

37、更进一步的，所述利用交叉注意力机制将隐患编码器的隐患序列输出与实体嵌入进行融合，得到融合嵌入向量，包括：

38、计算所述隐患序列与实体嵌入的相似度，得到相似度矩阵，并进行缩放；

39、对缩放后的相似度矩阵应用softmax函数，得到归一化的权重；

40、将归一化后的权重与当前隐患序列进行矩阵乘法，得到加权后的序列嵌入；

41、将加权后的序列嵌入与实体嵌入相加，得到融合嵌入向量。

42、本发明还提出一种基于transformer的工程施工风险预测系统，所述系统包括：

43、采集模块：用于实时采集并预处理工程施工过程中的多模态数据；

44、集合模块：用于基于所述多模态数据，构建包含已知隐患的隐患集合以及包含潜在隐患的潜在隐患集合；

45、模型构建模块：用于将施工风险-隐患知识图谱嵌入至transformer模型的输入层，并利用transformer模型架构构建施工风险预测模型；

46、预测模块：用于基于输入的隐患集合及潜在隐患集合，通过所述施工风险预测模型逐步预测各个潜在隐患，以更新隐患序列，并结合更新的隐患序列进行推理预测，以输出最终的潜在隐患集合及施工风险判断结果。

47、综上，本发明的基于transformer的工程施工风险预测方法，将工程施工风险预测任务建模为隐患生成和施工风险分类的组合任务，这种生成式模型能够逐步检测到潜在的隐患，并根据隐患预测施工风险。由于隐患预测的质量直接决定了施工风险分类的效果，通过分解问题，将目标分解为各个潜在隐患的预测及施工风险的预测，而在逐步预测各个潜在隐患，且优化隐患预测的过程中，便间接提升了施工风险预测的准确性，从而在实际应用中能够更有效地识别和控制施工风险。

48、将施工风险-隐患知识图谱嵌入至transformer模型的输入层，施工风险-隐患知识图谱以结构化的方式存储了隐患序列和隐患对应施工风险的事实性信息、语义关系信息及上下文信息，知识图谱的嵌入，使得transformer模型具备了更强的知识推理能力，在预测过程中，可以基于已知的隐患信息，推理出潜在的隐患和风险，以提高风险预测的预见性。

49、而利用transformer模型架构构建风险预测模型，其自注意力机制能够同时处理输入序列中的所有位置，捕捉句子中的长距离依赖关系。在施工风险预测中，这意味着模型能够更好地捕捉隐患与隐患、隐患与风险点之间的复杂关联和相互影响，从而提高预测的准确性。

50、本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实施例了解到。

技术特征：

1.一种基于transformer的工程施工风险预测方法，其特征在于，所述方法包括：

2.根据权利要求1所述的基于transformer的工程施工风险预测方法，其特征在于，所述将施工风险-隐患知识图谱嵌入至transformer模型的输入层，并利用transformer模型架构构建施工风险预测模型，包括：

3.根据权利要求1所述的基于transformer的工程施工风险预测方法，其特征在于，所述将所述隐患集合和潜在隐患集合输入隐患编码器，以将其中的已知隐患和潜在隐患转换为令牌输入，并生成隐患序列，步骤中：

4.根据权利要求3所述的基于transformer的工程施工风险预测方法，其特征在于，所述在transformer块的每个多头注意力中，设置注意力屏蔽，包括：

5.根据权利要求2所述的基于transformer的工程施工风险预测方法，其特征在于，所述将所述隐患集合和潜在隐患集合输入隐患编码器，以将其中的已知隐患和潜在隐患转换为令牌输入，并生成隐患序列之后，还包括：

6.根据权利要求5所述的基于transformer的工程施工风险预测方法，其特征在于，所述基于所述融合嵌入向量，在隐患分类层进行各个潜在隐患的逐步检测并计算隐患检测损失，以及在施工风险分类层进行施工风险检测并计算施工风险损失，将所有隐患检测损失与施工风险损失之和作为最终训练损失，通过反向传播优化模型参数，最终得到优化后的施工风险预测模型，包括：

7.根据权利要求2所述的基于transformer的工程施工风险预测方法，其特征在于，所述将所述隐患集合和潜在隐患集合输入隐患编码器，以将其中的已知隐患和潜在隐患转换为令牌输入，并生成隐患序列，包括：

8.根据权利要求2所述的基于transformer的工程施工风险预测方法，其特征在于，所述构建施工风险-隐患知识图谱，将隐患序列与施工风险-隐患知识图谱之间的实体进行匹配链接，并获取相应的实体嵌入，包括：

9.根据权利要求2所述的基于transformer的工程施工风险预测方法，其特征在于，所述利用交叉注意力机制将隐患编码器的隐患序列输出与实体嵌入进行融合，得到融合嵌入向量，包括：

10.一种基于transformer的工程施工风险预测系统，其特征在于，所述系统包括：

技术总结
本发明提出一种基于Transformer的工程施工风险预测方法及系统，该方法包括：采集多模态数据，基于多模态数据，构建包含已知隐患的隐患集合以及包含潜在隐患的潜在隐患集合，将施工风险‑隐患知识图谱嵌入至Transformer模型的输入层，并利用Transformer模型架构构建施工风险预测模型，通过模型逐步预测各个潜在隐患，以更新隐患序列，并结合更新的隐患序列进行推理预测，以输出最终的潜在隐患集合及施工风险判断结果。本发明利用知识图谱的结构化信息来增强模型对隐患的理解能力，还通过Transformer模型的自注意力机制和强大学习能力实现对隐患序列的高效处理与精准预测，从而提高了施工风险预测的准确性和可靠性。

技术研发人员：翟福森,金燕,张继,周意咏,王业义,侯甲庆,张涛,刁元刚
受保护的技术使用者：中国铁建昆仑投资集团有限公司
技术研发日：
技术公布日：2024/12/5