一种基于多模态融合的增材制造精准配准方法

本发明涉及增材制造的，尤其涉及到一种基于多模态融合的增材制造精准配准方法。

背景技术：

1、在使用增材制造的方法加工标准件过程中，内部气孔、裂纹或表面粗糙度等不规则现象的发生会对最终部件的质量造成不良影响。不良的工艺参数化，如扫描速度和激光功率，会造成工件的不规则性。通过对注册到固定图像的运动图像进行空间变换，可以获得配准功能。配准的准确性对于评估测量不确定度至关重要。

2、在基于传感器数据预测内部孔隙率的背景下，应用机器学习算法，实现成功的预测，关键在于准确进行传感器信号与孔隙度信息之间的空间分配。在l-pbf(激光粉末床融合技术)中，由于出现不规则的微小尺寸，准确的配准显得尤为重要。此外，由于不同测量方法引起的数据格式和维度差异，进一步增加了配准的挑战性。

3、总的来说，在l-pbf增材制造中，确保热成像原位监测数据和xct(x射线显微计算机断层扫描)参考数据的准确配准对于缺陷预测至关重要。这一配准过程不仅有助于开发精准的预测模型，而且有助于保障最终组件的制造质量。

4、l-pbf增材制造过程中，单一传感器准确配准被视为一种检测缺陷的方法。虽然基于单一传感器准确配准方法能够迅速获得加工过程中标准件表面的加工质量反馈，但直接应用于这一方法却缺乏深入研究。主要问题在于，尽管基于单一传感器准确配准方法可以确保正在加工的标准件的表层打印数据能够及时采集，但通常情况下，l-pbf增材制造过程中每一层的打印都可能对工件下面四五层的孔隙率和熔池状态产生影响。因此，基于单一传感器准确配准方法难以全面检测标准件加工过程中孔隙状态和熔池状态的持续变化，并且不能有效评估加工完成后标准件的实际缺陷和品质。

技术实现思路

1、本发明的目的在于克服现有技术的不足，提供一种基于多模态融合的增材制造精准配准方法，该方法通过整合不同类型的传感器数据，并结合性能评估函数对机器学习模型进行评估，使得通过高精度机器学习模型实现热普图数据集和xct参考数据集的配准，提高了热普图数据集和xct参考数据集之间的配准准确性，确保它们在多模态融合的标准件加工平台中能够有效地共同工作。

2、为实现上述目的，本发明所提供的技术方案为：

3、一种基于多模态融合的增材制造精准配准方法，包括：

4、s1、利用多模态传感器模块和x射线计算机断层扫描模块同时采集热普图和xct参考数据；

5、s2、对采集得到的热普图和xct参考数据进行预处理；

6、s3、基于预处理后的热普图和xct参考数据进行图像配准；

7、s4、建立具有从特征数据到准确配准的映射关系的机器学习模型；

8、s5、从已经过图像配准的热普图和xct参考数据中提取并标注关键特征；

9、s6、通过标注的关键特征对机器学习模型进行训练，得到训练完成的机器学习模型；

10、s7、通过训练完成的机器学习模型实现热普图数据集和xct参考数据集的配准，得到预配准结果；

11、s8、通过性能评估函数对机器学习模型进行评估，若评估通过，则将预配准结果作为最后的配准结果，若评估不通过，则机器学习模型返回步骤s6再次进行训练。

12、进一步地，对采集得到的热普图和xct参考数据进行预处理包括：去噪处理、归一化、空间对齐、异常值处理、平滑处理和数据格式统一。

13、进一步地，图像配准包括初步配准和非刚性配准；

14、初步配准包括：

15、从热普图和xct参考数据中提取特征点或特征区域，通过特征匹配和变换估计实现初步对齐；

16、非刚性配准包括：

17、考虑零件的形变和变形，通过形变场估计、变形场应用、优化和最终配准，实现更准确捕捉和校正零件在加工过程中实际变化。

18、进一步地，性能评估函数具体如下：

19、performance

20、＝ω1×registration consistency metric+ω2

21、×registration accuracy+ω3×registration coverage+ω4

22、×registration completeness score+ω5

23、×geometric alignment score+ω6×integrated_data_factor

24、subject to：

25、

26、上式中，performance为总综合评估值，ω1，ω2，ω3，ω4，ω5，ω6分别为各参数对应的权重；registration consistency metric为配准一致性度量为，用于评估配准算法在不同数据集或时间点上的一致性和稳定性的指标；

27、registration accuracy为配准准确度，用于衡量图像配准过程中的准确性的指标，配准准确度指标评估对齐的精确程度，即所得到的配准结果与真实或理想配准之间的接近程度；registration coverage为配准覆盖率，用于衡量配准后图像中多大比例的区域被正确地对齐；registration completeness score为配准完整度得分，用于更全面地评估图像配准的质量，既考虑配准的准确性，也考虑对整个图像的覆盖程度，使得评估结果更具有实际意义和应用性；

28、geometric alignment score为几何对齐得分，该指标综合考虑配准后的图像在几何上的对齐程度，包括旋转、平移和缩放方面的准确性，其通过计算配准后的图像与参考图像之间的几何变换误差来评估；integrated_data_factor为工作环境综合指标，包括工作环境温度、湿度和大气压强环境参数。

29、进一步地，将图像分割为不同的区域或网格，并计算每个区域中正确对齐的像素比例；然后，求取这些比例的平均值作为配准覆盖率。

30、进一步地，工作环境综合指标integrated_data_factor的计算公式如下：

31、integrated_datc_factor

32、＝ωt×normalized_temperature+ωh×normalized_humidity+ωp×normalized_pressure

33、其中：

34、normalized_temperature表示归一化后的工作环境温度值；

35、normalized_humidity表示归一化后的工作环境湿度值；

36、normalized_pressure表示归一化后的大气压强值；

37、ωt,ωh,ωp分别表示工作环境温度、工作环境湿度和大气压强在综合评估中的权重。

38、与现有技术相比，本方案原理及优点如下：

39、1、本技术方案通过整合不同类型的传感器数据，并结合性能评估函数对机器学习模型进行评估，使得通过高精度机器学习模型实现热普图数据集和xct参考数据集的配准，从而提高热普图数据集和xct参考数据集之间的配准准确性，确保它们在多模态融合的标准件加工平台中能够有效地共同工作。

40、2、图像配准包括初步配准和非刚性配准，通过这两个关键步骤，可实现从最初数据到更高精度的配准结果的逐步过渡，为后续的机器学习模型提供更准确的输入，从而在l-pbf增材制造中的缺陷预测方面提高了精度。

技术特征：

1.一种基于多模态融合的增材制造精准配准方法，其特征在于，包括：

2.根据权利要求1所述的一种基于多模态融合的增材制造精准配准方法，其特征在于，对采集得到的热普图和xct参考数据进行预处理包括：去噪处理、归一化、空间对齐、异常值处理、平滑处理和数据格式统一。

3.根据权利要求1所述的一种基于多模态融合的增材制造精准配准方法，其特征在于，图像配准包括初步配准和非刚性配准；

4.根据权利要求1所述的一种基于多模态融合的增材制造精准配准方法，其特征在于，性能评估函数具体如下：

5.根据权利要求4所述的一种基于多模态融合的增材制造精准配准方法，其特征在于，将图像分割为不同的区域或网格，并计算每个区域中正确对齐的像素比例；然后，求取这些比例的平均值作为配准覆盖率。

6.根据权利要求4所述的一种基于多模态融合的增材制造精准配准方法，其特征在于，工作环境综合指标integrated_data_factor的计算公式如下：

技术总结
本发明公开了一种基于多模态融合的增材制造精准配准方法，包括：同时采集热普图和XCT参考数据；对采集的数据进行预处理；进行图像配准；建立机器学习模型；训练完成得到机器学习模型；通过训练完成的机器学习模型实现热普图数据集和XCT参考数据集的配准，得到预配准结果；通过性能评估函数对机器学习模型进行评估，若评估通过，则将预配准结果作为最后的配准结果，若评估不通过，则机器学习模型返回训练步骤再次进行训练。本发明通过整合不同类型的传感器数据，并结合性能评估函数对机器学习模型进行评估，使得通过高精度机器学习模型实现热普图数据集和XCT参考数据集的配准，从而提高热普图数据集和XCT参考数据集之间的配准准确性。

技术研发人员：冷杰武,谢俊星,钟元蔚,林梓生,郑恪悠,李荣杰,徐才宇,刘强
受保护的技术使用者：广东工业大学
技术研发日：
技术公布日：2024/12/5