基于多模态数据融合的大型工程装备设计意图提取方法

本发明属于工程设计意图提取，尤其涉及一种基于多模态数据融合的大型工程装备设计意图提取方法。

背景技术：

1、在当今工业领域，大型工程机械装备设计与制造对于国家经济和科技发展至关重要。随着先进制造技术的广泛应用，三维模型和数控工艺数据呈指数级增长，设计资源的数字化程度也在不断加深。然而，如何有效整合多模态数据以适应个性化需求和市场变化仍是一个挑战。统计数据显示，大约80%的大型工程机械装备设计可以通过重用或修改已有设计完成。然而，设计资源数据通常为非结构化，设计人员需要花费大量时间挖掘知识。因此，分析、挖掘设计资源数据中的设计意图和经验，是亟需解决的问题。

2、传统大型工程装备设计意图提取方法申请公布号为cn104899242 a的发明专利申请公开的一种基于设计意图的机械产品设计二维知识推送方法，主要包括：建立机械产品设计意图数据库，建立设计意图获取和分解方法，利用粗糙集理论构建设计意图属性表并进行约简得到最简设计意图集；建立机械产品设计知识本体数据库；采用顺序遍历的方式对使用基于知识本体概念语义距离和概念属性的改进相似度匹配算法计算意图元与被比较知识本体之间的相似度，对于相似度大于阈值的意图元按照相似度由大到小依次匹配意图元集合中各个意图元直至完成所有匹配，利用文本语义相似度计算方法来完成知识本体的匹配。

3、上述方法属于单模态方法，对于大型工程装备设计而言，由于其存在众多的部件，采用上述单模态方法获取的设计方案效果不佳。

技术实现思路

1、本发明提供了一种基于多模态数据融合的大型工程装备设计意图提取方法，以解决采用单模态策略提取大型工程装备设计意图的方法效果不佳的问题。

2、为解决上述技术问题，本发明提供的技术方案为：

3、本发明涉及一种基于多模态数据融合的大型工程装备设计意图提取方法，其包括如下步骤：

4、s1.获取历史工程项目设计资源，将项目设计资源进行分类形成多模态资源，多模态资源包括三维mesh总体模型、三维mesh部件模型、部件清单、二维图纸和复杂环境信息；

5、s2.对于三维mesh总体模型、三维mesh部件模型、二维图纸和复杂环境信息，通过基于卷积神经网络和编码器的多支路单模态特征提取网络分别提取总体模型特征向量、部件模型特征向量、图像特征向量和环境特征向量；

6、s3.将部件模型特征向量与部件清单中的位置编码进行拼接，通过基于自注意力机制的单模态特征融合网络融合部件模型特征向量得到部件融合特征向量；

7、s4.通过基于transformer结构的多模态特征融合网络将总体模型特征向量、部件融合特征向量、图像特征向量和环境特征向量进行特征融合，得到工程项目的设计意图特征向量；

8、s5.基于所有历史工程项目的设计意图特征向量，通过谱聚类设计意图提取网络得到基于设计意图的历史工程项目群簇，并得到每个群簇的设计意图中心。

9、优选地，所述s2对于三维mesh总体模型、三维mesh部件模型和二维图纸，通过基于卷积神经网络和编码器的多支路单模态特征提取网络分别提取总体模型特征向量、部件模型特征向量和图像特征向量的具体步骤为：

10、s2.1.采用meshnet提取三维mesh总体模型的总体模型特征向量和三维mesh部件模型的部件模型特征向量；采用vggnet提取二维图纸的图像特征向量；

11、s2.2.采用多层堆叠的transformer编码器结构分别学习总体模型特征向量、部件模型特征向量、图像特征向量内的关联信息，并更新总体模型特征向量、部件模型特征向量、图像特征向量。

12、优选地，所述s2.2中每层transformer编码器均包括自注意力层和前馈网络，所述的自注意力层包括全连接层和经过归一化处理的点乘注意力机制；

13、所述s2.2学习各特征向量的关联信息并更新各特征向量的具体步骤为：

14、s2.2.1.通过全连接层对输入的特征向量进行线性变换，得到三种不同类型的子向量，即查询向量 q、键向量 k以及值向量 v；

15、s2.2.2.计算查询向量和键向量之间的乘积，对乘积结果进行缩放，再应用注意力掩码，进一步使softmax函数进行归一化处理，生成一个注意力权重矩阵；

16、s2.2.3.将注意力权重矩阵与值向量相乘，对输入的特征向量进行更新，计算公式为：

17、 （1），

18、公式中， attentionscaled为归一化点乘注意力机制， q、 k、 v分别表示查询向量、键向量和值向量， x '为经注意力机制更新后的特征向量， d为特征向量的维度，softmax表示softmax函数， t表示矩阵转置；

19、s2.2.4.前馈网络对于经注意力机制更新后的特征向量进行非线性变换，进而更新重要组成部分，前馈网络的操作的计算公式为：

20、 （2），

21、公式中， w1、 w2、 b1和 b2分别为前馈网络中的可学习参数， x ''代表前馈网络处理后得到的输出特征向量，max(0， xw1+ b1)表示relu激活函数的计算方式。

22、优选地，所述s2对于复杂环境信息，采用one-hot编码策略处理设计需求涉及的复杂环境信息，one-hot编码策略的计算公式为：

23、 （3），

24、公式中， fn为经one-hot编码后得到的特征向量， p为前序编码， a为后续编码， onehot为one-hot编码操作。

25、优选地，所述s3将部件模型特征向量与部件清单中的位置编码进行拼接，通过基于自注意力机制的单模态特征融合网络融合部件模型特征向量得到部件融合特征向量的具体步骤为：

26、s3.1.将部件清单构建成维度为n的数组，n为部件清单中部件的总数；

27、s3.2.按照部件清单的顺序，将各部件模型特征向量与部件清单中的位置编码拼接，得到调整后的部件模型特征向量；

28、s3.3.将调整后的部件模型特征向量组合成一个矩阵作为transformer模型的输入，transformer模型通过其自注意力机制和多头注意力策略，捕获部件间的复杂关系和相互依赖，输出一个综合了所有部件模型特征的部件融合特征向量。

29、优选地，所述s4将总体模型特征向量、部件融合特征向量、图像特征向量和环境特征向量进行特征融合的融合公式为：

30、 （4），

31、公式中，m表示多模态特征融合网络中特征融合模块层数，attentionscaled为归一化点乘注意力机制，vm代表在第m层特征融合模块中产生的输出特征向量，vm-1是第m-1层输出结果，fm是送入第m层特征融合模块的输入向量，d为每个特征向量的维数， t表示矩阵转置。

32、优选地，所述s5通过谱聚类设计意图提取网络得到基于设计意图的历史工程项目群簇，并得到每个群簇的设计意图中心的具体步骤为：

33、s5.1.计算设计意图特征向量的余弦相似度，并构建相似度矩阵，余弦相似度的计算公式为：

34、 （5），

35、公式中，β为相似度，a和b分别表示两个设计意图特征向量的描述符向量，n是向量的维度，i代表迭代值；

36、s5.2.基于构建的相似度矩阵，进一步构建拉普拉斯矩阵；

37、s5.3.对拉普拉斯矩阵进行特征分解，计算其特征值和相应的特征向量，选取与最小的k个特征值相对应的特征向量，k为聚类类别数目，将这些特征向量整合成一个新矩阵；

38、s5.4.应用k-means聚类算法对新矩阵进行聚类，得到历史工程项目群簇划分结果以及设计意图中心。

39、采用本发明提供的技术方案，与现有技术相比，具有如下有益效果：

40、本发明涉及的基于多模态数据融合的大型工程装备设计意图提取方法将历史项目设计资源进行分类形成多模态资源，通过基于卷积神经网络和编码器的多支路单模态特征提取网络提取多模态特征向量，并通过基于自注意力机制的单模态特征融合网络融合多模态向量中的部件模型特征向量得到部件融合特征向量，通过多模态特征融合网络对多模态特征向量进行融合得到设计意图特征向量，该特征向量，不仅包含了装备的几何形状、物理属性和功能要求等多维度信息，还通过深度学习模型的处理，体现了这些信息之间的内在联系和相互作用，结合谱聚类进行相似度计算，实现对大型工程装备设计意图对提取；相比于采用单模态方法效果更佳，能更好地在大型工程装备设计过程中辅助设计人员。

技术特征：

1.一种基于多模态数据融合的大型工程装备设计意图提取方法，其特征在于：其包括如下步骤：

2.根据权利要求1所述的基于多模态数据融合的大型工程装备设计意图提取方法，其特征在于：所述s2对于三维mesh总体模型、三维mesh部件模型和二维图纸，通过基于卷积神经网络和编码器的多支路单模态特征提取网络分别提取总体模型特征向量、部件模型特征向量和图像特征向量的具体步骤为：

3.根据权利要求2所述的基于多模态数据融合的大型工程装备设计意图提取方法，其特征在于：所述s2.2中每层transformer编码器均包括自注意力层和前馈网络，所述的自注意力层包括全连接层和经过归一化处理的点乘注意力机制；

4.根据权利要求1所述的基于多模态数据融合的大型工程装备设计意图提取方法，其特征在于：所述s2对于复杂环境信息，采用one-hot编码策略处理设计需求涉及的复杂环境信息，one-hot编码策略的计算公式为：

5.根据权利要求1所述的基于多模态数据融合的大型工程装备设计意图提取方法，其特征在于：所述s3将部件模型特征向量与部件清单中的位置编码进行拼接，通过基于自注意力机制的单模态特征融合网络融合部件模型特征向量得到部件融合特征向量的具体步骤为：

6.根据权利要求1所述的基于多模态数据融合的大型工程装备设计意图提取方法，其特征在于：所述s4将总体模型特征向量、部件融合特征向量、图像特征向量和环境特征向量进行特征融合的融合公式为：

7.根据权利要求1所述的基于多模态数据融合的大型工程装备设计意图提取方法，其特征在于：所述s5通过谱聚类设计意图提取网络得到基于设计意图的历史工程项目群簇，并得到每个群簇的设计意图中心的具体步骤为：

技术总结
本发明公开了一种基于多模态数据融合的大型工程装备设计意图提取方法，属于工程设计意图提取技术领域，包括以下步骤：将历史项目设计资源进行分类形成多模态资源，通过基于卷积神经网络和编码器的多支路单模态特征提取网络提取多模态特征向量，并通过基于自注意力机制的单模态特征融合网络融合多模态向量中的部件模型特征向量得到部件融合特征向量，通过多模态特征融合网络对多模态特征向量进行融合得到设计意图特征向量。本发明结合了多模态设计资源的特征，保留了部件之间的关联信息，提高了提取的准确性可辅助大型工程机械装备设计过程中的设计任务，缩减大型工程机械装备设计过程中的设计开销，并减少因为设计失误产生的设计变更损失。

技术研发人员：何利力,郑军红,颜骕沣
受保护的技术使用者：浙江理工大学
技术研发日：
技术公布日：2024/12/5