情绪识别方法及相关装置、智能座舱和存储介质与流程

本申请涉及情绪识别，特别是涉及一种情绪识别方法及相关装置、智能座舱和存储介质。

背景技术：

1、随着人机交互技术的广泛落地，通过机器感知情绪对于优化人机交互体验有着重要意义。例如，机器如果能够准确地理解和响应人类情绪，将有助于极大地提升用户体验和满意度。

2、目前，对目标对象进行情绪识别的现有方式，通常通过对目标对象的行为动作进行分析而实现。但是，在目标对象情绪表达较为细微的情况下，现有方式将影响情绪识别的准确性。也就是说，现有方式的适用范围较窄。有鉴于此，如何提高情绪识别的准确性和适用性，成为亟待解决的问题。

技术实现思路

1、本申请主要解决的技术问题是提供一种情绪识别方法及相关装置、智能座舱和存储介质，能够提高情绪识别的准确性和适用性。

2、为了解决上述技术问题，本申请第一方面提供了一种情绪识别方法，包括：获取目标对象的行为动作数据，并获取目标对象所处场景的多模态数据；基于行为动作数据，提取行为动作特征，并基于多模态数据，提取多模态特征；至少基于行为动作特征和多模态特征进行融合，得到目标情绪特征；基于目标情绪特征，预测得到目标对象的目标情绪。

3、为了解决上述技术问题，本申请第二方面提供了一种情绪识别装置，包括：数据获取模块、特征提取模块、特征融合模块和情绪预测模块，数据获取模块，用于获取目标对象的行为动作数据，并获取目标对象所处场景的多模态数据；特征提取模块，用于基于行为动作数据，提取行为动作特征，并基于多模态数据，提取多模态特征；特征融合模块，用于至少基于行为动作特征和多模态特征进行融合，得到目标情绪特征；情绪预测模块，用于基于目标情绪特征，预测得到目标对象的目标情绪。

4、为了解决上述技术问题，本申请第三方面提供了一种电子装置，至少包括相互耦接的存储器和处理器，存储器中存储有程序指令，处理器用于执行程序指令以实现上述第一方面中的情绪识别方法。

5、为了解决上述技术问题，本申请第四方面提供了一种智能座舱，至少包括采集装置以及与采集装置通信连接的控制装置，采集装置用于采集目标对象的行为动作数据以及目标对象所处环境的多模态数据，控制装置为上述第三方面中电子装置。

6、为了解决上述技术问题，本申请第五方面提供了一种计算机可读存储介质，存储有能够被处理器运行的程序指令，程序指令用于实现上述第一方面的情绪识别方法。

7、上述方案，获取目标对象的行为动作数据，并获取目标对象所处场景的多模态数据，再基于行为动作数据，提取行为动作特征，基于多模态数据，提取多模态特征，从而至少基于行为动作特征和多模态特征进行融合，得到目标情绪特征，进而基于目标情绪特征，预测得到目标对象的目标情绪，故在情绪识别过程中不仅将目标对象的行为动作数据纳入考虑范围，还进一步将目标对象所处场景纳入考虑范围，能够充分考虑目标对象所处环境对目标对象情绪的诱导因素，且目标对象所处场景采用多模态数据进行表征，能够从不同模态角度尽可能丰富地表达诱导因素，再融合行为动作特征与多模态特征，能够充分建模目标对象所处场景作为诱导因素对目标对象行为动作的情绪影响。故此，能够提高情绪识别的准确性和适用性。

技术特征：

1.一种情绪识别方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述至少基于所述行为动作特征和所述多模态特征进行融合，得到目标情绪特征，包括：

3.根据权利要求2所述的方法，其特征在于，所述基于所述第一查询特征，从所述多模态特征提取与情绪诱因相关特征信息，得到第二查询特征，包括：

4.根据权利要求3所述的方法，其特征在于，所述多模态特征基于第二自注意力机制提取得到，且所述第二自注意力机制与所述第一自注意力机制共享权重参数。

5.根据权利要求2所述的方法，其特征在于，所述基于所述第二查询特征和所述行为动作特征，得到所述目标情绪特征，包括：

6.根据权利要求1所述的方法，其特征在于，所述目标情绪由情绪识别模型识别得到，所述情绪识别模型预先基于第一样本数据进行训练，再基于第二样本数据进行训练；

7.根据权利要求6所述的方法，其特征在于，所述情绪识别模型基于所述第一样本数据进行训练的步骤包括：

8.根据权利要求7所述的方法，其特征在于，所述样本多模态数据涉及文本模态以及至少一种参考模态，所述至少基于所述预测标记与所述第一样本数据的标注标记之间差异，调整所述情绪识别模型的网络参数之前，所述方法还包括：

9.根据权利要求6所述的方法，其特征在于，所述第一样本数据的构建步骤包括：

10.根据权利要求6所述的方法，其特征在于，所述情绪识别模型包括用于提取所述行为动作特征的第一提取网络、用于提取所述多模态特征的第二提取网络，以及用于至少基于所述行为动作特征和所述多模态特征预测所述目标情绪的情绪预测网络，基于所述第二样本数据进行训练的步骤包括：

11.根据权利要求1所述的方法，其特征在于，所述基于所述行为动作数据，提取行为动作特征，包括：

12.根据权利要求1所述的方法，其特征在于，所述基于所述多模态数据，提取多模态特征，包括：

13.根据权利要求1至12任一项所述的方法，其特征在于，所述行为动作数据包括以下至少一者：对所述目标对象摄录的视频数据、对所述目标对象采集的音频数据；

14.一种情绪识别装置，其特征在于，包括：

15.一种电子装置，其特征在于，至少包括相互耦接的存储器和处理器，所述存储器中存储有程序指令，所述处理器用于执行所述程序指令以实现权利要求1至13任一项所述的情绪识别方法。

16.一种智能座舱，其特征在于，至少包括采集装置以及与所述采集装置通信连接的控制装置，所述采集装置用于采集目标对象的行为动作数据以及所述目标对象所处环境的多模态数据，所述控制装置为权利要求14所述的电子装置。

17.一种计算机可读存储介质，其特征在于，存储有能够被处理器运行的程序指令，所述程序指令用于实现权利要求1至13任一项所述的情绪识别方法。

技术总结
本申请公开了一种情绪识别方法及相关装置、智能座舱和存储介质，其中，情绪识别方法包括：获取目标对象的行为动作数据，并获取目标对象所处场景的多模态数据；基于行为动作数据，提取行为动作特征，并基于多模态数据，提取多模态特征；至少基于行为动作特征和多模态特征进行融合，得到目标情绪特征；基于目标情绪特征，预测得到目标对象的目标情绪。上述方案，能够提高情绪识别的准确性和适用性。

技术研发人员：刘颖,林垠,沙文,殷兵,刘聪,奚昌凤
受保护的技术使用者：科大讯飞股份有限公司
技术研发日：
技术公布日：2024/12/5