基于人工智能的情感识别方法、装置、计算机设备及介质与流程

本技术涉及人工智能开发与金融科技领域，尤其涉及基于人工智能的情感识别方法、装置、计算机设备及存储介质。

背景技术：

1、情感智能是人工智能的一个研究方向，随着人工智能的发展，情感智能使用人工智能技术来检测语言和非语言信号，从语音变化到面部表情，可以识别、解读和响应更多人与人交流情感的渠道。从智能家居系统到汽车，从数字营销到零售甚至是金融，情感智能广泛地应用于各个行业。例如，在金融科技领域的客服服务场景中，在能够即时反馈用户满意度的即时情绪识别技术的辅助下，客服可以将情绪识别的实时结果加入到话术推荐模型的考虑范畴内，在解决客户疑问、指导客户交易、提供售后服务等方面具有极高的必要性和实用性，可以有效提升金融领域中的服务效率和服务质量。

2、对于客户情感识别的处理，目前金融科技公司所使用的方法大多为基于深度学习的语音情感识别方法，此类方法首先从原始语音音频中提取短时傅里叶变换频谱或梅尔频谱，之后再使用卷积神经网络等图像处理常用模型进行特征提取。然而，这种语音情感识别方法的性能较差导致识别效率较低，且语音情感的识别准确率较低。

技术实现思路

1、本技术实施例的目的在于提出一种基于人工智能的情感识别方法、装置、计算机设备及存储介质，以解决现有的金融科技公司所使用的方法基于深度学习的语音情感识别方法的性能较差导致识别效率较低，且语音情感的识别准确率较低的技术问题。

2、为了解决上述技术问题，本技术实施例提供一种基于人工智能的情感识别方法，采用了如下所述的技术方案：

3、调用预先构建的教师模型与学生模型；其中，所述教师模型包括第一语音信号特征提取器、第一门控循环单元、第二门控循环单元、预训练语言模型、第一投射层与第一预测层；所述学生模型包括第二语音信号特征提取器、第三门控循环单元、第二投射层与第二预测层；

4、获取预先采集的语音数据，并对所述语音数据进行预处理得到语音样本数据；

5、基于所述语音样本数据对所述教师模型进行训练，获取所述教师模型中的联合嵌入与训练输出，并基于所述训练输出生成与所述教师模型对应的第一损失；

6、基于所述语音样本数据对所述学生模型进行训练，获取所述学生模型中的指定语音嵌入；

7、基于所述联合嵌入与所述语音嵌入生成与所述学生模型对应的第二损失；

8、基于所述第一损失与所述第二损失生成综合损失；

9、基于所述综合损失对所述学生模型进行优化处理，得到对应的目标情感识别模型；

10、基于所述目标情感识别模型对用户输入的目标语音数据进行情感识别处理，生成与所述用户对应的情感识别结果。

11、进一步的，所述基于所述语音样本数据对所述教师模型进行训练，获取所述教师模型中的联合嵌入与训练输出的步骤，具体包括：

12、将所述语音样本数据输入至所述教师模型内；

13、通过所述第一语音信号特征提取器对所述语音样本数据进行特征提取，得到对应的第一语音特征；

14、通过所述第一门控循环单元对所述第一语音特征进行处理，得到对应的第一语音嵌入；

15、将所述语音样本数据转化为文本数据，并使用所述预训练语言模型对所述文本数据进行编码得到对应的文本特征；

16、通过所述第二门控循环单元对所述文本特征进行处理，得到对应的文本嵌入；

17、对所述语音嵌入与所述文本嵌入进行拼接处理，得到对应的拼接嵌入；

18、通过所述第一投射层对所述拼接嵌入进行投射处理，得到所述联合嵌入；

19、通过所述第一预测层对所述联合嵌入进行预测处理，得到所述训练输出。

20、进一步的，所述基于所述训练输出生成与所述教师模型对应的第一损失的步骤，具体包括：

21、获取与所述语音样本数据对应的情感标签；

22、基于所述训练输出与所述情感标签生成一致性相关系数；

23、获取与所述语音样本数据对应的情感维度数据；

24、确定与所述情感维度数据对应的权重系数；

25、基于所述一致性相关系数与所述权重系数，生成与所述教师模型对应的所述第一损失。

26、进一步的，所述基于所述训练输出与所述情感标签生成一致性相关系数的步骤，具体包括：

27、计算所述训练输出与所述情感标签之间的协方差；

28、计算所述训练输出的第一方差，以及计算所述情感标签的第二方差；

29、计算所述训练输出的第一平均值，以及计算所述情感标签的第二平均值；

30、调用预设的计算公式对所述协方差、所述第一方差、所述第二方差、所述第一平均值以及所述第二平均值进行计算处理，得到对应的计算结果；

31、将所述计算结果作为所述一致性相关系数。

32、进一步的，所述基于所述语音样本数据对所述学生模型进行训练，获取所述学生模型中的指定语音嵌入的步骤，具体包括：

33、将所述语音样本数据输入至所述学生模型内；

34、通过所述第二语音信号特征提取器对所述语音样本数据进行特征提取，得到对应的第二语音特征；

35、通过所述第三门控循环单元对所述第二语音特征进行处理，得到对应的第二语音嵌入；

36、通过所述第二投射层对所述第二语音嵌入进行投射处理，得到所述指定语音嵌入。

37、进一步的，所述基于所述第一损失与所述第二损失生成综合损失的步骤，具体包括：

38、获取所述第二损失对应的指定权重；

39、计算所述指定权重与所述第二损失之间的乘积；

40、计算所述乘积与所述第一损失之间的和值；

41、将所述和值作为所述综合损失。

42、进一步的，在所述基于所述综合损失对所述学生模型进行优化处理，得到对应的目标情感识别模型的步骤之后，还包括：

43、基于所述语音样本数据构建验证数据；

44、基于所述验证数据对所述目标情感识别模型进行性能验证处理，得到所述目标情感识别模型的性能指标数据；

45、对所述性能指标数据进行数据分析，生成与所述目标情感识别模型对应的性能分析结果；

46、基于所述性能分析结果对所述目标情感识别模型进行对应的调整处理。

47、为了解决上述技术问题，本技术实施例还提供一种基于人工智能的情感识别装置，采用了如下所述的技术方案：

48、调用模块，用于调用预先构建的教师模型与学生模型；其中，所述教师模型包括第一语音信号特征提取器、第一门控循环单元、第二门控循环单元、预训练语言模型、第一投射层与第一预测层；所述学生模型包括第二语音信号特征提取器、第三门控循环单元、第二投射层与第二预测层；

49、预处理模块，用于获取预先采集的语音数据，并对所述语音数据进行预处理得到语音样本数据；

50、第一处理模块，用于基于所述语音样本数据对所述教师模型进行训练，获取所述教师模型中的联合嵌入与训练输出，并基于所述训练输出生成与所述教师模型对应的第一损失；

51、第二处理模块，用于基于所述语音样本数据对所述学生模型进行训练，获取所述学生模型中的指定语音嵌入；

52、第一生成模块，用于基于所述联合嵌入与所述语音嵌入生成与所述学生模型对应的第二损失；

53、第二生成模块，用于基于所述第一损失与所述第二损失生成综合损失；

54、优化模块，用于基于所述综合损失对所述学生模型进行优化处理，得到对应的目标情感识别模型；

55、识别模块，用于基于所述目标情感识别模型对用户输入的目标语音数据进行情感识别处理，生成与所述用户对应的情感识别结果。

56、为了解决上述技术问题，本技术实施例还提供一种计算机设备，采用了如下所述的技术方案：

57、所述计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现本技术实施例中提出的任一项所述的基于人工智能的情感识别方法的步骤。

58、为了解决上述技术问题，本技术实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：

59、所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现本技术实施例中提出的任一项所述的基于人工智能的情感识别方法的步骤。

60、与现有技术相比，本技术实施例主要有以下有益效果：

61、本技术首先调用预先构建的教师模型与学生模型；然后获取预先采集的语音数据，并对所述语音数据进行预处理得到语音样本数据；之后基于所述语音样本数据对所述教师模型进行训练，获取所述教师模型中的联合嵌入与训练输出，并基于所述训练输出生成与所述教师模型对应的第一损失；并基于所述语音样本数据对所述学生模型进行训练，获取所述学生模型中的指定语音嵌入；后续基于所述联合嵌入与所述语音嵌入生成与所述学生模型对应的第二损失；并基于所述第一损失与所述第二损失生成综合损失；进一步基于所述综合损失对所述学生模型进行优化处理，得到对应的目标情感识别模型；最后基于所述目标情感识别模型对用户输入的目标语音数据进行情感识别处理，生成与所述用户对应的情感识别结果。本技术通过引入教师模型与学生模型所对应的师生网络训练策略来构建相应的目标情感识别模型，相较于教师模型，目标情感识别模型的结构相对简单，使得利用目标情感识别模型对用户输入的目标语音数据进行情感识别处理，模型处理速度快，能够有效提高语音情感识别处理的效率，以及提高语音情感的识别准确率。

技术特征：

1.一种基于人工智能的情感识别方法，其特征在于，包括下述步骤：

2.根据权利要求1所述的基于人工智能的情感识别方法，其特征在于，所述基于所述语音样本数据对所述教师模型进行训练，获取所述教师模型中的联合嵌入与训练输出的步骤，具体包括：

3.根据权利要求1所述的基于人工智能的情感识别方法，其特征在于，所述基于所述训练输出生成与所述教师模型对应的第一损失的步骤，具体包括：

4.根据权利要求3所述的基于人工智能的情感识别方法，其特征在于，所述基于所述训练输出与所述情感标签生成一致性相关系数的步骤，具体包括：

5.根据权利要求1所述的基于人工智能的情感识别方法，其特征在于，所述基于所述语音样本数据对所述学生模型进行训练，获取所述学生模型中的指定语音嵌入的步骤，具体包括：

6.根据权利要求1所述的基于人工智能的情感识别方法，其特征在于，所述基于所述第一损失与所述第二损失生成综合损失的步骤，具体包括：

7.根据权利要求1所述的基于人工智能的情感识别方法，其特征在于，在所述基于所述综合损失对所述学生模型进行优化处理，得到对应的目标情感识别模型的步骤之后，还包括：

8.一种基于人工智能的情感识别装置，其特征在于，包括：

9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的基于人工智能的情感识别方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的基于人工智能的情感识别方法的步骤。

技术总结
本申请属于人工智能领域与金融科技领域，涉及一种基于人工智能的情感识别方法，包括：调用教师模型与学生模型；基于获取的语音样本数据对教师模型进行训练，获取联合嵌入与训练输出，并基于训练输出生成教师模型的第一损失；基于语音样本数据对学生模型进行训练，获取指定语音嵌入；基于联合嵌入与语音嵌入生成学生模型的第二损失；基于第一损失与第二损失生成综合损失；基于综合损失对学生模型进行优化得到目标情感识别模型；基于目标情感识别模型对目标语音数据进行情感识别处理。本申请还提供一种基于人工智能的情感识别装置、计算机设备及存储介质。此外，情感识别结果可存储于区块链中。本申请能有效提高语音情感识别处理的效率与准确率。

技术研发人员：张旭龙,王健宗,程宁,孙一夫
受保护的技术使用者：平安科技（深圳）有限公司
技术研发日：
技术公布日：2024/12/5