模型训练方法、文本匹配方法、相应装置、设备及介质与流程

本公开涉及计算机，尤其涉及一种文本匹配模型的训练方法、文本匹配方法、训练装置、文本匹配装置、电子设备及介质。

背景技术：

1、文本匹配作为自然语言处理领域中的基础工作，是判断文本对语义是否相似的技术，广泛应用于搜索引擎系统、问答系统以及推荐系统等场景。其中，句子级文本匹配作为当前工业级问答系统的核心技术，其应用范围包括但不限于开放域知识问答、智能客服、以及金融和医疗等专业领域问答，其匹配准确度影响用户使用体验和产品质量。

2、近年来，句子级文本匹配任务的常用方法为基于深度学习的方法。其中，深度学习模型多采用卷积神经网络、循环神经网络等构造模型的子模块。然而，受制于训练样本数量或训练样本所属场景的限制，训练得到的深度学习模型仍不能够充分理解句子的语义，导致文本匹配的准确度较低，影响用户使用体验和产品质量。

技术实现思路

1、为克服相关技术中存在的问题，本公开提供一种文本匹配模型的训练方法、文本匹配方法、训练装置、文本匹配装置、电子设备及介质。

2、根据本公开实施例的第一方面，提供一种文本匹配模型的训练方法，所述训练方法包括：

3、获取多个训练文本对，其中，每一所述训练文本对包括第一训练文本、第二训练文本以及匹配结果，所述第一训练文本包括第一句子、第一关键词信息和第一意图信息，所述第二训练文本包括第二句子、第二关键词信息和第二意图信息，所述匹配结果用于表征所述第一句子和所述第二句子是否匹配；

4、根据所述训练文本对对初始模型进行训练，得到文本匹配模型。

5、可选地，所述初始模型包括预训练语言模型和第一分类器；

6、所述根据所述训练文本对对初始模型进行训练，得到文本匹配模型，包括：

7、针对每一所述训练文本对，对所述训练文本对包括的第一训练文本和第二训练文本进行格式转换，获得符合所述预训练语言模型对应文本格式的目标训练文本；

8、将所述目标训练文本输入所述预训练语言模型，得到所述预训练语言模型输出的目标训练文本特征向量；

9、将所述目标训练文本特征向量输入所述第一分类器，得到所述第一分类器输出的目标训练文本概率分布，所述目标训练文本概率分布能够指示所述第一句子与所述第二句子是否匹配；

10、根据所述目标训练文本概率分布和所述训练文本对包括的匹配结果，对所述初始模型进行训练，得到文本匹配模型。

11、可选地，所述根据所述训练文本对对初始模型进行训练，得到文本匹配模型，还包括：

12、根据所述目标训练文本包括的所述第一关键词信息和所述第二关键词信息生成关键词概率分布，所述关键词概率分布能够指示所述第一关键词信息与所述第二关键词信息是否匹配；以及

13、根据所述目标训练文本包括的所述第一意图信息和所述第二意图信息生成意图概率分布，所述意图概率分布能够指示所述第一意图信息与所述第二意图信息是否匹配；

14、所述根据所述目标训练文本概率分布和所述训练文本对包括的匹配结果，对所述初始模型进行训练，得到文本匹配模型，包括：

15、根据所述目标训练文本概率分布、所述训练文本对包括的匹配结果、所述关键词概率分布和所述意图概率分布，对初始模型进行训练，得到文本匹配模型。

16、可选地，所述初始模型还包括第二分类器和第三分类器；所述根据所述目标训练文本包括的所述第一关键词信息和所述第二关键词信息生成关键词概率分布，包括：

17、根据所述目标训练文本包括的所述第一关键词信息、所述第二关键词信息和所述预训练语言模型，生成所述目标训练文本的关键词特征向量；

18、将所述关键词特征向量输入所述第二分类器，得到所述第二分类器生成的关键词概率分布；

19、所述根据所述目标训练文本包括的所述第一意图信息和所述第二意图信息生成意图概率分布，包括：

20、根据所述目标训练文本包括的所述第一意图信息、所述第二意图信息和所述预训练语言模型，生成所述目标训练文本的意图特征向量；

21、将所述意图特征向量输入所述第三分类器，得到所述第三分类器生成的意图概率分布。

22、可选地，所述根据所述目标训练文本概率分布、所述训练文本对包括的匹配结果、所述关键词概率分布和所述意图概率分布，对初始模型进行训练，得到文本匹配模型，包括：

23、根据所述目标训练文本概率分布和所述训练文本对中包括的匹配结果，确定目标训练文本损失；

24、根据所述关键词概率分布和所述目标训练文本概率分布确定关键词信息分类损失，以及，根据所述意图概率分布和所述目标训练文本概率分布确定意图信息分类损失；

25、根据所述目标训练文本损失、所述关键词信息分类损失和所述意图信息分类损失，对初始模型进行训练，得到文本匹配模型。

26、可选地，所述根据所述关键词概率分布和所述目标训练文本概率分布确定关键词信息分类损失，以及，根据所述意图概率分布和所述目标训练文本概率分布确定意图信息分类损失，包括：

27、将所述关键词概率分布和所述目标训练文本概率分布之间的散度距离确定为关键词信息分类损失，以及，将所述意图概率分布和所述目标训练文本概率分布之间的散度距离确定为意图信息分类损失。

28、可选地，所述根据所述目标训练文本包括的所述第一关键词信息、所述第二关键词信息和所述预训练语言模型，生成所述目标训练文本的关键词特征向量，包括：

29、根据所述目标训练文本中包括的所述第一句子、所述第二句子、所述第一关键词信息和所述第二关键词信息，在所述预训练语言模型中生成关键词掩码结构；

30、根据所述目标训练文本和所述关键词掩码结构生成所述目标训练文本的关键词特征向量；

31、所述根据所述目标训练文本包括的所述第一意图信息、所述第二意图信息和所述预训练语言模型，生成所述目标训练文本的意图特征向量，包括：

32、根据所述目标训练文本中包括的所述第一句子、所述第二句子、所述第一意图信息和所述第二意图信息，在所述预训练语言模型中生成意图掩码结构；

33、根据所述目标训练文本和所述意图掩码结构生成所述目标训练文本的意图特征向量。

34、可选地，所述获取多个训练文本对，包括：

35、获取多个句子对，所述句子对包括第一句子和第二句子；

36、针对每一句子对，从所述第一句子中识别出第一关键词信息和第一意图信息，从所述第二句子中识别出第二关键词信息和第二意图信息，以及，获取所述第一句子和所述第二句子的匹配结果，将所述第一句子、所述第一关键词信息和第一意图信息确定为第一训练文本，将所述第二句子、所述第二关键词和第二意图信息确定为第二训练文本，并将所述第一训练文本、所述第二训练文本和所述匹配结果确定为一组训练文本对。

37、根据本公开实施例的第二方面，提供一种文本匹配方法，所述文本匹配方法包括：

38、获取待匹配文本对，所述待匹配文本对包括第一待匹配句子和第二待匹配句子；

39、根据所述待匹配文本对和预设的文本匹配模型，确定所述第一待匹配句子和所述第二待匹配句子的匹配结果；其中，所述文本匹配模型是根据本公开第一方面中任一项所述的文本匹配模型的训练方法生成的。

40、可选地，所述文本匹配模型包括预训练语言模型和第一分类器；

41、所述根据所述待匹配文本和预设的文本匹配模型，确定所述第一待匹配句子和所述第二待匹配句子的匹配结果，包括：

42、对所述待匹配文本对进行格式转换，获得符合所述预训练语言模型对应文本格式的目标文本；

43、将所述目标文本输入所述预训练语言模型，得到所述预训练语言模型输出的目标文本特征向量；

44、将所述目标文本特征向量输入所述第一分类器，得到所述第一分类器输出的目标文本概率分布，所述目标文本概率分布能够指示所述第一待匹配句子与所述第二待匹配句子是否匹配；

45、根据所述目标文本概率分布，确定所述第一待匹配句子和所述第二待匹配句子的匹配结果。

46、根据本公开实施例的第三方面，提供一种文本匹配模型的训练装置，所述训练装置包括：

47、第一获取模块，被配置为获取多个训练文本对，其中，每一所述训练文本对包括第一训练文本、第二训练文本以及匹配结果，所述第一训练文本包括第一句子、第一关键词信息和第一意图信息，所述第二训练文本包括第二句子、第二关键词信息和第二意图信息，所述匹配结果用于表征所述第一句子和所述第二句子是否匹配；

48、训练模块，被配置为根据所述训练文本对对初始模型进行训练，得到文本匹配模型。

49、根据本公开实施例的第四方面，提供一种文本匹配装置，所述文本匹配装置包括：

50、第二获取模块，被配置为获取待匹配文本对，所述待匹配文本对包括第一待匹配句子和第二待匹配句子；

51、第一确定模块，被配置为根据所述待匹配文本对和预设的文本匹配模型，确定所述第一待匹配句子和所述第二待匹配句子的匹配结果；其中，所述文本匹配模型是根据本公开第一方面中任一项所述的文本匹配模型的训练方法生成的。

52、根据本公开实施例的第五方面，提供一种电子设备，包括：

53、处理器；

54、用于存储处理器可执行指令的存储器；

55、其中，所述处理器被配置为执行本公开第一方面所述的文本匹配模型的训练方法，或者，执行如本公开第二方面所述的文本匹配方法。

56、根据本公开实施例的第六方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开第一方面所提供的文本匹配模型的训练方法的步骤，或者，实现本公开第二方面所提供的文本匹配方法的步骤。

57、本公开的实施例提供的技术方案可以包括以下有益效果：

58、采用上述技术方案，首先，获取多个训练文本对，每一训练文本对包括第一训练文本、第二训练文本以及匹配结果，第一训练文本包括第一句子、第一关键词信息和第一意图信息，第二训练文本包括第二句子、第二关键词信息和第二意图信息，匹配结果用于表征第一句子和第二句子是否匹配；之后，根据训练文本对对初始模型进行训练，得到文本匹配模型。如此，利用已标注出关键词信息和意图信息的训练文本进行训练得到文本匹配模型，在训练文本匹配模型的过程中引入句子的关键词信息和意图信息，使得该文本匹配模型能够避免文本匹配中关键词粒度和意图粒度错误匹配的问题，能够得到较为精准的文本匹配模型，进而基于该文本匹配模型能够准确地识别文本对中的句子是否匹配，提高文本匹配的精准度。

59、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

技术特征：

1.一种文本匹配模型的训练方法，其特征在于，所述训练方法包括：

2.根据权利要求1所述的训练方法，其特征在于，所述初始模型包括预训练语言模型和第一分类器；

3.根据权利要求2所述的训练方法，其特征在于，所述根据所述训练文本对对初始模型进行训练，得到文本匹配模型，还包括：

4.根据权利要求3所述的训练方法，其特征在于，所述初始模型还包括第二分类器和第三分类器；

5.根据权利要求3或4所述的训练方法，其特征在于，所述根据所述目标训练文本概率分布、所述训练文本对包括的匹配结果、所述关键词概率分布和所述意图概率分布，对初始模型进行训练，得到文本匹配模型，包括：

6.根据权利要求5所述的训练方法，其特征在于，所述根据所述关键词概率分布和所述目标训练文本概率分布确定关键词信息分类损失，以及，根据所述意图概率分布和所述目标训练文本概率分布确定意图信息分类损失，包括：

7.根据权利要求4所述的训练方法，其特征在于，所述根据所述目标训练文本包括的所述第一关键词信息、所述第二关键词信息和所述预训练语言模型，生成所述目标训练文本的关键词特征向量，包括：

8.根据权利要求1所述的训练方法，其特征在于，所述获取多个训练文本对，包括：

9.一种文本匹配方法，其特征在于，所述文本匹配方法包括：

10.根据权利要求9所述的文本匹配方法，其特征在于，所述文本匹配模型包括预训练语言模型和第一分类器；

11.一种文本匹配模型的训练装置，其特征在于，所述训练装置包括：

12.一种文本匹配装置，其特征在于，所述文本匹配装置包括：

13.一种电子设备，其特征在于，包括：

14.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该程序指令被处理器执行时实现1-8中任一项所述的文本匹配模型的训练方法的步骤，或者，实现如权利要求9或10所述的文本匹配方法的步骤。

技术总结
本公开涉及一种模型训练方法、文本匹配方法、相应装置、设备及介质。训练方法包括：获取多个训练文本对，每一训练文本对包括第一训练文本、第二训练文本以及匹配结果，第一训练文本包括第一句子、第一关键词信息和第一意图信息，第二训练文本包括第二句子、第二关键词信息和第二意图信息，匹配结果用于表征第一句子和第二句子是否匹配；根据训练文本对对初始模型进行训练，得到文本匹配模型。如此，利用已标注出关键词信息和意图信息的训练文本进行训练得到文本匹配模型，能够得到较为精准的文本匹配模型，进而基于该文本匹配模型能够准确地识别文本对中的句子是否匹配，提高文本匹配的精准度。

技术研发人员：杨芸榕,代文,陈帅
受保护的技术使用者：北京小米移动软件有限公司
技术研发日：
技术公布日：2024/12/5