本发明涉及自然语言处理,具体涉及问答方法、系统、计算机设备、存储介质及程序产品。
背景技术:
1、问答系统(question answering system,简称:qa)是一种高级的信息检索工具,它能够以清晰和精确的自然语言形式,回答用户用自然语言提出的问题。通常情况下,往往使用开放域问答系统,以处理各个领域的问题。
2、相关技术中,开放域问答系统通过两个步骤来给出用户提出的问题的答案。其中,第一个步骤为文本检索,第二个步骤为阅读理解。通过文本检索从开放域的知识库中筛选出与问题最相关的文档,通过阅读理解从与问题最相关的文档中找到具体答案。其中,上述两个步骤串联起来构成一个问题处理流水线(pipeline)。
3、然而,相关技术中针对所有问答应用场景,都采用上述问题处理流水线进行处理,导致获得的答案的精确度较低。
技术实现思路
1、有鉴于此,本发明提供了一种问答方法、系统、计算机设备、存储介质及程序产品,以解决针对所有问答应用场景,采用单一问题处理流水线进行处理,导致获得的答案的精确度较低的问题。
2、第一方面,本发明提供了一种问答方法,所述方法包括:
3、接收用户输入的参数信息,其中,所述参数信息包括问题信息和问题处理流水线信息,用户根据预设的问答应用场景与问题处理流水线的对应关系确定问题处理流水线信息,每个问答应用场景对应一个问题处理流水线;
4、基于所述问题处理流水线信息,确定待调用问题处理流水线;
5、基于所述待调用问题处理流水线,确定待调用问题处理模型和待调用问题处理模型的调用顺序;
6、基于所述待调用问题处理模型的调用顺序,将所述问题信息输入所述待调用问题处理模型,获得所述问题信息对应的答案,并返回所述答案。
7、本实施例提供的问答方法,通过根据用户输入的参数信息,确定问题处理流水线信息,根据问题处理流水线信息,确定待调用问题处理流水线,基于待调用问题处理流水线,确定待调用问题处理模型和待调用问题处理模型的调用顺序,基于待调用问题处理模型的调用顺序,将问题信息输入待调用问题处理模型,获得问题信息对应的答案,并返回答案。通过根据不同的问答应用场景确定不同的问题处理流水线,利用不同的问题处理流水线进行问题处理,使得获得的问题信息对应的答案的精确度较高,提高了获得的答案的精确度。
8、在一种可选的实施方式中,在基于所述待调用问题处理模型的调用顺序,将所述问题信息输入所述待调用问题处理模型之前,所述方法还包括:
9、基于所述待调用问题处理模型的调用顺序,确定首个待调用问题处理模型;
10、对所述问题信息进行正则化处理,以获得符合所述首个待调用问题处理模型的输入要求的问题信息。
11、本实施例提供的问答方法,通过对问题信息进行正则化处理,以获得符合首个待调用问题处理模型的输入要求的问题信息,消除了问题信息中的噪声,提高问题处理的准确性。
12、在一种可选的实施方式中,所述参数信息还包括答案精度要求;在基于所述待调用问题处理模型的调用顺序,将所述问题信息输入所述待调用问题处理模型之前,所述方法还包括:
13、基于所述答案精度要求,对所述待调用问题处理模型进行模型设置,所述答案精度要求包括返回的段落个数或答案条目个数。
14、本实施例提供的问答方法,通过基于答案精度要求,对待调用问题处理模型进行模型设置,使得获得的答案更好地满足用户的特定需求,提高用户满意度。
15、在一种可选的实施方式中,每个问题处理流水线对应唯一的问题处理流水线标识,所述问题处理流水线信息包括待调用问题处理流水线标识,所述基于所述待调用问题处理模型的调用顺序,将所述问题信息输入所述待调用问题处理模型,获得所述问题信息对应的答案,包括:
16、在所述待调用问题处理流水线标识为第一标识的情况下,确定当前问答应用场景为事实陈述类应用场景,将所述问题信息输入稀疏检索模型,获得从开放域的知识库中召回的第一目标段落;
17、将从开放域的知识库中召回的第一目标段落输入到精排模型中进行重排序,获得重排序后的第一目标段落;
18、将所述重排序后的第一目标段落输入到阅读理解模型进行答案抽取,获得所述问题信息对应的答案;
19、其中,所述待调用问题处理模型包括稀疏检索模型、精排模型和阅读理解模型。
20、本实施例提供的问答方法,通过在待调用问题处理流水线标识为第一标识的情况下,确定当前问答应用场景为事实陈述类应用场景,在事实陈述类应用场景下,通过稀疏检索模型从开放域的知识库中召回目标段落,再经过精排模型进行重排序,最后由阅读理解模型抽取答案,根据问答应用场景利用对应的问题处理流水线获取问题对应的答案,提高了获得的答案的精确性。
21、在一种可选的实施方式中,每个问题处理流水线对应唯一的问题处理流水线标识,所述问题处理流水线信息包括待调用问题处理流水线标识,所述基于所述待调用问题处理模型的调用顺序,将所述问题信息输入所述待调用问题处理模型,获得所述问题信息对应的答案,包括:
22、在所述待调用问题处理流水线标识为第二标识的情况下,确定当前问答应用场景为事实推理类应用场景,将所述问题信息和开放域的知识库输入稠密检索的双塔模型,获得编码后的问题信息和编码后的开放域的知识库;
23、确定所述编码后的问题信息与所述编码后的开放域的知识库的相似度信息;
24、基于所述相似度信息,从所述开放域的知识库中召回第二目标段落;
25、将所述第二目标段落输入到精排模型中进行重排序,获得重排序后的第二目标段落;
26、将所述重排序后的第二目标段落输入到阅读理解模型进行答案抽取,获得所述问题信息对应的答案;
27、其中,所述待调用问题处理模型包括稠密检索的双塔模型、精排模型和阅读理解模型。
28、本实施例提供的问答方法,通过在待调用问题处理流水线标识为第二标识的情况下,确定当前问答应用场景为事实推理类应用场景,在事实推理类应用场景下,通过稠密检索的双塔模型获得编码后的问题信息和编码后的开放域的知识库,进而获得目标段落,再经过精排模型进行重排序,最后由阅读理解模型抽取答案,根据问答应用场景利用对应的问题处理流水线获取问题对应的答案,提高了获得的答案的精确性。
29、在一种可选的实施方式中,每个问题处理流水线对应唯一的问题处理流水线标识,所述问题处理流水线信息包括待调用问题处理流水线标识,所述基于所述待调用问题处理模型的调用顺序,将所述问题信息输入所述待调用问题处理模型,获得所述问题信息对应的答案,包括:
30、在所述待调用问题处理流水线标识为第三标识的情况下,确定当前问答应用场景为解决方案类应用场景,将所述问题信息输入稀疏检索模型进行标题检索,获得从开放域的知识库中召回的第三目标段落;
31、将所述问题信息输入稠密检索的双塔模型,获得编码后的问题信息和编码后的开放域的知识库;
32、确定所述编码后的问题信息与所述编码后的开放域的知识库的相似度信息;
33、基于所述相似度信息,从所述开放域的知识库中召回第四目标段落;
34、对所述第三目标段落和第四目标段落进行合并处理,获得第五目标段落;
35、将所述第五目标段落输入到精排模型中进行重排序,获得重排序后的第五目标段落;
36、将所述重排序后的第五目标段落输入到阅读理解模型进行答案抽取,获得所述问题信息对应的答案;
37、其中,所述待调用问题处理模型包括稀疏检索模型、稠密检索的双塔模型、精排模型和阅读理解模型。
38、本实施例提供的问答方法,通过在待调用问题处理流水线标识为第三标识的情况下,确定当前问答应用场景为解决方案类应用场景,在解决方案类应用场景下,通过稀疏检索模型进行标题检索获得第三目标段落,通过稠密检索的双塔模型获得编码后的问题信息和编码后的开放域的知识库,进而获得第四目标段落,对第三目标段落和第四目标段落进行合并处理,获得第五目标段落,再经过精排模型进行重排序,最后由阅读理解模型抽取答案,根据问答应用场景利用对应的问题处理流水线获取问题对应的答案,提高了获得的答案的精确性。
39、在一种可选的实施方式中,每个问题处理流水线对应唯一的问题处理流水线标识,所述问题处理流水线信息包括待调用问题处理流水线标识,所述基于所述待调用问题处理模型的调用顺序,将所述问题信息输入所述待调用问题处理模型,获得所述问题信息对应的答案,包括:
40、在所述待调用问题处理流水线标识为第四标识的情况下,确定当前问答应用场景为特征描述类应用场景,将所述问题信息输入稀疏检索模型进行标题检索,获得从开放域的知识库中召回的第六目标段落;
41、将所述问题信息输入稠密检索的双塔模型,获得编码后的问题信息和编码后的开放域的知识库;
42、确定所述编码后的问题信息与所述编码后的开放域的知识库的相似度信息;
43、基于所述相似度信息,从所述开放域的知识库中召回第七目标段落;
44、对所述第六目标段落和第七目标段落进行合并处理,获得第八目标段落;
45、将所述第八目标段落输入到阅读理解模型进行答案抽取,获得多个答案条目;
46、将所述多个答案条目输入到精排模型中进行重排序,获得所述问题信息对应的答案;
47、其中,所述待调用问题处理模型包括稀疏检索模型、稠密检索的双塔模型、阅读理解模型和精排模型。
48、本实施例提供的问答方法,通过在待调用问题处理流水线标识为第四标识的情况下,确定当前问答应用场景为特征描述类应用场景,在特征描述类应用场景下,通过稀疏检索模型进行标题检索获得第六目标段落,通过稠密检索的双塔模型获得编码后的问题信息和编码后的开放域的知识库,进而获得第七目标段落,对第六目标段落和第七目标段落进行合并处理,获得第八目标段落,在经过阅读理解模型进行答案抽取,最后由精排模型进行重排序,获得答案,根据问答应用场景利用对应的问题处理流水线获取问题对应的答案,提高了获得的答案的精确性。
49、在一种可选的实施方式中,每个问题处理流水线对应唯一的问题处理流水线标识,所述问题处理流水线信息包括待调用问题处理流水线标识,所述基于所述待调用问题处理模型的调用顺序,将所述问题信息输入所述待调用问题处理模型,获得所述问题信息对应的答案,包括:
50、在所述待调用问题处理流水线标识为第五标识的情况下,确定当前问答应用场景为闲聊对话类应用场景,将所述问题信息输入预训练的语言模型中,获得所述问题信息对应的答案;
51、其中,所述预训练的语言模型的输出文本受到预设控制参数的控制。
52、本实施例提供的问答方法,通过在待调用问题处理流水线标识为第五标识的情况下,确定当前问答应用场景为闲聊对话类应用场景,在闲聊对话类应用场景下,通过预训练的语言模型获得问题信息对应的答案,该预训练的语言模型的输出文本受到预设控制参数的控制,根据问答应用场景利用对应的问题处理流水线获取问题对应的答案,提高了获得的答案的精确性。
53、在一种可选的实施方式中,每个问题处理流水线对应唯一的问题处理流水线标识,所述问题处理流水线信息包括待调用问题处理流水线标识,所述基于所述待调用问题处理模型的调用顺序,将所述问题信息输入所述待调用问题处理模型,获得所述问题信息对应的答案,包括:
54、在所述待调用问题处理流水线标识为第六标识的情况下,确定当前问答应用场景为咨询预测类应用场景,将所述问题信息输入稀疏检索模型进行标题检索,获得从开放域的知识库中召回的第九目标段落;
55、将所述问题信息输入稠密检索的双塔模型,获得编码后的问题信息和编码后的开放域的知识库;
56、确定所述编码后的问题信息与所述编码后的开放域的知识库的相似度信息;
57、基于所述相似度信息,从所述开放域的知识库中召回第十目标段落;
58、对所述第九目标段落和第十目标段落进行合并处理,获得第十一目标段落;
59、对所述第十一目标段落和所述问题信息进行拼接处理,获得拼接结果;
60、将所述拼接结果输入到预训练的语言模型中,获得所述问题信息对应的答案;
61、其中,所述预训练的语言模型的输出文本受到预设控制参数的控制。
62、本实施例提供的问答方法,通过在待调用问题处理流水线标识为第六标识的情况下,确定当前问答应用场景为咨询预测类应用场景,在咨询预测类应用场景下,通过稀疏检索模型进行标题检索获得第九目标段落,通过稠密检索的双塔模型获得编码后的问题信息和编码后的开放域的知识库,进而获得第十目标段落,对第九目标段落和第十目标段落进行合并处理,获得第十一目标段落,对第十一目标段落和问题信息进行拼接处理,获得拼接结果,经过预训练的语言模型获得问题信息对应的答案,根据问答应用场景利用对应的问题处理流水线获取问题对应的答案,提高了获得的答案的精确性。
63、在一种可选的实施方式中,每个问题处理流水线对应唯一的问题处理流水线标识,所述基于所述问题处理流水线信息,确定待调用问题处理流水线,包括:
64、在所述待调用问题处理流水线标识为预设标识的情况下,获取历史对话;
65、将所述历史对话和所述问题信息输入意图识别模型,获得待调用问题处理流水线标识;
66、基于所述待调用问题处理流水线标识,确定待调用问题处理流水线。
67、本实施例提供的问答方法,通过在用户无法判断出问答应用场景的情况下,利用意图识别模型判断问答应用场景,并确定对应的待调用问题处理流水线,提高了获得的答案的精确性。通过将历史对话和问题信息输入意图识别模型,获得待调用问题处理流水线标识,保证了意图识别的准确性,进而确保了待调用问题处理流水线的准确性,提高了用户体验。
68、在一种可选的实施方式中,生成所述意图识别模型,包括:
69、收集不同问答应用场景的问答数据集,并对所述问答数据集中的问答数据进行问题处理流水线标注;
70、基于所述问答数据集,对预训练的分类模型进行调整,获得所述意图识别模型。
71、本实施例提供的问答方法,通过使用经过标注的真实数据集对预训练的分类模型进行微调,可以显著提高意图识别模型在特定应用场景中的意图识别准确性,进而使得确定出的待调用问题处理流水线更加准确,提高获得的答案的精确度。
72、在一种可选的实施方式中,所述方法还包括:
73、响应于新的问答应用场景与问题处理流水线的设置请求,获得新的问答应用场景和新的问题处理流水线;
74、保存所述新的问题处理流水线,并更新预设的问答应用场景与问题处理流水线的对应关系。
75、本实施例提供的问答方法,通过添加新的问答应用场景和对应的问题处理流水线,系统可以灵活地应对新出现的问答应用场景,提高了系统的灵活性、扩展性和可靠性。
76、第二方面,本发明提供了一种问答系统,用于执行上述第一方面或其对应的任一实施方式的问答方法。
77、第三方面,本发明提供了一种计算机设备,包括:存储器和处理器,存储器和处理器之间互相通信连接,存储器中存储有计算机指令,处理器通过执行计算机指令,从而执行上述第一方面或其对应的任一实施方式的问答方法。
78、第四方面,本发明提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机指令,计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的问答方法。
79、第五方面,本发明提供了一种计算机程序产品,包括计算机指令,计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的问答方法。
1.一种问答方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,在基于所述待调用问题处理模型的调用顺序,将所述问题信息输入所述待调用问题处理模型之前,所述方法还包括:
3.根据权利要求1所述的方法,其特征在于,所述参数信息还包括答案精度要求;在基于所述待调用问题处理模型的调用顺序,将所述问题信息输入所述待调用问题处理模型之前,所述方法还包括:
4.根据权利要求1所述的方法,其特征在于,每个问题处理流水线对应唯一的问题处理流水线标识,所述问题处理流水线信息包括待调用问题处理流水线标识,所述基于所述待调用问题处理模型的调用顺序,将所述问题信息输入所述待调用问题处理模型,获得所述问题信息对应的答案,包括:
5.根据权利要求1所述的方法,其特征在于,每个问题处理流水线对应唯一的问题处理流水线标识,所述问题处理流水线信息包括待调用问题处理流水线标识,所述基于所述待调用问题处理模型的调用顺序,将所述问题信息输入所述待调用问题处理模型,获得所述问题信息对应的答案,包括:
6.根据权利要求1所述的方法,其特征在于,每个问题处理流水线对应唯一的问题处理流水线标识,所述问题处理流水线信息包括待调用问题处理流水线标识,所述基于所述待调用问题处理模型的调用顺序,将所述问题信息输入所述待调用问题处理模型,获得所述问题信息对应的答案,包括:
7.根据权利要求1所述的方法,其特征在于,每个问题处理流水线对应唯一的问题处理流水线标识,所述问题处理流水线信息包括待调用问题处理流水线标识,所述基于所述待调用问题处理模型的调用顺序,将所述问题信息输入所述待调用问题处理模型,获得所述问题信息对应的答案,包括:
8.根据权利要求1所述的方法,其特征在于,每个问题处理流水线对应唯一的问题处理流水线标识,所述问题处理流水线信息包括待调用问题处理流水线标识,所述基于所述待调用问题处理模型的调用顺序,将所述问题信息输入所述待调用问题处理模型,获得所述问题信息对应的答案,包括:
9.根据权利要求1所述的方法,其特征在于,每个问题处理流水线对应唯一的问题处理流水线标识,所述问题处理流水线信息包括待调用问题处理流水线标识,所述基于所述待调用问题处理模型的调用顺序,将所述问题信息输入所述待调用问题处理模型,获得所述问题信息对应的答案,包括:
10.根据权利要求1所述的方法,其特征在于,每个问题处理流水线对应唯一的问题处理流水线标识,所述基于所述问题处理流水线信息,确定待调用问题处理流水线,包括:
11.根据权利要求10所述的方法,其特征在于,生成所述意图识别模型,包括:
12.根据权利要求1所述的方法,其特征在于,所述方法还包括:
13.一种问答系统,其特征在于,所述系统用于执行权利要求1至12中任一项所述的问答方法。
14.一种计算机设备,其特征在于,包括:
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机指令,所述计算机指令用于使计算机执行权利要求1至12中任一项所述的问答方法。
16.一种计算机程序产品,其特征在于,包括计算机指令,所述计算机指令用于使计算机执行权利要求1至12中任一项所述的问答方法。