一种字符级对抗样本生成方法、装置、设备及存储介质与流程

本申请涉及文本分类，尤其涉及一种字符级对抗样本生成方法、装置、设备及存储介质。

背景技术：

1、随着人工智能技术的快速发展，深度学习在文本分类、语音识别等领域的应用日益广泛。然而，这些技术在带来便利的同时，也面临着新的挑战，其中之一便是对抗样本的攻击。对抗样本是指通过在输入数据中添加精心设计的微小扰动，使得原本准确的模型产生错误的判断。这种攻击手段对模型的安全性和可靠性构成了严重威胁。

2、在客服对话文本分类的场景中，用户的口音差异，尤其是方言与普通话之间的差异，可能会对自动语音识别(asr)系统造成影响。例如，粤语和普通话在多音字的发音上存在明显差异，这可能导致asr系统识别错误，进而影响文本分类的准确性。以下是一些具体的发音差异示例：

3、"精"：粤语中根据语境可能读作zing(文读)或zeng(白读)，而普通话通常读作jing。

4、"争"：粤语中可能读作zang(文读)或zaang(白读)，普通话则读作zheng。

5、"生"：粤语中文读为sang，白读为saang，普通话统一读作sheng。

6、"更"：粤语中文读为gang，白读为gaang，普通话统一读作geng。

7、这些发音上的差异，如果不加以处理，可能会被恶意利用来生成对抗样本，从而攻击文本分类模型。因此，研究如何生成有效的对抗样本，并利用这些样本来检测和提升模型的鲁棒性，具有重要的实际意义。

技术实现思路

1、本申请提供了一种字符级对抗样本生成方法、装置、设备及存储介质，解决了在客服对话文本分类的场景中，用户的口音差异，尤其是方言与普通话之间的差异，可能会对asr系统造成影响，发音上的差异可能会被恶意利用来生成对抗样本，从而攻击文本分类模型的技术问题。

2、有鉴于此，本申请第一方面提供了一种字符级对抗样本生成方法，所述方法包括：

3、步骤s1、构建字符级的多音字字典，所述多音字字典中包含若干个目标文字的目标发音，以及所述目标发音对应的语境信息和使用频率信息；

4、步骤s2、获取目标对话文本，并对所述目标对话文本依次进行分词以及特征提取，得到所述目标对话文本的关键字或关键词；

5、步骤s3、基于所述多音字字典对所述关键字或关键词进行替换处理，确定替换字或替换词；

6、步骤s4、基于大型预训练语言模型对所述目标对话文本进行语义改写，得到改写对话文本；

7、步骤s5、结合所述改写对话文本以及所述替换字或替换词，生成所述目标对话文本的对抗样本。

8、可选地，所述步骤s5之后还包括：

9、步骤s6、将所述对抗样本输入至目标文本分类模型中进行文本分类，得到所述对抗样本在各个预设分类上的概率结果；

10、步骤s7、根据所述概率结果对所述多音字字典以及所述大型预训练语言模型进行优化。

11、可选地，所述步骤s7具体包括：

12、根据所述概率结果对所述多音字字典中包含的所述替换字或替换词的目标发音对应的语境信息和使用频率信息进行调整；

13、根据所述概率结果，通过机器学习技术对所述大型预训练语言模型进行参数优化。

14、可选地，所述目标文本分类模型具体为bert-cnn模型。

15、可选地，所述步骤s2具体包括：

16、获取目标对话文本；

17、基于深度学习的分词模型或tokenize法对所述目标对话文本进行分词处理；

18、通过tf-idf或word2vec识别分词后的所述目标对话文本中的关键字或关键词。

19、本申请第二方面提供一种字符级对抗样本生成装置，所述装置包括：

20、字典构建单元，用于构建字符级的多音字字典，所述多音字字典中包含若干个目标文字的目标发音，以及所述目标发音对应的语境信息和使用频率信息；

21、文本预处理单元，用于获取目标对话文本，并对所述目标对话文本依次进行分词以及特征提取，得到所述目标对话文本的关键字或关键词；

22、第一处理单元，用于基于所述多音字字典对所述关键字或关键词进行替换处理，确定替换字或替换词；

23、第二处理单元，用于基于大型预训练语言模型对所述目标对话文本进行语义改写，得到改写对话文本；

24、生成单元，用于结合所述改写对话文本以及所述替换字或替换词，生成所述目标对话文本的对抗样本。

25、可选地，还包括：

26、分类单元，用于将所述对抗样本输入至目标文本分类模型中进行文本分类，得到所述对抗样本在各个预设分类上的概率结果；

27、优化单元，用于根据所述概率结果对所述多音字字典以及所述大型预训练语言模型进行优化。

28、可选地，所述优化单元具体用于：

29、根据所述概率结果对所述多音字字典中包含的所述替换字或替换词的目标发音对应的语境信息和使用频率信息进行调整；

30、根据所述概率结果，通过机器学习技术对所述大型预训练语言模型进行参数优化。

31、可选地，所述目标文本分类模型具体为bert-cnn模型。

32、可选地，所述文本预处理单元，具体用于：

33、获取目标对话文本；

34、基于深度学习的分词模型或tokenize法对所述目标对话文本进行分词处理；

35、通过tf-idf或word2vec识别分词后的所述目标对话文本中的关键字或关键词。

36、本申请第三方面提供一种字符级对抗样本生成设备，所述设备包括处理器以及存储器：

37、所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

38、所述处理器用于根据所述程序代码中的指令，执行如上述第一方面所述的字符级对抗样本生成的方法的步骤。

39、本申请第四方面提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述第一方面所述的方法。

40、从以上技术方案可以看出，本申请实施例具有以下优点：

41、本申请中，提供了一种字符级对抗样本生成方法、装置、设备及存储介质，通过构建的字符级多音字字典，结合大型预训练语言模型，对获取的目标对话文本分别进行关键字或关键词的多音字替换以及语义改写，使得在不改变原始语义的前提下，有效检测和提升文本分类模型的鲁棒性，同时由于多音字替换的扰动不大，可以生成质量较高的对抗样本，解决了在客服对话文本分类的场景中，用户的口音差异，尤其是方言与普通话之间的差异，可能会对asr系统造成影响，发音上的差异可能会被恶意利用来生成对抗样本，从而攻击文本分类模型的技术问题。

技术特征：

1.一种字符级对抗样本生成方法，其特征在于，包括：

2.根据权利要求1所述的字符级对抗样本生成方法，其特征在于，所述步骤s5之后还包括：

3.根据权利要求2所述的字符级对抗样本生成方法，其特征在于，所述步骤s7具体包括：

4.根据权利要求2所述的字符级对抗样本生成方法，其特征在于，所述目标文本分类模型具体为bert-cnn模型。

5.根据权利要求1所述的字符级对抗样本生成方法，其特征在于，所述步骤s2具体包括：

6.根据权利要求4所述的字符级对抗样本生成方法，其特征在于，所述步骤s6之前还包括：

7.根据权利要求6所述的字符级对抗样本生成方法，其特征在于，所述概率结果具体为：

8.一种字符级对抗样本生成装置，其特征在于，包括：

9.一种字符级对抗样本生成设备，其特征在于，所述设备包括处理器以及存储器：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-5任一项所述的字符级对抗样本生成方法。

技术总结
本申请公开了一种字符级对抗样本生成方法、装置、设备及存储介质，通过构建的字符级多音字字典，结合大型预训练语言模型，对获取的目标对话文本分别进行关键字或关键词的多音字替换以及语义改写，使得在不改变原始语义的前提下，有效检测和提升文本分类模型的鲁棒性，同时由于多音字替换的扰动不大，可以生成质量较高的对抗样本，解决了在客服对话文本分类的场景中，用户的口音差异，尤其是方言与普通话之间的差异，可能会对ASR系统造成影响，发音上的差异可能会被恶意利用来生成对抗样本，从而攻击文本分类模型的技术问题。

技术研发人员：袁美璐
受保护的技术使用者：中国平安财产保险股份有限公司
技术研发日：
技术公布日：2024/12/5