过滤流数据识别方法、设备、存储介质及计算机程序产品与流程
本申请涉及数据处理，尤其涉及过滤流数据识别方法、设备、存储介质及计算机程序产品。
背景技术：
1、对系统进行实时流数据的测试在软件开发和运维过程中具有极其重要的意义，实时流数据测试过程中会出现数据被过滤的情况。通过区分被过滤的数据可以验证系统行为，揭示系统中可能存在的问题。但在现有实时流数据测试过程中，难以区分被过滤的数据是由于程序异常被过滤还是由于正常的业务逻辑被过滤。
2、因此，如何对流数据处理异常中产生的过滤流数据进行识别，成为本申请亟须解决的问题。
3、上述内容仅用于辅助理解本申请的技术方案，并不代表承认上述内容是现有技术。
技术实现思路
1、本申请的主要目的在于提供一种过滤流数据识别方法、设备、存储介质及计算机程序产品，旨在解决如何对流数据处理异常中产生的过滤流数据进行识别的技术问题。
2、为实现上述目的，本申请提出一种过滤流数据识别方法，所述方法包括：
3、通过运行测试案例的流数据获取待分析日志信息和所述待分析日志信息对应的最大步骤标识；
4、根据所述最大步骤标识遍历所述待分析日志信息，通过预设语句关键字识别异常日志，得到第一异常日志报错信息；
5、根据所述第一异常日志报错信息，调用人工智能接口中的报错信息识别预测模型对所述待分析日志信息进行识别预测，得到第二异常日志报错信息；
6、将所述第一异常日志报错信息和所述第二异常日志报错信息整合为流数据识别结果。
7、在一实施例中，所述通过运行测试案例的流数据获取待分析日志信息和所述待分析日志信息对应的最大步骤标识的步骤包括：
8、根据运行测试案例中的流数据确定日志信息识别主键和日志信息查找时间范围；
9、基于所述日志信息识别主键和所述日志信息查找时间范围得到待分析日志信息和所述待分析日志信息对应的最大步骤标识。
10、在一实施例中，所述根据所述第一异常日志报错信息，调用人工智能接口中的报错信息识别预测模型对所述待分析日志信息进行识别预测，得到第二异常日志报错信息的步骤之前还包括：
11、获取样本测试数据和基础模型框架；
12、根据所述样本测试数据对所述基础模型框架进行训练，得到报错信息识别预测模型；
13、根据所述报错信息识别预测模型定义人工智能接口。
14、在一实施例中，所述根据所述最大步骤标识遍历所述待分析日志信息，通过预设语句关键字识别异常日志，得到第一异常日志报错信息的步骤包括：
15、将所述待分析日志信息的步骤标识进行初始化处理，得到初始化步骤标识；
16、当所述初始化步骤标识小于所述最大步骤标识时，根据预设语句关键字识别所述待分析日志信息中的异常日志，得到第一异常日志报错信息。
17、在一实施例中，所述根据所述第一异常日志报错信息，调用人工智能接口中的报错信息识别预测模型对所述待分析日志信息进行识别预测，得到第二异常日志报错信息的步骤包括：
18、当所述第一异常日志报错信息为未识别出异常日志时，调用人工智能接口中的报错信息识别预测模型识别所述待分析日志信息中的报错信息；
19、根据所述报错信息识别预测模型对所述报错信息是否存在缺陷进行预测，得到预测信息；
20、将所述报错信息和所述预测信息整合后得到第二异常日志报错信息。
21、在一实施例中，所述将所述报错信息和所述预测信息整合后得到第二异常日志报错信息的步骤之后还包括：
22、将所述初始化步骤标识进行递增处理，返回执行步骤：当所述初始化步骤标识小于所述最大步骤标识时，根据预设语句关键字识别所述待分析日志信息中的异常日志，得到第一异常日志报错信息。
23、在一实施例中，所述将所述第一异常日志报错信息和所述第二异常日志报错信息整合为流数据识别结果的步骤包括：
24、将所述第一异常日志报错信息和所述第二异常日志报错信息以轻量级数据交换格式进行记录，得到初步处理结果；
25、基于对所述初步处理结果中的异常日志文件进行汇总分析，得到流数据识别结果。
26、此外，为实现上述目的，本申请还提出一种过滤流数据识别设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如上文所述的过滤流数据识别方法的步骤。
27、此外，为实现上述目的，本申请还提出一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上文所述的过滤流数据识别方法的步骤。
28、此外，为实现上述目的，本申请还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如上文所述的过滤流数据识别方法的步骤。
29、本申请提出的一个或多个技术方案，至少具有以下技术效果：
30、通过运行测试案例的流数据来获取待分析日志信息和待分析日志信息对应的最大步骤标识，根据最大步骤标识确定遍历待分析日志信息加工步骤的次数，基于预设的语句关键字识别待分析日志信息的异常日志，得到第一异常日志报错信息。根据第一异常日志报错信息调用预先封装的人工智能接口中的报错信息识别预测模型对待分析日志信息进行进一步的识别预测，得到第二异常日志报错信息，将异常日志报错信息整合为流数据识别结果，根据流数据识别结果中记录的因程序异常导致的异常日志对流数据处理异常中产生过滤流数据的原因进行识别。
技术特征：
1.一种过滤流数据识别方法，其特征在于，所述方法包括：
2.如权利要求1所述的方法，其特征在于，所述通过运行测试案例的流数据获取待分析日志信息和所述待分析日志信息对应的最大步骤标识的步骤包括：
3.如权利要求1所述的方法，其特征在于，所述根据所述第一异常日志报错信息，调用人工智能接口中的报错信息识别预测模型对所述待分析日志信息进行识别预测，得到第二异常日志报错信息的步骤之前还包括：
4.如权利要求1所述的方法，其特征在于，所述根据所述最大步骤标识遍历所述待分析日志信息，通过预设语句关键字识别异常日志，得到第一异常日志报错信息的步骤包括：
5.如权利要求4所述的方法，其特征在于，所述根据所述第一异常日志报错信息，调用人工智能接口中的报错信息识别预测模型对所述待分析日志信息进行识别预测，得到第二异常日志报错信息的步骤包括：
6.如权利要求5所述的方法，其特征在于，所述将所述报错信息和所述预测信息整合后得到第二异常日志报错信息的步骤之后还包括：
7.如权利要求1所述的方法，其特征在于，所述将所述第一异常日志报错信息和所述第二异常日志报错信息整合为流数据识别结果的步骤包括：
8.一种过滤流数据识别设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如权利要求1至7中任一项所述的过滤流数据识别方法的步骤。
9.一种存储介质，其特征在于，所述存储介质为计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的过滤流数据识别方法的步骤。
10.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的过滤流数据识别方法的步骤。
技术总结
本申请公开了一种过滤流数据识别方法、设备、存储介质及计算机程序产品，涉及数据处理技术领域，所述方法包括：通过运行测试案例的流数据获取待分析日志信息和所述待分析日志信息对应的最大步骤标识；根据所述最大步骤标识遍历所述待分析日志信息，通过预设语句关键字识别异常日志，得到第一异常日志报错信息；根据所述第一异常日志报错信息，调用人工智能接口中的报错信息识别预测模型对所述待分析日志信息进行识别预测，得到第二异常日志报错信息；将所述第一异常日志报错信息和所述第二异常日志报错信息整合为流数据识别结果。根据流数据识别结果中记录的因程序异常导致的异常日志可以对流数据处理异常中产生过滤流数据的原因进行精准识别。
技术研发人员：关旋
受保护的技术使用者：招商银行股份有限公司
技术研发日：
技术公布日：2024/12/5