本申请涉及数据处理,尤其涉及一种数据处理方法、系统、计算机设备和可读存储介质。
背景技术:
1、行内银银合作项目,需要将表内资产按照一定的规则筛选处理后按要求分发给最匹配的合作方,即执行一定的分流规则,根据分流请求将数据分发给对应的合作方(机构)。
2、业务要求能够反馈所有能够通过规则校验的机构,以及不能通过规则校验的所有失败原因,针对分流规则的业务场景,每个合作的机构都要执行一遍分流规则,如图1所示,按照串行的方式执行,先进行分流请求,调取所有数据源并进行数据封装,并判断封装后的数据是否满足每个机构的所有规则,该过程中,每个机构维度都要遍历完所有的规则校验结构,再继续遍历下一个机构规则结构,规则校验循环次数为25*100=2500次,再算上每个参数的平均参数封装消耗以及单个规则校验消耗,单独的分流过程就会产生较长的时间消耗,因此,机构越多,规则越多,每次循环的次数也就越多;会导致响应越来越慢,进而使客户的体验感较差。
技术实现思路
1、有鉴于此,本申请实施例提供一种数据处理方法、系统、计算机设备和可读存储介质,可以有效解决数据处理过程耗时长的问题等。
2、第一方面,本申请实施例提供一种数据处理方法,所述方法包括:
3、响应分流请求,获取多个目标客户的数据源和规则队列;所述规则队列包括每个合作机构的多个准入规则,且所有所述准入规则按照被拒次数进行降序排列;所述数据源包括与每个准入规则对应的数据信息;
4、将多个所述目标客户的数据源与每个所述合作机构的所述准入规则的配置数据进行校验,以判断每个所述目标客户是否符合对应所述合作机构的流入要求。
5、在一些实施例中,所述将多个所述目标客户的数据源与每个所述合作机构的所述准入规则的配置数据进行校验,包括:
6、按照所述规则队列中的排序,将每个所述数据源依次与每个合作机构的所有所述准入规则进行校验,若不符当前合作机构的当前一个准入规则时,直接与下一合作机构的所有所述准入规则进行校验。
7、在一些实施例中,所述规则队列通过预先构建得到,包括:
8、获取多个客户的所述数据源;
9、确定多个合作机构的所有所述准入规则的配置数据;
10、将所有客户的所述数据源与每个所述合作机构的所有所述准入规则的所述配置数据进行校验,以得到每个所述准入规则的被拒次数;
11、按照所述准入规则的所述被拒次数,将所有所述准入规则进行降序排列,得到所述规则队列。
12、在一些实施例中,所述将所有客户的所述数据源与每个所述合作机构的所有所述准入规则的所述配置数据进行校验,以得到每个所述准入规则的被拒次数,包括:
13、依次将每个客户的所述数据源与每个所述合作机构的所有准入规则的配置数据进行校验,当校验失败时,统计每个所述合作机构下每个所述准入规则的被拒次数;
14、对所有所述合作机构下每个所述准入规则的被拒次数进行累加,得到每个所述准入规则的被拒次数。
15、在一些实施例中,采用并行调用的方式获取多个所述目标客户的数据源,并对获取的所有所述数据源进行数据封装得到数据集合,并将所述数据集合依次与每个所述合作机构的所有所述准入规则的配置数据进行校验。
16、在一些实施例中,多个所述目标客户的数据源根据设定要求被存储于缓存和/或数据库中;
17、当所述目标客户的数据源存储于所述缓存中时,直接调用所述缓存中的所述目标客户的数据源;
18、当所述目标客户的数据源存储于所述数据库中时,通过读取所述数据库以调用所述目标客户的数据源。
19、在一些实施例中,将每个所述目标客户的所述数据源与每个所述合作机构的所述准入规则的配置数据进行校验,包括:
20、按照所述规则队列中准入规则的顺序,先将目标客户的数据源与合作机构的第一个准入规则的配置数据进行校验;
21、若校验成功,循环执行所述规则队列中下一个所述准入规则的配置数据进行校验,直至所有所述准入规则校验成功,并判断当前目标客户符合当前合作机构的流入要求;
22、若校验失败,直接停止当前所述合作机构的继续校验,并判断当前目标客户不符合当前合作机构的流入要求。
23、第二方面,本申请实施例提供一种数据处理系统,包括:
24、规则队列模块,配置为获取规则队列,所述规则队列包括每个合作机构的多个准入规则,且所有所述准入规则按照被拒次数进行降序排列;
25、数据获取模块,配置为响应分流请求,获取多个目标客户的数据源;所述数据源包括与每个准入规则对应的数据信息;
26、响应校验模块,配置为将多个所述目标客户的数据源与每个所述合作机构的所述准入规则的配置数据进行校验,以判断每个所述目标客户是否符合对应所述合作机构的流入要求。
27、第三方面,本申请实施例提供一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器存储有计算机程序,所述处理器用于执行所述计算机程序以实施上述的数据处理方法。
28、第四方面,本申请实施例提供一种计算机可读存储介质,其存储有计算机程序,所述计算机程序在处理器上执行时,实施根据上述的数据处理方法。
29、本申请的实施例具有如下有益效果:
30、本申请提出的一种数据处理方法,规则队列按照被拒绝次数进行降序排列,以便后续将目标客户的数据源与准入规则进行校验时,能优先与被拒绝次数多的规则进行先校验,从而被高效校验出目标客户不符合当前合作机构的准入规则,然后,直接跳入下一合作机构的校验过程;本申请在发生校验不符合准入规则时,及时忽略后续规则的校验,进行下一合作结构的校验,能够提高整个数据处理的效率。
1.一种数据处理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的数据处理方法,其特征在于,所述将多个所述目标客户的数据源与每个所述合作机构的所述准入规则的配置数据进行校验,包括:
3.根据权利要求1所述的数据处理方法,其特征在于,所述规则队列通过预先构建得到,包括:
4.根据权利要求3所述的数据处理方法,其特征在于,所述将所有客户的所述数据源与每个所述合作机构的所有所述准入规则的所述配置数据进行校验,以得到每个所述准入规则的被拒次数,包括:
5.根据权利要求1所述的数据处理方法,其特征在于,采用并行调用的方式获取多个所述目标客户的数据源,并对获取的所有所述数据源进行数据封装得到数据集合,并将所述数据集合依次与每个所述合作机构的所有所述准入规则的配置数据进行校验。
6.根据权利要求5所述的数据处理方法,其特征在于,多个所述目标客户的数据源根据设定要求被存储于缓存和/或数据库中;
7.根据权利要求2所述的数据处理方法,其特征在于,将每个所述目标客户的所述数据源与每个所述合作机构的所述准入规则的配置数据进行校验,包括:
8.一种数据处理系统,其特征在于,包括:
9.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器存储有计算机程序,所述处理器用于执行所述计算机程序以实施权利要求1-7中任一项所述的数据处理方法。
10.一种计算机可读存储介质,其特征在于,其存储有计算机程序,所述计算机程序在处理器上执行时,实施根据权利要求1-7中任一项所述的数据处理方法。