业务数据处理方法、计算机设备以及可读存储介质与流程

本申请属于计算机，尤其涉及一种业务数据处理方法、计算机设备以及计算机可读存储介质。

背景技术：

1、目前各种业务系统的大数据集群架构中，往往根据业务数据的不同用途，可以将集群中的数据仓库分为离线数据仓库和实时数据仓库，这种数仓结构在集群性能达到瓶颈后，不管是通过增加节点的数量或者增加单个节点的处理、存储资源，均已经无法明显提升集群性能，导致业务数据不能及时访问、访问效率差。

技术实现思路

1、有鉴于此，本申请实施例提供了一种业务数据处理方法、计算机设备以及计算机可读存储介质，能够提高数据处理的效率和准确性，确保数据的及时可用性。

2、本申请实施例的第一方面提供了一种业务数据处理方法，包括：

3、获取针对指定业务的业务数据请求，所述业务数据请求携带所需业务数据的时间范围；

4、基于所述所需业务数据的时间范围，进行冷热识别，得到存储有所述所需业务数据的目标数据仓库，所述目标数据仓库为所述指定业务关联的冷数据仓库或热数据仓库；

5、基于所述业务数据请求的请求类型，从所述目标数据仓库关联的离线数仓或实时数仓中选择所述所需业务数据。

6、在第一方面的一种实现方式中，所述基于所述所需业务数据的时间范围，进行冷热识别，得到存储有所述所需业务数据的目标数据仓库，包括：

7、获取所述指定业务关联的热数据仓库的有效时间范围；

8、比较所述有效时间范围与所述所需业务数据的时间范围，得到比较结果；

9、基于所述比较结果，确定存储所述所需业务数据的目标数据仓库。

10、在第一方面的一种实现方式中，所述基于所述比较结果，确定存储有所述所需业务数据的目标数据仓库，包括：

11、若所述比较结果表征所述所需业务数据的时间范围属于所述有效时间范围，则将所述指定业务关联的热数据仓库确定为存储有所述所需业务数据的目标数据仓库；

12、若比较结果表征所述所需业务数据的时间范围部分属于或不属于所述有效时间范围，则将所述指定业务关联的冷数据仓库确定为存储有所述所需业务数据的目标数据仓库。

13、在第一方面的一种实现方式中，所述基于所述业务数据请求的请求类型，从所述目标数据仓库关联的离线数仓或实时数仓中选择所述所需业务数据，包括：

14、若所述业务数据请求的请求类型属于第一类型，则从所述目标数据仓库关联的实时数仓中选择所述所需业务数据，所述第一类型指示针对业务数据的查询类请求；

15、若所述业务数据请求的请求类型属于第二类型，则从所述目标数据仓库关联的离线数仓中选择所述所需业务数据，所述第二类型指示针对业务数据的统计类请求。

16、在第一方面的一种实现方式中，所述业务数据请求的请求类型属于第二类型，所述方法还包括：

17、获取基于所述所需业务数据确定的统计结果；

18、若所述所需业务数据的时间范围属于所述热数据仓库的有效时间范围，则将所述统计结果分别写入所述热数据仓库以及所述冷数据仓库；

19、若所述所需业务数据的时间范围部分属于或不属于所述热数据仓库的有效时间范围，则将所述统计结果写入所述冷数据仓库。

20、在第一方面的一种实现方式中，所述方法还包括：

21、获取所述指定业务关联的待存储的业务数据，并将所述待存储的业务数据写入所述指定业务关联的冷数据仓库的离线数仓；

22、创建所述待存储的业务数据的数据副本，并将所述数据副本迁移至指定目录；

23、若侦听到所述指定目录的内容变化，则将所述数据副本中的业务数据写入所述指定业务关联的冷数据仓库的实时数仓。

24、在第一方面的一种实现方式中，所述方法还包括：

25、对所述指定业务的热数据仓库中的业务数据进行周期性地检测，得到检测结果；

26、若所述检测结果表征任一指定业务数据的最后更新时间不属于所述热数据仓库的有效时间范围，则从所述热数据仓库中删除所述指定业务数据。

27、在第一方面的一种实现方式中，若离线数仓的部署方式为独立部署，则所述指定业务关联的冷数据仓库对应第一离线数仓，所述指定业务关联的热数据仓库对应第二离线数仓；

28、若离线数仓的部署方式为共享部署，则所述冷数据仓库以及所述热数据仓库共享第三离线数仓。

29、本申请实施例的第二方面提供了一种业务数据处理装置，包括：

30、获取模块，用于获取针对指定业务的业务数据请求，所述业务数据请求携带所需业务数据的时间范围；

31、识别模块，用于基于所述所需业务数据的时间范围，进行冷热识别，得到存储有所述所需业务数据的目标数据仓库，所述目标数据仓库为所述指定业务关联的冷数据仓库或热数据仓库；

32、选择模块，用于基于所述业务数据请求的请求类型，从所述目标数据仓库关联的离线数仓或实时数仓中选择所述所需业务数据。

33、本申请实施例的第三方面提供了一种计算机设备，所述包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的方法。

34、本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述方法的步骤。

35、本申请实施例第一方面通过获取针对指定业务的业务数据请求及其所需业务数据的时间范围，进行冷热识别以确定存储所需业务数据的目标数据仓库(冷数据仓库或热数据仓库)，并根据业务数据请求的类型从目标数据仓库关联的离线数仓或实时数仓中选择所需业务数据，提高数据处理的效率和准确性，确保数据的及时可用性。

36、可以理解的是，上述第二方面至第四方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

技术特征：

1.一种业务数据处理方法，其特征在于，包括：

2.如权利要求1所述的业务数据处理方法，其特征在于，所述基于所述所需业务数据的时间范围，进行冷热识别，得到存储有所述所需业务数据的目标数据仓库，包括：

3.如权利要求2所述的业务数据处理方法，其特征在于，所述基于所述比较结果，确定存储有所述所需业务数据的目标数据仓库，包括：

4.如权利要求1所述的业务数据处理方法，其特征在于，所述基于所述业务数据请求的请求类型，从所述目标数据仓库关联的离线数仓或实时数仓中选择所述所需业务数据，包括：

5.如权利要求4所述的业务数据处理方法，其特征在于，所述业务数据请求的请求类型属于第二类型，所述方法还包括：

6.如权利要求1所述的业务数据处理方法，其特征在于，所述方法还包括：

7.如权利要求1所述的业务数据处理方法，其特征在于，所述方法还包括：

8.如权利要求1至7中任一项所述的业务数据处理方法，其特征在于，

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的方法。

技术总结
本申请适用于计算机技术领域，提供了一种业务数据处理方法、计算机设备以及可读存储介质，包括：获取针对指定业务的业务数据请求，业务数据请求携带所需业务数据的时间范围；基于所需业务数据的时间范围，进行冷热识别，得到存储有所需业务数据的目标数据仓库，目标数据仓库为指定业务关联的冷数据仓库或热数据仓库；基于业务数据请求的请求类型，从目标数据仓库关联的离线数仓或实时数仓中选择所需业务数据。本申请能够提高数据处理的效率和准确性，确保数据的及时可用性。

技术研发人员：刘志亚
受保护的技术使用者：博雅网络游戏开发（深圳）有限公司
技术研发日：
技术公布日：2024/12/5