数据处理方法、装置、设备、介质及程序产品与流程
本公开涉及计算机，尤其涉及一种数据处理方法、装置、设备、介质及程序产品。
背景技术：
1、数据在各类型企业中扮演着越来越重要的角色，数据已经成为企业发展的一项很关键的因素。而数据的利用率和数据使用效率，决定着数据价值挖掘的高度。
2、目前，针对非结构化的数据，数据利用率和数据使用效率较低。
技术实现思路
1、本公开提供一种数据处理方法、装置、设备、介质及程序产品，以至少解决现有针对非结构化的数据，数据利用率和数据使用效率较低的技术问题。
2、本公开的技术方案如下：
3、本公开实施例提供一种数据处理方法，包括：
4、对获取到的配置文件进行解析，得到对源数据进行描述的元数据和所述源数据对应的数据处理逻辑的抽象语法树；
5、确定与所述配置文件对应的目标反序列化方式；
6、采用所述目标反序列化方式，对所述源数据进行反序列化操作，得到目标内存对象；
7、根据所述抽象语法树，将所述目标内存对象映射为采用标准查询语言能够进行数据查询的内存表。
8、可选地，所述对获取到的配置文件进行解析，得到对源数据进行描述的元数据和所述源数据对应的数据处理逻辑的抽象语法树，包括：
9、对所述配置文件进行基本配置解析，得到所述元数据；以及
10、对所述配置文件进行数据处理逻辑解析，得到所述抽象语法树。
11、可选地，所述确定与所述配置文件对应的目标反序列化方式，包括：
12、根据所述配置文件的类型，查询文件类型与反序列方式的映射关系表，得到所述目标反序列化方式。
13、可选地，所述采用所述目标反序列化方式，对所述源数据进行反序列化操作，得到目标内存对象，包括：
14、采用所述目标反序列化方式，对所述源数据进行反序列化操作，得到候选内存对象；
15、对所述候选内存对象进行过滤操作，得到所述目标内存对象。
16、可选地，所述对所述候选内存对象进行过滤操作，得到所述目标内存对象，包括：
17、对所述候选内存对象进行谓词下推操作，得到谓词下推后的候选内存对象；
18、对所述谓词下推后的候选内存对象进行剪枝操作，得到所述目标内存对象。
19、可选地，所述根据所述抽象语法树，将所述目标内存对象映射为采用标准查询语言能够进行数据查询的内存表，包括：
20、从所述抽象语法树中解析出映射规则；
21、根据所述映射规则，将所述目标内存对象映射为所述内存表。
22、本公开实施例还提供一种数据处理装置，包括：
23、解析模块，用于对获取到的配置文件进行解析，得到对源数据进行描述的元数据和所述源数据对应的数据处理逻辑的抽象语法树；
24、确定模块，用于确定与所述配置文件对应的目标反序列化方式；
25、反序列化模块，用于采用所述目标反序列化方式，对所述源数据进行反序列化操作，得到目标内存对象；
26、映射模块，用于根据所述抽象语法树，将所述目标内存对象映射为采用标准查询语言能够进行数据查询的内存表。
27、可选地，所述解析模块在对获取到的配置文件进行解析，得到对源数据进行描述的元数据和所述源数据对应的数据处理逻辑的抽象语法树时，用于：
28、对所述配置文件进行基本配置解析，得到所述元数据；以及
29、对所述配置文件进行数据处理逻辑解析，得到所述抽象语法树。
30、可选地，所述确定模块在确定与所述配置文件对应的目标反序列化方式时，用于：
31、根据所述配置文件的类型，查询文件类型与反序列方式的映射关系表，得到所述目标反序列化方式。
32、可选地，所述反序列化模块在采用所述目标反序列化方式，对所述源数据进行反序列化操作，得到目标内存对象时，用于：
33、采用所述目标反序列化方式，对所述源数据进行反序列化操作，得到候选内存对象；
34、对所述候选内存对象进行过滤操作，得到所述目标内存对象。
35、可选地，所述反序列化模块在对所述候选内存对象进行过滤操作，得到所述目标内存对象时，用于：
36、对所述候选内存对象进行谓词下推操作，得到谓词下推后的候选内存对象；
37、对所述谓词下推后的候选内存对象进行剪枝操作，得到所述目标内存对象。
38、可选地，所述映射模块在根据所述抽象语法树，将所述目标内存对象映射为采用标准查询语言能够进行数据查询的内存表时，用于：
39、从所述抽象语法树中解析出映射规则；
40、根据所述映射规则，将所述目标内存对象映射为所述内存表。
41、本公开实施例还提供一种电子设备，包括：
42、处理器；
43、用于存储所述处理器可执行指令的存储器；
44、其中，所述处理器被配置为执行所述指令，以实现上述的方法中的各步骤。
45、本公开实施例还提供一种计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行上述的方法中的各步骤。
46、本公开实施例还提供一种计算机程序产品，包括计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时实现上述的方法中的各步骤。
47、本公开的实施例提供的技术方案至少带来以下有益效果：
48、在本公开的一些实施例中，对获取到的配置文件进行解析，得到对源数据进行描述的元数据和源数据对应的数据处理逻辑的抽象语法树，通过配置文件配置对源数据处理的规则；确定与配置文件对应的目标反序列化方式；采用目标反序列化方式，对源数据进行反序列化操作，得到目标内存对象；根据抽象语法树，将目标内存对象映射为采用标准查询语言能够进行数据查询的内存表；能够将非结构化的源数据转换为标准查询语言直接查询的内存表，提高数据的利用率和数据使用效率。
49、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
技术特征：
1.一种数据处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述对获取到的配置文件进行解析，得到对源数据进行描述的元数据和所述源数据对应的数据处理逻辑的抽象语法树，包括：
3.根据权利要求1所述的方法，其特征在于，所述确定与所述配置文件对应的目标反序列化方式，包括：
4.根据权利要求1所述的方法，其特征在于，所述采用所述目标反序列化方式，对所述源数据进行反序列化操作，得到目标内存对象，包括：
5.根据权利要求4所述的方法，其特征在于，所述对所述候选内存对象进行过滤操作，得到所述目标内存对象，包括：
6.根据权利要求1所述的方法，其特征在于，所述根据所述抽象语法树，将所述目标内存对象映射为采用标准查询语言能够进行数据查询的内存表，包括：
7.一种数据处理装置，其特征在于，包括：
8.根据权利要求7所述的装置，其特征在于，所述解析模块在对获取到的配置文件进行解析，得到对源数据进行描述的元数据和所述源数据对应的数据处理逻辑的抽象语法树时，用于：
9.根据权利要求7所述的装置，其特征在于，所述确定模块在确定与所述配置文件对应的目标反序列化方式时，用于：
10.根据权利要求7所述的装置，其特征在于，所述反序列化模块在采用所述目标反序列化方式，对所述源数据进行反序列化操作，得到目标内存对象时，用于：
11.根据权利要求10所述的装置，其特征在于，所述反序列化模块在对所述候选内存对象进行过滤操作，得到所述目标内存对象时，用于：
12.根据权利要求7所述的装置，其特征在于，所述映射模块在根据所述抽象语法树，将所述目标内存对象映射为采用标准查询语言能够进行数据查询的内存表时，用于：
13.一种电子设备，其特征在于，包括：
14.一种计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的方法中的各步骤。
15.一种计算机程序产品，包括计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时实现权利要求1-6中任一项所述的方法中的各步骤。
技术总结
本公开提供了一种数据处理方法、装置、设备、介质及程序产品。涉及计算机技术领域。在本公开的一些实施例中，对获取到的配置文件进行解析，得到对源数据进行描述的元数据和源数据对应的数据处理逻辑的抽象语法树，通过配置文件配置对源数据处理的规则；确定与配置文件对应的目标反序列化方式；采用目标反序列化方式，对源数据进行反序列化操作，得到目标内存对象；根据抽象语法树，将目标内存对象映射为采用标准查询语言能够进行数据查询的内存表；能够将非结构化的源数据转换为标准查询语言直接查询的内存表，提高数据的利用率和数据使用效率。
技术研发人员：金均生,黄茂仰,王名茗,柯大明,杨学文
受保护的技术使用者：北京沃东天骏信息技术有限公司
技术研发日：
技术公布日：2024/12/5