1.本公开涉及大数据领域,尤其涉及一种基于度量指标的数据处理方法及装置。
背景技术:
2.随着大数据时代的到来,数据的量飞速增长,为了实现用户从海量数据中获取满足其需求的数据,可以通过度量指标的方式实现。
3.然而不同的用户,或者同一用户在不同的阶段,想要获取的与数据相关的信息可能不同,在现有技术中,针对不同的数据处理请求,如获取转化率的请求和投产率的请求等,采用的方法为:针对不同的数据处理请求分别进行逻辑流程的开发。
4.然而,采用上述方法,成本偏高、实现周期较长,且会影响系统的稳定性。
技术实现要素:
5.本公开实施例提供一种基于度量指标的数据处理方法及装置,用以解决数据处理的效率偏低的问题。
6.一方面,本公开实施例提供一种基于度量指标的数据处理方法,包括:
7.根据用户的点击操作,生成所述用户的度量指标需求,其中,所述度量指标需求用于指示所述用户获取满足所述度量指标需求的数据的需求;
8.根据所述度量指标需求从预设数据库中获取目标数据集,并从预设的配置规则包中,确定与所述度量指标需求对应的配置规则信息,其中,所述配置规则包是指,预先配置有基本运算、逻辑运算、比较运算及正则运算中的一种或多种的规则包;
9.根据所述配置规则信息对所述目标数据集进行处理,得到数据处理结果,并对所述数据处理结果进行输出处理。
10.在一些实施例中,根据用户的点击操作,生成所述用户的度量指标需求,包括:
11.根据所述点击操作,确定所述点击操作选定的基本数据、运算符、以及目标度量指标;
12.获取创建度量指标的创建记录,若所述创建记录中包括所述目标度量指标的创建信息,则根据所述基本数据、运算符、以及具有创建信息的目标度量指标,生成所述度量指标需求。
13.在一些实施例中,还包括:
14.若所述创建记录中不包括所述目标度量指标的创建信息,则根据所述用户的创建操作生成所述目标度量质量的创建信息;
15.根据所述基本数据、运算符、以及包括生成的创建信息的目标度量指标,生成所述度量指标需求,并将所述目标度量指标的创建信息存储至所述创建记录中。
16.在一些实施例中,在根据所述度量指标需求从预设数据库中获取目标数据集之前,还包括:
17.基于提供各业务服务的数据接口,获取提供每一业务服务时生成的服务数据;
18.对提供各业务服务时生成的服务数据进行格式统一处理,得到格式统一处理后的数据,其中,所述预设数据库中包括所述格式统一处理后的数据。
19.在一些实施例中,所述方法应用于服务器,对提供各业务服务时生成的服务数据进行格式统一处理,得到格式统一处理后的数据,包括:
20.对提供各业务服务时生成的服务数据进行数据过滤处理和数据清洗处理,得到处理后的服务数据;
21.将所述处理后的服务数据的格式转换为所述服务器可识别的统一格式,得到所述格式统一处理后的数据。
22.在一些实施例中,还包括:
23.若所述配置规则包中,没有与所述度量指标需求对应的配置规则信息,则根据所述度量指标需求、以及所述配置规则中包括的配置规则信息,更新所述配置规则包,其中,更新后的配置规则包中包括与所述度量指标需求对应的配置规则信息;
24.从更新后的配置规则包中,确定与所述度量指标需求对应的配置规则信息。
25.在一些实施例中,根据所述度量指标需求、以及所述配置规则中包括的配置规则信息,更新所述配置规则包,包括:
26.确定所述配置规则包中包括的配置规则信息,并确定所述配置规则包中包括的配置规则信息、以及与所述度量指标需求对应的配置规则信息之间的差异信息;
27.根据所述差异信息对所述配置规则包进行更新处理。
28.第二方面,本公开实施例提供了一种基于度量指标的数据处理装置,包括:
29.生成单元,用于根据用户的点击操作,生成所述用户的度量指标需求,其中,所述度量指标需求用于指示所述用户获取满足所述度量指标需求的数据的需求;
30.第一获取单元,用于根据所述度量指标需求从预设数据库中获取目标数据集;
31.第一确定单元,用于从预设的配置规则包中,确定与所述度量指标需求对应的配置规则信息,其中,所述配置规则包是指,预先配置有基本运算、逻辑运算、比较运算及正则运算中的一种或多种的规则包;
32.第一处理单元,用于根据所述配置规则信息对所述目标数据集进行处理,得到数据处理结果,并对所述数据处理结果进行输出处理。
33.在一些实施例中,所述生成单元,包括:
34.第一确定子单元,用于根据所述点击操作,确定所述点击操作选定的基本数据、运算符、以及目标度量指标;
35.获取子单元,用于获取创建度量指标的创建记录;
36.第一生成子单元,用于若所述创建记录中包括所述目标度量指标的创建信息,则根据所述基本数据、运算符、以及具有创建信息的目标度量指标,生成所述度量指标需求。
37.在一些实施例中,所述生成单元,还包括:
38.第二生成子单元,用于若所述创建记录中不包括所述目标度量指标的创建信息,则根据所述用户的创建操作生成所述目标度量质量的创建信息,并根据所述基本数据、运算符、以及包括生成的创建信息的目标度量指标,生成所述度量指标需求;
39.存储子单元,用于将所述目标度量指标的创建信息存储至所述创建记录中。
40.在一些实施例中,所述装置还包括:
41.第二获取单元,用于基于提供各业务服务的数据接口,获取提供每一业务服务时生成的服务数据;
42.第二处理单元,用于对提供各业务服务时生成的服务数据进行格式统一处理,得到格式统一处理后的数据,其中,所述预设数据库中包括所述格式统一处理后的数据。
43.在一些实施例中,所述方法应用于服务器;所述第二处理单元,包括
44.处理子单元,用于对提供各业务服务时生成的服务数据进行数据过滤处理和数据清洗处理,得到处理后的服务数据;
45.转换子单元,用于将所述处理后的服务数据的格式转换为所述服务器可识别的统一格式,得到所述格式统一处理后的数据。
46.在一些实施例中,所述装置还包括:
47.更新单元,用于若所述配置规则包中,没有与所述度量指标需求对应的配置规则信息,则根据所述度量指标需求、以及所述配置规则中包括的配置规则信息,更新所述配置规则包,其中,更新后的配置规则包中包括与所述度量指标需求对应的配置规则信息;
48.第二确定单元,用于从更新后的配置规则包中,确定与所述度量指标需求对应的配置规则信息。
49.在一些实施例中,更新单元,包括:
50.第二确定子单元,用于确定所述配置规则包中包括的配置规则信息,并确定所述配置规则包中包括的配置规则信息、以及与所述度量指标需求对应的配置规则信息之间的差异信息;
51.更新子单元,用于根据所述差异信息对所述配置规则包进行更新处理。
52.第三方面,本公开实施例提供了一种电子设备,包括:存储器,处理器;
53.存储器,用于存储所述处理器可执行指令;
54.其中,所述处理器被配置为执行如第一方面所述的方法。
55.第四方面,本公开实施例提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如第一方面所述的方法。
56.第五方面,本公开实施例提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据第一方面所述的方法。
57.第六方面,本公开实施例提供了一种基于度量指标的数据处理系统,包括:
58.用户配置台,用于输出可操作界面,根据用户在所述可操作界面的点击操作,生成所述用户的度量指标需求,并将度量指标需求传输给指标配置处理引擎,其中,所述度量指标需求用于指示所述用户获取满足度量指标需求的数据的需求;
59.指标配置台,用于生成配置规则包,并将所述配置规则包传输给所述指标配置处理引擎,其中,所述配置规则包是指,预先配置有基本运算、逻辑运算、比较运算及正则运算中的一种或多种的规则包;
60.数据仓库,用于基于提供各业务服务的数据接口,获取提供每一业务服务时生成的服务数据,对提供各业务服务时生成的服务数据进行格式统一处理,得到格式统一处理后的数据,并将格式统一处理后的数据传输给所述指标配置处理引擎;
61.所述指标配置处理引擎,用于根据度量指标需求从格式统一处理后的数据中获取
目标数据集,从所述配置规则包中,确定与所述度量指标需求对应的配置规则信息,并根据所述配置规则信息对所述目标数据集进行处理,得到数据处理结果,并将所述数据处理结果传输给指标视图装置;
62.所述指标视图装置,用于对所述数据处理结果进行图示化输出。
63.本公开实施例提供一种基于度量指标的数据处理方法及装置,包括:根据用户的点击操作,生成用户的度量指标需求,度量指标需求用于指示用户获取满足度量指标需求的数据的需求,根据度量指标需求从预设数据库中获取目标数据集,并从预设的配置规则包中,确定与度量指标需求对应的配置规则信息,其中,配置规则包是指,预先配置有基本运算、逻辑运算、比较运算及正则运算中的一种或多种的规则包,根据配置规则信息对目标数据集进行处理,得到数据处理结果,并对数据处理结果进行输出处理,在本实施例中,引入了:根据用户的点击操作生成度量指标需求,根据度量指标需求确定目标数据集和配置规则信息,以基于配置规则信息对目标数据集进行处理,得到数据处理结果的技术特征,避免了相关技术中需针对不同的数据处理请求反复执行分析和开发等操作,造成的成本偏高等弊端,实现了数据处理被应用的场景的灵活性和多样性,且不会被人为因素的干扰和影响,从而提高了数据处理的准确性和可靠性的技术效果。
附图说明
64.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
65.图1为根据本公开一个实施例的基于度量指标的数据处理方法的示意图;
66.图2为根据本公开另一实施例的基于度量指标的数据处理方法的示意图;
67.图3为根据本公开实施例的基于度量指标的数据处理系统的示意图;
68.图4为根据本公开一个实施例的基于度量指标的数据处理装置的示意图;
69.图5为根据本公开另一实施例的基于度量指标的数据处理装置的示意图;
70.图6为根据本公开实施例的基于度量指标的数据处理方法的电子设备的框图。
71.通过上述附图,已示出本公开明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围,而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
72.这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
73.随着大数据时代的到来,数据的量飞速增长,如何提高数据的处理效率、灵活性、及针对性,以满足同一用户在不同阶段的不同数据需求,或者,满足不同用户的不同数据需求,成了亟待解决的问题。
74.在相关技术中,通常采用基于度量指标的方式实现数据处理,且通常采用下述两种数据处理方法实现对数据的处理。其中,度量指标指用于描述一个物体或事物的某个性
质的指数、规格、标准,如转化率、增长率等。
75.第一种方法:针对不同的数据处理请求分别进行逻辑流程的开发。如针对不同的数据处理请求,从需求分析、设计、编码、测试到投产的流程步骤均执行一次。
76.然而,采用该方法,针对不同的数据处理请求,均需重新执行分析和开发等操作,导致成本偏高、实现周期较长,且由于需要对系统频繁的进行开发和改造,从而可能会影响系统的稳定性。
77.第二种方法:通过人为的方式收集设置度量指标的一般属性,如名称、接口、定时收集设置等,并编写结构化查询语言(structured query language,sql)脚本、操作系统(operating system,os)脚本、简单网络管理协议(snmp)、java管理扩展(java management extensions,jmx)脚本等生成多个度量指标,以便基于度量指标获取相应的数据,从而实现数据处理。
78.然而,采用该方法,由于是通过人为的方式进行处理,因此,数据处理容易受到人为因素的干扰,消耗较大的人力资源和成本,且需要有相当经验的工作人员进行处理,否则容易导致数据处理的准确性偏低。
79.为了避免上述技术问题中的一种或多种,本公开实施例的发明人经过创造性的劳动,得到了本公开的发明构思:预先设置有配置规则包,基于用户的点击操作,确定相应的配置规则信息,并基于该配置规则信息对数据集进行处理,以得到并输出处理结果。
80.下面以具体地实施例对本公开的技术方案以及本公开的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本公开的实施例进行描述。
81.请参阅图1,图1为根据本公开一个实施例的基于度量指标的数据处理方法的示意图。如图1所示,该方法包括:
82.s101:根据用户的点击操作,生成用户的度量指标需求。其中,度量指标需求用于指示用户获取满足度量指标需求的数据的需求。
83.在一些实施例中,本实施例的执行主体可以为一体集成的基于度量指标的数据处理装置(下文简称数据处理装置),数据处理装置可以为服务器(如云端服务器,或者,本地服务器),也可以为计算机,也可以为处理器,也可以为芯片,本实施例不做限定。
84.在另一些实施例中,本实施例的执行主体也可以包括不同的电子设备,如获取用户点击操作的用户设备,生成度量指标需求的服务器等。
85.也就是说,本实施例中,对于实现本公开实施例的方法的执行主体可以为一体集成的整体设备,也可以为由多个不同电子设备组成的处理系统,本实施例不做限定。
86.例如,若本实施例的执行处理为一体集成的整体设备,则该整体设备包括显示设备,以通过显示设备输出各种度量指标,用户可以对显示设备进行点击操作,如基于点击操作选择相应的度量指标,相应的,整体设备根据点击操作生成度量指标需求,即确定用户获取的数据或查阅数据的需求。
87.又如,若本实施例的执行主体为由多个电子设备组成的处理系统,则可以通过其中的一个电子设备输出可操作界面,用户可以在可操作界面上进行点击操作,相应的,该电子设备可以将用户的点击操作对应于可操作界面的位置信息传输给另一电子设备,另一电子设备根据位置信息生成度量指标需求。当然,也可以由输出可操作界面的电子设备生成
度量指标需求,并将度量指标需求传输给另一个电子设备。
88.s102:根据度量指标需求从预设数据库中获取目标数据集,并从预设的配置规则包中,确定与度量指标需求对应的配置规则信息。其中,配置规则包是指,预先配置有基本运算、逻辑运算、比较运算及正则运算中的一种或多种的规则包。
89.示例性的,基本运算包括加法运算、减法运算、乘法运算、除法运算、方差运算等。
90.逻辑运算可以包括度量指标对应的数据的排序或排序后分段展示,如:正序或倒序;也可以包括时间属性的逻辑运算,如时间段、频率、时间对比(同比、环及自定义等);也可以包括度量指标对应的指标阈值,如目标、平均值、规格线等;也可以包括逻辑预警,如不同的度量指标对应不同的预警规则等;也可以包括逻辑转换,如将参数转换为度量指标等。
91.s103:根据配置规则信息对目标数据集进行处理,得到数据处理结果,并对数据处理结果进行输出处理。
92.基于上述分析可知,本公开实施例提供了一种基于度量指标的数据处理方法,包括:根据用户的点击操作,生成用户的度量指标需求,度量指标需求用于指示用户获取满足度量指标需求的数据的需求,根据度量指标需求从预设数据库中获取目标数据集,并从预设的配置规则包中,确定与度量指标需求对应的配置规则信息,其中,配置规则包是指,预先配置有基本运算、逻辑运算、比较运算及正则运算中的一种或多种的规则包,根据配置规则信息对目标数据集进行处理,得到数据处理结果,并对数据处理结果进行输出处理,在本实施例中,引入了:根据用户的点击操作生成度量指标需求,根据度量指标需求确定目标数据集和配置规则信息,以基于配置规则信息对目标数据集进行处理,得到数据处理结果的技术特征,避免了相关技术中需针对不同的数据处理请求反复执行分析和开发等操作,造成的成本偏高等弊端,实现了数据处理被应用的场景的灵活性和多样性,且不会被人为因素的干扰和影响,从而提高了数据处理的准确性和可靠性的技术效果。
93.请参阅图2,图2为根据本公开另一实施例的基于度量指标的数据处理方法的示意图。如图2所示,该方法包括:
94.s201:根据用户的点击操作,确定点击操作选定的基本数据、运算符、以及目标度量指标。
95.其中,关于与上述实施例中相同的技术特征,本实施例不再赘述。
96.基于上述分析可知,执行主体基于应用场景的不同而不同,可以为一体集成的整体设备,也可以为由多个电子设备组成的处理系统。在本实施例中,为了便于读者的理解,以处理系统为例,结合图3对本实施例的应用场景以及原理进行示范性地阐述。
97.如图3所示,用户配置台包括显示设备,显示设备可以输出可操作界面,用户可以在可操作界面上进行点击操作,如基于其获取或阅读数据的需求,在可操作界面上对基本数据、运算符、以及目标度量指标进行点击操作。
98.相应的,用户配置台根据用户的点击操作确定用户满足用户读取或阅读数据的需求的基本数据、运算符、以及目标度量指标。
99.s202:获取创建度量指标的创建记录,若创建记录中包括目标度量指标的创建信息,则根据基本数据、运算符、以及具有创建信息的目标度量指标,生成度量指标需求。
100.示例性的,目标度量指标可能为已经完成创建的度量指标,也可能为没有完成创建的度量指标,完成创建的度量指标在创建记录中存在相应的创建信息,没有完成创建的
度量指标在创建记录中没有相应的创建信息。
101.其中,创建信息包括度量指标的名称,也包括度量指标的属性。度量指标的属性包括数据类型、格式,也可以包括数据单位,也可以包括数据参考线,也可以包括预警规则等,此处不再一一列举。
102.在本实施例中,若创建记录中已经包括目标度量指标的创建信息,则可以基于该创建信息、基本数据、运算符生成度量指标需求,即确定用户获取或阅读数据的相关需求,并将度量指标需求传输给指标配置处理引擎。
103.在另一些实施例中,若创建记录中不包括目标度量指标的创建信息,则根据用户的创建操作生成目标度量质量的创建信息,根据基本数据、运算符、以及包括生成的创建信息的目标度量指标,生成度量指标需求,并将目标度量指标的创建信息存储至创建记录中。
104.结合上述分析和图3,如果创建记录没有目标度量指标的创建信息,则用户可以在可操作界面上进行创建操作,相应的,用户配置台根据用户的创建操作生成创建信息,将该创建信息存储至创建记录,并结合该创建信息生成度量指标需求,并将度量指标需求传输给指标配置处理引擎。
105.在本实施例中,针对不同的场景,采用不同的方式生成度量指标需求,可以实现生成度量指标需求的灵活性和有效性的技术效果。
106.s203:基于提供各业务服务的数据接口,获取提供每一业务服务时生成的服务数据。
107.结合上述分析和图3,数据仓库获取每一数据接口提供业务服务时生成的服务数据,如转账业务服务,如汇款业务服务等。
108.s204:对提供各业务服务时生成的服务数据进行格式统一处理,得到格式统一处理后的数据。其中,预设数据库中包括格式统一处理后的数据。
109.基于上述分析,数据仓库在通过不同的数据接口,获取各数据接口各自对应的服务数据之后,由于基于不同的数据接口获取到的服务数据的格式可能并不相同,因此,为了便于后续的数据处理,数据仓库可以对各服务数据进行格式统一处理,使得具有不同数据格式的数据具有相同的数据格式。
110.且在一些实施例中,数据仓库中设置有数据库,可以将格式统一处理后的数据存储至该数据库,以使得数据库中的数据具有较强的全面性,且便于后续数据处理的统一性,无需针对不同的数据格式配置不同的处理方法,以提高通用性和灵活性的技术效果。
111.在一些实施例中,结合上述分析和图3,根据配置规则信息对目标数据集进行处理的过程可以由指标配置处理引擎处理,相应的,数据仓库在生成格式统一处理后的数据时,可以通过如下步骤实现:
112.第一步骤:对提供各业务服务时生成的服务数据进行数据过滤处理和数据清洗处理,得到处理后的服务数据。
113.第二步骤:将处理后的服务数据的格式转换为指标配置处理引擎可识别的统一格式,得到格式统一处理后的数据。
114.示例性的,数据仓库获取指标配置处理引擎可以识别的数据的格式,并在对各服务数据进行过滤处理和清洗处理等其他处理之后,将处理后得到的各服务数据转换为指标配置处理引擎可以识别的数据的格式,将格式转换后的各服务数据存储至数据库并传输给
指标配置处理引擎。
115.值得说明的是,在实施例中,通过对各服务数据进行格式统一处理,以使得各服务数据在被处理时,具有可操作性和可实现性,从而提高数据处理的准确性和可靠性的技术效果。
116.s205:根据度量指标需求从预设数据库中获取目标数据集,并从预设的配置规则包中,确定与度量指标需求对应的配置规则信息。其中,配置规则包是指,预先配置有基本运算、逻辑运算、比较运算及正则运算中的一种或多种的规则包。
117.结合上述分析和图3,配置规则包可以由指标配置平台确定,在指标配置平台生成配置规则包之后,将配置规则包传输给指标配置处理引擎。
118.也就说,一方面,指标配置处理引擎接收由用户配置台传输的度量指标需求,另一方面,指标配置处理引擎接收由指标配置平台传输的配置规则包,再一方面,指标配置处理引擎接收由数据仓库发送的格式统一处理后的数据。
119.相应的,指标配置处理引擎可以根据度量指标需求从配置规则包中确定配置规则信息,即该配置规则信息为与度量指标需求对应的基本运算、逻辑运算、比较运算及正则运算中的一种或多种的配置规则信息。指标配置处理引擎也可以根据度量指标需求从格式统一处理后的数据中选取目标数据集,即目标数据集为与度量指标需求相关的数据(可以理解为与用户希望获取或查阅的数据)。
120.其中,指标配置台可以对基于数据处理的历史记录生成配置规则包,如根据历史记录,选择相对使用频率较高的基本运算、逻辑运算、比较运算及正则运算等生成配置规则包。
121.在另一些实施例中,配置规则包中可能没有与度量指标需求对应的配置规则信息,而针对该场景,可以根据度量指标需求、以及配置规则中包括的配置规则信息,更新配置规则包,使得更新后的配置规则包中包括与度量指标需求对应的配置规则信息,并从更新后的配置规则包中确定与度量指标对应的配置规则信息。
122.在本实施例中,通过更新配置规则包的方式,满足用户获取或浏览数据的需求,以提高用户的体验,满足不同用户的不同需求,提高数据处理的灵活性和多样性的技术效果。
123.在一些实施例中,更新配置规则包括如下步骤:
124.第一步骤:确定配置规则包中包括的配置规则信息,并确定配置规则包中包括的配置规则信息、以及与度量指标需求对应的配置规则信息之间的差异信息。
125.第二步骤:根据差异信息对配置规则包进行更新处理。
126.在本实施例中,通过先确定差异信息,并基于差异信息对配置规则包进行更新处理,可以使得更新配置规则包具有针对性,以提高更新的有效性和效率的技术效果。
127.s206:根据配置规则信息对目标数据集进行处理,得到数据处理结果,并对数据处理结果进行输出处理。
128.结合上述分析和图3,指标配置处理引擎可以将数据处理结果传输给指标视图装置,相应的,指标视图装置可以对数据处理结果进行图示显示。
129.在一些实施例中,用户可以在指标视图装置的显示界面上进行点击操作,相应的,指标视图装置根据该点击操作可以生成视图配置信息,如与颜色相关的信息,与字体相关的信息等。
130.请参阅图4,图4为根据本公开一个实施例的基于度量指标的数据处理装置的示意图。
131.如图4所示,基于度量指标的数据处理装置400,包括:
132.生成单元401,用于根据用户的点击操作,生成所述用户的度量指标需求,其中,所述度量指标需求用于指示所述用户获取满足所述度量指标需求的数据的需求。
133.第一获取单元402,用于根据所述度量指标需求从预设数据库中获取目标数据集。
134.第一确定单元403,用于从预设的配置规则包中,确定与所述度量指标需求对应的配置规则信息,其中,所述配置规则包是指,预先配置有基本运算、逻辑运算、比较运算及正则运算中的一种或多种的规则包。
135.第一处理单元404,用于根据所述配置规则信息对所述目标数据集进行处理,得到数据处理结果,并对所述数据处理结果进行输出处理。
136.请参阅图5,图5为根据本公开另一实施例的基于度量指标的数据处理装置的示意图。
137.如图5所示,基于度量指标的数据处理装置500,包括:
138.生成单元501,用于根据用户的点击操作,生成所述用户的度量指标需求,其中,所述度量指标需求用于指示所述用户获取满足所述度量指标需求的数据的需求。
139.结合图5可知,在一些实施例中,生成单元501,包括:
140.第一确定子单元5011,用于根据所述点击操作,确定所述点击操作选定的基本数据、运算符、以及目标度量指标。
141.获取子单元5012,用于获取创建度量指标的创建记录。
142.第一生成子单元5013,用于若所述创建记录中包括所述目标度量指标的创建信息,则根据所述基本数据、运算符、以及具有创建信息的目标度量指标,生成所述度量指标需求。
143.第二生成子单元5014,用于若所述创建记录中不包括所述目标度量指标的创建信息,则根据所述用户的创建操作生成所述目标度量质量的创建信息,并根据所述基本数据、运算符、以及包括生成的创建信息的目标度量指标,生成所述度量指标需求。
144.存储子单元5015,用于将所述目标度量指标的创建信息存储至所述创建记录中。
145.第二获取单元502,用于基于提供各业务服务的数据接口,获取提供每一业务服务时生成的服务数据。
146.第二处理单元503,用于对提供各业务服务时生成的服务数据进行格式统一处理,得到格式统一处理后的数据,其中,所述预设数据库中包括所述格式统一处理后的数据。
147.结合图5可知,在一些实施例中,所述方法应用于服务器;第二处理单元503,包括:
148.处理子单元5031,用于对提供各业务服务时生成的服务数据进行数据过滤处理和数据清洗处理,得到处理后的服务数据。
149.转换子单元5032,用于将所述处理后的服务数据的格式转换为所述服务器可识别的统一格式,得到所述格式统一处理后的数据。
150.第一获取单元504,用于根据所述度量指标需求从预设数据库中获取目标数据集。
151.第一确定单元505,用于从预设的配置规则包中,确定与所述度量指标需求对应的配置规则信息,其中,所述配置规则包是指,预先配置有基本运算、逻辑运算、比较运算及正
则运算中的一种或多种的规则包。
152.更新单元506,用于若所述配置规则包中,没有与所述度量指标需求对应的配置规则信息,则根据所述度量指标需求、以及所述配置规则中包括的配置规则信息,更新所述配置规则包,其中,更新后的配置规则包中包括与所述度量指标需求对应的配置规则信息。
153.结合图5可知,在一些实施例中,更新单元506,包括:
154.第二确定子单元5061,用于确定所述配置规则包中包括的配置规则信息,并确定所述配置规则包中包括的配置规则信息、以及与所述度量指标需求对应的配置规则信息之间的差异信息;
155.更新子单元5062,用于根据所述差异信息对所述配置规则包进行更新处理。
156.第二确定单元507,用于从更新后的配置规则包中,确定与所述度量指标需求对应的配置规则信息。
157.第一处理单元508,用于根据所述配置规则信息对所述目标数据集进行处理,得到数据处理结果,并对所述数据处理结果进行输出处理。
158.根据本公开实施例的另一个方面,本公开实施例还提供了一种基于度量指标的数据处理系统,如图3所示,该系统可以包括:
159.用户配置台,用于输出可操作界面,根据用户在可操作界面的点击操作,生成用户的度量指标需求,并将度量指标需求传输给指标配置处理引擎。其中,度量指标需求用于指示用户获取满足度量指标需求的数据的需求。
160.指标配置台,用于生成配置规则包,并将配置规则包传输给指标配置处理引擎。其中,配置规则包是指,预先配置有基本运算、逻辑运算、比较运算及正则运算中的一种或多种的规则包。
161.数据仓库,用于基于提供各业务服务的数据接口,获取提供每一业务服务时生成的服务数据,对提供各业务服务时生成的服务数据进行格式统一处理,得到格式统一处理后的数据,并将格式统一处理后的数据传输给指标配置处理引擎。
162.指标配置处理引擎,用于根据度量指标需求从格式统一处理后的数据中获取目标数据集,从配置规则包中,确定与度量指标需求对应的配置规则信息,并根据配置规则信息对目标数据集进行处理,得到数据处理结果,并将数据处理结果传输给指标视图装置。
163.指标视图装置,用于对数据处理结果进行图示化输出。
164.其中,关于系统中各组件的实现原理可以参见方法实施例中地描述,此处不再赘述。
165.根据本公开的实施例,本公开还提供了一种电子设备和一种可读存储介质。
166.根据本公开的实施例,本公开还提供了一种计算机程序产品,程序产品包括:计算机程序,计算机程序存储在可读存储介质中,电子设备的至少一个处理器可以从可读存储介质读取计算机程序,至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。
167.如图6所示,是根据本公开实施例的基于度量指标的数据处理方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其
它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
168.如图6所示,该电子设备包括:一个或多个处理器601、存储器602,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示gui的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器601为例。
169.存储器602即为本公开所提供的非瞬时计算机可读存储介质。其中,所述存储器存储有可由至少一个处理器执行的指令,以使所述至少一个处理器执行本公开所提供的基于度量指标的数据处理方法。本公开的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本公开所提供的基于度量指标的数据处理方法。
170.存储器602作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本公开实施例中的基于度量指标的数据处理方法对应的程序指令/模块。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的基于度量指标的数据处理方法。
171.存储器602可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据基于度量指标的数据处理方法的电子设备的使用所创建的数据等。此外,存储器602可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器602可选包括相对于处理器601远程设置的存储器,这些远程存储器可以通过网络连接至基于度量指标的数据处理方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
172.基于度量指标的数据处理方法的电子设备还可以包括:输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线或者其他方式连接,图6中以通过总线连接为例。
173.输入装置603可接收输入的数字或字符信息,以及产生与基于度量指标的数据处理方法的电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如,led)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(lcd)、发光二极管(led)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
174.此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用asic(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用
或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
175.这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(pld)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
176.为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,crt(阴极射线管)或者lcd(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
177.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(lan)、广域网(wan)和互联网。
178.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
179.本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求书指出。
180.应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。
技术特征:
1.一种基于度量指标的数据处理方法,包括:根据用户的点击操作,生成所述用户的度量指标需求,其中,所述度量指标需求用于指示所述用户获取满足所述度量指标需求的数据的需求;根据所述度量指标需求从预设数据库中获取目标数据集,并从预设的配置规则包中,确定与所述度量指标需求对应的配置规则信息,其中,所述配置规则包是指,预先配置有基本运算、逻辑运算、比较运算及正则运算中的一种或多种的规则包;根据所述配置规则信息对所述目标数据集进行处理,得到数据处理结果,并对所述数据处理结果进行输出处理。2.根据权利要求1所述的方法,其中,根据用户的点击操作,生成所述用户的度量指标需求,包括:根据所述点击操作,确定所述点击操作选定的基本数据、运算符、以及目标度量指标;获取创建度量指标的创建记录,若所述创建记录中包括所述目标度量指标的创建信息,则根据所述基本数据、运算符、以及具有创建信息的目标度量指标,生成所述度量指标需求。3.根据权利要求2所述的方法,还包括:若所述创建记录中不包括所述目标度量指标的创建信息,则根据所述用户的创建操作生成所述目标度量质量的创建信息;根据所述基本数据、运算符、以及包括生成的创建信息的目标度量指标,生成所述度量指标需求,并将所述目标度量指标的创建信息存储至所述创建记录中。4.根据权利要求1-3中任一项所述的方法,在根据所述度量指标需求从预设数据库中获取目标数据集之前,还包括:基于提供各业务服务的数据接口,获取提供每一业务服务时生成的服务数据;对提供各业务服务时生成的服务数据进行格式统一处理,得到格式统一处理后的数据,其中,所述预设数据库中包括所述格式统一处理后的数据。5.根据权利要求4所述的方法,其中,所述方法应用于服务器;对提供各业务服务时生成的服务数据进行格式统一处理,得到格式统一处理后的数据,包括:对提供各业务服务时生成的服务数据进行数据过滤处理和数据清洗处理,得到处理后的服务数据;将所述处理后的服务数据的格式转换为所述服务器可识别的统一格式,得到所述格式统一处理后的数据。6.根据权利要求1-3中任一项所述的方法,还包括:若所述配置规则包中,没有与所述度量指标需求对应的配置规则信息,则根据所述度量指标需求、以及所述配置规则中包括的配置规则信息,更新所述配置规则包,其中,更新后的配置规则包中包括与所述度量指标需求对应的配置规则信息;从更新后的配置规则包中,确定与所述度量指标需求对应的配置规则信息。7.根据权利要求6所述的方法,其中,根据所述度量指标需求、以及所述配置规则中包括的配置规则信息,更新所述配置规则包,包括:确定所述配置规则包中包括的配置规则信息,并确定所述配置规则包中包括的配置规则信息、以及与所述度量指标需求对应的配置规则信息之间的差异信息;
根据所述差异信息对所述配置规则包进行更新处理。8.一种基于度量指标的数据处理装置,包括:生成单元,用于根据用户的点击操作,生成所述用户的度量指标需求,其中,所述度量指标需求用于指示所述用户获取满足所述度量指标需求的数据的需求;第一获取单元,用于根据所述度量指标需求从预设数据库中获取目标数据集;第一确定单元,用于从预设的配置规则包中,确定与所述度量指标需求对应的配置规则信息,其中,所述配置规则包是指,预先配置有基本运算、逻辑运算、比较运算及正则运算中的一种或多种的规则包;第一处理单元,用于根据所述配置规则信息对所述目标数据集进行处理,得到数据处理结果,并对所述数据处理结果进行输出处理。9.一种电子设备,包括:存储器,处理器;存储器,用于存储所述处理器可执行指令;其中,所述处理器被配置为执行如权利要求1-7中任一项所述的方法。10.一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1-7中任一项所述的方法。11.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-7中任一项所述的方法。12.一种基于度量指标的数据处理系统,包括:用户配置台,用于输出可操作界面,根据用户在所述可操作界面的点击操作,生成所述用户的度量指标需求,并将度量指标需求传输给指标配置处理引擎,其中,所述度量指标需求用于指示所述用户获取满足度量指标需求的数据的需求;指标配置台,用于生成配置规则包,并将所述配置规则包传输给所述指标配置处理引擎,其中,所述配置规则包是指,预先配置有基本运算、逻辑运算、比较运算及正则运算中的一种或多种的规则包;数据仓库,用于基于提供各业务服务的数据接口,获取提供每一业务服务时生成的服务数据,对提供各业务服务时生成的服务数据进行格式统一处理,得到格式统一处理后的数据,并将格式统一处理后的数据传输给所述指标配置处理引擎;所述指标配置处理引擎,用于根据度量指标需求从格式统一处理后的数据中获取目标数据集,从所述配置规则包中,确定与所述度量指标需求对应的配置规则信息,并根据所述配置规则信息对所述目标数据集进行处理,得到数据处理结果,并将所述数据处理结果传输给指标视图装置;所述指标视图装置,用于对所述数据处理结果进行图示化输出。
技术总结
本公开提供一种基于度量指标的数据处理方法及装置,涉及大数据领域,包括:根据用户的点击操作,生成用户的度量指标需求,度量指标需求用于指示用户获取满足度量指标需求的数据的需求,根据度量指标需求从预设数据库中获取目标数据集,从预设的配置规则包中,确定与度量指标需求对应的配置规则信息,配置规则包是指预先配置有基本运算、逻辑运算、比较运算及正则运算中的一种或多种的规则包,根据配置规则信息对目标数据集进行处理,得到数据处理结果,对数据处理结果进行输出处理,避免了相关技术中造成的成本偏高等弊端,实现了数据处理被应用的场景的灵活性和多样性,且不会被人为因素的干扰和影响,提高了数据处理的准确性和可靠性。和可靠性。和可靠性。
技术研发人员:杨艳红 王清华
受保护的技术使用者:中国建设银行股份有限公司
技术研发日:2021.12.08
技术公布日:2022/3/8