一种基于大数据的数据优化方法及系统与流程

本发明涉及大数据分析，具体而言，涉及一种基于大数据的数据优化方法及系统。

背景技术：

1、数据闭环管理的意义在于构建一个连续、封闭的管理系统，通过数据的收集、监控和分析，实现业务过程的持续优化和改进。尤其对于依赖大数据为作业处理数据基础的领域，数据闭环的作用十分明显，可以显著的提高生产效率、提高数据质量、使系统的联系性更加紧密，还可以有效的降低成本，使信息流变得更加合理。

2、数据闭环大多是以结果为导向来建立的，因而具有较强的指向性。针对这样的指向性数据管理方式，其整个过程中对于数据的处理和形成的数据的价值性高低直接决定当前闭环是否高效合理。而如何针对当前闭环作业的情况针对性的进行实时优化和调整，以保证闭环作业形成的数据更加合理优化，且保证闭环作业在数据处理和管理上的优势是当前重要关注的方向。

3、因此，设计一种一种基于大数据的数据优化方法及系统，通过对当前数据闭环中基于数据价值变现的参数的提取来实时进行数据闭环作业的调整优化分析，以实现数据闭环针对数据价值变化目标的时效性和合理性，是目前亟待解决的问题。

技术实现思路

1、本发明的目的在于提供一种基于大数据的数据优化方法，通过提取数据闭环中当前需要提取的不同类型数据的过程处理信息，以及不同类型数据对应的被提取利用的价值变现信息来针对性的进行当前不同类型数据价值变现情况的分析判断，进而形成合理的引导不同类型变现数据进行优化调整的引导数据，为对当前数据闭环状态下针对数据价值变化这一目标进行实时的优化调整提供了重要且准确的数据参考。由于分析具有实时性，能够有效的保证数据闭环所产生的变现数据具有较强的时效性和合理性，大大提高了数据闭环的效果和在数据分析上的作用效果。

2、本发明的目的还在于提供基于企业数据价值变现目标的数据闭环优化装置，通过将装置配置成能够实时有效的采集变现数据在数据闭环过程中以及形成后被提取的有效信息，并对这些有效信息进行合理的分析处理，形成重要准确的优化参考数据，使得装置能够高效的完成优化过程的所有作业步骤，保证优化分析高效准确的进行，为数据闭环的实时有效的进行提供了重要的物质基础。

3、第一方面，本发明提供一种基于大数据的数据优化方法，包括获取数据闭环作业中不同类型变现数据的过程处理信息，形成不同类型变现数据的过程处理参考数据；获取数据闭环作业中不同类型变现数据的变现应用信息，形成不同类型变现数据的变现参考数据；根据过程处理参考数据和变现参考数据，进行基于价值变现的优化分析，形成数据闭环优化参考数据。

4、在本发明中，该方法通过提取数据闭环中当前需要提取的不同类型数据的过程处理信息，以及不同类型数据对应的被提取利用的价值变现信息来针对性的进行当前不同类型数据价值变现情况的分析判断，进而形成合理的引导不同类型变现数据进行优化调整的引导数据，为对当前数据闭环状态下针对数据价值变化这一目标进行实时的优化调整提供了重要且准确的数据参考。由于分析具有实时性，能够有效的保证数据闭环所产生的变现数据具有较强的时效性和合理性，大大提高了数据闭环的效果和在数据分析上的作用效果。

5、作为一种可能的实现方式，获取数据闭环作业中不同类型变现数据的过程处理信息，形成不同类型变现数据的过程处理参考数据，包括：获取不同类型变现数据在数据闭环作业过程中特征提取的数据量大小变化信息，形成变现数据的处理数据量变化信息；获取不同类型的变现数据在数据闭环作业过程中特征提取所消耗时长的变化信息，形成变现数据的处理时长变化信息；结合变现数据对应的处理数据量变化信息和处理时长变化信息，形成过程处理参考数据。

6、在本发明中，数据闭环的优化分析以数据价值变现为目标，那么在进行优化分析时就需要考虑从数据闭环中提取的数据是与数据价值变现紧密相关的信息。这里，分别提取了变现数据在数据闭环过程中所产生的数据量的大小以及处理所消耗的时长作为以价值变现为目标的优化分析基础参数。对于数据量的大小，其直接决定了被有效提取分析的体量大小以及数据闭环作业能够形成的有效数据体量，当然，这种体量也来自于数据闭环中所确定的数据特征提取方式，即数据提取的算法等，因此，提取的数据量的大小也反映了数据特征提取的效果和能力。对于处理消耗时长，一方面确定了对应类型的变现数据在被有效提取时所消耗的成本信息，不限于资源消耗、工时消耗等，另一方面也反映出数据特征提取方式的处理能力和处理效果。需要说明的时，由于数据闭环过程中的数据处理具有时效性，因而在提取数据量大小和处理消耗时长时，应该将这些参数放在时间维度上进行考量，这样形成的分析结果数据才具有较强的时效性，进而引导数据闭环进行实时且合理的优化调整处理，保证数据闭环管理的实时性和合理性。

7、作为一种可能的实现方式，获取不同类型变现数据在数据闭环作业过程中特征提取的数据量大小变化信息，形成变现数据的处理数据量变化信息，包括：对不同类型的变现数据，确定在优化分析周期内在数据闭环作业过程中以单次特征提取所形成的数据量为计量单元所形成的数据量大小，并形成变现闭环数据量变化曲线其中，n表示不同类型的变现数据的编号；根据变现闭环数据量变化曲线确定对应的变现数据在优化分析周期内的变现闭环数据量变化率其中，为在时间维度上的导数。

8、在本发明中，对数据量大小的分析考虑数据闭环中所有数据都是实时进行的，甚至是连续不间断的进行分析处理，所以在对数据量大小进行时间维度的分析时就需要考虑对数据量大小的单位值进行确认，本技术中，考虑虽然变现数据大多是连续不间断的处理并生成，而进行原始数据的提取分析时是具有次项和采集限制的，因而可以以提取次项的每次为单位，也可以以单次允许的最大采集限制为单位进行，这里，以每次提取形成的数据量为单位来进行数据量大小的分析。当然，考虑优化分析需要对数据量大小的变化特征进行分析，因而分析时应该确定数据量的变化率，以为后续的优化处理分析提供重要的数据基础。

9、作为一种可能的实现方式，获取不同类型的变现数据在数据闭环作业过程中特征提取所消耗时长的变化信息，形成变现数据的处理时长变化信息，包括：对不同类型的变现数据，确定在优化分析周期内在数据闭环作业过程中以单次特征提取所形成的数据量为计量单元所消耗的处理时长，并形成变现闭环数据处理时长曲线根据变现闭环数据处理时长曲线确定对应的变现数据在优化分析周期内的变现闭环处理时长变化率其中，为在时间维度上的导数。

10、在本发明中，同样，对于数据处理时长来说，也可以根据次项提取所消耗的最大时长为计量单位，也可以以单位允许采集的数据所消耗的最大时长为计量单位进行参数在时间维度上的分析，这里为了保证后续数据分析的可对比性，也是以单次提取的数据所消耗的最大时长为计量单位来进行分析。在取得处理时长在时间维度上的变化数据后，提取出处理时长的变化率数据为后续的分析提供重要的数据基础。

11、作为一种可能的实现方式，获取数据闭环作业中不同类型变现数据的变现应用信息，形成不同类型变现数据的变现参考数据，包括：对不同类型的变现数据，确定在优化分析周期内在数据闭环作业过程中每次提取变现数据的数据量大小，并形成变现闭环数据提取量变化曲线根据闭环数据提取量变化曲线确定对应的变现数据在优化分析周期内的变现闭环数据提取量变化率其中，为在时间维度上的导数。

12、在本发明中，对于数据闭环所形成的变现数据，其价值变现的直接提现在于能够被提取利用。因而获取到变现应用的信息在本技术中是以变现数据被提取的数据量为表示的参数。同样，变现数据的被提取量因为需求和价值变现的具体情况而具有时效性，所以将被提取数据量在时间维度上进行表达使得形成的数据也具有时效性，进而在进行优化分析时使得分析结果数据具有时效性，保证数据闭环优化分析的时效性和合理性。当然，被提取量的变化率也是优化分析需要重点关注的参数数据。

13、作为一种可能的实现方式，根据过程处理参考数据和变现参考数据，进行基于价值变现的优化分析，形成数据闭环优化参考数据，包括：根据变现闭环数据量变化曲线和变现闭环数据提取量变化曲线进行以下优化分析处理：若和均呈逐渐上升趋势，则结合变现闭环数据量变化率变现闭环数据提取量变化率以及变现闭环处理时长变化率进行增量提取的第一优化处理分析，形成增量提取第一优化处理分析结果信息；若呈非逐渐上升趋势，呈现逐渐上升趋势，则结合变现闭环数据处理时长曲线进行增量提取的第二优化处理分析，形成增量提取第二优化处理分析结果信息；若呈现非逐渐上升趋势，则结合变现闭环数据提取量变化曲线变现闭环处理时长变化率以及变现闭环数据提取量变化率进行非增量提取优化处理分析结果信息。

14、在本发明中，在获取到进行优化分析的实时有效参数数据后，要实现对数据闭环作业的合理准确的优化调整，就需要对这些参数数据进行合理的分析，形成供优化调整分析参考的重要且准确的引导数据。这里，对于形成的数据量大小、处理的时长、提取的数据量大小三种参数数据，提取的数据量大小和形成的数据量大小直接决定了数据闭环所提供的数据被充分利用的具体情况，即有多少形成的数据是完成了价值变现的有效转化的。因此，在进行优化分析时，优先对这两个参数的变化情况进行分析判断，并在判断结果的基础上针对不同的情况获取其他的参数数据进行分析处理，进而取得优化分析所需的引导数据。当然，根据参数数据的分析会形成针对不同类型的变现数据的分析结果情况，这些情况各不相同，因而针对形成的形成不同的优化处理引导信息，为数据闭环的优化分析提供了重要的数据基础，以有效保证数据闭环的实时性和合理性。这里需要说明的是，对于逐渐上升趋势的判断方式多样，可以是在优化分析周期内对整个增长量的跨度是否达到预期进行判断，也可以是对优化分析周期内增长率大于零的情况是否占据预期的比例时长来进行判断，也可以是对在优化分析周期内增长率小于零的时长是否存在小于预期的比例时长来进行判断等，在进行分析时结合不同类型的变现数据进行合理的判断准则选取，以保证趋势分析的正确性和合理性。

15、作为一种可能的实现方式，若和均呈逐渐上升趋势，则结合变现闭环数据量变化率变现闭环数据提取量变化率以及变现闭环处理时长变化率进行增量提取的第一优化处理分析，形成增量提取第一优化处理分析结果信息，包括：设定对应变现数据的处理时长变化率稳定阈值范围表示处理时长变化率稳定阈值范围an的最小值，表示处理时长变化率稳定阈值范围an的最大值，并进行以下优化分析：当则确定在优化分析周期内变现数据被提取后的剩余数据量在时间维度上的变化曲线，并标定为优化预测存储闲置量曲线；当tr∈an，则确定在优化分析周期内变现数据被提取后的剩余数据量在时间维度上的变化曲线，标定为优化预测存储量扩容曲线；当则确定在优化分析周期内变现数据被提取后的剩余数据量在时间维度上的变化曲线，标定为优化预测存储量扩容曲线；当则确定在优化分析周期内变现数据被提取后的剩余数据量在时间维度上的变化曲线，标定为优化预测存储量节省曲线。

16、在本发明中，对于生成的数据量和被提取的数量均是呈现上升趋势的情况下，首先认为对应类型的变现数据的需求较大价值变现能力较强。结合变化率分析，如果被提取的数据量变化率不超过形成的数据量的变化率，则在处理时长为强势的增长情况下，可以考虑该类型的变现数据需要较长的时间才能形成，虽然形成的数据量在逐渐增加，但由于形成的频率较低，因而随着提取量的增加，剩余未被提取的数据量也会逐渐减小，因而考虑这一类型的变现数据形成且被提取后剩余的数据量存储空间会减小，因此输出剩余数据量的变化曲线，为该类型的变现数据的存储空间优化提供引导数据。对于数据量变化率不超过形成的数据量变化率，且处理时长趋于平稳或者是有所降低的趋势下，形成的数据量虽然被提取的量逐渐增加，但是考虑形成频率不变或者频率增加，会导致剩余的数据量会增加，进而会占用更多的存储空间，所以形成剩余量的变化曲线为该类型的剩余数据量的存储进行扩容优化提供引导参考。而对于被提取数据量变化率大于等于形成数据量的变化率，则认为越往后形成的数据量将被提取的更多，因此剩余的数据量会逐渐减小，因此形成剩余数据量大小的变化曲线，为该类型的变现数据的存储空间进行合理的减小优化提供引导参考数据。

17、作为一种可能的实现方式，若呈非逐渐上升趋势，呈现逐渐上升趋势，则结合变现闭环数据处理时长曲线进行增量提取的第二优化处理分析，形成增量提取第二优化处理分析结果信息，包括：设定不同变现数据对应的有效处理限制时长并进行以下优化分析：当则标定对应的变现数据为非优化对象数据；当则标定对应的变现数据为优化对象数据，并确定有效处理限制时长为特征提取目标优化时限。

18、在本发明中，对于被提取的不变化量呈上升趋势而形成的数据量呈非上升趋势的情况下，说明该类型的变现数据被有效提取的占比越来越大，而形成该类型的变现数据的处理时长就成为直接制约其完成数据闭环的重要因素。当然，任何类型的变现数据的处理时长会有理论上的合理限制值，实际处理时长与该理论限制值之间的差距往往决定于系统数据处理性能、数据处理的有限性等影响等因素，是可以进行优化调整的。因此，如果处理时长小于这个限值，认为是合理的可以满足数据提取的需求，而超出了这个限值，就需要以限值为优化目标进行基于优化目标的特征提取优化，所以将该类型的变现数据进行标定，并提供这个时间限值为优化调整进行参考引导。

19、作为一种可能的实现方式，若呈现非逐渐上升趋势，则结合变现闭环数据提取量变化曲线变现闭环处理时长变化率以及变现闭环数据提取量变化率进行非增量提取优化处理分析结果信息，包括：设定不同类型的变现数据的数据量限制阈值并进行以下优化分析：当呈逐渐上升趋势，且则将对应的变现数据标定为非优化对象数据；当呈逐渐上升趋势，且则将对应的变现数据标定为优化对象数据，并确定数据量限制阈值为特征提取目标优化数据量限值；当呈非逐渐上升趋势时，设定不同类型的变现数据的最小提取量限制阈值并进行以下优化分析：当则将对应的变现数据标定为优化对象数据，并确定处理时长变化率稳定最大阈值为特征提取目标优化时限；当则将对应的变现数据标定为优化对象数据，并确定处理时长变化率稳定最大阈值为特征提取目标优化时限；当则将对应的变现数据标定为非优化对象数据；当则将对应的变现数据标定为闭环作业消除对象数据。

20、在本发明中，被提取的数据量呈现非上升的趋势，可以认为随着时间的变化以及需求的变化，该类型的数据量需求会逐渐降低，因而为了优化数据闭环的数据构成，为其他需求量大的类型的变现数据提供更加多的资源，需要进行一定程度的优化调整。如果形成的数据量还在逐渐上升，那么考虑为这一类型的变现数据设定合理的数据量形成限值，并根据这个限值进行优化与否的分析判断，对于需要进行优化的则以限值作为目标进行特征提取的优化引导参考。对于形成的数据量也在逐渐降低的情况，则考虑是否需要对该类型的变现数据进行合理的拆除或者调整。首先考虑提取的数据量，如果提取的数据量还大于设定的最小阈值，则认为该类型的变现数据还有一定的价值变现意义，在处理时长不小于设定的时长阈值的情况下以设定的时长阈值为目标进行优化调整的引导，在处理时长小于设定的时长阈值时，则不进行优化调整处理。而对于提取的数据量小于设定的最小阈值，则认为该类型的变现数据不存在合理的价值变现意义了，可以删除为其他变现数据提供资源以提高数据闭环的作用和效果。

21、第二方面，本发明提供基于企业数据价值变现目标的数据闭环优化装置，基于企业数据价值变现目标的数据闭环优化装置被配置为获取数据闭环作业中不同类型变现数据的过程处理信息，形成不同类型变现数据的过程处理参考数据；获取数据闭环作业中不同类型变现数据的变现应用信息，形成不同类型变现数据的变现参考数据；根据过程处理参考数据和变现参考数据，进行基于价值变现的优化分析，形成数据闭环优化参考数据。

22、在本发明中，该装置通过将装置配置成能够实时有效的采集变现数据在数据闭环过程中以及形成后被提取的有效信息，并对这些有效信息进行合理的分析处理，形成重要准确的优化参考数据，使得装置能够高效的完成优化过程的所有作业步骤，保证优化分析高效准确的进行，为数据闭环的实时有效的进行提供了重要的物质基础。

23、本发明提供的一种基于大数据的数据优化方法及系统的有益效果有：

24、该方法通过提取数据闭环中当前需要提取的不同类型数据的过程处理信息，以及不同类型数据对应的被提取利用的价值变现信息来针对性的进行当前不同类型数据价值变现情况的分析判断，进而形成合理的引导不同类型变现数据进行优化调整的引导数据，为对当前数据闭环状态下针对数据价值变化这一目标进行实时的优化调整提供了重要且准确的数据参考。由于分析具有实时性，能够有效的保证数据闭环所产生的变现数据具有较强的时效性和合理性，大大提高了数据闭环的效果和在数据分析上的作用效果。

25、该装置通过将装置配置成能够实时有效的采集变现数据在数据闭环过程中以及形成后被提取的有效信息，并对这些有效信息进行合理的分析处理，形成重要准确的优化参考数据，使得装置能够高效的完成优化过程的所有作业步骤，保证优化分析高效准确的进行，为数据闭环的实时有效的进行提供了重要的物质基础。

技术特征：

1.一种基于大数据的数据优化方法，其特征在于，包括：

2.根据权利要求1所述的一种基于大数据的数据优化方法，其特征在于，所述获取数据闭环作业中不同类型变现数据的过程处理信息，形成不同类型所述变现数据的过程处理参考数据，包括：

3.根据权利要求2所述的一种基于大数据的数据优化方法，其特征在于，所述获取不同类型所述变现数据在数据闭环作业过程中特征提取的数据量大小变化信息，形成所述变现数据的处理数据量变化信息，包括：

4.根据权利要求3所述的一种基于大数据的数据优化方法，其特征在于，所述获取不同类型的所述变现数据在数据闭环作业过程中特征提取所消耗时长的变化信息，形成所述变现数据的处理时长变化信息，包括：

5.根据权利要求4所述的一种基于大数据的数据优化方法，其特征在于，所述获取数据闭环作业中不同类型所述变现数据的变现应用信息，形成不同类型所述变现数据的变现参考数据，包括：

6.根据权利要求5所述的一种基于大数据的数据优化方法，其特征在于，所述根据所述过程处理参考数据和所述变现参考数据，进行基于价值变现的优化分析，形成数据闭环优化参考数据，包括：

7.根据权利要求6所述的一种基于大数据的数据优化方法，其特征在于，所述若和均呈逐渐上升趋势，则结合所述变现闭环数据量变化率所述变现闭环数据提取量变化率以及所述变现闭环处理时长变化率进行增量提取的第一优化处理分析，形成增量提取第一优化处理分析结果信息，包括：

8.根据权利要求7所述的一种基于大数据的数据优化方法，其特征在于，所述若呈非逐渐上升趋势，呈现逐渐上升趋势，则结合所述变现闭环数据处理时长曲线进行增量提取的第二优化处理分析，形成增量提取第二优化处理分析结果信息，包括：

9.根据权利要求8所述的一种基于大数据的数据优化方法，其特征在于，所述若呈现非逐渐上升趋势，则结合所述变现闭环数据提取量变化曲线所述变现闭环处理时长变化率以及所述变现闭环数据提取量变化率进行非增量提取优化处理分析结果信息，包括：

10.一种基于大数据的数据优化系统，其特征在于，所述基于企业数据价值变现目标的数据闭环优化装置被配置为：

技术总结
本发明提供一种基于大数据的数据优化方法及系统，涉及大数据分析技术领域。该方法包括获取数据闭环作业中不同类型变现数据的过程处理信息，形成不同类型变现数据的过程处理参考数据；获取数据闭环作业中不同类型变现数据的变现应用信息，形成不同类型变现数据的变现参考数据；根据过程处理参考数据和变现参考数据，进行基于价值变现的优化分析，形成数据闭环优化参考数据。该方法通过对当前数据闭环中基于数据价值变现的参数的提取来实时进行数据闭环作业的调整优化分析，以实现数据闭环针对数据价值变化目标的时效性和合理性。

技术研发人员：吴玲梅,李海涛
受保护的技术使用者：江苏易润信息技术有限公司
技术研发日：
技术公布日：2024/12/5