一种数据迁移优化传输方法与流程
本发明涉及数字信息的传输，具体涉及一种数据迁移优化传输方法。
背景技术：
1、水位数据记录在水文、水资源管理、防洪减灾等多个领域是十分重要的，对于大量水位数据的压缩可以减少存储空间的使用，这对于大规模的水文数据来说尤为重要；通过压缩数据，可以节省存储成本，也可以提高数据传输的效率，并且降低传输过程中出现错误的可能性，加快数据处理的速度，使得水文研究人员和水资源管理者能够更快地获取有用的信息，并做出相应的决策。
2、一般使用lzw算法来进行压缩水位数据时候，是根据组合数据出现的前后次序来进行扩展初始字典，如果组合数据位于前，则编码靠前，进行压缩；但是这种方法没有考虑数据的重要程度，假设有两个组合数据a和b，如果a出现的靠前，那么其编码就短，运输起来损失风险就更低；但是a不一定比b更重要，假设a是水位没有变化时候的不重要的数据，b时候水位变化大，此时应重点记录b数据，因为其有可能要发生洪灾，使得其编码更靠前，由此可能使得重要数据在传输过程中丢失或损坏的风险较大，难以确保重要数据传输的安全性。
技术实现思路
1、本发明提供一种数据迁移优化传输方法，以解决现有的问题。
2、本发明的一种数据迁移优化传输方法采用如下技术方案：
3、本发明一个实施例提供了一种数据迁移优化传输方法，该方法包括以下步骤：
4、获取每个时刻目标监测点的水位数据、每个水位数据所处时刻的降水量和水流量以及每个水位数据所处时刻在去年相同时刻的水位数据；获取每个时刻所有上游监测点的水位数据和每个水位数据所处时刻的降水量；获取目标监测点到每个上游监测点的距离；
5、根据目标监测点的所有水位数据，得到目标监测点的每个水位数据的平稳性；根据目标监测点的所有水位数据所处时刻的降水量，得到目标监测点的每个水位数据所处时刻的降雨率；根据目标监测点的每个水位数据的平稳性、所处时刻的降雨率、所有水位数据所处时刻的降水量和水流量，得到目标监测点的每个水位数据的可取性；
6、根据目标监测点的每个水位数据的可取性、所有上游监测点的所有水位数据所处时刻的降水量、目标监测点到每个上游监测点的距离以及目标监测点的每个水位数据所处时刻在去年相同时刻的水位数据，得到目标监测点的每个水位数据的单一重要程度；根据目标监测点的所有水位数据的单一重要程度，得到目标监测点的每个水位数据的对比重要程度；
7、将目标监测点的每一个水位数据作为初始字典的每一个数据；根据初始字典的所有数据和目标监测点的所有水位数据的对比重要程度，得到每个数据的编码位置靠前率；根据所有数据编码位置靠前率，进行数据传输。
8、进一步地，所述根据目标监测点的所有水位数据，得到目标监测点的每个水位数据的平稳性，包括的具体步骤如下：
9、将目标监测点的每个水位数据在时刻上最近的前a个水位数据作为每个水位数据的对比水位数据，其中a为预设的对比数据数量；
10、根据目标监测点的每个水位数据和每个水位数据的所有对比水位数据，得到目标监测点的每个水位数据的平稳性。
11、进一步地，所述根据目标监测点的每个水位数据和每个水位数据的所有对比水位数据，得到目标监测点的每个水位数据的平稳性的具体计算公式为：
12、
13、式中，p'i表示目标监测点的第i个水位数据的平稳性；ai为目标监测点的第i个水位数据的对比水位数据的数量；wi,j表示目标监测点的第i个水位数据的第个j对比水位数据；μi表示目标监测点的第i个水位数据的所有对比水位数据的平均值；exp()为以自然常数为底的指数函数。
14、进一步地，所述根据目标监测点的所有水位数据所处时刻的降水量，得到目标监测点的每个水位数据所处时刻的降雨率，包括的具体步骤如下：
15、将目标监测点的每个水位数据的所有对比水位数据所处时刻的降水量的平均值的归一化值，记为目标监测点的每个水位数据所处时刻的降雨率。
16、进一步地，所述根据目标监测点的每个水位数据的平稳性、所处时刻的降雨率、所有水位数据所处时刻的降水量和水流量，得到目标监测点的每个水位数据的可取性，包括的具体步骤如下：
17、将目标监测点的水位数据作为横轴，降水量作为纵轴，构建降水量二维坐标系；
18、在降水量二维坐标系上，使用最小二乘法，对目标监测点的每个水位数据与其所有对比水位数据对应的数据点进行直线拟合，得到目标监测点的每个水位数据对应的拟合降水量；
19、将目标监测点的水位数据作为横轴，水流量作为纵轴，构建水流量二维坐标系；
20、在水流量二维坐标系上，使用最小二乘法，对目标监测点的每个水位数据与其所有对比水位数据对应的数据点进行直线拟合，得到目标监测点的每个水位数据对应的拟合水流量；
21、根据目标监测点的每个水位数据的平稳性、所处时刻的降雨率、对应的拟合降水量和拟合水流量，得到目标监测点的每个水位数据的可取性。
22、进一步地，所述根据目标监测点的每个水位数据的平稳性、所处时刻的降雨率、对应的拟合降水量和拟合水流量，得到目标监测点的每个水位数据的可取性的具体计算公式为：
23、
24、式中，p”i表示目标监测点的第i个水位数据的可取性；li表示目标监测点的第i个水位数据所处时刻的降雨率；b表示预设的降雨率阈值；p'i表示目标监测点的第i个水位数据的平稳性；vi表示目标监测点的第i个水位数据所处时刻的降水量；v'i表示目标监测点的第i个水位数据对应的拟合降水量；ri表示目标监测点的第i个水位数据所处时刻的水流量；r'i目标监测点的第i个水位数据对应的拟合水流量；||为绝对值函数；exp[]为以自然常数为底的指数函数。
25、进一步地，所述根据目标监测点的每个水位数据的可取性、所有上游监测点的所有水位数据所处时刻的降水量、目标监测点到每个上游监测点的距离以及目标监测点的每个水位数据所处时刻在去年相同时刻的水位数据，得到目标监测点的每个水位数据的单一重要程度的具体计算公式为：
26、
27、式中，k'i表示目标监测点的第i个水位数据的单一重要程度；p”i表示目标监测点的第i个水位数据的可取性；m表示上游监测点的数量；dh表示第h个上游监测点到目标监测点的距离；vh,i+1表示第h个上游监测点的第i+1个水位数据所处时刻的降水量；vh,i表示第h个上游监测点的第i个水位数据所处时刻的降水量；vh,i-1表示第h个上游监测点的第i-1个水位数据所处时刻的降水量；wi表示目标监测点的第i个水位数据；w'i表示目标监测点的第i个水位数据所处时刻在去年相同时刻的水位数据；||为绝对值函数；exp[]为以自然常数为底的指数函数。
28、进一步地，所述根据目标监测点的所有水位数据的单一重要程度，得到目标监测点的每个水位数据的对比重要程度的具体计算公式为：
29、k”i＝norm(k’i+1+k’i-1)×k’i
30、式中，k”i表示目标监测点的第i个水位数据的对比重要程度；k'i+1表示目标监测点的第i+1个水位数据的单一重要程度；k'i-1表示目标监测点的第i-1个水位数据的单一重要程度；k'i表示目标监测点的第i个水位数据的单一重要程度；norm()为线性归一化函数。
31、进一步地，所述根据初始字典的所有数据和目标监测点的所有水位数据的对比重要程度，得到每个数据的编码位置靠前率，包括的具体步骤如下：
32、在初始字典中，将相同的数据，记为一个数据类；
33、根据初始字典的所有数据类中的数据数量和目标监测点的所有水位数据的对比重要程度，得到每个数据的编码位置靠前率。
34、进一步地，所述根据初始字典的所有数据类中的数据数量和目标监测点的所有水位数据的对比重要程度，得到每个数据的编码位置靠前率，包括的具体步骤如下：
35、将初始字典中每个数据所处数据类中的数据数量与初始字典中每个数据所处数据类中的所有数据对应的目标监测点的水位数据的对比重要程度之和的乘积，记为每个数据的编码位置靠前率。
36、本发明的技术方案的有益效果是：
37、本发明实施例中，获取每个时刻目标监测点的水位数据、每个水位数据所处时刻的降水量和水流量以及每个水位数据所处时刻在去年相同时刻的水位数据；获取每个时刻所有上游监测点的水位数据和每个水位数据所处时刻的降水量；获取目标监测点到每个上游监测点的距离，为后续数据分析与计算提供数据基础；根据目标监测点的所有水位数据，得到目标监测点的每个水位数据的平稳性，有助于确定水位数据是否呈现出稳定的趋势；根据目标监测点的所有水位数据所处时刻的降水量，得到目标监测点的每个水位数据所处时刻的降雨率，便于分析每个水位数据的可取性；根据目标监测点的每个水位数据的平稳性、所处时刻的降雨率、所有水位数据所处时刻的降水量和水流量，得到目标监测点的每个水位数据的可取性，确定每个水位数据的可信度和有效性；根据目标监测点的每个水位数据的可取性、所有上游监测点的所有水位数据所处时刻的降水量、目标监测点到每个上游监测点的距离以及目标监测点的每个水位数据所处时刻在去年相同时刻的水位数据，得到目标监测点的每个水位数据的单一重要程度；根据目标监测点的所有水位数据的单一重要程度，得到目标监测点的每个水位数据的对比重要程度，可以优先传输对水文预测和水资源管理最关键的数据；将目标监测点的每一个水位数据作为初始字典的每一种数据；根据初始字典的所有数据和目标监测点的所有水位数据的对比重要程度，得到每个数据的编码位置靠前率，有助于提高数据传输效率和准确性；根据所有数据编码位置靠前率，进行数据传输。至此本发明基于数据的重要程度进行动态更新lzw算法的字典表，使得重要数据在编码表更靠前，确保在运输过程中的安全性。
技术特征：
1.一种数据迁移优化传输方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述一种数据迁移优化传输方法，其特征在于，所述根据目标监测点的所有水位数据，得到目标监测点的每个水位数据的平稳性，包括的具体步骤如下：
3.根据权利要求2所述一种数据迁移优化传输方法，其特征在于，所述根据目标监测点的每个水位数据和每个水位数据的所有对比水位数据，得到目标监测点的每个水位数据的平稳性的具体计算公式为：
4.根据权利要求2所述一种数据迁移优化传输方法，其特征在于，所述根据目标监测点的所有水位数据所处时刻的降水量，得到目标监测点的每个水位数据所处时刻的降雨率，包括的具体步骤如下：
5.根据权利要求1所述一种数据迁移优化传输方法，其特征在于，所述根据目标监测点的每个水位数据的平稳性、所处时刻的降雨率、所有水位数据所处时刻的降水量和水流量，得到目标监测点的每个水位数据的可取性，包括的具体步骤如下：
6.根据权利要求5所述一种数据迁移优化传输方法，其特征在于，所述根据目标监测点的每个水位数据的平稳性、所处时刻的降雨率、对应的拟合降水量和拟合水流量，得到目标监测点的每个水位数据的可取性的具体计算公式为：
7.根据权利要求1所述一种数据迁移优化传输方法，其特征在于，所述根据目标监测点的每个水位数据的可取性、所有上游监测点的所有水位数据所处时刻的降水量、目标监测点到每个上游监测点的距离以及目标监测点的每个水位数据所处时刻在去年相同时刻的水位数据，得到目标监测点的每个水位数据的单一重要程度的具体计算公式为：
8.根据权利要求1所述一种数据迁移优化传输方法，其特征在于，所述根据目标监测点的所有水位数据的单一重要程度，得到目标监测点的每个水位数据的对比重要程度的具体计算公式为：
9.根据权利要求1所述一种数据迁移优化传输方法，其特征在于，所述根据初始字典的所有数据和目标监测点的所有水位数据的对比重要程度，得到每个数据的编码位置靠前率，包括的具体步骤如下：
10.根据权利要求9所述一种数据迁移优化传输方法，其特征在于，所述根据初始字典的所有数据类中的数据数量和目标监测点的所有水位数据的对比重要程度，得到每个数据的编码位置靠前率，包括的具体步骤如下：
技术总结
本发明涉及数字信息的传输技术领域，具体涉及一种数据迁移优化传输方法，包括：获取目标监测点的所有水位数据、降水量和水流量以及上游监测点的水位数据，根据目标监测点的所有水位数据和降水量，计算目标监测点的每个水位数据的平稳性和降雨率，从而得每个水位数据的可取性，结合上游监测点的水位数据，计算目标监测点的每个水位数据的单一重要程度和对比重要程度，将目标监测点的每一个水位数据作为初始字典的每一个数据，结合所有水位数据的对比重要程度，最终得到每个数据的编码位置靠前率，结合LZW算法进行数据传输。本发明基于数据的重要程度进行动态更新LZW算法的字典表，使得重要数据在编码表更靠前，确保在运输过程中的安全性。
技术研发人员：黄凡旗,张豪,陈满,李贻凯,彭煜民,陈泽阳,赵增涛,李建秋,李卓奕,金苗,梁莉雪
受保护的技术使用者：南方电网调峰调频发电有限公司储能科研院
技术研发日：
技术公布日：2024/12/5