数据处理方法、装置、电子设备、存储介质及计算机程序产品与流程

本技术涉及传输与承载，尤其涉及一种数据处理方法、装置、电子设备、存储介质及计算机程序产品。

背景技术：

1、相关技术中，数字产业的快速发展促使数据量爆炸式增，算力资源分布不均造成数据生产和消费间传输需求越来越多，例如东数西算、全国一体化算力网、数据快递、分布式智算广域互联等业务，目前针对大文件长距离传输通常采用然而标准远程直接数据存储(remote direct memory access，rdma)。因为同一个数据流连接的源端和目的端口号相同，一个连接只能选择一条物理网络路径进行传输。这会引入两个问题：

2、1、可靠性问题。单条物理网络路径容易出现链路故障，广域网络多元异构复杂，可靠性问题更加严重。

3、2、带宽利用率问题。广域网络存在多条等价路径，一般使用哈希(hash)算法进行负载均衡，单条流只能被哈希到一条物理路径，无法充分利用有效链路带宽。如果采用多流方式进行传输，由于哈希算法的局限性，容易出现哈希极化，导致多条流的流量在多个链路之间分布不均匀，部分链路堵塞导致数据流的传输效率较低。

技术实现思路

1、为解决广域网络中部分链路堵塞所导致的数据流传输效率低的问题，本技术实施例提供了一种数据处理方法、装置、电子设备、存储介质及计算机程序产品，能够提高针对数据流的传输效率。

2、本技术的技术方案是这样实现的：

3、本技术实施例提供了一种数据处理方法，包括：

4、接收数据发送请求；其中，所述数据发送请求包括：待处理数据；

5、基于每一传输链路的拥堵程度，将所述待处理数据划分为每一所述传输链路对应的数据块；其中，所述数据块的大小与对应的所述传输链路的拥堵程度成反比；

6、通过每一所述传输链路将对应的所述数据块发送至目的端。

7、上述方案中，所述基于每一传输链路的拥堵程度，将所述待处理数据划分为每一所述传输链路对应的数据块，包括：

8、基于确定的每一所述传输链路的往返时延与初始往返时延的差值，确定每一所述传输链路对应的所述数据块的大小；其中，所述往返时延与所述初始往返时延的差值，与所述传输链路对应的所述数据块的大小成反比；所述往返时延是在每一所述传输链路对前一数据传输时确定的；

9、基于每一所述数据块的大小，对所述待处理数据进行划分，确定每一所述传输链路对应的所述数据块。

10、上述方案中，所述基于确定的每一所述传输链路的往返时延与初始往返时延的差值，确定每一所述传输链路对应的所述数据块的大小之前，所述方法还包括：

11、从网络控制节点获取每一所述传输链路对应的所述往返时延和所述初始往返时延，或者从所述网络控制节点获取每一所述传输链路对应的所述往返时延和所述初始往返时延的差值。

12、上述方案中，所述基于确定的每一所述传输链路的往返时延与初始往返时延的差值，确定每一所述传输链路对应的所述数据块的大小之前，所述方法还包括：

13、在每一所述传输链路初始化时进行轻负载的往返时延探测，确定每一所述传输链路对应的所述初始往返时延。

14、上述方案中，所述基于确定的每一所述传输链路的所述往返时延与初始往返时延的差值，确定每一所述传输链路对应的所述数据块的大小之前，所述方法还包括：

15、在每一所述传输链路基于历史拥堵程度针对所述前一数据的传输过程中，确定每一所述传输链路对应的所述往返时延。

16、上述方案中，所述在每一所述传输链路基于历史拥堵程度针对所述前一数据的传输过程中，确定每一所述传输链路对应的所述往返时延，包括：

17、基于每一所述传输链路的所述历史拥堵程度，将所述前一数据划分为每一所述传输链路对应的历史数据块；其中，所述历史数据块的大小与历史拥堵程度成反比；

18、将所述历史数据块封装在发送报文中，通过每一所述传输链路发送给所述目的端；

19、接收所述目的端响应所述发送报文，反馈的返回报文；

20、基于所述发送报文和所述返回报文的传输时长，确定所述往返时延。

21、上述方案中，所述将所述历史数据块封装在发送报文中，通过每一所述传输链路发送给所述目的端，包括：

22、基于每一所述传输链路的最大传输单元，将每一所述历史数据块划分为多个历史数据子块；

23、按照多个所述历史数据子块的发送顺序将每一历史数据子块封装在子发送报文中，发送给所述目的端；其中，所述子发送报文中包括：所述子发送报文的第一子发送时间戳、针对前一子返回报文的子接收时长、链路标识、编码和探测标志位；所述探测标志位用于表征是否需要所述目的端针对所述子发送报文反馈所述子返回报文。

24、上述方案中，同一所述传输链路中各个所述子发送报文中的所述编码单调递增，且不同所述传输链路的所述子发送报文中的所述编码相互解耦。

25、上述方案中，所述接收所述目的端响应所述发送报文，反馈的返回报文，包括：

26、接收所述目的端响应第一子发送报文，反馈的第一子返回报文；其中，所述第一子返回报文中包括：所述第一子返回报文的第二子发送时间戳、第一子发送时长和对应的所述第一子发送报文中的所述编码；所述第一子发送时长是基于对应的所述第一子发送报文的所述第一子发送时间戳和第一子接收时间戳确定的；所述第一子发送报文是所述探测标志位用于表征需要所述目的端针对所述第一子发送报文反馈所述第一子返回报文的子发送报文。

27、上述方案中，所述基于所述发送报文和所述返回报文的传输时长，确定所述往返时延，包括：

28、基于接收所述第一子返回报文的第二子接收时间戳和所述第二子发送时间戳确定每一所述第一子返回报文的第一子接收时长，并基于每一所述第一子接收时长和对应的所述第一子发送时长确定所述往返时延。

29、上述方案中，所述方法还包括：

30、若所述第一子发送时长和所述第一子接收时长中的至少一个异常，则将下一所述历史数据子块封装在第二子发送报文中，发送给所述目的端；其中，所述第二子发送报文中包括：所述第二子发送报文的第三子发送时间戳、所述第一子接收时长、所述链路标识、所述编码和所述探测标志位；所述第二子发送报文中的所述探测标志位用于表征需要所述目的端针对所述第二子发送报文反馈第二子返回报文；

31、接收所述目的端响应所述第二子发送报文，反馈的所述第二子返回报文；其中，所述第二子返回报文中包括：针对所述第二子返回报文的第四子发送时间戳、第二子发送时长和所述编码；所述第二子发送时长是基于所述发送端的所述第三子发送时间戳和针对所述第二子发送报文的第三子接收时间戳确定的；

32、基于接收所述第二子返回报文的第四子接收时间戳和所述第四子发送时间戳，确定所述第二子返回报文的第二子接收时长，并基于所述第二子接收时长和所述第二子发送时长确定所述初始往返时延。

33、上述方案中，所述通过每一所述传输链路将对应的所述数据块发送至目的端，包括：

34、基于每一所述传输链路的最大传输单元，将每一所述数据块划分为多个数据子块；

35、将每一所述数据子块封装在当前发送报文中，发送给所述目的端。

36、本技术实施例还提供了一种数据处理装置，应用于发送端，包括：

37、接收单元，用于接收数据发送请求；其中，所述数据发送请求包括：待处理数据；

38、数据划分单元，用于基于每一传输链路的拥堵程度，将所述待处理数据划分为每一所述传输链路对应的数据块；其中，所述数据块的大小与对应的所述传输链路的拥堵程度成反比；

39、发送单元，用于通过每一所述传输链路将对应的所述数据块发送至目的端。

40、本技术实施例还提供了一种电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法中的步骤。

41、本技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法中的步骤。

42、本技术实施例还提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述方法中的步骤。

43、本技术实施例中，通过接收数据发送请求；其中，所述数据发送请求包括：待处理数据；基于每一传输链路的拥堵程度，将所述待处理数据划分为每一所述传输链路对应的数据块；其中，所述数据块的大小与对应的所述传输链路的拥堵程度成反比；通过每一所述传输链路将对应的所述数据块发送至目的端。由于每一传输链路上的负载是根据该传输链路上的拥堵程度反比例确定的，在拥堵程度越小的时候负载就越多，可以充分利用广域网络多条等价路径带宽以及多条等价路径带来的可靠性，减少部分传输链路传输堵塞的情况发生，进而提高了待处理数据的传输效率。

技术特征：

1.一种数据处理方法，其特征在于，应用于发送端，包括：

2.根据权利要求1所述的数据处理方法，其特征在于，所述基于每一传输链路的拥堵程度，将所述待处理数据划分为每一所述传输链路对应的数据块，包括：

3.根据权利要求2所述的数据处理方法，其特征在于，所述基于确定的每一所述传输链路的往返时延与初始往返时延的差值，确定每一所述传输链路对应的所述数据块的大小之前，所述方法还包括：

4.根据权利要求2所述的数据处理方法，其特征在于，所述基于确定的每一所述传输链路的往返时延与初始往返时延的差值，确定每一所述传输链路对应的所述数据块的大小之前，所述方法还包括：

5.根据权利要求2所述的数据处理方法，其特征在于，所述基于确定的每一所述传输链路的所述往返时延与初始往返时延的差值，确定每一所述传输链路对应的所述数据块的大小之前，所述方法还包括：

6.根据权利要求5所述的数据处理方法，其特征在于，所述在每一所述传输链路基于历史拥堵程度针对所述前一数据的传输过程中，确定每一所述传输链路对应的所述往返时延，包括：

7.根据权利要求6所述的数据处理方法，其特征在于，所述将所述历史数据块封装在发送报文中，通过每一所述传输链路发送给所述目的端，包括：

8.根据权利要求7所述的数据处理方法，其特征在于，同一所述传输链路中各个所述子发送报文中的所述编码单调递增，且不同所述传输链路的所述子发送报文中的所述编码相互解耦。

9.根据权利要求7所述的数据处理方法，其特征在于，所述接收所述目的端响应所述发送报文，反馈的返回报文，包括：

10.根据权利要求9所述的数据处理方法，其特征在于，所述基于所述发送报文和所述返回报文的传输时长，确定所述往返时延，包括：

11.根据权利要求9所述的数据处理方法，其特征在于，所述方法还包括：

12.根据权利要求1至11任一项所述的数据处理方法，其特征在于，所述通过每一所述传输链路将对应的所述数据块发送至目的端，包括：

13.一种数据处理装置，其特征在于，应用于发送端，包括：

14.一种电子设备，其特征在于，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至12任一项所述方法中的步骤。

15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至12任一项所述方法中的步骤。

16.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序在被处理器执行时实现权利要求1至12任一项所述方法中的步骤。

技术总结
本申请提供了一种数据处理方法、装置、电子设备、存储介质及计算机程序产品，涉及技术领域为：传输与承载技术领域，方法包括：通过接收数据发送请求；其中，所述数据发送请求包括：待处理数据；基于每一传输链路的拥堵程度，将所述待处理数据划分为每一所述传输链路对应的数据块；其中，所述数据块的大小与对应的所述传输链路的拥堵程度成反比；通过每一所述传输链路将对应的所述数据块发送至目的端。通过本申请实施例中的技术方案可以提高待处理数据的传输效率。

技术研发人员：李志强,陆璐,孙滔,段晓东,杨红伟
受保护的技术使用者：中国移动通信有限公司研究院
技术研发日：
技术公布日：2024/12/5