面向空天地一体化网络的切片划分与协作卸载方法

本发明涉及移动边缘计算，具体涉及一种面向空天地一体化网络的切片划分与协作卸载方法。

背景技术：

1、随着人工智能与通信领域的快速发展，越来越多智能应用(如，无人驾驶、虚拟现实等)融入人们的日常生活，其通常需要消耗大量计算与存储资源以保证服务质量(quality-of-service，qos)。然而，受限于移动设备的计算架构与能量储备，这类智能应用的高资源需求难以被满足。针对这一问题，移动边缘计算(mobile edge computing，mec)被视为一种具有前景的新型计算范式。在mec中，mec服务器能够处理卸载的用户移动设备的任务，并在完成后将结果返回给用户，从而更好地支持智能应用复杂的计算需求。与传统的云计算相比，mec通过将计算与存储资源部署在更加靠近用户的网络边缘，显著降低了任务请求的响应时延，进而有效提高qos。

2、然而，移动用户离散的位置分布与多样化的服务需求对mec网络架构的灵活性提出了更高的要求。固化的地面接入网络的服务覆盖范围有限，难以满足动态多变的用户服务需求。作为一种新兴的网络架构，空天地一体化网络(space-air-ground integratednetworks，sagin)在地面网络的基础之上，协同空基和天基网络，可为移动用户提供一种更为全面且灵活的网络接入。在sagin中，地面网络(如，基站)可服务其附近的用户；而空基和天基网络通常由卫星和无人机组成，能够为偏远地区的用户提供服务，并可在一定程度上缓解用户密集区域的服务器负载压力。但同时，sagin中的异构节点协作与多样化资源分配也增加了资源管理的难度。基于网络功能虚拟化和软件定义网络技术，网络切片技术旨在根据用户需求将物理网络划分为多个逻辑上独立的网络，是实现高效异构资源管理的一种潜在可行的解决方案。通过引入网络切片可搭建一种面向sagin的网络架构，进而边缘服务提供商(edge service provider，esp)可通过编排与配置切片资源并将不同服务部署至合适切片，以满足不同用户的服务需求。

3、在真实sagin场景中，用户流量复杂多变，其请求数量和资源需求通常会随时间动态变化。静态的网络切片方案难以适应这种动态环境，导致所划分的切片资源不足或过剩，这严重影响了qos与esp收益。然而，频繁的切片资源划分操作也会造成额外的系统开销。通过合理规划切片划分的资源与时机，可在高效利用资源的同时降低频繁的切片资源划分操作所带来的额外开销。因此，如何针对动态变化的网络切片设计一种高效的协作卸载与资源分配机制是一个值得进一步深入研究的问题。现有研究工作通常采用的是迭代算法或控制理论，难以适应需要异构平台之间进行高效协作的动态sagin环境。在机器学习领域内，新兴的深度强化学习(deepreinforcementlearning，drl)已在资源管理相关领域问题中展现出了初步的应用潜力，为解决复杂问题提供了新的视角和方法。通过不断与动态环境进行交互，drl智能体有望逐步优化协作卸载与资源分配决策，进而提升系统资源利用效率与esp收益。虽然drl是一种具有前景的解决方案，但现有基于drl的相关工作通常存在q值过高估计或方差过大问题，导致智能体在训练过程中容易出现收敛不稳定或陷入局部最优的情况。

技术实现思路

1、本发明的目的在于提供一种面向空天地一体化网络的切片划分与协作卸载方法，该方法有利于提高系统资源利用效率与任务完成率。

2、为了实现上述目的，本发明采用的技术方案是：一种面向空天地一体化网络的切片划分与协作卸载方法，包括以下步骤：

3、(1)收集esp历史用户流量，对未来用户流量进行预测，并计算出esp所需的资源需求，esp根据该资源需求在每个切片窗口的开始时刻执行网络切片划分；

4、(2)基础设施提供商响应esp的资源划分请求，为其划分网络切片；

5、(3)用户通过sagin接入并上传计算卸载请求至esp；

6、(4)esp根据用户接入位置和请求类型，为其分配合适的边缘服务器，并根据任务属性和用户优先级分配通信和计算资源；

7、(5)在协作卸载过程中，记录各个时隙的状态采取的动作、获得的奖励以及转入的新状态，并根据以上信息，持续优化自身性能。

8、进一步地，所述sagin由地面基站bs、无人机和卫星构成，用户通过sagin接入esp所提供的计算卸载服务；其中，将sagin覆盖的整个区域划分为3个独立的区域：bs覆盖的区域、无人机覆盖的区域以及bs和无人机均没有覆盖到的区域，bs和无人机分别为不同区域内的用户提供服务，而卫星能够为bs和无人机均没有覆盖到区域的用户提供服务，卫星与bs、无人机进行直接通信，而bs和无人机之间通过卫星的转发进行间接通信；所有用户记为集合u＝{u1,u2,...,un}，卫星、bs和无人机所配备的服务器分别定义为lsat、luav和lbs，所有服务器记为集合l＝lsat∪luav∪lbs＝{l1,l2,...,lm}；考虑到不同区域卸载请求的差异性，将在时隙t服务器lj覆盖区域内收到的卸载请求数量记为nj；因此，esp需要处理的卸载请求总数等于各区域请求数量之和，即

9、所述sagin的切片模型为：

10、将卫星、bs和无人机的物理资源编排成资源定制的网络切片；对于服务器lj，其所拥有的带宽和计算资源分别记为和将系统时隙划分为w个切片窗口，每个切片窗口w包含若干个时隙t；esp在切片窗口w划分到的带宽和计算资源分别记为和在每个切片窗口的开始时刻，esp通过分析各区域接收到的历史请求以预测未来需求，进而进行合适的切片资源划分；

11、所述sagin的通信模型为：

12、当用户ui向esp发起计算卸载请求时，其过程主要包含四个阶段，即请求接入、平台协作、任务执行与结果返回；ui的任务属性记为五元组{ai,ci,oi,ρi,li}，其中各元素分别表示任务的数据量、所需的算力、类型、优先级和ui所接入的服务器；根据任务数据量和所需算力，任务的类型oi分为通信密集型cmi和计算密集型cpi；、任务的优先级ρi表示完成任务所能获得的回报等级；

13、当esp处理计算卸载请求时，需要考虑ui所处的区域；若ui处于bs或无人机的覆盖范围内，优先通过bs或无人机接入计算卸载服务；否则，ui只能通过卫星接入计算卸载服务；esp分配给ui的带宽记为bi，则ui的任务接入lj的上行传输速率为：

14、

15、其中，pi是ui的上传功率，g0与σ2分别是ui与lj之间的信道增益与高斯白噪声功率；将ui的任务请求接入lj所需的时间为：

16、

17、当任务上传至lj后，esp根据ui的接入位置与任务类型将其分配到相应的服务器lj'；当ui通过bs接入计算卸载服务时，cmi和cpi任务均在bs上执行；当ui通过无人机或卫星接入计算卸载服务时，cmi任务直接在无人机或卫星上执行，而cpi任务被转发至拥有更丰富计算资源的bs上执行；相应地，将ui的任务数据从lj转发至lj'所需的传输时间为：

18、

19、其中，ru2s表示无人机与卫星之间的数据传输速率，rs2b表示bs与卫星之间的数据传输速率；

20、所述sagin的计算模型为：

21、当用户任务被卸载至相应的服务器时，esp为其分配计算资源；用户ui的任务所分配到的cpu算力记为fi，则执行该任务所需的时间为：

22、

23、任务执行完成后，用户将收到结果反馈；

24、完成ui任务的总时间为：

25、

26、所述sagin的收益模型为：

27、若完成任务的总时间小于其最大容忍时延，则esp得到单位回报φ；否则，esp无法获得回报；因此，在t时刻，esp从ui获得的回报为：

28、

29、同时，考虑不同任务的优先级存在差异，完成高优先级任务所获得的奖励会相对更高；因此，在时隙t，esp完成任务所获得的总回报为：

30、

31、此外，esp提供计算卸载服务需要一定成本，其与任务实际所使用的资源数量有关；因此，在时隙t，esp的资源租用总成本为：

32、

33、其中，和分别表示带宽与计算资源的单位租用价格；因此，在时隙t，esp获得的收益表示为rt-ct。

34、进一步地，基于所述sagin的切片模型、通信模型、计算模型和收益模型，考虑在每个切片窗口开始时刻，对切片资源进行划分，并在每个时隙执行相应的协作卸载策略及通信和计算资源分配决策，以最大化esp的累计总收益；因此，优化问题定义为：

35、

36、其中，限制条件c1和c2分别表示lj中的服务器在切片窗口w内所租用的通信和计算资源不超过lj所拥有的总资源；限制条件c3和c4分别表示每个时隙分配给用户的通信和计算资源不超过该切片窗口内所租用的总资源；将优化问题分解为切片划分与协作卸载两个对应时隙上的子问题：

37、p1：确定合适的切片资源划分策略，使得esp的长期收益最大化；将该子问题定义为：

38、

39、通过决策在每个切片窗口内的资源划分求解p1，使得esp的长期收益最大化；考虑到在现实边缘环境中，esp难以精准获取用户实际的资源需求，因此通过分析历史的用户请求流量，将其转化为esp资源需求；

40、p2：执行协作卸载和资源分配，使得esp的短期收益最大化；将该子问题定义为：

41、

42、p2的目标是在每个时隙t，通过协作卸载将不同类型的任务传输至合适的服务器，进而通过合适的资源分配以最大化当前时隙esp的收益；由于每个时隙所需处理的任务及其请求数量不同，esp需要调整和优化协作卸载与资源分配决策以满足用户任务的资源需求；

43、所述切片划分与协作卸载方法融合了基于transformer的切片资源划分方法和基于改进drl的协作卸载与资源分配方法；首先，利用transformer预测未来时隙的用户流量，进而指导esp对切片资源进行划分；接着，通过解决q值高估和高方差问题，进而实现协作卸载与资源分配的优化以最大化esp的收益。

44、进一步地，所述基于transformer的切片资源划分方法的实现方法为：

45、首先，通过用户历史请求流量构造编码器和解码器的输入；在构造编码器时采用稀疏概率自注意力并在层之间利用自注意力蒸馏以降低计算开销；从第j层向第j+1层的特征提取过程表示为：

46、

47、

48、其中，[·]attention表示稀疏自注意力，d是xlt的维度，conv1d表示一维卷积，elu为激活函数，maxpool为最大池化；

49、接着，将编码器的输出送入解码器，其由一层多头稀疏概率自注意力机制和一层多头注意力机制构成；随后，将解码器的输出送入mlp，经过推理得到未来流量的预测序列；接着，对时隙预测流量取最大值以作为下一切片窗口内的预测流量，并按照任务类型和接入平台对其进行分类；各平台的通信资源需求为其覆盖范围内所有类型任务的单位通信资源需求与对应类型请求流量的乘积，即其中bcmi和bcpi分别表示cmi和cpi任务所需的平均通信带宽、和分别表示预测的cmi和cpi任务流量；bs覆盖范围内cmi任务所需的计算资源为其他区域内的cpi任务为其中fcmi和fcpi分别表示cmi和cpi任务所需的平均计算资源需求；卫星和无人机将其覆盖范围内的cpi任务转发至bs执行，因此bs的计算资源需求为而无人机和卫星只需处理其覆盖范围内的cmi任务，因此其计算资源需求分别为和

50、进一步地，在完成切片窗口内的切片资源划分之后，不同切片窗口之间的卸载过程是相对独立的；因此，将p2中最大esp累计收益的长期优化问题转化为单个切片窗口内的短期优化问题，且将该问题构建为一个马尔科夫决策过程；将sagin视为环境，将esp抽象为drl智能体，其通过与环境交互进行协作卸载与资源分配的决策，进而通过环境反馈的奖励信号来更新策略；状态空间、动作空间和奖励函数定义如下；

51、(1)状态空间：在时隙t内，通过感知可用的通信与计算资源以及任务属性信息，智能体捕获到任务的需求及对应所需的资源；因此，在时隙t的系统状态表示为：

52、

53、其中，

54、(2)动作空间：动作空间包含给用户分配通信和计算资源的动作；因此，在t时隙的动作表示为：

55、at＝{bt,ft} (15)

56、其中，

57、(3)奖励函数：问题p2旨在实现esp在每个时隙内的短期收益最大化；因此，奖励函数定义为在时隙t的esp收益，其表示为：

58、rt＝rt-ct (16)

59、所述基于改进drl的协作卸载与资源分配方法的实现方法为：

60、首先，初始化主网络q1、q2和μ与目标网络q'1、q'2和μ'；引入两个相同结构的q值网络，在计算目标值时，采用其中的最小值来估计下一个状态-动作对的价值；接着，初始化经验回放缓存rb、切片窗口数量w以及每个切片窗口内的时隙数量t；为了降低经验数据之间的关联性与提升整体的训练效率，引入经验回放机制；在训练周期的开始阶段，对系统环境进行初始化并获取其初始状态；在每个切片窗口的开始时刻，通过基于transformer的切片资源划分方法预测未来时隙用户流量并执行切片资源划分；在时隙t，根据策略网络和探索噪声选择动作；接着，执行动作后并获得环境反馈的即时奖励和下一个状态；随后，将与环境交互过程中产生的训练样本(st,at,rt,st+1)存入经验回放缓存rb；接着，从rb中随机取出k个样本用于更新网络参数；基于目标策略平滑正则化，利用目标策略网络得到目标动作该过程表示为：

61、

62、其中，噪声服从正态分布并对采样的噪声进行了裁剪，以降低目标估计的方差；接着，目标q值ytarget基于两个q值网络的最小值来更新，该过程表示为：

63、

64、最后，利用梯度下降算法最小化评估值和目标值之间的误差，进而更新q值网络参数；当q值网络更新一定次数时，再分别使用梯度上升和软更新的方式更新策略网络参数和目标网络参数。

65、与现有技术相比，本发明具有以下有益效果：本发明提供了一种新型的面向空天地一体化网络的切片划分与协作卸载方法，以解决现有技术存在的问题；在sagin的服务范围内，用户能够接入esp所提供的定制化服务，并传输至可用的边缘服务器；基于对历史用户流量变化趋势的分析，esp对切片资源进行合理划分；为了实现协作卸载和资源分配策略的优化，drl被引入与动态的sagin交互，以最大化esp的长期累计收益为优化目标进行决策，进而提高系统资源利用效率与任务完成率。

技术特征：

1.一种面向空天地一体化网络的切片划分与协作卸载方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的面向空天地一体化网络的切片划分与协作卸载方法，其特征在于，所述sagin由地面基站bs、无人机和卫星构成，用户通过sagin接入esp所提供的计算卸载服务；其中，将sagin覆盖的整个区域划分为3个独立的区域：bs覆盖的区域、无人机覆盖的区域以及bs和无人机均没有覆盖到的区域，bs和无人机分别为不同区域内的用户提供服务，而卫星能够为bs和无人机均没有覆盖到区域的用户提供服务，卫星与bs、无人机进行直接通信，而bs和无人机之间通过卫星的转发进行间接通信；所有用户记为集合u＝{u1,u2,...,un}，卫星、bs和无人机所配备的服务器分别定义为lsat、luav和lbs，所有服务器记为集合l＝lsat∪luav∪lbs＝{l1,l2,…,lm}；考虑到不同区域卸载请求的差异性，将在时隙t服务器lj覆盖区域内收到的卸载请求数量记为nj；因此，esp需要处理的卸载请求总数等于各区域请求数量之和，即

3.根据权利要求2所述的面向空天地一体化网络的切片划分与协作卸载方法，其特征在于，基于所述sagin的切片模型、通信模型、计算模型和收益模型，考虑在每个切片窗口开始时刻，对切片资源进行划分，并在每个时隙执行相应的协作卸载策略及通信和计算资源分配决策，以最大化esp的累计总收益；因此，优化问题定义为：

4.根据权利要求3所述的面向空天地一体化网络的切片划分与协作卸载方法，其特征在于，所述基于transformer的切片资源划分方法的实现方法为：

5.根据权利要求3所述的面向空天地一体化网络的切片划分与协作卸载方法，其特征在于，在完成切片窗口内的切片资源划分之后，不同切片窗口之间的卸载过程是相对独立的；因此，将p2中最大esp累计收益的长期优化问题转化为单个切片窗口内的短期优化问题，且将该问题构建为一个马尔科夫决策过程；将sagin视为环境，将esp抽象为drl智能体，其通过与环境交互进行协作卸载与资源分配的决策，进而通过环境反馈的奖励信号来更新策略；状态空间、动作空间和奖励函数定义如下；

技术总结
本发明涉及一种面向空天地一体化网络的切片划分与协作卸载方法，包括以下步骤：（1）收集ESP历史用户流量，对未来用户流量进行预测，并计算出ESP所需的资源需求，ESP根据该资源需求在每个切片窗口的开始时刻执行网络切片划分；（2）基础设施提供商响应ESP的资源划分请求，为其划分网络切片；（3）用户通过SAGIN接入并上传计算卸载请求至ESP；（4）ESP根据用户接入位置和请求类型，为其分配合适的边缘服务器，并根据任务属性和用户优先级分配通信和计算资源；（5）在协作卸载过程中，记录各个时隙的状态采取的动作、获得的奖励以及转入的新状态，并根据以上信息，持续优化自身性能。该方法有利于提高系统资源利用效率与任务完成率。

技术研发人员：陈哲毅,王鹏飞,张俊杰,郑霖睿
受保护的技术使用者：福州大学
技术研发日：
技术公布日：2024/12/5