一种面向大模型的云边算力协同数据处理方法

本发明涉及云边算力计算，尤其是涉及一种面向大模型的云边算力协同数据处理方法。

背景技术：

1、随着信息技术的飞速发展，云计算和边缘计算已经成为现代数据处理的两大支柱。云计算凭借其强大的远程计算能力和存储能力，为大数据分析、机器学习等提供了坚实的基础。边缘计算则以其接近数据源的地理位置和低延迟特性，为实时数据处理和隐私保护提供了新的解决方案。然而，这两种计算模式各自存在局限性：云计算可能因网络延迟而影响实时应用的性能，而边缘计算受限于边缘设备的有限资源，难以处理大规模的复杂计算任务。

2、transformer架构自2017年提出以来，以其独特的自注意力机制在自然语言处理领域取得了革命性的进展。该架构通过允许模型在序列内的所有位置进行直接交互，显著提升了序列到序列任务的性能，如机器翻译、文本摘要等。然而，随着模型不断扩大和复杂化，其在设备上的计算资源需求逐渐增加，这在资源受限的设备中难以实现模型训练和推理。

技术实现思路

1、本发明的目的是为了提供一种面向大模型的云边算力协同数据处理方法，通过两级分布式训练策略、参数共享机制和自适应学习算法的引入，充分利用云端和边缘设备的计算资源，提高大规模数据处理能力和效率。

2、本发明的目的可以通过以下技术方案来实现：

3、一种面向大模型的云边算力协同数据处理方法，包括以下步骤：

4、模型构建与部署：构建八爪鱼仿生结构神经网络模型，并分别部署于云端和边缘端的多个处理器中，其中，云端中的一个处理器被设为主处理器；

5、参数初始化：云端的主处理器初始化模型全局参数并将全局参数下发至云端和边缘端的其他处理器；

6、自适应任务分配：采用自适应学习算法根据实时的计算资源情况进行云端和边缘端的数据处理任务分配决策；

7、模型并行训练：根据输入数据，云端和边缘端根据任务分配决策结果进行模型并行训练，实现参数共享与更新，训练过程中，边缘端根据重塑因子进行边缘端模型重构；

8、模型融合：对云端和边缘端训练完成的模型参数和特征数据进行融合，更新模型全局参数，并将更新后的全局参数下发至边缘端的处理器，重复自适应任务分配和模型并行训练过程，直至数据处理完成。

9、所述八爪鱼仿生结构神经网络模型中每一层等同八爪鱼的神经元，整体架构采用八爪鱼的结构形状，包括依次连接的输入层、特征提取层、特征读取层和输出层，其中，所述特征提取层包括多个触手，每一触手提取一种特征信息，特征读取层基于特征提取层每条触手提取的信息进行特征向量计算。

10、所述全局参数包括八爪鱼仿生结构神经网络模型的权重和偏置，表示为：

11、θtotal＝{wi,bi,wo,bo|i＝0,1,…,n}

12、其中wi表示第i层的权重矩阵，bi表示第i层的偏置向量，wo和bo分别表示输出层的权重矩阵和偏置向量，n是模型的层数；

13、全局参数的集合被划分为两个子集{θcloud,θedge}，其中，云端参数子集θcloud中的参数被下发到云端的其他处理器进行训练，边缘端参数子集θedge中的参数被下发到边缘端的处理器进行训练；其中，每个子集中的参数被不重复的划分到不同的处理器中进行训练。

14、所述模型并行训练具体为：根据网络结构的特点，以输入词的维度为标准进行分割，使得每个处理器只存储部分词向量，通过allreduce的通信方式汇总得到总的词向量；将模型参数矩阵划分到多个处理器中，每个处理器分别处理相应参数，并通过allgather的通信方式汇总结果。

15、所述边缘端根据重塑因子进行边缘端模型重构具体为：根据每个边缘端的处理器数量q垂直分割模型中的相关性计算块，得到对应的子集ω＝{a1,a2,…,ai},i＝1,2,…,q，每个边缘端处理器ei有一个重塑因子er，用于控制当前边缘端的网络结构重塑机制，所述网络结构重塑机制表示为：

16、

17、其中，n表示第m层网络中子模块的数量，pl表示边缘端ei中第m层网络的参数，ptotal表示边缘端网络的总参数，lm表示重塑后第m层网络的模块数量。

18、所述八爪鱼仿生结构神经网络模型通过以下公式进行参数更新：

19、

20、其中，α是一个介于0和1之间的共享因子，用于平衡云端和边缘端参数的更新。

21、所述参数共享与更新具体的实现方式为：云端和边缘端通过云边通信进行参数共享，并设置更新频率f，所述更新频率由相邻同步更新参数的时间间隔t计算得到，当云端两次时间间隔内没有收到边缘端ei的更新参数时，启动云端补偿训练，根据历史和云端的参数集进行模型训练。

22、设训练场景为si,i＝1,2,…,a，训练任务为tj,j＝1,2,…,a，计算场景-任务相关性，β表示场景si和训练任务tj之间的相关性，每个边缘端各自计算自己的训练任务和场景之间的相关性，并通过基于场景-任务交互共享机制学习其他边缘端的能力，其中，所述相关性的计算方法为：

23、β＝random_forest(si,tj)

24、其中，random_forest表示场景-任务相关性计算算法。首先从原始数据有放回抽样，并构造子集，子集数据和原始数据相同，子集之间可以有重复的数据。基于子集构造树，并选择对场景si重要性较高的特征，其重要性程度作为场景si和任务ti的相关性程度。

25、所述自适应任务分配具体为：

26、定义一个资源利用率函数u(t)表示云端和边缘设备在特定时间内的资源利用情况：

27、

28、其中rcloud(t)和redge(t)分别表示云端和边缘端在时间t的资源利用率，rtotal(t)是总的可用资源；

29、根据资源利用率u(t)，自适应学习算法调整模型任务在云端和边缘端的分配情况，以优化整体的计算效率，具体的：设置云端和边缘端同步适用的网络层参与训练有效程度参数τ，网络每层之间相互独立，通过τ的变化实行网络层末位淘汰，当网络层li的τ低于预设阈值γ时，对该层进行剪枝操作：

30、

31、其中，d表示决策函数，f表示剪枝操作函数；根据决策函数f(d)基于当前设备资源和任务的特点完成分配策略；首先，根据当前资源利用状态构建状态表，包含当前执行的任务索引index、云端资源利用情况和边缘端利用情况并计算云端和边缘端各自剩余资源情况。根据当前云端和边缘端剩余情况，结合不同任务使用资源情况，动态调整云端和边缘端的任务分配，满足任务执行数量最大化，云端和边缘端所剩资源极小化。

32、采用学习率动态调度调整模型的整个训练：

33、l(t+1)＝l(t)·υ·p

34、其中，l(t)表示t时刻的学习率，υ为调整学习率的因子，p是表示模型表现的函数；

35、计算模型的复杂度，并基于复杂度进行模型调整，将简单的推理任务适配模型层数少的结构，并部署在边缘端，其中调整模型复杂度的方法为：

36、θ(t+1)＝ac(θ(t),rcloud(t),redge(t),tassigned)

37、其中，参数θ(t)表示t时刻的参数集，ac为更新函数，包含t时刻的参数集，云端和边缘端资源利用情况以及任务分配情况。当边缘端执行任务复杂度较低时，减少边缘端模型的层数，降低参数复杂度和释放部分边缘端资源空间。

38、所述对云端和边缘端训练完成的模型参数和特征数据进行融合具体为：融合云端和边缘端处理器之间的模型参数和特征数据，云端对接收到的模型参数矩阵做加法和乘法运算，得到融合后的全局参数并保存，同时，对接收到的特征数据进行融合并保存。

39、与现有技术相比，本发明具有以下有益效果：

40、(1)本发明提出了一种八爪鱼仿生结构神经网络模型，实现云边算力的协同，来提高计算资源的利用效率，这种架构能在充分利用云计算的强大计算能力和边缘计算的低延迟优势的同时，保持模型在处理序列数据方面的高效并行计算性能，云边算力协同将云端和边缘设备的计算资源有机结合，放置部分计算任务到边缘设备，减少云端符合并降低传输延迟。

41、(2)本发明的仿生结构神经网络模型在transformer架构基础上考虑历史性序列数据，并计算和当前序列之间的相关性来准确预测未来的序列状态，避免历史数据遗忘并减少数据冗余，适用于处理长序列数据。

42、(3)本发明采用两级训练策略，引入自适应学习算法，根据实时计算资源情况动态调整任务分配，灵活分配计算任务给云端和边缘设备，实现动态计算资源协同，充分利用可用计算资源，提高整体计算效率。

43、(4)本发明引入参数共享机制，实现云端和边缘设备共享部分参数，更新边缘设备在本地的部分参数，减少云端和边缘设备之间的参数传输，提高了模型推理效率。

技术特征：

1.一种面向大模型的云边算力协同数据处理方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种面向大模型的云边算力协同数据处理方法，其特征在于，所述八爪鱼仿生结构神经网络模型中每一层等同八爪鱼的神经元，整体架构采用八爪鱼的结构形状，包括依次连接的输入层、特征提取层、特征读取层和输出层，其中，所述特征提取层包括多个触手，每一触手提取一种特征信息，特征读取层基于特征提取层每条触手提取的信息进行特征向量计算。

3.根据权利要求1所述的一种面向大模型的云边算力协同数据处理方法，其特征在于，所述全局参数包括八爪鱼仿生结构神经网络模型的权重和偏置，表示为：

4.根据权利要求1所述的一种面向大模型的云边算力协同数据处理方法，其特征在于，所述模型并行训练具体为：根据网络结构的特点，以输入词的维度为标准进行分割，使得每个处理器只存储部分词向量，通过allreduce的通信方式汇总得到总的词向量；将模型参数矩阵划分到多个处理器中，每个处理器分别处理相应参数，并通过al1gather的通信方式汇总结果。

5.根据权利要求1所述的一种面向大模型的云边算力协同数据处理方法，其特征在于，所述边缘端根据重塑因子进行边缘端模型重构具体为：根据每个边缘端的处理器数量q垂直分割模型中的相关性计算块，得到对应的子集ω＝{a1，a2，…，ai}，i＝1，2，…，q，每个边缘端处理器ei有一个重塑因子er，用于控制当前边缘端的网络结构重塑机制，所述网络结构重塑机制表示为：

6.根据权利要求3所述的一种面向大模型的云边算力协同数据处理方法，其特征在于，所述八爪鱼仿生结构神经网络模型通过以下公式进行参数更新：

7.根据权利要求1所述的一种面向大模型的云边算力协同数据处理方法，其特征在于，所述参数共享与更新具体的实现方式为：云端和边缘端通过云边通信进行参数共享，并设置更新频率f，所述更新频率由相邻同步更新参数的时间间隔t计算得到，当云端两次时间间隔内没有收到边缘端ei的更新参数时，启动云端补偿训练，根据历史和云端的参数集进行模型训练。

8.根据权利要求1所述的一种面向大模型的云边算力协同数据处理方法，其特征在于，设训练场景为si，i＝1，2，…，a，训练任务为tj，j＝1，2，…，a，计算场景-任务相关性，β表示场景si和训练任务tj之间的相关性，每个边缘端各自计算自己的训练任务和场景之间的相关性，并通过基于场景-任务交互共享机制学习其他边缘端的能力，其中，所述相关性的计算方法为：

9.根据权利要求1所述的一种面向大模型的云边算力协同数据处理方法，其特征在于，所述自适应任务分配具体为：

10.根据权利要求1所述的一种面向大模型的云边算力协同数据处理方法，其特征在于，所述对云端和边缘端训练完成的模型参数和特征数据进行融合具体为：融合云端和边缘端处理器之间的模型参数和特征数据，云端对接收到的模型参数矩阵做加法和乘法运算，得到融合后的全局参数并保存，同时，对接收到的特征数据进行融合并保存。

技术总结
本发明涉及一种面向大模型的云边算力协同数据处理方法，包括以下步骤：构建八爪鱼仿生结构神经网络模型，并分别部署于云端和边缘端的多个处理器中；云端的主处理器初始化模型全局参数并将全局参数下发至云端和边缘端的其他处理器；采用自适应学习算法根据实时的计算资源情况进行云端和边缘端的数据处理任务分配决策；根据输入数据，云端和边缘端根据任务分配决策结果进行模型并行训练，实现参数共享与更新，训练过程中，边缘端根据重塑因子进行边缘端模型重构；进行模型融合，更新模型全局参数，并将更新后的全局参数下发至边缘端的处理器，重复上述过程直至数据处理完成。与现有技术相比，本发明具有能够高效处理大规模数据处理任务等优点。

技术研发人员：陈杰,何斌,赵容锋,朱忠攀
受保护的技术使用者：同济大学
技术研发日：
技术公布日：2024/12/5