一种数据处理方法以及相关设备与流程

本技术涉及人工智能领域，尤其涉及一种数据处理方法以及相关设备。

背景技术：

1、人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

2、将人工智能技术应用于无线通信领域中是人工智能的一个应用方式，进行无线通信的设备中可以配置有机器学习模型，该设备可以通过机器学习模型实现对无线通信系统的通信资源的分配。在实际应用中，多个具有无线通信功能的设备上都可以部署前述机器学习模型，具有无线通信功能的多个设备还可以对前述机器学习模型进行训练，但不同的设备对机器学习模型进行训练时采用的超参数的取值均为同一组参数值，缺乏灵活性。

技术实现思路

1、本技术实施例提供了一种数据处理方法以及相关设备，第一设备或其他设备上会存储与机器学习模型对应的多组参数值，第一设备在对机器学习模型进行训练时能够获取到的一组参数值是前述多组参数值中的一组，也即对该机器学习模型进行训练时所采用的超参数的取值具有了更多的可能性，提高了对该机器学习模型进行训练时的灵活性。

2、为解决上述技术问题，本技术实施例提供以下技术方案：

3、第一方面，本技术实施例提供一种数据处理方法，该方法可将人工智能技术应用于通信领域中，方法包括：第一设备获取与第一机器学习模型对应的一组参数值；第一设备基于一组参数值对第一机器学习模型进行训练，其中，前述一组参数值包括对第一机器学习模型进行训练时采用的至少一个超参数的值，与第一机器学习模型对应的多组参数值中的每组参数值均包括对第一机器学习模型进行训练时采用的至少一个超参数的值，前述一组参数值为与第一机器学习模型对应的多组参数值中的一组，与机器学习模型对应的多组参数值存储于第一设备或其他设备上。

4、本实现方式中，第一设备或其他设备上会存储与机器学习模型对应的多组参数值，多组参数值中每组参数值包括对该机器学习模型进行训练时采用的至少一个超参数的值，第一设备在对机器学习模型进行训练时能够获取到的一组参数值是前述多组参数值中的一组，也即对该机器学习模型进行训练时所采用的超参数的取值具有了更多的可能性，提高了对该机器学习模型进行训练时的灵活性。

5、在一种可能实现方式中，若第一机器学习模型采用深度强化学习的方式得到，在一种实现方式中，对第一机器学习模型进行每次训练时采用的超参数包括利用概率、学习率和折扣因子，上述一组参数值可以包括如下任一个或多个参数的值：利用概率、学习率或折扣因子值。在另一种实现方式中，对第一机器学习模型进行每次训练时采用的超参数包括学习率、折扣因子、利用概率、惩罚因子、第一门限值以及第二门限值，第一门限值用于度量在第一状态下第一动作的优劣程度，第二门限值用于度量在第一状态下第一动作之外的第二动作的优劣程度，第二动作和第一动作不同；其中，第一训练样本包括第一状态和第一动作的信息，第一训练样本为对第一机器学习模型进行训练时采用的任意一个训练样本；上述一组参数可以包括如下任一个或多个参数的值：学习率、折扣因子、利用概率、惩罚因子、第一门限值或者第二门限值。

6、在一种可能实现方式中，第一设备获取与机器学习模型对应的一组参数值之前，方法还包括：第一设备接收第一信令。第一设备获取与机器学习模型对应的一组参数值，包括：第一设备根据第一信令，确定与机器学习模型对应的一组参数值。本实现方式中，直接通过信令指示第一设备在对第一机器学习模型进行训练时采用的是哪组参数值，有利于提高参数值传输过程中的效率，也有利于降低参数值传输过程中所消耗的通信资源。

7、在一种可能实现方式中，第一设备中存储有与机器学习模型对应的多组参数值，第一信令中携带一组参数值的索引信息；或者，第一信令中携带与机器学习模型对应的一组参数值。本实现方式中，可以直接在第一信令中携带对机器学习模型进行训练时所采用的一组参数值，也可以在第一信令中携带前述一组参数值的索引信息，提供了不同的实现方案，提高了本方案的实现灵活性。

8、在一种可能实现方式中，第一信令为ng接口信令、xn接口信令或者无线资源控制(radio resource control，rrc)信令。示例性地，若第一设备为终端设备，第一信令是基站发送给第一设备的，则第一信令可以采用rrc信令；或者，若第一设备为基站，第一信令是另一基站发送给第一设备的，则第一信令可以采用xn接口信令；或者，若第一设备为基站，第一信令是核心网的网元发送给第一设备的，则第一信令可以采用ng接口信令等等，此处不做穷举。本实现方式中，提供了第一信令的多种表现形式，从而有利于使得本方案能够兼容“与机器学习模型对应的一组参数值”的各种通信场景。

9、在一种可能实现方式中，第一设备采用的一组参数值为可变更的。本实现方式中，由于执行第一机器学习模型的推理操作的通信设备在使用过程中，设备所要完成的通信任务可能会发生改变，或者，设备的重要程度也有可能发生改变等，也即执行第一机器学习模型的推理操作的通信设备可能会发生各种各样的改变，将第一设备对第一机器学习模型进行训练时采用的一组参数值设定为可变更的，则有利于使得“第一机器学习模型的训练过程”更具有灵活性，从而使得“对第一机器学习模型进行训练时采用的一组参数值”与“第一机器学习模型的训练过程”更为适配。

10、在一种可能实现方式中，多组参数值中一组参数值的确定因素包括：第一设备的等级、第一设备的种类和/或与机器学习模型训练时采用的训练样本对应的通信业务的服务质量(service quality，qos)等级。

11、本实现方式中，由于第一机器学习模型训练时采用的至少一个超参数的取值会影响训练过程的稳定性以及训练后的第一机器学习模型的精度，而当第一设备的等级和/或种类不同时，意味着第一设备在无线通信网络中的重要程度不同，与第一机器学习模型训练时采用的训练样本对应的通信业务的qos等级不同，则意味着利用前述训练样本对第一机器学习模型进行该次训练的重要程度不同，基于第一设备的等级、第一设备的种类和/或与第一机器学习模型训练时采用的训练样本对应的通信业务的qos等级来确定采用哪组参数值对第一机器学习模型进行训练，有利于提高“对第一机器学习模型进行训练时采用的一组参数值”与“第一机器学习模型的训练过程”之间的适配度。

12、在一种可能实现方式中，在一种情况中，对第一机器学习模型进行训练时采用的一组参数值可以周期性的更新。或者，对第一机器学习模型进行训练时采用的一组参数值可以非周期性的更新。在另一种情况中，若对第一机器学习模型进行训练时采用的一组参数值的确定因素包括qos等级，由于在对第一机器学习模型执行的一次训练操作内可以包括对第一机器学习模型进行的多次训练，不同次训练时所采用的训练样本可以不同，而不同的训练样本所对应的qos等级也可以不同，则在对第一机器学习模型执行的一次训练操作内也可以根据每次采用的训练样本所对应的qos等级，来确定对第一机器学习模型进行该次训练时所采用的一组参数值，也即在对第一机器学习模型执行的一次训练操作内也可以对第一机器学习模型进行训练时采用的一组参数值进行更新。

13、在一种可能实现方式中，第一设备的等级越高，一组参数值中第一参数的值越小，一组参数值中第二参数的值越大；或者，与机器学习模型训练时采用的训练样本对应的通信业务的qos等级越高，一组参数值中第一参数的值越小，一组参数值中第二参数的值越大。

14、其中，第一参数为学习率，第二参数包括如下任一个或多个：折扣因子、利用概率、惩罚因子、第一门限值或者第二门限值，第一门限值用于度量在第一状态下第一动作的优劣程度，第二门限值用于度量在第一状态下第一动作之外的第二动作的优劣程度，第一训练样本包括第一状态和第一动作的信息，第一训练样本为对机器学习模型进行训练时采用的任意一个训练样本。

15、本实现方式中，对于第一设备的等级越高或者qos等级越高的情况，会采用更小的学习率，采用更大的折扣因子、利用概率、惩罚因子、第一门限值和/或第二门限值，也即对于第一设备的等级越高或者qos等级越高的情况，会更加重视训练过程的稳定性，也更加重视训练后的第一机器学习模型的精度，有利于提高“基于训练后的第一机器学习模型输出的信息执行通信任务时”的通信质量。

16、在一种可能实现方式中，机器学习模型的输入包括状态信息，机器学习模型的输出包括动作信息，动作信息包括在状态信息下执行通信任务时的通信资源的分配信息。本实现方式中，明确了输入第一机器学习模型的是哪些信息，以及第一机器学习模型输出的是哪些信息，也即明确了第一机器学习模型的具体功能，提高了第一机器学习模型和具体应用场景的结合程度。

17、第二方面，本技术实施例提供一种数据处理方法，该方法可将人工智能技术应用于通信领域中，方法包括：第二设备确定第一信令；第二设备向第一设备发送第一信令，其中，第一信令用于供第一设备确定对第一机器学习模型进行训练时采用的一组参数值，前述一组参数值为与第一机器学习模型对应的多组参数值中的一组，一组参数值包括对第一机器学习模型进行训练时采用的超参数的值。

18、在一种可能实现方式中，第二设备确定第一信令，包括：第二设备根据第一信息，确定第一信令，第一信息包括如下任一项或多项：第一设备的等级、第一设备的种类和/或与机器学习模型训练时采用的训练样本对应的通信业务的qos等级。

19、本技术第二方面的各个可能实现方式中名词的含义以及所带来的有益效果，均可以参阅第一方面，此处不再赘述。

20、第三方面，本技术实施例提供一种数据处理装置，该装置可将人工智能技术应用于通信领域中，数据处理装置应用于第一设备中，数据处理装置包括：获取模块，用于获取与第一机器学习模型对应的一组参数值；训练模块，用于基于一组参数值对第一机器学习模型进行训练，其中，一组参数值包括对第一机器学习模型进行训练时采用的至少一个超参数的值，一组参数值为与第一机器学习模型对应的多组参数值中的一组，与第一机器学习模型对应的多组参数值存储于第一设备或其他设备上。

21、在一种可能实现方式中，数据处理装置还包括：接收模块，用于接收第一信令；获取模块，具体用于根据第一信令，确定与第一机器学习模型对应的一组参数值。

22、在一种可能实现方式中，第一设备中存储有与第一机器学习模型对应的多组参数值，第一信令中携带一组参数值的索引信息；或者，第一信令中携带与第一机器学习模型对应的一组参数值。

23、在一种可能实现方式中，第一信令为ng接口信令、xn接口信令或者rrc信令。

24、在一种可能实现方式中，第一设备采用的一组参数值为可变更的。

25、在一种可能实现方式中，多组参数值中一组参数值的确定因素包括：第一设备的等级、第一设备的种类和/或与第一机器学习模型训练时采用的训练样本对应的通信业务的qos等级。

26、在一种可能实现方式中，第一设备的等级越高，一组参数值中第一参数的值越小，一组参数值中第二参数的值越大；或者，与第一机器学习模型训练时采用的训练样本对应的通信业务的qos等级越高，一组参数值中第一参数的值越小，一组参数值中第二参数的值越大；

27、其中，第一参数为学习率，第二参数包括如下任一个或多个：折扣因子、利用概率、惩罚因子、第一门限值或者第二门限值，第一门限值用于度量在第一状态下第一动作的优劣程度，第二门限值用于度量在第一状态下第一动作之外的第二动作的优劣程度，第一训练样本包括第一状态和第一动作的信息，第一训练样本为对第一机器学习模型进行训练时采用的任意一个训练样本。

28、在一种可能实现方式中，第一机器学习模型的输入包括状态信息，第一机器学习模型的输出包括动作信息，动作信息包括在状态信息下执行通信任务时的通信资源的分配信息。

29、本技术第三方面的各个可能实现方式中步骤的具体实现方式、名词的含义以及所带来的有益效果，均可以参阅第一方面，此处不再赘述。

30、第四方面，本技术实施例提供一种数据处理装置，该装置可将人工智能技术应用于通信领域中，数据处理装置应用于第二设备中，数据处理装置包括：确定模块，用于确定第一信令；发送模块，用于向第一设备发送第一信令，其中，第一信令用于供第一设备确定对第一机器学习模型进行训练时采用的一组参数值，一组参数值为与第一机器学习模型对应的多组参数值中的一组，一组参数值包括对第一机器学习模型进行训练时采用的超参数的值。

31、在一种可能实现方式中，第一信令中携带一组参数值的索引信息；或者，第一信令中携带与第一机器学习模型对应的一组参数值。

32、在一种可能实现方式中，确定模块，具体用于根据第一信息，确定第一信令，第一信息包括如下任一项或多项：第一设备的等级、第一设备的种类和/或与第一机器学习模型训练时采用的训练样本对应的通信业务的服务质量qos等级。

33、本技术第四方面的各个可能实现方式中步骤的具体实现方式、名词的含义以及所带来的有益效果，均可以参阅第二方面，此处不再赘述。

34、第五方面，本技术实施例提供了一种设备，包括处理器和存储器，处理器与存储器耦合，存储器，用于存储程序；处理器，用于执行存储器中的程序，使得设备执行上述第一方面或第二方面的数据处理方法。

35、第六方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行上述第一方面或第二方面的数据处理方法。

36、第七方面，本技术实施例提供了一种计算机程序产品，计算机程序产品包括程序，当该程序在计算机上运行时，使得计算机执行上述第一方面或第二方面的数据处理方法。

37、第八方面，本技术提供了一种芯片系统，该芯片系统包括处理器，用于支持实现上述方面中所涉及的功能，例如，发送或处理上述方法中所涉及的数据和/或信息。在一种可能的设计中，所述芯片系统还包括存储器，所述存储器，用于保存终端设备或通信设备必要的程序指令和数据。该芯片系统，可以由芯片构成，也可以包括芯片和其他分立器件。

技术特征：

1.一种数据处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述第一设备获取与机器学习模型对应的一组参数值之前，所述方法还包括：所述第一设备接收第一信令；

3.根据权利要求2所述的方法，其特征在于，

4.根据权利要求2或3所述的方法，其特征在于，所述第一信令为ng接口信令、xn接口信令或者无线资源控制rrc信令。

5.根据权利要求1至3任一项所述的方法，其特征在于，所述第一设备采用的所述一组参数值为可变更的。

6.根据权利要求1至3任一项所述的方法，其特征在于，所述多组参数值中所述一组参数值的确定因素包括：所述第一设备的等级、所述第一设备的种类和/或与所述机器学习模型训练时采用的训练样本对应的通信业务的服务质量qos等级。

7.根据权利要求6所述的方法，其特征在于，

8.根据权利要求1至3任一项所述的方法，其特征在于，所述机器学习模型的输入包括状态信息，所述机器学习模型的输出包括动作信息，所述动作信息包括在所述状态信息下执行通信任务时的通信资源的分配信息。

9.一种数据处理方法，其特征在于，所述方法包括：

10.根据权利要求9所述的方法，其特征在于，

11.根据权利要求9或10所述的方法，其特征在于，所述第二设备确定第一信令，包括：所述第二设备根据第一信息，确定所述第一信令，所述第一信息包括如下任一项或多项：所述第一设备的等级、所述第一设备的种类和/或与所述机器学习模型训练时采用的训练样本对应的通信业务的服务质量qos等级。

12.一种数据处理装置，其特征在于，所述装置应用于第一设备中，所述装置包括：

13.一种数据处理装置，其特征在于，所述装置应用于第二设备中，所述装置包括：

14.一种设备，其特征在于，包括处理器和存储器，所述处理器与所述存储器耦合，

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序，当所述程序在计算机上运行时，使得计算机执行如权利要求1至11中任一项所述的方法。

16.一种计算机程序产品，其特征在于，所述计算机程序产品包括程序，当所述程序在计算机上运行时，使得计算机执行如权利要求1至11中任一项所述的方法。

技术总结
本申请实施例公开一种数据处理方法以及相关设备，该方法可将人工智能技术应用于通信领域中，方法包括：第一设备获取与机器学习模型对应的一组参数值，进而基于一组参数值对机器学习模型进行训练，其中，一组参数值包括对机器学习模型进行训练时采用的至少一个超参数的值，一组参数值为与机器学习模型对应的多组参数值中的一组，与机器学习模型对应的多组参数值存储于第一设备或其他设备上，也即对该机器学习模型进行训练时所采用的超参数的取值具有了更多的可能性，提高了对该机器学习模型进行训练时的灵活性。

技术研发人员：王坚,滕伟,李榕
受保护的技术使用者：华为技术有限公司
技术研发日：
技术公布日：2024/12/5