一种基于宏观微观策略的游戏AI决策配置方法及装置与流程

一种基于宏观微观策略的游戏ai决策配置方法及装置
技术领域
1.本发明涉及人工智能训练技术领域，具体而言，涉及一种基于宏观微观策略的游戏ai决策配置方法及装置。


背景技术：

2.目前，在moba游戏中，玩家通常被分为对称数量的两队，在一个rts风格的界面里控制自己所选的角色。随着比赛推进，玩家需要通过角色升级、技能升级或购买并升级装备强化自己操控的角色，以此击杀对方并最终推倒对方的阵容总基地来获取比赛胜利。为了帮助玩家进行训练，通常此类游戏中都设置了ai角色模拟对战模式，通过服务器控制的ai角色与玩家进行对战。但是，目前服务器在对ai角色进行控制时主要根据既定的控制策略进行动作，服务器无法根据游戏进度的调整ai角色的控制策略。因此，需要提供一种方案以解决上述问题。


技术实现要素：

3.本发明的目的在于提供一种基于宏观微观策略的游戏ai决策配置方法及装置，用以实现根据游戏进度的动态变化及时调整ai角色的控制策略的技术效果。
4.第一方面，本发明提供了一种基于宏观微观策略的游戏ai决策配置方法，包括s1.根据游戏运行的时间阶段和当前ai角色的状态信息获取当前ai角色需要执行的策略模型；
5.s2.提取当前ai角色的视野地图信息和全局环境信息，并根据所述视野地图信息和所述全局环境信息分析当前ai角色执行所述策略模型的行进路线；
6.s3.所述行进路线控制当前ai角色前往目标区域；
7.s4.在当前ai角色到达目标区域时，调用执行所述策略模型所需的操作模型控制当前ai角色进行动作；且当前ai角色在前往目标区域的过程中通过以下方式切换模型的控制权：f＝max(αa,βb，γc)；其中，a表示策略模型，b表示操作模型，c表示用户设置的干预模型；α,β，γ表示权重系数，且0《＝α,β，γ《＝1。
8.可选地，所述s1中的策略模型的通过行为树根据各个ai角色的角色类型、角色信息、对战时间段、全局环境和预设的对战策略进行构建。
9.可选地，所述s1中的策略模型获取方式为：获取玩家的历史数据，所述历史数据包括玩家操作的角色的角色类型、角色信息、对战时间段、全局环境、玩家执行的操作；将玩家操作的角色的角色类型、角色信息、对战时间段和全局环境作为输入，玩家执行的操作作为输出，通过bp神经网络进行训练，得到对应的策略模型。
10.可选地，所述视野地图信息为以当前ai角色为中心的n
×
n个距离单位的信息，其中n至少为全局地图边长的四分之一，且全局地图为正方形。
11.可选地，所述s4中的操作模型通过强化学习算法ppo2以当前ai角色的视野地图信息、角色信息、敌对阵营建筑信息、敌对阵营npc信息和中立生物信息作为输入，当前ai角色需要执行的动作作为输出进行训练得到。
12.可选地，所述s4还包括：在当前ai角色移动过程中实时更新当前ai角色的视野地图信息和全局环境信息，并根据更新后的视野地图信息和全局环境信息分析是否达到另一策略模型的触发条件；若达到另一策略模型的触发条件则分析两个策略模型的优先级，并控制当前ai角色执行优先级更高的策略模型。
13.可选地，所述方法还包括：根据当前ai角色所属阵营的所有ai角色获取到的视野地图信息分析是否需要统一切换多个ai角色的策略模型；若需要统一切换多个ai角色的策略模型，则根据统一的策略模型控制各个ai角色。
14.第二方面，本发明提供了一种基于宏观微观策略的游戏ai决策配置装置，包括：包括策略分析模块和控制模块，所述策略分析模块用于根据游戏运行的时间阶段和当前ai角色的状态信息获取当前ai角色需要执行的策略模型；所述控制模块用于提取当前ai角色的视野地图信息和全局环境信息，并根据所述视野地图信息和所述全局环境信息分析当前ai角色执行所述策略模型的行进路线；所述控制模块还用于根据所述行进路线控制当前ai角色前往目标区域；所述控制模块还用于在当前ai角色到达目标区域时，调用执行所述策略模型所需的操作模型控制当前ai角色进行动作；且当前ai角色在前往目标区域的过程中通过以下方式切换模型的控制权：f＝max(αa,βb，γc)；其中，a表示策略模型，b表示操作模型，c表示用户设置的干预模型；α,β，γ表示权重系数，且0《＝α,β，γ《＝1。
15.可选地，所述游戏ai决策配置装置还包括策略更新模块，所述策略更新模块用于在当前ai角色移动过程中实时更新当前ai角色的视野地图信息和全局环境信息，并根据更新后的视野地图信息和全局环境信息分析是否达到另一策略模型的触发条件；若达到另一策略模型的触发条件则分析两个策略模型的优先级，并控制当前ai角色执行优先级更高的策略模型；
16.所述策略更新模块还用于根据当前ai角色所属阵营的所有ai角色获取到的视野地图信息分析是否需要统一切换多个ai角色的策略模型；若需要统一切换多个ai角色的策略模型，则根据统一的策略模型控制各个ai角色。
17.可选地，所述游戏ai决策配置装置还包括干预模型配置模块，所述干预模型配置模块用于配置策划的干预模型。
18.本发明能够实现的有益效果是：本发明提供的基于宏观微观策略的游戏ai决策配置方法先通过游戏运行的时间阶段和当前ai角色的状态信息获取当前ai角色需要执行的策略模型，然后再根据当前ai角色的视野地图信息和全局环境信息分析当前ai角色执行策略模型的行进路线，根据该行进路线控制当前ai角色前往目标区域，在当前ai角色到达目标区域时，调用执行所述策略模型所需的操作模型控制当前ai角色进行动作，可以根据游戏进度的动态变化及时调整ai角色的控制策略。
附图说明
19.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
20.图1为本发明实施例提供的一种基于宏观微观策略的游戏ai决策配置方法的流程
示意图；
21.图2为本发明实施例提供的一种基于宏观微观策略的游戏ai决策配置装置的拓扑结构示意图。
22.图标：10-游戏ai决策配置装置；100-策略分析模块；200-控制模块；300-干预模型配置模块；400-策略更新模块。
具体实施方式
23.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
24.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
25.请参看图1，图1为本发明实施例提供的一种基于宏观微观策略的游戏ai决策配置方法的流程示意图。
26.在一种实施方式中，本发明实施例提供了一种基于宏观微观策略的游戏ai决策配置方法，该方法的具体流程如下所述。
27.s1.根据游戏运行的时间阶段和当前ai角色的状态信息获取当前ai角色需要执行的策略模型。
28.在一种实施方式中，s1中的策略模型的通过行为树根据各个ai角色的角色类型、角色信息、对战时间段、全局环境和预设的对战策略进行构建。
29.具体地，在moba游戏中，角色类型可以根据分路性质进行划分；角色信息可以包括角色的经济、等级等；对照时间段可以根据中立资源的刷新时间进行划分，或者根据游戏时长进行划分；全局环境包括己方阵营的所有视野地图信息、敌对阵营的角色信息、建筑信息等；预设的对战策略可以根据游戏中存在的对战类型进行相应的配置。通过上述方式，可以在游戏开发初期无玩家数据的情况下对ai角色进行训练。
30.在一种实施方式中，s1中的策略模型获取方式为：
31.获取玩家的历史数据，历史数据包括玩家操作的角色的角色类型、角色信息、对战时间段、全局环境、玩家执行的操作；
32.将玩家操作的角色的角色类型、角色信息、对战时间段和全局环境作为输入，玩家执行的操作作为输出，通过bp神经网络进行训练，得到对应的策略模型。
33.通过上述方式，可以根据玩家的实战数据训练得到对应的策略模型，使得ai角色在进行决策是更加符合实战情况，提高玩家训练的质量。
34.s2.提取当前ai角色的视野地图信息和全局环境信息，并根据所述视野地图信息和所述全局环境信息分析当前ai角色执行所述策略模型的行进路线。
35.示例性地，视野地图信息可以为以当前ai角色为中心的n
×
n个距离单位的信息，其中n至少为全局地图边长的四分之一，且全局地图为正方形。例若全局地图的大小为120
×
120个距离单位，则视野地图信息至少为当前ai角色为中心的30
×
30个距离单位的信息.
36.s3.根据所述行进路线控制当前ai角色前往目标区域；
37.s4.在当前ai角色到达目标区域时，调用执行所述策略模型所需的操作模型控制当前ai角色进行动作；且当前ai角色在前往目标区域的过程中通过以下方式切换模型的控
制权：f＝max(αa,βb，γc)；其中，a表示策略模型，b表示操作模型，c表示用户设置的干预模型；α,β，γ表示权重系数，且0《＝α,β，γ《＝1。
38.在一种实施方式中，上述的操作模型通过强化学习算法ppo2以当前ai角色的视野地图信息、角色信息、敌对阵营建筑信息、敌对阵营npc信息和中立生物信息作为输入，当前ai角色需要执行的动作作为输出进行训练得到。其中敌对阵营npc信息在moba游戏中为各个线路上的小兵；中立生物为moba游戏中的野生怪物；敌对阵营建筑信息为moba游戏中的防御塔和基地等。
39.在一种实施方式中，s4还包括：在当前ai角色移动过程中实时更新当前ai角色的视野地图信息和全局环境信息，并根据更新后的视野地图信息和全局环境信息分析是否达到另一策略模型的触发条件；若达到另一策略模型的触发条件则分析两个策略模型的优先级，并控制当前ai角色执行优先级更高的策略模型。
40.通过上述实施方式，当前ai角色可以及时根据更新后的视野地图信息和全局环境信息调整策略模型。
41.进一步地，上述方法还包括根据当前ai角色所属阵营的所有ai角色获取到的视野地图信息分析是否需要统一切换多个ai角色的策略模型；若需要统一切换多个ai角色的策略模型，则根据统一的策略模型控制各个ai角色。
42.具体地，moba游戏在实际操作中会存在集合对战、集合进攻中立增益生物的情况，所以本发明实施例提供的方法为了更加准确的模拟真实对战场景，还可以根据当前ai角色所属阵营的所有ai角色获取到的视野地图信息分析是否需要统一切换多个ai角色的策略模型；若需要统一切换多个ai角色的策略模型，则根据统一的策略模型控制各个ai角色。该过程中的策略模型为集合对战、集合进攻中立增益生物中的一种，可以通过策划根据实战需求进行预设置。
43.请参看图2，图2为本发明实施例提供的一种基于宏观微观策略的游戏ai决策配置装置的拓扑结构示意图。
44.在一种实施方式中，本发明实施例还提供了一种基于宏观微观策略的游戏ai决策配置装置，该游戏ai决策配置装置包括：策略分析模块和控制模块，策略分析模块用于根据游戏运行的时间阶段和当前ai角色的状态信息获取当前ai角色需要执行的策略模型；控制模块用于提取当前ai角色的视野地图信息和全局环境信息，并根据视野地图信息和全局环境信息分析当前ai角色执行策略模型的行进路线；控制模块还用于根据行进路线控制当前ai角色前往目标区域；控制模块还用于在当前ai角色到达目标区域时，调用执行策略模型所需的操作模型控制当前ai角色进行动作；且当前ai角色在前往目标区域的过程中通过以下方式切换模型的控制权：f＝max(αa,βb，γc)；其中，a表示策略模型，b表示操作模型，c表示用户设置的干预模型；α,β，γ表示权重系数，且0《＝α,β，γ《＝1。
45.在一种实施方式中，上述的游戏ai决策配置装置还包括：游戏ai决策配置装置还包括策略更新模块，策略更新模块用于在当前ai角色移动过程中实时更新当前ai角色的视野地图信息和全局环境信息，并根据更新后的视野地图信息和全局环境信息分析是否达到另一策略模型的触发条件；若达到另一策略模型的触发条件则分析两个策略模型的优先级，并控制当前ai角色执行优先级更高的策略模型；策略更新模块还用于根据当前ai角色所属阵营的所有ai角色获取到的视野地图信息分析是否需要统一切换多个ai角色的策略
模型；若需要统一切换多个ai角色的策略模型，则根据统一的策略模型控制各个ai角色。
46.在一种实施方式中，游戏ai决策配置装置还包括干预模型配置模块，干预模型配置模块用于配置策划的干预模型。干预模型主要用于在ai角色的动作不符合预期是进行调整，可以通过策划设置对应的逻辑代码进行控制。
47.综上所述，本发明实施例提供一种基于宏观微观策略的游戏ai决策配置方法及装置，包括：s1.根据游戏运行的时间阶段和当前ai角色的状态信息获取当前ai角色需要执行的策略模型；s2.提取当前ai角色的视野地图信息和全局环境信息，并根据视野地图信息和全局环境信息分析当前ai角色执行策略模型的行进路线；s3.根据行进路线控制当前ai角色前往目标区域；s4.在当前ai角色到达目标区域时，调用执行策略模型所需的操作模型控制当前ai角色进行动作；且当前ai角色在前往目标区域的过程中通过以下方式切换模型的控制权：f＝max(αa,βb，γc)；其中，a表示策略模型，b表示操作模型，c表示用户设置的干预模型；α,β，γ表示权重系数，且0《＝α,β，γ《＝1。
48.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

技术特征：
1.一种基于宏观微观策略的游戏ai决策配置方法，其特征在于，包括：s1.根据游戏运行的时间阶段和当前ai角色的状态信息获取当前ai角色需要执行的策略模型；s2.提取当前ai角色的视野地图信息和全局环境信息，并根据所述视野地图信息和所述全局环境信息分析当前ai角色执行所述策略模型的行进路线；s3.根据所述行进路线控制当前ai角色前往目标区域；s4.在当前ai角色到达目标区域时，调用执行所述策略模型所需的操作模型控制当前ai角色进行动作；且当前ai角色在前往目标区域的过程中通过以下方式切换模型的控制权：f＝max(αa,βb，γc)；其中，a表示策略模型，b表示操作模型，c表示用户设置的干预模型；α,β，γ表示权重系数，且0<＝α,β，γ<＝1。2.根据权利要求1所述的方法，其特征在于，所述s1中的策略模型的通过行为树根据各个ai角色的角色类型、角色信息、对战时间段、全局环境和预设的对战策略进行构建。3.根据权利要求1所述的方法，其特征在于，所述s1中的策略模型获取方式为：获取玩家的历史数据，所述历史数据包括玩家操作的角色的角色类型、角色信息、对战时间段、全局环境、玩家执行的操作；将玩家操作的角色的角色类型、角色信息、对战时间段和全局环境作为输入，玩家执行的操作作为输出，通过bp神经网络进行训练，得到对应的策略模型。4.根据权利要求1所述的方法，其特征在于，所述视野地图信息为以当前ai角色为中心的n
×
n个距离单位的信息，其中n至少为全局地图边长的四分之一，且全局地图为正方形。5.根据权利要求1所述的方法，其特征在于，所述s4中的操作模型通过强化学习算法ppo2以当前ai角色的视野地图信息、角色信息、敌对阵营建筑信息、敌对阵营npc信息和中立生物信息作为输入，当前ai角色需要执行的动作作为输出进行训练得到。6.根据权利要求1所述的方法，其特征在于，所述s4还包括：在当前ai角色移动过程中实时更新当前ai角色的视野地图信息和全局环境信息，并根据更新后的视野地图信息和全局环境信息分析是否达到另一策略模型的触发条件；若达到另一策略模型的触发条件则分析两个策略模型的优先级，并控制当前ai角色执行优先级更高的策略模型。7.根据权利要求6所述的方法，其特征在于，所述方法还包括：根据当前ai角色所属阵营的所有ai角色获取到的视野地图信息分析是否需要统一切换多个ai角色的策略模型；若需要统一切换多个ai角色的策略模型，则根据统一的策略模型控制各个ai角色。8.一种基于宏观微观策略的游戏ai决策配置装置，其特征在于，包括策略分析模块和控制模块，所述策略分析模块用于根据游戏运行的时间阶段和当前ai角色的状态信息获取当前ai角色需要执行的策略模型；所述控制模块用于提取当前ai角色的视野地图信息和全局环境信息，并根据所述视野地图信息和所述全局环境信息分析当前ai角色执行所述策略模型的行进路线；所述控制模块还用于根据所述行进路线控制当前ai角色前往目标区域；所述控制模块还用于在当前ai角色到达目标区域时，调用执行所述策略模型所需的操
作模型控制当前ai角色进行动作；且当前ai角色在前往目标区域的过程中通过以下方式切换模型的控制权：f＝max(αa,βb，γc)；其中，a表示策略模型，b表示操作模型，c表示用户设置的干预模型；α,β，γ表示权重系数，且0<＝α,β，γ<＝1。9.根据权利要求8所述的基于宏观微观策略的游戏ai决策配置装置，其特征在于，所述游戏ai决策配置装置还包括策略更新模块，所述策略更新模块用于在当前ai角色移动过程中实时更新当前ai角色的视野地图信息和全局环境信息，并根据更新后的视野地图信息和全局环境信息分析是否达到另一策略模型的触发条件；若达到另一策略模型的触发条件则分析两个策略模型的优先级，并控制当前ai角色执行优先级更高的策略模型；所述策略更新模块还用于根据当前ai角色所属阵营的所有ai角色获取到的视野地图信息分析是否需要统一切换多个ai角色的策略模型；若需要统一切换多个ai角色的策略模型，则根据统一的策略模型控制各个ai角色。10.根据权利要求9所述的基于宏观微观策略的游戏ai决策配置装置，其特征在于，所述游戏ai决策配置装置还包括干预模型配置模块，所述干预模型配置模块用于配置策划的干预模型。

技术总结
本发明提供一种基于宏观微观策略的游戏AI决策配置方法及装置，包括：S1.根据游戏运行的时间阶段和当前AI角色的状态信息获取当前AI角色需要执行的策略模型；S2.提取当前AI角色的视野地图信息和全局环境信息，并根据所述视野地图信息和所述全局环境信息分析当前AI角色执行所述策略模型的行进路线；S3.在所述策略模型的控制下根据所述行进路线控制当前AI角色前往目标区域；S4.在当前AI角色到达目标区域时，调用执行所述策略模型所需的操作模型控制当前AI角色进行动作，可以根据游戏进度的动态变化及时调整AI角色的控制策略。的动态变化及时调整AI角色的控制策略。的动态变化及时调整AI角色的控制策略。


技术研发人员：尹学渊 雷佩鑫
受保护的技术使用者：成都潜在人工智能科技有限公司
技术研发日：2021.12.07
技术公布日：2022/3/8