一种混合动力汽车复合储能系统能量管理系统及方法与流程

1.本发明涉及汽车复合储能系统能量管理领域，特别是涉及一种混合动力汽车复合储能系统能量管理系统及方法。


背景技术：

2.近年来，能量短缺和环境污染问题愈加严峻，在国家碳达峰和碳中和政策的要求下，传统内燃机汽车逐渐朝着电气化方向发展。锂电池具备高功率密度、低能量密度和低循环次数的特点，通常被用作电动汽车的储能源；超级电容具有高功率密度、低能量密度和长循环次数的特点；燃料电池系统具备清洁无污染的优势，且其可以实现真正意义上的零排放。因此，混合动力汽车复合储能系统融合锂电池、超级电容和燃料电池的优点，达到长续航里程、低排放、低使用成本的目标。然而，复杂的储能系统带来了复杂的能量管理问题——如何合理地分配复合储能系统能量源的能量成为炙手可热的话题。强化学习算法是近几年新兴起的算法，因其计算速度快、学习能力强等特点，逐步应用于能量管理问题的解决中。然而，强化学习算法只能实现离线运算，不能实时在线应用。


技术实现要素：

3.本发明的目的是提供一种混合动力汽车复合储能系统能量管理系统及方法，以通过协调燃料电池、动力电池以及超级电容之间的能量分配实现对能量分配的优化。
4.为实现上述目的，本发明提供了如下方案：
5.一种混合动力汽车复合储能系统能量管理系统，包括：
6.获取模块，用于获取交通态势数据；
7.预测模块，用于根据所述交通态势数据利用神经网络进行车速预测得到预测车速信息；
8.车辆需求功率模块，用于根据所述预测车速信息确定车辆需求功率；
9.分配模块，用于根据所述车辆需求功率利用ddrg强化学习算法对动力电池功率、超级电容功率和燃料电池功率进行分配，得到功率分配结果；
10.控制模块，用于根据所述功率分配结果对混合动力汽车复合储能系统进行控制。
11.可选地，还包括：
12.存储模块，用于对所述交通人态势数据进行存储。
13.可选地，还包括神经网络训练模块，所述神经网络训练模块具体包括：
14.神经网络训练单元，用于以训练集的交通态势数据为输入，以所述训练集的车速信息为输出，以实际输出值与理论输出值之间的误差和所述训练集的个数为损失函数，以sigmoid函数作为激活函数对反向传播神经网络进行训练，得到训练好的神经网络。
15.可选地，所述车辆需求功率模块，具体包括：
16.车辆信息获取单元，用于获取车辆信息；所述车辆信息包括车辆质量、车辆迎风面积和机械传动效率；
17.环境信息获取单元，用于获取环境信息；所述环境信息为道路的坡度角；
18.车辆需求功率确定单元，用于根据所述车辆信息、所述环境信息和所述预测车速信息确定车辆需求功率。
19.可选地，所述分配模块，具体包括：
20.ddrg强化学习算法训练单元，用于以锂电池soc、超级电容soc、燃料电池电流、所述预测车速信息和所述车辆需求功率为所述ddrg强化学习算法的状态参量，以锂电池输出功率因子和超级电容输出功率因子为动态参数，以根据所述锂电池soc和所述超级电容soc确定的函数为奖励函数，对ddrg网络进行训练，得到训练好的ddrg强化学习算法；
21.分配单元，用于根据所述车辆需求功率利用所述训练好的ddrg强化学习算法对动力电池功率、超级电容功率和燃料电池功率进行分配，得到功率分配结果。
22.一种混合动力汽车复合储能系统能量管理方法，包括：
23.获取交通态势数据；
24.根据所述交通态势数据利用神经网络进行车速预测得到预测车速信息；
25.根据所述预测车速信息确定车辆需求功率；
26.根据所述车辆需求功率利用ddrg强化学习算法对动力电池功率、超级电容功率和燃料电池功率进行分配，得到功率分配结果；
27.根据所述功率分配结果对混合动力汽车复合储能系统进行控制。
28.可选地，在所述获取交通态势数据之后，还包括：
29.对所述交通人态势数据进行存储。
30.可选地，所述神经网络的训练过程，具体包括：
31.以训练集的交通态势数据为输入，以所述训练集的车速信息为输出，以实际输出值与理论输出值之间的误差和所述训练集的个数为损失函数，以sigmoid函数作为激活函数对反向传播神经网络进行训练，得到训练好的神经网络。
32.可选地，所述根据所述预测车速信息确定车辆需求功率，具体包括：
33.获取车辆信息；所述车辆信息包括车辆质量、车辆迎风面积和机械传动效率；
34.获取环境信息；所述环境信息为道路的坡度角；
35.根据所述车辆信息、所述环境信息和所述预测车速信息确定车辆需求功率。
36.可选地，所述根据所述车辆需求功率利用ddrg强化学习算法对动力电池功率、超级电容功率和燃料电池功率进行分配，得到功率分配结果，具体包括：
37.以锂电池soc、超级电容soc、燃料电池电流、所述预测车速信息和所述车辆需求功率为所述ddrg强化学习算法的状态参量，以锂电池输出功率因子和超级电容输出功率因子为动态参数，以根据所述锂电池soc和所述超级电容soc确定的函数为奖励函数，对ddrg网络进行训练，得到训练好的ddrg强化学习算法；
38.根据所述车辆需求功率利用所述训练好的ddrg强化学习算法对动力电池功率、超级电容功率和燃料电池功率进行分配，得到功率分配结果。
39.根据本发明提供的具体实施例，本发明公开了以下技术效果：
40.本发明中获取模块，用于获取交通态势数据；预测模块，用于根据所述交通态势数据利用神经网络进行车速预测得到预测车速信息；车辆需求功率模块，用于根据所述预测车速信息确定车辆需求功率；分配模块，用于根据所述车辆需求功率利用ddrg强化学习算
法对动力电池功率、超级电容功率和燃料电池功率进行分配，得到功率分配结果；控制模块，用于根据所述功率分配结果对混合动力汽车复合储能系统进行控制。本发明通过协调燃料电池、动力电池以及超级电容之间的能量分配实现对能量分配的优化。
附图说明
41.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
42.图1为本发明提供的一种混合动力汽车复合储能系统能量管理系统示意图；
43.图2为本发明提供的实时在线能量管理架构图；
44.图3为本发明提供的混合动力汽车复合储能系统能量管理流程图；
45.图4为本发明提供的bp神经网络训练流程图；
46.图5为本发明提供的ddpg强化训练流程图。
具体实施方式
47.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
48.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
49.如图1所示，本发明提供的一种混合动力汽车复合储能系统能量管理系统，包括：
50.获取模块101，用于获取交通态势数据。
51.预测模块102，用于根据所述交通态势数据利用神经网络进行车速预测得到预测车速信息。
52.车辆需求功率模块103，用于根据所述预测车速信息确定车辆需求功率。
53.分配模块104，用于根据所述车辆需求功率利用ddrg强化学习算法对动力电池功率、超级电容功率和燃料电池功率进行分配，得到功率分配结果。
54.控制模块105，用于根据所述功率分配结果对混合动力汽车复合储能系统进行控制。
55.在实际应用中，混合动力汽车复合储能系统能量管理系统还包括：存储模块，用于对所述交通人态势数据进行存储。
56.在实际应用中，混合动力汽车复合储能系统能量管理系统还包括神经网络训练模块，所述神经网络训练模块具体包括：神经网络训练单元，用于以训练集的交通态势数据为输入，以所述训练集的车速信息为输出，以实际输出值与理论输出值之间的误差和所述训练集的个数为损失函数，以sigmoid函数作为激活函数对反向传播神经网络进行训练，得到训练好的神经网络。
57.在实际应用中，所述车辆需求功率模块103，具体包括：
58.车辆信息获取单元，用于获取车辆信息；所述车辆信息包括车辆质量、车辆迎风面积和机械传动效率。
59.环境信息获取单元，用于获取环境信息；所述环境信息为道路的坡度角。
60.车辆需求功率确定单元，用于根据所述车辆信息、所述环境信息和所述预测车速信息确定车辆需求功率。
61.在实际应用中，所述分配模块104，具体包括：
62.ddrg强化学习算法训练单元，用于以锂电池soc、超级电容soc、燃料电池电流、所述预测车速信息和所述车辆需求功率为所述ddrg强化学习算法的状态参量，以锂电池输出功率因子和超级电容输出功率因子为动态参数，以根据所述锂电池soc和所述超级电容soc确定的函数为奖励函数，对ddrg网络进行训练，得到训练好的ddrg强化学习算法。
63.分配单元，用于根据所述车辆需求功率利用所述训练好的ddrg强化学习算法对动力电池功率、超级电容功率和燃料电池功率进行分配，得到功率分配结果。
64.本发明提供的混合动力汽车复合储能系统能量管理系统的框架如图2所示，主要包括数据模块、能量分配模块以及混合动力汽车模块。
65.其中数据模块包含数据爬取、数据存储以及车速预测三部分；即数据模块包括获取模块101、存储模块和预测模块102。
66.能量分配模块包括策略设计、状态选取、动作选取、奖赏函数以及强化训练四部分；策略设计即为车辆需求功率模块103。状态选取、动作选取、奖赏函数以及强化训练对应ddrg强化学习算法训练单元和分配单元。
67.混合动力汽车模块包括复合储能系统和速度、加速度两大部分。
68.数据模块为能量分配模块提供未来2min速度序列，能量分配模块接收到未来2min速度序列后进行能量分配并输出电机功率、超级电容功率以及燃料电池功率；其中，输出电机功率与锂电池功率相同。
69.如图3所示，混合动力汽车模块中的复合储能系统接收到电机功率、超级电容功率以及燃料电池功率后输出驱动力，驱动混合动力汽车产生速度以及加速度。
70.一、数据模块
71.1、数据爬取
72.进入高德的开发平台，借助高德web服务api提供的交通态势的http接口，利用python编写爬虫程序进行交通态势数据的爬取，所述交通态势数据包括运行时间，运行路段，车速，车辆当前所处的经纬度信息。主要步骤如下：
73.第一步，申请“web服务api接口”密钥(key)。
74.第二步，拼接http请求url，第一步申请的key需作为必填参数一同发送。
75.第三步，接收http请求返回的数据(json或xml格式)，解析数据。
76.高德地图的交通态势数据每2min更新一次，为了实现最大化的实时在线能量管理，将数据采集时间间隔同样定为2min。
77.2、数据存储
78.采集到的交通态势数据需要进行实时更新及存储。实时更新及存储过程如下：
79.步骤一编写代码将最新采集到的数据存储到mongodb数据库，mongodb数据库中原有数据保持不变。
80.步骤二伴随着不断有新数据存储进mongodb数据库，mongodb数据库的数据存储量不断累加，即不同时间点采集到的实时交通态势数据不断叠加到数据库中存储。
81.打开mongodb可视化工具studio 3t可以查看近期爬取到的数据，编写python程序可以固定查询某一项交通数据并进行调用。进一步，提取存储的车速数据并进行数据处理(即对存储的数据进行高斯滤波，从而消除传感器在采集车速时的噪音干扰)。
82.3、车速预测
83.采用反向传播神经网络(backpropagation neural network,bpnn)，即bp神经网络预测未来2min的速度序列，其中，bp神经网络是由输入层、隐含层以及输出层所构成的。
84.步骤一：训练bp神经网络
85.首先对bp神经网络进行训练。以sigmoid函数作为激活函数。sigmoid函数具有单调递增且反函数也具备单调递增特性，经常被用作神经网络的激活函数，将变量映射到0-1之间，具体表达式如下：
[0086][0087]
其中，s表示sigmoid函数输入输出的映射关系，x为神经元输入，s(x)表示神经元输入为x时神经元输出值。
[0088]
隐藏神经元的节点数由下式确定。
[0089][0090]
其中，ni是输入层神经元个数(本发明中输入层共有五个神经元，分别对应历史5秒的车速，因此ni＝5)；no为输出层神经元个数(本发明中输出层共有一个神经元，对应预测得到的下一秒车速，因此no＝1)；ns是训练集的样本数(本发明中的训练集为数据模块每次爬取的2min数据，共计120个数据，因此ns＝120)；α为权值变量，本发明中α＝5。
[0091]
在此基础上，将采集到的经过高斯滤波后的车速数据输入到bp神经网络进行训练，依次输入历史5秒的车速输出第6秒的车速。
[0092]
具体训练过程如图4所示：
[0093]
(1)首先对网络进行初始化，确定输入层神经元个数为5，隐藏层神经元个数为4，输出层神经元个数为1，各神经元权值初始值设置为1，各神经元之间的连接阈值设置为1，网络初始化完成。
[0094]
(2)取2min内的速度样本，依次按正向传播输入(取5秒内的5个车速作为输入层输入，正向传播过程即为：将输入层输入的5个神经元输入通过隐藏层输入给输出层)。
[0095]
(3)5秒内的5个输入量通过输入层，经过隐藏层，最后到达输出层，在此过程中各层神经元的输入输出可以由下式获得：
[0096]
输入：
[0097]
输出：yi＝f(neu
in-θi)
[0098]
其中，neu
in
表示神经元的输入值，n为该神经元的输入数量，ωi为各神经元权值，xi为该神经元第i个输入的值。yi为神经元输出，θi为阈值，f为sigmoid函数。
[0099]
(4)输出层的实际输出值与理论输出值作差，获取输出误差。
[0100]
(5)对误差进行反向传播，调整网络参数。
[0101]
网络参数调整过程如下：
[0102]
需调整的参数具体包括各神经元的权值和阈值(对应上式中的ωi和θi)。将输出层神经元实际输出的结果与理论输出结果作差，当误差不满足需求时(本发明中允许的速度训练误差为0.3m/s)，将误差反向传播(通过隐藏层传递给输入层，并将误差分摊给各层所有神经元)，以各神经元获得的误差信号作为调整各神经元权值的依据,并通过调整神经元之间的连接阈值，使误差减小，经过反复训练，确定与最小误差相对应的参数(各神经元的权值和阈值)。
[0103]
(6)判断训练结束条件
[0104]
本发明中设置两个条件来判断训练是否完成；
[0105]
①
当输出层神经元输出结果与实际结果之间的误差满足需求时(本发明中允许误差设置为0.3m/s)，代表训练完成。
②
当2min的训练样本用完时，代表训练完成。训练完成后的神经网络达到相对稳定状态。
[0106]
步骤二：利用训练好的神经网络对未来2min车速进行预测
[0107]
bp神经网络完成训练后，开始对未来2min的车速序列进行预测，预测时所用的网络参数(包括输入层神经元个数、隐藏层神经元个数、输出层神经元个数、各神经元权值、各神经元之间的连接阈值)保持与网络训练结束后的参数一致。具体的，选择历史5秒车速作为bp神经网络的输入，预测下1秒输出。不断重复该过程，直至预测完未来2min的车速，此时表明预测结束。预测过程如下式所示：
[0108][0109]
x
t
为bp神经网络输入层神经元的输入，其中v1,v2,v3,v4,v5为历史5秒车速，v
pre
为预测得到的车速，f
bp
表示bp神经网络。
[0110]
二、能量分配模块
[0111]
1、策略设计
[0112]
强化学习算法用于描述和解决智能体(agent)在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。深度确定性策略梯度算法(deep deterministic policy gradient，ddpg)是在确定性策略梯度(deterministic policy gradient，dpg)方法上进行改造得到的动作-评价((actor-critic)，ac)框架的算法。ddpg的控制状态和动作空间均为连续值，避免了维数灾难问题的产生。target网络和critic网络的使用，使得学习过程更加稳定，收敛更有保障。近几年来，因其学习能力较强，算法结果较优，逐渐应用于能量管理领域。
[0113]
混合动力汽车复合储能系统能量管理的目的是在保证车辆能正常运行的前提下，合理地分配锂电池、超级电容以及燃料电池的功率输出占比，使其处于最佳工作状态，延长其使用寿命。同时保证dc/dc功率变换器的效率最优，提高能量利用率，降低运行成本。在该部分中，
[0114]
步骤一将数据模块预测得到的2min内的车速信息，根据下述公式求解出需求功率：
[0115][0116]
式中，p
dem
为车辆需求功率，m为车辆的质量，β为道路的坡度角，f为滚动阻力系数，cd为空气阻力系数，a为车辆迎风面积，v
pre
为预测车速，η为机械传动效率，δ为旋转质量换算系数。
[0117]
步骤二利用ddpg强化学习算法对输出电动机、超级电容以及燃料电池功率进行合理的分配，以达到各储能元件均处于最佳工作状态。
[0118]
步骤二具体包括：
[0119]
1、状态参量选取
[0120]
ddpg强化学习算法，选取其状态参量，具体方法如下：本发明针对混合动力汽车复合储能系统，设定输入状态为锂电池soc、超级电容soc、燃料电池电流i
fc
、预测车速、需求功率。其中，锂电池soc和超级电容soc根据车载bms进行实时传输。
[0121]
s＝[soc
batt
,soc
sc
,i
fc
,v
pre
,p
dem
]
[0122]
式中，soc
batt
为锂电池的soc，soc
sc
为超级电容的soc，v
pre
为预测车速，p
dem
为需求功率,i
fc
为超级电容电流。
[0123]
2、动作参量选取
[0124]
针对第1步中的ddpg强化学习算法，选取动作参量，具体方法如下：定义锂电池和超级电容的输出功率因子为控制动作，根据公式计算燃料电池的输出功率。
[0125]
a＝[μ1,μ2]
[0126][0127]
式中，a为选取的动作量，μ1为锂电池的输出功率因子，μ2为超级电容输出功率因子，p
batt
为锂电池输出功率，p
sc
为超级电容的输出功率，p
fc
为燃料电池输出功率，p
dem
为需求功率。
[0128]
3、设计奖励函数
[0129]
针对第1步中的ddpg强化学习算法，选取其奖励函数，奖励函数的作用如下：
[0130]
本发明主要实现的一个目标就是在满足锂电池及超级电容soc约束下提升混合动力汽车复合储能系统的能效水平。奖励函数用来定量评价上述目标，上述目标完成的越好，奖励函数的输出值越大，相反，奖励函数的输出值越小。后续ddpg强化学习算法在强化训练过程中，会根据奖励函数输出值的大小调整其输出的动作指令，直至ddpg强化学习算法输出的动作指令能够使奖励函数取得最大值。
[0131]
奖励函数的设计依据如下：
[0132]
针对电动汽车复合储能系统，除了考虑复合储能系统效率最大化以外，还要保证锂电池和超级电容满足soc(state ofcharge,荷电状态)约束条件(本发明中设置动力电池最低soc约束为soc
bat-min
，其值设为0.3，超级电容最低soc约束为soc
sc-min
，其值同样设置为0.3)。奖励函数设计过程如下。
[0133][0134][0135]
其中，β1,β2,分别为对应项的惩罚因子，分别设置为2.5和3，η
batt
为锂电池放电的能量转换效率值，η
sc
为超级电容放电的能量转换效率值，η
fc
为燃料电池能量转换效率，η
dc-batt
，η
dc-sc
，η
dc-fc
分别为锂电池、超级电容以及燃料电池对应的双向直流功率变换器的能量转换效率，η为整个复合储能系统的效率，m
h2
为燃料电池氢气消耗量，η值越大，m
h2
越小，表明复合储能系统能效水平越高。同时将动力电池soc约束以及超级电容soc约束引入到奖励函数中，得到上式中的reward函数，设计预期是reward函数值越大越好。
[0136]
4、对ddpg网络强化训练
[0137]
针对第1步中的ddpg强化学习算法以及第1-3步中选取的状态参量、动作参量以及奖励函数，接下来针对ddpg网络开展强化训练。ddpg包含一个actor网络和一个critic网络，actor网络用于输出动作值，critic网络用于对actor网络输出的动作进行评价，在该ddpg架构下，ddpg强化学习算法看作是agent，与ddpg算法交互的混合动力汽车看作是环境。具体强化训练方法如下，流程图如图5所示：
[0138]
步骤一：输入初始状态s，在actor网络和critic网络共同作用下，输出一个动作值a。
[0139]
步骤二：动作值a通过和环境交互得到奖励reward和下一时刻状态s’。具体过程包扩：动作a传递给混合动力汽车(环境)，混合动力汽车执行该动作a，并得到一个reward函数值，同时得到下一时刻的状态s’(下一时刻的锂电池soc，下一时刻超级电容soc、下一时刻燃料电池电流、车速、需求功率)。
[0140]
步骤三：将步骤二得到的reward函数值及下一时刻状态s’同时输入给actor网络以及critic网络。
[0141]
步骤四：actor网络以及critic网络根据接收到的reward函数值及下一时刻的动作s’，更新输出动作a。
[0142]
步骤五：重复上述4中的步骤一到步骤四，直到获取最大的reward函数值，此时针对ddpg网络的强化训练结束。
[0143]
步骤六：将对应最大reward函数值的动作a输入给混合动力汽车复合储能系统，并驱动混合动力汽车运行。
[0144]
在agent与环境交互时，为了探索更多的学习动作，在ddpg中使用uhlenbeck-ornstein随机过程作为引入的随机噪声。
[0145]
uhlenbeck-ornstein随机过程在时序上具备很好的相关性，可以使agent很好的探索具备动量属性的环境。此外，ddpg的actor将transition数据先存入experience replay buffer,然后在训练时，从experience replay buffer中随机采样mini-batch数据，这样就避免采样得到的数据存在较大的关联性。
[0146]
三、混合动力汽车模块
[0147]
1、复合储能系统
[0148]
将能量分配模块优化后得到的未来2min内锂电池输出功率和超级电容功率以及
燃料电池功率作为参考，输入到混合动力汽车复合储能系统当中，执行能量分配模块输出的优化结果。
[0149]
2、速度、加速度
[0150]
实车执行能量分配模块输出的优化结果，产生速度、加速度等信息。运行2min后，该循环周期结束。进入下一循环周期(首先数据模块执行爬取数据、数据存储、车速预测部分；其次能量优化分配模块执行策略设计、状态选取、动作选取、奖赏函数、网络训练部分；最后混合动力汽车模块执行复合储能系统及速度加速度部分)。
[0151]
本发明提供的一种混合动力汽车复合储能系统能量管理方法，包括：
[0152]
获取交通态势数据。
[0153]
根据所述交通态势数据利用神经网络进行车速预测得到预测车速信息。
[0154]
根据所述预测车速信息确定车辆需求功率。
[0155]
根据所述车辆需求功率利用ddrg强化学习算法对动力电池功率、超级电容功率和燃料电池功率进行分配，得到功率分配结果。
[0156]
根据所述功率分配结果对混合动力汽车复合储能系统进行控制。
[0157]
在实际应用中，在所述获取交通态势数据之后，还包括：
[0158]
对所述交通人态势数据进行存储。
[0159]
在实际应用中，所述神经网络的训练过程，具体包括：
[0160]
以训练集的交通态势数据为输入，以所述训练集的车速信息为输出，以实际输出值与理论输出值之间的误差和所述训练集的个数为损失函数，以sigmoid函数作为激活函数对反向传播神经网络进行训练，得到训练好的神经网络。
[0161]
在实际应用中，所述根据所述预测车速信息确定车辆需求功率，具体包括：
[0162]
获取车辆信息；所述车辆信息包括车辆质量、车辆迎风面积和机械传动效率。
[0163]
获取环境信息；所述环境信息为道路的坡度角。
[0164]
根据所述车辆信息、所述环境信息和所述预测车速信息确定车辆需求功率。
[0165]
在实际应用总，所述根据所述车辆需求功率利用ddrg强化学习算法对动力电池功率、超级电容功率和燃料电池功率进行分配，得到功率分配结果，具体包括：
[0166]
以锂电池soc、超级电容soc、燃料电池电流、所述预测车速信息和所述车辆需求功率为所述ddrg强化学习算法的状态参量，以锂电池输出功率因子和超级电容输出功率因子为动态参数，以根据所述锂电池soc和所述超级电容soc确定的函数为奖励函数，对ddrg网络进行训练，得到训练好的ddrg强化学习算法。
[0167]
根据所述车辆需求功率利用所述训练好的ddrg强化学习算法对动力电池功率、超级电容功率和燃料电池功率进行分配，得到功率分配结果。
[0168]
本发明实现了混合动力汽车“燃料电池-动力电池-超级电容”复合储能系统的实时在线能量分配任务。通过高德api开放的http接口，获得实时的交通态势数据，通过bp神经网络进行短期车速预测，得到未来2min内的车速数据，并根据预测数据，使用基于强化学习的以最大化能量利用率为奖励函数的策略进行合理能量分配。将获得的能量分配结果发送给车辆进行实时操控，待2min后获得新的交通态势数据，再次进行车速的预测、策略的更新和能量的分配。本发明能够结合实时数据，合理有效的协调燃料电池、动力电池以及超级电容之间的能量分配关系，解决了传统强化学习算法只能离线优化的问题，最大化实现最
优能量分配。
[0169]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0170]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

技术特征：
1.一种混合动力汽车复合储能系统能量管理系统，其特征在于，包括：获取模块，用于获取交通态势数据；预测模块，用于根据所述交通态势数据利用神经网络进行车速预测得到预测车速信息；车辆需求功率模块，用于根据所述预测车速信息确定车辆需求功率；分配模块，用于根据所述车辆需求功率利用ddrg强化学习算法对动力电池功率、超级电容功率和燃料电池功率进行分配，得到功率分配结果；控制模块，用于根据所述功率分配结果对混合动力汽车复合储能系统进行控制。2.根据权利要求1所述的混合动力汽车复合储能系统能量管理系统，其特征在于，还包括：存储模块，用于对所述交通人态势数据进行存储。3.根据权利要求1所述的混合动力汽车复合储能系统能量管理系统，其特征在于，还包括神经网络训练模块，所述神经网络训练模块具体包括：神经网络训练单元，用于以训练集的交通态势数据为输入，以所述训练集的车速信息为输出，以实际输出值与理论输出值之间的误差和所述训练集的个数为损失函数，以sigmoid函数作为激活函数对反向传播神经网络进行训练，得到训练好的神经网络。4.根据权利要求1所述的混合动力汽车复合储能系统能量管理系统，其特征在于，所述车辆需求功率模块，具体包括：车辆信息获取单元，用于获取车辆信息；所述车辆信息包括车辆质量、车辆迎风面积和机械传动效率；环境信息获取单元，用于获取环境信息；所述环境信息为道路的坡度角；车辆需求功率确定单元，用于根据所述车辆信息、所述环境信息和所述预测车速信息确定车辆需求功率。5.根据权利要求1所述的混合动力汽车复合储能系统能量管理系统，其特征在于，所述分配模块，具体包括：ddrg强化学习算法训练单元，用于以锂电池soc、超级电容soc、燃料电池电流、所述预测车速信息和所述车辆需求功率为所述ddrg强化学习算法的状态参量，以锂电池输出功率因子和超级电容输出功率因子为动态参数，以根据所述锂电池soc和所述超级电容soc确定的函数为奖励函数，对ddrg网络进行训练，得到训练好的ddrg强化学习算法；分配单元，用于根据所述车辆需求功率利用所述训练好的ddrg强化学习算法对动力电池功率、超级电容功率和燃料电池功率进行分配，得到功率分配结果。6.一种混合动力汽车复合储能系统能量管理方法，其特征在于，包括：获取交通态势数据；根据所述交通态势数据利用神经网络进行车速预测得到预测车速信息；根据所述预测车速信息确定车辆需求功率；根据所述车辆需求功率利用ddrg强化学习算法对动力电池功率、超级电容功率和燃料电池功率进行分配，得到功率分配结果；根据所述功率分配结果对混合动力汽车复合储能系统进行控制。7.根据权利要求6所述的混合动力汽车复合储能系统能量管理方法，其特征在于，在所
述获取交通态势数据之后，还包括：对所述交通人态势数据进行存储。8.根据权利要求6所述的混合动力汽车复合储能系统能量管理方法，其特征在于，所述神经网络的训练过程，具体包括：以训练集的交通态势数据为输入，以所述训练集的车速信息为输出，以实际输出值与理论输出值之间的误差和所述训练集的个数为损失函数，以sigmoid函数作为激活函数对反向传播神经网络进行训练，得到训练好的神经网络。9.根据权利要求6所述的混合动力汽车复合储能系统能量管理方法，其特征在于，所述根据所述预测车速信息确定车辆需求功率，具体包括：获取车辆信息；所述车辆信息包括车辆质量、车辆迎风面积和机械传动效率；获取环境信息；所述环境信息为道路的坡度角；根据所述车辆信息、所述环境信息和所述预测车速信息确定车辆需求功率。10.根据权利要求6所述的混合动力汽车复合储能系统能量管理方法，其特征在于，所述根据所述车辆需求功率利用ddrg强化学习算法对动力电池功率、超级电容功率和燃料电池功率进行分配，得到功率分配结果，具体包括：以锂电池soc、超级电容soc、燃料电池电流、所述预测车速信息和所述车辆需求功率为所述ddrg强化学习算法的状态参量，以锂电池输出功率因子和超级电容输出功率因子为动态参数，以根据所述锂电池soc和所述超级电容soc确定的函数为奖励函数，对ddrg网络进行训练，得到训练好的ddrg强化学习算法；根据所述车辆需求功率利用所述训练好的ddrg强化学习算法对动力电池功率、超级电容功率和燃料电池功率进行分配，得到功率分配结果。

技术总结
本发明涉及一种混合动力汽车复合储能系统能量管理系统及方法，系统包括：获取模块，用于获取交通态势数据；预测模块，用于根据所述交通态势数据利用神经网络进行车速预测得到预测车速信息；车辆需求功率模块，用于根据所述预测车速信息确定车辆需求功率；分配模块，用于根据所述车辆需求功率利用DDRG强化学习算法对动力电池功率、超级电容功率和燃料电池功率进行分配，得到功率分配结果；控制模块，用于根据所述功率分配结果对混合动力汽车复合储能系统进行控制。本发明通过协调燃料电池、动力电池以及超级电容之间的能量分配实现对能量分配的优化。能量分配的优化。能量分配的优化。


技术研发人员：李卫民 魏大钧 邵壮 王昌朋
受保护的技术使用者：山东中科先进技术研究院有限公司
技术研发日：2021.12.08
技术公布日：2022/3/8