一种基于多目标优化的极限学习机能源消耗预测方法与流程

1.本发明涉及能源消耗预测技术领域，具体是一种基于多目标优化的极限学习机能源消耗预测方法。


背景技术：

2.极限学习机(extreme learning machine，elm)是一种单隐层前馈神经网络，参照图1，由于其网络模型输入的参数是被随机分配的，elm只需要一次迭代求解就能训练出模型，因此它可以得到比反向传播神经网络(back propagation，bp)更快的学习速度，并且具备更优良的泛化能力，不易产生局部最优解。
3.elm的目标是将一个原始的输入空间映射到一个输出空间，进而处理分类或回归问题。多层感知机(mlp)和径向基函数神经网络(rbfnn)是其中最常用的两种神经模型。极限学习机提出随机初始化网络参数，输出权重是用基于moore-penrose广义逆的最小均方法计算得出的，因此计算成本要比使用其他经典算法要低得多。它在不同领域中的应用变得越来越广泛，研究者们也先后提出了一些算法来解决极限学习机在不同领域的应用问题。此外，由于现实中的数据呈指数增长，elm也为如何在合理的时间内从海量数据中获取模型提供了一种有效的方法。
4.尽管elm由于其较快的训练速度和良好的泛化性能，在很多现实分类和回归问题中广泛应用。但是，elm权重随机化的特点，常常会降低模型的泛化性能。作为一种经验风险最小化模型，elm模型在训练过程中会因为少部分异常数据趋于过拟合。
5.申请公布号为cn112485394a，申请人为浙江大学的专利一种基于稀疏自编码和极限学习机的水质软测量方法，该方法在污水处理的应用中，将稀疏自编码方法与极限学习机方法相结合，兼顾极限学习机的学习速度极快、模型估计精度高以及稀疏自编码针对非线性数据降维提取特征值等特点，能够实现快速有效的估计污水处理中关键水质的浓度，在保证性能的前提下，结合多次再采样求平均值的方法有效降低了计算复杂度。将该方法应用在污水处理氨氮离子浓度的软测量上，可以实现快速准确估计氨氮离子的浓度，从而实现了针对污水处理中关键组分的软测量效果，降低因为传感器成本对污水处理工艺的约束与限制，进一步为污水处理工艺的提升以及出水水质的改善提供支持。
6.申请公布号为cn112748372a，申请人为湘潭大学的专利一种人工蜂群优化极限学习机的变压器故障诊断方法，它包括以下的步骤：收集变压器在六种状态下运行的数据，对收集获取的数据进行预处理；选取五种气体的含量作为极限学习机的输入向量，并将数据分为训练样本集和测试样本集，使用训练样本集对极限学习机进行训练；在训练的过程中采用人工蜂群算法优化极限学习机的输入层权重和隐含层偏置，获取最优的极限学习机诊断模型；在训练好的极限学习机中输入测试样本集，得出变压器的故障类型诊断分类的结果。结合了人工蜂群算法良好的收敛性和较强的全局搜索能力，用来优化极限学习机的输入层权重与隐含层偏置，对变压器的故障类型进行诊断分类。
7.上述方法创新性好，训练速度快，但模型的泛化性能没有较大提升，模型的鲁棒性
没有较大提升。
8.极限学习机，缩写elm，是一种单隐层前馈神经网络，由于其网络模型输入的参数是被随机分配的，elm只需要一次迭代求解就能训练出模型，因此它可以得到比反向传播神经网络(back propagation，bp)更快的学习速度，且拥有更好的泛化能力，不易产生局部最优解。鉴于极限学习机以上的优点，它已经被应用到了机器学习中的各个分支。
9.多目标优化使多个目标在给定区域同时尽可能最佳，多目标优化的解通常是一组均衡解(即一组由众多pareto最优解组成的最优解集合，集合中的各个元素称为pareto最优解或非劣最优解)。
10.神经网络是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。
11.本发明提出一种基于多目标优化的极限学习机能源消耗预测方法，包含了elm网络参数优化和结构学习两个部分，目的是优化出最佳的稀疏elm模型。具体而言，利用moea/d多目标优化算法同时优化elm的网络参数和连接结构，找到elm的最佳网络参数和稀疏连接结构，以去除完全连接elm网络结构中的冗余连接。此外，还改进了moea/d多目标算法，用于处理所提出的基于混合编码的多目标优化模型。最后，将集成学习(ensemble learning)应用到了多目标模型决策中来。


技术实现要素：

12.本发明的目的在于提供一种基于多目标优化的极限学习机能源消耗预测方法，利用moea/d多目标优化算法同时优化elm的网络参数和连接结构，找到elm的最佳网络参数和稀疏连接结构，以去除完全连接elm网络结构中的冗余连接。
13.本发明的技术方案是：一种基于多目标优化的极限学习机能源消耗预测方法，包括如下步骤：
14.s1、数据采集，选取与预测能耗数据关系密切的状态量作为预测模型的输入量，输入量不是固定不变的；
15.s2、数据预处理，对训练样本及测试样本数据进行前期处理，为了消除量纲不同造成的预测误差，都会对数据进行归一化处理；
16.s3、选取训练数据集和测试数据集；
17.s4、设置模型初始参数；
18.s5、训练基于目标优化的极限学习机算法，包括elm网络参数优化和elm网络结构学习，利用训练样本，对基于多目标优化的极限学习机算法进行模型训练；
19.s6、预测能耗数据，利用测试数据集的样本对模型进行测试；
20.s7、结果分析，对s6中预测结果进行评价分析。
21.优选地，极限学习机的网络结构包括输入层，隐含层和输出层，输入层与隐含层之间的连接通过输入权重ω建立，隐含层与输出层之间的连接由输出权重β建立。
22.优选地，所述极限学习机算法包括如下步骤：
23.s1、输入：训练数据集激活函数g()，隐层神经元数
目l；
24.s2、输出：输出权重β；
25.s3、随机生成取值范围是[-1,1]的输入权重ω和隐层偏置b；
[0026]
s4、通过公式计算隐含层输出矩阵；
[0027]
s5、通过mp广义逆计算输出权重
[0028]
一种多目标优化的稀疏极限学习机算法，包括elm网络参数优化和结构学习，包括elm稀疏连接结构、多目标优化过程以及多目标决策过程；包括如下步骤：
[0029]
s1、定义elm的稀疏连接结构和网络参数，包括输入权重，偏置和连接条件；
[0030]
s2、利用以上参数向量模拟多目标进化算法中的个体，建立多目标优化模型；
[0031]
s3、通过改进的moea/d多目标进化算法优化提出的多目标模型，计算最优的网络参数和稀疏连接结构；
[0032]
s4、将集成学习嵌入到稀疏elm极限学习机的多目标模型决策中。
[0033]
与现有技术相比，具有如下改进及优点：
[0034]
本发明通过对企业电力能耗数据的整理、分析和挖掘，利用机器学习的方法，建立能耗预测模型，对企业能耗数据进行预测。所提出的机器学习方法为基于多目标优化的极限学习机分类方法，该方法解决了传统elm算法容易遇到的两大问题：
[0035]
1)elm通过mp广义逆求输出权重，被视为经验风险最小化模型，但容易出现过拟合问题；
[0036]
2)elm随机分配输入参数，特征映射过程会产生大量冗余信息，影响模型泛化性能。
[0037]
针对这两点问题，本发明提出了elm算法的稀疏模型，即网络模型输入层与隐含层之间的连接有选择地断开，以避免过拟合问题。其次，构建了多目标优化模型来同时优化稀疏elm模型的网络参数和稀疏连接结构，减少模型在特征提取中产生冗余信息，从而提高模型的泛化性能。在稀疏elm模型求解中，我们将模型的输入权重、隐层偏置和连接条件编码为多目标优化模型的个体，将模型的均方根误差和稀疏度作为多目标优化的两个目标，利用基于混合编码的moea/d多目标进化算法来优化该多目标模型。在得到多目标模型的帕累托最优解后，提出了利用集成学习的思想来实现多目标决策。通过算法的建立和模型优化，解决了能耗预测任务中预测精度低、模型调参困难、模型训练时间长等问题，实现大批量数据的处理分析，避免过多人工干预，提高工作效率。通过能源消耗短期预测为能源大数据可视化分析提供了支撑，同时为能源优化应用提供了参考。
附图说明
[0038]
下面结合附图和实施例对本发明作进一步解释：
[0039]
图1是背景技术提出的elm网络结构的示意图；
[0040]
图2是本发明的一种基于多目标优化的极限学习机能源消耗预测方法的流程图；
[0041]
图3是本发明的一种多目标优化的稀疏极限学习机算法的算法框架图。
具体实施方式
[0042]
下面对本发明进行详细说明，对本发明实施例中的技术方案进行清楚、完整地描
述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0043]
本发明通过改进在此提供一种基于多目标优化的极限学习机能源消耗预测方法及分析方法，本发明的技术方案是：
[0044]
如图2所示，一种基于多目标优化的极限学习机能源消耗预测方法，包括如下步骤：
[0045]
s1、数据采集，选取与预测能耗数据关系密切的状态量作为预测模型的输入量，输入量不是固定不变的；
[0046]
s2、数据预处理，对训练样本及测试样本数据进行前期处理，为了消除量纲不同造成的预测误差，都会对数据进行归一化处理；
[0047]
s3、选取训练数据集和测试数据集；
[0048]
s4、设置模型初始参数；
[0049]
s5、训练基于目标优化的极限学习机算法，包括elm网络参数优化和elm网络结构学习，利用训练样本，对基于多目标优化的极限学习机算法进行模型训练；
[0050]
s6、预测能耗数据，利用测试数据集的样本对模型进行测试；
[0051]
s7、结果分析，对s6中预测结果进行评价分析。
[0052]
不同于传统的单隐层前馈神经网络(slfns)，elm随机分配输入权重和隐层偏置，同时不需要向神经网络中误差反向传播那样调整参数。elm网络模型的输出权重直接通过求解线性模型确定，因此elm的训练阶段只通过一次迭代完成，训练速度极快。elm的网络结构包含：输入层，隐含层和输出层，输入层与隐含层之间的连接通过输入权重ω建立，隐含层与输出层之间的连接由输出权重β建立。
[0053]
假设给定由n个任意不同样本组成的训练数据集其中单个样本包括n个特征，标签包括m个输出类别。一个包含l个神经元的标准slfn的输出可以表示为
[0054][0055]
其中是第i个隐层神经元的输入权重，bi是第i个隐层神经元的偏置。是第i个神经元的输出权重，网络的输出值是g()是激活函数。elm中，sigmoid函数常被当作激活函数
[0056][0057]
标准slfn的损失函数在网络参数ω,b,β完全可调的情况下，能够无
限接近于零误差。在这种情况下，我们将公式转换为
[0058][0059]
因此，上述n个式子可以组合在一起，变成矩阵的形式
[0060]
hβ＝t
[0061]
其中，
[0062][0063][0064]
矩阵h是隐含层的输出，t是真实类标签。输出权重β是通过解决最小二乘问题计算
[0065][0066]
其中，隐层输出h的mp广义逆，所述极限学习机算法包括如下步骤：
[0067]
s1、输入：训练数据集激活函数g()，隐层神经元数目l；
[0068]
s2、输出：输出权重β；
[0069]
s3、随机生成取值范围是[-1,1]的输入权重ω和隐层偏置b；
[0070]
s4、通过公式计算隐含层输出矩阵；
[0071]
s5、通过mp广义逆计算输出权重
[0072]
参照图3，本发明提出的一种mo-selm多目标优化的稀疏极限学习机算法，包括elm网络参数优化和结构学习，包括elm稀疏连接结构、多目标优化过程以及多目标决策过程；包括如下步骤：
[0073]
s1、定义elm的稀疏连接结构和网络参数，包括输入权重，偏置和连接条件；
[0074]
s2、利用以上参数向量模拟多目标进化算法中的个体，建立多目标优化模型；
[0075]
s3、通过改进的moea/d多目标进化算法优化提出的多目标模型，计算最优的网络参数和稀疏连接结构；
[0076]
s4、将集成学习嵌入到稀疏elm极限学习机的多目标模型决策中。
[0077]
下面对各步骤进行详细介绍。
[0078]
(1)定义elm的稀疏连接结构和网络参数，包括输入权重，偏置和连接条件
[0079]
本发明提出了elm的稀疏连接结构，将原来全连接的elm网络中的连接有选择性的断开，形成稀疏连接结构。对于如何选择最优稀疏连接模型，我们采用多目标优化算法来求解。
[0080]
假设在全连接的elm网络模型中，隐藏层的特征空间可以表示为整个数据空间中的所有特征。对于稀疏连接的elm网络模型，输入层和隐藏层之间是部分连接的，我们将它
们之间的连接率定义为mo-selm的稀疏度。具有相同稀疏度的稀疏连接网络结构可以是不同的连接结构，即代表了不同的特征映射。显然，我们可以通过优化方法选择代表最佳特征映射的稀疏结构，作为mo-selm算法的最优稀疏连接结构。
[0081]
在详细介绍改进的mo-selm算法之前，我们先将相关的符号定义如下：
[0082]
训练数据集：其中x
tr
是训练集样本，n
tr
是训练集样本数目。
[0083]
测试数据集：其中x
te
是测试集样本，n
te
是测试集样本数目。
[0084]
连接条件：θ∈{0,1}代表稀疏网络输入层到隐含层之间的连接条件。当θ
ij
＝1时，表示第i个隐层神经元与第j个输入神经元建立连接；反之，当θ
ij
＝0则代表它们之间没有连接。
[0085]
种群：φ＝{x1,x2,
…
,x
np
}是多目标优化算法中的种群，其中np代表种群的大小，xi是种群的第i个个体。
[0086]
(2)利用以上参数向量模拟多目标进化算法中的个体，建立多目标优化模型
[0087]
首先，在全连接elm中，经过特征映射后，隐含层的输出如以下公式所示。在稀疏连接的elm模型中，elm的特征映射过程并不会像全连接elm那样将输入空间内所有特征进行非线性映射，而是选择稀疏elm中与隐层神经元建立连接的输入特征进行特征映射。在训练数据集d
tr
上，稀疏elm单个隐层神经元的输出特征可表示为
[0088][0089]
其中，代表两个向量的哈达玛积(hadamard product)，ωi,θi,bi分别是稀疏elm模型的网络参数。
[0090]
对于l个隐层神经元的稀疏elm模型来说，在第g代进化后，特征映射后隐含层的输出特征为hg。因此，稀疏elm模型的输出特征βg可以通过公式计算求得。
[0091]
(3)通过改进的moea/d算法优化提出的多目标模型，计算最优的网络参数和稀疏连接结构；
[0092]
接下来，主要讨论如何同时优化稀疏elm的两个目标，即模型的稀疏度和模型的学习性能。首先，我们定义了多目标优化模型的个体如下：
[0093][0094]
包含了稀疏elm模型中输入权重ω，隐层偏置b和连接条件θ。上式中，x
k,g
表示第g代进化后，种群φg＝{x
1,g
,
…
,x
np,g
}的第k个个体。所有参数的初始值都是随机分配的，ω,b的取值范围是[-1,1]，θ属于{0,1}。个体的总长度为(2n+1)
×
l,包括长度为n
×
l的输入权重ω，长度为l的隐层偏置b和长度为n
×
l的连接条件θ。
[0095]
在这个多目标优化模型中，我们分别采用模型的均方根误差(rmse)和模型的稀疏度作为两个目标函数。在每一代进化后，我们把优化个体中的参数向量用于计算稀疏elm模型的输出权重，如以下两个公式所示：
[0096]
[0097][0098]
(这2个公式前文出现过，不再重复介绍)
[0099]
因此，在训练集上的均方根误差作为第一个目标
[0100][0101]
第二个目标为稀疏度
[0102][0103]
因此，我们提出的多目标优化模型的目标函数为
[0104][0105]
同时使两个目标函数最小化，让模型在性能越好的前提下，尽可能地稀疏。
[0106]
多目标进化算法处理多目标优化问题的原则是找到一组具有代表性的权衡解，使其无限接近真正的帕累托最优前沿。因此，我们建立了多目标优化模型，并针对上述两个优化问题构建的不同的目标函数，最后选用了moea/d多目标进化算法来优化提出的多目标模型。
[0107]
由于我们提出的多目标模型的个体是混合编码的，即输入权重和隐层偏置是实数编码，而连接条件是二进制编码。因此需要对moea/d进行改进，以处理模型中的混合编码个体。由于多目标优化模型的个体中既有连续部分又有离散部分，因此我们改进了moea/d算法中的遗传算子，提出了个体中这两个部分分别独自完成它们的交叉和变异过程，然后再合并起来计算整个个体的目标函数值并选择子代。
[0108]
本发明提出的一种mo-selm多目标优化的稀疏极限学习机算法，其算法基本步骤如下：
[0109]
s1、输入：训练数据集d
tr
，进化种群φ，最大进化代数maxgen；
[0110]
s2、输出：所有帕累托最优的输出权重βg；
[0111]
s3、随机初始化种群φ1＝[x
k,1
|k＝1,2,
…
,np]；
[0112]
s4、通过公式计算初始种群的适应值，计算初始参考点z＝(z1,z2)
t
；
[0113]
s5、while g≤maxgen do；
[0114]
s6、for k＝1,2,...,np do；
[0115]
s7、计算输出权重β
k,g
；
[0116]
s8、通过交叉和变异生成子问题的一个后代x
′
,并计算后代的适应值fk(x
′
)；
[0117]
s9、更新参考点z：if fi(x
′
)＜zi，zi＝fi(x
′
),i＝1,2；
[0118]
s10、选择后代；
[0119]
s11、对每一个邻居索引j，if g
te
(x
′
|λj,z)＜g
te
(xj|λj,z)，xj＝x
′
；
[0120]
s12、end for；
[0121]
s13、g＝g+1；
[0122]
s14、end while。
[0123]
在mo-selm的算法流程中总结了我们所提出的基于多目标优化的稀疏elm算法的学习过程。因此，mo-selm可以简单归纳为以下三个方面：(1)计算训练数据集d
tr
上的稀疏elm的输出权重β；(2)通过改进moea/d算法的交叉和变异操作产生后代x
′
，并计算出适应值f(x
′
)；(3)更新参考点z，并通过计算切比雪夫方程g
te
来选择后代。在经过最大进化代数后，所有的帕累托最优输出权重β被当作不同稀疏结构elm的最佳输出权重。
[0124]
(4)将集成学习嵌入到稀疏elm的多目标模型决策中
[0125]
由于帕累托最优解代表了一套权衡的最优解解集而不是单一的最优解，因此在模型评估时，我们还要对稀疏elm模型的多目标解集做出正确的决策。为了对帕累托最优解集做出决策，我们将集成学习嵌入到所提出的算法中。具体来说，我们在分类任务中，利用大多数投票的方式做决策；在回归任务中，我们采用求均值的方式来做决策。
[0126]
在预测阶段，首先对于分类任务，我们利用大多数投票在一组不同分类模型的结果中做决策。定义分类器为ci，测试集中所有类别的标签可表示为{t1,t2,
…
,tm}。这时，将测试数据x
te
在分类器ci上的预测值用m维的向量表示其中表示分类器ci的预测类别为tj。因此，基于大多数投票的决策过程可转换为下式
[0127][0128]
这里分类精度作为评估mo-selm算法的准则
[0129][0130]
其中指示函数等于1，当时；否则等于0。
[0131]
本发明提出一种基于多目标优化的极限学习机能源消耗预测方法，首先介绍了提出elm稀疏连接结构的动机，然后构建多目标优化模型还优化所提出的稀疏elm模型，最后利用改进的moea/d多目标进化算法求解多目标模型并根据求出的帕累托最优解做出决策。通过算法的建立和模型的优化，解决了能耗预测任务中预测精度低、模型调参困难、模型训练时间长等问题，实现大批量数据的处理分析，避免过多人工干预，提高工作效率。通过能源消耗短期预测为数据展示分析提供了支撑，同时为用户提供了参考。
[0132]
本发明利用moea/d多目标优化算法同时优化elm的网络参数和连接结构，找到elm的最佳网络参数和稀疏连接结构，以去除完全连接elm网络结构中的冗余连接。改进了moea/d多目标算法，用于处理所提出的基于混合编码的多目标优化模型。将集成学习(ensemble learning)应用到了多目标模型决策中来。应用创新，改进的elm算法应用到能耗预测任务中，并具有实际应用效果。
[0133]
上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文
所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

技术特征：
1.一种基于多目标优化的极限学习机能源消耗预测方法，其特征在于：包括如下步骤：s1、数据采集，选取与预测能耗数据关系密切的状态量作为预测模型的输入量，输入量不是固定不变的；s2、数据预处理，对训练样本及测试样本数据进行前期处理，为了消除量纲不同造成的预测误差，都会对数据进行归一化处理；s3、选取训练数据集和测试数据集；s4、设置模型初始参数；s5、训练基于目标优化的极限学习机算法，包括elm网络参数优化和elm网络结构学习，利用训练样本，对基于多目标优化的极限学习机算法进行模型训练；s6、预测能耗数据，利用测试数据集的样本对模型进行测试；s7、结果分析，对s6中预测结果进行评价分析。2.根据权利要求1所述的一种基于多目标优化的极限学习机能源消耗预测方法，其特征在于；极限学习机的网络结构包括输入层，隐含层和输出层，输入层与隐含层之间的连接通过输入权重ω建立，隐含层与输出层之间的连接由输出权重β建立。3.根据权利要求1所述的一种基于多目标优化的极限学习机能源消耗预测方法，其特征在于：所述极限学习机算法包括如下步骤：s1、输入：训练数据集激活函数g()，隐层神经元数目l；s2、输出：输出权重β；s3、随机生成取值范围是[-1,1]的输入权重ω和隐层偏置b；s4、通过公式计算隐含层输出矩阵；s5、通过mp广义逆计算输出权重4.一种多目标优化的稀疏极限学习机算法，包括elm网络参数优化和结构学习，包括elm稀疏连接结构、多目标优化过程以及多目标决策过程；其特征在于：包括如下步骤：s1、定义elm的稀疏连接结构和网络参数，包括输入权重，偏置和连接条件；s2、利用以上参数向量模拟多目标进化算法中的个体，建立多目标优化模型；s3、通过改进的moea/d多目标进化算法优化提出的多目标模型，计算最优的网络参数和稀疏连接结构；s4、将集成学习嵌入到稀疏elm极限学习机的多目标模型决策中。

技术总结
本发明提出的一种基于多目标优化的极限学习机能源消耗预测方法，包括如下步骤：S1、数据采集；S2、数据预处理；S3、选取训练数据集和测试数据集；S4、设置模型初始参数；S5、训练基于目标优化的极限学习机算法，包括ELM网络参数优化和ELM网络结构学习，利用训练样本，对基于多目标优化的极限学习机算法进行模型训练；S6、预测能耗数据；S7、结果分析。本发明利用MOEA/D多目标优化算法同时优化ELM的网络参数和连接结构，找到ELM的最佳网络参数和稀疏连接结构，以去除完全连接ELM网络结构中的冗余连接。连接。连接。


技术研发人员：尹旭 张镇 杨扬 朱本行 肖国凯 李帆
受保护的技术使用者：山东省计算中心（国家超级计算济南中心）
技术研发日：2021.12.08
技术公布日：2022/3/8