基于LM卷积神经网络的航空发动机建模方法与流程

基于lm卷积神经网络的航空发动机建模方法
技术领域
1.本发明涉及神经网络，特别是一种基于lm卷积神经网络的航空发动机建模方法。


背景技术：

2.目前，航空发动机实时建模方法有机理建模和辨识法建模两种方法。机理建模存在建模快速性、机载模型实时性和硬件资源占用大等问题，实时机载模型使用的都为简化部件级模型，但简化模型存在精度较差的问题。辨识方法建模就是采取系统辨识技术，根据系统实际运行或实验过程中所取得的输入/输出数据，利用各种辨识方法来建立系统的动静态数学模型。传统辨识方法为参数估计的线性系统辨识方法，对于航空发动机这种本质强非线性系统，只能在小范围内认为是线性系统进行辨识，大范围模型需大量辨识拟合，工作量大、拟合精度不高。采用人工神经网络辨识能够高度逼近高度复杂的非线性系统、硬件占用资源少、实时性好、自学习能力能跟踪发动机蜕化。然而现多采用浅层bp神经网络进行发动机辨识，学习速度快但精度不高，且采用梯度下降法的bp神经网络在极值点附近存在收敛速度较慢的问题。


技术实现要素：

3.发明目的：本发明的目的是提供一种基于lm卷积神经网络的航空发动机建模方法，从而更高精度逼近非线性模型，并且提高收敛速度。
4.技术方案：本发明所述的一种基于lm卷积神经网络的航空发动机建模方法，包括以下步骤：
5.(1)采集航空发动机的数据，构建分别用于建立和测试卷积神经网络的训练样本集和测试样本集；所述的数据包括航空发动机前两个时刻的高、低压转子转速和当前时刻的主燃油量和尾喷管面积；
6.(2)设置卷积神经网络结构；所述的卷积神经网络结构的第一层为输入层，第二层为卷积层，第三层为全连接层，第四层为输出层；
7.(3)初始化卷积神经网络的参数；
8.(4)前向计算：把训练样本集输入到卷积神经网络中，卷积神经网络输出预测值；
9.(5)反向传播：应用lm算法对卷积神经网络的权重参数进行更新、优化；
10.(5.1)计算除输入层外各层的敏感度；
11.输出层敏感度计算公式为：其中，是输出层激活函数的导数，是输出层数组的第一类列拓展；全连接层敏感度计算公式为：卷积层所有通道连接在一起的敏感度计算公式为：卷积层第k个通道的敏感度为：其中vnum2是第二层每个通道的节点数；
12.(5.2)计算除输入层外各层训练参数的雅可比矩阵；
13.卷积层第k个通道卷积核的雅可比矩阵为：conv_row表示对矩阵的每一行分别做卷积运算，rot180表示将矩阵旋转180
°
；第k个通道偏置的雅可比矩阵为∑
col
表示对数组的每一列分别求和；从而，全连接层权值雅可比矩阵计算公式为：其中是的转置矩阵的第一类列拓展，拓展倍数为全连接层节点数，是全连接层敏感度转置矩阵的第二类列拓展，将整个数组进行列拓展，拓展倍数为卷积层3个通道连接后的节点数r，即
·
*表示两个矩阵元素对应相乘；第三层偏置雅可比矩阵为：jac_b3＝(δ3)
t
；从而，jac3＝[jac_w
3 jac_b3]；输出层雅可比矩阵计算与全连接层过程类似，不再赘述；所有训练参数的雅可比矩阵为： jac＝[jac
2 jac
3 jac4]；
[0014]
(5.3)计算训练参数梯度w
grad
；
[0015]wgrad
＝(jac
t
*jac+μi)-1
*(jac
t
*e)，其中e为输出层误差转换成的列向量，i是单位矩阵，μ是网络的超参数，当网络误差减小时μ按一定倍数减小，相反则增大；
[0016]
(5.4)最新迭代得到的训练参数为：w
k+1
＝w
k-βw
grad
，β为网络超参数。
[0017]
(6)迭代：重复步骤(4)和(5)，通过迭代不断优化网络参数，直到达到终止条件；
[0018]
(7)测试：调用设计好的网络结构和训练好的网络参数，将所述测试样本输入到网络中进行测试，如果测试效果不满足要求，则重复进行步骤(5)-(7)，直到获得满意的预测效果。
[0019]
一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的一种基于lm卷积神经网络的航空发动机建模方法。
[0020]
一种计算机设备，包括储存器、处理器及存储在存储器上并可再处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的一种基于lm卷积神经网络的航空发动机建模方法。
[0021]
有益效果：与现有技术相比，本发明具有如下优点：使用深度卷积神经网络辨识航空发动机模型能够增加辨识精度，去除了卷积神经网络池化层，保留了更多有效信息，同时对卷积神经网络反向传播过程使用lm算法改进，近似获取了系统的二阶信息，加快了网络收敛速度。
附图说明
[0022]
图1为本发明中卷积神经网络的结构图；
[0023]
图2为单组数据训练详解图；
[0024]
图3为某一次训练lm卷积神经网络和bp神经网络均方误差对比图。
[0025]
图中1.输入层，2.卷积层，3.全连接层，4.输出层，5.输入层到卷积层卷积核， 6.卷积层到全连接层权值，7.全连接层到输出层权值。
具体实施方式
[0026]
下面结合附图对本发明的技术方案作进一步说明。
[0027]
本实施例的建模环境为pc计算机中的matlab r2012b，电脑处理器为 inter(r)core(tm)i5hq cpu@2.50ghz 2.50ghz，内存为8.00g。
[0028]
神经网络建模数据为某一高度、马赫数下提取的输入\输出数据，数据量为 5000组，每次训练从中随机抽取4000组作为训练集，剩下的1000组作为测试集，重复该过程10次，分析平均误差和平均运行时间以消除偶然性。该网络第一层为输入层，获取航空发动机前两个时刻的高、低压转子转速和当前时刻的主燃油量和尾喷管面积作为网络的输入。对于输入量x需要进行归一化。x为6
×
4000的数组，6为网络输入层节点数，训练数据量为4000组，每一节点输入分别归一化，第i个节点归一化采用公式为：x
norm,i
＝2(x
i-x
min,i
)/(x
max,i-x
min,i
)-1。第二层为卷积层，卷积层计算公式为：上标2表示层数，下标k表示第k个通道。本发明使用3个卷积核，卷积层能获得3个通道的输出，以获取输入量不同方面的信息。卷积层的激活函数f2为双曲正切s型传输函数(tansig)。一般卷积层后会接池化层以减少大维度输入的学习参数量，本发明中去掉池化层从而保留小维度输入的更多信息，提高辨识精度。第三层为全连接层将第二层输出的 3个数组行连接成一个数组向下传播，可以认为是传统bp神经网络隐藏层，计算公式为：x3＝f3(w3*x2+b3)，x2为第二层输出行连接后的数组，激活函数f3为 tansig。第四层为输出层也为传统bp神经网络输出层，计算公式为： x4＝f4(w4*x3+b4)，输出层激活函数为线性传输函数(purelin)。输出层节点数为2，分别为航空发动机当前时刻的高、低压转子转速，输出数组归一化公式与输入一样。
[0029]
以上为该神经网络的正向传播过程，卷积神经网络反向传播过程多为梯度下降法，存在极值点附近收敛速度慢的缺点。本发明将lm算法运用于卷积神经网络的反向传播，lm算法利用系统一阶信息近似获得系统的二阶信息，既没有增加计算量又增加了收敛速度。由于卷积神经网络存在卷积层这一特殊层，尚未有学者将lm算法运用于卷积神经网络的反向传播，这也是本发明的关键所在。
[0030]
反向传播第一步是计算除输入层外各层的敏感度。基于lm算法输出层敏感度计算公式为：其中，是输出层激活函数的导数，是输出层数组的第一类列拓展，逐列依次拓展输出层节点数为2，每列拓展两次。全连接层敏感度计算公式为：卷积层3个通道连接在一起的敏感度计算公式为：卷积层第k个通道的敏感度为：其中vnum2是第二层每个通道的节点数，即将卷积层敏感度按照通道节点数行划分。
[0031]
第二步为计算除输入层外各层训练参数的雅可比矩阵。卷积层第k个通道卷积核的雅可比矩阵为：conv_row表示对矩阵的每一行分别做卷积运算，rot180表示将矩阵旋转180
°
。第k个通道偏置的雅可比矩阵为∑
col
表示对数组的每一列分别求和。从而，
全连接层权值雅可比矩阵计算公式为：其中是的转置矩阵的第一类列拓展，拓展倍数为全连接层节点数，是全连接层敏感度转置矩阵的第二类列拓展，将整个数组进行列拓展，拓展倍数为卷积层3个通道连接后的节点数r，即
·
*表示两个矩阵元素对应相乘。第三层偏置雅可比矩阵为：jac_b3＝(δ3)
t
。从而，jac3＝[jac_w
3 jac_b3]。输出层雅可比矩阵计算与全连接层过程类似，不再赘述。所有训练参数的雅可比矩阵为： jac＝[jac
2 jac
3 jac4]。
[0032]
第三步为利用lm算法公式计算训练参数梯度w
g r
。 w
grad
＝(jac
t
*jac+μi)-1
*(jac
t
*e)，其中e为输出层误差转换成的列向量，i是单位矩阵，μ是网络的超参数，当网络误差减小时μ按一定倍数减小，相反则增大。则最新迭代得到的训练参数为：w
k+1
＝w
k-βw
grad
，β也为网络超参数。
[0033]
在图1中输入层(1)的训练数据为6
×
4000的数组，表示输入节点为6，训练数据有4000组批量处理，经卷积连接和激活函数后成为卷积层(2)输出，3 个通道的输出行连接后成为全连接层(3)的输入，通过权值连接和激活函数后成为全连接层(3)的输出和输出层(4)的输入，通过激活函数后成为网络的输出。
[0034]
在图2中输入层(1)节点为6，卷积核(5)每个通道3个节点，卷积后卷积层(2)每个通道节点数为4，3个通道共12个节点连接在一起作为全连接层(3) 的输入，全连接层节点为8，故卷积层到全连接层权值(6)是8
×
12的矩阵，输出层节点为2，故全连接层到输出层的权值(7)是2
×
8的矩阵。
[0035]
图3中可以看出lm卷积神经网络(lmcnn)的收敛速度比bp神经网络 (bpnn)快，前者迭代25次左右基本已经收敛，后者迭代50次尚未完全收敛。 lmcnn的精度也更高，其均方误差(mse)约为4
×
10-8
，bpnn的mse约为10-5
左右。
[0036]
表1中可以看出lmcnn训练集和测试集误差都较bpnn小，lmcnn的训练集和测试集误差都在0.0027％左右，测试集误差较训练集略大。bpnn的训练集和测试集误差都在0.045％左右，测试集误差也较训练集略大。bpnn的误差约为lmcnn的17倍左右。lmcnn是深度神经网络，结构较为复杂，因此训练和辨识时间较长，为38s左右，约为bpnn训练时间的6倍，然而训练时间是模型建立时间与机载模型实时性无关。辨识时间都为毫秒级别，基本不会影响实时性。
[0037]
表1 lmcnn和bpnn性能对比
[0038][0039]
一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的一种基于lm卷积神经网络的航空发动机建模方法。
[0040]
一种计算机设备，包括储存器、处理器及存储在存储器上并可再处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的一种基于lm卷积神经网络的航空发动机建模方法。

技术特征：
1.一种基于lm卷积神经网络的航空发动机建模方法，其特征在于，包括以下步骤：(1)采集航空发动机的数据，构建分别用于建立和测试卷积神经网络的训练样本集和测试样本集；(2)设置卷积神经网络结构；(3)初始化卷积神经网络的参数；(4)前向计算：把训练样本集输入到卷积神经网络中，卷积神经网络输出预测值；(5)反向传播：应用lm算法对卷积神经网络的权重参数进行更新、优化；(6)迭代：重复步骤(4)和(5)，通过迭代不断优化网络参数，直到达到终止条件；(7)测试：调用设计好的网络结构和训练好的网络参数，将所述测试样本输入到网络中进行测试，如果测试效果不满足要求，则重复进行步骤(5)-(7)，直到获得满意的预测效果。2.根据权利要求1所述的一种基于lm卷积神经网络的航空发动机建模方法，其特征在于，步骤(1)中所述的数据包括航空发动机前两个时刻的高、低压转子转速和当前时刻的主燃油量和尾喷管面积。3.根据权利要求1所述的一种基于lm卷积神经网络的航空发动机建模方法，其特征在于，步骤(2)中所述的卷积神经网络结构的第一层为输入层，第二层为卷积层，第三层为全连接层，第四层为输出层。4.根据权利要求1所述的一种基于lm卷积神经网络的航空发动机建模方法，其特征在于，所述步骤(5)的具体为：(5.1)计算除输入层外各层的敏感度；输出层敏感度计算公式为：其中，是输出层激活函数的导数，是输出层数组的第一类列拓展；全连接层敏感度计算公式为：卷积层所有通道连接在一起的敏感度计算公式为：卷积层第k个通道的敏感度为：其中vnum2是第二层每个通道的节点数；(5.2)计算除输入层外各层训练参数的雅可比矩阵；卷积层第k个通道卷积核的雅可比矩阵为：conv_row表示对矩阵的每一行分别做卷积运算，rot180表示将矩阵旋转180
°
；第k个通道偏置的雅可比矩阵为∑
col
表示对数组的每一列分别求和；从而，全连接层权值雅可比矩阵计算公式为：其中是的转置矩阵的第一类列拓展，拓展倍数为全连接层节点数，是全连接层敏感度转置矩阵的第二类列拓展，将整个数组进行列拓展，拓展倍数为卷积层3个通道连接后的节点数r，即
·
*表示两个矩阵元素对应相乘；第三层偏置雅可比矩阵为：jac_b3＝(δ3)
t
；从而，jac3＝[jac_w
3 jac_b3]；输出层雅可比矩阵计算与全连接层过程类似，不再赘述；所有训练参数的雅可比
矩阵为：jac＝[jac
2 jac
3 jac4]；(5.3)计算训练参数梯度w
grad
；w
grad
＝(jac
t
*jac+μi)-1
*(jac
t
*e)，其中e为输出层误差转换成的列向量，i是单位矩阵，μ是网络的超参数，当网络误差减小时μ按一定倍数减小，相反则增大；(5.4)最新迭代得到的训练参数为：w
k+1
＝w
k-βw
grad
，β为网络超参数。5.一种计算机存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-4中任一项所述的一种基于lm卷积神经网络的航空发动机建模方法。6.一种计算机设备，包括储存器、处理器及存储在存储器上并可再处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-4中任一项所述的一种基于lm卷积神经网络的航空发动机建模方法。

技术总结
本发明公开了一种基于LM卷积神经网络的航空发动机建模方法，包括以下步骤：(1)采集航空发动机的数据，构建网络的训练样本集和测试样本集；(2)设置卷积神经网络结构；(3)初始化卷积神经网络的参数；(4)把训练样本集输入到卷积神经网络中，卷积神经网络输出预测值；(5)应用LM算法对卷积神经网络的权重参数进行更新、优化；(6)重复步骤(4)和(5)，通过迭代不断优化网络参数，直到达到终止条件。本发明使用深度卷积神经网络辨识航空发动机模型能够增加辨识精度，去除了卷积神经网络池化层，保留了更多有效信息，同时对卷积神经网络反向传播过程使用LM算法改进，近似获取了系统的二阶信息，加快了网络收敛速度。加快了网络收敛速度。加快了网络收敛速度。


技术研发人员：徐占艳 朱烨 任立华 殷骏 王阳 蒋子萱
受保护的技术使用者：中国航发控制系统研究所
技术研发日：2021.10.14
技术公布日：2022/3/8