基于异常注意力和FNO的叶绿素浓度补全方法及系统

本发明属于图像补全，特别涉及基于异常注意力和fno的叶绿素浓度补全方法及系统。

背景技术：

1、海表面叶绿素浓度时空数据场补全是近年来海洋科学重要方向，传统方法通常基于生成模型，如生成对抗网络、重构模型，如编码器-解码器等神经网络模型利用历史数据直接对叶绿素浓度场进行估计和补全。传统方法存在以下问题：补全不稳定、不准确，造成的原因是：一方面，传统方法通常采用一次补全的方式直接对缺失区域开展补全，另一方面，叶绿素浓度场的数值范围通常很大，而直接对这么大的数值范围进行估计会导致补全过程非常不稳定，同时又难以准确的估计每个点的数值。相较于传统方法，基于深度神经网络的叶绿素浓度场补全方法借助大量历史海洋数据进行估计的方式来学习叶绿素浓度时空数据的分布。

2、目前，基于深度学习的海洋叶绿素浓度补全的前沿方法是基于异常修复网络的海洋图像的补全方法，采用“由粗到细“的图像补全机制，大多采用两阶段的补全方法，阶段一采用海洋叶绿素浓度月均值估计周均值，阶段二借助待补全的海洋叶绿素浓度日数据中未缺失的部分和周均值的间的偏差值去估计缺失部分的偏差，后再与周平均值进行叠加得到补全的日叶绿素浓度场。

3、但是，以上方法存在以下问题：第一，仅开展显著性信息的表征学习，对非显著性（异常）信息的挖掘不充分，限制了补全的准确度。例如，大多方法借助卷积、注意力机制等传统显著性表征策略开展叶绿素浓度补全，忽略了这些表征策略会对非显著性信息（如不满足周期内均值情况的局部异常等情况）进行平滑化，从而限制了最终补全的准确度。第二，依赖语义、视觉任务中的空间域表征策略，难以充分表征不具备清晰语义信息的海洋数据，导致表征质量差。例如，大多方法使用的表征学习策略大多受到了传统图像补全领域的启发，均依赖图像中清晰的语义、视觉信息来开展表征学习工作。然而，叶绿素浓度图像属于海洋科学数据，其组成不仅缺少清晰的语义信息，同时又表现为一个复杂的混沌系统，此类空间域表征策略难以对其进行充分表征，限制了表征结果的质量。

技术实现思路

1、针对现有技术存在的不足，本发明提供基于异常注意力和fno的叶绿素浓度补全方法及系统，（1）设计了针对叶绿素浓度补全任务的空间域双流注意力网络，解决了现有方法在仅开展显著性信息的表征学习，对非显著性（异常）信息的挖掘不充分，限制了补全的准确度的问题。（2）在叶绿素浓度补全任务中，引入傅里叶神经算子并与设计的空间域双流注意力网络进行结合，解决了原方法依赖语义、视觉任务中的空间域表征策略，难以充分表征不具备清晰语义信息的海洋数据，导致表征质量差的问题。

2、为了解决上述技术问题，本发明采用的技术方案是：

3、首先，本发明提供基于异常注意力和fno的叶绿素浓度补全方法，包括以下步骤：

4、步骤s1、输入数据：

5、输入数据包括破损的叶绿素浓度场sstcor、周均值叶绿素浓度场sstave：

6、步骤s2、空间域双流注意力处理：

7、首先通过不同的卷积提取sstcor的空间表征向量embsta、embano，提取sstave的空间表征向量embave，然后通过稳定注意力加强embsta中与embave具有相似相关性的潜在数据模式，得到空间域上的稳定特征向量；同时，通过异常反注意力加强embano中与embave具有负相关性的潜在数据模式，得到空间域上的异常特征向量；

8、步骤s3、频率域融合补全：

9、对于、，在频率域上使用傅里叶神经算子fno，经过融合补全后输出补全的叶绿素浓度场sstrec，并伴随得到重构的周均值叶绿素浓度场、破损的叶绿素浓度场；sstrec和真实叶绿素浓度场sstgro用判别器d2进行判别训练，和sstave用判别器d1进行判别训练，和sstcor用判别器d3进行判别训练。

10、进一步的，步骤s2中，空间域上的稳定特征向量的计算如下：

11、（1）；

12、（2）；

13、（3）；

14、其中，表示多头注意力机制中的第1，2，...，...i，...，h个头，h表示头部的总数量，表示用于拼接操作的权重矩阵，、和分别代表查询、键和值，、和是对应的权重矩阵，是中向量的维度；其中这里的和来自于embsta，而则来自于embave，softmax函数用于计算和之间的相似相关性；

15、空间域上的异常特征向量的计算如下：

16、（4）；

17、（5）；

18、其中和来自于embano，而则来自于embave；

19、公式（5）表示使用了异常反注意力reverseattention，其公式如下：

20、（6）；

21、通过进行相似相关性取反操作。

22、进一步的，傅里叶神经算子fno包括傅里叶变换、过滤层、傅里叶逆变换，步骤s3具体如下：

23、步骤s31、获取频率域信息：

24、输入特征向量、，首先应用傅里叶变换将其转换到傅里叶频率域上，随后使用2个相应的过滤层、进行过滤，分别得到稳定的频率域信息signsta、异常的频率域信息signano；

25、步骤s32、频率域信息融合：

26、将稳定的频率域信息signsta、异常的频率域信息signano同时输入一层复数通道卷积，实现两者信息在频率域的融合，并输出得到融合后的频率域信息signfus；

27、步骤s33、叶绿素浓度场融合补全：

28、融合后的频率域信息signfus经过傅里叶逆变换，从频率域还原回空间域上，得到表征向量embrec，然后使用2维卷积对embrec进行非线性增强，输出补全的叶绿素浓度场sstrec；

29、步骤s34、重构周均值叶绿素浓度场和破损的叶绿素浓度场：

30、稳定的频率域信息signsta、异常的频率域信息signano分别经过傅里叶逆变换和2维卷积，输出重构的周均值叶绿素浓度场和破损的叶绿素浓度场；

31、步骤s35、判别器训练：

32、sstrec和真实叶绿素浓度场sstgro用判别器d2进行判别训练，和sstave用判别器d1进行判别训练，和sstcor用判别器d3进行判别训练。

33、进一步的，步骤3中的公式如下：

34、（7）；

35、（8）；

36、其中，、分别是过滤层、中需要训练学习的全连接层参数，表示傅里叶变换，其过程如下：

37、（9）；

38、其中，j是虚数单位，f(x,y)代表输入的原图中像素点，x，y分别为横纵坐标数值，m，n分别是原图长宽尺寸，f(u,v)是频域信号。

39、进一步的，训练时，损失函数如下：

40、（17）；

41、分为两个部分：其中①表示本模型的重构损失，②表示本模型的判别损失，下面分别展开介绍：

42、①重构损失lossrecons具体计算如下：

43、(18)；

44、其中，为l2范数，mask为sstcor的二进制掩码：

45、（19）；

46、②判别损失lossdiscri具体计算如下：

47、（20）；

48、（21）；

49、（22）；

50、（23）；

51、其中，d1、d2、d3表示判别器，、、分别为其所需学习的参数，sstave为周均值叶绿素浓度场，为重构的周均值叶绿素浓度场，sstrec为补全的叶绿素浓度场，sstgro为真实叶绿素浓度场，sstcor为破损的叶绿素浓度场，为重构的破损的叶绿素浓度场。

52、其次，本发明提供基于异常注意力和fno的叶绿素浓度补全系统，用于实现如前所述的基于异常注意力和fno的叶绿素浓度补全方法，包括空间域双流注意力网络和频率域融合补全网络，所述空间域双流注意力网络将周均值叶绿素浓度场sstave、破损的叶绿素浓度场sstcor作为输入，经过空间稳定注意力模块和空间异常注意力模块同时输出空间域上的稳定特征向量、异常特征向量；

53、所述频率域融合补全网络将特征向量、作为输入，在频率域上经过融合补全后输出补全的叶绿素浓度场sstrec，并伴随得到重构的周均值叶绿素浓度场、破损的叶绿素浓度场；sstrec和真实叶绿素浓度场sstgro用判别器d2进行判别训练，和sstave用判别器d1进行判别训练，和sstcor用判别器d3进行判别训练。

54、与现有技术相比，本发明优点在于：

55、（1）设计了针对叶绿素浓度补全任务的空间域双流注意力网络，充分开展非显著性（异常）信息的挖掘，提高了补全准确性。本发明通过输入周均值叶绿素浓度场、破损的叶绿素浓度场，在空间域双流注意力网络中既利用稳定注意力加强了破损的叶绿素浓度场中与周均值叶绿素浓度场具有相似相关性的潜在数据模式，得到空间域上的稳定特征向量。又利用了异常反注意力加强了破损的叶绿素浓度场中与周均值叶绿素浓度场具有负相关性的潜在数据模式，得到空间域上的异常特征向量。该设计既充分保证显著性信息的挖掘，又充分保证了非显著信息（异常）信息的挖掘，提高了模型的补全准确度。

56、（2）在叶绿素浓度补全任务中，引入傅里叶神经算子并与设计的空间域双流注意力网络进行结合，充分利用频率域开展海洋数据的表征学习，提高了表征质量。本发明通过将傅里叶神经算子延伸至叶绿素浓度补全领域，与所提出的空间域双流注意力网络进行结合，并针对该领域问题对傅里叶神经算子中的卷子算子使用神经网络实现的低通滤波器进行了调整，改为全连接层实现自适应滤波器，从频率域上充分表征学习空间域上的稳定特征向量、异常特征向量并得到稳定的频率域信息、异常的频率域信息，随后将稳定的频率域信息、异常的频率域信息同时输入一层复数通道卷积，实现两者信息在频率域的融合，得到融合后的频率域信息，在频率域上充分地对海洋数据开展有效、充分地表征学习，得到完成补全任务的有效频率信息，提高了海洋数据的表征质量。

技术特征：

1.基于异常注意力和fno的叶绿素浓度补全方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于异常注意力和fno的叶绿素浓度补全方法，其特征在于，步骤s2中，空间域上的稳定特征向量的计算如下：

3.根据权利要求1所述的基于异常注意力和fno的叶绿素浓度补全方法，其特征在于，傅里叶神经算子fno包括傅里叶变换、过滤层、傅里叶逆变换，步骤s3具体如下：

4.根据权利要求3所述的基于异常注意力和fno的叶绿素浓度补全方法，其特征在于，步骤3中的公式如下：

5.根据权利要求3所述的基于异常注意力和fno的叶绿素浓度补全方法，其特征在于，训练时，损失函数如下：

6.基于异常注意力和fno的叶绿素浓度补全系统，其特征在于，用于实现如权利要求1-5任一项所述的基于异常注意力和fno的叶绿素浓度补全方法，包括空间域双流注意力网络和频率域融合补全网络，所述空间域双流注意力网络将周均值叶绿素浓度场sstave、破损的叶绿素浓度场sstcor作为输入，经过空间稳定注意力模块和空间异常注意力模块同时输出空间域上的稳定特征向量、异常特征向量；

技术总结
本发明属于图像补全技术领域，公开了基于异常注意力和FNO的叶绿素浓度补全方法及系统，所述系统包括空间域双流注意力网络和频率域融合补全网络，所述空间域双流注意力网络将周均值叶绿素浓度场、破损的叶绿素浓度场作为输入，经过空间稳定注意力模块和空间异常注意力模块同时输出空间域上的稳定特征向量、异常特征向量；频率域融合补全网络将空间域上的稳定特征向量、异常特征向量作为输入，在频率域上经过融合补全后输出补全的叶绿素浓度场，并伴随得到重构的周均值叶绿素浓度场、破损的叶绿素浓度场，用于进行判别训练。通过本发明提高补全的准确性。

技术研发人员：聂婕,左子杰,叶敏,温琦,王鑫,聂为之
受保护的技术使用者：中国海洋大学
技术研发日：
技术公布日：2024/12/5