一种水下图像超分辨与目标识别方法

本发明涉及水下成像探测，具体涉及一种水下图像超分辨与目标识别方法。

背景技术：

1、水下成像探测技术，在当下水下资源开发、环境监测及海洋军事等领域的迅速崛起中，已然成为研究领域的焦点。深度学习技术的突破，为这一领域的发展注入了新的活力。作为水下智能化探测的关键技术，水下图像目标检测的研究正日益活跃，并广泛应用于水生物探测、水环境勘探、海床建模、打捞救助、海底管道探测、反水雷以及反潜等多项任务中。这些研究不仅拓宽了水下探测的边界，也为相关领域的进一步发展提供了强有力的技术支持。然而，由于水下环境与陆地环境的显著差异，特别是水体对光的吸收和散射作用，使得电子设备采集到的水下图像质量严重下降，表现为颜色严重失真、细节缺失、对比度降低和模糊等缺陷，极大地阻碍了信息的准确获取。传统的水下图像处理方法，如增强、复原及超分辨率重建算法，普遍受限于对退化模型的依赖以及处理效率不高的问题，因此在应用范围和实时性方面受到了限制。

2、目前水下无人探测技术的大规模应用一大制约因素便是检测算法的性能短板，以及水下图像数据集的匮乏。多数情形下，仍需人工介入以辅助处理。同时，水下生物目标小且分布密集，存在重叠遮挡现象仍为目标识别增加了难度。因此，提升算法精度与速度、扩充水下图像数据集、加强复杂环境下的鲁棒性、拓宽算法的泛化能力，以及优化模型的计算效率，已成为该领域亟待攻克的关键难题。

技术实现思路

1、为解决上述技术问题，本发明提供一种水下图像超分辨与目标识别方法。

2、为解决上述技术问题，本发明采用如下技术方案：

3、一种水下图像超分辨与目标识别方法，所采用的超分辨目标识别模型包括编码器、解码器和特征金字塔网络；具体包括以下步骤：

4、步骤一，编码器包括卷积层和深度特征提取部分；使用卷积层对输入的水下图像i进行下采样，提取得到初始的特征f0，然后将f0依次输入到由a个正交双向注意力模块组成的深度特征提取部分；a个正交双向注意力模块分别输出不同层次提取的特征f1、f2、…、fa，对f0、f1、f2、…、fa进行拼接，得到编码器输出的特征c1；

5、步骤二，解码器包括上尺度器和卷积层；将特征c1输入依次输入到上尺度器和卷积层，得到水下图像的重建图像

6、步骤三，将编码器输出的特征c1输入到特征金字塔网络；特征金字塔网络包括自下向上路径、自上向下路径以及横向连接路径；自下向上路径使用深度残差网络；使用区域选取网络对自上向下路径中的各个特征图提取感兴趣区域，并进行对齐；将多个对齐后的感兴趣区域进行连接后，输入到卷积层，得到目标的分类结果和目标的边界盒。

7、进一步地，所述正交双向注意力模块包括多个交替的卷积层和注意力模块，用于对输入的特征f交替进行卷积操作和注意力操作；

8、注意力模块包括两个双向长短期记忆网络，第一个双向长短期记忆网络沿着特征f的每一行，从左到右以及从右到左对像素逐个扫描，获得两个特征图，第一个双向长短期记忆网络将两个特征图拼接后输出以组合每个像素的左上下文信息和右上下文信息，第二个双向长短期记忆网络沿着第一个双向长短期记忆网络输出的特征图以自下而上和自上而下的顺序扫描特征图的每一列，并通过拼接获得整体特征图；使用卷积层将整体特征图转换为d个通道，形成特征权重α，其中d＝w×h，w,h分别为输入的特征f的宽和高；对于所述特征权重α中位置(w,h)处的像素的特征向量pw,h∈rd，使用卷积层将维度变为c×w×h后使用softmax函数进行归一化，得到一个新的特征权重αw,h∈rd，再通过对每个像素生成的新的特征权重αw,h进行加权，得到上下文特征fatt：

9、第i个通道新的特征权重通过下式求得：

10、

11、为第i个通道的特征权重α中位置(w,h)处的像素的特征向量；

12、对于位置(w,h)处的像素参与的与f大小相同的上下文特征fatt通过以下公式得到：

13、

14、其中，fw,h∈rd为f中位置(w,h)处的卷积特征，为fatt中位置(w,h)处的特征。

15、进一步地，所述上尺度器包括多个卷积组，每个卷积组包含一个普通卷积和一个亚像素卷积；设conv(nc,k,nf)为卷积层，其中nc,k,nf分别为滤波器通道数、核大小、滤波器数；对于包含nc个特征图的输入特征，普通卷积conv(nc,3,r2·nf)将输入特征的特征图的数量增加到r2·nf，得到大小为h×w×r2·nf的特征张量，其中r表示上尺度因子(可自定义放大倍数)；h,w分别表示输入特征的特征图的高和宽；亚像素卷积pixelshuffle(r)将尺寸为h×w×r2·nf的特征张量中的元素重新排列为大小为(r·h)×(r·w)×nf的特征张量。

16、进一步地，所述超分辨目标识别模型的训练策略包括：

17、成对相似图一致性损失：

18、使用两个结构相同但初始化方式不同的超分辨目标识别模型，所述编码器和解码器构成自编码器网络，将两个超分辨目标识别模型的自编码器网络分别定义为第一自编码器网络a(θ1)、第二自编码器网络a(θ2)，两个超分辨目标识别模型的特征金字塔网络分别记为第一特征金字塔网络f(θ1)、第二特征金字塔网络f(θ2)；a(θ1)和f(θ1)组成第一个超分辨目标识别模型，a(θ2)和f(θ2)组成第二个超分辨目标识别模型；

19、在自编码器网络中，对来自编码器的特征图pe，即所述特征c1，和解码器输出的特征图pd，即所述重建图像计算相似图一致性损失；

20、对于给定的批次大小b，pe和pd的形状分别为b×c×w×h和b×c'×w'×h'，其中h和w分别为特征图pe的宽和高，c为对应的特征通道数；w'和h'分别为特征图pd的宽和高，c'为对应的特征通道数；为了计算相似图一致性损失，首先需要获得相似图矩阵，即格拉姆矩阵，根据自编码器网络a(θ1),a(θ2)输出返回两对输入之间的相似度值；为了减少相似度值之间变化的影响，对相似图矩阵进行l2归一化，得到形状为b×b的成对相似图矩阵ψ，即对于第i个超分辨目标识别模型：

21、

22、‖·‖2表示二范数，i∈{1,2}，ψ1和ψ2别是自编码器网络a(θ1),a(θ2)产生的相似图矩阵；

23、所提出的相似图一致性损失lsim为：

24、

25、ld(·,·)为均方根误差，分别表示a(θ1),a(θ2)中特征图pe的相似图矩阵，分别表示a(θ1),a(θ2)输出的特征图pd的相似图矩阵。

26、交叉标签监督：

27、将第一个超分辨目标识别模型和第二个超分辨目标识别模型输出的分类结果分别作为伪标签y1和y2，将伪标签y1和y2作为监督信号：用伪标签y2作为第一个超分辨目标识别模型的监督，用伪标签y1作为第二个超分辨目标识别模型的监督，并用交叉熵损失函数和dice损失函数共同进行约束，得到第一个超分辨目标识别模型的损失和第二个超分辨目标识别模型的损失

28、

29、其中α是平衡两个损失项的贡献的超参数；lce(·,·)是交叉熵损失函数；ldice(·,·)是dice损失函数；i∈{1,2}；则交叉标签监督总损失ly为：

30、

31、所述训练策略总损失函数为：

32、

33、与现有技术相比，本发明的有益技术效果是：

34、本发明提出一种新颖且高效的水下图像超分辨与目标识别方法，能够显著提升图像的信噪比与清晰度，为目标识别性能的提升奠定了基础。同时，本发明还设计出一种创新的模型训练策略，旨在有效缓解水下图像数据集稀缺的问题，从而满足实际应用的迫切需求。这一系列创新措施，能够为水下无人探测技术的广泛应用奠定坚实基础。

技术特征：

1.一种水下图像超分辨与目标识别方法，其特征在于，所采用的超分辨目标识别模型包括编码器、解码器和特征金字塔网络；具体包括以下步骤：

2.根据权利要求1所述的水下图像超分辨与目标识别方法，其特征在于，所述正交双向注意力模块包括多个交替的卷积层和注意力模块，用于对输入的特征f交替进行卷积操作和注意力操作；

3.根据权利要求1所述的水下图像超分辨与目标识别方法，其特征在于，所述上尺度器包括多个卷积组，每个卷积组包含一个普通卷积和一个亚像素卷积；设conv(nc,k,nf)为卷积层，其中nc,k,nf分别为滤波器通道数、核大小、滤波器数；对于包含nc个特征图的输入特征，普通卷积conv(nc,3,r2·nf)将输入特征的特征图的数量增加到r2·nf，得到大小为h×w×r2·nf的特征张量，其中r表示上尺度因子；h,w分别表示输入特征的特征图的高和宽；亚像素卷积pixelshuffle(r)将尺寸为h×w×r2·nf的特征张量中的元素重新排列为大小为(r·h)×(r·w)×nf的特征张量。

4.根据权利要求1所述的水下图像超分辨与目标识别方法，其特征在于，所述超分辨目标识别模型的训练策略包括：

技术总结
本发明涉及水下成像探测技术领域，公开了一种水下图像超分辨与目标识别方法，具体包括：编码器包括卷积层和深度特征提取部分；使用卷积层对输入的水下图像进行下采样，提取得到初始的特征，然后将依次输入到由多个正交双向注意力模块组成的深度特征提取部分；将特征输入依次输入到上尺度器和卷积层，得到水下图像的重建图像；将编码器输出的特征输入到特征金字塔网络；将多个对齐后的感兴趣区域进行连接后，输入到卷积层，得到目标的分类结果和目标的边界盒。能够显著提升图像的信噪比与清晰度，为目标识别性能的提升奠定了基础。

技术研发人员：吕文君,陈妍,康宇,季海波
受保护的技术使用者：中国科学技术大学
技术研发日：
技术公布日：2024/12/5