基于颜色边缘增强的红外与弱可见光图像配准方法及系统

本发明涉及图像处理，更具体的说是涉及一种基于颜色边缘增强的红外与弱可见光图像配准方法及系统。

背景技术：

1、可见光图像和红外图像在成像领域中各有其独特优势和特点。可见光图像覆盖波长范围从380纳米到780纳米，具有直观清晰、色彩丰富的特性，适用于日常摄影和视频拍摄，但容易受光照变化影响，弱可见光图像便是受到光照影响造成特征不显著的图像。相比之下，红外图像覆盖波长范围从3微米到14微米，利用物体的热辐射信息生成图像，不受光照和距离的影响，适用于夜间监测和隐藏物体探测。因此，融合红外与可见光图像有助于获得更加充实的信息、增强图像的识别度、提高目标检测和识别的精准度和效率。通过合理融合可见光图像和红外图像，可以实现更全面的信息获取，拓展其应用领域。

2、然而，不同传感器的特性和使用环境差异导致红外图像和可见光图像在波段、成像条件等方面存在明显差异，使得它们在几何形态上不一致。这种不一致性涉及位置、尺度、旋转、变形等多个方面，导致难以精确地将它们对齐在同一对极线上，这种情况会引起视差和残留失真，进而影响图像质量和准确性，要实现多模态图像的配准并非易事，直接融合或比对两者变得具有挑战性，光谱差异使红外和可见光图像难以精准对齐。然而目前的神经网络对不同模态图像的配准精度不足，如何提高红外与可见光图像的配准精度成为本领域技术人员亟需解决的技术问题。

技术实现思路

1、有鉴于此，本发明提供了一种基于颜色边缘增强的红外与弱可见光图像配准方法，提高了红外图像和可见光图像间的对齐精度。

2、为了实现上述目的，本发明采用如下技术方案：

3、第一方面，本发明提供一种基于颜色边缘增强的红外与弱可见光图像配准方法，包括以下步骤：

4、搭建图像配准模型，所述图像配准模型包括两个支路，分别为第一支路和第二支路；

5、在训练阶段，获取红外图像i和弱可见光图像v，对弱可见光图像v进行内部增强，生成对应的增强图像a；

6、所述第一支路上，包含两个特征提取网络、两个边缘检测网络和一个匹配及回归网络，该支路上的两个特征提取网络分别提取红外图像i和弱可见光图像v的内容特征，两个边缘检测网络分别提取红外图像i和弱可见光图像v的边缘特征，之后将红外图像i和弱可见光图像v各自的内容特征和边缘特征进行融合，得到各自的融合特征；

7、所述第二支路上包含一个特征提取网络和一个匹配及回归网络，该支路上的特征提取网络提取增强图像a的内容特征，将提取的内容特征与第一支路中弱可见光图像v的边缘特征进行融合，得到增强图像a的融合特征；

8、将红外图像i的融合特征与弱可见光图像v的融合特征输入第一分支中的匹配及回归网路，进行匹配和几何变换参数预测；将红外图像i的融合特征与增强图像a的融合图像输入第二分支中的匹配及回归网络，进行匹配和几何变换参数预测；

9、对两个分支进行并行训练和权重共享，满足预设目标后，得到最终的图像配准模型。

10、进一步的，弱可见光图像的内部增强过程只在训练阶段执行，在每轮训练中，通过随机颜色抖动对弱可见光图像v进行内部增强，产生不同的增强图像；在测试及推理阶段，利用第一分支进行红外图像和弱可见光图像的配准。

11、进一步的，所述第一支路上的边缘检测网络以rcf模型为基础，引入cbam注意力机制。

12、进一步的，所述第一支路和所述第二支路上的特征提取网络由cbam注意力单元、elu激活函数、组卷积和残差连接组成。

13、进一步的，所述第一支路上的匹配及回归网络，以弱可见光图像的融合特征和红外图像的融合特征双向作为参考图像和浮动图像，将双向配准的参数进行融合；所述第二支路上的匹配及回归网络，以红外图像的融合特征和弱可见光图像对应的增强图像的融合特征双向作为参考对象和浮动对象，将双向配准的参数进行融合。

14、进一步的，将所述第一支路中的弱可见光图像和所述第二支路中的增强图像统称为可见光图像，所述第一支路和所述第二支路上的匹配及回归网络先通过匹配函数计算红外图像特征和可见光图像特征之间的密集对应映射，再通过回归网络估计密集对应映射的几何变换参数。

15、进一步的，红外图像特征到可见光图像特征的密集对应映射计算方式为：

16、ci→v(i,j,k)＝c(fi(ik,jk),fv(i,j))＝fv(i,j)tfi(ik,jk)

17、其中，ci→v表示红外图像特征图fi和可见光图像特征图fv之间的密集对应映射，由fi和fv相乘得到，(i,j)和(ik,jk)分别表示匹配点对p与p’分别在可见光图像特征图fv和红外图像特征图fi中的坐标，k表示特征点(ik,jk)的辅助索引；

18、可见光图像特征到红外图像特征的密集对应映射计算方式为：

19、cv→i(i,j,k)＝c(fv(ik,jk),fi(i,j))＝fi(i,j)tfv(ik,jk)

20、其中，cv→i表示可见光图像特征图fv和红外图像特征图fi之间的密集对应映射，由fv和fi相乘得到。

21、进一步的，回归网络估计密集对应映射的几何变换参数表示为：

22、r:rh′×w′×(h′×w′)→rdof

23、其中，(h',w')表示密集对应映射的高度和宽度，dof表示仿射变换模型的自由度，r表示回归网络。

24、进一步的，所述图像配准模型的损失函数的构建过程包括：

25、在图像空间中构建点网格，通过相应网格点之间的平方距离求和测量两个网格之间的差异，根据该差异构建基础损失函数，基础损失函数的计算公式为：

26、

27、其中，θ表示预测得到的仿射变换，θgt表示实际的仿射变换，l(θ,θgt)表示θ与θgt之间的基础损失；n表示网格点的数量，(xi,yj)表示位置(i,j)的像素点；τθ和分别表示由θ和θgt参数化的变换操作；

28、在基础损失函数的基础上，添加一个计算反向变换额外分支的项，构建双向损失函数，计算公式为：

29、lorg＝l(θi→v,θgti→v)+l(θv→i,θgtv→i)

30、其中，θi→v表示预测得到的红外图像i到可见光图像v的仿射变换，θgti→v表示实际的红外图像i到可见光图像v的仿射变换，θv→i表示预测得到的可见光图像v到红外图像i的仿射变换，θgtv→i表示实际的可见光图像v到红外图像i的仿射变换

31、在双向损失函数的基础上，考虑增强图像，添加两项损失laug和lid，分别为：

32、laug＝l(θi→a,θgti→v)+l(θa→i,θgti→v)

33、lid＝l(θi→v,θi→a)+l(θv→i,θa→i)

34、其中，θi→a表示预测得到的红外图像i到增强图像a的仿射变换，θa→i表示实际的增强图像a到红外图像i的仿射变换；

35、最终构建的损失函数表示为：

36、loss＝α·lorg+β·laug+γ·lid

37、其中，α,β,γ为各损失函数的平衡参数。

38、第二方面，本发明提供一种基于颜色边缘增强的红外与弱可见光图像配准系统，包括：

39、获取模块，用于获取待配准的红外图像和弱可见光图像；

40、配准模块，用于采用按照上述基于颜色边缘增强的红外与弱可见光图像配准方法训练出的图像配准模型对红外图像和弱可见光图像进行配准。

41、经由上述的技术方案可知，与现有技术相比，本发明具有以下有益效果：

42、本发明通过随机颜色抖动对弱可见光图像进行颜色增强，得到不同颜色的弱可见光图像，并与对应红外图像组成训练对构成网络的一个流，同原弱可见光图像和红外图像构成的训练对并行，形成一个双流结构，两个流同时训练，提高初始弱可见光图像特征表达的全面性。

43、本发明的特征提取网络添加cbam注意力单元，并采用elu激活函数，可加强网络对复杂图像的特征提取能力。同时，考虑到图像中边缘特征的重要性，本发明边缘检测网络添加cbam注意力，增强边缘特征提取能力，更好地强调图像的边缘信息，在特征提取阶段有助于捕捉图像中容易被忽略的关键特征信息。

技术特征：

1.一种基于颜色边缘增强的红外与弱可见光图像配准方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于颜色边缘增强的红外与弱可见光图像配准方法，其特征在于，弱可见光图像的内部增强过程只在训练阶段执行，在每轮训练中，通过随机颜色抖动对弱可见光图像v进行内部增强，产生不同的增强图像；在测试及推理阶段，利用第一分支进行红外图像和弱可见光图像的配准。

3.根据权利要求1所述的基于颜色边缘增强的红外与弱可见光图像配准方法，其特征在于，所述第一支路上的边缘检测网络以富卷积特征rcf模型为基础，将上下文感知跟踪策略cats集成到rcf中，并引入卷积块注意力模块cbam注意力机制。

4.根据权利要求1所述的基于颜色边缘增强的红外与弱可见光图像配准方法，其特征在于，所述第一支路和所述第二支路上的特征提取网络由cbam注意力单元、elu激活函数、组卷积和残差连接组成。

5.根据权利要求1所述的基于颜色边缘增强的红外与弱可见光图像配准方法，其特征在于，所述第一支路上的匹配及回归网络，以弱可见光图像的融合特征和红外图像的融合特征双向作为参考图像和浮动图像，将双向配准的参数进行融合；所述第二支路上的匹配及回归网络，以红外图像的融合特征和弱可见光图像对应的增强图像的融合特征双向作为参考图像和浮动图像，将双向配准的参数进行融合。

6.根据权利要求5所述的基于颜色边缘增强的红外与弱可见光图像配准方法，其特征在于，将所述第一支路中的弱可见光图像和所述第二支路中的增强图像统称为可见光图像，所述第一支路和所述第二支路上的匹配及回归网络先通过匹配函数计算红外图像特征和可见光图像特征之间的密集对应映射，再通过回归网络估计密集对应映射的几何变换参数。

7.根据权利要求6所述的基于颜色边缘增强的红外与弱可见光图像配准方法，其特征在于，红外图像特征到可见光图像特征的密集对应映射计算方式为：

8.根据权利要求6所述的基于颜色边缘增强的红外与弱可见光图像配准方法，其特征在于，回归网络估计密集对应映射的几何变换参数表示为：

9.根据权利要求1所述的基于颜色边缘增强的红外与弱可见光图像配准方法，其特征在于，所述图像配准模型的损失函数的构建过程包括：

10.一种基于颜色边缘增强的红外与弱可见光图像配准系统，其特征在于，包括：

技术总结
本发明涉及图像处理技术领域，具体涉及一种基于颜色边缘增强的红外与弱可见光图像配准方法及系统，方法包括：搭建图像配准模型，图像配准模型包括两个支路，第一支路对红外图像与弱可见光图像进行特征提取和配准处理，第二支路对红外图像与增强的弱可见光图像进行特征提取和配准处理，并综合两个支路的配准结果得到更为准确的红外与弱可见光图像配准效果；在两个支路的红外图像与弱光可见光图像特征提取时，额外融入通过基于注意力机制的方法提取到的边缘特征，使得红外图像的边缘特征得到充分利用；通过对弱光可见光图像进行颜色增强处理，提高了弱可见光图像特征表达的全面性，提高了红外图像和可见光图像间的对齐精度。

技术研发人员：胡蕾,方竞鹏,徐睿
受保护的技术使用者：江西师范大学
技术研发日：
技术公布日：2024/12/5