多光谱相机的图像融合方法、系统及相关设备与流程

本发明适用于计算机视觉，尤其涉及一种多光谱相机的图像融合方法、系统及相关设备。

背景技术：

1、多光谱相机是能够同时对多个光谱通道进行成像的设备，相较于传统三通道可见光相机能够获得更多的光谱信息。多光谱相机有多种实施方法，但由于硬件和软件上的约束，各通道的成像质量往往难以控制在同样水平，体现为部分通道的空间分辨率下降，相较正常通道更加模糊。

2、现有的多光谱相机图像融合方法可以分为两大类：传统方法与基于学习的方法。传统图像融合方法使用如主成分分析(principle component analysis，pca)，多分辨率分析(multi-resolution analysis，mra)等方法提取通道的不同成分并进行融合。基于学习的图像融合方法使用神经网络对不同尺度下的图像特征进行学习，并在网络内进行融合。

3、多光谱图像融合主要应用于遥感成像领域，借助高空间分辨率的全色图像来提升多光谱相机采集图像的空间信息。因此大部分多光谱图像融合方法专注于进一步提升融合图像的质量及光谱准确性，对图像处理速度没有高的要求。近年来，多光谱相机在安防监控、无人机农业、刑侦鉴定等领域有着重要的应用，这些领域往往对多光谱相机成像的即时性提出了很高的要求。而同时多光谱相机各通道成像质量不一致的问题仍然存在。现有的多光谱图像融合方法能取得很好的效果但计算复杂度较高，无法满足应用的即时性要求。

4、因此，亟需一种新的多光谱相机的图像融合方法、系统及相关设备，解决上述技术问题。

技术实现思路

1、本发明提供一种多光谱相机的图像融合方法、系统及相关设备，旨在以更低的计算复杂度实现即时的多光谱图像融合，满足高帧率视频捕捉需求。

2、第一方面，本发明提供多光谱相机的图像融合方法，所述图像融合方法包括以下步骤：

3、s1、通过多光谱相机获取标定图像；

4、s2、通过第一预设规则计算出所述标定图像中退化通道的边缘扩散函数；

5、s3、根据所述边缘扩散函数计算出点扩散函数；

6、s4、根据所述点扩散函数计算出在预设像素范围内的分布值作为卷积核；

7、s5、选择距离待融合通道的中心波长在预设间隔以内的通道作为参考通道，将所述参考通道的图像根据所述卷积核进行多分辨率变换，得到细节成分数据；

8、s6、将所述待融合通道的图像和所述细节成分数据进行多分辨率逆变换，得到融合图像。

9、优选地，步骤s1中，以黑白线对图案作为标靶，通过所述多光谱相机对所述标靶在水平方向和垂直方向分别进行拍摄，获得所述标定图像。

10、优选地，所述边缘扩散函数包括水平方向上的第一边缘扩散函数以及垂直方向上的第二边缘扩散函数，所述第一预设规则为：根据所述标定图像中退化通道在水平方向上和垂直方向上垂直于条纹边缘的像素值计算出所述第一边缘扩散函数和第二边缘扩散函数，定义所述边缘扩散函数为 esf，其满足：

11、；

12、其中，表示在水平方向上或垂直方向上垂直于条纹边缘的像素值分布的均值，表示在水平方向上或垂直方向上垂直于条纹边缘的像素值分布的标准差，表示所有在水平方向上或垂直方向上垂直于条纹边缘的像素值；所述标准差和所述均值分别满足：

13、=，=；

14、其中，表示中的第 i个像素值， n表示中像素值的总个数。

15、优选地，所述点扩散函数为二维高斯分布，根据所述第一边缘扩散函数和所述第二边缘扩散函数计算出所述点扩散函数，定义所述点扩散函数为 psf，其满足以下规则：

16、；

17、其中，分别表示二维高斯分布在水平方向上的均值和二维高斯分布在垂直方向上的均值，和分别表示二维高斯分布在水平方向上的标准差和二维高斯分布在垂直方向上的标准差。

18、优选地，所述预设间隔为100nm。

19、第二方面，本发明还提供一种多光谱相机的图像融合系统，包括：

20、图像获取模块，用于通过多光谱相机获取标定图像；

21、边缘扩散模块，用于通过第一预设规则计算出所述标定图像中退化通道的边缘扩散函数；

22、点扩散模块，用于根据所述边缘扩散函数计算出点扩散函数；

23、卷积核模块，用于根据所述点扩散函数计算出在预设像素范围内的分布值作为卷积核；

24、变换模块，用于选择距离待融合通道的中心波长在预设间隔以内的通道作为参考通道，将所述参考通道的图像根据所述卷积核进行多分辨率变换，得到细节成分数据；

25、逆变换模块，用于将所述待融合通道的图像和所述细节成分数据进行多分辨率逆变换，得到融合图像。

26、优选地，所述边缘扩散函数包括水平方向上的第一边缘扩散函数以及垂直方向上的第二边缘扩散函数，所述第一预设规则为：根据所述标定图像中退化通道在水平方向上和垂直方向上垂直于条纹边缘的像素值计算出所述第一边缘扩散函数和第二边缘扩散函数，定义所述边缘扩散函数为 esf，其满足：

27、；

28、其中，表示在水平方向上或垂直方向上垂直于条纹边缘的像素值分布的均值，表示在水平方向上或垂直方向上垂直于条纹边缘的像素值分布的标准差，表示所有在水平方向上或垂直方向上垂直于条纹边缘的像素值；所述标准差和所述均值分别满足：

29、=，=；

30、其中，表示中的第 i个像素值， n表示中像素值的总个数。

31、优选地，所述点扩散函数为二维高斯分布，根据所述第一边缘扩散函数和所述第二边缘扩散函数计算出所述点扩散函数，定义所述点扩散函数为 psf，其满足：

32、；

33、其中，分别表示二维高斯分布在水平方向上的均值和二维高斯分布在垂直方向上的均值，和分别表示二维高斯分布在水平方向上的标准差和二维高斯分布在垂直方向上的标准差。

34、第三方面，本发明还提供一种计算机设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的多光谱相机的图像融合程序，所述处理器执行所述多光谱相机的图像融合程序时实现如上述实施例中任意一项所述的多光谱相机的图像融合方法中的步骤。

35、第四方面，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有多光谱相机的图像融合程序，所述多光谱相机的图像融合程序被处理器执行时实现如上述实施例中任意一项所述的多光谱相机的图像融合方法中的步骤。

36、与现有技术相比，本发明通过多光谱相机获取标定图像；通过第一预设规则计算出标定图像中退化通道的边缘扩散函数；根据边缘扩散函数计算出点扩散函数；根据点扩散函数计算出在预设像素范围内的分布值作为卷积核；将标定图像的中心波长间隔在预设间隔内的通道作为参考通道，将参考通道的图像根据卷积核进行多分辨率变换，得到细节成分数据；将所述待融合通道的图像和细节成分数据进行多分辨率逆变换，得到融合图像。这样，本发明能在保留准确的光谱信息的前提下，以更低的计算复杂度实现通道融合，适用于即时性要求高的成像场景。

技术特征：

1.一种多光谱相机的图像融合方法，其特征在于，所述图像融合方法包括以下步骤：

2.如权利要求1所述的多光谱相机的图像融合方法，其特征在于，步骤s1中，以黑白线对图案作为标靶，通过所述多光谱相机对所述标靶在水平方向和垂直方向分别进行拍摄，获得所述标定图像。

3.如权利要求1所述的多光谱相机的图像融合方法，其特征在于，所述边缘扩散函数包括水平方向上的第一边缘扩散函数以及垂直方向上的第二边缘扩散函数，所述第一预设规则为：根据所述标定图像中退化通道在水平方向上和垂直方向上垂直于条纹边缘的像素值计算出所述第一边缘扩散函数和第二边缘扩散函数，定义所述边缘扩散函数为esf，其满足：

4.如权利要求3所述的多光谱相机的图像融合方法，其特征在于，根据所述第一边缘扩散函数和所述第二边缘扩散函数计算出所述点扩散函数，所述点扩散函数为二维高斯分布，定义所述点扩散函数为psf，其满足以下规则：

5.如权利要求1所述的多光谱相机的图像融合方法，其特征在于，所述预设间隔为100nm。

6.一种多光谱相机的图像融合系统，其特征在于，包括：

7.如权利要求6所述的多光谱相机的图像融合系统，其特征在于，所述边缘扩散函数包括水平方向上的第一边缘扩散函数以及垂直方向上的第二边缘扩散函数，所述第一预设规则为：根据所述标定图像中退化通道在水平方向上和垂直方向上垂直于条纹边缘的像素值计算出所述第一边缘扩散函数和第二边缘扩散函数，定义所述边缘扩散函数为esf，其满足：

8.如权利要求7所述的多光谱相机的图像融合系统，其特征在于，根据所述第一边缘扩散函数和所述第二边缘扩散函数计算出所述点扩散函数，所述点扩散函数为二维高斯分布，定义所述点扩散函数为psf，其满足：

9.一种计算机设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的多光谱相机的图像融合程序，所述处理器执行所述多光谱相机的图像融合程序时实现如权利要求1-5中任意一项所述的多光谱相机的图像融合方法中的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有多光谱相机的图像融合程序，所述多光谱相机的图像融合程序被处理器执行时实现如权利要求1-5中任意一项所述的多光谱相机的图像融合方法中的步骤。

技术总结
本发明适用于计算机视觉技术领域，尤其涉及一种多光谱相机的图像融合方法、系统及相关设备。多光谱相机的图像融合方法通过多光谱相机获取标定图像；通过第一预设规则计算出标定图像中退化通道的边缘扩散函数；根据边缘扩散函数计算出点扩散函数；根据点扩散函数计算出在预设像素范围内的分布值作为卷积核；将标定图像的中心波长间隔在预设间隔内的通道作为参考通道，将参考通道的图像根据卷积核进行多分辨率变换，得到细节成分数据；将待融合通道的图像和细节成分数据进行多分辨率逆变换，得到融合图像。与现有技术相比，本发明能在保留准确的光谱信息的前提下，以更低的计算复杂度实现通道融合，适用于即时性要求高的成像场景。

技术研发人员：郑帆,吕鹏,刘湘宇,沈昱,梁洪易
受保护的技术使用者：深圳市中达瑞和科技有限公司
技术研发日：
技术公布日：2024/12/5