一种基于扩散模型的多聚焦显微图像序列融合方法

本发明属于计算机视觉领域中的图像融合技术，具体涉及了一种基于扩散模型的多聚焦显微图像序列融合方法。

背景技术：

1、由于微观物体的尺度较小，为了清晰观测到微观物体的细节信息，需要采用大光圈镜头成像，这会导致单次成像过程的景深变小，导致单幅显微图像仅有部分区域聚焦，为了观测到微观物体全部清晰的细节，需要将不同聚焦水平的显微图像序列进行有效合成，而多聚焦图像融合技术可有效解决上述问题，除此之外，该技术还广泛应用于医学图像处理、遥感图像和交通运输等领域。

2、多聚焦图像融合方法主要分为变换域、空间域以及深度学习三大类方法。变换域方法首先利用时频变换工具将多聚焦图像序列映射至频率域，然后在频率域中进行图像的高低频分解和融合操作，最后再通过逆变换得到最终的融合结果，常见的变换域方法包括小波变换融合、离散余弦变换融合等，但这类方法仅能捕获特定方向的高频细节信息，容易导致融合结果中细节信息的丢失；空间域方法首先计算每单个像素点在多聚焦图像序列中的清晰度，然后根据清晰度评估结果，选择多聚焦图像序列中最清晰的像素值作为最终的融合图像，尽管这类方法具有较高的计算效率，但在处理复杂场景的融合问题过程中容易出现伪影和失真。综上所述，上述两类方法基本都采用预先设定的聚焦评价和融合准则进行图像融合，受限于聚焦水平设计的局限性和融合规则判断的主观性，这类方法无法满足不同应用场景和图像内容的需求，导致融合效果不理想。因此，主流的图像融合方法主要聚焦于深度学习类方法，目前深度学习类方法主要包括基于决策图的方法和端到端深度网络模型两大类。其中基于决策图的方法首先使用深度网络模型提取图像的聚焦特征，然后基于提取的聚焦特征构建决策图，最后根据决策图中的信息选择每个像素点在多聚焦图像中的最佳像素值进行融合，由于涉及像素点在空间域的决策，导致这类方法会存在伪吉布斯效应；基于端到端深度网络模型的方法使用深度网络模型提取图像聚焦特征，并通过编码器解码器结构直接将多聚焦图像序列映射为融合图像，这类方法主要依赖于卷积神经网络或者transformer等网络模型强大的特征表示能力，但由于此类方法引入更多的增益模块(如注意力机制、残差块、多尺度特征提取等)来提高性能，随着网络复杂度的增加，模型的性能提升逐渐趋于饱和，性能提升空间愈加困难。

3、通过上述研究现状分析，我们认为目前的多聚焦显微图像序列融合面临以下问题：传统的时域和频域类多聚焦图像融合方法的适用性受限于聚焦评价方法和融合规则的设定；而深度学习类图像融合方法目前仅针对两幅图像进行融合，如将其扩展至多幅显微图像融合的任务中会导致模型复杂度的提升，且现有模型在融合过程中无法有效捕获不同聚焦水平显微图像的细节信息。因此，本专利设计了一种基于扩散模型的多聚焦显微图像序列融合方法，该方法不仅可以保留显微图像更多的细节信息，而且具有较强的噪声鲁棒性。

技术实现思路

1、为克服现有解决方案中的不足之处，本发明的目的是提供一种基于扩散模型的多聚焦显微图像序列融合方法，包括以下步骤：

2、步骤1，通过调节显微镜的焦距改变焦平面，获得覆盖场景全部景深的多聚焦显微图像序列其中n表示图像序列的总数，n表示某一焦平面下的图像序列位置，其取值范围为1≤n≤n；

3、步骤2，在正向加噪过程中，给定场景的全聚焦图像x0，通过式(1)添加高斯噪声，

4、

5、其中，xt是xt-1的噪声版本，βt表示用于控制噪声强度的固定序列值t表示扩散步数，其取值范围为1≤t≤t，t为最大扩散步数，ε是服从均值为0，方差为1的高斯分布，令αt＝1-βt，式(1)可得到式(2)；

6、

7、步骤3，通过式(3)初始化t时刻的噪声图片xt，

8、xt＝randn(shape(x1))   (3)

9、其中x1表示多聚焦图像序列的第一张，shape()为获取图像形状函数，randn()为生成服从高斯分布的随机数组函数；

10、步骤4，根据式(4)将步骤1中的多聚焦图像序列以及步骤3中的噪声图片xt在通道维度拼接之后进行序列操作，并得到初始特征集其中n'表示特征集总数，n'表示特征集数目，其取值范围为1≤n'≤n'，

11、

12、其中concat()为拼接操作，seq()为序列操作；

13、步骤5，对步骤4得到的初始特征集按照式(5)进行序列操作，然后加入时间嵌入向量并再次进行序列操作，最后与输入特征集残差连接后重复上述操作得到特征集

14、

15、其中circulat()为循环两次操作，shortcut()为匹配通道数操作，te()为时间嵌入操作；

16、步骤6，根据式(6)对步骤5得到的特征集进行下采样操作得到特征集

17、

18、其中downsample()为下采样操作；

19、步骤7，对步骤6得到的特征集递归重复步骤5和步骤6的操作，进一步得到特征集再对特征集根据式(7)得到特征集

20、

21、其中circulat()为循环两次操作；

22、步骤8，根据式(8)对步骤7得到的特征集进行操作，得到特征集

23、

24、步骤9，对步骤8得到的特征集根据式(9)的操作得到特征集

25、

26、然后根据式(10)将特征集与进行拼接得到解码器初始特征集

27、

28、其中concat()为拼接操作；

29、步骤10，对步骤9得到的编码器初始特征集根据式(11)进行操作，得到特征集

30、

31、步骤11，将步骤10得到的特征集与编码器路径中相对应大小相同的特征集沿通道维度进行拼接，并重复式(11)的操作得到特征集然后根据式(12)得到特征集

32、

33、其中upsample()为上采样操作；

34、步骤12，对步骤11得到的特征集递归重复步骤10至步骤11的操作两次得到最终的上采样特征集然后根据式(13)进行组归一化和激活函数进行激活之后，通过卷积操作得到t时刻的噪声εt；

35、

36、步骤13，逆扩散过程中，通过式(14)近似计算后验扩散条件概率p(xt-1|xt,x0)，

37、

38、其中∝表示正比于，exp为指数函数，以及均为步骤2中的已知量，xt为t时刻噪声图片，然后根据式(15)得到xt-1，

39、

40、通过步骤12得到的噪声εt和步骤3得到噪声图片xt，根据式(16)求得xt-1；

41、

42、步骤14，将步骤13得到的xt-1重复步骤4至步骤13的操作t-1次，即可得到显微图像的全聚焦融合图像。

43、与现有技术相比，本发明具有以下优点：

44、(1)本发明提出的一种基于扩散模型的多聚焦显微图像序列融合方法，该方法克服了现有的多聚焦图像融合方法中容易受到噪声干扰和细节信息损失等问题；

45、(2)本发明提出的一种基于扩散模型的多聚焦显微图像序列融合方法，可实现少样本学习，特别适用于样本难以采集的多聚焦图像融合任务。

技术特征：

1.一种基于扩散模型的多聚焦显微图像序列融合方法，其特征在于：包括以下步骤：

技术总结
本专利发明一种基于扩散模型的多聚焦显微图像序列融合方法，该方法首先初始化一张与源图像的张量相同以及服从高斯分布的T时刻的噪声图片，然后将该初始化图片与多聚焦图像序列拼接输入特征提取网络中预测前一步噪声，再根据预测的噪声以及初始化图片计算T‑1时刻的噪声图片。以此类推，即可在T个时间步内得到融合后的全聚焦图像。本发明方法克服了现有的多聚焦图像融合方法中容易受到噪声干扰和细节信息损失等问题，同时可有效实现少样本学习的图像融合任务。

技术研发人员：闫涛,李小辉,张江峰,赵晋龙,韩晓丽
受保护的技术使用者：山西大学
技术研发日：
技术公布日：2024/12/5