一种基于改进的Unet网络的医学图像融合算法

一种基于改进的unet网络的医学图像融合算法
技术领域
1.本发明涉及医学图像融合技术领域，具体涉及一种基于改进的unet网络的医学图像融合算法。
技术背景
2.近几十年来，x线、ct、mri、超声等医学影像学技术的发展，使放射科医师和内科医师能够快速、准确地进行诊断。尽管这些技术极大地提高了人工诊断的准确性，但它仍然高度依赖于医生和放射科专家的专业知识。同时，随着医学图像数据量的增多，医生的工作量大幅增加，临床迫切需要一种自动分割方法辅助医生快速诊断，进而提高工作效率，减轻医生工作负担，这也是研究者们一直在努力解决的问题。而当前计算机视觉技术的蓬勃发展将极大地推动这一目标的实现，尤其是随着深度学习技术的兴起,计算机视觉技术被越来越多地应用于医疗辅助诊断。
3.由于成像技术的多样性，医疗设备可以捕捉到不同的器官和组织特征，且不同的成像机制能够获取同一部位不同的成像信息。例如，磁共振成像(mri)可以提供足够的大脑软组织结构信息；正电子发射断层扫描(positron emission tomography，pet)能够展现血流的真实信息，准确地识别到患者病变的位置；计算机断层扫描(ct)用于精确定位致密的结构和骨骼。因为每种模态图像都捕获了底层解剖信息的特定特征，而单一模态图像提供的有限信息已不能满足临床诊断对信息量的要求，所以需要将来自多种成像方式的多幅医学图像进行融合，得到保留源图像显著特征和细节的多模态融合图像，以提高医学图像的临床适用性和帮助医生对各种诊断做出准确的决策现有的融合方法，大多是基于多尺度方法的传统方法，近年来也有不少人提出了基于卷积神经网络的医学图像融合，由于u-net网络在医学细胞任务上的出色表现，被多次引用来对其他医学图像进行分割，越好越精确的分割结果，越能更好的体现出肿瘤的特征。


技术实现要素：

4.本发明的目的是提供一种基于改进的unet网络的医学图像融合算法，具备在对于输入的医学图像较少的情况下，实现高效的医学图像融合，能够极大支持实时融合。
5.一种基于改进的unet网络的医学图像融合算法，分割算法包括以下步骤：步骤(1)：对输入的图片进行图像镜像对称、翻转、旋转、随机裁剪等预处理；对图像数据采用组归一化的预处理；设置模型初始权重和损失函数，并选定模型使用的优化器；步骤(2)：将处理好后的图像数据导入改进后的vgg-unet网络中，得到切割后的图像；步骤(3)：将切割后的图像与同源获得的可见光图像进行融合，将可见光的绿色通道替换成所得到的切割图像的像素，以实现可见光与近红外图像的融合。
6.其中步骤(2)中所述组归一化把通道分为组，并计算每一组之内的均值和方差，以进行归一化。gn的计算与批量大小无关，其精度也在各种批量大小下保持稳定；所选用的优
化器是adam，该优化器具备实现简单，计算高效，并且对内存需要少等优点；和以往的医学图像融合相对比，其主要提升在于：本发明在普遍医学图像较少的情况下，采用u-net网络结构对图像进行分割，它是一种编码加上解码器的结构，其编码过程，它可以增加对输入图像的一些小扰动的鲁棒性，比如图像平移，旋转等，减少过拟合的风险，降低运算量，和增加感受野的大小，相对应的解码过程则是把抽象的特征再还原解码到原图的尺寸，最终得到分割结果。而本发明在编码过程进行了改进，将其改成了repvgg的结构，能够大大的加快运算速度，且并行效率高,为后续的医学图像实时融合打下了技术支持
附图说明
7.图1为本发明的流程图。
8.图2为典型的u-net神经网络结构。
9.图3为改进的vgg结构。
具体实施方式
10.以下通过具体实施例对本发明做进一步解释说明。
11.本发明提供一种基于改进的unet网络的医学图像融合算法，该融合算法的具体实施步骤如下：步骤(1)：对输入的图片进行图像镜像对称、翻转、旋转、随机裁剪等预处理；对图像数据采用组归一化的预处理；设置模型初始权重和损失函数，并选定模型使用的优化器；步骤(2)：将处理好后的图像数据导入改进后的vgg-unet网络中，得到切割后的图像；步骤(3)：将切割后的图像与同源获得的可见光图像进行融合，将可见光的绿色通道替换成所得到的切割图像的像素，以实现可见光与近红外图像的融合。
12.步骤1中的归一化方法选择的是组归一化，所述组归一化把通道分为组，并计算每一组之内的均值和方差，以进行归一化。gn的计算与批量大小无关，其精度也在各种批量大小下保持稳定，归一化的通用公示如下：其中σ是标准差，μ是均值x是待归一化的数据，i是索引，对于图片来说，代入模型的数据一般是(n,c,w,h)，它们分别是batch中图片的张数，通道数和图片的长宽；步骤1中所述损失函数是带边界权值的函数，包括：其中，p
1(x)
(x)softmax损失函数，是像素点的标签值，是像素点的权值，目的是为了给图像中贴近边界点的像素更高的权值。
13.所述优化器选用了adam，其迭代公示如下：m
t
＝β1*m
t-1
+(1-β1)*g
tvt
＝β2*v
t-1
+(1-β2)*g
t2
首先初始化学习率lr，平滑常数β1，β2(分别用于平滑m和v)，可学习参数θ0，m0＝0，v0＝0，t＝0，接下来一直循环计算梯度g
t
，并记录t＝t+1，其中m
t
是累计梯度，vt是累计梯度的平方，然后偏差纠正m，偏差纠正v，最后更新参数θ
t
。
14.其中，步骤2，输入的图像首先经过编码过程，该过程包含：将20多层3
×
3卷积堆起来，分成5个stage，每个stage的第一层是stride＝2的降采样，每个卷积层用relu作为激活函数，其中5个stage分别有[1,2,4,14,1]层，宽度是[64,128,256,512]的若干倍。这里的倍数是随意指定的诸如1.5，2.5这样的数字。
[0015]
步骤2中的解码过程：使用经过concatenate操作从encoder直接传递到同高度decoder上的高分辨率信息。
[0016]
所述的解码工作包括以下步骤：每次编码过程的stage完成后与同高度的解码器的通道数合并，精确定位出肿瘤位置，输入输出图像的通道数不变，最终得到肿瘤分割信息。
[0017]
步骤3中，首先使用上述分割方法，分割近红外图像，得到的是只含有荧光信息区域的分割结果，其次将分割结果与可见光图像的绿色通道进行融合，将融合结果作为绿色通道，再重新生成彩色图像。
[0018]
综上所述，首先，对输入图像进行图像的镜像对称、翻转、旋转、随机裁剪等预处理；对图像的数据进行组归一化(group normalization，gn)的预处理；设置模型的初始权重和损失函数，并选定模型要使用的优化器；其次，将处理好后的图像数据导入改进后的vgg-unet网络中，得到切割后的图像；最后，将切割后的图像与同源获得的可见光图像进行融合。本发明可用于医学图像的高质量融合中，为后续的微观手术建立技术基础。
[0019]
以上为本发明的进一步阐述，本说明书中描述的计算公式及执行步骤只是为了帮助读者理解本发明，并不用于限制本发明，凡不脱离本发明本质所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于改进的unet网络的医学图像融合算法，其特征在于，包括如下步骤：步骤(1)：对输入的图片进行图像镜像对称、翻转、旋转、随机裁剪等预处理；对图像数据采用组归一化的预处理；设置模型初始权重和损失函数，并选定模型使用的优化器；步骤(2)：将处理好后的图像数据导入改进后的vgg-unet网络中，得到切割后的图像；步骤(3)：将切割后的图像与同源获得的可见光图像进行融合，将可见光的绿色通道替换成所得到的切割图像的像素，以实现可见光与近红外图像的融合。2.根据权利要求1所述的一种基于改进的unet网络的医学图像融合算法，其特征在于：所述组归一化把通道分为组，并计算每一组之内的均值和方差，以进行归一化；gn的计算与批量大小无关，其精度也在各种批量大小下保持稳定，归一化的通用公示如下：其中σ是标准差，μ是均值x是待归一化的数据，i是索引，对于图片来说，代入模型的数据一般是(n，c，w，h)，它们分别是batch中图片的张数，通道数和图片的长宽；所述损失函数是带边界权值的函数，包括：其中，p
1(x)
(x)softmax损失函数，是像素点的标签值，是像素点的权值，目的是为了给图像中贴近边界点的像素更高的权值；所述优化器选用了adam，其迭代公示如下：m
t
＝β1*m
t-1
+(1-β1)*g
t
ꢀꢀꢀꢀ
(3)v
t
＝β2*v
t-1
+(1-β2)*g
t2
ꢀꢀꢀꢀ
(4)(4)(4)首先初始化学习率l
r
，平滑常数β1，β2(分别用于平滑m和v)，可学习参数θ0，m0＝0，v0＝0，t＝0，接下来一直循环计算梯度g
t
，并记录t＝t+1，其中m
t
是累计梯度，v
t
是累计梯度的平方，然后偏差纠正m，偏差纠正v，最后更新参数θ
t
。3.根据权利要求1所述的一种基于改进的unet网络的医学图像融合算法，其特征在于：步骤(2)中采用了改进的vgg网络——rpvgg，所述过程如下：步骤(2)中，输入的图像首先经过编码过程，该过程包含：将20多层3
×
3卷积堆起来，分成5个stage，每个stage的第一层是stride＝2的降采样，每个卷积层用relu作为激活函数，其中5个stage分别有[1，2，4，14，1]层，宽度是[64，128，256，512]的若干倍；这里的倍数是随意指定的诸如1.5，2.5这样的数字。4.根据权利要求1所述的一种基于改进的unet网络的医学图像融合算法，所述改进vgg-unet网络还包括解码器：使用经过concatenate操作从encoder直接传递到同高度
decoder上的高分辨率信息；所述的解码工作包括以下步骤：步骤(2)，每次编码过程的stage完成后与同高度的解码器的通道数合并，精确定位出肿瘤位置，输入输出图像的通道数不变，最终得到肿瘤分割信息。5.根据权利要求1所述的一种基于改进的unet网络的医学图像融合算法，其特征在于，所述的可见光与近红外光图像的融合：步骤(3)，首先使用上述分割方法，分割近红外图像，得到的是只含有荧光信息区域的分割结果，其次将分割结果与可见光图像的绿色通道进行融合，将融合结果作为绿色通道，再重新生成彩色图像。

技术总结
本发明提出了一种基于改进的Unet网络的医学图像融合算法，首先，对输入图像进行图像的镜像对称、翻转、旋转、随机裁剪等预处理；对图像的数据进行组归一化(Group Normalization，GN)的预处理；设置模型的初始权重和损失函数，并选定模型要使用的优化器；其次，将处理好后的图像数据导入改进后的VGG-Unet网络中，得到切割后的图像；最后，将切割后的图像与同源获得的可见光图像进行融合。本发明可用于医学图像的高质量融合中，为后续的微观手术建立技术基础。观手术建立技术基础。观手术建立技术基础。


技术研发人员：代志勇 朱郸 向静
受保护的技术使用者：电子科技大学
技术研发日：2021.12.08
技术公布日：2022/3/8