一种基于多级多尺度逐步融合网络的图像分割方法及系统

本发明涉及图像处理领域，特别涉及一种基于多级多尺度逐步融合网络的图像分割方法及系统。

背景技术：

1、随着计算机视觉技术的快速发展，图像分割技术也逐渐被广泛地应用到了各个场景中，其中特别是医学图像场景，由于医学图像在处理时有着较高的复杂度适应性、高数据量适应性和处理准确性的要求，所以图像分割技术也就自然成为了医学图像处理时的重要环节。

2、现有技术中，对于医学图像进行图像分割处理，通常是采用视觉transformer模型和医学图像分割模型unet网络相结合的方式，以满足医学图像分割时较高的性能要求，但是现有的医学图像分割模型通常缺少同级别下的多尺度特征信息，并且获取特征之间语义差距较大，导致分割的准确性受到极大的影响。

3、因此，如何设计一种图像分割方法，避免因多尺度缺失和语义差距的影响，以提高图像分割的准确性，是亟待解决的问题。

技术实现思路

1、基于此，本发明的目的是提供一种基于多级多尺度逐步融合网络的图像分割方法及系统，通过设计一种多级多尺度逐步融合网络，以提高整体图像分割的准确性，多级多尺度逐步融合网络首先提取图像的多个不同层次的语义特征，进行多层次特征融合，以提高对于特征的全面理解，同时减小高低层次之间语义差距，再进行多尺度逐步融合，在减小计算量的同时，从不同尺度关注输入数据，增强多级多尺度逐步融合网络整体的表达能力，再进行多级别逐步融合，以进一步降低高低级别特征之间的语义差距，并且平滑了特征融合过程，本发明极大地提高了图像分割的准确性。

2、本发明提出的一种基于多级多尺度逐步融合网络的图像分割方法，包括：

3、对待分割的图像进行预处理，将预处理后的图像输入多级多尺度逐步融合网络；

4、根据预处理后的图像，获取多个不同层次的语义特征，每个所述语义特征包含单一层次的语义信息，任意两个所述语义特征包含的语义信息的层次不同；

5、根据通道维度将每一所述语义特征均分为多个语义特征子片段，将不同语义特征的语义特征子片段拼接成多层次语义特征；

6、根据特征尺度提取每个所述多层次语义特征对应的多尺度特征，所述多尺度特征中包含多个单一尺度特征，任意两个所述单一尺度特征的特征尺度不同，在所述多尺度特征中所述单一尺度特征根据特征尺度大小的次第顺序排列构成单一尺度特征队列；

7、将所述单一尺度特征队列中相邻的单一尺度特征进行多阶段的两两融合，以获取多尺度融合特征，所述多尺度融合特征与所述多层次语义特征唯一对应；

8、根据特征级别高低的次第顺序将所述多尺度融合特征排列构成多尺度融合特征队列，按照预设融合规则对所述多尺度融合特征队列进行特征融合，获取多级别融合特征，所述预设融合规则用于将多尺度融合特征队列融合为一个多级融合特征；

9、根据所述多级别融合特征，获取最终分割图像。

10、综上，根据上述一种基于多级多尺度逐步融合网络的图像分割方法，通过设计一种多级多尺度逐步融合网络，以提高整体图像分割的准确性，多级多尺度逐步融合网络首先提取图像的多个不同层次的语义特征，进行多层次特征融合，以提高对于特征的全面理解，同时减小高低层次之间语义差距，再进行多尺度逐步融合，在减小计算量的同时，从不同尺度关注输入数据，增强多级多尺度逐步融合网络整体的表达能力，再进行多级别逐步融合，以进一步降低高低级别特征之间的语义差距，并且平滑了特征融合过程，本发明极大地提高了图像分割的准确性。具体为，对待分割的图像进行预处理，将预处理后的图像输入多级多尺度逐步融合网络，根据预处理后的图像，获取多个不同层次的语义特征，每个所述语义特征包含单一层次的语义信息，任意两个所述语义特征包含的语义信息的层次不同，根据通道维度将每一所述语义特征均分为多个语义特征子片段，将不同语义特征的语义特征子片段拼接成多层次语义特征，以提高对于特征的全面理解，同时减小高低层次之间语义差距，根据特征尺度提取每个所述多层次语义特征对应的多尺度特征，所述多尺度特征中包含多个单一尺度特征，任意两个所述单一尺度特征的特征尺度不同，在所述多尺度特征中所述单一尺度特征根据特征尺度大小的次第顺序排列构成单一尺度特征队列，将所述单一尺度特征队列中相邻的单一尺度特征进行多阶段的两两融合，以获取多尺度融合特征，所述多尺度融合特征与所述多层次语义特征唯一对应，在减小计算量的同时，从不同尺度关注输入数据，增强多级多尺度逐步融合网络整体的表达能力，根据特征级别高低的次第顺序将所述多尺度融合特征排列构成多尺度融合特征队列，按照预设融合规则对所述多尺度融合特征队列进行特征融合，获取多级别融合特征，所述预设融合规则用于将多尺度融合特征队列融合为一个多级融合特征，以进一步降低高低级别特征之间的语义差距，并且平滑了特征融合过程，根据所述多级别融合特征，获取最终分割图像，本发明极大地提高了图像分割的准确性。

11、进一步的，所述根据预处理后的图像，获取多个不同层次的语义特征的步骤，具体包括：

12、获取到预处理后的图像后，根据语义信息层次的高低次序，线性的进行语义特征提取，以获取多个不同层次的语义特征；

13、再对所述多个不同层次的语义特征进行通道维数处理，以将所述多个不同层次的语义特征的通道维数统一映射为相同值。

14、进一步的，所述根据通道维度将每一所述语义特征均分为多个语义特征子片段，将不同语义特征的语义特征子片段拼接成多层次语义特征的步骤，具体包括：

15、获取到多个不同层次的语义特征后，将每个不同层次的语义特征沿着通道维度进行平均拆分，以获取多个语义特征子片段，再根据特征层次数量均匀划分到不同特征组，每个所述特征组中均包括所有特征层次的语义特征；

16、对每个特征组内的特征进行上下采样操作，以进行分辨率一致化，再将分辨率一致化后的特征组内的特征沿通道维度进行拼接，以获取多个拼接特征；

17、将所述拼接特征进行卷积操作后，获取多层次语义特征，每个所述多层次语义特征中均包括多个层次的语义信息；

18、所述获取多层次语义特征的具体算法如下：

19、，

20、，

21、，

22、其中，表示拆分后的特征，表示拆分数量，表示层次序数，表示拆分操作，表示语义特征，表示拼接特征，表示拼接操作，表示1×1卷积操作，表示批归一化操作，表示激活函数，表示多层次语义特征。

23、进一步的，所述将所述单一尺度特征队列中相邻的单一尺度特征进行多阶段的两两融合，以获取多尺度融合特征的步骤，具体包括：

24、获取到多层次语义特征后，将所述多层次语义特征沿通道维度拆分，以将拆分后的多层次语义特征分别输入不同尺度的卷积块中，以获取多个不同尺度的单一尺度特征，所述获取多个不同尺度的单一尺度特征的具体算法如下：

25、，

26、，

27、其中，表示多层次语义特征，表示拆分后的多层次语义特征，表示拆分操作，表示多个不同尺度的单一尺度特征，表示激活函数，、、和表示不同尺度的卷积操作；

28、将多个不同尺度的单一尺度特征进行逐步融合，以获取融合特征，所述逐步融合包括多个融合阶段，每一所述融合阶段将所有相邻尺度的语义特征两两成对进行并行融合，所述逐步融合的具体算法如下：

29、，，

30、，，

31、其中，表示融合特征，表示特征序数，表示拼接操作，表示融合阶段，表示单一尺度特征；

32、将逐步融合后的融合特征与原始多层次语义特征进行残差连接，以获取多尺度融合特征，所述残差连接的具体算法如下：

33、，

34、其中，表示多尺度融合特征，表示多层次语义特征，表示批归一化操作。

35、进一步的，所述根据特征级别高低的次第顺序将所述多尺度融合特征排列构成多尺度融合特征队列，按照预设融合规则对所述多尺度融合特征队列进行特征融合，获取多级别融合特征的步骤，具体包括：

36、获取到多尺度融合特征后，按照根据特征级别高低的次第顺序将所述多尺度融合特征排列构成多尺度融合特征队列，将所述多尺度融合特征队列进行多级逐步融合，所述多级逐步融合包括多个融合阶段，每个所述融合阶段对当前最高级别特征进行相邻级别特征融合，以按照特征级别顺序自高向低逐步融合，以获取多级别融合特征；

37、所述多级逐步融合的具体算法如下：

38、，=1，

39、，，

40、其中，表示相邻级别特征融合的输出特征，表示特征序数，表示融合阶段，表示相邻级别特征融合操作，表示多尺度融合特征。

41、进一步的，所述相邻级别特征融合的步骤，具体包括：

42、相邻级别特征融合的具体算法如下：

43、，

44、，

45、，

46、，

47、其中，表示当前最高级别特征，表示上采样后的当前最高级别特征，表示上采样操作，表示低级别特征，cas表示通道空间注意力块，sa表示空间注意力块，表示3×3卷积操作，表示拼接操作，表示哈达玛积。

48、进一步的，所述根据所述多级别融合特征，获取最终分割图像的步骤，之后还包括：

49、根据损失函数进行损失计算，所述损失函数的具体算法如下：

50、，

51、，

52、，

53、其中，表示总损失，和表示超参数，表示交叉熵损失，表示dice损失， n表示像素总数量，表示类别数量， m表示像素序数， n表示类别序数， g表示真实值标签， p表示像素对应类别的概率。

54、本发明提出的一种基于多级多尺度逐步融合网络的图像分割系统，包括：

55、预处理模块，用于对待分割的图像进行预处理，将预处理后的图像输入多级多尺度逐步融合网络；

56、基本特征提取模块，用于根据预处理后的图像，获取多个不同层次的语义特征，每个所述语义特征包含单一层次的语义信息，任意两个所述语义特征包含的语义信息的层次不同；

57、多层次特征融合模块，用于根据通道维度将每一所述语义特征均分为多个语义特征子片段，将不同语义特征的语义特征子片段拼接成多层次语义特征；

58、多尺度逐步融合模块，用于根据特征尺度提取每个所述多层次语义特征对应的多尺度特征，所述多尺度特征中包含多个单一尺度特征，任意两个所述单一尺度特征的特征尺度不同，在所述多尺度特征中所述单一尺度特征根据特征尺度大小的次第顺序排列构成单一尺度特征队列；

59、将所述单一尺度特征队列中相邻的单一尺度特征进行多阶段的两两融合，以获取多尺度融合特征，所述多尺度融合特征与所述多层次语义特征唯一对应；

60、多级别逐步融合模块，用于根据特征级别高低的次第顺序将所述多尺度融合特征排列构成多尺度融合特征队列，按照预设融合规则对所述多尺度融合特征队列进行特征融合，获取多级别融合特征，所述预设融合规则用于将多尺度融合特征队列融合为一个多级融合特征；

61、根据所述多级别融合特征，获取最终分割图像。

62、本发明还提供一种存储介质，所述存储介质存储一个或多个程序，所述程序被处理器执行时实现如上述的基于多级多尺度逐步融合网络的图像分割方法。

63、本发明还提供一种计算机设备，所述计算机设备包括存储器和处理器，其中：

64、所述存储器用于存放计算机程序；

65、所述处理器用于执行所述存储器中存放的所述计算机程序时，实现如上述的基于多级多尺度逐步融合网络的图像分割方法。

技术特征：

1.一种基于多级多尺度逐步融合网络的图像分割方法，其特征在于，包括：

2.根据权利要求1所述的基于多级多尺度逐步融合网络的图像分割方法，其特征在于，所述根据预处理后的图像，获取多个不同层次的语义特征的步骤，具体包括：

3.根据权利要求1所述的基于多级多尺度逐步融合网络的图像分割方法，其特征在于，所述根据通道维度将每一所述语义特征均分为多个语义特征子片段，将不同语义特征的语义特征子片段拼接成多层次语义特征的步骤，具体包括：

4.根据权利要求1所述的基于多级多尺度逐步融合网络的图像分割方法，其特征在于，所述将所述单一尺度特征队列中相邻的单一尺度特征进行多阶段的两两融合，以获取多尺度融合特征的步骤，具体包括：

5.根据权利要求1所述的基于多级多尺度逐步融合网络的图像分割方法，其特征在于，所述根据特征级别高低的次第顺序将所述多尺度融合特征排列构成多尺度融合特征队列，按照预设融合规则对所述多尺度融合特征队列进行特征融合，获取多级别融合特征的步骤，具体包括：

6.根据权利要求5所述的基于多级多尺度逐步融合网络的图像分割方法，其特征在于，所述相邻级别特征融合的步骤，具体包括：

7.根据权利要求1所述的基于多级多尺度逐步融合网络的图像分割方法，其特征在于，所述根据所述多级别融合特征，获取最终分割图像的步骤，之后还包括：

8.一种基于多级多尺度逐步融合网络的图像分割系统，其特征在于，包括：

9.一种存储介质，其特征在于，所述存储介质存储一个或多个程序，该程序被处理器执行时实现如权利要求1-7任一项所述的基于多级多尺度逐步融合网络的图像分割方法。

10.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，其中：

技术总结
本发明涉及图像处理领域，提出了一种基于多级多尺度逐步融合网络的图像分割方法及系统，通过设计一种多级多尺度逐步融合网络，以提高整体图像分割的准确性，多级多尺度逐步融合网络首先提取图像的多个不同层次的语义特征，进行多层次特征融合，以提高对于特征的全面理解，同时减小高低层次之间语义差距，再进行多尺度逐步融合，在减小计算量的同时，从不同尺度关注输入数据，增强多级多尺度逐步融合网络整体的表达能力，再进行多级别逐步融合，以进一步降低高低级别特征之间的语义差距，并且平滑了特征融合过程，本发明极大地提高了图像分割的准确性。

技术研发人员：易玉根,何怡,周强强,罗四维,周唯,秦乐,李冰
受保护的技术使用者：江西师范大学
技术研发日：
技术公布日：2024/12/5