一种基于ETMA-Net的皮肤病灶分割方法及装置

本发明涉及医学图像处理，特别是指一种基于etma-net的皮肤病灶分割方法及装置。

背景技术：

1、在皮肤镜图像中，对皮肤病灶区域的精准分割是黑色素瘤早期诊断的关键要素。然而，由于皮肤病灶区域的不规则形状和边界模糊等各种干扰因素的存在，导致这仍然是一项具有挑战性的任务。皮肤科医生虽然可以通过使用皮肤镜产生的图像对恶性黑色素瘤进行诊断，但是这种视觉检查是非常耗时且繁琐的任务，医生容易产生视觉疲劳从而引发诊断失误。因此，通过计算机辅助自动诊断系统从皮肤镜图像中自动、精确地分割皮肤病变区域具有重要的意义。

2、在皮肤镜图像中完成皮肤病灶分割是一项复杂的任务，患者的很多皮肤因素将会影响标记像素是否能够正确的标记在病灶区域。例如：在皮肤病灶区域可能会出现与正常皮肤像素值非常接近的部分，与其周围皮肤之间没有明显的界限；或者，在病灶区域内部会有像素差异较大且颜色分布不均匀的部分；此外，在病人的病灶皮肤上会存在一些毛发等人体组织对病理分割造成困难。为了解决这些困难，大量研究人员做出了许多贡献，可是尽管已经提出了一些分割方法来处理这些问题，但在皮肤病变分割方面的效果仍然不是十分理想。

3、在传统方法中，一部分学者通过寻找病理图像中的像素特征和对图像进行前期预处理等方式对病灶区域进行分割，虽然这种方法有一定的作用，但是对于大量而又复杂的图像信息，传统方法的分割变得越发艰难。随着神经网络技术的发展，基于卷积神经网络对病灶区域进行分割得到了广泛的应用。

4、近几年，在皮肤病变分割领域中大量学者针对黑色素瘤等病灶区域的分割展开研究，取得一定的效果，但是仍然存在以下问题：(1)在进行特征提取时，极大程度依赖卷积计算所带来的效果，且对原始图像中的局部特征与全局特征提取率不高。(2)针对提取出的特征进行融合时，并未充分利用特征信息，存在特征信息丢失的情况。(3)大量的增加卷积等模块的计算，使模型的复杂度升高，而轻量化模型在保持低参数与计算量的同时并不能保证维持模型精度。(4)现有在医学领域中部分病理分割适用的模型，其迁移性能较差，并不能在另一部位病理图像数据集中维持性能。

技术实现思路

1、针对上述问题，本发明的目的在于提供一种基于etma-net的皮肤病灶分割方法及装置，通过构建一种由边缘阈值引导的多级注意力并行网络(etma-net)，对图像的特征提取方式进行改进，且对提取出的特征进行多级交叉利用，充分保留原始信息，能够在保持低参数量和低计算量的同时提高模型的分割性能，并且具有优良的迁移性能。

2、为解决上述技术问题，本发明提供如下技术方案：

3、一方面，提供了一种基于etma-net的皮肤病灶分割方法，所述方法包括以下步骤：

4、s1、获取待分割的皮肤镜图像；

5、s2、构建etma-net模型，所述etma-net模型包括：边缘阈值引导的并行编码器，分组多尺度hadamard注意力模块，多级特征聚合的跳跃连接模块，以及深监督解码器；

6、s3、对所述etma-net模型进行训练；

7、s4、将所述皮肤镜图像输入训练好的etma-net模型，得到皮肤病灶分割结果。

8、可选地，所述边缘阈值引导的并行编码器的输入由原始皮肤镜图像和原始皮肤镜图像通过canny边缘检测算法和ostu算法分别处理得到；

9、所述ostu算法包括：将原始皮肤镜图像转换为灰度图，计算灰度图的像素频率直方图；通过选取的阈值将像素点分割成不同区域，计算不同区域的类间方差；通过线性搜索的方式确定最佳阈值，判定标准为类间方差最大；

10、所述canny边缘检测算法包括：对原始皮肤镜图像进行高斯滤波去噪处理，得到平滑后的图像；在平滑后的图像上使用sobel算子计算图像梯度，并通过图像梯度求出边缘梯度的大小和方向；对图像进行非极大值抑制，以及双阈值和连通性检验，得到canny边缘检测算法处理后的图像。

11、可选地，所述边缘阈值引导的并行编码器包括aspp模块和rfb-s模块；

12、所述aspp模块包括单位卷积、三个空洞卷积和池化模块，通过上采样将池化模块输出的特征图尺寸统一为输入特征图的尺寸，并将所有的特征图进行合并连接后输出；其中，三个空洞卷积的膨胀率分别为{6, 12, 18}，池化模块为自适应平均池化层，且aspp模块中每个卷积后都连接批量归一化层和relu激活函数；

13、 所述rfb-s模块包括单位卷积、普通卷积和四个空洞卷积，四个空洞卷积的膨胀率分别为{1, 3, 3, 5}，输出前执行addition操作，且rfb-s模块中每个卷积后都连接批量归一化层和relu激活函数。

14、可选地，在所述边缘阈值引导的并行编码器中，输入图像为rgb格式的，经过边缘阈值处理后变为，然后再经过并行编码器中的卷积模块、aspp模块和rfb-s模块进行特征提取：

15、

16、其中，y1(x),y2(x),y3(x)分别表示卷积模块层、aspp模块层和rfb-s模块层的整体计算函数；c(x)、a(x)、r(x)分别表示卷积模块、aspp模块和rfb-s模块的计算函数；、δ分别表示最大池化和gelu激活函数。

17、可选地，所述分组多尺度hadamard注意力模块包括分组多尺度注意力卷积子模块和分组hadamard注意力卷积子模块；

18、所述分组多尺度注意力卷积子模块中，首先将输入的张量通过4个不同尺寸的分组卷积在通道上均匀分为4组，组别数分别为{1, 2, 4, 8}，卷积核大小分别为{3, 5, 7,9}；然后，通过se模块生成4个通道注意力权重，并且将4组张量与4个权重合并为1个张量与1个权重，随后将权重通过softmax函数归一化处理后与张量相乘作为所述分组多尺度注意力卷积子模块的输出；

19、所述分组hadamard注意力卷积子模块中，首先将输入的张量分为4个组别，然后建立3个张量，通过卷积的运算将维度分别扩展到对应输入的维度，然后进行hadamard乘积；通过训练建立的3个张量，得到对应不同维度的权重矩阵，使用深度可分离卷积分别对权重进行处理，保持与分组后的张量尺寸对应；最后，将与权重相乘后的分组张量进行合并作为所述分组hadamard注意力卷积子模块的输出。

20、可选地，在所述分组多尺度hadamard注意力模块中，将输入分别传入到分组多尺度注意力卷积子模块和分组hadamard注意力卷积子模块得到输出，将两个子模块的输出进行合并后通过3×3的卷积使通道数调整至对应并行编码器输出的尺寸；所述分组多尺度注意力卷积子模块进行分组卷积的过程如下：

21、

22、其中，i∈[0,1,2,3]；k为对应分组卷积的卷积核尺寸；g为组别数；mi为分组卷积的输出；将多组卷积的输出进行合并，如下式：

23、

24、通过se模块生成注意力权重，以乘积的形式与m进行计算得到输出，如下式：

25、

26、其中，w表示通过se模块生成的权重；att表示通过se模块生成的权重通过softmax计算后得到的权重向量；outgma表示所述分组多尺度注意力卷积子模块的输出；接下来与分组hadamard注意力卷积子模块进行合并，通过卷积计算进行融合，得到最终输出，如下式：

27、

28、其中，outgha表示所述分组hadamard注意力卷积子模块的输出；out表示所述分组多尺度hadamard注意力模块的最终输出。

29、可选地，所述多级特征聚合的跳跃连接模块连接主干编码器上下级输出特征，并且聚合解码器的输出特征与边缘阈值引导的并行编码器的输出特征，最后将所有信息进行分组融合，通过卷积计算后再合并作为所述多级特征聚合的跳跃连接模块的输出。

30、可选地，所述etma-net模型训练中使用的损失函数为dice损失函数与bce损失函数。

31、另一方面，提供了一种基于etma-net的皮肤病灶分割装置，用于实现上述任一项所述的方法，所述装置包括：

32、图像获取模块，用于获取待分割的皮肤镜图像；

33、模型构建模块，用于构建etma-net模型，所述etma-net模型包括：边缘阈值引导的并行编码器，分组多尺度hadamard注意力模块，多级特征聚合的跳跃连接模块，以及深监督解码器；

34、模型训练模块，用于对所述etma-net模型进行训练；

35、分割模块，用于将所述皮肤镜图像输入训练好的etma-net模型，得到皮肤病灶分割结果。

36、另一方面，提供了一种电子设备，所述电子设备包括：

37、处理器；

38、存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器加载并执行时，实现如上述基于etma-net的皮肤病灶分割方法的步骤。

39、另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，所述程序代码可被处理器调用执行如上述基于etma-net的皮肤病灶分割方法的步骤。

40、本发明提供的技术方案带来的有益效果至少包括：

41、本发明提出了一种基于轻量级分割模型etma-net的皮肤病灶分割方法及装置。在etma-net模型中，提出了一种新的边缘阈值引导的并行网络框架，该框架通过ostu和canny算法将图像特征以低计算量的方式进行提取，通过aspp模块与rfb-s模块和本发明提出的分组多尺度hadamard注意力模块对提取出的局部和全局特征进行整合和蒸馏，并提取粗粒度特征且深度理解边缘细粒度特征。为了提高模型对高低级特征的利用率且提高提取空间信息的性能，在etma-net模型中提出了一种多级特征聚合形式的跳跃连接模块，该模块融合了并行网络高低级特征与深监督解码器输出的特征图，充分利用特征信息提高分割性能，使分割结果更加平滑。本发明所提出的基于etma-net模型的皮肤病灶分割方法在公开的皮肤病变数据集上进行测试，与其他经典和最新近的轻量化模型相比，etma-net模型展示出了优越的性能。且通过跨领域数据测试和息肉医学图像分割数据集测试，展示出etma-net模型具有良好的跨领域泛化性能。

技术特征：

1.一种基于etma-net的皮肤病灶分割方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于etma-net的皮肤病灶分割方法，其特征在于，所述边缘阈值引导的并行编码器的输入由原始皮肤镜图像和原始皮肤镜图像通过canny边缘检测算法和ostu算法分别处理得到；

3.根据权利要求1所述的基于etma-net的皮肤病灶分割方法，其特征在于，所述边缘阈值引导的并行编码器包括aspp模块和rfb-s模块；

4.根据权利要求1所述的基于etma-net的皮肤病灶分割方法，其特征在于，在所述边缘阈值引导的并行编码器中，输入图像为rgb格式的，经过边缘阈值处理后变为，然后再经过并行编码器中的卷积模块、aspp模块和rfb-s模块进行特征提取：

5.根据权利要求1所述的基于etma-net的皮肤病灶分割方法，其特征在于，所述分组多尺度hadamard注意力模块包括分组多尺度注意力卷积子模块和分组hadamard注意力卷积子模块；

6.根据权利要求1所述的基于etma-net的皮肤病灶分割方法，其特征在于，在所述分组多尺度hadamard注意力模块中，将输入分别传入到分组多尺度注意力卷积子模块和分组hadamard注意力卷积子模块得到输出，将两个子模块的输出进行合并后通过3×3的卷积使通道数调整至对应并行编码器输出的尺寸；所述分组多尺度注意力卷积子模块进行分组卷积的过程如下：

7.根据权利要求1所述的基于etma-net的皮肤病灶分割方法，其特征在于，所述多级特征聚合的跳跃连接模块连接主干编码器与深监督解码器，用于对边缘阈值引导的并行编码器、主干编码器中的高低级编码模块、低级特征聚合模块和深监督解码器的输出特征进行分组融合，通过卷积计算后再合并作为所述多级特征聚合的跳跃连接模块的输出。

8.根据权利要求1所述的基于etma-net的皮肤病灶分割方法，其特征在于，所述etma-net模型训练中使用的损失函数为dice损失函数与bce损失函数。

9.一种基于etma-net的皮肤病灶分割装置，所述装置用于实现如权利要求1至8中任一项所述的方法，其特征在于，所述装置包括：

10.一种电子设备，其特征在于，所述电子设备包括：

技术总结
本发明提供一种基于ETMA‑Net的皮肤病灶分割方法及装置，涉及医学图像处理技术领域。所述方法包括：获取待分割的皮肤镜图像；构建ETMA‑Net模型，所述ETMA‑Net模型包括：边缘阈值引导的并行编码器，分组多尺度Hadamard注意力模块，多级特征聚合的跳跃连接模块，以及深监督解码器；对所述ETMA‑Net模型进行训练；将所述皮肤镜图像输入训练好的ETMA‑Net模型，得到皮肤病灶分割结果。本发明充分利用特征信息，能够在保持低参数量和低计算量的同时提高模型的分割性能，并且具有优良的迁移性能。

技术研发人员：赵世杰,孟凡帅,蔡靓,杨荣花
受保护的技术使用者：辽宁工程技术大学
技术研发日：
技术公布日：2024/12/5