一种基于深度矢量场回归的三维细胞图像实例分割方法

1.本发明涉及细胞图像处理技术领域，具体来说是一种基于深度矢量场回归的三维细胞图像实例分割方法。


背景技术：

2.当前生命科学已逐渐步入单细胞生物学时代，2016年启动的“人类细胞图谱计划(human cell atlas project)”也将目标瞄准单细胞水平的组学数据。每一个细胞的谱系和发展状态决定了其如何同周围细胞以及环境反应，将基因表达及测序应用到单细胞层面，对于理解细胞的起源、功能、变异以及寻找癌症研究、干细胞生物学、免疫学、发育生物学和神经科学中一系列重要生物问题的答案都有着至关重要的作用。而三维细胞谱系和细胞分布基本不变，以图像计算方式精确跟踪并分析其在单细胞水平上的基因表达已成为可能。而三维细胞作为细胞谱系追踪金标准，是迄今唯一已获得从受精卵到成虫完整细胞谱系同时又具有固定细胞谱系的多细胞模式生物。
3.感兴趣目标的自动分割和识别不论是在计算机视觉、医学还是生物图像处理领域都是两个非常具有挑战性的任务。其中与三维细胞分割识别最为相关的研究主要分布在计算机视觉的语义分割、实例分割、目标检测识别以及生物医学中的特定器官、组织及细胞的分割识别方面。抛开具体方法以及分割结果上的差异性，这些相关研究中的分割识别的目的一般都是从背景中提取出我们感兴趣的一类目标，如人、车、细胞等等。这与三维细胞的分割识别要求分割出同一类型的细胞的不同个体需求有所差异。
4.3d图像中对于细胞的检测和分割是研究细胞表达方式的第一步，现有算法的主流思路是：先进行细胞的分割，然后基于细胞分割的结果进行后续的识别。因此分割精度直接影响到后续的识别精度。在生物医学图像处理领域中，对三维细胞图像进行精确分割主要困难来自以下三个方面：(1)图像采集、染色缺陷以及样本准备过程中导致的图像低信噪比；(2)细胞大小、形状以及细胞间和细胞内亮度分布的异质性；(3)密集分布导致的细胞紧密接触或者是部分重叠。
5.因此，如何解决现有的这些细胞分割面对的挑战，从而提升细胞分割精度成为急需解决的技术问题。


技术实现要素：

6.本发明的目的是为了解决现有技术中三维细胞图像分割中细胞紧密粘连、难以分离的缺陷，提供一种基于深度矢量场回归的三维细胞图像实例分割方法来解决上述问题。
7.为了实现上述目的，本发明的技术方案如下：
8.一种基于深度矢量场回归的三维细胞图像实例分割方法，包括以下步骤：
9.11)三维细胞图像原始数据和标签数据的获取和预处理：获取三维细胞原始图像和标签图像，将三维细胞原始图像进行切块处理作为训练集；将标签图像进行矢量处理并获得标签图像的矢量图；
10.12)实例分割深度回归神经网络的构建：基于卷积神经网络模型搭建实例分割深度回归神经网络，设计网络训练的损失函数以及参数设置；
11.13)实例分割深度回归神经网络的训练：将预处理之后的三维细胞图像和标签图像的矢量图输入实例分割深度回归神经网络进行训练；
12.14)三维细胞距离图的获得：获取待分割的三维细胞原始图像，并将待分割的三维细胞原始图像输入训练后的实例分割深度回归神经网络，输出三通道三维细胞矢量图；对三通道三维细胞矢量图进行欧式距离变换，将其转换为待分割的三通道三维细胞距离图；
13.15)三维细胞实例分割结果的获得：对待分割的三通道三维细胞距离图进行后处理，得到分割出的三维细胞实例结果。
14.所述实例分割深度回归神经网络的构建包括以下步骤：
15.21)设定实例分割深度回归神经网络基于卷积神经网络，卷积神经网络的基础网络为u-net架构，卷积神经网络的输入为一通道三维原始图像；
16.22)设定卷积神经网络的输出与输入图像尺寸相同，但输出为三通道的三维图像拼接而成，三个通道分别表示x、y、z坐标；
17.23)设定卷积神经网络的损失函数为距离损失l
dist
和矢量方向约束颜色损失l
color
，总的损失函数如下：
18.l
total
＝αl
dist
+βl
color
，
19.其中，α和β是权重系数；
20.24)针对总损失函数中的权重系数，设定权重系数比为7：1，总的损失函数设计如下：
21.l
total
＝7*l
dist
+l
color
；
22.25)设定去除u-net架构最后一层softmax层。
23.所述实例分割深度回归神经网络的训练包括以下步骤：
24.31)对标签图像的矢量图进行图像预处理，获得细胞内每个像素对应的最近邻背景像素的位置；其图像预处理方法如下：
25.311)将细胞内每个像素对应的最近邻背景像素的坐标减去细胞内该像素的位置，得一个位置矢量，表示细胞内像素到其最近邻背景像素的方向矢量；
26.312)设定细胞内像素位置为c
ij
＝(x
ij
,y
ij
,z
ij
)，该像素对应的最近邻背景像素的坐标为则位置矢量表示为：
27.δp
ij
＝b
ij-c
ij
；
28.32)将预处理后的标签图像以及三维细胞原始图像输入实例分割深度回归神经网络；
29.33)利用深度回归技术，回归出像素到其最近邻背景像素的方向矢量；
30.34)将回归出的方向矢量与标签图像的方向矢量输入损失函数进行梯度回传，更新模型参数；
31.35)当损失函数loss值下降到一个相对最优时，即实例分割深度回归神经网络训练完成。
32.所述三维细胞实例分割结果的获得包括以下步骤：
33.41)将待分割的三通道三维细胞距离图转换成距离图，公式如下：
[0034][0035]
其中，x、y、z为向量值，d为距离值；
[0036]
42)将距离图处理成概率图，并将概率图处理成uint8类型，并对图像做一个反转，反转公式如下：
[0037]
s＝255
–
s；
[0038]
其中s为概率图；
[0039]
43)给定参数h为7，指定概率图加上h的与255相比得到的最小值作为种子，概率图作为掩膜，通过腐蚀对图像进行重建；
[0040]
44)对重建后的图像去寻找峰值，找到该图像中所有的局部最大值；
[0041]
45)对局部最大值后的图像做连通域处理，将重建后的图像作为image，峰值图像作为marker，利用分水岭算法将细胞分离开来；
[0042]
46)对分水岭之后的图像，将背景全部置为0，得到一个分割掩膜；
[0043]
47)最后对分割掩膜做孔洞填充，得到最后的三维细胞分割结果。
[0044]
有益效果
[0045]
本发明的一种基于深度矢量场回归的三维细胞图像实例分割方法，与现有技术相比通过将分割任务转换成为回归任务，利用回归任务去学习前景像素到背景像素的欧式距离，利用前景像素到其最近背景像素的方向矢量去更好的学习前景和背景信息，同时也包含了细胞的方向信息、利用color loss去进一步加强方向信息的学习，简单、高效地提升了三维细胞的分割精度。
附图说明
[0046]
图1为本发明的方法顺序图；
[0047]
图2为本发明所涉及的实例分割深度回归神经网络框架图；
[0048]
图3a为本发明中包含三个细胞的全部像素点矢量变换计算图；
[0049]
图3b为本发明所涉及像素点数是三个细胞全部像素点稀释十倍的点数的矢量变换计算图；
[0050]
图4a为本发明所涉及的一张三维细胞原始图像；
[0051]
图4b为本发明所涉及选取的三维细胞原始图像对应的标签图像；
[0052]
图4c为本发明所涉及对标签图做距离变换后的结果图；
[0053]
图5a为利用传统方法ift-watershed方法对三维细胞的分割结果图；
[0054]
图5b为利用unet对三维细胞的分割结果图；
[0055]
图5c为利用dist方法对三维细胞的分割结果图；
[0056]
图6a为利用本发明所述方法对三维细胞的模型学习结果图；
[0057]
图6b为利用本发明所述方法中对输出图做后处理之后的最终分割结果图。
具体实施方式
[0058]
为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的
实施例及附图配合详细的说明，说明如下：
[0059]
如图1所示，本发明所述的一种基于深度矢量场回归的三维细胞图像实例分割方法，包括以下步骤：
[0060]
第一步，三维细胞图像原始数据和标签数据的获取和预处理。获取三维细胞原始图像和标签图像，由于三维细胞图像过大，将三维细胞原始图像进行切块处理作为训练集。将标签图像进行矢量处理并获得标签图像的矢量图。在实验室阶段，将图像切块成128
×
128
×
80的块，数据集划分为训练集和测试集，按照4：1的比例去随机划分。
[0061]
第二步，实例分割深度回归神经网络的构建：如图2所示，基于卷积神经网络模型搭建实例分割深度回归神经网络，设计网络训练的损失函数以及参数设置。其具体步骤如下：
[0062]
(1)设定实例分割深度回归神经网络基于卷积神经网络，卷积神经网络的基础网络为u-net架构，卷积神经网络的输入为一通道三维原始图像。
[0063]
(2)设定卷积神经网络的输出与输入图像尺寸相同，但输出为三通道的三维图像拼接而成，三个通道分别表示x、y、z坐标。
[0064]
(3)设定卷积神经网络的损失函数为距离损失l
dist
和矢量方向约束颜色损失l
color
，总的损失函数如下：
[0065]
l
total
＝αl
dist
+βl
color
，
[0066]
其中，α和β是权重系数。
[0067]
(4)针对总损失函数中的权重系数，设定权重系数比为7：1，总的损失函数设计如下：
[0068]
l
total
＝7*l
dist
+l
color
。
[0069]
(5)设定去除u-net架构最后一层softmax层，用作回归任务。通常在解决多分类问题时，我们会在网络的最后一层加上一层softmax，设置n个输出节点，softmax层的每个节点的输出值成为了概率和为1的概率分布。在本发明中，我们采用深度回归的方式去学习特征，因此需要去除最后的一层softmax层。
[0070]
第三步，实例分割深度回归神经网络的训练：将预处理之后的三维细胞图像和标签图像的矢量图输入实例分割深度回归神经网络进行训练。
[0071]
现有的对于细胞进行实例分割的方法通常还是在分类的基础上进行训练学习，因而针对细胞数目繁多并且细胞紧密相连的情况，现有的方法难以去很好地区分这些紧密相连的细胞。本发明提出的基于深度回归的三维细胞实例分割借鉴了回归的思想，具体地来说，本发明利用回归任务学习去解决这个问题，回归学习的优势在于可以较为明确地区分开密集接触的细胞边界，同时进一步考虑了利用方向信息去区分不同的细胞。
[0072]
实例分割深度回归神经网络的训练具体步骤如下：
[0073]
(1)对标签图像的矢量图进行图像预处理，获得细胞内每个像素对应的最近邻背景像素的位置。通过深度神经网络学习到原始三维细胞的前景像素到背景像素的方向矢量，因此对标签的处理需要预先完成，以方便网络后期学习，其图像预处理方法如下：
[0074]
a1)将细胞内每个像素对应的最近邻背景像素的坐标减去细胞内该像素的位置，得一个位置矢量，表示细胞内像素到其最近邻背景像素的方向矢量；
[0075]
a2)设定细胞内像素位置为c
ij
＝(x
ij
,y
ij
,z
ij
)，该像素对应的最近邻背景像素的坐
标为则位置矢量表示为：
[0076]
δp
ij
＝b
ij-c
ij
。
[0077]
其生成位置矢量显示效果如图3a和图3b所示。
[0078]
(2)将预处理后的标签图像以及三维细胞原始图像输入实例分割深度回归神经网络。
[0079]
(3)利用深度回归技术，回归出像素到其最近邻背景像素的方向矢量。
[0080]
(4)将回归出的方向矢量与标签图像的方向矢量输入损失函数进行梯度回传，更新模型参数。
[0081]
(5)当损失函数loss值下降到一个相对最优时，即实例分割深度回归神经网络训练完成。
[0082]
在此，最大训练次数可根据选取的网络(深度回归神经网络模型)和数据集通过实验确定，可结合调参经验确定，目的是让网络(深度回归神经网络模型)训练成功；网络(深度回归神经网络模型)训练成功的标志通常表现为损失函数值的不再下降，但是也要防止过拟合，最终判断网络(深度回归神经网络模型)性能需要通过对测试集的测试，根据测试集的结果好坏来判断，可以借助一些量化指标，如f1得分或者aji指数等。
[0083]
第四步，三维细胞距离图的获得。获取待分割的三维细胞原始图像，并将待分割的三维细胞原始图像输入训练后的实例分割深度回归神经网络，输出三通道三维细胞矢量图；对三通道三维细胞矢量图进行欧式距离变换，将其转换为待分割的三通道三维细胞距离图。
[0084]
第五步，三维细胞实例分割结果的获得：对待分割的三通道三维细胞距离图进行后处理，得到分割出的三维细胞实例结果。
[0085]
(1)将待分割的三通道三维细胞距离图转换成距离图，公式如下：
[0086][0087]
其中，x、y、z为向量值，d为距离值；
[0088]
(2)将距离图处理成概率图，并将概率图处理成uint8类型，并对图像做一个反转，反转公式如下：
[0089]
s＝255
–
s；
[0090]
其中s为概率图；
[0091]
(3)给定参数h为7，指定概率图加上h的与255相比得到的最小值作为种子，概率图作为掩膜，通过腐蚀对图像进行重建；
[0092]
(4)对重建后的图像去寻找峰值，找到该图像中所有的局部最大值；
[0093]
(5)对局部最大值后的图像做连通域处理，将重建后的图像作为image，峰值图像作为marker，利用分水岭算法将细胞分离开来；
[0094]
(6)对分水岭之后的图像，将背景全部置为0，得到一个分割掩膜；
[0095]
(7)最后对分割掩膜做孔洞填充，得到最后的三维细胞分割结果。
[0096]
在实验室环节，在在对三维细胞的距离图做后处理时，有一组参数用于后处理过程中的形态学重构，在实验测试下，根据f1得分和aji指标的量化结果，我们将参数阈值设为10，从而得到最终三维细胞实例分割结果。
[0097]
图4a和图4b为三维细胞图像的原始图像和标签图像，图4c是对标签图像进行距离变换得到的距离图显示，目标是根据标签图像将原始图像中的细胞实例分割出来。图5a使用传统方法ift-watershed对三维细胞图像进行细胞实例分割得到的分割结果，图5b是利用unet通过学习三种类别：细胞边界、细胞内部和背景，通过这种方式将细胞分割出来，图5b就是利用这种方法得到的结果，图5c所提到的dist是通过直接回归距离来进行细胞分割，图6a是本发明中所训练的深度模型下学习得到的距离图，图6b是使用本发明得到的最后结果，通过对比可以直观发现，本发明提出的方法分割效果更好。
[0098]
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

技术特征：
1.一种基于深度矢量场回归的三维细胞图像实例分割方法，其特征在于，包括以下步骤：11)三维细胞图像原始数据和标签数据的获取和预处理：获取三维细胞原始图像和标签图像，将三维细胞原始图像进行切块处理作为训练集；将标签图像进行矢量处理并获得标签图像的矢量图；12)实例分割深度回归神经网络的构建：基于卷积神经网络模型搭建实例分割深度回归神经网络，设计网络训练的损失函数以及参数设置；13)实例分割深度回归神经网络的训练：将预处理之后的三维细胞图像和标签图像的矢量图输入实例分割深度回归神经网络进行训练；14)三维细胞距离图的获得：获取待分割的三维细胞原始图像，并将待分割的三维细胞原始图像输入训练后的实例分割深度回归神经网络，输出三通道三维细胞矢量图；对三通道三维细胞矢量图进行欧式距离变换，将其转换为待分割的三通道三维细胞距离图；15)三维细胞实例分割结果的获得：对待分割的三通道三维细胞距离图进行后处理，得到分割出的三维细胞实例结果。2.根据权利要求1所述的一种基于深度矢量场回归的三维细胞图像实例分割方法，其特征在于，所述实例分割深度回归神经网络的构建包括以下步骤：21)设定实例分割深度回归神经网络基于卷积神经网络，卷积神经网络的基础网络为u-net架构，卷积神经网络的输入为一通道三维原始图像；22)设定卷积神经网络的输出与输入图像尺寸相同，但输出为三通道的三维图像拼接而成，三个通道分别表示x、y、z坐标；23)设定卷积神经网络的损失函数为距离损失l
dist
和矢量方向约束颜色损失l
color
，总的损失函数如下：l
total
＝αl
dist
+βl
color
，其中，α和β是权重系数；24)针对总损失函数中的权重系数，设定权重系数比为7∶1，总的损失函数设计如下：l
total
＝7*l
dist
+l
color
；25)设定去除u-net架构最后一层softmax层。3.根据权利要求1所述的一种基于深度矢量场回归的三维细胞图像实例分割方法，其特征在于，所述实例分割深度回归神经网络的训练包括以下步骤：31)对标签图像的矢量图进行图像预处理，获得细胞内每个像素对应的最近邻背景像素的位置；其图像预处理方法如下：311)将细胞内每个像素对应的最近邻背景像素的坐标减去细胞内该像素的位置，得一个位置矢量，表示细胞内像素到其最近邻背景像素的方向矢量；312)设定细胞内像素位置为c
ij
＝(x
ij
，y
ij
，z
ij
)，该像素对应的最近邻背景像素的坐标为则位置矢量表示为：δp
ij
＝b
ij-c
ij
；32)将预处理后的标签图像以及三维细胞原始图像输入实例分割深度回归神经网络；33)利用深度回归技术，回归出像素到其最近邻背景像素的方向矢量；
34)将回归出的方向矢量与标签图像的方向矢量输入损失函数进行梯度回传，更新模型参数；35)当损失函数loss值下降到一个相对最优时，即实例分割深度回归神经网络训练完成。4.根据权利要求1所述的一种基于深度矢量场回归的三维细胞图像实例分割方法，其特征在于，所述三维细胞实例分割结果的获得包括以下步骤：41)将待分割的三通道三维细胞距离图转换成距离图，公式如下：其中，x、y、z为向量值，d为距离值；42)将距离图处理成概率图，并将概率图处理成uint8类型，并对图像做一个反转，反转公式如下：s＝255-s；其中s为概率图；43)给定参数h为7，指定概率图加上h的与255相比得到的最小值作为种子，概率图作为掩膜，通过腐蚀对图像进行重建；44)对重建后的图像去寻找峰值，找到该图像中所有的局部最大值；45)对局部最大值后的图像做连通域处理，将重建后的图像作为image，峰值图像作为marker，利用分水岭算法将细胞分离开来；46)对分水岭之后的图像，将背景全部置为0，得到一个分割掩膜；47)最后对分割掩膜做孔洞填充，得到最后的三维细胞分割结果。

技术总结
本发明涉及一种基于深度矢量场回归的三维细胞图像实例分割方法，与现有技术相比解决了三维细胞图像分割中细胞紧密粘连、难以分离的缺陷。本发明包括以下步骤：三维细胞图像原始数据和标签数据的获取和预处理；实例分割深度回归神经网络的构建；实例分割深度回归神经网络的训练；三维细胞距离图的获得；三维细胞实例分割结果的获得。本发明通过将分割任务转换成为回归任务，利用回归任务去学习前景像素到背景像素的欧式距离，利用前景像素到其最近背景像素的方向矢量去更好地学习前景和背景信息，同时也包含了细胞的方向信息、利用color loss去进一步加强方向信息的学习，简单、高效地提升了三维细胞的分割精度。地提升了三维细胞的分割精度。地提升了三维细胞的分割精度。


技术研发人员：屈磊 王梦 吴军 张睿 杨健 汤玉杰
受保护的技术使用者：安徽大学
技术研发日：2021.12.02
技术公布日：2022/3/8