一种上下文感知卷积神经网络的全脑三维解剖结构分割方法

1.本发明涉及一种医学图像处理技术，具体涉及了一种结合上下文信息的注意力卷积神经网络对三维磁共振图像进行全自动分割的方法。


背景技术：

2.磁共振图像的脑结构图谱构建在脑影像相关的诊断、治疗、临床及科学研究中具有重要的意义。例如，基于磁共振图像绘制的脑结构图谱在临床神经科学中有着广泛的应用，如脑发育、神经精神疾病有关的大脑结构变化追踪，以及脑外科手术规划等。
3.目前脑磁共振图像精确分割主要依赖于医生进行手动勾画，在传统的手动分割方法中脑结构的整个分割过程十分繁琐、耗时且费力，需要医生具有扎实的解剖学知识和丰富的经验，随着磁共振图像数据的不断增长，极其低效的传统手动分割方法已经远远不能满足需求，精准而有效的脑结构自动提取显得尤其重要。
4.为了从磁共振影像自动提取脑结构，研究者提出了一系列自动分割方法，大致可以分为三类方法，具体阐述如下。第一类方法为基于多图谱的图像分割方法。该类方法采用多图谱标签融合策略来分割脑图像，在脑图像分割中取得了良好的效果。但这类方法内存占用大、速度慢。而且配准过程产生的误差会直接影响方法的分割精度。第二类方法为基于手工特征的分割方法。此类方法结合不同手工特征提取方式和不同分类器实现脑图像的分割，如基于图像空间和强度特征的支持向量机分类模型的分割方法、基于图像强度特征的高斯混合模型的分割方法、基于图像表观及空间特征的随机森林分类模型的分割方法等。这类方法由于手工提取特征往往表征能力有限，难以应对磁共振图像强噪声、低对比度、部分容积效应、灰度分布不均匀、以及大脑内部解剖结构众多、灰度分布相互交叠、边界模糊并且个体之间差异呈现多样性等诸多问题，并不能取得很好的分割精度。
5.第三类方法为基于深度神经网络的脑图像分割方法。近年来，由于这类方法可以自动提取特征、具有很强的特征表达能力等优点，引起了研究人员的广泛关注。卷积神经网络的方法是通过给神经网络学习大量的已标注图像，来训练神经网络自动提取用于分类的特征，经过大量标注图像的训练可以达到较高的分割精度。目前，deepnat方法是性能表现十分出色的卷积神经网络脑图像分割方法之一，它由卷积层自动提取特征再由全连接层融合特征并进行图像分类，最终实现图像的分割(wachinger c,reuter m,klein t,deepnat:deep convolutional neural network for segmenting neuroanatomy,neuroimage,2018,170:434-445)。这类神经网络方法已经在脑图像分割中达到了较高的精度。
6.尽管深度学习神经网络分割方法已经有了较高的分割精度，但在现有的神经网络分割方法中，卷积层通过多个卷积核和原始特征的线性组合得到输出特征，因此不同卷积核提取的特征往往对分类任务具有不尽相同的判别能力，也就是说卷积神经网络提取的特征还存在噪声的问题。另外由于磁共振脑图像的标注数据较少，因此现有的神经网络分割方法还存在泛化能力不强的问题。因此解决现有神经网络分割方法中的这些问题将进一步提升脑图像分割的精度。


技术实现要素：

7.为了解决上述问题，本发明提出一种将全新注意力模块融合到深度神经网络中的三维磁共振图像全自动分割方法，通过注意力模块捕获卷积块的上下文信息，将上下文信息融入到卷积提取的特征中，使网络能够关注对分类更加有用的特征而忽略无用特征。在此基础上，还采用全采样方式来充分利用有限的标注数据进行网络模型训练，以此提高模型的泛化能力。这里提出的神经网络方法将结合上述两种策略实现脑图像的精确分割。
8.为实现上述目的，本发明的第一方面，一种上下文感知卷积神经网络的全脑三维解剖结构分割方法包括如下步骤：
9.步骤s1，磁共振脑图像预处理：利用freesurfer进行图像预处理，即对磁共振脑图像做不均匀校正且随后对其进行颅骨剥离。
10.步骤s2，计算磁共振脑图像谱坐标：在磁共振图像三维脑掩模上计算谱坐标，这里通过在三维脑掩模上计算其拉普拉斯-贝尔特拉米算子的特征函数获得，以此来补充在图像分割过程中因图像分块造成的空间上下文信息丢失。
11.步骤s3，对磁共振脑图像进行采样：对步骤s1中预处理后的磁共振脑图像进行采样。通过完全采样方式，记录图像中每个体素的以该体素为中心的图像块、笛卡尔坐标和步骤s2计算的谱坐标。
12.步骤s4，上下文感知卷积神经网络结构的搭建：上下文感知注意力卷积神经网络模型主要由采样模块、卷积模块、注意力模块、及全连接层模块等组成。在上下文感知卷积神经网络模型中，最前端为采样模块，这个模块控制整个网络的由步骤s3采样所得数据的输入，包括卷积模块的图像块输入、以及通过串联拼接方式连接到第二个全连接层的笛卡尔坐标和谱坐标的输入。紧接着串联三个卷积核大小不同的卷积模块，提取图像块不同层次的特征。每一个卷积模块后均串联一个注意力模块，该模块通过对卷积模块输出特征进行加权来捕获全局信息，使网络能够关注对分类更加有用的特征而忽略无用特征。网络的末端是全连接层模块，该模块包含三个全连接层。其中，最后一个全连接层为一个多任务的输出层，并使用softmax激活函数进行分类。
13.步骤s5，模型的参数训练及分割测试：本发明采用分层次的磁共振脑图像分割策略，依次训练两个仅输出类别数不同的上述网络模型用于层次化磁共振脑图像分割。这里第一层级网络为一个二分类网络模型，该网络模型经过参数训练后进行分割测试，用于对磁共振脑图像进行精准的颅骨剥离，即准确分割出大脑；第二层级网络为一个多分类网络模型，经过参数训练后进行分割测试，用来分割第一步提取的大脑部分，分割得到大脑的各个脑结构。
14.本发明的有益效果在于：
15.1.本发明提出了一种新颖的基于上下文感知卷积神经网络的磁共振脑图像分割方法。该方法通过同时引入通道和空间注意力模块解决了传统卷积神经网络方法中的卷积层仅仅通过卷积核和原始输入特征的线性组合得到输出特征的问题。提出方法中的双重注意力模块同时整合通道和空间上下文信息，即将注意力模块学习的通道和空间权重参数分别与卷积特征进行加权，以此使网络能够关注对分类更加有用的特征而忽略无用特征。这里提出的双重注意力卷积神经网络方法可以克服传统卷积神经网络方法中卷积特征存在的噪声问题，能够对磁共振脑图像进行更加精准的分割。
16.2.本发明在新的双重注意力卷积神经网络模型中使用以所有训练图像每个体素为中心的全部图像块进行模型参数训练，通过这种全采样方式完全利用训练图像中的可用图像块对数据样本分布进行较为完整的学习，提高网络模型的泛化能力，从而提升磁共振脑图像的分割精度。
17.3.本发明在提出的方法中首次采用了全新的双重注意力模块。这里的全新双重注意力模块通过卷积的方式来自动学习通道和空间注意力权重，并且卷积特征经过通道和空间注意力加权后以并联方式通过卷积自适应地进行融合，而不是传统注意力模块通过平均或者最大池化的方式确定注意力权重或进行特征融合，提高卷积特征的表征能力，从而进一步提升磁共振脑图像的分割精度。
附图说明
18.图1是本发明上下文感知卷积神经网络的全脑三维解剖结构分割方法的主要工作流程示意图；
19.图2是本发明上下文感知卷积神经网络的结构图；
20.图3是本发明基于上下文感知卷积神经网络的全脑三维解剖结构分割方法一个实施例的分割结果、以及这个实施例的手工方法分割结果和deepnat方法(当前性能表现十分出色的方法之一)分割结果。
具体实施方式
21.下面结合本发明实施例及相关附图，对本技术实施例中的技术方案进行清楚、完整地描述。显然，此处所描述的具体实施例仅仅是本发明的一部分实施例，而不是全部实施例，对于本领域普通技术人员来讲，在没有创造性劳动前提下获得的所有其它实施例，都属于本发明保护范围。本发明提出的上下文感知卷积神经网络的全脑三维解剖结构分割方法的主要工作流程如图1所示，具体实施步骤如下：
22.步骤s1，磁共振脑图像预处理：利用freesurfer进行预处理，即对磁共振脑图像依次进行不均匀校正和颅骨剥离。
23.步骤s2，计算磁共振脑图像谱坐标：由于本发明通过分图像块以分类方式进行图像分割，这种分割图像的方式会丢失图像块以外部分的空间上下文信息，所以本发明同时使用谱坐标和笛卡尔坐标来补充缺失的空间上下文信息。一般地，谱坐标通过在待分割掩模上计算其拉普拉斯-贝尔特拉米算子的特征函数获得。这里采用图拉普拉斯算子来近似估计拉普拉斯-贝尔特拉米算子。谱坐标的计算过程具体如下。首先，在待分割三维脑掩模上计算邻接矩阵w。对于邻接矩阵w中的元素，如果两体素为空间近邻关系且均在掩模上，则相应元素值为1，否则为0。然后，根据此邻接矩阵定义图拉普拉斯算子l为
[0024][0025]
最后，计算l前三个非常数特征值对应的特征向量，其中每个特征向量对应一个三维图像。对于三维图像上的每个笛卡尔坐标，均有一个来自上述三个特征向量对应笛卡尔坐标位置的三个元素值组成的谱坐标。
[0026]
步骤s3，对磁共振脑图像进行采样：对步骤s1中预处理后的磁共振脑图像进行采
样。通过全采样方式，记录图像中待分割对象每个体素的以该体素为中心的23*23*23图像块、笛卡尔坐标和步骤s2计算的谱坐标。
[0027]
步骤s4，上下文感知卷积神经网络结构的搭建：在上下文感知卷积神经网络模型(如图2(a))中，最前端为采样模块，这个模块控制整个网络的由步骤s3采样所得数据的输入，包括卷积模块的图像块输入、以及后续第二个全连接层中笛卡尔坐标和谱坐标的输入。在采样模块基础上，随后串联卷积核大小不同的三个卷积模块，提取图像块不同层次的特征。具体地，第一个卷积模块含有32个卷积核大小为7*7*7的卷积层，其后有一个relu(rectified linear units)激活层和一个池化核大小为2*2*2步长为2的最大池化层然后接着一个一个batch normalization(bn)层；第二个卷积模块含有64个卷积核大小为5*5*5的卷积层，其后有一个bn层和一个relu激活层；第三个卷积模块含有64个卷积核大小为3*3*3的卷积层，其后也有一个bn层和一个relu激活层。此外，在每一个卷积模块后均串联一个注意力模块(如图2(b))，该模块为全新的双重注意力模块由通道注意力和空间注意力两个子模块组成，并且通过卷积的方式来自动学习通道和空间注意力权重，并且输入的卷积特征分别经过通道和空间注意力加权后以并联方式通过卷积自适应地进行融合。其中，通道注意力子模块采用一个与各通道输入卷积特征图的大小相等的卷积核通过卷积来自适应学习各通道的注意力权重，随后依次连接第一个全连接层、relu激活层、第二个全连接层(第一个全连接层节点的数量为通道数目的二分之一，第二个全连接层节点的数量与通道数目相等)。然后再通过sigmoid激活层得到最终的通道注意力权重，并将其用于对各通道输入卷积特征进行通道加权处理。另外，空间注意力子模块采用一个卷积核个数与通道数目相等的1*1*1的卷积层来自适应学习各体素位置的空间注意力权重，随后连接一个sigmoid激活层得到最终的空间注意力权重，并将其用于对各通道输入卷积特征进行空间加权处理。
[0028]
最后，网络的末端是全连接层模块，该模块由三个全连接层组成，具体如下。上述第三个注意力模块的输出特征将直接输入到第一个全连接层，这里的第一个全连接层包括一个将多维特征(特征图大小64@3*3*3*)转化为一维特征(特征向量大小1@1728)的flatten层，紧接着串联一个由flatten层1728个节点连接到1024个节点的全连接层，然后依次连接一个relu激活层和一个防止过拟合的dropout层(dropout rate设置为0.5)；第二个全连接层由1030个节点连接到512个节点，其中输入的1024个节点是前一层全连接层的输出节点，其余6个节点接受经采样模块输入的笛卡尔坐标和谱坐标，然后再依次是一个relu激活层、一个bn层和一个防止过拟合的dropout层(dropout rate设置为0.5)；第三个全连接层为一个进行多任务学习的输出层，即由前一全连接层的512个节点分别连接到7个n个节点的全连接层(n为分类的数量)，这里的输出层含有7个学习任务，再将输出层所有节点通过softmax激活函数得到标签的概率分布。其中，多任务学习指的是对图像块中心体素标签及其6邻域体素标签进行联合训练学习，此处联合的6邻域体素标签的多任务学习仅用于辅助中心体素标签的训练学习。
[0029]
步骤s5，模型的参数训练及分割测试：本发明采用分层次的磁共振脑图像分割策略，这里采用在步骤s4中搭建的网络模型通过调整输出层节点数目先后构建出两个仅输出类别数不同的网络模型用于层次化磁共振脑图像分割。
[0030]
步骤s5.1：第一层级的网络为二分类网络，用于对磁共振脑图像进行精准的颅骨
剥离，即准确分割出大脑。对经过s1步骤预处理后用于训练的磁共振脑图像，以步骤s3所述的采样方式进行采样得到每一个非零体素对应的以此体素为中心的23*23*23图像块、该体素笛卡尔坐标和步骤s2计算的该体素对应谱坐标作为训练数据。另外，对于此二分类网络中的标签数据，将训练磁共振图像的大脑部分标记为1、其余部分标记为0。
[0031]
按照步骤s4搭建网络，并将其调整为二分类网络并进行多任务联合训练。在网络训练过程中，训练数据经过采样模块的图像块划分采样后，将随机选取1024个图像块以及对应中心体素的6邻域标签、笛卡尔坐标和谱坐标作为输入的批量样本对此二分类网络模型的参数进行优化训练。在多任务联合训练时，采用图像块中心体素及其6邻域体素的平均交叉熵(即多任务平均交叉熵)损失函数作为网络优化的目标函数，即
[0032]
l＝(l
中
+l
上
+l
下
+l
前
+l
后
+l
左
+l
右
)/7,
ꢀꢀꢀꢀꢀ
(2)
[0033]
在公式(2)中，l
中
、l
上
、l
下
、l
前
、l
后
、l
左
、l
右
分别为中心体素及其上、下、前、后、左、右6邻域的交叉熵。其中上述某个具体的体素的交叉熵定义为
[0034][0035]
这里l表示分类的类别，y
l
表示标签值(若当前考察体素属于该类别，将y
l
赋值为1否则赋值为0)，a
l
表示当前考察体素属于该类别的预测概率，n表示分类的类别数量。在上述损失函数l基础上，设置初始学习率为10-3
，使用adam优化器通过不断反向传播更新网络模型参数，训练模型并将其保存，最后得到训练好的第一层级二分类网络模型。
[0036]
第二层级的网络为多分类网络，用来分割第一步提取的大脑部分，分割得到大脑的各个脑结构。在经过s1步骤预处理后用于训练的磁共振脑图像基础上，根据训练图像对应的标签图像将磁共振图像大脑以外部分设置为0，按照步骤s3中所述的采样方式进行采样得到每一个非零体素对应的以此体素为中心的23*23*23图像块、该体素笛卡尔坐标和步骤s2计算的该体素对应谱坐标作为训练数据。对于多分类网络的标签数据，对不同的脑结构使用不同整数进行标注。
[0037]
按照步骤s4中所述搭建网络，并将其调整为多分类网络并进行多任务联合训练。第二层级多分类网络的训练过程与第一层级二分类网络相似，设置相同的初始学习率，且使用相同的损失函数和优化器，不断反向传播更新网络模型参数，训练模型并将其保存，最后得到训练好的第二层级多分类网络模型。
[0038]
步骤s5.2：模型训练好之后，接着进行分割测试。首先，对第一层级的二分类网络模型进行分割测试。对经过s1步骤预处理后用于测试的磁共振脑图像，按照步骤s3中所描述的采样方式进行采样得到每一个非零体素对应的以此体素为中心的23*23*23图像块、体素对应的笛卡尔坐标和步骤s2计算的该体素对应谱坐标作为训练数据。
[0039]
对于每个测试被试，将其测试数据输入到训练好的第一层级网络(即二分类网络)模型中。在测试过程中，测试被试的磁共振脑图像经过采样模块的图像块划分采样后，将随机选取1024个图像块以及对应每个图像块中心体素及其6邻域体素标签、该中心体素笛卡尔坐标和他的谱坐标作为网络每次输入的批量样本。这个训练好的第一层级网络模型将根据输入的测试数据计算每一个图像块的中心体素属于前景和背景的概率(这两个概率之和为1)。重复上述过程直到计算出该测试被试磁共振脑图像每个非零体素属于前景和背景的概率为止。从而得到第一层级的大脑分割概率图(即属于前景的分割概率图)和非大脑分割
概率图(即属于背景的分割概率图)。对于该测试被试磁共振脑图像每个非零体素，通过对比将其标记为分割概率最大的前景或背景部分。在这里，前景部分标记为1，背景部分标记为0，从而精准分割出大脑，即得到大脑的分割图像标签。
[0040]
然后，对第二层级的多分类网络模型进行分割测试。第二次层级网络的测试图像为第一层级网络分割出的大脑部分。对经过第一层级分割出的大脑部分磁共振图像，以步骤s3中所描述的采样方式得到每个非零体素对应的以此体素为中心的23*23*23图像块、该体素笛卡尔坐标和步骤s2计算的该体素对应谱坐标作为第二层级网络的测试数据。
[0041]
对于每个测试被试，将其测试数据输入到训练好的第二层级网络(即多分类网络)模型中。在测试过程中，测试数据经过采样模块的图像块划分采样后，将随机选取1024个图像块以及对应每个图像块中心体素及其6邻域体素标签、该中心体素笛卡尔坐标和他的谱坐标作为网络每次输入的批量样本。这个训练好的第二层级网络模型将根据输入的测试数据计算每一个图像块的中心体素属于各脑结构的概率(属于各脑结构的所有概率之和为1)。重复上述过程直到计算出该测试被试磁共振图像每个非零体素属于各脑结构的概率为止。从而得到第二层级的大脑各脑结构分割概率图。对于该测试被试经过第一层级精准分割出的大脑部分每个体素，通过对比将其标记为概率最大的脑结构。在这里，使用大于0的不同整数分别标记各个脑结构，从而得到脑结构的分割图像标签。
[0042]
这里采用dice系数评价分割图像的精度
[0043][0044]
其中，x、y分别代表分割图像标签和相应手工标记图像标签。这里对本发明选择的10个实施例的分割结果进行评价：本发明方法的平均分割精度为93.27％，该精度较当前性能表现十分出色的deepnat方法的平均分割精度89.30％相比提高了3.790％；对于其中随机选择的一个实施例分割结果(如图3所示)，与deepnat方法的分割精度89.22％相比，本发明方法的分割精度为92.30％，这比deepnat方法的分割精度89.22％提高了3.080％。总之，本发明提出的基于上下文感知卷积神经网络的全脑三维解剖结构分割方法显著提高了磁共振图像脑结构的分割精度，优于当前最先进的分割方法。

技术特征：
1.一种上下文感知卷积神经网络的全脑三维解剖结构分割方法，其特征在于，步骤如下：步骤s1，磁共振脑图像预处理：对磁共振脑图像做不均匀校正，随后对其进行颅骨剥离；步骤s2，计算磁共振脑图像谱坐标：在待分割三维脑掩模上计算谱坐标，这里通过在三维脑掩模上计算其拉普拉斯-贝尔特拉米算子的特征函数获得，以此来补充在图像分割过程中因图像分块造成的空间上下文信息丢失；步骤s3，对磁共振脑图像进行采样：对步骤s1中预处理后的磁共振脑图像进行采样，即通过完全采样方式记录图像中每个体素的以该体素为中心的图像块、笛卡尔坐标和步骤s2计算的谱坐标；步骤s4，上下文感知卷积神经网络结构的搭建：上下文感知注意力卷积神经网络模型由采样模块、卷积模块、注意力模块、及全连接层模块组成；在上下文感知卷积神经网络模型中，最前端为采样模块，这个模块控制整个网络的由步骤s3采样所得数据的输入，包括卷积模块的图像块输入、以及通过串联拼接方式连接到第二个全连接层的笛卡尔坐标和谱坐标的输入；紧接着串联三个卷积核大小不同的卷积模块，提取图像块不同层次的特征；每一个卷积模块后均串联一个注意力模块，该模块通过对卷积模块输出特征进行加权来捕获全局信息，使网络能够关注对分类更加有用的特征而忽略无用特征；网络的末端是全连接层模块，该模块包含三个全连接层，其中最后一个全连接层为一个多任务的输出层，并使用softmax激活函数进行分类；步骤s5，模型的参数训练及分割测试：本发明采用分层次的磁共振脑图像分割策略，依次训练两个仅输出类别数不同的上述网络模型用于层次化磁共振脑图像分割；这里第一层级网络为一个二分类网络模型，该网络模型经过参数训练后进行分割测试，用于对磁共振脑图像进行精准的颅骨剥离，即准确分割出大脑；第二层级网络为一个多分类网络模型，经过参数训练后进行分割测试，用来分割第一步提取的大脑部分，分割得到大脑的各个脑结构。2.根据权利要求1所述的上下文感知卷积神经网络的全脑三维解剖结构分割方法，其特征在于，所述步骤s3中对预处理后的磁共振图像进行完全采样，即将图像中待分割对象所有体素为中心的图像块及其笛卡尔坐标和谱坐标作为训练数据，通过完全采样充分利用有限的标注数据进行网络模型训练，以此提高网络的泛化能力。3.根据权利要求1所述的上下文感知卷积神经网络的全脑三维解剖结构分割方法，其特征在于，所述步骤s4中上下文感知卷积神经网络的结构设计如下，在传统卷积神经网络结构的每一个卷积模块后串联一个注意力模块，增加的注意力模块捕获卷积块的上下文信息，将上下文信息融入到卷积提取的特征中，使网络能够关注对分类更加有用的特征而忽略无用特征，以此进一步提高网络的分类性能。4.根据权利要求1所述的上下文感知卷积神经网络的全脑三维解剖结构分割方法，其特征在于，所述步骤s4中上下文感知卷积神经网络采用全新的双重注意力模块，即该注意力模块由通道注意力子模块和空间注意力子模块组成，并且通过卷积的方式来自动学习通道和空间注意力权重，并且输入的卷积特征分别经过通道和空间注意力加权后以并联方式通过1*1*1的卷积自适应地进行融合；其中通道注意力子模块采用一个与各通道输入卷积
特征图的大小相等的卷积核通过卷积来自适应学习各通道的注意力权重，随后依次连接第一个全连接层、relu激活层、第二个全连接层(这里第一个全连接层节点的数量为通道数目的二分之一，第二个全连接层节点的数量与通道数目相等)，然后再通过sigmoid激活层得到最终的通道注意力权重，并将其用于对各通道输入卷积特征进行通道加权处理；另外空间注意力子模块采用一个卷积核个数与通道数目相等的1*1*1的卷积层来自适应学习各体素位置的空间注意力权重，随后连接一个sigmoid激活层得到最终的空间注意力权重，并将其用于对各通道输入卷积特征进行空间加权处理。

技术总结
本发明提出了一种新的上下文感知卷积神经网络的全脑三维解剖结构分割方法。该方法在卷积神经网络的卷积模块后串联一个全新的双重注意力模块。该模块通过卷积自动学习通道和空间注意力权重并分别对输入的卷积特征进行加权，再通过卷积自适应融合加权后的卷积特征，以此提高网络的分类性能。此外，本发明将图像中待分割对象所有体素为中心的图像块作为训练数据，通过完全采样充分利用有限的标注数据对其样本分布进行较为完整的学习，以此进一步提高网络的分类性能。本发明提出的方法具有分割精度高、稳定性好的优点。在10个实施例的磁共振脑图像分割中，本方法获得分割结果的平均精度达93.27％，这比当前最先进的DeepNAT方法获得分割结果的平均精度提高了3.790％。法获得分割结果的平均精度提高了3.790％。法获得分割结果的平均精度提高了3.790％。


技术研发人员：程和伟 任郑宇 范勇 李章勇 王伟 田银 赵德春 谢江安 李沛洋 刘洁
受保护的技术使用者：重庆邮电大学
技术研发日：2021.12.07
技术公布日：2022/3/8