一种基于深度学习的肿瘤调强放疗剂量预测方法

1.本发明属于智能放射治疗技术领域，具体涉及一种基于深度学习的肿瘤调强放疗剂量预测方法。


背景技术：

2.调强放射治疗(imrt)是治疗肿瘤主要手段之一。治疗计划的设计是整个放疗过程的基础和核心，其目的是保证靶区接受的照射剂量达到要求覆盖率与强度的同时，使周围正常组织尽量不受到照射。在计划设计过程中，物理师必须反复调整靶区和危及器官的参数，直到治疗计划系统产生的剂量分布符合临床标准，但是由于物理师在经验水平、耗费精力等方面存在诸多差异，导致治疗计划的质量也会存在偏差。因此，研究肿瘤调强放疗剂量预测算法，开发自动计划，有助于准确快速地实现剂量制定与计算，为肿瘤精准放疗提供理论依据和技术支持，提高治愈率并改善患者的生活质量。
3.传统的剂量分布预测方法主要集中在对剂量体积曲线的预测上，这些方法需要手动提取特征，耗时耗力且准确率低，已经逐渐被深度学习的方法所取代。现有的基于深度学习的剂量预测模型大多直接使用已有的语义分割模型，这些模型没有考虑到不同病人的靶区位置、形状、大小多变的情况，导致靶区的预测结果精度较差；此外，计划设计过程中涉及到许多危及器官，模型无法准确获取位置相互接近的危及器官的边界特征，使得相邻小器官的预测剂量误差较大。


技术实现要素：

4.本发明充分考虑了现有方法存在的问题，其目的在于，提供一种基于深度学习的肿瘤调强放疗剂量预测方法，该方法通过混合卷积和transformer的编码器以全局感受野获取多层次的语义信息，设计语义场对齐模块对齐相邻分辨率的特征图，保证多层次语义信息的有效传播，提高模型对靶区和危及器官的剂量分布的预测精度。
5.一、技术原理
6.目前基于卷积神经网络的剂量预测模型大多直接采用已有的语义分割模型。模型的编码器通过堆叠重复的卷积层和池化层获取深层语义信息，解码器通过上采样层逐渐恢复图像的分辨率，得到最终的预测结果。由于卷积核感受野的限制，模型无法获取全局语义特征，同时重复池化操作导致了对象细节信息的丢失。为了获取多层次的全局语义特征，本发明使用混合卷积和transformer的编码器结构，将卷积层获取的特征图输入到transformer编码器，通过全局感受野进一步获取多层次的语义信息；为了弥补由池化操作引起的对象细节特征丢失，保证强语义信息从深层到浅层的有效传播，本发明设计语义场对齐模块，通过扭曲操作，灵活地将不同分辨率的特征图进行对齐，逐渐恢复图像的分辨率，提高了模型的预测精度。
7.二、根据上述原理，本发明通过以下方案实现：
8.一种基于深度学习的肿瘤调强放疗剂量预测方法，包括以下步骤：
9.(1)收集肿瘤调强放疗计划数据，形成数据库；
10.(2)数据预处理，具体包括以下步骤：
11.(2-a)从步骤(1)所述数据库中获取病人的ct图像、靶区轮廓图像、危及器官轮廓图像、射束信息图像和剂量图像；
12.(2-b)根据步骤(2-a)获取的靶区轮廓图像和危及器官轮廓图像计算距离图像f(x，y，z)，计算公式为：
[0013][0014]
其中(x，y，z)表示危及器官体素点，ωs表示靶区表面体素点的集合，s表示ωs内的任意一点，||(x，y，z)，s||表示体素点(x，y，z)到体素点s的距离，min表示求取最小值；
[0015]
(2-c)将步骤(2-a)获取的所有图像和(2-b)得到的距离图像采样到h
×
w的大小，并进行归一化处理，其中h、w都为[100，1000]之间的正整数；
[0016]
(3)构建剂量预测模型，具体包括以下步骤：
[0017]
(3-a)构建卷积编码器，该编码器一共包括五个模块，第一个模块包括两个卷积块，第二到第五个模块分别包括一个池化层和两个卷积块；输入图像依次经过这五个模块，分别得到中间特征图f1、f2、f3、f4和f5；
[0018]
(3-b)构建transformer编码器，该编码器包括线性投影、位置编码、n个transformer层和特征映射；首先将步骤(3-a)得到的中间特征图f5通过线性投影映射到d维空间，然后将映射结果分成n个图像块，组成图像块序列每个图像块的尺寸为p
×
p；将图像块序列进行位置编码后依次输入到n个transformer层，再通过特征映射得到中间特征图s4；其中n、d、n、p均为正整数，且n的范围在[1，50]之间，d的范围在[500，2000]之间，n的范围在[1，4000]之间，p的范围在[1，100]之间；
[0019]
(3-c)构建解码器，该解码器一共包含四个模块，第一至第三个模块都由一个语义场对齐模块组成，语义场对齐模块简称sfa模块，第四个模块由一个sfa模块和一个卷积块组成；将步骤(3-b)得到的中间特征图s4与步骤(3-a)得到的中间特征图f4输入到第一个模块，得到s3；将s3与步骤(3-a)得到的中间特征图f3输入到第二个模块，得到s2；将s2与步骤(3-a)得到的中间特征图f2输入到第三个模块，得到s1；将s1与步骤(3-a)得到的中间特征图f1输入到第四个模块，得到最终预测结果s0，完成剂量预测模型的构建；
[0020]
(4)构建损失函数：
[0021]
损失函数构建如下：
[0022][0023]
其中m为剂量分布区域体素点的总数目，y
p
表示体素点的预测剂量，yc表示体素点的临床剂量；
[0024]
(5)训练预测模型：
[0025]
利用步骤(2)得到的图像数据与步骤(3)构建的预测模型，根据步骤(4)构建的损失函数得到预测剂量与临床剂量的损失值，使用adam优化器更新模型的参数，直到损失不再下降，得到训练好的预测模型；
[0026]
(6)剂量预测：
[0027]
获取测试数据集，按照步骤(2)对测试数据进行预处理，处理后的数据输入到步骤(5)得到的训练好的预测模型中，输出预测结果。
[0028]
步骤(3-a)、(3-c)中的卷积块包括一个卷积层、一个批归一化层和一个激活层。
[0029]
步骤(3-b)中的transformer层包括两个层归一化、一个多头自注意力层和一个多层感知机，transformer层的定义如下：
[0030][0031][0032]
其中ln表示层归一化，msa表示多头自注意力层，mlp表示多层感知机，表示逐像素相加操作，z
′i表示第二个层归一化的输入，z
i-1
和zi分别表示第(i-1)和第i层transformer层的输出。
[0033]
步骤(3-b)中的线性投影、特征映射都由一个卷积层组成。
[0034]
步骤(3-b)中的位置编码是一个三维的张量。
[0035]
步骤(3-c)中的语义场对齐模块sfa，该模块的作用是对齐相邻分辨率的特征图，使语义信息从低分辨率特征图有效传播到高分辨率特征图；该模块包括六个卷积层、一个上采样层、一个扭曲操作、两个拼接操作和一个逆卷积层；sfa模块以步骤(3-b)、(3-c)得到的中间特征图si和步骤(3-a)得到的中间特征图fi作为输入，i＝1，2，3，4；si依次经过第一个卷积层和上采样层，得到的结果与fi经过第二个卷积层得到的结果拼接输入到第三个卷积层，得到语义场，si和语义场通过扭曲操作获得特征图s
′i，扭曲操作的计算过程为：
[0036][0037]
其中ps表示中间特征图si上的像素点，n(ps)表示ps的四邻域像素点，p表示n(ps)中的任一像素点，w
p
表示扭曲操作的权重，其取值范围为(0，1)；使用第四个卷积层对扭曲操作得到的特征图s
′i进行降维后与中间特征图fi进行逐像素相加，得到的结果与si经过逆卷积层得到的结果进行拼接，再依次输入到第五个和第六个卷积层，得到sfa模块的输出。
[0038]
步骤(3-b)中的n、d、n、p均为正整数，优选n为12，d为768，n为256，p为1。
[0039]
本发明与现有技术相比，有以下优点：
[0040]
(1)本发明构建的编码器分为卷积编码器和transformer编码器两部分，将卷积编码器获得的特征图输入到transformer编码器，使得输入transformer编码器的特征图的尺寸减小到输入图像的1/16，以较少的参数实现了语义信息的重复利用，同时通过全局感受野对输入序列进行长距离建模，获取更丰富的靶区和危及器官的细节信息，提高了模型的鲁棒性。
[0041]
(2)本发明设计的语义场对齐模块通过灵活采样的方式对齐选取的不同分辨率的特征图，弥补了由重复卷积层和池化层造成的信息丢失，保证了强语义信息从深层到浅层的有效传播，能够有效提高对靶区和危及器官的预测精度。
附图说明
[0042]
图1本发明实施方式的基于深度学习的肿瘤调强放疗剂量预测方法流程图；
[0043]
图2本发明实施方式的预测模型结构图；
[0044]
图3本发明实施方式的transformer编码器结构图；
[0045]
图4本发明实施方式的sfa模块结构图；
[0046]
图5本发明实施方式的剂量预测结果与其他方法预测结果对比图。
具体实施方式
[0047]
下面说明本发明具体实施方式：
[0048]
实施例1
[0049]
图1所示为本发明实施方式的基于深度学习的肿瘤调强放疗剂量预测方法流程图，具体步骤如下：
[0050]
步骤1，收集肿瘤调强放疗计划数据，形成数据库。
[0051]
步骤2，数据预处理。
[0052]
(2-a)从步骤1所述数据库中获取病人的ct图像、靶区轮廓图像、危及器官轮廓图像、射束信息图像和剂量图像；
[0053]
(2-b)根据步骤(2-a)获取的靶区轮廓图像和危及器官轮廓图像计算距离图像f(x，y，z)，计算公式为：
[0054][0055]
其中(x，y，z)表示危及器官体素点，ωs表示靶区表面体素点的集合，s表示ωs内的任意一点，||(x，y，z)，s||表示体素点(x，y，z)到体素点s的距离，min表示求取最小值；
[0056]
(2-c)将步骤(2-a)获取的所有图像和(2-b)得到的距离图像采样到h
×
w的大小，并进行归一化处理，本实施例选h、w为256。
[0057]
步骤3，构建剂量预测模型。
[0058]
图2所示为本发明实施方式中构建的剂量预测模型结构图，具体步骤如下：
[0059]
(3-a)构建卷积编码器，该编码器一共包括五个模块，第一个模块包括两个卷积块，第二到第五个模块分别包括一个池化层和两个卷积块；其中每个卷积块包括一个卷积层、一个批归一化层和一个激活层；输入为5
×
256
×
256的图像，依次经过这五个模块，分别得到大小为32
×
256
×
256的中间特征图f1、大小为64
×
128
×
128的中间特征图f2、大小为128
×
64
×
64的中间特征图f3、大小为256
×
32
×
32的中间特征图f4，以及大小为512
×
16
×
16的中间特征图f5；
[0060]
(3-b)构建transformer编码器，该编码器包括线性投影、位置编码、n个transformer层和特征映射；首先将步骤(3-a)得到的中间特征图f5通过线性投影映射到d维空间，然后将映射结果分成n个图像块，组成图像块序列每个图像块的尺寸为p
×
p；将图像块序列进行位置编码后依次输入到n个transformer层，再通过特征映射得到中间特征图s4；本实施例选n为12，d为768，n为256，p为1；
[0061]
图3为本发明实施方式的transformer编码器结构图，该编码器包括线性投影、位置编码、n个transformer层和特征映射。线性投影、特征映射都由一个卷积层组成；位置编码是一个三维的张量；transformer层包括两个层归一化、一个多头自注意力层和一个多层感知机，transformer层的定义如下：
[0062]
[0063][0064]
其中ln表示层归一化，msa表示多头自注意力层，mlp表示多层感知机，表示逐像素相加操作，z
′i表示第二个层归一化的输入，z
i-1
和zi分别表示第(i-1)和第i层transformer层的输出；
[0065]
(3-c)构建解码器，该解码器一共包含四个模块，第一至第三个模块都由一个语义场对齐模块组成，语义场对齐模块简称sfa模块，第四个模块由一个sfa模块和一个卷积块组成；卷积块包括一个卷积层、一个批归一化层和一个激活层；将步骤(3-b)得到的大小为512
×
16
×
16的中间特征图s4与步骤(3-a)得到的大小为256
×
32
×
32的中间特征图f4输入到第一个模块，得到大小为256
×
32
×
32的s3；将s3与步骤(3-a)得到的大小为128
×
64
×
64的中间特征图f3输入到第二个模块，得到大小为128
×
64
×
64的s2；将s2与步骤(3-a)得到的大小为64
×
128
×
128的中间特征图f2输入到第三个模块，得到大小为64
×
128
×
128的s1；将s1与步骤(3-a)得到的大小为32
×
256
×
256的中间特征图f1输入到第四个模块，得到大小为1
×
256
×
256的最终预测结果s0，完成剂量预测模型的构建；
[0066]
图4为本发明实施方式的sfa模块结构图。该模块的作用是对齐相邻分辨率的特征图，使语义信息从低分辨率特征图有效传播到高分辨率特征图；该模块包括六个卷积层、一个上采样层、一个扭曲操作、两个拼接操作和一个逆卷积层；sfa模块以步骤(3-b)、(3-c)得到的中间特征图si和步骤(3-a)得到的中间特征图fi作为输入，i＝1，2，3，4；si依次经过第一个卷积层和上采样层，得到的结果与fi经过第二个卷积层得到的结果拼接输入到第三个卷积层，得到语义场，si和语义场通过扭曲操作获得特征图s
′i，扭曲操作的计算过程为：
[0067][0068]
其中ps表示中间特征图si上的像素点，n(ps)表示ps的四邻域像素点，p表示n(ps)中的任一像素点，w
p
表示扭曲操作的权重，其取值范围为(0，1)；使用第四个卷积层对扭曲操作得到的特征图s
′i进行降维后与中间特征图fi进行逐像素相加，得到的结果与si经过逆卷积层得到的结果进行拼接，再依次输入到第五个和第六个卷积层，得到sfa模块的输出。
[0069]
步骤4，构建损失函数。
[0070]
损失函数构建如下：
[0071][0072]
其中m为剂量分布区域体素点的总数目，y
p
表示体素点的预测剂量，yc表示体素点的临床剂量。
[0073]
步骤5，训练预测模型。
[0074]
利用步骤(2)得到的图像数据与步骤(3)构建的预测模型，根据步骤(4)构建的损失函数得到预测剂量与临床剂量的损失值，使用adam优化器更新模型的参数，直到损失不再下降，得到训练好的预测模型。
[0075]
步骤6，剂量预测。
[0076]
获取测试数据集，按照步骤(2)对测试数据进行预处理，处理后的数据输入到步骤(5)得到的训练好的预测模型中，输出预测结果。
[0077]
实施例2
[0078]
采用实例1中的方法对收集形成的脑肿瘤数据库进行剂量预测实验。本实验使用pytorch1.2.0框架，在配备两块nvidia geforce 2080ti gpu的环境进行了训练与测试。
[0079]
图5所示是用本发明实施方式的剂量预测结果与其他方法预测结果的对比图。通过训练好的预测模型对测试集进行预测，测试样例结果如图5所示，其中图5(a)是测试样例的临床剂量分布，也是测试样例的标签，图5(b)-(e)分别是本发明、u-net、hd u-net和dcnn的预测结果，第一行到第三行分别是横截面、矢状面、冠状面的预测结果；最右边的图例显示了剂量的变化范围，单位为gy，亮度越大表示剂量值越高。图中亮度较大的区域是肿瘤所在的区域。根据图5第一行横截面和第二行矢状面的预测结果，可以看出hd u-net对肿瘤区域的预测结果中，有一部分已经超出了肿瘤的边界，会对周围的正常的组织造成损伤；根据图5第三行冠状面的预测结果，可以看出本发明方法对肿瘤外部正常组织的预测剂量更接近真实的临床剂量。相较于其他方法，本发明方法对靶区和危及器官的预测结果更为准确。
[0080]
本实例采用平均绝对误差(mean absolute error，mae)和第95个百分位的霍夫距离(hausdorff distance 95％，hd
95
)对本发明方法、u-net、hd u-net和dcnn得到的预测剂量分布进行对比，计算公式如下：
[0081][0082][0083]
其中m表示靶区或某一危及器官内总的体素数目，i表示任意体素点，yc和y
p
分别表示体素点的临床剂量值和预测剂量值；s
iso-c
和s
iso-p
分别表示临床剂量的等剂量表面和预测剂量的等剂量表面的集合，x和y分别为集合s
iso-p
和s
iso-c
内的预测等剂量表面和临床等剂量表面的体素点，||
·
||2表示求取欧式距离，min表示求取最小距离，max
k95％
(a，b)表示a和b中的最大值的第95个百分位。
[0084]
对比结果如表1和表2所示，其中表1表示本发明方法、u-net、hd u-net、dcnn在靶区和不同危及器官的预测剂量和临床真实剂量的平均绝对误差，表2表示本发明方法、u-net、hd u-net、dcnn在不同等剂量表面的hd
95
，单位为厘米(cm)。从表1可以看出，与其他方法相比，本发明方法在靶区和大部分危及器官(脑干、左晶体、左视神经、右视神经、视交叉和垂体)取得了最小的mae；从表2可以看出，本发明方法在大部分的等剂量表面取得了最小的hd
95
，因此本发明的预测结果更为准确。
[0085]
表1
[0086][0087]
表2
[0088]

技术特征：
1.一种基于深度学习的肿瘤调强放疗剂量预测方法，其特征在于包括以下步骤：(1)收集肿瘤调强放疗计划数据，形成数据库；(2)数据预处理，具体包括以下步骤：(2-a)从步骤(1)所述数据库中获取病人的ct图像、靶区轮廓图像、危及器官轮廓图像、射束信息图像和剂量图像；(2-b)根据步骤(2-a)获取的靶区轮廓图像和危及器官轮廓图像计算距离图像f(x,y,z)，计算公式为：其中(x,y,z)表示危及器官体素点，ω
s
表示靶区表面体素点的集合，s表示ω
s
内的任意一点，‖(x,y,z),s‖表示体素点(x,y,z)到体素点s的距离，min表示求取最小值；(2-c)将步骤(2-a)获取的所有图像和(2-b)得到的距离图像采样到h
×
w的大小，并进行归一化处理，其中h、w都为[100,1000]之间的正整数；(3)构建剂量预测模型，具体包括以下步骤：(3-a)构建卷积编码器，该编码器一共包括五个模块，第一个模块包括两个卷积块，第二到第五个模块分别包括一个池化层和两个卷积块；输入图像依次经过这五个模块，分别得到中间特征图f1、f2、f3、f4和f5；(3-b)构建transformer编码器，该编码器包括线性投影、位置编码、n个transformer层和特征映射；首先将步骤(3-a)得到的中间特征图f5通过线性投影映射到d维空间，然后将映射结果分成n个图像块，组成图像块序列每个图像块的尺寸为p
×
p；将图像块序列进行位置编码后依次输入到n个transformer层，再通过特征映射得到中间特征图s4；(3-c)构建解码器，该解码器一共包含四个模块，第一至第三个模块都由一个语义场对齐模块组成，语义场对齐模块简称sfa模块，第四个模块由一个sfa模块和一个卷积块组成；将步骤(3-b)得到的中间特征图s4与步骤(3-a)得到的中间特征图f4输入到第一个模块，得到s3；将s3与步骤(3-a)得到的中间特征图f3输入到第二个模块，得到s2；将s2与步骤(3-a)得到的中间特征图f2输入到第三个模块，得到s1；将s1与步骤(3-a)得到的中间特征图f1输入到第四个模块，得到最终预测结果s0，完成剂量预测模型的构建；(4)构建损失函数：损失函数构建如下：其中m为剂量分布区域体素点的总数目，y
p
表示体素点的预测剂量，y
c
表示体素点的临床剂量；(5)训练预测模型：利用步骤(2)得到的图像数据与步骤(3)构建的预测模型，根据步骤(4)构建的损失函数得到预测剂量与临床剂量的损失值，使用adam优化器更新模型的参数，直到损失不再下降，得到训练好的预测模型；
(6)剂量预测：获取测试数据集，按照步骤(2)对测试数据进行预处理，处理后的数据输入到步骤(5)得到的训练好的预测模型中，输出预测结果。2.如权利要求1所述的一种基于深度学习的肿瘤调强放疗剂量预测方法，其特征在于，所述步骤(3-a)、(3-c)中的卷积块包括一个卷积层、一个批归一化层和一个激活层。3.如权利要求1所述的一种基于深度学习的肿瘤调强放疗剂量预测方法，其特征在于，所述步骤(3-b)中的transformer层包括两个层归一化、一个多头自注意力层和一个多层感知机，transformer层的定义如下：z
′
i
＝msa(ln(z
i-1
))
⊕
z
i-1
,i＝1,2,
…
,nz
i
＝mlp(ln(z
′
i
))
⊕
z
′
i
,i＝1,2,
…
,n其中ln表示层归一化，msa表示多头自注意力层，mlp表示多层感知机，
⊕
表示逐像素相加操作，z
′
i
表示第二个层归一化的输入，z
i-1
和z
i
分别表示第(i-1)和第i层transformer层的输出。4.如权利要求1所述的一种基于深度学习的肿瘤调强放疗剂量预测方法，其特征在于，所述步骤(3-b)中的线性投影、特征映射都由一个卷积层组成。5.如权利要求1所述的一种基于深度学习的肿瘤调强放疗剂量预测方法，其特征在于，所述步骤(3-b)中的位置编码是一个三维的张量。6.如权利要求1所述的一种基于深度学习的肿瘤调强放疗剂量预测方法，其特征在于，所述步骤(3-c)中的语义场对齐模块sfa，该模块的作用是对齐相邻分辨率的特征图，使语义信息从低分辨率特征图有效传播到高分辨率特征图；该模块包括六个卷积层、一个上采样层、一个扭曲操作、两个拼接操作和一个逆卷积层；sfa模块以步骤(3-b)、(3-c)得到的中间特征图s
i
和步骤(3-a)得到的中间特征图f
i
作为输入，i＝1,2,3,4；s
i
依次经过第一个卷积层和上采样层，得到的结果与f
i
经过第二个卷积层得到的结果拼接输入到第三个卷积层，得到语义场，s
i
和语义场通过扭曲操作获得特征图s
′
i
，扭曲操作的计算过程为：其中p
s
表示中间特征图s
i
上的像素点，n(p
s
)表示p
s
的四邻域像素点，p表示n(p
s
)中的任一像素点，w
p
表示扭曲操作的权重，其取值范围为(0,1)；使用第四个卷积层对扭曲操作得到的特征图s
′
i
进行降维后与中间特征图f
i
进行逐像素相加，得到的结果与s
i
经过逆卷积层得到的结果进行拼接，再；依次输入到第五个和第六个卷积层，得到sfa模块的输出。7.如权利要求1所述的一种基于深度学习的肿瘤调强放疗剂量预测方法，其特征在于，所述步骤(3-b)中的n、d、n、p均为正整数，且n的范围在[1,50]之间，d的范围在[500,2000]之间，n的范围在[1,4000]之间，p的范围在[1,100]之间。

技术总结
本发明公开了一种基于深度学习的肿瘤调强放疗剂量预测方法，其实施方案为：1)收集调强放疗计划数据；2)数据预处理；3)构建剂量预测模型；4)构建损失函数；5)训练预测模型；6)剂量预测。本发明构建的调强放疗剂量预测模型，将卷积编码器获得的深层语义特征输入到Transformer编码器，实现对语义特征重复利用的同时，通过对输入序列长距离建模获取多层次的全局特征，设计的语义场对齐模块能够灵活对齐相邻分辨率的特征图以保证强语义信息从深层到浅层的有效传播，提高了剂量预测的准确性和鲁棒性，能够快速实现剂量制定与计算，为加速放疗计划设计提供理论依据和技术支持。速放疗计划设计提供理论依据和技术支持。


技术研发人员：赵于前 杨金娜 张帆 杨晓喻 邸拴虎
受保护的技术使用者：中南大学
技术研发日：2021.12.10
技术公布日：2022/3/8