一种应用深度学习在CT切片图像上分割肝脏肿瘤的方法
本发明涉及深度学习和电子计算机断层扫描图像诊断领域，尤其涉及一种应用深度学习在ct切片图像上分割肝脏肿瘤的方法。
背景技术：
1、肝癌是一种常见的恶性肿瘤，在2020年全球癌症相关死亡原因中排名第三(sung，ferlay，siegel，laversanne，soerjomataram，jemal and bray，2021)。肝癌病例逐年增加，使其成为前五大致命癌症中唯一一个病例数量上升的癌症(siegel，miller，wagleandjemal，2023)。诊断肝癌通常涉及各种医学成像技术，如超声、磁共振成像(mri)和计算机断层扫描(ct)。在这些方法中，ct是最常用的方法，因为其多相位对比增强能力提供了更先进的成像模式(bialecki and di bisceglie，2005)。然而，准确的诊断和后续治疗规划严重依赖于肝脏内肿瘤边界的精确描绘。肿瘤的物理特征，如大小、形状和位置，是准确诊断和治疗的重要生物标志物(christ，elshaer，ettlinger，tatavarty，bickel，bilic，rempfler，armbruster，hofmann，d'anastasi，sommer，ahmadi and menze，2016)。
2、对于肿瘤分割任务，训练所用标签的质量尤为重要，因为它直接影响模型正确识别和分割肿瘤的性能，从而影响临床医生对肿瘤的诊断和治疗决策。准确、一致和清晰的标签不仅提高了模型的性能和泛化能力，还确保了分割结果具有临床解释性和应用可靠性。首先，错误的标签数据可能会影响深度学习模型的性能，导致学习错误的特征或分割边界。其次，噪声标签会影响模型的泛化能力，导致在未见数据上的表现不佳。此外，对噪声标签的过拟合可能会导致模型在测试数据上的性能下降，因为它未能准确捕捉数据的真实分布。最后，低质量标签的存在增加了训练的难度，需要相应的策略来减轻其影响，以提高模型的性能和泛化能力。因此，确保高质量的标签数据对于肿瘤分割任务的成功至关重要。
3、为应对噪声标签带来的挑战，本发明探索了多种策略。一些研究利用众多领域专家的一致标签来提高数据质量(gulshan,peng，coram，stumpe，wu，narayanaswamy，venugopalan,widner，madams，cuadros，kim，raman，nelson，mega andwebster，2016；esteva，kuprel，novoa，ko，swetter，blauand thrun，2017)。然而，这种方法在财务和后勤资源上消耗巨大，难以普及。此外，观察者间的差异进一步加剧了这一问题，因为不同的放射科医生可能会根据其经验和培训不同地解释模糊特征(warfield，zou and wells,2004；rohlfing，russakoff and maurer，2004)。其他研究旨在通过计算机辅助减少专家在医学图像标注中的工作量(deng，sun，zhu，xu，yang，zhang，wang，sun，zhao，zhou and yuan，2019)。然而，在使用这种方法时，不同观察者之间以及同一观察者自身的差异不能忽视，因为单个放射科医生可能在不同时间提供不同的标注，受疲劳或感知标准变化等因素影响(joskowicz，cohen，caplan and sosna，2019)。一些研究利用从医院图像存档和通信系统等医学图像数据库中自动提取的数据来创建训练数据集(yan，wang，luand summers，2018；irvin，rajpurkar，ko，yu，ciurea-ilcus，chute，marklund，haghgoo，ball，shpanskaya etal，2019)。历史数据可能并非每次研究都能获取，并且往往噪声较大。一些研究使用众包从非专家处收集标注数据(kaur and kaur，2014；gurari，theriault，sameki，isenberg，pham，purwada，solski，walker，zhang，wong and betke，2015)。然而，它们通常无法产生足够质量的标签用于一般研究，并且噪声率较高(gurariet al，2015)。有些研究者提出利用噪声标签来提高模型性能。这些方法专注于创建一个稳健的架构来建模潜在参数、增强泛化能力、调整损失函数，并选择适当的样本以减少噪声标签对模型的影响(song，kim，park，shin and lee，2023)。例如，一些方法利用专门考虑标签噪声的稳健优化技术(frénay andverleysen，2013)，另一些则提出了抗噪声的损失函数，旨在减少训练过程中错误标注数据的影响(zhang andsabuncu，2018)。此外，迁移学习的实施越来越受到关注，其中在大型、干净的数据集上预训练的模型在较小的、噪声较大的数据集上进行微调，从而利用不易受标签噪声影响的已学表示(shin，roth，gao，lu，xu，nogues，yao，mollura and summers，2016)。标签平滑和不确定性建模等技术也可以帮助模型不对噪声标签过拟合，而是关注数据中的基本模式(müller，kornblith and hinton，2019)。有些方法完全忽略噪声标签，使用半监督方法训练网络。这些不断发展的方法强调了医学图像中深度学习的动态特性，持续的研究不断完善数据质量与模型可靠性之间的平衡。
4、概率噪声模型是稳健架构的基本概念。这些方法基于噪声可以通过神经网络的潜在变量表示的概念(tong xiao，tian xia，yi yang，changhuang and xiaogang wang，2015；song et al，2023)。本发明的方法受到稳健架构和半监督学习的启发。为了使用噪声标签训练深度神经网络，关键是识别噪声标签并尽可能消除它们的负面影响。基于噪声适应层的概念(goldberger and benreuven，2016)，引入了噪声适配器，通过添加全连接层和softmax层来预测隐藏变量并模拟标签噪声的生成，从而改变卷积神经网络。该模块在训练过程中动态调整，并修复标签中不可靠的像素，以产生无偏的监督信号。此外，为了防止模型由于数据分布的潜在变化而过拟合，实施了名为mpvt的半监督框架。该框架包括参数可变的均值教师模型，其更新受到dropout的启发(srivastava，hinton，krizhevsky，sutskever and salakhutdinov，2014)，以生成更稳健的伪标签指导，从而允许在训练过程中引入更多的扰动，增强学生模型的鲁棒性和稳定性。此过程通过提供各种训练场景有效地提高了模型对过拟合的抵抗力，确保其从数据的核心特征中泛化，而不是其噪声方面。该框架旨在帮助模型从可靠数据中学习，并从噪声标签中提取有价值的信息，而不受噪声的影响。与之前的方法相比，本发明的方法不仅识别并减少了噪声标签的影响，还通过利用数据中的固有不确定性加强了网络的鲁棒性。这一双重策略有效地创建了一个抗噪声的学习过程，从而提高了模型预测的质量，确保了临床应用中的更高可靠性。
5、在本发明中，旨在引入基于ct图像的深度学习框架来在电子计算机断层扫描图像上分割肝脏肿瘤的方法。与传统模型相比，本发明所提出的框架的结果表现出优异的性能。
技术实现思路
1、本发明的目的在于针对现有技术的不足，提供一种应用深度学习在ct切片图像上分割肝脏肿瘤的方法，引入一个将对噪声健壮的适配器模型方法与半监督学习方法相结合的在有噪声标签的数据集上训练分割肝脏肿瘤的神经网络的框架。
2、为实现上述目的，本发明提供了一种应用深度学习在ct切片图像上分割肝脏肿瘤的方法，包括如下步骤：
3、(1)将原始数据集划分为带有噪声标签的数据和不带有噪声标签的数据；
4、(2)将所述步骤(1)得到的两类训练数据进行弱增强处理后，输入基于u-net的图像分割网络的编码器中进行特征提取，得到特征向量；
5、(3)将所述步骤(2)得到的不带有噪声标签的训练数据的特征向量送入基于u-net的图像分割网络的解码器中，得到网络的分割结果；
6、(4)将所述步骤(3)得到的分割结果和预先给定的标签进行损失计算，其中损失函数是cross-entropy损失和dice损失的和；
7、(5)将所述步骤(2)得到的带有噪声标签的训练数据的特征向量送入基于u-net的图像分割网络的解码器和噪声适配器中，分别得到网络分割结果和噪声适配掩码；
8、(6)将所述步骤(5)得到的网络分割结果和噪声适配掩码根据全概率公式得到预测的带有噪声的分割结果；
9、(7)将所述步骤(6)得到的预测的带有噪声的分割结果与带有噪声的标签进行损失计算，其中损失函数是cross-entropy损失和dice损失的和；
10、(8)将所述步骤(1)得到的训练数据进行弱增强处理和强增强处理后按照步骤所述步骤(2)进行处理得到各自的特征向量；
11、(9)将所述步骤(8)得到的弱增强处理后的两类训练数据输入到教师模型中得到各自的特征向量噪声和伪标签；
12、(10)将所述步骤(9)得到的特征向量噪声分别加到所述步骤(8)得到的各自的特征向量上；
13、(11)将所述步骤(10)得到的不带有噪声标签的数据加噪后的特征向量按照所述步骤(5)-步骤(7)进行处理得到相应的损失；
14、(12)将所述步骤(10)得到的带有噪声标签的数据加噪后的特征向量按照所述步骤(3)-步骤(4)进行处理得到相应的损失；
15、(13)将所述步骤(4)、步骤(7)、步骤(11)、步骤(12)得到的损失结果加权求和后进行反向传播，优化网络参数，提高模型预测结果准确率。
16、进一步地，所述步骤(1)包括如下子步骤：
17、(1.1)筛选与其应代表的解剖结构明显不对齐的病例为带有噪声标签的数据；
18、(1.2)筛选由于分割错误而导致标签渗入相邻结构的病例为带有噪声标签的数据；
19、(1.3)筛选标签在切片间不一致或边界冲突的病例为带有噪声标签的数据；
20、(1.4)筛选标签包含随机噪声或不代表真实解剖结构的病例为带有噪声标签的数据；
21、(1.5)筛选标记区域不完整或被切断的病例为带有噪声标签的数据。
22、进一步地，所述弱增强处理具体为：以50％的概率随机对图像进行上下翻转，以50％的概率随机对图像进行左右翻转和随机对图像进行仿射变换。
23、进一步地，所述强增强处理具体为：随机对图像进行弹性变换，随机对图像进行cutmix处理，随机对图像进行maskmix处理，随机擦除图像部分内容，随机在图像中生成黑色方块，随机对图像进行高斯模糊处理，随机对图像添加莱斯噪声，随机对图像添加高斯噪声，随机对图像锐化处理以及随机对图像进行颜色变换。
24、进一步地，所述步骤(6)中，全概率公式的表达式为：
25、
26、其中表示自适应后的预测，是u-net的预测，pada(j＝1|i＝0)是将背景错误标记为前景的概率，pada(j＝1|i＝1)是正确标记前景的概率。
27、进一步地，所述编码器用于提取图像的特征，并逐渐将图像的空间分辨率降低，进而捕捉高层次的语义信息。
28、进一步地，所述解码器用于将编码器压缩后的特征图恢复到原始图像的分辨率，并生成与输入图像相同大小的分割结果。
29、本发明的有益效果是：本发明提出了一种新颖的深度学习框架，该框架结合了健壮的噪声适配器和一致性正则化技术，以减轻噪声标签对深度神经网络训练的不利影响。通过结合干净和噪声标记的数据，本发明方法增强了模型对噪声的鲁棒性和泛化能力，优于传统方法并取得了更好的结果。本发明方法在训练适用于检测受噪声标签影响的数据集中的病灶的分割卷积神经网络方面展现了良好的前景。它有效减少了为深度神经网络训练构建完美标记数据集的需求，成为辅助临床决策的有力工具。该模型可以无创地使用电子计算机断层扫描图像分割定位肝脏内肿瘤，从而成为帮助医生制定各类肝脏肿瘤治疗策略的潜在工具。
技术特征：
1.一种应用深度学习在ct切片图像上分割肝脏肿瘤的方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的应用深度学习在ct切片图像上分割肝脏肿瘤的方法，其特征在于，所述步骤(1)包括如下子步骤：
3.根据权利要求1所述的应用深度学习在ct切片图像上分割肝脏肿瘤的方法，其特征在于，所述弱增强处理具体为：以50％的概率随机对图像进行上下翻转，以50％的概率随机对图像进行左右翻转和随机对图像进行仿射变换。
4.根据权利要求1所述的应用深度学习在ct切片图像上分割肝脏肿瘤的方法，其特征在于，所述强增强处理具体为：随机对图像进行弹性变换，随机对图像进行cutmix处理，随机对图像进行maskmix处理，随机擦除图像部分内容，随机在图像中生成黑色方块，随机对图像进行高斯模糊处理，随机对图像添加莱斯噪声，随机对图像添加高斯噪声，随机对图像锐化处理以及随机对图像进行颜色变换。
5.根据权利要求1所述的应用深度学习在ct切片图像上分割肝脏肿瘤的方法，其特征在于，所述步骤(6)中，全概率公式的表达式为：
6.根据权利要求1所述的应用深度学习在ct切片图像上分割肝脏肿瘤的方法，其特征在于，所述编码器用于提取图像的特征，并逐渐将图像的空间分辨率降低，进而捕捉高层次的语义信息。
7.根据权利要求1所述的应用深度学习在ct切片图像上分割肝脏肿瘤的方法，其特征在于，所述解码器用于将编码器压缩后的特征图恢复到原始图像的分辨率，并生成与输入图像相同大小的分割结果。
技术总结
本发明公开了一种应用深度学习在CT切片图像上分割肝脏肿瘤的方法。该方法引入了一个名为MPVT+的神经网络框架，用于在带有噪声标签的数据集上训练肝脏肿瘤的分割模型。通过使用对噪声具有鲁棒性的适配器模型方法，MPVT+模型能够有效地适配并筛选训练数据集中的噪声标签，从而减少噪声对神经网络的干扰。此外，MPVT+模型还通过半监督学习方法增强其泛化能力，使其能够高效地学习复杂的CT切片图像特征。在测试数据集上，该模型的索伦森‑戴斯系数为80.29％，雅卡尔指数为68.68％，对称体积差为19.71％，体积重叠误差为31.32％。该模型可以无创地使用CT图像分割并定位肝脏内的肿瘤，从而成为帮助医生制定各种肝脏肿瘤治疗策略的潜在工具。
技术研发人员：刘念伯,周小龙,田昊翔,王晓敏,杨梅乙,刘明辉,邓佳丽,龚海刚,刘明
受保护的技术使用者：电子科技大学长三角研究院（衢州）
技术研发日：
技术公布日：2024/12/5