病灶肺段位置的识别方法、装置、存储介质及电子设备与流程

1.本公开涉及图像处理技术领域，具体地，涉及一种病灶肺段位置的识别方法、装置、存储介质及电子设备。


背景技术：

2.ct(computed tomography)，即电子计算机断层扫描，它是利用x射线束对人体某部一定厚度的层面进行扫描，由探测器接收透过该层面的x射线，转变为可见光后，由光电转换变为电信号，再经模拟/数字转换器转化为数字信号，输入计算机处理。作为肺部疾病最有效的无创检测技术，肺部ct影像以其分层薄、高清、低噪声等优点，被广泛应用于肺部疾病筛查和辅助诊断。
3.目前，肺部ct影像分析技术主要研究肺部是否存在病灶以及病灶的疾病类型，而对于肺部ct影像中病灶所处的肺段位置的识别主要通过人工阅片实现。但是，人工阅片的识别结果很大程度上取决于阅片者自身知识储备和诊疗经验等因素，因而无法保证病灶肺段位置识别结果的准确性。此外。当累积有大量肺部ct影像时，人工阅片对于病灶肺段位置的识别效率较低。


技术实现要素：

4.本公开的目的是提供一种病灶肺段位置的识别方法、装置、存储介质及电子设备，以解决人工阅片识别病灶肺段位置存在可靠性低以及效率低的技术问题。
5.为了实现上述目的，本公开的第一方面提供一种病灶肺段位置的识别方法，所述方法包括：
6.获取标注有病灶位置的目标肺部图像；
7.将所述目标肺部图像输入病灶肺段位置识别模型，得到所述目标肺部图像中病灶对应的肺段位置识别结果，所述肺段位置识别结果用于表征所述病灶在肺部所处的肺段位置；
8.其中，所述病灶肺段位置识别模型包括第一分类子模型和第二分类子模型，所述第一分类子模型能够识别的肺段类别数量与所述第二分类子模型的数量相同，且每一个所述第二分类子模型对应一个肺段类别，所述第一分类子模型用于根据所述目标肺部图像对应的肺段类别对所述目标肺部图像进行分类，并将分类后的所述目标肺部图像输入对应肺段类别的第二分类子模型，所述第二分类子模型用于确定所述目标肺部图像中病灶对应的肺段位置识别结果。
9.可选地，所述病灶肺段位置识别模型包括图像分割模块，所述将所述目标肺部图像输入病灶肺段位置识别模型，得到所述目标肺部图像中病灶对应的肺段位置识别结果，包括：
10.将所述目标肺部图像输入所述第一分类子模型，并通过所述第一分类子模型从所述目标肺部图像中提取第一图像特征，根据所述第一图像特征确定所述目标肺部图像对应
的目标肺段类别；
11.将所述目标肺部图像输入所述图像分割模块，得到多个小图像；
12.将带有所述病灶的小图像输入对应所述目标肺段类别的第二分类子模型，并通过所述第二分类子模型从所述带有所述病灶的小图像中提取第二图像特征，根据所述第二图像特征确定所述带有所述病灶的小图像对应的肺段位置识别结果。
13.可选地，所述将带有所述病灶的小图像输入对应所述目标肺段类别的第二分类子模型，并通过所述第二分类子模型从所述带有所述病灶的小图像中提取第二图像特征，包括：
14.将所述带有所述病灶的小图像及其周围预设个数的目标小图像输入对应所述目标肺段类别的第二分类子模型；
15.分别提取所述带有所述病灶的小图像的图像特征以及所述目标小图像的图像特征进行特征融合，得到目标融合特征图；
16.对所述目标融合特征图进行特征提取得到所述第二图像特征。
17.可选地，所述病灶肺段位置识别模型的训练过程包括：
18.获取标注有肺段类别的第一样本肺部图像，并基于所述第一样本肺部图像训练所述第一分类子模型，所述肺段类别用于表征所述第一样本肺部图像的实际肺段类别；
19.通过训练好的第一分类子模型对第二样本肺部图像进行分类，得到所述第二样本肺部图像对应的肺段类别，并将所述第二样本肺部图像分割成多个样本小图像，每一所述样本小图像标注有实际肺段位置识别结果；
20.基于每一所述样本小图像训练所述第二分类子模型。
21.可选地，所述基于所述第一样本肺部图像训练所述第一分类子模型，包括：
22.将所述第一样本肺部图像输入所述第一分类子模型，得到所述第一样本肺部图像的预测肺段类别；
23.根据所述第一样本肺部图像的所述实际肺段类别和所述预测肺段类别计算第一损失函数，并根据所述第一损失函数的计算结果，调整所述第一分类子模型的参数；
24.所述基于每一所述样本小图像训练所述第二分类子模型，包括：
25.将每一所述样本小图像分别输入对应肺段类别的第二分类子模型，得到每一所述样本小图像对应的预测肺段位置识别结果；
26.根据每一所述样本小图像对应的实际肺段位置识别结果和所述预测肺段位置识别结果计算第二损失函数，并根据所述第二损失函数的计算结果，调整所述第二分类子模型的参数。
27.可选地，所述获取标注有病灶位置的目标肺部图像，包括：
28.采集肺部扫描图像；
29.将所述肺部扫描图像输入到预先训练好的病灶识别模型，得到标注有病灶位置的所述目标肺部图像。
30.可选地，所述第一分类子模型和所述第二分类子模型为残差网络，且所述第一分类子模型的网络层数多于所述第二分类子模型的网络层数。
31.本公开的第二方面还提供一种病灶肺段位置的识别装置，所述装置包括：
32.获取模块，用于获取标注有病灶位置的目标肺部图像；
33.识别模块，用于将所述目标肺部图像输入病灶肺段位置识别模型，得到所述目标肺部图像中病灶对应的肺段位置识别结果，所述肺段位置识别结果用于表征所述病灶在肺部所处的肺段位置；
34.其中，所述病灶肺段位置识别模型包括第一分类子模型和第二分类子模型，所述第一分类子模型能够识别的肺段类别数量与所述第二分类子模型的数量相同，且每一个所述第二分类子模型对应一个肺段类别，所述第一分类子模型用于根据所述目标肺部图像对应的肺段类别对所述目标肺部图像进行分类，并将分类后的所述目标肺部图像输入对应肺段类别的第二分类子模型，所述第二分类子模型用于确定所述目标肺部图像中病灶对应的肺段位置识别结果。
35.本公开的第三方面还提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面中任一项所述方法的步骤。
36.本公开的第四方面还提供一种电子设备，包括：
37.存储器，其上存储有计算机程序；
38.处理器，用于执行所述存储器中的所述计算机程序，以实现上述第一方面中任一项所述方法的步骤。
39.通过上述技术方案，至少能够达到以下技术效果：
40.首先获取标注有病灶位置的目标肺部图像，然后将目标肺部图像输入病灶肺段位置识别模型，得到目标肺部图像中病灶对应的肺段位置识别结果，肺段位置识别结果用于表征病灶在肺部所处的肺段位置。其中，病灶肺段位置识别模型包括第一分类子模型和第二分类子模型，第一分类子模型能够识别的肺段类别数量与第二分类子模型的数量相同，且每一个第二分类子模型对应一个肺段类别，第一分类子模型用于根据目标肺部图像对应的肺段类别对目标肺部图像进行分类，并将分类后的目标肺部图像输入对应肺段类别的第二分类子模型，第二分类子模型用于确定目标肺部图像中病灶对应的肺段位置识别结果。通过该方法，实现了对于肺部图像中病灶所处的肺段位置的自动识别，不仅提高了病灶肺段位置的识别效率，而且通过病灶肺段位置识别模型识别肺部图像的识别结果的准确度较为稳定，可靠性较高。
41.本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
42.附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
43.图1是一种肺部ct原始影像的示意图；
44.图2是本公开实施例提供的一种病灶肺段位置的识别方法的流程示意图；
45.图3是本公开实施例提供的一种肺部图像的分割示意图；
46.图4是本公开实施例提供的另一种病灶肺段位置的识别方法的流程示意图；
47.图5是本公开实施例提供的一种病灶肺段位置的识别装置的框图；
48.图6是本公开实施例提供的一种电子设备的框图。
具体实施方式
49.以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
50.在应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
51.需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。另外，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
52.目前，肺部ct影像分析技术主要研究肺部是否存在病灶以及病灶的疾病类型，而对于肺部ct影像中病灶所处的肺段位置的识别主要通过人工阅片实现。但是，人工阅片的识别结果很大程度上取决于阅片者自身知识储备和诊疗经验等因素，因而无法保证病灶肺段位置识别结果的准确性。此外。当累积有大量肺部ct影像时，人工阅片对于病灶肺段位置的识别效率较低。
53.有鉴于此，本公开提供一种病灶肺段位置的识别方法、装置、存储介质及电子设备，以解决上述问题。
54.在对本公开的技术方案进行详细的实施例说明之前，下面先对本公开技术方案的应用场景进行说明。
55.如图1所示，肺部ct原始影像为三维图像，每个图像包含一系列肺部的多个轴向切片，即肺部ct原始影像是一个由一定数量的二维图像组成的三维图像。目前，相关技术可以通过训练好的模型识别二维图像中是否存在片状、斑片状、结节状、团块状等密度不一的阴影并标注出来得到标注有病灶位置的二维图像。也就是说，相关技术可以确定病灶在二维图像中的位置，但无法确定该病灶在肺部所属的肺组织，即该病灶所处的肺段位置。而本公开实施例提供的病灶肺段位置的识别方法可以进一步在二维图像中识别病灶所处的肺段位置。
56.下面对本公开的技术方案进行详细的实施例说明。
57.参照图2，本公开实施例提供一种病灶肺段位置的识别方法，该方法包括：
58.s201、获取标注有病灶位置的目标肺部图像。
59.s202、将目标肺部图像输入病灶肺段位置识别模型，得到目标肺部图像中病灶对应的肺段位置识别结果，肺段位置识别结果用于表征病灶在肺部所处的肺段位置。
60.其中，病灶肺段位置识别模型包括第一分类子模型和第二分类子模型，第一分类子模型能够识别的肺段类别数量与第二分类子模型的数量相同，且每一个第二分类子模型对应一个肺段类别，第一分类子模型用于根据目标肺部图像对应的肺段类别对目标肺部图像进行分类，并将分类后的目标肺部图像输入对应肺段类别的第二分类子模型，第二分类子模型用于确定目标肺部图像中病灶对应的肺段位置识别结果。
61.采用上述方法，实现了对于肺部图像中病灶所处的肺段位置的自动识别，不仅提高了病灶肺段位置的识别效率，而且通过病灶肺段位置识别模型识别肺部图像的识别结果的准确度较为稳定，可靠性较高。
62.为了使得本领域技术人员更加理解本公开提供的病灶肺段位置的识别方法，下面对上述各步骤进行详细举例说明。
63.首先说明本公开中病灶肺段位置识别模型的训练过程。
64.在本公开实施例中，病灶肺段位置识别模型包括第一分类子模型和第二分类子模型，其中第一分类子模型用于根据目标肺部图像对应的肺段类别对目标肺部图像进行分类，并将分类后的目标肺部图像输入对应肺段类别的第二分类子模型，第二分类子模型用于确定目标肺部图像中病灶对应的肺段位置识别结果。在训练过程中，可以先训练第一分类子模型，然后固定第一分类子模型的参数，训练第二分类子模型。
65.因此，在可能的方式中，病灶肺段位置识别模型的训练过程包括：获取标注有肺段类别的第一样本肺部图像，并基于第一样本肺部图像训练第一分类子模型，肺段类别用于表征第一样本肺部图像的实际肺段类别，然后通过训练好的第一分类子模型对第二样本肺部图像进行分类，得到第二样本肺部图像对应的肺段类别，并将第二样本肺部图像分割成多个样本小图像，每一样本小图像标注有实际肺段位置识别结果，最后基于每一样本小图像训练第二分类子模型。
66.可选地，可以基于第一样本肺部图像通过如下方式训练第一分类子模型：首先将第一样本肺部图像输入第一分类子模型，得到第一样本肺部图像的预测肺段类别，然后根据第一样本肺部图像的实际肺段类别和预测肺段类别计算第一损失函数，并根据第一损失函数的计算结果，调整第一分类子模型的参数。以及，可以基于每一样本小图像通过如下方式训练第二分类子模型：首先将每一样本小图像分别输入对应肺段类别的第二分类子模型，得到每一样本小图像对应的预测肺段位置识别结果，然后根据每一样本小图像对应的实际肺段位置识别结果和预测肺段位置识别结果计算第二损失函数，并根据第二损失函数的计算结果，调整第二分类子模型的参数。
67.需说明的是，目前对肺段的分类方式根据划分方式的不同划分为四类、五类或六类，本公开对此不作具体限定，但是根据划分方式的不同，第一分类子模型以及第二分类子模型的识别结果的数量不同，具体参照对应的分类方式进行设定。
68.示例地，首先对第一样本肺部图像的肺段类别进行标注，本公开将肺部图像分为四类为例。其中，当肺部图像出现气管显示时，将该肺部图像标记为第一类肺部图像，当肺部图像出现支气管分支显示时，将该肺部图像标记为第二类肺部图像，当肺部图像出现中叶支气管与下叶支气管的夹角显示时，将该肺部图像标记为第三类肺部图像，当肺部图像出现基底干显示时，将该肺部图像标记为第四类肺部图像。具体分类可以参考相关技术，本公开在此不再赘述。
69.在得到标注有实际肺段类别的第一样本肺部图像后，可以将该第一样本肺部图像输入第一分类子模型，即通过第一分类子模型得到第一样本肺部图像的预测肺段类别。然后，可以根据该预测肺段类别和样本肺部图像的实际肺段类别计算第一损失函数。最后，通过该第一损失函数的计算结果调整第一分类子模型的参数。应当理解的是，第一损失函数可以用于表征预测肺段类别和实际肺段类别之间的差异，因此通过第一损失函数的计算结
果调整第一分类子模型的参数，可以使得第一分类子模型输出的预测肺段类别越来越接近样本肺部图像的实际肺段类别，从而完成对第一分类子模型的训练。
70.应当理解的是，由于可以获取多张第一样本肺部图像来训练第一分类子模型，因此还可以对多张第一样本肺部图像进行预处理，比如将多张第一样本肺部图像处理为统一大小的图片，例如统一成224
×
224像素的图片，等等，本公开对此不作具体限定。
71.进一步地，在训练得到第一分类子模型之后，通过训练好的第一分类子模型对第二样本肺部图像进行分类，得到第二样本肺部图像对应的肺段类别，其中，第一样本肺部图像和第二样本肺部图像可以不同，也可以相同，本公开对此不作具体限定。由于上述第一分类子模型的肺段分类结果为四种肺段类别，相应地存在对应四种肺段类别的第二分类子模型。参照图3，将第二样本肺部图像分割成多个样本小图像，并标注每一样本小图像的实际肺段位置识别结果。优选地，第二样本肺部图像分割成多个大小相同的样本小图像。
72.值得说明的是，由于对应不同肺段类别的肺部图像所显示的肺段位置不同，因此对应不同肺段类别的第二分类子模型的肺段位置识别结果不同。其中，第一类肺部图像所显示的肺段位置包括右肺的尖段、后段以及前段和左肺的尖段、后段、前段以及背段，第二类肺部图像所显示的肺段位置包括右肺的后段、前段以及背段和左肺的后段、前段以及背段，第三类肺部图像所显示的肺段位置包括右肺的前段、外段、内段以及背段和左肺的前段、舌叶上段、舌叶下段以及背段，第四类肺部图像所显示的肺段位置包括右肺的外段、内段、内基底段、前基底段、外基底段以及后基底段和左肺的舌叶下段、内基底段、前基底段、外基底段以及后基底段。具体分类可以参考相关技术，本公开在此不再赘述。
73.按照上述不同肺段类别所显示的肺段位置将对应不同肺段类别的肺部图像分割成多个样本小图像，并标注每一样本小图像的实际肺段位置识别结果。然后，将每一样本小图像分别输入对应肺段类别的第二分类子模型，得到每一样本小图像对应的预测肺段位置识别结果。进而，可以根据每一样本小图像对应的实际肺段位置识别结果和预测肺段位置识别结果计算第二损失函数。最后，通过该第二损失函数的计算结果调整第二分类子模型的参数。应当理解的是，第二损失函数可以用于表征预测肺段位置识别结果和实际肺段位置识别结果之间的差异，因此通过第二损失函数的计算结果调整第二分类子模型的参数，可以使得第二分类子模型输出的预测肺段位置识别结果越来越接近样本小图像的实际肺段位置识别结果，从而完成对第二分类子模型的训练。
74.应当理解的是，在训练第二分类子模型时，除了可以获取肺段类别未知的肺部图像，并通过训练好的第一分类子模型对肺部图像进行分类后输入对应肺段类别的第二分类子模型进行训练，也可以直接获取肺段类别已知的肺部图像输入对应肺段类别的第二分类子模型进行训练，这样可以同时对第一分类子模型和第二分类子模型进行训练，缩短训练周期。
75.上述第一分类子模型和第二分类子模型可以是任意神经网络模型。在可能的方式中，第一分类子模型和第二分类子模型可以为残差网络，且第一分类子模型的网络层数多于第二分类子模型的网络层数。
76.示例地，第一分类子模型的第一层网络包含卷积层、非线性映射层、归一化层以及池化层。其中，卷积层的卷积核数量为96，卷积核大小为11
×
11，卷积步长为4，边缘扩充为0。将224
×
224像素的肺部图像输入第一层网络的卷积层得到卷积后的特征图，并通过非线
性映射层及归一化层得到新的特征图，最后通过池化层对新的特征图进行最大池化操作，得到第一层网络的输出特征图。第一分类子模型的第二层网络包含卷积层、非线性映射层、归一化层以及池化层。其中，卷积层的卷积核数量为256，卷积核大小为5
×
5，卷积步长为2，边缘扩充为2，将第一层网络的输出特征图输入第二层网络得到第二层网络的输出特征图。以此类推，依次将上一层网络的输出特征图输入下一层网络，直至得到最终的肺段类别的分类结果。
77.其中，第一分类子模型的第三层网络包含卷积核数量为384、卷积核大小为3
×
3、卷积步长为1、边缘扩充为1的卷积层以及非线性映射层，第一分类子模型的第四层网络包含卷积核数量为384、卷积核大小为3
×
3、卷积步长为1、边缘扩充为1的卷积层以及非线性映射层，第一分类子模型的第五层网络包含卷积核数量为256、卷积核大小为3
×
3、卷积步长为1、边缘扩充为1的卷积层以及非线性映射层，第一分类子模型的第六层网络和第七层网络均为随机失活率为0.5、神经元个数为4096的全连接层，第一分类子模型的第八层网络为随机失活率为0.5、神经元个数对应肺段类别数量的全连接层，以上述肺段类别划分为四类为例，取神经元个数为4个。最后，利用softmax分类器对第八层网络的输出特征进行分类从而得到肺部图像的预测肺段类别。
78.上述各层网络中的非线性映射层均采用relu激活函数进行激活操作，通过relu激活函数能够提高模型的表达能力，并有效缓解过拟合的问题。以及，各层网络中的归一化层均采用最大最小归一化，从而加快训练模型的速度。而各层网络中的池化层采用进行最大池化操作以此缩减模型的大小，提高计算速度，其中，池化大小为3
×
3，步长为2。
79.应当理解的是，为了防止特征大量丢失，部分网络层不设置归一化层和网络层，例如第三、第四以及第五层网络。此外，第一分类子模型训练的第一损失函数可以为交叉熵损失函数，具体公式如下：
[0080][0081]
其中，l表示交叉熵，m表示肺段类别数量，y
ic
为符号函数(0或1)，c表示肺段类别，i表示样本肺部图像，如果样本肺部图像i的真实肺段类别等于c取1，否则取0，p
ic
为样本肺部图像i属于肺段类别c的预测概率，n表示样本图像的数量。并且可以根据交叉熵损失函数的计算结果，调整第一分类子模型的参数，不断优化第一分类子模型直至样本肺部图像的预测肺段类别与实际肺段类别之间差异的达到预设要求，从而实现对第一分类子模型的训练。
[0082]
由于，第二分类子模型的输入图像为肺部图像分割得到的小图像，例如将上述224
×
224像素的肺部图像分割成256个14
×
14像素的小图像，因此，第二分类子模型的输入图像的图像特征相较于第一分类子模型的输入图像的图像特征更少，因而第二分类子模型的网络层数可以少于第一分类子模型的网络层数。并且，由于分割的小图像比较小，可能失去相邻像素的依赖关系，因此可以将目标小图像及其周围的小图像一起输入第二分类子模型中，比如可以选择位于目标小图像上下左右的四个相邻小图像，也可以选择位于目标小图像周围一圈的八个相邻小图像，等等，本公开对此不作具体限定。
[0083]
示例地，第二分类子模型的第一层网络包含卷积层、非线性映射层、归一化层以及池化层。其中，卷积层的卷积核数量为64，卷积核大小为8
×
8，卷积步长为1，边缘扩充为0。
以输入目标小图像及其上下左右四个的相邻小图像为例，使用卷积核分别对输入的5个小图像进行卷积操作，得到每个小图像的特征图，将5个特征图对应位置元素相加，得到融合后的特征图。进而通过非线性映射层及归一化层得到新的特征图，最后通过池化层对新的特征图进行最大池化操作，得到第一层网络的输出特征图。第二分类子模型的第二层网络包含卷积层、非线性映射层、归一化层以及池化层。
[0084]
其中，卷积层的卷积核数量为128，卷积核大小为3
×
3，卷积步长为1，边缘扩充为2。将第一层网络的输出特征图输入第二层网络得到第二层网络的输出特征图。以此类推，依次将上一层网络的输出特征图输入下一层网络，直至得到最终的肺段位置的分类结果。其中，第二分类子模型的第三层网络包含卷积核数量为128、卷积核大小为3
×
3、卷积步长为1、边缘扩充为2的卷积层以及非线性映射层，第二分类子模型的第四层网络包含卷积核数量为256、卷积核大小为3
×
3、卷积步长为1、边缘扩充为2的卷积层以及非线性映射层，第二分类子模型的第五层网络为随机失活率为0.5、神经元个数为1024的全连接层，第二分类子模型的第六层网络为随机失活率为0.5、神经元个数为对应肺段类别所显示的肺段位置数量的全连接层。最后，利用softmax分类器对第六层网络的输出特征进行分类从而得到目标小图像的预测肺段位置。
[0085]
上述第二分类子模型各层网络中的非线性映射层、归一化层以及池化层可以参照第一分类子模型进行设置。此外，第二分类子模型的第二损失函数也可以参照第一分类子模型的第一损失函数，本公开在此不再赘述。此外，由于第一分类子模型识别的肺段类别设置为4个，因此对应有四个第二分类子模型，每一个第二分类子模型对应一个肺段类别，四个第二分类子模型可以采用相同的模型结构，也可以采用不同的模型结构，本公开对此不作具体限定。
[0086]
需说明的是，上述第一分类子模型与第二分类子模型仅作为示例性说明，在具体实施时，模型结构可以根据实际需要以及训练结果对模型结构进行调整，本公开对此不作具体限定。
[0087]
在训练得到病灶肺段位置识别模型后，在模型应用阶段，可以获取标注有病灶位置的目标肺部图像，然后将目标肺部图像输入病灶肺段位置识别模型，该病灶肺段位置识别模型可以输出该目标肺部图像中病灶对应的肺段位置识别结果，即病灶在肺部所处的肺段位置，从而实现病灶肺段位置的自动识别。
[0088]
在可能的方式中，可以通过如下方式获取标注有病灶位置的目标肺部图像：首先采集肺部扫描图像，然后将肺部扫描图像输入到预先训练好的病灶识别模型，得到标注有病灶位置的目标肺部图像。
[0089]
其中，病灶识别模型的训练过程包括：首先将标注有实际病灶位置的肺部图像输入病灶识别模型，得到肺部图像的预测病灶位置，然后根据肺部图像的实际病灶位置和预测病灶位置计算损失函数，并根据损失函数的计算结果，调整病灶识别模型的参数。具体模型结构以及训练过程可以参照相关技术，本公开在此不再赘述。
[0090]
在得到标注有病灶位置的目标肺部图像之后，将目标肺部图像输入病灶肺段位置识别模型的第一分类子模型得到目标肺部图像对应的肺段类别，并将分类后的目标肺部图像输入对应肺段类别的第二分类子模型，得到目标肺部图像中病灶对应的肺段位置识别结果。其中，第二分类子模型的输入为目标肺部图像分割后的小图像，因而将目标肺部图像输
入对应肺段类别的第二分类子模型之前，需要将目标肺部图像分割成小图像。
[0091]
因此，在可能的方式中，病灶肺段位置识别模型包括图像分割模块，将目标肺部图像输入病灶肺段位置识别模型，得到目标肺部图像中病灶对应的肺段位置识别结果的过程包括：首先将目标肺部图像输入第一分类子模型，并通过第一分类子模型从目标肺部图像中提取第一图像特征，根据第一图像特征确定目标肺部图像对应的目标肺段类别，并将目标肺部图像输入图像分割模块，得到多个小图像，最后将带有病灶的小图像输入对应目标肺段类别的第二分类子模型，并通过第二分类子模型从带有病灶的小图像中提取第二图像特征，根据第二图像特征确定带有病灶的小图像对应的肺段位置识别结果。
[0092]
示例地，将一张224
×
224像素的目标肺部图像输入第一分类子模型中，对目标肺部图像进行特征提取得到第一图像特征，进而根据第一图像特征确定目标肺部图像对应的目标肺段类别，并将该目标肺部图像输入图像分割模块得到256个14
×
14像素的小图像。其中，图像分割模块所分割的图像大小可以根据需求设定，本公开对此不作具体限定。由于病灶位置是已知的，因此，可以选取带有病灶的小图像输入对应目标肺段类别的第二分类子模型，对带有病灶的小图像进行特征提取得到第二图像特征，进而根据第二图像特征确定带有病灶的小图像对应的肺段位置识别结果。
[0093]
此外，若分割的小图像比较小，可能失去相邻像素的依赖关系，因此在可能的方式中，将带有病灶的小图像输入对应目标肺段类别的第二分类子模型，并通过第二分类子模型从带有病灶的小图像中提取第二图像特征包括如下步骤：首先将带有病灶的小图像及其周围预设个数的目标小图像输入对应目标肺段类别的第二分类子模型，分别提取带有所述病灶的小图像的图像特征以及目标小图像的图像特征进行特征融合，得到目标融合特征图，最后对目标融合特征图进行特征提取得到第二图像特征。
[0094]
示例地，可以参照模型训练过程，将目标小图像及其周围的小图像一起输入第二分类子模型中，比如可以选择位于目标小图像上下左右的四个相邻小图像，也可以选择位于目标小图像周围一圈的八个相邻小图像，等等，本公开对此不作具体限定。以输入目标小图像及其上下左右四个的相邻小图像为例，在第二分类子模型的第一层网络中使用卷积核分别对输入的5个小图像进行卷积操作，得到每个小图像的特征图，将5个特征图对应位置元素相加，得到融合后的特征图，进而在后续网络层中对目标融合特征图进行特征提取得到第二图像特征。
[0095]
在得到第二图像特征后，根据第二图像特征确定带有病灶的小图像对应的肺段位置识别结果。并且，由于一张目标肺部图像中可能存在多个带有病灶的小图像，多个带有病灶的小图像可能来自于同一肺段位置，也可能来自不同的肺段位置，因而可以对肺段位置识别结果进行整合，将多个指示同一肺段位置的肺段位置识别结果整合为一个肺段位置识别结果进行输出，避免同一肺段位置的肺段位置识别结果重复输出，造成数据冗余。
[0096]
采用上述方法，通过训练好的第一分类子模型确定目标肺部图像对应的目标肺段类别，并利用图像分割模块对目标肺部图像进行分割得到多个小图像，进而通过训练好的第二分类子模型确定带有病灶的小图像对应的肺段位置识别结果。以此实现了对于肺部图像中病灶所处的肺段位置的自动识别，不仅提高了病灶肺段位置的识别效率，而且通过病灶肺段位置识别模型识别肺部图像的识别结果的准确度较为稳定，可靠性较高。
[0097]
下面通过另一示例性实施例对本公开实施例提供的病灶肺段位置的识方法的步
骤进行说明。如图4所示，该方法包括：
[0098]
s401、采集肺部扫描图像。
[0099]
s402、将肺部扫描图像输入到预先训练好的病灶识别模型，得到标注有病灶位置的目标肺部图像。
[0100]
s403、将目标肺部图像输入第一分类子模型，并通过第一分类子模型从目标肺部图像中提取第一图像特征，根据第一图像特征确定目标肺部图像对应的目标肺段类别。
[0101]
s404、将目标肺部图像输入图像分割模块，得到多个小图像。
[0102]
s405、将带有病灶的小图像及其周围的小图像输入对应目标肺段类别的第二分类子模型，并通过第二分类子模型从带有病灶的小图像及其周围小图像中提取第二图像特征，根据第二图像特征确定带有病灶的小图像对应的肺段位置识别结果。
[0103]
采用上述方法，首先获取标注有病灶位置的目标肺部图像，然后将目标肺部图像输入病灶肺段位置识别模型的第一分类子模型，第一分类子模型根据目标肺部图像对应的肺段类别对目标肺部图像进行分类，并将分类后的目标肺部图像输入图像分割模块分割成多个小图像，进而将带有病灶的小图像及其周围的小图像输入对应肺段类别的第二分类子模型，最后通过第二分类子模型得到带有病灶的小图像对应的肺段位置识别结果，从而确定病灶在肺部所处的肺段位置。通过该方法，实现了对于肺部图像中病灶所处的肺段位置的自动识别，不仅提高了病灶肺段位置的识别效率，而且通过病灶肺段位置识别模型识别肺部图像的识别结果的准确度较为稳定，可靠性较高。
[0104]
本公开实施例提供一种病灶肺段位置的识别装置，该装置500包括：
[0105]
获取模块501，用于获取标注有病灶位置的目标肺部图像。
[0106]
识别模块502，用于将所述目标肺部图像输入病灶肺段位置识别模型，得到所述目标肺部图像中病灶对应的肺段位置识别结果，所述肺段位置识别结果用于表征所述病灶在肺部所处的肺段位置。
[0107]
其中，所述病灶肺段位置识别模型包括第一分类子模型和第二分类子模型，所述第一分类子模型能够识别的肺段类别数量与所述第二分类子模型的数量相同，且每一个所述第二分类子模型对应一个肺段类别，所述第一分类子模型用于根据所述目标肺部图像对应的肺段类别对所述目标肺部图像进行分类，并将分类后的所述目标肺部图像输入对应肺段类别的第二分类子模型，所述第二分类子模型用于确定所述目标肺部图像中病灶对应的肺段位置识别结果。
[0108]
采用上述装置，实现了对于肺部图像中病灶所处的肺段位置的自动识别，不仅提高了病灶肺段位置的识别效率，而且通过病灶肺段位置识别模型识别肺部图像的识别结果的准确度较为稳定，可靠性较高。
[0109]
可选地，所述病灶肺段位置识别模型包括图像分割模块，所述识别模块502用于：
[0110]
将所述目标肺部图像输入所述第一分类子模型，并通过所述第一分类子模型从所述目标肺部图像中提取第一图像特征，根据所述第一图像特征确定所述目标肺部图像对应的目标肺段类别；
[0111]
将所述目标肺部图像输入所述图像分割模块，得到多个小图像；
[0112]
将带有所述病灶的小图像输入对应所述目标肺段类别的第二分类子模型，并通过所述第二分类子模型从所述带有所述病灶的小图像中提取第二图像特征，根据所述第二图
像特征确定所述带有所述病灶的小图像对应的肺段位置识别结果。
[0113]
可选地，所述识别模块502用于：
[0114]
将所述带有所述病灶的小图像及其周围预设个数的目标小图像输入对应所述目标肺段类别的第二分类子模型；
[0115]
分别提取所述带有所述病灶的小图像的图像特征以及所述目标小图像的图像特征进行特征融合，得到目标融合特征图；
[0116]
对所述目标融合特征图进行特征提取得到所述第二图像特征。
[0117]
可选地，所述装置500还包括训练模块，所述训练模块用于：
[0118]
获取标注有肺段类别的第一样本肺部图像，并基于所述第一样本肺部图像训练所述第一分类子模型，所述肺段类别用于表征所述第一样本肺部图像的实际肺段类别；
[0119]
通过训练好的第一分类子模型对第二样本肺部图像进行分类，得到所述第二样本肺部图像对应的肺段类别，并将所述第二样本肺部图像分割成多个样本小图像，每一所述样本小图像标注有实际肺段位置识别结果；
[0120]
基于每一所述样本小图像训练所述第二分类子模型。
[0121]
可选地，所述训练模块用于：
[0122]
将所述第一样本肺部图像输入所述第一分类子模型，得到所述第一样本肺部图像的预测肺段类别；
[0123]
根据所述第一样本肺部图像的所述实际肺段类别和所述预测肺段类别计算第一损失函数，并根据所述第一损失函数的计算结果，调整所述第一分类子模型的参数；
[0124]
所述训练模块用于：
[0125]
将每一所述样本小图像分别输入对应肺段类别的第二分类子模型，得到每一所述样本小图像对应的预测肺段位置识别结果；
[0126]
根据每一所述样本小图像对应的实际肺段位置识别结果和所述预测肺段位置识别结果计算第二损失函数，并根据所述第二损失函数的计算结果，调整所述第二分类子模型的参数。
[0127]
可选地，所述获取模块501用于：
[0128]
采集肺部扫描图像；
[0129]
将所述肺部扫描图像输入到预先训练好的病灶识别模型，得到标注有病灶位置的所述目标肺部图像。
[0130]
可选地，所述第一分类子模型和所述第二分类子模型为残差网络，且所述第一分类子模型的网络层数多于所述第二分类子模型的网络层数。
[0131]
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
[0132]
本公开实施例还提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例提供的病灶肺段位置的识别方法的步骤。
[0133]
本公开实施例还提供一种电子设备，包括：
[0134]
存储器，其上存储有计算机程序；
[0135]
处理器，用于执行所述存储器中的所述计算机程序，以实现上述实施例提供的病灶肺段位置的识别方法的步骤。
[0136]
图6是根据一示例性实施例示出的一种电子设备600的框图。例如，电子设备600可以被提供为一服务器。参照图6，电子设备600包括处理器622，其数量可以为一个或多个，以及存储器632，用于存储可由处理器622执行的计算机程序。存储器632中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理器622可以被配置为执行该计算机程序，以执行上述的病灶肺段位置的识别方法。
[0137]
另外，电子设备600还可以包括电源组件626和通信组件650，该电源组件626可以被配置为执行电子设备600的电源管理，该通信组件650可以被配置为实现电子设备600的通信，例如，有线或无线通信。此外，该电子设备600还可以包括输入/输出(i/o)接口658。电子设备600可以操作基于存储在存储器632的操作系统，例如windows server
tm
，mac os x
tm
，unix
tm
，linux
tm
等等。
[0138]
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的病灶肺段位置的识别方法的步骤。例如，该非临时性计算机可读存储介质可以为上述包括程序指令的存储器632，上述程序指令可由电子设备600的处理器622执行以完成上述的病灶肺段位置的识别方法。
[0139]
在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的病灶肺段位置的识别方法的代码部分。
[0140]
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
[0141]
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
[0142]
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

技术特征：
1.一种病灶肺段位置的识别方法，其特征在于，所述方法包括：获取标注有病灶位置的目标肺部图像；将所述目标肺部图像输入病灶肺段位置识别模型，得到所述目标肺部图像中病灶对应的肺段位置识别结果，所述肺段位置识别结果用于表征所述病灶在肺部所处的肺段位置；其中，所述病灶肺段位置识别模型包括第一分类子模型和第二分类子模型，所述第一分类子模型能够识别的肺段类别数量与所述第二分类子模型的数量相同，且每一个所述第二分类子模型对应一个肺段类别，所述第一分类子模型用于根据所述目标肺部图像对应的肺段类别对所述目标肺部图像进行分类，并将分类后的所述目标肺部图像输入对应肺段类别的第二分类子模型，所述第二分类子模型用于确定所述目标肺部图像中病灶对应的肺段位置识别结果。2.根据权利要求1所述的方法，其特征在于，所述病灶肺段位置识别模型包括图像分割模块，所述将所述目标肺部图像输入病灶肺段位置识别模型，得到所述目标肺部图像中病灶对应的肺段位置识别结果，包括：将所述目标肺部图像输入所述第一分类子模型，并通过所述第一分类子模型从所述目标肺部图像中提取第一图像特征，根据所述第一图像特征确定所述目标肺部图像对应的目标肺段类别；将所述目标肺部图像输入所述图像分割模块，得到多个小图像；将带有所述病灶的小图像输入对应所述目标肺段类别的第二分类子模型，并通过所述第二分类子模型从所述带有所述病灶的小图像中提取第二图像特征，根据所述第二图像特征确定所述带有所述病灶的小图像对应的肺段位置识别结果。3.根据权利要求2所述的方法，其特征在于，所述将带有所述病灶的小图像输入对应所述目标肺段类别的第二分类子模型，并通过所述第二分类子模型从所述带有所述病灶的小图像中提取第二图像特征，包括：将所述带有所述病灶的小图像及其周围预设个数的目标小图像输入对应所述目标肺段类别的第二分类子模型；分别提取所述带有所述病灶的小图像的图像特征以及所述目标小图像的图像特征进行特征融合，得到目标融合特征图；对所述目标融合特征图进行特征提取得到所述第二图像特征。4.根据权利要求1-3任一项所述的方法，其特征在于，所述病灶肺段位置识别模型的训练过程包括：获取标注有肺段类别的第一样本肺部图像，并基于所述第一样本肺部图像训练所述第一分类子模型，所述肺段类别用于表征所述第一样本肺部图像的实际肺段类别；通过训练好的第一分类子模型对第二样本肺部图像进行分类，得到所述第二样本肺部图像对应的肺段类别，并将所述第二样本肺部图像分割成多个样本小图像，每一所述样本小图像标注有实际肺段位置识别结果；基于每一所述样本小图像训练所述第二分类子模型。5.根据权利要求4所述的方法，其特征在于，所述基于所述第一样本肺部图像训练所述第一分类子模型，包括：将所述第一样本肺部图像输入所述第一分类子模型，得到所述第一样本肺部图像的预
测肺段类别；根据所述第一样本肺部图像的所述实际肺段类别和所述预测肺段类别计算第一损失函数，并根据所述第一损失函数的计算结果，调整所述第一分类子模型的参数；所述基于每一所述样本小图像训练所述第二分类子模型，包括：将每一所述样本小图像分别输入对应肺段类别的第二分类子模型，得到每一所述样本小图像对应的预测肺段位置识别结果；根据每一所述样本小图像对应的实际肺段位置识别结果和所述预测肺段位置识别结果计算第二损失函数，并根据所述第二损失函数的计算结果，调整所述第二分类子模型的参数。6.根据权利要求1-3任一项所述的方法，其特征在于，所述获取标注有病灶位置的目标肺部图像，包括：采集肺部扫描图像；将所述肺部扫描图像输入到预先训练好的病灶识别模型，得到标注有病灶位置的所述目标肺部图像。7.根据权利要求1-3任一项所述的方法，其特征在于，所述第一分类子模型和所述第二分类子模型为残差网络，且所述第一分类子模型的网络层数多于所述第二分类子模型的网络层数。8.一种病灶肺段位置的识别装置，其特征在于，所述装置包括：获取模块，用于获取标注有病灶位置的目标肺部图像；识别模块，用于将所述目标肺部图像输入病灶肺段位置识别模型，得到所述目标肺部图像中病灶对应的肺段位置识别结果，所述肺段位置识别结果用于表征所述病灶在肺部所处的肺段位置；其中，所述病灶肺段位置识别模型包括第一分类子模型和第二分类子模型，所述第一分类子模型能够识别的肺段类别数量与所述第二分类子模型的数量相同，且每一个所述第二分类子模型对应一个肺段类别，所述第一分类子模型用于根据所述目标肺部图像对应的肺段类别对所述目标肺部图像进行分类，并将分类后的所述目标肺部图像输入对应肺段类别的第二分类子模型，所述第二分类子模型用于确定所述目标肺部图像中病灶对应的肺段位置识别结果。9.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。10.一种电子设备，其特征在于，包括：存储器，其上存储有计算机程序；处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-7中任一项所述方法的步骤。

技术总结
本公开涉及一种病灶肺段位置的识别方法、装置、存储介质及电子设备，提高了病灶肺段位置的识别效率以及病灶肺段位置的识别结果可靠性。该方法包括：获取标注有病灶位置的目标肺部图像；将目标肺部图像输入病灶肺段位置识别模型，得到目标肺部图像中病灶对应的肺段位置识别结果，肺段位置识别结果用于表征病灶在肺部所处的肺段位置；其中，病灶肺段位置识别模型包括第一分类子模型和第二分类子模型，第一分类子模型用于根据目标肺部图像对应的肺段类别对目标肺部图像进行分类，并将分类后的目标肺部图像输入对应肺段类别的第二分类子模型，第二分类子模型用于确定目标肺部图像中病灶对应的肺段位置识别结果。病灶对应的肺段位置识别结果。病灶对应的肺段位置识别结果。


技术研发人员：孙小婉 蔡巍 张霞
受保护的技术使用者：沈阳东软智能医疗科技研究院有限公司
技术研发日：2021.12.08
技术公布日：2022/3/8