内窥镜图像成像方法和内窥镜与流程

本发明涉及医疗内镜成像，具体涉及内窥镜图像成像方法和内窥镜。

背景技术：

1、随着内窥镜应用的蓬勃发展，医生对内窥镜高质量的成像需求也随之不断提高，在内窥镜应用场景下，尤其是消化内镜(胃肠镜)的检查、诊断及治疗时，医生惯用符合人眼视觉的白光成像模式进行常规操作，当需要进一步探查病灶时，会切换到窄带光成像模式。

2、窄带光成像是通过一种或几种窄带光谱的光源作为照明，增强黏膜血管、病灶、炎症等部位的可视性的光学成像技术；常见的窄带光成像模式包括窄带成像（narrow bandimaging，nbi）、蓝激光成像（blue laser imaging，bli）、联动成像（linked colorimaging，lci）等；窄带光成像由于只是涵盖了部分可见光谱波段或者改变了白光光谱比例，会导致成像的色彩相比白光成像有着明显的差异。

3、由于人体腔道内不同部位对蓝光及蓝紫光的吸收反射特性不同，因此对不同部位针对性地增加或减少蓝光及蓝紫光的比例，可以有效提升黏膜、血管及组织的区分度。如以复层鳞状上皮为主要构成的口腔黏膜上皮、以柱状上皮细胞为主要构成的胃黏膜表面上皮、经过肝脏作用并由胆管将大量胆红素排至的十二指肠，其对于蓝光及蓝紫光的吸收反射特性均有明显差异，适当的增减的蓝光及蓝紫光比例将显著提高对应部位的对比度和细节信息。

4、然而对于白光照明，其各led光源在给定的白光亮度档位下对应的功率比例是确定的，如果改变蓝光或蓝紫光的比例，将明显影响显色指数、色温、色品坐标等光品质参数，反而会降低摄像系统的颜色还原能力；同时由于每个led光源的档位有很多，多个光源的档位组合会有更多，每种组合的变化都可能导致光源显色性的变化，不可能为了每种组合配套例如白平衡、ccm等的对应的图像参数。

5、因此，如何既保持白光成像的色彩表达，同时保留变化窄带光源比例带来的细节增强，成为亟待解决的问题。

技术实现思路

1、有鉴于此，本发明提供了一种内窥镜图像成像方法、装置、计算机设备及存储介质和内窥镜，以解决如何既保持白光成像的色彩表达，同时保留变化窄带光源比例带来的细节增强的技术问题。

2、根据第一方面，本发明提供了一种内窥镜图像成像方法，所述内窥镜包括照明单元、成像单元和图像处理单元，其中所述照明单元包括所述成像单元采集的rgb图像中蓝色通道对应的至少一个第一波段的至少一个第一窄带光源以及红色通道和绿色通道对应的多个第二波段的多个第二光源，所述第一窄带光源和所述第二光源在对应的标准光功率下，能够合成预设标准光，在所述预设标准光照射下，所述成像单元能够采集标准图像；所述内窥镜图像成像方法适用于所述图像处理单元，所述内窥镜图像成像方法包括：在第一窄带光源的光功率发生变化时，获取当前光功率下所述成像单元采集的目标物体的原始采集图像；其中，所述原始采集图像由原始第一颜色通道、原始第二颜色通道和原始第三颜色通道构成；在所述原始第一颜色通道中分解出在所述标准光功率下对应的所述成像单元的标准第一颜色通道；融合所述标准第一颜色通道、所述原始第二颜色通道和所述原始第三颜色通道，得到修正图像；分别提取所述原始采集图像中的表征亮度和细节的亮度信息和所述修正图像中的色彩信息，并融合所述亮度信息和所述色彩信息，得到内窥镜成像图像。

3、在一种实施例中，所述在所述原始第一颜色通道中分解出在所述标准光功率下对应的所述成像单元的标准第一颜色通道，包括：在所述原始第一颜色通道中分别分解出所述至少一个第一窄带光源在当前光功率下对应的所述成像单元的至少一个原始第一颜色子通道，其中，每一原始第一颜色子通道对应一个第一窄带光源；分别在所述原始第一颜色子通道中分解出第一窄带光源在标准光功率下对应的所述成像单元的标准第一颜色子通道；融合所述标准第一颜色子通道，得到所述标准第一颜色通道。

4、在一种实施例中，所述第一波段包括中心波长为415±10nm的窄带波段和/或中心波长为460±10nm的窄带波段，对应的，所述第一窄带光源包括中心波长为415±10nm的窄带蓝紫光源和/或中心波长为460±10nm的窄带蓝光光源；所述原始第一颜色通道包括原始蓝色通道；所述原始第一颜色子通道包括原始子蓝色通道；所述标准第一颜色子通道包括标准子蓝色通道，所述标准第一颜色通道包括标准蓝色通道。

5、在一种实施例中，所述在所述原始第一颜色通道中分解出所述至少一个第一窄带光源在当前光功率下对应的所述成像单元的至少一个原始子第一颜色通道，包括：利用光谱重建法将为述原始蓝色通道分解为所述窄带蓝紫光源和所述窄带蓝光光源在当前光功率下对应的所述成像单元的原始子蓝色通道；或，将所述原始蓝色通道输入至预训练的原始子蓝色通道分解模型中，得到所述窄带蓝紫光源和所述窄带蓝光光源在当前光功率下对应的所述成像单元的原始子蓝色通道，所述原始子蓝色通道分解模型是以、、构成的数据集，在模型训练的过程中，学习将映射为或时的映射关系得到的；所述通过仅同时使能所述窄带蓝紫光源和所述窄带蓝光光源，采集所述窄带蓝紫光源和所述窄带蓝光光源各功率档位组合下对应的第一预设蓝色通道图像数据得到；其中，表示第i个窄带蓝紫光源功率档位和第j个窄带蓝光光源功率档位对应的所述预设蓝色通道图像数据；所述通过仅单独使能所述窄带蓝紫光源，采集所述窄带蓝紫光源的所有可调功率档位下的第二预设蓝色通道数据得到；所述通过仅单独使能所述窄带蓝光光源，采集所述窄带蓝光光源的所有可调功率档位下的第三预设蓝色通道数据得到。

6、在一种实施例中，所述分别在所述原始第一颜色子通道中分解出第一窄带光源在标准光功率下对应的所述成像单元的标准第一颜色子通道，包括：利用颜色恒常知觉的计算理论原始子蓝色通道中分别分解出所述窄带蓝紫光源和所述窄带蓝光光源在标准光功率下对应的所述成像单元的标准子蓝色通道；或，将各所述原始子蓝色通道输入至标准子蓝色通道分解模型中，得到所述原始子蓝色通道对应的标准子蓝色通道；其中，所述标准子蓝色通道分解模型是以、构成的数据集训练得到的；所述是通过采集各白光亮度档位下，保持其他光源档位不变，仅改变所述原始子蓝色通道对应的所述窄带蓝紫光源或所述窄带蓝光光源，遍历白光亮度档位和所述窄带蓝紫光源或所述窄带蓝光光源的所有可调档位，获得各亮度档位下的蓝色通道数据得到；表示第i个白光亮度档位、所述窄带蓝紫光源或所述窄带蓝光光源的第j档对应的预设标准子蓝色通道图像；所述是通过采集各白光亮度档位对应的光功率未发生变化的标准子蓝色通道数据得到，表示第i个白光亮度档位对应的预设子标准通道图像；在训练所述标准子蓝色通道分解模型的过程中，学习将第i个白光亮度档位下对应的映射为时的映射关系得到。

7、在一种实施例中，所述融合所述标准第一颜色子通道，得到所述标准第一颜色通道，包括：获取各所述标准子蓝色通道在融合时的预设子融合权重；其中，各所述预设子融合权重通过获取在各所述标准子蓝色通道对应的目标功率下的合成蓝色通道图像以及基于各所述标准子蓝色通道对应的目标功率单独使能所述窄带蓝光光源和窄带蓝紫光源时的分解蓝色通道图像，通过将分解蓝色通道图像融合成蓝色通道图像时的融合权重确定；基于各所述标准子蓝色通道对应的预设子融合权重进行融合，得到所述标准蓝色通道。

8、在一种实施例中，所述融合所述标准第一颜色子通道，得到所述标准第一颜色通道，还包括：将各所述标准子蓝色通道输入至标准子蓝色通道融合模型中，得到所述标准蓝色通道；其中，所述标准子蓝色通道融合模型是以、和构成的数据集训练得到的；所述是通过单独使能所述窄带蓝紫光源，遍历所述窄带蓝紫光源所在的白光亮度档位对应的可调档位，采集各档位下对应的蓝色通道图像数据得到的；表示第i个窄带蓝紫光源亮度档位对应的第一标准子蓝色通道图像；所述是通过单独使能所述窄带蓝光光源，遍历所述窄带蓝光光源所在的白光亮度档位对应的可调档位，采集各档位下对应的蓝色通道图像数据得到的；表示第i个窄带蓝光光源亮度档位对应的第二标准子蓝色通道图像；是通过遍历所述窄带蓝紫光源和所述窄带蓝光光源依照预设白光亮度档位确定的所有可调档位，采集预设白光亮度档位下对应的蓝色通道数据得到的；表示第i组窄带蓝紫光源亮度档位和窄带蓝光光源亮度档位对应的合成标准蓝色通道图像；在训练所述标准子蓝色通道融合模型的过程中，学习将第i个窄带蓝紫光源亮度档位对应的第一标准子蓝色通道图像和第i个窄带蓝光光源亮度档位对应的第二标准子蓝色通道图像映射为第i组窄带蓝紫光源亮度档位和窄带蓝光光源亮度档位对应的所述合成标准蓝色通道图像时的映射关系得到的。

9、在一种实施例中，所述分别提取所述原始采集图像中的表征亮度和细节的亮度信息和所述修正图像中的色彩信息，并融合所述亮度信息和所述色彩信息，得到内窥镜成像图像，包括：将所述原始采集图像和所述修正图像映射至独立色彩空间，分别得到所述原始采集图像对应的第一映射图像和所述修正图像对应的第二映射图像；其中，所述独立色彩空间包括yuv空间、lab空间、hsv空间至少之一；提取所述第一映射图像中的包含亮度信息的第一通道；提取所述第二映射图像中的包含色彩信息的第二通道和饱和度信息的第三通道；融合所述第一通道、所述第二通道和所述第三通道，得到所述内窥镜成像图像。

10、在一种实施例中，在获取当前光功率下所述成像单元采集的目标物体的原始采集图像之前，还包括：获取所述目标物体的初始成像图像和所述目标物体在预设标准光的所有亮度档位下对应的光功率系数表；其中，所述初始成像图像由初始蓝色通道、初始红色通道和初始绿色通道构成；所述光功率系数表用于表示目标物体在预设标准光的所有亮度档位下成像时构成所述初始蓝色通道、初始红色通道和初始绿色通道的各窄带光源对应的功率系数和功率值；基于所述初始红色通道和所述初始绿色通道确定红光类光源对应的红光功率系数、红光功率值和绿光类光源对应的绿光功率系数、绿光功率值；在所述光功率系数表中，基于所述红光功率系数、所述红光功率值、所述绿光功率系数和所述绿光功率值，查找当前白光档位对应的蓝光光源的标准蓝光功率值；提取所述初始成像图像中的实际蓝光功率值；在所述实际蓝光功率值与所述标准蓝光功率值不匹配时，确认所述当前光功率发生变化，将所述初始成像图像作为所述原始采集图像。

11、根据第二方面，本技术实施例提供了一种内窥镜，包括照明单元，成像单元和图像处理单元，其中所述照明单元包括所述成像单元采集的rgb图像中蓝色通道对应的至少一个第一波段的至少一个第一窄带光源以及红色通道和绿色通道对应的多个第二波段的多个第二光源，所述第一窄带光源和所述第二光源在对应的标准光功率下，能够合成预设标准光，在所述预设标准光照射下，所述成像单元能够采集标准图像；所述图像处理单元包括存储器，用于存储计算机程序；处理器，用于在执行存储于所述存储器上的计算机程序时可实现如上述第一方面任一项所述的内窥镜图像成像方法的各步骤。

12、本发明提供的内窥镜图像成像方法，在第一窄带光源的光功率发生变化时，获取成像单元采集的目标物体的原始采集图像；在所述原始第一颜色通道中分解出在所述标准光功率下对应的所述成像单元的标准第一颜色通道；融合所述标准第一颜色通道、所述原始第二颜色通道和所述原始第三颜色通道，得到修正图像；分别提取所述原始采集图像中的表征亮度和细节的亮度信息和所述修正图像中的色彩信息，并融合所述亮度信息和所述色彩信息，得到内窥镜成像图像。本发明利用人体腔道内不同的部位对第一窄带光源的反射特性不同，对不同部位针对性地增加或减少第一窄带光源的比例，进而导致原始第一颜色通道的光功率发生变化时，能够保留第一窄带光源的光功率改变带来的增强细节信息的基础上，对成像单元采集的目标物体的原始采集图像进行适应预设标准光的色调的调节，以使得调节后的内窥镜成像图像即保留第一窄带光源比例在变化时带来的细节增强，同时保持预设标准光成像的色彩表达。

技术特征：

1.一种内窥镜图像成像方法，其特征在于，所述内窥镜包括照明单元、成像单元和图像处理单元，其中所述照明单元包括所述成像单元采集的rgb图像中蓝色通道对应的至少一个第一波段的至少一个第一窄带光源以及红色通道和绿色通道对应的多个第二波段的多个第二光源，所述第一窄带光源和所述第二光源在对应的标准光功率下，能够合成预设标准光，在所述预设标准光照射下，所述成像单元能够采集标准图像；所述内窥镜图像成像方法适用于所述图像处理单元，所述内窥镜图像成像方法包括：

2.如权利要求1所述的内窥镜图像成像方法，其特征在于，所述在所述原始第一颜色通道中分解出在所述标准光功率下对应的所述成像单元的标准第一颜色通道，包括：

3.如权利要求2所述的内窥镜图像成像方法，其特征在于，所述第一波段包括中心波长为415±10nm的窄带波段和/或中心波长为460±10nm的窄带波段，对应的，所述第一窄带光源包括中心波长为415±10nm的窄带蓝紫光源和/或中心波长为460±10nm的窄带蓝光光源；

4.如权利要求3所述的内窥镜图像成像方法，其特征在于，所述在所述原始第一颜色通道中分解出所述至少一个第一窄带光源在当前光功率下对应的所述成像单元的至少一个原始子第一颜色通道，包括：

5.如权利要求3所述的内窥镜图像成像方法，其特征在于，所述分别在所述原始第一颜色子通道中分解出第一窄带光源在标准光功率下对应的所述成像单元的标准第一颜色子通道，包括：

6.如权利要求3所述的内窥镜图像成像方法，其特征在于，所述融合所述标准第一颜色子通道，得到所述标准第一颜色通道，包括：

7.如权利要求3所述的内窥镜图像成像方法，其特征在于，所述融合所述标准第一颜色子通道，得到所述标准第一颜色通道，还包括：

8.如权利要求1所述的内窥镜图像成像方法，其特征在于，所述分别提取所述原始采集图像中的表征亮度和细节的亮度信息和所述修正图像中的色彩信息，并融合所述亮度信息和所述色彩信息，得到内窥镜成像图像，包括：

9.如权利要求1所述的内窥镜图像成像方法，其特征在于，在获取当前光功率下所述成像单元采集的目标物体的原始采集图像之前，还包括：

10.一种内窥镜，其特征在于，包括照明单元，成像单元和图像处理单元，其中所述照明单元包括所述成像单元采集的rgb图像中蓝色通道对应的至少一个第一波段的至少一个第一窄带光源以及红色通道和绿色通道对应的多个第二波段的多个第二光源，所述第一窄带光源和所述第二光源在对应的标准光功率下，能够合成预设标准光，在所述预设标准光照射下，所述成像单元能够采集标准图像；

技术总结
本发明涉及医疗内镜成像技术领域，公开了内窥镜图像成像方法和内窥镜，其中成像方法包括：第一窄带光源的光功率发生变化时，获取成像单元采集的目标物体的原始采集图像；在所述原始第一颜色通道中分解出在所述标准光功率下对应的所述成像单元的标准第一颜色通道；融合所述标准第一颜色通道、所述原始第二颜色通道和所述原始第三颜色通道，得到修正图像；分别提取所述原始采集图像中的表征亮度和细节的亮度信息和所述修正图像中的色彩信息，并融合所述亮度信息和所述色彩信息，得到内窥镜成像图像。使得调节后的内窥镜成像图像即保留第一窄带光源比例在变化时带来的细节增强，同时保持预设标准光成像的色彩表达。

技术研发人员：刘恩毅,陈俊,王卫东,李卫平
受保护的技术使用者：浙江优亿医疗器械股份有限公司
技术研发日：
技术公布日：2024/12/5