超声引导下的智能穿刺路径规划方法及其系统

本发明涉及智能穿刺路径规划方法，特别是涉及超声引导下的智能穿刺路径规划方法及其系统。

背景技术：

1、近年来，随着微创手术技术的迅速发展，超声引导下的穿刺手术在临床实践中扮演着越来越重要的角色。这种技术为患者带来了更小的创伤、更快的恢复时间和更低的并发症风险。然而，尽管超声引导技术已经取得了显著进展，在复杂解剖结构中进行精确的穿刺操作仍然面临着诸多挑战。

2、传统的超声引导穿刺方法主要依赖于医生的经验和技能。如kaiyuwu等人在《review of research on path planning and control methods of flexiblesteerable needle puncture robot》(computer assisted surgery，2022，27(1):91-112)中指出，常规的刚性直针在穿刺过程中难以绕过障碍物，也无法适应复杂的解剖结构。这种方法在面对深部器官或需要避开重要血管和神经时，往往难以实现精确定位和安全操作。

3、为了解决这一问题，研究者们提出了各种智能路径规划方法。li等人在《anadaptive control method and learning strategy for ultrasound-guided puncturerobot》(electronics，2024，13:580)中介绍了基于自适应控制和强化学习的超声引导穿刺机器人。这种方法虽然在一定程度上提高了穿刺的精确性，但仍然存在一些局限性。首先，该方法主要关注机器人的控制策略，而对于复杂的解剖结构识别和风险评估关注不足。其次，该方法在实时性方面还有待提高，难以满足动态手术环境的需求。

4、此外，现有的一些基于深度学习的方法虽然在图像识别方面取得了进展，但往往忽视了手术过程中的动态风险评估。这些方法通常采用静态的预训练模型，难以适应手术中组织形变和患者个体差异带来的挑战。

5、综上所述，现有技术在以下几个方面仍存在明显不足：

6、1.缺乏对复杂解剖结构的精确识别和分割能力；

7、2.路径规划算法难以在安全性、效率和可操作性之间取得良好平衡；

8、3.缺乏实时、动态的风险评估机制；

9、4.系统的实时性和鲁棒性难以满足复杂手术环境的需求。

10、针对这些问题，本发明提出了超声引导下的智能穿刺路径规划方法及其系统。

技术实现思路

1、本发明的目的是提供自超声引导下的智能穿刺路径规划方法及其系统，以解决上述问题。

2、本发明提供超声引导下的智能穿刺路径规划方法，包括以下步骤：获得实时超声图像序列；对所述实时超声图像序列进行预处理和增强，得到增强后的超声图像；基于所述增强后的超声图像，进行多尺度深度学习图像分割，得到分割后的解剖结构标签图；基于所述分割后的解剖结构标签图，进行目标定位与特征提取，得到目标位置坐标和特征描述符；基于所述分割后的解剖结构标签图和所述目标位置坐标，采用深度强化学习进行路径规划，得到最优穿刺路径；基于所述最优穿刺路径和所述增强后的超声图像，进行动态风险评估，得到风险评估结果；基于所述最优穿刺路径、所述风险评估结果和所述增强后的超声图像，生成增强现实指导界面。

3、具体地，所述对实时超声图像序列进行预处理和增强的步骤包括：根据所述实时超声图像序列中每个像素点的局部区域，计算局部标准差和全局标准差；基于所述局部标准差和所述全局标准差的比值，确定自适应滤波窗口大小；利用所述自适应滤波窗口大小，对所述实时超声图像序列进行中值滤波，得到去噪后的图像序列；对所述去噪后的图像序列中每个图像，计算局部直方图；根据所述局部直方图的最大值和最小值，确定自适应剪裁阈值；利用所述自适应剪裁阈值，对所述去噪后的图像序列进行对比度受限自适应直方图均衡化，得到均衡化后的图像序列；计算所述均衡化后的图像序列中每个图像的局部均值和全局均值；基于所述局部均值和所述全局均值的差异，确定自适应gamma校正参数；利用所述自适应gamma校正参数，对所述均衡化后的图像序列进行gamma校正，得到所述增强后的超声图像。

4、具体地，所述基于增强后的超声图像进行多尺度深度学习图像分割的步骤包括：构建多尺度u-net++网络模型，包括编码器和解码器；在所述编码器中，通过连续的卷积层和池化层，提取所述增强后的超声图像的多尺度特征；在所述解码器中，通过转置卷积层逐步恢复特征图的空间分辨率；在所述编码器和所述解码器之间添加密集跳跃连接，实现不同尺度特征的融合；计算所述融合后特征图的空间注意力图，该空间注意力图反映了图像不同区域的重要性；计算所述融合后特征图的通道注意力向量，该通道注意力向量反映了不同特征通道的重要性；将所述空间注意力图和所述通道注意力向量与所述融合后特征图相乘，得到加权特征图；基于所述加权特征图，通过1x1卷积层和softmax激活函数，生成多类别分割概率图；计算dice损失、边界损失和focal损失，并将这三种损失加权组合，得到总损失函数；通过反向传播和梯度下降，优化所述网络模型的参数，最终得到所述分割后的解剖结构标签图。

5、具体地，所述基于分割后的解剖结构标签图进行目标定位与特征提取的步骤包括：获取当前帧和前k帧的所述分割后的解剖结构标签图；对所述k+1帧标签图进行时序一致性分析，筛选出稳定的连通区域；计算所述稳定连通区域的面积、周长和形状复杂度，根据预设阈值筛选出候选目标区域；对所述候选目标区域内的像素，根据其在所述增强后的超声图像中的灰度值计算权重；利用所述权重，计算所述候选目标区域的加权质心，得到所述目标位置坐标；以所述目标位置坐标为中心，提取固定大小的局部区域；对所述局部区域计算形状特征，包括圆度、离心率和方向性；对所述局部区域计算纹理特征，包括灰度共生矩阵特征和局部二值模式特征；利用预训练的卷积神经网络，提取所述局部区域的深度特征，作为上下文特征；将所述形状特征、所述纹理特征和所述上下文特征拼接，形成所述特征描述符。

6、具体地，所述基于分割后的解剖结构标签图和目标位置坐标采用深度强化学习进行路径规划的步骤包括：根据所述分割后的解剖结构标签图，计算每个位置到最近障碍物的距离，得到障碍物距离图；基于所述分割后的解剖结构标签图的置信度，生成不确定性图；利用连续帧之间的配准结果，估算组织形变场，得到形变程度图；根据血管分割结果，计算局部血管密度图；将所述障碍物距离图、所述不确定性图、所述形变程度图和所述血管密度图加权组合，得到综合风险图；基于所述综合风险图和所述目标位置坐标，构建强化学习环境；在所述强化学习环境中，采用改进的deep q-network算法进行全局路径规划；在所述全局路径的基础上，使用新设计的advantage actor-critic算法进行局部路径优化；根据路径的安全性、效率和准确性，设计自适应奖励函数；引入多个智能体，每个智能体负责不同的子任务，如安全性、效率和准确性；采用知识蒸馏机制，使各智能体之间进行知识共享和协同学习；基于所有智能体的策略，构建集成教师策略；利用所述集成教师策略指导各智能体的学习过程；结合学习到的q值，采用改进的rapidly-exploring random trees算法进行路径采样和优化；迭代优化直至收敛或达到预设迭代次数，得到所述最优穿刺路径。

7、具体地，所述动态风险地图的构建步骤包括：基于所述障碍物距离图、所述不确定性图、所述形变程度图和所述血管密度图，初始化权重系数；计算当前风险地图与目标风险分布之间的差异；根据所述差异，利用梯度下降法更新所述权重系数；使用更新后的权重系数，重新计算综合风险值；重复上述步骤，直至风险地图收敛或达到预设迭代次数；输出最终的动态风险地图。

8、具体地，所述基于最优穿刺路径和增强后的超声图像进行动态风险评估的步骤包括：沿所述最优穿刺路径，计算路径曲率；基于所述路径曲率和所述动态风险地图，确定采样间隔；根据所述采样间隔，提取路径关键点；对每个所述路径关键点，提取局部区域的障碍物距离、不确定性、组织形变和血管密度信息；利用模糊逻辑规则，将所提取的信息转换为模糊集合；基于证据理论，计算每个风险因素的基本概率分配；通过dempster组合规则，融合多个风险因素的证据，得到局部风险评估结果；构建递归神经网络，将所述局部风险评估结果序列作为输入；提取所述最优穿刺路径的全局特征；将所述全局特征与递归神经网络的隐藏状态拼接；通过全连接层和sigmoid激活函数，输出整体路径风险评估结果。

9、具体地，所述基于最优穿刺路径、风险评估结果和增强后的超声图像生成增强现实指导界面的步骤包括：计算所述增强后的超声图像的显著性图和对比度图；基于所述显著性图和所述对比度图，生成自适应融合权重图；利用所述自适应融合权重图，将所述最优穿刺路径叠加到所述增强后的超声图像上；计算所述动态风险地图的全局均值和标准差；根据所述全局均值和所述标准差，确定自适应风险阈值；基于所述自适应风险阈值，在叠加后的图像上标注高风险区域；构建卡尔曼滤波器，初始化针尖状态估计；在所述增强后的超声图像中，提取针尖特征模板；使用归一化互相关方法，在预测区域内进行模板匹配；结合卡尔曼滤波预测和模板匹配结果，更新针尖位置估计；计算针尖到目标的距离、当前局部风险值和针尖运动速度；根据上述计算结果，动态调整视觉反馈的颜色和透明度；同时，根据上述计算结果，调整音频反馈的频率和音量；将所有视觉元素合成为单一图层，生成最终的增强现实指导界面。

10、具体地，在执行所述方法之前，还包括以下数据准备步骤：获取超声设备的型号和参数信息，确保其帧率不低于30fps，分辨率不低于1024x768；采集患者的相关医疗信息，包括年龄、性别、病史和相关检查结果；获取手术计划，包括穿刺目标、入点选择和避让结构；加载预训练的深度学习模型参数，包括图像分割模型和特征提取模型；初始化强化学习智能体的策略网络和值网络参数；校准超声探头的空间位置和方向；进行系统自检，确保所有模块正常工作。

11、实现所述方法的超声引导下的智能穿刺路径规划系统，包括：图像采集模块，用于获得实时超声图像序列；图像预处理模块，用于对所述实时超声图像序列进行预处理和增强；图像分割模块，用于对增强后的超声图像进行多尺度深度学习图像分割；目标定位模块，用于基于分割结果进行目标定位与特征提取；路径规划模块，用于采用深度强化学习进行路径规划；风险评估模块，用于进行动态风险评估；可视化指导模块，用于生成增强现实指导界面；其中，所述图像采集模块包括超声探头和图像采集卡；所述图像预处理模块、图像分割模块、目标定位模块、路径规划模块和风险评估模块均由具有gpu加速功能的计算机实现；所述可视化指导模块包括显示器和立体声音响系统。

12、该方法首先获得实时超声图像序列，对其进行预处理和增强，然后利用多尺度深度学习进行图像分割，精确定位目标和关键结构。接着，通过深度强化学习算法进行路径规划，并结合动态风险评估机制，实时调整穿刺策略。最后，系统生成直观的增强现实指导界面，为医生提供实时、精确的操作指导。

13、本发明的有益效果主要体现在以下几个方面：

14、1.通过多尺度深度学习分割算法，显著提高了复杂解剖结构的识别精度，为精确路径规划奠定了基础；

15、2.采用深度强化学习进行路径规划，能够在多个目标之间找到最优平衡，提高了规划的准确性和安全性；

16、3.引入动态风险评估机制，实现了对手术风险的实时评估和调整，大大提高了手术的安全性；

17、4.通过优化的硬件配置和并行计算技术，实现了复杂算法的实时运行，满足了动态手术环境的需求；

18、5.集成了增强现实技术，为医生提供了直观、实时的操作指导，有效降低了操作难度和风险。

19、总的来说，本发明为超声引导下的精准穿刺手术提供了全面、高效的解决方案，有望显著提高微创手术的成功率和安全性，为患者带来更好的治疗效果。

技术特征：

1.超声引导下的智能穿刺路径规划方法，其特征在于，包括以下步骤：获得实时超声图像序列；对所述实时超声图像序列进行预处理和增强，得到增强后的超声图像；基于所述增强后的超声图像，进行多尺度深度学习图像分割，得到分割后的解剖结构标签图；基于所述分割后的解剖结构标签图，进行目标定位与特征提取，得到目标位置坐标和特征描述符；基于所述分割后的解剖结构标签图和所述目标位置坐标，采用深度强化学习进行路径规划，得到最优穿刺路径；基于所述最优穿刺路径和所述增强后的超声图像，进行动态风险评估，得到风险评估结果；基于所述最优穿刺路径、所述风险评估结果和所述增强后的超声图像，生成增强现实指导界面。

2.根据权利要求1所述的方法，其特征在于，所述对实时超声图像序列进行预处理和增强的步骤包括：根据所述实时超声图像序列中每个像素点的局部区域，计算局部标准差和全局标准差；基于所述局部标准差和所述全局标准差的比值，确定自适应滤波窗口大小；利用所述自适应滤波窗口大小，对所述实时超声图像序列进行中值滤波，得到去噪后的图像序列；对所述去噪后的图像序列中每个图像，计算局部直方图；根据所述局部直方图的最大值和最小值，确定自适应剪裁阈值；利用所述自适应剪裁阈值，对所述去噪后的图像序列进行对比度受限自适应直方图均衡化，得到均衡化后的图像序列；计算所述均衡化后的图像序列中每个图像的局部均值和全局均值；基于所述局部均值和所述全局均值的差异，确定自适应gamma校正参数；利用所述自适应gamma校正参数，对所述均衡化后的图像序列进行gamma校正，得到所述增强后的超声图像。

3.根据权利要求1所述的方法，其特征在于，所述基于增强后的超声图像进行多尺度深度学习图像分割的步骤包括：构建多尺度u-net++网络模型，包括编码器和解码器；在所述编码器中，通过连续的卷积层和池化层，提取所述增强后的超声图像的多尺度特征；在所述解码器中，通过转置卷积层逐步恢复特征图的空间分辨率；在所述编码器和所述解码器之间添加密集跳跃连接，实现不同尺度特征的融合；计算所述融合后特征图的空间注意力图，该空间注意力图反映了图像不同区域的重要性；计算所述融合后特征图的通道注意力向量，该通道注意力向量反映了不同特征通道的重要性；将所述空间注意力图和所述通道注意力向量与所述融合后特征图相乘，得到加权特征图；基于所述加权特征图，通过1x1卷积层和softmax激活函数，生成多类别分割概率图；计算dice损失、边界损失和focal损失，并将这三种损失加权组合，得到总损失函数；通过反向传播和梯度下降，优化所述网络模型的参数，最终得到所述分割后的解剖结构标签图。

4.根据权利要求1所述的方法，其特征在于，所述基于分割后的解剖结构标签图进行目标定位与特征提取的步骤包括：获取当前帧和前k帧的所述分割后的解剖结构标签图；对所述k+1帧标签图进行时序一致性分析，筛选出稳定的连通区域；计算所述稳定连通区域的面积、周长和形状复杂度，根据预设阈值筛选出候选目标区域；

5.根据权利要求1所述的方法，其特征在于，所述基于分割后的解剖结构标签图和目标位置坐标采用深度强化学习进行路径规划的步骤包括：根据所述分割后的解剖结构标签图，计算每个位置到最近障碍物的距离，得到障碍物距离图；基于所述分割后的解剖结构标签图的置信度，生成不确定性图；利用连续帧之间的配准结果，估算组织形变场，得到形变程度图；根据血管分割结果，计算局部血管密度图；将所述障碍物距离图、所述不确定性图、所述形变程度图和所述血管密度图加权组合，得到综合风险图；基于所述综合风险图和所述目标位置坐标，构建强化学习环境；在所述强化学习环境中，采用改进的deep q-network算法进行全局路径规划；在所述全局路径的基础上，使用新设计的advantageactor-critic算法进行局部路径优化；根据路径的安全性、效率和准确性，设计自适应奖励函数；引入多个智能体，每个智能体负责不同的子任务，如安全性、效率和准确性；采用知识蒸馏机制，使各智能体之间进行知识共享和协同学习；基于所有智能体的策略，构建集成教师策略；利用所述集成教师策略指导各智能体的学习过程；结合学习到的q值，采用改进的rapidly-exploring random trees算法进行路径采样和优化；迭代优化直至收敛或达到预设迭代次数，得到所述最优穿刺路径。

6.根据权利要求5所述的方法，其特征在于，所述动态风险地图的构建步骤包括：基于所述障碍物距离图、所述不确定性图、所述形变程度图和所述血管密度图，初始化权重系数；计算当前风险地图与目标风险分布之间的差异；根据所述差异，利用梯度下降法更新所述权重系数；使用更新后的权重系数，重新计算综合风险值；重复上述步骤，直至风险地图收敛或达到预设迭代次数；输出最终的动态风险地图。

7.根据权利要求1所述的方法，其特征在于，所述基于最优穿刺路径和增强后的超声图像进行动态风险评估的步骤包括：沿所述最优穿刺路径，计算路径曲率；基于所述路径曲率和所述动态风险地图，确定采样间隔；根据所述采样间隔，提取路径关键点；对每个所述路径关键点，提取局部区域的障碍物距离、不确定性、组织形变和血管密度信息；利用模糊逻辑规则，将所提取的信息转换为模糊集合；基于证据理论，计算每个风险因素的基本概率分配；通过dempster组合规则，融合多个风险因素的证据，得到局部风险评估结果；构建递归神经网络，将所述局部风险评估结果序列作为输入；提取所述最优穿刺路径的全局特征；将所述全局特征与递归神经网络的隐藏状态拼接；通过全连接层和sigmoid激活函数，输出整体路径风险评估结果。

8.根据权利要求1所述的方法，其特征在于，所述基于最优穿刺路径、风险评估结果和增强后的超声图像生成增强现实指导界面的步骤包括：计算所述增强后的超声图像的显著性图和对比度图；基于所述显著性图和所述对比度图，生成自适应融合权重图；利用所述自适应融合权重图，将所述最优穿刺路径叠加到所述增强后的超声图像上；计算所述动态风险地图的全局均值和标准差；根据所述全局均值和所述标准差，确定自适应风险阈值；基于所述自适应风险阈值，在叠加后的图像上标注高风险区域；构建卡尔曼滤波器，初始化针尖状态估计；在所述增强后的超声图像中，提取针尖特征模板；使用归一化互相关方法，在预测区域内进行模板匹配；结合卡尔曼滤波预测和模板匹配结果，更新针尖位置估计；计算针尖到目标的距离、当前局部风险值和针尖运动速度；根据上述计算结果，动态调整视觉反馈的颜色和透明度；同时，根据上述计算结果，调整音频反馈的频率和音量；将所有视觉元素合成为单一图层，生成最终的增强现实指导界面。

9.根据权利要求1-8任一项所述的方法，其特征在于，在执行所述方法之前，还包括以下数据准备步骤：获取超声设备的型号和参数信息，确保其帧率不低于30fps，分辨率不低于1024x768；采集患者的相关医疗信息，包括年龄、性别、病史和相关检查结果；获取手术计划，包括穿刺目标、入点选择和避让结构；加载预训练的深度学习模型参数，包括图像分割模型和特征提取模型；初始化强化学习智能体的策略网络和值网络参数；校准超声探头的空间位置和方向；进行系统自检，确保所有模块正常工作。

10.实现权利要求1-9任一项所述方法的超声引导下的智能穿刺路径规划系统，其特征在于，包括：图像采集模块，用于获得实时超声图像序列；

技术总结
本发明涉及智能穿刺路径规划方法技术领域，特别是涉及超声引导下的智能穿刺路径规划方法及其系统，方法包括以下步骤：获得实时超声图像序列；对实时超声图像序列进行预处理和增强；基于增强后的超声图像，进行多尺度深度学习图像分割，得到分割后的解剖结构标签图；基于分割后的解剖结构标签图，进行目标定位与特征提取；基于分割后的解剖结构标签图和目标位置坐标，采用深度强化学习进行路径规划，得到最优穿刺路径；基于最优穿刺路径和增强后的超声图像，进行动态风险评估，得到风险评估结果；基于最优穿刺路径、风险评估结果和增强后的超声图像，生成增强现实指导界面，能够在多个目标之间找到最优平衡，提高了规划的准确性和安全性。

技术研发人员：张赫展,徐卉,孟祥卉,王嘉翔
受保护的技术使用者：吉林大学第一医院
技术研发日：
技术公布日：2024/12/5