基于深度模型的中医舌象特征提取方法及系统与流程

本发明涉及中医舌象，具体涉及基于深度模型的中医舌象特征提取方法及系统。

背景技术：

1、中医舌诊是中医诊疗中的重要组成部分，通过观察舌头的形态、颜色、苔质等特征来判断人体的健康状况。随着现代医学技术的发展，舌诊得到了进一步的科学验证，并结合了人工智能等技术进行智能化发展。尤其是在过去的几十年中，研究人员提出了舌诊与ai结合的论点，并在舌诊客观化、舌诊仪的研发及智能化诊疗方法上做了大量研究工作。

2、传统中医舌诊主要依赖于医生的肉眼观察，诊断结果容易受到医生经验、主观判断以及外部环境（如光照、温度等）的影响。现有的舌体图像分割方法如阈值法和基于能量泛函的分割方法，容易受到拍摄环境、光照条件和舌头其他部分的干扰，导致分割结果不够精确，进而影响后续特征提取的准确性。此外，现有的舌象特征提取方法多基于浅层图像处理技术，未能充分利用深度学习模型的优势，导致在复杂特征（如舌苔厚薄、舌裂纹分布等）的提取与识别时，存在识别率低、特征提取不全面等问题。因此，如何提高舌体图像分割的精度和特征提取的准确性，特别是在处理细微且关键的病理特征时，是亟待解决的技术难题。

技术实现思路

1、本发明的目的是提供一种基于深度模型的中医舌象特征提取方法及系统，以解决背景技术中不足。

2、为了实现上述目的，本发明提供如下技术方案：基于深度模型的中医舌象特征提取方法，包括以下步骤：

3、s1：利用灰度世界法对舌象图像进行颜色校正，以消除外部环境因素造成的色偏，并获得标准化舌象图像；

4、s2：使用faster r-cnn模型对标准化后的舌象图像进行舌体定位，所述faster r-cnn模型通过区域建议网络生成多个候选框，并对各个候选框进行分类和回归，以确定舌体区域；

5、s3：根据定位结果利用unet模型对舌体区域进行语义分割，获得舌体掩膜图像，所述unet模型通过编码器和解码器的对称结构及跳跃连接；

6、s4：在获得舌体掩膜图像后，利用深度卷积神经网络对舌体图像中的舌象特征进行提取，所述深度卷积神经网络模型通过多层卷积操作，自动提取舌质的颜色和光泽度特征、舌苔的颜色、厚薄度和分布特征，以及舌裂纹的长度、宽度、深度和分布模式；

7、s5：将提取的舌象特征输入至支持向量机分类器进行分类识别，所述深度卷积神经网络模型通过构建多类别分类器，对舌质、舌苔、舌裂纹的多维特征进行分类和识别；

8、s6：在舌象特征分类和识别的过程中，根据分割边界与真实边界的吻合程度以及分割和特征提取算法的资源消耗情况，对舌体图像的分类和识别效果进行评估，并根据评估结果确定是否对模型参数进行调整。

9、优选的，s2中，使用faster r-cnn模型对标准化后的舌象图像进行舌体定位，具体为：

10、使用卷积神经网络作为faster r-cnn的特征提取网络，对输入的舌象图像进行卷积操作，提取高层次的特征图，将特征图输入到区域建议网络中，通过滑动窗口在特征图上生成多个锚框，每个锚框对应一个潜在的舌体位置；对每个锚框进行二分类和回归调整，输出一组候选框，并通过回归调整使候选框更接近舌体的真实边界；对生成的候选框进行非极大值抑制，移除重叠度高的候选框，保留重叠度低的候选框；将筛选后的候选框与原始特征图一起输入到faster r-cnn的分类与边界框回归网络，对每个候选框进一步分类，确定其是否属于舌体类别，并对候选框的位置进行精确回归调整；分类网络输出每个候选框属于不同类别的概率值，并选出概率最高的类别作为最终分类结果，回归网络输出每个候选框的边界框偏移值，调整候选框的位置，使其更加贴合舌体的实际位置；确定舌体的最终位置，选择属于舌体类别且经过回归调整的候选框作为舌体的边界框，将其作为舌体的精确位置，并将该边界框坐标用于后续的舌象特征提取和分析。

11、优选的，s3中，根据faster r-cnn模型定位出的舌体区域图像，利用unet模型对该区域进行语义分割；所述unet模型包括编码器和解码器的对称结构，并通过跳跃连接将编码器中的低层特征与解码器中的高层特征进行融合；编码器部分通过一系列卷积层对舌体图像进行特征提取，每个卷积层后接一个激活函数，在卷积操作后，通过2x2的最大池化操作进行下采样，逐步减少特征图的空间维度，同时增加特征图的深度，以捕捉更大的上下文信息；解码器部分通过上采样操作逐步恢复空间分辨率，并通过将解码器特征图与对应的跳跃连接的特征图进行拼接，实现低层细节信息与高层语义信息的融合；在每次拼接操作后，通过卷积层对拼接后的特征图进行进一步处理，以细化分割结果；解码器的最后一层通过1x1的卷积层，将特征图映射到目标分类数目，输出每个像素点的类别概率图；对概率图进行阈值化处理，生成二值化的舌体掩膜图像。

12、优选的，s4中，在获得舌体掩膜图像后，利用深度卷积神经网络对舌体图像中的舌象特征进行提取，具体为：

13、将从unet模型生成的舌体掩膜图像输入到深度卷积神经网络中，所述掩膜图像仅包含舌体区域，通过深度卷积神经网络对舌体图像进行多层卷积操作，使用卷积核滑动计算局部区域的加权和，生成特征图，其中初始卷积层用于提取低级特征，在每个卷积操作后，应用激活函数，将卷积结果中的负值置为零，引入模型的非线性能力；进行池化操作，通过取局部区域的最大值来缩小特征图的尺寸，减少计算量并引入不变性；逐层提取舌象图像的高级特征，包括舌质的颜色与光泽度、舌苔的颜色、厚薄度与分布特征，以及舌裂纹的长度、宽度、深度和分布模式；将卷积层的输出展平为一维向量，作为全连接层的输入，通过全连接层将展平的特征向量转换为具体的特征类别或属性；通过激活函数将全连接层的输出映射到具体的特征类别；输出特征向量，具体包括舌质的颜色和光泽度特征、舌苔的颜色、厚薄度及其分布模式，以及舌裂纹的长度、宽度、深度及其分布模式。

14、优选的，s5中，将提取的舌象特征输入至支持向量机分类器进行分类识别，具体为：

15、将从深度卷积神经网络提取的舌象特征组织成一维特征向量，对输入的特征向量进行标准化处理，使其均值为0，方差为1，根据舌象特征的复杂性，选择核函数，输入训练数据集，包括标准化的特征向量和对应的类别标签，训练支持向量机模型以确定最优的超平面，区分不同的舌象特征类别，优化目标为最大化分类间隔并最小化分类错误；将标准化后的测试特征向量输入训练好的支持向量机分类器，根据输入特征向量计算决策函数的值，确定舌象特征所属类别；对于多维舌象特征，支持向量机分类器分别对每个特征维度进行分类识别，并综合分类结果，形成最终的舌象诊断结果；通过交叉验证或独立测试集评估支持向量机分类器的性能，并根据验证结果调整支持向量机的参数。

16、优选的，s6中，在舌象特征分类和识别的过程中，根据分割边界与真实边界的吻合程度以及分割和特征提取算法的资源消耗情况，对舌体图像的分类和识别效果进行评估，具体为：

17、根据分割边界与真实边界的吻合程度生成边缘过度检测系数，则边缘过度检测系数的获取方法为：

18、从分割模型中获取分割结果的边界区域记为s，获取手动标注的真实舌体边界记为t，计算分割区域s与真实边界t的差集，得到过度检测的多余区域e，表达式为：；式中， s∩t表示分割区域与真实边界的重叠部分，e表示仅存在于分割区域而不存在于真实边界的区域；计算过度检测的多余区域e的面积记为；计算真实舌体边界t的面积记为；边缘过度检测系数odc表示为过度检测区域面积与真实边界面积的比值。

19、优选的，根据分割和特征提取算法的资源消耗情况生成每像素计算时间偏差指数，则每像素计算时间偏差指数的获取方法为：

20、对多个图像或批次进行分割和特征提取，记录每个图像或批次的总计算时间和图像的像素总数，计算每个图像或批次的每像素计算时间，表达式为：；为第i个图像或批次的总计算时间，为第i个图像或批次的像素总数，计算所有图像或批次的每像素计算时间tpp的平均值，计算表达式为：；n是总的图像或批次的数量，计算每像素计算时间的偏差值，表达式为：；通过计算标准差与均值的比率，得出每像素计算时间偏差指数tppd。

21、优选的，将边缘过度检测系数和每像素计算时间偏差指数转换为第一特征向量，将第一特征向量作为机器学习模型的输入，机器学习模型以每组第一特征向量预测舌体图像的分类和识别效果分析值标签为预测目标，以最小化对所有舌体图像的分类和识别效果分析值标签的预测误差之和作为训练目标，对机器学习模型进行训练，直至预测误差之和达到收敛时停止模型训练，根据模型输出结果确定舌体图像的分类和识别效果分析值，其中，机器学习模型为多项式回归模型。

22、优选的，将获取到的舌体图像的分类和识别效果分析值与预先设置的分类和识别效果分析值的参考阈值进行比较，若舌体图像的分类和识别效果分析值大于等于预先设置的分类和识别效果分析值的参考阈值，则说明舌体图像的分类和识别效果好，此时生成图像识别分类正常信号，无需进行参数调整；若舌体图像的分类和识别效果分析值小于预先设置的分类和识别效果分析值的参考阈值，则说明舌体图像的分类和识别效果差，此时生成图像识别分类异常信号，需要进行参数调整。

23、本发明还提供了基于深度模型的中医舌象特征提取系统，包括颜色校正模块、舌体定位模块、语义分割模块、特征提取模块，分类识别模块以及动态调整模块；

24、颜色校正模块：利用灰度世界法对舌象图像进行颜色校正，以消除外部环境因素造成的色偏，并获得标准化舌象图像；

25、舌体定位模块：使用faster r-cnn模型对标准化后的舌象图像进行舌体定位，所述faster r-cnn模型通过区域建议网络生成多个候选框，并对各个候选框进行分类和回归，以确定舌体区域；

26、语义分割模块：根据定位结果利用unet模型对舌体区域进行语义分割，获得舌体掩膜图像，所述unet模型通过编码器和解码器的对称结构及跳跃连接；

27、特征提取模块：在获得舌体掩膜图像后，利用深度卷积神经网络对舌体图像中的舌象特征进行提取，所述深度卷积神经网络模型通过多层卷积操作，自动提取舌质的颜色和光泽度特征、舌苔的颜色、厚薄度和分布特征，以及舌裂纹的长度、宽度、深度和分布模式；

28、分类识别模块：将提取的舌象特征输入至支持向量机分类器进行分类识别，所述深度卷积神经网络模型通过构建多类别分类器，对舌质、舌苔、舌裂纹的多维特征进行分类和识别；

29、动态调整模块：在舌象特征分类和识别的过程中，根据分割边界与真实边界的吻合程度以及分割和特征提取算法的资源消耗情况，对舌体图像的分类和识别效果进行评估，并根据评估结果确定是否对模型参数进行调整。

30、在上述技术方案中，本发明提供的技术效果和优点：

31、1、本发明通过利用深度卷积神经网络、faster r-cnn模型和unet模型，系统实现了对舌象图像的精准分割与特征提取，能够自动提取舌质、舌苔和舌裂纹等复杂特征，并利用支持向量机分类器对这些特征进行多维度的分类识别。这种方法在处理复杂病理特征方面表现出显著的优势，显著提高了舌象特征的提取和识别的准确性，为中医舌诊提供了更加客观、标准化的诊断依据。

32、2、本发明通过动态评估和调整模型参数，进一步提升了系统的稳定性和鲁棒性。通过引入边缘过度检测系数和每像素计算时间偏差指数，系统能够根据分割和特征提取的效果对模型进行精细化调整，确保分类和识别的精确度和效率。最终，基于机器学习模型的反馈机制，当系统检测到分类和识别效果不佳时，能够自动进行参数调整，持续优化模型性能。这种闭环优化机制不仅提高了模型的自适应性，还保证了系统在实际应用中的持续高效性和可靠性。

技术特征：

1.基于深度模型的中医舌象特征提取方法，其特征在于：包括以下步骤；

2.根据权利要求1所述的基于深度模型的中医舌象特征提取方法，其特征在于：s2中，使用faster r-cnn模型对标准化后的舌象图像进行舌体定位，具体为：

3.根据权利要求2所述的基于深度模型的中医舌象特征提取方法，其特征在于：s3中，根据faster r-cnn模型定位出的舌体区域图像，利用unet模型对该区域进行语义分割；所述unet模型包括编码器和解码器的对称结构，并通过跳跃连接将编码器中的低层特征与解码器中的高层特征进行融合；编码器部分通过卷积层对舌体图像进行特征提取，每个卷积层后接一个激活函数，在卷积操作后，通过2x2的最大池化操作进行下采样，逐步减少特征图的空间维度，同时增加特征图的深度，以捕捉更大的上下文信息；解码器部分通过上采样操作逐步恢复空间分辨率，并通过将解码器特征图与对应的跳跃连接的特征图进行拼接，实现低层细节信息与高层语义信息的融合；在每次拼接操作后，通过卷积层对拼接后的特征图进行进一步处理，以细化分割结果；解码器的最后一层通过1x1的卷积层，将特征图映射到目标分类数目，输出每个像素点的类别概率图；对概率图进行阈值化处理，生成二值化的舌体掩膜图像。

4.根据权利要求3所述的基于深度模型的中医舌象特征提取方法，其特征在于：s4中，在获得舌体掩膜图像后，利用深度卷积神经网络对舌体图像中的舌象特征进行提取，具体为：

5.根据权利要求4所述的基于深度模型的中医舌象特征提取方法，其特征在于：s5中，将提取的舌象特征输入至支持向量机分类器进行分类识别，具体为：

6.根据权利要求1所述的基于深度模型的中医舌象特征提取方法，其特征在于：s6中，在舌象特征分类和识别的过程中，根据分割边界与真实边界的吻合程度以及分割和特征提取算法的资源消耗情况，对舌体图像的分类和识别效果进行评估，具体为：

7.根据权利要求6所述的基于深度模型的中医舌象特征提取方法，其特征在于：根据分割和特征提取算法的资源消耗情况生成每像素计算时间偏差指数，则每像素计算时间偏差指数的获取方法为：

8.根据权利要求7所述的基于深度模型的中医舌象特征提取方法，其特征在于：将边缘过度检测系数和每像素计算时间偏差指数转换为第一特征向量，将第一特征向量作为机器学习模型的输入，机器学习模型以每组第一特征向量预测舌体图像的分类和识别效果分析值标签为预测目标，以最小化对所有舌体图像的分类和识别效果分析值标签的预测误差之和作为训练目标，对机器学习模型进行训练，直至预测误差之和达到收敛时停止模型训练，根据模型输出结果确定舌体图像的分类和识别效果分析值，其中，机器学习模型为多项式回归模型。

9.根据权利要求8所述的基于深度模型的中医舌象特征提取方法，其特征在于：将获取到的舌体图像的分类和识别效果分析值与预先设置的分类和识别效果分析值的参考阈值进行比较，若舌体图像的分类和识别效果分析值大于等于预先设置的分类和识别效果分析值的参考阈值，则说明舌体图像的分类和识别效果好，此时生成图像识别分类正常信号，无需进行参数调整；若舌体图像的分类和识别效果分析值小于预先设置的分类和识别效果分析值的参考阈值，则说明舌体图像的分类和识别效果差，此时生成图像识别分类异常信号，需要进行参数调整。

10.基于深度模型的中医舌象特征提取系统，用于实现权利要求1-9任一项所述的基于深度模型的中医舌象特征提取方法，其特征在于：包括颜色校正模块、舌体定位模块、语义分割模块、特征提取模块，分类识别模块以及动态调整模块；

技术总结
本发明公开了基于深度模型的中医舌象特征提取方法及系统，具体涉及中医舌象技术领域；利用灰度世界法对舌象图像进行颜色校正，确保输入图像的标准化，使用Faster R‑CNN模型精确定位舌体区域，并通过UNet模型对舌体区域进行语义分割，生成高精度的舌体掩膜图像，利用深度卷积神经网络提取舌质、舌苔和舌裂纹等关键特征，并通过支持向量机分类器对这些特征进行多维分类和识别，根据分割边界与真实边界的吻合程度及资源消耗情况，动态评估并调整模型参数，确保分类和识别效果的持续优化；有效解决了传统舌象诊断中受主观因素影响大、分割精度低、特征提取不全面等问题，显著提高了舌象特征的识别准确性和诊断可靠性。

技术研发人员：袁佳宁,吴洲,徐佳军,刘林峰,王孝坤
受保护的技术使用者：南京纳实医学科技有限公司
技术研发日：
技术公布日：2024/12/5