一种人脸蠕形螨区域的检测方法、装置、系统及存储介质与流程

本技术涉及图像处理，具体涉及一种人脸蠕形螨区域的检测方法、装置、系统及存储介质。

背景技术：

1、人脸蠕形螨在人类皮肤疾病的研究中占据着重要的地位，这类螨虫可引发皮肤炎症、瘙痒等问题，对人们的日常生活质量造成严重影响。然而，当前针对人脸蠕形螨的检测方法大多依赖于传统的医学采集和实验室检验手段，这些方法不仅耗时耗力，而且会给患者带来不便。因此，开发一种高效且便捷的人脸蠕形螨检测方法已成为皮肤疾病诊断领域的重要研究课题。随着科学技术的不断进步，人工智能和图像处理技术为实现这一目标提供了新的可能性。通过利用深度学习算法并结合大量的图像数据集，可以训练出能够自动识别并精确定位人脸蠕形螨的模型。这种方法不仅显著提升了检测的准确性和效率，还减少了人为因素的干扰，从而使检测结果更加客观可靠。

2、研究表明，由于人脸蠕形螨自身的特殊性质，捕捉到的人脸蠕形螨图像数据中包含了多种复杂模式，主要包括但不限于以下五种：

3、1.形态特征多样性模式：形态特征多样性模式具体为蠕形螨的形状、大小、位置和方向可能因个体差异而变化。

4、2.背景与目标区分模式：背景与目标区分模式具体为皮肤纹理、毛发、皮肤病变(如红斑、丘疹)和其他生物因素可能会干扰蠕形螨的识别，图像中的光照条件、色彩饱和度、对比度和分辨率也可能影响蠕形螨的可见性和识别。

5、3.密集性与聚集性模式：密集性与聚集性模式具体为蠕形螨可能在某些区域密集分布，而在其他区域稀疏，形成聚集效应，这种分布不均可能与皮肤的生理状态(如油脂分泌、汗腺活动)有关联。

6、4.动态变化模式：动态变化模式具体为蠕形螨的位置、数量和行为可能随时间变化，特别是在治疗前后或环境条件改变时。

7、5.共存的病理条件模式：共存的病理条件模式具体为蠕形螨可能与其他皮肤状况共存，如痤疮、玫瑰痤疮或脂溢性皮炎，这要求模型能区分蠕形螨引起的症状和其他皮肤病的症状。

8、在当前的技术文献中，尚未有针对人脸蠕形螨所展现的复杂模式进行专门研究的工作。相似病症研究所采用的神经网络模型往往采用从底层向顶层的单向特征传播机制，尽管这种方法在一定程度上解决了类蠕形螨病症的单一特征识别问题，但在特征传递的过程中却容易遭遇信息丢失、信息共享不足以及图像分辨率下降等问题。

9、更为具体地说，对于本专利中所关注的蠕形螨复杂模式的形态特征——即特征多样性模式识别问题——当处理包含不规则蠕形螨区域边缘的图像时，由于现有神经网络蠕形螨检测模型缺乏对面部区域的有效序列编码，导致模型难以有效地处理这些复杂的蠕形螨图像样本。这进而导致了模型无法获取到丰富且罕见的螨虫位置显著性特征及边缘轮廓特征，最终影响了模型的整体准确性。因此，对于人脸蠕形螨图像中的复杂模式进行精确捕捉与分析，对于神经网络模型而言仍是一项极具挑战性的任务。

10、例如一中国专利，申请号为2021114895341，申请日为2021.12.08，专利名称为《皮肤螨虫非接触测试方法、系统、存储介质及处理器》的发明专利，其技术方案为：获取待测量的皮肤图片；将所述皮肤图片输入至螨虫图像识别模型中，通过所述螨虫图像识别模型对所述皮肤图片进行识别特征提取，以确定所述皮肤图片中包含的螨虫识别特征；用单一识别特征分割法确定包含有单一螨虫识别特征的目标识别区域图像单元数量；根据单一螨虫识别特征原则针对待测量的皮肤图片进行分割，确保分割出的图像单元只包含单一螨虫识别特征，依据分割出的目标识别区域图像单元数量确定所述皮肤图片中包含的螨虫数量。

11、上述专利虽然能够实现对皮肤上的蠕形螨进行非接触式的检测，但上述专利的方法单一螨虫识别特征原则存在以下问题，具体包括：

12、首先是图像质量影响，非接触式图像采集设备的成像质量直接影响识别的准确性；当图像分辨率较低时，单一螨虫识别特征可能无法清晰呈现，导致模型难以准确识别螨虫的形态和数量；图像中的噪声(如光照不均、灰尘、皮肤自然纹理等)可能被误认为是单一螨虫识别特征，从而影响识别的准确性，图像模糊或对焦不准会使得螨虫的轮廓变得不清晰，影响单一螨虫识别特征提取的效果；

13、其次是环境因素的影响，图像采集环境的光线、背景等因素可能会对图像采集和识别产生干扰，影响最终单一螨虫识别特征的检测结果，强烈的光线或阴影可能导致螨虫特征的曝光过度或不足，影响识别；复杂的背景或与螨虫相似的颜色可能会干扰模型对单一螨虫识别特征的识别，导致误报或漏报；在动态的环境下，如风、振动或设备移动，可能会造成图像不稳定，影响图像质量；

14、再其次为个体差异，不同个体的皮肤状况(如肤色、皮肤纹理等)可能会影响单一螨虫识别特征的识别，导致检测结果的偏差，不同的肤色可能会影响螨虫特征的可见性，尤其是浅色螨虫在深色皮肤上的识别，甚至皮肤上的自然纹理或病变(如痘痘、疤痕)可能会被误识别为螨虫；

15、最后使用的图像采集设备(如光学镜头模组)的精度和分辨率将直接影响单一螨虫识别特征的准确性；设备成本高昂，高精度的光学镜头模组和传感器可能成本较高，限制了设备的普及性；专业设备还需要定期维护和校准，以确保长期的准确性和稳定性。

16、综上所述，上述专利采用了单一螨虫识别特征原则的方法，但该方法的模型结构单一，且无法抓取空间特征，并且数据集的收集存在困难，数据增强手段匮乏，从而导致了上述专利并不能针对性的适应捕捉人脸蠕形螨在图像数据中存在复杂模式的问题。

技术实现思路

1、为了解决现有技术中存在的上述问题，本技术提供了具有更高的检测效率、准确性和便捷性的一种针对人脸蠕形螨图像复杂模式特征的人脸蠕形螨区域的检测方法、装置、系统及存储介质。

2、本技术提供的技术方案如下：

3、第一方面，提供了一种人脸蠕形螨区域的检测方法，包括如下具体步骤：

4、步骤一：使用图像采集模块获取多张人脸蠕形螨图像；

5、步骤二：将所有人脸蠕形螨图像中蠕形螨的区域进行标注，构建人脸蠕形螨图像数据集；

6、步骤三：构建一个深度神经网络模型，用于捕捉到人脸蠕形螨在图像数据中的复杂模式；

7、步骤四：将标注后的人脸蠕形螨的彩色图像进行训练深度神经网络模型，通过构建的损失函数比较预测值与真值图的差异，反向传播算法进行迭代计算调整模型自身的权重，用以提高预测人脸蠕形螨区域的准确性；

8、步骤五：采用训练后的深度神经网络模型处理尚未人工标记的人脸图像，获得待测图像的人脸蠕形螨区域检测结果；

9、步骤六：将待测图像的人脸蠕形螨区域检测结果通过输出模块输出结果。

10、进一步的，复杂模式包括形态特征多样性模式、背景与目标区分模式、密集性与聚集性模式、动态变化模式和共存的病理条件模式。

11、更进一步的，步骤一中多张人脸蠕形螨图像通过预处理模块进行处理；步骤二中标注完成后，生成多张真值图；步骤三中深度神经网络模型为transformer双向跳连接的深度神经网络模型，并由此深度神经网络模型构成的显著性蠕形螨检测模块捕捉步骤三中人脸蠕形螨在图像数据中的复杂模式；步骤五中采用训练后的transformer双向跳连接的深度神经网络模型处理尚未人工标记的人脸彩色图像。

12、更进一步的，所述步骤三中构建一个transformer双向跳连接的深度神经网络模型的具体步骤为：

13、步骤a：采用多张标注后的人脸蠕形螨图像，经过输入模块得到的特征图转换为特征矩阵；

14、步骤b：编码器模块逐层提取高阶螨虫区域特征，特征图尺寸逐渐降低，空间维度逐渐升高，得到高维低秩压缩特征矩阵；

15、步骤c：编码器模块的输出特征图经过序列预测模块，预测蠕形螨的空间序列位置特征矩阵；

16、步骤d：空间序列位置特征矩阵经过解码器模块逐层还原特征图大小，再经过内容模块得到与输入模块的特征图相同尺寸的解码特征图；

17、步骤e：在解码器模块逐层提取解码器模块过程的特征，同时与编码器模块的相同层特征图在反转有效螨虫区域特征连接模块执行反转连接操作，并经过分层提取特征模块得到不同尺度的提取特征图；

18、步骤f：不同尺度的提取特征图与内容模块输出的解码特征图堆叠后经过特征融合模块，融合为统一尺寸的特征图，得到预测特征图；

19、步骤g：预测特征图经过特征融合模块输出得到螨虫区域的显著区域，并由此深度神经网络模型构成显著性蠕形螨检测模块，捕捉到人脸蠕形螨图像数据中的复杂模式。

20、更进一步的，所述步骤a中，通过输入模块得到特征图的具体公式如下：

21、fi＝max(conv(iinput))

22、式中，iinput为输入图像，fi为第i层输出的特征图，max为最大值池化层函数，conv为卷积层的卷积函数；

23、所述步骤b中，编码器模块逐层提取高阶螨虫区域特征的具体公式如下：

24、

25、式中，b为提取的第b层特征，encoderb()为第b层的编码器函数，enb-1为b层级上一层的输出特征，enb为第b层级的编码模块输出特征，e为提取的特征层数；

26、所述步骤c中，编码器模块的输出特征图，经过序列预测模块得到预测蠕形螨的空间序列位置特征矩阵的具体公式如下：

27、trans＝transformer(enb)

28、式中，trans为空间序列位置特征矩阵，transformer()为transformer模型函数；

29、所述步骤e中，在解码器模块逐层解码蠕形螨高阶特征和空间序列位置特征矩阵，逐步还原高维低秩特征到低维的蠕形螨显著区域，具体公式如下：

30、

31、式中，decoderb()为第b层的解码器模块函数，deb为第b层级的解码模块输出特征；

32、所述步骤e中，通过在反转有效螨虫区域特征连接模块执行反转操作的具体计算公式如下：

33、

34、式中，extract()提取模块的功能函数，由1层的卷积层组成，sb为反转有效蠕形螨区域后的特征图，为特征矩阵逐元素乘法，为特征矩阵逐元素加法；

35、所述步骤f中，经过内容模块得到，与输入模块的特征图相同尺寸的解码特征图的具体公式如下：

36、fc＝content(decoder(transformer(encoder(fi))))

37、其中content()表示内容模块函数，decoder()表示解码器模块函数，transformer()表示transformer模块函数，encoder()表示编码器模块函数，fc为内容模块的输出特征；

38、所述步骤f中，不同尺度的提取特征图经过特征融合模块，融合为统一尺寸的特征图，并与内容模块输出的解码特征图堆叠，取维度的均值，采用均值策略得到预测特征图的具体计算公式如下：

39、

40、式中，在编码器模块和解码器模块反转操作后特征融合得到特征图fc为内容模块的输出特征，concate()为级联堆叠函数，mean()是计算沿通道维度元素的平均值，ffuse为得到的特征融合图。

41、进一步的，所述步骤四中构建显著性图损失函数利用adam优化器训练神经网络；通过反向传播算法进行迭代计算，首先计算神经网络反向传播的梯度，引入内容损失和提取损失组成的模型总损失，分别对应前向连接子网和反向连接子网；模型参数θ包括权重w1，…，wl和偏置b1，…，bl；采用二元交叉熵损失σ(θ)评价预测显著性图和真值图的差异，反向传播计算模型梯度调节参数，其中二元交叉熵损失的具体计算公式表示为：

42、σ(gt，·|θ)＝ylog hl+(1-y)log(1-hl)，y∈{0，1}

43、式中，σ(gt，·|θ)真值图gt与预测图之间的距离，hl样本l预测为正类的概率，y符号函数，样本l为正类时取1，否则取0，θ待调节的模型参数。

44、第二方面，提供了一种人脸蠕形螨区域的检测装置，包括：

45、图像采集模块，用于采集获取人脸蠕形螨的彩色图像；

46、预处理模块，用于对图像大小、归一化像素值和裁切翻转处理人脸蠕形螨的彩色图像；

47、显著性蠕形螨检测模块，用于捕捉待测图像数据中的复杂模式，并计算得到待测图像中人脸蠕形螨的区域检测结果；

48、输出模块，用于将提取出的人脸蠕形螨区域进行输出。

49、进一步的，所述显著性蠕形螨检测模块包括：

50、输入模块，包括多个卷积层和最大池化，用于对输入的原始人脸蠕形螨图像进行预处理；在这个过程中，输入和输出的分辨率将与原始图像保持一致，确保图像的质量和清晰度；

51、编码器模块，包括多个编码器，且由多次卷积层、批量归一化和relu激活层组成，用于提取人脸蠕形螨特征函数，逐步获取高阶语义特征；多层卷积层能从图像中提取出蠕形螨各种特征和模式；

52、解码器模块，包括多个解码器，且由多层反卷积组成，用于低阶蠕形螨信息重构和像素级二分类；将编码模块提取出的高级语义特征逐步还原回原始的人脸感染图像，同时对图像区域进行分类；反卷积层将高层次的特征映射回原始的图像空间，恢复出图像的细节和结构；

53、序列预测模块，由transformer模块组成，用于对编码器模型输出压缩特征矩阵进行人脸区域序列编码，将每一行的蠕形螨特征作为一个空间序列；通过对特征矩阵的序列分析，序列预测模块捕捉到蠕形螨在不同人脸区域的空间变化和趋势，从而准确地预测蠕形螨的数量和分布情况；

54、内容模块，用以对输出预测图像后处理的模块，输入和输出分辨率和原始图像保持一致；该模块对输出预测的人脸蠕形螨图像进行后处理，包括色彩校正、去噪和锐化；

55、反转有效螨虫区域特征连接模块，用以执行编码器模块与解码器模块的反转连接操作；

56、分层提取特征模块，用以提取模块对相同层级的编码器模块和解码器模块进一步提取显著性蠕形螨特征；

57、特征融合模块，采用均值策略，合并不同层级的输出蠕形螨特征图，获得输出结果。

58、第三方面，提供了一种人脸蠕形螨区域的检测系统，包括服务器和客户端，所述服务器包括处理器和存储器；所述存储器上存储有人脸蠕形螨图像数据、程序代码和计算机可执行指令，在被处理器执行时用于实现第一方面任一项人脸蠕形螨区域的检测方法；客户端用以图像的上传和结果显示。

59、第四方面，提供了一种人脸蠕形螨区域的检测存储介质，用于将人脸蠕形螨图像数据、程序代码以及计算机可执行指令存储在计算机上，通过计算机运行储存在计算机上的程序代码处理人脸蠕形螨图像数据，实现第一方面任一项所述的人脸蠕形螨区域的检测方法。

60、根据上述技术方案，本技术所具有的有益效果如下：

61、1.本发明的人脸蠕形螨区域的检测方法，不仅依赖于深度神经网络模型，而且更进一步结合了图像处理技术和医学知识库，以确保检测结果的复杂模式准确性和高效性，引入深度神经网络模型针对人脸蠕形螨的特征进行优化，包括形态特征多样性模式、背景与目标区分模式、密集性与聚集性模式、动态变化模式和共存的病理条件模式；通过多层次的卷积操作和池化操作，深度神经网络模型能够自动学习到蠕形螨在人脸皮肤上的细微纹理和形状特征，从而实现对蠕形螨区域的精确定位。

62、2.本发明的人脸蠕形螨区域的检测方法，增加了识别蠕形螨的复杂模式的模型鲁棒性，通过引入多样化的人脸蠕形螨数据预处理方式，包括但不限于随机对图像中心裁切、随机丢弃通道、锐化、丢失像素、翻转、网格失真、反色图像和超像素融合等处理彩色人脸图像，产生边界不明显、形态各异的案例，从而确保模型在面对真实世界中蠕形螨的复杂模式时，更准确地识别并减少误报(假阳性)与漏报(假阴性)的情况。

63、3.本发明的人脸蠕形螨区域的检测方法，采用了u-net架构作为基础网络结构的基础之上，结合反向区域连接作为特征重用的手段，还采用了更为复杂的跳连接机制，既包括模块内部的跳连接，也涵盖了模块之间的连接；因此，多层特征图提取的形状、纹理、颜色等多种特征进行反转特征图连接和特征融合，使模型能够根据实际情况动态调整对不同特征的关注程度，而不仅仅是依赖边界信息；此外，复杂的跳连接方式有助于弥补神经网络在最大池化和卷积操作过程中可能产生的信息损失，从而确保模型人脸蠕形螨复杂模式的预测精度。

64、4.本发明的人脸蠕形螨区域的检测方法针对人脸图像中蠕形螨复杂模式的空间序列位置的表达；为了人脸区域序列编码，引入了transformer模型结构，提升了在蠕形螨区域检测上的性能指标，尤其在处理多点式和扩散式的蠕形螨人脸空间分布特征时，能够更准确地捕捉和分析特征细节，从而实现更佳的检测效果。

65、5.本发明的人脸蠕形螨区域的检测方法及装置能够自动化地检测和提取人脸蠕形螨区域，减少人为干预，提高诊断的客观性，大大提高了检测效率和准确性，相比现有技术中的医学采集化验方式具有显著的优势。

66、6.本发明的人脸蠕形螨区域的检测系统能够实时显示检测结果，使得用户能够及时了解自己的健康状况，用户只需通过客户端上传人脸图像，系统即可自动进行人脸蠕形螨区域的检测，并将结果显示在客户端上，这为用户提供了便捷的健康管理方式，有助于早期发现和干预疾病。

67、7.本发明还提供了人脸蠕形螨区域的检测存储介质，使得人脸蠕形螨图像数据、程序代码和计算机可执行指令能够方便地存储在计算机上，便于在不同地点或不同时间，对检测结果进行查阅和分析，提高了医疗服务的便捷性和灵活性。

技术特征：

1.一种人脸蠕形螨区域的检测方法，其特征在于，包括如下具体步骤：

2.根据权利要求1所述的人脸蠕形螨区域的检测方法，其特征在于：复杂模式包括形态特征多样性模式、背景与目标区分模式、密集性与聚集性模式、动态变化模式和共存的病理条件模式。

3.根据权利要求2所述的人脸蠕形螨区域的检测方法，其特征在于：步骤一中多张人脸蠕形螨图像通过预处理模块进行处理；步骤二中标注完成后，生成多张真值图；步骤三中深度神经网络模型为transformer双向跳连接的深度神经网络模型，且步骤三中人脸蠕形螨在图像数据中的复杂模式，由此深度神经网络模型构成的显著性蠕形螨检测模块捕捉；步骤五中采用训练后的transformer双向跳连接的深度神经网络模型处理尚未人工标记的人脸彩色图像。

4.根据权利要求3所述的人脸蠕形螨区域的检测方法，其特征在于：所述步骤三中构建一个transformer双向跳连接的深度神经网络模型的具体步骤为：

5.根据权利要求4所述的人脸蠕形螨区域的检测方法，其特征在于：所述步骤a中，通过输入模块得到特征图的具体公式如下：

6.根据权利要求1所述的人脸蠕形螨区域的检测方法，其特征在于：所述步骤四中构建显著性图损失函数利用adam优化器训练神经网络；通过反向传播算法进行迭代计算，首先计算神经网络反向传播的梯度，引入内容损失和提取损失组成的模型总损失，分别对应前向连接子网和反向连接子网；模型参数θ包括权重w1，…，wl和偏置b1，…，bl；采用二元交叉熵损失σ(θ)评价预测显著性图和真值图的差异，反向传播计算模型梯度调节参数，其中二元交叉熵损失的具体计算公式表示为：

7.一种人脸蠕形螨区域的检测装置，其特征在于，包括：

8.根据权利要求7所述的人脸蠕形螨区域的检测装置，其特征在于，所述显著性蠕形螨检测模块包括：

9.一种人脸蠕形螨区域的检测系统，其特征在于：包括服务器和客户端，所述服务器包括处理器和存储器；所述存储器上存储有人脸蠕形螨图像数据、程序代码和计算机可执行指令，在被处理器执行时用于实现权利要求1至6所述的任意一项人脸蠕形螨区域的检测方法；客户端用于图像的上传和结果显示。

10.一种人脸蠕形螨区域的检测存储介质，其特征在于：用于将人脸蠕形螨图像数据、程序代码以及计算机可执行指令存储在计算机上，通过计算机运行储存在计算机上的程序代码处理人脸蠕形螨图像数据，实现权利要求1至6任意一项所述的人脸蠕形螨区域的检测方法。

技术总结
本申请涉及图像处理技术领域，具体涉及一种人脸蠕形螨区域的检测方法、装置、系统及存储介质；该方法包括：使用图像采集模块获取多张人脸蠕形螨图像；将人脸蠕形螨的区域进行标注，构建数据集；构建深度神经网络模型，捕捉到人脸蠕形螨在图像数据中的复杂模式；将标注后的人脸蠕形螨的彩色图像进行训练深度神经网络模型，通过构建的损失函数比较预测值与真值图的差异，反向传播算法进行迭代计算调整模型自身的权重；采用深度神经网络模型处理尚未人工标记的人脸图像，获得待测图像的人脸蠕形螨区域检测结果；将待测图像的人脸蠕形螨区域检测结果通过输出模块输出结果；本申请优点在于减少人为干预，提高诊断的客观性，提高了检测效率和准确性。

技术研发人员：贾丰玮,赵军
受保护的技术使用者：赵军
技术研发日：
技术公布日：2024/12/5