一种行人重识别方法、计算机设备和程序产品与流程

本公开涉及计算机视觉，具体而言，涉及一种行人重识别方法、计算机设备和程序产品。

背景技术：

1、行人重识别(person re-identification，简称re-id)也称行人再识别，是利用计算机视觉技术判断异构相机分别采集的图像是否存在相同行人的技术。由于异构相机中不同摄像设备之间的参数差异，同时行人外观易受穿着、尺度、遮挡、姿态和视角等影响，使得行人重识别成为计算机视觉领域的一个研究热点。

2、针对车载异构相机拍摄的图像进行行人重识别，作为自动驾驶任务中一个重要问题，识别的精度将影响着自动驾驶的决策和安全性。但是一些常见的行人重识别方式，在车载异构相机下的重识别的精度较低，效果较差，影响了自动驾驶的安全性。

技术实现思路

1、本公开实施例至少提供一种行人重识别方法、计算机设备和程序产品。

2、第一方面，本公开实施例提供了一种行人重识别方法，包括：

3、获取车载异构相机分别采集的包括行人的图像，并对所述图像进行行人检测，根据行人检测框对所述图像裁剪得到多个行人检测框图；

4、利用预先训练好的第一模型，确定每个所述行人检测框图对应的图像特征，并将所述图像特征输入预先训练好的第二模型进行人体关键点提取，确定每个所述行人检测框图中各个人体关键点区域的关键点特征以及所述关键点特征对应的置信度；

5、对所述关键点特征、所述置信度和所述图像特征进行特征融合，得到每个所述行人检测框图中各个人体关键点区域分别对应的融合特征；

6、根据所述异构相机分别对应的所述行人检测框图中各个所述人体关键点区域的所述融合特征，确定每个所述行人检测框图对应的行人识别结果。

7、该实施方式，由于异构相机的内参、聚焦、视角均不同，所以异构相机拍摄的图像属于不同风格的图像，而通过从行人检测框图中提取图像特征，可以实现对第一模型在不同图像风格下的图像的特征提取能力的充分利用，从行人检测框图中提取到更加丰富的图像细节和特征。然后，通过图像特征进行关键点提取，可以提取出粒度更精细的关键点特征，并减少异构相机的内外参不同导致的局部特征被遮挡、以及异构相机的镜头畸变导致同一行人的纹理细节变化等问题，给行人重识别带来的影响。再通过将关键点特征和图像特征的融合，可以实现对行人检测框图的全局特征和局部特征(即局部的关键点特征)的兼顾，避免错误的局部信息以及异构相机拍摄的图像的分辨率不同对行人重识别的干扰，从而得到能够准确表征行人的每个关键点区域的融合特征。进而，利用异构相机拍摄的不同图像对应的关键点区域的融合特征进行行人重识别，可以提高在异构相机下的行人重识别精度，进而增加自动驾驶的安全性。

8、在一种可能的实施方式中，所述图像特征包括所述行人检测框图对应的多个区域图像各自的区域特征；

9、所述利用预先训练好的第一模型，确定每个所述行人检测框图对应的图像特征，并将所述图像特征输入预先训练好的第二模型进行人体关键点提取，确定每个所述行人检测框图中各个人体关键点区域的关键点特征以及所述关键点特征对应的置信度，包括：

10、利用所述第一模型，确定每个所述行人检测框图对应的多个区域图像各自的区域特征；

11、将每个所述行人检测框图的多个区域图像的区域特征输入所述第二模型进行人体关键点提取，确定每个所述行人检测框图的多个区域图像中各个人体关键点区域的关键点特征以及所述关键点特征对应的置信度；

12、所述对所述关键点特征、所述置信度和所述图像特征进行特征融合，得到每个所述行人检测框图中各个人体关键点区域分别对应的融合特征，包括：

13、对所述关键点特征、所述置信度和所述区域特征进行特征融合，得到每个所述行人检测框图的多个所述区域图像中各个人体关键点区域分别对应的融合特征。

14、该实施方式，通过从行人检测框图中提取不同区域图像的区域特征，可以实现对第一模型在不同图像风格下的图像的特征提取能力的充分利用，在小范围的图像区域中提取到更加丰富的图像细节和特征。然后，通过利用区域图像的区域特征进行关键点提取，可以实现在小范围图像中提取出粒度更精细的关键点特征。再通过将关键点特征和区域特征的融合，可以实现对区域图像的全局特征和局部特征(即局部的关键点特征)的兼顾，避免错误的局部信息以及异构相机拍摄的图像的分辨率不同对行人重识别的干扰，从而得到能够准确表征行人的每个关键点区域的融合特征。

15、在一种可能的实施方式中，所述利用所述第一模型，确定每个所述行人检测框图对应的多个区域图像各自的区域特征，包括：

16、利用所述第一模型，将所述行人检测框图划分为多个区域图像，并从每个所述区域图像中截取目标子区域图像；

17、对多个所述目标子区域图像进行特征提取，得到所述多个区域图像对应的区域特征。

18、该实施方式，通过对行人检测框图进行区域划分，可以实现对划分出的各个区域图像的针对性识别处理，从而避免从不同区域图像中提取的特征之间的相互影响。通过对区域图像进行进一步的截取，可以有效消除区域图像中的冗余信息对行人重识别的影响，使得特征提取过程更专注于行人自身的特征，从而提高提取出的区域特征的准确性。

19、在一种可能的实施方式中，所述将每个所述行人检测框图的多个区域图像的区域特征输入所述第二模型进行人体关键点提取，确定每个所述行人检测框图的多个区域图像中各个人体关键点区域的关键点特征以及所述关键点特征对应的置信度，包括：

20、将每个所述行人检测框图的多个区域图像的区域特征所述第二模型，对每个所述区域特征进行至少一次卷积处理，得到卷积特征，并利用所述卷积特征进行人体关键点提取，得到每个所述区域图像对应的各个人体关键点区域的关键点特征；

21、对每个所述关键点特征进行至少一次卷积处理，并对处理后特征进行归一化处理，得到每个所述关键点特征对应的置信度。

22、该实施方式，训练好的第二模型具有可靠的识别精度，所以利用训练好的第二模型，基于区域特征进行关键点提取和置信度确定，可以得到区域图像中准确的关键点特征以及关键点特征对应的准确的置信度。

23、在一种可能的实施方式中，所述对所述关键点特征、所述置信度和所述区域特征进行特征融合，得到每个所述行人检测框图的多个所述区域图像中各个人体关键点区域分别对应的融合特征，包括：

24、针对每个所述区域图像中的每个所述人体关键点区域，对所述人体关键点区域的所述关键点特征和所述置信度进行加权处理，并将加权结果和所述关键点特征进行特征融合，得到第一特征；

25、对所述区域特征和所述第一特征进行特征连接处理，得到第二特征；

26、利用卷积注意力模块，对所述第二特征和所述区域特征进行特征融合，得到所述人体关键点区域的所述融合特征。

27、该实施方式，通过将每个关键点区域对应的关键点特征和置信度进行加权处理，可以实现对被遮挡的关键点区域对应的关键点特征进行惩罚，避免遮挡位置对识别精度的影响。此外，通过将加权处理后得到的第一特征与区域图像对应的区域特征进行融合，再利用融合后的特征进行行人重识别，可以实现同时兼顾不同相机对应的区域图像的全局特征相似性和局部特征相似性，从而提高识别精度。

28、在一种可能的实施方式中，所述行人识别结果包括行人的识别标识；

29、所述根据所述异构相机分别对应的所述行人检测框图中各个所述人体关键点区域的所述融合特征，确定每个所述行人检测框图对应的行人识别结果，包括：

30、确定所述异构相机中的基准相机和匹配相机；

31、针对所述基准相机对应的任一第一行人检测框图，根据所述第一行人检测框图中各个所述人体关键点区域对应的所述融合特征，和所述匹配相机对应的各个第二行人检测框图中的各个所述人体关键点区域的所述融合特征，确定所述第一行人检测框图中的第一行人与每个所述第二行人检测框图中的第二行人之间的相似度；

32、根据所述相似度，确定所述第一行人和各个所述第二行人之间的匹配结果；所述匹配结果用于指示所述第二行人与所述第一行人是否相同；

33、根据基准相机对应的每个第一行人检测框图中的第一行人的匹配结果，确定每个所述第一行人的识别标识和每个所述第二行人的识别标识。

34、该实施方式，在异构相机拍摄的不同图像之间，通过使用各个关键点区域对应的融合有区域特征和关键点特征的融合特征，进行对应位置关键点的匹配，可以得到不同图像中的多个关键点区域之间的匹配结果，再利用多个关键点区域的匹配结果进行行人的匹配，可以提高得到的匹配结果的准确性，进而得到每个行人对应的准确的识别标识。

35、在一种可能的实施方式中，所述异构相机包括广角相机和鱼眼相机；

36、在所述获取车载异构相机分别采集的包括行人的图像之前，还包括：

37、获取所述广角相机拍摄的包括行人的第一图像和所述鱼眼相机拍摄的包括行人的第二图像；

38、对所述第二图像进行去畸变处理，得到所述鱼眼相机对应的第三图像；

39、所述对所述图像进行行人检测，根据行人检测框对所述图像裁剪得到多个行人检测框图，包括：

40、对所述第一图像和所述第三图像分别进行行人检测，根据行人检测框对第一图像和第三图像分别进行裁剪，得到多个行人检测框图。

41、该实施方式，由于鱼眼相机拍摄的图像具有较严重的畸变，所以通过对鱼眼相机拍摄的第二图像进行去畸变处理，可以在一定程度上消除畸变带来的影响，再利用消除畸变的图像进行行人检测，可以提高确定的行人检测框图的准确性。

42、在一种可能的实施方式中，所述第一模型根据以下步骤训练得到：

43、获取样本图像数据集；所述样本图像数据集包括多个样本图像对，所述样本图像对中包括利用所述异构相机分别拍摄的样本图像；

44、针对任一所述样本图像对，将所述样本图像对包括的各个样本图像中的样本行人检测框图，输入至待训练的第一模型，得到所述样本行人检测框图中的多个样本区域图像分别对应的预测区域特征；

45、将所述样本区域图像对应的所述预测区域特征和人工构建的共享特征合并，并将合并后特征输入到待训练的第一模型中的解码模块，得到所述样本区域图像对应的还原区域图像；

46、根据各个所述样本图像对分别对应的各个所述样本区域图像、以及每个所述样本区域图像对应的所述还原区域图像，确定待训练的第一模型的第一损失；

47、利用所述第一损失对待训练的第一模型进行迭代训练，直至满足训练截止条件，得到训练好的第一模型。

48、该实施方式，利用解码模块对编码模型提取出的预测区域特征进行解码处理，可以还原出编码模型提取出的预测区域特征对应的还原区域图像。然后通过还原区域图像和原本的样本区域图像构建第一损失，可以实现利用第一损失准确表征编码模型在提取区域特征时的提取误差。最后利用第一损失对待训练的第一模型进行迭代训练，可以有效提高第一模型区域特征提取能力。并且，利用异构相机采集的样本图像进行训练，可以使得第一模型专注于不同风格图像下的行人识别，提高第一模型在异构相机下的特征提取能力。

49、在一种可能的实施方式中，所述方法还包括训练所述第二模型的步骤：

50、获取多个样本行人检测框图中各个样本区域图像的样本区域特征；所述样本区域特征为训练好的第一模型，对样本图像中的所述样本行人检测框图进行特征提取得到的；所述样本图像为样本图像对中的图像；所述样本图像对包括利用所述异构相机分别拍摄的样本图像；

51、将所述样本区域特征输入至待训练的第二模型进行人体关键点提取，确定每个样本行人检测框图中各个所述样本区域图像对应的各个人体关键点区域的预测关键点特征以及所述预测关键点特征对应的预测置信度；

52、利用所述预测关键点特征和所述预测置信度，确定各个所述样本区域图像中的各个像素点的预测类别；

53、对所述预测关键点特征、所述预测置信度和所述样本区域特征进行特征融合，得到每个所述样本行人检测框图中各个所述样本区域图像中的各个人体关键点区域分别对应的预测融合特征，并根据所述预测融合特征，确定每个所述样本行人检测框图中的行人的预测标识；

54、根据所述样本行人检测框图中的各个像素点的预测类别和标签类别，所述样本行人检测框图中的行人的预测标识和标签标识、以及所述预测融合特征，确定待训练的第二模型的第二损失，并利用所述第二损失对待训练的第二模型进行迭代训练，直至满足训练截止条件，得到训练好的第二模型。

55、该实施方式，利用像素点的预测类别和标签类别、以及行人的预测标识和标签标识确定出的第二损失，能够准确表征第二模型的关键点特征提取损失和标识预测损失。利用第二损失对第二模型进行迭代训练，可以有效提高第二模型的关键点特征提取能力和标识预测能力。

56、在一种可能的实施方式中，所述根据所述样本行人检测框图中的各个像素点的预测类别和标签类别，所述样本行人检测框图中的行人的预测标识和标签标识、以及所述预测融合特征，确定待训练的第二模型的第二损失，包括：

57、根据所述样本行人检测框图中的各个像素点的预测类别和标签类别，确定关键点预测损失；

58、根据所述样本行人检测框图中的行人的预测标识和标签标识、以及所述预测融合特征，确定识别损失；

59、根据所述关键点预测损失和所述识别损失，确定所述第二损失。

60、该实施方式，利用预测类别和标签类别，可以准确确定出第二模型在进行关键点提取时的损失(即关键点预测损失)。利用预测标识和标签标识、以及预测融合特征，可以准确确定出第二模型在进行行人匹配和识别时的识别损失。

61、在一种可能的实施方式中，所述根据所述样本行人检测框图中的行人的预测标识和标签标识、以及所述预测融合特征，确定识别损失，包括：

62、根据各个所述样本行人检测框图中的行人的预测标识、每个所述行人的标签标识、以及所述行人的第一数量，确定标识预测损失；

63、针对各个所述样本行人检测框图中的任一第一样本行人检测框图，根据所述第一样本行人检测框图中的行人的第一标签标识，和除所述第一样本行人检测框图外的各个第二样本行人检测框图中的行人的第二标签标识，从所述第二样本行人检测框图中确定所述第一样本行人检测框图对应的正样本集合和负样本集合；

64、利用所述第一样本行人检测框图对应的各个人体关键点区域的预测融合特征、所述正样本集合中各个第二样本行人检测框图对应的各个人体关键点区域的预测融合特征、所述负样本集合中各个第二样本行人检测框图对应的各个人体关键点区域的预测融合特征，确定三元组损失；

65、根据所述标识预测损失和所述三元组损失，确定所述识别损失。

66、该实施方式，标识预测损失能够准确表征第二模型在进行标识预测时的差异，三元组损失能够表征第二模型输出的预测融合特征，与正样本和负样本分别对应的预测融合特征之间的差异。因此，利用标识预测损失和三元组损失一起作为识别损失，对第二模型进行训练，可以提高第二模型在进行特征融合和标识输出时的处理能力。

67、在一种可能的实施方式中，所述根据所述第一样本行人检测框图中的行人的第一标签标识，和除所述第一样本行人检测框图外的各个第二样本行人检测框图中的行人的第二标签标识，从所述第二样本行人检测框图中确定所述第一样本行人检测框图对应的正样本集合和负样本集合，包括：

68、从所述第一数量的行人中选取第二数量的目标行人；

69、针对每个所述目标行人，根据所述目标行人的第三标签标识和各个所述第二标签标识，从各个第二样本行人检测框图中，筛选出每个所述目标行人对应的第三数量的第三样本行人检测框图；

70、根据所述第一标签标识，以及各个所述目标行人的第三标签标识，从各个目标行人对应的第三样本行人检测框图中，确定与第一样本行人检测框图对应相同标识的正样本集合、以及与第一样本行人检测框图对应不同标识的负样本集合。

71、该实施方式，通过限定目标行人的数量，以及每个目标行人的样本行人检测框图的数量，可以限定在一个批次batch下的训练样本的数量，避免批次尺寸batch_size过大对资源要求高、以及模型泛化能力下降的问题，以及避免batch_size过小导致训练速度过慢以及收敛速度慢的问题。

72、在一种可能的实施方式中，所述利用所述第一样本行人检测框图对应的各个人体关键点区域的预测融合特征、所述正样本集合中各个第二样本行人检测框图对应的各个人体关键点区域的预测融合特征、所述负样本集合中各个第二样本行人检测框图对应的各个人体关键点区域的预测融合特征，确定三元组损失，包括：

73、针对所述正样本集合中任一第二样本行人检测框图，从该第二样本行人检测框图对应的各个人体关键点区域的预测融合特征中，选取多个第一目标特征；

74、针对所述负样本集合中任一第二样本行人检测框图，从该第二样本行人检测框图对应的各个人体关键点区域的预测融合特征中，选取多个第二目标特征；

75、从所述第一样本行人检测框图对应的各个人体关键点区域的预测融合特征中，筛选与每个所述第一目标特征匹配的第三目标特征，以及与每个所述第二目标特征匹配的第四目标特征；

76、根据每个所述第一目标特征与匹配的第三目标特征之间的欧式距离，以及每个所述第二目标特征与匹配的第四目标特征之间的欧式距离，确定所述三元组损失。

77、该实施方式，利用部分关键点区域对应的预测关键点特征(即第一目标特征、第二目标特征和第三目标特征)进行损失确定，可以避免使用的关键点数量过多导致对于计算资源要求高、处理速度慢的问题。并且，通过身体部分级别(即关键点区域级别)的特征进行三元组损失的确定，可以使得第二模型能够更加关注不同风格图像之间不变的标识辨别特征，再结合标识预测损失，可以使得第二模型能够在全局视角下对行人的身份进行识别。

78、第三方面，本公开可选实现方式还提供一种计算机设备，处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。

79、第四方面，本公开可选实现方式还提供一种计算机程序产品，该计算机程序产品被运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。

80、关于上述计算机设备、及计算机程序产品的效果描述参见上述行人重识别方法的说明，这里不再赘述。

81、为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

技术特征：

1.一种行人重识别方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述图像特征包括所述行人检测框图对应的多个区域图像各自的区域特征；

3.根据权利要求2所述的方法，其特征在于，所述利用所述第一模型，确定每个所述行人检测框图对应的多个区域图像各自的区域特征，包括：

4.根据权利要求2或3所述的方法，其特征在于，所述将每个所述行人检测框图的多个区域图像的区域特征输入所述第二模型进行人体关键点提取，确定每个所述行人检测框图的多个区域图像中各个人体关键点区域的关键点特征以及所述关键点特征对应的置信度，包括：

5.根据权利要求2所述的方法，其特征在于，所述对所述关键点特征、所述置信度和所述区域特征进行特征融合，得到每个所述行人检测框图的多个所述区域图像中各个人体关键点区域分别对应的融合特征，包括：

6.根据权利要求1或2所述的方法，其特征在于，所述行人识别结果包括行人的识别标识；

7.根据权利要求1所述的方法，其特征在于，所述异构相机包括广角相机和鱼眼相机；

8.根据权利要求1所述的方法，其特征在于，所述第一模型根据以下步骤训练得到：

9.根据权利要求1所述的方法，其特征在于，所述方法还包括训练所述第二模型的步骤：

10.根据权利要求9所述的方法，其特征在于，所述根据所述样本行人检测框图中的各个像素点的预测类别和标签类别，所述样本行人检测框图中的行人的预测标识和标签标识、以及所述预测融合特征，确定待训练的第二模型的第二损失，包括：

11.根据权利要求10所述的方法，其特征在于，所述根据所述样本行人检测框图中的行人的预测标识和标签标识、以及所述预测融合特征，确定识别损失，包括：

12.根据权利要求11所述的方法，其特征在于，所述根据所述第一样本行人检测框图中的行人的第一标签标识，和除所述第一样本行人检测框图外的各个第二样本行人检测框图中的行人的第二标签标识，从所述第二样本行人检测框图中确定所述第一样本行人检测框图对应的正样本集合和负样本集合，包括：

13.根据权利要求11所述的方法，其特征在于，所述利用所述第一样本行人检测框图对应的各个人体关键点区域的预测融合特征、所述正样本集合中各个第二样本行人检测框图对应的各个人体关键点区域的预测融合特征、所述负样本集合中各个第二样本行人检测框图对应的各个人体关键点区域的预测融合特征，确定三元组损失，包括：

14.一种计算机设备，其特征在于，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述处理器执行如权利要求1至13任意一项所述的行人重识别方法的步骤。

15.一种计算机程序产品，所述计算机程序产品被计算机设备运行时，所述计算机设备执行如权利要求1至13任意一项所述的行人重识别方法的步骤。

技术总结
本公开提供了一种行人重识别方法、计算机设备和程序产品，其中，该方法包括：获取车载异构相机分别采集的包括行人的图像，并对图像进行行人检测，根据行人检测框对图像裁剪得到多个行人检测框图；利用预先训练好的第一模型，确定每个行人检测框图对应的图像特征，并将图像特征输入预先训练好的第二模型进行人体关键点提取，确定每个行人检测框图中各个人体关键点区域的关键点特征以及关键点特征对应的置信度；对关键点特征、置信度和图像特征进行特征融合，得到每个行人检测框图中各个人体关键点区域分别对应的融合特征；根据异构相机分别对应的行人检测框图中各个人体关键点区域的所述融合特征，确定每个行人检测框图对应的行人识别结果。

技术研发人员：赵元,柳绍宁
受保护的技术使用者：北京集度科技有限公司
技术研发日：
技术公布日：2024/12/5