多场景下认定多个行人目标为同一行人目标的方法和系统与流程

1.本发明涉及视频侦查中对行人目标在变装或使用非机动车交通工具情况下进行同一性认定，具体地指在多场景下认定多个行人目标为同一行人目标的方法和系统，属于视频侦查技术领域。


背景技术：

2.传统的同一行人目标认定方法的主要问题在于：(1)不同场景下，行人目标能提取到的结构化信息存在区别，无法用于同一行人目标认定；(2) 不同场景下，行人目标无法确保能提取到人脸特征作为同一行人目标认定的标准；(3)不同场景下，行人目标的形态各异，提取的全局目标特征无法使用以图搜图得到高精度的结果；(4)不同场景下，行人目标换装或使用非机动车交通工具时，姿态、衣服等特征均有变化，无法进行有效的同一目标认定。


技术实现要素：

3.本发明目的在于克服上述现有技术的不足而提供一种多场景下认定多个行人目标为同一行人目标的方法，该方法包括：
4.提取视频数据中目标的特征；
5.提取待比对行人的特征，将所述目标的特征与待比对行人的特征一一比对，得到目标的特征相似度排序队列；
6.按照特征的权重，对所述相似度排序队列进行分值重新计算，得到最终特征相似度排序队列，最终排序队列中越靠前的目标即越与待比对行人为同一行人。
7.在上述技术方案中，所述对监控视频进行目标分类是按人、车、骑车人进行目标分类。
8.在上述技术方案中，所述特征为人脸特征、行人本征特征、结构化信息；所述特征相似度排序队列为每个目标的人脸与待比对正面人脸的相似度排序队列，行人本征特征相似度排序队列和结构化信息相似度排序队列。
9.在上述技术方案中，所述行人本征特征相似度排序队列通过以下方式获得：
10.提取视频数据中行人、骑车人目标和待比对行人、骑车人目标的人脸特征，将视频数据中目标人脸特征和待比对目标人脸特征进行一一比对，得到人脸特征相似度排序队列；
11.提取视频数据中行人、骑车人目标和待比对行人、骑车人目标的正面、侧面和背面行人特征，通过特征解构的方法，将行人特征表示为衣服相关特征和衣服无关特征，其中衣服无关特征即为行人本征特征，针对目标变装或使用非机动车交通工具的情况，使用行人本征特征作为同一行人目标认定的依据，将视频数据中行人、骑车人目标的行人本征特征和待比对行人、骑车人目标的正面、侧面和背面的行人本征特征进行一一比对，得到视频数据中行人、骑车人目标分别针对正面、侧面和背面的行人本征特征相似度排序队列，根据频
数据中行人、骑车人目标在三个行人本征特征相似度排序队列中出现的位置，重计算相似度后合并成一个行人本征特征相似度排序队列；
12.提取视频数据中行人、骑车人目标和待比对行人、骑车人目标的正面和背面结构化信息，根据待比对行人、骑车人目标的正面和背面结构化信息中相同信息出现比例形成结构化信息与比例分值对照表，将视频数据中行人、骑车人目标的结构化信息与结构化信息与比例分值对照表进行一一比对，计算每个视频数据中行人、骑车人目标的结构化信息相似度，得到视频数据中每个目标结构化信息的相似度排序队列。
13.进一步地，本发明多场景下下认定多个行人目标为同一行人目标的方法还包括：将得到的人脸相似度排序队列的相似度记为feaf，行人本征特征的相似度排序队列的相似度记为fea
p
，结构化信息相似度排序队列的相似度记为feai，并设定三者的权重f、p和i，按照如下公式计算最终相似度：
14.fea＝feaf*f+fea
p
*p+feai*i
15.将视频数据的每个行人、骑车人目标的最终相似度进行排序，得到对同一行人目标认定的最终排序队列，位于最终排序队列中越前面的行人、骑车人目标越接近于待比对的行人、骑车人目标，即按最终排序队列的前后顺序就可以确定是否为同一行人目标。
16.此外，本发明还提供一种多场景下认定多个行人目标为同一行人目标的系统，该系统包括：
17.视频结构化模块，用于将视频数据通过机器学习的结构化算法，实现行人目标、骑车人目标和车辆目标的分类，完成目标结构化信息的提取；
18.特征检测比对模块，用于提取视频数据中目标的特征以及待比对行人的特征，并将提取目标的特征与待比对行人的特征一一比对，得到目标的特征相似度排序队列；
19.同一行人目标推理模块，用于对相似度排序队列进行分值重新计算，得到对同一目标认定的最终排序队列，并输出最终排序队列中靠前的目标。
20.在上述技术方案中，所述特征提取比对模块包括：人脸特征提取比对模块、行人本征特征提取比对模块和结构化信息筛选模块。
21.本发明充分利用视频数据通过视频结构化后得到的各维度数据，包括：人脸特征、行人本征特征和结构化信息，首先通过人脸特征比对得到与待比对目标正面和侧面人脸特征最接近的人脸特征相似度排序队列，再次通过与待比对目标的正面、侧面和背面行人本征特征比对和合并得到综合行人本征特征相似度重排序队列，再次通过结构化信息筛选得到与待比对目标正面和背面结构化信息最接近结构化信息的相似度排序队列，最后通过同一行人认定的经验权重将人脸相似度排序队列、综合行人本征特征相似度重排序队列和结构化信息相似度队列合并成最终相似度队列，最终相似度队列越靠前的可以认定为出现在不同场景的同一个行人目标。
22.相比于现有技术中关注的是上下半身颜色特征或上下半身纹理特征，本专利则使用的是除上下半身衣服特征的行人本征特征，为行人目标换装后的进行同一行人目标认定提供了解决方案。此外，相对于现有技术中存在的整体特征、每个部分的局部特征、结构化信息特征，本专利使用的行人本征特征虽然属于整体特征，但是当整体特征在画面中目标清晰度不高时仍然能够更加全面的表征目标，而且本专利使用待比对目标的正面、侧面和背面三种姿态作为参考，扩大了整体特征集、结构化信息特征集，通过将多个整体特征集、
多个结构化信息特征集利用不同策略进行合并重排序，就利用了多姿态待比对目标特征对多场景下同一行人目标进行了更加全面的描述，能更准确的认定同一行人目标。
23.本专利有效解决了多场景下的行人、骑车人目标的姿态不同、衣着不同以及使用非机动车交通工具时难以认定为同一行人目标的问题。
附图说明
24.图1为本发明多场景下认定多个行人目标为同一行人目标的系统结构框图。
25.图2为本发明多场景下认定多个行人目标为同一行人目标的方法流程图。
具体实施方式
26.下面结合附图和具体实施例对本发明作进一步的详细说明。
27.本实施例涉及相关概念说明如下：
28.待比对行人目标为需要认定的行人目标，同一行人目标为所有目标对象中与需要认定的行人目标相同的人。
29.行人本征特征，将行人特征利用特征解构的方式分为衣服相关特征和衣服无关特征，其中衣服无关特征即为行人本征特征。
30.行人结构化信息包括：头发样式、头发颜色、是否带眼镜、是否带口罩、上衣、上衣颜色、上衣纹理、下衣、下衣颜色、是否有包、性别、年龄段、朝向、是否打伞、是否抱小孩、行人状态；
31.骑车人结构化信息包括：头发样式、是否带眼镜、是否带口罩、是否带围巾、上衣、上衣颜色、上衣纹理、是否有包、性别、年龄段、车辆颜色、朝向、是否打伞、是否带物。
32.如图1所示，本实施例多场景下认定多个行人目标为同一行人目标的系统包括视频结构化模块、特征检测比对模块和同一行人目标推理模块，本实施例中特征检测比对模块包括人脸检测与比对模块、行人本征特征提取与比对模块、结构化信息筛选模块，上述各模块的连接关系为：视频结构化模块的输入端连接视频数据，输出端分别与人脸检测比对模块、行人本征特征提取比对模块、结构化信息筛选模块的输入端连接，人脸检测比对模块、行人本征特征提取比对模块、结构化信息筛选模块的输出端分别与同一行人目标推理模块连接，同一行人目标推理模块的输出端连接认定输出端。
33.通过上述系统实现多场景下认定多个行人目标为同一行人目标的的流程如图2所示，包括以下步骤：
34.s1、将视频数据通过视频结构化模块输入后，得到目标分类信息、每个目标的结构化信息，并将所得信息分别输出至人脸检测比对模块、行人本征特征提取比对模块、结构化信息筛选模块。
35.s2、人脸检测与比对模块获取步骤s1中每个目标的分类信息和结构化信息，通过人脸检测提取人脸特征，再与待比对行人目标正面人脸特征进行一一比对，形成每个目标的人脸与待比对正面人脸的相似度排序队列；其中，未检测到人脸或人脸与待比对目标正面人脸特征的相似度低于阈值的(例如低于阈值的0.5)，则直接认为相似度为0。
36.s3、行人本征特征提取比对模块获取s1中每个目标的分类信息和结构化信息，提取视频数据中行人、骑车人目标和待比对行人、骑车人目标的正面、侧面和背面行人特征，
通过特征解构的方法，将行人特征表示为衣服相关特征和衣服无关特征，其中衣服无关特征即为行人本征特征，针对目标变装或使用非机动车交通工具的情况，使用行人本征特征作为同一行人目标认定的依据，将视频数据中行人、骑车人目标的行人本征特征和待比对行人、骑车人目标的正面、侧面和背面的行人本征特征进行一一比对，得到视频数据中行人、骑车人目标分别针对正面、侧面和背面的三个行人本征特征相似度排序队列；
37.将视频数据中行人、骑车人目标同时出现在三个行人本征特征相似度排序队列中前20位的目标赋予0.4的权重；将同时出现在两个队列前20位、另一个队列前20-50位的目标赋予0.3的权重；将出现在一个队列前20位、另两个队列前20-50位的目标赋予0.15的权重；将同时出现在三个队列前 20-50位的目标赋予0.1的权重；将同时出现在两个队列前20-50位，另一个队列前80位的目标赋予0.05的权重；其他目标赋予0的权重，该权重记作wgtf。设置正面的行人本征特征权重为0.5，背面的行人本征特征权重为 0.35，侧面的行人本征特征权重为0.15。将视频数据中行人、骑车人目标在正面、背面和侧面三个相似度队列中相似度分别fea1、fea2、fea3，按如下公式计算新的相似度：
[0038][0039]
将视频数据中行人、骑车人目标按新的相似度排序，得到综合行人本征特征相似度重排序队列；
[0040]
s4、结构化信息筛选模块获取s1中每个目标的分类信息和结构化信息，提取视频数据中行人、骑车人目标和待比对行人、骑车人目标的正面和背面结构化信息，从待比对行人、骑车人目标的正面和背面结构化信息中，将同时在正面和背面相同的信息赋予权重为0.6；将在正面出现信息赋予权重为0.35；将在背面出现信息赋予权重为0.05，该权重记为wgtp。将结构化信息根据类型分为：是否带眼镜、是否带口罩、是否带包、是否抱小孩赋予分值为0.5；头发样式、头发颜色赋予分值为0.3；上衣样式、上衣颜色、上衣纹理、下衣样式、下衣颜色赋予分值为0.15；性别、年龄段赋予分值为0.05；其他类型赋予分值为0，该分值记为score，通过如下公式计算每个结构化信息的分值：
[0041]
value＝wgtp*score
[0042]
这样就得到了每个结构化信息与分值的对照表。将视频数据中行人、骑车人目标的每个结构化信息与对照表进行比对获取得分，通过如下公式计算视频数据中行人、骑车人目标的结构化信息与待比对行人、骑车人目标的结构化信息相似度：
[0043]
行人：(n为相同结构化信息个数，n≤16)
[0044]
骑车人：(n为相同结构化信息个数，n≤14)
[0045]
将视频数据中行人、骑车人目标按相似度排序，得到结构化信息的相似度排序队列。
[0046]
s5、将视频数据的每个行人、骑车人目标从步骤s2得到的人脸相似度排序队列的相似度记为feaf，从步骤s3得到的综合行人本征特征相似度排序队列的相似度记为fea
p
，从步骤s4得到的结构化信息相似度排序队列的相似度记为feai。设置人脸相似度在同一行人
目标认定的权重为0.6，行人本征特征相似度在同一行人目标认定的权重为0.3，结构化信息相似度在同一行人目标认定的权重为0.1，根据如下公式计算最终相似度：
[0047]
fea＝feaf*0.6+fea
p
*0.3+feai*0.1
[0048]
将视频数据的每个行人、骑车人目标的最终相似度进行排序，得到对同一行人目标认定的最终排序队列，位于最终排序队列中越前面的行人、骑车人目标越接近于待比对的行人、骑车人目标，即按最终排序队列的前后顺序就可以确定是否为同一行人目标。

技术特征：
1.一种多场景下认定多个行人目标为同一行人目标的方法，其特征在于，包括：提取视频数据中目标的特征；提取待比对行人的特征，将所述目标的特征与待比对行人的特征一一比对，得到目标的特征相似度排序队列；按照特征的权重，对所述相似度排序队列进行分值重新计算，得到最终特征相似度排序队列，最终排序队列中越靠前的目标即越与待比对行人为同一行人。2.根据权利要求1所述多场景下认定多个行人目标为同一行人目标认定方法，其特征在于：所述提取视频数据中目标的特征之前，对视频数据按人、车、骑车人进行目标分类。3.根据权利要求2所述多场景下认定多个行人目标为同一行人目标的方法，其特征在于：所述特征为人脸特征、行人本征特征、结构化信息；所述特征相似度排序队列为每个目标的人脸与待比对正面人脸的相似度排序队列，行人本征特征相似度排序队列和结构化信息相似度排序队列。4.根据权利要求3所述多场景下认定多个行人目标为同一行人目标的方法，其特征在于，所述行人本征特征相似度排序队列通过以下方式获得：提取视频数据中行人、骑车人目标和待比对行人、骑车人目标的正面、侧面和背面行人特征，通过特征解构的方法，将行人特征表示为衣服相关特征和衣服无关特征，其中衣服无关特征即为行人本征特征，针对目标变装或使用非机动车交通工具的情况，使用行人本征特征作为同一行人目标认定的依据，将视频数据中行人、骑车人目标的行人本征特征和待比对行人、骑车人目标的正面、侧面和背面的行人本征特征进行一一比对，得到视频数据中行人、骑车人目标分别针对正面、侧面和背面的三个行人本征特征相似度排序队列。5.根据权利要求4所述多场景下认定多个行人目标为同一行人目标的方法，其特征在于，还包括：将得到的人脸相似度排序队列的相似度记为fea
f
，行人本征特征的相似度排序队列的相似度记为fea
p
，结构化信息相似度排序队列的相似度记为fea
i
，并设定三者的权重f、p和i，按照如下公式计算最终相似度：fea＝fea
f
*f+fea
p
*p+fea
i
*i将视频数据的每个行人、骑车人目标的最终相似度进行排序，得到对同一行人目标认定的最终排序队列，位于最终排序队列中越前面的行人、骑车人目标越接近于待比对的行人、骑车人目标，即按最终排序队列的前后顺序就可以确定是否为同一行人目标。6.一种多场景下认定多个行人目标为同一行人目标的系统，其特征在于，包括：视频结构化模块，用于将视频数据通过机器学习的结构化算法，实现行人目标、骑车人目标和车辆目标的分类，完成目标结构化信息的提取；特征检测比对模块，用于提取视频数据中目标的特征以及待比对行人的特征，并将提取目标的特征与待比对行人的特征一一比对，得到目标的特征相似度排序队列；同一行人目标推理模块，用于对相似度排序队列进行分值重新计算，得到对同一目标认定的最终排序队列，并输出最终排序队列中靠前的目标。7.根据权利要求6所述多场景下认定多个行人目标为同一行人目标的系统，其特征在于，所述特征提取比对模块包括：人脸特征提取比对模块、行人本征特征提取比对模块、和结构化信息筛选模块。

技术总结
本发明涉及多场景下认定多个行人目标为同一行人目标的方法和系统，其方法包括：提取视频数据中目标的特征；提取待比对行人的特征，将所述目标的特征与待比对行人的特征一一比对，得到目标的特征相似度排序队列；按照特征的权重，对所述相似度排序队列进行分值重新计算，得到最终特征相似度排序队列，最终排序队列中越靠前的目标即越与待比对行人为同一行人。本发明有效解决了多场景下的行人、骑车人目标的姿态不同、衣着不同以及使用非机动车交通工具时难以认定为同一行人目标的问题，适用于帮助公安干警快速整理嫌疑目标的活动轨迹，协助公安干警完成嫌疑目标研判，为案件侦破提供重要手段。破提供重要手段。破提供重要手段。


技术研发人员：严国建 梁瑞凡 张睿 王彬 严岩 杜伟 尹晨烽 马竹松
受保护的技术使用者：武汉大千信息技术有限公司
技术研发日：2021.12.10
技术公布日：2022/3/8