获取客流数据的方法、装置、电子设备以及存储介质与流程

1.本公开涉及图像处理技术领域，具体而言，涉及一种获取客流数据的方法、装置、电子设备以及存储介质。


背景技术：

2.很多场所需要了解客流信息，根据客流信息制定相关的管制策略，以保证对应场所的安全、正常运营等。例如，对于地铁场所，需要了解上下班高峰期的客流信息，以采取相应的客流管制策略；再例如对于线下实体商业场所，需要了解客流信息，以制定相关的运营策略。但是目前对于某一场进行所客流统计不够精确。


技术实现要素：

3.本公开实施例至少提供一种获取客流数据的方法、装置、电子设备以及存储介质。
4.第一方面，本公开实施例提供了一种获取客流数据的方法，包括：
5.获取对目标区域进行拍摄得到的视频片段，以及判别标志；所述视频片段包括多张目标图像；所述目标图像包括所述目标区域的出入口区域；
6.分别对所述多张目标图像中的每张目标图像进行对象识别，并对所述视频片段中出现的多个对象分别进行追踪，得到多个目标对象、所述目标对象在所属目标图像的关键点信息以及所述目标对象在所属目标图像序列中的移动速度信息；
7.基于所述多个目标对象分别对应的所述关键点信息、所述移动速度信息以及所述判别标志，确定所述目标区域的客流数据。
8.该方面，通过图像识别的方式能够较为准确地实现对象识别、对象追踪以及关键点检测，之后结合检测得到的关键点信息和目标对象的运行速度能够较为准确地确定目标区域内的客流数据。相比于现有技术中利用对象的头肩检测等进行客流统计，利用关键点能够有效避免由于遮挡导致的检测精度低的缺陷，在关键点信息的基础上结合目标对象的运行速度，能够进一步提高客流检测的精度。
9.在一种可能的实施方式中，所述关键点信息包括所述关键点信息对应的目标对象在至少一张目标图像中的至少一个关键点的第一位置信息；所述判别标志包括流量判别线；
10.所述基于每个所述多个目标对象分别对应的所述关键点信息、所述移动速度信息以及所述判别标志，确定所述目标区域的客流数据，包括：
11.针对每个所述目标对象，基于所述目标对象对应的至少一个关键点的第一位置信息和所述流量判别线的第二位置信息，确定所述目标对象对应的跨线结果信息；所述跨线结果信息用于表征所述目标对象是否跨越所述流量判别线；
12.基于多个所述目标对象对应的跨线结果信息和所述移动速度信息，确定所述目标区域的客流数据。
13.该实施方式，根据目标对象对应的关键点的第一位置信息和流量判别线的第二位
置信息，能够较为准确地确定目标对象是否跨越了流量判别线，即能够得到较为准确地跨线结果信息；之后结合跨线结果信息和目标对象的移动速度信息能够较为准确地对目标区域进行客流统计。
14.在一种可能的实施方式中，所述关键点信息包括目标对象的至少一组相对关键点信息，其中，相对关键点信息包括目标对象左右脚的脚部关键点信息、目标对象左右膝的膝部关键点信息、目标对象左右腿的腿部关键点信息中的至少一项。
15.该实施方式，脚步关键点信息、膝部关键点信息或者腿部关键点信息这些关键点的位置能够较为准确地表征目标对象的位置，那么根据这些关键点能够较为准确地确定目标对象是否跨越了流量判别线。
16.在一种可能的实施方式中，所述基于所述目标对象对应的至少一个关键点的第一位置信息和所述流量判别线的第二位置信息，确定所述目标对象对应的跨线结果信息，包括：
17.在基于所述第一位置信息和所述第二位置信息，确定存在至少一组相对关键点信息对应的两个关键点的连线，与所述流量判别线相交的情况下，确定所述跨线结果信息包括所述目标对象跨越所述流量判别线的信息。
18.该实施方式，某一组关键点的连线与流量判别线相交，表示目标对象跨越了流量判别线，此时需要将跨线结果信息设置为包括目标对象跨越流量判别线的信息，这样，得到的跨线结果信息更加准确。
19.在一种可能的实施方式中，所述基于所述目标对象对应的至少一个关键点的第一位置信息和所述流量判别线的第二位置信息，确定所述目标对象对应的跨线结果信息，包括：
20.在所述目标对象的至少一个关键点的第一位置信息与所述第二位置信息相匹配的情况下，确定所述跨线结果信息包括该目标对象跨越所述流量判别线的信息。
21.该实施方式，在某一关键点在流量判别线上时，表示目标对象跨越了流量判别线，此时需要将跨线结果信息设置为包括目标对象跨越流量判别线的信息，这样，得到的跨线结果信息更加准确。
22.在一种可能的实施方式中，所述基于多个所述目标对象对应的跨线结果信息和所述移动速度信息，确定所述目标区域的客流数据，包括：
23.基于所述视频片段，确定所述目标对象的移动方向信息；
24.基于多个所述目标对象对应的跨线结果信息、所述移动速度信息和所述移动方向信息，确定所述目标区域的客流数据。
25.该实施方式，在跨线结果信息和移动速度信息的基础上，结合目标对象的移动方向信息，能够较为准确地确定目标对象是进入目标区域，还是离开目标区域，能够得到更加细致的客流数据。
26.在一种可能的实施方式中，所述客流数据包括进入所述目标区域的目标对象的第一数量；
27.所述基于多个所述目标对象对应的跨线结果信息、所述移动速度信息和所述移动方向信息，确定所述目标区域的客流数据，包括：
28.从所述多个目标对象中，筛选所述跨线结果信息指示跨越所述流量判别线、所述
移动方向信息指示跨越所述流量判别线时的运行方向为进入所述目标区域、所述移动速度信息指示的速度大于第一预设速度的第一对象；
29.将第一对象的数量作为所述第一数量。
30.该实施方式，根据跨线结果信息、所述移动速度信息和所述移动方向信息，能够较为准确地筛选出进入目标区域的目标对象，即较为准确地确定上述第一数量。
31.在一种可能的实施方式中，所述客流数据包括离开所述目标区域的目标对象的第二数量；
32.所述基于多个所述目标对象对应的跨线结果信息、所述移动速度信息和所述移动方向信息，确定所述目标区域的客流数据，包括：
33.从所述多个目标对象中，筛选所述跨线结果信息指示跨越所述流量判别线、所述移动方向信息指示跨越所述流量判别线时的运行方向为离开所述目标区域、所述移动速度信息指示的速度大于第二预设速度的第二对象；
34.将所述第二对象的数量作为所述第二数量。
35.该实施方式，根据跨线结果信息、所述移动速度信息和所述移动方向信息，能够较为准确地筛选出离开目标区域的目标对象，即较为准确地确定上述第二数量。
36.在一种可能的实施方式中，所述客流数据包括位于所述目标区域的目标对象的第三数量；
37.所述基于多个所述目标对象对应的跨线结果信息、所述移动速度信息和所述移动方向信息，确定所述目标区域的客流数据，还包括：
38.基于第一数量和第二数量，确定所述第三数量；
39.其中，所述第一数量为所述多个目标对象中所述跨线结果信息指示跨越所述流量判别线、所述移动方向信息指示跨越所述流量判别线时的运动方向为进入所述目标区域、所述移动速度信息指示的速度大于第一预设速度的第一对象的数量；
40.所述第二数量为所述多个目标对象中所述跨线结果信息指示跨越所述流量判别线、所述移动方向信息指示跨越所述流量判别线时的运行方向为离开所述目标区域、所述移动速度信息指示的速度大于第二预设速度的第二对象的数量。
41.该实施方式，根据进入目标区域的目标对象的数量，即上述第一数据量和离开目标区域的目标对象的数量，即上述第二数量，能够较为准确地确定位于目标区域内的目标对象的数量，即上述第三数量。
42.在一种可能的实施方式中，所述分别对所述多张目标图像中的每张目标图像进行对象识别，并对所述视频片段中出现的多个对象分别进行追踪，得到多个目标对象，包括：
43.分别对多张所述目标图像进行对象识别，得到多个对象检测框；其中，每个对象检测框对应一个对象；
44.确定分别属于两张相邻的目标图像中的对象检测框之间的重叠度，并在所述重叠度大于预设值的情况下，确定所述分别属于两张相邻的目标图像中的对象检测框对应的同一个对象，并将所述对象作为目标对象。
45.该实施方式，根据两个对象检测框的重叠度能够较为准确地确定两个对象检测框对应的对象是否有未同一个对象，即能够较为准确地进行对象追踪。
46.在一种可能的实施方式中，在得到所述多个目标对象之后，还包括：
47.针对所述多个目标对象中的每个目标对象，在预设时间内未追踪到所述目标对象的情况下，确定所述目标对象跟踪失败。
48.该实施方式，对于一定时间内未检测到的目标对象，大概率追踪失败了，此时可以将这类目标对象设置为追踪失败，以提高对象追踪的准确性。
49.在一种可能的实施方式中，所述判别标志包括预设判别框；
50.所述分别对所述多张目标图像中的每张目标图像进行对象识别，并对所述视频片段中出现的多个对象分别进行追踪，得到多个目标对象，包括：
51.基于所述预设判别框的第三位置信息，分别对多张目标图像中对应于所述预设判别框的图像区域进行对象识别，并对所述视频片段中对应于所述预设判别框的图像区域中出现的多个对象分别进行追踪，得到多个目标对象；其中所述判别标志对应的流量判别线至少部分位于所述预设判别框内。
52.该实施方式，只对预设判别框内的对象进行识别、追踪，能够有效减少数据处理的数量，提高效率和准确性。
53.在一种可能的实施方式中，在确定所述第一对象、所述第二对象之后，还包括：
54.向远端服务器发送所述第一对象进入所述目标区域的时间、所述第二对象离开所述目标区域的时间、所述第一对象进入所述目标区域的进入标识信息、所述第二对象离开所述目标区域的离开标识信息、所述流量判别线的第二位置信息中的至少一种，以通过远端服务器实现对目标区域进行客流统计。
55.该实施方式，将进入目标区域的对象的进入时间、进入标识等信息，离开目标区域的对象的离开时间、离开标识等信息传送给远端服务器，能够提高远端服务器进行客流统计的准确性。
56.第二方面，本公开实施例还提供一种获取客流数据的装置，包括：
57.信息获取模块，用于获取对目标区域进行拍摄得到的视频片段，以及判别标志；所述视频片段包括多张目标图像；所述目标图像包括所述目标区域的出入口区域；
58.信息处理模块，用于分别对所述多张目标图像中的每张目标图像进行对象识别，并对所述视频片段中出现的多个对象分别进行追踪，得到多个目标对象、所述目标对象在所属目标图像的关键点信息以及所述目标对象在所属目标图像序列中的移动速度信息；
59.客流统计模块，用于基于所述多个目标对象分别对应的所述关键点信息、所述移动速度信息以及所述判别标志，确定所述目标区域的客流数据。
60.第三方面，本公开实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
61.第四方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
62.关于上述获取客流数据的装置、电子设备、及计算机可读存储介质的效果描述参见上述获取客流数据的方法的说明，这里不再赘述。
63.为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合
所附附图，作详细说明如下。
附图说明
64.为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
65.图1示出了本公开实施例所提供的一种获取客流数据的方法的流程图；
66.图2示出了本公开实施例所提供的另一种获取客流数据的方法中确定客流数据的流程图；
67.图3示出了本公开实施例所提供的一种进行客流统计的区域示意图；
68.图4示出了本公开实施例所提供的一种获取客流数据的装置的示意图；
69.图5示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
70.为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
71.经研究发现，目前很多场所需要进行客流统计，但是目前对于某一场所进行客流统计不够精确。针对此，本公开提供了一种客流数据的方法、装置、电子设备以及存储介质，本公开通过图像识别的方式能够较为准确地实现对象识别、对象追踪以及关键点检测，之后结合检测得到的关键点信息和目标对象的运行速度能够较为准确地确定目标区域内的客流数据。相比于现有技术中利用对象的头肩检测等进行客流统计，利用关键点能够有效避免由于遮挡导致的检测精度低的缺陷，在关键点信息的基础上结合目标对象的运行速度，能够进一步提高客流检测的精度。
72.下面以执行主体为具有计算能够的设备为例对本公开实施例提供的获取客流数据的方法法加以说明。
73.如图1所示，本公开提供的获取客流数据的方法可以包括如下步骤：
74.s110、获取对目标区域进行拍摄得到的视频片段，以及判别标志；所述视频片段包括多张目标图像；所述目标图像包括所述目标区域的出入口区域。
75.上述目标区域即为要进行客流数据统计的区域，例如可以是某商场。上述视频片段可以是安装在目标区域的出入口区域的摄像头拍摄的。上述判别标志可以包括流量判别线，只有对象跨越该流量判别线才有可能成为客流数据中的有效数据。
76.另外，判别标志还可以包括预设判别框，只有对象进入该预设判别框才有可能成
为客流数据中的有效数据。
77.s120、分别对所述多张目标图像中的每张目标图像进行对象识别，并对所述视频片段中出现的多个对象分别进行追踪，得到多个目标对象、所述目标对象在所属目标图像的关键点信息以及所述目标对象在所属目标图像序列中的移动速度信息。
78.示例性，可以利用训练好的神经网络对目标图像进行对象识别和追踪，以及确定目标对象的关键点信息。
79.在进行对象识别时，确定了各张目标图像中各对象的对象检测框。之后可以根据对象检测框的交并比进行对象追踪，具体地，在相邻的或拍摄时间相隔较短的两张目标图像中，将交并比大于预设值的两个对象检测框对应的两个对象作为同一个对象，此时该对象认为追踪成功，可以作为目标对象。
80.在进行对象识别的同时可以利用训练好的神经网络确定每个对象对应的关键点信息。也可以在确定了目标对象之后，利用训练好的神经网络对目标对象进行检测，确定目标对象对应的关键点信息。
81.上述关键点信息可以是能够表征目标对象位置的关键点的信息，可以包括对应的目标对象在至少一张目标图像中的至少一个关键点的第一位置信息。例如上述关键点的信息可以是目标对象脚部关键点对应的信息、目标对象膝部关键点对应的信息、目标对象腿部关键点对应的信息中的至少一种。
82.根据目标对象的追踪可以确定目标对象所属的多张目标图像，这些图像按照拍摄时间进行排序，即可得到上述目标图像序列。
83.在确定了某一目标对象的目标图像序列之后，可以根据该目标图像序列，确定目标对象在任意两张目标图像的拍摄时间间隔内的移动距离，之后根据此两张目标图像的拍摄时间间隔，可以确定目标对象在此两张目标图像的拍摄时间间隔内的移动速度。基于多个任意两张目标图像对应的上述移动速度，可以确定上述移动速度信息。示例性地，直接将多个任意两张目标图像对应的上述移动速度，作为上述移动速度信息。
84.s130、基于所述多个目标对象分别对应的所述关键点信息、所述移动速度信息以及所述判别标志，确定所述目标区域的客流数据。
85.示例性地，根据关键点信息和判别标志可以确定目标对象是否跨越了流量判别线，根据移动速度信息可以确定目标对象在跨越流量判别线时的跨线速度，只有跨线速度满足预设要求的目标对象可以成为客流数据中的有效数据。因此，根据关键点信息、移动速度信息以及判别标志，可以较为准确地确定所述目标区域的客流数据。
86.例如，可以利用如下步骤实现：首先，针对每个所述目标对象，基于所述目标对象对应的至少一个关键点的第一位置信息和所述流量判别线的第二位置信息，确定所述目标对象对应的跨线结果信息；该跨线结果信息用于表征所述目标对象是否跨越所述流量判别线。之后，基于多个所述目标对象对应的跨线结果信息和所述移动速度信息，确定所述目标区域的客流数据。
87.在一些实施例中，可以利用至少一组相对关键点对应的相对关键点信息来判断目标对象对应的跨线结果信息，例如，相对关键点信息可以包括目标对象左右脚的脚部关键点信息、目标对象左右膝的膝部关键点信息、目标对象左右腿的腿部关键点信息中的至少一项。上述相对关键点信息至少包括对应关键点的位置信息，例如，目标对象左右脚的脚部
关键点信息至少包括目标对象的左脚关键点的第一位置信息和右脚关键点的第一位置信息；再例如，目标对象左右膝的膝部关键点信息至少包括目标对象的左膝盖关键点的第一位置信息和右膝盖关键点的第一位置信息。
88.上述脚步关键点信息、膝部关键点信息或者腿部关键点信息这些关键点的位置信息能够较为准确地表征目标对象的位置，那么根据这些关键点能够较为准确地确定目标对象是否跨越了流量判别线。
89.在具体实施时，可以利用如下步骤确定目标对象对应的跨线结果信息：
90.在基于所述第一位置信息和所述第二位置信息，确定存在至少一组相对关键点信息对应的两个关键点的连线，与所述流量判别线相交的情况下，确定所述跨线结果信息包括所述目标对象跨越所述流量判别线的信息。
91.某一组关键点的连线与流量判别线相交，表示目标对象跨越了流量判别线，此时需要将跨线结果信息设置为包括目标对象跨越流量判别线的信息，这样，得到的跨线结果信息更加准确。
92.在一些实施例中，还可以利用单独一个关键点来确定目标对象对应的跨线结果信息，具体地，在所述目标对象的至少一个关键点的第一位置信息与所述第二位置信息相匹配的情况下，确定所述跨线结果信息包括该目标对象跨越所述流量判别线的信息。上述相匹配具体可以为关键点的第一位置信息与所述第二位置信息相同，此时可以表示目标对象的一个关键点位于流量判别线上，即目标对象位于流量判别线上，此时认为目标对象跨越流量判别线。
93.在某一关键点在流量判别线上时，表示目标对象跨越了流量判别线，此时需要将跨线结果信息设置为包括目标对象跨越流量判别线的信息，这样，得到的跨线结果信息更加准确。
94.在上述跨线结果信息和移动速度信息的基础上，还可以进一步结合目标对象的移动方向信息，来确定所述目标区域的客流数据，这样能够进一步提准确地确定目标对象是进入目标区域，还是离开目标区域，能够得到更加细致的客流数据。
95.上述移动方向信息可以根据上述视频片段来确定，例如从视频片段中确定目标对象对应的目标图像序列，并确定目标对象在任意两张属于该目标图像序列的目标图像中的位置，之后根据此两张目标图像的拍摄时间间隔，可以确定目标对象在此两张目标图像的拍摄时间间隔内的移动方向。这里的任意两张目标图像可以是目标图像序列中的两张相邻的图像。基于多个任意两张目标图像对应的上述移动方向，可以确定上述移动方向信息。示例性地，直接将多个任意两张目标图像对应的上述移动方向，作为上述移动方向信息。可见，根据上述移动方向信息能够确定目标对象在跨越流量判别线时的运动方向。
96.在一些实施例中，如图2所示，上述基于多个所述目标对象对应的跨线结果信息、所述移动速度信息和所述移动方向信息，确定所述目标区域的客流数据，具体可以利用如下步骤实现：
97.s210，从多个目标对象中，筛选所述跨线结果信息指示跨越所述流量判别线、所述移动方向信息指示跨越所述流量判别线时的运行方向为进入所述目标区域、所述移动速度信息指示的速度大于第一预设速度的第一对象；将所述第一对象的数量作为进入所述目标区域的目标对象的第一数量；
98.s220，从所述多个目标对象中，筛选所述跨线结果信息指示跨越所述流量判别线、所述移动方向信息指示跨越所述流量判别线时的运行方向为离开所述目标区域、所述移动速度信息指示的速度大于第二预设速度的第二对象；将所述第二对象的数量作为离开所述目标区域的目标对象的第二数量；
99.s230，基于所述第一数量和所述第二数量，确定所述第三数量；示例性地，计算第一数量和第二数量的差值，并将该差值作为第三数量，这里的第三数量为位于所述目标区域的目标对象的数量；
100.s240，将上述第一数量、第二数量和第三数量作为上述所述目标区域的客流数据。
101.根据跨线结果信息、所述移动速度信息和所述移动方向信息，能够较为准确地筛选出离开目标区域的目标对象的数量、进入目标区域的目标对象的数量以及位于目标区域的目标对象的数量，有效提高了确定的客流数据的准确性。
102.在一些实施例中，上述分别对所述多张目标图像中的每张目标图像进行对象识别，并对所述视频片段中出现的多个对象分别进行追踪，得到多个目标对象，具体可以利用如下步骤实现：
103.首先分别对多张所述目标图像进行对象识别，得到多个对象检测框；其中，每个对象检测框分别对应一个对象；之后，确定分别属于两张相邻的目标图像中的对象检测框之间的重叠度，并在所述重叠度大于预设值的情况下，确定所述分别属于两张相邻的目标图像中的对象检测框对应的同一个对象，并将所述对象作为目标对象。
104.在具体实施时，还可以确定任两张拍摄时间较短的目标图像中的任两个对象检测框的重叠度，并在所述重叠度大于预设值的情况下，确定该两个对象检测框对应的两个对象为同一个对象，并将所述对象作为目标对象。
105.根据两个对象检测框的重叠度能够较为准确地确定两个对象检测框对应的对象是否有未同一个对象，即能够较为准确地进行对象追踪。
106.这里的重叠度具体可是两个对象检测框的交并比。
107.在一些实施例中，如果在预设时间内未追踪到某一目标对象，确定该目标对象跟踪失败。对于一定时间内未检测到的目标对象，大概率追踪失败了，此时可以将这类目标对象设置为追踪失败，以提高对象追踪的准确性。
108.在第一次确定某一个目标对象之后，会为该目标对象设置对象标识，对于追踪失败的目标对象，该目标对象的对象标识不会被分配后续检测得到的其他目标对象。
109.在一些实施例中，上述判别标志不仅包括流量判别线，还包括预设判别框；此时，上述分别对所述多张目标图像中的每张目标图像进行对象识别，并对所述视频片段中出现的多个对象分别进行追踪，得到多个目标对象，具体可以利用如下步骤实现：
110.基于所述预设判别框的第三位置信息，分别对多张目标图像中对应于所述预设判别框的图像区域进行对象识别，并对所述视频片段中对应于所述预设判别框的图像区域中出现的多个对象分别进行追踪，得到多个目标对象；其中所述判别标志对应的流量判别线至少部分位于所述预设判别框内。
111.在具体实施时，可以根据预设判别框的第三位置信息，从目标图像中截取对应的子图像，在对子图像序列进行对象识别和追踪，得到多个目标对象。
112.只对预设判别框内的对象进行识别、追踪，能够有效减少数据处理的数量，提高效
率和准确性。
113.上述预设判别框和流量判别线是通过对拍摄上述视频片段的拍摄装置进行标定之后确定的。预设判别框可以是矩形等规则形状的框，也可以是不由折线形成的不规则的形状的框，本技术对比并不进行限定。在设置预设判别框时需要保证进入或离开目标区域的对象的上半身位于框内部，以提高对象识别、追踪以及客流数据统计的准确性。
114.示例性的，目标区域的出入口区域如图3所示的310，在出入口区域310中设置了预设判别框320，本公开实施例只对预设判别框内的对象进行识别、追踪。流量判别线330至少部分位于所述预设判别框320内。在对统计客流数据时，需要根据追踪到的目标对象是否跨越流量判别线330来进行。具体地，如图3所示，目标对象350的某一组关键点(比如，脚掌中点作为关键点，那么这一组关键点可以是目标对象350的双脚中点)的连线370与流量判别线330相交，此时认为目标对象350跨越流量判别线330；另一目标对象360的某一个关键点位于流量判别线330上，此时也认为另一目标对象360跨越流量判别线330。
115.进一步地，若追踪结果显示同一目标对象在不同时刻分别为目标对象350和目标对象360，则可以根据拍摄目标对象350所属图像的时间和拍摄目标对象360所属图像的时间，确定目标对象的移动方向信息。例如，若拍摄目标对象350所属图像的时间早于拍摄目标对象360所属图像的时间，则确定目标对象地移动方向信息指示目标对象跨越所述流量判别线时的运行方向为进入所述目标区域。若进一步根据拍摄目标对象350所属图像的时间和拍摄目标对象360所属图像的时间确定的目标对象的移动速度信息指示的速度大于第一预设速度，则确定目标对象作为进入目标区域的对象。根据统计到的该类目标对象的数量即可确定上述第一数量，即进入目标区域的对象的数量。
116.进一步地，若拍摄目标对象350所属图像的时间晚于拍摄目标对象360所属图像的时间，则确定目标对象地移动方向信息指示目标对象跨越所述流量判别线时的运行方向为离开所述目标区域。若进一步根据拍摄目标对象350所属图像的时间和拍摄目标对象360所属图像的时间确定的目标对象的移动速度信息所指示的速度大于第二预设速度，则确定目标对象作为离开目标区域的对象。根据统计到的该类目标对象的数量即可确定上述第二数量，即离开目标区域的对象的数量。
117.在进行客流数据统计之前还需要确定进入目标区域的第一方向和离开目标区域的第二方向，该第一方向与第二方向用于确定目标对象在跨越流量判别线时的运行方向是进入目标区域还是离开目标区域。
118.在确定所述第一对象、第二对象之后，还可以将所述第一对象，即进入所述目标区域的目标对象进入所述目标区域的时间、所述第二对象，即离开所述目标区域的目标对象离开所述目标区域的时间、所述第一对象进入所述目标区域的进入标识信息、所述第二对象离开所述目标区域的离开标识信息、所述流量判别线的第二位置信息、流量判别线的标识、视频片段、每个目标对象对应的目标图像序列中的至少一种发送给远端服务，以通过远端服务器实现对目标区域进行客流统计。
119.将进入目标区域的对象的进入时间、进入标识等信息，离开目标区域的对象的离开时间、离开标识等信息传送给远端服务器，能够提高远端服务器进行客流统计的准确性。
120.本公开的上述实施例的方法还可以是由拍摄视频片段的拍摄装置来执行，本公开对上述实施例的方法的执行主体并不进行限定。
121.本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
122.基于同一发明构思，本公开实施例中还提供了获取客流数据的方法对应的获取客流数据的装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述获取客流数据的方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
123.参照图4所示，为本公开实施例提供的一种获取客流数据的装置的架构示意图，所述装置包括：
124.信息获取模块410，用于获取对目标区域进行拍摄得到的视频片段，以及判别标志；所述视频片段包括多张目标图像；所述目标图像包括所述目标区域的出入口区域。
125.信息处理模块420，用于分别对所述多张目标图像中的每张目标图像进行对象识别，并对所述视频片段中出现的多个对象分别进行追踪，得到多个目标对象、所述目标对象在所属目标图像的关键点信息以及所述目标对象在所属目标图像序列中的移动速度信息。
126.客流统计模块430，用于基于所述多个目标对象分别对应的所述关键点信息、所述移动速度信息以及所述判别标志，确定所述目标区域的客流数据。
127.在一些实施例中，所述关键点信息包括所述关键点信息对应的目标对象在至少一张目标图像中的至少一个关键点的第一位置信息；所述判别标志包括流量判别线；
128.所述客流统计模块430在基于每个所述多个目标对象分别对应的所述关键点信息、所述移动速度信息以及所述判别标志，确定所述目标区域的客流数据时，用于：
129.针对每个所述目标对象，基于所述目标对象对应的至少一个关键点的第一位置信息和所述流量判别线的第二位置信息，确定所述目标对象对应的跨线结果信息；所述跨线结果信息用于表征所述目标对象是否跨越所述流量判别线；
130.基于多个所述目标对象对应的跨线结果信息和所述移动速度信息，确定所述目标区域的客流数据。
131.在一些实施例中，所述关键点信息包括目标对象的至少一组相对关键点信息，其中，相对关键点信息包括目标对象左右脚的脚部关键点信息、目标对象左右膝的膝部关键点信息、目标对象左右腿的腿部关键点信息中的至少一项。
132.在一些实施例中，所述客流统计模块430在基于所述目标对象对应的至少一个关键点的第一位置信息和所述流量判别线的第二位置信息，确定所述目标对象对应的跨线结果信息时，用于：
133.在基于所述第一位置信息和所述第二位置信息，确定存在至少一组相对关键点信息对应的两个关键点的连线，与所述流量判别线相交的情况下，确定所述跨线结果信息包括所述目标对象跨越所述流量判别线的信息。
134.在一些实施例中，所述客流统计模块430在基于所述目标对象对应的至少一个关键点的第一位置信息和所述流量判别线的第二位置信息，确定所述目标对象对应的跨线结果信息时，用于：
135.在所述目标对象的至少一个关键点的第一位置信息与所述第二位置信息相匹配的情况下，确定所述跨线结果信息包括该目标对象跨越所述流量判别线的信息。
136.在一些实施例中，所述客流统计模块430在基于多个所述目标对象对应的跨线结
果信息和所述移动速度信息，确定所述目标区域的客流数据时，用于：
137.基于所述视频片段，确定所述目标对象的移动方向信息；
138.基于多个所述目标对象对应的跨线结果信息、所述移动速度信息和所述移动方向信息，确定所述目标区域的客流数据。
139.在一些实施例中，所述客流数据包括进入所述目标区域的目标对象的第一数量；
140.所述客流统计模块430在基于多个所述目标对象对应的跨线结果信息、所述移动速度信息和所述移动方向信息，确定所述目标区域的客流数据时，用于：
141.从所述多个目标对象中，筛选所述跨线结果信息指示跨越所述流量判别线、所述移动方向信息指示跨越所述流量判别线时的运行方向为进入所述目标区域、所述移动速度信息指示的速度大于第一预设速度的第一对象；
142.将所述第一对象的数量作为所述第一数量。
143.在一些实施例中，所述客流数据包括离开所述目标区域的目标对象的第二数量；
144.所述客流统计模块430在基于多个所述目标对象对应的跨线结果信息、所述移动速度信息和所述移动方向信息，确定所述目标区域的客流数据时，用于：
145.从所述多个目标对象中，筛选所述跨线结果信息指示跨越所述流量判别线、所述移动方向信息指示跨越所述流量判别线时的运行方向为离开所述目标区域、所述移动速度信息指示的速度大于第二预设速度的第二对象；
146.将所述第二对象的数量作为所述第二数量。
147.在一些实施例中，所述客流数据包括位于所述目标区域的目标对象的第三数量；
148.所述客流统计模块430在基于多个所述目标对象对应的跨线结果信息、所述移动速度信息和所述移动方向信息，确定所述目标区域的客流数据，时用于：
149.基于第一数量和第二数量，确定所述第三数量；
150.其中，所述第一数量为所述多个目标对象中所述跨线结果信息指示跨越所述流量判别线、所述移动方向信息指示跨越所述流量判别线时的运动方向为进入所述目标区域、所述移动速度信息指示的速度大于第一预设速度的第一对象的数量；
151.所述第二数量为所述多个目标对象中所述跨线结果信息指示跨越所述流量判别线、所述移动方向信息指示跨越所述流量判别线时的运行方向为离开所述目标区域、所述移动速度信息指示的速度大于第二预设速度的第二对象的数量。
152.在一些实施例中，所述信息处理模块420在分别对所述多张目标图像中的每张目标图像进行对象识别，并对所述视频片段中出现的多个对象分别进行追踪，得到多个目标对象时，用于：
153.分别对多张所述目标图像进行对象识别，得到多个对象检测框；其中，每个对象检测框对应一个对象；
154.确定分别属于两张相邻的目标图像中的对象检测框之间的重叠度，并在所述重叠度大于预设值的情况下，确定所述分别属于两张相邻的目标图像中的对象检测框对应的同一个对象，并将所述对象作为目标对象。
155.在一些实施例中，所述信息处理模块420在得到所述多个目标对象之后，还用于：
156.针对所述多个目标对象中的每个目标对象，在预设时间内未追踪到所述目标对象的情况下，确定所述目标对象跟踪失败。
157.在一些实施例中，所述判别标志包括预设判别框；
158.所述信息处理模块420在分别对所述多张目标图像中的每张目标图像进行对象识别，并对所述视频片段中出现的多个对象分别进行追踪，得到多个目标对象时，用于：
159.基于所述预设判别框的第三位置信息，分别对多张目标图像中对应于所述预设判别框的图像区域进行对象识别，并对所述视频片段中对应于所述预设判别框的图像区域中出现的多个对象分别进行追踪，得到多个目标对象；其中所述判别标志对应的流量判别线至少部分位于所述预设判别框内。
160.在一些实施例中，客流统计模块430在确定所述第一对象、所述第二对象之后，还用于：
161.向远端服务器发送所述第一对象进入所述目标区域的时间、所述第二对象离开所述目标区域的时间、所述第一对象进入所述目标区域的进入标识信息、所述第二对象离开所述目标区域的离开标识信息、所述流量判别线的第二位置信息中的至少一种，以通过远端服务器实现对目标区域进行客流统计。
162.基于同一技术构思，本公开实施例还提供了一种电子设备。参照图5所示，为本公开实施例提供的电子设备500的结构示意图，包括处理器51、存储器52、和总线53。其中，存储器52用于存储执行指令，包括内存521和外部存储器522；这里的内存521也称内存储器，用于暂时存放处理器51中的运算数据，以及与硬盘等外部存储器522交换的数据，处理器51通过内存521与外部存储器522进行数据交换，当电子设备500运行时，处理器51与存储器52之间通过总线53通信，使得处理器51在执行以下指令：
163.获取对目标区域进行拍摄得到的视频片段，以及判别标志；所述视频片段包括多张目标图像；所述目标图像包括所述目标区域的出入口区域；分别对所述多张目标图像中的每张目标图像进行对象识别，并对所述视频片段中出现的多个对象分别进行追踪，得到多个目标对象、所述目标对象在所属目标图像的关键点信息以及所述目标对象在所属目标图像序列中的移动速度信息；基于所述多个目标对象分别对应的所述关键点信息、所述移动速度信息以及所述判别标志，确定所述目标区域的客流数据。
164.本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的获取客流数据的方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
165.本公开实施例所提供的获取客流数据的方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的获取客流数据的方法的步骤，具体可参见上述方法实施例，在此不再赘述。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(software development kit，sdk)等等。
166.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集
成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
167.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
168.另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
169.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
170.最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

技术特征：
1.一种获取客流数据的方法，其特征在于，包括：获取对目标区域进行拍摄得到的视频片段，以及判别标志；所述视频片段包括多张目标图像；所述目标图像包括所述目标区域的出入口区域；分别对所述多张目标图像中的每张目标图像进行对象识别，并对所述视频片段中出现的多个对象分别进行追踪，得到多个目标对象、所述目标对象在所属目标图像的关键点信息以及所述目标对象在所属目标图像序列中的移动速度信息；基于所述多个目标对象分别对应的所述关键点信息、所述移动速度信息以及所述判别标志，确定所述目标区域的客流数据。2.根据权利要求1所述的方法，其特征在于，所述关键点信息包括所述关键点信息对应的目标对象在至少一张目标图像中的至少一个关键点的第一位置信息；所述判别标志包括流量判别线；所述基于每个所述多个目标对象分别对应的所述关键点信息、所述移动速度信息以及所述判别标志，确定所述目标区域的客流数据，包括：针对每个所述目标对象，基于所述目标对象对应的至少一个关键点的第一位置信息和所述流量判别线的第二位置信息，确定所述目标对象对应的跨线结果信息；所述跨线结果信息用于表征所述目标对象是否跨越所述流量判别线；基于多个所述目标对象对应的跨线结果信息和所述移动速度信息，确定所述目标区域的客流数据。3.根据权利要求2所述的方法，其特征在于，所述关键点信息包括目标对象的至少一组相对关键点信息，其中，相对关键点信息包括目标对象左右脚的脚部关键点信息、目标对象左右膝的膝部关键点信息、目标对象左右腿的腿部关键点信息中的至少一项。4.根据权利要求3所述的方法，其特征在于，所述基于所述目标对象对应的至少一个关键点的第一位置信息和所述流量判别线的第二位置信息，确定所述目标对象对应的跨线结果信息，包括：在基于所述第一位置信息和所述第二位置信息，确定存在至少一组相对关键点信息对应的两个关键点的连线，与所述流量判别线相交的情况下，确定所述跨线结果信息包括所述目标对象跨越所述流量判别线的信息。5.根据权利要求2或3所述的方法，其特征在于，所述基于所述目标对象对应的至少一个关键点的第一位置信息和所述流量判别线的第二位置信息，确定所述目标对象对应的跨线结果信息，包括：在所述目标对象的至少一个关键点的第一位置信息与所述第二位置信息相匹配的情况下，确定所述跨线结果信息包括该目标对象跨越所述流量判别线的信息。6.根据权利要求2至5任一项所述的方法，其特征在于，所述基于多个所述目标对象对应的跨线结果信息和所述移动速度信息，确定所述目标区域的客流数据，包括：基于所述视频片段，确定所述目标对象的移动方向信息；基于多个所述目标对象对应的跨线结果信息、所述移动速度信息和所述移动方向信息，确定所述目标区域的客流数据。7.根据权利要求6所述的方法，其特征在于，所述客流数据包括进入所述目标区域的目标对象的第一数量；
所述基于多个所述目标对象对应的跨线结果信息、所述移动速度信息和所述移动方向信息，确定所述目标区域的客流数据，包括：从所述多个目标对象中，筛选所述跨线结果信息指示跨越所述流量判别线、所述移动方向信息指示跨越所述流量判别线时的运行方向为进入所述目标区域、所述移动速度信息指示的速度大于第一预设速度的第一对象；将所述第一对象的数量作为所述第一数量。8.根据权利要求6或7所述的方法，其特征在于，所述客流数据包括离开所述目标区域的目标对象的第二数量；所述基于多个所述目标对象对应的跨线结果信息、所述移动速度信息和所述移动方向信息，确定所述目标区域的客流数据，包括：从所述多个目标对象中，筛选所述跨线结果信息指示跨越所述流量判别线、所述移动方向信息指示跨越所述流量判别线时的运行方向为离开所述目标区域、所述移动速度信息指示的速度大于第二预设速度的第二对象；将所述第二对象的数量作为所述第二数量。9.根据权利要求6至8中任意一项所述的方法，其特征在于，所述客流数据包括位于所述目标区域的目标对象的第三数量；所述基于多个所述目标对象对应的跨线结果信息、所述移动速度信息和所述移动方向信息，确定所述目标区域的客流数据，还包括：基于第一数量和第二数量，确定所述第三数量；其中，所述第一数量为所述多个目标对象中所述跨线结果信息指示跨越所述流量判别线、所述移动方向信息指示跨越所述流量判别线时的运动方向为进入所述目标区域、所述移动速度信息指示的速度大于第一预设速度的第一对象的数量；所述第二数量为所述多个目标对象中所述跨线结果信息指示跨越所述流量判别线、所述移动方向信息指示跨越所述流量判别线时的运行方向为离开所述目标区域、所述移动速度信息指示的速度大于第二预设速度的第二对象的数量。10.根据权利要求1至9任一项所述的方法，其特征在于，所述分别对所述多张目标图像中的每张目标图像进行对象识别，并对所述视频片段中出现的多个对象分别进行追踪，得到多个目标对象，包括：分别对多张所述目标图像进行对象识别，得到多个对象检测框；其中，每个对象检测框对应一个对象；确定分别属于两张相邻的目标图像中的对象检测框之间的重叠度，并在所述重叠度大于预设值的情况下，确定所述分别属于两张相邻的目标图像中的对象检测框对应的同一个对象，并将所述对象作为目标对象。11.根据权利要求10所述的方法，其特征在于，在得到所述多个目标对象之后，还包括：针对所述多个目标对象中的每个目标对象，在预设时间内未追踪到所述目标对象的情况下，确定所述目标对象跟踪失败。12.根据权利要求1至11任一项所述的方法，其特征在于，所述判别标志包括预设判别框；所述分别对所述多张目标图像中的每张目标图像进行对象识别，并对所述视频片段中
出现的多个对象分别进行追踪，得到多个目标对象，包括：基于所述预设判别框的第三位置信息，分别对多张目标图像中对应于所述预设判别框的图像区域进行对象识别，并对所述视频片段中对应于所述预设判别框的图像区域中出现的多个对象分别进行追踪，得到多个目标对象；其中所述判别标志对应的流量判别线至少部分位于所述预设判别框内。13.根据权利要求9所述的方法，其特征在于，在确定所述第一对象、所述第二对象之后，还包括：向远端服务器发送所述第一对象进入所述目标区域的时间、所述第二对象离开所述目标区域的时间、所述第一对象进入所述目标区域的进入标识信息、所述第二对象离开所述目标区域的离开标识信息、所述流量判别线的第二位置信息中的至少一种，以通过远端服务器实现对目标区域进行客流统计。14.一种获取客流数据的装置，其特征在于，包括：信息获取模块，用于获取对目标区域进行拍摄得到的视频片段，以及判别标志；所述视频片段包括多张目标图像；所述目标图像包括所述目标区域的出入口区域；信息处理模块，用于分别对所述多张目标图像中的每张目标图像进行对象识别，并对所述视频片段中出现的多个对象分别进行追踪，得到多个目标对象、所述目标对象在所属目标图像的关键点信息以及所述目标对象在所属目标图像序列中的移动速度信息；客流统计模块，用于基于所述多个目标对象分别对应的所述关键点信息、所述移动速度信息以及所述判别标志，确定所述目标区域的客流数据。15.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至13任一项所述的获取客流数据的方法的步骤。16.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至13任一项所述的获取客流数据的方法的步骤。

技术总结
本公开提供了一种获取客流数据的方法、装置、电子设备以及存储介质，本公开首先获取对目标区域进行拍摄得到的视频片段，以及判别标志；所述视频片段包括多张目标图像；所述目标图像包括所述目标区域的出入口区域；之后，分别对所述多张目标图像中的每张目标图像进行对象识别，并对所述视频片段中出现的多个对象分别进行追踪，得到多个目标对象、所述目标对象在所属目标图像的关键点信息以及所述目标对象在所属目标图像序列中的移动速度信息；最后，基于所述多个目标对象分别对应的所述关键点信息、所述移动速度信息以及所述判别标志，确定所述目标区域的客流数据。确定所述目标区域的客流数据。确定所述目标区域的客流数据。


技术研发人员：孙贺然
受保护的技术使用者：北京市商汤科技开发有限公司
技术研发日：2021.11.30
技术公布日：2022/3/8