一种多目标融合的危险行为识别算法

本发明主要涉及计算机视觉，具体为一种多目标融合的危险行为识别算法。

背景技术：

1、在复杂的执法环境中，民警如何有效应对各种不可控风险因素，尤其是视野盲区带来的安全风险，成为了一个亟待解决的问题。

技术实现思路

1、本发明技术方案针对现有技术解决方案过于单一的技术问题，提供了显著不同于现有技术的解决方案，主要提供了一种多目标融合的危险行为识别算法，用以解决上述背景技术中提出的民警如何有效应对各种不可控风险因素，尤其是视野盲区带来的安全风险的技术问题。

2、本发明解决上述技术问题采用的技术方案为：

3、一种多目标融合的危险行为识别算法，包括如下步骤：

4、s1、数据采集与预处理：利用高清摄像头捕获实时监控画面，并将视频数据流同步传输至后端处理系统；

5、s2、模型并行处理：通过危险物品与人员身份识别模型和人体关键点检测模型识别处理，危险物品与人员身份识别模型用于识别并区分危险物品和非危险物品，同时识别执法人员的身份；人体关键点检测模型用于识别监控画面内人员的身体关键点；

6、s3、多目标融合与分析：通过基于空间向量的危险行为识别算法，以人体关键点检测模型的输出为基础，结合危险物品与人员身份识别模型的识别结果，通过构建空间向量模型，对监控场景中个体的行为模式进行整体和局部部位的综合分析；

7、s4、实时预测与可视化：输出及时、准确的危险行为预测结果，并通过可视化界面展示。

8、进一步地，步骤s2中，人体关键点检测模型包括举手识别算法，所述举手识别算法包括：

9、s2-1-1、对图像建立平面直角坐标系，获取人体肩部、手肘、手腕的坐标；

10、s2-1-2、计算获得肩肘向量与肘腕向量；

11、s2-1-3、计算肩肘向量与肘腕向量的夹角，与预设阈值进行判断，区分“直指挑衅”和“屈臂蓄力”情况；

12、s2-1-4、针对“直指挑衅”情况，先判断手肘是否高于肩部，再判断手腕是否高于手肘，当满足手腕高于手肘，手肘高于肩部时，则确定目标举手；否则无举手可能；

13、针对“屈臂蓄力”情况，判断手腕是否高于肩部，在满足手腕高于肩部时，则判定目标举手；否则无举手可能。

14、进一步地，步骤s2中，人体关键点检测模型包括摔倒识别算法，所述摔倒识别算法包括：

15、s2-2-1、对图像建立平面直角坐标系，获取人体难以主动控制的存在明显间距的两种部位的坐标；

16、s2-2-2、求得两种部位的横坐标差值最大值和纵坐标差值最大值；

17、s2-2-3、比较所得横坐标差值最大值和纵坐标差值最大值的大小，若横坐标差值最大值大于纵坐标差值最大值，则初步判定检测目标有摔倒可能；若横坐标差值最大值小于纵坐标差值最大值，则初步判定检测目标为站立。

18、更进一步地，所述摔倒识别算法还包括：

19、s2-2-4、分别求得人体左侧所选两种部位和人体右侧所选两种部位构成的向量，并求模比较得到模更大的向量；

20、s2-2-5、先求得向量的单位向量，再求单位向量与y轴夹角，然后求得向量内积；

21、s2-2-6、利用反余弦函数泰勒级数推导得到反余弦计算近似公式，并通过公式求得人体向量与y轴夹角；

22、s2-2-7、根据摄像头角度设定阈值θ0，若以上计算得到的θ小于阈值θ0，则表示人员处于站立状态(包括弯腰)，若以上计算得到的θ大于阈值θ0，则表示人员摔倒。

23、进一步地，步骤s3中，包括基于曼哈顿距离的目标与肢体配对算法和基于泰勒级数展开的危险动作预判算法。

24、更进一步地，所述基于曼哈顿距离的目标与肢体配对算法包括：

25、s3-1-1、通过危险物品与人员身份识别模型获取危险物品的框坐标和人员双手手腕的坐标；

26、s3-1-2、根据危险物品的框坐标求得危险物品的中心点坐标，然后分别求危险物品中心点到左、右手的曼哈顿距离，若到左手的曼哈顿距离小，则判定为左手持危险物品，否则判定为右手持危险物品。

27、更进一步地，所述基于泰勒级数展开的危险动作预判算法包括：

28、s3-2-1、通过人体关键点检测模型识别获取肩肘向量与肘腕向量；

29、s3-2-2、对于肩肘向量和肘腕向量，分别计算它们的欧氏范数；

30、s3-2-3、根据向量以及向量模长，得到单位向量；

31、s3-2-4、计算肩肘向量和肘腕向量的单位向量内积，并与阈值比较，若小于阈值，则手臂呈弯曲状，有投掷或挥砍可能；若大于阈值，则投掷或挥砍可能性较小。

32、再进一步地，步骤s3-2-4中，采用了多帧预判机制，公式为：

33、

34、其中，表示n帧图片的肩肘向量和肘腕向量的单位向量内积，α11⊙α21为第一帧图片的肩肘向量和肘腕向量的单位向量内积计算公式。

35、与现有技术相比，本发明的有益效果为：

36、(1)本发明通过数据采集与预处理、模型并行处理、多目标融合与分析、实时预测与可视化等步骤，可以及时且有效识别监控画面中的危险物品及其持有人的危险动作，从而使得安全监控人员能够迅速识别并响应潜在的安全威胁，帮助民、辅警有效应对各种不可控风险因素，尤其是视野盲区带来的安全风险。

37、(2)本发明通过危险物品与人员身份识别模型和人体关键点检测模型对监控画面识别处理，危险物品与人员身份识别模型用于识别并区分危险物品和非危险物品，同时识别执法人员的身份；人体关键点检测模型用于识别监控画面内人员的身体关键点。通过目标识别模型实现对人体关键点检测的信息补偿，这两种模型独立运行时，它们各自的局限性限制了其在实际应用中的有效性，同时采用这两种模型，可以有效突破各自的局限性，提升识别能力。

38、(3)本发明基于空间向量的危险行为识别算法，结合危险物品与人员身份识别模型的识别结果和人体关键点检测模型的输出，通过构建空间向量模型，对监控场景中个体的行为模式进行整体和局部部位的综合分析，通过这种多目标融合与空间向量分析的方法，显著提升了监控系统在复杂环境下的识别能力和响应速度，为智能安全监控领域带来了突破性的技术进步。

39、以下将结合附图与具体的实施例对本发明进行详细的解释说明。

技术特征：

1.一种多目标融合的危险行为识别算法，其特征在于：包括如下步骤：

2.根据权利要求1所述的一种多目标融合的危险行为识别算法，其特征在于：步骤s2中，人体关键点检测模型包括举手识别算法，所述举手识别算法包括：

3.根据权利要求1所述的一种多目标融合的危险行为识别算法，其特征在于：步骤s2中，人体关键点检测模型包括摔倒识别算法，所述摔倒识别算法包括：

4.根据权利要求3所述的一种多目标融合的危险行为识别算法，其特征在于：所述摔倒识别算法还包括：

5.根据权利要求1所述的一种多目标融合的危险行为识别算法，其特征在于：步骤s3中，包括基于曼哈顿距离的目标与肢体配对算法和基于泰勒级数展开的危险动作预判算法。

6.根据权利要求5所述的一种多目标融合的危险行为识别算法，其特征在于：所述基于曼哈顿距离的目标与肢体配对算法包括：

7.根据权利要求5所述的一种多目标融合的危险行为识别算法，其特征在于：所述基于泰勒级数展开的危险动作预判算法包括：

8.根据权利要求7所述的一种多目标融合的危险行为识别算法，其特征在于：步骤s3-2-4中，采用了多帧预判机制，公式为：

技术总结
本发明公开了一种多目标融合的危险行为识别算法，属于计算机视觉技术领域，包括：数据采集与预处理；模型并行处理：通过危险物品与人员身份识别模型和人体关键点检测模型识别处理；多目标融合与分析：通过基于空间向量的危险行为识别算法，以人体关键点检测模型的输出为基础，结合危险物品与人员身份识别模型的识别结果，通过构建空间向量模型，对监控场景中个体的行为模式进行整体和局部部位的综合分析；实时预测与可视化。本发明可以及时且有效识别监控画面中的危险物品及其持有人的危险动作，从而使得安全监控人员能够迅速识别并响应潜在的安全威胁。

技术研发人员：蒋逸凡,高谷刚,印杰,汤杏明,陈俊,宫路,杨敏,高光亮,马如坡,刘琛,梁大伟
受保护的技术使用者：江苏警官学院
技术研发日：
技术公布日：2024/12/5