一种基于视觉识别的厂站人员定位方法及系统与流程

本发明涉及定位，具体涉及一种基于视觉识别的厂站人员定位方法及系统。

背景技术：

1、针对水厂、电站、气站、园区等无人或少人的生产环境，需进行人员定期巡检，而对于巡检人员是否就位，巡检范围是否全面等方面，难以进行准确审核。其难点在于无法对人员进行准确的定位。现有的技术方案是在厂站关键点位安装nfc或者贴二维码等打卡点，人员巡检至关键点后，用移动设备结合相应应用程序，进行打卡以实现人员定位；厂站室外巡检，则可采用gis定位技术进行人员定位；厂站内普遍安装有总多摄像头进行视频监控，但需有值班人员进行人工监视判断。同时对于外部人员的意外闯入，现状普遍以值班人员通过人工监视进行识别定位。

2、设置关键点位打卡的方法，只能保证人员经过关键点，无法明确是否对关键区域进行巡视，其人员轨迹不够精确；gis定位的方法，在室外可实现相对准确人员定位，对于室内甚至地下的室内，难以准确定位；视频监控需人工识别判断，存在人员怠工疏忽等情况，造成意外事件处置不及时。

技术实现思路

1、本发明的目的在于提供一种基于视觉识别的厂站人员定位方法，本发明通过厂站内安装的诸多视频摄像头，通过其采集的视频内容，通过算法进行人员识别，包括巡检人员及意外闯入人员，再结合摄像头内部参数及安装参数，通过算法进行坐标转换，确定人员坐标位置，实现人员在厂站内的定位、轨迹的追踪。实现对巡检人员的有效审核，对意外传入人员的快速识别及定位。

2、为解决上述技术问题，本发明提供一种基于视觉识别的厂站人员定位方法，其特征在于，包括以下步骤：

3、获取摄像头参数；

4、通过摄像头采集图像；

5、对图像进行人员识别，得到定位框坐标；

6、根据定位框坐标，得到人员图像信息；

7、将人员图像信息与视觉数据库进行对比，得到工作人员身份；

8、根据摄像头参数、定位框坐标和厂站坐标系转换矩阵，得到人员定位点坐标；

9、根据多个人员定位点坐标，得到人员运动轨迹。

10、优选地，获取摄像头参数，具体包括以下步骤：

11、获取摄像头拍摄的若干标准标定板图像；

12、根据标准标定板图像，得到摄像头的内参和外参；

13、通过激光测距仪或皮尺测量，得到安装高度h；

14、通过rtk设备以cgcs2000坐标系进行打点，得到摄像头坐标（x0，y0）；

15、在摄像头监控视频的画面垂直中分线上对应地面位置寻找一个点作为标定点，用rtk设备进行打点获取对应坐标（x1，y1），θ表示摄像头安装方向与正北方向的夹角，作为水平角度，以顺时针方向为正，则位于第一象限的水平角度；

16、通过标定点坐标获知标定点至摄像头正投影点的距离的，以摄像头正投影点为原点，以光轴所在地面投影方向为yc 轴方向，以大地面与yc 轴垂直方向为xc轴建立摄像头坐标系，摄像头俯仰角α=γ-β，其中，故标定点在图像上的坐标为（w/2,v0）,则，从而可得摄像头俯仰角α，其中h为图像高度像素分辨率，为y轴上的归一化焦距。

17、优选地，根据标准标定板图像，得到摄像头的内参和外参，具体包括以下步骤：

18、根据标定板基本参数、方格数、间隔宽度以及标准标定板图像，利用opencv算法库中的张正友标定法，获得摄像头的内参和外参。

19、优选地，相机内参：，相机外参：；

20、其中：

21、fx = f/dx、fy = f/dy，分别表示x轴和y轴上的归一化焦距，其中f表示焦距，dx、dy分别表示x轴y轴方向上像素的物理尺寸；

22、u，v，表示标准标定板图像中心像素水平、垂直坐标，标准标定板图像坐标以左上角为原点，故u=w/2，v=h/2,其中w、h为标准标定板图像宽高像素分辨率；

23、r表示旋转矩阵（3×3）；

24、t表示偏移向量（3×1）。

25、优选地，根据摄像头参数、定位框坐标和厂站坐标系转换矩阵，得到摄像头坐标系下人员定位点坐标，具体包括以下步骤：

26、摄像头坐标系下人员定位点y坐标，γ=α+β，tanβ根据像平面坐标关系可得，进而可得，进而可得到摄像头坐标系下人员定位点x坐标，其中，故；综上可得到摄像头坐标系下人员定位点坐标（x，y）；

27、在获得摄像头坐标系下人员坐标后，建立厂站坐标系，根据摄像头位置坐标（x0，y0），以及其水平角度θ，可得到坐标系转换矩阵为，以此进行坐标系转换，得到厂站坐标系下单摄像头人员定位坐标（xw，yw） =。

28、优选地，根据多个人员定位点坐标，得到人员运动轨迹，具体包括以下步骤：

29、通过特征提取算法提取每个图像的图像特征点及其特征描述符；

30、以暴力匹配算法对不同图像中的图像特征点进行两两匹配，计算其特征描述符之间的距离；

31、根据特征描述符之间的距离大小，确定在不同摄像头图形中的特征点的匹配关系；

32、根据匹配关系，求解得到单应性矩阵homography；

33、根据单应性矩阵homography，将其中一张图像的不同人员的像素识别坐标进行转换，将转换结果同另一图像中不同人员的像素识别坐标进行两两匹配，计算距离，根据距离最短原则来判定不同图像中识别出的人员是否为同一个人，得到每个人员在不同摄像头监测下的坐标组数据；

34、通过卡尔曼滤波算法处理每个人员在不同摄像头监测下的坐标组数据，得到人员定位坐标；

35、通过计算不同时间帧的人员定位结果，得到人员运动轨迹。

36、优选地，通过卡尔曼滤波算法处理每个人员在不同摄像头监测下的坐标组数据，得到最终得到跟精确的人员定位坐标，具体包括以下步骤：

37、a）状态方程：；

38、其中xk是系统状态向量，[x,y,vx,vy]，x、y是位置坐标，vx、vy是相对速度分量；a为状态转移矩阵，b为控制输入矩阵，uk是控制输入，wk是过程噪声，假定为高斯噪声，协方差矩阵为q；

39、b）观测方程：

40、其中zk,i是第i个摄像头的观测值，hi是对应的观测矩阵，vk,i是观测噪声，假定为高斯噪声，协方差矩阵为ri；

41、c）预测步骤，更新系统状态和协方差矩阵：

42、预测状态：

43、预测协方差：

44、d）更新步骤：

45、计算卡尔曼增益：

46、计算每个摄像头的增益：

47、综合所有摄像头的增益：

48、其中h和r分别为所有摄像头的观测矩阵和观测噪声的加权平均值；

49、更新状态估计：

50、更新协方差矩阵：

51、最终得到跟精确的人员定位坐标（xk,yk）；

52、通过计算不同时间帧的人员定位结果，得到人员运动轨迹。

53、优选地，所述特征提取算法为sift算法、surf算法、fast算法、orb算法或神经网络homographynet。

54、优选地，对图像进行人员识别，得到定位框坐标，具体包括以下步骤：

55、通过人员识别算法及人员识别模型，对图像进行人员识别，获得人员在图像中的定位框坐标（ul,vl,ur,vr）；ul,vl,ur,vr分别代表识别定位框左上角以及右下角的u/v像素坐标，人员定位的是在大地平面上的坐标，定位点位于定位框垂直中心线与地面交点，人员定位像素坐标为（u0，v0）= ( (ul-ur)/2 ，vr )；

56、所述人员识别算法为yolo系算法、r-cnn算法、fast r-cnn算法、ssd算法、retinanet算法或efficientdet算法；

57、所述yolo系算法采用yolov8算法。

58、本发明提供一种基于视觉识别的厂站人员定位系统，包括：

59、获取模块，用于获取摄像头参数；

60、采集模块，用于通过摄像头采集图像；

61、定位框坐标识别模块，用于对图像进行人员识别，得到定位框坐标；

62、人员图像模块，用于根据定位框坐标，得到人员图像信息；

63、身份识别模块，用于将人员图像信息与视觉数据库进行对比，得到工作人员身份；

64、人员定位模块，用于根据摄像头参数、定位框坐标和厂站坐标系转换矩阵，得到人员定位点坐标；

65、人员运动轨迹生成模块，用于根据多个人员定位点坐标，得到人员运动轨迹。

66、与现有技术相比，本发明的有益效果为：

67、1、采用现有已安装摄像头，无需额外添加设备、装置；

68、2、基于视觉识别，实现人员定位以及轨迹的追踪，不受室内外gis信号强弱影响；

69、3、构建厂站坐标系，对厂站内工作人员进行人员定位、轨迹追踪，实现巡检工作的可量化；

70、4、对人员进入厂站内危险区域，自动进行识别定位及跟踪，避免人员发生危险；

71、5、对厂站内意外闯入人员同样具有识别定位能力，辅助安防工作快速开展；

技术特征：

1.一种基于视觉识别的厂站人员定位方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于视觉识别的厂站人员定位方法，其特征在于，获取摄像头参数，具体包括以下步骤：

3.根据权利要求2所述的基于视觉识别的厂站人员定位方法，其特征在于，根据标准标定板图像，得到摄像头的内参和外参，具体包括以下步骤：

4.根据权利要求3所述的基于视觉识别的厂站人员定位方法，其特征在于，相机内参：，相机外参：；

5.根据权利要求4所述的基于视觉识别的厂站人员定位方法，其特征在于，根据摄像头参数、定位框坐标和厂站坐标系转换矩阵，得到摄像头坐标系下人员定位点坐标，具体包括以下步骤：

6.根据权利要求5所述的基于视觉识别的厂站人员定位方法，其特征在于，根据多个人员定位点坐标，得到人员运动轨迹，具体包括以下步骤：

7.根据权利要求6所述的基于视觉识别的厂站人员定位方法，其特征在于，通过卡尔曼滤波算法处理每个人员在不同摄像头监测下的坐标组数据，得到最终得到跟精确的人员定位坐标，具体包括以下步骤：

8.根据权利要求7所述的基于视觉识别的厂站人员定位方法，其特征在于，还包括以下步骤：

9.根据权利要求8所述的基于视觉识别的厂站人员定位方法，其特征在于，对图像进行人员识别，得到定位框坐标，具体包括以下步骤：

10.一种基于视觉识别的厂站人员定位系统，用于实现如权利要求1-9任一所述的基于视觉识别的厂站人员定位方法，其特征在于，包括：

技术总结
本发明公开一种基于视觉识别的厂站人员定位方法及系统，属于定位技术领域；该方法包括：获取摄像头参数；通过摄像头采集图像；对图像进行人员识别，得到定位框坐标；根据定位框坐标，得到人员图像信息；将人员图像信息与视觉数据库进行对比，得到工作人员身份；根据摄像头参数、定位框坐标和厂站坐标系转换矩阵，得到人员定位点坐标；根据多个人员定位点坐标，得到人员运动轨迹。本发明基于视觉识别，实现人员定位以及轨迹的追踪，不受室内外GIS信号强弱影响；构建厂站坐标系，对厂站内工作人员进行人员定位、轨迹追踪，实现巡检工作的可量化；对人员进入厂站内危险区域，自动进行识别定位及跟踪，避免人员发生危险。

技术研发人员：李戴伟,陈路,汪超儿,周婷婷,陈磁
受保护的技术使用者：悉望数智科技（杭州）有限公司
技术研发日：
技术公布日：2024/12/5