视频流和BIM模型虚实映射的标定方法及设备与流程

本发明涉及一种视频流和bim模型虚实映射的标定方法及设备。

背景技术：

1、建筑信息模型bim（building information modeling）是建筑学、工程学及土木工程的数字化新工具，将建筑的各种信息始终整合于一个三维模型信息数据库当中，提高建筑工程的信息集成化和数字化程度。随着公共建筑数字孪生技术的不断发展，智慧建筑更多地采用bim来实现建筑内部的精细化管理，但对于精细化bim三维模型中人员的精准定位映射仍是难点之一。

2、传统的室内定位方法受限于硬件设备与用户主动参与，往往无法满足现实需求的灵活性和即时性。目前常用的定位卡类方案存在精度不足、定位错误等问题；人脸抓拍机则是无法满足开放式的安防场景以及部署新设备成本较高。

技术实现思路

1、本发明的目的在于提供一种视频流和bim模型虚实映射的标定方法及设备。

2、为解决上述问题，本发明提供一种视频流和bim模型虚实映射的标定方法，包括：

3、步骤1：构建建筑的bim三维模型；

4、步骤2：通过标准黑白棋盘格的标定板，获取由摄像头的内参标定的被标定摄像头画面；

5、步骤3：将被标定摄像头画面的特征点与bim三维模型进行对照映射，以得到特征点的点位在被标定摄像头画面内的二维坐标和在bim三维模型的三维坐标q；

6、步骤4：基于特征点的点位在被标定摄像头画面内的二维坐标和在bim三维模型的三维坐标q，得到被标定摄像头画面与bim三维模型映射关系矩阵；

7、步骤5：对人脸进行抓拍识别，基于人脸进行抓拍识别与坐标映射关系矩阵，生成对应人员的移动轨迹。

8、进一步的，在上述方法中，步骤1：构建建筑的bim三维模型，包括：

9、步骤1.1：使用bim软件创建建筑物的bim三维模型，所述建筑bim三维模型，包括：建筑物的结构、内部布局以及房间内固定的配置物件；获取bim楼层标高d；在精细化bim三维模型中添加建筑内既有视频监控设备如摄像头的位置，并确定每个摄像头的空间信息，包括摄像头坐标r （ ,  ,  )及摄像头的朝向角度，将每个摄像头的空间信息集成至bim三维模型中；

10、步骤1.2：依据bim三维模型中房间的墙体和房间内固定的配置物件的空间信息，判断各个房间、走廊和通道的布局，以及楼梯与电梯的分布状况，使用网格化手段建立建筑内的空间路径拓扑，以获得网格化坐标点集。

11、进一步的，在上述方法中，步骤2：通过标准黑白棋盘格的标定板，获取由摄像头的内参标定的被标定摄像头画面，包括：

12、步骤2.1：制作内参标定用标准黑白棋盘格的标定板，其中，在标准黑白棋盘格的标定板上定义每个小正方形的格子的边长为s，共有个小正方形的格子；

13、步骤2.2：使用所述标准黑白棋盘格的标定板拍摄摄像头内参标定图像：将所述标定板置于摄像头所拍摄的画面当中，如图2所示，在所拍摄的画面中的对应i个区域内取标定图像，其中，每个区域内均将标定板的格子在全部可见的前提下尽量占满对应的一个区域，且确保标定板的格子在摄像头画面中清晰可见，每个区域取k张截图，作为该个区域的被标定摄像头画面，其中，五个区域的被标定摄像头画面分别为。

14、进一步的，在上述方法中，步骤3：将被标定摄像头画面的特征点与bim三维模型进行对照映射，以得到特征点的点位在被标定摄像头画面内的二维坐标和在bim三维模型的三维坐标q，包括：

15、步骤3.1：基于被标定摄像头画面与精细化bim三维模型，分别获取被标定摄像头画面内的的特征点点位的及bim三维模型上对应的特征点点位的；其中，特征点的定义为：点位在被标定摄像头画面中清晰可见，在bim三维模型中能找到与点位对应的点位；

16、步骤3.2：若在被标定摄像头画面与精细化bim三维模型中找到8对及以上特征点的点位、时，直接提取8对或以上特征点的点位中，所有特征点的点位在被标定摄像头画面内的二维坐标与在bim三维模型的三维坐标q；

17、步骤3.3：若仅找到7对及以下特征点点对时，从7对或以下特征点点对中，选取一对特征点记作基点，以基点为中心配合固定标定工具创造出特征点。

18、进一步的，在上述方法中，步骤3.3：若仅找到7对及以下特征点点对时，从7对或以下特征点点对中，选取一对特征点记作基点，以基点为中心配合固定标定工具创造出特征点，包括：

19、1）如果仅找到7对及以下特征点点对时，从7对或以下特征点点对中，选取一对特征点记作基点；

20、2）选取一根定长为e的杆子，用于垂直放置于地面上进行标定；

21、3）以基点为当前的原点出发，选取附近墙面作为参考面，以相较于参考面的角度向外选取当前的移动距离为，取得的地面点位为；

22、4）将定长为e的杆子垂直于地面放置于地面点位，定义杆子的顶端点位为，同时从被标定摄像头画面中截图，得到第一个外参标定图像，其中，能够清晰确认到与；

23、5）以新获取的地面点位为当前的原点，至少重复上述3）与4）步骤四次，同理分别以当前的长度获得至少四对点位与、与、与、与，即至少获取包括基点在内的共9个点位，并得到对应的外参标定图像集，其中为基点的图像；

24、6）如图4a和4b所示，通过外参标定图像集获取基点及其他点位p的二维坐标，并获取对应的在bim三维模型中的点位q，其中，基点对应的地面点位的坐标可直接从bim三维模型中读取，其余的点位q的三维坐标通过计算公式：

25、；

26、；

27、其中，为当前的原点p所对应的地面点位q的bim三维坐标，为当前的原点p所对应的顶端点位q的bim三维坐标；

28、x，y为当前的原点p之前的原点p所对应的地面点位q的的bim二维坐标；

29、z为当前的点位p之前的原点p所对应的地面点位q的的高度，如果是地面点位则为bim楼层标高d，若为杆子的顶端点位则为bim层高加杆长e；

30、为相较于当前的原点p的移动距离；

31、为移动向量与参考墙面的夹角，用于确定移动方向。

32、进一步的，在上述方法中，步骤4：基于特征点的点位在被标定摄像头画面内的二维坐标和在bim三维模型的三维坐标q，得到被标定摄像头画面与bim三维模型映射关系矩阵，包括：

33、步骤4.1：对摄像头镜头进行畸变校正，设置径向畸变模型为：

34、；

35、其中，（x，y）是未畸变的归一化图像坐标，（）是畸变后的图像坐标，为径向距离，是径向畸变系数；

36、步骤4.2：将步骤2.2中得到的内参标定图像即被标定摄像头画面输入至算法中，获得标定板中的某个方格的三维坐标

37、，其中，s为棋盘格中方格的边长，为棋盘格的宽度方向上的方格数量，为棋盘格的高度方向上的方格的数量，、为正整数；

38、步骤4.3：将被标定摄像头画面转化为灰度图；

39、步骤4.4：遍历灰度图寻找标定板中的每个方格的角点，记录每个角点的二维图像坐标，并将标定板中的每个方格的三维坐标添加至对象点列表

40、；

41、步骤4.5：使用鱼眼模型，通过calibrate函数进行相机标定，计算相机的内参矩阵k和畸变系数d：

42、；

43、其中，和是焦距在x和y方向的值，和是光心坐标；

44、；

45、其中，是径向畸变系数，

46、步骤4.6：基于径向畸变模型、内参矩阵k和畸变系数d，得到畸变图像坐标，以将畸变图像坐标映射至未畸变图像坐标：

47、

48、；

49、其中，是矫正后的未畸变图像坐标；

50、步骤4.7：基于内参矩阵k、畸变系数d和未畸变图像坐标，计算未进行畸变的特征点p与q的映射矩阵组，得到标定摄像头的内参矩阵、旋转矩阵和平移向量；

51、步骤4.8：结合摄像头坐标r与bim楼层标高d，基于所述内参矩阵、旋转矩阵和平移向量，得到坐标映射关系矩阵。

52、进一步的，在上述方法中，步骤5：对人脸进行抓拍识别，基于人脸进行抓拍识别与坐标映射关系矩阵，生成对应人员的移动轨迹，包括：

53、步骤5.1：基于标定摄像头的画面，对人脸进行抓拍，得到人脸抓拍记录；

54、步骤5.2：基于检索同一个人的一定时间段内所有人脸抓拍记录；

55、步骤5.3：提取所有检索到的同一人的人脸在画面中的二维坐标，形成二维坐标组，通过步骤4的坐标关系映射矩阵，计算出映射至bim三维模型的三维坐标组；

56、步骤5.4：将三维坐标组预先转换为，用于匹配网格化坐标；

57、其中，转换公式为：

58、，

59、步骤5.5：将处理完成的与步骤1.2中得到的网格化坐标点集按照最小距离法匹配，映射到bim三维模型地面上，得到最小距离点位；

60、其中，最小距离点位计算公式为：

61、，

62、的坐标点表示为,的坐标点表示为；

63、步骤5.6：将得到的最小距离点位依次按照最短路径法，得到最终的人员移动轨迹，将其绘制在bim三维模型中，得到最终人员轨迹。

64、进一步的，在上述方法中，步骤5.1：基于标定摄像头的画面，对人脸进行抓拍，得到人脸抓拍记录，包括：

65、1）当某个人q的人脸初次出现在画面中时，抓拍获取一条人脸抓拍记录，在人脸离开画面前的抓拍的所有人脸抓拍记录对应打上标记，q为不同人的编号；

66、2）当人脸保持在画面中时，每隔预设秒抓拍一条人脸抓拍记录；

67、3）当人脸离开画面时，抓拍获取一条人脸抓拍记录，释放某个人q所对应标记。

68、根据本发明的另一方面，还提供一种计算机可读存储介质，其上存储有计算机可执行指令，其中，该计算机可执行指令被处理器执行时使得该处理器：执行上述任一项所述的方法。

69、根据本发明的另一方面，还提供一种计算器设备，其中，包括：

70、处理器；以及

71、被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：执行上述任一项所述的方法。

72、与现有技术相比，本发明可以复用建筑内既有的固定监控探头，通过对监控探头的内外参数进行标定，通过空间映射将视频流中的人员的二维坐标转化为bim三维模型中的三维坐标，实现人员的精准位置定位，并可以还原人员的移动轨迹。本发明利用bim的空间数据和结构信息，精准分析和理解建筑内部的环境布局，从而提高人员的定位准确率和效率，绘制移动轨迹，实现数字化的安防管理。该方法相较于传统的定位卡或人脸抓拍机方案，不仅保留现有监控系统低成本优势，也显著提升了定位精度和实时追踪能力，节约了部署和维护费用。同时，通过软件算法实现坐标转换与轨迹生成，大幅提高了管理效率，具有广泛的应用前景和显著的技术优势。

技术特征：

1.一种视频流和bim模型虚实映射的标定方法，其特征在于，包括：

2.如权利要求1所述的视频流和bim模型虚实映射的标定方法，其特征在于，步骤1：构建建筑的bim三维模型，包括：

3.如权利要求2所述的视频流和bim模型虚实映射的标定方法，其特征在于，步骤2：通过标准黑白棋盘格的标定板，获取由摄像头的内参标定的被标定摄像头画面，包括：

4.如权利要求3所述的视频流和bim模型虚实映射的标定方法，其特征在于，步骤3：将被标定摄像头画面的特征点与bim三维模型进行对照映射，以得到特征点的点位在被标定摄像头画面内的二维坐标和在bim三维模型的三维坐标q，包括：

5.如权利要求4所述的视频流和bim模型虚实映射的标定方法，其特征在于，步骤3.3：若仅找到7对及以下特征点点对时，从7对或以下特征点点对中，选取一对特征点记作基点，以基点为中心配合固定标定工具创造出特征点，包括：

6.如权利要求5所述的视频流和bim模型虚实映射的标定方法，其特征在于，步骤4：基于特征点的点位在被标定摄像头画面内的二维坐标和在bim三维模型的三维坐标q，得到被标定摄像头画面与bim三维模型映射关系矩阵，包括：

7.如权利要求6所述的视频流和bim模型虚实映射的标定方法，其特征在于，步骤5：对人脸进行抓拍识别，基于人脸进行抓拍识别与坐标映射关系矩阵，生成对应人员的移动轨迹，包括：

8.如权利要求7所述的视频流和bim模型虚实映射的标定方法，其特征在于，步骤5.1：基于标定摄像头的画面，对人脸进行抓拍，得到人脸抓拍记录，包括：

9.一种计算机可读存储介质，其上存储有计算机可执行指令，其中，该计算机可执行指令被处理器执行时使得该处理器：执行如权利要求1至8任一项所述的方法。

10.一种计算器设备，其中，包括：

技术总结
本发明提供了一种视频流和BIM模型虚实映射的标定方法及设备，本发明可以复用建筑内既有的固定监控探头，通过对监控探头的内外参数进行标定，通过空间映射将视频流中的人员的二维坐标转化为BIM三维模型中的三维坐标，实现人员的精准位置定位，并可以还原人员的移动轨迹；本发明利用BIM的空间数据和结构信息，精准分析和理解建筑内部的环境布局，从而提高人员的定位准确率和效率，绘制移动轨迹，实现数字化的安防管理；本发明不仅保留现有监控系统低成本优势，也显著提升了定位精度和实时追踪能力，节约了部署和维护费用。同时，通过软件算法实现坐标转换与轨迹生成，大幅提高了管理效率，具有广泛的应用前景和显著的技术优势。

技术研发人员：关林皓,许璟琳,张铭,江凯,谈骏杰,黄轶,张淳毅
受保护的技术使用者：上海建工四建集团有限公司
技术研发日：
技术公布日：2024/12/5