一种基于机器视觉的数字孪生车机停车装置及使用方法与流程

1.本发明涉及智能停车领域，具体而言，涉及一种基于机器视觉的数字孪生车机停车装置即使用方法。


背景技术：

2.随着经济水平的提升，汽车保有量也越来越大。但是停车难的问题时有发生。车主无法及时得知空余车位数量和位置，导致车主驾驶汽车绕场许久却无法找到车位，发生难停、违停事件。而停车场管理者对违停事件采用人工巡逻方式，耗时耗力。现有的停车场也无法对汽车压线停车（一车占两个及以上车位）进行智能检测，并且普通数字孪生停车系统多采用地图引导，地下停车场中无法使用手机地图定位，此类数字孪生停车系统无法有效引导。此外，现有的停车系统，特别是也无法有效引导车主停车办完事后快速找到汽车位置。本系统可不用网络地图定位，仅采用视觉技术导航为车主快速找到空余停车位置与寻回已停汽车位置，也可用于管理智能停车场违停、乱停，对智能停车技术的发展具有重要意义。


技术实现要素：

3.针对上述问题，本发明所要解决的技术问题是提供一种基于机器视觉的数字孪生车机停车装置，将机器视觉与数字孪生技术相结合，不仅实现了停车位空位余量和空位位置在车机、后台同步显示镜像，并且有效检测、提醒违停并在虚拟空间中实时镜像显示，同时基于视觉检测、人脸识别技术实现停车空位位置导航与已停汽车位置寻找，避免了在地下车库无定位信号时无法导航的问题。
4.为实现上述目的，达到上述技术效果，本发明是通过以下技术方案实现：一种基于机器视觉的数字孪生车机停车装置，其特征在于：包括停车场监控模块、车机模块、后台处理模块，其中，停车场监控模块与车机模块均与后台处理模块信号连接；所述停车场监控模块包括设置在停车场内车位处的监控摄像头支架，所述监控摄像头支架上配合安装有监控摄像头和扬声器；所述车机模块包括相互信号连接的车机主体和车机显示屏；所述后台处理模块包括相互信号连接的后台处理器和后台显示器；所述停车位为矩形，其两侧标有线段完整的车位线，平行于汽车两侧方向的车位线完整不断开。
5.作为本发明的进一步改进，所述监控摄像头为度全景摄像头，所述扬声器置于监控摄像头旁。
6.作为本发明的进一步改进，所述后台处理器与后台显示器位于监控室内，接收、处理监控摄像头拍摄的图像。
7.一种基于机器视觉的数字孪生车机停车装置的使用方法，其特征在于：所述后台处理器用于将停车场的多个监控摄像头拍摄的停车场图像数据融合拼接实现停车场图像融合，采用unity构建相同实时的数字孪生停车场镜像，通过深度学习ssd算法检测车辆并通过deepsort算法跟踪车辆，并将车辆位置信息在对应数字孪生镜像中同步更新。
8.作为本发明的进一步改进，汽车停止运动时，通过ssd算法检测出车辆得到目标框信息以后，采用霍夫直线检测车辆目标框附近区域车位线，若检测出平行于车辆两侧方向处车位线不完整，则判定停车不规范(压线)，若未检测出存在平行于车辆两侧方向处车位线，则判定违规停车(未在车位内停车)。
9.作为本发明的进一步改进，若判定停车不规范(压线)或判定违规停车(未在车位内停车)分钟后，仍检测到同一辆车停车不规范(压线)或判定违规停车(未在车位内停车)现象，则扬声器语音播报提醒，拍摄包含车牌和停车位置图片上传，数字孪生镜像中同步显示车牌及停车位置信息并提醒监控人员停车位置异常，语音播报分钟后再次检测，若同一辆车（同样的车牌）仍不规范(压线)或违规停车(未在车位内停车)，则将图片上传至报警中心，报警中心确认停车异常后根据车牌号检索绑定手机号发送提醒短信。
10.作为本发明的进一步改进，所述车机同步接收unity构建的停车场数字孪生镜像信息，车机预先存储人脸图像，通过车机实现人脸与车牌绑定，即停车场监控摄像头检测人脸识别车主对应的车辆，车主在停车场寻车时，停车场监控摄像头通过检测人脸找到对应车辆车牌，并通过检测汽车车牌找到汽车停车位置，在数字孪生镜像空间中规划车主（人脸识别车主后确定车主位置）出前往车辆的路径，并将数字孪生镜像信息（包含停车场镜像信息、车主绑定的汽车位置信息和路线规划）通过服务器发送给用户手机。
11.作为本发明的进一步改进，深度学习算法ssd检测未停有汽车车位（即车位线中没有汽车），检测出未停有汽车车位个数即为空余车位个数，并实时在虚拟停车场镜像中更新，采用的ssd检测算法为输出的检测结果为汽车和未停有汽车车位（即车位线中没有汽车），通过训练汽车图片和未停有汽车车位（即车位线中没有汽车）图片得到检测权重。
12.作为本发明的进一步改进，所述后台处理器根据停车场监控摄像头实时更新虚拟停车场镜像，在虚拟停车场中显示空余车位位置，空余车位个数，汽车违停位置（包含不规范停车），车机接收停车场的数字孪生镜像，进入停车场时，仅实时接收显示停车场中空缺位置和自身定位信息，车位空缺位置和自身定位信息在数字孪生空间中计算并规划前往最近空缺位置路线并在车机显示屏中显示。
13.与现有技术相比，本发明具有如下有益效果：本发明通过机器视觉技术，将停车场空余位置实时镜像至数字孪生空间并发送给车机，同时，基于视觉检测技术检测汽车违停、不规范停车（压线）并通过数字孪生实时镜像，通过人脸识别技术绑定车主与对应汽车，在无网络定位的情况下实现车机寻找停车位导航、行人寻回汽车导航。本发明在传统数字孪生应用中融合视觉算法，提升车主、停车场管理者的体验度。
附图说明
14.图1是本发明一实施方式的数字孪生车机停车装置的结构示意图；图2是本发明一实施方式的数字孪生车机停车装置的结构示意图；图3是本发明一实施方式的数字孪生车机停车装置的结构示意图；图4是本发明一实施方式的数字孪生车机停车装置的工作流程图。
15.图中标号：监控摄像头支架1、监控摄像头2、扬声器3、车位线4、后台显示器5、后台处理器6、车机显示屏7。
具体实施方式
16.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
17.如图1-3所示，一种基于机器视觉的数字孪生车机停车装置，包括停车场监控模块、车机模块、后台处理模块，其中，停车场监控模块与车机模块均与后台处理模块信号连接；停车场监控模块包括设置在停车场内车位处的监控摄像头支架1，监控摄像头支架1上配合安装有监控摄像头2和扬声器3；车机模块包括相互信号连接的车机主体和车机显示屏7；后台处理模块包括相互信号连接的后台处理器6和后台显示器5；停车位为矩形，其两侧标有线段完整的车位线4，平行于汽车两侧方向的车位线完整不断开。
18.在本实施例中，监控摄像头2为360度全景摄像头，扬声器3置于监控摄像头2旁。
19.在本实施例中，后台处理器6与后台显示器5位于监控室内，接收、处理监控摄像头拍摄的图像。
20.如图4所示，一种基于机器视觉的数字孪生车机停车装置的使用方法，后台处理器6用于将停车场的多个监控摄像头2拍摄的停车场图像数据融合拼接实现停车场图像融合，采用unity构建相同实时的数字孪生停车场镜像，通过深度学习ssd算法检测车辆并通过deepsort算法跟踪车辆，并将车辆位置信息在对应数字孪生镜像中同步更新。
21.在本实施例中，汽车停止运动时，通过ssd算法检测出车辆得到目标框信息以后，采用霍夫直线检测车辆目标框附近区域车位线4，若检测出平行于车辆两侧方向处车位线4不完整，则判定停车不规范(压线)，若未检测出存在平行于车辆两侧方向处车位线4，则判定违规停车(未在车位内停车)。
22.在本实施例中，若判定停车不规范(压线)或判定违规停车(未在车位内停车)10分钟后，仍检测到同一辆车停车不规范(压线)或判定违规停车(未在车位内停车)现象，则扬声器3语音播报提醒，拍摄包含车牌和停车位置图片上传，数字孪生镜像中同步显示车牌及停车位置信息并提醒监控人员停车位置异常，语音播报30分钟后再次检测，若同一辆车同样的车牌仍不规范(压线)或违规停车(未在车位内停车)，则将图片上传至报警中心，报警中心确认停车异常后根据车牌号检索绑定手机号发送提醒短信。
23.在本实施例中，车机同步接收unity构建的停车场数字孪生镜像信息，车机预先存储人脸图像，通过车机实现人脸与车牌绑定，即停车场监控摄像头2检测人脸识别车主对应的车辆，车主在停车场寻车时，停车场监控摄像头2通过检测人脸找到对应车辆车牌，并通过检测汽车车牌找到汽车停车位置，在数字孪生镜像空间中规划车主人脸识别车主后确定车主位置出前往车辆的路径，并将数字孪生镜像信息包含停车场镜像信息、车主绑定的汽车位置信息和路线规划通过服务器发送给用户手机。
24.在本实施例中，深度学习算法ssd检测未停有汽车车位即车位线中没有汽车，检测出未停有汽车车位个数即为空余车位个数，并实时在虚拟停车场镜像中更新，采用的ssd检测算法为输出的检测结果为汽车和未停有汽车车位即车位线中没有汽车，通过训练汽车图片和未停有汽车车位即车位线中没有汽车图片得到检测权重。
25.在本实施例中，后台处理器根据停车场监控摄像头2实时更新虚拟停车场镜像，在
虚拟停车场中显示空余车位位置，空余车位个数，汽车违停位置包含不规范停车，车机接收停车场的数字孪生镜像，进入停车场时，仅实时接收显示停车场中空缺位置和自身定位信息，车位空缺位置和自身定位信息在数字孪生空间中计算并规划前往最近空缺位置路线并在车机显示屏7中显示。
26.以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

技术特征：
1.一种基于机器视觉的数字孪生车机停车装置，其特征在于：包括停车场监控模块、车机模块、后台处理模块，其中，停车场监控模块与车机模块均与后台处理模块信号连接；所述停车场监控模块包括设置在停车场内车位处的监控摄像头支架（1），所述监控摄像头支架（1）上配合安装有监控摄像头（2）和扬声器（3）；所述车机模块包括相互信号连接的车机主体和车机显示屏（7）；所述后台处理模块包括相互信号连接的后台处理器（6）和后台显示器（5）；所述停车位为矩形，其两侧标有线段完整的车位线（4）。2.根据权利要求1所述的一种基于机器视觉的数字孪生车机停车装置，其特征在于：所述监控摄像头（2）为360度全景摄像头，所述扬声器（3）置于监控摄像头（2）旁。3.根据权利要求1所述的一种基于机器视觉的数字孪生车机停车装置，其特征在于：所述后台处理器（6）与后台显示器（5）位于监控室内。4.根据权利要求1-3任意一项所述的一种基于机器视觉的数字孪生车机停车装置的使用方法，其特征在于：所述后台处理器（6）用于将停车场的多个监控摄像头（2）拍摄的停车场图像数据融合拼接实现停车场图像融合，采用unity构建相同实时的数字孪生停车场镜像，通过深度学习ssd算法检测车辆并通过deepsort算法跟踪车辆，并将车辆位置信息在对应数字孪生镜像中同步更新。5.根据权利要求4所述的一种基于机器视觉的数字孪生车机停车装置的使用方法，其特征在于：汽车停止运动时，通过ssd算法检测出车辆得到目标框信息以后，采用霍夫直线检测车辆目标框附近区域车位线（4），若检测出平行于车辆两侧方向处车位线（4）不完整，则判定停车不规范，若未检测出存在平行于车辆两侧方向处车位线（4），则判定违规停车。6.根据权利要求4所述的一种基于机器视觉的数字孪生车机停车装置的使用方法，其特征在于：若判定停车不规范或判定违规停车10分钟后，仍检测到同一辆车停车不规范或判定违规停车现象，则扬声器（3）语音播报提醒，拍摄包含车牌和停车位置图片上传，数字孪生镜像中同步显示车牌及停车位置信息并提醒监控人员停车位置异常，语音播报30分钟后再次检测，若同一辆车仍不规范或违规停车，则将图片上传至报警中心，报警中心确认停车异常后根据车牌号检索绑定手机号发送提醒短信。7.根据权利要求4所述的一种基于机器视觉的数字孪生车机停车装置的使用方法，其特征在于：所述车机同步接收unity构建的停车场数字孪生镜像信息，车机预先存储人脸图像，通过车机实现人脸与车牌绑定，即停车场监控摄像头（2）检测人脸识别车主对应的车辆，车主在停车场寻车时，停车场监控摄像头（2）通过检测人脸找到对应车辆车牌，并通过检测汽车车牌找到汽车停车位置，在数字孪生镜像空间中规划车主出前往车辆的路径，并将数字孪生镜像信息通过服务器发送给用户手机。8.根据权利要求4所述的一种基于机器视觉的数字孪生车机停车装置的使用方法，其特征在于：深度学习算法ssd检测未停有汽车车位，检测出未停有汽车车位个数即为空余车位个数，并实时在虚拟停车场镜像中更新，采用的ssd检测算法为输出的检测结果为汽车和未停有汽车车位，通过训练汽车图片和未停有汽车车位图片得到检测权重。9.根据权利要求4所述的一种基于机器视觉的数字孪生车机停车装置的使用方法，其特征在于：所述后台处理器根据停车场监控摄像头（2）实时更新虚拟停车场镜像，在虚拟停车场中显示空余车位位置，空余车位个数，汽车违停位置（包含不规范停车），车机接收停车场的数字孪生镜像，进入停车场时，仅实时接收显示停车场中空缺位置和自身定位信息，车
位空缺位置和自身定位信息在数字孪生空间中计算并规划前往最近空缺位置路线并在车机显示屏（7）中显示。

技术总结
本发明公开了一种基于机器视觉的数字孪生车机停车装置，结合机器视觉技术与数字孪生技术，可以在车机和后台通过数字孪生技术显示停车位空余位个数和停车位空余位位置并通过视觉跟踪技术在车机上引导汽车至停车位，采用深度学习技术检测车辆、视觉检测算法检测汽车是否违停、不规范停车并通过数字孪生系统实时镜像，通过人脸识别技术与视觉检测技术实现车主与汽车绑定，结合机器视觉数字孪生技术实现车主快速寻回汽车。采用本发明主要效果在于：采用深度学习视觉技术与数字孪生技术结合，实现停车位导航与管理，极大提升车主体验度、节省停车管理难度，本技术以机器视觉技术为核心，数字孪生技术为前端，极大方便用户停车与车位管理。车位管理。车位管理。


技术研发人员：任飞 叶晓昶 牛凯
受保护的技术使用者：延锋伟世通电子科技（南京）有限公司
技术研发日：2021.11.29
技术公布日：2022/3/8