一种基于人工智能的虚拟现实汽车驾驶交互方法与流程

1.本发明涉及智能驾驶领域，具体而言，涉及一种基于人工智能的虚拟现实汽车驾驶交互方法。


背景技术：

2.随着经济技术的发展，汽车越来越普及。大多数新手驾驶人员不敢直接上路行驶，并且部分驾驶人员在拿到驾照几年以后才驾驶汽车上路，对倒车入库、侧方位停车缺乏持续训练，完成停车耗时耗力且容易引发磕碰。现有的虚拟驾驶技术多采用佩戴式vr设备，无法有效取得真实驾驶训练效果。因此，寻找效果逼真、训练效果良好的全息驾驶训练方式，对减少新手驾驶难度，提升驾驶乐趣，具有重要意义，同时虚拟现实技术与汽车技术结合,有效促进自动驾驶技术（如进行测试、开发）的进一步发展。


技术实现要素：

3.针对上述问题，本发明所要解决的技术问题是提供一种基于人工智能的虚拟现实汽车驾驶交互方法，实现了全息虚拟投影技术与汽车驾驶技术相结合，通过深度学习技术检测汽车与虚拟图像中目标是否发生碰撞，减少了驾驶人员在实际道路上发生碰撞，通过驾驶人员驾驶汽车与虚拟图像的交互训练，实现驾驶人员（尤其时新手）快速掌握倒车入库、侧方位停车等技巧，无需实际场地训练，安全环保的同时，极大节省了燃油，通过虚拟图像上红绿灯时间节点与汽车转向灯信号、车速信号结合，判定是否发生闯红绿灯等违法行为，汽车无需真正行驶，只需按比例设计汽车外形结构（即无需上路，无需发动机），根据汽车操作发送信号与虚拟全息图像交互实现驾驶，效果逼真的同时，极大节省成本，本技术可用来训练新手驾驶人员，也可用作自动驾驶测试及用于任何人员（获得驾照及未获得驾照人员）的体验驾驶娱乐。
4.为实现上述目的，达到上述技术效果，本发明是通过以下技术方案实现：一种基于人工智能的虚拟现实汽车驾驶交互装置，包括硬质虚拟墙、开合门、汽车外置摄像头、监控支架、监控摄像头、监控屏幕、处理器，其特征在于：四面硬质虚拟墙包围住汽车外壳，汽车外壳含方向盘、驾驶舱、换挡杆等。
5.优选的，硬质虚拟墙有开合门，方便人员进出。
6.优选的，硬质虚拟墙上有监控支架，采用标准铝型材作为监控支架，监控支架旁有螺栓连接的监控摄像头。
7.优选的，硬质虚拟墙外有处理器，实时处理汽车发出的信号与硬质虚拟墙上出现的图像，处理器连接有监控屏幕,实时查看硬质虚拟墙内情况。
8.优选的，汽车外置摄像头包含有4个摄像头，采用pe泡棉双面胶将摄像头粘贴在汽车前端、左右后视镜下方、后备箱处，用于拍摄车外虚拟墙图像。
9.优选的，汽车外壳包含方向盘、驾驶舱、换挡杆等装置与真实汽车尺寸、触感、操作反馈感一致。
10.优选的，汽车外置摄像头采集汽车前后左右图像，实现对投影墙组成的虚拟环境图像进行采集并融合形成全景图像。
11.优选的，汽车车速、前进方向与方向盘转向方向与虚拟环境进行交互，当汽车在d档向前行驶操作时前方虚拟环境图像向汽车方向靠近，踩油门加速时前方虚拟环境图像加速向汽车靠近，松油门减速时前方虚拟环境图像减速向汽车靠近，当汽车在r档向后行驶操作时后方虚拟环境图像向汽车方向靠近，向后行驶加速时踩油门后汽车后方虚拟环境图像加速向汽车靠近，松油门减速时汽车后方虚拟环境图像减速向汽车靠近，汽车转向时同理，利用相对运动原理，并且松踩油门时仅汽车码表发生增减，汽车本身不行驶，不含发动机，根据踩油门程度模拟实际码表速度，根据方向盘转动方向和圈数模拟实际转向，根据模拟实际码表速度、刹车信号、档位信号、方向盘转动方向和角度，虚拟环境做出相应变化，产生行驶感。
12.优选的，对汽车外置摄像头7采集的融合全景图像采用深度学习算法yolov5进行检测，检测出行人、汽车、障碍物后，通过检测目标与汽车相交面积判定是否碰撞，当判定检测目标与汽车相交面积超过阈值时，当判定碰撞以后汽车扬声器发生警报。
13.优选的，虚拟图像路线上设置闯红灯判定，若在播放红绿灯虚拟图像时间节点处根据转向信号和速度信号判定是否闯红灯，无转向信号（汽车转向灯信号）则为直行，此时虚拟图像时间节点处直行信号为红灯且汽车码表速度信号不为0则为闯直行红灯，同理，根据转向信号即汽车转向灯信号比对虚拟图像时间节点处左转或右转信号为红灯，若为红灯且汽车码表速度信号不为0则为闯转向方向红灯，发生闯红灯行为以后扬声器发出警报。
14.优选的，虚拟图像中包含侧方位停车环境和倒车入库环境，同样采用权利要求8相对运动原理，实现虚拟环境下驾驶员训练目的。
15.优选的，汽车的挡位信号、车速信号、对汽车外置摄像头包含的4个摄像头融合后的全景图像发送至处理器，通过处理器处理数据控制虚拟图像实现驾驶交互。
16.与现有技术相比，本发明具有如下有益效果：本发明通过虚拟现实技术实现路况再现，基于深度学习机器视觉技术实现虚拟图像与真实汽车的碰撞检测，减少刚获得驾照的新手驾驶员上路时磕碰情况，通过汽车信号与虚拟图像交互实现侧方位停车、倒车入库等情况的真实模拟，提高新手驾驶员对停车的熟练程度，即适用于刚学习驾驶人员训练，也可用于拿到驾照后长时间不开车的人员熟悉车辆，通过虚拟图像时间节点与汽车转向信息、汽车码表信息交互，实现闯红灯检测，有效培养、提升驾驶人员良好的驾驶习惯，本发明不仅适用于刚获得驾照的新手驾驶员熟悉真实路况、模拟停车，也适用于自动驾驶测试及未获得驾照人员训练及娱乐。
附图说明
17.图1是本发明虚拟现实汽车驾驶交互装置的结构示意图一；图2是本发明虚拟现实汽车驾驶交互装置的结构示意图二；图3是本发明虚拟现实汽车驾驶交互装置的结构示意图三；图4是本发明虚拟现实汽车驾驶交互装置的工作流程图。
18.图中标号：监控支架1、监控摄像头2、硬质虚拟墙3、监控屏幕4、处理器5、开合门6、汽车外置摄像头7、驾驶舱8、汽车外壳9。
具体实施方式
19.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
20.如图1-3所示的虚拟现实汽车驾驶交互装置，包括硬质虚拟墙3、开合门6、汽车外置摄像头7、监控支架1、监控摄像头2、监控屏幕4、处理器6，其特征在于：四面硬质虚拟墙3包围住汽车外壳9，汽车外壳9含方向盘、驾驶舱8、换挡杆等。
21.本实施例的一个具体应用为，硬质虚拟墙3有开合门6，方便人员进出。
22.硬质虚拟墙3上有监控支架1，采用标准铝型材作为监控支架1，监控支架1旁有螺栓连接的监控摄像头2。
23.硬质虚拟墙3外有处理器6，实时处理汽车发出的信号与硬质虚拟墙3上出现的图像，处理器连接有监控屏幕4,实时查看硬质虚拟墙3内情况。
24.汽车外置摄像头7包含有4个摄像头，采用pe泡棉双面胶将摄像头7粘贴在汽车前端、左右后视镜下方、后备箱处，用于拍摄车外虚拟墙图像。
25.汽车外壳9包含方向盘、驾驶舱8、换挡杆等装置与真实汽车尺寸、触感、操作反馈感一致。
26.汽车外置摄像头7采集汽车前后左右图像，实现对投影墙组成的虚拟环境图像进行采集并融合形成全景图像。
27.汽车车速、前进方向与方向盘转向方向与虚拟环境进行交互，当汽车在d档向前行驶操作时前方虚拟环境图像向汽车方向靠近，踩油门加速时前方虚拟环境图像加速向汽车靠近，松油门减速时前方虚拟环境图像减速向汽车靠近，当汽车在r档向后行驶操作时后方虚拟环境图像向汽车方向靠近，向后行驶加速时踩油门后汽车后方虚拟环境图像加速向汽车靠近，松油门减速时汽车后方虚拟环境图像减速向汽车靠近，汽车转向时同理，利用相对运动原理，并且松踩油门时仅汽车码表发生增减，汽车本身不行驶，不含发动机，根据踩油门程度模拟实际码表速度，根据方向盘转动方向和圈数模拟实际转向，根据模拟实际码表速度、刹车信号、档位信号、方向盘转动方向和角度，虚拟环境做出相应变化，产生行驶感。
28.对汽车外置摄像头7采集的融合全景图像采用深度学习算法yolov5进行检测，检测出行人、汽车、障碍物后，通过检测目标与汽车相交面积判定是否碰撞，当判定碰撞以后汽车扬声器发生警报。
29.虚拟图像路线上设置闯红灯判定，若在播放红绿灯虚拟图像时间节点处根据转向信号和速度信号判定是否闯红灯，无转向信号（汽车转向灯信号）则为直行，此时虚拟图像时间节点处直行信号为红灯且汽车码表速度信号不为0则为闯直行红灯，同理，根据转向信号（汽车转向灯信号）比对虚拟图像时间节点处左转或右转信号为红灯，若为红灯且汽车码表速度信号不为0则为闯转向方向红灯，发生闯红灯行为以后扬声器发出警报。
30.虚拟图像中包含侧方位停车环境和倒车入库环境，同样采用权利要求8相对运动原理，实现虚拟环境下驾驶员训练目的。
31.汽车的挡位信号、车速信号、对汽车外置摄像头7包含的4个摄像头融合后的全景图像发送至处理器5，通过处理器5处理数据控制虚拟图像实现驾驶交互。
32.以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

技术特征：
1.一种基于人工智能的虚拟现实汽车驾驶交互装置，包括硬质虚拟墙（3）、开合门（6）、汽车外置摄像头（7）、监控支架（1）、监控摄像头（2）、监控屏幕（4）、处理器（5），其特征在于：硬质虚拟墙（3）为四面，硬质虚拟墙（3）设置有开合门（6），硬质虚拟墙（3）包围住汽车外壳（9），汽车外壳（9）内含方向盘、驾驶舱（8）及换挡杆，硬质虚拟墙（3）上设置有监控支架（1），监控支架（1）通过螺栓连接监控摄像头（2）。2.根据权利要求1所述的基于人工智能的虚拟现实汽车驾驶交互装置，其特征在于：硬质虚拟墙（3）外设置有处理器（5），实时处理汽车发出的信号与硬质虚拟墙（3）上出现的图像，处理器连接监控屏幕（4）。3.根据权利要求1所述的基于人工智能的虚拟现实汽车驾驶交互装置，其特征在于：汽车外置摄像头（7）数量为四个，分别设置在汽车前端、左右后视镜下方及后备箱处。4.根据权利要求3所述的基于人工智能的虚拟现实汽车驾驶交互装置，其特征在于，所述汽车外置摄像头（7）采用pe泡棉双面胶粘贴于汽车前端、左右后视镜下方及后备箱处。5.使用权利要求1至4所述的基于人工智能的虚拟现实汽车驾驶交互装置实现的一种基于人工智能的虚拟现实汽车驾驶交互方法，其特征在于：包括以下步骤：1）汽车车速、前进方向及方向盘转向方向与虚拟环境进行交互；2）当汽车在d档向前行驶操作时前方虚拟环境图像向汽车方向靠近，踩油门加速时前方虚拟环境图像加速向汽车靠近，松油门减速时前方虚拟环境图像减速向汽车靠近；3）3d全息影像作出相应反馈。6.根据权利要求5所述的基于人工智能的虚拟现实汽车驾驶交互方法，其特征在于，所述2）还包括：当汽车在r档向后行驶操作时后方虚拟环境图像向汽车方向靠近，向后行驶加速时踩油门后汽车后方虚拟环境图像加速向汽车靠近，松油门减速时汽车后方虚拟环境图像减速向汽车靠近，汽车转向时同理，虚拟环境图像靠近转向相反方向。7.根据权利要求5所述的基于人工智能的虚拟现实汽车驾驶交互方法，其特征在于：所述3）还包括：对汽车外置摄像头（7）采集的融合全景图像采用深度学习算法yolov5进行检测，检测出行人、汽车、障碍物后，通过检测目标与汽车相交面积判定是否碰撞，当判定检测目标与汽车相交面积超过阈值时，当判定碰撞以后汽车扬声器发生警报。8.根据权利要求5所述的基于人工智能的虚拟现实汽车驾驶交互方法，其特征在于：所述3）还包括：在虚拟图像路线上设置闯红灯判定，在播放红绿灯虚拟图像时间节点处根据转向信号和速度信号判定是否闯红灯，无转向信号则为直行，此时虚拟图像时间节点处直行信号为红灯且汽车码表速度信号不为0则为闯直行红灯；根据转向信号比对虚拟图像时间节点处左转或右转信号为红灯，若为红灯且汽车码表速度信号不为0则为闯转向方向红灯，发生闯红灯行为以后扬声器发出警报。9.根据权利要求1所述的基于人工智能的虚拟现实汽车驾驶交互方法，其特征在于：所述步骤3）中的3d全息影像场景交互还包括侧方位停车环境和倒车入库环境。10.根据权利要求1所述的基于人工智能的虚拟现实汽车驾驶交互方法，其特征在于：汽车的挡位信号、车速信号、对汽车外置摄像头（7）包含的4个摄像头融合后的全景图像发送至处理器（5），通过处理器（5）处理数据控制虚拟图像实现驾驶交互。

技术总结
本发明公开了一种基于人工智能的虚拟现实汽车驾驶交互方法，结合深度学习技术与虚拟现实技术，可以实现全息虚拟投影技术下真实汽车（不含发动机）在虚拟环境下驾驶，采用深度学习技术检测汽车与虚拟图像中目标是否发生碰撞，采用汽车驾驶信息与虚拟图像交互技术实现倒车入库、侧方位停车等情景训练，通过虚拟图像上红绿灯时间节点与汽车转向灯信号、车速信号结合判定虚拟环境下闯红灯等违法行为。采用本发明的主要效果在于：机器视觉技术与虚拟现实技术相结合，不采用VR头盔等佩戴式设备实现虚拟现实驾驶交互，效果逼真且极大节省实地驾驶成本，本技术可用来训练新手驾驶人员，也可用作自动驾驶测试及用于任何人员体验驾驶娱乐。乐。乐。


技术研发人员：任飞 叶晓昶 牛凯
受保护的技术使用者：延锋伟世通电子科技（南京）有限公司
技术研发日：2021.11.30
技术公布日：2022/3/8