一种高沉浸感人机交互的虚拟驾驶车辆测试系统的制作方法

本发明涉及虚拟驾驶相关领域，具体为一种高沉浸感人机交互的虚拟驾驶车辆测试系统。

背景技术：

1、在目前的虚拟驾驶车辆测试领域，主要集中于评估车辆的硬件性能和软件功能，如传感器精度、数据处理速度及自动化控制系统的效率。尽管如此，车辆与驾驶员或乘客之间的人机交互(hmi)系统往往没有获得充分的关注。这一系统是提高车辆可靠性和乘客体验的关键因素。

2、人机交互系统涵盖所有使用户能够与车辆互动的技术，包括触控界面、语音命令系统和安全警告机制等。一个高效的人机交互系统不仅能提升乘客的安全感，也能增强用户对自动驾驶技术的信任，并改善乘坐体验。例如，直观的用户界面能帮助用户清晰了解车辆状态和预计行为，而高效的语音交互系统能在需要时提供即时帮助。

3、因此，开发一个高沉浸感的人机交互测试系统变得至关重要。这种测试系统需要能够模拟现实生活中的各种场景，包括常规操作和紧急情况下的用户反应。利用虚拟现实(vr)或增强现实(ar)技术，可以创造出一个既控制又富有真实感的测试环境，允许测试者全面评估交互设计是否人性化，是否能在关键时刻有效提供支持。

4、此外，一个先进的人机交互测试系统还应该包括用户体验(ux)的综合评估。通过分析用户在模拟环境中的行为、生理反应和反馈，可以评估用户的满意程度和交互界面的易用性。这种方法不仅有助于识别和解决潜在的交互问题，还能提高虚拟驾驶车辆的整体可靠性和市场接受度。这种测试平台的研发和完善，对于推动虚拟驾驶车辆技术的商业化和普及化具有重要意义。

技术实现思路

1、本发明的目的在于提供一种高沉浸感人机交互的虚拟驾驶车辆测试系统，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：一种高沉浸感人机交互的虚拟驾驶车辆测试系统，包括：虚拟现实模块、数据库输入模块、人机交互模块、控制系统模块和数据记录与分析模块，所述虚拟现实模块：用于创建虚拟驾驶环境，包括城市道路、高速高架公路、乡村道路若干个种驾驶场景，所述虚拟现实模块采用高分辨率显示屏，以实现沉浸感视觉体验；

3、所述数据库输入模块：通过数据库中的数据组合成车辆周围环境信息，并生成详细的环境模型；

4、人机交互模块：包括驾驶员输入设备，具体为方向盘、踏板、触摸屏；反馈设备，具体为力反馈系统、振动系统，用于实现驾驶员与系统之间的互动；

5、控制系统模块：用于处理虚拟现实模块和多传感器融合模块的数据，并根据人机交互模块的输入进行实时控制车辆的行为；

6、用于记录测试过程中的控制系统模块和人机交互模块数据，并对数据进行分析，用于优化人机交互设计和提升虚拟驾驶车辆的性能。

7、优选的，所述虚拟现实模块具体包括以下内容：

8、a、虚拟现实模块包括以下组件：高分辨率显示设备：高清巨幕显示器，提供逼真的视觉效果；计算设备：高性能计算机或服务器，用于生成和渲染虚拟环境；音频输出设备：高保真音响系统或耳机，提供三维空间音效增强沉浸感；

9、b、虚拟现实模块通过以下步骤创建虚拟驾驶环境：场景建模：利用3d建模软件创建详细的驾驶场景，包括城市道路、高速高架公路和乡村道路，场景中应包括交通标志、行人、其他车辆和自然环境元素；纹理与光照：采用高分辨率的纹理和先进的光照技术渲染场景，增强视觉的真实性和细节；物理模拟：集成物理引擎，具体采用nvidia physx模拟真实的物理现象，如碰撞、摩擦力和天气变化，提高环境的互动性和可靠性；

10、c、虚拟驾驶环境包含多种驾驶场景，以满足不同测试需求，具体为：城市道路：复杂的交通状况，包括十字路口、红绿灯、行人过街；高速高架公路：高速度下的车道变化、超车、紧急刹车情况；乡村道路：狭窄道路、急转弯、崎岖路面条件。

11、优选的，所述数据库输入模块包括以下内容：

12、a、数据库内的数据采集构成：激光雷达模拟数据：用于高精度的3d点云数据生成；雷达模拟数据：用于模拟在恶劣条件下测量速度和距离数据；摄像头模拟数据；用于提供高分辨率的视觉信息，识别颜色、纹理和形状细节，其中视觉信息通过rgb摄像头采集数据、深度摄像头采集数据、红外摄像头采集数据构成；

13、b、数据收集：激光雷达模拟数据：采用高频率扫描收集点云数据，形成三维环境模型，具体扫描频率采用10hz-20hz之间；雷达模拟数据：收集反射信号，计算物体的位置、距离和相对速度；摄像头模拟数据：通过立体视觉或结构光技术获取深度信息，捕捉二维图像和视频数据，用于物体识别、区域监测和辅助导航；

14、c、数据处理：

15、数据预处理：激光雷达模拟数据：滤除噪声点和异常数据，提高点云的质量；雷达模拟数据：信号处理及目标检测，具体通过fft分离不同物体；摄像头模拟数据：图像预处理，具体通过去噪、白平衡和图像增强；

16、同步与校准：时间同步：保证激光雷达模拟数据、雷达模拟数据和摄像头模拟数据在同一时间基准上；空间校准：基于车辆参考系对激光雷达模拟位置、雷达模拟位置和摄像头模拟位置进行空间校准，确保数据融合的准确性；标定工具：利用标定板、激光校准器工具进行精确标定；

17、d、数据信息融合：

18、数据库数据的融合：使用几何变换将不同传感器的数据投影到同一坐标系下，具体为激光雷达的点云数据与摄像头的图像数据进行配准，并通过多帧融合构建高精度的3d模型，使用slam算法进行实时建图和定位；

19、数据结构管理：点云数据处理：利用八叉树数据结构快速处理激光雷达点云数据，实现物体检测及场景理解；图像处理：采用卷积神经网络进行摄像头采集图像特征提取和目标识别；雷达模拟数据处理：对雷达的频域和时域数据处理，检测和跟踪移动目标；

20、e、环境模型生成：基于摄像头模拟数据和雷达模拟数据形成的二维栅格图，形成二维环境模型，用于平面上的路径规划；基于激光雷达的点云数据和摄像头的深度信息生成三维模型，创建氧格格图和数字高程图，提高环境感知精度。

21、优选的，所述数据库数据的融合中激光雷达的点云数据与摄像头的图像进行配准的具体步骤如下：

22、步骤s1、摄像头内参标定：使用标定板拍摄多张图片，通过opencv工具进行标定，获得摄像头内参矩阵k和畸变系数\mathbf{d}，具体公式如下：

23、

24、其中(fx，fy)是焦距，(cx，cy)是主点坐标；

25、步骤s2、激光雷达与摄像头外参标定：通过配准标定板，同时获取点云和图像数据，进行手动或自动配准，计算两者之间的外参变换矩阵\mathbf{r}和平移向量\mathbf{t}，具体计算公式如下：

26、

27、步骤s3、点云数据处理：通过统计滤波、半径滤波方法，移除点云中的离群点和噪声点；使用体素滤波方法降低点云数据密度，提高处理效率；

28、步骤s4、将处理好的激光雷达的点云数据投影到摄像头的图像平面上，其中点云坐标(\mathbf{p}{lidar}{pmatrix}x{lidar}&y{lidar}&z{lidar}&1{pmatrix}t)表示在激光雷达坐标系中的点，具体为：

29、使用外参矩阵\mathbf{t}将激光雷达点云坐标转换为摄像头坐标系\mathbf{p}{cam}：

30、[\mathbf{p}{cam}＝\mathbf{t}·\mathbf{p}{cam}]

31、投影到图像平面，使用摄像头内参矩阵k：[\mathbf{p}{img}＝\mathbf{k}·\mathbf{p}{cam}]，其中(\mathbf{p}{cam}{pmatrix}x{cam}&y{cam}&z{cam}{pmatrix}t)；

32、最后将齐次坐标转换为图像像素坐标(u，v)，并进行归一化：[u＝\frac{x{cam}}{z{cam}}，\quad v＝\frac{y{cam}}{z{cam}}]；

33、步骤s5、在图像中绘制投影点：根据上一步得到的像素坐标(u，v)，将对应的点云点绘制在图像上，对点云中的深度或者强度进行颜色编码，叠加到图像以增强展示效果，再从图像上获取该点的rgb值，并赋予点云对应点颜色，实现点云的彩色显示。

34、优选的，所述人机交互模块具体包括以下内容：

35、驾驶员输入设备：方向盘：用于控制车辆的转向，其中方向盘上设置有角度传感器、电子助力转向系统和力反馈装置，具体的，通过角度传感器获取方向盘的转动角度；电子助力转向系统提供辅助转向力，减少驾驶员操作的力度；通过力反馈电机向驾驶员传递路面信息，如碰撞和摩擦等，使驾驶感觉更真实；踏板：包括油门踏板和刹车踏板，用于控制车辆的加速和减速，其中踏板上设置有位置传感器和线控系统，位置传感器用于检测踏板位置，线控系统用于代替传统机械控制，提升相应速度和精度；触摸屏：用于交互式显示和用户输入；

36、反馈设备：力反馈系统：通过电机或致动器向方向盘施加反向力矩，模拟路面反馈和操纵稳定性，在踏板上增加反作用力，提供真实的踩踏感；振动反馈系统：通过座椅下的振动电机或执行器提供震动反馈，方向盘内置振动装置，用于提醒驾驶员注意；视觉反馈：将导航、速度重要信息投影到挡风玻璃上，使驾驶员无需低头查看仪表盘，通过lcd或oled显示器提供车辆状态和警告信息；听觉反馈：通过车载扬声器提供语音导航、警告和操作提示，过蜂鸣器或扬声器发出警告音。

37、优选的，控制系统模块具体包括以下内容：

38、数据处理与集成：虚拟现实模块数据处理：将虚拟现实模块的数据数换为被车辆控制系统所识别和处理的格式；数据库输入模块数据处理：同步来自数据库中激光雷达模拟数据、雷达模拟数据和摄像头模拟数据，确保时间和空间一致性，使用卡尔曼滤波算法对上述同步数据进行融合，提高数据质量和准确性；

39、实时控制逻辑：人机交互数据解析：解析驾驶员通过驾驶员输入设备表达的操作意图；决策与执行：根据人机交互数据解析收集来的数据、多传感器融合模块数据和预设的行车策略，计算机算法决定车辆最优行驶方案；

40、人机协同：驾驶员意图反馈：通过仪表盘、hud方式，实时反馈实时控制逻辑的识别结果和操作意图给驾驶员，确保驾驶员了解车辆状态和即将执行的操作；手动和自动驾驶切换：在自动驾驶和手动驾驶之间平滑切换，确保驾驶安全和舒适。

41、优选的，所述根据人机交互数据解析收集来的数据和预设的行车策略，计算机算法决定车辆最优行驶方案的具体步骤如下：

42、步骤a、首先从人机交互数据解析中获取数据，其中具体包括车辆位置信息、摄像头模拟数据、雷达模拟数据和激光雷达模拟数据，还有车辆速度、加速度、方向盘角度数据；

43、步骤b、对步骤a中收集的数据对车辆周围环境进行建模，具体使用扩展卡尔曼滤波器进行建模：

44、[\hat{x}{t}＝f(\hat{x}{t-1}，u{t-1})+w{t-1}]

45、[zt＝h(\hat{x}t)+vt]

46、其中，\hat{x}{t}是当前状态估计，u{t-1}是上一时刻的控制输入，f是状态转移函数，w{t-1}是过程噪声，zt是当前观测，h是观测函数，vt是观测噪声；

47、步骤c、基于环境模型和车辆的多传感器融合模块数据，通过rrt路径规划算法计算出从车辆当前位置到目标位置的最佳路径；

48、步骤d、得到最佳路径后使用pid算法生产具体的控制指令，得到最优行驶方案，具体算法公式如下：

49、[u(t)＝kpe(t)+ki∫e(t)dt+kd\frac{de(t){dt}}]

50、其中，u(t)是控制输入，e(t)是速度误差，kp、ki、kd是pid控制器的增益。

51、优选的，本发明提供一种电子设备，包括：处理器和存储器，其中，所述存储器中存储有可供处理器调用的计算机程序；

52、所述处理器通过调用所述存储器中存储的计算机程序，执行以实施一种高沉浸感人机交互的虚拟驾驶车辆测试系统。

53、优选的，一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施一项所述的一种高沉浸感人机交互的虚拟驾驶车辆测试系统。

54、与现有技术相比，本发明的有益效果是：

55、1、提升车辆可靠性：通过全面测试人机交互系统，可以发现并解决潜在的交互问题，从而提高虚拟驾驶车辆的整体可靠性和安全性。

56、2、改善用户体验：优化的人机交互系统将使乘客更容易理解车辆状态和操作，提升用户对技术的信任感，从而改善乘车体验。

57、3、增强市场接受度：一个高效、人性化的人机交互系统将提高虚拟驾驶车辆的市场接受度，促进其商业化和普及化进程。

58、4、提高安全性：及时、有效的交互系统可以在紧急情况下提供必要的支持和信息，从而增强乘客的安全感，减少事故发生的可能性。

59、5、推动技术创新：通过对用户行为和反馈的综合评估，可以为交互设计提供宝贵的反馈，推动虚拟驾驶车辆技术的持续创新和发展。

60、总的来说，人机交互测试系统的开发将有助于提高虚拟驾驶车辆的整体性能和用户体验，推动这一领域的发展并促进其商业应用。

技术特征：

1.一种高沉浸感人机交互的虚拟驾驶车辆测试系统，包括：虚拟现实模块、数据库输入模块、人机交互模块、控制系统模块和数据记录与分析模块，其特征在于，所述虚拟现实模块：用于创建虚拟驾驶环境，包括城市道路、高速高架公路、乡村道路若干个种驾驶场景，所述虚拟现实模块采用高分辨率显示屏，以实现沉浸感视觉体验；

2.根据权利要求1所述的一种高沉浸感人机交互的虚拟驾驶车辆测试系统，其特征在于：所述虚拟现实模块具体包括以下内容：

3.根据权利要求1所述的一种高沉浸感人机交互的虚拟驾驶车辆测试系统，其特征在于：所述数据库输入模块包括以下内容：

4.根据权利要求3所述的一种高沉浸感人机交互的虚拟驾驶车辆测试系统，其特征在于：所述数据库数据的融合中激光雷达的点云数据与摄像头的图像进行配准的具体步骤如下：

5.根据权利要求1所述的一种高沉浸感人机交互的虚拟驾驶车辆测试系统，其特征在于：所述人机交互模块具体包括以下内容：

6.根据权利要求1所述的一种高沉浸感人机交互的虚拟驾驶车辆测试系统，其特征在于：所述控制系统模块具体包括以下内容：

7.根据权利要求6所述的一种高沉浸感人机交互的虚拟驾驶车辆测试系统，其特征在于：所述根据人机交互数据解析收集来的数据和预设的行车策略，计算机算法决定车辆最优行驶方案的具体步骤如下：

8.一种电子设备，其特征在于，包括：处理器和存储器，其中，所述存储器中存储有可供处理器调用的计算机程序；

9.一种存储在计算机可读介质上的计算机程序产品，其特征在于：包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施如权利要求1-7任意一项所述的一种高沉浸感人机交互的虚拟驾驶车辆测试系统。

技术总结
本发明涉及虚拟驾驶相关领域，具体为一种高沉浸感人机交互的虚拟驾驶车辆测试系统，本发明通过模拟各种交互场景，包括紧急和非标准操作，测试系统可以帮助发现并修正可能导致安全问题的设计缺陷。这种全面的测试保证了虚拟驾驶车辆在实际的真实世界中的行为更加安全可靠；通过高度真实的交互模拟，设计师可以更好地理解用户需求和偏好；利用虚拟现实和增强现实技术，测试和迭代过程可以在没有物理原型的情况下进行，大大减少了开发时间和成本，同时保持高标准的性能和可靠性；通过模拟各种潜在的使用情境，设计师可以在早期阶段识别并应对设计中的问题，这种前瞻性的测试方法使得最终产品更加灵活适应未来的技术和市场变化。

技术研发人员：姜慧,王思焱
受保护的技术使用者：浙江科驰智能科技有限公司
技术研发日：
技术公布日：2024/12/5