多模式光标移动的制作方法

本公开整体涉及使得能够基于手部跟踪来与三维(3d)环境中的元素进行交互的系统、方法和设备。

背景技术：

1、扩展现实(xr)系统在3d环境内提供内容，用户可经由各种输入机制与该内容进行交互。此类系统可能无法提供足够的交互功能，例如，就使用输入来提供以下两种交互而言：环境的3d空间中的交互(例如，使对象在3d中四处移动)，以及3d空间内的对象的表面上的交互(例如，控制对显示在3d空间内的2d用户界面上的对象的选择和操纵)。

技术实现思路

1、本文所公开的各种具体实施包括使得能够与扩展现实(xr)环境的(3d)空间内的虚拟元素进行交互的设备、系统和方法。交互可以是基于相对于用户手部运动跟踪而移动的光标(可见或不可见)来启用。一些具体实施使得能够使用两种模式，例如两种手部光标模式。第一模式允许用户的3d手部运动响应于将3d手部光标运动转换成2d手部光标运动而在二维(2d)平面(例如，ui或其他对象的表面)上移动手部光标(和/或虚拟光标)。例如，手部光标(和/或虚拟光标)可沿着在3d空间内显示的2d用户界面的平坦表面移动。第二模式允许用户的3d手部运动使手部光标在3d空间内移动而不将3d光标运动转换成2d光标运动。例如，手部光标和/或相关联的对象(例如，整个用户界面)可在3d空间内移动。在一些具体实施中，手部光标可与虚拟元素(诸如3d空间的用户界面)链接，使得虚拟元素与光标一起相对于六个自由度(6dof)移动。相对于6dof的移动允许手部光标和虚拟元素基于手部的3d移动在向前方向、向后方向、向左方向、向右方向、向上方向、向下方向、扭转方向/运动、倾斜方向/运动等上移动。

2、在一些具体实施中，第一模式可被自动启用直到第二模式被触发(或反之亦然)。例如，第二模式可响应于用户进行以下操作而被触发：将手部光标定位在指定对象类型(例如，可在3d空间内移动的对象、用户界面(ui)位置控制图标(其允许实现对象(例如，ui)拖放操作、拖动操作)等)上并且提供用户选择输入(例如，用户执行手指捏合操作)。在一些具体实施中，当用户释放选择输入(例如，用户终止手指捏合操作)时，可重新激活第一模式。在一些具体实施中，除非基于相对于2d平面的x-y维度在第三z维度中移动的任何类型的捏合和保持(或任何手部类型的)手势来触发第二模式，否则第一模式可适用。

3、在一些具体实施中，第一模式和第二模式可与被配置为使得手部的z运动能够动态地调节虚拟结构的大小的应用相关联。同样，第一模式和第二模式可响应于手部的移动(例如，使手部旋转或使手部在z维度上平移)而被触发，以修改应用的属性。

4、在一些具体实施中，可基于相对于来自虚拟现实(vr)控制器的输入移动的光标来启用与扩展现实(xr)环境的(3d)空间内的虚拟元素的交互。

5、在一些具体实施中，电子设备具有处理器(例如，一个或多个处理器)，该处理器执行存储在非暂态计算机可读介质中的指令以执行方法。该方法执行一个或多个步骤或过程。在一些具体实施中，呈现包括虚拟元素和光标的xr环境。在一些具体实施中，获得与手部在3d环境中的3d移动相对应的手部数据。在一些具体实施中，操作第一模式，使得手部的3d运动被转换成2d运动。在一些具体实施中，检测3d用户输入标准，并且作为响应，将操作模式修改为第二模式，在该第二模式中，维持手部的3d运动而不转换成2d运动。

6、根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且该一个或多个程序包括用于执行或使得执行本文所述的方法中的任一种方法的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，这些指令当由设备的一个或多个处理器执行时使该设备执行或使执行本文所述方法中的任一者。根据一些具体实施，一种设备包括：一个或多个处理器、非暂态存储器以及用于执行或使执行本文所述方法中的任一者的装置。

技术特征：

1.一种方法，所述方法包括：

2.根据权利要求1所述的方法，其中，基于所述第一模式中的所述操作，所述光标的光标移动被限制为2d运动。

3.根据权利要求1所述的方法，其中所述3d用户输入标准使得能够选择特定类型的ui元素。

4.根据权利要求3所述的方法，其中所述3d用户输入标准在提供选择输入时确定所述光标处于具有对象类型的对象上。

5.根据权利要求1所述的方法，其中所述3d用户输入标准包括执行用户手势并且使所述手部在z方向上移动。

6.根据权利要求5所述的方法，其中所述方法确定在维持所述用户手势的同时提供所述第二模式。

7.根据权利要求5所述的方法，其中所述用户手势包括捏合手势。

8.根据权利要求5所述的方法，所述方法还包括在维持所述用户手势的同时基于所述手部的所述3d运动来移动所述光标和所述虚拟对象两者。

9.根据权利要求5所述的方法，所述方法还包括基于确定所述用户手势已经被停止来确定提供所述第一模式。

10.根据权利要求1所述的方法，所述方法还包括使用所述第二模式来实现所述虚拟元素的3d移动。

11.根据权利要求1所述的方法，其中：

12.根据权利要求1所述的方法，所述方法还包括在维持所述用户手势的同时基于所述手部的所述3d运动来移动所述虚拟对象。

13.一种电子设备，所述电子设备包括：

14.根据权利要求13所述的电子设备，其中，基于所述第一模式中的所述操作，所述光标的光标移动被限制为2d运动。

15.根据权利要求13所述的电子设备，其中所述3d用户输入标准使得能够选择特定类型的ui元素。

16.根据权利要求15所述的电子设备，其中所述3d用户输入标准在提供选择输入时确定所述光标处于具有对象类型的对象上。

17.根据权利要求13所述的电子设备，其中所述3d用户输入标准包括执行用户手势并且使所述手部在z方向上移动。

18.根据权利要求17所述的电子设备，其中所述方法确定在维持所述用户手势的同时提供所述第二模式。

19.根据权利要求17所述的电子设备，其中所述用户手势包括捏合手势。

20.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储程序指令，所述程序指令能够经由电子设备的一个或多个处理器执行以执行包括以下各项的操作：

技术总结
提供了一种多模式光标移动。本文所公开的各种具体实施包括使得能够基于与跟踪用户手部运动相关联的光标移动来与三维(3D)环境中的元素进行多模式交互的设备、系统和方法。例如，过程可包括呈现包括虚拟元素和光标的扩展现实(XR)环境。该过程还可包括获得与手部在3D环境中的3D移动相对应的手部数据。该过程还可包括：在第一模式中进行操作，在该第一模式中，手部的3D运动被转换成二维(2D)运动；以及检测3D用户输入标准。响应于3D用户输入标准，将操作模式修改为第二模式，在该第二模式中，维持手部的3D运动而不转换成2D运动。

技术研发人员：J·H·劳伦斯,M·A·埃博勒,E·克日沃卢奇科
受保护的技术使用者：苹果公司
技术研发日：
技术公布日：2024/12/5