3D环境中的输入识别的制作方法

本公开整体涉及评估用户与电子设备的涉及手部和身体姿势、凝视、语音和/或其他用户活动的交互。

背景技术：

1、现有的用户交互系统可在基于用户活动来促进交互方面得到改进。

技术实现思路

1、本文所公开的各种具体实施包括当用户与定位在三维(3d)空间诸如扩展现实(xr)环境内的虚拟元素(例如，用户界面元素)交互时解释用户活动的设备、系统和方法。一些具体实施使得用户能够与在利用另选的输入模态的3d环境中显示的虚拟元素进行交互，例如将用户活动解释为与虚拟元素的直接交互或间接交互的xr环境。可基于传感器数据(例如，图像、深度传感器数据、由用户持有或佩戴的设备的运动数据等)和/或使用一个或多个模态区分标准来确定是否应当使用多个输入模态方案中的一者(例如，使用直接解释进程或间接解释进程)来解释用户活动。

2、在一些具体实施中，xr环境可使得用户能够使用(a)直接输入模态和(b)间接输入模态两者来提供输入，在该直接输入模态中，用户通过虚拟地触摸虚拟内容(和/或如经由一个或多个接近度标准确定的靠近虚拟内容)来与虚拟内容交互，在该间接输入模态中，用户使用凝视、指向手势、输入设备等与虚拟内容交互以在不必虚拟地触摸或靠近虚拟内容的情况下与该内容交互。

3、在一些具体实施中，对于直接交互，虚拟元素(例如，用户界面(ui)元素)基于用户的手部位置和与虚拟元素相关联的3d区域相交(或如经由一个或多个接近度标准确定的靠近该3d区域)来标识。基于确定直接输入模态是可适用的，应用直接交互识别进程来解释用户活动，例如，确定手势/手部运动是否是轻击、轻扫等。在此类用户活动期间，手部(或其他身体部位)通过虚拟地接触ui元素来虚拟地与虚拟元素交互。例如，用户可移动他们的手指以直接轻击、捏合、轻扫或以其他方式与3d空间内的ui元素交互。

4、在一些具体实施中，对于间接交互，作为用户交互的主题的虚拟元素以另一种方式(例如基于用户的凝视方向和相关联的手部姿势)被标识。基于确定间接输入模态是可适用的，应用间接交互识别进程来将用户活动(例如，凝视方向和相关联的手部捏合)解释为发起或执行关于凝视标识的虚拟元素的动作。例如，在手部不需要接触或接近3d空间中的ui元素的意义上，用户活动可以是间接的。例如，当ui在3d空间中相对于用户的视点(例如，用户在3d空间中的位置)以一定距离显示时，手势可在用户的手部搁置在用户的一侧或以其他方式靠近用户时由用户的手部来执行。

5、在一些具体实施中，处理器通过执行存储在计算机可读介质上的指令来执行方法。该方法涉及获得与手部在3d空间中的位置相关联的手部数据。该手部数据可以是基于第一传感器数据(例如，使用hmd上的面向外的图像传感器)获得的，并且该手部位置可与手部姿势相关联。该方法涉及获得与凝视在3d空间中的方向相关联的凝视数据。该凝视数据可以是基于第二传感器数据(例如，基于捕获手部的图像的hmd上的面向外的图像和/或深度传感器)获得的。

6、该方法涉及选择直接交互模式。该直接交互模式可以是手动或自动选择的。在一些具体实施中，基于标准(例如，基于3d空间中的用户手部位置和虚拟对象的位置满足彼此的空间关系)来自动选择直接交互模式。根据选择直接交互模式，该方法涉及基于标识出手部的位置与和第一虚拟对象在对应于3d空间的xr环境中的位置相关联的第一区域相交来标识与第一虚拟对象的第一交互。

7、该方法还涉及在直接交互模式之前或之后选择间接交互模式。这种模式可以是自动或手动选择的。在一些具体实施中，基于自动确定不满足针对直接交互模式的标准来选择间接交互模式。根据选择间接交互模式，该方法涉及基于标识出凝视方向与和第二虚拟对象在xr环境中的位置相关联的第二区域相交来标识与第二虚拟对象的第二交互。

8、根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且该一个或多个程序包括用于执行或使得执行本文所述的方法中的任一种方法的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，这些指令当由设备的一个或多个处理器执行时使该设备执行或使执行本文所述方法中的任一者。根据一些具体实施，一种设备包括：一个或多个处理器、非暂态存储器以及用于执行或使执行本文所述方法中的任一者的装置。

技术特征：

1.一种方法，所述方法包括：

2.根据权利要求1所述的方法，其中所述直接交互模式和间接交互模式是基于在所述xr环境中手部位置到虚拟对象的位置的接近度来选择的，其中所述间接交互模式是在所述xr环境中的手部位置与和所述xr环境中的所述虚拟对象相关联的区域相交的情况下选择的。

3.根据权利要求1所述的方法，其中标识与所述第二虚拟对象的所述第二交互还基于标识与所述凝视方向发生的手势，所述凝视方向使所述凝视所述第二区域相交。

4.根据权利要求1所述的方法，其中标识与所述第一虚拟对象的所述第一交互包括基于所述手部的移动路径来确定用户界面上的输入位置。

5.根据权利要求1所述的方法，其中标识与所述第一虚拟对象的所述第一交互包括基于所述手部的移动路径来确定所述手势是否是轻击手势。

6.根据权利要求1所述的方法，其中标识与所述第一虚拟对象的所述第一交互包括：

7.根据权利要求1所述的方法，其中标识与所述第一虚拟对象的所述第一交互包括：

8.根据权利要求1所述的方法，其中标识与所述第二虚拟对象的所述第二交互包括：

9.根据权利要求1所述的方法，其中标识与所述第二虚拟对象的所述第二交互包括：

10.根据权利要求9所述的方法，其中标识与所述第二虚拟对象的所述第二交互还包括：

11.根据权利要求1所述的方法，所述方法还包括：

12.一种系统，所述系统包括：

13.根据权利要求12所述的系统，其中所述直接交互模式和间接交互模式是基于在所述xr环境中手部位置到虚拟对象的位置的接近度来选择的，其中所述间接交互模式是在所述xr环境中的手部位置与和所述xr环境中的所述虚拟对象相关联的区域相交的情况下选择的。

14.根据权利要求12所述的系统，其中标识与所述第二虚拟对象的所述第二交互还基于标识与所述凝视方向同时发生的手势，所述凝视方向使所述凝视所述第二区域相交。

15.根据权利要求12所述的系统，其中标识与所述第一虚拟对象的所述第一交互包括基于所述手部的移动路径来确定用户界面上的输入位置。

16.根据权利要求12所述的系统，其中标识与所述第一虚拟对象的所述第一交互包括基于所述手部的移动路径来确定所述手势是否是轻击手势。

17.根据权利要求12所述的系统，其中标识与所述第一虚拟对象的所述第一交互包括：

18.根据权利要求12所述的系统，其中标识与所述第一虚拟对象的所述第一交互包括：

19.根据权利要求12所述的系统，其中标识与所述第二虚拟对象的所述第二交互包括：

20.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储程序指令，所述程序指令能够经由一个或多个处理器执行，以执行操作包括：

技术总结
本公开涉及3D环境中的输入识别。本文所公开的各种具体实施包括当用户与定位在三维(3D)空间诸如扩展现实(XR)环境内的用户界面(UI)元素交互时解释用户活动的设备、系统和方法。一些具体实施使得用户能够与在利用另选的输入模态的3D环境中显示的虚拟元素进行交互，例如将用户活动解释为与虚拟元素的直接交互或间接交互的XR环境。

技术研发人员：J·K·舒茨伯格,D·J·梅耶,D·M·塔提鲍姆,M·N·阿加格鲁,I·R·法塞尔,C·B·洛蒂,D·J·布鲁尔,T·H·科内利森,L·M·古姆,A·G·贝尔纳迪诺,L·索托多布拉多,V·乔达,I·巴约瑟夫,D·伊罗尼,E·A·穆斯塔法,G·恩格尔哈德,P·A·莱西,A·K·A·K·谢诺伊,B·V·纳亚克,L·葛,L·索弗,V·别利亚耶夫,B·C·丹杜,M·M·施罗德,Y·唐
受保护的技术使用者：苹果公司
技术研发日：
技术公布日：2024/12/5