可穿戴装置的空间音频的制作方法

背景技术：

1、为了提供更准确的、沉浸式的或令人愉快的用户体验，一些头戴式显示装置包括空间音频特征，这些空间音频特征利用为用户生成声音的扬声器。空间音频是指由装置再现的声音，使得收听者将声音感知为来自特定或接近方向。空间音频渲染技术诸如在虚拟现实（vr）或增强现实（ar）系统、导航系统或其它旅行辅助工具以及实时航空系统中具有各种应用。

2、在不具有任何缓解的情况下，包括运动传感器和扬声器的支持无线音频的眼镜或其它头戴式附件装置在利用远程装置时可以具有运动检测与空间音频回放之间的在400毫秒（ms）的范围内的延时，以进行与渲染空间音频相关联的运算操作。这可以对用户体验产生负面影响，特别是对于使用声音来引导用户或对用户移动做出响应的实现方式。

技术实现思路

1、根据一个方面，一种方法，该方法包括：

2、利用可穿戴装置接收与可穿戴装置对应的空间音频数据和第一姿势估计；

3、利用可穿戴装置生成与可穿戴装置对应的第二姿势估计；

4、利用可穿戴装置基于第二姿势估计来细化空间音频数据；以及

5、利用可穿戴装置基于细化空间音频数据来产生声音。

6、根据一些方面，该方法可以包括以下特征中的一者或多者（例如全部）（或其任何组合）。

7、该方法可以包括：利用可穿戴装置的运动传感器在第一时间段期间生成第一姿势元数据，其中基于第一姿势元数据来生成第一姿势估计。该方法可以进一步包括：利用运动传感器在第二时间段期间生成第二姿势元数据，其中可穿戴装置基于第二姿势元数据来生成第二姿势估计。该方法可以进一步包括：利用可穿戴装置的运动传感器在第一时间段期间生成第一姿势元数据；以及利用移动装置的相机在第一时间段期间生成第二姿势元数据，其中移动装置基于第一姿势元数据和第二姿势元数据来生成第一姿势估计。该方法可以进一步包括：利用运动传感器在第二时间段期间生成第三姿势元数据，其中可穿戴装置基于第三姿势元数据来生成第二姿势估计。另外，细化空间音频数据可以包括：基于具有全局坐标参考框架的全局空间音频变换和第二姿势估计来计算具有局部坐标参考框架的局部空间音频变换，其中全局空间音频变换可以指示在世界空间中再现空间音频数据时将要模拟音频源的位置和定向。

8、根据一个方面，一种系统，该系统包括：

9、可穿戴装置，该可穿戴装置包括：

10、处理器，该处理器被配置为执行计算机可读指令，该计算机可读指令在被执行时使处理器进行以下操作：

11、接收与可穿戴装置的第一姿势估计对应的空间音频数据；

12、通过基于可穿戴装置的第二姿势估计来修改空间音频数据而生成细化空间音频数据；以及

13、基于细化空间音频数据来产生声音。

14、根据另一方面，一种系统，该系统包括：

15、可穿戴装置，该可穿戴装置包括：

16、处理器，该处理器被配置为执行计算机可读指令，该计算机可读指令在被执行时使处理器进行以下操作：

17、接收与可穿戴装置对应的空间音频数据和第一姿势估计；

18、生成与可穿戴装置对应的第二姿势估计；

19、基于第二姿势估计来细化空间音频数据；以及

20、基于细化空间音频数据来产生声音。

21、根据一些方面，两个前述系统中的一者或两者可以包括以下特征中的一者或多者（例如全部）（或其任何组合）。可穿戴装置可以包括运动传感器，该运动传感器被配置为在第一时间段期间生成第一姿势元数据，其中基于第一姿势元数据来生成第一姿势估计。运动传感器可以进一步被配置为在第二时间段期间生成第二姿势元数据，其中处理器基于第二姿势元数据来生成第二姿势估计。该系统可以进一步包括：伴随装置，该伴随装置包括相机，其中伴随装置被配置为：在第一时间段期间生成第二姿势元数据，该第二姿势元数据包括由相机在第一时间段期间捕获的图像数据；以及基于第一姿势元数据和第二姿势元数据来生成第一姿势估计。运动传感器可以进一步被配置为在第二时间段期间生成第三姿势元数据，其中处理器基于第三姿势元数据来生成第二姿势估计。此外，第二时间段可以紧接在第一时间段之后开始。

22、根据一个方面，一种系统，该系统包括：

23、第一装置，该第一装置包括：

24、第一处理器，该第一处理器被配置为执行计算机可读指令，该计算机可读指令在被执行时使第一处理器进行以下操作：

25、生成第一姿势估计；以及

26、基于第一姿势估计来渲染空间音频数据；

27、第二装置，该第二装置包括：

28、第二处理器，该第二处理器被配置为执行计算机可读指令，该计算机可读指令在被执行时使第二处理器进行以下操作：

29、基于第二姿势估计来生成第一细化空间音频数据，其中第一姿势估计和第二姿势估计分别与第二装置的至少一个姿势对应；以及

30、基于第一细化空间音频数据来产生声音。

31、根据一些方面，该系统可以包括以下特征中的一者或多者（例如全部）（或其任何组合）。该系统可以进一步包括：运动传感器，该运动传感器被配置为在第一时间段期间生成第一姿势元数据，其中第一处理器被配置为基于第一姿势元数据来生成第一姿势估计。运动传感器可以进一步被配置为在第二时间段期间生成第二姿势元数据，其中第二处理器被配置为基于第二姿势元数据来生成第二姿势估计。该系统可以进一步包括：第三装置，该第三装置包括：第三处理器，该第三处理器被配置为生成计算机可读指令，该计算机可读指令在被执行时使第三处理器进行以下操作：通过基于与第二装置对应的第三姿势估计来细化由第一处理器生成的空间音频数据而生成第二细化空间音频数据，其中由第二处理器通过细化第二细化空间音频数据来生成第一细化空间音频数据。运动传感器可以进一步被配置为在第三时间段期间生成第三姿势元数据，其中第三处理器被配置为基于第三姿势元数据来生成第三姿势估计。第三时间段可以发生在第一时间段与第二时间段之间。另外，第一装置可以是可穿戴装置，第二装置可以是服务器，第三装置可以是移动装置，并且可穿戴装置可以通信地耦合至服务器和移动装置。

32、根据一个方面，一种可穿戴装置，该可穿戴装置包括：

33、扬声器；以及

34、处理器，该处理器被配置为执行计算机可读指令，该计算机可读指令在被执行时使处理器进行以下操作：

35、接收与可穿戴装置对应的声音标识符、空间位置以及第一姿势估计；

36、更新第一姿势估计以生成第二姿势估计；

37、基于声音标识符、空间位置以及第二姿势估计来渲染空间音频数据；以及

38、使扬声器产生与空间音频数据对应的声音。

39、根据另一方面，一种可穿戴装置，该可穿戴装置包括：

40、扬声器；以及

41、处理器，该处理器被配置为执行计算机可读指令，该计算机可读指令在被执行时使处理器进行以下操作：

42、接收与可穿戴装置对应的空间音频数据和第一姿势估计；

43、生成与可穿戴装置对应的第二姿势估计；

44、基于第二姿势估计来细化空间音频数据；以及

45、使扬声器基于细化空间音频数据来产生声音。

46、根据一些方面，两个前述系统中的一者或两者可以包括以下特征中的一者或多者（例如全部）（或其任何组合）。

47、该可穿戴装置可以进一步包括：运动传感器，该运动传感器被配置为：在第一时间段期间生成第一姿势元数据，其中第一姿势元数据指示可穿戴装置在第一时间段期间的移动，并且其中基于第一姿势元数据来生成第一姿势估计；以及在第一时间段之后的第二时间段期间生成第二姿势元数据，其中第二姿势元数据指示可穿戴装置在第二时间段期间的移动，并且其中基于第二姿势元数据来生成第二姿势估计。声音标识符可以标识存储在可穿戴装置处的音频数据，并且其中渲染空间音频数据可以包括：基于空间位置和第二姿势估计来使标识出的音频数据空间化。空间音频数据可以使扬声器在产生与空间音频数据对应的声音时模拟声音在空间位置处的投射，其中关于可穿戴装置的由第二姿势估计指示的姿势限定空间位置。

技术特征：

1.一种可穿戴装置，包括：

2.根据权利要求1所述的可穿戴装置，进一步包括：

3.根据权利要求1所述的可穿戴装置，进一步包括：

4.根据权利要求2或3所述的可穿戴装置，其中，所述处理器被配置为向与所述可穿戴装置分离的伴随装置发送所述第一姿势元数据，并且其中所述处理器被配置为响应于向所述伴随装置发送所述第一姿势元数据而从所述伴随装置接收所述声音标识符、所述空间位置以及所述第一姿势估计。

5.根据权利要求1至3中的任一项所述的可穿戴装置，其中，所述声音标识符标识存储在所述可穿戴装置处的音频数据，并且其中，渲染所述空间音频数据包括基于所述空间位置和所述第二姿势估计来使标识出的音频数据空间化。

6.根据权利要求5所述的可穿戴装置，其中，所述空间音频数据使所述扬声器在产生与所述空间音频数据对应的声音时模拟所述声音在所述空间位置处的投射，其中，关于由所述第二姿势估计指示的所述可穿戴装置的姿势限定所述空间位置。

7.一种系统，包括：

8.根据权利要求7所述的系统，其中，所述声音标识符标识存储在所述可穿戴装置处的音频数据，并且其中，关于由所述第二姿势估计指示的所述可穿戴装置的姿势限定所述空间位置。

9.一种姿势估计和空间音频细化的方法，包括：

10.根据权利要求9所述的方法，进一步包括：

技术总结
本发明涉及可穿戴装置的空间音频。在连接至可穿戴装置的伴随装置或服务器处渲染空间音频，其中基于所述可穿戴装置的在所述伴随装置或服务器处估计的第一姿势估计来渲染所述空间音频。然后将所渲染的空间音频传输至所述可穿戴装置。基于所述可穿戴装置的在所述可穿戴装置处估计的第二姿势估计来在所述可穿戴装置处细化所渲染的空间音频。然后经由所述可穿戴装置的扬声器提供细化空间音频以供回放。

技术研发人员：穆格尔·马库勒斯库,约翰·D·缪尔,皮尔瑞克·吉米格
受保护的技术使用者：谷歌有限责任公司
技术研发日：
技术公布日：2024/12/5