一种全景视频用户体验提升方法及装置

本发明涉及全景视频，尤其涉及一种全景视频用户体验提升方法及装置。

背景技术：

1、全景视频是一种新型的多媒体应用，支持用户站在相机的位置，环视各个角度的画面。配合着虚拟现实的头戴设备，用户可以获得不同于平面视频的沉浸式视听体验。考虑到用户在任一时间点，仅能看到一个角度范围内的画面，客户端下载完整的全景画面会造成不必要的网络带宽浪费以及额外的解码开销。因此，可以采用基于视角的传输方案，仅仅传输用户正在观看角度的画面。示例性的，请参考图1，图1是基于视角的传输方案的示意图。如图1所示，客户端将自己的视角信息传输至服务端，服务端根据用户的视角，获取该视角相应的视频帧，将获取到的视频帧返回至客户端。该方法可以避免不必要的开销。但是，该方法面临着快速响应用户视角变化的挑战。在用户切换视角后，若是新视角范围内的内容未能及时加载，会引起用户的观感不适，甚至产生眩晕感。这种情况严重影响用户的观看体验。

技术实现思路

1、为了解决现有技术中存在的问题，本申请实施例提供了一种全景视频用户体验提升的方法、装置、计算设备、计算机存储介质及包含计算机程序的产品，能够提升用户观看全景视频时的体验。

2、第一方面，本申请实施例提供一种全景视频用户体验提升方法，应用于服务端，服务端用于对全景视频的视频数据进行编码，方法包括：获取用户端所反馈的帧率、视角切换时的卡顿时长以及视场坐标，基于视场坐标确定视场切换速度；基于帧率、卡顿时长与视场切换速度，确定编码策略，编码策略包括关键帧间隔与量化参数；基于编码策略，对视频数据进行编码，确定全景帧；基于视场坐标，对全景帧进行裁剪，确定用户当前视角下的视场帧；将视场帧发送至用户端。

3、在一些可能的实现方式中，服务端还用于获取带宽估计值、系统资源利用率，以及用户端播放全景视频的比特率，确定编码策略具体为：基于带宽估计值、系统资源利用率、帧率、卡顿时长与视场切换速度确定编码策略。

4、在一些可能的实现方式中，服务端还用于获取用户端播放全景视频时的视频质量、全景视频的比特率，方法还包括：基于视频质量、比特率、帧率、卡顿时长，调整编码策略。

5、在一些可能的实现方式中，确定编码策略根据如下公式进行：

6、

7、0≤k≤kmax

8、0≤q≤qmax

9、s.t.u(k,q)≤uthreshold

10、efr(k,q)≥25

11、r(k,q)≤e

12、其中，k表征关键帧间隔，q表征量化参数，w表征权重，f表征帧率，q表征画质，t表征卡顿时长，u表征视点信息更新时间间隔，uthreshold表征视点信息更新时间间隔的阈值，efr表征编码器输出帧率，r表征编码器输出码率，e表征可用带宽估计值，s.t.表征约束条件。

13、在一些可能的实现方式中，权重根据用户设置的偏好进行调整。

14、第二方面，本申请实施例提供一种全景视频用户体验提升装置，部署于服务端，服务端用于对全景视频的视频数据进行编码，装置包括：获取模块，用于获取用户端所反馈的帧率、视角切换时的卡顿时长以及视场坐标，基于视场坐标确定视场切换速度；处理模块，用于基于帧率、卡顿时长与视场切换速度，确定编码策略，编码策略包括关键帧间隔与量化参数；处理模块，还用于基于编码策略，对视频数据进行编码，确定全景帧；处理模块，还用于基于视场坐标，对全景帧进行裁剪，确定用户当前视角下的视场帧；通信模块，用于将视场帧发送至用户端。

15、在一些可能的实现方式中，获取模块还用于获取带宽估计值、系统资源利用率，以及用户端播放全景视频的比特率；处理模块，还用于基于带宽估计值、系统资源利用率、帧率、卡顿时长与视场切换速度确定编码策略。

16、在一些可能的实现方式中，获取模块还用于获取用户端播放全景视频的视频质量、全景视频的比特率；处理模块，还用于基于视频质量、比特率、帧率、卡顿时长，调整编码策略。

17、在一些可能的实现方式中，确定编码策略根据如下公式进行：

18、

19、0≤k≤kmax

20、0≤q≤qmax

21、s.t.u(k,q)≤uthreshold

22、efr(k,q)≥25

23、r(k,q)≤e

24、其中，k表征关键帧间隔，q表征量化参数，w表征权重，f表征帧率，q表征画质，t表征卡顿时长，u表征视点信息更新时间间隔，uthreshold表征视点信息更新时间间隔的阈值，efr表征编码器输出帧率，r表征编码器输出码率，e表征可用带宽估计值，s.t.表征约束条件。

25、在一些可能的实现方式中，权重根据用户设置的偏好进行调整。

26、第三方面，本申请实施例提供一种计算机可读存储介质，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行如第一方面任一项所述的方法。

27、第四方面，本申请实施例提供一种计算设备，包括处理器和存储器，其中，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器运行时，执行如第一方面任一项所述的方法。

28、第五方面，本申请实施例提供一种包含计算机程序的产品，当计算机程序产品在处理器上运行时，使得所述处理器执行如第一方面任一项所述的方法。

技术特征：

1.一种全景视频用户体验提升方法，其特征在于，应用于服务端，所述服务端用于对全景视频的视频数据进行编码，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述服务端还用于获取带宽估计值、系统资源利用率，以及所述用户端播放全景视频的比特率，所述确定编码策略具体为：

3.根据权利要求2所述的方法，其特征在于，所述服务端还用于获取所述用户端播放全景视频的视频质量、全景视频的比特率，所述方法还包括：

4.根据权利要求3所述的方法，其特征在于，所述确定编码策略根据如下公式进行：

5.根据权利要求4所述的方法，其特征在于，所述权重根据用户设置的偏好进行调整。

6.一种全景视频用户体验提升装置，其特征在于，部署于服务端，所述服务端用于对全景视频的视频数据进行编码，所述装置包括：

7.根据权利要求6所述的装置，其特征在于，所述获取模块还用于获取带宽估计值、系统资源利用率，以及所述用户端播放全景视频的比特率；

8.根据权利要求7所述的装置，其特征在于，所述获取模块还用于获取所述用户端播放全景视频的视频质量、全景视频的比特率；

9.根据权利要求8所述的装置，其特征在于，所述确定编码策略根据如下公式进行：

10.根据权利要求9所述的装置，其特征在于，所述权重根据用户设置的偏好进行调整。

技术总结
一种全景视频用户体验提升方法，应用于服务端，服务端用于对全景视频的视频数据进行编码，方法包括：获取用户端所反馈的帧率、视角切换时的卡顿时长以及视场坐标，基于视场坐标确定视场切换速度；基于帧率、卡顿时长与视场切换速度，确定编码策略，编码策略包括关键帧间隔与量化参数；基于编码策略，对视频数据进行编码，确定全景帧；基于视场坐标，对全景帧进行裁剪，确定用户当前视角下的视场帧；将视场帧发送至用户端。本方法能够提升使用全景视频时的用户观看体验。

技术研发人员：刘海涛,谢高岗,张昕怡,李彦彪,范涛源
受保护的技术使用者：中国科学院计算机网络信息中心
技术研发日：
技术公布日：2024/12/5