用于直播的音频信息处理方法、系统及设备与流程

本公开实施例涉及数字信号处理和音频制作，尤其涉及一种用于直播的音频信息处理方法、系统及设备。

背景技术：

1、直播作为一种可以将现场事件的发生、发展进行同步制作和播出的技术，应用越来越广泛，相应地，直播技术也得到了长足进展，出现了各种直播技术，例如低延时直播、互动直播等。

2、发明人发现在直播中对于声音的处理还是基于传统的声道技术来对音频信息进行编码处理。传统的声道例如单声道、立体声、2.1声道、5.1声道和7.1声道等。经过直播推流客户端处理后的音频信息不可更改。这样一来，由直播推流客户端将编码后的直播音频信息推送到流媒体服务器再分发到直播观众的客户端，不同的直播观众听到的声音都是一样的。对于直播观众而言，无法根据自身偏好对所接收到的直播中的音频信号进行个性化设置，导致用户体验效果不佳。

技术实现思路

1、本公开实施例提供一种用于直播的音频信息处理方法、系统及设备，以克服现有直播技术中直播观众无法对所接收的直播音频数据进行个性化设置的问题。

2、第一方面，本公开实施例提供一种用于直播的音频信息处理方法，应用于推流客户端，包括：获取直播场景中声源的音频信号；确定所述音频信号的第一元数据，将所述第一元数据与所述声源的音频信号进行关联；对关联的第一元数据和声源的音频信号根据预设音频编码方法编码，得到编码音频信息流；发送所述编码音频信息流，其中，所述编码音频信息流解码后关联的第一元数据和音频信号可编辑。

3、第二方面，本公开实施例提供一种用于直播的音频信息处理方法，应用于播放客户端，包括：接收编码音频信息流，其中，所述编码音频信息流由推流客户端对关联的第一元数据和声源的音频信号根据预设音频编码方法编码得到，所述声源为直播场景中的声源；基于预设音频解码方法对编码信息流进行解码，得到音频信号与音频信号关联的第一元数据；基于所述第一元数据或者第二元数据对所述音频信号逐帧进行渲染，所述第二元数据根据第二编辑指令对音频信号执行第二元数据编辑操作得到。

4、第三方面，本公开实施例提供一种用于直播的音频信息处理系统，包括推流客户端和播放客户端；其中，推流客户端，用于获取直播场景中声源的音频信号；确定所述音频信号的第一元数据，将所述第一元数据与所述声源的音频信号进行关联；对关联的第一元数据和声源的音频信号根据预设音频编码方法编码，得到编码音频信息流；发送所述编码音频信息流，其中，所述编码音频信息流解码后关联的第一元数据和音频信号可编辑；

5、播放客户端，用于接收编码音频信息流，其中，所述编码音频信息流由推流客户端对关联的第一元数据和声源的音频信号根据预设音频编码方法编码得到，所述声源为直播场景中的声源；基于预设音频解码方法对编码信息流进行解码，得到音频信号与音频信号关联的第一元数据；基于所述第一元数据或者第二元数据对所述音频信号逐帧进行渲染，所述第二元数据根据第二编辑指令对音频信号执行第二元数据编辑操作得到。

6、第四方面，本公开实施例提供一种用于直播的音频信息处理设备，应用于推流客户端，包括：获取单元，用于获取直播场景中声源的音频信号；确定单元，用于确定所述音频信号的第一元数据，将所述第一元数据与所述声源的音频信号进行关联；编码单元，用于对关联的第一元数据和声源的音频信号根据预设音频编码方法编码，得到编码音频信息流；发送单元，用于发送所述编码音频信息流，其中，所述编码音频信息流解码后关联的第一元数据和音频信号可编辑。

7、第五方面，本公开实施例提供用于直播的音频信息处理设备，应用于播放客户端，包括：接收单元，用于接收编码音频信息流，其中，所述编码音频信息流由推流客户端对关联的第一元数据和声源的音频信号根据预设音频编码方法编码得到；解码单元，用于基于预设音频解码方法对编码信息流进行解码，得到音频信号与音频信号关联的第一元数据；渲染单元，用于基于所述第一元数据或者第二元数据对所述音频信号逐帧进行渲染，所述第二元数据根据第二编辑指令对目标音频信号的元数据执行第二编辑操作得到。

8、第六方面，本公开实施例提供一种电子设备，包括：处理器和存储器；所述存储器存储计算机执行指令；所述处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面或第二方面以及第一方面或第二方面各种可能的用于直播的音频信息处理方法。

9、第七方面，本公开实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面或第二方面以及第一方面或第二方面各种可能的用于直播的音频信息处理方法。

10、第八方面，本公开实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上第一方面或第二发明以及第一方面或第二方面各种可能的用于直播的音频信息处理方法。

11、本实施例提供的用于直播的音频信息处理方法、系统及设备，通过获取直播场景中声源的音频信号；确定所述音频信号的第一元数据，将所述第一元数据与所述声源的音频信号进行关联；对关联的第一元数据和声源的音频信号根据预设音频编码方法编码，得到编码音频信息流；发送所述编码音频信息流，其中，所述编码音频信息流解码后关联的第一元数据和音频信号可编辑，从而使得推流客户端所提供的编码信息流解码后的各音频信号可单独编辑，有利于直播观众根据自身偏好对所接收到的直播中的音频信号进行个性化设置，可以提高用户体验。

技术特征：

1.一种用于直播的音频信息处理方法，应用于推流客户端，包括：

2.根据权利要求1所述的方法，其特征在于，所述获取直播场景中声源的音频信号，包括以下至少一者：

3.根据权利要求1所述的方法，其特征在于，所述确定所述音频信号的第一元数据，包括以下至少一者：

4.根据权利要求3所述的方法，其特征在于，所述第一元数据编辑操作，包括以下至少一者：

5.根据权利要求1所述的方法，其特征在于，第一元数据包括以下至少一者：

6.根据权利要求1所述的方法，其特征在于，所述直播场景中声源的音频信号包括多个声源的音频信号；所述第一元数据包括多个声源中至少部分声源的音频信号分别对应的第一元数据；以及

7.根据权利要求1所述的方法，其特征在于，所述对关联的第一元数据和声源的音频信号根据预设音频编码方法编码，得到编码音频信息流，包括：

8.根据权利要求1至7中任一项所述的方法，其特征在于，所述方法还包括：根据第一元数据渲染所述音频信号。

9.根据权利要求1至7中任一项所述的方法，其特征在于，所述音频信号包括至少以下一者：单声道音频信号、立体声音频信号、环绕声音频信号和具有空间结构信息的音频信号。

10.一种用于直播的音频信息处理方法，应用于播放客户端，包括：

11.根据权利要求10所述的方法，其特征在于，所述第二元数据编辑操作包括以下至少之一：

12.根据权利要求10所述的方法，其特征在于，所述根据第二编辑指令对音频信号执行第二元数据编辑操作包括：

13.一种应用于直播的音频信息处理系统，包括推流客户端和播放客户端；

14.一种用于直播的音频信息处理设备，应用于推流客户端，包括：

15.一种用于直播的音频信息处理设备，应用于播放客户端，包括：

16.一种电子设备，其特征在于，包括：处理器和存储器；

17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至9中任一项所述的用于直播的音频信息处理方法，或者执行如权利要求10至12中任一项所述的用于直播的音频信息处理方法。

18.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述的用于直播的音频信息处理方法，或者执行如权利要求10至12中任一项所述的用于直播的音频信息处理方法。

技术总结
本公开实施例提供一种用于直播的音频信息处理方法、系统及设备，该方法包括获取直播场景中声源的音频信号；确定音频信号的第一元数据，将第一元数据与声源的音频信号进行关联；对关联的第一元数据和声源的音频信号根据预设音频编码方法编码，得到编码音频信息流；发送编码音频信息流，其中，编码音频信息流解码后关联的第一元数据和音频信号可编辑，从而使得推流客户端所提供的编码信息流解码后的各音频信号可单独编辑，有利于直播观众根据自身偏好对所接收到的直播中的音频信号进行个性化设置，可以提高用户体验。

技术研发人员：黄旭,潘兴德,谭敏强
受保护的技术使用者：北京全景声信息科技有限公司
技术研发日：
技术公布日：2024/12/5