CN116189694A - 音频处理方法、装置及电子设备 - Google Patents

Abstract

本申请公开了一种音频处理方法、装置及电子设备，所述方法包括：基于第一音频通道获得音频播放数据；所述音频播放数据为应用程序的实时输出的音频数据；基于虚拟音频输出装置输出所述音频播放数据，所述虚拟音频输出装置对应的硬件音频输出装置属于第二电子设备，所述第二电子设备与具有所述应用程序的第一电子设备属于同一局域网且具有第一网络通道；其中，基于虚拟音频输出装置输出所述音频播放数据包括：将所述音频播放数据通过目标音频编码器形成编码数据；通过目标传输协议通过第一网络通道将所述编码数据传输给所述第二电子设备，所述编码数据用于所述第二电子设备解码还原所述音频播放数据并通过所述硬件音频输出装置输出。

Description

音频处理方法、装置及电子设备

技术领域

本申请涉及数据处理技术领域，尤其涉及一种音频处理方法、装置及电子设备。

背景技术

电子设备上可以使用设备中配置的音频输出装置输出音频数据，例如，手机通过手机中的扬声器播放游戏声音。

为了扩展音频输出的模式，电子设备可以连接耳机、音响等硬件外接音频输出装置输出音频数据。例如，手机连接音响作为手机的硬件音频输出装置播放游戏声音。但是受到有线连接的距离限制；例如，通过蓝牙连接耳机，由于通过蓝牙等短距离传输协议的传输，不仅受限于距离同时还会受到蓝牙传输通道的带宽影响音频数据在编码时无法采用高采样率从而导致音质变差。

发明内容

有鉴于此，本申请提供一种音频处理方法、装置及电子设备，如下：

一种音频处理方法，所述方法包括：

基于第一音频通道获得音频播放数据；所述音频播放数据为应用程序的实时输出的音频数据；

基于虚拟音频输出装置输出所述音频播放数据，所述虚拟音频输出装置对应的硬件音频输出装置属于第二电子设备，所述第二电子设备与具有所述应用程序的第一电子设备属于同一局域网且具有第一网络通道；

其中，基于虚拟音频输出装置输出所述音频播放数据包括：

将所述音频播放数据通过目标音频编码器形成编码数据；

通过目标传输协议通过第一网络通道将所述编码数据传输给所述第二电子设备，所述编码数据用于所述第二电子设备解码还原所述音频播放数据并通过所述硬件音频输出装置输出。

上述方法，优选的，所述方法还包括：

基于第二音频通道获得语音输入数据；

其中，在所述基于虚拟音频输出装置输出所述音频播放数据之前，所述方法还包括：

基于所述第二音频通道，将所述音频播放数据与所述语音输入数据混音处理，获得混合音频数据；

其中，所述基于虚拟音频输出装置输出所述音频播放数据包括：

将所述混合音频数据通过目标音频编码器形成编码数据；

通过目标传输协议通过第一网络通道将所述编码数据传输给所述第二电子设备，所述编码数据用于所述第二电子设备解码还原所述混合音频数据并通过所述硬件音频输出装置输出。

上述方法，优选的，所述方法还包括：

使能所述第一音频通道，

其中，所述第一音频通道用于从第一缓存区域中获得音频播放数据，基于目标采样率处理所述音频播放数据。

上述方法，优选的，如果所述第一音频通道使能，所述第二音频通道用于将基于第一采样率获得的语音输入数据重采样为目标采样率，以使得所述语音输入数据与所述音频播放数据进行混音处理；从第二缓存区域获得经所述第一音频通道重采样为所述目标采样率的音频播放数据；将所述语音输入数据和所述音频播放数据混音处理；所述目标采样率高于所述第一采样率。

上述方法，优选的，所述第二缓存区域中的大小至少与所述目标采样率相关；

其中，所述第二缓存区域按照环形循环擦写的方式存储数据。

上述方法，优选的，所述第一电子设备上创建有第一线程和第二线程，所述第一线程用于实现所述第一音频通道，所述第二线程用于实现所述第二音频通道。

上述方法，优选的，所述第一电子设备具有运行模式：

其中，在所述第一电子设备处于第一运行模式的情况下，所述第一音频通道被使能，且所述第二音频通道被使能；

在所述第一电子设备处于第二运行模式的情况下，所述第一音频通道被使能。

上述方法，优选的，所述第一网络通道为基于webrtc的传输通道。

一种音频处理装置，所述装置包括：

第一音频获得单元，用于基于第一音频通道获得音频播放数据；所述音频播放数据为应用程序的实时输出的音频数据；

虚拟输出单元，用于基于虚拟音频输出装置输出所述音频播放数据，所述虚拟音频输出装置对应的硬件音频输出装置属于第二电子设备，所述第二电子设备与具有所述应用程序的第一电子设备属于同一局域网且具有第一网络通道；

其中，基于虚拟音频输出装置输出所述音频播放数据包括：

将所述音频播放数据通过目标音频编码器形成编码数据；

通过目标传输协议通过第一网络通道将所述编码数据传输给所述第二电子设备，所述编码数据用于所述第二电子设备解码还原所述音频播放数据并通过所述硬件音频输出装置输出。

一种电子设备，包括：

处理装置，用于基于第一音频通道获得音频播放数据；所述音频播放数据为应用程序的实时输出的音频数据；

虚拟输出装置，用于输出所述音频播放数据，所述虚拟音频输出装置对应的硬件音频输出装置属于第二电子设备，所述第二电子设备与具有所述应用程序的第一电子设备属于同一局域网且具有第一网络通道；

其中，基于虚拟音频输出装置输出所述音频播放数据包括：

将所述音频播放数据通过目标音频编码器形成编码数据；

通过目标传输协议通过第一网络通道将所述编码数据传输给所述第二电子设备，所述编码数据用于所述第二电子设备解码还原所述音频播放数据并通过所述硬件音频输出装置输出。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例一提供的一种音频处理方法的流程图；

图2为本申请实施例中第一电子设备与第二电子设备之间的架构图；

图3为本申请实施例中手机与笔记本实现扬声器共享的示例图；

图4为本申请实施例中手机与笔记本通过共享扬声器实现信号输出的示例图；

图5及图6分别为本申请实施例一提供的一种音频处理方法的另一流程图；

图7为本申请实施例二提供的一种音频处理装置的结构示意图；

图8为本申请实施例二提供的一种音频处理装置的另一结构示意图；

图9为本申请实施例三提供的一种电子设备的结构示意图；

图10为本申请适用于智能设备之间实现语音与音乐的多种传输模式的流程示例图；

图11为本申请适用于智能设备之间语音与音乐的高音质传输的流程示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

参考图1所示，为本申请实施例一提供的一种音频处理方法的实现流程图，该方法可以适用于配置有应用程序且应用程序能够产生音频数据的电子设备中，如手机或平板等设备。如图2中所示的第一电子设备，第一电子设备与第二电子设备属于同一局域网，且第一电子设备与第二电子设备之间具有第一网络通道，第一网络通道可以为P2P(Peer-to-Peer)类型的传输通道，如基于webrtc(Web Real-Time Communications)的传输通道。例如，第一电子设备为手机，第二电子设备为平板，手机与平板通过组网处于同一局域网中，且手机与平板之间建立有webrtc通道。本实施例中的技术方案主要用于提高数据传输效率。

具体的，本实施例中的方法可以包含如下步骤：

步骤101：基于第一音频通道获得音频播放数据。

其中，音频播放数据为应用程序的实时输出的音频数据。应用程序为第一电子设备中所配置的任一应用程序，如游戏应用、视频播放应用等。这里的第一音频通道可以为第一电子设备上创建的第一线程所实现的音频通道，另外，第一电子设备上还创建有第二线程，第二线程用于实现第二音频通道，第二音频通道与第一音频通道不同，例如，第二音频通道为第一电子设备中的主音频通道，第一音频通道为第一电子设备中的旁路音频通道，第一音频通道用于获得应用程序实时输出的音频数据，第二音频通道用于获得输入到第一电子设备的音频数据。

步骤102：基于虚拟音频输出装置输出音频播放数据。

其中，虚拟音频输出装置对应的硬件音频输出装置属于第二电子设备，如图2中所示的第二电子设备。第二电子设备上的硬件音频输出装置可以为扬声器等装置。该硬件音频输出装置在第一电子设备上被虚拟化为虚拟音频输出装置。在第一电子设备的硬件管理器中，包含有该虚拟音频输出装置和第一电子设备中的硬件装置，当然还可以包含有其他虚拟装置。也就是说，与第一电子设备处于同一局域网的其他电子设备上的硬件装置可以被虚拟化到第一电子设备上，等同于第一电子设备上的其他硬件装置，如虚拟扬声器、虚拟麦克风等。

例如，以第一电子设备为手机为例，如图3中所示，手机的硬件管理器中，包含有两个扬声器，其中的扬声器a为手机本地配置的扬声器(硬件扬声器)，其中的扬声器b为手机的虚拟扬声器，即，手机通过设备虚拟化技术生成的针对与手机处于同一局域网络下的智能平板的扬声器c的虚拟扬声器，手机上的任何应用的音频数据的播放可直接使用。扬声器b在智能平板中对应于扬声器c，扬声器c为智能平板中本地配置的扬声器(硬件扬声器)，由此，实现扬声器c的共享。本实施例中，基于手机上的旁路音频通道获得手机上游戏应用实时输出的声音信号并通过手机中的扬声器b输出，也就是通过智能平板中的扬声器c输出手机上游戏应用实时输出的声音信号，如图4中所示。

具体的，步骤102中在基于虚拟音频输出装置输出音频播放数据时，具体包含如下处理：

首先，将音频播放数据通过目标音频编码器形成编码数据；然后，通过目标传输协议通过第一网络通道将编码数据传输给第二电子设备。编码数据用于第二电子设备解码还原音频播放数据并通过硬件音频输出装置输出。

其中，目标音频编码器为第一电子设备中能够进行数据编码的装置，目标传输协议为第一网络通道的传输协议，如基于webrtc的协议。例如，在手机上游戏应用实时输出的声音信号被编码器编码形成编码数据，编码数据通过webrtc实时传输给智能平板，智能平板通过解码还原出手机游戏应用的声音信号后通过智能平板的扬声器c输出。

从上述技术方案可以看出，本申请实施例一提供的一种音频处理方法中，基于第一音频通道获得第一电子设备上应用程序实时输出的音频播放数据，然后基于虚拟音频输出装置输出该音频播放数据，而虚拟音频输出装置对应的硬件音频输出装置属于与第一电子设备处于同一局域网且具有第一网络通道的第二电子设备，基于此，在基于虚拟音频输出装置输出音频播放数据时，先将音频播放数据通过目标音频编码器形成编码数据，然后再通过目标传输协议通过第一网络通道将编码数据传输给第二电子设备，由此，第二电子设备根据编码数据解码还原出音频播放数据并通过其中的硬件音频输出装置输出还原出的音频播放数据。可见，本实施例中通过将处于同一局域网内的其他设备的硬件虚拟化成电子设备的本地装置，由此在为电子设备扩展音频输出方式的同时，能够通过同一局域网中的其他设备中的音频输出装置输出电子设备中的任一应用程序实时输出的音频数据，由此音频数据的传输不受限于传输距离以及传输带宽，通过局域网内设备间的网络通道实现高效的音频数据传输。

在一种实现方式中，本实施例中的方法还可以包含如下步骤，如图5中所示：

步骤103：基于第二音频通道获得语音输入数据。

其中，第二音频通道为第一电子设备中获得输入的音频数据的通道。例如，手机上通过主音频通道获得语音信号。

在一种实现方式中，语音输入数据可以为第一电子设备上本地配置的硬件音频输入装置所获得到的音频数据，例如，手机上通过本地麦克风采集用户的音频数据。

在另一种实现方式中，语音输入数据可以为第一电子设备上的虚拟音频输入装置所获得到的音频数据，虚拟音频输入装置对应的硬件音频输入装置属于第三电子设备，第三电子设备与第一电子设备属于同一局域网，也就是说，语音输入数据为第三电子设备传输给到第一电子设备的音频数据。例如，室外的手机上通过虚拟麦克风获得到室内的用户的语音，虚拟麦克风对应于室内的笔记本上的本地麦克风。

基于此，在步骤102之前，本实施例中的方法还可以包含如下步骤，如图5中所示：

步骤104：基于第二音频通道，将音频播放数据与语音输入数据混音处理，获得混合音频数据。

具体的，本实施例中可以通过混音器AudioMixer将音频播放数据和语音输入数据进行混音，进而得到混合音频数据。

由此，步骤102中在基于虚拟音频输出装置输出音频播放数据时，具体为：

首先，将混合音频数据通过目标音频编码器形成编码数据；

然后，通过目标传输协议通过第一网络通道将编码数据传输给第二电子设备，编码数据用于第二电子设备解码还原混合音频数据并通过硬件音频输出装置输出。具体的，第二电子设备对编码数据进行解码处理，以还原出音频播放数据和语音输入数据，并且，通过第二电子设备上的硬件音频输出装置输出音频播放数据和语音输入数据。

也就是说，如果第一电子设备仅基于第一音频通道获得到音频播放数据，那么在步骤102中基于虚拟音频输出装置输出音频播放数据时，直接将基于第一音频通道获得到的音频播放数据通过目标音频编码器形成编码数据，并将编码数据通过第一网络通道传输给第二电子设备，在第二电子设备上对编码数据进行解码，并将还原出的音频播放数据通过第二电子设备的硬件音频输出装置进行输出；

而如果第一电子设备不仅基于第一音频通道获得到音频播放数据，还同时通过第二音频通道获得语音输入数据，那么先基于第二音频通道将音频播放数据和语音输入数据进行混音处理，由此获得到混合音频数据，此时在步骤102中基于虚拟音频输出装置输出音频播放数据时，是将混合音频数据通过目标音频编码器形成编码数据，并将编码数据通过第一网络通道传输给第二电子设备，在第二电子设备上对编码数据进行解码，并将还原出的音频播放数据和语音输入数据通过第二电子设备的硬件音频输出装置进行输出。

例如，以第一电子设备为手机为例，基于手机上的旁路音频通道获得手机上游戏应用实时输出的游戏声音信号，同时，基于手机上的主音频通道获得手机上本地麦克风或虚拟麦克风采集到的语音信号，再将游戏声音信号和语音信号进行混音；之后，在手机上，通过编码器将混音得到的混音数据进行编码，最后，将得到的编码数据通过手机与智能平板之间的webrtc传输到智能平板，在智能平板上对编码数据进行解码还原后，将还原出的声音信号和语音信号通过智能平板中的扬声器c(手机上的扬声器b)输出。

可见，本实施例中在第一电子设备上通过将应用程序的音频播放数据混合到语音输入数据中，再经过编码器的编码将混合音频数据传输到第二电子设备，由此实现全音频场景覆盖，借助语音输入数据对应的webrtc通道实现多路音频数据的混合传输，在实现高效传输的同时，提高设备利用率。

在一种实现方式中，本实施例中的方法还可以包含如下步骤，如图6中所示：

步骤105：使能第一音频通道。

其中，步骤105在步骤101之前执行，由此，基于被使能的第一音频通道能够获得到音频播放数据。

基于此，第一音频通道用于从第一缓存区域获得音频播放数据，进一步的，基于目标采样率处理音频播放数据，之后，基于虚拟音频输出装置输出音频播放数据。

其中，目标采样率可以为按照需求设置的采样率，如48kHz。第一缓存区域为缓存应用程序实时输出的音频播放数据的区域，基于此，在第一音频通道被使能之后，第一音频通道能够从第一缓存区域获得到第一电子设备所配置的应用程序实时输出的音频播放数据，并对获得到的音频播放数据进行重采样为目标采样率，由此获得到目标采样率的音频播放数据。基于此，第一电子设备上基于虚拟音频输出装置输出音频播放数据，具体为：将目标采样率的音频播放数据通过目标音频编码器形成编码数据，然后，通过目标传输协议通过第一网络通道将编码数据传输给到第二电子设备，以使得第二电子设备对编码数据进行解码，并将还原出的目标采样率的音频播放数据通过硬件音频输出装置输出。

例如，以第一电子设备为手机为例，手机上游戏应用实时输出的声音信号被缓存到第一缓存区域，在手机上的旁路音频通道被使能的情况下，基于旁路音频通道从手机的第一缓存区域中读取到游戏应用实时输出的声音信号，并对声音信号按照48kHz进行重采样；之后，在手机上通过编码器将重采样后的声音信号进行编码，最后，将得到的编码数据通过手机与智能平板之间的webrtc传输到智能平板，在智能平板上对编码数据进行解码还原后，将还原出的48kHz的声音信号通过智能平板中的扬声器c(手机上的扬声器b)输出。

可见，本实施例中在使用编码器对音频数据进行编码前，将音频播放数据按照高音质的采样率进行重采样，由此，通过编码以及传输之后，通过同一局域网中的其他设备中的音频输出装置输出高音质的音频数据，由此，音频数据的传输不仅不受限于传输距离以及传输带宽，通过局域网内设备间的网络通道实现高效的音频数据传输，进一步的，还可以实现通过重采样实现高音质音频数据的高效传输。

在一种实现方式中，第一音频通道在第一电子设备与第二电子设备加入到同一局域网且第二电子设备的硬件音频输出装置被虚拟成第一电子设备中的虚拟音频输出装置时被使能。例如，手机与智能平板实现组网处于同一局域网之后，智能平板中的扬声器c被手机发现并虚拟成手机中的扬声器b，此时，手机中的旁路音频通道被使能，通过旁路音频通道从手机的第一缓存区域读取游戏应用实时输出的声音信号，并对声音信号按照48kHz进行重采样；之后，在手机上通过编码器将重采样后的声音信号进行编码，最后，将得到的编码数据通过手机与智能平板之间的webrtc传输到智能平板，在智能平板上对编码数据进行解码还原后，将还原出的声音信号和语音信号通过智能平板中的扬声器c(手机上的扬声器b)输出。

在另一种实现方式中，第一音频通道在第二电子设备的硬件音频输出装置被虚拟成第一电子设备中的虚拟音频输出装置之后，第一电子设备上存在满足使能条件的应用程序的情况下被使能。这里的使能条件可以为：应用程序与信息列表中的应用信息相匹配。信息列表中可以包含有一个或多个应用程序对应的应用标识，应用标识唯一表征对应的应用程序。也就是说，第一电子设备上具有虚拟音频输出装置之后，如果有信息列表中任意一项应用标识所表征的应用程序被启动时，第一音频通道被使能。例如，手机与智能平板实现组网处于同一局域网之后，智能平板中的扬声器c被手机发现并虚拟成手机中的扬声器b，在手机上有游戏应用或视频播放应用被启动时，此时，手机中的旁路音频通道被使能，通过旁路音频通道从手机的第一缓存区域读取游戏应用或视频播放应用实时输出的声音信号，并对声音信号按照48kHz进行重采样；之后，在手机上通过编码器将重采样后的声音信号进行编码，最后，将得到的编码数据通过手机与智能平板之间的webrtc传输到智能平板，在智能平板上对编码数据进行解码还原后，将还原出的声音信号和语音信号通过智能平板中的扬声器c(手机上的扬声器b)输出。

在一种实现方式中，如果第一音频通道被使能，那么第二音频通道用于将基于第一采样率获得的语音输入数据重采样为目标采样率，以使得语音输入数据与音频播放数据进行混音处理。

具体的，本实施例中基于第二音频通道从第二缓存区域获得经过第一音频通道重采样为目标采样率的音频播放数据，然后将被重采样为目标采样率的语音输入数据和音频播放数据混音处理，之后，将混音得到的混合音频数据通过目标音频编码器形成编码数据，最后，通过目标传输协议通过第一网络通道将编码数据传输给第二电子设备，第二电子设备对编码数据进行解码，并将还原出的混合音频数据即语音输入数据和音频播放数据通过硬件音频输出装置输出。

其中，目标采样率高于第一采样率。例如，第一采样率为16kHz，目标采样率为48kHz。

需要说明的是，第一电子设备中的第一缓存区域用于存储应用程序实时输出的音频播放数据，以便于第一音频通道从第一缓存区域中的音频播放数据。而第一电子设备中的第二缓存区域用于存储经第一音频通道重采样所得到的音频播放数据。

例如，以第一电子设备为手机为例，手机与智能平板实现组网处于同一局域网之后，智能平板中的扬声器c被手机发现并虚拟成手机中的扬声器b，此时，手机中的旁路音频通道被使能，通过旁路音频通道从手机的第一缓存区域读取游戏应用实时输出的声音信号，并对声音信号按照48kHz进行重采样，重采样后的声音信号被存储到第二缓存区域，以便于手机中的主音频通道从第二缓存区域中读取到声音信号，并且，主音频通道还将语音信号重采样到48kHz，之后，主音频通道对读取到的声音信号和重采样的语音信号进行混音处理；之后，在手机上通过编码器将得到的混合音频数据进行编码，最后，将得到的编码数据通过手机与智能平板之间的webrtc传输到智能平板，在智能平板上对编码数据进行解码还原后，将还原出的48kHz的声音信号和语音信号通过智能平板中的扬声器c(手机上的扬声器b)输出。

在另一种实现方式中，如果第一音频通道没有被使能，那么第二音频通道用于将基于第一采样率获得的语音输入数据重采样为目标采样率。之后，被重采样为目标采样率的语音输入数据通过目标音频编码器形成编码数据，最后，通过目标传输协议通过第一网络通道将编码数据传输给第二电子设备，第二电子设备对编码数据进行解码，并将还原出的语音输入数据通过硬件音频输出装置输出。

例如，以第一电子设备为手机为例，手机中的旁路音频通道没有被使能的情况下，手机中的主音频通道将获得到的语音信号重采样到48kHz；之后，在手机上通过编码器对重采样后的语音信号进行编码，最后，将得到的编码数据通过手机与智能平板之间的webrtc传输到智能平板，在智能平板上对编码数据进行解码还原后，将还原出的语音信号通过智能平板中的扬声器c(手机上的扬声器b)输出。

基于以上实现方式，第一电子设备中的第二缓存区域的大小至少与目标采样率相关。另外，第二缓存区域的大小还与音频播放数据的声道数量、采样精度、采样间隔时长中的任意一项或任意多项相关。

具体的，本实施例中按照目标采样率、声道数量、采样精度和采样间隔时长来确定第二缓存区域的大小。例如，本实施例中按照48kHz、双声道、16bit精度、20ms确定第二缓存区域的大小，以使得第二缓存区域能够存储双倍的按照10ms间隔时长采集到的双声道的采集精度为16bit的采样率为48kHz的音频播放数据。

另外，第二缓存区域按照环形循环擦写的方式存储数据。例如，第二缓存区域被写满时，第一音频通道新获得到的音频播放数据覆盖第二缓存区域中最早被写入的数据。

可见，本实施例中在使用编码器对音频数据进行编码前，分别将音频播放数据和语音输入数据按照高音质的采样率进行重采样，由此，通过编码以及传输之后，通过同一局域网中的其他设备中的音频输出装置输出高音质的音频数据，由此，音频数据的传输不仅不受限于传输距离以及传输带宽，通过局域网内设备间的网络通道实现高效的音频数据传输，进一步的，还可以实现通过重采样实现全音频场景的高音质音频数据的高效传输。

在一种实现方式中，第一电子设备具有运行模式，如第一运行模式、第二运行模式和第三运行模式等，用户可以根据需求设置第一电子设备的运行模式。

其中，在第一电子设备处于第一运行模式的情况下，第一音频通道被使能，且第二音频通道被使能。也就是说，基于第一音频通道从第一缓存区域读取应用程序实时输出的音频输出数据，并按照目标采样率进行重采样，将得到的目标采样率的音频输出数据写入第二缓存区域，之后，基于第二音频通道从第二缓存区域获得目标采样率的音频播放数据，然后将被重采样为目标采样率的语音输入数据和音频播放数据混音处理，之后，将混音得到的混合音频数据通过目标音频编码器形成编码数据，最后，通过目标传输协议通过第一网络通道将编码数据传输给第二电子设备，第二电子设备对编码数据进行解码，并将还原出的混合音频数据即语音输入数据和音频播放数据通过硬件音频输出装置输出。

例如，用户设置手机处于第一运行模式即混用模式下，手机中的旁路音频通道和主音频通道均被使能，通过旁路音频通道从手机的第一缓存区域读取游戏应用实时输出的声音信号，并对声音信号按照48kHz进行重采样，重采样后的声音信号被存储到第二缓存区域，以便于手机中的主音频通道从第二缓存区域中读取到48kHz的声音信号，并且，主音频通道将语音信号重采样到48kHz，之后，主音频通道对读取到的声音信号和重采样的语音信号进行混音处理；之后，在手机上通过编码器将得到的混合音频数据进行编码，最后，将得到的编码数据通过手机与智能平板之间的webrtc传输到智能平板，在智能平板上对编码数据进行解码还原后，将还原出的48kHz的声音信号和语音信号通过智能平板中的扬声器c(手机上的扬声器b)输出。

而在第一电子设备处于第二运行模式的情况下，第一音频通道被使能。也就是说，基于第一音频通道从第一缓存区域读取应用程序实时输出的音频输出数据，并按照目标采样率进行重采样，将得到的目标采样率的音频输出数据写入第二缓存区域，之后，基于第二音频通道从第二缓存区域获得目标采样率的音频播放数据，将音频播放数据通过目标音频编码器形成编码数据，最后，通过目标传输协议通过第一网络通道将编码数据传输给第二电子设备，第二电子设备对编码数据进行解码，并将还原出的音频播放数据通过硬件音频输出装置输出。

需要说明的是，在第一电子设备处于第二运行模式的情况下，第二音频通道未被禁用，但第二音频数据将其采集来的语音输入数据的信号幅度设置为0，也就是说，第二音频通道仅用来从第二缓存区域获得目标采样率的音频播放数据，并传输给目标音频编码器进行音频编码。

例如，用户设置手机处于第二运行模式即单旁路音频通道的模式下，手机中的旁路音频通道被使能，主音频通路被限制，具体为：通过旁路音频通道从手机的第一缓存区域读取游戏应用实时输出的声音信号，并对声音信号按照48kHz进行重采样，重采样后的声音信号被存储到第二缓存区域，手机中的主音频通道从第二缓存区域中读取到48kHz的声音信号，而主音频通道在将语音信号与读取到的声音信号进行混音处理，此时的语音信号为空或信号幅度为0；之后，在手机上通过编码器将得到的混合音频数据进行编码，最后，将得到的编码数据通过手机与智能平板之间的webrtc传输到智能平板，在智能平板上对编码数据进行解码还原后，将还原出的48kHz的声音信号和语音信号(为空或幅度为0)通过智能平板中的扬声器c(手机上的扬声器b)输出。

另外，在第一电子设备处于第三运行模式的情况下，第二音频通道被使能，第一音频通道可以被禁用或被闲置。也就是说，基于第二音频通道对获得到的语音输入数据进行重采样为目标采样率，之后，将得到的语音输入数据通过目标音频编码器形成编码数据，最后，通过目标传输协议通过第一网络通道将编码数据传输给第二电子设备，第二电子设备对编码数据进行解码，并将还原出的混合音频数据即语音输入数据通过硬件音频输出装置输出。或者，基于第二音频通道直接将语音输入数据通过目标音频编码器形成编码数据，不进行重采样，最后，通过目标传输协议通过第一网络通道将编码数据传输给第二电子设备，第二电子设备对编码数据进行解码，并将还原出的混合音频数据即语音输入数据通过硬件音频输出装置输出。

例如，用户设置手机处于第三运行模式即单主音频通道的模式下，手机中的主音频通道对麦克风采集到的语音信号或其他设备传输来的语音信号进行重采样为48kHz，然后主音频通道将语音信号传输到编码器，由编码器对48kHz的语音信号进行编码，最后通过webrtc传输到智能平板，由此实现在智能平板上的高音质声音信号的输出。

再如，用户设置手机处于第三运行模式即单主音频通道的模式下，手机中的主音频通道对麦克风采集到的语音信号或其他设备传输来的语音信号传输到编码器，由编码器对语音信号进行编码，最后通过webrtc传输到智能平板，由此实现在智能平板上的高音质声音信号的输出。

可见，本实施例中不仅能够实现全音频场景覆盖，还可以通过重采样借助webrtc等传输方式实现高音质音频数据的高效传输，进一步的，通过为用户提供多种运行模式，满足用户在多种使用场景下的不同需求，由此改善用户对电子设备的使用体验。

参考图7，为本申请实施例二提供的一种音频处理装置的结构示意图，该装置，所述装置可以配置在具有应用程序且应用程序能够产生音频数据的电子设备中，如手机或平板等设备。如图2中所示的第一电子设备，第一电子设备与第二电子设备属于同一局域网，且第一电子设备与第二电子设备之间具有第一网络通道，第一网络通道可以为基于webrtc(Web Real-Time Communications)的传输通道。例如，第一电子设备为手机，第二电子设备为平板，手机与平板通过组网处于同一局域网中，且手机与平板之间建立有webrtc通道。本实施例中的技术方案主要用于扩展音频数据的输出方式。

具体的，本实施例中的装置可以包含如下单元：

第一音频获得单元701，用于基于第一音频通道获得音频播放数据；所述音频播放数据为应用程序的实时输出的音频数据；

虚拟输出单元702，用于基于虚拟音频输出装置输出所述音频播放数据，所述虚拟音频输出装置对应的硬件音频输出装置属于第二电子设备，所述第二电子设备与具有所述应用程序的第一电子设备属于同一局域网且具有第一网络通道；

其中，虚拟输出单元702具体用于：将所述音频播放数据通过目标音频编码器形成编码数据；通过目标传输协议通过第一网络通道将所述编码数据传输给所述第二电子设备，所述编码数据用于所述第二电子设备解码还原所述音频播放数据并通过所述硬件音频输出装置输出。

由上述方案可知，本申请实施例二提供的一种音频处理装置中，基于第一音频通道获得第一电子设备上应用程序实时输出的音频播放数据，然后基于虚拟音频输出装置输出该音频播放数据，而虚拟音频输出装置对应的硬件音频输出装置属于与第一电子设备处于同一局域网且具有第一网络通道的第二电子设备，基于此，在基于虚拟音频输出装置输出音频播放数据时，先将音频播放数据通过目标音频编码器形成编码数据，然后再通过目标传输协议通过第一网络通道将编码数据传输给第二电子设备，由此，第二电子设备根据编码数据解码还原出音频播放数据并通过其中的硬件音频输出装置输出还原出的音频播放数据。可见，本实施例中通过将处于同一局域网内的其他设备的硬件虚拟化成电子设备的本地装置，由此在为电子设备扩展音频输出方式的同时，能够通过同一局域网中的其他设备中的音频输出装置输出电子设备中的任一应用程序实时输出的音频数据，由此音频数据的传输不受限于传输距离以及传输带宽，通过局域网内设备间的网络通道实现高效的音频数据传输。

在一种实现方式中，本实施例中的装置还包括如下单元，如图8中所示：

第二音频获得单元703，用于基于第二音频通道获得语音输入数据；

其中，第二音频获得单元703在虚拟输出单元702基于虚拟音频输出装置输出所述音频播放数据之前，还用于：基于所述第二音频通道，将所述音频播放数据与所述语音输入数据混音处理，获得混合音频数据；

其中，虚拟输出单元702具体用于：将所述混合音频数据通过目标音频编码器形成编码数据；通过目标传输协议通过第一网络通道将所述编码数据传输给所述第二电子设备，所述编码数据用于所述第二电子设备解码还原所述混合音频数据并通过所述硬件音频输出装置输出。

在一种实现方式中，第一音频获得单元701还用于使能所述第一音频通道，所述第一音频通道用于从第一缓存区域中获得音频播放数据，并基于目标采样率处理所述音频播放数据。

在一种实现方式中，如果所述第一音频通道使能，所述第二音频通道用于将基于第一采样率获得的语音输入数据重采样为目标采样率，以使得所述语音输入数据与所述音频播放数据进行混音处理；从第二缓存区域获得经所述第一音频通道重采样为所述目标采样率的音频播放数据；将所述语音输入数据和所述音频播放数据混音处理；所述目标采样率高于所述第一采样率。

在一种实现方式中，所述第二缓存区域中的大小至少与所述目标采样率相关；其中，所述第二缓存区域按照环形循环擦写的方式存储数据。

在一种实现方式中，所述第一电子设备上创建有第一线程和第二线程，所述第一线程用于实现所述第一音频通道，所述第二线程用于实现所述第二音频通道。

在一种实现方式中，所述第一电子设备具有运行模式：

其中，在所述第一电子设备处于第一运行模式的情况下，所述第一音频通道被使能，且所述第二音频通道被使能；

在所述第一电子设备处于第二运行模式的情况下，所述第一音频通道被使能。

在一种实现方式中，所述第一网络通道为基于webrtc的传输通道。

需要说明的是，本实施例中各单元的具体实现可以参考前文中的相应内容，此处不再详述。

参考图9，为本申请实施例三提供的一种电子设备的结构示意图，如图2中所示的第一电子设备。该电子设备可以包括如下结构：

处理装置901，用于基于第一音频通道获得音频播放数据；所述音频播放数据为应用程序的实时输出的音频数据；

虚拟输出装置902，用于输出所述音频播放数据，所述虚拟音频输出装置对应的硬件音频输出装置属于第二电子设备，所述第二电子设备与具有所述应用程序的第一电子设备属于同一局域网且具有第一网络通道；

其中，虚拟输出装置902具体用于：将所述音频播放数据通过目标音频编码器形成编码数据；通过目标传输协议通过第一网络通道将所述编码数据传输给所述第二电子设备，所述编码数据用于所述第二电子设备解码还原所述音频播放数据并通过所述硬件音频输出装置输出。

从上述技术方案可以看出，本申请实施例三提供的一种电子设备中，基于第一音频通道获得第一电子设备上应用程序实时输出的音频播放数据，然后基于虚拟音频输出装置输出该音频播放数据，而虚拟音频输出装置对应的硬件音频输出装置属于与第一电子设备处于同一局域网且具有第一网络通道的第二电子设备，基于此，在基于虚拟音频输出装置输出音频播放数据时，先将音频播放数据通过目标音频编码器形成编码数据，然后再通过目标传输协议通过第一网络通道将编码数据传输给第二电子设备，由此，第二电子设备根据编码数据解码还原出音频播放数据并通过其中的硬件音频输出装置输出还原出的音频播放数据。可见，本实施例中通过将处于同一局域网内的其他设备的硬件虚拟化成电子设备的本地装置，由此在为电子设备扩展音频输出方式的同时，能够通过同一局域网中的其他设备中的音频输出装置输出电子设备中的任一应用程序实时输出的音频数据，由此音频数据的传输不受限于传输距离以及传输带宽，通过局域网内设备间的网络通道实现高效的音频数据传输。

以下对本申请的技术方案进行举例说明：

首先，设备虚拟化即实现组网的两台或多台智能设备，如智能手机、平板等，任一设备能够发现和使用其它设备的硬件能力，实现无缝的远程智能设备硬件能力共享。设备虚拟化音频即组网的智能设备间共享麦克风和扬声器能力，高清音频是指在智能设备间能够传输高音质音频，例如智能手机A能够将本地音频能够近乎无损的通过智能平板B的扬声器播放。

但是，目前有完善的适用于移动智能设备的设备虚拟化高清音频开源商用方案，如何能够设计一套完备的设备虚拟化高清音频传输系统即本申请的重点攻克方向。

为此，本申请的切入点为能够将智能设备A上播放的全频带音乐信号能够以48kHz采样率近乎无损的传输给智能设备B，即智能设备A借助虚拟化出来的智能设备B上的扬声器播放能力实现高清播放。

设备虚拟化音频中包含音频编码和音频数据网络传输功能，因此可以复用webrtc提供的编码和传输能力。但是原生webrtc的音频通路有两大限制：(1)仅支持一路麦克风采集数据，(2)音频信号处理单元如AECM回声消除仅支持8kHz和16kHz音频信号。由此限制，不能支持“将智能设备A上播放的全频带音乐信号能够以48kHz采样率近乎无损的传输给智能设备B”这一切入点初衷。

因此本申请的重心为开发出旁路音频方案，能够将48kHz音频信号能够直接打通到webrtc的音频编码模块，即打破原生webrtc音频编码同主音频通道--麦克风采集数据通道的绑定以及16kHz以下的限制，驱动音频编码模块能够有效支持旁路48kHz音频信号编码，然后由网络发送至虚拟化出来的智能设备B上由其扬声器播放。同时，为了满足更好的用户体验，本申请可以使能主音频通道--麦克风音频数据通道与旁路音频通道同时工作，即将旁路音频通道中承载的本地播放的48kHz全频带高清音频和主音频通道中承载的16kHz麦克风采集音频数据混合后同时驱动在虚拟化音频设备中播放。

如图10所示，智能设备A中的运行模式如下：

首先，据当前预期应用场景scene，设置音频采集源模式Mic/ALoopback/Mix。Mic即音频采集源为麦克风设备；ALoopback即音频采集源为本地播放音频数据；Mix即麦克风采集与本地播放音频数据混合。

其次，根据之前选择的模式，开启响应的音频采集/传输路径处理：

a、模式Mode选择为Mic时，启动DataCapture模块，通过麦克风启动采集16kHz音频数据，输出PCM格式的数据。然后将数据经过AudioProcessing处理，如回声消除器AEC(Acoustic Echo Canceller)、背景噪音抑制功能ANS(Automatic Noise Suppression)、自动增益补偿功能AGC(Automatic Gain Control)等，然后通过AudioEncoder编码，再经过基于实时传输协议RTP(Real-time Transport Protocol)的传输模块Sender并发送至网络NetWork；

b、模式Mode选择为ALoopback时，启动DataCapture模块，采集本地当前播放的音频数据，PCM格式。然后将数据经过AudioResample模块重采样到48kHz目标采样率，然后通过AudioEncoder编码，再经过基于实时传输协议RTP(Real-time Transport Protocol)的传输模块Sender并发送至网络NetWork；

c、模式Mode选择为Mix时，将麦克风经AudioProcessing后的PCM数据经过AudioResample模块处理，重采样到48kHz目标采样率。同时将DataCapture模块采集到的本地播放PCM数据经AudioResample模块处理，同样重采样到48kHz目标采样率。然后将两路PCM数据经过AudioMixer模块混音处理为一路信号，然后通过AudioEncoder编码，再经过基于实时传输协议RTP(Real-time Transport Protocol)的传输模块Sender并发送至网络NetWork。

可见，本申请中通过P2P混合模式高清音频采集/传输系统，核心要点包括：1)采集音频数据源扩展为全方位音频源，支持麦克风采集、本地音频播放采集、麦克风采集与本地播放混合多个采集模式，即本申请提出的混合模式，并可根据场景需求灵活选择应用何种模式；2)支持任意采样率信号输入，充分满足音乐信号高音质传输的需求。由此，本申请中的音频采集数据源多样，覆盖全音频场景，并支持灵活选择。而且，本申请支持音乐等高清音频采集/传输，并支持语音与音乐混合同时传输。

具体的，本申请中的功能模块至少包含：音频数据框架模块、音频数据源过滤模块、音频数据回调模块(单元)、音频数据缓存模块(单元)、音频重采样模块、旁路音频数据缓冲区等，这些模块对应于旁路音频通道。

基于以上功能模块，本申请的具体实现流程如图11中所示，如下：

首先，当前系统运行的具备音频输出的应用程序app(application)产生的PCM音频数据流入音频数据框架模块；

然后，音频数据源过滤模块对音频数据框架模块中的所有音频源，根据app进程ID筛选过滤，获取目标音频数据；

之后，音频数据回调单元将过滤后的PCM数据投递到音频数据缓存单元(即第一缓存区域)；

基于此，在旁路音频通道中，启动旁路音频数据采集线程，从音频数据缓存单元读取数据，每次读取10ms音频数据；

之后，经过音频重采样模块，将采集到的本地播发音频进行音频重采样，并统一输出为48kHz信号；将重采样后的数据输出至旁路音频数据缓冲区(即第二缓存区域)。缓冲区大小为20ms、双声道、16bit精度音频所对应内存大小。旁路音频数据缓冲区中在写数据缓存时，采用环形buffer循环擦写方式，未被及时读取的数据直接覆盖；

基于此，在主音频通道中，主通道音频工作线程根据当前设定的音频采集模式是否包含旁路音频。如果包含旁路音频即Mode为Mix时，首先将主通道音频数据(已经过AEC/ANS/AGC等处理)重采样至48kHz，然后跨线程读取旁路音频缓冲区数据，每次读取的数据量为10ms数据量，最后将主通道音频与旁路音频混音，并执行音频编码，并将编码后的音频数据传输至虚拟化音频设备进行输出；如果不包含旁路音频即Mode为Mic时，主通道音频直接编码并传输至虚拟化音频设备进行输出。具体可以参考图11以及相应内容。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种音频处理方法，所述方法包括：

基于第一音频通道获得音频播放数据；所述音频播放数据为应用程序的实时输出的音频数据；

基于虚拟音频输出装置输出所述音频播放数据，所述虚拟音频输出装置对应的硬件音频输出装置属于第二电子设备，所述第二电子设备与具有所述应用程序的第一电子设备属于同一局域网且具有第一网络通道；

其中，基于虚拟音频输出装置输出所述音频播放数据包括：

将所述音频播放数据通过目标音频编码器形成编码数据；

通过目标传输协议通过第一网络通道将所述编码数据传输给所述第二电子设备，所述编码数据用于所述第二电子设备解码还原所述音频播放数据并通过所述硬件音频输出装置输出。

2.根据权利要求1所述的方法，所述方法还包括：

基于第二音频通道获得语音输入数据；

其中，在所述基于虚拟音频输出装置输出所述音频播放数据之前，所述方法还包括：

基于所述第二音频通道，将所述音频播放数据与所述语音输入数据混音处理，获得混合音频数据；

其中，所述基于虚拟音频输出装置输出所述音频播放数据包括：

将所述混合音频数据通过目标音频编码器形成编码数据；

通过目标传输协议通过第一网络通道将所述编码数据传输给所述第二电子设备，所述编码数据用于所述第二电子设备解码还原所述混合音频数据并通过所述硬件音频输出装置输出。

3.根据权利要求1所述的方法，所述方法还包括：

使能所述第一音频通道，

其中，所述第一音频通道用于从第一缓存区域中获得音频播放数据，基于目标采样率处理所述音频播放数据。

4.根据权利要求2所述的方法，如果所述第一音频通道使能，所述第二音频通道用于将基于第一采样率获得的语音输入数据重采样为目标采样率，以使得所述语音输入数据与所述音频播放数据进行混音处理；从第二缓存区域获得经所述第一音频通道重采样为所述目标采样率的音频播放数据；将所述语音输入数据和所述音频播放数据混音处理；所述目标采样率高于所述第一采样率。

5.根据权利要求4所述的方法，所述第二缓存区域中的大小至少与所述目标采样率相关；

其中，所述第二缓存区域按照环形循环擦写的方式存储数据。

6.根据权利要求2所述的方法，所述第一电子设备上创建有第一线程和第二线程，所述第一线程用于实现所述第一音频通道，所述第二线程用于实现所述第二音频通道。

7.根据权利要求4所述的方法，所述第一电子设备具有运行模式：

其中，在所述第一电子设备处于第一运行模式的情况下，所述第一音频通道被使能，且所述第二音频通道被使能；

在所述第一电子设备处于第二运行模式的情况下，所述第一音频通道被使能。

8.根据权利要求1或2所述的方法，所述第一网络通道为基于webrtc的传输通道。

9.一种音频处理装置，所述装置包括：

第一音频获得单元，用于基于第一音频通道获得音频播放数据；所述音频播放数据为应用程序的实时输出的音频数据；

虚拟输出单元，用于基于虚拟音频输出装置输出所述音频播放数据，所述虚拟音频输出装置对应的硬件音频输出装置属于第二电子设备，所述第二电子设备与具有所述应用程序的第一电子设备属于同一局域网且具有第一网络通道；

其中，基于虚拟音频输出装置输出所述音频播放数据包括：

将所述音频播放数据通过目标音频编码器形成编码数据；

通过目标传输协议通过第一网络通道将所述编码数据传输给所述第二电子设备，所述编码数据用于所述第二电子设备解码还原所述音频播放数据并通过所述硬件音频输出装置输出。

10.一种电子设备，包括：

处理装置，用于基于第一音频通道获得音频播放数据；所述音频播放数据为应用程序的实时输出的音频数据；

虚拟输出装置，用于输出所述音频播放数据，所述虚拟音频输出装置对应的硬件音频输出装置属于第二电子设备，所述第二电子设备与具有所述应用程序的第一电子设备属于同一局域网且具有第一网络通道；

其中，基于虚拟音频输出装置输出所述音频播放数据包括：

将所述音频播放数据通过目标音频编码器形成编码数据；

通过目标传输协议通过第一网络通道将所述编码数据传输给所述第二电子设备，所述编码数据用于所述第二电子设备解码还原所述音频播放数据并通过所述硬件音频输出装置输出。

Images