CN112037825B - 音频信号的处理方法及装置、存储介质 - Google Patents

Abstract

本公开是关于一种音频信号的处理方法及装置、存储介质。利用至少两个音频采集通道进行音频信号采集；其中，所述音频采集通道包括：目标通道和备选通道；其中，所述备选通道采集的音频信号，用于对所述目标通道采集的所述音频信号进行噪声过滤；根据采集的音频信号的信号能量，确定目标通道的信号能量满足预设能量条件；当所述目标通道的信号能量满足预设能量条件时，切换所述目标通道对应的所述音频采集通道。通过本公开实施例的技术方案，能够灵活地应用电子设备的多个音频采集通道，提升音频质量。

Description

音频信号的处理方法及装置、存储介质

技术领域

本公开涉及信号处理技术，尤其涉及一种音频信号的处理方法及装置、存储介质。

背景技术

随着电子设备的发展，各类移动终端以及智能电子设备逐渐具有更多的功能和应用，因此，电子设备的人机交互功能也越来越强大。对于音频采集，电子设备可具有多通道的采集模式，有利于进行噪声过滤、回声消除以及声源定位等功能，并且具有更高的实用性和稳定性。然而，多通道的音频采集模式下，可能会由于声源的音量过大，导致存在部分通道出现破音等现象，导致音质效果不佳。

发明内容

本公开提供一种音频信号的处理方法及装置、存储介质。

根据本公开实施例的第一方面，提供一种音频信号的处理方法，包括：

利用至少两个音频采集通道进行音频信号采集；其中，所述音频采集通道包括：目标通道和备选通道；其中，所述备选通道采集的音频信号，用于对所述目标通道采集的所述音频信号进行噪声过滤；

根据采集的音频信号的信号能量，确定目标通道的信号能量满足预设能量条件；

当所述目标通道的信号能量满足预设能量条件时，切换所述目标通道对应的所述音频采集通道。

在一些实施例中，所述当所述目标通道的信号能量满足预设能量条件时，切换所述目标通道对应的所述音频采集通道，包括：

若所述目标通道的信号能量超过与所述备选通道的信号能量与预设参考阈值的乘积，则切换所述目标通道对应的所述音频采集通道。

在一些实施例中，所述若所述目标通道的信号能量超过与所述备选通道的信号能量与预设参考阈值的乘积，则切换所述目标通道对应的所述音频采集通道，包括：

若在时域的至少N帧上，所述目标通道的信号能量超过与所述备选通道的信号能量与预设参考阈值的乘积，则切换所述目标通道对应的所述音频采集通道，其中，N为大于或等于1的整数，所述信号能量为音频信号在预定频带内的能量。

在一些实施例中，所述当所述目标通道的信号能量满足预设能量条件时，切换所述目标通道对应的所述音频采集通道，包括：

若所述目标通道的信号能量满足预设能量条件，则确定所述至少两个音频采集通道采集的音频信号与预设的参考信号的互相关系数；

若所述至少两个音频采集通道采集的音频信号与所述预设参考信号的互相关系数满足预设相关性条件，则切换所述目标通道对应的所述音频采集通道。

在一些实施例中，所述若所述至少两个音频采集通道采集的音频信号与所述参考信号的互相关系数满足预设相关性条件，则切换所述目标通道对应的所述音频采集通道，包括：

若在时域的至少M帧上，所述目标通道采集的音频信号与所述预设参考信号的所述互相关系数小于第一相关性阈值，且，所述备选通道采集的音频信号与所述预设参考信号的所述互相关系数大于第二相关性阈值，则切换所述目标通道对应的所述音频采集通道；其中，M为大于或等于1的正整数。

在一些实施例中，所述确定所述至少两个音频采集通道采集的音频信号与预设的参考信号的互相关系数，包括：

确定所述至少两个音频采集通道采集的音频信号的第一自相关系数；

确定所述参考信号的第二自相关系数；其中，所述参考信号为所述至少两个音频采集通道所在的电子设备自身发出的音频信号；

根据各所述音频采集通道的第一自相关系数与所述第二自相关系数，确定各所述音频采集通道采集的音频信号与参考信号的互相关系数。

在一些实施例中，所述方法还包括：

获取所述至少两个音频采集通道采集音频信号对应的频域带噪信号；

根据所述频域带噪信号，确定所述至少两个音频采集通道采集的音频信号在各频点的功率谱密度；

根据所述音频信号在各频点的功率谱密度按照预定权重的加权和，确定所述信号能量。

根据本公开实施例的第二方面，提供一种音频信号的处理装置，包括：

采集模块，用于利用至少两个音频采集通道进行音频信号采集；其中，所述音频采集通道包括：目标通道和备选通道；其中，所述备选通道采集的音频信号，用于对所述目标通道采集的所述音频信号进行噪声过滤；

第一确定模块，用于根据采集的音频信号的信号能量，确定目标通道的信号能量满足预设能量条件；

切换模块，用于当所述目标通道的信号能量满足预设能量条件时，切换所述目标通道对应的所述音频采集通道。

在一些实施例中，所述切换模块，包括：

第一切换子模块，若所述目标通道的信号能量超过与所述备选通道的信号能量与预设参考阈值的乘积，则用于切换所述目标通道对应的所述音频采集通道。

在一些实施例中，所述第一切换子模块，具体用于：

若在时域的至少N帧上，所述目标通道的信号能量超过与所述备选通道的信号能量与预设参考阈值的乘积，则切换所述目标通道对应的所述音频采集通道，其中，N为大于或等于1的整数，所述信号能量为音频信号在预定频带内的能量。

在一些实施例中，所述切换模块，包括：

确定子模块，若所述目标通道的信号能量满足预设能量条件，则用于确定所述至少两个音频采集通道采集的音频信号与预设的参考信号的互相关系数；

第二切换子模块，若所述至少两个音频采集通道采集的音频信号与所述预设参考信号的互相关系数满足预设相关性条件，则用于切换所述目标通道对应的所述音频采集通道。

在一些实施例中，所述第二切换子模块，具体用于：

若在时域的至少M帧上，所述目标通道采集的音频信号与所述预设参考信号的所述互相关系数小于第一相关性阈值，且，所述备选通道采集的音频信号与所述预设参考信号的所述互相关系数大于第二相关性阈值，则切换所述目标通道对应的所述音频采集通道；其中，M为大于或等于1的正整数。

在一些实施例中，所述确定子模块，包括：

第一确定单元，用于确定所述至少两个音频采集通道采集的音频信号的第一自相关系数；

第二确定单元，用于确定所述参考信号的第二自相关系数；其中，所述参考信号为所述至少两个音频采集通道所在的电子设备自身发出的音频信号；

第三确定单元，用于根据各所述音频采集通道的第一自相关系数与所述第二自相关系数，确定各所述音频采集通道采集的音频信号与参考信号的互相关系数。

在一些实施例中，所述装置还包括：

获取模块，用于获取所述至少两个音频采集通道采集音频信号对应的频域带噪信号；

第二确定模块，用于根据所述频域带噪信号，确定所述至少两个音频采集通道采集的音频信号在各频点的功率谱密度；

第三确定模块，用于根据所述音频信号在各频点的功率谱密度按照预定权重的加权和，确定所述信号能量。

根据本公开的第三方面，提供一种音频信号的处理装置，所述装置至少包括：处理器和用于存储能够在所述处理器上运行的可执行指令的存储器，其中：

处理器用于运行所述可执行指令时，所述可执行指令执行上述任一音频信号的处理方法中的步骤。

根据本公开的第四方面，提供一种非临时性计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现上述任一项音频信号的处理方法中的步骤。

本公开的实施例提供的技术方案可以包括以下有益效果：通过本公开实施例的技术方案，根据各音频采集通道采集的音频信号的信号能量，来判断目标通道是否符合需求，进而实现目标通道的切换。如此，可以在目标通道采集的音频信号的信号能量不能满足需求时，切换目标通道，从而提升目标通道的信号质量。例如，当目标通道的信号能量过大导致出现破音现象时，可切换目标通道从而减少破音现象；在目标通道离声源较远而无法采集到清晰的音频信号时，可切换目标通道从而便于采集到清晰的音频信号；又如，在信号能量未按照需求分布在预定的频带范围时，切换目标通道，从而使目标通道采集的音频信号尽可能满足电子设备整体对于音频信号的需求。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的一种音频信号的处理方法的流程图一；

图2是根据一示例性实施例示出的一种音频信号的处理方法的流程图二；

图3是根据一示例性实施例示出的带有两个音频采集通道的终端的示意图；

图4是根据一示例性实施例示出的一种音频信号的处理方法的流程图三；

图5是根据一示例性实施例示出的一种音频信号的处理装置的结构框图；

图6是根据一示例性实施例示出的一种音频信号的处理装置的实体结构框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的一种音频信号的处理方法的流程图，如图1所示，该方法包括以下步骤：

步骤S101、利用至少两个音频采集通道进行音频信号采集；其中，所述音频采集通道包括：目标通道和备选通道；其中，所述备选通道采集的音频信号，用于对所述目标通道采集的所述音频信号进行噪声过滤；

步骤S102、根据采集的音频信号的信号能量，确定目标通道的信号能量满足预设能量条件；

步骤S103、当所述目标通道的信号能量满足预设能量条件时，切换所述目标通道对应的所述音频采集通道。

本公开实施例的上述方法可以应用于终端中，终端可以为具有音频采集组件(如具有麦克风)的电子设备，包括：手机、笔记本电脑、摄影机、可穿戴电子设备以及各种具有人机交互能力的电子设备等。也可以为具有音频文件处理功能的电子设备，如，不具有音频采集功能但可以对音频文件进行处理的计算机以及音响设备等。

对于音频信号的处理是为了得到更高的信号质量，滤除大部分噪声的音频信号。在本公开实施例中，上述终端可具有至少两个位于不同位置的音频采集通道，其中，可具有至少一个音频采集通道作为目标通道。目标通道采集的音频信号，可作为待处理的音频信号。对目标通道采集的音频信号进行降噪处理，即上述噪声过滤后，得到降噪后的音频信号，则可用于播放、传输或者存储。

备选通道可作为辅助目标通道进行噪声过滤的通道。此外，还可利用备选通道作为辅助目标通道实现声源信号分离、声源位置判断等功能。

在本公开实施例中，由于目标通道所采集的音频信号为目标信号，因此，需要目标通道采集的音频信号具有较高的信号质量。如果当前目标信号所采集的音频信号质量较差，例如，容易产生破音的现象、音量过低或者噪声较大时，则需要切换目标通道以提升目标信号的信号质量。

因此，在本公开实施例中，通过检测目标通道的信号能量，来判断信号能量是否满足预设能量条件，如果满足预设能量条件，则可切换目标通道对应的音频采集通道，从而找到更合适的音频采集通道作为目标通道。

在一实施例中，在终端开机时或者刚刚开启音频采集通道的采集功能时，可根据系统默认的设置确定目标通道和备选通道，例如，手机的上下各有一个音频采集通道，由于一般通话时下方的音频采集通道更靠近声源，因此，可将下方的音频采集通道设置为默认的目标通道，上方的采集通道则为默认的备选通道。

在另一实施例中，还可根据终端自身的姿态检测，来确定目标通道，例如，根据姿态传感器检测到的终端姿态，确定物理高度最低的音频采集通道作为目标通道。

当然，也可以随机确认初始的目标通道以及备选通道。然后在音频采集的过程中，再根据各音频采集通道的信号能量，来判断是否需要切换目标通道和备选通道。

这里，预设能量条件可为信号能量位于预定能量范围以外，例如，信号能量低于预定能量范围的最小阈值，或者信号能量高于预定能量范围的最大阈值。如果信号能量位于预定能量范围之内，则目标通道采集的音频信号可能没有出现破音现象，并且音量清晰；而如果信号能量低于上述最小阈值，则可能音量过小，不利于用户听到，如果信号能量高于上述最大阈值，则可能音量过大，容易产生破音现象，或者容易对用户听力噪声影响。需要说明的是，预定能量范围可对应于人类语音的常见范围来设置，或者人类听力的舒适范围等来设置。

当然，上述信号能量过低的情况也可能是音频采集通道所处的环境内本身比较安静，没有声源发声。因此，上述预设能量条件也可包括：目标通道采集的音频信号的信号能量低于预定最小阈值，且备选通道采集的音频信号的信号能量位于预定能量范围之内。这样，也可以在目标通道出现故障，或者目标通道距离声源太远时，切换目标通道。如果目标通道采集的音频信号与备选通道采集的音频信号的信号能量均位于上述预定能量范围之内，或者均低于上述预定最小阈值，则可不切换目标通道，维持当前的目标通道的设置。

如此，通过上述方法，可以通过各音频采集通道采集的音频信号的能量检测，来实时切换目标通道，从而便于获取清晰且音量合适的音频信号，进而提升整体音频信号的质量。

在一些实施例中，所述当所述目标通道的信号能量满足预设能量条件时，切换所述目标通道对应的所述音频采集通道，包括：

若所述目标通道的信号能量超过与所述备选通道的信号能量与预设参考阈值的乘积，则切换所述目标通道对应的所述音频采集通道。

这里，提供了上述满足预设能量条件的一种情况，通过目标通道的信号能量与备选通道的信号能量之间的关系，来确定是否满足上述预设能量条件。这里，预设参考阈值可根据目标通道与备选通道的位置关系来确定，例如，如果目标通道与备选通道之间距离较近，两者采集的音频信号之间的能量在正常情况下应当比较接近，因此，预设参考阈值可以设定在1左右。如果目标通道与备选通道之间距离较远，目标通道与声源的距离更近，那么在正常情况下目标通道采集的音频信号的信号能量可能高于备选通道，那么此时预设参考阈值可以设定较大，例如，大于2。

此外，预设参考阈值还可以根据实际对目标通道的信号能量对于音质效果的影响来确定，例如，对于通话场景，一般的通话过程中，如果目标通道的信号能量大于备选通道信号能量的3倍，则会产生破音的现象，对音质效果带来较大的影响。因此，可将上述预设参考阈值设定为小于或等于3的数值。

这样，根据预设参考阈值对各信号通道之间的信号能量的关系进行判断，就能够快速判断是否需要进行目标通道的切换，进而通过切换目标通道来尽可能保持音频信号具有较好的音质效果。

在一些实施例中，所述若所述目标通道的信号能量超过与所述备选通道的信号能量与预设参考阈值的乘积，则切换所述目标通道对应的所述音频采集通道，包括：

若在时域的至少N帧上，所述目标通道的信号能量超过与所述备选通道的信号能量与预设参考阈值的乘积，则切换所述目标通道对应的所述音频采集通道，其中，N为大于或等于1的整数，所述信号能量为音频信号在预定频带内的能量。

由于在音频采集的过程中，可能会因为环境的因素或者设备自身的信号干扰，在目标通道采集的音频信号中出现毛刺。而这些毛刺的持续时间极短，不易被察觉，因而无需在此时切换目标通道。而如果目标通道采集的音频信号中反复多次或者持续出现信号能量过大的情况，则可能会对音频信号的音质带来较大影响。

因此，在本公开实施例中，可在目标通道的信号能量超过备选通道的信号能量与预设参考阈值的乘积出现的信号帧数大于或等于N帧时，再切换目标通道。

需要说明的是，如果N的取值较大，则目标通道的切换可能不够灵敏，但可以减少不必要的反复切换，而如果N的取值较小，则目标通道的切换更加灵敏，但可能会由于各音频采集通道采集的音频信号中均会出现毛刺而导致反复切换。因此，在实际应用中，可根据对于音频信号采集的需求或者实际音频采集环境来设置N的取值，这里不做限定。

在一些实施例中，如图2所示，上述步骤S103中，所述当所述目标通道的信号能量满足预设能量条件时，切换所述目标通道对应的所述音频采集通道，包括：

步骤S201、若所述目标通道的信号能量满足预设能量条件，则确定所述至少两个音频采集通道采集的音频信号与预设的参考信号的互相关系数；

步骤S202、若所述至少两个音频采集通道采集的音频信号与所述预设参考信号的互相关系数满足预设相关性条件，则切换所述目标通道对应的所述音频采集通道。

由于目标通道与备选通道的距离可能较远，因此采集到的信号能量之间本身具有较大的差异，如果仅根据信号能量来切换目标通道，可能会由于备选通道距离声源较远而在切换为目标通道时难以采集到足够音量的音频信号。

因此，在本公开实施例中，在目标通道的信号能量满足上述预设能量条件时，还进一步根据目标通道以及备选通道采集的音频信号分别于预设参考信号的相关性，来确定是否切换目标通道。

预设参考信号可为终端自身发出的音频信号，例如，终端在与远端进行通话时，接收到对方的语音信号所播放的音频信号，包括免提状态时，对方的音频信号。又如，终端自身运行的应用程序播放的背景音乐，或者终端系统发出的音频信号等等。

由于预设参考信号为音频采集通道应当能够采集到的信号，因此，如果部分音频采集通道所采集的音频信号与预设参考信号的相关性较低，而其他音频采集通道所采集的音频信号与预设参考信号的相关性较高，则说明相关性较低的音频采集通道可能采集到了较大的噪声，或者音频采集通道可能出现了故障。

因此，在本公开实施例中，当目标通道的信号能量满足上述预设能量条件时，判断目标通道基于备选通道采集的音频信号分布与预设参考信号的相关性是否满足相关性条件，并以此作为切换目标通道的触发条件。

如此，可以准确检测到目标通道出现破音，同时噪声较大的情况，并切换目标通道，使得采集音频信号的音质较好的音频采集通道，作为目标通道使用。

在一些实施例中，所述若所述至少两个音频采集通道采集的音频信号与所述参考信号的互相关系数满足预设相关性条件，则切换所述目标通道对应的所述音频采集通道，包括：

若在时域的至少M帧上，所述目标通道采集的音频信号与所述预设参考信号的所述互相关系数小于第一相关性阈值，且，所述备选通道采集的音频信号与所述预设参考信号的所述互相关系数大于第二相关性阈值，则切换所述目标通道对应的所述音频采集通道；其中，M为大于或等于1的正整数。

与上述实施例中的N类似，这里，可设定满足上述相关性条件的帧数，如果超过M帧，满足上述相关性条件，则确定需要切换目标通道。M的设定也可根据实际需求来调整，这里不做限定。

需要说明的是，上述第一相关性阈值与第二相关性阈值可为相同的数值，也可为不同的数值。目标通道采集的音频信号与预设参考信号的互相关系数小于第一相关性阈值，则说明目标通道采集到的音频信号中，预设参考信号较弱；如果同时备选通道采集的音频信号与预设参考信号的互相关系数大于第二相关性阈值，则说明备选通道采集到的音频信号中预设参考信号较强。此时目标通道可能收到的噪声干扰较大，或者目标通道可能存在故障，因此，可以确定需要切换目标通道。

在一些实施例中，所述确定所述至少两个音频采集通道采集的音频信号与预设的参考信号的互相关系数，包括：

确定所述至少两个音频采集通道采集的音频信号的第一自相关系数；

确定所述参考信号的第二自相关系数；其中，所述参考信号为所述至少两个音频采集通道所在的电子设备自身发出的音频信号；

根据各所述音频采集通道的第一自相关系数与所述第二自相关系数，确定各所述音频采集通道采集的音频信号与参考信号的互相关系数。

音频信号的自相关系数体现了信号的平滑性。基于音频采集通道采集的音频信号的第一自相关系数和参考信号的第二自相关系数可以计算出两者的互相关系数。这里，多个音频采集通道包括当前的目标通道与备选通道。

音频采集通道的第一自相关系数可由如下公式(1)确定：

S1(k,l)＝gamma*S1(k,l-1)+(1-gamma)*real(X1(k,l).*conj(X1(k,l))) (1)

其中，S1(k,l)表示任一音频采集通道的采集的音频信号在第l帧第k个频点的第一自相关系数，gamma为平滑因子，取值在0到1之间，例如，gamma＝0.8，X1(k,l)为音频采集通道在第l帧第k个频点的频域信号，conj表示取共轭，real表示取实部。

参考信号的第二自相关系数可由如下公式(2)确定：

Sfar(k,l)＝gamma*Sfar(k,l-1)+(1-gamma)*real(Xfar(k,l).*conj(Xfar(k,l))) (2)

其中，Sfar(k,l)表示参考信号在第l帧第k个频点的第二自相关系数，Xfar(k,l)为参考信号在第l帧第k个频点的频域信号。

基于上述第一自相关系数和第二自相关系数，可以根据如下公式(3)和公式(4)计算上述音频采集通道采集的音频信号与上述参考信号之间的互相关系数。

Sfar1(k,l)＝gamma*Sfar1(k,l-1)+(1-gamma)*real(Xfar(k,l).*conj(X1(k,l))) (3)

cohed(k,l)＝real(Sfar1(k,l)*conj(Sfar1(k,l))/(Sfar(k,l)*S1(k,l)) (4)

其中，Sfar1(k,l)为中间变量，cohed(k,l)为互相关系数。

在一些实施例中，所述方法还包括：

获取所述至少两个音频采集通道采集音频信号对应的频域带噪信号；

根据所述频域带噪信号，确定所述至少两个音频采集通道采集的音频信号在各频点的功率谱密度；

根据所述音频信号在各频点的功率谱密度按照预定权重的加权和，确定所述信号能量。

在本公开实施例中，可将音频采集通道采集的音频信号进行时频转换，将时域信号转换为频域信号。然后对上述频域带噪信号求取功率谱密度。功率谱密度是对频域带噪信号各频点上的功率的统计，因此，基于功率谱密度在各频点上的值按照预定的权重进行加权，就可以得到信号能量。这里的权重可为平滑因子，取值在0到1之间，例如，取值为0.8。

通过上述实施例的方法，能够通过对音频采集通道采集的音频信号进行运算处理，得到信号能量和相关性的数据，然后进行对比判断是否需要切换目标通道，从而在音频采集的过程中，可以实时自动切换合适的音频采集通道作为目标通道，提升采集的信号质量。

本公开实施例还提供如下示例：

移动终端在进行音频采集时，例如手机的通话过程中，如果大声讲话则可能存在破音或者失真的现象。在本公开实施例中，利用移动终端的至少两个音频采集通道，如图3所示的手机，具有音频采集通道mic1与mic2，进行音频信号采集。在采集的过程中，通过能量检测、个通道信号的相关性以及远端信号相关性作为判断依据，切换用于采集音频信号并提供待处理的音频的麦克风，从而提高音频信号的清晰度，减少破音的现象。

在本公开实施例中，可通过如图4所示的步骤进行处理：

步骤S401、利用两个音频采集通道进行音频信号采集；

这里，可将音频采集通道mic1作为主通道，即上述目标通道，用于将采集的音频信号进行降噪处理后得到目标音频信号。将音频采集通道mic2作为备选通道，用于辅助目标通道进行噪声对消，也就是对mic1采集的音频信号进行辅助降噪。

mic1采集的音频信号为x1，mic2采集的音频信号为x2，分别进行分帧加窗以及傅里叶变换后，得到第l帧第k个频点的频谱X1(k,l)和X2(k,l)。

当mic1d信号能量过大时，会容易产生破音的现象，使人耳感觉到刺耳，因此，此时可以通过切换目标通道的方式，来提升最终的音频信号的质量。也就是说，可以通过切换将mic2作为目标通道，将mic1作为备选通道的方式，来提升最终的信号质量。

步骤S402、对两个音频采集通道采集的音频信号进行能量检测；

能量检测可利用如下公式(5)和公式(6)：

Mic1_sp＝∑a*Mic1_sp(k,l-1)+(1-a)*P1(k,l) (5)

Mic2_sp＝∑a*Mic2_sp(k,l-1)+(1-a)*P2(k,l) (6)

其中，Mic1_sp和Mic2_sp分别为mic1与mic2的信号能量，P1(k,l)和P2(k,l)分别为mic1与mic2的功率谱，a为平滑因子，可取值为a＝0.8。对各频点的功率谱进行加权求和，得到信号能量。需要说明的是，这里，可仅在部分频带进行求和，例如，两个音频采集通道在1kHz(千赫兹)至4kHz的频带范围内差别较大，因此，可对频点k属于1kHz至4kHz内的功率谱进行上述求和。

这里，可设置一个检测阈值Eth，作为能量满足切换条件时的阈值。如果信号能量满足检测阈值的条件，则继续进行相关系数的计算。

这里可利用如下公式(7)判断信号能量是否满足检测阈值的条件：

Mic1_sp>Eth*Mic2_sp (7)

也就是说，当mic1的信号能量大于mic2的信号能量与检测阈值的乘积，则满足检测阈值的条件，可继续进行相关系数的计算。当然，也可在判断信号能量是否满足检测阈值的条件之前，直接进行相关系数的计算，最后再利用信号能量与相关系数结合判断是否切换目标通道。

如果仅根据信号能量来判断是否切换目标通道，则可设count_choose为累计超过能量的阈值的帧数，例如，可以设置切换的门限为5帧，那么当count_choose大于或等于5时，则切换目标通道，将mic2作为目标通道，将mic1作为备选通道。

步骤S403、对音频采集通道的音频信号进行相关系数的计算；

考虑相关系数是由于，目标通道的选择也与回声消除有关，回声即音频采集通道采集到的终端自身发出的音频，例如，在通话过程中，对方讲话的声音，即远讲。在本公开实施例中，以参考信号来表示远讲产生的音频信号。

这里，考虑各音频采集通道采集的音频信号与参考信号的相关性，计算各音频信号与参考信号之间的互相关系数。

各音频采集通道的自相关系数可由上述实施例中的公式(1)确定：

S1(k,l)＝gamma*S1(k,l-1)+(1-gamma)*real(X1(k,l).*conj(X1(k,l))) (1)

其中，S1(k,l)表示任一音频采集通道的采集的音频信号在第l帧第k个频点的自相关系数，gamma为平滑因子，取值在0到1之间，例如，gamma＝0.8，X1(k,l)为音频采集通道在第l帧第k个频点的频域信号，conj表示取共轭，real表示取实部。

参考信号的自相关系数可由上述实施例中的公式(2)确定：

Sfar(k,l)＝gamma*Sfar(k,l-1)+(1-gamma)*real(Xfar(k,l).*conj(Xfar(k,l))) (2)

其中，Sfar(k,l)表示参考信号在第l帧第k个频点的第二自相关系数，Xfar(k,l)为参考信号在第l帧第k个频点的频域信号。

根据上述实施例中的公式(3)和公式(4)计算上述音频采集通道采集的音频信号与上述参考信号之间的互相关系数。

Sfar1(k,l)＝gamma*Sfar1(k,l-1)+(1-gamma)*real(Xfar(k,l).*conj(X1(k,l))) (3)

cohed(k,l)＝real(Sfar1(k,l)*conj(Sfar1(k,l))/(Sfar(k,l)*S1(k,l)) (4)

其中，Sfar1(k,l)为中间变量，cohed(k,l)为互相关系数。

需要说明的是，相关系数的计算可以在全频点上，即上述相关系数表示在k的所有取值的频点上。

步骤S404、利用能量检测与相关系数结合，判断是否切换目标通道。

这里可利用如下公式(8)确定相关系数是否满足阈值条件：

cohed1<Ethrod1&&cohed2>Ethrod2 (8)

其中，cohed1和cohed2分别为mic1和mic2与参考信号的互相关系数。Ethrod1为mic1与参考信号的互相关系数的阈值，Ethrod2为mic2与参考信号的互相关系数的阈值。当存在一帧满足上述条件时，可利用计数器进行计数，当计数值大于预设的阈值时，则切换目标通道。即，可设count_choose为累计满足上述条件的帧数，例如，可以设置切换的门限为5帧，那么当count_choose大于或等于5时，则切换目标通道，将mic2作为目标通道，将mic1作为备选通道。

通过本公开实施例的上述方案，利用能量检测与相关系数的计算，自动切换目标通道，可以很好地降低由于声音过大导致的破音现象，提升了语音信号的清晰度。

图5是根据一示例性实施例示出的一种音频信号的处理装置的结构框图，如图5所示，该装置500包括：

采集模块501，用于利用至少两个音频采集通道进行音频信号采集；其中，所述音频采集通道包括：目标通道和备选通道；其中，所述备选通道采集的音频信号，用于对所述目标通道采集的所述音频信号进行噪声过滤；

第一确定模块502，用于根据采集的音频信号的信号能量，确定目标通道的信号能量满足预设能量条件；

切换模块503，用于当所述目标通道的信号能量满足预设能量条件时，切换所述目标通道对应的所述音频采集通道。

在一些实施例中，所述切换模块，包括：

第一切换子模块，若所述目标通道的信号能量超过与所述备选通道的信号能量与预设参考阈值的乘积，则用于切换所述目标通道对应的所述音频采集通道。

在一些实施例中，所述第一切换子模块，具体用于：

若在时域的至少N帧上，所述目标通道的信号能量超过与所述备选通道的信号能量与预设参考阈值的乘积，则切换所述目标通道对应的所述音频采集通道，其中，N为大于或等于1的整数，所述信号能量为音频信号在预定频带内的能量。

在一些实施例中，所述切换模块，包括：

确定子模块，若所述目标通道的信号能量满足预设能量条件，则用于确定所述至少两个音频采集通道采集的音频信号与预设的参考信号的互相关系数；

第二切换子模块，若所述至少两个音频采集通道采集的音频信号与所述预设参考信号的互相关系数满足预设相关性条件，则用于切换所述目标通道对应的所述音频采集通道。

在一些实施例中，所述第二切换子模块，具体用于：

若在时域的至少M帧上，所述目标通道采集的音频信号与所述预设参考信号的所述互相关系数小于第一相关性阈值，且，所述备选通道采集的音频信号与所述预设参考信号的所述互相关系数大于第二相关性阈值，则切换所述目标通道对应的所述音频采集通道；其中，M为大于或等于1的正整数。

在一些实施例中，所述确定子模块，包括：

第一确定单元，用于确定所述至少两个音频采集通道采集的音频信号的第一自相关系数；

第二确定单元，用于确定所述参考信号的第二自相关系数；其中，所述参考信号为所述至少两个音频采集通道所在的电子设备自身发出的音频信号；

第三确定单元，用于根据各所述音频采集通道的第一自相关系数与所述第二自相关系数，确定各所述音频采集通道采集的音频信号与参考信号的互相关系数。

在一些实施例中，所述装置还包括：

获取模块，用于获取所述至少两个音频采集通道采集音频信号对应的频域带噪信号；

第二确定模块，用于根据所述频域带噪信号，确定所述至少两个音频采集通道采集的音频信号在各频点的功率谱密度；

第三确定模块，用于根据所述音频信号在各频点的功率谱密度按照预定权重的加权和，确定所述信号能量。关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图6是根据一示例性实施例示出的一种音频信号的处理装置600的框图。例如，装置600可以是移动电话、计算机、数字广播终端、消息收发设备、游戏控制台、平板设备、医疗设备、健身设备、个人数字助理等。

参照图6，装置600可以包括以下一个或多个组件：处理组件601，存储器602，电源组件603，多媒体组件604，音频组件605，输入/输出(I/O)接口606，传感器组件607，以及通信组件608。

处理组件601通常控制装置600的整体操作，诸如与显示、电话呼叫、数据通信、相机操作和记录操作相关联的操作。处理组件601可以包括一个或多个处理器610来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件601还可以包括一个或多个模块，便于处理组件601和其他组件之间的交互。例如，处理组件601可以包括多媒体模块，以方便多媒体组件604和处理组件601之间的交互。

存储器610被配置为存储各种类型的数据以支持在装置600的操作。这些数据的示例包括用于在装置600上操作的任何应用程序或方法的指令、联系人数据、电话簿数据、消息、图片、视频等。存储器602可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、快闪存储器、磁盘或光盘。

电源组件603为装置600的各种组件提供电力。电源组件603可以包括：电源管理系统，一个或多个电源，及其他与为装置600生成、管理和分配电力相关联的组件。

多媒体组件604包括在所述装置600和用户之间提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件604包括一个前置摄像头和/或后置摄像头。当装置600处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和/或后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件605被配置为输出和/或输入音频信号。例如，音频组件605包括一个麦克风(MIC)，当装置600处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器610或经由通信组件608发送。在一些实施例中，音频组件605还包括一个扬声器，用于输出音频信号。

I/O接口606为处理组件601和外围接口模块之间提供接口，上述外围接口模块可以是键盘、点击轮、按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件607包括一个或多个传感器，用于为装置600提供各个方面的状态评估。例如，传感器组件607可以检测到装置600的打开/关闭状态、组件的相对定位，例如所述组件为装置600的显示器和小键盘，传感器组件607还可以检测装置600或装置600的一个组件的位置改变，用户与装置600接触的存在或不存在，装置600方位或加速/减速和装置600的温度变化。传感器组件607可以包括接近传感器，被配置为在没有任何的物理接触时检测附近物体的存在。传感器组件607还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件607还可以包括加速度传感器、陀螺仪传感器、磁传感器、压力传感器或温度传感器。

通信组件608被配置为便于装置600和其他设备之间有线或无线方式的通信。装置600可以接入基于通信标准的无线网络，如WiFi、2G或3G，或它们的组合。在一个示例性实施例中，通信组件608经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件608还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术、红外数据协会(IrDA)技术、超宽带(UWB)技术、蓝牙(BT)技术或其他技术来实现。

在示例性实施例中，装置600可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器602，上述指令可由装置600的处理器610执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本公开实施例还提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行上述任一实施例所提供的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (14)

1.一种音频信号的处理方法，其特征在于，包括：

利用至少两个音频采集通道进行音频信号采集；其中，所述音频采集通道包括：目标通道和备选通道；其中，所述备选通道采集的音频信号，用于对所述目标通道采集的所述音频信号进行噪声过滤；

根据所述目标通道和所述备选通道采集的音频信号的信号能量，确定目标通道的信号能量满足预设能量条件；

当所述目标通道的信号能量满足预设能量条件时，切换所述目标通道对应的所述音频采集通道；

其中，所述当所述目标通道的信号能量满足预设能量条件时，切换所述目标通道对应的所述音频采集通道，包括：

若所述目标通道的信号能量满足预设能量条件，则确定所述至少两个音频采集通道采集的音频信号与预设参考信号的互相关系数；

若所述至少两个音频采集通道采集的音频信号与所述预设参考信号的互相关系数满足预设相关性条件，则切换所述目标通道对应的所述音频采集通道。

2.根据权利要求1所述的方法，其特征在于，所述当所述目标通道的信号能量满足预设能量条件时，切换所述目标通道对应的所述音频采集通道，还包括：

若所述目标通道的信号能量超过与所述备选通道的信号能量与预设参考阈值的乘积，则切换所述目标通道对应的所述音频采集通道；所述预设参考阈值根据所述目标通道与所述备选通道的位置关系确定；或，所述预设参考阈值根据所述目标通道的信号能量对于音质效果的影响确定。

3.根据权利要求2所述的方法，其特征在于，所述若所述目标通道的信号能量超过与所述备选通道的信号能量与预设参考阈值的乘积，则切换所述目标通道对应的所述音频采集通道，包括：

若在时域的至少N帧上，所述目标通道的信号能量超过与所述备选通道的信号能量与预设参考阈值的乘积，则切换所述目标通道对应的所述音频采集通道，其中，N为大于或等于1的整数，所述信号能量为音频信号在预定频带内的能量。

4.根据权利要求1所述的方法，其特征在于，所述若所述至少两个音频采集通道采集的音频信号与所述参考信号的互相关系数满足预设相关性条件，则切换所述目标通道对应的所述音频采集通道，包括：

若在时域的至少M帧上，所述目标通道采集的音频信号与所述预设参考信号的所述互相关系数小于第一相关性阈值，且，所述备选通道采集的音频信号与所述预设参考信号的所述互相关系数大于第二相关性阈值，则切换所述目标通道对应的所述音频采集通道；其中，M为大于或等于1的正整数。

5.根据权利要求1所述的方法，其特征在于，所述确定所述至少两个音频采集通道采集的音频信号与预设的参考信号的互相关系数，包括：

确定所述至少两个音频采集通道采集的音频信号的第一自相关系数；

确定所述参考信号的第二自相关系数；其中，所述参考信号为所述至少两个音频采集通道所在的电子设备自身发出的音频信号；

根据各所述音频采集通道的第一自相关系数与所述第二自相关系数，确定各所述音频采集通道采集的音频信号与参考信号的互相关系数。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述至少两个音频采集通道采集音频信号对应的频域带噪信号；

根据所述频域带噪信号，确定所述至少两个音频采集通道采集的音频信号在各频点的功率谱密度；

根据所述音频信号在各频点的功率谱密度按照预定权重的加权和，确定所述信号能量。

7.一种音频信号的处理装置，其特征在于，包括：

采集模块，用于利用至少两个音频采集通道进行音频信号采集；其中，所述音频采集通道包括：目标通道和备选通道；其中，所述备选通道采集的音频信号，用于对所述目标通道采集的所述音频信号进行噪声过滤；

第一确定模块，用于根据所述目标通道和所述备选通道采集的音频信号的信号能量，确定目标通道的信号能量满足预设能量条件；

切换模块，用于当所述目标通道的信号能量满足预设能量条件时，切换所述目标通道对应的所述音频采集通道；

其中，所述切换模块，包括：

确定子模块，若所述目标通道的信号能量满足预设能量条件，则用于确定所述至少两个音频采集通道采集的音频信号与预设参考信号的互相关系数；

第二切换子模块，若所述至少两个音频采集通道采集的音频信号与所述预设参考信号的互相关系数满足预设相关性条件，则用于切换所述目标通道对应的所述音频采集通道。

8.根据权利要求7所述的装置，其特征在于，所述切换模块，还包括：

第一切换子模块，若所述目标通道的信号能量超过与所述备选通道的信号能量与预设参考阈值的乘积，则用于切换所述目标通道对应的所述音频采集通道；所述预设参考阈值根据所述目标通道与所述备选通道的位置关系确定；或，所述预设参考阈值根据所述目标通道的信号能量对于音质效果的影响确定。

9.根据权利要求8所述的装置，其特征在于，所述第一切换子模块，具体用于：

若在时域的至少N帧上，所述目标通道的信号能量超过与所述备选通道的信号能量与预设参考阈值的乘积，则切换所述目标通道对应的所述音频采集通道，其中，N为大于或等于1的整数，所述信号能量为音频信号在预定频带内的能量。

10.根据权利要求7所述的装置，其特征在于，所述第二切换子模块，具体用于：

若在时域的至少M帧上，所述目标通道采集的音频信号与所述预设参考信号的所述互相关系数小于第一相关性阈值，且，所述备选通道采集的音频信号与所述预设参考信号的所述互相关系数大于第二相关性阈值，则切换所述目标通道对应的所述音频采集通道；其中，M为大于或等于1的正整数。

11.根据权利要求10所述的装置，其特征在于，所述确定子模块，包括：

第一确定单元，用于确定所述至少两个音频采集通道采集的音频信号的第一自相关系数；

第二确定单元，用于确定所述参考信号的第二自相关系数；其中，所述参考信号为所述至少两个音频采集通道所在的电子设备自身发出的音频信号；

第三确定单元，用于根据各所述音频采集通道的第一自相关系数与所述第二自相关系数，确定各所述音频采集通道采集的音频信号与参考信号的互相关系数。

12.根据权利要求7所述的装置，其特征在于，所述装置还包括：

获取模块，用于获取所述至少两个音频采集通道采集音频信号对应的频域带噪信号；

第二确定模块，用于根据所述频域带噪信号，确定所述至少两个音频采集通道采集的音频信号在各频点的功率谱密度；

第三确定模块，用于根据所述音频信号在各频点的功率谱密度按照预定权重的加权和，确定所述信号能量。

13.一种音频信号的处理装置，其特征在于，所述装置至少包括：处理器和用于存储能够在所述处理器上运行的可执行指令的存储器，其中：

处理器用于运行所述可执行指令时，所述可执行指令执行上述权利要求1至6任一项提供的音频信号的处理方法中的步骤。

14.一种非临时性计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现上述权利要求1至6任一项提供的音频信号的处理方法中的步骤。

Images