CN102428717B - 估计声音波达方向的系统和方法 - Google Patents

Abstract

公开了用于估计声音波达方向的系统和方法，一种方法包括以下步骤：生成参考信号；采用两个或多个空间分离、定向或空间分离定向的麦克风探测声音，以生成两个或多个输出信号；计算两个或多个输出信号中的每一个与参考信号之间的关系；以及基于该关系的差异估计波达方向。

Description

估计声音波达方向的系统和方法

技术领域

本发明涉及声音方向探测领域。

背景技术

与申请号为PCT/AU2007/000764(WO2007/137364)和PCT/AU2009/001566(WO2010/051606)的国际专利申请说明书中的信息以引用方式并入本文。

一种用于在头部可佩戴设备的波达方向系统采用的技术是将来自头部左侧和右侧的麦克风输出信号结合以确定麦克风输出信号中的声音延迟。

当声音从佩戴者的中间(前或后)区域发出时，麦克风输出信号之间的延迟很小。但是，当声音从头部的一侧发出时，延迟最大。该延迟从中间区域到任意一侧区域单调递增。参照两耳间的中线位置，这种单调递增可被转化为声音的波达方向。

另一技术依赖于人类头部的遮蔽效应。头部对来自两侧的声音产生遮蔽效应。由于该遮蔽效应，麦克风输出信号之间会有大于20dB的声级差。随着声音从侧面移动至两耳间的中线位置，该声级差也单调递减。这两种基本机制已用于基于可佩戴听觉设备的波达方向算法。

已尝试多种技术来对比左边和右边的麦克风输出信号，得到波达方向的估计。这些技术包括：关联法，最大似然法(协方差最小化)，多信号分类法(MUSIC)，采用旋转不变性技术的信号参量估计(ESPRIT)或特征分解法，以及采用阵列流形或三角测量的矩阵束法。但是，这些技术仅能在相对安静的环境中顺利地运行。

例如，波达方向的常见技术依赖于传感麦克风阵列，其中计算麦克风输出信号之间的互相关性以确定最大输出功率或峰值处的延迟。存在多重声源时，这些系统不能持续和精确地估计出现在环境中的目标声音的波达方向。取而代之，此估计反映了主导声音的波达方向。但是由于不同声源的时间波动特征，主导声音通常随时改变，使估计含糊不清。

这是一个特定的应用问题，其中要求对空间中出现在任意空间位置的目标声源进行持续和精确的探测。例如，诸如助听器和听力防护器之类的头部可佩戴设备可结合双侧波束形成器技术以提高收听者可获得的信噪(S/N)比，且在该过程中去除本地信号。在这样的系统中，会需要所期望的目标声音的波达方向来重现本地信号。在这样的系统中，所期望的目标声音的波达方向可能会用于重构本地信号以供收听者使用，例如，虚拟听觉空间重构技术。

在此仍然存在对改进的波达方向技术的需求。

发明内容

第一方面，本发明提供了一种估计声音波达方向的方法，该方法包括以下步骤：生成参考信号；采用两个或多个空间分离的、定向或空间分离定向的麦克风探测声音，以生成两个或多个输出信号；计算两个或多个的输出信号中的每一个与参考信号之间的关系；以及基于该关系的差异估计波达方向。

参考信号通过采用专用的参考信号麦克风探测声音生成。

参考信号通过波束形成器技术生成。

基于关系之间差异的估计波达方向的步骤包括计算两耳间时差的步骤。

计算两耳间时差的步骤可包括使用时间相关技术。

基于关系之间差异的估计波达方向的步骤包括计算两耳间声级差的步骤。

计算两耳声级差的步骤可包括使用功率差测量。

计算关系的步骤对多频率通道执行。

上述方法可进一步包括将基于高频声音的波达方向估计的分布与来源于低频声音的波达方向估计的分布相比较的步骤。

第二方面，本发明提供了一种用来估计声音波达方向的系统，该系统包括：生成装置，用于生成参考信号；探测装置，用于采用两个或多个空间分离的、定向或空间分离定向的麦克风探测声音，以生成两个或多个输出信号；计算装置，用于计算两个或多个输出信号中的每一个与参考信号之间的关系；以及估计装置，用于基于关系之间的差异估计波达方向。

第三方面，本发明提供了一种估计声音波达方向的方法，包括以下步骤：采用两个或多个空间分离的、定向或空间分离定向的麦克风探测声音，以生成两个或多个输出信号；计算两个或多个输出信号之间的时差和声级差；以及基于时差和声级差的组合估计波达方向。

计算时差和声级差的步骤在可在多频率通道中执行。

将时差和声级差组合的步骤可包括时间延迟和声级差测量的加权组合。

计算声级差的步骤主要对高频声音执行。

计算时差的步骤主要对低频声音执行。

该方法进一步包括将基于高频声音的波达方向估计的分布和与来源于低频声音的波达方向估计的分布相比较的步骤。

第四方面，本发明提供了一种用于估计声音波达方向的系统，包括：探测装置，用于采用两个或多个空间分离的、定向或空间分离定向的麦克风探测声音，以生成两个或多个输出信号；计算装置，用于计算两个或多个输出信号之间的时差和声级差；以及估计装置，用于基于时差和声级差的组合估计波达方向。

第五方面本发明提供了一个计算机程序产品，包括使计算机设备根据本发明第一至第四方面中的任意一项来执行方法或实现系统的软件指令。

在众所周知的声源的声跟踪时，例如脉冲列或纯音，通过使用模板可以任意地生成参考信号。

可选地，在例如脉冲列或纯音的众所周知的声源的声跟踪过程中，可通过采用模板生成参考信号。

当通过双边波束形成器生成参考信号时，可在空间上将波束的瞄准方向调整至预期方向，对波束的宽度而言，包括瞄准方向附近的一系列方向。可选地，多个并行双边波束形成器可运行生成多个参考信号，多个参考信号中的每一个都能够用于在给定的空间区域内确定主导声源的波达方向。

当参考信号由多个无线链路产生时，可产生多个参考信号，其中每一个都能够用来确定在每个无线电通信电路可用的可用主导声音的波达方向。

可选地，组合的步骤可通过在多个通道，对两耳测量加权和连续求和来实现。可选地，该计算可分别地对时差和声级差进行测量，并将结果加权和连续求和以便产生一个单输出。

所公开的方法可包括步骤：采用波达方向估计将本地信号重新引入收听者的步骤。可选地，波达方向估计可用于控制外部设备，诸如监视摄像机和机器人臂。

附图说明

参照附图，现仅通过举例的方式说明本发明的实施例，其中：

图1是根据本发明的波达方向估计器的实施例的框图；

图2示出着重于任意空间区域的定位响应；

图3示出次级声源存在时估计波达方向的任务；

图4是图1的波达方向估计器的可选扩展的框图，进一步地包括具有反馈的减噪滤波器；

图5是图1的波达方向估计器的可选扩展的框图，进一步地包括生成参考信号的无线电通信电路；

图6示出由两耳间时差和声级差测量的正交变换产生的图；

图7示出为波达方向估计去除噪声和冗余的空间滤波技术的图；

图8示出在头部可佩戴设备中作为空间增强算法的本发明的应用。

具体实施方式

图1中示出本发明的优选实施例100。该系统以数字信号处理方案中的功能块的示意图形式显示。每个功能块表示运算或数据操作步骤。

系统100包括探测装置，该探测装置以全方向或定向的麦克风或麦克风阵列101和102的方式探测声音。系统100还包括用于生成参考信号Y的生成装置103。运算和估计装置包含在计算机硬件中，由软件指令控制。适当的用于实施此处描述的方法的硬件是现有的，且可由熟练DSP技术的合适的人员指定。用于实现此处描述的方法的软件可由技术人员基于此处描述的教导和数学函数准备。

参照图1，来自左麦克风101和右麦克风102的输出被转换为多通道信号，例如采用傅立叶变换技术(FFT)。优选实施例随后的分析将假定这些多通道信号左X_L，右X_R，以及参考信号Y是可获得的。但是本领域技术人员应当明确，该过程可由复合滤波器组在时域内进行。可选地，运算可在宽带信号上进行。

在图1中，100，左X_L信号和右X_R信号分别与参考信号Y组合，输入到104和105，从而以辅助左信号Z_L和辅助右信号Z_R的形式，计算X_L信号和右X_R与参考信号Y之间的关系。根据式1计算该组合过程。可选地，可通过在时域将左和右信号与参考信号相关联来计算该组合过程，从而产生左和右辅助信号。本领域技术人员应当明确在FFT空间的乘法等同于时域中的卷积，因此该运算是可互换的。

Z_L(k)＝X_L(k)·Y(k)/|X_L(k)·X_L ^*(k)|

…(式1)

Z_R(k)＝X_R(k)·Y(k)/|X_R(k)·X_R ^*(k)|

其中k表示带宽为ΔΩ的频率窗口，||表示绝对值，以及*表示复共轭。

两耳间的时间延迟估计过程106，可采用广义的相变函数实施。该计算提供与主导声源位置相对应的两耳间的时间延迟τ(秒)的估计。对于给定时间延迟步长，可得到两耳间的时间延迟。在式2中定义该步长。

$\mathrm{\Δ\τ}=2\·\frac{{\mathrm{ITD}}_{\max }}{l_{\max }}$ …(式2)

式中，ITD_max对应于最大两耳时间延迟，通常不会超过0.8毫秒，l_max为与两耳空间敏感度τ相关的量化级数，其中-0.8＜τ＜0.8毫秒。

在不同步骤中评估的时间延迟用于计算使左和右输出之间的相位差最小化所需的相位旋转。当从1至l_max改变l时，如式3所示，量R(l)随着与Z_R信号相关的信号Z_L的相位旋转而改变。

$R\left(l\right)=\left\{\frac{1}{(k_{\max }-k_{\min })}\underset{k=k_{\min }}{\overset{k_{\max }}{\mathrm{\Σ}}}\frac{Z_L\left(k\right)\·Z_R^{*}\left(k\right)\·e^{j\·k\·\left(\mathrm{\Δ\Ω}\right)\·l\·\left(\mathrm{\Δ\τ}\right)}}{|Z_L\left(k\right)\·Z_R{\left(k\right)}^{*}|}\right\}$ …(式3)

因此，通过估计使R(l)最大化的延迟步长l，可得到对于给定主导声源位置的时间延迟，其中τ＝l·Δτ。在优选实施例中，如式4所示，对该延迟进行归一化，

${\mathrm{\τ}}_i=\frac{l\·\mathrm{\Δ\τ}}{{\mathrm{ITD}}_{\max }}$ …(式4)

如式5所示，两耳间声级差过程107可通过计算相邻频道的广义的多通道归一化的声级差来执行，在优选实施例中，ρ表示频带独立加权因数。

${\mathrm{\β}}_i=\mathrm{\ρ}\·\frac{1}{(k_{\max }-k_{\min })}\underset{k=k_{\min }}{\overset{k_{\max }}{\mathrm{\Σ}}}\left(\frac{\left|Z_L\left(k\right)\right|-\left|Z_R\left(k\right)\right|}{\left|Z_L\left(k\right)\right|+\left|Z_R\left(k\right)\right|}\right)$ …(式5)

组合过程108，可通过对所有频带加权求和执行，从而通过利用估计的频率间的冗余信号来减少测量误差和噪声的影响，如式6所示。

${\mathrm{\μ}}_{\mathrm{\β}}\left(t\right)=\underset{i}{\mathrm{\Σ}}{W}_i\·\left|{\mathrm{\β}}_i\right|$

…(式6)

${\mathrm{\μ}}_{\mathrm{\τ}}\left(t\right)=\underset{i}{\mathrm{\Σ}}{W}_i\·\left|{\mathrm{\τ}}_i\right|$

其中W_i为基于对i频带线性求和的频带相关权重，t表示时间。可选地，频率相关自适应权重可用于频带间的相关性。

最终的波达方向估计可根据式7更新，

DOA(t)＝γ·μ_β(t)+(1-γ)·μ_τ(t)…(式7)，

其中权重γ可根据式8更新。该式用来使最终输出估计中的方差最小化，如特别对于变量μ_β或μ_τ，其在最近的方差最小。

${\mathrm{\γ}}^{\·}=\frac{\mathrm{VAR}\left({\mathrm{\μ}}_{\mathrm{\τ}}\left(t\right)\right)}{\mathrm{VAR}\left({\mathrm{\μ}}_{\mathrm{\β}}\left(t\right)\right)+\mathrm{VAR}\left({\mathrm{\μ}}_{\mathrm{\τ}}\left(t\right)\right)}$ …(式8)

可选地，瞬时的DOA(t)估计随时间进一步平滑，如式9所示

DOA＝α·DOA(t)+(1-α)·DOA(t-Δ))…(式9)

其中α为范围从0至1的指数加权因数。

在优选实施例中，在不超过10000弧度/秒(1.6kHz)的频率确定时间延迟，而在大于10000弧度/秒的频率确定声级差。对本领域技术人员而言，显而易见地，其它确定时间延迟和声级差的频率组合是可行的。

图2，200示出空间上着重于位于任意空间位置声源的技术。该图示出具有头部可佩戴的装有麦克风阵列的设备的收听者L，在空间上最大强调由S表示的第一声音方向，或可替代地由N表示的第二声音方向。在一实施例中，来自麦克风阵列的输出在真实的声音收听环境中提供参考信号。

图3，300示出波达方向估计器的原理，该波达方向估计器的目的是使得估计的波达方向θ°、实际的波达方向之间的误差最小化，而两个角度是相对于前中轴测量的。问题由于具有与目标声源相同的声学特性的噪声声源的出现而复杂。

图4，400显示了图1的实施例的扩展。估计的误差可通过进一步过滤两耳测量值来减小。如图6，600所示通过绘出相对于声级差测量值的预期归一化时间的图来产生这些过滤器。图中观察到的数据点由在无回声环境中获得的测量值得到，与围绕头部移动的单声源相对应。因此在这些预期值周围定义了在时间水平平面的允许区域的图。如在图7，700中进一步所示，通过上和下空间边界或过滤器来定义允许区域。此外，如图7，700所示，通过减少仰视区可进一步限制空间边界。在优选实施例中，进一步定义该区域为不大于基于双边波束形成器响应的功率束宽的一半。可选地，该仰视区可由用户自定义。

进一步参照图4，400包括可选的反馈路径，其中可自动调整波束形成器从而相对于所期望的目标声源的位置改进其效率。该反馈也能够使得所期望的目标源，在该源移动或者包含波达方向指示器的设备方向改变时，自动被追踪。

图5，500进一步示出优选实施例的扩展。除波束形成器外，用来确定参考信号的探测装置可用无线电通信电路制造。在该无线电通信电路中，位于声源附近的麦克风113可经由无线的或有线的线路传输112至生成参考信号的接收器111，。探测其空间位置的过程随后通过过程100或可选地过程400来确定。

图8，800示出本发明的应用，其中，安装在佩戴者头部每一侧的麦克风阵列被组合103以产生超定位响应。在波达方向估计器400中将来自该响应Y的输出与左输出X_L和右输出X_R相结合以确定Y中出现的主导声音的空间位置。波达方向估计器用来分别指出预先记录的与头部相关的头左侧803和头右侧804的传输响应过滤器，从而还原收听者可获得的本地信号。可选地，通过延迟左信号或右信号应用空间还原，从而收听者感受到声音的偏侧性。可选地，可通过对时间计算Z_L和Z_R，并将这些值应用为头部左侧和右侧的空间还原滤波器来引入空间还原。

本文中包含的任何对于现有技术的引用不被视为该信息为一般常识的确认，除非有其它说明。

最后，应认识到在不脱离本发明精神和范围的前提下，可对前述部分进行各种改动或增加。

Claims (8)

1.一种估计声音波达方向的方法，包括以下步骤：生成参考信号；采用位于头部左侧和右侧的空间分离的两个或多个麦克风探测声音，以生成两个或两个以上的输出信号；计算所述两个或多个输出信号中的每一个与参考信号之间的关系；以及基于关系的差异估计波达方向；以及基于关系之间的差异估计波达方向的步骤包括计算两耳间时差的步骤；且基于关系之间的差异估计波达方向的步骤包括计算两耳间声级差的步骤。

2.根据权利要求1所述的方法，其中参考信号通过采用专用的参考信号麦克风探测声音而生成。

3.根据权利要求1所述的方法，其中参考信号通过波束形成器技术生成。

4.根据权利要求1所述的方法，其中计算两耳间时差的步骤包括时间相关技术的使用。

5.根据权利要求1所述的方法，其中计算两耳间声级差的步骤包括功率差测量的使用。

6.根据权利要求1所述的方法，其中计算关系的步骤在多频率通道中进行。

7.根据权利要求1所述的方法，还包括将基于高频声音的波达方向估计分布与来源于低频声音的波达方向估计分布相比较的步骤。

8.一种用于估计声音波达方向的系统，所述系统包括：生成装置，用于生成参考信号；探测装置，用于采用位于头部左侧和右侧的空间分离的两个或多个麦克风探测声音，以生成两个或多个输出信号；计算装置，用于计算两个或多个输出信号中的每一个与参考信号之间的关系；以及估计装置，用于基于关系的差异估计波达方向；其中，所述估计装置，用于基于关系之间的差异估计波达方向包括计算两耳间时差的步骤；以及所述估计装置，用于基于关系之间的差异估计波达方向包括计算两耳间声级差的步骤。