CN108986836A - 一种回声抑制器的控制方法、装置、设备和存储介质 - Google Patents
一种回声抑制器的控制方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN108986836A CN108986836A CN201810998656.5A CN201810998656A CN108986836A CN 108986836 A CN108986836 A CN 108986836A CN 201810998656 A CN201810998656 A CN 201810998656A CN 108986836 A CN108986836 A CN 108986836A
- Authority
- CN
- China
- Prior art keywords
- echo
- convergence state
- physical training
- echo suppressor
- sef
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M9/00—Arrangements for interconnection not involving centralised switching
- H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
- H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
Abstract
本申请实施例提供了一种回声抑制器的控制方法、装置、设备和存储介质，该方法包括：获取回声抑制器中自适应滤波器的训练状态或收敛状态；其中，所述自适应滤波器用于根据实时语音进行回声消除训练，从训练状态直至收敛状态；根据所述训练状态或收敛状态，切换所述回声抑制器中的音频输出抑制规律，其中，自适应滤波器训练状态和收敛状态所对应的音频输出抑制规律不同。本申请实施例可以根据自适应滤波器的状态的不同，对应调整对所述回声抑制器中的音频输出抑制规律，可以优化回声抑制器的音频输出效果。
Description
技术领域
本发明实施例涉及音频信号处理技术，尤其涉及一种回声抑制器的控制方法、装置、设备和存储介质。
背景技术
双向实时通话终端，如移动电话、蓝牙耳机、蓝牙音箱、和平板电脑等，在实时通话过程中，本地麦克风自然会录取到喇叭或扬声器播放的对端语音，形成的回声，回声再回传到对端，因此使得远端用户能够听到自己刚才说过的话，影响对话体验。所以，通话终端内都需要一个有效地回声抑制器，来消除回声。
现有回声抑制器一般可包括自适应线性滤波器，来处理快速多变的声学回声。自适应滤波器需要一定的训练时间才能真正生效。通常的做法是在通话建立后才开始训练自适应滤波器直至收敛。而在该训练过程完成之前，自适应滤波器控制回声的能力非常有限，导致远端用户在通话刚建立的一段时间内仍能听见自己的回声。这一段自适应滤波器训练时间也称滤波器的收敛时间。
为了降低初始训练状态中的回声对用户体验的影响，目前市面上许多产品是通过逐渐提高通话音量，即所谓的“淡入”，来赢得一点必要的时间，让自适应滤波器有足够时间收敛。比如刚开始上行输出音量调得很低，所以没有控制住的回声远端用户也听不见，但副作用是远端用户此时也听不见近端用户的声音，从而影响用户体验。过一段时间后，音量才逐渐恢复正常，但远端用户会觉得奇怪为什么音量总是缓慢的进入正常工作状态。
发明内容
本发明提供一种回声抑制器的控制方法、装置、设备和存储介质，可以优化回声抑制器音频输出的效果。
第一方面，本发明实施例提供了一种回声抑制器的控制方法，包括：
获取回声抑制器中自适应滤波器的训练状态或收敛状态；其中，所述自适应滤波器用于根据实时语音进行回声消除训练，从训练状态直至收敛状态；
根据所述训练状态或收敛状态，切换所述回声抑制器中的音频输出抑制规律，其中，自适应滤波器训练状态和收敛状态所对应的音频输出抑制规律不同。
进一步地，自适应滤波器训练状态对应的音频输出抑制规律，强于所述收敛状态对应的音频输出抑制规律。
进一步地，所述训练状态对应的音频输出抑制规律降低的音频音量幅度，大于所述收敛状态对应的音频输出抑制规律降低的音频音量幅度；或
所述训练状态对应的音频输出抑制规律所抑制后输出的音频音量小于所述收敛状态对应的音频输出抑制规律所抑制后的音频音量。
进一步地，根据所述训练状态或收敛状态，切换所述回声抑制器中的音频输出抑制规律包括：
根据所述训练状态或收敛状态，控制所述回声抑制器中非线性处理器的非线性抑制参数，以切换所述回声抑制器中的音频输出抑制规律。
进一步地，根据所述训练状态或收敛状态，控制所述回声抑制器中非线性处理器的非线性抑制参数，以切换所述回声抑制器中的音频输出抑制规律包括：
根据所述训练状态或收敛状态，控制所述非线性处理器按照如下公式对上行输出音频进行抑制：
NLP_G(n+1)＝0.999*NLP_G(n)+0.001；
其中，n为下行输入音频信号中满足设定能量音频信号的累加采样数；NLP_G(n)为n对应的抑制音量参数值；NLP_G(0)为预设初始值。
进一步地，根据所述训练状态或收敛状态，控制所述回声抑制器中非线性处理器的非线性抑制参数，以切换所述回声抑制器中的音频输出抑制规律包括：
根据所述训练状态或收敛状态，控制所述非线性处理器根据n的取值范围，查询对应的NLP_G(n)值；
其中，n为下行输入音频信号中满足设定能量音频信号的累加采样数；NLP_G(n)为n对应的抑制音量参数值。
进一步地，获取回声抑制器中自适应滤波器的训练状态或收敛状态包括：
识别接收到音频中的实时语音，在所述实时语音的累积时长达到预设时长时，确定所述回声抑制器中的自适应滤波器从训练状态变更至收敛状态。
进一步地，获取回声抑制器中自适应滤波器的训练状态或收敛状态之前，还包括：
如果监测到通话模式改变，或环境音频发生变化，则控制所述自适应滤波器重新进行回声消除训练，直至再次收敛。
第二方面，本发明实施例提供了一种回声抑制器的控制装置，包括：
状态获取模块，用于获取回声抑制器中自适应滤波器的训练状态或收敛状态；其中，所述自适应滤波器用于根据实时语音进行回声消除训练，从训练状态直至收敛状态；
音频抑制模块，用于根据所述训练状态或收敛状态，切换所述回声抑制器中的音频输出抑制规律，其中，自适应滤波器训练状态和收敛状态所对应的音频输出抑制规律不同。
第三方面，本发明实施例提供了一种设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本申请实施例提供的一种回声抑制器的控制方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本申请实施例提供的一种回声抑制器的控制方法。
本发明提供了一种回声抑制器的控制方案，通过获取回声抑制器中自适应滤波器的训练状态或收敛状态；其中，所述自适应滤波器用于根据实时语音进行回声消除训练，从训练状态直至收敛状态；根据所述训练状态或收敛状态，切换所述回声抑制器中的音频输出抑制规律，其中，自适应滤波器训练状态和收敛状态所对应的音频输出抑制规律不同。可以根据自适应滤波器的状态的不同对应调整对所述回声抑制器中的音频输出抑制规律，可以优化回声抑制器的音频输出效果。
附图说明
图1为本申请实施例提供的一种回声抑制器的模块示意图；
图2为本申请实施例提供的一种回声抑制器中的多种信号波形示意图；
图3为本申请实施例提供的一种回声抑制器的控制方法的流程图；
图4为本申请实施例提供的自适应滤波器根据实时语音进行回声消除训练时的残余回声和回声的比值曲线图；
图5为本申请实施例提供的另一种回声抑制器的控制方法的流程图；
图6为本申请实施例提供的非线性滤波器对输出音频信号进行抑制后的残余回声和回声的比值曲线图；
图7为本申请实施例提供的非线性处理器对回声抑制器的输出音频信号进行抑制后的残余回声和回声的比值曲线图；
图8为本申请实施例提供的另一种回声抑制器的控制方法的流程图；
图9为本申请实施例提供的另一种回声抑制器的控制方法的流程图；
图10为本申请实施例提供的一种回声抑制器的控制装置的模块示意图
图11为本申请实施例提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
图1为本申请实施例提供的一种回声抑制器的模块示意图，图2为本申请实施例提供的一种回声抑制器中的多种信号波形示意图；如图1和图2所示，回声抑制器10包括自适应滤波器12、下行语音输入11和上行语音输出15，所述回声抑制器10通过所述下行语音输入11接收远端传输来的下行语音信号S0，并将所述下行语音信号S0传输至外部的喇叭20进行播放。
所述自适应滤波器会根据所述下行语音信号S0中提取参考信号S1，并根据参考信号S1生成预测信号S4。
喇叭20播放所述下行语音信号S0之后，由于麦克风30和喇叭20的间隔距离都不会太远，所以麦克风30会采集由喇叭20播放的声音并生成回声信号S2，另外麦克风30也会同时采集用户40的声音并生成用户语音信号S3，为了便于理解，本申请实施例区分所述回声信号S2和用户语音信号S3，但是在实际情况里，麦克风30是同时采集其所处环境中的声音，也就是同时采集喇叭20播放的声音以及用户40的声音并生成实时语音，实时语音包括用户语音信号S3和回声信号S2的叠加信号。
所述自适应滤波器12所生成的回声预测信号S4与所述回声信号S2非常接近，回声预测信号S4用于滤除所述叠加信号中的回声信号S2，以得到包含残余回声S50的滤波器输出信号S5。回声抑制器10可以将滤波器输出信号S5作为回声抑制器的输出音频信号S7，并通过上行语音输出15传输至远端。
由于回声预测信号S4与回声信号S2之间仍存在差异，滤波器输出信号S5种残余的回声信号仍然会影响用户的通话体验，所以需要对滤波器输出信号S5进一步进行处理，以便得到更好的输出音频信号。
图3为本发明实施例提供的一种回声抑制器的控制方法的流程图，该方法可以由回声抑制器来执行，具体包括如下步骤：
S110、获取回声抑制器中自适应滤波器的训练状态或收敛状态；其中，所述自适应滤波器用于根据实时语音进行回声消除训练，从训练状态直至收敛状态。
其中，自适应滤波器用于根据实时语音进行回声消除训练，所述实时语音为麦克风根据采集的声音所生成的实时语音。所述实时语音中包括回声信号和用户语音信号，而回声信号会影响通话体验，所以需要对实时语音中的回声信号进行消除，自适应滤波器可以生成一个和回声信号很接近的回声预测信号，可以根据回声预测信号消除实时语音信号中的回声信号。在此之前，自适应滤波器需要进行回声消除训练，以使自适应滤波器可以输出能够有效地消除语音信号中的回声预测信号。
所述回声抑制器中的自适应滤波器根据参考信号生成回声预测信号时，需要经过训练状态来训练滤波器参数，以使自适应滤波器可以生成更接近回声信号的回声预测信号。自适应滤波器达到收敛状态时，即可以生成最接近回声信号的回声预测信号，能够有效地消除语音信号中的回声信号。
所述训练状态可以是一个参数迭代过程，自适应滤波器根据初始的滤波器参数生成预测回声信号，并根据预测回声信号确定预测误差；如果预测误差仍较大，则反复调整滤波器参数生成新的预测回声信号，并确定新的预测误差。根据不同的滤波器参数反复训练自适应滤波器，逐渐使滤波器参数收敛到最佳值，预测误差降到最低值，自适应滤波器即进入收敛状态。图4为本申请实施例提供的自适应滤波器根据实时语音进行回声消除训练时的残余回声和回声的比值曲线图,如图4所示，自适应滤波器在前期的训练状态采用了不同的滤波器参数进行训练，直到使滤波器参数收敛到最佳值，同时自适应滤波器进入收敛状态。
由于自适应滤波器的初始状态以及收敛后的最佳状态的差别较大，虽然自适应滤波器对回声消除的能力逐渐提高，但是仍需要经过一段时间才能实现对实时语音中的回声的有效消除，而在这个变化过程中经过自适应滤波器进行回声消除的实时语音中仍存在一定的回声。而且自适应滤波器的训练状态会持续一定的时长，在这个状态中回声抑制器的输出音频信号中仍然存在较多残余回声，所以需要对回声抑制器的输出音频信号进行进一步处理。
可以通过抑制输出音频信号，以抑制输出音频信号中的残余回声。
S111、根据所述训练状态或收敛状态，切换所述回声抑制器中的音频输出抑制规律，其中，自适应滤波器训练状态和收敛状态所对应的音频输出抑制规律不同。
其中，所述回声抑制器的音频输出抑制规律为：根据对应的抑制参数和抑制方式对回声抑制器的输出音频信号进行抑制的操作。如图1所示，如果将滤波器输出信号S5作为回声抑制器的输出音频信号，则所述音频输出抑制规律为根据对应的抑制参数和抑制方式对所述滤波器输出信号进行抑制的操作。经过抑制操作的输出音频信号将会作为回声抑制器的最终的输出音频信号。
由于自适应滤波器的训练状态和收敛状态时，所述输出音频信号中所包含的残余回声量有所不同，如果两个状态均采用同一种音频输出抑制规律，虽然在训练状态对输出音频信号中的残余回声进行了一定的抑制，但是同时也会抑制输出音频信号中包括的用户语音信号，特别是在收敛状态时，输出音频信号中的残余回声的含量已经非常少，此时如果仍采用同一个音频输出抑制规律对输出音频信号进行抑制，则会导致通话双方听不见对方的语音信号。
针对自适应滤波器的训练状态和收敛状态的不同情况，分别采用不同的音频输出抑制规律，可以分别对不同状态的输出音频信号进行相应的抑制操作，从而使在所述自适应滤波器处于不同阶段时，回声抑制器都能输出较好的输出音频信号。
可选地，自适应滤波器训练状态对应的音频输出抑制规律，强于所述收敛状态对应的音频输出抑制规律。
其中，所述自适应滤波器处于训练状态时，相比处于收敛状态时，回声抑制输出音频信号中包含的残余回声的量更多，所以通过设置自适应滤波器训练状态对应的音频输出抑制规律强于所述收敛状态对应的音频输出抑制规律，可以使自适应滤波器处于训练状态时，对残余回声进行更强的抑制，而在自适应滤波器处于收敛状态时，降低对残余回声的抑制，同时也降低了对语音信号的抑制，通话双方也可以听到更清楚的语音信号。
可选地，所述训练状态对应的音频输出抑制规律降低的音频音量幅度，大于所述收敛状态对应的音频输出抑制规律降低的音频音量幅度；或所述训练状态对应的音频输出抑制规律所抑制后输出的音频音量小于所述收敛状态对应的音频输出抑制规律所抑制后的音频音量。
所述音频输出抑制规律可以是根据幅度抑制参数对回声抑制器的输出音频信号的音频音量幅度进行降低；还可以是根据音量抑制参数对回声抑制器的输出音频信号的音频音量进行降低。通过抑制所述音频音量幅度或抑制所述音频音量均可以对输出音频信号进行抑制，同时抑制输出音频信号中包含的残余回声，以及针对不同状态对应进行不同的抑制控制，可以优化回声抑制器的音频输出效果。
本申请实施例通过获取回声抑制器中自适应滤波器的训练状态或收敛状态；其中，所述自适应滤波器用于根据实时语音进行回声消除训练，从训练状态直至收敛状态；根据所述训练状态或收敛状态，切换所述回声抑制器中的音频输出抑制规律，其中，自适应滤波器训练状态和收敛状态所对应的音频输出抑制规律不同；可以根据自适应滤波器的状态的不同对应调整对所述回声抑制器中的音频输出抑制规律，可以优化回声抑制器的音频输出效果。
图6为本身请提供的另一种回声抑制器的控制方法的流程图，在上述实施例的基础上，可选地，如图6所示，该方法包括：
S120、获取回声抑制器中自适应滤波器的训练状态或收敛状态；其中，所述自适应滤波器用于根据实时语音进行回声消除训练，从训练状态直至收敛状态。
具体实施方式可以参考上文的相关描述，在此不再赘述。
S121、根据所述训练状态或收敛状态，控制所述回声抑制器中非线性处理器的非线性抑制参数，以切换所述回声抑制器中的音频输出抑制规律。其中，自适应滤波器训练状态和收敛状态所对应的音频输出抑制规律不同。
所述回声抑制器还包括非线性处理器(NLP,Non-linear processing),非线性处理器可以对经过自适应滤波器的回声消除处理的实时语音进行进一步处理，可以抑制实时语音中的回声，以进一步消除所述实时语音中残留的回声。非线性处理器可以根据非线性抑制参数对回声抑制器的输出音频信号进行抑制，不同的非线性抑制参数对应不同的音频输出抑制规律。
如图1所示，非线性处理器13可以接收滤波器输出信号S5，并根据对应的非线性抑制参数对滤波器输出信号S5进行抑制，输出的抑制信号S6可以作为回声抑制器10的输出音频信号S7。
图6为本申请实施例提供的非线性滤波器对输出音频信号进行抑制后的残余回声和回声的比值曲线图，其中，虚线为经过自适应滤波器的回声消除训练后的输出音频信号中的残余回声和回声的比值曲线，实线是经过非线性处理器的抑制处理后的输出音频信号中的残余回声和回声的比值曲线。可以从图6中看出，经过非线性处理器的抑制处理后的残余回声得到抑制，残余回声量明显变少。但是在自适应滤波器的训练阶段，与收敛阶段相比，残余回声的含量还是过高，需要进一步对非线性处理器的抑制操作进行改进。
可选地，根据所述训练状态或收敛状态，控制所述回声抑制器中非线性处理器的非线性抑制参数，以切换所述回声抑制器中的音频输出抑制规律可以通过下述方式实施：
根据所述训练状态或收敛状态，控制所述非线性处理器按照如下公式对上行输出音频进行抑制：
NLP_G(n+1)＝0.999*NLP_G(n)+0.001；
其中，n为下行输入音频信号中满足设定能量音频信号的累加采样数；NLP_G(n)为n对应的抑制音量参数值；NLP_G(0)为预设初始值。
具体的，对远端用户传输的下行输入音频信号进行设定频率的采样，例如，每秒钟采样4000次，也可以是8000次或16000次等。识别每个采样点音频信号的能量是否符合设定能量阈值，若符合，则确定该采样点为设定能量音频信号。能量可以用音频信号的功率、幅值、或音量等参数来表征，大于设定能量阈值的音频信号基本上为正常语音信号，是有回声训练意义的，否则可能为环境噪音。对设定能量音频信号的数量进行累加，即作为累加采样数n。例如，第一个采样点为设定能量音频信号，则记录n＝1，第二个采样点不是设定能量音频信号，则维持n不变，继续识别，直至某个采样点又变成设定能量音频信号，继续向n上累加1。
NLP_G(0)为预设初始值可以设置为0，则随着n的变化，NLP_G(n+1)也持续增加，但按照上述公式的规律，是增加幅度越来越慢，直至滤波器收敛。NLP_G(n+1)为抑制音量参数值，即对上行输出音频信号进行抑制的参数值，例如可用于控制抑制音量的幅度值。
图7为本申请实施例提供的非线性处理器对回声抑制器的输出音频信号进行抑制后的残余回声和回声的比值曲线图，图7中的上图为自适应滤波器根据实时语音进行回声消除训练时的残余回声和回声的比值曲线图，图7中的中图为所述非线性处理器的抑制音量参数值对应所述自适应滤波器的不同状态的变化图，图7中的下图为经过抑制操作的输出音频信号中的残余回声和回声的比值曲线图。可以看到经过非线性处理器进行抑制操作后的残余回声均处于一个比较低的比例，可以控制回声抑制器的输出音频信号的均衡性。
可选地，根据所述训练状态或收敛状态，控制所述回声抑制器中非线性处理器的抑制参数，以切换所述回声抑制器中的音频输出抑制规律还可以通过下述方式实施：
根据所述训练状态或收敛状态，控制所述非线性处理器根据n的取值范围，查询对应的NLP_G(n)值；
其中，n为下行输入音频信号中满足设定能量音频信号的累加采样数；NLP_G(n)为n对应的抑制音量参数值。
其中，还可以根据训练状态或收敛状态确定n的取值范围，而n和NLP_G(n)之间的对应关系可以是系统预设，可以是记录在预设抑制表内，通过查表的方式查询对应的NLP_G(n)值。
图8为本身请提供的另一种回声抑制器的控制方法的流程图，在上述实施例的基础上，对获取回声抑制器中自适应滤波器的训练状态或收敛状态的操作进行了优化，可选地，如图8所示，该方法包括：
S130、识别接收到音频中的实时语音，在所述实时语音的累积时长达到预设时长时，确定所述回声抑制器中的自适应滤波器从训练状态变更至收敛状态。其中，所述自适应滤波器用于根据实时语音进行回声消除训练，从训练状态直至收敛状态。
其中，所述自适应滤波器从训练状态进入收敛状态一般会经历一个时长的对实时语音进行回声消除训练，而如果检测到实时语音的累积时长达到预设时长时，则可以确定自适应滤波器从训练状态变更到收敛状态。或者，收敛时间可以按照自适应滤波器训练的经验值确定，例如大概1.5秒的时间会收敛。
所述实时语音的累积时长可以是以获取到实时语音的时间为开始时间，所积累的时长。所述实时语音的累积时长还可以是在获取的实时语音中的符合预设条件的语音片段加在一起的时长，所述预设条件可以包括预设频率或预设音量值。示例性地，如果通话双方都未发出声音，则接收到的实时语音中可能都是一些微弱的背景音，而没有符合预设条件的语音，所以要根据符合预设条件的语音片段加在一起的时长来确定所述自适应滤波器是否从训练状态变更为收敛状态。
S131、根据所述训练状态或收敛状态，切换所述回声抑制器中的音频输出抑制规律，其中，自适应滤波器训练状态和收敛状态所对应的音频输出抑制规律不同。
具体实施方式可以参考上文的相关描述，在此不再赘述。
本申请实施例可以根据实时语音的累积时长确定自适应滤波器所处的状态，进而可以根据自适应滤波器的状态的不同对应调整对所述回声抑制器中的音频输出抑制规律，可以优化回声抑制器的音频输出效果。
图9为本身请提供的另一种降低回声抑制器收敛时间的预处理方法的流程图，在上述实施例的基础上，可选地，如图9所示，该方法包括：
S140、如果监测到通话模式改变，或环境音频发生变化，则控制所述自适应滤波器重新进行回声消除训练，直至再次收敛。
所述通话模式为所述回声抑制器所应用的通话终端所采用的通话模式，示例性地，如果所述通话终端为智能手机，一般的智能手机包括外放模式、听筒模式和耳机模式等通话模式。
不同的通话模式对应的麦克风采集的实时语音中的回声的类型有所不同，示例性地，如果通话终端处于外放模式，则麦克风采集的实时语音中的回声会比较多的是喇叭所播放的声音，而如果通话终端处于听筒模式，则麦克风采集的实时语音中就不会有喇叭所播放的声音的回声。
针对不同的通话模式，自适应滤波器之前所处的收敛状态对应的滤波参数可能不适应新的通话模式，所以需要根据不同的通话模式重新调整所述自适应滤波器的滤波参数。可以在监测到通话模式改变时控制所述自适应滤波器重新进行回声消除训练，以使自适应滤波器重新到与当前通话模式相对应的收敛状态。
所述环境音频为用户处于不同的环境中的麦克风所采集的外部环境的音频，由于不同环境对应的声学特性不同，导致不同环境的环境音频的声音特性也有所不同；示例性地，如果用户处于一个比较小的空间说话，声音在比较小的空间里会产生较好的共鸣，相应地麦克风所采集的实时语音也会有比较好的共鸣，而如果用户处于一个比较大的空间，声音在空间中的回声路径发生了变化，相应地，麦克风采集的实时音频也发生了变化。因为不同的环境音频的特性不同，所以针对不同的环境音频，自适应滤波器需要采用不同的滤波参数才能针对每一种环境音频进行比较合适的回声消除训练，所以在检测到环境音频发生变化时，控制所述自适应滤波器重新进行回声消除训练，直至再次收敛。
S140、获取回声抑制器中自适应滤波器的训练状态或收敛状态；其中，所述自适应滤波器用于根据实时语音进行回声消除训练，从训练状态直至收敛状态。
S141、根据所述训练状态或收敛状态，切换所述回声抑制器中的音频输出抑制规律，其中，自适应滤波器训练状态和收敛状态所对应的音频输出抑制规律不同。
上述操作的具体实施方式可以参考上文的相关描述，在此不再赘述。
本申请实施例根据在监测到通话模式改变，或环境音频发生变化，则控制所述自适应滤波器重新进行回声消除训练，直至再次收敛，可以在通话模式发生变化时或环境音频的发生变化时，使自适应滤波器重新进行训练，能够保证回声抑制器的音频输出效果。
本申请实施例所提供了一种回声抑制器，可选地，如图1所示，所述回声抑制器还包括噪音补偿模块14，所述噪音补偿模块用于输出噪音补偿信号，并将所述噪音补偿信号和所述抑制信号进行叠加，并将叠加后的信号作为回声抑制器10的输出音频信号。通过噪音补偿信号可以避免输出音频信号中出现空白片段，使通话方误以为断线，可以保持通话过程的连续性。
图10为本申请实施例还提供一种回声抑制器的控制装置的模块示意图，所述回声抑制器的控制装置可以执行上述实施例提供的回声抑制器的控制方法，如图10所示，该装置包括：
状态获取模块201，用于获取回声抑制器中自适应滤波器的训练状态或收敛状态；其中，所述自适应滤波器用于根据实时语音进行回声消除训练，从训练状态直至收敛状态；
音频抑制模块202，用于根据所述训练状态或收敛状态，切换所述回声抑制器中的音频输出抑制规律，其中，自适应滤波器训练状态和收敛状态所对应的音频输出抑制规律不同。
可选地，自适应滤波器训练状态对应的音频输出抑制规律，强于所述收敛状态对应的音频输出抑制规律。
可选地，所述训练状态对应的音频输出抑制规律降低的音频音量幅度，大于所述收敛状态对应的音频输出抑制规律降低的音频音量幅度；或
所述训练状态对应的音频输出抑制规律所抑制后输出的音频音量小于所述收敛状态对应的音频输出抑制规律所抑制后的音频音量。
可选地，音频抑制模块具体用于：
根据所述训练状态或收敛状态，控制所述回声抑制器中非线性处理器的非线性抑制参数，以切换所述回声抑制器中的音频输出抑制规律。
可选地，音频抑制模块具体用于：
根据所述训练状态或收敛状态，控制所述非线性处理器按照如下公式对上行输出音频进行抑制：
NLP_G(n+1)＝0.999*NLP_G(n)+0.001；
其中，n为下行输入音频信号中满足设定能量音频信号的累加采样数；NLP_G(n)为n对应的抑制音量参数值；NLP_G(0)为预设初始值。
可选地，音频抑制模块具体用于：
根据所述训练状态或收敛状态，控制所述非线性处理器根据n的取值范围，查询对应的NLP_G(n)值；
其中，n为下行输入音频信号中满足设定能量音频信号的累加采样数；NLP_G(n)为n对应的抑制音量参数值。
可选地，状态获取模块具体用于：
识别接收到音频中的实时语音，在所述实时语音的累积时长达到预设时长时，确定所述回声抑制器中的自适应滤波器从训练状态变更至收敛状态。
可选地，还包括：
再次训练模块，用于在获取回声抑制器中自适应滤波器的训练状态或收敛状态之前，如果监测到通话模式改变，或环境音频发生变化，则控制所述自适应滤波器重新进行回声消除训练，直至再次收敛。
图11为本申请实施例提供的一种设备的结构示意图，如图11所示，该设备包括：处理器310、存储器320、输入装置330和输出装置340；设备中处理器310的数量可以是一个或多个，图11中以一个处理器310为例；设备中的处理器310、存储器320、输入装置330和输出装置340可以通过总线或其他方式连接，图11中以通过总线连接为例。该设备优选为独立的回声抑制设备，或者可以为集成有回升抑制器的终端设备。
存储器320作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的滤波器的初始化方法对应的程序指令/模块(例如，回声抑制器的控制装置中的状态获取模块201和音频抑制模块202)。处理器310通过运行存储在存储器320中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的滤波器的初始化方法。
存储器320可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器320可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器320可进一步包括相对于处理器310远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置330可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置340可包括显示屏等显示设备。
本发明实施例五还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现一种回声抑制器的控制方法，包括：
获取回声抑制器中自适应滤波器的训练状态或收敛状态；其中，所述自适应滤波器用于根据实时语音进行回声消除训练，从训练状态直至收敛状态；
根据所述训练状态或收敛状态，切换所述回声抑制器中的音频输出抑制规律，其中，自适应滤波器训练状态和收敛状态所对应的音频输出抑制规律不同。
当然,本发明实施例所提供的一种存储有计算机程序的存储介质,其计算机程序不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的回声抑制器的控制方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述回声抑制器的控制装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
本申请实施例还提供了一种终端，所述终端包括如上述实施例提供的回声抑制器。所述终端可以是智能手机、平板电脑或其他具有通话功能的电子设备。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (11)
1.一种回声抑制器的控制方法，其特征在于，包括：
获取回声抑制器中自适应滤波器的训练状态或收敛状态；其中，所述自适应滤波器用于根据实时语音进行回声消除训练，从训练状态直至收敛状态；
根据所述训练状态或收敛状态，切换所述回声抑制器中的音频输出抑制规律，其中，自适应滤波器训练状态和收敛状态所对应的音频输出抑制规律不同。
2.根据权利要求1所述的方法，其特征在于：自适应滤波器训练状态对应的音频输出抑制规律，强于所述收敛状态对应的音频输出抑制规律。
3.根据权利要求2所述的方法，其特征在于：
所述训练状态对应的音频输出抑制规律降低的音频音量幅度，大于所述收敛状态对应的音频输出抑制规律降低的音频音量幅度；或
所述训练状态对应的音频输出抑制规律所抑制后输出的音频音量小于所述收敛状态对应的音频输出抑制规律所抑制后的音频音量。
4.根据权利要求1-3任一所述的方法，其特征在于，根据所述训练状态或收敛状态，切换所述回声抑制器中的音频输出抑制规律包括：
根据所述训练状态或收敛状态，控制所述回声抑制器中非线性处理器的非线性抑制参数，以切换所述回声抑制器中的音频输出抑制规律。
5.根据权利要求4所述的方法，其特征在于，根据所述训练状态或收敛状态，控制所述回声抑制器中非线性处理器的非线性抑制参数，以切换所述回声抑制器中的音频输出抑制规律包括：
根据所述训练状态或收敛状态，控制所述非线性处理器按照如下公式对上行输出音频进行抑制：
NLP_G(n+1)＝0.999*NLP_G(n)+0.001；
其中，n为下行输入音频信号中满足设定能量音频信号的累加采样数；NLP_G(n)为n对应的抑制音量参数值；NLP_G(0)为预设初始值。
6.根据权利要求4所述的方法，其特征在于，根据所述训练状态或收敛状态，控制所述回声抑制器中非线性处理器的非线性抑制参数，以切换所述回声抑制器中的音频输出抑制规律包括：
根据所述训练状态或收敛状态，控制所述非线性处理器根据n的取值范围，查询对应的NLP_G(n)值；
其中，n为下行输入音频信号中满足设定能量音频信号的累加采样数；NLP_G(n)为n对应的抑制音量参数值。
7.根据权利要求1所述的方法，其特征在于，获取回声抑制器中自适应滤波器的训练状态或收敛状态包括：
识别接收到音频中的实时语音，在所述实时语音的累积时长达到预设时长时，确定所述回声抑制器中的自适应滤波器从训练状态变更至收敛状态。
8.根据权利要求1所述的方法，其特征在于，获取回声抑制器中自适应滤波器的训练状态或收敛状态之前，还包括：
如果监测到通话模式改变，或环境音频发生变化，则控制所述自适应滤波器重新进行回声消除训练，直至再次收敛。
9.一种回声抑制器的控制装置，其特征在于，包括：
状态获取模块，用于获取回声抑制器中自适应滤波器的训练状态或收敛状态；其中，所述自适应滤波器用于根据实时语音进行回声消除训练，从训练状态直至收敛状态；
音频抑制模块，用于根据所述训练状态或收敛状态，切换所述回声抑制器中的音频输出抑制规律，其中，自适应滤波器训练状态和收敛状态所对应的音频输出抑制规律不同。
10.一种设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8任一所述的回声抑制器的控制方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8任一所述的一种回声抑制器的控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810998656.5A CN108986836A (zh) | 2018-08-29 | 2018-08-29 | 一种回声抑制器的控制方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810998656.5A CN108986836A (zh) | 2018-08-29 | 2018-08-29 | 一种回声抑制器的控制方法、装置、设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108986836A true CN108986836A (zh) | 2018-12-11 |
Family
ID=64547435
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810998656.5A Pending CN108986836A (zh) | 2018-08-29 | 2018-08-29 | 一种回声抑制器的控制方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108986836A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112055284A (zh) * | 2019-06-05 | 2020-12-08 | 北京地平线机器人技术研发有限公司 | 回声消除方法及神经网络的训练方法、装置、介质、设备 |
| CN112491443A (zh) * | 2019-09-11 | 2021-03-12 | 瑞昱半导体股份有限公司 | 具有回音消除省电机制的电子系统及相关回音消除方法 |
| CN112863534A (zh) * | 2020-12-31 | 2021-05-28 | 思必驰科技股份有限公司 | 噪声音频消除方法、语音识别方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1262012A (zh) * | 1997-05-07 | 2000-08-02 | 艾利森公司 | 一种用于通信系统的改进的回声消除器 |
| CN1668058A (zh) * | 2005-02-21 | 2005-09-14 | 南望信息产业集团有限公司 | 基于递归最小平方差的子带回声抵消器 |
| CN1780167A (zh) * | 2004-11-24 | 2006-05-31 | 北京三星通信技术研究有限公司 | 快速收敛的回波消除装置 |
| CN1953060A (zh) * | 2006-11-24 | 2007-04-25 | 北京中星微电子有限公司 | 一种麦克风回声消除装置及回声消除方法 |
| CN101895488A (zh) * | 2010-07-30 | 2010-11-24 | 福建新大陆通信科技股份有限公司 | 无线通信中回波消除系统中误差信号的计算方法 |
| CN102065190A (zh) * | 2010-12-31 | 2011-05-18 | 杭州华三通信技术有限公司 | 一种回声消除方法及其装置 |
| CN103460613A (zh) * | 2011-04-14 | 2013-12-18 | 阿尔卡特朗讯公司 | 节省计算的用于宽带音频信号的回声消除器 |
| GB2522538A (en) * | 2014-04-02 | 2015-07-29 | Imagination Tech Ltd | Gain control in an echo canceller |
| CN104980601A (zh) * | 2014-04-02 | 2015-10-14 | 想象技术有限公司 | 用于动态调谐回音消除器的增益控制系统及方法 |
| CN104994249A (zh) * | 2015-05-19 | 2015-10-21 | 百度在线网络技术（北京）有限公司 | 声回波消除方法和装置 |
| WO2018132465A1 (en) * | 2017-01-13 | 2018-07-19 | Shure Acquisition Holdings, Inc. | Post-mixing acoustic echo cancellation systems and methods |
-
2018
- 2018-08-29 CN CN201810998656.5A patent/CN108986836A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1262012A (zh) * | 1997-05-07 | 2000-08-02 | 艾利森公司 | 一种用于通信系统的改进的回声消除器 |
| CN1780167A (zh) * | 2004-11-24 | 2006-05-31 | 北京三星通信技术研究有限公司 | 快速收敛的回波消除装置 |
| CN1668058A (zh) * | 2005-02-21 | 2005-09-14 | 南望信息产业集团有限公司 | 基于递归最小平方差的子带回声抵消器 |
| CN1953060A (zh) * | 2006-11-24 | 2007-04-25 | 北京中星微电子有限公司 | 一种麦克风回声消除装置及回声消除方法 |
| CN101895488A (zh) * | 2010-07-30 | 2010-11-24 | 福建新大陆通信科技股份有限公司 | 无线通信中回波消除系统中误差信号的计算方法 |
| CN102065190A (zh) * | 2010-12-31 | 2011-05-18 | 杭州华三通信技术有限公司 | 一种回声消除方法及其装置 |
| CN103460613A (zh) * | 2011-04-14 | 2013-12-18 | 阿尔卡特朗讯公司 | 节省计算的用于宽带音频信号的回声消除器 |
| GB2522538A (en) * | 2014-04-02 | 2015-07-29 | Imagination Tech Ltd | Gain control in an echo canceller |
| CN104980601A (zh) * | 2014-04-02 | 2015-10-14 | 想象技术有限公司 | 用于动态调谐回音消除器的增益控制系统及方法 |
| CN104980600A (zh) * | 2014-04-02 | 2015-10-14 | 想象技术有限公司 | 非线性处理器阈值的自动调谐 |
| CN104994249A (zh) * | 2015-05-19 | 2015-10-21 | 百度在线网络技术（北京）有限公司 | 声回波消除方法和装置 |
| WO2018132465A1 (en) * | 2017-01-13 | 2018-07-19 | Shure Acquisition Holdings, Inc. | Post-mixing acoustic echo cancellation systems and methods |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112055284A (zh) * | 2019-06-05 | 2020-12-08 | 北京地平线机器人技术研发有限公司 | 回声消除方法及神经网络的训练方法、装置、介质、设备 |
| CN112055284B (zh) * | 2019-06-05 | 2022-03-29 | 北京地平线机器人技术研发有限公司 | 回声消除方法及神经网络的训练方法、装置、介质、设备 |
| CN112491443A (zh) * | 2019-09-11 | 2021-03-12 | 瑞昱半导体股份有限公司 | 具有回音消除省电机制的电子系统及相关回音消除方法 |
| CN112863534A (zh) * | 2020-12-31 | 2021-05-28 | 思必驰科技股份有限公司 | 噪声音频消除方法、语音识别方法 |
| CN112863534B (zh) * | 2020-12-31 | 2022-05-10 | 思必驰科技股份有限公司 | 噪声音频消除方法、语音识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104185866B (zh) | 用于有源噪声消除自适应滤波器的预成形串联滤波器 | |
| US9552805B2 (en) | Systems and methods for performance and stability control for feedback adaptive noise cancellation | |
| US10382864B2 (en) | Systems and methods for providing adaptive playback equalization in an audio device | |
| US10206032B2 (en) | Systems and methods for multi-mode adaptive noise cancellation for audio headsets | |
| EP2847757B1 (en) | Sequenced adaptation of anti-noise generator response and secondary path response in an adaptive noise canceling system | |
| US8744091B2 (en) | Intelligibility control using ambient noise detection | |
| US10115411B1 (en) | Methods for suppressing residual echo | |
| US9343073B1 (en) | Robust noise suppression system in adverse echo conditions | |
| WO2020103209A1 (zh) | 一种回声消除方法及终端 | |
| CN108141502A (zh) | 音频信号处理 | |
| JP3420705B2 (ja) | エコー抑圧方法及び装置並びにエコー抑圧プログラムが記憶されたコンピュータに読取り可能な記憶媒体 | |
| CN108986836A (zh) | 一种回声抑制器的控制方法、装置、设备和存储介质 | |
| CN107978320A (zh) | 一种通话调整方法、装置、设备及介质 | |
| CN108076239A (zh) | 一种改善ip电话回声的方法 | |
| KR101592422B1 (ko) | 이어셋 및 그 제어 방법 | |
| WO2018167960A1 (ja) | 音声処理装置、音声処理システム、音声処理方法、および音声処理プログラム | |
| CN116367066A (zh) | 具有音频质量检测的音频设备及相关方法 | |
| US10819858B2 (en) | Method for improving echo cancellation effect and system thereof | |
| US9392365B1 (en) | Psychoacoustic hearing and masking thresholds-based noise compensator system | |
| JP7043344B2 (ja) | エコー抑圧装置、エコー抑圧方法及びエコー抑圧プログラム | |
| JP5125931B2 (ja) | 音声通信装置及び音声通信プログラム | |
| JP5359744B2 (ja) | 音処理装置及びプログラム | |
| WO2023040322A1 (zh) | 回声消除方法、终端设备及存储介质 | |
| RU2786157C2 (ru) | Устройство эхоподавления, способ эхоподавления и программа эхоподавления | |
| TWI588819B (zh) | 語音處理之方法、語音通訊裝置及其電腦程式產品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181211 |
|
| RJ01 | Rejection of invention patent application after publication |