[go: up one dir, main page]

CN113938548B - 一种终端通信的回声抑制方法和装置 - Google Patents

一种终端通信的回声抑制方法和装置 Download PDF

Info

Publication number
CN113938548B
CN113938548B CN202010605405.3A CN202010605405A CN113938548B CN 113938548 B CN113938548 B CN 113938548B CN 202010605405 A CN202010605405 A CN 202010605405A CN 113938548 B CN113938548 B CN 113938548B
Authority
CN
China
Prior art keywords
echo
signal
suppression
residual
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010605405.3A
Other languages
English (en)
Other versions
CN113938548A (zh
Inventor
方立华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN202010605405.3A priority Critical patent/CN113938548B/zh
Publication of CN113938548A publication Critical patent/CN113938548A/zh
Application granted granted Critical
Publication of CN113938548B publication Critical patent/CN113938548B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/20Arrangements for preventing acoustic feed-back
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B3/00Line transmission systems
    • H04B3/02Details
    • H04B3/20Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other
    • H04B3/23Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other using a replica of transmitted signal in the time domain, e.g. echo cancellers
    • H04B3/237Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other using a replica of transmitted signal in the time domain, e.g. echo cancellers using two adaptive filters, e.g. for near end and for end echo cancelling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B7/00Radio transmission systems, i.e. using radiation field
    • H04B7/015Reducing echo effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Telephone Function (AREA)

Abstract

本申请实施例提供了一种终端通信的回声抑制方法及装置,在终端通信过程中,本地终端在接收到远端终端发送的远端信号之后,可以将远端信号输入线性滤波模型进行滤波,生成估计回声信号,然后根据估计回声信号对本地终端麦克风所采集的当前近端信号进行回声消除,生成残差信号,接着可以进一步根据终端通信的通信模式,并对残差信号作进一步地回声抑制,从而首先通过线性滤波模式对近端信号进行线性回声消除,然后通过非线性的回声抑制,在提高回声抑制效果的同时,避免了双工抑制,大大提高了终端通信的通信质量。

Description

一种终端通信的回声抑制方法和装置
技术领域
本申请涉及通信技术领域,特别是涉及一种终端通信的回声抑制方法和一种终端通信的回声抑制装置。
背景技术
回声是指在语音通信过程中产生的回音,即用户在语音通话过程中,能够听到对方传回来的自己的声音。回声消除与回声抑制是减少例如通信过程中的回声的方法。其目的是通过防止回声产生或在已存在回声之后移除/减少回声来改进信号质量。然而,当前的回声消除过程容易出现双工抑制,或者是对噪声估计不足,造成较多的回声。其中,双工抑制为语音通信过程中,双方同时讲话,另外一方的声音被抑制的现象。因此,需要一种既能够消除语音通信过程中产生的回声,且不会出现双工抑制的方式。
发明内容
本申请实施例所要解决的技术问题是提供一种终端通信的回声抑制方法,以解决现有技术中在回声抑制过程中,回声抑制效果差,容易出现双工抑制的问题。
相应的,本申请实施例还提供了一种终端通信的回声抑制装置,用以保证上述方法的实现及应用。
为了解决上述问题,本申请实施例公开了一种终端通信的回声抑制方法,包括:
获取远端信号,以及当前近端信号;
将所述远端信号输入预设的目标线性滤波模型,生成估计回声信号;
根据所述估计回声信号对所述当前近端信号进行回声消除,生成残差信号;
根据终端当前的通信模式,对所述残差信号进行回声抑制,生成目标近端信号。
可选地,所述根据终端当前的通信模式,对所述残差信号进行回声抑制,生成目标近端信号,包括:
确定与所述终端的通信模式对应的目标抑制模式;
获取针对所述残差信号的当前抑制模式,并将所述当前抑制模式切换为目标抑制模式;
获取所述目标抑制模式的回声抑制系数;
采用所述回声抑制系数对所述残差信号进行回声抑制,生成目标近端信号。
可选地,所述通信模式包括双工通信模式以及单工通信模式,所述确定与所述终端的通信模式对应的目标抑制模式,包括:
当所述通信模式为所述双工通信模式时,则确定针对所述残差信号的抑制模式为第一抑制模式,所述第一抑制模式为减小对所述残差信号进行回声抑制的模式;
当所述通信模式为所述单工通信模式时,则确定针对所述残差信号的抑制模式为第二抑制模式,所述第二抑制模式为加大对所述残差信号进行回声抑制的模式。
可选地,所述当前近端信号包括与所述远端信号对应的远端回声信号,所述根据所述估计回声信号对所述当前近端信号进行回声消除,生成残差信号,包括:
采用所述估计回声信号对所述当前近端信号中的所述远端回声信号,进行回声消除,生成残差信号。
可选地,所述当前近端信号包括与所述远端信号对应的远端回声信号,所述目标线性滤波模型通过如下方式生成:
采用所述远端回声信号与所述估计回声信号,确定针对所述远端回声信号的残留回声信号;
根据所述残留回声信号,确定针对预设的初始线性滤波模型的目标步长;
根据所述残留回声信号与所述目标步长对所述初始线性滤波模型进行迭代,生成目标线性滤波模型。
可选地,所述根据所述残留回声信号,确定针对预设的初始线性滤波模型的目标步长,包括:
将所述残留回声信号与预设回声信号进行比对,生成回声残差值;
采用所述残留回声信号与所述回声残差值,确定所述目标步长。
可选地,所述根据所述残留回声信号与所述目标步长对所述初始线性滤波模型进行迭代,生成目标线性滤波模型,包括:
采用所述残留回声信号与所述目标步长,确定针对所述初始线性滤波模型的偏差值;
根据所述偏差值对所述初始线性滤波模型进行迭代,生成目标线性滤波模型。
本申请实施例还公开了一种终端通信的回声抑制装置,包括:
信号获取模块,用于获取远端信号,以及当前近端信号;
线性滤波模块,用于将所述远端信号输入预设的目标线性滤波模型,生成估计回声信号;
回声消除模块,用于根据所述估计回声信号对所述当前近端信号进行回声消除,生成残差信号;
回声抑制模块,用于根据终端当前的通信模式,对所述残差信号进行回声抑制,生成目标近端信号。
可选地,所述回声抑制模块包括:
抑制模式确定子模块,用于确定与所述终端的通信模式对应的目标抑制模式;
抑制模式切换子模块,用于获取针对所述残差信号的当前抑制模式,并将所述当前抑制模式切换为目标抑制模式;
回声抑制系数获取子模块,用于获取所述目标抑制模式的回声抑制系数;
回声抑制子模块,用于采用所述回声抑制系数对所述残差信号进行回声抑制,生成目标近端信号。
可选地,所述抑制模式确定子模块具体用于:
当所述通信模式为所述双工通信模式时,则确定针对所述残差信号的抑制模式为第一抑制模式,所述第一抑制模式为减小对所述残差信号进行回声抑制的模式;
当所述通信模式为所述单工通信模式时,则确定针对所述残差信号的抑制模式为第二抑制模式,所述第二抑制模式为加大对所述残差信号进行回声抑制的模式。
可选地,所述回声抑制模块包括:
抑制模式切换子模块,用于获取针对所述残差信号的当前抑制模式,将所述当前抑制模式切换为所述抑制模式;
抑制系数获取子模块,用于获取所述目标抑制模式的回声抑制系数;
回声抑制子模块,用于采用所述回声抑制系数对所述残差信号进行回声抑制,生成目标近端信号。
可选地,所述当前近端信号包括与所述远端信号对应的远端回声信号,所述回声消除模块具体用于:
采用所述估计回声信号对所述当前近端信号中的所述远端回声信号,进行回声消除,生成残差信号。
可选地,所述当前近端信号包括与所述远端信号对应的远端回声信号,所述目标线性滤波模型通过如下模块生成:
残留回声信号确定模块,用于采用所述远端回声信号与所述估计回声信号,确定针对所述远端回声信号的残留回声信号;
目标步长确定模块,用于根据所述残留回声信号,确定针对预设的初始线性滤波模型的目标步长;
模型迭代模块,用于根据所述残留回声信号与所述目标步长对所述初始线性滤波模型进行迭代,生成目标线性滤波模型。
可选地,所述目标步长确定模块包括:
回声残差值生成子模块,用于将所述残留回声信号与预设回声信号进行比对,生成回声残差值;
目标步长确定子模块,用于采用所述残留回声信号与所述回声残差值,确定所述目标步长。
可选地,所述模型迭代模块包括:
偏差值确定子模块,用于采用所述残留回声信号与所述目标步长,确定针对所述初始线性滤波模型的偏差值;
模型迭代子模块,用于根据所述偏差值对所述初始线性滤波模型进行迭代,生成目标线性滤波模型。
本申请实施例还公开了一种电子设备,包括:
一个或多个处理器;和
其上存储有指令的一个或多个机器可读介质,当由所述一个或多个处理器执行时,使得所述装置执行如上所述的一个或多个的方法。
本申请实施例还公开了一个或多个机器可读介质,其上存储有指令,当由一个或多个处理器执行时,使得所述处理器执行如上所述的一个或多个的方法。
本申请实施例包括以下优点:
在本申请实施例中,在终端通信过程中,本地终端在接收到远端终端发送的远端信号之后,可以将远端信号输入线性滤波模型进行滤波,得到估计回声信号,然后根据估计回声信号对本地终端麦克风所采集的当前近端信号进行回声消除,生成残差信号,接着可以进一步根据终端通信的通信模式,并对残差信号作进一步地回声抑制,从而首先通过线性滤波模式对近端信号进行线性回声消除,然后通过非线性的回声抑制,在提高回声抑制效果的同时,避免了双工抑制,大大提高了终端通信的通信质量。
附图说明
图1是本申请的一种终端通信的回声抑制方法实施例一的步骤流程图;
图2是本申请实施例中信号传输的示意图;
图3是本申请的一种终端通信的回声抑制方法实施例二的步骤流程图;
图4是本申请实施例中回声处理的结构示意图;
图5是本申请的一种终端通信的回声抑制装置实施例的结构框图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请作进一步详细的说明。
本地终端可以为本地用户所使用的用户终端,远端终端为与本地终端进行通信的用户终端。在通信过程中,用户终端可以包括至少一个本地终端以及至少一个远端终端,例如在用户进行语音通信时,可以为一对一的通信方式;在进行视频会议时,可以为一对多、多对多以及多对一的通信方式;在进行网络教学时,可以为一对多的通信方式等等。
在终端通信的过程中,由于环境、设备等的问题,容易造成声学回声或线路回声,因此需要对这些回声进行消除才能使得处于通信的用户得到更好地通信质量。对于本地终端而言,需要对远端终端发送的远端信号进行处理,同时对本地麦克风采集的近端信号进行降噪,从而使得向远端终端发送的近端信号为干净的信号,否则容易使得远端终端出现回声,降低通信质量。
因此,本申请实施例的核心构思之一在于,首先通过线性滤波模式对近端信号进行线性回声消除,然后通过非线性的回声抑制,在提高回声抑制效果的同时,避免了双工抑制,大大提高了终端通信的通信质量。
参照图1,示出了本申请的一种终端通信的回声抑制方法实施例一的步骤流程图,具体可以包括如下步骤:
步骤101,获取远端信号,以及当前近端信号;
作为一种示例,以一对一的通信方式进行说明,远端终端通过麦克风采集了用户的语音信号后,可以发送至本地终端,则本地终端接收到远端终端发送的远端信号的同时,可以通过麦克风采集本地的近端信号,并发送至远端终端,从而实现本地终端与远端终端之间的通信。
如图2所示,示出了本申请实施例中信号传输的示意图,其中,M为远端终端的麦克风,L为远端终端的扬声器,M’为本地终端的麦克风,L’为本地终端的扬声器,则M采集了远端用户的语音信号,并进行回声处理之后,可以将远端信号x(n)发送至本地终端,而M’采集了当前近端信号d(n)之后,需要进行回声处理之后,生成目标近端信号y(n),再将目标近端信号发送至远端终端,实现终端的通信。
步骤102,将所述远端信号输入预设的目标线性滤波模型,生成估计回声信号;
本地终端接收到远端终端发送的远端信号之后,可以输入训练完毕的目标线性滤波模型进行线性回声消除,从而得到估计回声信号,通过该估计回声信号,可以对本地终端采集的近端信号进行回声消除。其中,估计回声信号可以为线性滤波模型根据远端信号生成的回声估计值,用于对远端信号的回声信号进行消除。
步骤103,根据所述估计回声信号对所述当前近端信号进行回声消除,生成残差信号;
在具体实现中,当前近端信号可以包括本地终端扬声器中播放的远端信号时所产生的回声信号,以及麦克风采集的本地用户有效的语音信号,则可以根据线性滤波模型生成的估计回声信号对当前近端信号进行回声消除,从而获得线性回声消除后的残差信号。
步骤104,根据终端当前的通信模式,对所述残差信号进行回声抑制,生成目标近端信号。
在具体实现中,在本地终端中引入非线性回声抑制,对线性回声消除的近端信号进一步进行非线性回声抑制。针对终端不同的通信模式,可以采用不同的抑制模式,对残差信号进行非线性回声抑制。
具体的,本地终端确定与当前通信模式对应的目标抑制模式之后,根据该目标抑制模式对残差信号作进一步地非线性回声抑制,从而生成最终的目标近端信号,通过线性回声消除与非线性回声抑制,对回声信号进行双重消除,在提高回声抑制效果的同时,避免了双工抑制,大大提高了终端通信的通信质量。
在本申请实施例中,在终端通信过程中,本地终端在接收到远端终端发送的远端信号之后,可以将远端信号输入线性滤波模型进行滤波,得到估计回声信号,然后根据估计回声信号对本地终端麦克风所采集的当前近端信号进行回声消除,生成残差信号,接着可以进一步根据终端通信的通信模式,并对残差信号作进一步地回声抑制,从而首先通过线性滤波模式对近端信号进行线性回声消除,然后通过非线性的回声抑制,在提高回声抑制效果的同时,避免了双工抑制,大大提高了终端通信的通信质量。
参照图3,示出了本申请的一种终端通信的回声抑制方法实施例二的步骤流程图,具体可以包括如下步骤:
步骤301,获取远端信号,以及当前近端信号,所述当前近端信号包括与所述远端信号对应的远端回声信号;
在具体实现中,当前近端信号可以包括本地终端扬声器中播放的远端信号时所产生的远端回声信号,以及麦克风采集的本地用户有效的语音信号,则需要对远端回声信号进行回声消除,以便得到干净的近端信号。
步骤302,将所述远端信号输入预设的目标线性滤波模型,生成估计回声信号;
本地终端接收到远端终端发送的远端信号之后,可以输入训练完毕的目标线性滤波模型进行线性回声消除,从而得到估计回声信号,通过该估计回声信号,可以对本地终端采集的近端信号进行回声消除。其中,估计回声信号可以为线性滤波模型根据远端信号生成的回声估计值,用于对远端信号的回声信号进行消除。
在本申请的一种可选实施例中,在对近端信号进行回声处理的过程中,可以对线性滤波模型进行自适应学习,将固定的学习步长调整为自适应学习步长,从而在进行线性回声消除的同时,不断对线性滤波模型进行优化,使得线性回声消除的效果更佳。线性滤波模型的训练过程可以包括如下步骤:
首先采用远端回声信号与估计回声信号,确定针对远端回声信号的残留回声信号,接着根据估计回声信号,确定针对预设的初始线性滤波模型的目标步长,然后根据残留回声信号与目标步长对初始线性滤波模型进行迭代,生成目标线性滤波模型。
需要说明的是,在理想状态下,远端回声信号与估计回声信号之间的差值为0,则可以通过两者之间的回声误差,不断对线性滤波模型进行优化,直到回声误差最小,停止模型迭代。
在具体实现中,将远端信号输入初始线性滤波模型,得到估计回声信号之后,计算估计回声信号与远端回声信号之间的残留回声信号,可以将该残留回声信号与预设回声信号进行比对,生成回声残差值,然后采用残留回声信号与回声残差值,确定线性滤波模型的目标步长。
其中,预设回声信号可以为事先设置好的误差范围,用于对线性滤波模型的滤波效果进行评测,在理想情况下,其可以为0,即表明滤波器生成的估计回声信号与远端回声信号相同,能够实现对远端回声信号的完全消除。而在本申请实施例中,当残留回声信号满足于预设回声信号时,即可判定当前的线性滤波模型效果满足要求。
当得到目标步长之后,可以采用残留回声信号与目标步长,确定针对初始线性滤波模型的偏差值,并根据偏差值对初始线性滤波模型进行迭代,生成目标线性滤波模型。可选的,在迭代的过程中,可以采用梯度下降的方式,对线性滤波模型进行迭代,当偏差值满足阈值之后,可以停止模型迭代,从而得到目标线性滤波模型,进而通过将固定步长调整为自适应学习步长,使得线性滤波模型可以在实际回声消除的过程中,既实现回声消除,也实现自我学习,在保证线性回声消除的同时,进行自我优化,使得线性回声消除的效果更佳。
在一种示例中,线性滤波模型可以通过如下公式进行表示:
其中,W为线性滤波模型,其为上一次的W加上一个偏差值得到;X为远端信号;E为残差信号;Xpow为远端信号的能量信息;μ为线性滤波模型的步长,可以为:
其中,步长μ的分子可以为残留回声信号,分母可以为回声残差值。迭代的过程中,远端信号、远端信号的能量信息均为定量,则可以根据残留回声信号与回声残差值不断更新线性滤波模型,直至滤波后的估计回声信号与设定的回声信号之间误差满足于阈值,停止线性滤波模型的迭代,得到目标线性滤波模型。
步骤303,采用所述估计回声信号对所述当前近端信号中的所述远端回声信号,进行回声消除,生成残差信号;
在具体实现中,当前近端信号可以包括与远端信息对应的远端回声信号,以及本地用户的有效语音信号,则将远端信号输入线性滤波模型得到估计回声信号之后,可以根据估计回声信号对远端回声信号进行回声消除,以便得到较为干净的本地用户的有效语音信号。
需要说明的是,对于本步骤中的估计回声信号,其可以为线性滤波模型达到最优之后,线性滤波模型对远端信号进行线性滤波得到的目标估计回声信号。
步骤304,根据终端当前的通信模式,对所述残差信号进行回声抑制,生成目标近端信号。
在本申请的一种可选实施例中,可以通过确定与终端的通信模式对应的目标抑制模式,接着获取针对残差信号的当前抑制模式,并将当前抑制模式切换为目标抑制模式,然后获取目标抑制模式的回声抑制系数,并采用回声抑制系数对残差信号进行回声抑制,生成目标近端信号。
其中,通信模式包括双工通信模式以及单工通信模式,当通信模式为双工通信模式时,则确定针对残差信号的抑制模式为第一抑制模式,第一抑制模式为减小对残差信号进行回声抑制的模式;当通信模式为单工通信模式时,则确定针对残差信号的抑制模式为第二抑制模式,第二抑制模式为加大对残差信号进行回声抑制的模式。
在具体实现中,终端的通信模式可以包括双工通信模式、半双工通信模式以及单工通信模式。其中,双工通信模式允许数据在两个方向上同时传输,它在能力上相当于两个单工通信方式的结合,例如可以同时(瞬时)进行信号的双向传输(A→B且B→A),指A→B的同时B→A,是瞬时同步的,四线制。单工就是在只允许甲方向乙方传送信息,而乙方不能向甲方传送。半双工数据传输指数据可以在一个信号载体的两个方向上传输,但是不能同时传输。例如,在一个局域网上使用具有半双工传输的技术,一个工作站可以在线上发送数据,然后立即在线上接收数据,这些数据来自数据刚刚传输的方向。像全双工传输一样,半双工包含一个双向线路,两线制。
对于本申请中的回声处理过程而言,不同的通信模式可以对应不同的非线性回声抑制模式。对于双工通信模式,由于通信双方存在同时讲话的情况,因此,可以减小对回声的抑制,避免出现双工抑制的情况;对于单工通信模式,由于数据传输只允许单向传输,因此,可以加大对回声的抑制,避免出现回声。
在具体实现中,非线性回声抑制可以包括多种不同抑制程度的抑制模式,不同抑制模式对应不同的回声抑制系数,则可以先获取针对残差信号的当前抑制模式,将当前抑制模式切换为抑制模式,接着获取目标抑制模式的回声抑制系数,然后采用回声抑制系数对残差信号进行回声抑制,生成目标近端信号。
在一种示例中,抑制模式可以包括模式0、模式1以及模式2。其中,模式0为保守模式,对应的回声抑制系数较小;模式1为正常模式,对应的回声抑制系数居中;模式2为激进模式,对应的回声抑制系数较大。当检测到终端的通信模式为双工通信模式时,确定目标抑制模式为模式0,将当前的抑制模式(模式1或模式2)切换为模式0,减小对残差信号的回声抑制,避免出现双工抑制的情况;当检测到终端的通信模式为单工通信模式时,确定目标抑制模式为模式2,将当前的抑制模式(模式0或模式1)切换为模式2,加大对残差信号的回声抑制,对近端信号作进一步地非线性回声抑制,提高回声抑制效果。
需要说明的是,本申请实施例包括但不限于上述示例,可以理解的是,在本发明实施例的思想指导下,本领域技术人员可以根据实际情况进行设置,本发明对此不作限制。
在本申请实施例中,在终端通信过程中,本地终端在接收到远端终端发送的远端信号之后,可以将远端信号输入线性滤波模型进行滤波,得到估计回声信号,然后根据估计回声信号对本地终端麦克风所采集的当前近端信号进行回声消除,生成残差信号,接着可以进一步根据终端通信的通信模式,并对残差信号作进一步地回声抑制,从而首先通过线性滤波模式对近端信号进行线性回声消除,然后通过非线性的回声抑制,在提高回声抑制效果的同时,避免了双工抑制,大大提高了终端通信的通信质量。
为了使本领域技术人员能够更好地理解本申请实施例,下面通过一个例子对本申请实施例加以说明:
如图4所示,示出了本申请实施例中回声处理的结构示意图,线性滤波模型可以为设置在本地终端中的滤波器,滤波器可以包括前向滤波器以及后向滤波器。在线性滤波的过程中,可以通过自适应学习对滤波器的步长进行更新,从而将稳定后的后向滤波器拷贝至前向滤波器,对滤波器进行更新,保证回声消除的效果。此外,还包括双工检测模块,其包括DTD(Double Talk Detect,双工检测),用于检查终端的通信模式;NLP(NolinearProcess,非线性处理),用于对近端信号进行非线性回声抑制。
在回声处理过程中所涉及的信号包括:
x(n)为远端信号;
s(n)为本地终端采集的有效语音信号;
b(n)为远端回声信号,可以为本地扬声器对远端信号进行播放后,麦克风所采集的远端信号的回声信号;
d(n)为近端信号,即本地终端采集的有效语音信号与远端回声信号,即s(n)与b(n)之和;
y(n)为初始估计回声信号,其可以用于对线性滤波模型进行自适应地步长更新;
y’(n)为目标估计回声信号,其为线性滤波模型的步长达到最佳步长时,对远端信号进行线性滤波后所生成的回声估计值,与y(n)的区别在于,y’(n)为优化后的滤波器所生成的估计回声信号,其与远端回声信号更为接近,在理想情况下,y’(n)等于b(n);
e(n)为残差信号,可以为对近端信号进行线性滤波之后所有得到的信号。
回声处理过程可以为:本地终端对远端信号x(n)进行FFT(Fast FourierTransform,快速傅里叶变换)后,输入前向滤波器,并进行IFFT(Inverse Fast FourierTransform,快速傅里叶逆变换),生成初始估计回声信号y(n)(即回声估计值)。同时,本地终端通过麦克风采集近端信号s(n),并采用初始估计回声信号y(n)进行线性回声消除,如:中间近端回声信号f(n)=s(n)+b(n)-y(n)。
同时,计算残留回声信号,即b(n)与y(n)之间的差值,然后根据残留回声信号与初始估计回声信号y(n)对滤波器的步长进行更新,在保证线性回声消除的同时,进行自我优化,使得线性回声消除可以根据实际的回声信号进行自适应地学习,进一步提高回声消除的效果。具体的,得到残留回声信号之后,可以反向传回滤波器进行迭代,将稳定后的后向滤波器拷贝至前向滤波器,实现对滤波器的自适应更新,并在更新后生成目标估计回声信号y’(n)。
当滤波器生成目标估计回声信号y’(n)对近端信号d(n)完成对回声的线性回声消除之后,可以将所得到的残差信号e(n)输出至双工检测模块,由DTD获取当前终端的通信模式,当检测到终端的通信模式为双工通信模式时,确定目标抑制模式为模式0,将NLP当前的抑制模式(模式1或模式2)切换为模式0,减小对残差信号的回声抑制,避免出现双工抑制的情况;当检测到终端的通信模式为单工通信模式时,确定目标抑制模式为模式2,将NLP当前的抑制模式(模式0或模式1)切换为模式2,加大对残差信号的回声抑制,对近端信号作进一步地非线性回声抑制,提高回声抑制效果。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请实施例并不受所描述的动作顺序的限制,因为依据本申请实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本申请实施例所必须的。
参照图5,示出了本申请的一种终端通信的回声抑制装置实施例的结构框图,具体可以包括如下模块:
信号获取模块501,用于获取远端信号,以及当前近端信号;
线性滤波模块502,用于将所述远端信号输入预设的目标线性滤波模型,生成估计回声信号;
回声消除模块503,用于根据所述估计回声信号对所述当前近端信号进行回声消除,生成残差信号;
回声抑制模块504,用于根据终端当前的通信模式,对所述残差信号进行回声抑制,生成目标近端信号。
在本发明的一种可选实施例中,所述回声抑制模块504包括:
抑制模式确定子模块,用于确定与所述终端的通信模式对应的目标抑制模式;
抑制模式切换子模块,用于获取针对所述残差信号的当前抑制模式,并将所述当前抑制模式切换为目标抑制模式;
回声抑制系数获取子模块,用于获取所述目标抑制模式的回声抑制系数;
回声抑制子模块,用于采用所述回声抑制系数对所述残差信号进行回声抑制,生成目标近端信号。
在本发明的一种可选实施例中,所述抑制模式确定子模块具体用于:
当所述通信模式为所述双工通信模式时,则确定针对所述残差信号的抑制模式为第一抑制模式,所述第一抑制模式为减小对所述残差信号进行回声抑制的模式;
当所述通信模式为所述单工通信模式时,则确定针对所述残差信号的抑制模式为第二抑制模式,所述第二抑制模式为加大对所述残差信号进行回声抑制的模式。
在本发明的一种可选实施例中,所述回声抑制模块504包括:
抑制模式切换子模块,用于获取针对所述残差信号的当前抑制模式,将所述当前抑制模式切换为所述抑制模式;
抑制系数获取子模块,用于获取所述目标抑制模式的回声抑制系数;
回声抑制子模块,用于采用所述回声抑制系数对所述残差信号进行回声抑制,生成目标近端信号。
在本发明的一种可选实施例中,所述当前近端信号包括与所述远端信号对应的远端回声信号,所述回声消除模块503具体用于:
采用所述估计回声信号对所述当前近端信号中的所述远端回声信号,进行回声消除,生成残差信号。
在本发明的一种可选实施例中,所述当前近端信号包括与所述远端信号对应的远端回声信号,所述目标线性滤波模型通过如下模块生成:
残留回声信号确定模块,用于采用所述远端回声信号与所述估计回声信号,确定针对所述远端回声信号的残留回声信号;
目标步长确定模块,用于根据所述残留回声信号,确定针对预设的初始线性滤波模型的目标步长;
模型迭代模块,用于根据所述残留回声信号与所述目标步长对所述初始线性滤波模型进行迭代,生成目标线性滤波模型。
在本发明的一种可选实施例中,所述目标步长确定模块包括:
回声残差值生成子模块,用于将所述残留回声信号与预设回声信号进行比对,生成回声残差值;
目标步长确定子模块,用于采用所述残留回声信号与所述回声残差值,确定所述目标步长。
在本发明的一种可选实施例中,所述模型迭代模块包括:
偏差值确定子模块,用于采用所述残留回声信号与所述目标步长,确定针对所述初始线性滤波模型的偏差值;
模型迭代子模块,用于根据所述偏差值对所述初始线性滤波模型进行迭代,生成目标线性滤波模型。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本申请实施例还提供了一种装置,包括:
一个或多个处理器;和
其上存储有指令的一个或多个机器可读介质,当由所述一个或多个处理器执行时,使得所述装置执行本申请实施例所述的方法。
本申请实施例还提供了一个或多个机器可读介质,其上存储有指令,当由一个或多个处理器执行时,使得所述处理器执行本申请实施例所述的方法。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的机器可读介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种终端通信的回声抑制方法和一种终端通信的回声抑制装置,进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (14)

1.一种终端通信的回声抑制方法,其特征在于,包括:
获取远端信号,以及当前近端信号;
将所述远端信号输入预设的目标线性滤波模型,生成估计回声信号;
根据所述估计回声信号对所述当前近端信号进行回声消除,生成残差信号;
根据终端当前的通信模式,对所述残差信号进行回声抑制,生成目标近端信号;
其中,所述当前近端信号包括与所述远端信号对应的远端回声信号,所述目标线性滤波模型通过如下方式生成:
采用所述远端回声信号与所述估计回声信号,确定针对所述远端回声信号的残留回声信号;
根据所述残留回声信号,确定针对预设的初始线性滤波模型的目标步长;
根据所述残留回声信号与所述目标步长对所述初始线性滤波模型进行迭代,生成目标线性滤波模型。
2.根据权利要求1所述的方法,其特征在于,所述根据终端当前的通信模式,对所述残差信号进行回声抑制,生成目标近端信号,包括:
确定与所述终端的通信模式对应的目标抑制模式;
获取针对所述残差信号的当前抑制模式,并将所述当前抑制模式切换为目标抑制模式;
获取所述目标抑制模式的回声抑制系数;
采用所述回声抑制系数对所述残差信号进行回声抑制,生成目标近端信号。
3.根据权利要求2所述的方法,其特征在于,所述通信模式包括双工通信模式以及单工通信模式,所述确定与所述终端的通信模式对应的目标抑制模式,包括:
当所述通信模式为所述双工通信模式时,则确定针对所述残差信号的抑制模式为第一抑制模式,所述第一抑制模式为减小对所述残差信号进行回声抑制的模式;
当所述通信模式为所述单工通信模式时,则确定针对所述残差信号的抑制模式为第二抑制模式,所述第二抑制模式为加大对所述残差信号进行回声抑制的模式。
4.根据权利要求1所述的方法,其特征在于,所述当前近端信号包括与所述远端信号对应的远端回声信号,所述根据所述估计回声信号对所述当前近端信号进行回声消除,生成残差信号,包括:
采用所述估计回声信号对所述当前近端信号中的所述远端回声信号,进行回声消除,生成残差信号。
5.根据权利要求1所述的方法,其特征在于,所述根据所述残留回声信号,确定针对预设的初始线性滤波模型的目标步长,包括:
将所述残留回声信号与预设回声信号进行比对,生成回声残差值;
采用所述残留回声信号与所述回声残差值,确定所述目标步长。
6.根据权利要求1或5所述的方法,其特征在于,所述根据所述残留回声信号与所述目标步长对所述初始线性滤波模型进行迭代,生成目标线性滤波模型,包括:
采用所述残留回声信号与所述目标步长,确定针对所述初始线性滤波模型的偏差值;
根据所述偏差值对所述初始线性滤波模型进行迭代,生成目标线性滤波模型。
7.一种终端通信的回声抑制装置,其特征在于,包括:
信号获取模块,用于获取远端信号,以及当前近端信号;
线性滤波模块,用于将所述远端信号输入预设的目标线性滤波模型,生成估计回声信号;
回声消除模块,用于根据所述估计回声信号对所述当前近端信号进行回声消除,生成残差信号;
回声抑制模块,用于根据终端当前的通信模式,对所述残差信号进行回声抑制,生成目标近端信号;
其中,所述当前近端信号包括与所述远端信号对应的远端回声信号,所述目标线性滤波模型通过如下模块生成:
残留回声信号确定模块,用于采用所述远端回声信号与所述估计回声信号,确定针对所述远端回声信号的残留回声信号;
目标步长确定模块,用于根据所述残留回声信号,确定针对预设的初始线性滤波模型的目标步长;
模型迭代模块,用于根据所述残留回声信号与所述目标步长对所述初始线性滤波模型进行迭代,生成目标线性滤波模型。
8.根据权利要求7所述的装置,其特征在于,所述回声抑制模块包括:
抑制模式确定子模块,用于确定与所述终端的通信模式对应的目标抑制模式;
抑制模式切换子模块,用于获取针对所述残差信号的当前抑制模式,并将所述当前抑制模式切换为目标抑制模式;
回声抑制系数获取子模块,用于获取所述目标抑制模式的回声抑制系数;
回声抑制子模块,用于采用所述回声抑制系数对所述残差信号进行回声抑制,生成目标近端信号。
9.根据权利要求8所述的装置,其特征在于,所述抑制模式确定子模块具体用于:
当所述通信模式为双工通信模式时,则确定针对所述残差信号的抑制模式为第一抑制模式,所述第一抑制模式为减小对所述残差信号进行回声抑制的模式;
当所述通信模式为单工通信模式时,则确定针对所述残差信号的抑制模式为第二抑制模式,所述第二抑制模式为加大对所述残差信号进行回声抑制的模式。
10.根据权利要求7所述的装置,其特征在于,所述当前近端信号包括与所述远端信号对应的远端回声信号,所述回声消除模块具体用于:
采用所述估计回声信号对所述当前近端信号中的所述远端回声信号,进行回声消除,生成残差信号。
11.根据权利要求7所述的装置,其特征在于,所述目标步长确定模块包括:
回声残差值生成子模块,用于将所述残留回声信号与预设回声信号进行比对,生成回声残差值;
目标步长确定子模块,用于采用所述残留回声信号与所述回声残差值,确定所述目标步长。
12.根据权利要求7或11所述的装置,其特征在于,所述模型迭代模块包括:
偏差值确定子模块,用于采用所述残留回声信号与所述目标步长,确定针对所述初始线性滤波模型的偏差值;
模型迭代子模块,用于根据所述偏差值对所述初始线性滤波模型进行迭代,生成目标线性滤波模型。
13.一种电子设备,其特征在于,包括:
一个或多个处理器;和
其上存储有指令的一个或多个机器可读介质,当由所述一个或多个处理器执行时,使得所述电子设备执行如权利要求1-6任一项所述的方法。
14.一种机器可读介质,其上存储有指令,当由一个或多个处理器执行时,使得所述处理器执行如权利要求1-6任一项所述的方法。
CN202010605405.3A 2020-06-29 2020-06-29 一种终端通信的回声抑制方法和装置 Active CN113938548B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010605405.3A CN113938548B (zh) 2020-06-29 2020-06-29 一种终端通信的回声抑制方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010605405.3A CN113938548B (zh) 2020-06-29 2020-06-29 一种终端通信的回声抑制方法和装置

Publications (2)

Publication Number Publication Date
CN113938548A CN113938548A (zh) 2022-01-14
CN113938548B true CN113938548B (zh) 2024-12-24

Family

ID=79272932

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010605405.3A Active CN113938548B (zh) 2020-06-29 2020-06-29 一种终端通信的回声抑制方法和装置

Country Status (1)

Country Link
CN (1) CN113938548B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116068624B (zh) * 2023-02-24 2025-05-13 西安交通大学 基于降秩型f-x预测滤波的地震随机噪声压制方法及系统
CN116612778B (zh) * 2023-07-18 2023-11-14 腾讯科技(深圳)有限公司 回声及噪声抑制方法、相关装置和介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111341336A (zh) * 2020-03-16 2020-06-26 北京字节跳动网络技术有限公司 一种回声消除方法、装置、终端设备及介质

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE505150C3 (sv) * 1995-10-18 1997-08-04 Ericsson Telefon Ab L M Adaptivt ekoslaeckningsfoerfarande av dubbelfiltertyp
JP2891295B2 (ja) * 1995-12-25 1999-05-17 日本電気株式会社 音響エコーキャンセラ
KR100272131B1 (ko) * 1998-04-15 2000-11-15 윤종용 계층적 구조의 적응반향 제거장치
CN1842110B (zh) * 2005-03-28 2010-04-28 华为技术有限公司 一种回声消除装置和方法
CN101043560A (zh) * 2006-03-22 2007-09-26 北京大学深圳研究生院 回声消除器及回声消除方法
CN101106405A (zh) * 2006-07-12 2008-01-16 北京大学深圳研究生院 回声消除器、回声消除方法及其双端通话检测系统
JP4509126B2 (ja) * 2007-01-24 2010-07-21 沖電気工業株式会社 エコーキャンセラ及びエコーキャンセル方法
JP5057109B2 (ja) * 2008-04-24 2012-10-24 Necエンジニアリング株式会社 エコーキャンセラ装置
WO2012153452A1 (ja) * 2011-05-10 2012-11-15 三菱電機株式会社 エコー消去装置およびエコー検出装置
CN103327201B (zh) * 2012-03-20 2016-04-20 联芯科技有限公司 残留回声消除方法及系统
CN103780998B (zh) * 2012-10-23 2018-06-01 韩国电子通信研究院 消除声学回波的方法和设备、与自适应滤波系数更新方法
CN104050971A (zh) * 2013-03-15 2014-09-17 杜比实验室特许公司 声学回声减轻装置和方法、音频处理装置和语音通信终端
CN104427144B (zh) * 2013-09-11 2017-06-13 联芯科技有限公司 一种线性回声消除方法及其装置
CN105391879B (zh) * 2015-12-09 2018-06-12 天津大学 一种无回声残留双端通话鲁棒的声学回声消除方法
CN107123430B (zh) * 2017-04-12 2019-06-04 广州视源电子科技股份有限公司 回声消除方法、装置、会议平板及计算机存储介质
CN109286730A (zh) * 2017-07-20 2019-01-29 阿里巴巴集团控股有限公司 一种回声检测的方法、装置及系统
WO2019112467A1 (en) * 2017-12-08 2019-06-13 Huawei Technologies Co., Ltd. Method and apparatus for acoustic echo cancellation
CN110838300B (zh) * 2019-11-18 2022-03-25 紫光展锐(重庆)科技有限公司 回声消除的处理方法及处理系统
CN111246037B (zh) * 2020-03-16 2021-11-16 北京字节跳动网络技术有限公司 一种回声消除方法、装置、终端设备及介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111341336A (zh) * 2020-03-16 2020-06-26 北京字节跳动网络技术有限公司 一种回声消除方法、装置、终端设备及介质

Also Published As

Publication number Publication date
CN113938548A (zh) 2022-01-14

Similar Documents

Publication Publication Date Title
EP3568854B1 (en) Post-mixing acoustic echo cancellation systems and methods
US11297178B2 (en) Method, apparatus, and computer-readable media utilizing residual echo estimate information to derive secondary echo reduction parameters
CN111031448B (zh) 回声消除方法、装置、电子设备和存储介质
US8462936B2 (en) Adaptive delay compensation for acoustic echo cancellation
JPH084243B2 (ja) 多チャンネルエコー除去方法および装置
JPH10304489A (ja) エコー・雑音成分除去装置
JP2012510779A (ja) 音響的に過酷な環境におけるダブルトーク検出のためのシステム及び方法
JP5034607B2 (ja) 音響エコーキャンセラシステム
CN110992923A (zh) 回声消除方法、电子设备以及存储装置
CN110956975A (zh) 回声消除方法及装置
CN113938548B (zh) 一种终端通信的回声抑制方法和装置
CN112929506B (zh) 音频信号的处理方法及装置,计算机存储介质及电子设备
KR20220157475A (ko) 반향 잔류 억제
JP5321914B2 (ja) システム同定装置及びシステム同定方法
CN113223547B (zh) 双讲检测方法、装置、设备和介质
Mahbub et al. A single-channel acoustic echo cancellation scheme using gradient-based adaptive filtering
Mohammed A new adaptive beamformer for optimal acoustic echo and noise cancellation with less computational load
US8144863B2 (en) Method and apparatus for echo cancellation
Kaur et al. Performance and convergence analysis of LMS algorithm
CN115706757A (zh) 使用控制参数的声学回声消除
JP3616341B2 (ja) 多チャネルエコーキャンセル方法、その装置、そのプログラム及び記録媒体
Adapa et al. Performance analysis of different adapative algorithms based on acoustic echo cancellation
HK40066034A (zh) 一種終端通信的回聲抑制方法和裝置
Garre et al. An Acoustic Echo Cancellation System based on Adaptive Algorithm
CN115834778B (zh) 一种回声消除方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40066034

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant