JP3753996B2

JP3753996B2 - Echo suppression device, echo suppression method and program

Info

Publication number: JP3753996B2
Application number: JP2002079727A
Authority: JP
Inventors: 澄宇阪内; 陽一羽田
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2002-03-20
Filing date: 2002-03-20
Publication date: 2006-03-08
Anticipated expiration: 2022-03-20
Also published as: JP2003284183A

Description

【０００１】
【発明の属する技術分野】
この発明は、反響抑圧装置、反響抑圧方法及びプログラムに関し、例えば２線４線変換系および拡声通話系などにおいて、ハウリングの原因および聴覚上の障害となるエコー信号を抑圧し、送話者音声信号を強調する技術に関する。
【０００２】
【従来の技術】
まず、このようなハウリングの原因および聴覚上の障害となるエコー信号について図５に示す拡声通話系を参照して説明する。図５において、１０１、１０３は送話用マイクロホン、１０２、１０４は受話スピーカ、１０５、１０７は収録（送話）信号増幅器、１０６、１０８は再生（受話）信号増幅器、１０９は伝送路、１１０は送話者、１１１は受話者をそれぞれ表す。送話者１１０の発声した送話音声は、送話用マイクロホン１０１、収録（送話）信号増幅器１０５、伝送路１０９、再生（受話）信号増幅器１０８、受話スピーカ１０４を経て受話者１１１に伝わる。この拡声通話系は、従来の電話通話系のように送受話器を手に持つ必要がないため、作業をしながらの通話が可能であったり、また、自然な対面通話が実現できるという長所を持ち、通信会議やテレビ電話、拡声電話機などに広く利用が進められている。
【０００３】
しかしながら、この通話系の欠点として、エコーの存在が問題となっている。すなわち、図５において、スピーカ１０４から受話側に伝わった音声が、マイクロホン１０３で受音され、収録（送話）信号増幅器１０７、伝送路１０９、再生（受話）信号増幅器１０６、スピーカ１０２を経て送話側に再生される。送話者１１０にとって、この現象は、自分の発声した音声が、スピーカ２から再生されるというエコー現象であり、音響エコーなどと呼ばれている。このエコー現象は、拡声通話系において通話の障害や不快感などの悪影響を生じる。さらに、スピーカ１０２から再生された音は、マイクロホン１０１で受音されて信号の閉ループを形成する。そして、ループゲインが１より大きい場合にはハウリング現象が発生して、通話は不能となる。
【０００４】
このような拡声通話系の問題点を克服するために、反響消去装置（エコーキャンセラ）が利用されている。エコーキャンセラは適応フィルタ部、非線形エコー抑圧処理部のどちらか、もしくはそれらを組み合わせて構成される。ここで、非線形エコー抑圧処理は、音声スイッチやセンタクリッパなどの適応フィルタ（線形処理）以外のエコー抑圧処理を指す。適応フィルタ、非線形エコー抑圧処理に関しては、辻井重男監修の「エコーキャンセラ技術」（日本工業技術センター、昭６１）などが詳しい。また、ITUの勧告P.201、P.204、G.165、G.167などにも、構成および要求性能が提示されている。これらの処理によって、比較的静かな環境で利用する従来の通信会議やテレビ電話、拡声電話機などは、十分な通話品質を保証することが可能であった。
【０００５】
しかし、昨今、拡声通話の利用形態が拡大している。例えば、伝送遅延の大きいパケット網を用いたデスクトップテレビ会議、残響の大きい講堂を用いる遠隔講義などが挙げられる。このような利用環境ではエコーが増大するために、従来の適応フィルタや非線形エコー抑圧処置では、十分な通話品質の保証が困難となっている。
【０００６】
適応フィルタのフィルタ係数長（タップ長）は、エコー経路の残響時間に基づいて設定される。しかし、残響時間があまりにも長い場合には、装置のハードウェア規模の問題でタップ長が不足し、残留エコーの増大すなわち、エコーの消し残りが発生する。さらに、伝送遅延が大きい場合には、エコーがより聞こえやすくなり、適応フィルタだけでは消去しきれない残留エコーが通話品質の劣化を引き起こす。対して、非線形エコー抑圧処理は、挿入損失の制御などにより大きくロバストにエコー抑圧できる利点がある。しかし、エコーと同時に送話音声が存在する場合は、それらを区別なく抑圧してしまうために、送話音声に歪みや、音の途切れを引き起こしてしまうといった問題が発生してしまう。すなわち、非線形エコー抑圧処理は、双方向同時通話（ダブルトーク）時に、通話品質の劣化を引き起こすという問題がある。
【０００７】
以上のような問題に対し、ダブルトーク中でも送話音声に歪みを引き起こすことなく、エコーを十分に抑圧するため、周波数領域のエコー抑圧方法が提案されている。その抑圧方法について、図６を用いて簡単に説明する。なお、該エコー抑圧方法として、特願平2000-274031に記載されている方法を用いる。図６において、３０１がエコー抑圧装置、３０２がエコー経路伝搬遅延推定部、３０３が遅延器、３０４がエコー経路結合量推定部、３０５がエコー抑圧ゲイン算出部、３０６が乗算器、４０１、４０２が周波数分析部、４０３が周波数合成部である。
【０００８】
はじめに、再生（受話）信号x(k)およびエコー重畳信号y(k)をそれぞれ、周波数分析部４０１、４０２で周波数領域に変換し信号の短時間スペクトルX,Yをそれぞれ求める（特願平2000-274031では、再生（受話）信号に対してエコー経路の伝搬遅延を考慮した方法が記載されているが、ここではその説明は省略する）。次に、変換した再生（受話）信号およびエコー重畳信号それぞれのパワーPX,PYの比の極小値から、エコー経路結合量推定部３０４において、推定エコー経路結合量PHeを計算する。具体的には、所定期間毎にエコー重畳信号のパワーに対する再生（受話）信号のパワーの比を算出し、前回取得した比と今回取得した比とを比較して、小さい方を推定エコー経路結合量とする。そして、エコー抑圧ゲイン算出部において、まず再生（受話）信号パワーPXに推定エコー経路結合量PHeを乗じて、予測エコー信号パワーPBeを計算する。その予測エコー信号パワーPBeと、エコー重畳信号の短時間スペクトルYを用いて、エコー抑圧ゲインGを計算する。エコー抑圧ゲインはエコー重畳信号y(k)に含まれる収録（送話）信号s(k)のパワー比率に等しくなるよう決定する。その値を、乗算器でエコー重畳信号y(k)に乗じることにより、エコーを抑圧した処理信号Seが得られ、周波数合成部４０３で変換することにより、エコー信号b(k)を抑圧し収録（送話）信号s(k)を強調した時間信号se(k)が得られる。以上の説明では、それぞれの信号を周波数領域に変換し処理を行っているが、周波数領域に変換せず、時間領域での処理も可能である。この処理については、特願平2000-274031にも記載されている。
【０００９】
この方法を用いると、エコーが重畳された送信信号y(k)からエコー信号b(k)だけを抑圧し、収録（送話）信号s(k)だけを強調し、相手側に送信することができる。すなわち、非線形エコー抑圧処理でありながら、ダブルトーク時にも収録（送話）信号s(k)が途切れることなく、エコー信号b(k)だけを抑圧することが可能となる。
【００１０】
【発明が解決しようとする課題】
従来方法は、エコー経路の残響時間が短い場合には十分な性能を有するが、エコー経路の残響時間が長い場合は以下のような問題がある。残響時間が長い場合には、音声がエコーとなって反響し戻ってくる時間（エコー継続時間長）が長くなる。従来方法は、エコーをエコー経路結合量（音響結合量）と再生（受話）信号から計算する。ここで、再生（受話）信号は周波数分析のために任意の時間窓で切り出しを行うため、その窓長は通常32msから多くても64ms程度である。この値は、時間分解能と周波数分解能のトレードオフのためにこれ以上増加させることはできない。すなわち、窓長を増加させると、周波数分解能は向上するが、時間分解能は低下してしまうので、前記の値が適当な値と言える。この時間窓長に対して、通常の会議室の残響時間は約400ms程度である。すなわち、従来方法ではエコーの時間的な前半部分は十分に抑圧可能だが、窓長を超過した後半部分に対応することができないために、エコー抑圧性能が劣化する問題がある。したがって、残響時間が長い場合にも、エコーを十分に抑圧することが本発明の課題となる。
【００１１】
【課題を解決するための手段】
上記の課題を解決するため、本発明は、再生信号（実施形態では再生（受話）信号x(k)）に起因する反響成分（実施形態ではエコー信号b(k)）が収録信号（実施形態では収録（送話）信号s(k)）に重畳して生じる反響を抑圧する反響抑圧装置において、前記再生信号を、フレーム毎の各周波数の周波数帯域再生信号（実施形態では短時間スペクトルX(m,f)）に変換する第１周波数分析手段（実施形態では周波数分析手段４０１）と、前記収録信号に前記反響成分が重畳された重畳信号（実施形態ではエコー重畳信号y(k)）を、フレーム毎の各周波数の周波数帯域重畳信号（実施形態では短時間スペクトルY(m,f)）に変換する第２周波数分析手段（実施形態では周波数分析手段４０２）と、各周波数毎に、現フレームの前記周波数帯域再生信号と、前記再生信号および前記重畳信号から計算される反響経路結合量（実施形態ではエコー経路結合量（音響結合量）C(m,f)）とから、現フレームにおける初期反響強度（実施形態では先頭エコーパワースペクトルPB0(m,f)）を計算する初期反響強度計算手段（実施形態では先頭エコーパワー計算手段５０６）と、各周波数毎に、前フレームの総反響強度（実施形態では１処理フレーム前の総エコーパワースペクトルPB(m-1,f)）と、残響時間（実施形態では残響時間Tr(f)）から算出されるフレームあたりの減衰比率とを乗算して得られる予測反響強度を、現フレームにおける前記初期反響強度に加えて、現フレームの総反響強度（実施形態では総エコーパワースペクトルPB(m,f)）を計算する総反響強度計算手段（実施形態では総エコーパワー計算手段５０７）と、各周波数毎に、少なくとも現フレームの前記周波数帯域重畳信号と現フレームの前記総反響強度とから、前記周波数帯域重畳信号中の前記反響成分を抑圧するよう、現フレームの前記周波数帯域重畳信号の電力から現フレームの前記総反響強度を減算したものを現フレームの前記周波数帯域重畳信号の電力で除算したものを含んだ、現フレームの反響抑圧利得（実施形態ではエコー抑圧ゲインG(m,f)）を計算する反響抑圧利得計算手段（実施形態ではエコー抑圧ゲイン計算手段５０８）と、各周波数毎に、現フレームの前記周波数帯域重畳信号に現フレームの前記反響抑圧利得を乗じて、現フレームの周波数帯域抑圧信号（実施形態では短時間スペクトルS'(m,f)）を計算する反響抑圧利得重畳手段（実施形態ではエコー抑圧ゲイン重畳手段５０９）と、フレーム毎に各周波数について計算された周波数帯域抑圧信号を、時間領域における時間領域抑圧信号（実施形態では処理信号s'(k)）に変換する周波数合成手段（実施形態では周波数合成手段４０３）とを有することを特徴とする。
また、本発明は、上述する反響抑圧装置であって、前記反響抑圧利得計算手段は、各周波数毎に、現フレームの反響抑圧利得 G(m,f) を、現フレームの前記周波数帯域重畳信号 Y(m,f) と現フレームの前記総反響強度 PB(m,f) と１つ前のフレームの周波数帯域抑圧信号 S'(m-1,f) と重みβとから、
G(m,f)=(1- β )*{|Y(m,f)|^2-PB(m,f)}/|Y(m,f)|^2+ β *|S'(m-1,f)|^2/|Y(m,f)|^2
により算出する、ことを特徴とする。
【００１２】
また、本発明は、再生信号に起因する反響成分が収録信号に重畳して生じる反響を抑圧する反響抑圧方法において、前記再生信号を、フレーム毎の各周波数の周波数帯域再生信号に変換する第１周波数分析過程と、前記収録信号に前記反響成分が重畳された重畳信号を、フレーム毎の各周波数の周波数帯域重畳信号に変換する第２周波数分析過程と、各周波数毎に、現フレームの前記周波数帯域再生信号と、前記再生信号および前記重畳信号から計算される反響経路結合量とから、現フレームにおける初期反響強度を計算する初期反響強度計算過程と、各周波数毎に、前フレームの総反響強度と、残響時間から算出されるフレームあたりの減衰比率とを乗算して得られる予測反響強度を、現フレームにおける前記初期反響強度に加えて、現フレームの総反響強度を計算する総反響強度計算過程と、各周波数毎に、少なくとも現フレームの前記周波数帯域重畳信号と現フレームの前記総反響強度とから、前記周波数帯域重畳信号中の前記反響成分を抑圧するよう、現フレームの前記周波数帯域重畳信号の電力から現フレームの前記総反響強度を減算したものを現フレームの前記周波数帯域重畳信号の電力で除算したものを含んだ、現フレームの反響抑圧利得を計算する反響抑圧利得計算過程と、各周波数毎に、現フレームの前記周波数帯域重畳信号に現フレームの前記反響抑圧利得を乗じて、現フレームの周波数帯域抑圧信号を計算する反響抑圧利得重畳過程と、フレーム毎に各周波数について計算された周波数帯域抑圧信号を、時間領域における時間領域抑圧信号に変換する周波数合成過程とを有することを特徴とする。
また、本発明は、上述する反響抑圧方法であって、前記反響抑圧利得計算過程においては、各周波数毎に、現フレームの反響抑圧利得 G(m,f) を、現フレームの前記周波数帯域重畳信号 Y(m,f) と現フレームの前記総反響強度 PB(m,f) と１つ前のフレームの周波数帯域抑圧信号 S'(m-1,f) と重みβとから、
G(m,f)=(1- β )*{|Y(m,f)|^2-PB(m,f)}/|Y(m,f)|^2+ β *|S'(m-1,f)|^2/|Y(m,f)|^2
により算出する、ことを特徴とする。
【００１３】
また、本発明は、再生信号に起因する反響成分が収録信号に重畳して生じる反響を抑圧する反響抑圧プログラムにおいて、前記再生信号を、フレーム毎の各周波数の周波数帯域再生信号に変換する第１周波数分析過程と、前記収録信号に前記反響成分が重畳された重畳信号を、フレーム毎の各周波数の周波数帯域重畳信号に変換する第２周波数分析過程と、各周波数毎に、現フレームの前記周波数帯域再生信号と、前記再生信号および前記重畳信号から計算される反響経路結合量とから、現フレームにおける初期反響強度を計算する初期反響強度計算過程と、各周波数毎に、前フレームの総反響強度と、残響時間から算出されるフレームあたりの減衰比率とを乗算して得られる予測反響強度を、現フレームにおける前記初期反響強度に加えて、現フレームの総反響強度を計算する総反響強度計算過程と、各周波数毎に、少なくとも現フレームの前記周波数帯域重畳信号と現フレームの前記総反響強度とから、前記周波数帯域重畳信号中の前記反響成分を抑圧するよう、現フレームの前記周波数帯域重畳信号の電力から現フレームの前記総反響強度を減算したものを現フレームの前記周波数帯域重畳信号の電力で除算したものを含んだ、現フレームの反響抑圧利得を計算する反響抑圧利得計算過程と、各周波数毎に、現フレームの前記周波数帯域重畳信号に現フレームの前記反響抑圧利得を乗じて、現フレームの周波数帯域抑圧信号を計算する反響抑圧利得重畳過程と、フレーム毎に各周波数について計算された周波数帯域抑圧信号を、時間領域における時間領域抑圧信号に変換する周波数合成過程とをコンピュータに実行させることを特徴とする。
また、本発明は、上述する反響抑圧プログラムであって、前記反響抑圧利得計算過程においては、各周波数毎に、現フレームの反響抑圧利得 G(m,f) を、現フレームの前記周波数帯域重畳信号 Y(m,f) と現フレームの前記総反響強度 PB(m,f) と１つ前のフレームの周波数帯域抑圧信号 S'(m-1,f) と重みβとから、
G(m,f)=(1- β )*{|Y(m,f)|^2-PB(m,f)}/|Y(m,f)|^2+ β *|S'(m-1,f)|^2/|Y(m,f)|^2
により算出する、ことを特徴とする。
【００１４】
本発明では、以下に説明するエコーの推定手段を用いて、上記の課題を解決する。なお、以下の数式で変数xのy乗はx^yとして表す。
【００１５】
任意のフレームmにおける再生（受話）信号の短時間スペクトルXの周波数fにおけるパワースペクトルをPX(m,f)、エコー経路結合量（音響結合量）をC(m,f)とする。ここで、エコー経路結合量（音響結合量）C(m,f)の定義はエコー経路への入力信号（再生（受話）信号）に対する出力信号（エコー信号）のパワー比（真数）の短時間平均である。
【００１６】
実際のエコー経路結合量の推定においては、再生（受話）信号x(k)及びエコー重畳信号y(k)を用いて、エコー重畳信号y(k)に対する再生（受話）信号x(k)の比の最小値を更新することにより、エコー経路結合量を算出する。
【００１７】
エコー経路の出力信号であるエコー信号の現フレームのパワースペクトル（先頭エコーパワースペクトル）PB0(m,f)は、エコー経路結合量C(m,f)に再生（受話）信号のパワースペクトルPX(m,f)を乗じて式（１）のように求められる。
PB0(m,f)=C(m,f)*PX(m,f) …（1）
【００１８】
従来方法ではこの値をエコーの推定パワーとして用いていた。しかし、エコー経路から出力されるエコー信号は、現フレームの再生（受話）信号に起因するエコーだけではない。現フレーム以前に発生し、長いエコー経路を経由し反響するために、現フレームのエコーに遅延して加算（重畳）される過去のエコーのフレーム長を超える「尾」の部分がある。以下では、この過去エコーのフレーム長を超える部分についても考慮した処理を行う。なお、従来方法では推定されたエコーパワーは実際より小さく見積もられていたことになる。
【００１９】
エコーは時間が経つにつれて、段々とその振幅が減衰する。この減衰比率を１処理（エコー測定）時刻（もし処理が１フレームに１回の場合は、フレーム長L間隔）あたりにr(r<1)とすると、エコー信号パワーの合計（総エコー信号パワー）PB(m,f)は以下の式で表すことができる。
PB(m,f)=PB0(m,f)+r*PB0(m-1,f)+r^2*PB0(m-2,f)+r^3*PB0(m-3,f)+‥ …（2）
同様に、１処理時刻前m-1の総エコー信号パワーPB(m-1,f)は、
PB(m-1,f)=PB0(m-1,f)+r*PB0(m-2,f)+r^2*PB0(m-3,f)+‥ …（3）
であり、この同辺にrを掛けると以下の様に変形できる。
r*PB(m-1,f)=r*PB0(m-1,f)+r^2*PB0(m-2,f)+r^3*PB0(m-3,f)+‥ …（4）
従って、式（4）を式（2）に代入し整理すると、総エコー信号パワーは以下の式で計算可能となる。
PB(m,f)=PB0(m,f)+r*PB(m-1,f) …（5）
式（5）中の比率rは、エコー経路の残響時間Tr(f)[秒]から以下の様に計算できる。処理回数をn、処理を行うフレーム長をL（サンプル）、サンプリング周波数をfsとすると、任意の時刻tは、
t=n*L/fs …（6）
t=Tr(f)の場合に、式（6）をnについて解くと
n=Tr*fs/L …（7）
となる。残響時間Trは、系に出力された信号のエネルギーが最初の状態から例えば60dB減衰するまでの時間で定義される。残響時間は予めインパルス応答を測定し、そのインパルス応答を積分して得られるエネルギーを用いて求められる。最初のエコー信号のエネルギーをPB(0,f)とすると、
10*1og₁₀[{r^(Tr(f)*fs/L)*PB(0,f)}/PB(0,f)]=-60 …（8）
式（8）をrについて解いてから、式（5）に代入すると以下の式が得られる。
PB(m,f)=PB0(m,f)+10^[-6*L/{Tr(f)*fs}]*PB(m-1,f) …（9）
式（1）および式（9）により、総エコー信号パワーPB(m,f)が、再生（受話）信号のパワーPX(m,f)、エコー経路結合量（音響結合量）C(m,f)、１処理フレーム前m-1までの総エコー信号パワーPB(m-1,f)、処理フレーム長L、残響時間Tr(f)、サンプリング周波数fsから求めることが可能となる。式（9）で計算可能となった総エコー信号パワーは、従来方法で用いていたエコーの推定パワー（PB0(m,f)に等しい）よりも正確な値となる。すなわちこの総エコー信号パワーによって計算したエコー抑圧ゲインGを用いてエコーを抑圧すれば、従来方法で課題となった残響時間が多い場合にもエコーが十分に抑圧可能となる。
【００２０】
以上は周波数領域においてフレーム間隔で処理を行う場合について説明した。同様に、時間領域においてサンプリング間隔で処理を行う場合についても以下の通り適用できる。任意のサンプリング時刻kにおける再生（受話）信号x(k)のパワーをPx(k)、エコー経路結合量（音響結合量）をC(k)とすると、エコー信号の現サンプリング時刻のパワーPb0(k)は式（1）と同様に、
Pb0(k)=C(k)*Px(k) …（10）
となる。以下、式（2）から式（8）についても同様に導くことができ、式（9）に対応する以下の式が得られる。
Pb(k)=Pb0(k)+10^{-6/(Tr*fs)}*Pb(k-1) …（11）
ここで、PB(k)およびPB(k-1)はそれぞれ、サンプリング時刻kおよび１サンプリング時刻前k-1における総エコーパワーである。
【００２１】
【発明の実施の形態】
第一実施形態は、音響エコーを抑圧するためのエコー抑圧装置であり、図１にその構成図、図２にそのフローチャートを示す。なお、以下の文中における［］内の符号は、フローチャート中のステップを表す。入力端２０１から入力された再生（受話）信号x(k)は出力端２０２から出力されエコー経路を伝搬した後にエコー信号b(k)となる。そして、収録（送話）信号s(k)に加算され、エコー重畳信号y(k)となる。ここで、エコー抑圧装置には、音響エコーを抑圧するためのものと、回線エコーを抑圧するためのものがある。音響エコーを抑圧するためのエコー抑圧装置の場合、再生信号x(k)は受話信号に相当し、エコー経路はスピーカ（拡声器）・マイクロホン（収音器）間の音響エコー経路に相当し、収録信号s(k)は送話信号に相当する。一方、回線エコーを抑圧するためのエコー抑圧装置の場合、再生信号x(k)は送話信号に相当し、エコー経路は２線４線変換用ハイブリッド回路のインピーダンス不整合によって発生する回線エコー経路に相当し、収録信号s(k)は受話信号に相当する。以下では、これらを代表して、音響エコーを抑圧するためのエコー抑圧装置を例に挙げて説明を行う。エコー重畳信号y(k)は入力端２０３から入力され、周波数分析手段４０２で周波数領域に変換され短時間スペクトルY(m,f)となり、エコー抑圧装置５０１へと入力される。同時に、再生（受話）信号x(k)も周波数分析手段４０１で周波数領域に変換され短時間スペクトルX(m,f)となり、エコー抑圧装置５０１に入力される［Ｓ１］。ここで、kは任意のサンプリング時刻、mは周波数変換を行う際に切り取ったフレーム、fは任意の周波数とする。
【００２２】
エコー抑圧装置５０１では、はじめに先頭エコーパワー計算手段５０６において、エコー経路結合量記憶手段５０２（メモリ11）からエコー経路結合量（音響結合量）C(m,f)を読み込み［Ｓ２］、式（1）に従いパワースペクトルPX(m,f)から先頭エコーパワースペクトルPB0(m,f)を求める［Ｓ３］。次に、総エコーパワー計算手段５０７において、エコー経路残響時間記憶手段５０３（メモリ12）から残響時間Tr(f)を読み込み［Ｓ４］、総エコーパワー記憶手段５０４（メモリ13）から１処理フレーム前の総エコーパワースペクトルPB(m-1,f)を読み込み［Ｓ５］、式（9）に従い総エコーパワースペクトルPB(m,f)を求める［Ｓ６］。そして、求めた総エコーパワースペクトルPB(m,f)を、総エコーパワー記憶手段５０４（メモリ13）に書き込む［Ｓ７］。次にエコー抑圧ゲイン計算手段５０８において、抑圧処理信号記憶手段５０５（メモリ14）から１処理フレーム前の処理信号の短時間スペクトルS'(m-1,f)を読み込み［Ｓ８］、短時間スペクトルY(m,f)および総エコーパワースペクトルPB(m,f)から以下の式に従いエコー抑圧ゲインG(m,f)を計算する［Ｓ９］。

そして、エコー抑圧ゲイン重畳手段５０９において、短時間スペクトルY(m,f)にエコー抑圧ゲインG(m,f)を乗じてエコー信号を抑圧し、抑圧処理信号である短時間スペクトルS'(m,f)を出力する［Ｓ１０］。
【００２３】
そして、抑圧処理信号である短時間スペクトルS'(m,f)を、抑圧処理信号記億手段５０５（メモリ14）に書き込む［Ｓ１１］と共に、エコー抑圧装置５０１から出力し［Ｓ１２］、周波数合成手段４０３において時間領域に変換し、エコーを抑圧した処理信号s'(k)を得て、出力端２０４に出力する。なお、本処理は、周波数分析手段４０１、４０２および周波数合成手段４０３を用いることなく、時間領域の信号によっても処理可能である。また、図３に示すように入出力がNチャネル(N>1)の場合にも、全てのチャネルに対して独立に処理を行うことにより、Nチャネルのエコー抑圧が可能である。
【００２４】
第二実施形態は、音響エコー抑圧装置の前段に適応フィルタで構成されたエコーキャンセラ２０５を組み合わせた実施例であり、図４にその構成図を示す。エコー抑圧装置５０１の処理は、第一実施形態と等しいが、エコー重畳信号y(k)の替わりにエコーキャンセラ（適応フィルタ）２０５によってある程度まで消去された残留エコーe(k)の重畳した信号を入力信号とする。この場合、周波数帯域毎エコー経路結合量は、前段のエコーキャンセラ（適応フィルタ）２０５を含んだ結合量となるが、エコー抑圧装置５０１の処理として不具合が生じることはない。
【００２５】
なお、上記の各実施形態を構成する各構成要素（各手段）は専用のハードウェアによって実現されるものであってもよいが、全体がメモリやＣＰＵ（中央演算処理装置）等を有するコンピュータによって構成され、各構成要素の機能が、コンピュータのメモリにロードされ、ＣＰＵによって実行されるプログラムによって実現されるものであってもよい。このとき、上記の各記憶手段は、ハードディスク、フレキシブルディスク、ＣＤ−ＲＷ（CD-ReWritable）、光磁気ディスク、フラッシュメモリ、ＲＡＭ（Random Access Memory）あるいはこれらの組み合わせによって構成される。
【００２６】
また、上記のプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータに読み込ませ、実行することにより、上記の各構成要素の機能を実現してもよい。なお、ここでいう「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ（CD-Recordable）、ＣＤ−ＲＷ等の可搬媒体や、コンピュータに内蔵されるハードディスク等の記憶装置のことである。
【００２７】
さらに、上記の「コンピュータ読み取り可能な記録媒体」は、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの（伝送媒体ないしは伝送波）や、その場合のサーバやクライアントとなるコンピュータ内の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。
【００２８】
【発明の効果】
以上説明した本発明によれば以下の効果が生じる。残響時間の大きい場合に、長いエコー経路を反響して遅延を伴い返ってくるエコーに対しても、エコー信号パワーの合計を正確に計算することが可能となり、エコーを十分に抑圧することが可能となった。
【図面の簡単な説明】
【図１】本発明の第一実施形態の構成を示すブロック図である。
【図２】本発明の第一実施形態の動作を示すフローチャートである。
【図３】入出力がNチャネル(N>1)の場合の構成を示すブロック図である。
【図４】本発明の第二実施形態の構成を示すブロック図である。
【図５】従来の拡声通話系の構成を示すブロック図である。
【図６】従来のエコー抑圧装置の構成を示すブロック図である。
【符号の説明】
２０１、２０３入力端
２０２、２０４出力端
２０５エコーキャンセラ（適応フィルタ）
４０１周波数分析手段（第１周波数分析手段）
４０２周波数分析手段（第２周波数分析手段）
４０３周波数合成手段
５０１エコー抑圧装置
５０２エコー経路結合量記憶手段
５０３エコー経路残響時間記憶手段
５０４総エコーパワー記憶手段
５０５抑圧処理信号記憶手段
５０６先頭エコーパワー計算手段（初期反響強度計算手段）
５０７総エコーパワー計算手段（総反響強度計算手段）
５０８エコー抑圧ゲイン計算手段（反響抑圧利得計算手段）
５０９エコー抑圧ゲイン重畳手段（反響抑圧利得重畳手段）
１０１、１０３送話用マイクロホン
１０２、１０４受話スピーカ
１０５、１０７収録（送話）信号増幅器
１０６、１０８再生（受話）信号増幅器
１０９伝送路
１１０送話者
１１１受話者
３０１エコー抑圧装置
３０２エコー経路伝搬遅延推定部
３０３遅延器
３０４エコー経路結合量推定部
３０５エコー抑圧ゲイン算出部
３０６乗算器[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an echo suppression device, an echo suppression method, and a program. For example, in a two-wire four-wire conversion system and a loudspeaker communication system, the echo signal that causes a howling and an auditory disturbance is suppressed, and a speaker voice signal is transmitted. It is related to the technology that emphasizes.
[0002]
[Prior art]
First, the cause of such howling and the echo signal that becomes an obstacle to hearing will be described with reference to a loudspeaker communication system shown in FIG. In FIG. 5, 101 and 103 are transmitting microphones, 102 and 104 are receiving speakers, 105 and 107 are recording (transmitting) signal amplifiers, 106 and 108 are reproduction (receiving) signal amplifiers, 109 is a transmission line, and 110 is a transmitting line. A speaker and 111 each represent a receiver. The transmitted voice uttered by the speaker 110 is transmitted to the receiver 111 via the transmission microphone 101, the recording (transmission) signal amplifier 105, the transmission path 109, the reproduction (reception) signal amplifier 108, and the reception speaker 104. This loudspeaker call system does not require a handset to be held in the hand like a conventional telephone call system, and thus has the advantage of being able to make a call while working and realizing a natural face-to-face call. Widespread use for teleconferences, videophones, loudspeakers, etc.
[0003]
However, the presence of echo is a problem as a drawback of this telephone system. That is, in FIG. 5, the sound transmitted from the speaker 104 to the receiver side is received by the microphone 103 and transmitted through the recording (sending) signal amplifier 107, the transmission path 109, the reproduction (receiving) signal amplifier 106, and the speaker 102. Played back to the talker. For the speaker 110, this phenomenon is an echo phenomenon in which the voice uttered by himself / herself is reproduced from the speaker 2, and is called an acoustic echo or the like. This echo phenomenon causes adverse effects such as call failure and discomfort in a loudspeaker call system. Furthermore, the sound reproduced from the speaker 102 is received by the microphone 101 to form a closed loop of the signal. If the loop gain is greater than 1, a howling phenomenon occurs and the call is disabled.
[0004]
An echo canceller (echo canceller) is used in order to overcome such problems of the voice call system. The echo canceller is configured by either an adaptive filter unit, a nonlinear echo suppression processing unit, or a combination thereof. Here, the nonlinear echo suppression processing refers to echo suppression processing other than an adaptive filter (linear processing) such as a voice switch or a center clipper. For details on adaptive filters and nonlinear echo suppression processing, see “Echo Canceller Technology” (Nippon Industrial Technology Center, Sho 61) supervised by Shigeo Sakurai. The configuration and required performance are also presented in ITU recommendations P.201, P.204, G.165, G.167 and the like. Through these processes, conventional communication conferences, videophones, loudspeakers and the like used in a relatively quiet environment can guarantee sufficient call quality.
[0005]
However, in recent years, the use form of the voice call has been expanded. For example, a desktop video conference using a packet network with a large transmission delay, a remote lecture using a lecture hall with a large reverberation, and the like. In such a use environment, echoes increase, and it is difficult to guarantee sufficient call quality with conventional adaptive filters and nonlinear echo suppression measures.
[0006]
The filter coefficient length (tap length) of the adaptive filter is set based on the reverberation time of the echo path. However, if the reverberation time is too long, the tap length is insufficient due to a hardware scale problem of the apparatus, and the residual echo increases, that is, the echo remains unerased. Further, when the transmission delay is large, the echo becomes more audible, and the residual echo that cannot be canceled by the adaptive filter alone causes the quality of the call to deteriorate. On the other hand, the non-linear echo suppression processing has an advantage that echo suppression can be performed largely and robustly by controlling the insertion loss. However, if there is a transmitted voice simultaneously with the echo, the transmitted voice is suppressed without distinction, which causes a problem that the transmitted voice is distorted or the sound is interrupted. That is, the non-linear echo suppression process has a problem of causing deterioration in call quality during two-way simultaneous call (double talk).
[0007]
In order to sufficiently suppress the echo without causing distortion in the transmitted voice even during double talk, a frequency domain echo suppression method has been proposed. The suppression method will be briefly described with reference to FIG. As the echo suppression method, the method described in Japanese Patent Application No. 2000-274031 is used. In FIG. 6, 301 is an echo suppression device, 302 is an echo path propagation delay estimation unit, 303 is a delay unit, 304 is an echo path coupling amount estimation unit, 305 is an echo suppression gain calculation unit, 306 is a multiplier, and 401 and 402 are A frequency analysis unit 403 is a frequency synthesis unit.
[0008]
First, the reproduction (received) signal x (k) and the echo superimposed signal y (k) are respectively converted into the frequency domain by the

frequency analysis units

401 and 402, and the short-time spectra X and Y of the signal are obtained (Japanese Patent Application No. 2000). -274031 describes a method that considers the propagation delay of the echo path for the playback (received) signal, but the description thereof is omitted here). Next, the echo path coupling amount estimation unit 304 calculates an estimated echo path coupling amount PHe from the minimum value of the ratio between the powers PX and PY of the converted reproduction (received) signal and echo superimposed signal. Specifically, the ratio of the playback (received) signal power to the echo superimposed signal power is calculated for each predetermined period, and the ratio obtained last time is compared with the ratio obtained this time. Amount. Then, the echo suppression gain calculation unit first calculates the predicted echo signal power PBe by multiplying the reproduction (received) signal power PX by the estimated echo path coupling amount PHe. The echo suppression gain G is calculated using the predicted echo signal power PBe and the short-time spectrum Y of the echo superimposed signal. The echo suppression gain is determined to be equal to the power ratio of the recording (sending) signal s (k) included in the echo superimposed signal y (k). The value is multiplied by the echo superimposed signal y (k) by a multiplier to obtain a processed signal Se in which the echo is suppressed, and is converted by the frequency synthesizer 403 to suppress and record the echo signal b (k). (Transmission) A time signal se (k) in which the signal s (k) is emphasized is obtained. In the above description, each signal is converted into the frequency domain and processed. However, the signal can be processed in the time domain without being converted into the frequency domain. This process is also described in Japanese Patent Application No. 2000-274031.
[0009]
Using this method, only echo signal b (k) is suppressed from transmission signal y (k) on which echo is superimposed, and only recorded (transmission) signal s (k) is emphasized and transmitted to the other party. Can do. That is, while the nonlinear echo suppression processing is being performed, it is possible to suppress only the echo signal b (k) without interruption of the recorded (transmitted) signal s (k) even during double talk.
[0010]
[Problems to be solved by the invention]
The conventional method has sufficient performance when the reverberation time of the echo path is short, but has the following problems when the reverberation time of the echo path is long. In the case where the reverberation time is long, the time during which the voice is echoed and echoed back (the echo duration time) becomes long. The conventional method calculates an echo from an echo path coupling amount (acoustic coupling amount) and a reproduction (received) signal. Here, since the reproduction (received) signal is cut out in an arbitrary time window for frequency analysis, the window length is usually about 32 ms to at most about 64 ms. This value cannot be further increased due to the trade-off between time resolution and frequency resolution. That is, when the window length is increased, the frequency resolution is improved, but the time resolution is lowered. Therefore, it can be said that the above value is an appropriate value. The reverberation time of a normal conference room is about 400 ms for this time window length. That is, in the conventional method, the first half of the echo can be sufficiently suppressed, but the echo suppression performance is deteriorated because the latter half cannot exceed the window length. Therefore, it is an object of the present invention to sufficiently suppress echoes even when the reverberation time is long.
[0011]
[Means for Solving the Problems]
  In order to solve the above-described problem, the present invention provides a reverberation component (echo signal b (k) in the embodiment) caused by a reproduction signal (in the embodiment, a reproduction (received) signal x (k)) as a recorded signal (embodiment). Then, in the echo suppression device that suppresses the echo generated by superimposing on the recording (sending) signal s (k)), the reproduction signal is, For each frequency per frameFirst frequency analysis means (frequency analysis means 401 in the embodiment) for converting to a frequency band reproduction signal (short-time spectrum X (m, f) in the embodiment), and a superimposed signal in which the echo component is superimposed on the recorded signal (Echo superposition signal y (k) in the embodiment), For each frequency per frameA second frequency analysis means (frequency analysis means 402 in the embodiment) for converting to a frequency band superimposed signal (short time spectrum Y (m, f) in the embodiment);For each frequency, the current frameFrom the frequency band reproduction signal and an echo path coupling amount (in the embodiment, an echo path coupling amount (acoustic coupling amount) C (m, f)) calculated from the reproduction signal and the superimposed signalIn the current frameInitial echo intensity calculation means (first echo power calculation means 506 in the embodiment) for calculating the initial echo intensity (in the embodiment, the leading echo power spectrum PB0 (m, f));For each frequency, the previous frameFrom the total echo intensity (in the embodiment, the total echo power spectrum PB (m-1, f) one processing frame before) and the reverberation time (in the embodiment, the reverberation time Tr (f))In addition to the predicted echo intensity obtained by multiplying the calculated attenuation ratio per frame, the initial echo intensity in the current frame,PresentflameTotal echo intensity calculation means (total echo power calculation means 507 in the embodiment) for calculating the total echo intensity (total echo power spectrum PB (m, f) in the embodiment) ofFor each frequency, at least the current frameThe frequency band superimposed signal andOf the current frameThe total echo intensity andFrom,In order to suppress the echo component in the frequency band superposed signal, the power of the frequency band superposed signal in the current frame minus the total echo intensity of the current frame is divided by the power of the frequency band superposed signal in the current frame. Of the current frame, includingAn echo suppression gain calculation means (echo suppression gain calculation means 508 in the embodiment) for calculating an echo suppression gain (echo suppression gain G (m, f) in the embodiment);For each frequency, the current frameIn the frequency band superimposed signalOf the current frameMultiplying the echo suppression gain,PresentflameReverberation suppression gain superimposing means (echo suppression gain superimposing means 509 in the embodiment) for calculating a frequency band suppression signal (short-time spectrum S ′ (m, f) in the embodiment) ofCalculated for each frequency for each frameFrequency band suppression signalIn the time domainIt has a frequency synthesizer (frequency synthesizer 403 in the embodiment) for converting it into a time domain suppression signal (processed signal s ′ (k) in the embodiment).
Further, the present invention is the above-described echo suppression device, wherein the echo suppression gain calculation means is configured to perform echo suppression gain of the current frame for each frequency. G (m, f) , The frequency band superimposed signal of the current frame Y (m, f) And the total echo intensity of the current frame PB (m, f) And the frequency band suppression signal of the previous frame S '(m-1, f) And the weight β
G (m, f) = (1- β ) * {| Y (m, f) | ^ 2-PB (m, f)} / | Y (m, f) | ^ 2 + β * | S '(m-1, f) | ^ 2 / | Y (m, f) | ^ 2
It is characterized by calculating by.
[0012]
  The present invention also provides an echo suppression method for suppressing echo generated by superimposing an echo component caused by a playback signal on a recorded signal., For each frequency per frameA first frequency analysis process for converting to a frequency band reproduction signal, and a superimposed signal in which the echo component is superimposed on the recorded signal., For each frequency per frameA second frequency analysis process for converting to a frequency band superimposed signal;For each frequency, the current frameFrom the frequency band reproduction signal and an echo path coupling amount calculated from the reproduction signal and the superimposed signalIn the current frameInitial echo intensity calculation process for calculating initial echo intensity,For each frequency, the previous frameFrom the total reverberation intensity and reverberation timeIn addition to the predicted echo intensity obtained by multiplying the calculated attenuation ratio per frame, the initial echo intensity in the current frame,PresentflameTotal echo intensity calculation process for calculating the total echo intensity ofFor each frequency, at least the current frameThe frequency band superimposed signal andOf the current frameThe total echo intensity andFrom,In order to suppress the echo component in the frequency band superposed signal, the power of the frequency band superposed signal in the current frame minus the total echo intensity of the current frame is divided by the power of the frequency band superposed signal in the current frame. Of the current frame, includingAn echo suppression gain calculation process for calculating an echo suppression gain;For each frequency, the current frameIn the frequency band superimposed signalOf the current frameMultiplying the echo suppression gain,PresentflameAn echo suppression gain superimposing process for calculating a frequency band suppression signal ofCalculated for each frequency for each frameFrequency band suppression signalIn the time domainAnd a frequency synthesis process for converting into a time domain suppression signal.
Further, the present invention is the above-described echo suppression method, wherein the echo suppression gain of the current frame is calculated for each frequency in the echo suppression gain calculation process. G (m, f) , The frequency band superimposed signal of the current frame Y (m, f) And the total echo intensity of the current frame PB (m, f) And the frequency band suppression signal of the previous frame S '(m-1, f) And the weight β
G (m, f) = (1- β ) * {| Y (m, f) | ^ 2-PB (m, f)} / | Y (m, f) | ^ 2 + β * | S '(m-1, f) | ^ 2 / | Y (m, f) | ^ 2
It is characterized by calculating by.
[0013]
  Further, the present invention provides an echo suppression program for suppressing an echo generated by superimposing an echo component caused by a playback signal on a recorded signal., For each frequency per frameA first frequency analysis process for converting to a frequency band reproduction signal, and a superimposed signal in which the echo component is superimposed on the recorded signal., For each frequency per frameA second frequency analysis process for converting to a frequency band superimposed signal;For each frequency, the current frameFrom the frequency band reproduction signal and an echo path coupling amount calculated from the reproduction signal and the superimposed signalIn the current frameInitial echo intensity calculation process for calculating initial echo intensity,For each frequency, the previous frameFrom the total reverberation intensity and reverberation timeIn addition to the predicted echo intensity obtained by multiplying the calculated attenuation ratio per frame, the initial echo intensity in the current frame,PresentflameTotal echo intensity calculation process for calculating the total echo intensity ofFor each frequency, at least the current frameThe frequency band superimposed signal andOf the current frameThe total echo intensity andFrom,In order to suppress the echo component in the frequency band superposed signal, the power of the frequency band superposed signal in the current frame minus the total echo intensity of the current frame is divided by the power of the frequency band superposed signal in the current frame. Of the current frame, includingAn echo suppression gain calculation process for calculating an echo suppression gain;For each frequency, the current frameIn the frequency band superimposed signalOf the current frameMultiplying the echo suppression gain,PresentflameAn echo suppression gain superimposing process for calculating a frequency band suppression signal ofCalculated for each frequency for each frameFrequency band suppression signalIn the time domainA frequency synthesizing process for converting to a time domain suppression signal is executed by a computer.
The present invention is the above-described echo suppression program, wherein in the echo suppression gain calculation process, the echo suppression gain of the current frame is calculated for each frequency. G (m, f) , The frequency band superimposed signal of the current frame Y (m, f) And the total echo intensity of the current frame PB (m, f) And the frequency band suppression signal of the previous frame S '(m-1, f) And the weight β
G (m, f) = (1- β ) * {| Y (m, f) | ^ 2-PB (m, f)} / | Y (m, f) | ^ 2 + β * | S '(m-1, f) | ^ 2 / | Y (m, f) | ^ 2
It is characterized by calculating by.
[0014]
In the present invention, the above-described problem is solved by using echo estimation means described below. In the following formula, the x power of the variable x is expressed as x ^ y.
[0015]
A power spectrum at a frequency f of a short-time spectrum X of a reproduction (received) signal in an arbitrary frame m is PX (m, f), and an echo path coupling amount (acoustic coupling amount) is C (m, f). Here, the definition of the echo path coupling amount (acoustic coupling amount) C (m, f) is the short of the power ratio (true number) of the output signal (echo signal) to the input signal (reproduction (receiving) signal) to the echo path. It is a time average.
[0016]
In the estimation of the actual echo path coupling amount, the reproduction (received) signal x (k) with respect to the echo superimposed signal y (k) is used by using the reproduced (received) signal x (k) and the echo superimposed signal y (k). The echo path coupling amount is calculated by updating the minimum value of the ratio.
[0017]
The power spectrum (head echo power spectrum) PB0 (m, f) of the current frame of the echo signal, which is the output signal of the echo path, is converted into the echo path coupling amount C (m, f) and the power spectrum PX ( Multiplying m, f) is obtained as in equation (1).
PB0 (m, f) = C (m, f) * PX (m, f) (1)
[0018]
In the conventional method, this value is used as the estimated power of the echo. However, the echo signal output from the echo path is not limited to the echo caused by the reproduction (received) signal of the current frame. Since it occurs before the current frame and reverberates through a long echo path, there is a “tail” portion that exceeds the frame length of the past echo that is delayed (added) to the echo of the current frame. In the following, processing is performed in consideration of a portion exceeding the frame length of the past echo. In the conventional method, the estimated echo power is estimated to be smaller than the actual value.
[0019]
The amplitude of the echo gradually attenuates over time. If this attenuation ratio is r (r <1) per 1 processing (echo measurement) time (if the processing is once per frame, frame length L interval), the total echo signal power (total echo signal power) ) PB (m, f) can be expressed by the following equation.
PB (m, f) = PB0 (m, f) + r * PB0 (m-1, f) + r ^ 2 * PB0 (m-2, f) + r ^ 3 * PB0 (m-3, f) +… (2)
Similarly, the total echo signal power PB (m−1, f) of m−1 before one processing time is
PB (m-1, f) = PB0 (m-1, f) + r * PB0 (m-2, f) + r ^ 2 * PB0 (m-3, f) + ... (3)
If this same side is multiplied by r, it can be transformed as follows.
r * PB (m-1, f) = r * PB0 (m-1, f) + r ^ 2 * PB0 (m-2, f) + r ^ 3 * PB0 (m-3, f) + …… (Four)
Therefore, when formula (4) is substituted into formula (2) and rearranged, the total echo signal power can be calculated by the following formula.
PB (m, f) = PB0 (m, f) + r * PB (m-1, f) (5)
The ratio r in equation (5) can be calculated from the echo path reverberation time Tr (f) [seconds] as follows. If the number of processing times is n, the frame length to be processed is L (sample), and the sampling frequency is fs, an arbitrary time t is
t = n * L / fs (6)
If t = Tr (f), solving equation (6) for n
n = Tr * fs / L (7)
It becomes. The reverberation time Tr is defined as the time from when the energy of the signal output to the system decays, for example, by 60 dB. The reverberation time is obtained using energy obtained by measuring an impulse response in advance and integrating the impulse response. If the energy of the first echo signal is PB (0, f),
10 * 1og_Ten[{r ^ (Tr (f) * fs / L) * PB (0, f)} / PB (0, f)] =-60… (8)
If equation (8) is solved for r and then substituted into equation (5), the following equation is obtained.
PB (m, f) = PB0 (m, f) +10 ^ [-6 * L / {Tr (f) * fs}] * PB (m-1, f) (9)
From Equations (1) and (9), the total echo signal power PB (m, f) is the power (PX) of the playback (received) signal PX (m, f), the amount of echo path coupling (acoustic coupling) C (m, f) It is possible to obtain the total echo signal power PB (m−1, f) up to m−1 before one processing frame, the processing frame length L, the reverberation time Tr (f), and the sampling frequency fs. The total echo signal power that can be calculated by equation (9) is a more accurate value than the estimated echo power (equal to PB0 (m, f)) used in the conventional method. That is, if the echo is suppressed by using the echo suppression gain G calculated based on the total echo signal power, the echo can be sufficiently suppressed even when the reverberation time which is a problem in the conventional method is large.
[0020]
The case where processing is performed at frame intervals in the frequency domain has been described above. Similarly, the case where processing is performed at a sampling interval in the time domain can be applied as follows. If the power of the playback (received) signal x (k) at an arbitrary sampling time k is Px (k) and the echo path coupling amount (acoustic coupling amount) is C (k), the power Pb0 ( k) is similar to equation (1)
Pb0 (k) = C (k) * Px (k) (10)
It becomes. Hereinafter, equations (2) to (8) can be similarly derived, and the following equation corresponding to equation (9) is obtained.
Pb (k) = Pb0 (k) +10 ^ {-6 / (Tr * fs)} * Pb (k-1)… (11)
Here, PB (k) and PB (k-1) are total echo powers at sampling time k and k-1 one sampling time ago, respectively.
[0021]
DETAILED DESCRIPTION OF THE INVENTION
The first embodiment is an echo suppression apparatus for suppressing acoustic echoes. FIG. 1 shows a configuration diagram thereof, and FIG. 2 shows a flowchart thereof. In addition, the code | symbol in [] in the following text represents the step in a flowchart. A reproduction (received) signal x (k) input from the input terminal 201 is output from the output terminal 202 and propagates through an echo path to become an echo signal b (k). Then, it is added to the recording (transmission) signal s (k) to become an echo superimposed signal y (k). Here, there are echo suppression devices for suppressing acoustic echo and for suppressing line echo. In the case of an echo suppressor for suppressing acoustic echo, the reproduced signal x (k) corresponds to the received signal, and the echo path corresponds to the acoustic echo path between the speaker (speaker) and the microphone (sound collector). The recorded signal s (k) corresponds to a transmission signal. On the other hand, in the case of an echo suppressor for suppressing line echo, the reproduced signal x (k) corresponds to a transmission signal, and the echo path is a line echo path generated by impedance mismatch of the hybrid circuit for 2-wire 4-wire conversion. The recorded signal s (k) corresponds to the received signal. Hereinafter, as an example, an echo suppression device for suppressing acoustic echo will be described as an example. The echo superimposed signal y (k) is input from the input terminal 203, converted into the frequency domain by the frequency analysis unit 402, becomes a short-time spectrum Y (m, f), and is input to the echo suppressor 501. At the same time, the reproduction (received) signal x (k) is also converted into the frequency domain by the frequency analysis means 401 to become a short-time spectrum X (m, f), which is input to the echo suppressor 501 [S1]. Here, k is an arbitrary sampling time, m is a frame cut out when performing frequency conversion, and f is an arbitrary frequency.
[0022]
In the echo suppressor 501, first, the head echo power calculation unit 506 reads the echo path coupling amount (acoustic coupling amount) C (m, f) from the echo path coupling amount storage unit 502 (memory 11) [S2], and formula ( The head echo power spectrum PB0 (m, f) is obtained from the power spectrum PX (m, f) according to 1) [S3]. Next, the total echo power calculation means 507 reads the reverberation time Tr (f) from the echo path reverberation time storage means 503 (memory 12) [S4], and one total processing frame before from the total echo power storage means 504 (memory 13). The total echo power spectrum PB (m-1, f) is read [S5], and the total echo power spectrum PB (m, f) is obtained according to the equation (9) [S6]. Then, the obtained total echo power spectrum PB (m, f) is written in the total echo power storage means 504 (memory 13) [S7]. Next, the echo suppression gain calculation means 508 reads the short-time spectrum S ′ (m−1, f) of the processing signal one processing frame before from the suppression processing signal storage means 505 (memory 14) [S8], and the short-time spectrum. An echo suppression gain G (m, f) is calculated from Y (m, f) and the total echo power spectrum PB (m, f) according to the following equation [S9].

Then, the echo suppression gain superimposing means 509 multiplies the short-time spectrum Y (m, f) by the echo suppression gain G (m, f) to suppress the echo signal, and the short-time spectrum S ′ (m , f) is output [S10].
[0023]
Then, the short-time spectrum S ′ (m, f), which is a suppression processing signal, is written to the suppression processing signal storage unit 505 (memory 14) [S11] and output from the echo suppression device 501 [S12], and frequency synthesis is performed. The processing signal s ′ (k) converted into the time domain by the means 403 and suppressed in echo is obtained and output to the output terminal 204. Note that this processing can also be performed using a time domain signal without using the frequency analysis means 401 and 402 and the frequency synthesis means 403. Also, as shown in FIG. 3, even when input / output is N channels (N> 1), echo processing of N channels can be performed by performing processing independently on all channels.
[0024]
The second embodiment is an example in which an echo canceller 205 composed of an adaptive filter is combined in the previous stage of the acoustic echo suppressor, and its configuration diagram is shown in FIG. The processing of the echo suppressor 501 is the same as that of the first embodiment, but instead of the echo superimposed signal y (k), the signal superimposed with the residual echo e (k) that has been canceled to some extent by the echo canceller (adaptive filter) 205 is used. Input signal. In this case, the echo path coupling amount for each frequency band is a coupling amount including the preceding stage echo canceller (adaptive filter) 205, but there is no problem in the processing of the echo suppression apparatus 501.
[0025]
In addition, each component (each unit) constituting each of the above embodiments may be realized by dedicated hardware, but the whole is configured by a computer having a memory, a CPU (Central Processing Unit), and the like. The function of each component may be realized by a program that is loaded into a memory of a computer and executed by a CPU. At this time, each of the storage means is configured by a hard disk, a flexible disk, a CD-RW (CD-ReWritable), a magneto-optical disk, a flash memory, a RAM (Random Access Memory), or a combination thereof.
[0026]
Further, the functions of the respective components described above may be realized by recording the above-described program on a computer-readable recording medium, causing the computer to read and execute the program recorded on the recording medium. The “computer-readable recording medium” here is a portable medium such as a flexible disk, a magneto-optical disk, a CD-ROM, a CD-R (CD-Recordable), a CD-RW, or a built-in computer. A storage device such as a hard disk.
[0027]
Furthermore, the above-mentioned “computer-readable recording medium” dynamically loads a program for a short time, like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. It also includes those that hold a program for a certain period of time, such as what is held (transmission medium or transmission wave), and volatile memory in a computer that serves as a server or client in that case.
[0028]
【The invention's effect】
According to the present invention described above, the following effects are produced. When the reverberation time is long, it is possible to accurately calculate the total echo signal power even for echoes that are echoed through a long echo path and return with a delay, and the echoes can be sufficiently suppressed. It became.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a first embodiment of the present invention.
FIG. 2 is a flowchart showing the operation of the first embodiment of the present invention.
FIG. 3 is a block diagram showing a configuration when input / output is an N channel (N> 1).
FIG. 4 is a block diagram showing a configuration of a second embodiment of the present invention.
FIG. 5 is a block diagram showing a configuration of a conventional loudspeaker communication system.
FIG. 6 is a block diagram showing a configuration of a conventional echo suppression device.
[Explanation of symbols]
201, 203 Input terminal
202,204 Output terminal
205 Echo canceller (adaptive filter)
401 Frequency analysis means (first frequency analysis means)
402 Frequency analysis means (second frequency analysis means)
403 Frequency synthesis means
501 Echo suppression device
502 Echo path coupling amount storage means
503 Echo path reverberation time storage means
504 Total echo power storage means
505 Suppression processing signal storage means
506 First echo power calculation means (initial echo intensity calculation means)
507 Total echo power calculation means (total echo intensity calculation means)
508 Echo suppression gain calculation means (Echo suppression gain calculation means)
509 Echo suppression gain superimposing means (Echo suppression gain superimposing means)
101, 103 Transmitting microphone
102, 104 Telephone speaker
105, 107 Recording (transmission) signal amplifier
106, 108 Playback (receiving) signal amplifier
109 Transmission path
110 Speaker
111 listener
301 Echo suppression device
302 Echo path propagation delay estimation unit
303 delay device
304 Echo path coupling amount estimation unit
305 Echo suppression gain calculation unit
306 multiplier

Claims

In an echo suppression device that suppresses echo produced by superimposing the echo component caused by the playback signal on the recorded signal,
First frequency analysis means for converting the reproduction signal into a frequency band reproduction signal of each frequency for each frame ;
Second frequency analysis means for converting a superimposed signal obtained by superimposing the echo component on the recorded signal into a frequency band superimposed signal of each frequency for each frame ;
For each frequency, an initial echo intensity calculating means for calculating an initial echo intensity in the current frame from the frequency band reproduction signal of the current frame and an echo path coupling amount calculated from the reproduction signal and the superimposed signal;
For each frequency, the predicted echo strength obtained by multiplying the total echo strength of the previous frame by the attenuation ratio per frame calculated from the reverberation time is added to the initial echo strength in the current frame , and A total echo intensity calculating means for calculating the total echo intensity;
For each frequency, from said frequency band superimposed signal and the total echo intensity of the current frame of at least the current frame, so as to suppress the echo component in the frequency band superposition signal, the frequency band superposition signal of the current frame power An echo suppression gain calculating means for calculating an echo suppression gain of the current frame, including a value obtained by subtracting the total echo intensity of the current frame from the power of the frequency band superimposed signal of the current frame ;
For each frequency, an echo suppression gain superimposing means for calculating the frequency band suppression signal of the current frame by multiplying the frequency band superimposition signal of the current frame by the echo suppression gain of the current frame ;
An echo suppression device, comprising: a frequency synthesis unit that converts a frequency band suppression signal calculated for each frequency for each frame into a time domain suppression signal in the time domain.

The echo suppression gain calculation means calculates the echo suppression gain of the current frame for each frequency. G (m, f) , The frequency band superimposed signal of the current frame Y (m, f) And the total echo intensity of the current frame PB (m, f) And the frequency band suppression signal of the previous frame S '(m-1, f) And the weight β
G (m, f) = (1- β ) * {| Y (m, f) | ^ 2-PB (m, f)} / | Y (m, f) | ^ 2 + β * | S '(m-1, f) | ^ 2 / | Y (m, f) | ^ 2
Calculated by
The echo suppression apparatus according to claim 1.

In the reverberation suppression method for suppressing the reverberation caused by the reverberation component caused by the reproduction signal being superimposed on the recorded signal,
A first frequency analysis step of converting the reproduction signal into a frequency band reproduction signal of each frequency for each frame ;
A second frequency analysis process of converting the superimposed signal in which the reverberation component is superimposed on the recorded signal into a frequency band superimposed signal of each frequency for each frame ;
For each frequency, an initial echo intensity calculation process for calculating an initial echo intensity in the current frame from the frequency band reproduction signal of the current frame and an echo path coupling amount calculated from the reproduction signal and the superimposed signal;
For each frequency, the predicted echo strength obtained by multiplying the total echo strength of the previous frame by the attenuation ratio per frame calculated from the reverberation time is added to the initial echo strength in the current frame , and A total echo intensity calculation process for calculating the total echo intensity,
For each frequency, from said frequency band superimposed signal and the total echo intensity of the current frame of at least the current frame, so as to suppress the echo component in the frequency band superposition signal, the frequency band superposition signal of the current frame power An echo suppression gain calculation process for calculating an echo suppression gain of the current frame, including a value obtained by subtracting the total echo intensity of the current frame from the power of the frequency band superimposed signal of the current frame ;
For each frequency, an echo suppression gain superposition process for calculating the frequency band suppression signal of the current frame by multiplying the frequency band superposition signal of the current frame by the echo suppression gain of the current frame ;
An echo suppression method, comprising: a frequency synthesis process of converting a frequency band suppression signal calculated for each frequency for each frame into a time domain suppression signal in the time domain.

In the echo suppression gain calculation process, for each frequency, the current frame Reverberation suppression gain G (m, f) , The frequency band superimposed signal of the current frame Y (m, f) And the total echo intensity of the current frame PB (m, f) And the frequency band suppression signal of the previous frame S '(m-1, f) And the weight β
G (m, f) = (1- β ) * {| Y (m, f) | ^ 2-PB (m, f)} / | Y (m, f) | ^ 2 + β * | S '(m-1, f) | ^ 2 / | Y (m, f) | ^ 2
Calculated by
The echo suppression method according to claim 3.

In an echo suppression program that suppresses the echo produced by superimposing the echo component caused by the playback signal on the recorded signal,
A first frequency analysis step of converting the reproduction signal into a frequency band reproduction signal of each frequency for each frame ;
A second frequency analysis process of converting the superimposed signal in which the reverberation component is superimposed on the recorded signal into a frequency band superimposed signal of each frequency for each frame ;
For each frequency, an initial echo intensity calculation process for calculating an initial echo intensity in the current frame from the frequency band reproduction signal of the current frame and an echo path coupling amount calculated from the reproduction signal and the superimposed signal;
For each frequency, the predicted echo strength obtained by multiplying the total echo strength of the previous frame by the attenuation ratio per frame calculated from the reverberation time is added to the initial echo strength in the current frame , and A total echo intensity calculation process for calculating the total echo intensity,
For each frequency, from said frequency band superimposed signal and the total echo intensity of the current frame of at least the current frame, so as to suppress the echo component in the frequency band superposition signal, the frequency band superposition signal of the current frame power An echo suppression gain calculation process for calculating an echo suppression gain of the current frame, including a value obtained by subtracting the total echo intensity of the current frame from the power of the frequency band superimposed signal of the current frame ;
For each frequency, an echo suppression gain superposition process for calculating the frequency band suppression signal of the current frame by multiplying the frequency band superposition signal of the current frame by the echo suppression gain of the current frame ;
An echo suppression program characterized by causing a computer to execute a frequency synthesis process of converting a frequency band suppression signal calculated for each frequency for each frame into a time domain suppression signal in the time domain.

In the echo suppression gain calculation process, the echo suppression gain of the current frame is calculated for each frequency. G (m, f) , The frequency band superimposed signal of the current frame Y (m, f) And the total echo intensity of the current frame PB (m, f) And the frequency band suppression signal of the previous frame S '(m-1, f) And the weight β
G (m, f) = (1- β ) * {| Y (m, f) | ^ 2-PB (m, f)} / | Y (m, f) | ^ 2 + β * | S '(m-1, f) | ^ 2 / | Y (m, f) | ^ 2
Calculated by
The reverberation suppression program according to claim 5.