JP3625325B2 - 拡声通話装置およびエコーキャンセラ - Google Patents
拡声通話装置およびエコーキャンセラ Download PDFInfo
- Publication number
- JP3625325B2 JP3625325B2 JP28401395A JP28401395A JP3625325B2 JP 3625325 B2 JP3625325 B2 JP 3625325B2 JP 28401395 A JP28401395 A JP 28401395A JP 28401395 A JP28401395 A JP 28401395A JP 3625325 B2 JP3625325 B2 JP 3625325B2
- Authority
- JP
- Japan
- Prior art keywords
- echo
- signal
- reception
- sound image
- adaptive filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Filters That Use Time-Delay Elements (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
- Telephonic Communication Services (AREA)
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、例えば多地点間通信会議システムなどに利用される2スピーカ、1マイク構成の拡声通話装置およびこの装置に用いられるエコーキャンセラに関する。
【0002】
【従来の技術】
遠隔地にいる人同士が、例えば映像、音声、文書などをネットワークを介して共有し、緊密な協調作業環境を構築するサービスとして、近年、パーソナルコンピュータ(PC)やワークステーション(WS)などのマルチメディア端末を利用した多地点間通信会議システムが注目されている。
【0003】
この多地点間通信会議システムでは、遠隔地にいる人同士があたかも向かい合って会議しているようにモニタの画面でお互いの顔を見ながら会話が行える。また一つのドキュメントやアプリケーションを各端末のディスプレイ上で共有して打ち合わせや協調作業などを行うことができる。
【0004】
従来の多地点間通信会議システムの端末は、例えばWSなどにマイクとスピーカを追加装備した構成であり、この場合、各WSのモニタ上に複数の話者の画像を表示させてその中の一人が話したときに、相手話者に話しかけた声をマイクで集音し、通信回線を経由して遠隔地の端末のスピーカから出力させてTV会議を行う。
【0005】
この際、各端末の会議参加者(聴人)は、モニタ上の話者の口の動きやスピーカから発生される音声などから、誰が話しているかを判断することになる。
【0006】
この多地点間通信会議システムにおいて、発言者を音声から認識する上で、あるいは会議をスムーズに進行する上で、複数のスピーカを用いて発言者毎にことなる位置に音像を定位させることが有効である。
【0007】
この場合、聴者側において、各スピーカから出力する音声のレベルや遅延時間を制御することにより、画面内の話者に対応する位置に音像を定位させることができる。
【0008】
また現在、この通信会議システムの利便性からハンズフリーによる拡声通話の要求が強く、スピーカ出力音声がマイクに回り込んで発生するエコー感やハウリングなどを抑圧する、いわゆるエコーキャンセル技術(エコーキャンセラ)が考案されている。このエコーキャンセラと上記擬似ステレオ音声生成技術とを組み合わせたものに擬似ステレオ拡声通話装置がある。
【0009】
この擬似ステレオ拡声通話装置は、図6に示すように、入力されたモノラル音声信号を音像定位処理部111、112がそれぞれの伝達関数(以下音像定位関数とよぶ)GRi(z) 、GLi(z) で演算処理してそれぞれに接続されたスピーカ113、114から出力する。このときに音像定位処理部111、112の前段、あるいは後段からエコーキャンセラ115が得た音声信号と、スピーカ113、114から発生しマイク116で集音した音声信号とを減算器117で差し引くことによりエコーを打ち消すものである。
【0010】
この場合、複数のスピーカ113、114から音声が出力されると、各音声は聴者に聴きとられると共にマイク116にも集音される。このマイク116には、各音声が異なる方向から入力されるためエコーパスが複数となり、これら複数のエコーを抑圧するためにエコーキャンセラ115の処理量が増大したり、話者交代時に残留エコーが増大するなどの問題が生じる。
【0011】
従来の擬似ステレオ拡声通話装置は、図7に示すように、音像定位処理部111、112の前段のモノラル音声信号と減算器117で差し引かれた信号とで学習する適応フィルタ(ADF)121を有しており、この適応フィルタ(ADF)121がエコーパスの音響特性を学習するので、各スピーカ113、114から出力された音声がマイク116へ回り込んだときのエコーは消去される。この場合、適応フィルタ(ADF)121は、1つで済み処理量およびメモリ容量などもモノラル時とほぼ同等である。
【0012】
このとき、エコーキャンセラから見た総合的なエコーパスの音響特性をHi (z) とすると、音響特性Hi (z) は、次の式(10)で表すことができる。
【0013】
Hi (z) =GRi(z) HR (z) +GLi(z) HL (z) ……式(10)
この式(10)から、音像定位関数GRi(z) 、GLi(z) などがエコーパスの音響特性Hi (z) に含まれることが解る。
【0014】
左右の各スピーカ・マイク間の伝達関数HR (z) 、HL (z) は、音響特性が定常な限り一定ではあるが、音像定位関数GRi(z) 、GLi(z) は、話者が交代すると、その都度変動する。
【0015】
ところで、多地点間通信会議システムにおいては、会議参加者が多いことから、話者が交代が頻繁に起こる。
【0016】
しかしながら、図7に示した擬似ステレオ拡声通話装置では、話者交代があると、すなわち、音像定位関数が変化すると、その都度、エコーパス特性Hi (z) が変動し、エコーを十分に打ち消せなくなる。
【0017】
そこで、図8に示すように、擬似ステレオ拡声通話装置に複数の適応フィルタ(ADF)122、123と、それらを加算する加算器124とを用いた線形結合型のものが考えられる。この線形結合型の場合、音像定位演算後に、左右の各スピーカ113、114からマイク116へのエコーパス一つにつき一つの適応フィルタ(ADF)122、123でエコーが打ち消されるので、音像定位関数が変化してもエコーパス特性は変化せず、複数の中のいずれか一つの地点からの受話音声で一度適応フィルタ(ADF)122、123を収束させれば、その後はエコーパスが変動しない限り、話者が交代してもエコー打ち消し量の劣化は生じなくなる。但し、この場合、適応フィルタ(ADF)が1つだけのときに比べて2倍の演算量およびメモリ容量が必要になり、これがコストアップの要因になる。
【0018】
【発明が解決しようとする課題】
このように従来の擬似ステレオ拡声通話装置は、モノラル拡声通話装置に比べて、話者交代時に残留エコーの増大やメモリ量、演算量の増大などといった問題が起こる。
【0019】
また上述した擬似ステレオ拡声通話装置では、単独話者を想定してエコーキャンセラが設けられているため、多地点間通信会議を行うときのように、異なる2地点の二人が議論を戦わせる状況やある一人が説明している途中に他の会議参加者が割り込んで質問する状況など、異なる2地点の話者が同時に話す状況が考慮されておらず、この場合はエコーが打ち消されない。
【0020】
そこで、相手2地点同時通話時にもエコーを打ち消すことができるよう上述した擬似ステレオ拡声通話装置の構成、つまり複数の適応フィルタ(ADF)をそのまま適用すると、演算量、メモリ量がそのまま2倍になり、装置全体が大幅にコストアップするという問題があった。
【0021】
本発明はこのような課題を解決するためになされたもので、多地点間通信する上で話者交代時や同時通話時などにエコーを打ち消すことができ、従来のものと比較して演算量の大幅な増加がなく、これにより装置全体を比較的ローコストに構成できる拡声通話装置およびエコーキャンセラを提供することを目的としている。
【0022】
【課題を解決するための手段】
上記した目的を達成するために、請求項1記載の発明の拡声通話装置は、複数の地点からの受話信号を受信する複数の受話チャネルと、前記個々の受話チャネルに受信された受話信号を検出する受話検出手段と、前記受話検出手段により検出された受話信号の受話数に応じて前記受話信号の受信された受話チャネルを第1または第2の信号経路のいずれか一方に接続する接続制御手段と、前記受話音声の音像を音声毎に異なる位置に定位させるための複数のスピーカと、前記第1および第2の信号経路を通じて入力された各受話信号について前記複数のスピーカの出力を制御し、それぞれの受話信号に対応する位置に音像を定位させる音像定位手段と、発言者の音声を集音するためのマイクと、前記第1の信号経路に接続され、前記受信チャネルから前記第1の信号経路、前記音像定位手段、スピーカおよびマイクを通じて送信チャネル側へ回り込むエコーパスを推定し擬似エコーを生成する適応フィルタと、前記適応フィルタにより推定されたエコーパスに対応するフィルタ係数が蓄積されるエコーパス情報蓄積手段と、前記第2の信号経路に接続され、前記受信チャネルから前記第2の信号経路、前記音像定位手段、スピーカおよびマイクを通じて送信チャネル側へ回り込むエコーパスに対応するフィルタ係数を前記エコーパス情報蓄積手段からロードし前記第2の信号経路を通じて送信チャネル側へ回り込むエコーを推定し擬似エコーを生成する非適応フィルタと、前記非適応フィルタおよび適応フィルタにより生成された各擬似エコーを前記送信チャネルのエコー信号から差し引く減算器とを具備したことを特徴としている。
【0023】
この請求項1、5記載の発明の場合、複数の受信チャネルのうち、受話中の受信チャネルが二つになった場合、適応フィルタとこれよりも処理量の少ない非適応フィルタとを用いて受話チャネルから送話チャネルに回り込むそれぞれのエコーを推定し擬似エコーを生成し、減算器で送話チャネル側のエコー信号から差し引きエコーを打ち消す。ここで用いた非適応フィルタは、フィルタ係数を逐次学習/更新してゆくという処理を行わないものなので、適応フィルタに比べて演算量が少なく装置全体を比較的ローコストに構成できる。
【0024】
請求項2記載の発明の拡声通話装置は、請求項1記載の拡声通話装置において、前記音像定位手段が、前記第1の信号経路を通じて入力された受話信号について、対応位置に音像を定位させるための各スピーカ用の関数演算を行う第1の信号演算部と、前記第2の信号経路を通じて入力された受話信号について、対応位置に音像を定位させるための各スピーカ用の関数演算を行う第2の信号演算部と、前記第1および第2の信号演算部により演算された同じスピーカに対する演算結果を加算する複数のからなることを特徴としている。
【0025】
この請求項2記載の発明の場合、音像定位手段に第1の信号演算部と、第2の信号演算部と、それぞれの加算器とが備えられているので、話者が2人になった場合でも、それぞれについて音像を定位させることができる。
【0026】
請求項3記載の発明の拡声通話装置は、請求項1記載の拡声通話装置において、前記エコー情報蓄積手段が、前記各音像定位位置に対応した音響特性情報をフィルタ係数として記憶する複数のメモリを具備したことを特徴としている。
【0027】
この請求項3記載の発明の場合、音像定位が変化したときにそのときどきに応じたフィルタ係数のデータを各メモリからロードすることができる。
【0028】
請求項4記載の発明の拡声通話装置は、請求項1記載の拡声通話装置において、前記エコー情報蓄積手段が、前記適応フィルタにより推定された伝達関数が定常な区間を単位とした前記音像定位手段の音響特性を含む過去の複数のエコーパス情報を記憶する第1の記憶手段と、前記第1の記憶手段により記憶された前記音像定位手段の音響特性を含む過去の複数のエコーパス情報から、前記音像定位手段の音響特性を除いたエコーパス情報を求める手段と、前記スピーカからマイクへ至るエコーパスの数分設けられ、求められた前記音像定位手段の音響特性を除いたエコーパス情報を記憶する第2の記憶手段と、前記第2の記憶手段のエコーパス情報を基に、前記音像定位手段の次の音響特性を含んだエコーパス情報を求める手段とを具備することを特徴としている。
【0029】
この請求項4記載の発明の場合、音像定位手段の音響特性を含む過去の複数のエコーパス情報として、推定伝達関数Hi−1 ’(z)、Hi ’(z)が第1の記憶手段に記憶されて、これら推定伝達関数Hi−1 ’(z)、Hi ’(z)から、スピーカ・マイク間の伝達関数HR (z) 、HL (z) が求められ、それぞれが第2の記憶手段に記憶される。そして上記伝達関数HR (z) 、HL (z) から(i+1) 番目の区間における適応フィルタ5の伝達関数Hi+1 ’(z)が求められる。
【0030】
請求項5記載の発明のエコーキャンセラは、複数の受話チャネルに受信された受話信号を検出する受話検出手段と、前記受話検出手段により検出された受話信号の受話数に応じて前記受話信号の受信された受話チャネルを第1または第2の信号経路のいずれか一方に接続する接続制御手段と、前記第1の信号経路に接続され、前記受信チャネルから前記第1の信号経路、スピーカおよびマイクを通じて送信チャネル側へ回り込むエコーパスを推定し擬似エコーを生成する適応フィルタと、前記適応フィルタにより推定されたエコーパスに対応するフィルタ係数が蓄積されるエコーパス情報蓄積手段と、前記第2の信号経路に接続され、前記第2の信号経路から送信チャネルへ回り込むエコーパスに対応するフィルタ係数を前記エコーパス情報蓄積手段からロードし前記第2の信号経路を通じて送信チャネルへ回り込むエコーパスを推定し擬似エコーを生成する非適応フィルタと、前記非適応フィルタおよび適応フィルタにより生成された各擬似エコーを前記送信チャネルのエコー信号から差し引く減算器とを具備したことを特徴としている。
【0031】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して詳細に説明する。
【0032】
図1は本発明の第1の実施形態の擬似ステレオ拡声通話装置の構成を示す図である。
【0033】
同図において、1は受話検出手段であり、異なる複数の地点A〜Eなどからのそれぞれの受信チャネルA1〜E1のラインが接続され、その中で受話信号の受信された受信チャネルを検出する。2は接続制御手段であり、受話検出手段1により検出された受話中のチャネルを第1の信号経路3に接続する。またある一つのチャネルが受話中、他のチャネルに新たな受話信号の受信(割り込み)が発生したときにその割り込みチャネルを第2の信号経路4に接続する。5は適応フィルタ(ADF)であり、例えば 200タップ程度のものである。この適応フィルタ5は、受信チャネルから送信チャネルへ回り込むエコーを学習しつつ推定し擬似エコーを生成する。6は非適応フィルタであり、例えば有限インパルスレスポンスフィルタ(FIRフィルタ)などである。この非適応フィルタ6は、適応フィルタ5と同じタップ数を有しているものの、適応フィルタ5のようにフィルタ係数を逐次学習、更新するタイプのフィルタではないので、データ処理量としてはその数分の1程度で済む。この非適応フィルタ6は受話中の受信チャネル数が二つになった場合に、他からフィルタ係数(受話フィルタ9を含むエコーパスの特性情報)をロードし、そのフィルタ係数を用いて回り込みエコーを推定し擬似エコーを生成する。7はフィルタ係数蓄積手段であり、複数のメモリを有しており、適応フィルタ(ADF)5で収束させたフィルタ係数が各メモリにセーブされたり、フィルタ係数を適応フィルタ(ADF)5や非適応フィルタ(NADF)6などにロードする。8は減算器であり、送話信号から擬似エコー信号を差し引く。9は音像定位処理手段としての受話フィルタであり、左右の伝達関数GRi(z) 、GLi(z) の演算を行って右側用のスピーカ10、左側用のスピーカ11に音声信号を出力し、画面上の話者の位置に応じて音像を定位させるものである。12はマイクであり、この装置のオペレータ(会議参加者)が他へ話しかけたときの音声を集音するためのものである。この擬似ステレオ拡声通話装置内においては、適応フィルタ(ADF)5および非適応フィルタ(NADF)6、フィルタ係数蓄積手段7および減算器8などからエコーキャンセラが構成されている。
【0034】
続いて、図2を参照して上記受話フィルタ9の構成について説明する。
【0035】
同図に示すように、受話フィルタ9は、第1の信号経路3からの受話信号に対して右側音声を生成するフィルタ21(伝達関数がG1 Ri(z) )、左側音声を生成するフィルタ22(伝達関数がG1 Li(z) )、第2の信号経路4からの受話信号に対して右側音声を生成するフィルタ23(伝達関数がG2 Ri(z) )、左側音声を生成するフィルタ24(伝達関数がG2 Li(z) )、右側音声同志の演算結果を加算しスピーカ10に出力する加算器25、左側音声同志の演算結果を加算しスピーカ11に出力する加算器26などを有している。
【0036】
次に、図3を参照して上記フィルタ係数蓄積手段7の構成について詳細に説明する。
【0037】
同図に示すように、フィルタ係数蓄積手段7は、受話チャネルA1〜E1に対応した擬似エコーのフィルタ係数である推定伝達関数HA’(z) 〜HE’(z) を蓄積するための複数のメモリ31〜35を有している。
【0038】
続いて、図4を参照してフィルタ係数蓄積手段7と適応フィルタ5との関係について説明する。
【0039】
同図に示すように、上記フィルタ係数蓄積手段7内の、例えば推定伝達関数HA’(z) 用のメモリ31と適応フィルタ5間においては、信号経路3からの受話信号X(データX0〜X99 )は、適応フィルタ5内の係数メモリ(図示せず)の 0番地から99番地に蓄積され、また適応フィルタ5内の係数メモリの 100番地から 199番地にフィルタ係数h0〜h99 が蓄積され、互いの間で畳み込み演算が行われ、その演算結果がYとして出力される。そして、メモリ31の 200番地のデータが適応フィルタ5内の係数メモリの 100番地にロードされ、 201番地のデータが 101番地にロードされ、あるいは逆に適応フィルタ5内の係数メモリの 100番地のデータがメモリ31の 200番地にセーブされるなどといったことが行われる。
【0040】
すなわち、A地点からの受話の場合、メモリ31から適応フィルタ5内の係数メモリにデータをロードし、A地点からの音声で、フィルタ係数を収束させ(学習を行い)、相手がA地点以外に切り替わったとき、適応フィルタ5内の係数メモリのデータをメモリ31にセーブし、新たな地点に対応するメモリから、適応フィルタ5内の係数メモリにデータをロードする。この係数を用いて適応フィルタ5の学習を継続する。
【0041】
次に、この擬似ステレオ拡声通話装置の動作について説明する。
【0042】
この擬似ステレオ拡声通話装置の場合、例えばA地点などからの受話信号が受話チャネルA1に入力されると、受話検出手段1がそれを検出し、接続制御手段2が第1の信号経路3に接続し、第1の信号経路3を通じて受話フィルタ9と適応フィルタ5とに受話信号が入力される。受話フィルタ9では、受話検出手段1により検出された受話チャネルA1から、どの位置に音像を定位させるべきかが判るので、その位置に音像を定位させるよう伝達関数の演算がなされて各スピーカ10、11への利得が制御される。そして各スピーカ10、11から出力された音声は、エコー信号としてマイク12で集音されて減算器8に伝送される。
【0043】
一方、適応フィルタ5では、入力された受話信号を基に対応するフィルタ係数がフィルタ係数蓄積手段7からロードされて、受信チャネルA1から送信チャネル13へ回り込むエコーが推定され、擬似エコーが生成されてそれが減算器8に出力される。
【0044】
そして減算器8において、擬似エコーと集音されたエコーとが差し引かれて、その差信号が適応フィルタ5にフィードバックされ、適応フィルタ5は、その差信号がなくなるように、つまりエコーを収束させるように学習し、信号経路3に入力される音声がチャネルA1以外の音声になったとき、それを新たなフィルタ係数として、フィルタ係数蓄積手段7にセーブする。
【0045】
ここで、例えばチャネルA1での受話中に、B地点からの受話信号がチャネルB1に受信されることがある。
【0046】
この場合、地点Bからの受話信号がチャネルB1に受信されると、受話検出手段1がそれを検出し、接続制御手段2によりチャネルB1が第2の信号経路4に接続され、その受話信号は、第2の信号経路4を通じて受話フィルタ9と非適応フィルタ6とに入力される。
【0047】
受話フィルタ9では、受話検出手段1により検出された受話チャネルB1の所定の位置に音像を定位させるよう音像定位のための関数演算を行い、左右それぞれのにおいて、二つの出力信号が加算されて、各スピーカ10、11の出力が制御される。そして各スピーカ10、11から出力された音声は、エコーとしてマイク12で集音されて減算器8に伝送される。
【0048】
この場合、地点数分のフィルタ係数用メモリが必要となるものの、モノラル型エコーキャンセラを用いた場合と同等の処理量でエコーを打ち消すことのできる2スピーカ、1マイク構成の擬似ステレオ拡声通話装置を構成することができる。
【0049】
また上記以外にも、例えばチャネルA1の受話終了後、直ちにチャネルB1に受話信号が受信されることがある。この場合、接続制御手段2は、受話が終了して空いた第1の信号経路3にチャネルB1を接続する。
【0050】
すると、第1の信号経路3上の適応フィルタ5は、A地点からの受話信号で収束させたフィルタ係数を一旦フィルタ係数蓄積手段7内のA地点用メモリ31にセーブした後、代わりにB地点用メモリ32からフィルタ係数をロードして、その後、B地点からの受話信号での学習を行う。
【0051】
すなわち、チャネルB1に受話信号が受信された場合であっても、適応フィルタ5が空いていれば、適応フィルタ5により擬似エコーが生成されるので、エコーを確実に打ち消すことができる。
【0052】
このようにこの実施形態の擬似ステレオ拡声通話装置によれば、エコーキャンセラの中核部品として、フィルタ係数が逐次最適な値に更新される適応フィルタ5と、ロードされたフィルタ係数によりフィルタリング演算を行う非適応フィルタ6とを組み合わせて利用することにより、多くのチャネルA1〜E1の中で同時に2者が通話するときのエコーを適時打ち消すことができ、複数の話者が交替しながら通話する多地点間通信会議システムなどに用いる端末、つまり擬似ステレオ拡声通話装置をローコストに構成できる。
【0053】
従来は音像定位位置が2カ所の場合、単一のエコーキャンセラではエコーを抑えきれなかったが、適応フィルタ5の他にローコストな非適応フィルタ6(補助エコーキャンセラ)を設けたことで、2者同時通話区間については、それぞれのフィルタ5、6でエコーを打ち消すことができる。但し補助エコーキャンセラのフィルタ係数は、フィルタ係数蓄積手段7からロードするだけなのでエコーパスの音響特性変動に適時追随することはできないが、スピーカ−マイク間の音響特性にさほど大きな変化がなければ、エコーを十分抑えることができる。またこの実施形態の擬似ステレオ拡声通話装置の受話フィルタ9による音像定位制御は、演算の容易な利得制御なので、モノラルエコーキャンセラ並の処理量で擬似ステレオ音声を再生できる。
【0054】
次に、図5を参照して上記フィルタ係数蓄積手段7を変形した例について説明する。
【0055】
上記フィルタ係数蓄積手段7の構成の場合、会議参加者の分だけメモリの数が必要となる。このため会議参加者が多くなると、それだけメモリを増設することになりコストアップする。
【0056】
そこで、このコストアップを抑えるためにフィルタ係数蓄積手段を変形することが考えられる。
【0057】
この場合、同図に示すように、フィルタ係数蓄積手段50は、音声定位関数が定常となっている (i−1)番目の区間における適応フィルタ5の推定伝達関数Hi−1 ’(z)を蓄積するメモリ52と、同様にi 番目の区間の推定伝達関数Hi ’(z)を記憶するメモリ51と、これら推定伝達関数Hi−1 ’(z)、Hi ’(z)から、スピーカ・マイク間の伝達関数HR (z) 、HL (z) を求め(分解処理)、これらスピーカ・マイク間の伝達関数HR (z) 、HL (z) から(i+1) 番目の区間における適応フィルタ5の伝達関数Hi+1 ’(z)の初期値を求める(合成処理)分解合成処理部53と、スピーカ・マイク間伝達関数HR (z) 、HL (z) を記憶する2つのメモリ54、55とから構成されている。この係数蓄積手段50を有するエコーキャンセラを推定伝達関数分解合成型エコーキャンセラという。
【0058】
この場合、適応フィルタ5で推定された過去2区間の推定伝達関数Hi−1 ’(z)、Hi ’(z)をメモリ51、52に蓄積しておき、これらからスピーカ・マイク間伝達関数HR (z) 、HL (z) を求めてメモリ54、55に記憶するので、比較的安価にエコーキャンセラを構成できる。
【0059】
以下、この推定伝達関数分解合成型エコーキャンセラによる推定伝達関数の演算方法について説明する。
【0060】
まず、音像定位関数が定常な区間を単位としたi 番目の区間を考えてみる。
【0061】
適応フィルタ5で推定された過去2区間(i 区間、i−1 区間)の伝達関数をそれぞれ推定伝達関数Hi−1 ’(z)、Hi ’(z)とすると、エコーパスが定常で、推定が正確であると仮定すれば、この推定音響特性、すなわち推定伝達関数は、音像定位関数とは独立なスピーカ・マイク間伝達関数HR (z) 、HL (z) を用いて次式のように表すことができる。
【0062】
伝達関数の分解合成による複数エコーパスのエコーキャンセラは、この関係を利用して、単一のエコーキャンセラで得た複数の過去の伝達関数を基にスピーカ・マイク間の伝達関数を求める。
【0063】
そして、(i−1) 区間で新たな音像定位関数が得られたとき、
Hi+1 ’(z)=GRi+1(z) HR (z) +GLi+1(z) HL (z) …………式(3)
なる演算により、i+1 区間のエコーキャンセラのフィルタ初期値を得ることができる。これら複数のフィルタ係数を各フィルタで用いることにより、話者交代によるエコー打ち消し量の劣化が生じないエコーキャンセラを実現できる。
【0064】
一般に、音像定位制御法としては、遅延制御あるいは利得制御などがあるが、ここでは、比較的演算が簡単な利得制御の場合について説明する。
【0065】
この場合、音像定位関数は、
GRi(z) =gRi,GLi(z) =gLi …………式(4)
なので、HR (z) ,HL (z) は、次式で求められる。
【0066】
この推定伝達関数分解合成型エコーキャンセラを使用した場合、次のような効果が見込める。
【0067】
すなわち、図3に示したフィルタ係数蓄積手段7の場合は、初めて受信する相手との通話開始時は初期学習するまでの間、エコー打ち消し量の劣化が発生するが、フィルタ係数蓄積手段50とした場合、相手の全地点からの通話が一通り終わらなくても二地点(すなわち二つの定常状態)での学習を行えば、その後は初期学習に伴うエコー打ち消しの劣化は生じない。またスピーカ・マイク間でのエコーパスが変化しても、変化後、二地点を再度学習すれば、その後は上記同様に話者交代によるエコー打ち消し量の劣化は生じない。
【0068】
なお上記実施形態の拡声通話装置では、適応フィルタ5、非適応フィルタ6および受話フィルタ9への信号経路が二本(第1の信号経路3および第2の信号経路4)なので、同時に3種類以上の音像定位関数に対しては、エコーを打ち消すことができない。
【0069】
そこで、異なる三地点以上からの通話に対しては、処理量が許せる範囲で、固定FIRフィルタなどの非適応フィルタをさらに追加することも考えられる。
【0070】
すなわち、第2の信号経路4や非適応フィルタ6などが複数個になった場合も考えられる。
【0071】
このように処理量の少ないデジタルフィルタを増設することにより、実際のアプリケーションにおける同時通話の発生頻度とコストとの兼ね合いで最適対応が可能である。
【0072】
また本発明は、相手話者の画像をモニタ上で確認できるTV会議システムのみでなく、画面上には話者が表示されず、共有のドキュメントや図形などが画面上にある協調ワークの通信会議や、モニター画面の存在しないシステム、つまり音声会議などにも適用できる。
【0073】
また上記実施形態では、最も単純な2スピーカ、1マイク型の形態について説明したが、スピーカを三つ以上としたり、また入力側のマイクを複数にするなどの応用が可能である。
【0074】
【発明の効果】
以上説明したように本発明によれば、2スピーカ、1マイク構成の拡声通話装置において、複数の会議参加者の中のある発言者からの音声を擬似ステレオで再生する中で、2者の同時通話や話者交代などが生じ、エコーパス特性の変動が生じた場合に、適応フィルタと非適応フィルタとによってエコーを打ち消すことができる。
【0075】
また2人目の話者に対する非適応フィルタは、適応フィルタのようにフィルタ係数の自動更新を行わないので、従来のものと比較して演算量の大幅な増加がなく、したがって装置全体を比較的ローコストに構成できる。
【図面の簡単な説明】
【図1】本発明に係る擬似ステレオ拡声通話装置の実施形態を示す図。
【図2】この擬似ステレオ拡声通話装置の受話フィルタの詳細構成を示す図。
【図3】この擬似ステレオ拡声通話装置のフィルタ係数蓄積手段の詳細構成を示す図。
【図4】図3のフィルタ係数蓄積手段と適応フィルタとの関係を示す図。
【図5】図3のフィルタ係数蓄積手段の変形例を示す図。
【図6】従来の擬似ステレオ拡声通話装置を示す図。
【図7】従来の擬似ステレオ拡声通話装置にモノラルエコーキャンセラを適用した例を示す図。
【図8】従来の擬似ステレオ拡声通話装置に線形結合型エコーキャンセラを適用した例を示す図。
【符号の説明】
1…受話検出手段、2…接続制御手段、3…第1の信号経路、4…第2の信号経路、5…適応フィルタ(ADF)、6…非適応フィルタ(NADF)、7、50…フィルタ係数蓄積制御手段、8…減算器、9…受話フィルタ、31〜35…メモリ。
【発明の属する技術分野】
本発明は、例えば多地点間通信会議システムなどに利用される2スピーカ、1マイク構成の拡声通話装置およびこの装置に用いられるエコーキャンセラに関する。
【0002】
【従来の技術】
遠隔地にいる人同士が、例えば映像、音声、文書などをネットワークを介して共有し、緊密な協調作業環境を構築するサービスとして、近年、パーソナルコンピュータ(PC)やワークステーション(WS)などのマルチメディア端末を利用した多地点間通信会議システムが注目されている。
【0003】
この多地点間通信会議システムでは、遠隔地にいる人同士があたかも向かい合って会議しているようにモニタの画面でお互いの顔を見ながら会話が行える。また一つのドキュメントやアプリケーションを各端末のディスプレイ上で共有して打ち合わせや協調作業などを行うことができる。
【0004】
従来の多地点間通信会議システムの端末は、例えばWSなどにマイクとスピーカを追加装備した構成であり、この場合、各WSのモニタ上に複数の話者の画像を表示させてその中の一人が話したときに、相手話者に話しかけた声をマイクで集音し、通信回線を経由して遠隔地の端末のスピーカから出力させてTV会議を行う。
【0005】
この際、各端末の会議参加者(聴人)は、モニタ上の話者の口の動きやスピーカから発生される音声などから、誰が話しているかを判断することになる。
【0006】
この多地点間通信会議システムにおいて、発言者を音声から認識する上で、あるいは会議をスムーズに進行する上で、複数のスピーカを用いて発言者毎にことなる位置に音像を定位させることが有効である。
【0007】
この場合、聴者側において、各スピーカから出力する音声のレベルや遅延時間を制御することにより、画面内の話者に対応する位置に音像を定位させることができる。
【0008】
また現在、この通信会議システムの利便性からハンズフリーによる拡声通話の要求が強く、スピーカ出力音声がマイクに回り込んで発生するエコー感やハウリングなどを抑圧する、いわゆるエコーキャンセル技術(エコーキャンセラ)が考案されている。このエコーキャンセラと上記擬似ステレオ音声生成技術とを組み合わせたものに擬似ステレオ拡声通話装置がある。
【0009】
この擬似ステレオ拡声通話装置は、図6に示すように、入力されたモノラル音声信号を音像定位処理部111、112がそれぞれの伝達関数(以下音像定位関数とよぶ)GRi(z) 、GLi(z) で演算処理してそれぞれに接続されたスピーカ113、114から出力する。このときに音像定位処理部111、112の前段、あるいは後段からエコーキャンセラ115が得た音声信号と、スピーカ113、114から発生しマイク116で集音した音声信号とを減算器117で差し引くことによりエコーを打ち消すものである。
【0010】
この場合、複数のスピーカ113、114から音声が出力されると、各音声は聴者に聴きとられると共にマイク116にも集音される。このマイク116には、各音声が異なる方向から入力されるためエコーパスが複数となり、これら複数のエコーを抑圧するためにエコーキャンセラ115の処理量が増大したり、話者交代時に残留エコーが増大するなどの問題が生じる。
【0011】
従来の擬似ステレオ拡声通話装置は、図7に示すように、音像定位処理部111、112の前段のモノラル音声信号と減算器117で差し引かれた信号とで学習する適応フィルタ(ADF)121を有しており、この適応フィルタ(ADF)121がエコーパスの音響特性を学習するので、各スピーカ113、114から出力された音声がマイク116へ回り込んだときのエコーは消去される。この場合、適応フィルタ(ADF)121は、1つで済み処理量およびメモリ容量などもモノラル時とほぼ同等である。
【0012】
このとき、エコーキャンセラから見た総合的なエコーパスの音響特性をHi (z) とすると、音響特性Hi (z) は、次の式(10)で表すことができる。
【0013】
Hi (z) =GRi(z) HR (z) +GLi(z) HL (z) ……式(10)
この式(10)から、音像定位関数GRi(z) 、GLi(z) などがエコーパスの音響特性Hi (z) に含まれることが解る。
【0014】
左右の各スピーカ・マイク間の伝達関数HR (z) 、HL (z) は、音響特性が定常な限り一定ではあるが、音像定位関数GRi(z) 、GLi(z) は、話者が交代すると、その都度変動する。
【0015】
ところで、多地点間通信会議システムにおいては、会議参加者が多いことから、話者が交代が頻繁に起こる。
【0016】
しかしながら、図7に示した擬似ステレオ拡声通話装置では、話者交代があると、すなわち、音像定位関数が変化すると、その都度、エコーパス特性Hi (z) が変動し、エコーを十分に打ち消せなくなる。
【0017】
そこで、図8に示すように、擬似ステレオ拡声通話装置に複数の適応フィルタ(ADF)122、123と、それらを加算する加算器124とを用いた線形結合型のものが考えられる。この線形結合型の場合、音像定位演算後に、左右の各スピーカ113、114からマイク116へのエコーパス一つにつき一つの適応フィルタ(ADF)122、123でエコーが打ち消されるので、音像定位関数が変化してもエコーパス特性は変化せず、複数の中のいずれか一つの地点からの受話音声で一度適応フィルタ(ADF)122、123を収束させれば、その後はエコーパスが変動しない限り、話者が交代してもエコー打ち消し量の劣化は生じなくなる。但し、この場合、適応フィルタ(ADF)が1つだけのときに比べて2倍の演算量およびメモリ容量が必要になり、これがコストアップの要因になる。
【0018】
【発明が解決しようとする課題】
このように従来の擬似ステレオ拡声通話装置は、モノラル拡声通話装置に比べて、話者交代時に残留エコーの増大やメモリ量、演算量の増大などといった問題が起こる。
【0019】
また上述した擬似ステレオ拡声通話装置では、単独話者を想定してエコーキャンセラが設けられているため、多地点間通信会議を行うときのように、異なる2地点の二人が議論を戦わせる状況やある一人が説明している途中に他の会議参加者が割り込んで質問する状況など、異なる2地点の話者が同時に話す状況が考慮されておらず、この場合はエコーが打ち消されない。
【0020】
そこで、相手2地点同時通話時にもエコーを打ち消すことができるよう上述した擬似ステレオ拡声通話装置の構成、つまり複数の適応フィルタ(ADF)をそのまま適用すると、演算量、メモリ量がそのまま2倍になり、装置全体が大幅にコストアップするという問題があった。
【0021】
本発明はこのような課題を解決するためになされたもので、多地点間通信する上で話者交代時や同時通話時などにエコーを打ち消すことができ、従来のものと比較して演算量の大幅な増加がなく、これにより装置全体を比較的ローコストに構成できる拡声通話装置およびエコーキャンセラを提供することを目的としている。
【0022】
【課題を解決するための手段】
上記した目的を達成するために、請求項1記載の発明の拡声通話装置は、複数の地点からの受話信号を受信する複数の受話チャネルと、前記個々の受話チャネルに受信された受話信号を検出する受話検出手段と、前記受話検出手段により検出された受話信号の受話数に応じて前記受話信号の受信された受話チャネルを第1または第2の信号経路のいずれか一方に接続する接続制御手段と、前記受話音声の音像を音声毎に異なる位置に定位させるための複数のスピーカと、前記第1および第2の信号経路を通じて入力された各受話信号について前記複数のスピーカの出力を制御し、それぞれの受話信号に対応する位置に音像を定位させる音像定位手段と、発言者の音声を集音するためのマイクと、前記第1の信号経路に接続され、前記受信チャネルから前記第1の信号経路、前記音像定位手段、スピーカおよびマイクを通じて送信チャネル側へ回り込むエコーパスを推定し擬似エコーを生成する適応フィルタと、前記適応フィルタにより推定されたエコーパスに対応するフィルタ係数が蓄積されるエコーパス情報蓄積手段と、前記第2の信号経路に接続され、前記受信チャネルから前記第2の信号経路、前記音像定位手段、スピーカおよびマイクを通じて送信チャネル側へ回り込むエコーパスに対応するフィルタ係数を前記エコーパス情報蓄積手段からロードし前記第2の信号経路を通じて送信チャネル側へ回り込むエコーを推定し擬似エコーを生成する非適応フィルタと、前記非適応フィルタおよび適応フィルタにより生成された各擬似エコーを前記送信チャネルのエコー信号から差し引く減算器とを具備したことを特徴としている。
【0023】
この請求項1、5記載の発明の場合、複数の受信チャネルのうち、受話中の受信チャネルが二つになった場合、適応フィルタとこれよりも処理量の少ない非適応フィルタとを用いて受話チャネルから送話チャネルに回り込むそれぞれのエコーを推定し擬似エコーを生成し、減算器で送話チャネル側のエコー信号から差し引きエコーを打ち消す。ここで用いた非適応フィルタは、フィルタ係数を逐次学習/更新してゆくという処理を行わないものなので、適応フィルタに比べて演算量が少なく装置全体を比較的ローコストに構成できる。
【0024】
請求項2記載の発明の拡声通話装置は、請求項1記載の拡声通話装置において、前記音像定位手段が、前記第1の信号経路を通じて入力された受話信号について、対応位置に音像を定位させるための各スピーカ用の関数演算を行う第1の信号演算部と、前記第2の信号経路を通じて入力された受話信号について、対応位置に音像を定位させるための各スピーカ用の関数演算を行う第2の信号演算部と、前記第1および第2の信号演算部により演算された同じスピーカに対する演算結果を加算する複数のからなることを特徴としている。
【0025】
この請求項2記載の発明の場合、音像定位手段に第1の信号演算部と、第2の信号演算部と、それぞれの加算器とが備えられているので、話者が2人になった場合でも、それぞれについて音像を定位させることができる。
【0026】
請求項3記載の発明の拡声通話装置は、請求項1記載の拡声通話装置において、前記エコー情報蓄積手段が、前記各音像定位位置に対応した音響特性情報をフィルタ係数として記憶する複数のメモリを具備したことを特徴としている。
【0027】
この請求項3記載の発明の場合、音像定位が変化したときにそのときどきに応じたフィルタ係数のデータを各メモリからロードすることができる。
【0028】
請求項4記載の発明の拡声通話装置は、請求項1記載の拡声通話装置において、前記エコー情報蓄積手段が、前記適応フィルタにより推定された伝達関数が定常な区間を単位とした前記音像定位手段の音響特性を含む過去の複数のエコーパス情報を記憶する第1の記憶手段と、前記第1の記憶手段により記憶された前記音像定位手段の音響特性を含む過去の複数のエコーパス情報から、前記音像定位手段の音響特性を除いたエコーパス情報を求める手段と、前記スピーカからマイクへ至るエコーパスの数分設けられ、求められた前記音像定位手段の音響特性を除いたエコーパス情報を記憶する第2の記憶手段と、前記第2の記憶手段のエコーパス情報を基に、前記音像定位手段の次の音響特性を含んだエコーパス情報を求める手段とを具備することを特徴としている。
【0029】
この請求項4記載の発明の場合、音像定位手段の音響特性を含む過去の複数のエコーパス情報として、推定伝達関数Hi−1 ’(z)、Hi ’(z)が第1の記憶手段に記憶されて、これら推定伝達関数Hi−1 ’(z)、Hi ’(z)から、スピーカ・マイク間の伝達関数HR (z) 、HL (z) が求められ、それぞれが第2の記憶手段に記憶される。そして上記伝達関数HR (z) 、HL (z) から(i+1) 番目の区間における適応フィルタ5の伝達関数Hi+1 ’(z)が求められる。
【0030】
請求項5記載の発明のエコーキャンセラは、複数の受話チャネルに受信された受話信号を検出する受話検出手段と、前記受話検出手段により検出された受話信号の受話数に応じて前記受話信号の受信された受話チャネルを第1または第2の信号経路のいずれか一方に接続する接続制御手段と、前記第1の信号経路に接続され、前記受信チャネルから前記第1の信号経路、スピーカおよびマイクを通じて送信チャネル側へ回り込むエコーパスを推定し擬似エコーを生成する適応フィルタと、前記適応フィルタにより推定されたエコーパスに対応するフィルタ係数が蓄積されるエコーパス情報蓄積手段と、前記第2の信号経路に接続され、前記第2の信号経路から送信チャネルへ回り込むエコーパスに対応するフィルタ係数を前記エコーパス情報蓄積手段からロードし前記第2の信号経路を通じて送信チャネルへ回り込むエコーパスを推定し擬似エコーを生成する非適応フィルタと、前記非適応フィルタおよび適応フィルタにより生成された各擬似エコーを前記送信チャネルのエコー信号から差し引く減算器とを具備したことを特徴としている。
【0031】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して詳細に説明する。
【0032】
図1は本発明の第1の実施形態の擬似ステレオ拡声通話装置の構成を示す図である。
【0033】
同図において、1は受話検出手段であり、異なる複数の地点A〜Eなどからのそれぞれの受信チャネルA1〜E1のラインが接続され、その中で受話信号の受信された受信チャネルを検出する。2は接続制御手段であり、受話検出手段1により検出された受話中のチャネルを第1の信号経路3に接続する。またある一つのチャネルが受話中、他のチャネルに新たな受話信号の受信(割り込み)が発生したときにその割り込みチャネルを第2の信号経路4に接続する。5は適応フィルタ(ADF)であり、例えば 200タップ程度のものである。この適応フィルタ5は、受信チャネルから送信チャネルへ回り込むエコーを学習しつつ推定し擬似エコーを生成する。6は非適応フィルタであり、例えば有限インパルスレスポンスフィルタ(FIRフィルタ)などである。この非適応フィルタ6は、適応フィルタ5と同じタップ数を有しているものの、適応フィルタ5のようにフィルタ係数を逐次学習、更新するタイプのフィルタではないので、データ処理量としてはその数分の1程度で済む。この非適応フィルタ6は受話中の受信チャネル数が二つになった場合に、他からフィルタ係数(受話フィルタ9を含むエコーパスの特性情報)をロードし、そのフィルタ係数を用いて回り込みエコーを推定し擬似エコーを生成する。7はフィルタ係数蓄積手段であり、複数のメモリを有しており、適応フィルタ(ADF)5で収束させたフィルタ係数が各メモリにセーブされたり、フィルタ係数を適応フィルタ(ADF)5や非適応フィルタ(NADF)6などにロードする。8は減算器であり、送話信号から擬似エコー信号を差し引く。9は音像定位処理手段としての受話フィルタであり、左右の伝達関数GRi(z) 、GLi(z) の演算を行って右側用のスピーカ10、左側用のスピーカ11に音声信号を出力し、画面上の話者の位置に応じて音像を定位させるものである。12はマイクであり、この装置のオペレータ(会議参加者)が他へ話しかけたときの音声を集音するためのものである。この擬似ステレオ拡声通話装置内においては、適応フィルタ(ADF)5および非適応フィルタ(NADF)6、フィルタ係数蓄積手段7および減算器8などからエコーキャンセラが構成されている。
【0034】
続いて、図2を参照して上記受話フィルタ9の構成について説明する。
【0035】
同図に示すように、受話フィルタ9は、第1の信号経路3からの受話信号に対して右側音声を生成するフィルタ21(伝達関数がG1 Ri(z) )、左側音声を生成するフィルタ22(伝達関数がG1 Li(z) )、第2の信号経路4からの受話信号に対して右側音声を生成するフィルタ23(伝達関数がG2 Ri(z) )、左側音声を生成するフィルタ24(伝達関数がG2 Li(z) )、右側音声同志の演算結果を加算しスピーカ10に出力する加算器25、左側音声同志の演算結果を加算しスピーカ11に出力する加算器26などを有している。
【0036】
次に、図3を参照して上記フィルタ係数蓄積手段7の構成について詳細に説明する。
【0037】
同図に示すように、フィルタ係数蓄積手段7は、受話チャネルA1〜E1に対応した擬似エコーのフィルタ係数である推定伝達関数HA’(z) 〜HE’(z) を蓄積するための複数のメモリ31〜35を有している。
【0038】
続いて、図4を参照してフィルタ係数蓄積手段7と適応フィルタ5との関係について説明する。
【0039】
同図に示すように、上記フィルタ係数蓄積手段7内の、例えば推定伝達関数HA’(z) 用のメモリ31と適応フィルタ5間においては、信号経路3からの受話信号X(データX0〜X99 )は、適応フィルタ5内の係数メモリ(図示せず)の 0番地から99番地に蓄積され、また適応フィルタ5内の係数メモリの 100番地から 199番地にフィルタ係数h0〜h99 が蓄積され、互いの間で畳み込み演算が行われ、その演算結果がYとして出力される。そして、メモリ31の 200番地のデータが適応フィルタ5内の係数メモリの 100番地にロードされ、 201番地のデータが 101番地にロードされ、あるいは逆に適応フィルタ5内の係数メモリの 100番地のデータがメモリ31の 200番地にセーブされるなどといったことが行われる。
【0040】
すなわち、A地点からの受話の場合、メモリ31から適応フィルタ5内の係数メモリにデータをロードし、A地点からの音声で、フィルタ係数を収束させ(学習を行い)、相手がA地点以外に切り替わったとき、適応フィルタ5内の係数メモリのデータをメモリ31にセーブし、新たな地点に対応するメモリから、適応フィルタ5内の係数メモリにデータをロードする。この係数を用いて適応フィルタ5の学習を継続する。
【0041】
次に、この擬似ステレオ拡声通話装置の動作について説明する。
【0042】
この擬似ステレオ拡声通話装置の場合、例えばA地点などからの受話信号が受話チャネルA1に入力されると、受話検出手段1がそれを検出し、接続制御手段2が第1の信号経路3に接続し、第1の信号経路3を通じて受話フィルタ9と適応フィルタ5とに受話信号が入力される。受話フィルタ9では、受話検出手段1により検出された受話チャネルA1から、どの位置に音像を定位させるべきかが判るので、その位置に音像を定位させるよう伝達関数の演算がなされて各スピーカ10、11への利得が制御される。そして各スピーカ10、11から出力された音声は、エコー信号としてマイク12で集音されて減算器8に伝送される。
【0043】
一方、適応フィルタ5では、入力された受話信号を基に対応するフィルタ係数がフィルタ係数蓄積手段7からロードされて、受信チャネルA1から送信チャネル13へ回り込むエコーが推定され、擬似エコーが生成されてそれが減算器8に出力される。
【0044】
そして減算器8において、擬似エコーと集音されたエコーとが差し引かれて、その差信号が適応フィルタ5にフィードバックされ、適応フィルタ5は、その差信号がなくなるように、つまりエコーを収束させるように学習し、信号経路3に入力される音声がチャネルA1以外の音声になったとき、それを新たなフィルタ係数として、フィルタ係数蓄積手段7にセーブする。
【0045】
ここで、例えばチャネルA1での受話中に、B地点からの受話信号がチャネルB1に受信されることがある。
【0046】
この場合、地点Bからの受話信号がチャネルB1に受信されると、受話検出手段1がそれを検出し、接続制御手段2によりチャネルB1が第2の信号経路4に接続され、その受話信号は、第2の信号経路4を通じて受話フィルタ9と非適応フィルタ6とに入力される。
【0047】
受話フィルタ9では、受話検出手段1により検出された受話チャネルB1の所定の位置に音像を定位させるよう音像定位のための関数演算を行い、左右それぞれのにおいて、二つの出力信号が加算されて、各スピーカ10、11の出力が制御される。そして各スピーカ10、11から出力された音声は、エコーとしてマイク12で集音されて減算器8に伝送される。
【0048】
この場合、地点数分のフィルタ係数用メモリが必要となるものの、モノラル型エコーキャンセラを用いた場合と同等の処理量でエコーを打ち消すことのできる2スピーカ、1マイク構成の擬似ステレオ拡声通話装置を構成することができる。
【0049】
また上記以外にも、例えばチャネルA1の受話終了後、直ちにチャネルB1に受話信号が受信されることがある。この場合、接続制御手段2は、受話が終了して空いた第1の信号経路3にチャネルB1を接続する。
【0050】
すると、第1の信号経路3上の適応フィルタ5は、A地点からの受話信号で収束させたフィルタ係数を一旦フィルタ係数蓄積手段7内のA地点用メモリ31にセーブした後、代わりにB地点用メモリ32からフィルタ係数をロードして、その後、B地点からの受話信号での学習を行う。
【0051】
すなわち、チャネルB1に受話信号が受信された場合であっても、適応フィルタ5が空いていれば、適応フィルタ5により擬似エコーが生成されるので、エコーを確実に打ち消すことができる。
【0052】
このようにこの実施形態の擬似ステレオ拡声通話装置によれば、エコーキャンセラの中核部品として、フィルタ係数が逐次最適な値に更新される適応フィルタ5と、ロードされたフィルタ係数によりフィルタリング演算を行う非適応フィルタ6とを組み合わせて利用することにより、多くのチャネルA1〜E1の中で同時に2者が通話するときのエコーを適時打ち消すことができ、複数の話者が交替しながら通話する多地点間通信会議システムなどに用いる端末、つまり擬似ステレオ拡声通話装置をローコストに構成できる。
【0053】
従来は音像定位位置が2カ所の場合、単一のエコーキャンセラではエコーを抑えきれなかったが、適応フィルタ5の他にローコストな非適応フィルタ6(補助エコーキャンセラ)を設けたことで、2者同時通話区間については、それぞれのフィルタ5、6でエコーを打ち消すことができる。但し補助エコーキャンセラのフィルタ係数は、フィルタ係数蓄積手段7からロードするだけなのでエコーパスの音響特性変動に適時追随することはできないが、スピーカ−マイク間の音響特性にさほど大きな変化がなければ、エコーを十分抑えることができる。またこの実施形態の擬似ステレオ拡声通話装置の受話フィルタ9による音像定位制御は、演算の容易な利得制御なので、モノラルエコーキャンセラ並の処理量で擬似ステレオ音声を再生できる。
【0054】
次に、図5を参照して上記フィルタ係数蓄積手段7を変形した例について説明する。
【0055】
上記フィルタ係数蓄積手段7の構成の場合、会議参加者の分だけメモリの数が必要となる。このため会議参加者が多くなると、それだけメモリを増設することになりコストアップする。
【0056】
そこで、このコストアップを抑えるためにフィルタ係数蓄積手段を変形することが考えられる。
【0057】
この場合、同図に示すように、フィルタ係数蓄積手段50は、音声定位関数が定常となっている (i−1)番目の区間における適応フィルタ5の推定伝達関数Hi−1 ’(z)を蓄積するメモリ52と、同様にi 番目の区間の推定伝達関数Hi ’(z)を記憶するメモリ51と、これら推定伝達関数Hi−1 ’(z)、Hi ’(z)から、スピーカ・マイク間の伝達関数HR (z) 、HL (z) を求め(分解処理)、これらスピーカ・マイク間の伝達関数HR (z) 、HL (z) から(i+1) 番目の区間における適応フィルタ5の伝達関数Hi+1 ’(z)の初期値を求める(合成処理)分解合成処理部53と、スピーカ・マイク間伝達関数HR (z) 、HL (z) を記憶する2つのメモリ54、55とから構成されている。この係数蓄積手段50を有するエコーキャンセラを推定伝達関数分解合成型エコーキャンセラという。
【0058】
この場合、適応フィルタ5で推定された過去2区間の推定伝達関数Hi−1 ’(z)、Hi ’(z)をメモリ51、52に蓄積しておき、これらからスピーカ・マイク間伝達関数HR (z) 、HL (z) を求めてメモリ54、55に記憶するので、比較的安価にエコーキャンセラを構成できる。
【0059】
以下、この推定伝達関数分解合成型エコーキャンセラによる推定伝達関数の演算方法について説明する。
【0060】
まず、音像定位関数が定常な区間を単位としたi 番目の区間を考えてみる。
【0061】
適応フィルタ5で推定された過去2区間(i 区間、i−1 区間)の伝達関数をそれぞれ推定伝達関数Hi−1 ’(z)、Hi ’(z)とすると、エコーパスが定常で、推定が正確であると仮定すれば、この推定音響特性、すなわち推定伝達関数は、音像定位関数とは独立なスピーカ・マイク間伝達関数HR (z) 、HL (z) を用いて次式のように表すことができる。
【0062】
伝達関数の分解合成による複数エコーパスのエコーキャンセラは、この関係を利用して、単一のエコーキャンセラで得た複数の過去の伝達関数を基にスピーカ・マイク間の伝達関数を求める。
【0063】
そして、(i−1) 区間で新たな音像定位関数が得られたとき、
Hi+1 ’(z)=GRi+1(z) HR (z) +GLi+1(z) HL (z) …………式(3)
なる演算により、i+1 区間のエコーキャンセラのフィルタ初期値を得ることができる。これら複数のフィルタ係数を各フィルタで用いることにより、話者交代によるエコー打ち消し量の劣化が生じないエコーキャンセラを実現できる。
【0064】
一般に、音像定位制御法としては、遅延制御あるいは利得制御などがあるが、ここでは、比較的演算が簡単な利得制御の場合について説明する。
【0065】
この場合、音像定位関数は、
GRi(z) =gRi,GLi(z) =gLi …………式(4)
なので、HR (z) ,HL (z) は、次式で求められる。
【0066】
この推定伝達関数分解合成型エコーキャンセラを使用した場合、次のような効果が見込める。
【0067】
すなわち、図3に示したフィルタ係数蓄積手段7の場合は、初めて受信する相手との通話開始時は初期学習するまでの間、エコー打ち消し量の劣化が発生するが、フィルタ係数蓄積手段50とした場合、相手の全地点からの通話が一通り終わらなくても二地点(すなわち二つの定常状態)での学習を行えば、その後は初期学習に伴うエコー打ち消しの劣化は生じない。またスピーカ・マイク間でのエコーパスが変化しても、変化後、二地点を再度学習すれば、その後は上記同様に話者交代によるエコー打ち消し量の劣化は生じない。
【0068】
なお上記実施形態の拡声通話装置では、適応フィルタ5、非適応フィルタ6および受話フィルタ9への信号経路が二本(第1の信号経路3および第2の信号経路4)なので、同時に3種類以上の音像定位関数に対しては、エコーを打ち消すことができない。
【0069】
そこで、異なる三地点以上からの通話に対しては、処理量が許せる範囲で、固定FIRフィルタなどの非適応フィルタをさらに追加することも考えられる。
【0070】
すなわち、第2の信号経路4や非適応フィルタ6などが複数個になった場合も考えられる。
【0071】
このように処理量の少ないデジタルフィルタを増設することにより、実際のアプリケーションにおける同時通話の発生頻度とコストとの兼ね合いで最適対応が可能である。
【0072】
また本発明は、相手話者の画像をモニタ上で確認できるTV会議システムのみでなく、画面上には話者が表示されず、共有のドキュメントや図形などが画面上にある協調ワークの通信会議や、モニター画面の存在しないシステム、つまり音声会議などにも適用できる。
【0073】
また上記実施形態では、最も単純な2スピーカ、1マイク型の形態について説明したが、スピーカを三つ以上としたり、また入力側のマイクを複数にするなどの応用が可能である。
【0074】
【発明の効果】
以上説明したように本発明によれば、2スピーカ、1マイク構成の拡声通話装置において、複数の会議参加者の中のある発言者からの音声を擬似ステレオで再生する中で、2者の同時通話や話者交代などが生じ、エコーパス特性の変動が生じた場合に、適応フィルタと非適応フィルタとによってエコーを打ち消すことができる。
【0075】
また2人目の話者に対する非適応フィルタは、適応フィルタのようにフィルタ係数の自動更新を行わないので、従来のものと比較して演算量の大幅な増加がなく、したがって装置全体を比較的ローコストに構成できる。
【図面の簡単な説明】
【図1】本発明に係る擬似ステレオ拡声通話装置の実施形態を示す図。
【図2】この擬似ステレオ拡声通話装置の受話フィルタの詳細構成を示す図。
【図3】この擬似ステレオ拡声通話装置のフィルタ係数蓄積手段の詳細構成を示す図。
【図4】図3のフィルタ係数蓄積手段と適応フィルタとの関係を示す図。
【図5】図3のフィルタ係数蓄積手段の変形例を示す図。
【図6】従来の擬似ステレオ拡声通話装置を示す図。
【図7】従来の擬似ステレオ拡声通話装置にモノラルエコーキャンセラを適用した例を示す図。
【図8】従来の擬似ステレオ拡声通話装置に線形結合型エコーキャンセラを適用した例を示す図。
【符号の説明】
1…受話検出手段、2…接続制御手段、3…第1の信号経路、4…第2の信号経路、5…適応フィルタ(ADF)、6…非適応フィルタ(NADF)、7、50…フィルタ係数蓄積制御手段、8…減算器、9…受話フィルタ、31〜35…メモリ。
Claims (5)
- 複数の地点からの受話信号を受信する複数の受話チャネルと、
前記個々の受話チャネルに受信された受話信号を検出する受話検出手段と、
前記受話検出手段により検出された受話信号の受話数に応じて前記受話信号の受信された受話チャネルを第1または第2の信号経路のいずれか一方に接続する接続制御手段と、
前記受話音声の音像を音声毎に異なる位置に定位させるための複数のスピーカと、
前記第1および第2の信号経路を通じて入力された各受話信号について前記複数のスピーカの出力を制御し、それぞれの受話信号に対応する位置に音像を定位させる音像定位手段と、
発言者の音声を集音するためのマイクと、
前記第1の信号経路に接続され、前記受信チャネルから前記第1の信号経路、前記音像定位手段、スピーカおよびマイクを通じて送信チャネル側へ回り込むエコーパスを推定し擬似エコーを生成する適応フィルタと、
前記適応フィルタにより推定されたエコーパスに対応するフィルタ係数が蓄積されるエコーパス情報蓄積手段と、
前記第2の信号経路に接続され、前記受信チャネルから前記第2の信号経路、前記音像定位手段、スピーカおよびマイクを通じて送信チャネル側へ回り込むエコーパスに対応するフィルタ係数を前記エコーパス情報蓄積手段からロードし前記第2の信号経路を通じて送信チャネル側へ回り込むエコーを推定し擬似エコーを生成する非適応フィルタと、
前記非適応フィルタおよび適応フィルタにより生成された各擬似エコーを前記送信チャネルのエコー信号から差し引く減算器と
を具備したことを特徴とする拡声通話装置。 - 請求項1記載の拡声通話装置において、
前記音像定位手段が、
前記第1の信号経路を通じて入力された受話信号について、対応位置に音像を定位させるための各スピーカ用の関数演算を行う第1の信号演算部と、
前記第2の信号経路を通じて入力された受話信号について、対応位置に音像を定位させるための各スピーカ用の関数演算を行う第2の信号演算部と、
前記第1および第2の信号演算部により演算された同じスピーカに対する演算結果を加算する複数の加算器と
からなることを特徴とする拡声通話装置。 - 請求項1記載の拡声通話装置において、
前記エコーパス情報蓄積手段が、
前記各音像定位位置に対応した音響特性情報をフィルタ係数として記憶する複数のメモリを具備したことを特徴とする拡声通話装置。 - 請求項1記載の拡声通話装置において、
前記エコーパス情報蓄積手段が、
前記適応フィルタにより推定された伝達関数が定常な区間を単位とした前記音像定位手段の音響特性を含む過去の複数のエコーパス情報を記憶する第1の記憶手段と、
前記第1の記憶手段により記憶された前記音像定位手段の音響特性を含む過去の複数のエコーパス情報から、前記音像定位手段の音響特性を除いたエコーパス情報を求める手段と、
前記スピーカからマイクへ至るエコーパスの数分設けられ、求められた前記音像定位手段の音響特性を除いたエコーパス情報を記憶する第2の記憶手段と、
前記第2の記憶手段のエコーパス情報を基に、前記音像定位手段の次の音響特性を含んだエコーパス情報を求める手段と
を具備したことを特徴とする請求項1記載の拡声通話装置。 - 複数の受話チャネルに受信された受話信号を検出する受話検出手段と、
前記受話検出手段により検出された受話信号の受話数に応じて前記受話信号の受信された受話チャネルを第1または第2の信号経路のいずれか一方に接続する接続制御手段と、
前記第1の信号経路に接続され、前記受信チャネルから前記第1の信号経路、スピーカおよびマイクを通じて送信チャネル側へ回り込むエコーパスを推定し擬似エコーを生成する適応フィルタと、
前記適応フィルタにより推定されたエコーパスに対応するフィルタ係数が蓄積されるエコーパス情報蓄積手段と、
前記第2の信号経路に接続され、前記第2の信号経路から送信チャネルへ回り込むエコーパスに対応するフィルタ係数を前記エコーパス情報蓄積手段からロードし前記第2の信号経路を通じて送信チャネルへ回り込むエコーパスを推定し擬似エコーを生成する非適応フィルタと、
前記非適応フィルタおよび適応フィルタにより生成された各擬似エコーを前記送信チャネルのエコー信号から差し引く減算器と
を具備したことを特徴とするエコーキャンセラ。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP28401395A JP3625325B2 (ja) | 1995-10-31 | 1995-10-31 | 拡声通話装置およびエコーキャンセラ |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP28401395A JP3625325B2 (ja) | 1995-10-31 | 1995-10-31 | 拡声通話装置およびエコーキャンセラ |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09130306A JPH09130306A (ja) | 1997-05-16 |
JP3625325B2 true JP3625325B2 (ja) | 2005-03-02 |
Family
ID=17673173
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP28401395A Expired - Fee Related JP3625325B2 (ja) | 1995-10-31 | 1995-10-31 | 拡声通話装置およびエコーキャンセラ |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3625325B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2000072567A1 (en) | 1999-05-25 | 2000-11-30 | British Telecommunications Public Limited Company | Acoustic echo cancellation |
US7035397B2 (en) * | 2001-09-14 | 2006-04-25 | Agere Systems Inc. | System and method for updating filter coefficients and echo canceller including same |
JP4330302B2 (ja) | 2001-09-27 | 2009-09-16 | 日産自動車株式会社 | 音声入出力装置 |
DE10153188C2 (de) * | 2001-10-27 | 2003-08-21 | Grundig Ag I Ins | Vorrichtung und Verfahren zur mehrkanaligen akustischen Echokompensation mit variabler Kanalzahl |
JP4552876B2 (ja) * | 2006-03-14 | 2010-09-29 | ヤマハ株式会社 | 音声信号送受信装置及び音声会議装置 |
JP4889810B2 (ja) | 2008-06-11 | 2012-03-07 | 三菱電機株式会社 | エコーキャンセラ |
US9338304B2 (en) | 2012-03-02 | 2016-05-10 | Unify Gmbh & Co. Kg | Bidirectional communication system and method for compensating for undesired feedback in the bidirectional communication system |
JP6264045B2 (ja) * | 2014-01-08 | 2018-01-24 | 富士通株式会社 | 音声通信装置および音響補正プログラム |
-
1995
- 1995-10-31 JP JP28401395A patent/JP3625325B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH09130306A (ja) | 1997-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6931123B1 (en) | Echo cancellation | |
EP0841799B1 (en) | Stereophonic acoustic echo cancellation using non-linear transformations | |
EP1698159B1 (en) | System and method for enhanced stereo audio | |
JP3199155B2 (ja) | 反響消去装置 | |
US20090046866A1 (en) | Apparatus capable of performing acoustic echo cancellation and a method thereof | |
EP1700465B1 (en) | System and method for enchanced subjective stereo audio | |
EP1832104B1 (en) | Audio system and method for acoustic echo cancellation | |
JP5032669B2 (ja) | 音声信号のエコーキャンセルのための方法及び装置 | |
KR20040019362A (ko) | 후처리기로서 멀티 마이크로폰 에코 억제기를 가지는 음향보강 시스템 | |
JP2008306535A (ja) | 音声信号処理装置、遅延時間の設定方法 | |
WO2003007500A1 (en) | Multi-channel echo cancel method, multi-channel sound transfer method, stereo echo canceller, stereo sound transfer apparatus, and transfer function calculation apparatus | |
JP2008141718A (ja) | 音響エコーキャンセラシステム | |
JP3625325B2 (ja) | 拡声通話装置およびエコーキャンセラ | |
US20050047609A1 (en) | Device and method for carrying out multichannel acoustic echo cancellation with a variable number of channels | |
CN111556210B (zh) | 通话语音处理方法与装置、终端设备和存储介质 | |
CN112929506B (zh) | 音频信号的处理方法及装置,计算机存储介质及电子设备 | |
JP3385221B2 (ja) | エコーキャンセラ | |
JP2861888B2 (ja) | エコー・ノイズキャンセラおよびエコー・ノイズ消去方法 | |
JP3403655B2 (ja) | サブバンド適応フィルタを用いた未知システムの同定方法および装置 | |
JP2938076B2 (ja) | エコーキャンセラー装置 | |
JP3355594B2 (ja) | エコーキャンセラ装置 | |
JP2009094708A (ja) | 音声信号処理装置、音声信号処理方法 | |
Chiucchi et al. | A virtual stereo approach to stereophonic acoustic echo cancellation | |
JP2009124386A (ja) | 音声信号処理装置、音声信号処理方法 | |
WO2012001804A1 (ja) | 通話装置、通話方法、及び通話プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041124 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041129 |
|
LAPS | Cancellation because of no payment of annual fees |