JP4283212B2 - 雑音除去装置、雑音除去プログラム、及び雑音除去方法 - Google Patents

Description

本発明は、定常雑音及び非定常雑音の推定値を得るための各適応係数の学習を同時に行うことにより、雑音抑圧効果の向上を図り、もって、定常雑音及び非定常雑音の双方が存在する環境下における音声認識に適した音声強調を行うことができるようにした雑音除去装置、雑音除去プログラム、及び雑音除去方法に関する。

まず、この発明の背景となる自動車内音声認識の現状について説明する。自動車内音声認識は、主にカー・ナビゲーション・システムにおけるコマンド入力、住所入力等の用途において実用化の域に入っている。しかし、現状では、音声認識の実行中にはＣＤの音楽を止めたり、同乗者には発話を慎んでもらったりする必要がある。また、踏切の警報機が鳴っている場合には音声認識を実行することができない。したがって、現段階では使用上の制限も多く、技術的にはまだ過渡期にあると考えられる。

自動車内音声認識の耐雑音性は、図１１の表に示すような発達段階１〜５を経て進化していくものと考えられる。すなわち、段階１において自動車内音声認識が耐性を有する雑音は定常走行音のみの雑音、段階２では定常走行音及びＣＤプレーヤやラジオ（以下、「ＣＤ・ラジオ」という。）が発する音声を混合した雑音、段階３では定常走行音及び非定常環境騒音（ロードバンプの音、他車通過音、ワイパ音等）を混合した雑音、段階４では定常走行音、非定常環境騒音及びＣＤ・ラジオ音声を混合した雑音、そして、段階５では定常走行音、非定常環境騒音、ＣＤ・ラジオ音声及び同乗者の発話を混合した雑音である。現状は段階１にあり、段階２及び段階３の実現に向けて、積極的に研究が進められている。

段階１においては、マルチスタイル・トレーニングとスペクトル・サブトラクションの技術が耐雑音性の向上に大きく貢献したと考えられる。マルチスタイル・トレーニングは、人間の発話に様々な雑音を重畳した音響を、音響モデルの学習に使用するものである。さらに、スペクトル・サブトラクションによって、定常雑音成分を、認識実行時と音響モデル学習時の両方の時点で、観測信号から減算する。これにより、耐雑音性が飛躍的に向上し、定常走行音環境では、音声認識は実用レベルになっている。

段階２のＣＤ・ラジオ音声は、段階３の非定常環境騒音と同じく非定常雑音であるが、特定の車載機器から出力される音声である。このため、その音声に変換される前の電気信号を、参照信号として、雑音の抑圧に利用することが可能である。その仕組みはエコー・キャンセラと呼ばれ、ＣＤ・ラジオ音声以外の雑音が無い静かな環境では高い性能を発揮することが知られている。すなわち、段階２では、エコー・キャンセラとスペクトル・サブトラクションの両方を使用することが期待される。しかし、走行中の車内では、参照信号とは関係のない走行音等の雑音が同時に観測されるため、通常のエコー・キャンセラの性能は低下することがわかっている。

図１２は通常のエコー・キャンセラのみを用いた従来の雑音除去装置の構成を示すブロック図である。通常は、エコー・キャンセラというと、時間領域のエコー・キャンセラ４０を指す。ここでは、説明のため、話者の発話ｓと背景雑音ｎがないものと仮定する。スピーカ３に入力されるＣＤ・ラジオ２の音声信号をｒ、マイク１で受音されるエコー信号をｘとすると、これらは室内のインパルス応答ｇを用いてｘ＝ｒ＊ｇと関係付けられる。＊は畳み込み演算を意味する。

そこで、エコー・キャンセラ４０は、適応フィルタ４２においてこのｇの推定値ｈを求め、推定エコー信号ｒ＊ｈをつくり、これをマイク１による受音信号Ｉｎから、減算部４３において差し引くことによって、エコー信号ｘをキャンセルすることができる。フィルタ係数ｈは、通常、最小平均二乗（ＬＭＳ）又は正規化した最小平均二乗（Ｎ−ＬＭＳ）のアルゴリズムにより、非発話区間において学習される。これによれば、位相と振幅の両方が考慮されるため、静かな環境では、高い性能が期待できる。しかしながら、高い環境騒音の下では、性能が低下することが知られている。

図１３は前段のエコー・キャンセラ４０及び後段のノイズ・リダクション部５０を備えた従来の雑音除去装置の構成を示すブロック図である。ノイズ・リダクション部５０は定常雑音を除去するものであり、ここでは、スペクトル・サブトラクション方式のものを用いている。この装置は、エコー・キャンセラのみ又はスペクトル・サブトラクションのみを行う方法に比べ、性能が高い。しかし、前段のエコー・キャンセラ４０への入力Ｉｎに、後段で除去されるべき定常雑音も含まれているため、エコー・キャンセルの性能が低下するという問題がある（たとえば非特許文献１参照）。

雑音下におけるエコー・キャンセラの性能を上げるには、エコー・キャンセルを行う前にノイズ・リダクションを行うことが考えられる。しかし、時間領域のエコー・キャンセラの前においては、原理的に、スペクトル・サブトラクション方式のノイズ・リダクションを行うことはできない。また、ノイズ・リダクションをフィルタで行うようにすると、エコー・キャンセラはフィルタの変化に追従することができない。さらに、ノイズ・リダクションのための定常雑音成分の推定を行う際にエコー成分が邪魔になるといった問題もある。したがって、エコー・キャンセルの前にノイズ・リダクションを行う例は数少ない。

図１４はこの例を示すブロック図である。前段にスペクトル・サブトラクションによるノイズ・リダクション部６０を備え、後段にエコー・キャンセラ７０を備える。この構成を含む非特許文献２のものにおいては、エコー・キャンセラの前段及び後段の２箇所においてノイズ・リダクションを試みているが、前段のノイズ・リダクションは、あくまでプリ・プロセスという位置づけである。

後段のエコー・キャンセラ７０として、周波数領域のスペクトル・サブトラクション又はウィナー・フィルタによるものを採用することによって、ノイズ・リダクションをエコー・キャンセルの前又はエコー・キャンセルと同時に行うことができる。しかし、この場合、ノイズ・リダクション部６０においては、除去すべき雑音成分に対しエコー成分が含まれるので、定常雑音成分の正確な推定が困難である。そこで、特許文献１のものにおいては、適用対象を電話による通話の場合に限定し、通話者の双方が黙っている時間、すなわち背景雑音のみが存在する時間において、定常雑音成分を測定するようにしている。

図１５はさらに別の従来例を示す。この例は、図１４のものにおいて、定常雑音成分をより正確に推定するために、さらにノイズ・リダクション部６０の前段に時間領域のエコー・キャンセラ４０を設け、予めエコー成分を除去するようにしている（たとえば非特許文献３及び４参照）。この場合、エコー・キャンセラ４０によるプリ・プロセスを行ってもなお、エコー成分は残留する。しかし、適用対象がハンズフリー通話であるので、通話者の双方が黙っている時間、すなわち背景雑音のみの存在する時間が生じるのを期待することができる。したがって定常雑音成分のより正確な測定はそのタイミングにおいて行えばよい。

この従来例では、エコー・キャンセラは２段構成となっているので、エコーはより確実に除去することができる。しかし、非特許文献３及び４のいずれの例においても、エコー成分をエコー推定値の大きさのまま除去しているので、完全に除去できるわけではない。また、非特許文献３の例ではプリ・プロセスの出力値によるフロアリングがなされており、非特許文献４の例では聴感改善のための原音付加方式を採用しているので、いずれの例においてもエコー成分はゼロにならない。その一方、音声認識においては、残留した雑音が音楽やニュースなどの場合、そのパワーがどんなに弱められても、人間の発話として扱われやすく、誤認識に結びつきやすいという背景がある。

非特許文献４では、エコーの残響への対処方式についても言及している。この対処方式では、エコー・キャンセルの際に、前フレームで求めたエコー推定値の係数倍を、現フレームのエコー推定値に追加することにより、残響成分も含めてエコー・キャンセルを行うようにしている。しかし、その係数は部屋の環境に合わせて事前に与えておく必要があり、自動的に決定されるものではないという問題がある。

周波数領域のパワー・スペクトルを使用したエコー・キャンセラにおいては、エコー及びこれを除去するために参照する参照信号がモノラル信号である場合に限らず、ステレオ信号である場合にも対応することができる。具体的には、非特許文献５において述べられているように、参照信号のパワー・スペクトルを、左右の参照信号の重み付け平均とし、重みを、観測信号と左右の参照信号との相関の度合いにより決定すればよい。時間領域のエコー・キャンセラのプリ・プロセスがある場合、その部分については既に研究成果が多数発表されているステレオ・エコー・キャンセラの技術を適用すればよい。

特開平９−２５２２６８号公報 F. Basbug, K Swaminathan, S.Nandkumar, "Integrated Noise Reduction and Echo Cancellation For IS-136Systems", ICASSP 2000 B. Ayad, G.Faucon, R.L.B-Jeannes,"Optimization Of a Noise Reduction PreProcessing in an Acoustic Echo and NoiseController", ICASSP 96 P.Dreiseitel, H.Puder, "ACombination of Noise Reduction and Improved Echo Cancelation", IWAENC '97, London,1997, Conference Proceedings, pp. 180 - 183 Sumitaka Sakauchi, AkiraNakagawa, Yoichi Haneda, Akitoshi Kataoka, "Implementing and Evaluating anAudio Teleconferencing Terminal with Noise and Echo Reduction", pp.191-194,IWAENC 2003 Sabine Deligne, Ramesh Gopinath, "RobustSpeech Recognition with Multi-channel Codebook Dependent Cepstral Normalization(MCDCN)", ASRU 2001

上述のように、スペクトル・サブトラクションは、現在、音声認識において広く用いられている。そこで、本発明の目的の１つは、スペクトル・サブトラクションの枠組みを大きく変えることなく、現存する音響モデル等の有効利用を図りながら、定常雑音に加えＣＤ・ラジオ音声等の非定常雑音が存在する環境における耐雑音性を向上させることができる雑音除去技術を提供することにある。

また、車載用のＣＤ・ラジオの音声がエコー音源となっている場合には、エコーが存在しない時間は期待できないため、定常雑音のみが存在する時間が生じることを前提としている図１４や図１５の従来技術によれば、定常雑音成分を正確に推定することができない。そこで本発明の他の目的は、エコー音が常に存在する状況下においても、定常雑音成分の推定を行うことができる雑音除去技術を提供することにある。

また、上述のように、図１５の従来技術によれば、エコー成分の除去性能をより向上させることはできるものの、音声認識に適用した場合、わずかに残留したエコー成分を人間の発話であると誤認するおそれがある。かかる問題点に鑑み、本発明の別の目的は、定常雑音の除去については音響モデルとの互換性を保持しながら、認識文字湧き出しエラーの主要因となるエコー成分をより完全に消去することができる雑音除去技術を提供することにある。

また、上述のエコーの残響についての対処方式によれば、エコー・キャンセルの際に、前フレームで求めたエコー推定値に乗ずる係数を、部屋の環境に合わせて事前に与えておく必要があり、自動的に決定することができないという問題がある。したがって、本発明のさらに別の目的は、エコーの残響についても、随時学習しながら除去することができる雑音除去技術を提供することにある。

上記目的を達成するため、本発明の雑音除去装置、雑音除去プログラム、及び雑音除去方法では、所定の定数についてのその適応係数を用いた演算、及び周波数領域の所定の参照信号についてのその適応係数を用いた演算を行うことにより、周波数領域の所定の観測信号に含まれる定常雑音成分及び参照信号に対応する非定常雑音成分の各推定値を取得し、観測信号について、各推定値に基づく雑音除去処理を行い、その結果に基づいて各適応係数の更新を行うようにしている。前記推定値の取得及び適応係数の更新を繰り返すことにより、各適応係数の学習が行われる。

ここで、雑音除去装置、雑音除去プログラム、及び雑音除去方法としては、たとえば、音声認識やハンズフリー電話器に使用されるものが該当する。雑音除去処理としては、たとえば、スペクトル・サブトラクションや、ウィナー・フィルタによる雑音除去処理が該当する。

この構成において、観測信号に含まれる定常雑音成分及び非定常雑音成分の各推定値が得られると、観測信号について、各推定値に基づく雑音除去処理が行われる。この結果に基づいて、各適応係数が更新され、更新された各適応係数に基づき、さらに、各推定値が求められる。この学習ステップを繰り返すことにより各適応係数の学習が行われる。つまり学習ステップ毎に、順次、定常雑音成分及び非定常雑音成分双方の推定値による雑音除去処理結果に基づいて双方の適応係数の更新が行われ、双方の適応係数の学習が同時に進行する。この学習により得られる最終的な各適応係数を適用して得られる各推定値に基づき、雑音除去処理を観測信号に対して施すことにより、観測信号から定常雑音成分及び非定常雑音成分を良好に除去することができる。

本発明によれば、このようにして、定常雑音成分及び非定常雑音成分双方の適応係数を同時に学習するようにしているので、従来行われていたような、一方の成分についての学習結果に基づいて雑音除去処理を行った後の観測信号に対し、さらに別個に他方の成分についての学習を行い、その結果を反映するという手法に比べ、高い精度で雑音除去を行うことができる。

本発明の好ましい態様においては、観測信号は、音波を電気信号に変換し、さらに周波数領域の信号に変換して取得することができる。また、参照信号は、観測信号に含まれる非定常雑音成分の原因となる非定常雑音源による発音に対応する信号を周波数領域の信号に変換して取得することができる。音波の電気信号への変換は、たとえば、マイクロホンにより行うことができる。周波数領域の信号への変換は、たとえば、離散的なフーリエ変換（ＤＦＴ）により行うことができる。非定常雑音源としては、たとえば、ＣＤプレーヤ、ラジオ、非定常的な動作音を発する機械、及び電話器におけるスピーカが該当する。非定常雑音源による発音に対応する信号としては、たとえば、非定常雑音源において生成される電気信号としての音声信号や、非定常雑音源の発する音響を電気信号に変換したものが該当する。

この場合、電気信号を周波数領域の信号に変換するのに先立ち、電気信号に対し、周波数領域の信号に変換する前の参照信号に基づき、時間領域におけるエコー・キャンセルを施すようにしてもよい。

本発明の好ましい態様においては、観測信号及び参照信号は、時間領域の信号を所定のフレーム毎に周波数領域の信号に変換して取得することができる。この場合、非定常雑音成分の推定値の取得は、所定の各フレームについて、それに先立つ所定の複数個のフレームの参照信号に基づいて行い、参照信号についての適応係数は、前記複数フレームの各参照信号に係る複数の係数とすることができる。

この場合、雑音除去処理は観測信号から定常雑音成分及び非定常雑音成分の各推定値を減算することにより行い、前記学習は、前記所定の各フレームについての定常雑音成分及び非定常雑音成分の推定値の加算値と観測信号との差の二乗の平均値が小さくなるように適応係数を更新することによって行うことができる。

本発明の好ましい態様においては、観測信号中に非雑音成分が含まれない雑音区間において前記学習により得られた各適応係数を用い、観測信号中に非雑音成分が含まれる非雑音区間において、参照信号に基づき、観測信号に含まれる定常雑音成分及び非定常雑音成分の各推定値を取得し、観測信号について、各推定値に基づく雑音除去処理を行うことができる。この場合、非雑音成分が話者の発話に基づくものであれば、雑音除去処理結果としての出力は、話者の発話についての音声認識を行うために用いることができる。

この場合、雑音除去処理を、観測信号から定常雑音成分及び非定常雑音成分の各推定値を減算することにより行い、その際、減算処理に先立ち、該定常雑音成分の推定値に対し第１の減算係数を乗算するようにしてもよい。第１減算係数の値として、前記音声認識に使用される音響モデルの学習に際し、スペクトル減算による定常雑音の除去のために用いた減算係数と同様の値を用いることができる。「同様の値」には、「同一の値」に限らず、発明の所期の効果が得られると考えられる範囲内の値も含まれる。また、この場合、減算処理に先立ち、該非定常雑音成分の推定値に対し第２の減算係数を乗算し、第２減算係数の値として、第１減算係数の値よりも大きい値を用いるようにしてもよい。

本発明によれば、周波数領域の観測信号及び参照信号に基づき、定常雑音成分及び非定常雑音成分の推定値の算出に用いられる各適応係数の学習を同時に行うようにしたため、両成分が存在する区間においても各適応係数の学習をより精確に行い、両成分のより精確な推定値を取得することができる。その際に、両成分の雑音除去を、スペクトル・サブトラクションの手法によって行うことができるので、現状の音声認識において広く用いられているスペクトル・サブトラクションの枠組みを大きく変更することはない。

このため、上述のように、音声認識に使用される音響モデルの学習に際し、スペクトル減算による定常雑音の除去のために用いた減算係数と同様の値を有する第１減算係数を採用することにより、その音響モデルに適合した雑音除去を行うことができる。したがって既存の音響モデルを有効に利用することができる。

さらにこの場合、上述のように、第１減算係数よりも値が大きな第２減算係数を採用することにより、オーバ・サブトラクションのテクニックを導入することができる。すなわち、非定常雑音成分としてのエコー成分についての第２減算係数についてのみ、音響モデルが想定している減算係数よりも大きい値を設定することにより、定常雑音に対しては音響モデルとの互換性を保ちながら、認識文字湧き出しエラーの主原因となるエコー成分をより多く消し去ることができる。

また、上述のように、非定常雑音成分の推定値の取得を、所定の各フレームについて、それに先立つ所定の複数フレームの参照信号に基づいて行い、参照信号についての適応係数を、該複数フレームの各参照信号に係る複数の係数とすることにより、非定常雑音成分としてのエコーの残響をも含めて除去するように学習を行うことができる。

図１は本発明の一実施形態に係る雑音除去システムの構成を示すブロック図である。同図に示すように、このシステムは、周囲からの音響を電気信号としての観測信号ｘ（ｔ）に変換するマイクロホン１、観測信号ｘ（ｔ）を所定の音声フレーム毎にパワー・スペクトルとしての観測信号Ｘ_ω（Ｔ）に変換する離散フーリエ変換部４、車載用のＣＤ・ラジオ２からスピーカ３への出力信号が参照信号ｒ（ｔ）として入力され、これを前記音声フレーム毎にパワー・スペクトルとしての参照信号Ｒ_ω（Ｔ）に変換する離散フーリエ変換部５、並びに参照信号Ｒ_ω（Ｔ）を参照し、観測信号Ｘ_ω（Ｔ）についてのエコー・キャンセル及び定常雑音の除去を行う雑音除去部１０を備える。ここで、Ｔは音声フレームの番号であり、時間に対応する。ωは離散フーリエ変換（ＤＦＴ）のビン（ｂｉｎ）番号であり、周波数に対応する。観測信号Ｘ_ω（Ｔ）には、通過自動車等からの定常雑音ｎ、話者からの発話ｓ、及びスピーカ３からのエコーｅの各成分が含まれ得る。雑音除去部１０における処理は、ビン番号毎に行われる。

雑音除去部１０は、エコー・キャンセラ及びスペクトル・サブトラクションによる定常雑音の除去を一体化して行うものである。すなわち雑音除去部１０は、発話ｓが存在しない非発話区間において、観測信号Ｘ_ω（Ｔ）に含まれるエコーのパワー・スペクトル推定値Ｑ_ω（Ｔ）を算出するための適応係数Ｗ_ω（ｍ）を適応学習により取得し、その過程において、観測信号Ｘ_ω（Ｔ）に含まれる定常雑音のパワー・スペクトル推定値Ｎ_ωを同時に求め、その結果に基づき、発話ｓが存在する発話区間において、エコー・キャンセル及び定常雑音の除去を行う。

雑音除去部１０は、適応係数Ｗ_ω（ｍ）に基づき推定値Ｑ_ω（Ｔ）及びＮ_ωを算出する適応部１１、推定値Ｎ_ω及びＱ_ω（Ｔ）に対しそれぞれ減算重みα_１及びα_２を乗算する乗算部１２及び１３、観測信号Ｘ_ω（Ｔ）から乗算部１２及び１３の出力を減算し、減算結果Ｙ_ω（Ｔ）を出力する減算部１４、推定値Ｎ_ωにフロアリング係数βを乗算する乗算部１５、減算部１４の出力Ｙ_ω（Ｔ）及び乗算部１５の出力βＮ_ωに基づき、発話ｓについての音声認識に使用されるパワー・スペクトルＺ_ω（Ｔ）を出力するフロアリング部１６を備える。適応部１１は、非発話区間における適応学習時には、音声フレーム毎に、参照信号Ｒ_ω（Ｔ）を参照し、減算部１４の出力Ｙ_ω（Ｔ）をエラー信号Ｅ_ω（Ｔ）として、適応係数Ｗ_ω（ｍ）の更新を行い、更新された適応係数Ｗ_ω（ｍ）に基づく推定値Ｎ_ω及びＱ_ω（Ｔ）の算出を行うとともに、発話区間においては、音声フレーム毎に、参照信号Ｒ_ω（Ｔ）及び学習済みの適応係数Ｗ_ω（ｍ）に基づく推定値Ｑ_ω（Ｔ）の算出及び推定値Ｎ_ωの出力を行う。

図２は離散フーリエ変換部４及び５並びに雑音除去部１０を構成するコンピュータを示すブロック図である。このコンピュータは、プログラムに基づくデータ処理や各部の制御を行う中央処理装置２１、中央処理装置２１が実行中のプログラムや関連するデータを高速にアクセスできるように記憶する主記憶装置２２、プログラムやデータを記憶する補助記憶装置２３、データや指令を入力するための入力装置２４、中央処理装置２１による処理結果の出力や、入力装置２４との協働によるＧＵＩ機能を行うための出力装置２５等を備える。図中の実線はデータの流れ、破線は制御信号の流れを示している。このコンピュータには、離散フーリエ変換部４及び５並びに雑音除去部１０としてコンピュータを機能させる雑音除去プログラムがインストールされている。また、入力装置２４には、図１におけるマイクロホン１等が含まれる。

図１中の乗算部１２及び１３において乗算される減算重みα_１及びα_２は、適応係数Ｗ_ω（ｍ）の学習時には１にセットされ、音声認識に使用されるパワー・スペクトルＺ_ω（Ｔ）の出力時には、それぞれ所定の値にセットされる。適応学習のためのエラー信号Ｅ_ω（Ｔ）は、観測信号Ｘ_ω（Ｔ）、エコーの推定値Ｑ_ω（Ｔ）、及び定常雑音の推定値Ｎ_ωを用いて、次のように記述される。

エコーの推定値Ｑ_ω（Ｔ）は、過去Ｍ−１フレーム分の参照信号Ｒ_ω（Ｔ−ｍ）及び適応係数Ｗ_ω（ｍ）を用いて次のように表現される。

過去の参照信号Ｒ_ω（Ｔ−ｍ）を参照するようにしたのは、１フレームを超える長さの残響に対処するためである。定常雑音の推定値Ｎ_ωは、便宜上、（３）式で定義される。Ｃｏｎｓｔは任意の定数である。

（２）式及び（３）式の定義により、（１）式は（４）式で表すことができる。

適応係数Ｗ_ω（ｍ）は、非発話区間において、（５）式を最小化するように、適応学習によって求められる。Ｅｘｐｅｃｔ［］は期待値操作を表す。

期待値操作としては、非発話区間の各フレームの平均を算出する操作が行われる。ここでは、非発話区間のＴフレーム目までの総和を、次の記号で表す。

（５）式が最小化するとき、次式が成立する。

したがって、次のような関係が得られる。

したがって、適応係数Ｗ_ω（ｍ）は、次式により求めることができる。

以上の方法によれば行列Ａ_ωの逆行列を求める必要があるので、比較的演算量が多い。行列Ａ_ωに対して対角化の近似を施せば、次のように、Ｗ_ω（ｍ）の近似値を逐次的に求めることもできる。△Ｗ_ω（ｍ）は、Ｗ_ω（ｍ）についてのフレームＴにおける更新量である。Ａ_ＬＭＳは更新係数、Ｂ_ＬＭＳは安定化のための定数である。

このようにして非発話区間において求められるＷ_ω（ｍ）を用い、発話区間においては（１２）式、すなわちこれに（２）式及び（３）式を適用した（１３）式に従い、観測信号Ｘ_ω（Ｔ）から定常雑音及びエコーを除去したパワー・スペクトルＹ_ω（Ｔ）を得ることができる。

音声認識に用いられる音響モデルの学習は、従来、定常雑音のみを考慮して行われる。したがって、定常雑音の推定値Ｎ_ωに対する減算重みα_１の値として、音響モデルの学習時に施したスペクトル・サブトラクションにおける減算重みの値と同じ値を用いることにより、その音響モデルを、本システムの出力Ｚ_ω（Ｔ）に基づく音声認識において流用することができる。これにより、エコーが存在しない場合の音声認識性能をベストチューンの状態とすることができる。一方、エコーの推定値Ｑ_ω（Ｔ）に対する減算重みα_２の値として、α_１より大きい値を採用することによって、音響モデルの学習時には含まれていないエコーをより完全に除去し、エコーが存在する場合の音声認識性能を飛躍的に高めることができる。

一般に、音声認識の前処理としての雑音除去においてスペクトル・サブトラクションを適用する際には、適切なフロアリングが不可欠である。このフロアリングは、定常雑音の推定値Ｎ_ωを用い、（１４ａ）及び（１４ｂ）式に従って行うことができる。βはフロアリング係数である。βの値として、本システムの出力Ｚ_ω（Ｔ）に基づく音声認識に使用する音響モデルの学習時における雑音除去に際して使用したフロアリング係数と同じ値を用いることにより、その音声認識の精度を高めることができる。

このフロアリングを経て、音声認識への入力となる、定常雑音及びエコーが除去されたパワー・スペクトルＺ_ω（Ｔ）が得られる。Ｚ_ω（Ｔ）に対して逆離散的フーリエ変換（Ｉ−ＤＦＴ）を施し、観測信号の位相を流用することにより、実際に人間の耳で聞くことのできる時間領域の音声ｚ（ｔ）を得ることもできる。

図３及び図４は、適応学習のためのエラー信号Ｅ_ω（Ｔ）を現す式（４）において定数項Ｃｏｎｓｔを追加したことにより、定常雑音成分を、参照信号Ｒに係る適応係数Ｗと同時に推定することができる様子を示す。ただし簡単のため、エコー成分の推定値の算出に使用する参照信号Ｒのフレーム数Ｍの値を１とした場合について示している。図３（ａ）は、エコー源が存在し、かつ定常雑音としての背景雑音が無い場合の非発話区間において観測された各フレームについての参照信号Ｒのパワー及び観測信号Ｘのパワーの観測値を対応付けてプロットしたものである。図３（ｂ）には、これらの観測値に基づいて適応推定がなされた適応係数Ｗによる参照信号Ｒに対する観測信号Ｘの関係が、直線Ｘ＝Ｗ・Ｒとして示されている。

一方、図４（ａ）はエコー源及び背景雑音の双方が存在する場合の非発話区間において観測された各フレームについての参照信号Ｒのパワー及び観測信号Ｘのパワーの観測値をプロットしたものである。図４（ｂ）には、これらの観測値に基づいて適応推定がなされた適応係数Ｗによる参照信号Ｒに対する観測信号Ｘの関係が、直線Ｘ＝Ｗ・Ｒ＋Ｎとして示されている。つまり、定数項Ｃｏｎｓｔを追加したことにより、定常雑音成分Ｎが各フレームにわたる一定の値として、同時に推定されていることがわかる。しかも、図３（ｂ）のエコー源のみが存在する場合と同様の雑音推定精度が得られることがわかる。

図５は図１の雑音除去システムにおける処理を示すフローチャートである。処理を開始すると、まず、ステップ３１及び３２において、システムは離散フーリエ変換部４及び５により、観測信号及び参照信号のパワー・スペクトルＸ_ω（Ｔ）及びＲ_ω（Ｔ）を、それぞれ１フレーム分取得する。

次に、ステップ３３において、システムは、今回パワー・スペクトルＸ_ω（Ｔ）及びＲ_ω（Ｔ）を取得したフレームの属する区間が、話者が発話を行っている発話区間であるか否かを、観測信号のパワー等に基づく周知の方法を用いて判定する。発話区間でないと判定した場合にはステップ３４へ進み、発話区間であると判定した場合にはステップ３５へ進む。

ステップ３４では、定常雑音の推定値及びエコー・キャンセラ適応係数の更新を行う。すなわち、適応部１１は、式（７）〜（１０）により、適応係数Ｗ_ω（ｍ）を求め、式（３）により、観測信号に含まれる定常雑音のパワー・スペクトル推定値Ｎ_ωを求める。なお、これに代えて、式（１１ａ）及び（１１ｂ）を用い、逐次的に適応係数Ｗ_ω（ｍ）及び定常雑音のパワー・スペクトル推定値Ｎ_ωを更新するようにしてもよい。この後、ステップ３５へ進む。

ステップ３５において、適応部１１は、適応係数Ｗ_ω（ｍ）及び過去Ｍ−１フレーム分の参照信号に基づき、式（２）により、観測信号に含まれるエコーのパワー・スペクトル推定値Ｑ_ω（Ｔ）を求める。さらに、ステップ３６において、乗算部１２及び１３は、求められた推定値Ｎ_ω及びＱ_ω（Ｔ）に対して減算重みα_１及びα_２を乗算し、減算部１４は式（１２）に従い、これらの乗算結果を、観測信号のパワー・スペクトルＸ_ω（Ｔ）から減算し、定常雑音及びエコーが除去されたパワー・スペクトルＹ_ω（Ｔ）を取得する。

次に、ステップ３７において、定常雑音の推定値Ｎ_ωによるフロアリングを行う。すなわち、乗算部１５は適応部１１が求めた定常雑音の推定値Ｎ_ωに対しフロアリング係数βを乗算する。フロアリング部１６は、式（１４ａ）及び（１４ｂ）に従い、この乗算結果β・Ｎ_ωと減算部１４の出力Ｙ_ω（Ｔ）との比較を行い、Ｙ_ω（Ｔ）≧β・Ｎ_ωであればＹ_ω（Ｔ）を、Ｙ_ω（Ｔ）＜β・Ｎ_ωであればβ・Ｎ_ωを、出力すべきパワー・スペクトルＺ_ω（Ｔ）の値として採用する。このようにしてフロアリングが施された１フレーム分のパワー・スペクトルＺ_ω（Ｔ）を、フロアリング部１６は、ステップ３８において出力する。

次に、システムは、ステップ３９において、今回パワー・スペクトルＸ_ω（Ｔ）及びＲ_ω（Ｔ）を取得して処理した音声フレームが最後のものであるか否かを判定する。最後のものではないと判定した場合にはステップ３１に戻り、次のフレームについて処理を続行する。最後のものであると判定した場合には、図５の処理を終了する。

以上の図５の処理により、非発話区間において適応係数Ｗ_ω（ｍ）の学習を行うとともに、この学習結果に基づき、発話区間において、定常雑音成分及びエコー成分が除去されてフロアリングが施された音声認識用のパワー・スペクトルＺ_ω（Ｔ）を出力することができる。

以上説明したように、本実施形態によれば、定常雑音成分及び非定常雑音成分の推定値Ｎ_ω及びＱ_ω（Ｔ）の算出に用いられる各適応係数Ｗ_ω（Ｍ）及びＷ_ω（ｍ）（ｍ＝０〜Ｍ−１）の学習を同時に行うようにしているので、各適応係数の学習を精確に行うことができる。したがって、前述の発達段階における段階２、すなわち定常走行音及びＣＤ・ラジオからのエコーが存在する自動車内における音声認識に必要な耐雑音性を達成することができる。

また、定常雑音の推定値Ｎ_ωに対する減算重みα_１の値として、段階１の音声認識で使用される音響モデルの学習時における定常雑音の除去に使用した減算重みの値と同じ値を用いることにより、段階２の音声認識において、段階１の音響モデルをそのまま利用することができる。つまり、現行の製品で用いられている音響モデルとの整合性が高い。

また、雑音除去部１０では、エコー・キャンセルを含め、スペクトル・サブトラクション方式により雑音成分の除去を行うようにしているため、現行の音声認識システムに対して、その音声認識エンジンのアーキテクチャを大きく変更することなく、本システムを実装することができる。

また、エコーの推定値Ｑ_ω（Ｔ）に対する減算重みα_２として、減算重みα_１よりも大きい値を採用することにより、認識文字湧き出しエラーの主原因となるエコー成分をより多く消し去ることができる。

また、各フレームについてのエコーの推定値Ｑ_ω（Ｔ）の取得を、それに先立つＭ−１フレーム分の参照信号をも参照して行い、参照信号についての適応係数を、該Ｍ−１フレームの各参照信号に係るＭ個の係数とすることにより、エコーの残響をも含めて除去するように学習を行うことができる。

図６は本発明の別の実施形態に係る雑音除去システムの構成を示すブロック図である。このシステムは、図１の構成において、離散フーリエ変換部４の前に時間領域でのエコー・キャンセラ４０を追加したものであり、図１５の従来例の場合と同様に、エコー・キャンセラ４０によるプリ・プロセスを行うようにしている。エコー・キャンセラ４０は、観測信号ｘ（ｔ）に対して所定の遅延を生じさせる遅延部４１、参照信号ｒ（ｔ）に基づいて観測信号ｘ（ｔ）に含まれるエコー成分の推定値を出力する適応フィルタ４２、観測信号ｘ（ｔ）からエコー成分の推定値を減算する減算部４３を備える。減算部４３の出力は離散フーリエ変換部４への入力とされる。また、適応フィルタ４２は、減算部４３の出力をエラー信号ｅ（ｔ）として参照し、自身のフィルタ特性を調整する。これによれば、ＣＰＵの負担が増えることとの引替えに、さらに雑音除去性能を向上させることができる。

実施例１として、まず、自動車内のバイザ位置に、図１のマイクロホン１を設置し、アイドリング（車速０［ｋｍ］）、市街地走行（車速５０［ｋｍ］）、及び高速走行（車速１００［ｋｍ］）の３速度における自動車内の実環境において、男女各１２名の話者による連続数字１３文及びコマンド１３文の発話を収録した。この収録発話データにおけるトータルの収録文数は、連続数字が９３６文、コマンドが９３６文である。実環境下における収録であるため、雑音としては定常走行音の他に多少の他車通過音、環境騒音、エアコン音等を含んでいる。このため、走行速度が０［ｋｍ／ｈ］であったとしても、雑音の影響は受けている。

別途、自動車の停止時において、ＣＤ・ラジオ２を動作させてスピーカ３により楽音を出力し、マイクロホン１からの観測信号及びＣＤ・ラジオ２からの参照信号をそれぞれ同時に収録した。そして、収録した観測信号（以下、「収録楽音データ」という。）を、収録発話データに対し適切なレベルで重畳することにより、車速が０［ｋｍ］、５０［ｋｍ］及び１００［ｋｍ］の場合の実験用観測信号ｘ（ｔ）を作成した。

そして、収録した参照信号ｒ（ｔ）及び作成した実験用観測信号ｘ（ｔ）について、図１の装置を用いて雑音除去を施し、音声認識を行った。ただし、音響モデルとしては、様々な定常走行音を重畳し、スペクトル・サブトラクションを施して作成した不特定話者モデルを用い、音声認識タスクとしては、「１」、「３」、「９」、「２」、「４」等の桁読みなし連続数字タスク（以下、「ディジットタスク」という。）及び「ルート変更」、「住所検索」等の３６８の単語についてのコマンドタスクを実施した。また、よりフェアな比較を行うために、音声認識実行時には、サイレンス・ディテクタは使用せずに、発話毎に作成されたファイルの全区間を認識対象とした。また、エコーの推定値Ｑ_ω（Ｔ）の算出に使用する参照信号のフレーム数Ｍの値は５とし、減算重みα_１及びα_２の値はそれぞれ１．０及び２．０とした。

なお、ディジットタスクにおいては、桁数指定が無いので、非発話区間における認識文字の誤湧き出しに敏感であり、エコーすなわちここでは楽音による雑音の除去量を観測するのに向いている。一方、コマンドタスクにおいては、文法が１文１単語であるので、認識文字の誤湧き出しの心配は無い。そのため、発話部分の音声歪みの度合いを観測するのに向いていると考える。

図７の表２における実施例１の欄に、図１のシステムの雑音除去方式及びその方式を表すブロック図を示す。表中の「ＳＳ」はスペクトル・サブトラクション、「ＮＲ」はノイズ・リダクション、「ＥＣ」はエコー・キャンセルを意味する。この方式では、上述したように、観測信号Ｘ及び参照信号Ｒに基づいて定常雑音の推定値Ｎ”、及びエコーの推定値ＷＲを算出するための適応係数Ｗについての学習を行い、学習後の推定値Ｎ”及びＷＲを観測信号から減算することによって、出力Ｙを得るようにしている。つまり、定常雑音の推定値Ｎ”が、適応係数Ｗの学習過程で自然に求められるようになっている。

図８の表３における実施例１の欄に、ディジットタスクによる音声認識の結果として、車速が０［ｋｍ］、５０［ｋｍ］及び１００［ｋｍ］の各実験用観測信号についての単語誤り率（％）並びにこれらの平均値を示す。また、図９の表４における実施例１の欄に、コマンドタスクによる音声認識の結果として、各実験用観測信号についての単語誤り率（％）並びにこれらの平均値を示す。

実施例２として、図６のシステムを用いた以外は実施例１の場合と同様の条件で音声認識を行った。このシステムの雑音除去方式及びその方式を表すブロック図を表２中の実施例２の欄に示す。この方式は、上述のように、実施例１の方式において、時間領域のエコー・キャンセルをプリ・プロセッサとして加えたものである。また、各タスクによる音声認識の結果を、表３及び表４中の実施例２の欄に示す。

比較例１として、表２中の比較例１の欄に示した雑音除去方式を用い、かつ実験用観測信号の代わりに収録楽音データを重畳していない収録発音データを音声認識に用いた以外は実施例１の場合と同様の条件で音声認識を行った。各タスクによる音声認識の結果を、表３及び表４中の比較例１の欄に示す。この雑音除去方式では、定常雑音及びエコーに対する対策としては、スペクトル・サブトラクションのみが施されている。この方式であっても、定常走行音のみの環境下では、音声認識の精度は十分に高い。

比較例２〜５として、表２中の比較例２〜５の欄にそれぞれ示した雑音除去方式を用いた以外は実施例１の場合と同様の条件で音声認識を行った。各音声認識の結果を、表３及び表４中の比較例２〜５の欄に示す。

比較例２の雑音除去方式では、表２の比較例２の欄に示されるように、エコー・キャンセルは行わず、従来のスペクトル・サブトラクションのみを行っている。この場合、エコー・キャンセルを行っていないため、表３及び４に示されるように、同じ実験用観測信号を使用した、比較例３〜５に比べ、音声認識の精度がかなり低いことがわかる。

比較例３の雑音除去方式では、表２の比較例３の欄に示されるように、定常雑音及びエコーについての対策として、前段でエコー・キャンセルを行い、後段でスペクトル・サブトラクションを行うようにしている。前段のエコー・キャンセルはタップ数２０４８のＮ−ＬＭＳ（正規化された平均二乗）アルゴリズムによるものである。この方式は、図１３の従来技術に相当する。エコー・キャンセルを行っているため、表３及び４に示されるように、比較例２に比べ、音声認識の精度がかなり向上しているのがわかる。

比較例４の雑音除去方式では、表２中の対応欄に示されるように、前段でスペクトル・サブトラクションによる定常雑音の除去を行い、後段でスペクトル・サブトラクション形式のエコー・キャンセラによるエコー除去を行うようにしている。この方式は、図１４の従来技術に相当する。ただし、よりフェアな比較を可能にするために、実施例１及び２におけると同様の残響対策だけは、この比較例４のものにおいても施してある。比較例４の場合、表３及び４に示されるように、比較例２よりは高い性能を示すものの、定常雑音成分の推定に誤差が大きいため、比較例３よりも性能は劣っている。

比較例４に対する実施例１の最大の相違は、定常雑音成分がエコー・キャンセラの適応の過程で同時に求められる点にある。これにより、実施例１の方式は、比較例３及び４の方式の性能を大きく上回っている。

比較例５の雑音除去方式は、比較例４の方式において、その前段に、時間領域のエコー・キャンセラをプリ・プロセッサとして導入したものである。この方式は、前述の図１５の従来技術に相当する。ただし、よりフェアな比較を可能にするために、実施例１及び２における残響対策だけは比較例５のものにおいても施してある。比較例５の場合、表３及び４に示されるように、プリ・プロセッサの効果によって、比較例４に比べ、性能は大きく改善されている。しかし、実施例１はプリ・プロセッサを有していないにも拘わらず、実施例１の性能を超えるには至っていない。

実施例１及び２の結果が比較例３や４に比べて優れているのは、次のような理由によるものと考えられる。すなわち、比較例３の方式によれば、前段のエコー・キャンセラへ入力される観測信号には定常雑音成分が除かれずにそのまま含まれているため、高騒音環境下において、エコー・キャンセラの性能が低下する。また、比較例４の方式によれば、前段において観測信号Ｘから減算する平均パワーＮ’にエコーの影響が含まれるので、定常雑音を精確に除去することができない。

これに対し、実施例１によれば、表２中の実施例１の欄に示されるように、定常雑音成分の推定値Ｎ”及びエコー・キャンセラにおける適応係数Ｗについての学習を同時に行い、その結果に基づき雑音除去を行うようにしているため、定常雑音及びエコーの双方を適切に除去することができる。さらに実施例２では、時間領域のエコー・キャンセラをプリ・プロセッサとして導入しているため、表３及び４に示されるように、さらに性能を向上させることができる。

図１０は実施例１の方式により学習を行った定常雑音成分のパワー推定値が、学習をエコーが常に存在する環境において行った場合でも、真の定常雑音のパワーに良く一致することを示すグラフである。図中の曲線は、ある１つの発話についての、収録楽音データが重畳されていない収録発話データに基づく、正しい定常雑音パワーを示す。三角（△）は、該１つの発話に対応する実験用観測信号部分に基づき実施例１の方式で学習した定常雑音パワーの推定値を示す。四角（□）は、エコーが除去されていない同じ実験用観測信号部分の雑音区間（非発話区間）についての平均パワーを示す。実施例１の方式で学習した定常雑音成分の推定値は、正しい定常雑音成分を良く近似していることがわかる。

表３（図８）において、比較例３による単語誤り率の平均値は２．８［％］であるのに対し、実施例２による単語誤り率の平均値は１．６［％］となっている。したがって、実施例２によれば、ディジットタスクについて、比較例３に比べ、単語誤り率を４３［％］削減したことになる。また、表４（図９）において、比較例３による単語誤り率の平均値は４．６［％］であるのに対し、実施例２による単語誤り率の平均値は２．６［％］となっている。したがって、実施例２によれば、コマンドタスクについて、比較例３に比べ、単語誤り率を４３［％］削減したことになる。単語誤り率の４０［％］以上の削減は、音声認識の分野においては、顕著な改善である。

なお、本発明は、上述の実施形態に限定されることなく、適宜変形して実施することができる。たとえば、上述においては、雑音除去の処理をパワー・スペクトルの減算により行っているが、この代わりに、強度（マグニチュード）の減算により行うようにしてもよい。一般に、スペクトル・サブトラクションの分野では、パワー及び強度双方の減算によるインプリメントが行われている。

また、上述においては、定常雑音（背景雑音）を除去するために、スペクトル・サブトラクションを用いているが、この代わりに、ウィナー・フィルタ等のような、背景雑音のスペクトラムを除去する他の手法を用いるようにしてもよい。

また、上述においては、エコー及び参照信号として、モノラル信号のものを用いて説明しているが、本発明は、これに限らず、ステレオ信号のものにも対応することができる。具体的には、背景技術の欄で説明したように、参照信号のパワー・スペクトルを、左右の参照信号の重み付け平均とし、時間領域エコー・キャンセラのプリ・プロセスについては、ステレオ・エコー・キャンセラの技術を適用すればよい。

また、上述においては、ＣＤ・ラジオ２の音声出力信号を参照信号としているが、この代わりに、カー・ナビゲーション・システムの音声出力信号を参照信号とするようにしてもよい。これによれば、システムが運転者に音声でメッセージを伝えている最中に、ユーザの発話による割込みを音声認識により受け入れるバージインが可能となる。

また、上述においては、自動車内での音声認識を目的として雑音除去を行うようにしているが、これに限らず他の環境における音声認識を目的として本発明を適用することもできる。たとえば、ポータブル・パーソナル・コンピュータ（以下、「ノートＰＣ」という。）によって本発明に従った雑音除去を行う音声認識システムを構成し、ノートＰＣの音声出力信号を、該システムにおける参照信号とすることにより、ノートＰＣによってＭＰ３形式の音声ファイルやＣＤ等の楽音を再生している間に、ノートＰＣによって音声認識を行うことができるようにしてもよい。

また、ロボットにおいて、本発明に従った雑音除去を行う音声認識システムを構成し、ロボットの体内に参照信号取得用のマイクロホンを設置するとともに、体外に向けたコマンド入力用のマイクロホンを設置することにより、ロボットの動作中に顕著となるサーボモータ音などの内部雑音をキャンセルしながら発話によるロボットへのコマンド入力を行うことができるようにしてもよい。また、家庭用テレビにおいて、本発明に従った雑音除去を行う音声認識システムを構成し、テレビの音声出力を参照信号とすることにより、テレビの視聴中に、チャンネル変更や予約録画等のコマンドを、発話によりテレビに与えることができるようにしてもよい。

また、上述においては、本発明を、音声認識に適用した場合について説明したが、これに限らず本発明は、定常雑音及びエコーの除去を必要とする種々の用途に適用することができる。たとえば、ハンズフリー電話機による通話においては、相手からの送話信号はスピーカにより音声に変換され、この音声が、自身の発話を入力するためのマイクロホンを介し、エコーとして入力されてしまう。そこで、該電話機に本発明を適用し、相手からの送話信号を参照信号とすることにより、入力信号からエコー成分を除去し、通話品質を改善することができる。

本発明の一実施形態に係る雑音除去システムの構成を示すブロック図である。 図１のシステムを構成するコンピュータを示すブロック図である。 図１のシステムにより、定常雑音成分Ｎを、参照信号Ｒに係る適応係数Ｗと同時に推定することができる様子を示す図である。 図１のシステムにより、定常雑音成分Ｎを、参照信号Ｒに係る適応係数Ｗと同時に推定することができる様子を、図３との協働により示す図である。 図１の雑音除去システムにおける処理を示すフローチャートである。 本発明の別の実施形態に係る雑音除去システムの構成を示すブロック図である。 各実施例及び比較例で用いられる雑音除去方式及びその方式を表すブロック図を示す表２の図である。 各実施例及び比較例についての、ディジットタスクによる音声認識の結果を示す表３の図である。 各実施例及び比較例についての、コマンドタスクによる音声認識の結果を示す表４の図である。 実施例１の方式により学習を行った定常雑音成分のパワー推定値が真の定常雑音のパワーに良く一致することを示すグラフである。 自動車内音声認識における耐雑音性の発達段階を示す表１１の図である。 通常のエコー・キャンセラのみを用いた従来の雑音除去装置の構成を示すブロック図である。 前段のエコー・キャンセラ後段のノイズ・リダクション部を備えた従来の雑音除去装置の構成を示すブロック図である。 前段にスペクトル・サブトラクションによるノイズ・リダクション部を備え、後段にエコー・キャンセラを備える従来の雑音除去装置を示すブロック図である。 図１４の装置の前段に時間領域のエコー・キャンセラを設けた従来の雑音除去装置を示すブロック図である。

符号の説明

１：マイクロホン、２：ＣＤ・ラジオ、３：スピーカ、４，５：離散フーリエ変換部、１０：雑音除去部、１１：適応部、１２，１３，１５：乗算部、１４：減算部、１６：フロアリング部、２１：中央処理装置、２２：主記憶装置、２３：補助記憶装置、２４：入力装置、２５：出力装置、４０：時間領域のエコー・キャンセラ、４１：遅延部、４２：適応フィルタ、４３：減算部、５０，６０：ノイズ・リダクション部、７０：エコー・キャンセラ。

Claims (12)

1. 所定の定数についてのその適応係数を用いた演算、及び周波数領域の所定の参照信号についてのその適応係数を用いた演算を行うことにより、周波数領域の所定の観測信号に含まれる定常雑音成分及び前記参照信号に対応する非定常雑音成分の各推定値を取得する手段と、
   前記観測信号について、各推定値に基づく雑音除去処理を、同一の観測信号を対象として同時に行い、その結果に基づいて各適応係数の更新を同時に行う手段と、
   前記推定値の取得及び適応係数の更新を繰り返すことにより、各適応係数の学習を行う適応手段とを備え、
   前記各適応係数の更新は、前記雑音除去処理結果に基づいて同時に求められた各適応係数の更新値により行われることを特徴とする雑音除去装置。
2. 音波を電気信号に変換する手段と、前記電気信号を周波数領域の信号に変換して前記観測信号を取得する手段と、前記非定常雑音成分の原因となる非定常雑音源による発音に対応する信号を周波数領域の信号に変換して前記参照信号を取得する手段とを有する請求項１に記載の雑音除去装置。
3. 前記観測信号及び参照信号は、時間領域の信号を所定の時間フレーム毎に周波数領域の信号に変換して得たものであり、前記非定常雑音成分の推定値の取得は、所定の各フレームについて、それに先立つ所定の複数フレームの前記参照信号に基づいて行われ、前記参照信号についての適応係数は、前記複数フレームの各参照信号に係る複数の係数である請求項１に記載の雑音除去装置。
4. 前記観測信号中に非雑音成分が含まれない雑音区間において前記学習により得られた各適応係数を用い、前記観測信号中に非雑音成分が含まれる非雑音区間において、前記参照信号に基づき、前記定常雑音成分及び非定常雑音成分の各推定値を取得し、前記観測信号について、各推定値に基づく雑音除去処理を行う雑音除去手段を有する請求項１に記載の雑音除去装置。
5. 前記非雑音成分は話者の発話に基づくものであり、前記雑音除去手段の出力は話者の発話についての音声認識を行うために用いられる請求項４に記載の雑音除去装置。
6. 前記雑音除去処理は前記観測信号から前記定常雑音成分及び非定常雑音成分の各推定値を減算する処理であり、前記雑音除去手段は、前記減算処理に先立ち、該定常雑音成分の推定値に対し第１の減算係数を乗算する手段を備え、前記第１減算係数の値は、前記音声認識に使用される音響モデルの学習に際し、スペクトル減算による定常雑音の除去のために用いた減算係数と同様の値である請求項５に記載の雑音除去装置。
7. 前記雑音除去手段は、前記減算処理に先立ち、該非定常雑音成分の推定値に対し第２の減算係数を乗算する手段を備え、前記第２減算係数の値は、前記第１減算係数の値よりも大きい請求項６に記載の雑音除去装置。
8. 前記非定常雑音源による発音に対応する信号は、前記非定常雑音源が発する音波を電気信号に変換することによって得られるものである請求項２に記載の雑音除去装置。
9. 前記電気信号を周波数領域の信号に変換するのに先立ち、前記電気信号に対し、前記周波数領域の信号に変換する前の参照信号に基づき、時間領域におけるエコー・キャンセルを施す手段を有する請求項２に記載の雑音除去装置。
10. 前記雑音除去処理は前記観測信号から前記定常雑音成分及び非定常雑音成分の各推定値を減算する処理であり、前記学習は、前記所定の各フレームについての前記定常雑音成分及び非定常雑音成分の推定値の加算値と観測信号との差の二乗の平均値が小さくなるように前記適応係数の更新を行うことによって行われる請求項３に記載の雑音除去装置。
11. 所定の定数についてその適応係数を用いた演算、及び周波数領域の所定の参照信号についてその適応係数を用いた演算を行うことにより、周波数領域の所定の観測信号に含まれる定常雑音成分及び前記参照信号に対応する非定常雑音成分の各推定値を取得する手順と、
    前記観測信号について、各推定値に基づく雑音除去処理を、同一の観測信号を対象として同時に行い、その結果に基づいて各適応係数の更新を同時に行う手順と、
    前記推定値の取得及び適応係数の更新を繰り返すことにより、各適応係数の学習を行う適応手順とをコンピュータに実行させる雑音除去プログラムであって、
    前記各適応係数の更新は、前記雑音除去処理結果に基づいて同時に求められた各適応係数の更新値により行われることを特徴とする雑音除去プログラム。
12. 音波を電気信号に変換する工程と、
    前記電気信号を周波数領域の信号に変換した観測信号を取得する工程と、
    非定常雑音源による発音に対応する信号を周波数領域の信号に変換した参照信号を取得する工程と、
    所定の定数についてその適応係数を用いた演算、及び周波数領域の所定の参照信号についてその適応係数を用いた演算を行うことにより、前記観測信号に含まれる定常雑音成分及び前記非定常雑音源からの音波に基づく非定常雑音成分の各推定値を取得する工程と、
    前記観測信号について、各推定値に基づく雑音除去処理を、同一の観測信号を対象として同時に行い、その結果に基づいて各適応係数の更新を同時に行う工程と、
    前記推定値の取得及び適応係数の更新を繰り返すことにより、各適応係数の学習を行う適応工程とを備え、
    前記各適応係数の更新は、前記雑音除去処理結果に基づいて同時に求められた各適応係数の更新値により行われることを特徴とする雑音除去方法。
    

Images