JP4162604B2

JP4162604B2 - 雑音抑圧装置及び雑音抑圧方法

Info

Publication number: JP4162604B2
Application number: JP2004003108A
Authority: JP
Inventors: 皇天田; 聡典河村; 亮典小柴
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2004-01-08
Filing date: 2004-01-08
Publication date: 2008-10-08
Anticipated expiration: 2024-01-08
Also published as: US20050152563A1; JP2005195955A; US7706550B2

Description

本発明は、ハンズフリー通話や音声認識等で用いられる雑音抑圧技術の一つであり、入力音響信号から目的とする音声信号を強調して出力する技術に関する。

実環境での音声認識や携帯電話の実用化に伴い、雑音の重畳した信号から雑音を取り除き音声信号のみを強調する信号処理方法が重要になってきている。スペクトルサブトラクション(Spectral Subtraction：ＳＳ)は、効果的で実現がしやすいためしばしば用いられる（例えば、非特許文献１を参照）。

スペクトルサブトラクションにはミュージカルノイズと呼ばれる聴覚上不自然に聞こえる音が生成される問題がある。これは雑音区間で特に顕著であり、実際にはバラツキが存在する入力信号（雑音信号）からその平均値を引き去ることで、消し残しの成分が不連続に存在することに起因する。この問題を解決する方法として、過剰抑圧を行うという方法がある。過剰抑圧とは推定ノイズよりも大きな値を引去り、雑音の変動成分も含めて抑圧してしまう方法である。なお、減算により負の値になる場合は最小値で置き換えるなどの処理が行われる。しかし、過剰抑圧は、音声区間で抑圧量が過剰になり、音声が歪んでしまうといった問題があった（例えば、非特許文献２を参照）。

また、ミュージカルノイズの発生した区間に何らかの処理を施して目立たなくする方法、例えば入力信号などに小さなゲインをかけて加えるなどの方法もあるが、この方法ではミュージカルノイズが知覚できなくなるまで十分な信号を重畳すると、重畳した信号により雑音レベルが上がり、雑音抑圧の効果が失われかねない問題があった。

S.Boll,"Suppression of Acoustic Noise in Speech Using SpectralSubtraction",IEEE Trans., ASSP-27, No.2, pp.113-120,1979 Z.Goh,K.Tan and B.T.G.Tan,"Postprocessing Method for Suppressing MusicalNoise Generated by spectral Subtraction",IEEE Trans.,SAP-6, No. 3, May 1998

上述したように、抑圧係数を大きくして過剰抑圧することは、ミュージカルノイズを押さえる効果はあるものの、音声区間での歪みを生みやすいという問題があった。また、ミュージカルノイズに入力信号を重畳するなどの後処理を用いた手法では、ミュージカルノイズを知覚できなくするに十分な音量を重畳すると、雑音抑圧の効果が失われる問題があった。

本発明は、このような課題を解決するためになされたものであり、雑音区間ではミュージカルノイズが発生せず、音声区間での歪みも発生しない雑音抑圧装置、及び雑音抑圧方法を提供することを目的とする。

上記の課題を解決するために本発明に係る雑音抑圧装置は、雑音信号と目的信号が混合した入力信号から雑音信号を抑圧する雑音抑圧装置において、前記入力信号から雑音信号成分を推定する雑音推定手段と、前記入力信号から目的信号区間と雑音信号区間を判定する区間判定手段と、前記入力信号と前記推定雑音信号とから第１の抑圧係数に応じて雑音抑圧をする雑音抑圧手段と、前記入力信号と前記推定雑音信号とから前記第１の抑圧係数よりも大きな第２の抑圧係数に応じて雑音抑圧をする雑音過剰抑圧手段と、目的信号区間の出力に残留する雑音信号とのレベルの違いを補正する係数を前記入力信号に乗じた補正用信号を生成する補正用信号生成手段と、前記補正用信号と前記雑音過剰抑圧手段の出力とを加算する加算手段と、前記区間判定手段の判定結果に応じて前記雑音抑圧手段の出力信号と前記加算手段の出力信号とを切替える切替手段とを具備したことを特徴とする。

また、雑音信号と目的信号が混合した入力信号から雑音信号を抑圧する雑音抑圧装置において、前記入力信号から雑音信号成分を推定する雑音推定手段と、前記入力信号から目的信号区間と雑音信号区間を判定する区間判定手段と、前記入力信号と前記推定雑音信号とから第１の抑圧係数を算出する抑圧係数算出手段と、前記入力信号と前記推定雑音信号とから前記第１の抑圧係数よりも大きな第２の抑圧係数を算出する過剰抑圧係数算出手段と、前記入力信号から目的信号区間の出力に残留する雑音信号とのレベルの違いを補正する係数を生成する補正用係数生成手段と、前記補正用係数と前記第２の抑圧係数とを加算する加算手段と、前記区間判定手段の判定結果に応じて前記第１の抑圧係数と前記加算手段で加算された係数とを切替える切替手段と、前記切替手段により切替えられた係数を前記入力信号に乗じる乗算手段とを具備したことを特徴とする。

また、前記区間判定手段は、前記入力信号と前記推定雑音信号とから目的信号区間と雑音信号区間とを判定することを特徴とする。

また、雑音信号と目的信号が混合した複数の入力信号から雑音信号を抑圧する雑音抑圧装置において、前記複数の入力信号から目的信号が強調される統合信号を生成する統合信号生成手段と、前記統合信号から雑音信号成分を推定する雑音推定手段と、前記複数の入力信号から目的信号区間と雑音信号区間を判定する区間判定手段と、前記統合信号と前記推定雑音信号とから第１の抑圧係数を算出する抑圧係数算出手段と、前記統合信号と前記推定雑音信号とから前記第１の抑圧係数よりも大きな第２の抑圧係数を算出する過剰抑圧係数算出手段と、前記統合信号から目的信号区間の出力に残留する雑音信号とのレベルの違いを補正する係数を生成する補正用係数生成手段と、前記補正用係数と前記第２の抑圧係数とを加算する加算手段と、前記区間判定手段の判定結果に応じて前記第１の抑圧係数と前記加算手段で加算された係数とを切替える切替手段と、前記切替手段により切替えられた係数を前記統合信号に乗じる乗算手段とを具備したことを特徴とする。

また、雑音信号と目的信号が混合した複数の入力信号から雑音信号を抑圧する雑音抑圧装置において、前記複数の入力信号から周波数帯域毎に目的信号が強調されるサブバンド統合信号を生成するサブバンド統合信号生成手段と、前記サブバンド統合信号からサブバンド毎の雑音信号成分を推定する雑音推定手段と、前記複数の入力信号からサブバンド毎に目的信号区間と雑音信号区間を判定する区間判定手段と、前記サブバンド統合信号と前記推定雑音信号とからサブバンド毎に第１の抑圧係数を算出する抑圧係数算出手段と、前記サブバンド統合信号と前記推定雑音信号とからサブバンド毎に前記第１の抑圧係数よりも大きな第２の抑圧係数を算出する過剰抑圧係数算出手段と、前記サブバンド統合信号からサブバンド毎に目的信号区間の出力に残留する雑音信号とのレベルの違いを補正する係数を生成する補正用係数生成手段と、サブバンド毎に前記補正用係数と前記第２の抑圧係数とを加算する加算手段と、前記区間判定手段の判定結果に応じてサブバンド毎に前記第１の抑圧係数と前記加算手段で加算された係数とを切替える切替手段と、前記切替手段により切替えられた係数をサブバンド毎に前記サブバンド統合信号に乗じる乗算手段と、サブバンド毎の前記乗算手段で係数を乗じたサブバンド統合信号を合成する合成手段とを具備したことを特徴とする。

また、雑音信号と目的信号が混合した入力信号から雑音信号を抑圧する雑音抑圧方法において、前記入力信号から雑音信号成分を雑音推定手段により推定し、前記入力信号から目的信号区間と雑音信号区間を区間判定手段により判定し、前記入力信号と前記推定雑音信号とから第１の抑圧係数に応じて雑音抑圧手段により雑音抑圧し、前記入力信号と前記推定雑音信号とから前記第１の抑圧係数よりも大きな第２の抑圧係数に応じて雑音過剰抑圧手段により雑音抑圧し、目的信号区間の出力に残留する雑音信号とのレベルの違いを補正する係数を前記入力信号に乗じた補正用信号を補正用信号生成手段により生成し、前記補正用信号と前記雑音過剰抑圧手段の出力とを加算手段により加算し、前記区間判定手段の判定結果に応じて前記雑音抑圧手段の出力信号と前記加算手段の出力信号とを切替手段により切替えることを特徴とする。

本発明によれば、音声区間に歪みを生むことなく雑音区間に不自然な消し残し音を発生させることなく雑音を抑圧することができる。

以下、図面を参照して本発明の実施の形態について詳細に説明する。

図１は本発明の第１の実施形態に係る雑音抑圧装置の構成を表すブロック図である。図１に示されるように、第１の実施形態の雑音抑圧装置は、音響信号を入力するための入力端子101と、音響信号を周波数領域に変換する周波数変換部102と、この出力から推定雑音を求める雑音推定部103 と、周波数変換部102 から雑音推定部103の出力を用いて雑音が抑圧された信号を生成する雑音抑圧部104と、同じくより強く雑音が抑圧された信号を生成する雑音過剰抑圧部105と、周波数変換部102の出力から雑音レベルを補正する信号を生成する雑音レベル補正用信号生成部106 と、雑音過剰抑圧部105と雑音レベル補正用信号生成部106との出力を加算する加算部107と、入力信号から音声区間か雑音区間かを判定する音声・雑音判定部108と、音声・雑音判定部108の出力により雑音抑圧104の出力と加算部107の出力を選択する切替部109 と、この出力を時間領域に変換する周波数逆変換部110から構成される。

入力端子101には、

で表される信号が入力される。ここでｘ（ｔ）はマイクなどで受音した時間波形を表す信号であり、ｓ（ｔ）はその中の目的信号成分（例えば音声）であり、ｎ（ｔ）は非目的信号成分（例えば周囲の雑音）である。入力された信号ｘ（ｔ）は周波数変換部102 においてＤＦＴなどを用いて所定の窓幅で周波数領域に変換されＸ（ｆ）を得る。（f は周波数を表す。）

雑音推定部103では、Ｘ（ｆ）から雑音信号の推定値Ｎｅ（ｆ）を推定する。この推定には、例えばｓ(ｔ)が音声信号の場合、非発話区間が存在するので、その区間はｘ(ｔ)＝ｎ（ｔ）となり、その区間の平均値をＮｅ（ｆ）とする。これを用いて、

として、音声の推定値|Se(f)|を得る。これを時間領域にもどすことで、音声のみを推定することができる。|Se(f)|は振幅値のみで位相項がないので、これには入力信号Ｘ（ｆ）の位相項を用いるのが一般的である。（数２）は振幅スペクトルで行う方法であるが、パワースペクトルを用いる方法もあり、一般的な表記を用いると

と表すことができる。スペクトルサブトラクションをフィルタ演算とみなして、

と表記することもできる。（ａ，ｂ）＝（１，１）の場合は振幅スペクトルを用いたスペクトルサブトラクション（数２）と等価になる。また（ａ，ｂ）＝（２，２）の場合はパワースペクトルを用いたスペクトルサブトラクションとなる。さらに、（ａ，ｂ）＝（１，２）かつα=１の場合はWienerフィルタの形式となる。これらは実現上においては（数４）で統一的に記述できる同種の手法と見なすことができる。

ここで、一般にＸ（ｆ）は複素数であり、

と表される。|X(f)|はＸ（ｆ）の大きさを、ａｒｇ（Ｘ（ｆ））は位相を、j は虚数単位である。周波数変換部102からはＸ（ｆ）の大きさが出力されるが、ここでは指数ｂを付加した一般的な表現を用いることにする。その理由は、スペクトルサブトラクションは（数３）で述べたように、いくつかのバリエーションが存在するためである。ｂの値は１または２である場合が多い。雑音推定部103は|X(f)|^ｂから推定雑音|Ne(f)|^ｂを求める。これには|X(f)|^ｂから雑音区間と見なされる区間の平均値を用いる。

例えば、雑音区間において

雑音抑圧部104、雑音過剰抑圧部105では周波数変換部102の出力|X(f)|^ｂから雑音推定部103の出力|Ne(f)|^ｂを引き去り出力信号|S(f)|^ｂを出力する。これには（数３）の方法を用いるが、推定雑音|Ne(f)|が入力信号|X(f)|よりも大きい場合などいくつかの処理方法がある。ここでは、

を用いることにする。ここで、Ｍａｘ（ｘ，ｙ）はｘ，ｙの大きい方を表し、αは抑圧係数、βはフロアリング係数である。αの値は大きいほど多くの雑音を取り除くことができるので、雑音抑圧効果は大きくなるが、音声が存在する区間では音声成分も引き去られ出力信号に歪みを生じる。βは正の小さな値で演算結果が負になることを抑止する。例えば (α、β) = ( 1.0, 0.01) 等である。

本発明においては雑音抑圧部104の抑圧係数(αｓ)よりも過剰雑音抑圧部105の抑圧係数（αn ）を大きくしている。また、過剰雑音抑圧部105では大きな抑圧係数が用いられているため雑音の平均的なパワー（雑音レベル）が雑音抑圧部104に比べて下がる。これを補償する手段として雑音レベル補正用信号生成部106を用いている。

ここでは、入力信号|X(f)|^ｂにゲインをかけた信号

を生成し、これを雑音過剰抑圧部105の出力に加算部107において加える。
切替部109では雑音抑圧部104と加算部107の出力を選択して出力信号を生成する。切替えは音声・雑音判定部108の判定結果に基づき、音声区間では雑音抑圧部104の出力を、雑音区間では加算部107の出力を選択する。音声・雑音判定部108での判定方法は様々な方法が存在するが、例えば信号のパワーと閾値を用いて判定する方法などがある。

最後に周波数逆変換部110で切替部109の出力を周波数領域から時間領域に変換され音声の強調された時間信号が得られる。さらに、フレーム単位で処理する場合はオーバーラップアドにより時間的に連続した信号を生成する場合でも適用できる。また周波数逆変換部110を用いずに時間領域に変換せず周波数領域のまま出力してもよい。

雑音過剰抑圧部105と雑音レベル補正用信号生成部106に関して詳細に説明する。上述したようにスペクトルサブトラクションにはミュージカルノイズと呼ばれる雑音区間での引き残しが不自然な音になる現象が存在する。図２を用いてこの現象を模式的に説明する。図２（ａ）は周波数変換した入力信号のある周波数 f の振幅値( |X(f)| )をフレーム（時刻）ごとに表したものである。ここではｂ= １として指数部を省略して表す。空白の箱が|X(f)|の雑音成分で斜線の箱が音声成分である。３本の点線のうち中央が雑音推定部により出力された推定雑音の大きさ|Ne(f)|を示し、上側が過剰抑圧を行う場合の値αn|Ne(f)|で、下側が通常の抑圧を行う場合の値 αs|Ne(f)|である。まず、α＝１で抑圧を行うと|Ne(f)|だけ振幅が減少し図２（ｂ）のようになる。これは通常のスペクトルサブトラクションであり、雑音区間のノイズが減少し、音声が強調されている。しかし、雑音区間に引き残し成分が間欠的に存在しミュージカルノイズとなって聞こえる。また、音声区間では引きすぎにより音声成分の一部が欠けてしまう。これは音声の歪みとなって知覚される。

図２（ｃ）はαn|Ne(f)|で過剰抑圧を行った場合である。雑音区間は完全に抑圧されミュージカルノイズは発生していないが、音声成分がかなり削られ大きな歪みが発生する。図２（ｄ）はαs|Ne(f)|で抑圧を行った場合である。音声成分に歪みは出ていないが、雑音区間に信号が間欠的に残る現象がまだ存在する。本発明は、図２（ｅ）に示すように音声区間と雑音区間を予め区別しておき、音声区間では歪みの生じない図２（ｄ）の方法で抑圧し、雑音区間は過剰抑圧により図２（ｃ）のように強い抑圧を行いミュージカルノイズを完全に除去される。

ところで、図２（ｅ）では雑音区間では雑音は完全に除去されているものの、音声区間では歪みを発生させないかわりに雑音も残っているため、この雑音が知覚され、雑音レベルが不連続に聞こえる場合がある。この問題を解決するため、図２（ｆ）に示したように雑音区間にのみ、入力信号のレベルを低減させた信号を加算することにより雑音レベルを揃える。以上が本発明の模式的な説明である。厳密には雑音と音声を加算した信号の振幅はそれぞれの振幅の和になるとは限らないなど正確な表現になっていない点は考慮しておく必要がある。

本発明ではミュージカルノイズを消しているのは過剰抑圧であり、入力信号の加算は音声区間との雑音レベルの違いを埋めるために行っている。これは、ミュージカルノイズを入力音声の加算で知覚しにくくする従来の方法とは異なる。従って本発明では、音声区間での抑圧係数を大きくとることにより、雑音区間で付加する信号のレベルを小さくすることが可能であり、この操作によりミュージカルノイズの削減効果が左右されることはない。

一方、従来は加算する信号のレベルとミュージカルノイズの知覚されやすさとは密接な関係があり、加算量を少なくするとミュージカルノイズは知覚されやすくなる。（数８）で用いられている入力信号に対するゲイン（１−αｓ）は次のように求められる。

まず、音声区間で歪みを生じないように抑圧係数αsが弱めに設定されるので、αsは１より小さい値となる。したがって、仮に音声区間が雑音のみであった場合、（１−αｓ）の雑音は引かれずに残ることになる。一方雑音区間では過剰抑圧により雑音はゼロになっている。したがって、その差（１−αｓ）分の信号を雑音区間に加えれば音声区間の雑音とレベルがそろうことになる。

ところで、音声区間の抑圧量αsが１に近い場合、付加する雑音のゲイン（１−αｓ）の値は小さな値となる。このような場合は音声区間と雑音区間の雑音レベルの差が知覚されにくいため、加算そのものを行わないという方法であってもよい。また、分散の大きな雑音の場合は、この方法でもレベル差が完全に補償できないことがあり、その場合は分散を考慮した補償方法を用いることも可能である。

図２（ｇ）は全区間雑音と誤った判定がされた場合の過剰抑圧後の状態を模式的に表している。上述している通り、過剰抑圧を行うと雑音区間ではミュージカルノイズは生じないが、音声区間に大きな歪みを生む。ここではこの後に入力信号の加算を行うため、誤って雑音と判断された音声区間には雑音成分とともに音声成分も加算されることになり、一度生じた歪みを回復させる効果がある（図２（ｈ））。つまり、音声区間を雑音区間と誤った場合でも、音声が誤って抑圧されることがない音声・雑音判定結果の誤りに対して頑健であるという効果がある。

図３は本発明の第２の実施形態に係る雑音抑圧装置の構成を示すブロック図である。第２の実施形態の雑音抑圧装置は、上述した第１の実施形態におけるスペクトルサブトラクションは伝達関数を乗算する形式にした場合の構成であり、第１の実施形態では（数３）に相当する減算形の抑圧方法であるのに対し、第２の実施形態は（数４）の乗算形に相当する。これらは本質的には同じであるため、以降の実施形態においても（数３）に相当する減算形の方法で実現することも可能である。第２の実施形態と第１の実施形態との違いは、雑音抑圧部104、雑音過剰抑圧部105、雑音レベル補正用信号生成部106が抑圧係数算出部204、過剰抑圧係数算出部205、雑音レベル補正用係数生成部206にそれぞれ置き換わり、切替部 107 の出力である重み係数を入力信号に乗算する乗算部211が加わっている点である。

抑圧係数算出部204では抑圧係数は、

と求められ、過剰抑圧係数算出部205では

と求められる。
既に述べたように（ａ，ｂ）＝（１，１）の場合は振幅スペクトルを用いたスペクトルサブトラクションと等価であり、（ａ，ｂ）＝（２，２）の場合はパワースペクトルを用いたスペクトルサブトラクション、（ａ，ｂ）＝（１，２）の場合はWiener フィルタの形式となる。また、抑圧係数は抑圧係数算出部204 ではαｓであり、音声区間に歪みを与えない抑圧量が設定されるのに対して、過剰抑圧係数算出部205ではαｎとなり、雑音区間でミュージカルノイズを十分に除去するため大きな係数が設定される点も第１の実施形態と同様である。

雑音レベル補正用係数生成部206では（数８）に相当する重み係数

と求められる。加算部207では、

が行われ、音声・雑音判定部208の結果に基づき ws(f) か wno(f) を切替部209で選択して最終的な重み係数 ww(f)を出力する。乗算部211では入力信号のスペクトルＸ（ｆ）にこの重み係数 ww(f)をかけ、出力信号 S(f)を

と求める。
本実施形態は第１の実施形態の表現を伝達関数が乗算される形式に替えただけのものであるが、|X(f)|の平滑化を行うことで、（数９）（数１０）で求める重み係数の局所的な変動を押さえ重み係数の変化を滑らかにすることができ、音質向上につながる。

一方（数１３）のＸ（ｆ）は平滑化を行うと音がぼやけてしまうので、平滑化を行わない方が望ましい。（数９）（数１０）のＸ（ｆ）の平滑化方法として、例えば（数６）の方法を用いることができる。平滑化に関して本実施例と同等のことを実施例１でも行うことが可能であるが、本実施例の方がより簡単に行える利点がある。

また、第１の実施形態と同様に音声区間の抑圧量αｓが１に近い場合、付加する雑音のゲイン（１−αｓ）の値は小さな値となる。このような場合は音声区間と雑音区間の雑音レベルの差が知覚されにくいため、付加そのものを行わなくてもよい。また、分散の大きな雑音の場合は、この方法でもレベル差が完全に補償できないことがあり、その場合は分散を考慮した補償方法を用いることも可能である。

図４は本発明の第３の実施形態に係る雑音抑圧装置の構成を表すブロック図である。第２の実施形態の音声・雑音判定部208 が入力信号ｘ（ｔ）に基づき判定を行っているのに対し、本実施例の音声・雑音判定部308は推定雑音 |N(f)|と入力信号|X(f)|に基づき判定を行っている。推定雑音と入力信号との比ＳＮＲは、

となる。本実施形態ではこの値を重み係数の切替えに用いている。ＳＮＲは全帯域でなく、音声のパワーが集中している帯域のみで算出するようにしてもよい。

図５に本発明の第４の実施形態に係る雑音抑圧装置の構成を表すブロック図をしめす。第１の実施形態の雑音レベル補正用信号生成部106が入力信号から補正用の信号を生成しているのに対し、本実施形態の雑音レベル補正用信号生成部406は予め保持している重畳用信号450から生成している。雑音区間を入力信号とは無関係に白色雑音や聴覚的に聞えの良い雑音にしたい場合など効果的である。

図６は本発明の第５の実施形態に係る雑音抑圧装置の構成を表すブロック図である。本実施形態は第２の実施形態に対して、N個の入力端子501-1〜501-Nと、これを周波数領域に変換する周波数変換部502とその出力を統合して１つの信号を出力する統合信号生成部512と、 N個の入力信号から音声・雑音判定508を行う音声・雑音判定部508を備えている点が異なる。

マイクロホンアレーなど複数のマイクを用いて特定の方向の音だけを強調する方法がある。この場合は入力信号が音声か雑音かという問題は特定の方向から到来している信号か否かという問題に置き換えることができる。音声・雑音判定部では複数の入力信号から信号の到来方向をもとに音声か雑音かの判定を下す。例えば、図７のようにマイク２本で正面から到来する信号を音声信号と見なす場合は、受音信号をＸ_０（ｆ）、Ｘ_１（ｆ）とし

て、

を指標として音声区間を検出することができる。
ここで、Ｘ_１ ^*（ｆ）はＸ_１（ｆ）の共役複素数でａｒｇは位相を取出す演算子、Ｍは周波数の成分数である。正面からの信号は２つのマイクに同じ位相で到来するため、片方を共役複素数にして互いに掛け合わせると、位相項はゼロになる。従って、（数１５）は理想的に正面から到達した信号に関しては、最小値Ｐｈ＝０となる。それ以外の方向に関して正面からずれるに従い値が増加するので、適当な閾値をもとに音声／雑音の区別を行うことができる。なお、マイクの本数が２本以上の場合は、例えば全てのマイクの組み合わせに対して（数１５）を計算するなどの方法がある。

信号統合部512では、複数の入力信号から一つの信号を生成する。例えば遅延和アレーと呼ばれる方法では、入力信号の加算を行う。具体的には、統合された信号Ｘ（ｆ）は入力信号Ｘ_１（ｆ）〜Ｘ_Ｎ（ｆ）を用いて、

と表される。ここでＮはマイクの本数である。
このようにすることで正面から入力された目的信号は同位相であるため強調され、その他の方向から入力された信号は位相がずれているため弱め合い、その結果目的信号が強調され雑音が抑圧されるので、後段のスペクトルサブトラクションの雑音抑圧効果との相乗効果で、１つのマイクの場合に比べてより高い雑音抑圧性能を実現することができる。

また複数のマイクを使って音声区間の検出を行うので、１つのマイクの場合よりも高い検出能力が実現可能である。例えば、横方向からの妨害音が存在する場合、１つのマイクではこれを音声と区別することは困難であるが、複数マイクであれば（数１５）のように、位相成分を利用して音声信号（正面からの信号）と区別することができる。

なお、周波数変換部502の後に統合信号生成部512が構成されているが、周波数変換部502と統合信号生成部512は逆順であってもよい。

図８は本発明の第６の実施形態に係る雑音抑圧装置の構成を表すブロック図である。第６の実施形態は第５の実施形態における統合信号生成部612 が目的信号強調部630と目的信号除去部631から構成されている。目的信号強調部630は第５の実施形態と同様に予め設定された目的音方向からの信号（例えば正面）の信号を強調するのに対し、目的信号除去部631は目的信号強調部630 の目的音方向とは異なる方向（例えば横方向）を目的音方向とする。その結果、目的信号除去部631では正面から到来する音声信号は弱められ、周囲の音が強調されることになる。このように特定の方向に指向性を形成するユニットはビームフォーマと呼ばれることがある。第５の実施形態で説明した遅延和アレーもビームフォーマの１つである。

本実施形態においては目的信号強調部630と目的信号除去部631を適応形アレーの代表であるGriffith-Jim形のビームフォーマを用いて実現する構成について説明する。

図９にGriffith-Jim形のビームフォーマの一構成例を示す。ビームフォーマの出力Ｘ（ｆ）は、入力信号Ｘ_０（ｆ）、Ｘ_１（ｆ）と適応フィルタを用いて求められる。入力端子 901,902にＸ_０（ｆ）、Ｘ_１（ｆ）がそれぞれ入力される。整相化部903では目的音方向の信号の位相が同位相になるように位相が調整される。その出力は加算部904で加算され、減算部905で減算される。この減算により目的音が消去されるため、残りの信号を適応フィルタ906の入力として加算器904の出力から引き去ることで雑音が除去された信号Ｘ（ｆ）が得られる。

Griffith-Jim形のビームフォーマは妨害音の方向に感度が急峻に落ちる谷状のノッチを作ることが可能であり、この特性は特に目的音信号除去部631 が正面からの音声を妨害音とみなして除去するのに適した性質である。

さらに、目的音信号除去部631の出力信号は雑音推定部603の入力信号としても用いる。雑音推定部603は自力でＸ（ｆ）を観測し音声のない区間を見つけこれを平滑化して推定雑音を生成したが、目的信号除去部631の出力は常に雑音のみであるため、雑音の推定に利用される。このことから、これら２つの信号を利用することでより高精度な雑音推定が可能となる。

図１０は本発明の第７の実施形態に係る雑音抑圧装置の構成を表すブロック図である。本実施形態は第５の実施形態における統合信号生成部512 の出力Ｘ（ｆ）を帯域分割部740でサブバンドに周波数分割し、各サブバンド毎に雑音抑圧を行う。雑音抑圧はこれまでの実施形態と同様であるが、音声・雑音判定部708 は各サブバンド毎に判定を行う。

音声のスペクトルを周波数方向に眺めると、振幅の出ている区間とそうでない区間が混在しており、山と谷がある。谷の部分の周波数に関しては、雑音区間と考えることができ、雑音レベルの推定や、過剰抑圧といった雑音区間で行う処理が用いられる。サブバンドに分割し各サブバンド毎の雑音／音声の判定に基づいて雑音抑圧を切替えることで、音声区間の品質をより高めることができる。

本実施例では複数の入力信号から統合信号を生成後にサブバンドに分割しているが、入力信号を先にサブバンドに分割した後にサブバンド単位で統合信号を求める構成であってもよい。

第１の実施形態に係る雑音抑圧装置の構成を表すブロック図。入力信号のフレーム毎の振幅を模式した図。第２の実施形態に係る雑音抑圧装置の構成を表すブロック図。第３の実施形態に係る雑音抑圧装置の構成を表すブロック図。第４の実施形態に係る雑音抑圧装置の構成を表すブロック図。第５の実施形態に係る雑音抑圧装置の構成を表すブロック図。マイクロホンアレイの機能を示す図。第６の実施形態に係る雑音抑圧装置の構成を表すブロック図。 Griffith-Jim形のビームフォーマの一構成例を表すブロック図。第７の実施形態に係る雑音抑圧装置の構成を表すブロック図。

符号の説明

101,201,301,401,501-1…501-N, 601-1…601-N, 701-1…701-N,901,902 入力端子
102,202,302,402,502,602,702 周波数変換部
103,203,303,403,503,603 雑音推定部
104,404 雑音抑圧部
204,304,504,604 抑圧係数算出部
105,405 雑音過剰抑圧部
205,305,505,605 過剰抑圧係数算出部
106,406 雑音レベル補正用信号生成部
206,306,506,606 補正レベル補正用係数生成部
107,207,307,407,507,607,707,904,905,907 加算部
108,208,308,408,508,608,708 音声・雑音判定部
109,209,309,409,509,609 切替部
110,210,310,410,510,610,710 周波数逆変換部
211,311,511,611 乗算器
512,612,712 総合信号生成部
450 重畳用信号保存部
630 目的信号強調部
631 目的信号除去部
740 帯域分割部
750 サブバンド雑音抑圧部
760 帯域統合部
903 整相化部
906 適応フィルタ

Claims

雑音信号と目的信号が混合した入力信号から雑音信号を抑圧する雑音抑圧装置において、前記入力信号から雑音信号成分を推定する雑音推定手段と、前記入力信号から目的信号区間と雑音信号区間を判定する区間判定手段と、前記入力信号と前記推定雑音信号とから第１の抑圧係数に応じて雑音抑圧をする雑音抑圧手段と、前記入力信号と前記推定雑音信号とから前記第１の抑圧係数よりも大きな第２の抑圧係数に応じて雑音抑圧をする雑音過剰抑圧手段と、目的信号区間の出力に残留する雑音信号とのレベルの違いを補正する係数を前記入力信号に乗じた補正用信号を生成する補正用信号生成手段と、前記補正用信号と前記雑音過剰抑圧手段の出力とを加算する加算手段と、前記区間判定手段の判定結果に応じて前記雑音抑圧手段の出力信号と前記加算手段の出力信号とを切替える切替手段とを具備したことを特徴とする雑音抑圧装置。
雑音信号と目的信号が混合した入力信号から雑音信号を抑圧する雑音抑圧装置において、前記入力信号から雑音信号成分を推定する雑音推定手段と、前記入力信号から目的信号区間と雑音信号区間を判定する区間判定手段と、前記入力信号と前記推定雑音信号とから第１の抑圧係数を算出する抑圧係数算出手段と、前記入力信号と前記推定雑音信号とから前記第１の抑圧係数よりも大きな第２の抑圧係数を算出する過剰抑圧係数算出手段と、前記入力信号から目的信号区間の出力に残留する雑音信号とのレベルの違いを補正する係数を生成する補正用係数生成手段と、前記補正用係数と前記第２の抑圧係数とを加算する加算手段と、前記区間判定手段の判定結果に応じて前記第１の抑圧係数と前記加算手段で加算された係数とを切替える切替手段と、前記切替手段により切替えられた係数を前記入力信号に乗じる乗算手段とを具備したことを特徴とする雑音抑圧装置。
前記区間判定手段は、前記入力信号と前記推定雑音信号とから目的信号区間と雑音信号区間とを判定することを特徴とする請求項１または請求項２記載の雑音抑圧装置。
雑音信号と目的信号が混合した複数の入力信号から雑音信号を抑圧する雑音抑圧装置において、前記複数の入力信号から目的信号が強調される統合信号を生成する統合信号生成手段と、前記統合信号から雑音信号成分を推定する雑音推定手段と、前記複数の入力信号から目的信号区間と雑音信号区間を判定する区間判定手段と、前記統合信号と前記推定雑音信号とから第１の抑圧係数を算出する抑圧係数算出手段と、前記統合信号と前記推定雑音信号とから前記第１の抑圧係数よりも大きな第２の抑圧係数を算出する過剰抑圧係数算出手段と、前記統合信号から目的信号区間の出力に残留する雑音信号とのレベルの違いを補正する係数を生成する補正用係数生成手段と、前記補正用係数と前記第２の抑圧係数とを加算する加算手段と、前記区間判定手段の判定結果に応じて前記第１の抑圧係数と前記加算手段で加算された係数とを切替える切替手段と、前記切替手段により切替えられた係数を前記統合信号に乗じる乗算手段とを具備したことを特徴とする雑音抑圧装置。
雑音信号と目的信号が混合した複数の入力信号から雑音信号を抑圧する雑音抑圧装置において、前記複数の入力信号から目的信号が強調される統合信号を生成する統合信号生成手段と、前記複数の入力信号から目的信号が抑圧された目的音除去信号を生成する目的音除去信号生成手段と、前記統合信号と前記目的音除去信号から雑音信号成分を推定する雑音推定手段と、前記複数の入力信号から目的信号区間と雑音信号区間を判定する区間判定手段と、前記統合信号と前記推定雑音信号とから第１の抑圧係数を算出する抑圧係数算出手段と、前記統合信号と前記推定雑音信号とから前記第１の抑圧係数よりも大きな第２の抑圧係数を算出する過剰抑圧係数算出手段と、前記統合信号から目的信号区間の出力に残留する雑音信号とのレベルの違いを補正する係数を生成する補正用係数生成手段と、前記補正用係数と前記第２の抑圧係数とを加算する加算手段と、前記区間判定手段の判定結果に応じて前記第１の抑圧係数と前記加算手段で加算された係数とを切替える切替手段と、前記切替手段により切替えられた係数を前記統合信号に乗じる乗算手段とを具備したことを特徴とする雑音抑圧装置。
雑音信号と目的信号が混合した複数の入力信号から雑音信号を抑圧する雑音抑圧装置において、前記複数の入力信号から周波数帯域毎に目的信号が強調されるサブバンド統合信号を生成するサブバンド統合信号生成手段と、前記サブバンド統合信号からサブバンド毎の雑音信号成分を推定する雑音推定手段と、前記複数の入力信号からサブバンド毎に目的信号区間と雑音信号区間を判定する区間判定手段と、前記サブバンド統合信号と前記推定雑音信号とからサブバンド毎に第１の抑圧係数を算出する抑圧係数算出手段と、前記サブバンド統合信号と前記推定雑音信号とからサブバンド毎に前記第１の抑圧係数よりも大きな第２の抑圧係数を算出する過剰抑圧係数算出手段と、前記サブバンド統合信号からサブバンド毎に目的信号区間の出力に残留する雑音信号とのレベルの違いを補正する係数を生成する補正用係数生成手段と、サブバンド毎に前記補正用係数と前記第２の抑圧係数とを加算する加算手段と、前記区間判定手段の判定結果に応じてサブバンド毎に前記第１の抑圧係数と前記加算手段で加算された係数とを切替える切替手段と、前記切替手段により切替えられた係数をサブバンド毎に前記サブバンド統合信号に乗じる乗算手段と、サブバンド毎の前記乗算手段で係数を乗じたサブバンド統合信号を合成する合成手段とを具備したことを特徴とする雑音抑圧装置。
雑音信号と目的信号が混合した入力信号から雑音信号を抑圧する雑音抑圧方法において、前記入力信号から雑音信号成分を雑音推定手段により推定し、前記入力信号から目的信号区間と雑音信号区間を区間判定手段により判定し、前記入力信号と前記推定雑音信号とから第１の抑圧係数に応じて雑音抑圧手段により雑音抑圧し、前記入力信号と前記推定雑音信号とから前記第１の抑圧係数よりも大きな第２の抑圧係数に応じて雑音過剰抑圧手段により雑音抑圧し、目的信号区間の出力に残留する雑音信号とのレベルの違いを補正する係数を前記入力信号に乗じた補正用信号を補正用信号生成手段により生成し、前記補正用信号と前記雑音過剰抑圧手段の出力とを加算手段により加算し、前記区間判定手段の判定結果に応じて前記雑音抑圧手段の出力信号と前記加算手段の出力信号とを切替手段により切替えることを特徴とする雑音抑圧方法。