JP3975153B2

JP3975153B2 - Blind signal separation method and apparatus, blind signal separation program and recording medium recording the program

Info

Publication number: JP3975153B2
Application number: JP2002312204A
Authority: JP
Inventors: 宏澤田; 良向井; 章子荒木; 昭二牧野
Original assignee: Nippon Telegraph and Telephone Corp; NTT Inc
Current assignee: Nippon Telegraph and Telephone Corp; NTT Inc
Priority date: 2002-10-28
Filing date: 2002-10-28
Publication date: 2007-09-12
Anticipated expiration: 2022-10-28
Also published as: JP2004145172A

Description

【０００１】
【発明の属する技術分野】
本発明は信号処理の技術分野に属し、複数の信号が空間内で混合されたものから、源信号をできるだけ正確に復元する信号分離の技術に関する。
本技術により、様々な妨害信号が発生する実環境において、目的の信号を精度良く取り出すことが可能となる。音信号に対する応用例としては、音声認識器のフロントエンドとして働く音源分離システムなどが挙げられる。話者とマイクが離れた位置にあり、マイクが話者の音声以外を収音してしまうような状況でも、そのようなシステムを使うことで話者の音声のみを取り出して正しく音声を認識することができる。
【０００２】
【従来の技術】
[ブラインド信号分離]
まず、ブラインド信号分離の定式化を行う。
Ｎ個の信号が混合されてＭ個（Ｍ≧Ｎ）のセンサで観測されたとする。本発明では、信号の発生源からセンサまでの距離により信号が減衰・遅延し、また壁などにより信号が反射して残響が発生する状況を扱う。このような状況での混合は、源信号ｓ_p(t)（ｔ：時刻、１＜ｐ≦Ｎ）からセンサｘ_q（t)（１＜ｑ≦Ｍ）へのインパルス応答ｈ_qp(k)による畳み込み混合
【数１】

ブラインド信号分離の目的は、源信号ｓ_p(t)やインパルス応答ｈ_qp(k)を知らずに、観測信号ｘ_q（t)のみから、分離のためのＦＩＲ(Finite Impulse Response)フィルタの係数ｗ_rq(k)と分離信号
【数２】

図１にＮ＝Ｍ＝２である場合のブラインド信号分離の概要を説明するための図を示す。
一般に源信号ｓ_p(t)は互いに独立であるため、独立成分分析(ＩＣＡ：Independent Component Analysis)を用いて分離のためのフィルタ係数ｗ_rq(k)を計算できる。ＩＣＡを用いた信号分離の手法には様々なものがあるが、残響に対処するためには周波数領域での手法が有効である。上記の畳み込み混合の問題を、周波数毎の瞬時混合の問題に置き換えることができるからである。
【０００３】
[周波数領域でのブラインド信号分離]
図２に周波数領域で独立成分分析を用いるブラインド信号分離装置の構成を示す。
周波数領域の手法では、フィルタ係数ｗ_rq(k)を直接計算するのではなく、その周波数応答Ｗ_rq(f)をＩＣＡを用いて計算する。そのために、まず、センサｑでの観測信号ｘ_q(t)に短時間離散フーリエ変換を適用してＸ_q(f,m)を求める。ここでｆは周波数、ｍはフレーム番号である。
次に、各周波数ｆで瞬時混合のＩＣＡ：
【外１】

揃える必要がある。これがパーミュテーション(permutation)の問題である。
これを解決した後、Ｗ_rq(f)に逆離散フーリエ変換を施すことで、分離のためのフィルタ係数ｗ_rq(k)が最終的に求まる。以下、permutationの問題を解決する従来技術を２つ紹介する
【０００４】
[信号の到来方向によるpermutationの解法]
１つ目の従来技術は、信号の到来方向を推定することによるpermutationの解法である（例えば、非特許文献１参照）。
センサの間隔が適度に狭ければ、独立成分分析によって得られる分離行列の各行は、ある方向から到来する信号を取り出しながら、別の方向から到来する信号を抑圧するという周波数領域でのフィルタを形成している。各周波数におけるこのような状況を解析し、分離行列の各行が取り出している信号の到来方向Θ(f)＝[θ₁(f),・・・,θ_P(f)]^Tを推定できれば、permutationを解決することができる。
到来方向の推定を行う代表的な方法として、指向特性をプロットするものが知られている。その方法はまず、混合系のインパルス応答を直接波のみで近似し、さらに平面波を仮定する。源信号ｓ_pの到来方向を０°≦θ_P≦180°（センサの並びと垂直な方向が90°）、センサｑの位置をｄ_qとすると、混合系の周波数応答はＨ_qp(f)＝ｅｘｐ（ｊ２πｆｃ^-1ｄ_qcosθ_P)と表現できる（ｃは信号の速度）。すると、角度θ_Pにある源信号ｓ_pから分離信号ｙ_rへの周波数応答
【数３】

が求まる。
【０００５】
図７は、ある２つの周波数に関して、指向特性のゲインをプロットしたものである。まず周波数3152Hzを見ると、分離行列の１行目Ｙ₁が与える指向特性は41°でゲインが最小となっており、２行目Ｙ₂が与える指向特性は132°でゲインが最小となっている。このことから、分離行列の１行目Ｙは41°から到来する信号を抑圧して132°から到来する信号を取り出し、逆に分離行列の２行目Ｙ₂は132°から到来する信号を抑圧して41°から到来する信号を取り出している。従って、Θ(3152Hz)＝[132,41]^Tと推定できる。同様に周波数3156Hzにおいては、Θ(3156Hz)＝[45,126]^Tと推定できる。明らかに現状ではpermutationが揃っていないため、3152Hzの分離行列の行を入れ替えてpermutationを揃える必要がある。
以上の方法により、分離行列の各行が取り出している信号の到来方向を周波数毎に推定し、それらの方向を揃えることによりpermutationを解決することができる。しかし、いくつかの周波数では、ゲインが最小となる角度０°≦θ_P≦180°に存在せず、到来方向の推定が得られない場合もある。また、推定値が他の周波数と大きく異なるため信頼度の低い推定となることもある。特に低周波数では、方向の差から生じる位相差が小さいため、そのような場合が多い。従って、それらの周波数ではpermutationが決定できなかったり間違えたりする。
【０００６】
[分離信号の類似度によるpermutationの解法]
２つ目の従来技術は、分離信号の類似度によるpermutationの解法である（例えば、非特許文献２参照）。
ある２つの周波数での分離信号Ｙ_r(f₁,m)とＹ_r(f₂,m)の類似度は、それらの絶対値の包絡線に関する相関を用いて計算する。
まず相関の定義を行う。
２つの信号x(n)とy(n)の相関はcor(x,y)＝[＜x・y＞−＜x＞・＜ｙ＞]／(σ_x・σ_y)で与えられる。ここで＜・＞は時間平均、σは標準偏差である。cor(x,x)＝１であり、ｘとｙが無相関ならばcor(x,y)＝０である。
ある２つの周波数での分離信号Ｙ_r(ｆ₁,ｍ)とＹ_r(ｆ₂,ｍ)は、たとえこれらが同じ源信号に対応していても、それらの相関は小さい。これはフーリエ変換が直交変換の性質をもつからである。一方、分離信号Ｙ_r(ｆ,ｍ)の絶対値の包絡線（Ｒは移動平均を取る長さを決定するパラメータ）
【数４】

は分離信号Ｙ_r(ｆ,ｍ)自身と違い、同じ源信号に対応する場合、特に近傍の周波数で高い相関を持つことが知られている。従ってこれらの相関を計算することでpermutationを解決できる。以後の説明では、permutationをπ：｛１,・・・,Ｎ｝→｛１,・・・,Ｎ｝で表現する。例えばＮ＝２である場合、permutationを変更しなければπ(１)＝１,π(２）＝２であり、permutationを入れ替えればπ(１)＝２,π(２)＝１である。従来の技術としては、周波数の差Ｄ以下の近傍で相関の和が最も大きくなるように
【数５】

に基づき周波数ｆでのpermutationπ_fを求めていく方法が存在する。ここでπ_gは周波数ｇでのpermutationである。
【０００７】
【非特許文献１】
S.Kurita, H.Saruwatari,S.Kajita, K.Takeda, and F.Itakura, "Evaluation of blind signal separation method using directivity pattern under reverberant conditions," in Proc. ICASSP2000, 2000, pp.3140-3143
【非特許文献２】
S.Ikeda and N.Murata, "An approach to blind source separation of speech signals," in Proc. ICANN '98, Sep.1998, pp.761-766
【０００８】
【発明が解決しようとする課題】
従来の技術として紹介したpermutationの解決方法は、それぞれ以下の欠点がある。
１つ目の信号の到来方向によるものでは、実際に起こる信号の減衰や残響を考慮せず、混合系のインパルス応答を直接波のみで近似し平面波を仮定して方向を推定している。そのため、従来の技術で説明したように、いくつかの周波数で方向が推定できないこと、あるいは推定できたとしても信頼度の低い推定となることがある。その結果、それらの周波数ではpermutationが決定できなかったり間違えたりする。全体としてみると、いくつかの周波数でどうしてもpermutationを間違うため、高精度にpermutationを解決しているとは言えない。
一方、２つ目の分離信号の類似度によるものは、式（３）に従ってpermutationを解決するため、すべての周波数ビン(bin)でpermutationが決定できる。また、分離信号そのものを用いているため、その精度は、近似を行っている１つ目の到来方向によるものより高い。しかし、近傍の周波数との相対的な関係によりpermutationを決定していくため、どこかの周波数で間違えれば、その先の周波数すべてにおいて間違えることになる。従って、すべての周波数で正しいpermutationが得られれば良いが、どこかの周波数で間違えた場合の被害は甚大であるため、安定性に欠けるという点で実用的ではない。
そこで本発明の目的は、上記２つの方法を統合してお互いの欠点を補間し合い、高精度で安定性のあるpermutationの解決方法を提供することにある。
【０００９】
【課題を解決するための手段】
上記目的を達成するため、本発明は、
観測信号を短時間フーリエ変換し、
独立成分分析により各周波数での分離行列を求め、
各周波数での分離行列の各行により取り出される信号の到来方向を推定し、
その推定値が十分に信頼できるかどうかを判定し、
到来方向の推定値からpermutationを決定し、
周波数間での分離信号の絶対値の包絡線を計算し、
指定された（推定値が十分に信頼できる）周波数のpermutationは変更せずに、指定されない周波数では近傍の周波数との分離信号の絶対値の包絡線の相関に基づきpermutationを決定することを特徴とする。
【００１０】
【発明の実施の形態】
[周波数領域で独立成分分析を用いる信号分離の構成]
図２は、周波数領域で独立成分分析を用いるブラインド信号分離装置のブロック図である。
その詳細は従来の技術で説明した。本発明は、この中のpermutation解決部に特徴を有する。
図３に本発明のブラインド信号分離方法の手順を示す。
ｓ１：観測信号を短時間フーリエ変換し、
ｓ２：独立成分分析により各周波数での分離行列を求め、
ｓ３：各周波数での分離行列の各行により取り出される信号の到来方向を推定し、
ｓ４：その推定値が十分に信頼できるかどうかを判定し、
ｓ５：周波数間での分離信号の類似度を計算し、
ｓ６：各周波数で分離行列を求めた後でpermutationを解決する際に、信号の到来方向の推定が十分に信頼できると判定された周波数ではそれらの方向を揃えることでpermutationを決定し、その他の周波数（信号の到来方向の推定が信頼できないと判定された周波数）では近傍の周波数との分離信号の類似度を高めるようにpermutationを決定する。
【００１１】
[本発明の構成]
図４は、本発明のpermutation解決部の構成例を示すブロック図である。
permutation解決部は、信号の到来方向によるpermutation解決部と、分離信号の類似度によるpermutation解決部で構成される。
信号の到来方向によるpermutation解決部では、
【外２】

【００１２】
[信号の到来方向によるpermutationの解決]
図５は、信号の到来方向によるpermutation解決部の構成を示すブロック図である。
到来方向によるpermutation解析部では、従来の技術で説明した方法などを用いて、周波数毎に分離行列の各行がどの方向の信号を取り出しているかを解析してΘ(f)を出力する。方向によるpermutation決定部では、各周波数において推定された信号の到来方向Θ(f)に基づき、
【外３】

本発明の特徴は、推定された信号の到来方向が十分に信頼できるかどうかを、信頼性判定部において判定し、信頼できる周波数の集合fixを求めることにある。本実施例では以下の条件を満たすかどうかを調べることで判定する。
１．信号の到来方向の推定値が、源信号の数だけ存在すること
２．信号の到来方向の推定値が、他の周波数のものと比べて大きく異ならないこと
３．各推定値が与える角度において、抑圧されるべき信号が取り出される信号に比べて十分に抑圧されていること
１つ目の条件は、到来方向推定部の出力Θ(f)が、源信号と同じ数の推定値を持っているかどうかで判定できる。２つ目の条件は、推定された信号の方向をソートした後、すべての周波数による平均を計算し、その平均と大きく異ならなければ条件を満たすと判定できる。例えば源信号が２個の場合、推定方向の全周波数での平均が54°と137°であるとする。ある周波数で推定方向が53°と134°であれば、これらは大きく異ならないため条件を満たすが、別の周波数で推定方向が20°と91°であれば大きく異なるため条件を満たしていないと見なす。３つ目の条件は、各推定値が与える角度における指向特性Ｂ_r(f,θ_p)のゲインを計算することで判定できる。例えば、図７に示す指向特性では、3152Hz,3156Hz双方において、抑圧されるべき信号が十分に抑圧されているため条件を満たす。一方、図８に示す312Hzの指向特性では、Θ(312Hz)＝[114,70]^Tであり、それぞれの角度における指向特性のゲインを計算すると、Ｂ₁(312Hz,114)＝0.601,Ｂ₂(312Hz,114)＝0.537,Ｂ₁(312Hz,70)＝0.325,Ｂ₂(312Hz,70)＝0.743となる。取り出される信号と抑圧されるべき信号のゲインの比を計算すると、それぞれ、0.537／0.601＝0.894,0.325／0.743＝0.437であり、十分に抑圧されていないとみなせるため、条件を満たしていないと考える。
【外４】

permutationを解決し、同時にその推定値が十分に信頼できるかどうかの判定を行った。
信頼できる周波数はfixの要素となっている。fixに属さない周波数では、信号の到来方向の推定値が十分に信頼できないため、次の分離信号の類似度によるpermutationの解決に頼る必要がある。
【００１３】
[分離信号の類似度によるpermutationの解決]
図６は、分離信号の類似度によるpermutation解決部の構成を示すブロック図である。
【外５】

本実施例では、既にpermutationが決定した（すなわち集合fixに属する）周波数との包絡線の相関を、明らかに大きくできる周波数からpermutationを決めていく。そのための具体的なアルゴリズムを図９に示す。
まず、集合fixに属さないすべての周波数ｆにおいて、周波数の差がＤ以下の近傍で集合fixに属する周波数との包絡線の相関の和
【数６】

を最大にするpermutationとその最大値maxCor_fを求める。ここでπ_gは周波数ｇでのpermutationである。次に、maxCor_fが最大となる周波数ｉを選び、そのpermutationをπ_iとして決定し、周波数ｉをfixの要素とする。なお、permute(W,π)は、permutationπに従ってＷの行を入れ替える関数である。
以上の方法により、すべての周波数においてpermutationが決定する。
【００１４】
本発明のブラインド信号分離装置は、ＣＰＵやメモリ等を有するコンピュータと、ユーザが利用する端末と、ＣＤ−ＲＯＭ,磁気ディスク装置,半導体メモリ等の機械読み取り可能な記録媒体とから構成することができる。記録媒体に記録されたブラインド信号分離プログラムあるいは回線を介して伝送されたブラインド信号分離プログラムはコンピュータに読み取られ、コンピュータ上に前述した各構成要素及び処理を実現する。
【００１５】
【発明の効果】
従来技術および本発明を用いて、２つの音源を分離した際の分離性能の比較を図１０に示す。
本結果を得るに際し、残響時間300msのインパルス応答に、ＡＳＪ研究用音声コーパスから選んだ８秒の音声データ12組を畳み込んで混合信号を作成した。縦軸はＳＮＲ(signal-to-noise ratio)として計算した分離性能に対応し、横軸は音声データの組に対応する。”av”は12組の平均である。比較のためpermutationの解決には以下の３つの方法を用いた。”dir”は信号の到来方向による方法、”cor”は分離信号の類似度による方法、”both”は双方を併用した本発明による方法である。”dir”は安定的に解決しているが性能が不十分であるのに対し、”cor”は非常に良い場合もあるが悪い場合もあり安定性に欠ける。”both”は常に良い性能となっており、本発明の効果が確認できる。
信号の到来方向による方法では方向という絶対的な基準でpermutattionを解決するため、精度にはやや欠けるが、大きく間違えることが少ない。一方、分離信号の類似度による方法では、高い精度でpermutationを解決できるが、どこかで間違った時の被害が大きい。本発明は、これら２種類の利点を活かして統合しているため、安定的に高い精度でpermutationを解決できる。
【図面の簡単な説明】
【図１】ブラインド信号分離の概要を説明するための図。
【図２】周波数領域で独立成分分析を用いるブラインド信号分離装置の構成を示すブロック図。
【図３】本発明のブラインド信号分離方法の手順を示す図。
【図４】本発明におけるpermutation解決部の構成を示すブロック図。
【図５】図４における信号到来方向によるpermutation解決部の構成を示すブロック図。
【図６】図４における分離信号の類似度によるpermutation解決部の構成を示すブロック図。
【図７】 3152Hz,3156Hzにおける指向特性のゲインをプロットした図。
【図８】 312Hzにおける指向特性のゲインをプロットした図。
【図９】分離信号の類似度によるpermutation決定部のアルゴリズムを示す図。
【図１０】従来方法と本発明による方法の分離性能の比較を行う図。[0001]
BACKGROUND OF THE INVENTION
The present invention belongs to the field of signal processing, and relates to a signal separation technique for restoring a source signal as accurately as possible from a mixture of a plurality of signals in space.
According to the present technology, it is possible to accurately extract a target signal in an actual environment where various interference signals are generated. An application example for a sound signal is a sound source separation system that works as a front end of a speech recognizer. Even in situations where the speaker and the microphone are separated and the microphone picks up sound other than the speaker's voice, using such a system, only the speaker's voice is extracted and the voice is recognized correctly. be able to.
[0002]
[Prior art]
[Blind signal separation]
First, the blind signal separation is formulated.
It is assumed that N signals are mixed and observed by M (M ≧ N) sensors. The present invention deals with a situation in which a signal is attenuated / delayed depending on the distance from the signal generation source to the sensor, and reverberation occurs due to reflection of the signal by a wall or the like. Mixing In this situation, the source signal s _p (t) (t: time, 1 <p ≦ N) from the sensor x _q (t) impulse response h _qp of (1 <q ≦ M) to (k) Convolution mixing by the formula [Equation 1]

The purpose of the blind signal separation, the source signal s _p (t) or without knowing the impulse response h _qp (k), observed signal x from the _q (t) only, FIR for separation (Finite Impulse Response) filter coefficients w _rq (k) and separated signal

FIG. 1 is a diagram for explaining an outline of blind signal separation when N = M = 2.
Generally the source signal s _p (t) are independent of each other, independent component analysis (ICA: Independent Component Analysis) can be calculated filter coefficients w _rq (k) for separation using. There are various signal separation methods using ICA, but a method in the frequency domain is effective in dealing with reverberation. This is because the problem of convolutional mixing can be replaced with the problem of instantaneous mixing for each frequency.
[0003]
[Blind signal separation in the frequency domain]
FIG. 2 shows the configuration of a blind signal separation device using independent component analysis in the frequency domain.
In the frequency domain method, the filter coefficient w _rq (k) is not directly calculated, but its frequency response W _rq (f) is calculated using ICA. For this purpose, first, X _q (f, m) is obtained by applying a short-time discrete Fourier transform to the observation signal x _q (t) of the sensor q. Here, f is a frequency and m is a frame number.
Next, ICA for instantaneous mixing at each frequency f:
[Outside 1]

It is necessary to align. This is the problem of permutation.
After solving this, _Wrq (f) is subjected to inverse discrete Fourier transform to finally obtain a filter coefficient w _rq (k) for separation. The following introduces two conventional techniques for solving the permutation problem. [0004]
[Solution of permutation according to direction of arrival of signal]
The first prior art is a permutation solution by estimating the arrival direction of a signal (see, for example, Non-Patent Document 1).
If the sensor interval is reasonably narrow, each row of the separation matrix obtained by independent component analysis forms a filter in the frequency domain that suppresses signals coming from another direction while extracting signals coming from one direction is doing. If such a situation at each frequency is analyzed and the arrival direction Θ (f) = [θ ₁ (f),..., Θ _P (f)] ^T of the signal extracted by each row of the separation matrix can be estimated, Permutation can be solved.
As a typical method for estimating the direction of arrival, a method of plotting directional characteristics is known. The method first approximates the impulse response of the mixed system with only a direct wave, and further assumes a plane wave. The direction of arrival of the source signal _{_{s p 0 ° ≦ θ P ≦}} 180 ° ( line perpendicular direction of the sensor is 90 °), when the position of the sensor q and d _q, the frequency response of the mixed system is H _qp (f) = Exp (j2πfc ^-1 d _q cosθ _P ) (c is the speed of the signal). Then, the frequency response ## EQU3 ## from the source signal s _p at an angle theta _P into the separation signal y _r

Is obtained.
[0005]
FIG. 7 is a plot of gain of directivity with respect to a certain two frequencies. First, looking at a frequency of 3152 Hz, the directivity given by the first row Y ₁ of the separation matrix is 41 ° and the gain is minimum, and the directivity given by the second row Y ₂ is 132 ° and the gain is minimum. Yes. Therefore, the first row Y of the separation matrix takes the signal coming from the suppressed to 132 ° signals coming from the 41 °, suppresses second line Y ₂ is the signal coming from the 132 ° opposite to the separation matrix The signal coming from 41 ° is taken out. Therefore, it can be estimated that Θ (3152 Hz) = [132, 41] ^T. Similarly, at a frequency of 3156 Hz, it can be estimated that Θ (3156 Hz) = [45,126] ^T. Obviously, at present, permutation is not complete, so it is necessary to align permutation by exchanging rows of 3152Hz separation matrix.
By the above method, permutation can be solved by estimating the arrival direction of the signal extracted from each row of the separation matrix for each frequency and aligning the directions. However, at some frequencies, there is no angle at which the gain becomes the minimum, 0 ° ≦ θ _P ≦ 180 °, and the arrival direction may not be estimated. In addition, since the estimated value is significantly different from other frequencies, the estimation may be low in reliability. Particularly at low frequencies, this is often the case because the phase difference resulting from the difference in direction is small. Therefore, permutation cannot be determined or mistaken at those frequencies.
[0006]
[Solution of permutation by similarity of separated signals]
The second prior art is a permutation solution based on the similarity of separated signals (see, for example, Non-Patent Document 2).
The similarity between the separated signals Y _r (f ₁ , m) and Y _r (f ₂ , m) at two frequencies is calculated using the correlation of the absolute value envelope.
First, the correlation is defined.
The correlation between the two signals x (n) and y (n) is given by cor (x, y) = [<x · y> − <x> · <y>] / (σ _x · σ _y ). Here, <•> is a time average, and σ is a standard deviation. If cor (x, x) = 1 and x and y are uncorrelated, cor (x, y) = 0.
The separated signals Y _r (f ₁ , m) and Y _r (f ₂ , m) at _two frequencies have a small correlation even though they correspond to the same source signal. This is because the Fourier transform has the property of orthogonal transform. On the other hand, the absolute value envelope of the separation signal Y _r (f, m) (R is a parameter that determines the length of the moving average)
[Expression 4]

_{Unlike the} separated signal Y _r (f, m) itself, it is known that when it corresponds to the same source signal, it has a high correlation especially at nearby frequencies. Therefore, permutation can be solved by calculating these correlations. In the following description, permutation is expressed by π: {1,..., N} → {1,. For example, if N = 2, π (1) = 1, π (2) = 2 if permutation is not changed, and π (1) = 2, π (2) = 1 if permutation is replaced. As a conventional technique, the sum of correlations is maximized in the vicinity of a frequency difference D or less.

Methods exist to continue seeking Permutationpai _f at frequency f based on. Here π _g is a permutation of the frequency g.
[0007]
[Non-Patent Document 1]
S.Kurita, H.Saruwatari, S.Kajita, K.Takeda, and F.Itakura, "Evaluation of blind signal separation method using directivity pattern under reverberant conditions," in Proc. ICASSP2000, 2000, pp.3140-3143
[Non-Patent Document 2]
S. Ikeda and N. Murata, "An approach to blind source separation of speech signals," in Proc. ICANN '98, Sep. 1998, pp.761-766
[0008]
[Problems to be solved by the invention]
The permutation solutions introduced as conventional techniques have the following drawbacks.
According to the arrival direction of the first signal, the direction and the direction are estimated by approximating the impulse response of the mixed system with only the direct wave and assuming the plane wave without considering the attenuation and reverberation of the actual signal. Therefore, as described in the related art, the direction cannot be estimated at some frequencies, or even if it can be estimated, the estimation may be low in reliability. As a result, permutation cannot be determined or wrong at those frequencies. As a whole, it cannot be said that permutation is solved with high precision because it is inevitably wrong at several frequencies.
On the other hand, according to the similarity of the second separated signal, the permutation is solved according to the equation (3), so that the permutation can be determined for all frequency bins. Moreover, since the separated signal itself is used, the accuracy is higher than that of the first arrival direction that is being approximated. However, since permutation is determined based on a relative relationship with nearby frequencies, if a mistake is made at any frequency, a mistake is made at all the frequencies ahead. Accordingly, it is sufficient that correct permutation can be obtained at all frequencies, but the damage caused by mistakes at some frequency is enormous, so it is not practical in terms of lack of stability.
Therefore, an object of the present invention is to provide a highly accurate and stable permutation solving method by integrating the above two methods and interpolating each other's defects.
[0009]
[Means for Solving the Problems]
In order to achieve the above object, the present invention provides:
Short-time Fourier transform of the observed signal,
Find the separation matrix at each frequency by independent component analysis,
Estimate the direction of arrival of the signal extracted by each row of the separation matrix at each frequency,
Determine if the estimate is reliable enough,
Determine the permutation from the estimated direction of arrival,
Calculate the envelope of the absolute value of the separated signal between frequencies,
The permutation of the specified frequency (the estimated value is sufficiently reliable) is not changed, and the permutation is determined based on the correlation of the envelope of the absolute value of the separated signal with the nearby frequency at the unspecified frequency. To do.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
[Configuration of signal separation using independent component analysis in frequency domain]
FIG. 2 is a block diagram of a blind signal separation device using independent component analysis in the frequency domain.
Details thereof have been described in the prior art. The present invention is characterized by the permutation resolution unit.
FIG. 3 shows the procedure of the blind signal separation method of the present invention.
s1: Short-time Fourier transform of the observed signal,
s2: A separation matrix at each frequency is obtained by independent component analysis,
s3: estimating the direction of arrival of the signal extracted by each row of the separation matrix at each frequency,
s4: determine whether the estimate is sufficiently reliable,
s5: Calculate the similarity of the separated signal between frequencies,
s6: When solving the permutation after obtaining the separation matrix at each frequency, the permutation is determined by aligning those directions at the frequency for which it is determined that the estimation of the arrival direction of the signal is sufficiently reliable. Permutation is determined so as to increase the degree of similarity of a separated signal with a nearby frequency at a frequency (a frequency at which the estimation of the arrival direction of the signal is determined to be unreliable).
[0011]
[Configuration of the present invention]
FIG. 4 is a block diagram illustrating a configuration example of the permutation resolution unit of the present invention.
The permutation resolution unit includes a permutation resolution unit based on the arrival direction of the signal and a permutation resolution unit based on the similarity of the separated signals.
In the permutation resolution unit according to the arrival direction of the signal,
[Outside 2]

[0012]
[Resolution of permutation depending on signal arrival direction]
FIG. 5 is a block diagram illustrating a configuration of a permutation resolution unit according to the arrival direction of a signal.
The permutation analysis unit according to the arrival direction analyzes the direction in which each row of the separation matrix takes out for each frequency by using the method described in the related art and outputs Θ (f). In the permutation determination unit by direction, based on the arrival direction Θ (f) of the signal estimated at each frequency,
[Outside 3]

A feature of the present invention is that a reliability determination unit determines whether or not the estimated arrival direction of the signal is sufficiently reliable, and obtains a reliable frequency set fix. In this embodiment, the determination is made by examining whether or not the following condition is satisfied.
1. 1. There are as many estimates of the direction of arrival of signals as there are source signals. 2. The estimated value of the direction of arrival of the signal is not significantly different from that of other frequencies. The first condition is that the signal to be suppressed is sufficiently suppressed at the angle given by each estimated value compared to the signal to be extracted. The first condition is that the output Θ (f) of the arrival direction estimation unit is the same as that of the source signal. Judgment can be made based on whether the number has an estimated value. As for the second condition, after the estimated signal directions are sorted, an average of all frequencies is calculated. If the average is not significantly different from the average, it can be determined that the condition is satisfied. For example, when there are two source signals, it is assumed that the average at all frequencies in the estimated direction is 54 ° and 137 °. If the estimated direction is 53 ° and 134 ° at a certain frequency, they are not significantly different, so the condition is met. However, if the estimated direction is 20 ° and 91 ° at another frequency, the condition is not met. Consider. The third condition can be determined by calculating the gain of the directivity characteristic B _r (f, θ _p ) at the angle given by each estimated value. For example, the directivity shown in FIG. 7 satisfies the condition because the signal to be suppressed is sufficiently suppressed in both 3152 Hz and 3156 Hz. On the other hand, in the 312 Hz directivity shown in FIG. 8, Θ (312 Hz) = [114,70] ^T , and when calculating the gain of the directivity at each angle, B ₁ (312 Hz, 114) = 0.601, B ₂ (312 Hz, 114) = 0.537, B ₁ (312 Hz, 70) = 0.325, B ₂ (312 Hz, 70) = 0.743 When the ratio of the gain of the signal to be extracted and the signal to be suppressed is calculated, it is 0.537 / 0.601 = 0.894, 0.325 / 0.743 = 0.437, respectively. .
[Outside 4]

Permutation was solved, and at the same time it was determined whether the estimate was reliable enough.
Reliable frequencies are an element of fix. At frequencies that do not belong to fix, the estimated value of the direction of arrival of the signal is not sufficiently reliable, so it is necessary to rely on the solution of permutation due to the similarity of the next separated signal.
[0013]
[Resolution of permutation by similarity of separated signals]
FIG. 6 is a block diagram illustrating a configuration of a permutation resolution unit based on the similarity between separated signals.
[Outside 5]

In this embodiment, permutation is determined from a frequency at which the correlation of the envelope with the frequency for which permutation has already been determined (that is, belonging to the set fix) can be clearly increased. A specific algorithm for this is shown in FIG.
First, for all frequencies f not belonging to the set fix, the sum of the correlations of the envelopes with the frequencies belonging to the set fix in the vicinity where the frequency difference is not more than D

Find the permutation that maximizes and the maximum value maxCor _f . Here, π _g is permutation at the frequency g. Next, select the frequency i which MaxCor _f is maximized, to determine the permutation as [pi _i, the frequency i as elements of the fix. Note that permute (W, π) is a function that replaces the rows of W according to permutation π.
With the above method, permutation is determined at all frequencies.
[0014]
The blind signal separation device of the present invention can be composed of a computer having a CPU, a memory, etc., a terminal used by a user, and a machine-readable recording medium such as a CD-ROM, a magnetic disk device, a semiconductor memory, etc. . The blind signal separation program recorded on the recording medium or the blind signal separation program transmitted via the line is read by a computer, and the above-described components and processes are realized on the computer.
[0015]
【The invention's effect】
FIG. 10 shows a comparison of separation performance when two sound sources are separated using the prior art and the present invention.
In order to obtain this result, 12 sets of 8 second voice data selected from the ASJ research speech corpus were convolved with an impulse response with a reverberation time of 300 ms to create a mixed signal. The vertical axis corresponds to the separation performance calculated as SNR (signal-to-noise ratio), and the horizontal axis corresponds to a set of audio data. “Av” is the average of 12 pairs. For comparison, the following three methods were used to solve permutation. “Dir” is a method based on the arrival direction of a signal, “cor” is a method based on the similarity of separated signals, and “both” is a method according to the present invention in which both are used together. “Dir” is a stable solution but has poor performance, whereas “cor” may be very good but may be bad and lack stability. “Both” always has good performance, and the effect of the present invention can be confirmed.
In the method based on the direction of arrival of the signal, the permutattion is solved on the absolute basis of direction, so the accuracy is somewhat lacking, but it is rarely mistaken. On the other hand, the method based on the similarity of separated signals can solve permutation with high accuracy, but the damage caused when it is wrong somewhere is great. Since the present invention is integrated by taking advantage of these two kinds of advantages, the permutation can be stably solved with high accuracy.
[Brief description of the drawings]
FIG. 1 is a diagram for explaining an outline of blind signal separation;
FIG. 2 is a block diagram showing the configuration of a blind signal separation device using independent component analysis in the frequency domain.
FIG. 3 is a diagram showing a procedure of a blind signal separation method according to the present invention.
FIG. 4 is a block diagram showing a configuration of a permutation resolution unit in the present invention.
5 is a block diagram showing a configuration of a permutation resolution unit according to a signal arrival direction in FIG. 4;
6 is a block diagram showing a configuration of a permutation resolution unit based on the similarity of separated signals in FIG. 4;
FIG. 7 is a graph plotting gains of directivity characteristics at 3152 Hz and 3156 Hz.
FIG. 8 is a plot of gain of directivity at 312 Hz.
FIG. 9 is a diagram illustrating an algorithm of a permutation determination unit based on similarity of separated signals.
FIG. 10 is a diagram comparing the separation performance of the conventional method and the method according to the present invention.

Claims

A procedure for short-time Fourier transform of the observed signal;
A procedure for obtaining a separation matrix at each frequency subjected to Fourier transform for a short time by independent component analysis,
A procedure for estimating the direction of arrival of the signal extracted by each row of the separation matrix at each frequency;
A procedure for determining whether the estimate is sufficiently reliable;
A procedure for calculating the envelope of the absolute value of the separated signal between the frequencies subjected to the short-time Fourier transform;
When solving the permutation after finding the separation matrix at each frequency,
Permutation is determined by aligning the directions of the frequencies that are determined to be reliable enough to estimate the direction of arrival of the signal, and the correlation of the envelope of the absolute value of the separated signal with neighboring frequencies is increased at other frequencies. A blind signal separation method characterized by having a procedure for determining permutation as described above.

Means for short-time Fourier transform of the observation signal;
Means for obtaining a separation matrix at each frequency subjected to a short-time Fourier transform by independent component analysis;
Means for estimating the direction of arrival of the signal extracted by each row of the separation matrix at each frequency;
Means for determining whether the estimate is sufficiently reliable;
Means for calculating the envelope of the absolute value of the separation signal between the short-time Fourier-transformed frequencies;
When solving the permutation after finding the separation matrix at each frequency,
Permutation is determined by aligning the directions of the frequencies that are determined to be reliable enough to estimate the direction of arrival of the signal, and the correlation of the envelope of the absolute value of the separated signal with neighboring frequencies is increased at other frequencies. And a means for determining permutation as described above.

A process for short-time Fourier transform of the observation signal;
A process for obtaining a separation matrix at each frequency that has been Fourier-transformed for a short time by independent component analysis;
A process of estimating the direction of arrival of the signal extracted by each row of the separation matrix at each frequency;
Processing to determine whether the estimate is sufficiently reliable;
Processing to calculate the envelope of the absolute value of the separated signal between the frequencies subjected to the short-time Fourier transform;
When solving the permutation after finding the separation matrix at each frequency,
Permutation is determined by aligning the directions of the frequencies that are determined to be reliable enough to estimate the direction of arrival of the signal, and the correlation of the envelope of the absolute value of the separated signal with neighboring frequencies is increased at other frequencies. A blind signal separation program for causing a computer to execute the process of determining permutation as described above.

A process for short-time Fourier transform of the observation signal;
A process for obtaining a separation matrix at each frequency that has been Fourier-transformed for a short time by independent component analysis;
A process of estimating the direction of arrival of the signal extracted by each row of the separation matrix at each frequency;
Processing to determine whether the estimate is sufficiently reliable;
Processing to calculate the envelope of the absolute value of the separated signal between the frequencies subjected to the short-time Fourier transform;
When solving the permutation after finding the separation matrix at each frequency,
Permutation is determined by aligning the directions of the frequencies that are determined to be reliable enough to estimate the direction of arrival of the signal, and the correlation of the envelope of the absolute value of the separated signal with neighboring frequencies is increased at other frequencies. The recording medium which recorded the blind signal separation program for making a computer perform the process which determines permutation like this.