JP2020012976A

JP2020012976A - 音源分離の評価装置および音源分離装置

Info

Publication number: JP2020012976A
Application number: JP2018135067A
Authority: JP
Inventors: 勇気太刀岡; Yuki Tachioka
Original assignee: Denso IT Laboratory Inc
Current assignee: Denso IT Laboratory Inc
Priority date: 2018-07-18
Filing date: 2018-07-18
Publication date: 2020-01-23
Anticipated expiration: 2038-07-18
Also published as: JP7014682B2

Abstract

【課題】複数の音源からなる混合音を音源ごとに分離する際に、混合前の音源を用いないで音源分離を行えているかを評価する音源分離の評価装置を提供する。【解決手段】音源分離の評価装置１は、複数の音源から到来した音を収音するマイク１０と、マイク１０にて収音した音のスペクトログラムに基づいて、各音源を分離する音源分離部１１と、各音源に対する空間相関行列を求める空間相関行列算出部１２と、空間相関行列を固有値分解して固有値及び固有ベクトルを求める固有値分解部１３と、固有値及び固有ベクトルを用いて、ＭＵＳＩＣ（Multiple signal classification）法により、各音源の各周波数について、ＭＵＳＩＣスペクトルを求める到来方向推定部１４とを備える。【選択図】図１

Description

本発明は、複数の音源（話者・楽器・放送設備・騒音源等）からの音が入力された際に、方向別に分離して目的音源を抽出する技術に関する。

収音した音に基づいて音源の分離を行った際に、周波数ごとに各音源の成分がばらばらに分離されてしまい、周波数間で一致性がなくなる問題をパーミュテーション問題という。この問題に関しては、特許文献１に詳細に記述されている。特許文献１は、パーミュテーション問題を解く手法として、独立成分分析を対象として分離行列の各行から到来方向を推定し、信頼度に基づき類似度を計算する方法が開示されている。

また、近年では、明示的に到来方向を利用するだけではなく、音源のモデル化でパーミュテーション問題を解決する手法がよく用いられる。例えば、特許文献２に記載された発明では、「各音源の尤度の時系列が周波数ビン間で同期しているほど高い評価値を与える評価関数を用いて」音源の分離を行う。

特開２００４−１４５１７２号公報特開２０１４−２１５３８５号公報

特許文献１に記載された方法は、同文献の図７からも分かるように、ゲインのピークが不明確なことから間違えやすく、どの周波数を信頼するかに性能が依存するという課題があった。特許文献２に記載されたようなモデル化による方法は、明示的に到来方向を推定していないため、モデル化の誤差や最適化の過程でパーミュテーション解決を間違えて分離精度が低かった場合に、その原因を把握することができないという課題があった。このため、初期値や最適化の方法を変えて分離した際に、分離結果に差異が発生した場合に、どの結果が良いかを、元のソース音源の情報を用いることなく判断することが難しかった。

本発明は、上記背景に鑑み、ソース音源を用いないで音源分離を行えているかを評価することができる音源分離の評価装置及び音源分離装置を提供することを目的とする。

本発明の音源分離の評価装置は、複数の音源から到来した音を収音する収音部と、前記収音部にて収音した音の音源を分離する音源分離部と、前記各音源に対する空間相関行列を求める空間相関行列算出部と、前記空間相関行列を固有値分解して固有値及び固有ベクトルを求める固有値分解部と、前記固有値及び固有ベクトルを用いて、ＭＵＳＩＣ（Multiple signal classification）法により、各音源の各周波数について、ＭＵＳＩＣスペクトルを求める到来方向推定部とを備える。ここで、ＭＵＳＩＣ法は、死角を用いて音源の位置を推定するサブスペース法の一つである。

本発明では、空間相関行列から求めた固有値及び固有ベクトルを用いて、ＭＵＳＩＣ法によって各音源の各周波数についてＭＵＳＩＣスペクトルを求めているので、固有値の大きさにより、到来方向の信頼度を自然に導入することができる。また、ＭＵＳＩＣスペクトルは、明確なピークが現れるので、音の到来方向を明示的に知ることができるので、音源が分離できているかを評価することができる。

また、音源ごとに全周波数のＭＵＳＩＣスペクトルを加算したＭＵＳＩＣスペクトルと、各周波数ビンでのＭＵＳＩＣスペクトルとを比較することで、どの周波数ビンでパーミュテーションが起こっているかを判断することも可能である。また、本発明の方法は、分離行列そのものを用いてはいないので、音源数と収録に用いたマイク数が等しい場合に加え、音源数がマイクの数より多い条件や少ない条件でも用いることができる。

なお、本発明は、観測された受信信号を基底とアクティベーションに分離する混合系手法を用いて音源分離を行う場合にも、音源の独立性などの音源の分離度を判定する量が最大となるように音源を分離する分離系手法を用いて音源分離を行う場合にも適用することができる。

本発明の音源分離の評価装置は、前記到来方向推定部にて求めた各音源のＭＵＳＩＣスペクトルの近さを評価する分離度算出部をさらに備えてもよい。なお、ＭＵＳＩＣスペクトルどうしの近さを評価する方法としては、例えば、各ＭＵＳＩＣスペクトルのピーク位置の差を評価してもよいし、ＭＵＳＩＣスペクトルのどうしの重なりを評価してもよい。本発明の構成により、音源を分離できているかどうかを定量的に評価することができる。

本発明の音源分離装置は、複数の音源から到来した音を収音する収音部と、前記収音部にて収音した音の音源を分離する音源分離部と、前記各音源に対する空間相関行列を求める空間相関行列算出部と、前記空間相関行列を固有値分解して固有値及び固有ベクトルを求める固有値分解部と、前記固有値及び固有ベクトルを用いて、ＭＵＳＩＣ法により、各音源の各周波数について、ＭＵＳＩＣスペクトルを求める到来方向推定部と、各音源のＭＵＳＩＣスペクトルと、周波数ごとのＭＵＳＩＣスペクトルとを比較して、パーミュテーションが起こっているか否かを判定するパーミュテーション算出部とを備え、前記音源分離部は、前記パーミュテーション算出部での判定結果を、音源の分離に用いる。なお、本発明は、混合系手法を用いて音源分離を行う場合にも、分離系手法を用いて音源分離を行う場合にも適用することができる。

各音源のＭＵＳＩＣスペクトルと、周波数ごとのＭＵＳＩＣスペクトルとを比較することにより、周波数ビンごとにパーミュテーションが起こっているか否かを判定できるので、この判定結果を利用して、もし、パーミュテーションが起こっていた場合にはこれを修正することができ、音源分離の性能を向上させることもできる。なお、パーミュテーション算出部での判定結果によっては、分離がうまくできていないと判断できる場合は、分離部による音源分離処理を中止することも可能である。

本発明の音源分離の評価方法は、到来した音の音源を分離し、その分離性能を評価する方法であって、収音した音の音源を分離するステップと、前記各音源に対する空間相関行列を求めるステップと、前記空間相関行列を固有値分解して固有値及び固有ベクトルを求めるステップと、前記固有値及び固有ベクトルを用いて、ＭＵＳＩＣ法により、各音源の各周波数について、ＭＵＳＩＣスペクトルを求めるステップとを備える。

また、本発明の音源分離方法は、到来した音の音源を分離する方法であって、収音した音の音源を分離するステップと、前記各音源に対する空間相関行列を求めるステップと、前記空間相関行列を固有値分解して固有値及び固有ベクトルを求めるステップと、前記固有値及び固有ベクトルを用いて、ＭＵＳＩＣ法により、各音源の各周波数について、ＭＵＳＩＣスペクトルを求めるステップと、各音源のＭＵＳＩＣスペクトルと、周波数ごとのＭＵＳＩＣスペクトルとを比較して、パーミュテーションが起こっているか否かを判定するステップとを備え、前記各音源を分離するステップにおいて、前記パーミュテーションが起こっているか否かの判定結果を、音源の分離に用いる。

本発明のプログラムは、上記した音源分離の評価方法または音源分離方法の各ステップを実行するプログラムである。

本発明によれば、ソースの音源を用いないで音源分離を行えているかを評価することができる。

第１の実施の形態の音源分離の評価装置を示す図である。複数個の初期値からマルチチャンネル非負値行列因子分解により、音源の分離を行い、分離された音源に対して到来方向推定を行った例を示す図である。第２の実施の形態の音源分離の評価装置を示す図である。第３の実施の形態の音源分離の評価装置を示す図である。パーミュテーション解決の基本的な考え方を示す図である。第４の実施の形態の音源分離の評価装置を示す図である。第４の実施の形態の音源分離の評価装置を示す図である。

以下、本発明の実施の形態の音源分離の評価装置及び音源分離装置について実施の形態を挙げて説明する。以下の説明では、時間周波数ビンで考え、特に断りのない限り時間周波数ビンに関するインデックスは省略する。また、マイク数をＭとし、音源数をＬとする。

（第１の実施の形態）
図１は、第１の実施の形態の音源分離の評価装置１の構成を示す図である。第１の実施の形態の音源分離の評価装置１は、混合系手法によって音源分離を行い、その分離性能を評価する装置である。図１は、音源数Ｌ＝３の場合を記載している。

音源分離の評価装置１は、収音部である複数のマイク１０と、音源分離部１１と、空間相関行列算出部１２と、固有値分解部１３と、到来方向推定部１４とを有している。音源分離部１１は、マイク１０で収音した音のスペクトログラムを複数の基底とそれに対応するアクティベーションに分解し、基底とアクティベーションをクラスタリングして音源分離する。音源分離部１１は、一例として、マルチチャンネル非負値行列因子分解を用いて、空間相関行列、基底行列とアクティベーション行列に分解する。空間相関行列、基底行列とアクティベーション行列に適当な初期値を与え、空間相関行列、基底行列とアクティベーション行列の積と、収音した音のスペクトログラムとの誤差が所定の閾値以下に収束するまで、空間相関行列、基底行列とアクティベーション行列の更新を行う。適切な初期値を与えれば、精度よく音源分離を行えるが、そうでない場合には音源分離の精度が低くなる。本実施の形態の評価装置１は、音源分離部１１にて行った音源分離の性能を評価する。

音源分離の評価装置１は、音源と同じ数（Ｌ＝３）の空間相関行列算出部１２を有する。それぞれの空間相関行列算出部１２は、各音源ｌに対する空間相関行列Ｈ_flを求める。空間相関行列Ｈ_flの求め方は次のとおりである。空間相関行列算出部１２は、分離された音源のそれぞれについて、ある時間周波数ビンにおけるＭ次元の観測スペクトルｘ＝[ｘ₁,…,ｘ_M]^Tから、周波数ビンｆごとに空間相関行列Ｈ_f＝［Ｈ_f1，...，Ｈ_fl，...，Ｈ_fL］を算出する。Ｌ次元の音源のスペクトルをｙ（＝[ｙ₁,..,ｙ_L]^T）とすると、Ｈ_flと音源のパワースペクトル｜ｙ_l｜^２を用いることで、ｘの空間相関cov(x)が下記の式（１）で表される。

この式（１）において、左辺と右辺の誤差eが小さくなるように最適化することにより、Ｈ_fと｜ｙ_l｜^２を推定する。ここで、covはベクトル間の相関をとる関数である。例えば２次元のベクトルｘ=[ｘ₁, ｘ₂]^T （Ｔは転置）を引数とした場合には、次の式（２）で表される。

ここで、＊は複素共役をとるオペレーターである。３次元以上の場合にも、ペアでの相関をとることで、同様の操作を実現できる。

固有値分解部１３は、上記手順により求めた音源ｌに対する空間相関行列Ｈ_flを固有値分解する。Ｍ行Ｍ列の正定値の空間相関行列Ｈ_flを固有値分解すると、次の式（３）の形に分解できる。

ここで、Ｄ_flは、Ｍ行Ｍ列の実数の固有値を対角成分に持つ対角行列で、降順にソートされているとする。また、Ｖ_flは、Ｍ行Ｍ列の複素行列で、固有値に対応する固有ベクトルを列に並べたものである。

マイク間隔ｄの直線アレイで平面波仮定できるとすると、θ方向からの平面波のステアリングベクトルa(f,q)= [a₁(f,q), …, a_m(f,q), …, a_M(f,q)]^Tは、次の式（４）で表される。

なお、φ（ｆ）は、周波数ビンｆを周波数［Ｈｚ］に変換する関数、ｊは虚数単位、ｃは音速である。

ここで、実際にはマイク１０の間隔が不明でも構わないことに注意する。マイク１０の間隔が実際には、ｄ’であった場合にはa_m= a_m ^d’/dとなるだけなので、ＭＵＳＩＣスペクトルの概形は変わらない。そのため、本手法においても、ブラインド音源分離の枠組みはそのまま維持できる。

到来方向推定部１４は、上記手順で求まった空間相関行列Ｈの固有値Ｄ及び固有ベクトルＶに基づいて、次の式（５）で表されるＭＵＳＩＣスペクトルＳ_fl（θ）を音源数Ｌ個、周波数ビン数Ｆ個分算出する。

ＭＵＳＩＣスペクトルは、音源に関する最大固有値以外に対応する固有ベクトルＶ_fl（:,2:M）とステアリングベクトルa(f,θ)との内積の逆数の形で表される。このとき、信号部分空間と騒音部分空間の直交性により、音源の到来方向に対して、分母の値が小さくなり、ＭＵＳＩＣスペクトルＳ_fl（θ）がピークを取る。本実施の形態の方法は、特許文献１の手法に比べて明確なピークが形成され、固有値を利用することで、信頼度を別途求める必要がない。これにより、空間相関行列から、それぞれの音源からの音の到来方向を推定できる。

図２は、上記式によって求めたＭＵＳＩＣスペクトルＳ_fl（θ）を周波数ビンについて和をとったＭＵＳＩＣスペクトル

を示す図である。

図２は、複数個の初期値からマルチチャンネル非負値行列因子分解により、音源の分離を行い、分離された音源ｌに対して、上で説明した到来方向推定を行った例を示す図である。ここでは、求めた分離性能を表す指標であるＳＤＲ（signal-to-distortion ratio）[dB]が最良の場合を左に、最悪の場合を右に示す。図２の左のグラフでは、音源Ｓ１はθ＝０．４付近にピークを有し、音源Ｓ２はθ＝−１付近にピークを有し、音源Ｓ３はθ＝−１．２５付近にピークを有することが分かる。これに対し、図２の右のグラフでは、音源Ｓ１と音源Ｓ２は、θ＝０．２５付近にピークを有し、音源Ｓ３はθ＝−１付近にピークを有するという結果が求められる。右の例では音源１と音源２のピークが同じになってしまい、音源がうまく分離できていない。このようにＭＵＳＩＣスペクトルを求めることにより、音源分離がうまくいっている場合（左の場合）と、音源分離がうまくいっていない場合（右の場合）を容易に識別することができる。

本実施の形態の音源分離の評価装置１の動作は、図１に示す構成図において、矢印に従って、各構成要素が機能することにより実現される。すなわち、音源分離部１１が、収音した音のスペクトログラムに基づいて音源分離を行い、次に、空間相関行列算出部１２が各音源に対する空間相関行列を求める。続いて、固有値分解部１３が、空間相関行列を固有値分解して固有値及び固有ベクトルを求め、到来方向推定部１４が、固有値及び固有ベクトルを用いて、ＭＵＳＩＣ法により、各音源の各周波数について、ＭＵＳＩＣスペクトルを求める。

以上、本実施の形態の音源分離の評価装置１の構成について説明したが、上記した評価装置のハードウェアの例は、収音部である複数のマイク１０と接続されたコンピュータである。コンピュータは、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、ディスプレイ、キーボード、マウス、通信インターフェース等を備える。上記した各機能を実現するモジュールを有するプログラムをＲＡＭまたはＲＯＭに格納しておき、ＣＰＵによって当該プログラムを実行することによって、上記した音源分離の評価装置が実現される。このようなプログラムも本発明の範囲に含まれる。

（第２の実施の形態）
図３は、第２の実施の形態の音源分離の評価装置２の構成を示す図である。第２の実施の形態の音源分離の評価装置２は、例えば独立成分分析、独立ベクトル分析等の分離系手法によって音源を分離する装置である。図３では、音源数Ｌ＝３の場合を記載している。

音源分離の評価装置２は、収音部である複数のマイク１０と、逆行列算出部１５と、音源分離部１１と、空間相関行列算出部１２と、固有値分解部１３と、到来方向推定部１４とを有している。

音源分離部１１は、マイク１０にて収音した音を独立した信号に分離する分離行列を、音のスペクトログラムの周波数ビンごとに推定する。具体的には、次式（６）で示すように、観測スペクトルxと音源のスペクトルyを結びつける分離行列W_fを推定する。
y =W_f x ・・・（６）

逆行列算出部１５は、分離行列W_fの逆行列を求める。なお、W_fが正方行列でない場合は、ムーアペンローズの疑似逆行列を求める。

空間相関行列算出部１２は、上記式（６）の両辺に、左から逆行列をかけて、次の式（７）を得る。なお、式（７）において、ａに対するｆのインデックスは可読性のため省いている。

これより、音源ｌに対する空間相関行列Ｈ_flは、次の式（８）のように表される。

｜ｙ_ｌ｜^２は実数で位相差に影響を与えないので、実質的には、次式（９）で空間相関行列が求められる。

空間相関行列Ｈ_flを算出した後の処理は、第１の実施の形態と同じであり、空間相関行列Ｈ_flを固有値分解し、固有値及び固有ベクトルを用いたＭＵＳＩＣ法により、到来方向を表すＭＵＳＩＣスペクトルＳ_fl（θ）を推定する。

（第３の実施の形態）
図４は、第３の実施の形態の音源分離の評価装置３の構成を示す図である。図２に示したように、音源の分離結果とＭＵＳＩＣスペクトルの重なりには関係がある。第３の実施の形態の音源分離の評価装置３は、分離度算出部１６を備えている。分離度算出部１６は、第１の実施の形態と同様にして推定されたＭＵＳＩＣスペクトルＳ_fl（θ）を用いて、音源の分離度を定量的に評価する。

分離度算出部１６は、異なる音源であると判定された到来方向のピークが互いにどのくらい離れているかを評価する。分離度算出部１６は、ピーク位置の差の絶対値を_LＣ₂通り足し合わせて評価値を算出する。この値が大きいほど、各ピークが離れていると判断できる。

図２を例として説明する。図２の左のケースでは音源Ｓ１，Ｓ２，Ｓ３のピーク位置がそれぞれ０．４，−１，−１．２５である。各ピーク位置の差の絶対値の総和は、
｜0.4-(-1)｜＋｜-1-(-1.25)｜＋｜0.4-(-1.25)｜＝3.3
である。これに対して、右のケースでは、音源Ｓ１，Ｓ２，Ｓ３のピーク位置がそれぞれ０．２５，０．２５，−１である。各ピーク位置の差の絶対値の総和は、
｜0.25-0.25｜＋｜0.25-(-1)｜＋｜0.25-(-1)｜＝2.5
である。したがって、左のケースの方が、各ピーク位置の差が大きく、音源の分離度が大きいと判断できる。

なお、分離度算出部１６は、他の方法で、各音源のＭＵＳＩＣスペクトルＳ_fl（θ）の評価値を算出してもよい。例えば、ＭＵＳＩＣスペクトルの重なり割合を２つずつ評価して_LＣ₂通り足し合わせた値や、すべてのＭＵＳＩＣスペクトルの重なり面積を全体の面積で割った値の逆数を分離度とすることもできる。

なお、本実施の形態では、第１の実施の形態の構成に対して分離度算出部１６を追加した例を示したが、第２の実施の形態の構成に対して分離度算出部１６を追加することももちろん可能である。

（第４の実施の形態）
第４の実施の形態の音源分離装置について説明する。第４の実施の形態では、ＭＵＳＩＣスペクトルの情報をパーミュテーションの解決に使う。全周波数ビンに対して足し合わせたＭＵＳＩＣスペクトル

と各周波数ビンでのＭＵＳＩＣスペクトルＳ_fl（θ）を比較することで、当該周波数ビンでパーミュテーションが起こっているかを判定する。

図５は、パーミュテーション解決の基本的な考え方を示す図である。図５において、音源Ｓ１，Ｓ２，Ｓ３のＭＵＳＩＣスペクトルを示す図であり、図２のBest SDR caseを再掲したものである。つまり、各音源の全周波数のＭＵＳＩＣスペクトルを足し合わせたものである。同グラフの上に、音源Ｓ３と判定された周波数ビンｆのＭＵＳＩＣスペクトルを一点鎖線で示している。しかし、このスペクトルのピークは、音源Ｓ３のピークよりも音源Ｓ１のピークの方にはるかに近い。この場合、音源Ｓ３と判定された周波数ビンｆは、パーミュテーションが起こっていると考えられる。この場合、音源分離部１１は、この比較結果に基づいて、音源分離を行う。

図６は、混合系手法を用いた音源分離装置４の構成を示す図である。音源分離装置４は、第１の実施の形態の評価装置１の構成に加え、パーミュテーション算出部１７を備えている。パーミュテーション算出部１７は、音源ごとのＭＵＳＩＣスペクトルと、周波数ビンごとのＭＵＳＩＣスペクトルを比較して、パーミュテーションが起こっているか否かを判定する。

音源分離部１１は、パーミュテーション算出部１７でのパーミュテーションの判定結果にも基づいて、混合法による音源分離を行う。音源分離部１１は、例えば、音源のＭＵＳＩＣスペクトルのピーク位置と、周波数ビンのＭＵＳＩＣスペクトルのピーク位置の差を音源数個足し合わせたものの絶対値が最も小さくなるように、周波数ビンｆごとに音源ｌを並び替える。また、何らかのスペクトル間の距離を導入し（例えばユークリッド距離、板倉斎藤擬距離など）、その距離の総和が小さくなるように音源ｌを並び替える方法も考えられる。このような手続きを導入することで、分離性能の評価結果をパーミュテーション解決に用いることができる。これにより、空間相関行列算出部１２では、パーミュテーション解決された空間相関行列Ｈが得られる。

図７は、分離系手法を用いた音源分離装置４の構成を示す図である。音源分離部１１では、パーミュテーション解決された分離行列Ｗが得られる。これらを使って再度分離を行うか、音源分離の最適化の途中にこのパーミュテーション解決を挿入することで、パーミュテーションで音源分離を行うことができる。

本実施の形態では、パーミュテーション算出部１７による判定結果を音源分離部１１にフィードバックして、音源分離部１１が判定結果を用いて音源分離を行う例を説明したが、パーミュテーション算出部１７による判定結果が所定の基準を満たさない場合には、音源分離部１１による音源分離を中止してもよい。

本実施の形態の音源分離装置４の動作は、図６または図７に示す構成図において、矢印に従って、各構成要素が機能することにより実現される。また、本実施の形態の音源分離装置のハードウェアの例は、収音部である複数のマイク１０と接続されたコンピュータである。コンピュータは、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、ディスプレイ、キーボード、マウス、通信インターフェース等を備える。上記した各機能を実現するモジュールを有するプログラムをＲＡＭまたはＲＯＭに格納しておき、ＣＰＵによって当該プログラムを実行することによって、上記した音源分離装置が実現される。このようなプログラムも本発明の範囲に含まれる。

本発明は、複数の音源から入力された音を方向別に分離して目的音源を抽出する技術として有用である。

１，２，３音源分離の評価装置
４音源分離装置
１０マイク
１１音源分離部
１２空間相関行列算出部
１３固有値分解部
１４到来方向推定部
１５逆行列算出部
１６分離度算出部
１７パーミュテーション算出部

Claims

複数の音源から到来した音を収音する収音部と、
前記収音部にて収音した音の音源を分離する音源分離部と、
前記各音源に対する空間相関行列を求める空間相関行列算出部と、
前記空間相関行列を固有値分解して固有値及び固有ベクトルを求める固有値分解部と、
前記固有値及び固有ベクトルを用いて、ＭＵＳＩＣ法により、各音源の各周波数について、ＭＵＳＩＣスペクトルを求める到来方向推定部と、
を備える音源分離の評価装置。
前記音源分離部は、前記収音部にて収音した音のスペクトログラムを複数の基底とそれに対応するアクティベーションに分解し、前記基底とアクティベーションをクラスタリングして音源分離し、
前記空間相関行列算出部は、前記音源分離部にて分離された各音源について、空間相関行列を求める、請求項１に記載の音源分離の評価装置。
前記音源分離部は、前記収音部にて収音した音を独立した信号に分離する分離行列を、前記音のスペクトログラムの周波数ビンごとに推定して音源を分離し、
前記空間相関行列算出部は、前記分離行列の逆行列を求めることにより、各音源の空間相関行列を求める、請求項１に記載の音源分離の評価装置。
前記到来方向推定部にて求めた各音源のＭＵＳＩＣスペクトルの近さを評価する分離度算出部をさらに備える、請求項１乃至３のいずれかに記載の音源分離の評価装置。
複数の音源から到来した音を収音する収音部と、
前記収音部にて収音した音の音源を分離する音源分離部と、
前記各音源に対する空間相関行列を求める空間相関行列算出部と、
前記空間相関行列を固有値分解して固有値及び固有ベクトルを求める固有値分解部と、
前記固有値及び固有ベクトルを用いて、ＭＵＳＩＣ法により、各音源の各周波数について、ＭＵＳＩＣスペクトルを求める到来方向推定部と、
各音源のＭＵＳＩＣスペクトルと、周波数ごとのＭＵＳＩＣスペクトルとを比較して、パーミュテーションが起こっているか否かを判定するパーミュテーション算出部と、
を備え、
前記音源分離部は、前記パーミュテーション算出部での判定結果を、音源の分離に用いる音源分離装置。
前記音源分離部は、前記収音部にて収音した音のスペクトログラムを複数の基底とそれに対応するアクティベーションに分解し、前記基底とアクティベーションをクラスタリングして音源分離し、
前記空間相関行列算出部は、前記音源分離部にて分離された各音源について、空間相関行列を求める、請求項５に記載の音源分離装置。
前記音源分離部は、前記収音部にて収音した音を独立した信号に分離する分離行列を、前記音のスペクトログラムの周波数ビンごとに推定して音源を分離し、
前記空間相関行列算出部は、前記分離行列の逆行列を求めることにより、各音源の空間相関行列を求める、請求項５に記載の音源分離装置。
到来した音の音源を分離し、その分離性能を評価する方法であって、
収音した音の音源を分離するステップと、
前記各音源に対する空間相関行列を求めるステップと、
前記空間相関行列を固有値分解して固有値及び固有ベクトルを求めるステップと、
前記固有値及び固有ベクトルを用いて、ＭＵＳＩＣ法により、各音源の各周波数について、ＭＵＳＩＣスペクトルを求めるステップと、
を備える音源分離の評価方法。
到来した音の音源を分離する方法であって、
収音した音の音源を分離するステップと、
前記各音源に対する空間相関行列を求めるステップと、
前記空間相関行列を固有値分解して固有値及び固有ベクトルを求めるステップと、
前記固有値及び固有ベクトルを用いて、ＭＵＳＩＣ法により、各音源の各周波数について、ＭＵＳＩＣスペクトルを求めるステップと、
各音源のＭＵＳＩＣスペクトルと、周波数ごとのＭＵＳＩＣスペクトルとを比較して、パーミュテーションが起こっているか否かを判定するステップと、
を備え、
前記各音源を分離するステップにおいて、前記パーミュテーションが起こっているか否かの判定結果を、音源の分離に用いる音源分離方法。
到来した音の音源を分離し、その分離性能を評価するためのプログラムであって、コンピュータに、
収音した音の音源を分離するステップと、
前記各音源に対する空間相関行列を求めるステップと、
前記空間相関行列を固有値分解して固有値及び固有ベクトルを求めるステップと、
前記固有値及び固有ベクトルを用いて、ＭＵＳＩＣ法により、各音源の各周波数について、ＭＵＳＩＣスペクトルを求めるステップと、
を実行させるプログラム。
到来した音の音源を分離するためのプログラムであって、コンピュータに、
収音した音の音源を分離するステップと、
前記各音源に対する空間相関行列を求めるステップと、
前記空間相関行列を固有値分解して固有値及び固有ベクトルを求めるステップと、
前記固有値及び固有ベクトルを用いて、ＭＵＳＩＣ法により、各音源の各周波数について、ＭＵＳＩＣスペクトルを求めるステップと、
各音源のＭＵＳＩＣスペクトルと、周波数ごとのＭＵＳＩＣスペクトルとを比較して、パーミュテーションが起こっているか否かを判定するステップと、
を実行させ、
前記各音源を分離するステップにおいて、前記パーミュテーションが起こっているか否かの判定結果を、音源の分離に用いるプログラム。