JP2023025457A - 信号解析装置、信号解析方法、及び信号解析プログラム - Google Patents

Abstract

【課題】計算コストを抑えて、各構成音が混合した混合信号から、各構成音を精度よく分離することができる。
【解決手段】学習部３２が、各構成音についてのスペクトログラム及び属性クラスに基づいて、音のスペクトログラムを入力として潜在ベクトル系列を推定するエンコーダと、前記音のスペクトログラムを入力として前記音の属性を示す属性クラスを識別する識別器と、前記潜在ベクトル系列及び前記属性クラスを入力として前記音のスペクトログラムの分散を生成するデコーダと、を学習する。パラメータ推定部３６が、各構成音が混合された観測信号を入力として、目的関数を最適化するように、分離行列と、スケールパラメータとを推定する。
【選択図】図５

Description

開示の技術は、信号解析装置、信号解析方法、及び信号解析プログラムに関する。

ブラインド音源分離（Ｂｌｉｎｄ Ｓｏｕｒｃｅ Ｓｅｐａｒａｔｉｏｎ：ＢＳＳ）は、音源に関する情報や音源とマイクとの間の伝達関数等の事前情報を用いずに観測された混合信号のみから個々の音源信号を分離抽出する技術である。マイクロホンの数が音源数以上の優決定条件下においては、音源信号間の独立性を最大化するように分離フィルタを推定することを目的とする独立成分分析（Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ：ＩＣＡ）が有効であることが知られており、その原理を拡張した手法が数多く提案されている。中でも時間周波数領域で定式化される手法は、音源に関する時間周波数領域で成り立つ様々な仮定やマイクロホンアレーの周波数応答に関する仮定を有効に活用できるという利点がある。例えば、非特許文献１に記載の独立低ランク行列分析（Ｉｎｄｅｐｅｎｄｅｎｔ Ｌｏｗ－Ｒａｎｋ Ｍａｔｒｉｘ Ａｎａｌｙｓｉｓ：ＩＬＲＭＡ）は、各音源信号のパワースペクトログラムを二つの非負値行列の積（低ランク非負値行列）でモデル化できるという仮定を基礎としている。しかし、この仮定に従わない音源に対しては本手法の分離性能は必然的に限定的となる。

近年、ＩＣＡをはじめとした信号処理に基づく手法に深層学習（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＤＮＮ）を導入することで、分離精度を改善する試みがなされている。非特許文献２に記載の多チャンネル変分自己符号化器法（Ｍｕｌｔｉｃｈａｎｎｅｌ Ｖａｒｉａｔｉｏｎａｌ Ａｕｔｏｅｎｃｏｄｅｒ：ＭＶＡＥ）法は、条件付きＶＡＥ（Ｃｏｎｄｉｔｉｏｎａｌ ＶＡＥ：ＣＶＡＥ）により表現される音源スペクトログラムの生成モデルを事前学習し、分離時においてＣＶＡＥのデコーダ入力を分離行列と共に推定する手法で、ＤＮＮを用いた手法の中でも特に高い分離精度を達成している。この手法では、各反復計算で尤度関数が上昇するようにパラメータが更新されるため、尤度関数の停留点への収束が保証される一方で、デコーダ入力値の更新に誤差逆伝播法（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）が用いられるため、高い計算コストを要する点に課題があった。

非特許文献３に記載のＦａｓｔＭＶＡＥ法は前記ＭＶＡＥ法の計算コストの削減を目的として提案された手法で、クラス識別器つきＶＡＥ（Ａｕｘｉｌｉａｒｙ Ｃｌａｓｓｉｆｉｅｒ ＶＡＥ： ＡＣＶＡＥ）を用いて音源スペクトログラムの生成モデルであるデコーダと共に、音源クラスの分布と潜在変数の事後分布を近似する識別器分布とエンコーダ分布を学習することで、学習で得られた識別器とエンコーダを用いて事後分布が最大となるようなデコーダ入力値を予測する手法である。この手法では、ＭＶＡＥ法に比べて音源分離アルゴリズムを高速化できる一方で、未知話者や長い残響の場合など、テスト時において学習時と条件が一致しない場合に分離性能が低下する傾向があった。

Daichi Kitamura, Nobutaka Ono, Hiroshi Sawada, Hirokazu Kameoka, and Hiroshi Saruwatari, "Determined blind source separation unifying independent vector analysis and nonnegative matrix factorization," IEEE/ACM Transactions on Audio, Speech, and Language Processing, vol. 24, no.9, pp. 1626-1641, Sep. 2016. Hirokazu Kameoka, Li Li, Shota Inoue, and Shoji Makino, "Supervised Determined Source Separation with Multichannel Variational Autoencoder," Neural Computation, vol. 31, no. 9, pp.1891-1914, Sep. 2019. Li Li, Hirokazu Kameoka, Shota Inoue, and Shoji Makino, "FastMVAE: A Fast Optimization Algorithm for the Multichannel Variational Autoencoder Method," IEEE Access, vol. 8, pp. 228740-228753, Dec. 2020.

ＭＶＡＥ法では、各反復計算で対数尤度が上昇するようにパラメータの更新が行われるため、対数尤度の停留点への収束が保証される利点がある一方で、誤差逆伝播法による音声生成モデルのパラメータ更新に多大な計算コストを要する点に課題があった。

これに対し、非特許文献３のＦａｓｔＭＶＡＥ法では、デコーダと共に事前に学習しておいたエンコーダと識別器を用いて当該パラメータの更新値を予測する方法により、音源分離アルゴリズムの大幅な高速化を実現した。しかし、ＦａｓｔＭＶＡＥ法におけるエンコーダと識別器の出力値は当該パラメータに関する対数尤度の最急上昇方向への更新値を近似したものでしかないため、音源分離精度に関してはＦａｓｔＭＶＡＥ法はＭＶＡＥ法に及ばないことが実験的に確認されている。

開示の技術は、上記の点に鑑みてなされたものであり、計算コストを抑えて、各構成音が混合した混合信号から、各構成音を精度よく分離することができる信号解析装置、方法、及びプログラムを提供することを目的とする。

本開示の第１態様は、信号解析装置であって、各構成音についてのスペクトログラム及び前記構成音の属性を示す属性クラスに基づいて、音のスペクトログラムを入力として潜在ベクトル系列を推定するエンコーダと、前記音のスペクトログラムを入力として前記音の属性を示す属性クラスを識別する識別器と、前記潜在ベクトル系列及び前記属性クラスを入力として前記音のスペクトログラムの分散を生成するデコーダと、を学習する学習部と、各構成音が混合された観測信号を入力として、前記学習されたエンコーダによって前記分離行列により分離された各構成音について推定される前記潜在ベクトル系列、前記学習された識別器によって前記分離行列により分離された各構成音について識別される前記属性クラス、各構成音についての、前記学習されたデコーダによって生成される、前記構成音のスペクトログラムの分散と、スケールパラメータとから算出される、前記構成音のスペクトログラム、各構成音のスペクトログラムのスケールパラメータ、時間周波数領域で各構成音が混合された混合音を各構成音に分離するための分離行列、及び前記観測信号を各構成音に分離した信号を用いて表される目的関数を最適化するように、前記分離行列と、前記スケールパラメータとを推定するパラメータ推定部と、を含む。

本開示の第２態様は、信号解析方法であって、学習部が、各構成音についてのスペクトログラム及び前記構成音の属性を示す属性クラスに基づいて、音のスペクトログラムを入力として潜在ベクトル系列を推定するエンコーダと、前記音のスペクトログラムを入力として前記音の属性を示す属性クラスを識別する識別器と、前記潜在ベクトル系列及び前記属性クラスを入力として前記音のスペクトログラムの分散を生成するデコーダと、を学習し、パラメータ推定部が、各構成音が混合された観測信号を入力として、前記学習されたエンコーダによって前記分離行列により分離された各構成音について推定される前記潜在ベクトル系列、前記学習された識別器によって前記分離行列により分離された各構成音について識別される前記属性クラス、各構成音についての、前記学習されたデコーダによって生成される、前記構成音のスペクトログラムの分散と、スケールパラメータとから算出される、前記構成音のスペクトログラム、各構成音のスペクトログラムのスケールパラメータ、時間周波数領域で各構成音が混合された混合音を各構成音に分離するための分離行列、及び前記観測信号を各構成音に分離した信号を用いて表される目的関数を最適化するように、前記分離行列と、前記スケールパラメータとを推定する。

本開示の第３態様は、プログラムであって、コンピュータを、上記第１態様の信号解析装置として機能させるためのプログラムである。

開示の技術によれば、計算コストを抑えて、各構成音が混合した混合信号から、各構成音を精度よく分離することができる、という効果が得られる。

本実施形態に係る教師用エンコーダ及び教師用デコーダの構成を説明するための概念図である。 本実施形態に係るエンコーダ、識別器、及びデコーダの構成を説明するための概念図である。 本実施形態に係るエンコーダ及び識別器の構成例、並びにデコーダの構成例を示す図である。 本実施形態の信号解析装置として機能するコンピュータの一例の概略ブロック図である。 本実施形態の信号解析装置の構成を示すブロック図である。 本実施形態の信号解析装置における学習処理ルーチンを示すフローチャートである。 本実施形態の信号解析装置における信号解析処理ルーチンを示すフローチャートである。 実験例におけるマイクと音源の配置を示す図である。 本実施形態の手法と従来手法による、各反復における計算時間を示す図である。

以下、開示の技術の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一又は等価な構成要素及び部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

＜本実施形態の概要＞
まず、本実施形態における概要を説明する。

本実施形態では、ＦａｓｔＭＶＡＥ法におけるエンコーダと識別器を単一のマルチタスクＮＮ（ニューラルネットワーク）として統合することでさらなる高速化を実現する。また、当該マルチタスクＮＮとデコーダを、それぞれの出力分布が、ＭＶＡＥ法における事前学習で獲得したエンコーダとデコーダのそれぞれの出力分布とできるだけ近くなるように知識蒸留（Ｋｎｏｗｌｅｄｇｅ Ｄｉｓｔｉｌｌａｔｉｏｎ：ＫＤ）を行うことで、各ＮＮに、ＭＶＡＥ法における音声生成モデルのパラメータ更新に似た振る舞いをさせ、ＭＶＡＥ法の高い分離精度に近づける。これらのアイディアにより、従来技術のＦａｓｔＭＶＡＥ法に比べて未知話者に対しても高速かつ高精度な音源分離を実現する。

＜本実施形態の原理＞
＜優決定条件下の多チャンネル音源分離問題の定式化＞
Ｉ個のマイクロホンでＪ個の音源から到来する信号を観測する場合を考える。マイクｉの観測信号、音源ｊの信号の複素スペクトログラムをそれぞれｘ_ｉ（ｆ，ｎ）、ｓ_ｊ（ｆ，ｎ）とする。また、これらを要素としたベクトルを

（１）

（２）
とする。ただし、ここではＩ＝Ｊの優決定条件を考える。ここで（ ）^Ｔは転置を表し、ｆとｎはそれぞれ周波数と時間のインデックスである。

Ｉ＝Ｊの条件においては音源信号の複素スペクトログラムのベクトルｓ（ｆ，ｎ）と観測信号のベクトルｘ（ｆ，ｎ）の間の関係式として瞬時分離系

（３）

（４）
を仮定することができる。ここで、Ｗ^Ｈ（ｆ）は分離行列を表し、（ ）^Ｈはエルミート転置である。

以上の瞬時混合系の仮定の下で、更に音源ｊの複素スペクトログラムｓ_ｊ（ｆ，ｎ）が平均０、分散

の複素正規分布

（５）
に従う確率変数とすると、各音源信号ｓ_ｊ（ｆ，ｎ）とｓ_ｊ’（ｆ，ｎ）、ｊ≠ｊ’が統計的に独立のときには、音源信号ｓ（ｆ，ｎ）は

（６）
に従う。

ここで、Ｖ（ｆ，ｎ）はｖ_１（ｆ，ｎ），・・・，ｖ_Ｉ（ｆ，ｎ）を要素に持つ対角行列である。式（３）、（６）より、観測信号ｘは

（７）
に従う。

従って、観測信号Ｘ＝｛ｘ（ｆ，ｎ）｝_ｆ，ｎが与えられた下での分離行列Ｗ＝｛Ｗ（ｆ）｝_ｆと各音源のパワースペクトログラムＶ＝｛ｖ_ｊ（ｆ，ｎ）｝_{ｊ，ｆ，ｎ}の対数尤度関数は

（８）
となる。ここで、＝^ｃはパラメータに依存する項のみに関する等号を表す。音源パワースペクトログラムｖ_ｊ（ｆ，ｎ）に制約がない場合、式（８）は周波数ｆごとの項に分解されるため、式（８）に基づいて求めるＷで得られた分離信号のインデックスにはパーミュテーションの任意性が生じる。ｖ_ｊ（ｆ，ｎ）が周波数方向に構造的制約を持つ場合、その制約を活かすことでパーミュテーション整合と音源分離を同時解決するアプローチを導くことができる。ＩＬＲＭＡやＭＶＡＥ法がその例である。

＜従来技術１：ＭＶＡＥ法＞
ＭＶＡＥ法では、音源クラスラベルを補助入力としたＣＶＡＥのデコーダ分布を各音源の複素スペクトログラムの生成モデルとして用いる。ある音源信号の複素スペクトログラムをＳ＝｛ｓ（ｆ，ｎ）｝_ｆ，ｎとし、対応する音源クラスラベルをｏｎｅ－ｈｏｔベクトルｃとする。図１にＣＶＡＥの概念図を示す。ＣＶＡＥはエンコーダ分布ｑ^＊ _φ（ｚ｜Ｓ，ｃ）とデコーダ分布ｐ^＊ _θ（Ｓ｜ｚ，ｃ）が無矛盾になるように、すなわち、ｑ^＊ _φ（ｚ｜Ｓ，ｃ）とｐ^＊ _θ（Ｓ｜ｚ，ｃ）から導かれる事後分布ｐ^＊ _θ（ｚ｜Ｓ，ｃ）∝ｐ^＊ _θ（Ｓ｜ｚ，ｃ）ｐ（ｚ）ができるだけ一致するようにエンコーダとデコーダのＮＮパラメータφ、θを学習する。ここで、ＣＶＡＥのデコーダ分布を式（５）の局所ガウス音源モデルと同形の確率モデル

（９）

（１０）
と置く。ただし、分散σ^＊ _θ ^２（ｆ，ｎ；ｚ，ｃ）はデコーダネットワークの出力であり、ｇはパワースペクトログラムのスケールを表す変数である。

一方、エンコーダ分布ｑ^＊ _φ（ｚ｜Ｓ，ｃ）は通常のＣＶＡＥと同様に、標準正規分布

（１１）
と仮定する。

ここで、μ^＊ _φ（Ｓ，ｃ）、σ^＊ _φ ^２（Ｓ，ｃ）はエンコーダの出力である。ＣＶＡＥのパラメータθ、φは、各種クラスの音源信号の複素スペクトログラムの学習サンプル｛Ｓ_ｍ、ｃ_ｍ｝^Ｍ _ｍ＝１を用いて

（１２）
が最大となるように学習される。

は学習サンプルによる標本平均を表し、ＫＬ［・｜｜・］はＫｕｌｌｂａｃｋ－Ｌｅｉｂｌｅｒ（ＫＬ）ダイバージェンスである。以上により学習したデコーダ分布ｐ^＊ _θ（Ｓ｜ｚ，ｃ，ｇ）をＣＶＡＥ音源モデルと呼ぶ。ＣＶＡＥ音源モデルは、学習サンプルに含まれる様々なクラスの音源の複素スペクトログラムを表現可能な生成モデルとなっており、ｃを音源クラスのカテゴリカルな特徴を調整する役割と見なすことができ、ｚを、クラス内の変動を調整する役割を担った変数と見なすことができる。

音源ｊの複素スペクトログラムＳ_ｊ＝｛ｓ_ｊ（ｆ，ｎ）｝_ｆ，ｎの生成モデルを、ｚ_ｊ、ｃ_ｊ、ｇ_ｊを入力としたデコーダ分布により表現することで、音源モデルのパラメータの尤度関数は式（８）と同形の尤度関数に帰着させることができる。従って、式（８）の尤度関数が大きくなるように分離行列Ｗ、ＣＶＡＥ音源モデルパラメータΨ＝｛ｚ_ｊ，ｃ_ｊ｝_ｊ、スケールパラメータＧ＝｛ｇ_ｊ｝_ｊを反復更新することで、式（８）の停留点を探索することができる。式（８）を上昇させるＷの更新にはＩＬＲＭＡと同様に反復射影法（Ｉｔｅｒａｔｉｖｅ Ｐｒｏｊｅｃｔｉｏｎ：ＩＰ）

（１３）

（１４）
を用いることができる。

ただし、

であり、ｅ_ｊはＩ×Ｉの単位行列の第ｊ列ベクトルである。また式（８）を上昇させるΨの更新は誤差逆伝播法、Ｇの更新は

（１５）
により行うことができる。ただし、式（１５）はＷとΨが固定された下で式（８）を最大にする更新式である。以上よりＭＶＡＥの推論プロセスは以下のようにまとめられる。

１．式（１２）を規準としてθ、φを学習する。
２．Ｗを単位行列に初期化し、Ψを初期化する。
３．各ｊについて下記ステップａ～ステップｃを繰り返す。
（ステップａ）式（１３）、（１４）により｛ｗ_ｊ（ｆ）｝_ｊ，ｆを更新する。
（ステップｂ）誤差逆伝播法によりΨ_ｊ＝｛ｚ_ｊ，ｃ_ｊ｝を更新する。
（ステップｃ）式（１５）によりｇ_ｊを更新する。

＜従来技術２：ＦａｓｔＭＶＡＥ法＞
ＭＶＡＥ法では、各反復計算で対数尤度が上昇するようにパラメータの更新が行われるため、対数尤度の停留点への収束が保証される利点がある一方で、ｐ_θ（ｚ_ｊ，ｃ_ｊ｜Ｓ_ｊ）を最大にするパラメータｚ_ｊ、ｃ_ｊを誤差逆伝播法により更新するのに多大な計算コストを要する点に課題があった。非特許文献３のＦａｓｔＭＶＡＥ法では、事後分布ｐ_θ（ｚ，ｃ｜Ｓ）をｐ_θ（ｚ｜Ｓ，ｃ）ｐ_θ（ｃ｜Ｓ）のように二つの条件付き分布の積に分解し、各分布を近似するよう分布ｑ^＊ _φ（ｚ｜Ｓ，ｃ）、ｒ^＊ _ψ（ｃ｜Ｓ）をＮＮにより表現し、事前学習する。これにより、ＭＶＡＥ法における誤差逆伝播法によるパラメータ探索をそれぞれのＮＮのフォワード計算で代替でき、高速な推論が可能になる。しかし、ＦａｓｔＭＶＡＥ法におけるエンコーダｑ^＊ _φ（ｚ｜Ｓ，ｃ）と識別器ｒ^＊ _ψ（ｃ｜Ｓ）の出力値は当該パラメータに関する対数尤度の最急上昇方向への更新値を近似したものでしかないため、音源分離精度に関しては、ＦａｓｔＭＶＡＥ法はＭＶＡＥ法に及ばないことが実験的に確認されている。

＜本実施形態の方法＞
本実施形態で用いるＦａｓｔＭＶＡＥ２法では、まず潜在変数ｚと音源の属性クラスｃが条件付き独立であることを仮定する。これは、所与のスペクトログラムＳが与えられた下で、話者情報ｃと発話内容に関する情報ｚが独立であると仮定することに相当する。つまり、事後確率ｐ_θ（ｚ，ｃ｜Ｓ）をｐ_θ（ｚ｜Ｓ）ｐ_θ（ｃ｜Ｓ）と表せると仮定する点が従来と異なる。この二つの条件付き分布の近似分布が得られれば、ＦａｓｔＭＶＡＥ法と同様、ＮＮのフォワード計算でパラメータ探索を高速に行うことができる。

＜ＣｈｉｍｅｒａＡＣＶＡＥ音源モデル＞
ＡＣＶＡＥは、元々音声変換に応用する目的で提案されたＣＶＡＥの拡張版で、入力されるクラスラベルｃのデコーダ出力への影響力を強調するためにデコーダ出力とクラスラベルｃとの相互情報量Ｉ（ｃ，Ｓ｜ｚ）を正則化項としてエンコーダとデコーダを学習する方式である。Ｉ（ｃ，Ｓ｜ｚ）を含めた規準を直接最適化することは容易ではないが、ＣＶＡＥの学習と同様に変分下界を導入し、その変分下界とＪ（φ，θ）を合わせた規準を上昇させることで、元となる規準を間接的に大きくすることができる。Ｉ（ｃ，Ｓ｜ｚ）はｌｏｇ ｐ（ｃ｜Ｓ）の期待値と定数の和で与えられるが、ｐ（ｃ｜Ｓ）を適当な補助分布ｒ（ｃ｜Ｓ）に置き換えたものがＩ（ｃ，Ｓ｜ｚ）の下界となる。この補助分布ｒ（ｃ｜Ｓ）をパラメータ_ψのＮＮでモデル化することで、上記下界を規準としてψをφやθとともに学習することができる。パラメータψのＮＮで表される補助分布をｒ_ψ（ｃ｜Ｓ）と表し、識別器と呼ぶ。

これに対し、本実施形態の「ＣｈｉｍｅｒａＡＣＶＡＥ」はＡＣＶＡＥのエンコーダと識別器を一体のマルチタスクＮＮとして表したモデルである。つまり、ｚとｃの分布ｑ^＋ _φ（ｚ｜Ｓ）、ｒ^＋ _ψ（ｃ｜Ｓ）をスペクトログラムＳから同時推論するモデルとなる。図２にＣｈｉｍｅｒａＡＣＶＡＥの概念図を示す。

ＣｈｉｍｅｒａＡＣＶＡＥは潜在変数ｚを入力スペクトログラムのみから抽出する構造になっているため、クラスラベルｃの推定誤差に起因するｚの推論誤差を回避することができる。また、従来のＡＣＶＡＥモデルに比べてコンパクトなネットワーク構造で記述できるため、より高速な推論が可能となることが期待される。

ＣｈｉｍｅｒａＡＣＶＡＥを学習するための規準、すなわちＮＮパラメータθ、φ、ψに関して最大化すべき目的関数は、ＣＶＡＥの学習規準

（１６）
および、相互情報量

（１７）
の和を含む。また、ラベル付き学習サンプル｛Ｓ_ｍ，ｃ_ｍ｝^Ｍ _ｍも学習に用いることができるため、学習データＳ_ｍと対応するクラスラベルｃ_ｍの負の交差エントロピー

（１８）
も、学習するための規準に含めることができる。ここまではモデル構造を除けば従来のＡＣＶＡＥと同様である。

しかし、以上の規準により学習されたＡＣＶＡＥは、テスト条件と学習条件が一致する場合高精度な推論が可能となるが、一致しない場合に推定される潜在変数が仮定した分布から逸脱する傾向があり、モデルの汎化能力は十分ではなかった。

そこでモデルの汎化能力を向上させるため、ＣｈｉｍｅｒａＡＣＶＡＥの学習においては上記の規準に加え更に以下の規準と知識蒸留を用いる。ＣｈｉｍｅｒａＡＣＶＡＥでは、推定されたクラス情報を利用して、スペクトログラムＳを再構築することができる。このプロセスは推論時にも用いられるため、同じプロセスで再構築したスペクトログラムＳの精度を評価する規準を利用してモデルを学習させることは推論時の精度向上に繋がると考えられる。そこで、最大化すべき式（１９）の再構築規準と式（２０）のクラス識別規準も、学習するための規準に含める。

（１９）

（２０）

あるいはこれらの規準の代わりに、実装の簡単化のため、その近似値

（２１）

（２２）
を用いても良い。ただし

である。

知識蒸留（Ｋｎｏｗｌｅｄｇｅ Ｄｉｓｔｉｌｌａｔｉｏｎ： ＫＤ）は事前に大量のデータで学習した大きなＮＮを教師用モデルとし、その知識を軽量または別のＮＮ構造を持つ生徒モデルに継承させるための方法論であり、汎化能力の高い生徒モデルが得られることが知られている。ここで、未知話者に対しても高い分離精度を実現できるＣＶＡＥモデルを教師用モデルとし、ＣＶＡＥで学習した潜在変数の分布ｑ^＊ _φ（ｚ｜Ｓ，ｃ）とスペクトログラムの生成モデルｐ^＊ _θ（Ｓ｜ｚ，ｃ）の知識を生徒モデルであるＣｈｉｍｅｒａＡＣＶＡＥに継承させることを考える。具体的には、ＣＶＡＥで推論した潜在変数の分布ｑ^＊ _φ（ｚ｜Ｓ，ｃ）と、デコーダで出力した分散σ^＊ _φ ^２を用いた正規分布Ｎ（０、ｄｉａｇ（σ^＊ _θ ^２（ｚ，ｃ）））をそれぞれ生徒モデルの出力分布ｑ^＋ _φ（ｚ｜Ｓ）と、デコーダ出力σ^＋ _φ ^２を用いた正規分布の事前分布とし、生徒モデルの出力が事前分布に近づくよう学習させる。ただし、教師用モデルと生徒モデルの分布の乖離度を、ＫＬダイバージェンスを用いて測り、式（２３）～（２５）に示すように、知識蒸留規準とする。

（２３）

（２４）

（２５）

以上よりＣｈｉｍｅｒａＡＣＶＡＥを学習する際に最大化すべき規準は

（２６）
となる。ここで、λは非負値であり、各規準の重み係数である。図２に知識蒸留を用いたＣｈｉｍｅｒａＡＣＶＡＥの学習の概念図を示す。

図３にＣｈｉｍｅｒａＡＣＶＡＥのネットワーク構造例を示す。エンコーダと識別器の各層は畳み込み層、Ｌａｙｅｒ Ｎｏｒｍａｌｉｚａｔｉｏｎ（ＬＮ）とＳｉｇｍｏｉｄ Ｌｉｎｅａｒ Ｕｎｉｔ（ＳｉＬＵ）により構成され、デコーダの各層は逆畳み込み層、ＬＮとＳｉＬＵにより構成される。ここで、ＬＮを用いることによって、学習と推論時における正規化の計算方法の不整合を回避できる。ＳｉＬＵはＣＶＡ音源モデルに用いられたＧａｔｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ（ＧＬＵ）と同様に階層間に受け渡す情報をゲートにより制御するデータ駆動の活性化関数であり、ＧＬＵのパラメータ数を半減することができる。

＜ＦａｓｔＭＶＡＥ２法：高速な推論アルゴリズム＞
ＣｈｉｍｅｒａＡＣＶＡＥで学習したエンコーダと識別器を用いることで、従来のＭＶＡＥ法におけるｐ_θ（ｚ_ｊ，ｃ_ｊ｜Ｓ_ｊ）の最大化ステップをｑ^＋ _φ（ｚ_ｊ｜Ｓ_ｊ）とｒ^＋ _ψ（ｃ_ｊ｜Ｓ_ｊ）のフォワード計算に置き換えることができる。よって、以下のアルゴリズムが得られる。これをＦａｓｔＭＶＡＥ２法と呼ぶ。

１．式（２６）を学習のための規準としてθ、φ、ψを学習する。
２．Ｗを単位行列に初期化する。
３．各ｊについて下記ステップａ～ｃを繰り返す。
（ステップａ）式（１３）、（１４）により｛ｗ_ｊ（ｆ）｝_ｊ，ｆを更新する。
（ステップｂ）Ｗを用いて分離したスペクトログラムを入力とし、エンコーダから出力されるガウス分布の平均と識別器の出力値（連続値ベクトル）にｚ_ｊとｃ_ｊをそれぞれ更新する。
（ステップｃ）式（１５）によりｇ_ｊを更新する。

＜本実施形態に係る信号解析装置の構成＞
図４は、本実施形態の信号解析装置１００のハードウェア構成を示すブロック図である。

図４に示すように、信号解析装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３、ストレージ１４、入力部１５、表示部１６及び通信インタフェース（Ｉ／Ｆ）１７を有する。各構成は、バス１９を介して相互に通信可能に接続されている。

ＣＰＵ１１は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４からプログラムを読み出し、ＲＡＭ１３を作業領域としてプログラムを実行する。ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ＲＯＭ１２又はストレージ１４には、学習処理を実行するための学習プログラム、及び信号解析処理を実行するための信号解析プログラムが格納されている。学習プログラム及び信号解析プログラムは、１つのプログラムであっても良いし、複数のプログラム又はモジュールで構成されるプログラム群であっても良い。

ＲＯＭ１２は、各種プログラム及び各種データを格納する。ＲＡＭ１３は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ１４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。

入力部１５は、マウス等のポインティングデバイス、及びキーボードを含み、各種の入力を行うために使用される。

入力部１５は、学習データとして、複数の構成音の各々について、当該構成音の信号の時系列データ及び当該構成音の信号の属性を示す属性クラスを受け付ける。また、入力部１５は、解析対象データとして、複数の構成音が混じっている混合信号（以後、観測信号）の時系列データを受け付ける。なお、構成音の信号の属性を示す属性クラスは、人手で与えておけばよい。また、構成音の信号の属性とは、例えば、性別、大人／子供、話者ＩＤなどである。

表示部１６は、例えば、液晶ディスプレイであり、各種の情報を表示する。表示部１６は、タッチパネル方式を採用して、入力部１５として機能しても良い。

通信インタフェース１７は、他の機器と通信するためのインタフェースであり、例えば、イーサネット（登録商標）、ＦＤＤＩ、Ｗｉ－Ｆｉ（登録商標）等の規格が用いられる。

次に、信号解析装置１００の機能構成について説明する。図５は、信号解析装置１００の機能構成の例を示すブロック図である。

信号解析装置１００は、機能的には、図５に示すように、時間周波数展開部２４と、教師学習部３０と、学習部３２と、音源信号モデル記憶部３４と、パラメータ推定部３６と、出力部３８と、を含んで構成されている。

時間周波数展開部２４は、構成音毎に、当該構成音の信号の時系列データに基づいて、各時刻のスペクトルを表すパワースペクトログラムを計算する。また、時間周波数展開部２４は、観測信号の時系列データに基づいて、各時刻のスペクトルを表すパワースペクトログラムを計算する。なお、本実施の形態においては、短時間フーリエ変換やウェーブレット変換などの時間周波数展開を行う。

教師学習部３０は、学習データとして入力された各構成音についてのスペクトログラム及び属性クラスに基づいて、音のスペクトログラム及び属性クラスを入力として潜在ベクトル系列を推定する教師用エンコーダ、並びに潜在ベクトル系列及び属性クラスを入力として音のスペクトログラムの分散を生成する教師用デコーダを学習し、音源信号モデル記憶部３４に格納する。

具体的には、教師学習部３０は、構成音毎に、教師用デコーダによって生成されたパワースペクトログラムと、元の構成音の信号におけるパワースペクトログラムとの誤差、並びに、教師用エンコーダによって推定された潜在ベクトル系列と、元の構成音の信号における潜在ベクトル系列との距離を用いて表される、上記式（１２）の目的関数の値を最大化するように、教師用エンコーダ及び教師用デコーダを学習し、音源信号モデル記憶部３４に格納する。ここで、教師用エンコーダ及び教師用デコーダの各々は、畳み込みネットワーク又は再帰型ネットワークを用いて構成される。

学習部３２は、学習データとして入力された各構成音についてのスペクトログラム及び属性クラスに基づいて、音のスペクトログラムを入力として潜在ベクトル系列を推定するエンコーダと、音のスペクトログラムを入力として属性クラスを識別する識別器と、潜在ベクトル系列及び属性クラスを入力として音のスペクトログラムの分散を生成するデコーダと、を学習する。

具体的には、学習部３２は、エンコーダの出力、及びデコーダの出力を評価するための学習規準と、デコーダの出力及び属性クラスの相互情報量と、エンコーダの出力及び識別器の出力を入力としたデコーダの出力を用いて生成したスペクトログラムを評価するための再構築規準と、エンコーダの出力及び識別器の出力を入力としたデコーダの出力を用いて生成したスペクトログラムを入力とした前記識別器の出力を評価するためのクラス識別規準と、エンコーダの出力及び学習された教師用エンコーダの出力を対応させ、かつ、デコーダの出力及び学習された教師用デコーダの出力を対応させるための知識蒸留規準とを含む上記式（２６）の規準を最大化するように、エンコーダ、識別器、及びデコーダを学習し、音源信号モデル記憶部３４に格納する。ここで、エンコーダ及び識別器は、一体のニューラルネットワークであって、エンコーダ及び識別器で、一部の層を共有する。また、エンコーダ、識別器、及びデコーダの各々は、畳み込みネットワーク又は再帰型ネットワークを用いて構成される。

パラメータ推定部３６は、観測信号のパワースペクトログラムに基づいて、各構成音が混合された観測信号を入力として、学習されたエンコーダによって分離行列により分離された各構成音について推定される潜在ベクトル系列、学習された識別器によって分離行列により分離された各構成音について識別される属性クラス、各構成音についての、前記学習されたデコーダによって生成される、構成音のスペクトログラムの分散と、スケールパラメータとから算出される、構成音のスペクトログラム、各構成音のスペクトログラムのスケールパラメータ、時間周波数領域で各構成音が混合された混合音を各構成音に分離するための分離行列、及び前記観測信号を各構成音に分離した信号を用いて表される上記式（８）式の目的関数を最適化するように、分離行列と、スケールパラメータとを推定する。

具体的には、パラメータ推定部３６は、初期値設定部４０、分離行列更新部４２、潜在変数クラス更新部４４、スケールパラメータ更新部４６、及び収束判定部４８を備えている。

初期値設定部４０は、分離行列と、各構成音の潜在ベクトル系列と、各構成音の属性クラスと、各構成音のスケールパラメータとに初期値を設定する。

分離行列更新部４２は、観測信号のパワースペクトログラムと、前回更新された、又は初期値が設定された、各構成音の潜在ベクトル系列、各構成音の属性クラス、各構成音のスケールパラメータ、及び分離行列とに基づいて、上記式（８）に示す目的関数を大きくするように、上記式（１３）、（１４）に従って、分離行列を更新する。

潜在変数クラス更新部４４は、観測信号及び分離行列を用いて得られる各構成音のパワースペクトログラムを入力としたエンコーダの出力のガウス分布の平均を用いて得られる、各構成音の潜在ベクトル系列に更新すると共に、観測信号及び分離行列を用いて得られる各構成音のパワースペクトログラムを入力とした識別器の出力を用いて、各構成音の属性クラスを更新する。

スケールパラメータ更新部４６は、観測信号のパワースペクトログラムと、更新された、各構成音の潜在ベクトル系列、各構成音の属性クラス、各構成音のスケールパラメータ、及び分離行列とに基づいて、上記式（８）に示す目的関数を大きくするように、上記式（１５）に従って、スケールパラメータを更新する。

収束判定部４８は、収束条件を満たすか否かを判定し、収束条件を満たすまで、分離行列更新部４２における更新処理と、潜在変数クラス更新部４４における更新処理と、スケールパラメータ更新部４６における更新処理とを繰り返させる。

収束条件としては、例えば、繰り返し回数が、上限回数に到達したことを用いることができる。あるいは、収束条件として、上記式（８）の目的関数の値と前回の目的関数の値との差分が、予め定められた閾値以下であることを用いることができる。

出力部３８は、パラメータ推定部３６において取得した、各構成音の潜在ベクトル系列、各構成音の属性クラス、及び各構成音のスケールパラメータに基づいて、デコーダを用いて生成される各構成音のパワースペクトログラムを求め、各構成音のパワースペクトログラムから、各構成音の信号を生成して出力する。

＜本実施形態に係る信号解析装置の作用＞
次に、本実施形態に係る信号解析装置１００の作用について説明する。

図６は、信号解析装置１００による学習処理の流れを示すフローチャートである。ＣＰＵ１１がＲＯＭ１２又はストレージ１４から学習プログラムを読み出して、ＲＡＭ１３に展開して実行することにより、学習処理が行なわれる。また、信号解析装置１００に、学習データとして、複数の構成音の各々について、当該構成音の信号の時系列データ及び当該構成音の信号の属性を示す属性クラスが入力される。

まず、ステップＳ１００において、ＣＰＵ１１が、時間周波数展開部２４として、構成音毎に、当該構成音の信号の時系列データに基づいて、各時刻のスペクトルを表すパワースペクトログラムを計算する。

次のステップＳ１０２では、ＣＰＵ１１が、教師学習部３０として、学習データとして入力された各構成音についてのスペクトログラム及び属性クラスに基づいて、音のスペクトログラム及び属性クラスを入力として潜在ベクトル系列を推定する教師用エンコーダ、及び潜在ベクトル系列及び属性クラスを入力として音のスペクトログラムの分散を生成する教師用デコーダを学習する。

ステップＳ１０４では、ＣＰＵ１１が、学習部３２として、学習データとして入力された各構成音についてのスペクトログラム及び属性クラスに基づいて、音のスペクトログラムを入力として潜在ベクトル系列を推定するエンコーダと、音のスペクトログラムを入力として属性クラスを識別する識別器と、潜在ベクトル系列及び属性クラスを入力として音のスペクトログラムの分散を生成するデコーダと、を学習し、学習したエンコーダ、識別器、及びデコーダのパラメータを、音源信号モデル記憶部３４に格納する。

図７は、信号解析装置１００による信号解析処理の流れを示すフローチャートである。ＣＰＵ１１がＲＯＭ１２又はストレージ１４から信号解析プログラムを読み出して、ＲＡＭ１３に展開して実行することにより、信号解析処理が行なわれる。また、信号解析装置１００に、各構成音が混在した観測信号の時系列データが入力される。

まず、ステップＳ１２０において、ＣＰＵ１１が、時間周波数展開部２４として、観測信号の時系列データに基づいて、各時刻のスペクトルを表すパワースペクトログラムを計算する。

ステップＳ１２２では、ＣＰＵ１１が、初期値設定部４０として、分離行列と、各構成音の潜在ベクトル系列と、各構成音の属性クラスと、各構成音のスケールパラメータとに初期値を設定する。

ステップＳ１２４では、ＣＰＵ１１が、分離行列更新部４２として、上記ステップＳ１２０で計算された観測信号のパワースペクトログラムと、前回更新された、又は初期値が設定された、各構成音の潜在ベクトル系列、各構成音の属性クラス、各構成音のスケールパラメータ、及び分離行列とに基づいて、上記式（８）に示す目的関数を大きくするように、上記式（１３）、（１４）に従って、分離行列を更新する。

ステップＳ１２６では、ＣＰＵ１１が、潜在変数クラス更新部４４として、各構成音の潜在ベクトル系列を、観測信号及び分離行列を用いて得られる各構成音のパワースペクトログラムを入力としたエンコーダの出力のガウス分布の平均を用いて得られる、各構成音の潜在ベクトル系列に更新すると共に、観測信号及び分離行列を用いて得られる各構成音のパワースペクトログラムを入力とした識別器の出力を用いて、各構成音の属性クラスを更新する。

ステップＳ１２８では、ＣＰＵ１１が、スケールパラメータ更新部４６として、上記ステップＳ１２０で計算された観測信号のパワースペクトログラムと、更新された、各構成音の潜在ベクトル系列、各構成音の属性クラス、各構成音のスケールパラメータ、及び分離行列とに基づいて、上記式（８）に示す目的関数を大きくするように、上記式（１５）に従って、スケールパラメータを更新する。

次に、ステップＳ１３０では、収束条件を満たすか否かを判定する。収束条件を満たした場合には、ステップＳ１３２へ移行し、収束条件を満たしていない場合には、ステップＳ１２４へ移行し、ステップＳ１２４～ステップＳ１２８の処理を繰り返す。

ステップＳ１３２では、上記ステップＳ１２４～Ｓ１２８で最終的に更新された、各構成音の潜在ベクトル系列、各構成音の属性クラス、及び各構成音のスケールパラメータに基づいて、デコーダを用いて各構成音のパワースペクトログラムを生成し、各構成音のパワースペクトログラムから、各構成音の信号を生成して、出力部３８から出力し、信号解析処理を終了する。

＜実験結果＞
本実施形態の手法による音源分離性能を検証するため、Ｖｏｉｃｅ Ｃｏｎｖｅｒｓｉｏｎ Ｃｈａｌｌｅｎｇｅ（ＶＣＣ）２０１８音声データベースを用いた話者依存の分離実験とＷＳＪ０音声データベースを用いた任意話者の分離実験を行った。比較対象は、非特許文献１に記載のＩＬＲＭＡ、非特許文献２に記載のＭＶＡＥ法、非特許文献３に記載のＦａｓｔＭＶＡＥ法とし、評価規準としてｓｏｕｒｃｅ－ｔｏｄｉｓｔｏｒｔｉｏｎｓｒａｔｉｏ（ＳＤＲ）、ｓｏｕｒｃｅ－ｔｏ－ｉｎｔｅｒｆｅｒｅｎｃｅｓ ｒａｔｉｏ（ＳＩＲ）とｓｏｕｒｃｅｓ－ｔｏ－ａｒｔｉｆａｃｔｓ ｒａｔｉｏ（ＳＡＲ）を用いた。すべての手法においては分離行列Ｗ（ｆ）を単位行列に初期化し、６０回更新を行った。

ＩＬＲＭＡの基底数を２とした。表１に各モデルのパラメータ数を示す。

ＣｈｉｍｅｒａＡＣＶＡＥでは、ＡＣＶＡＥよりパラメータ数を４０％ まで削減することができた。表２に実験結果を示す。

いずれの条件においても、本実施形態の手法（ＦａｓｔＭＶＡＥ２法）がＩＬＲＭＡとＦａｓｔＭＶＡＥ法より高い分離性能を示し、ＭＶＡＥ法との差を大幅に縮めた。

２音源より多い音源数における各手法の分離性能および計算時間を評価するため、ＷＳＪ０音声データベースから、１８話者の発話を利用して音源数が｛２，３，６，９｝の混合信号を作成した。インパルス応答は鏡像法により作成し、壁の反射係数を０．２とした。図８にマイクと音源の配置を示す。各条件について混合信号を１０文作成した。すべての処理はＩｎｔｅｌ（Ｒ） Ｘｅｏｎ（Ｒ） Ｇｏｌｄ ６１３０ ＣＰＵ＠２．１０ＧＨｚとＴｅｓｌａ Ｖ１００ ＧＰＵを用いて計算した。表３に各条件におけるＳＤＲの平均値を示す。

また、図９に各手法の反復ごとの計算時間を示す。本実施形態の手法（ＦａｓｔＭＶＡＥ２、ＦａｓｔＭＶＡＥ２＿ＣＰＵ、ＦａｓｔＭＶＡＥ２＿ＧＰＵ）において性能改善が確認できた。また、本実施形態の手法は３音源以下の場合にＩＬＲＭＡと同等の計算時間で分離を実現でき、３音源以上の場合にＩＬＲＭＡより短い計算時間で分離を実現できることを確認した。

以上説明したように、本実施形態に係る信号解析装置は、各構成音についてのスペクトログラム及び属性クラスに基づいて、音のスペクトログラムを入力として潜在ベクトル系列を推定するエンコーダと、音のスペクトログラムを入力として前記音の属性を示す属性クラスを識別する識別器と、潜在ベクトル系列及び属性クラスを入力として前記音のスペクトログラムの分散を生成するデコーダと、を学習する。そして、信号解析装置は、各構成音が混合された観測信号を入力として、学習されたエンコーダによって分離行列により分離された各構成音について推定される潜在ベクトル系列、学習された識別器によって分離行列により分離された各構成音について識別される属性クラス、各構成音についての、学習されたデコーダによって生成される、構成音のスペクトログラムの分散と、スケールパラメータとから算出される、構成音のスペクトログラム、各構成音のスペクトログラムのスケールパラメータ、時間周波数領域で各構成音が混合された混合音を各構成音に分離するための分離行列、及び観測信号を各構成音に分離した信号を用いて表される目的関数を最適化するように、分離行列と、スケールパラメータとを推定する。これにより、計算コストを抑えて、各構成音が混合した混合信号から、各構成音を精度よく分離することができる。

＜変形例＞
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、観測信号のパワースペクトログラムや構成音のパワースペクトログラムを計算する場合を例に説明したが、これに限定されるものではなく、観測信号の振幅スペクトログラムや構成音の振幅スペクトログラムを計算するようにしてもよい。この場合には、学習部３２は、各構成音についての振幅スペクトログラム及び属性クラスに基づいて、音の振幅スペクトログラムを入力として潜在ベクトル系列を推定するエンコーダと、音の振幅スペクトログラムを入力として属性クラスを識別する識別器と、潜在ベクトル系列及び属性クラスを入力として音の振幅スペクトログラムの分散を生成するデコーダと、を学習する。また、パラメータ推定部３６は、観測信号を入力として、学習されたエンコーダによって推定される潜在ベクトル系列、学習された識別器によって識別される属性クラス、各構成音についての、学習されたデコーダによって生成される、構成音の振幅スペクトログラムの分散と、スケールパラメータとから算出される、構成音の振幅スペクトログラム、各構成音の振幅スペクトログラムのスケールパラメータ、時間周波数領域で各構成音が混合された混合音を各構成音に分離するための分離行列、及び観測信号を各構成音に分離した信号を用いて表される目的関数を最適化するように、分離行列と、スケールパラメータとを推定する。

また、更新するパラメータの順番には任意性があるため、上記の実施の形態の順番に限定されない。

また、上記各実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行した各種処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、学習処理及び信号解析処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

また、上記各実施形態では、学習プログラム及び信号解析プログラムがストレージ１４に予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記憶媒体に記憶された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

以上の実施形態に関し、更に以下の付記を開示する。

（付記項１）
メモリと、
前記メモリに接続された少なくとも１つのプロセッサと、
を含み、
前記プロセッサは、
各構成音についてのスペクトログラム及び前記構成音の属性を示す属性クラスに基づいて、音のスペクトログラムを入力として潜在ベクトル系列を推定するエンコーダと、前記音のスペクトログラムを入力として前記音の属性を示す属性クラスを識別する識別器と、前記潜在ベクトル系列及び前記属性クラスを入力として前記音のスペクトログラムの分散を生成するデコーダと、を学習し、
各構成音が混合された観測信号を入力として、前記学習されたエンコーダによって前記分離行列により分離された各構成音について推定される前記潜在ベクトル系列、前記学習された識別器によって前記分離行列により分離された各構成音について識別される前記属性クラス、各構成音についての、前記学習されたデコーダによって生成される、前記構成音のスペクトログラムの分散と、スケールパラメータとから算出される、前記構成音のスペクトログラム、各構成音のスペクトログラムのスケールパラメータ、時間周波数領域で各構成音が混合された混合音を各構成音に分離するための分離行列、及び前記観測信号を各構成音に分離した信号を用いて表される目的関数を最適化するように、前記分離行列と、前記スケールパラメータとを推定する
ように構成される信号解析装置。

（付記項２）
信号解析処理を実行するようにコンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、
前記信号解析処理は、
各構成音についてのスペクトログラム及び前記構成音の属性を示す属性クラスに基づいて、音のスペクトログラムを入力として潜在ベクトル系列を推定するエンコーダと、前記音のスペクトログラムを入力として前記音の属性を示す属性クラスを識別する識別器と、前記潜在ベクトル系列及び前記属性クラスを入力として前記音のスペクトログラムの分散を生成するデコーダと、を学習し、
各構成音が混合された観測信号を入力として、前記学習されたエンコーダによって前記分離行列により分離された各構成音について推定される前記潜在ベクトル系列、前記学習された識別器によって前記分離行列により分離された各構成音について識別される前記属性クラス、各構成音についての、前記学習されたデコーダによって生成される、前記構成音のスペクトログラムの分散と、スケールパラメータとから算出される、前記構成音のスペクトログラム、各構成音のスペクトログラムのスケールパラメータ、時間周波数領域で各構成音が混合された混合音を各構成音に分離するための分離行列、及び前記観測信号を各構成音に分離した信号を用いて表される目的関数を最適化するように、前記分離行列と、前記スケールパラメータとを推定する
非一時的記憶媒体。

１１ ＣＰＵ
１４ ストレージ
１５ 入力部
１６ 表示部
２４ 時間周波数展開部
３０ 教師学習部
３２ 学習部
３４ 音源信号モデル記憶部
３６ パラメータ推定部
３８ 出力部
４０ 初期値設定部
４２ 分離行列更新部
４４ 潜在変数クラス更新部
４６ スケールパラメータ更新部
４８ 収束判定部
１００ 信号解析装置

Claims (6)

1. 各構成音についてのスペクトログラム及び前記構成音の属性を示す属性クラスに基づいて、音のスペクトログラムを入力として潜在ベクトル系列を推定するエンコーダと、前記音のスペクトログラムを入力として前記音の属性を示す属性クラスを識別する識別器と、前記潜在ベクトル系列及び前記属性クラスを入力として前記音のスペクトログラムの分散を生成するデコーダと、を学習する学習部と、
   各構成音が混合された観測信号を入力として、前記学習されたエンコーダによって前記分離行列により分離された各構成音について推定される前記潜在ベクトル系列、前記学習された識別器によって前記分離行列により分離された各構成音について識別される前記属性クラス、各構成音についての、前記学習されたデコーダによって生成される、前記構成音のスペクトログラムの分散と、スケールパラメータとから算出される、前記構成音のスペクトログラム、各構成音のスペクトログラムのスケールパラメータ、時間周波数領域で各構成音が混合された混合音を各構成音に分離するための分離行列、及び前記観測信号を各構成音に分離した信号を用いて表される目的関数を最適化するように、前記分離行列と、前記スケールパラメータとを推定するパラメータ推定部と、
   を含む信号解析装置。
2. 各構成音についてのスペクトログラム及び前記属性クラスに基づいて、音のスペクトログラム及び前記属性クラスを入力として潜在ベクトル系列を推定する教師用エンコーダ、並びに前記潜在ベクトル系列及び前記属性クラスを入力として前記音のスペクトログラムの分散を生成する教師用デコーダを学習する教師学習部を更に含み、
   前記学習部は、前記エンコーダの出力と、前記学習された前記教師用エンコーダの出力とが対応し、かつ、前記デコーダの出力と、前記学習された前記教師用デコーダの出力とが対応するように、前記エンコーダ及び前記デコーダを学習する請求項１記載の信号解析装置。
3. 前記エンコーダ及び前記識別器は、一体のニューラルネットワークであって、前記エンコーダ及び前記識別器で、一部の層を共有する請求項１又は２記載の信号解析装置。
4. 前記学習部は、
   前記エンコーダの出力、及び前記デコーダの出力を評価するための学習規準と、
   前記デコーダの出力及び前記属性クラスの相互情報量と、
   前記エンコーダの出力及び前記識別器の出力を入力とした前記デコーダの出力を用いて生成した前記スペクトログラムを評価するための再構築規準と、
   前記エンコーダの出力及び前記識別器の出力を入力とした前記デコーダの出力を用いて生成した前記スペクトログラムを入力とした前記識別器の出力を評価するためのクラス識別規準と、
   を含む規準を最適化するように、前記エンコーダ、前記識別器、前記デコーダを学習する請求項１～請求項３の何れか１項記載の信号解析装置。
5. 学習部が、各構成音についてのスペクトログラム及び前記構成音の属性を示す属性クラスに基づいて、音のスペクトログラムを入力として潜在ベクトル系列を推定するエンコーダと、前記音のスペクトログラムを入力として前記音の属性を示す属性クラスを識別する識別器と、前記潜在ベクトル系列及び前記属性クラスを入力として前記音のスペクトログラムの分散を生成するデコーダと、を学習し、
   パラメータ推定部が、各構成音が混合された観測信号を入力として、前記学習されたエンコーダによって前記分離行列により分離された各構成音について推定される前記潜在ベクトル系列、前記学習された識別器によって前記分離行列により分離された各構成音について識別される前記属性クラス、各構成音についての、前記学習されたデコーダによって生成される、前記構成音のスペクトログラムの分散と、スケールパラメータとから算出される、前記構成音のスペクトログラム、各構成音のスペクトログラムのスケールパラメータ、時間周波数領域で各構成音が混合された混合音を各構成音に分離するための分離行列、及び前記観測信号を各構成音に分離した信号を用いて表される目的関数を最適化するように、前記分離行列と、前記スケールパラメータとを推定する
   信号解析方法。
6. コンピュータを、請求項１～請求項４のいずれか１項に記載の信号解析装置の各部として機能させるための信号解析プログラム。

Images