JP2017037222A - 特徴量ベクトル算出装置、音声認識装置、特徴量ベクトル算出方法及び特徴量ベクトル算出プログラム - Google Patents

Abstract

【課題】特徴量ベクトルに基づくＤＮＮ−ＨＭＭ音響モデル適応化の効果の低減を抑制する。
【解決手段】入力音声から第１の特徴量ベクトルを抽出する。入力音声に対して雑音又はチャネル歪みの低減処理が施された音声から第２の特徴量ベクトルを抽出する。そして、雑音又は歪みを含む音声に対して低減処理が施された音声を学習した混合分布モデルのパラメータをもとに、第２の特徴量ベクトルが混合分布モデルの各分布に該当する確率を示す事後確率を計算する。そして、雑音又は歪みを含む音声及び事後確率から、混合分布モデルにおける各分布の平均ベクトルを算出する。そして、第１の特徴量ベクトルと、事後確率と、平均ベクトルとから、入力音声に対する０次のBaum-Welch統計量及び１次のBaum-Welch統計量を計算する。そして、０次のBaum-Welch統計量及び１次のBaum-Welch統計量から特徴量ベクトルを計算する。
【選択図】図４

Description

本発明は、特徴量ベクトル算出装置、音声認識装置、特徴量ベクトル算出方法及び特徴量ベクトル算出プログラムに関する。

近年、音声認識技術における音響モデルとして、ＧＭＭ（Gaussian Mixture Model）に基づくＨＭＭ（Hidden Markov Model）音響モデル(ＧＭＭ−ＨＭＭ音響モデル)よりも認識精度が高い、ＤＮＮ（Deep Neural Network）に基づくＨＭＭ音響モデル（ＤＮＮ−ＨＭＭ音響モデル）が用いられるようになってきている（例えば非特許文献１及び２参照）。ＤＮＮ−ＨＭＭ音響モデルでは、話者、雑音、チャネル等の影響を受けた入力音声データの認識精度が変動することから、各種の変動要因に対するＤＮＮ−ＨＭＭ音響モデルの適応化が盛んに研究されている（例えば非特許文献３及び４参照）。例えば、話者の特徴を数十〜数百次元程度のベクトルで表現したi-vectorと呼ばれる特徴量ベクトルに基づく主に話者変動へのＤＮＮ−ＨＭＭ音響モデル適応化が、簡易かつ高精度な手法として注目されている（例えば非特許文献４及び５参照）。

Geoffrey Hilton, Li Deng, Dong Yu, George E. Dahl, Abdel-rahman Mohamed, Navdeep Jaitly Andrew Senior, Vincent Vanhoucke, Patrick Nguyen, Tara N. Sainath, and Brian Kingsbury, "Deep Neural Networks for Acoustic Modeling in Speech Recognition," [online], SIGNAL PROCESSING MAGAZINE 2012, Volume:29 , Issue: 6, p.82 - p.97, [平成２７年６月２９日検索], インターネット< http://www.isip.piconepress.com/courses/temple/ece_8527/lectures/2014_spring/lecture_38_spmag.pdf > T. Yoshioka, M.J.F Gales, "Environmentally robust ASR front-end for deep neural network acoustic models," [online], Computer Speech & Language, Volume 31 , Issue 1, May 2015, p.65 - p.86, [平成２７年６月２９日検索], インターネット< http://www.sciencedirect.com/science/article/pii/S0885230814001259 > Hank Liao, "SPEAKER ADAPTATION OF CONTEXT DEPENDENT DEEP NEURAL NETWORKS," [online], in Acoustics, Speech and Signal Processing (ICASSP), 2013 IEEE International Conference, 26 - 31 May 2013, p.7947 - p.7951, [平成２７年６月２９日検索], インターネット< http://mazsola.iit.uni-miskolc.hu/~czap/letoltes/IS14/IS2014/PDF/AUTHOR/IS140624.PDF > Michael L. Seltzer, Dong Yu, Yongqiang Wang, "AN INVESTIGATION OF DEEP NEURAL NETWORKS FOR NOISE ROBUST SPEECH RECOGNITION," [online], in Acoustics, Speech and Signal Processing (ICASSP), 2013 IEEE International Conference, 26 - 31 May 2013, p.7398 - p.7402, [平成２７年６月２９日検索], インターネット< http://research.microsoft.com/pubs/194344/0007398.pdf > George Saon, Hagen Soltau, David Nahamoo and Michel Picheny, "Speaker Adaptation of Neural Network Acoustic Models Using I-Vectors," [online], in Automatic Speech Recognition and Understanding (ASRU), 2013 IEEE Workshop, 8 - 12 Dec 2013, p.55 - p.59, [平成２７年６月２９日検索], インターネット< http://www.researchgate.net/profile/George_Saon/publication/261485126_Speaker_adaptation_of_neural_network_acoustic_models_using_i-vectors/links/558d70f108ae15962d8939c7.pdf > Mickael Rouvier, Benoit Favre, "Speaker adaptation of DNN-based ASR with i-vectors: Does it actually adapt models to speakers?," [online], in Proc. of INTERSPEECH, [平成２７年６月２９日検索], インターネット< http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.481.855&rep=rep1&type=pdf > 小川 哲司、塩田 さやか、"i-vectorを用いた話者認識"、日本音響学会誌，70巻6号，p.332 - p.339，2014-06-01、一般社団法人日本音響学会 Yi Hu, Philipos C. Loizou, "Subjective comparison and evaluation of speech enhancement algorithms," [online], in Acoustics, Speech and Signal Processing 2006, ICASSP 2006 Proceedings, 2006 IEEE International Conference (Volume:1), [平成２７年６月２９日検索], インターネット< http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2098693/ > Yun Lei, Nicolas Scheffer, Luciana Ferrer, Mitchel MacLaren, "A NOVEL SCHEME FOR SPEAKER RECOGNITION USING A PHONETICALLY-AWARE DEEP NEURAL NETWORK," [online], in Acoustics, Speech and Signal Processing (ICASSP), 2014 IEEE International Conference, 4 - 9 May 2014, P.1714 - 1718, [平成２７年６月２９日検索], インターネット< http://www.sri.com/sites/default/files/publications/dnn.pdf > P. Kenny, V. Gupta, T. Stafylakis, P. Ouellet and J. Alam, "Deep Neural Networks for extracting Baum-Welch statistics for Speaker Recognition," [online], in The Speaker and Language Recognition Workshop 16 -19 June 2014, [平成２７年６月２９日検索], インターネット< http://cs.uef.fi/odyssey2014/program/pdfs/28.pdf > Daniel Garcia-Romero, Xiaohui Zhang, Alan McCree, Daniel Povey, "IMPROVING SPEAKER RECOGNITION PERFORMANCE IN THE DOMAIN ADAPTATION CHALLENGE USING DEEP NEURAL NETWORKS," [online], in Spoken Language Technology Workshop (SLT), 2014 IEEE, 7 - 10 Dec. 2014, [平成２７年６月２９日検索], インターネット< http://www.danielpovey.com/files/2014_slt_dnn.pdf >

しかしながら、上記技術では、i-vectorに基づくＤＮＮ−ＨＭＭ音響モデル適応化において、雑音やチャネル歪みなどの影響を受けていないクリーンな入力音声データを想定して行われている。あるいは、入力音声データが雑音やチャネル歪みの影響を受けているとしても、それらに何ら対処を施さずにＤＮＮ−ＨＭＭ音響モデル適応化が行われている。

ここで、i-vectorは、入力音声データの特徴量に基づき抽出されるため、入力音声データに雑音やチャネル歪みが付加されている場合は、抽出されたi-vectorも雑音やチャネル歪みの影響を受ける。よって、入力音声データが雑音やチャネル歪みなどの影響を受けている場合は、i-vectorに基づくＤＮＮ−ＨＭＭ音響モデル適応化の効果が低下する。

本願が開示する実施形態の一例は、例えば、特徴量ベクトルに基づくＤＮＮ−ＨＭＭ音響モデル適応化の効果の低減を抑制することを目的とする。

本願の実施形態の一例において、入力音声から第１の特徴量ベクトルを抽出する。入力音声に対して雑音又はチャネル歪みの低減処理が施された音声から第２の特徴量ベクトルを抽出する。そして、雑音又は歪みを含む音声に対して低減処理が施された音声を学習した混合分布モデルのパラメータをもとに、第２の特徴量ベクトルが混合分布モデルの各分布に該当する確率を示す事後確率を計算する。そして、雑音又は歪みを含む音声及び事後確率から、混合分布モデルにおける各分布の平均ベクトルを算出する。そして、第１の特徴量ベクトルと、事後確率と、平均ベクトルとから、入力音声に対する０次のBaum-Welch統計量及び１次のBaum-Welch統計量を計算する。そして、０次のBaum-Welch統計量及び１次のBaum-Welch統計量から特徴量ベクトルを計算する。

本願が開示する実施形態の一例によれば、例えば、特徴量ベクトルに基づくＤＮＮ−ＨＭＭ音響モデル適応化の効果の低減を抑制できる。

図１は、従来技術に係るＤＮＮ−ＨＭＭ音響モデルへの基本特徴量ベクトルの入力の概要の一例を示す図である。 図２は、従来技術に係るＤＮＮ−ＨＭＭ音響モデルへの基本特徴量ベクトル及びi-vectorの入力の概要の一例を示す図である。 図３は、従来技術に係るi-vectorの抽出手順の概要の一例を示す図である。 図４は、実施形態に係るi-vector算出装置の一例を示す図である。 図５は、実施形態に係るi-vector抽出処理の一例を示すフローチャートである。 図６は、プログラムが実行されることにより、実施形態に係るi-vector算出装置及びi-vector算出装置を含む音声認識装置が実現されるコンピュータの一例を示す図である。

以下、本願の開示技術に関する実施形態の一例について、図面を参照して説明する。なお、以下の実施形態により、本願の開示技術が限定されるものではない。また、以下の実施形態は、適宜組合せてもよい。以下、本願が開示する実施形態の説明に先立ち、前提となる従来技術について説明し、その後、本願が開示する実施形態を説明する。

なお、以下の記載において、記号Ａに対して“＾Ａ”と表記する場合は、下記の（１−１）式に示すように、「Ａの直上に＾が付された記号」と同等であるとする。また、記号Ａに対して“−Ａ”と表記する場合は、下記の（１−２）式に示すように、「Ａの直上に−が付された記号」と同等であるとする。また、記号Ａに対して“｛Ａ｝_α ^β”と表記する場合は、下記の（１−３）式に示すように、「｛Ａ｝の右方にαが下付きで表記され、｛Ａ｝の右方にβが上付きで表記された記号」と同等であるとする。また、Ａがベクトルである場合には「ベクトルＡ」、Ａが行列である場合には「行列Ａ」、Ａが集合である場合には「集合Ａ」と記載する。

［従来技術に係るＤＮＮ−ＨＭＭ音響モデルへの基本特徴量ベクトルの入力］
図１は、従来技術に係るＤＮＮ−ＨＭＭ音響モデルへの基本特徴量ベクトルの入力の概要の一例を示す図である。図１に示すように、一般的に、音声認識において、入力音声データは、フレーム長３０ｍｓｅｃ程度、フレームシフト１０ｍｓｅｃ程度の単位で音響分析され、４０次元程度のＭＦＣＣ（Mel-Frequency Cepstral Coefficient）やＦＢＡＮＫ（log-mel Filter BANK）等の基本特徴量ベクトルがフレーム毎に抽出される。

そして、図１に示すように、ＤＮＮ−ＨＭＭ音響モデルは、１フレームの基本特徴量ベクトルが与えられたときに、当該フレームのＨＭＭ状態の事後確率ベクトルを出力する。より詳細には、ＤＮＮ−ＨＭＭ音響モデルは、例えば当該フレーム及び当該フレームの前後５フレーム分の特徴量ベクトルが連結された合計数百〜千数百程度の次元の基本特徴量ベクトルが与えられるのに対して、当該フレームのＨＭＭ状態の事後確率ベクトルを出力する。この音声認識の基本の枠組みについては、例えば非特許文献１及び２で詳細に説明されている。

［従来技術に係るＤＮＮ−ＨＭＭ音響モデルへの基本特徴量ベクトル及びi-vectorの入力］
図２は、従来技術に係るＤＮＮ−ＨＭＭ音響モデルへの基本特徴量ベクトル及びi-vectorの入力の概要の一例を示す図である。図２に示すように、ＭＦＣＣやＦＢＡＮＫ等の基本特徴量ベクトルとは別に、入力音声データに含まれる話者の特徴を数十〜数百次元程度のベクトルで表現したi-vectorと呼ばれる特徴量ベクトルが入力音声データから抽出される。そして、基本特徴量ベクトル及びi-vectorを連結した拡張特徴量ベクトルをＤＮＮ−ＨＭＭ音響モデルに与えて、主に話者変動に対して適応化した音声認識に用いる。この方法の有効性は、例えば非特許文献４及び５で詳細に説明されている。

ここで、雑音やチャネル歪みが付加されている入力音声データを音声認識するためにi-vectorを用いる場合は、話者変動に加えて、雑音やチャネルの変動にもＤＮＮ−ＨＭＭ音響モデルを適応化する必要があるため、話者の特徴に加えて、雑音やチャネル歪みの情報もi-vectorに含まれている方が望ましい。i-vectorは、元来、話者認識の分野で開発されたものである。

［従来技術に係るi-vectorの抽出手順］
図３は、従来技術に係るi-vectorの抽出手順の概要の一例を示す図である。以下、i-vectorの抽出手順について説明する。以下、i-vector抽出手順のうち、開示技術に関わる部分のみについて説明する。i-vectorが登場した経緯や抽出手順については、例えば非特許文献７で詳細に説明されている。

従来技術の話者認識における標準的なi-vectorの抽出手法は、ＧＭＭ（Gaussian Mixture Model：混合ガウス分布モデル）−ＵＢＭ（Universal Background Model）(ＧＭＭ−ＵＢＭ)アプローチである。なお、ＵＢＭもＧＭＭの一種である。ＧＭＭ−ＵＢＭアプローチは、「音声らしい」モデル(ＵＢＭ)を多数の不特定話者の大量のＵＢＭ学習用の音声データを用いて学習しておき、新たな話者のモデル（ＧＭＭ）は、当該話者の少量の音声データを用いてＵＢＭを適応して得る、という手法である。

一方、近年の話者認識においては、ＧＭＭの平均ベクトルを混合数分だけ連結したＧＭＭスーパーベクトルを特徴量ベクトルとして用いる枠組みが主流となってきている。ＧＭＭスーパーベクトルは、時系列データである音声データをベクトル空間上の一点として表現するものである。i-vectorもこのＧＭＭスーパーベクトルを基礎としている。

ここで、入力音声データｕから得られるＤ次元のＬフレームの特徴量ベクトル系列Ｘ_uを、下記の（２）式のように定義する。特徴量ベクトルｘ_t（ｔ＝１，２，・・・，Ｌ）は、例えばＭＦＣＣであり、その次元数Ｄは、例えば４０である。

また、ｃ＝１，２，・・・，ＣをＵＢＭ（ＧＭＭ）のガウス分布を表す添え字(例えばＣ＝２０４８)とし、ｃ番目のガウス分布の混合重みπ_c、ｃ番目の平均ベクトルｍ_c、対角共分散行列Σ_cとすると、ＵＢＭのパラメータ集合Ωは、下記の（３）式で表される。

このとき、特徴量ベクトルｘ_tに対するＵＢＭの尤度ｐ(ｘ_t|Ω)は、下記の（４）式のように与えられる。

このＵＢＭから得られる話者非依存のＣＤ（Ｃ×Ｄ）次元のＧＭＭスーパーベクトルｍは、下記（５）式のようになる。ただし、数式の右肩のＴは、行列又はベクトルの転置記号である。

そして、入力音声データｕのＣＤ次元のＧＭＭスーパーベクトルＭ_uは、下記の（６）式のように得られるものとする。

ここで、上記の（６）式における行列Ｔは、全変動行列と呼ばれるＣＤ次元×Ｍ次元の矩形行列（Ｍ＜＜ＣＤ)であり、ベクトルｗ_uが入力音声データｕに対するＭ次元のi-vectorである。つまり、i-vectorは、ＧＭＭスーパーベクトル空間における平均的な話者（ＵＢＭの平均）からの「差」（を次元圧縮したもの）として各入力音声データｕに含まれる話者の特徴を表現したものといえる。

以下、i-vectorであるベクトルｗ_uの具体的な一連の抽出手順について述べる。先ず、γ_t(ｃ)を、ＵＢＭにおいてｃ番目であるガウス分布からｘ_tが生成される事後確率とする。事後確率γ_t(ｃ)は、下記の（７）式のように得られる。

事後確率γ_t(ｃ)を用いると、ＵＢＭを用いた入力音声データｕに対する０次、１次のBaum-Welch統計量Ｎ_u,c、ベクトルＦ_u,cは、下記の（８）式及び（９）式のようにそれぞれ書くことができる。ただし、ベクトルＦ_u,cは、Ｄ次元のベクトルである。

さらに、上記の（８）式及び（９）式を用いて、下記の（１０）式及び（１１）式のように、０次、１次のBaum-Welch統計量である行列Ｎ_u、ベクトルＦ_uを定義する。ただし、行列Ｎ_uはＣＤ次元×ＣＤ次元の行列、ベクトルＦ_uはＤ次元のベクトルである。

ここで、上記の（１０）式の対角成分に現れる行列Ｉ_Dは、Ｄ次元×Ｄ次元の単位行列である。また、行列Σを全変動行列Ｔで表現できない残留変動成分をモデル化するＤ次元×Ｄ次元の対角行列とする。行列Ｔ及び行列Σの計算手順は省略するが、以上を用いてi-vectorｗ_uは、下記の（１２）式のように計算できる。なお、下記の（１２）式における行列Ｉ_Mは、Ｍ次元×Ｍ次元の単位行列である。

上記の（７）式〜（１２）式で示したi-vectorｗ_uの具体的な一連の抽出手順は、大きく分けて二つの手順に分けることができる。＜一つ目の手順＞は、上記の（７）式に相当するもので、入力音声データｕから得られるＬフレームの特徴量ベクトル系列Ｘ_uの各フレームの特徴量ｘ_t（ｔ=１，２，・・・，Ｌ）がＵＢＭのｃ番目のガウス分布から生成される事後確率γ_t(ｃ)を計算する手順である。＜二つ目の手順＞は、上記の（７）式で計算した事後確率γ_t(ｃ)を用いて、上記の（８）式〜（１２）式に従い、i-vectorｗ_uを計算する手順である。

ＵＢＭ内の各ガウス分布は、理想的には、前後数音素分の依存性も含めた音素の情報を含む各音素コンテキストに対応している。i-vector抽出の＜一つ目の手順＞で、事後確率γ_t(ｃ)を計算しているが、これはベクトルｘ_tの音素コンテキストを確率的に推定していることに相当する。事後確率γ_t(ｃ)を精度良く計算することは、i-vector抽出の二つ目の手順で、話者の特徴を表現したi-vectorｗ_uを、音素コンテキストすなわち入力音声データｕの発話内容に依存せずに、精度良く計算するために必要不可欠である。

実環境において音声認識を行う際には、入力音声データｕには雑音やチャネル歪みが付加されることが多い。この場合、i-vector抽出の＜一つ目の手順＞で、事後確率γ_t(ｃ)を精度良く計算することが困難になり、その結果、i-vector抽出の＜二つ目の手順＞で、i-vectorを精度良く計算することが困難になる。この問題を解決するために、例えば何らかの音声強調技術を用いて、入力音声データｕから雑音やチャネル歪みを低減した上で、上記の（７）式〜（１２）式で示されるi-vector抽出の一連の手順を行うという方法が考えられる。

この方法によれば、i-vector抽出の＜一つ目の手順＞で、事後確率γ_t(ｃ)は精度良く計算することが可能になるが、i-vector抽出の＜二つ目の手順＞での処理対象が雑音やチャネル歪みが低減された情報となるため、実際に計算されたi-vectorからも雑音やチャネル歪みの情報が失われることになり、話者の特徴に加えて雑音やチャネル歪みの情報もi-vectorに含めるようにして音声認識で積極的に利用したい場合に、不都合となる。

［実施形態に係るi-vector抽出］
以上から、実施形態は、i-vectorの抽出手順において、(第１の要件)i-vector抽出の＜一つ目の手順＞で、入力音声データｕに含まれる雑音やチャネル歪みを低減して事後確率γ_t(ｃ)を精度良く計算し、(第２の要件)i-vector抽出の＜二つ目の手順＞では、話者の特徴に加えて雑音やチャネル歪みの情報も含んだ形で、つまり、雑音やチャネル歪みが含まれる入力音声データｕを使ってi-vectorを計算する。

図４は、実施形態に係るi-vector算出装置の一例を示す図である。i-vector算出装置１０は、第１の基本特徴量抽出部１１Ａ、第２の基本特徴量抽出部１１Ｂ、＾γ_t(c)計算部１２、−ｍ_c計算部１３、＾Ｎ_u,c，＾Ｆ_u,c計算部１４、i-vector計算部１５を有する。なお、第１の基本特徴量抽出部１１Ａ、第２の基本特徴量抽出部１１Ｂ、＾γ_t(c)計算部１２、−ｍ_c計算部１３、＾Ｎ_u,c，＾Ｆ_u,c計算部１４、i-vector計算部１５は、ＣＰＵ（Central Processing Unit）等の処理装置及びＲＡＭ（Random Access Memory）等の一時記憶装置の協働により処理を行う処理部であり、適宜統合又は分散してもよい。

実施形態では、雑音やチャネル歪みが付加された多数の不特定話者の大量のＵＢＭ学習用の音声データから抽出されるＤ次元、Ｑフレームの特徴量ベクトル時系列Ｏを、下記の（１３）式のように定義する。特徴量ベクトル時系列Ｏは、雑音歪み音声特徴量記憶部１００Ａに保存される。

また、雑音やチャネル歪みが付加された多数の不特定話者の大量のＵＢＭ学習用の音声データに対して所定の音声強調技術を用いて雑音やチャネル歪みを低減して得た音声データから抽出されるＤ次元、Ｑフレーム特徴量ベクトル時系列＾Ｏを、下記の（１４）式のように定義する。特徴量ベクトル時系列＾Ｏは、雑音歪み低減音声特徴量記憶部１００Ｂに保存される。

雑音やチャネル歪みが付加された入力音声データｕから抽出されたＤ次元、Ｌフレームの特徴量ベクトル系列Ｘ_uを、下記の（１５）式のように定義する。第１の基本特徴量抽出部１１Ａは、下記の（１５）式により、入力音声データｕから特徴量ベクトル系列Ｘ_uを抽出する。

入力音声データｕに対して、上記した所定の音声強調技術を用いて雑音やチャネル歪みを低減した入力音声データ＾ｕから得たＤ次元、Ｌフレームの特徴量ベクトル時系列＾Ｘ_uを、下記の（１６）式のように定義する。第２の基本特徴量抽出部１１Ｂは、下記の（１６）式により、入力音声データｕから特徴量ベクトル系列＾Ｘ_uを抽出する。すると、ベクトル系列＾Ｏを用いて学習したＵＢＭ（以下、＾ＵＢＭと表記する)の＾ｘ_t（ｔ＝１，２，・・・，Ｌ）に対する各尤度ｐ（＾ｘ_t|＾Ω）は、下記の（１７）式のように書くことができる。

ここで、ｃ＝１，２，・・・，Ｃを＾ＵＢＭのガウス分布を表す添え字(例えばＣ＝２０４８)とし、ｃ番目のガウス分布の混合重み＾π_c、ｃ番目の平均ベクトル＾ｍ_c、対角共分散行列＾Σ_cとすると、＾ＵＢＭのパラメータ集合＾Ωは、下記の（１８）式のようになる。＾ＵＢＭのパラメータ集合＾Ωは、ＵＢＭ学習装置２００により特徴量ベクトル時系列＾Ｏから算出され、＾ＵＢＭ記憶部３００に保存される。

＾γ_t(c)計算部１２は、＾ＵＢＭのパラメータ集合＾Ωを用いて、＾Ｘ_uの各フレームの特徴量ベクトル＾ｘ_t（ｔ＝１，２，・・・，Ｌ）が＾ＵＢＭのｃ番目のガウス分布から生成される事後確率＾γ_t(ｃ)を、下記の（１９）式のように計算する。

事後確率＾γ_t(ｃ)は、雑音やチャネル歪みを低減した＾ＵＢＭと、雑音やチャネル歪みを低減したベクトル系列＾Ｘ_uとを用いて計算されているため、上記の（第１の要件）を満たすi-vectorの抽出手順の＜一つ目の手順＞である。続けて、＾Ｎ_u,c，＾Ｆ_u,c計算部１４は、事後確率＾γ_t(ｃ)を用いて、入力音声データｕに対する０次、１次のBaum-Welch統計量＾Ｎ_u,c、ベクトル＾Ｆ_u,cを、下記の（２０）式及び（２１）式のようにそれぞれ計算する。ただし、ベクトル＾Ｆ_u,cは、Ｄ次元のベクトルである。

ここで着目すべきは、上記の（２１）式において、ベクトル＾Ｆ_u,cの計算に、雑音やチャネル歪みが付加された入力音声データｕの特徴量ベクトルｘ_t（ｔ＝１，２，・・・，Ｌ）を用いることである。このようにベクトル＾Ｆ_u,cを計算することで、最終的に抽出されるi-vectorは、話者の特徴に加えて、雑音やチャネル歪みの情報も保持したものとなり、＜二つ目の手順＞において上記の（第２の要件）が満されていることになる。

なお、−ｍ_c計算部１３は、上記の（２１）式における−ｍ_cを、事後確率＾γ_t（c）と、上記の（１３）式で示されるＵＢＭ学習用の音声データから得られるＤ次元、Ｑフレームの特徴量ベクトル時系列Ｏを用いて、下記の（２２）式のように計算する。

これは、仮に特徴量ベクトル時系列Ｏを用いてＵＢＭを学習したとしても、ＵＢＭのガウス分布番号と、＾ＵＢＭのガウス分布番号の対応を取ることは不可能であるため、単純にＵＢＭの分布番号ｃのガウス分布の平均ベクトルｍ_cを用いることができないためである。すなわち、ＵＢＭと＾ＵＢＭは別物であり、ＵＢＭを構成するガウス分布と＾ＵＢＭを構成するガウス分布とは何ら関係はないことから、両者のガウス分布の分布番号同士にも何ら関係はないためである。つまり、＾ＵＢＭでのガウス分布番号が既知であっても、この番号はＵＢＭでのガウス分布の分布番号とは異なり、ＵＢＭでのガウス分布番号を求めることはできないことから、特徴量ベクトルｘ_t（ｔ＝１，２，・・・，Ｌ）から差し引くべきｃ番目の平均ベクトルｍ_cを求めることができない。この問題を解決するため、＾ＵＢＭでのガウス分布番号を用いて、上記の（２２）式に従って、ｃ番目の平均ベクトルｍ_cの近似値−ｍ_cを求める。

最後に、i-vector計算部１５は、下記の（２３）式、（２４）式、（２５）式により、i-vectorｗ_uを計算する。

［実施形態に係るi-vector抽出処理］
図５は、実施形態に係るi-vector抽出処理の一例を示すフローチャートである。先ず、i-vector算出装置１０の第１の基本特徴量抽出部１１Ａは、上記の（１５）式により、入力音声データｕから特徴量ベクトル系列Ｘ_u（第１の基本特徴量）を抽出する（ステップＳ１１）。次に、第２の基本特徴量抽出部１１Ｂは、上記の（１６）式により、入力音声データｕから特徴量ベクトル系列＾Ｘ_u（第２の基本特徴量）を抽出する（ステップＳ１２）。なお、ステップＳ１１及びステップＳ１２の実行順序は、前後しても、同時であってもよい。

次に、＾γ_t(c)計算部１２は、＾ＵＢＭのパラメータ集合＾Ωと、特徴量ベクトル系列＾Ｘ_uとを用いて、＾Ｘ_uの各フレームの特徴量ベクトル＾ｘ_t（ｔ＝１，２，・・・，Ｌ）が＾ＵＢＭのｃ番目のガウス分布から生成される事後確率＾γ_t(ｃ)を、上記の（１９）式のように計算する（ステップＳ１３）。

次に、−ｍ_c計算部１３は、上記の（２１）式における−ｍ_cを、事後確率＾γ_t（c）と、上記の（１３）式で示されるＵＢＭ学習用の音声データから得られるＤ次元、Ｑフレームの特徴量ベクトル時系列Ｏと、事後確率＾γ_t(ｃ)とを用いて、上記の（２２）式のように計算する（ステップＳ１４）。

次に、＾Ｎ_u,c，＾Ｆ_u,c計算部１４は、特徴量ベクトル系列Ｘ_uと、事後確率＾γ_t(ｃ)と、−ｍ_cとから、入力音声データｕに対する０次、１次のBaum-Welch統計量＾Ｎ_u,c、ベクトル＾Ｆ_u,cを、上記の（２０）式及び（２１）式のようにそれぞれ計算する（ステップＳ１５）。

次に、i-vector計算部１５は、上記の（２３）式、（２４）式、（２５）式により、i-vectorｗ_uを計算する（ステップＳ１６）。i-vector算出装置１０は、ステップＳ１５で計算したi-vectorｗ_uを出力する。i-vectorｗ_uは、例えば図２に示すように、基本特徴量ベクトル及びi-vectorｗ_uが連結された拡張特徴量ベクトルが、例えばＤＮＮ−ＨＭＭ音響モデルに入力され求められたＨＭＭ状態事後確率ベクトルを用いて音声認識を行う音声認識装置に適用できる。

なお、以上の実施形態に係るi-vectorの抽出手順における雑音やチャネル歪みを低減する方法としては、任意の音声強調処理技術を適用することができる。各種の音声強調処理技術については、例えば非特許文献８に詳細に記載されている。または、雑音やチャネル歪みの影響を低減する方法として音声強調処理技術に代えて、ＤＮＮ−ＨＭＭ音響モデルから得られるボトルネック特徴量を用いる処理技術を用いてもよい。ボトルネック特徴量は、例えば非特許文献２に詳細に記載されている。

また、特徴量ベクトル時系列＾Ｏを用いて学習する混合分布モデルは、ＧＭＭに基づくＵＢＭに限らず、ＨＭＭであってもよい。

［評価実験］
実施形態と比較する従来技術は、非特許文献４及び５に記載の従来技術とした。下記の（表１）及び（表２）は、実施形態のi-vector算出装置１０により算出されたi-vectorをＤＮＮの音響モデルへ投入した場合の評価実験結果を示す表である。各表における百分率は、単語誤り率（Word Error Rate：ＷＥＲ）である。

（表１）において、“＋”記号の左側は“i-vector抽出の＜一つ目の手順＞で用いた特徴量の種別”を表し、“＋”記号の右側は“i-vector抽出の＜二つ目の手順＞で用いた特徴量の種別”を表す。“noisy MFCC”は雑音ＭＦＣＣであり、“Bottleneck”はBottleneck特徴量であり、“VTS enhanced”はベクトルテーラー展開強調量である。

（表１）は、いずれの組合せであっても、ベースラインのＤＮＮよりもＷＥＲの削減が見られたことを示す。

また、（表２）は、i-vector抽出中における＾ＵＢＭの混合分布モデル学習の際に用いたボトルネック特徴量のサイズの違いによるＷＥＲを示す。（表２）は、いずれのサイズであってもベースラインのＤＮＮよりＷＥＲの削減が見られたことを示す。

i-vector算出装置１０及びi-vector算出装置１０を含む音声認識装置において行われる各処理は、全部又は任意の一部が、ＣＰＵ等の処理装置及び処理装置により解析実行されるプログラムにて実現されてもよい。また、i-vector算出装置１０及びi-vector算出装置１０を含む音声認識装置において行われる各処理は、ワイヤードロジックによるハードウェアとして実現されてもよい。

また、実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともできる。もしくは、実施形態において説明した各処理のうち、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上述及び図示の処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて適宜変更することができる。

（プログラムについて）
図６は、プログラムが実行されることにより、実施形態に係るi-vector算出装置及びi-vector算出装置を含む音声認識装置が実現されるコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０、ＣＰＵ１０２０を有する。また、コンピュータ１０００は、ハードディスクドライブインタフェース１０３０、ディスクドライブインタフェース１０４０、シリアルポートインタフェース１０５０、ビデオアダプタ１０６０、ネットワークインタフェース１０７０を有する。コンピュータ１０００において、これらの各部はバス１０８０によって接続される。

メモリ１０１０は、ＲＯＭ１０１１及びＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０３１に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１０４１に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１０４１に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１０５１、キーボード１０５２に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１０６１に接続される。

ハードディスクドライブ１０３１は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、i-vector算出装置１０及びi-vector算出装置１０を含む音声認識装置の各処理を規定するプログラムは、コンピュータ１０００によって実行される指令が記述されたプログラムモジュール１０９３として、例えばハードディスクドライブ１０３１に記憶される。例えば、i-vector算出装置１０及びi-vector算出装置１０を含む音声認識装置における機能構成と同様の情報処理を実行するためのプログラムモジュール１０９３が、ハードディスクドライブ１０３１に記憶される。

また、実施形態の処理で用いられる設定データは、プログラムデータ１０９４として、例えばメモリ１０１０やハードディスクドライブ１０３１に記憶される。そして、ＣＰＵ１０２０が、メモリ１０１０やハードディスクドライブ１０３１に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して実行する。

なお、プログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０３１に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ１０４１等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムモジュール１０９３やプログラムデータ１０９４は、ネットワーク（ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等）を介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール１０９３やプログラムデータ１０９４は、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

実施形態は、本願が開示する技術に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１０ i-vector算出装置
１１Ａ 第１の基本特徴量抽出部
１１Ｂ 第２の基本特徴量抽出部
１２ ＾γ_t(c)計算部
１３ −ｍ_c計算部
１４ ＾Ｎ_u,c，＾Ｆ_u,c計算部
１５ i-vector計算部
１０００ コンピュータ
１０１０ メモリ
１０２０ ＣＰＵ

Claims (6)

1. 入力音声から第１の特徴量ベクトルを抽出する第１の特徴量抽出部と、
   前記入力音声に対して雑音又はチャネル歪みの低減処理が施された音声から第２の特徴量ベクトルを抽出する第２の特徴量抽出部と、
   雑音又は歪みを含む音声に対して雑音又はチャネル歪みの低減処理が施された音声を学習した混合分布モデルのパラメータをもとに、前記第２の特徴量ベクトルが前記混合分布モデルの各分布に該当する確率を示す事後確率を計算する事後確率計算部と、
   前記雑音又は歪みを含む音声及び前記事後確率から、前記混合分布モデルにおける各分布の平均ベクトルを算出する平均ベクトル算出部と、
   前記第１の特徴量ベクトルと、前記事後確率と、前記平均ベクトルとから、前記入力音声に対する０次のBaum-Welch統計量及び１次のBaum-Welch統計量を計算する統計量計算部と、
   前記０次のBaum-Welch統計量及び前記１次のBaum-Welch統計量から特徴量ベクトルを計算する特徴量ベクトル計算部と
   を備えることを特徴とする特徴量ベクトル算出装置。
2. 前記低減処理は、音声強調処理である
   ことを特徴とする請求項１に記載の特徴量ベクトル算出装置。
3. 前記低減処理は、ボトルネック特徴量を用いる処理である
   ことを特徴とする請求項１に記載の特徴量ベクトル算出装置。
4. 前記第１の特徴量ベクトルと、請求項１、２又は３に記載の特徴量ベクトル算出装置により算出された前記特徴量ベクトルとを連結した拡張特徴量ベクトルを所定の音響モデルへの入力として、前記入力音声を音声認識処理する
   ことを特徴とする音声認識装置。
5. 特徴量ベクトル算出装置が実行する特徴量ベクトル算出方法であって、
   入力音声から第１の特徴量ベクトルを抽出する第１の特徴量抽出ステップと、
   前記入力音声に対して雑音又はチャネル歪みの低減処理が施された音声から第２の特徴量ベクトルを抽出する第２の特徴量抽出ステップと、
   雑音又は歪みを含む音声に対して前記低減処理が施された音声を学習した混合分布モデルのパラメータをもとに、前記第２の特徴量ベクトルが前記混合分布モデルの各分布に該当する確率を示す事後確率を計算する事後確率計算ステップと、
   前記雑音又は歪みを含む音声及び前記事後確率から、前記混合分布モデルにおける各分布の平均ベクトルを算出する平均ベクトル算出ステップと、
   前記第１の特徴量ベクトルと、前記事後確率と、前記平均ベクトルとから、前記入力音声に対する０次のBaum-Welch統計量及び１次のBaum-Welch統計量を計算する統計量計算ステップと、
   前記０次のBaum-Welch統計量及び前記１次のBaum-Welch統計量から特徴量ベクトルを計算する特徴量ベクトル計算ステップと
   を含んだことを特徴とする特徴量ベクトル算出方法。
6. 請求項１、２又は３に記載の特徴量ベクトル算出装置としてコンピュータを機能させるための特徴量ベクトル算出プログラム。

Images