JP4809913B2 - 音素分割装置、方法及びプログラム - Google Patents

Description

この発明は、音声から、音素の境界時刻を自動的に決定する技術に関する。

従来の自動音素セグメンテーション技術では、音素の統計的な平均スペクトルパターンを分布として用意し、与えられた音声のスペクトルパターンとの類似性（尤度）を計算して、各フレームに尤もらしい音素を割り当てることにより、音素境界時刻を求めていた。すなわち、前後で対応する音素が変わるフレームを音素境界時刻としていた（例えば、非特許文献１参照）。

河井恒、戸田智基著、"波形接続型音声合成のための自動音素セグメンテーションの評価"、電子情報通信学会技法研究報告、SP2002-170、pp.5-10、２００３年１月

しかしながら、音素の統計的な平均スペクトルパターンは平均処理の際に平滑化され、スペクトルパターンの詳細な特徴が失われることが多い。そのため、スペクトルパターンが連続的に滑らかに変化する場合では、音素境界時刻の前後でスペクトルパターンに大きな差がでないため、統計的な平均スペクトルパターンでは尤度の差が現れず、推定された音素境界時刻が正解と大きくずれるという課題があった。

上記の課題を解決するために、入力された音声の各フレームの音声特徴量を抽出する。複数の音素の音声特徴量についての統計量を用いて、各フレームに最も尤もらしい音素を割り当てて、連続する２つのフレームで割り当てられた音素が異なる場合に、それらの２つのフレームに亘る時間範囲に含まれる時刻の何れかを音素境界時刻とすることにより音素境界時刻を推定する。音素境界時刻が信頼できるかどうか判定する。音素境界時刻が信頼できないと判定された音素境界を構成する各音素に、その各音素の継続長の、平均値が大きいほど長く、分散が大きいほど大きく伸縮した時間を割り当てることにより、その音素境界時刻が信頼できないと判定された音素境界の音素境界時刻を推定する。

信頼することができない音素境界時刻を、音素の継続長の平均値及び分散を用いて再度推定することにより、音素境界時刻の推定を従来よりも精度良く行なうことができる。

音素分割装置の例の機能ブロック図。 音素境界時刻推定結果信頼性判定部の例１の機能ブロック図。 音素境界時刻推定結果信頼性判定部の例２の機能ブロック図。 第二音素境界時刻推定部の例の機能ブロック図。 音素分割方法の例の流れ図。 音素境界時刻推定結果信頼性判定部の処理の例２の流れ図。 第二音素境界時刻推定部の処理の例の流れ図。 音素境界時刻を説明するための図。 信頼の可否の条件を示した図。 音素境界時刻の推定の具体例を示す図。

以下、この発明の実施形態を詳細に説明する。

図１は、この発明による音素分割装置の例の機能ブロック図である。図５は、この発明による音素分割方法の例の流れ図である。

音素分割装置は、音声特徴量抽出部１、第一音素境界時刻推定部２、音素境界時刻推定結果信頼性判定部３、第二音素境界時刻推定部４、音声特徴量記憶部６、継続長分布記憶部７を例えば含む。

＜ステップＳ１＞
入力された音声は、音声特徴量抽出部１に入力される。音声特徴量抽出部１は、入力された音声を一定時間長のフレームに分割して、各フレームごとに音声特徴量を計算する（ステップＳ１）。各フレームの音声特徴量は、第一音素境界時刻推定部２に送られる。

音声特徴量としては、その音声特徴量を用いてフレームに音素を割り当てることができるものであればどのような音声特徴量を用いてもよい。例えば、音声特徴量として、音声認識等でよく用いられるＭＦＣＣ、ケプストラム、メルケプストラム、フィルタバンク、メルフィルタバンク等を用いることができる。

＜ステップＳ２＞
音声特徴量記憶部６には、複数の音素の音声特徴量についての統計量が記憶されているとする。例えば、音素の統計的なスペクトルパターンが、音声認識等でよく用いられるＨＭＭ（隠れマルコフモデル）、ベクトル量子化、ニューラルネットワーク等の形態で記憶されているとする。

例えば、モノフォン、トライフォンの単位ごとに統計的な平均スペクトルが記憶されている。モノフォンは、当該音素の前後にどのような音素があるか考慮しない音素モデルである。トライフォンは、当該音素の前後にある音素を考慮する音素モデルであり、ａ−ｉ＋ｕ（前に／ａ／、後ろに／ｕ／がある／ｉ／）と、ｏ−ｉ−ｅ（前に／ｏ／、後ろに／ｅ／がある／ｉ／）とを違うものとして考える。

第一音素境界時刻推定部２は、音声特徴量及び音声特徴量記憶部６から読み込んだ統計量を用いて、各フレームに最も尤もらしい音素を割り当てて、連続する２つのフレームで割り当てられた音素が異なる場合に、それらの２つのフレームに亘る時間範囲に含まれる時刻の何れかを音素境界時刻とすることにより音素境界時刻を推定する（ステップＳ２）。音素境界時刻を含む音素境界時刻推定結果は、音素境界時刻推定結果信頼性判定部３に送られる。

第一音素境界時刻推定部２は、音声特徴量及び音声特徴量記憶部６から読み込んだ統計量を用いて、各フレームに各音素を割り当てたときの尤もらしさである尤度を計算して、最も尤度が高い音素をその各フレームに割り当てる。必要に応じて、各フレームに割り当てられた音素についての尤度が、音素境界時刻推定結果信頼性判定部３に送られる。

図８を用いて、２つのフレームに亘る時間範囲について説明する。フレームｋに割り当てられた音素（この例では／ａ／）と、フレームｋ＋１に割り当てられた音素（この例では／ｉ／）とが異なるとき、図８に例示するように、フレームｋの開始時刻からフレームｋ＋１の終了時刻までの時間範囲に含まれる何れかの時刻を音素境界時刻とする。例えば、フレームｋ＋１の中心時刻を音素境界時刻とする。

第一音素境界時刻推定部２は、非特許文献１に記載された手法により音素境界時刻を推定してもよい。

＜ステップＳ３＞
音素境界時刻推定結果信頼性判定部３は、第一音素境界時刻推定部２が推定した音素境界時刻が信頼できるかどうか判定する（ステップＳ３）。音素境界時刻が信頼できるかどうかの判定結果である信頼性判定結果は、第二音素境界時刻推定部４に送られる。

以下、音素境界時刻推定結果信頼性判定部３による判定処理の例を２つ紹介する。

≪例１≫
図２に、例１による音素境界時刻推定結果信頼性判定部３の機能ブロック図を示す。

信頼性判定用条件記憶部３２には、信頼することができない音素境界時刻に対応する連続する２つのフレームに割り当てられた音素についての条件が記憶されている。図９に、この条件の例を示す。図９の例では、（１）音素境界が有声音と無声音の間にある場合にはその音素境界の時刻を信頼する、（２）音素境界を構成する音素の何れか一方が摩擦音である場合にはその音素境界の時刻を信頼する、（３）（２）ではなくかつ音素境界が有声音の間にある場合にはその音素境界の時刻を信頼しない、という３つの条件がある。

条件信頼性判定部３１には、音素境界時刻に対応する連続する２つのフレームに割り当てられた音素が入力される。図８の例では、音素／ａ／と音素／ｉ／が入力される。条件信頼性判定部３１は、入力された音素が信頼性判定用条件記憶部３２に記憶された条件を満たすかどうかを判定することにより、その音素境界時刻が信頼することができるものであるか否かを判定する。

「現実を」という音声が入力された場合を例に挙げて、条件信頼性判定部３１の説明をする。「現実を」という音声に対して、図１０に示すように、／ｇ／、／ｅ／、／ｎ／、／ｊ／、／ｉ／、／ｔｓ／、／ｕ／、／ｏ／という音素が順に対応付けられたとする。

音素境界／ｉ／−／ｔｓ／、音素境界／ｔｓ／−／ｕ／は、音素／ｔｓ／が無声音であり、音素／ｉ／及び音素／ｕ／が有声音なので、条件（１）により、これらの音素境界の音素境界時刻は信頼することができると判定される。

音素境界／ｎ／−／ｊ／、音素境界／ｊ／−／ｉ／は、音素／ｊ／が摩擦音であり、音素／ｎ／及び音素／ｉ／が摩擦音でないので、条件（２）により、これらの音素境界の音素境界時刻は信頼することができると判定される。

音素境界／ｇ／−／ｅ／、音素境界／ｅ／−／ｎ／、音素境界／ｕ／−／ｏ／は、条件（２）を満たさず、かつ、音素／ｇ／、音素／ｅ／及び音素／ｎ／は有声音であるため、条件（３）により、これらの音素境界の音素境界時刻は信頼することができないと判定される。

≪例２≫
図３に、例２による音素境界時刻推定結果信頼性判定部３の機能ブロック図を示す。図６に、例２による処理の流れ図を示す。

この例では、第一音素境界時刻推定部２が計算した各フレームに割り当てられた音素についての尤度、及び、音素境界時刻推定結果が、音素境界時刻推定結果信頼性判定部３に入力される。

音素境界時刻推定結果信頼性判定部３の尤度変化度計算部３３は、音素境界時刻のフレームを含む所定の数のフレームに割り当てられた音素の尤度の変化の大きさを示す指標である尤度変化度を求める（ステップＳ３１）。計算された尤度変化度は、尤度信頼性判定部３４に送られる。

尤度変化度として、下記式により定義されるＤを用いることができる。下記式において、ｔは音素境界時刻のフレーム番号、Ｋは予め定められた正の整数、Ｌ_ｉはフレームｉに割り当てられた音素についての尤度、ｗ_ｋは尤度差｜Ｌ_ｔ−Ｌ_ｔ−ｋ｜＋｜Ｌ_ｔ−Ｌ_ｔ＋ｋ｜の重みであり予め定められた非負の実数でありｋの増加に従って単調減少するのが望ましい。Ｋ、ｗ_ｋは、求める仕様や性能に応じて実験等に基づき適宜設定される。音素境界時刻のフレームとは、音素境界時刻を構成する２つのフレームの何れかのことである。図８の例では、フレームｋ又はフレームｋ＋１のことである。

尤度信頼性判定部３４は、尤度変化度と所定の閾値θとを比較して、尤度変化度が所定の閾値以下であれば、音素境界時刻は信頼できないと判定する（ステップＳ３２）。所定の閾値は、求める仕様や性能に応じて実験等に基づき適宜設定される。

例えば、Ｄ−θを計算して、Ｄ−θ＞０であれば音素境界時刻は信頼することができ、Ｄ−θ≦０であれば音素境界時刻は信頼することができないと判定する。もちろん、尤度変化度Ｄと所定の閾値θとを直接比較して、その大小関係に基づいて信頼の可否を決定してもよい。

＜ステップＳ４＞
継続長分布記憶部７には、複数の音素の継続長の平均値及び分散が記憶されている。

第二音素境界時刻推定部４は、音素境界時刻が信頼できないと判定された音素境界を構成する各音素に、その各音素の継続長の、平均値が大きいほど長く、分散が大きいほど大きく伸縮した時間を割り当てることにより、その音素境界時刻が信頼できないと判定された音素境界の音素境界時刻を推定する（ステップＳ４）。各音素の継続長の平均値及び分散は、継続長分布記憶部７から読み込んだ値を用いる。

図４に、第二音素境界時刻推定部４の例の機能ブロック図を示す。図７に、第二音素境界時刻推定部４の処理の例の流れ図を示す。

例えば、第二音素境界時刻推定部４の音素継続長最尤推定部４１は、下記式に基づいて、音素境界時刻が信頼できないと判定されたｉ番目の音素の音素継続長ｍ_ｉ ^＊を計算する（ステップＳ４１）。Ｔは音素境界時刻が信頼できないと判定された連続するＩ（Ｉは正の整数）個の音素が構成する時間長であり、ｍ_ｉ ^＊は時間長Ｔの中のｉ番目の音素の推定音素継続長であり、ｍ_ｉは継続長分布記憶部７から読み込んだｉ番目の音素の継続長の平均値であり、σ_ｉ ^２は継続長分布記憶部７から読み込んだｉ番目の音素の継続長の分散である。

図１０の例だと、音素境界／ｇ／−／ｅ／、音素境界／ｅ／−／ｎ／、音素境界／ｕ／−／ｏ／の音素境界時刻が信頼できないと判定されている。連続する３つ音素／ｇ／、／ｅ／、／ｎ／が構成する時間長Ｔの１番目の音素である音素／ｇ／の時間長は、上記式を用いて以下のように計算することができる。この例では、Ｔ＝１８０ｍｓ、音素／ｇ／の継続長の平均値ｍ_１＝２０ｍｓ、音素／ｇ／の継続長の分散σ_１ ^２＝０．００３、音素／ｅ／の継続長の平均値ｍ_２＝９５ｍｓ、音素／ｅ／の継続長の分散σ_２ ^２＝０．０１２、音素／ｎ／の継続長の平均値ｍ_３＝４５ｍｓ、音素／ｎ／の継続長の分散σ_３ ^２＝０．００５であるとする。

ｍ_１ ^＊＝ｍ_１＋（σ_１ ^２／Σ_ｉ＝１ ^Ｉσ_ｉ ^２）・（Ｔ−Σ_ｉ＝１ ^Ｉｍ_ｉ）
＝２０＋（０．００３／（０．００３＋０．０１２＋０．００５））・（１８０−（２０＋９５＋４５））
＝２０＋（０．００３／０．０２０）・２０
＝２３

第二音素境界時刻推定部４の音素境界時刻決定部４２は、音素に割り当てられた時間長と、信頼性判定結果の中の信頼することができる音素境界時刻とを用いて、最終的な音素境界時刻を決定し、その結果を出力する（ステップＳ４）。

このように、音素境界時刻を仮推定し、推定精度が低いと判断される音素境界時刻を音素の継続長の平均値及び分散を用いて再度推定することにより音素境界時刻の推定を従来よりも精度良く行なうことができる。

なお、詳細音素境界時刻推定部５が、参考文献１に記載された手法を用いて、第二音素境界時刻推定部４が決定した音素境界時刻を修正して、更に精度が高い音素境界時刻を求めてもよい。参考文献１に記載された手法では、事前に決定された音素境界時刻の前後に探索窓を設定し、音素境界時刻付近のスペクトルパターンを学習したマルコフモデルを用いて、更に精度が高い音素境界時刻を求める。参考文献１に記載された手法を用いる際に探索窓を狭くすることにより、正解と同一コンテキストが現れるのを防ぐことができる。

〔参考文献１〕Lijuan Wang, Yong Zhao, Min Chu, Frank K. Soong, Jian-Lai Zhou and Zhigang Cao, “Context-Dependent Boundary Model for Refining Boundaries Segmentation of TTS Units,” IEICE Transactions 89-D(3), pp.1082-1091, 2006

音素分割装置は、コンピュータによって実現することができる。この場合、この装置が有すべき各機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、これ装置における各処理機能が、コンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、これらの装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

この発明は、上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。

１ 音声特徴量抽出部
２ 第一音素境界時刻推定部
３ 音素境界時刻推定結果信頼性判定部
３１ 条件信頼性判定部
３２ 信頼性判定用条件記憶部
３３ 尤度変化度計算部
３４ 尤度信頼性判定部
４ 第二音素境界時刻推定部
４１ 音素継続長最尤推定部
４２ 音素境界時刻決定部
５ 詳細音素境界時刻推定部
６ 音声特徴量記憶部
７ 継続長分布記憶部

Claims (6)

1. 入力された音声の各フレームの音声特徴量を抽出する音声特徴量抽出部と、
   複数の音素の音声特徴量についての統計量が記憶された音声特徴量記憶部と、
   上記音声特徴量及び上記音声特徴量記憶部から読み込んだ統計量を用いて、各上記フレームに最も尤もらしい音素を割り当てて、連続する２つのフレームで割り当てられた音素が異なる場合に、それらの２つのフレームに亘る時間範囲に含まれる時刻の何れかを音素境界時刻とすることにより音素境界時刻を推定する第一音素境界時刻推定部と、
   上記音素境界時刻が信頼できるかどうか判定する音素境界時刻推定結果信頼性判定部と、
   複数の音素の継続長の平均値及び分散が記憶された継続長分布記憶部と、
   音素境界時刻が信頼できないと判定された音素境界を構成する各音素に、その各音素の上記継続長分布記憶部から読み込んだ継続長の、平均値が大きいほど長く、分散が大きいほど大きく伸縮した時間を割り当てることにより、その音素境界時刻が信頼できないと判定された音素境界の音素境界時刻を推定する第二音素境界時刻推定部と、
   を含む音素分割装置。
2. 請求項１に記載された音素分割装置において、
   上記音素境界時刻推定結果信頼性判定部は、信頼することができない音素境界時刻に対応する連続する２つのフレームに割り当てられた音素についての条件が記憶された信頼性判定用条件記憶部と、上記音素境界時刻に対応する連続する２つのフレームに割り当てられた音素が上記信頼性判定用条件記憶部から読み出した条件を満たす場合には上記音素境界は信頼できないと判定する条件信頼性判定部と、を含む、
   ことを特徴とする音素分割装置。
3. 請求項１に記載された音素分割装置において、
   上記第一音素境界時刻推定部は、各上記フレームに各音素を割り当てたときの尤もらしさである尤度を計算して、最も尤度が高い音素を各上記フレームに割り当てる、
   ことを特徴とする音素分割装置。
4. 請求項３に記載された音素分割装置において、
   上記音素境界時刻推定結果信頼性判定部は、上記音素境界時刻のフレームを含む所定の数のフレームに割り当てられた音素の上記尤度の変化の大きさを示す指標である尤度変化度を求める尤度変化度計算部と、その尤度変化度が所定の閾値以下であれば、上記音素境界時刻は信頼できないと判定する尤度信頼性判定部と、を含む、
   ことを特徴とする音素分割装置。
5. 音声特徴量記憶部には、複数の音素の音声特徴量についての統計量が記憶されており、
   継続長分布記憶部には、複数の音素の継続長の平均値及び分散が記憶されており、
   音声特徴量抽出部が、入力された音声の各フレームの音声特徴量を抽出する音声特徴量抽出ステップと、
   第一音素境界時刻推定部が、上記音声特徴量及び上記音声特徴量記憶部から読み込んだ統計量を用いて、各上記フレームに最も尤もらしい音素を割り当てて、連続する２つのフレームで割り当てられた音素が異なる場合に、それらの２つのフレームに亘る時間範囲に含まれる時刻の何れかを音素境界時刻とすることにより音素境界時刻を推定する第一音素境界時刻推定ステップと、
   音素境界時刻推定結果信頼性判定が、上記音素境界時刻が信頼できるかどうか判定する音素境界時刻推定結果信頼性判定ステップと、
   第二音素境界時刻推定部が、音素境界時刻が信頼できないと判定された音素境界を構成する各音素に、その各音素の上記継続長分布記憶部から読み込んだ継続長の、平均値が大きいほど長く、分散が大きいほど大きく伸縮した時間を割り当てることにより、その音素境界時刻が信頼できないと判定された音素境界の音素境界時刻を推定する第二音素境界時刻推定ステップと、
   を含む音素分割方法。
6. 請求項１から４の何れかに記載された音素分割装置の各部としてコンピュータを機能させるための音素分割プログラム。

Images