JP4176169B2 - 言語合成のためのランタイムアコースティックユニット選択方法及び装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、一般に、スピーチ合成システムに係り、より詳細には、スピーチ合成システムにおいてアコースティックユニットの選択を実行する方法及び装置に係る。
【０００２】
【従来の技術】
連結的なスピーチ合成は、筆記テキストからスピーチを形成するようにスピーチ波形に対応するアコースティックユニットを連結することに基づく一種のスピーチ合成である。この分野で未解決となっている問題は、流暢で、明瞭なそして自然に発音するスピーチを得るためにアコースティックユニットを最適に選択しそして連結することである。
【０００３】
多くの従来のスピーチ合成システムにおいては、アコースティックユニットがスピーチの発音ユニット、例えば、ジホーン(diphone) 、音素又はフレーズである。スピーチの発音ユニットを表すために、スピーチ波形のテンプレート即ちインスタンスが各アコースティックユニットと関連付けられる。インスタンスのストリングを単に連結してスピーチを合成する場合には、隣接インスタンスの境界にスペクトル不連続部が存在するために不自然な即ち「ロボット的発音」のスピーチになってしまうことがしばしばある。最良の自然に発音するスピーチを得るには、意図されたテキストに適したタイミング、強度及びイントネーション特性（即ち韻律学的特性）をもつ連結インスタンスを形成しなければならない。
【０００４】
【発明が解決しようとする課題】
アコースティックユニットのインスタンスの連結から自然に発音するスピーチを形成するために、従来のシステムには２つの一般的な技術が使用されている。即ち、それらは、平滑化技術の使用と、長いアコースティックユニットの使用である。平滑化は、インスタンス間の境界で整合するようにインスタンスを調整することにより隣接インスタンス間のスペクトル不整合を排除するよう試みるものである。調整されたインスタンスは、滑らかに発音するスピーチを形成するが、平滑化を実現するためにインスタンスに操作が施されるために、スピーチは一般に不自然なものになる。
【０００５】
長いアコースティックユニットを選択する場合は、通常、ジホーン(diphone) が使用される。というのは、それらが音素間の同時調音的効果を捕らえるからである。同時調音的効果とは、所与の音素に先行する音素及び後続する音素により所与の音素に及ぼされる効果である。ユニット当たり３つ以上の音素を有する長いユニットを使用する場合には、長いユニットにわたり同時調音的効果を発生しそして捕らえる境界の数を減少する上で役立つ。長いユニットを使用する場合には、質の高い発音スピーチが得られるが、著しい量のメモリを必要とする。加えて、制限のない入力テキストと共に長いユニットを使用することは、モデルをカバーすることが保証できないために、問題となる。
【０００６】
【課題を解決するための手段】
本発明は、自然に発音するスピーチを形成するスピーチ合成システム及び方法に関する。既に話されたスピーチのトレーニングデータから、ジホーン、トリホーン(triphone)等のアコースティックユニットの多数のインスタンスが発生される。これらインスタンスは、関連する音を発生するのに使用されるスピーチ信号又は波形のスペクトル表示に対応する。トレーニングデータから発生されたインスタンスは剪定されて、インスタンスの健全なサブセットを形成する。
【０００７】
合成システムは、入力言語表現に存在する各アコースティックユニットの１つのインスタンスを連結する。インスタンスの選択は、隣接インスタンスの境界間のスペクトル歪に基づく。これは、入力言語表現に存在するインスタンスの考えられるシーケンスを列挙し、そこから、シーケンスの隣接インスタンスの全ての境界間のスペクトル歪を最小にする１つを選択するように行うことができる。次いで、インスタンスの最良のシーケンスを用いて、入力言語表現に対応する話されたスピーチを形成するスピーチ波形が発生される。
【０００８】
【発明の実施の形態】
本発明の上記特徴及び効果は、同じ要素が同じ参照文字で表された添付図面を参照した本発明の好ましい実施形態の以下の詳細な説明から明らかとなろう。図面は、必ずしも正しいスケールではなく、本発明の原理を示すために強調されている。
【０００９】
好ましい実施形態は、多数のインスタンスの選択から入力テキストを合成するのに必要な各アコースティックユニットの１つのインスタンスを選択し、そしてその選択されたインスタンスを連結することにより、自然に発音するスピーチを形成する。スピーチ合成システムは、システムの分析又はトレーニング段階中にアコースティックユニットの多数のインスタンスを発生する。この段階中に、各アコースティックユニットの多数のインスタンスが、特定の言語に最も生じ易いスピーチパターンを反映するスピーチ発声から形成される。この段階中に累積されたインスタンスは、次いで、ほとんどの代表的なインスタンスを含む健全なサブセットを形成するように剪定される。好ましい実施形態では、種々の発音状況を表す最も確率の高いインスタンスが選択される。
【００１０】
スピーチの合成中に、合成装置は、言語表現における各アコースティックユニットの最良のインスタンスを、ランタイムにおいて、インスタンスの全ての考えられる組み合わせに対して隣接インスタンスの境界間に存在するスペクトル及び韻律的歪の関数として選択することができる。このようにユニットを選択することにより、隣接ユニット間の境界に存在する周波数スペクトルを整合するためにユニットを平滑化する必要性が排除される。これは、不自然に修正されたユニットではなくて元の波形が使用されるので、より自然に発音するスピーチを形成する。
【００１１】
図１は、本発明の好ましい実施形態に適したスピーチ合成システム１０を示している。スピーチ合成システム１０は、入力を受け取るための入力装置１４を含む。この入力装置１４は、例えば、マイクロホン、コンピュータターミナル等である。音声データ入力及びテキストデータ入力は、以下に詳細に述べる個別の処理要素によって処理される。入力装置１４は、音声データを受け取ると、その音声入力をトレーニング要素１３へ送り、トレーニング要素は、音声入力に対してスピーチ分析を実行する。入力装置１４は、ユーザからの入力スピーチ発声又は記憶された発声パターンである入力音声データから対応するアナログ信号を発生する。このアナログ信号はアナログ／デジタルコンバータ１６へ送られ、該コンバータは、アナログ信号をデジタルサンプルのシーケンスに変換する。デジタルサンプルは、次いで、特徴抽出器１８へ送られ、これは、デジタル化された入力スピーチ信号のパラメータ表示を抽出する。好ましくは、特徴抽出器１８は、デジタル化された入力スピーチ信号のスペクトル分析を実行し、入力スピーチ信号の周波数成分を表す係数を各々含むフレームのシーケンスを発生する。スペクトル分析を行う方法は、信号処理の分野で良く知られており、高速フーリエ変換、直線的予想コード化（ＬＰＣ）、及びセプストラル(cepstral)係数を含む。特徴抽出器１８は、スペクトル分析を行う従来のプロセッサでよい。好ましい実施形態では、スペクトル分析が１０ミリ秒ごとに行われ、入力スピーチ信号が発声の一部分を表すフレームに分割される。しかしながら、本発明は、スペクトル分析の使用や、１０ミリ秒のサンプリング時間フレームに限定されない。他の信号処理技術及び他のサンプリング時間フレームも使用できる。上記プロセスが全スピーチ信号に対して繰り返されて、フレームのシーケンスが発生され、これらは、分析エンジン２０へ送られる。この分析エンジン２０は、図２ないし７を参照して以下に詳細に述べる多数のタスクを実行する。
【００１２】
分析エンジン２０は、入力スピーチ発声又はトレーニングデータを分析して、スピーチ合成器３６によって使用される隠れたマルコフモデルのセノン(senone)（即ち異なる発音モデルにわたる同様のマルコフ状態のクラスター）及びパラメータを発生する。更に、分析エンジン２０は、トレーニングデータに存在する各アコースティックユニットの多数のインスタンスを発生し、そして合成器３６により使用するためのこれらインスタンスのサブセットを形成する。分析エンジンは、セグメント化を実行するセグメント化要素２１と、アコースティックユニットのインスタンスを選択する選択要素２３とを備えている。これら要素の役割については、以下に詳細に説明する。分析エンジン２０は、テキスト記憶装置３０から得られる入力スピーチ発声の発音表示、ディクショナリ記憶装置２２に記憶された各ワードの音素記述を含むディクショナリ、及びＨＭＭ記憶装置２４に記憶されたセノンのテーブルを使用する。
【００１３】
セグメント化要素２１は、ＨＭＭ記憶装置に記憶するためのＨＭＭパラメータを得、そして入力発声をセノンへとセグメント化するという２つの目的をもつ。この２つの目的は、ＨＭＭパラメータのセットが与えられて入力スピーチをセグメント化することと、スピーチのセグメント化が与えられてＨＭＭパラメータを再推定することとの間で交番する反復アルゴリズムによって達成される。このアルゴリズムは、各反復において入力発声を生じるＨＭＭパラメータの確率を高める。このアルゴリズムは、収斂点に到達しそしてそれ以上反復してもトレーニング確率を実質的に高めないときに、停止される。
【００１４】
入力発声のセグメント化が完了すると、選択要素２３は、各アコースティックユニットの全ての考えられる発生から各アコースティックユニットの高度な代表的な発生（即ちジホーン）の小さなサブセットを選択し、そしてそれらサブセットをユニット記憶装置２８に記憶する。発生についてのこの剪定は、以下に詳細に述べるように、ＨＭＭ確率及び韻律学的パラメータの値に基づく。
【００１５】
入力装置１４は、テキストデータを受け取ると、そのテキストデータ入力を、スピーチ合成を実行する合成要素１５へ送る。図８ないし１２は、本発明の好ましい実施形態に使用されるスピーチ合成技術を示し、これについては以下に詳細に説明する。自然言語プロセッサ（ＮＬＰ）３２は、入力テキストを受け取り、そしてテキストの各ワードに記述ラベルをタグ付けする。これらタグは、文字−音声（ＬＴＳ）要素３３及び韻律学的エンジン３５へ送られる。文字−音声要素３３は、ディクショナリ記憶装置２２からのディクショナリ入力と、文字−音素ルール記憶装置４０からの文字−音素ルールとを用いて、入力テキストの文字を音素に変換する。文字−音声要素３３は、例えば、入力テキストの適切な発音を決定することができる。文字−音声要素３３は、発音ストリング及びアクセント要素３４に接続される。この発音ストリング及びアクセント要素３４は、入力テキストに対して適切なアクセントをもつ発音ストリングを発生し、これは、韻律学的エンジン３５へ送られる。文字−音声要素３３及び発音アクセント要素３４は、別の実施形態においては、単一の要素へとカプセル化されてもよい。韻律学的エンジン３５は、発音ストリングを受け取り、休止マーカーを挿入し、そしてストリングにおける各音素の強度、ピッチ及び巾を指示する韻律学的パラメータを決定する。韻律学的エンジン３５は、韻律学的データベース記憶装置４２に記憶された韻律学的モデルを使用する。休止マーカーと、ピッチ、巾及び振幅を指示する韻律学的パラメータをもつ音素ストリングは、スピーチ合成器３６へ送信される。韻律学的モデルは、話し手とは独立したものであってもよいし、話し手に従属するものであってもよい。
【００１６】
スピーチ合成器３６は、発音ストリングを、ジホーン又は他のアコースティックユニットの対応ストリングへと変換し、各ユニットに対する最良のインスタンスを選択し、韻律学的パラメータに基づいてインスタンスを調整し、そして入力テキストを表すスピーチ波形を発生する。以下の説明においては、スピーチ合成器が発音ストリングをジホーンのストリングに変換するものと仮定する。しかしながら、スピーチ合成器は、発音ストリングを別のアコースティックユニットのストリングに変換することもできる。これらタスクを実行する際に、合成器は、ユニット記憶装置２８に記憶された各ユニットのインスタンスを使用する。
【００１７】
それにより得られた波形は出力エンジン３８へ送信することができ、この出力エンジンは、スピーチを発生するための音声装置を含むか、或いはスピーチ波形を他の処理要素又はプログラムへ転送して更に処理することもできる。
【００１８】
スピーチ合成システム１０の上記の要素は、パーソナルコンピュータやワークステーション等の単一の処理ユニットに組み込むことができる。しかしながら、本発明は、この特定のコンピュータアーキテクチャーに限定されるものでなく、並列処理システム、分散型処理システム等の他の構造（これに限定されないが）も使用できる。
【００１９】
分析方法を説明する前に、好ましい実施形態に使用されるセノン、ＨＭＭ及びフレーム構造について以下に述べる。各フレームは、入力スピーチ信号のあるセグメントに対応し、そのセグメントの周波数及びエネルギースペクトルを表すことができる。好ましい実施形態では、ＬＰＣセプストラル分析を用いて、スピーチ信号をモデリングし、そしてフレームのシーケンスを形成し、各フレームは、そのフレームの信号の部分に対して周波数及びエネルギースペクトルを表す次の３９のセプストラル及びエネルギー係数を含む。（１）１２のメル周波数セプストラル係数；（２）１２のデルタメル周波数セプストラル係数；（３）１２のデルタデルタメル周波数セプストラル係数；及び（４）エネルギー、デルタエネルギー及びデルタデルタエネルギー係数。
【００２０】
隠れたマルコフモデル（ＨＭＭ）は、スピーチの発音ユニットを表すのに使用される確率モデルである。好ましい実施形態では、これは、音素を表すのに使用される。しかしながら、本発明は、この発音に基づくものに限定されず、ジホーン、ワード、シラブル又はセンテンス（これに限定されないが）のような言語表現を使用することもできる。
【００２１】
ＨＭＭは、遷移により接続された状態のシーケンスよりなる。各状態には、その状態がフレームに一致する見込みを指示する出力確率が関連している。各遷移ごとに、その遷移に続く見込みを指示する関連遷移確率がある。好ましい実施形態では、音素は、３状態ＨＭＭによりモデリングすることができる。しかしながら、本発明は、この形式のＨＭＭ構造に限定されるものではなく、それより多数の又は少数の状態を用いる他のものも使用できる。状態に関連した出力確率は、フレームに含まれたセプストラル係数のガウス確率密度関数（ｐｄｆｓ）の混合体であってもよい。ガウスのｐｄｆｓは好ましいものであるが、本発明は、この形式のｐｄｆｓに限定されない。ラプラス型ｐｄｆｓ（これに限定されないが）のような他のｐｄｆｓも使用できる。
【００２２】
ＨＭＭのパラメータは、遷移及び出力確率である。これらパラメータの推定値は、トレーニングデータを用いる統計学的な技術により得られる。トレーニングデータからこれらのパラメータを推定するのに使用できる多数の公知アルゴリズムが存在する。
【００２３】
本発明では２つの形式のＨＭＭを使用できる。その第１は、左右の音素コンテクストで音素をモデリングするコンテクスト従属のＨＭＭである。１組の音素及びそれに関連した左右の音素コンテクストよりなる所定のパターンが、コンテクスト従属のＨＭＭによりモデリングされるべく選択される。これらのパターンが選択されるのは、最も頻繁に発生する音素及びそれら音素の最も頻繁に発生するコンテクストを表すからである。トレーニングデータは、これらのモデルのパラメータに対する推定値を与える。又、左右の音素コンテクストとは独立して音素をモデリングするように、コンテクストとは独立したＨＭＭも使用できる。同様に、トレーニングデータは、コンテクストとは独立したモデルのパラメータに対する推定値を与える。隠れたマルコフモデルは、良く知られた技術であり、ＨＭＭの詳細な説明は、ヒューン氏等の「スピーチ認識のための隠れたマルコフモデル(Hidden Markov Models For Speech Recognition) 」、エジンバラ・ユニバーシティ・プレス、１９９０年に見ることができる。
【００２４】
ＨＭＭの状態の出力確率分布はクラスター化されて、セノンを形成する。これは、大きな記憶要求と多大な計算時間を合成装置に課する状態の数を減少するために行われる。セノン及びセノンを構成するために用いる方法の詳細な説明は、Ｍ．ワング氏等の「セノンを伴う未知のトリホーンの予想(Predicting Unseen Triphones with Senones)」、Ｐｒｏｃ．ＩＣＡＳＳＰ '９３、第ＩＩ巻、第３１１−３１４ページ、１９９３年に見ることができる。
【００２５】
図２ないし７は、本発明の好ましい実施形態により実行される分析方法を示している。図２を参照すれば、分析方法５０は、スピーチ波形のシーケンス（スピーチ信号又は発声とも称される）の形態でトレーニングデータを受け取ることにより開始され、これらのスピーチ波形は、図１を参照して上記したように、フレームに変換される。スピーチ波形は、センテンス、ワード又は何らかの形式の言語表現で構成することができ、ここでは、トレーニングデータと称する。
【００２６】
上記のように、分析方法は、反復アルゴリズムを使用する。最初に、ＨＭＭのパラメータの初期セットが推定されると仮定する。図３は、ＨＭＭのパラメータを言語表現「Ｔｈｉｓ ｉｓ ｇｒｅａｔ．」に対応する入力スピーチ信号に対していかに推定するかを示す。図３及び４を参照すれば、入力スピーチ信号即ち波形６４に対応するテキスト６２が、テキスト記憶装置３０から得られる。テキスト６２は、音素のストリング６６に変換することができ、これは、テキストの各ワードに対し、ディクショナリ記憶装置２２に記憶されたディクショナリから得られる。音素のストリング６６を使用して、音素ストリングの音素に対応するコンテクスト従属のＨＭＭのシーケンス６８が発生される。例えば、図示されたコンテクストの音素／ＤＨ／は、ＤＨ（ＳＩＬ，ＩＨ）７０で示された関連するコンテクスト従属ＨＭＭを有し、左側の音素は、／ＳＩＬ／即ち無音であり、そして右側の音素は、／ＩＨ／である。このコンテクスト従属のＨＭＭは、３つの状態を有し、各状態にはセノンが関連している。この特定例においては、セノンは、状態１、２及び３に各々対応する２０、１及び５である。音素ＤＨ（ＳＩＬ，ＩＨ）７０に対するコンテクスト従属のＨＭＭは、次いで、残りのテキストに対する音素を表すコンテクスト従属のＨＭＭと連結される。
【００２７】
反復プロセスの次のステップにおいて、セグメント化要素２１でフレームをセグメント化し、即ちフレームを各状態及びそれらの各セノンと時間整列することにより、スピーチ波形がＨＭＭの状態に対してマップされる（図２のステップ５２）。この例では、ＤＨ（ＳＩＬ，ＩＨ）７０及びセノン２０（７２）に対するＨＭＭの状態１がフレーム１−４と整列され（７８）；同じモデル及びセノン１（７４）の状態２がフレーム５−３２と整列され（８０）；そして同じモデル及びセノン５（７６）の状態３がフレーム３３−４０と整列される（８２）。この整列は、ＨＭＭシーケンス６８の各状態及びセノンに対して行われる。このセグメント化が行われると、ＨＭＭのパラメータが再推定される（ステップ５４）。良く知られたバウム−ウェルチ(Baum-Welch)又は順方向−逆方向アルゴリズムを使用することができる。バウム−ウェルチアルゴリズムは、混合密度関数の取り扱いに精通しているので、好ましい。バウム−ウェルチアルゴリズムの詳細な説明は、上記のヒューン氏の参照文献に見ることができる。次いで、収斂点に到達したかどうかが決定される（ステップ５６）。収斂点に到達していない場合は、新たなＨＭＭモデルで発声のセットをセグメント化することによりプロセスが繰り返される（即ち、ステップ５２が新たなＨＭＭモデルで繰り返される）。収斂点に到達すると、ＨＭＭパラメータ及びセグメント化が最終的な形態となる。
【００２８】
収斂点に到達すると、各ジホーンユニットのインスタンスに対応するフレームが、ユニットインスタンスとして、或いは各ジホーン又は他のユニットに対するインスタンスとして、ユニット記憶装置２８に記憶される（ステップ５８）。これは、図３ないし６に示されている。図３ないし５を参照すれば、音素ストリング６６は、ジホーンストリング６７に変換される。ジホーンとは、２つの隣接する音素の定常部分及びそれらの間の遷移を表す。例えば、図５において、ジホーンＤＨ ＩＨ８４は、音素ＤＨ（ＳＩＬ，ＩＨ）８６の状態２−３及び音素ＩＨ（ＤＨ，Ｓ）８８の状態１−２から形成される。これら状態に関連したフレームは、ジホーンＤＨ ＩＨ（０）９２に対応するインスタンスとして記憶される。フレーム９０は、スピーチ波形９１に対応する。
【００２９】
図２を参照すれば、分析方法に使用される各入力スピーチ発声に対してステップ５４−５８が繰り返される。これらのステップが完了すると、各ジホーンに対しトレーニングデータから累積されたインスタンスは、ステップ６０に示すように、高い確率のインスタンスをカバーする健全な表示を含むサブセットへと剪定される。図７は、インスタンスのセットをいかに剪定するか示している。
【００３０】
図７を参照すれば、方法６０は、各ジホーンに対して繰り返される（ステップ１００）。全てのインスタンスに対する巾の平均値及び変動が計算される（ステップ１０２）。各インスタンスは、１つ以上のフレームで構成することができ、各フレームは、ある時間インターバルにわたるスピーチ信号のパラメータ表示を表すことができる。各インスタンスの巾は、これらの時間インターバルの累積である。ステップ１０４において、平均値から特定量（例えば、標準偏差）だけずれるインスタンスは、破棄される。好ましくは、ジホーンに対し全インスタンス数の１０ないし２０％が破棄される。ピッチ及び振幅に対する平均値及び変動も計算される。平均値から所定量（例えば、±標準偏差）以上変化するインスタンスは、破棄される。
【００３１】
ステップ１０６に示すように、各残りのインスタンスに対しステップ１０８−１１０が実行される。各インスタンスに対し、インスタンスがＨＭＭにより形成された関連確率を計算することができる（ステップ１０８）。この確率は、上記ヒューンの参考文献に詳細に述べられた良く知られた順方向−逆方向アルゴリズムにより計算することができる。この計算は、特定のジホーンを表すＨＭＭの各状態又はセノンに関連した出力及び遷移確率を使用する。ステップ１１０において、特定のジホーンに対し、セノンの関連ストリング６９が形成される（図３を参照）。次いで、ステップ１１２において、始めと終わりのセノンが同一のセノンシーケンスをもつジホーンがグループ分けされる。各グループに対して、最も高い確率をもつセノンシーケンスがサブセットの一部分として選択される（ステップ１１４）。ステップ１００−１１４の完了時に、特定のジホーンに対応するインスタンスのサブセットが存在する（図５を参照）。このプロセスが各ジホーンに対して繰り返され、各ジホーンごとに多数のインスタンスを含むテーブルが得られる。
【００３２】
本発明の別の実施形態は、隣接ユニットに充分に整合するインスタンスを保持するものである。このような実施形態は、動的なプログラミングアルゴリズムを使用することにより歪を最小にしようとする。
【００３３】
分析方法が完了すると、好ましい実施形態の合成方法が作用する。図８ないし１２は、好ましい実施形態のスピーチ合成方法１２０において実行されるステップを示す。入力テキストは、ワードストリングに処理され（ステップ１２２）、そして入力テキストは、対応する音素ストリングへと変換される（ステップ１２４）。従って、省略ワード及び頭文字が、ワードフレーズを完成するように拡張される。この拡張の部分は、省略ワード及び頭文字が使用されたコンテクストを分析して、対応するワードを決定することを含むことができる。例えば、頭文字「ＷＡ」は、「Ｗａｓｈｉｎｇｔｏｎ」へと変換することができ、そして省略形「Ｄｒ．」は、それが使用されたコンテクストに基づいて「Ｄｏｃｔｏｒ」又は「Ｄｒｉｖｅ」へと変換することができる。文字及び数字ストリングは、テキスト等効物に置き換えることができる。例えば、「２／１／９５」は、「１９９５年２月１日」に置き換えることができる。同様に、「＄１２０．１５」は、１２０ドル１５セントに置き換えることができる。適切なイントネーションで話せるようにセンテンスの構文構造を決定するために構文分析を行うことができる。同形異義語の文字は、一次及び二次のアクセントマークを含む音に変換される。例えば、ワード「ｒｅａｄ」は、そのワードの特定の意味に基づいて異なる発音を行うことができる。これを考慮するために、ワードは、関連するアクセントマークを伴い関連する発音を表す音に変換される。
【００３４】
ワードストリングが構成されると（ステップ１２２）、ワードストリングは、音素のストリングに変換される（ステップ１２４）。この変換を行うために、文字−音声要素３３は、ディクショナリ２２及び文字−音素ルール４０を使用し、ワードストリングのワードの文字を、そのワードに対応する音素へと変換する。音素のストリングは、自然言語プロセッサからのタグと共に、韻律学的エンジン３５へ送られる。タグは、ワードの分類の識別子である。ワードのタグは、その韻律学的特性に影響を及ぼし、従って、韻律学的エンジン３５によって使用される。
【００３５】
ステップ１２６において、韻律学的エンジン３５は、休止の位置と、各音素の韻律学的特性をセンテンスベースで決定する。休止の位置は、自然韻律を得るために重要である。これは、センテンス内に含まれた句読点マークを使用しそして上記ステップ１２２で自然言語プロセッサ３２により実行された構文分析を用いることにより決定することができる。各音素の韻律処理は、センテンスベースで決定される。しかしながら、本発明は、センテンスベースで韻律処理を行うことに限定されない。韻律処理は、ワード又は多数のセンテンス（これに限定されないが）のような他の言語学的特性に基づいて行うこともできる。韻律学的パラメータは、各音素の巾、ピッチ又はイントネーション、及び振幅で構成することができる。音素の巾は、ワードが話されるときにワードに置かれたアクセントによって影響を受ける。音素のピッチは、センテンスのイントネーションにより影響を受ける。例えば、平叙文及び疑問文は、異なるイントネーションパターンを形成する。韻律学的パラメータは、韻律学的データベース４２に記憶された韻律学的モデルを用いて決定することができる。スピーチ合成の分野では韻律学的パラメータを決定する多数の方法が良く知られている。１つのこのような方法がＪ．ピレハンバート著の「英語のイントネーションの音韻学及び音声学(The Phonology and Phonetics of English Intonation) 」、ＭＩＴ Ｐｈ．Ｄ．論文（１９８９年）に掲載されている。休止マークと、ピッチ、巾及び振幅を示す韻律学的パラメータとをもつ音素ストリングがスピーチ合成装置３６に送られる。
【００３６】
ステップ１２８において、スピーチ合成装置３６は、音素ストリングをジホーンストリングに変換する。これは、各音素をその右の隣接音素と対にすることにより行われる。図３は、音素ストリング６６をジホーンストリング６７に変換するところを示している。
【００３７】
ジホーンストリングの各ジホーンごとに、そのジホーンの最良のユニットインスタンスがステップ１３０において選択される。好ましい実施形態では、最良のユニットの選択は、言語表現を表すジホーンストリングを形成するために連結できる隣接ジホーンの境界間の最小のスペクトル歪に基づいて決定される。図９ないし１１は、言語表現「Ｔｈｉｓ ｉｓ ｇｒｅａｔ．」に対するユニット選択を示す。図９は、言語表現「Ｔｈｉｓ ｉｓ ｇｒｅａｔ．」を表すスピーチ波形を形成するのに使用できる種々のユニットインスタンスを示す。例えば、ジホーンＤＨ ＩＨに対して１０個のインスタンスがあり（１３４）、ジホーンＩＨ Ｓに対して１００個のインスタンスがあり（１３６）、等々となる。ユニット選択は、上記ヒューンの参照文献に見られる公知のビタビサーチアルゴリズムと同様の形態で行われる。簡単に述べると、言語表現を表すスピーチ波形を形成するように連結できるインスタンスの全ての考えられるシーケンスが形成される。これが図１０に示されている。次いで、インスタンスの隣接境界を横切るスペクトル歪が各シーケンスに対して決定される。この歪は、インスタンスの最後のフレームと、右に隣接するインスタンスの最初のフレームとの間の距離として計算される。スペクトル歪の計算に付加的な成分を追加できることに注意されたい。特に、２つのインスタンスを横切るピッチ及び振幅のユークリッド距離が、スペクトル歪計算の一部分として計算される。この成分は、ピッチ及び振幅の過剰な変調に起因するアコースティック歪を補償する。図１１を参照すれば、インスタンスストリング１４０の歪は、フレーム１４２と１４４、１４６と１４８、１５０と１５２、１５４と１６５、１５８と１６０、１６２と１６４、１６６と１６８との間の距離である。最小の歪をもつシーケンスが、スピーチを発生する基礎として使用される。
【００３８】
図１２は、ユニット選択を決定するのに用いられるステップを示す。図１２を参照すれば、ステップ１７２−１８２は、各ジホーンストリングに対して繰り返される（ステップ１７０）。ステップ１７２において、インスタンスの全ての考えられるシーケンスが形成される（図１０を参照）。ステップ１７６ないし１７８は、各インスタンスシーケンスに対して繰り返される（ステップ１７４）。最後のインスタンスを除く各インスタンスに対し、インスタンスとその直前の（即ちシーケンスにおいてその右側の）インスタンスとの間の歪が、インスタンスの最後のフレームの係数とそれに続くインスタンスの最初のフレームの係数との間のユークリッド距離として計算される。この距離は、次の数１の数学的定義によって表される。
【数１】

【００３９】
ステップ１８０において、インスタンスシーケンスにおける全てのインスタンスに対する歪の和が計算される。反復１７４の終わりに、最良のインスタンスシーケンスがステップ１８２において選択される。最良のインスタンスシーケンスとは、累積歪が最小のシーケンスである。
【００４０】
図８を参照すれば、最良のユニット選択が行われると、インスタンスは、入力テキストに対する韻律学的パラメータに基づいて連結され、そしてその連結されたインスタンスに対応するフレームから合成スピーチ波形が発生される（ステップ１３２）。この連結プロセスは、選択されたインスタンスに対応するフレームを変更して、所望の韻律学的特性に合致するようにする。多数の良く知られたユニット連結技術を使用することができる。
【００４１】
以上に述べたように、本発明は、ジホーンのようなアコースティックユニットの多数のインスタンスを与えることにより合成スピーチの自然さを改善する。多数のインスタンスは、合成波形を発生するところの包括的な種々の波形をスピーチ合成システムに与える。この多様性は、合成システムが、境界にわたり最小のスペクトル歪を有するインスタンスを連結する見込みを高めるので、隣接インスタンスの境界に存在するスペクトルの不連続性を最小にする。これは、隣接境界のスペクトル周波数に整合するようにインスタンスを変更する必要性を排除するものである。変更されないインスタンスにより構成されたスピーチ波形は、波形を自然な形態で包含するので、より自然に発音するスピーチを形成する。
【００４２】
以上、本発明の好ましい実施形態を詳細に説明したが、これは、本発明を単に例示するものに過ぎず、当業者であれば、上記した装置及び方法に対して変更を必要とする種々の異なる用途に本発明を適応させることができ、従って、上記の特定の説明は、本発明の範囲をそれに限定するものではないことをここに強調しておく。
【図面の簡単な説明】
【図１】好ましい実施形態のスピーチ合成方法を実施するのに使用されるスピーチ合成システムを示す図である。
【図２】好ましい実施形態に使用される分析方法のフローチャートである。
【図３】テキスト「Ｔｈｉｓ ｉｓ ｇｒｅａｔ．」に対応するスピーチ波形をフレームへと整列する例を示す図である。
【図４】図３の例のスピーチ波形に対応するＨＭＭ及びセノンストリングを示す図である。
【図５】ジホーンＤＨ ＩＨのインスタンスを例示する図である。
【図６】ジホーンＤＨ ＩＨのインスタンスを例示する別の図である。
【図７】各ジホーンに対するインスタンスのサブセットを構成するのに用いられるステップを示すフローチャートである。
【図８】好ましい実施形態の合成方法のフローチャートである。
【図９】本発明の好ましい実施形態のスピーチ合成方法によりテキスト「Ｔｈｉｓ ｉｓ ｇｒｅａｔ．」に対してスピーチをいかに合成するかを例示する図である。
【図１０】テキスト「Ｔｈｉｓ ｉｓ ｇｒｅａｔ．」に対するユニット選択方法を例示する図である。
【図１１】テキスト「Ｔｈｉｓ ｉｓ ｇｒｅａｔ．」に対応する１つのインスタンスストリングに対するユニット選択方法を例示する図である。
【図１２】本発明のユニット選択方法のフローチャートである。

Claims (19)

1. スピーチ合成器に格納されているコンピュータ読み取り可能な媒体であって、
   複数のスピーチユニットに対して複数の隠れたマルコフモデル（ＨＭＭ）の推定を得るステップと、
   複数のスピーチ波形としてトレーニングデータを受け取るステップと、
   前記スピーチ波形をセグメント化するステップであって、
   前記スピーチ波形に関連したテキストを得るステップと、
   前記テキストを複数のトレーニングスピーチユニットから形成されたスピーチユニットストリングに変換するステップとを実行することによって、
   前記スピーチ波形をセグメント化するステップと、
   前記トレーニングスピーチユニットに基づいて前記複数のＨＭＭを再推定するステップであって、各ＨＭＭは複数の状態を有し、各状態は対応するセノンを有するステップと、
   前記複数のスピーチ波形を発生する前記複数のＨＭＭのパラメータの確率がしきい値レベルに到達するまでセグメント化と再推定の前記ステップを繰り返すステップと、
   各波形を１つ以上の状態および対応する前記複数のＨＭＭのセノンにマップし、各トレーニングスピーチユニットに対応する複数のインスタンスを形成し、前記複数のインスタンスをスピーチユニットストアに記憶するステップと
   に応じて発生するスピーチユニットストアと、
   入力言語表現を入力スピーチユニットのシーケンスに変換するステップと、
   前記スピーチユニットストアにおいて、前記複数のインスタンスに基づいて前記入力スピーチユニットのシーケンスに対応する複数のインスタンスのシーケンスを発生するステップと、
   前記インスタンスのシーケンスにおける隣接するインスタンスの間の最小の相違を有する前記インスタンスのシーケンスの１つに基づいてスピーチを発生するステップとを実行することによって、
   前記入力言語表現を合成するよう設定されたスピーチ合成コンポーネントとしてコンピュータを機能させるためのプログラムを備えることを特徴とするコンピュータ読み取り可能な媒体。
2. 前記スピーチ波形は、複数のフレームから形成され、所定の時間インターバルの間、各フレームは、前記スピーチ波形の一部分のパラメータ表示に対応し、前記マップするステップは、
   前記フレームに関連したセノンを得るために、各フレームを前記複数のＨＭＭにおける対応する状態に時間的に整列させることを含むことを特徴とする請求項１に記載のコンピュータ読み取り可能な媒体。
3. 前記マップするステップは、
   前記トレーニングスピーチユニットの対応するインスタンスを得るために前記トレーニングスピーチユニットの各々を前記フレームのシーケンスとセノンの関連したシーケンスにマップすることと、
   前記トレーニングスピーチユニットの各々に対して前記複数のインスタンスを得るために前記トレーニングスピーチユニットの各々に対してマップするステップを繰り返すこととをさらに含むことを特徴とする請求項２に記載のコンピュータ読み取り可能な媒体。
4. グループ化されたセノンシーケンスを形成するために、共通の最初と最後のセノンを有するセノンのシーケンスをグループ化するステップと、
   前記セノンシーケンスが前記トレーニングスピーチユニットの前記対応するインスタンスを発生した見込みを指示する前記グループ化されたセノンシーケンスの各々に対する確率を計算するステップとをさらに備えるステップを実行することにより前記スピーチユニットストアが発生されることを特徴とする請求項３に記載のコンピュータ読み取り可能な媒体。
5. 各グループ化されたセノンシーケンスに対して計算された前記確率に基づいて前記セノンシーケンスを剪定するステップをさらに備えるステップを実行することにより前記スピーチユニットストアが発生されることを特徴とする請求項４に記載のコンピュータ読み取り可能な媒体。
6. 前記剪定するステップは、所望のしきい値より低い確率を有する前記グループ化された各セノンシーケンスにおいて全てのセノンシーケンスを破棄することを含むことを特徴とする請求項５に記載のコンピュータ読み取り可能な媒体。
7. 前記破棄することは、最も高い確率を有するセノンシーケンスを除いて前記グループ化された各セノンシーケンスにおいて全てのセノンを破棄することを含むことを特徴とする請求項６に記載のコンピュータ読み取り可能な媒体。
8. 望ましくない量が代表的な巾から異なっている巾を有するトレーニングスピーチユニットのインスタンスを破棄するステップをさらに備えるステップを実行することにより前記スピーチユニットストアが発生されることを特徴とする請求項７に記載のコンピュータ読み取り可能な媒体。
9. 望ましくない量が代表的なピッチ又は振幅から異なっているピッチ又は振幅を有する前記トレーニングスピーチユニットのインスタンスを破棄することをさらに備えるステップを実行することにより前記スピーチユニットストアが発生されることを特徴とする請求項７に記載のコンピュータ読み取り可能な媒体。
10. 前記スピーチ合成器は、前記インスタンスのシーケンスの各々に対して、前記インスタンスのシーケンスにおける隣接するインスタンスの間の最小の相違を決定するステップを実行するように設定されていることを特徴とする請求項１に記載のコンピュータ読み取り可能な媒体。
11. スピーチ合成を実行する方法であって、
    複数のスピーチユニットに対して複数の隠れたマルコフモデル（ＨＭＭ）の推定を得ることと、
    複数のスピーチ波形としてトレーニングデータを受け取ることと、
    前記スピーチ波形をセグメント化することであって、
    前記スピーチ波形に関連したテキストを得るステップと、
    前記テキストを複数のトレーニングスピーチユニットから形成されたスピーチユニットストリングに変換するステップとを実行することによって、
    前記スピーチ波形をセグメント化することと、
    前記トレーニングスピーチユニットに基づいて前記複数のＨＭＭを再推定することであって、各ＨＭＭは複数の状態を有し、各状態は対応するセノンを有することと、
    前記複数のスピーチ波形を発生する前記複数のＨＭＭのパラメータの確率がしきい値レベルに到達するまで前記セグメント化と前記再推定を繰り返すことと、
    各波形を１つ以上の状態および対応する前記複数のＨＭＭのセノンにマップし、各トレーニングスピーチユニットに対応する複数のスピーチユニットインスタンスを形成し、前記複数のスピーチユニットインスタンスを記憶することと、
    入力言語表現を受け取ることと、
    前記入力言語表現を入力スピーチユニットのシーケンスに変換することと、
    記憶された前記複数のスピーチユニットインスタンスに基づいて前記入力スピーチユニットのシーケンスに対応する複数のインスタンスのシーケンスを発生することと、
    前記インスタンスのシーケンスにおける隣接するインスタンスの間の最小の相違を有する前記インスタンスのシーケンスの１つに基づいてスピーチを発生することとを備えることを特徴とする方法。
12. 前記スピーチ波形は、複数のフレームから形成され、所定の時間インターバルの間、各フレームは、前記スピーチ波形の一部分のパラメータ表示に対応し、前記マップすることは、
    前記フレームに関連したセノンを得るために、各フレームを前記複数のＨＭＭにおける対応する状態に時間的に整列させることを含むことを特徴とする請求項１１に記載の方法。
13. 前記マップすることは、
    前記トレーニングスピーチユニットの対応するインスタンスを得るために前記トレーニングスピーチユニットの各々を前記フレームのシーケンスとセノンの関連したシーケンスにマップすることと、
    前記トレーニングスピーチユニットの各々に対して前記複数のインスタンスを得るために前記トレーニングスピーチユニットの各々に対してマップするステップを繰り返すこととをさらに含むことを特徴とする請求項１２に記載の方法。
14. グループ化されたセノンのシーケンスを形成するために、共通の最初と最後のセノンを有するセノンのシーケンスをグループ化するステップと、
    前記セノンシーケンスが前記トレーニングスピーチユニットの前記対応するインスタンスを発生した見込みを指示する前記グループ化されたセノンシーケンスの各々に対する確率を計算するステップとをさらに備えたことを特徴とする請求項１３に記載の方法。
15. 各グループ化されたセノンシーケンスに対して計算された前記確率に基づいて前記セノンシーケンスを剪定するステップをさらに備えたことを特徴とする請求項１４に記載の方法。
16. 前記剪定するステップは、所望のしきい値より低い確率を有する前記グループ化された各セノンシーケンスにおいて全てのセノンシーケンスを破棄することを含むことを特徴とする請求項１５に記載の方法。
17. 前記破棄することは、最も高い確率を有するセノンシーケンスを除いて前記グループ化された各セノンシーケンスにおいて全てのセノンを破棄することを含むことを特徴とする請求項１６に記載の方法。
18. 望ましくない量が代表的な巾から異なっている巾を有するトレーニングスピーチユニットのインスタンスを破棄するステップをさらに備えることを特徴とする請求項１７に記載の方法。
19. 望ましくない量が代表的なピッチ又は振幅から異なっているピッチ又は振幅を有する前記トレーニングスピーチユニットのインスタンスを破棄するステップをさらに備えることを特徴とする請求項１７に記載の方法。

Images