JP6483578B2 - 音声合成装置、音声合成方法およびプログラム - Google Patents

Description

本発明の実施形態は、音声合成装置、音声合成方法およびプログラムに関する。

近年、音声合成技術の発達により、高品質な合成音を生成できるようになってきている。特に隠れマルコフモデル（ＨＭＭ）を用いた音声合成技術は、音声をパラメータ化したモデルを用いることで合成音を柔軟に制御できることが知られている。例えば、少量の収録音声から高品質な合成音を生成する話者適応技術や、感情音声を合成できる感情音声技術など、多様な合成音を生成する技術がすでに実用化されている。

このような背景から、例えば、電子書籍の読み上げ、デジタルサイネージ、対話エージェント、エンターテインメント、ロボットなど、合成音の応用先が広がりを見せている。こうした応用においては、ユーザは予め用意された話者の声だけではなく、自分の好みの声で合成音を生成したいという要求が高い。そこで、既存話者の音響モデルのパラメータを変更したり、複数の音響モデルを組み合わせて実際には存在しない話者の声質の合成音を生成したりする、声質編集の技術が注目を浴びている。

これまでの声質編集の技術では、音響モデルのパラメータそのものを変更する、あるいは、音響モデルのパラメータに直結する声質の特徴（例えば、高い声、早口の声など）の指定を受けて、その声質の特徴を反映させることが主流となっている。しかし、ユーザが得たいと考える所望の声質は、例えば、可愛い声、さわやかな声といったように、より抽象的な言葉を用いた方が的確に表現できることも多い。このため、抽象的な言葉に基づく声質の指定により所望の声質の合成音を生成できるようにすることが求められている。

特開平１１−２０２８８４号公報 特許第４２９６２３１号公報

Makoto Tachibana，Takashi Nose，Junichi Yamagishi and Takao Kobayashi，"A Technique for Controlling Voice Quality of Synthetic Speech Using Multiple Regression HSMM"，in Proc．INTERSPEECH2006，pp．2438-2441，2006．

本発明が解決しようとする課題は、抽象的な言葉に基づく声質の指定により所望の声質の合成音を生成できる音声合成装置、音声合成方法およびプログラムを提供することである。

実施形態の音声合成装置は、第１操作受付部と、得点変換部と、音声合成部と、を備える。第１操作受付部は、声質を表す１以上の上位表現語に基づいて所望の音声の声質を指定する第１操作を受け付ける。得点変換部は、前記上位表現語の得点を前記上位表現語よりも抽象度の低い下位表現語の得点に変換する得点変換モデルに基づいて、前記第１操作に応じた前記上位表現語の得点を１以上の前記下位表現語の得点に変換する。音声合成部は、前記下位表現語の得点に基づいて、任意のテキストに対応する合成音を生成する。

第１実施形態の音声合成装置の機能的な構成例を示すブロック図。 表現語の階層構造を説明する図。 アンケート用のインタフェースの一例を示す図。 下位表現語の得点データの一例を示す図。 上位表現語の得点データの一例を示す図。 編集画面の一例を示す図。 スライダーバー形式の第１領域を示す図。 ダイヤル形式の第１領域を示す図。 レーダーチャート形式の第１領域を示す図。 ダイヤル形式の第２領域を示す図。 レーダーチャート形式の第２領域を示す図。 音声合成装置の動作概要を示すフローチャート。 モデルの学習の処理手順を示すフローチャート。 音声合成の処理手順を示すフローチャート。 第２実施形態の音声合成装置の機能的な構成例を示すブロック図。 編集画面の一例を示す図。 範囲計算部による処理手順の一例を示すフローチャート。 処理手順の具体例を示す模式図。 編集画面の他の例を示す図。 第３実施形態の音声合成装置の機能的な構成例を示すブロック図。 編集画面の一例を示す図。 式（２）の変換式を模式的に示す図。 第４実施形態の音声合成装置の機能的な構成例を示すブロック図。 編集画面の一例を示す図。 音声合成装置のハードウェア構成例を示すブロック図。

＜第１実施形態＞
図１は、第１実施形態の音声合成装置１００の機能的な構成例を示すブロック図である。図１に示すように、本実施形態の音声合成装置１００は、話者データベース１０１と、表現語データベース１０２と、声質評価部１０３と、上位表現語得点記憶部１０４と、下位表現語得点記憶部１０５と、音響モデル学習部１０６と、音響モデル記憶部１０７と、得点変換モデル学習部１０８と、得点変換モデル記憶部１０９と、編集支援部１１０と、得点変換部１２０と、音声合成部１３０と、を備える。

話者データベース１０１は、音響モデルの学習に必要な複数の話者の音声、音声から抽出した音響特徴量、音声の文字列情報から抽出したコンテキストラベルを保持する記憶部である。既存のＨＭＭ音声合成で主に使われる音響特徴量として、音韻や声色を表すメルケプストラム、メルＬＰＣ、メルＬＳＰ、声の高さを表す基本周波数、音声の周期・非周期成分の割合を表す非周期性指標などがある。また、コンテキストラベルとは、発話した音声の文字列情報から得られる言語的な特徴であり、前後の音素、発音に関する情報、句末位置、文長、呼気段落長、呼気段落位置、アクセント句長、単語長、単語位置、モーラ長、モーラ位置、アクセント型、係り受け情報などがある。

表現語データベース１０２は、声質を表す複数の表現語を保持する記憶部である。本実施形態では、声質を表す表現語を、上位表現語と、上位表現語よりも抽象度の低い下位表現語とに分類する。

図２は、表現語の階層構造を説明する図である。物理特徴量ＰＦは、例えば、スペクトル特徴量、基本周波数、音素の継続長、非周期性指標などのように、音響モデルで扱われるパラメータからなる。下位表現語ＬＥは、例えば、男性、女性、若い、老いた、低い、高い、ゆっくり、早口、暗い、明るい、柔らかい、硬い、たどたどしい、流暢などのように、比較的、物理特徴量ＰＦに近い具体的な声質に関する単語からなる。例えば、低い／高いは基本周波数、ゆっくり／早口は音素の継続時間長などと関連している。性別（男性／女性）や年齢（若い／老いた）は、話者の実際の性別や年齢ではなく、声から感じられる性別や年齢を意味している。上位表現語ＵＥは、下位表現語ＬＥよりも抽象的な声質に関する単語からなる。例えば、落ち着いた、知的、優しい、可愛い、渋い、さわやかなどがある。なお、本実施形態では、上位表現語ＵＥで表現される声質は、下位表現語ＬＥで表現される声質の組合せからなると仮定している。

本実施形態の音声合成装置１００の利点の１つは、ユーザが、物理特徴量ＰＦに近い下位表現語ＬＥだけでなく、より抽象的で理解しやすい上位表現語ＵＥを用いて声質を編集できることにある。

声質評価部１０３は、話者データベース１０１のすべての話者に対して、その声質の特徴を評価して得点化する。声質を得点化する方法は様々考えられるが、本実施形態では、話者データベース１０１に格納された音声を複数の被験者に聴かせてその声質を評価させるというアンケートを行い、その結果を集計する方法を採るものとする。なお、声質評価部１０３は、話者データベース１０１の話者の声質を得点化できる方法であれば、このようなアンケート以外の方法を用いてもよい。

図３は、アンケート用のインタフェースの一例を示す図である。アンケートは、図３（ａ）に示すようなインタフェース２０１を用いた下位表現語ＬＥによる評価だけでなく、図３（ｂ）に示すようなインタフェース２０２を用いた上位表現語ＵＥによる評価についても行う。被験者は、再生ボタン２０３を操作することで話者データベース１０１の各話者の音声を聴き、表現語データベース１０２が保持する各表現語を用いたスケール２０４上で、その声の特徴を例えば−５点から＋５点の間で評価することが求められる。音声の特徴は、必ずしも−５点から＋５点の間で評価する必要はなく、０点から１点、０点から１０点など、どのような範囲で評価してもよい。また、性別は男性・女性の二値で得点化することもできるが、ここでは他の表現語と同じように−５から＋５の範囲で得点化する。−５は男性的、＋５は女性的、０は男性か女性かはっきりしない中性的な声（例えば子供の声）であることを意味する。

声質評価部１０３は、例えば、以上のようなアンケートの結果を集計し、話者データベース１０１のすべての話者に対し、その声質を下位表現語ＬＥおよび上位表現語ＵＥのそれぞれの指標で得点化し、得点データを生成する。

下位表現語得点記憶部１０５は、声質評価部１０３により生成された下位表現語ＬＥの得点データを保持する記憶部である。図４は、下位表現語得点記憶部１０５が記憶する下位表現語ＬＥの得点データの一例を示す図である。この図４に示す例では、表の行２１１が１人の話者に対する各下位表現語ＬＥの得点を表しており、各行２１１には、その行２１１に対応する話者を識別する話者ＩＤ２１２が付与されている。また、表の列２１３が、各話者に対する１つの下位表現語ＬＥの得点を表している。得点は、複数の被験者による評価結果の統計量（例えば平均値）が格納されている。このデータを行２１１方向に見たベクトル、つまり１人の話者に対するそれぞれの下位表現語ＬＥの得点を要素とするベクトルを、以下では、「下位表現語得点ベクトル」と呼ぶ。例えば図４の例において、話者ＩＤ２１２がＭ００１の話者の下位表現語得点ベクトルは、（−３．４８、−０．６６、−０．８８、−０．３４、１．３６、０．２４、１．７６）である。この下位表現語得点ベクトルの各次元が、下位表現語ＬＥにあたる。

上位表現語得点記憶部１０４は、声質評価部１０３により生成された上位表現語ＵＥの得点データを保持する記憶部である。図５は、上位表現語得点記憶部１０４が記憶する上位表現語ＵＥの得点データの一例を示す図である。この得点データは、図４に示した下位表現語ＬＥに対する得点データと同様の構造であるが、下位表現語ＬＥの得点ではなく、上位表現語ＵＥの得点を保持する。すなわち、図５に示す得点データは、表の行２２１が１人の話者に対する各上位表現語ＵＥの得点を表しており、表の列２２２が、各話者に対する１つの上位表現語ＵＥの得点を表している。下位表現語得点ベクトルと同様に、このデータを行２２１方向に見たベクトル、つまり１人の話者に対するそれぞれの上位表現語ＵＥの得点を要素とするベクトルを、以下では、「上位表現語得点ベクトル」と呼ぶ。上位表現語得点ベクトルの各次元が、上位表現語ＵＥにあたる。

音響モデル学習部１０６は、話者データベース１０１が保持する音響特徴量およびコンテキストラベルと、下位表現語得点記憶部１０５が保持する下位表現語ＬＥの得点データとに基づいて、音声合成に用いる音響モデルを学習する。このモデル学習は、非特許文献１で開示されている重回帰ＨＳＭＭ（隠れセミマルコフモデル）と呼ばれるモデル学習手法をそのまま適用できる。重回帰ＨＳＭＭは、正規分布で表される音響モデルの平均ベクトルをμ、下位表現語得点ベクトルをξ、変換行列をＨ、バイアスベクトルをｂとすると、下記式（１）でモデル化できる。
μ＝Ｈξ＋ｂ
ξ=［ｖ_１，ｖ_２，・・・，ｖ_Ｌ］ ・・・（１）

ここで、Ｌは下位表現語ＬＥの数であり、ｖ_ｉはｉ番目の下位表現語ＬＥの得点である。音響モデル学習部１０６は、話者データベース１０１に保持された音響特徴量およびコンテキストラベルと、下位表現語得点記憶部１０５に保持された下位表現語ＬＥの得点データとを学習データとして用い、変換行列ＨとバイアスベクトルｂをＥＭアルゴリズムに基づく最尤推定により求める。学習が終わり、変換行列Ｈとバイアスベクトルｂが推定されれば、上記の式（１）を用いて、任意の下位表現語得点ベクトルξを音響モデルの平均ベクトルμに変換できる。これは、下位表現語得点ベクトルξが表す任意の声質を持つ合成音を生成できることを意味する。学習された音響モデルは、音響モデル記憶部１０７に保持され、音声合成部１３０による音声合成で使用される。

なお、ここでは音声合成に用いる音響モデルとして重回帰ＨＳＭＭを例示したが、これに限らない。音響モデルは、任意の下位表現語得点ベクトルを音響モデルの平均ベクトルに写像するモデルであれば、重回帰ＨＳＭＭ以外の他のモデルを用いてもよい。

得点変換モデル学習部１０８は、上位表現得語得点記憶部１０４が保持する上位表現語ＵＥの得点データと、下位表現語得点記憶部１０５が保持する下位表現語ＬＥの得点データとに基づいて、任意の上位表現語得点ベクトルを下位表現語得点ベクトルに変換する得点変換モデルを学習する。この変換モデルにも、上述の重回帰ＨＳＭＭと同様に重回帰モデルを使用することができる。重回帰モデルによる得点変換モデルは、上位表現語得点ベクトルをη、下位表現語得点ベクトルをξ、変換行列をＧ、バイアスベクトルをｄとすると、下記式（２）でモデル化できる。
ξ＝Ｇη＋ｄ
η＝［ｗ_１，ｗ_２，・・・，ｗ_Ｍ］ ・・・（２）

ここで、Ｍは上位表現語ＵＥの数であり、ｗ_ｉはｉ番目の上位表現語ＵＥの得点である。得点変換モデル学習部１０８は、上位表現得語得点記憶部１０４が保持する上位表現語ＵＥの得点データと、下位表現語得点記憶部１０５が保持する下位表現語ＬＥの得点データとを学習データとして用い、変換行列ＧとバイアスベクトルｄをＥＭアルゴリズムに基づく最尤推定により求める。学習が終わり、変換行列Ｇとバイアスベクトルｄが推定されれば、任意の上位表現語得点ベクトルηを下位表現語得点ベクトルξに変換できる。学習された得点変換モデルは、得点変換モデル記憶部１０９に保持され、後述の得点変換部１２０において上位表現語得点ベクトルを下位表現語得点ベクトルに変換するために用いられる。

なお、ここでは得点変換モデルとして重回帰モデルを例示したが、これに限らない。得点変換モデルは、ベクトルからベクトルへの写像を学習するアルゴリズムにより生成されるモデルであれば、どのようなものを用いてもよい。例えば、ニューラルネットワーク、混合ガウスモデルなどを得点変換モデルとして用いる構成としてもよい。

以上説明した得点変換モデルと音響モデルとを用いると、ユーザは、上位表現語得点ベクトルさえ指定できれば、それを上記式（２）で表される得点変換モデルを用いて下位表現語得点ベクトルに変換し、さらに上記式（１）で表される音響モデルを用いて下位表現語得点ベクトルを音響モデルの平均ベクトルμに変換することで、上位表現語得点ベクトルが表す任意の声質を持つ合成音を生成できる。本実施形態の音声合成装置１００は、このような多段階変換の仕組みを導入することで、新たな声質編集インタフェースを実現できる。

本実施形態の音声合成装置１００は、１以上の上位表現語ＵＥに基づいて所望の声質を指定するユーザの操作（以下、「第１操作」と呼ぶ）を受け付け、この第１操作に応じた上位表現語得点ベクトルを下位表現語得点ベクトルに変換して、変換した下位表現語得点ベクトルをユーザに提示する。そして、提示した下位表現語得点ベクトルを変更するユーザの操作（以下、「第２操作」と呼ぶ）があれば、この第２操作を受け付け、上位表現語得点ベクトルから変換された下位表現語得点ベクトル、あるいは第２操作に応じて変更された下位表現語得点ベクトルに基づいて、所望の声質の合成音を生成する。こうした機能を実現するための機能的な構成要素が、編集支援部１１０、得点変換部１２０および音声合成部１３０である。

編集支援部１１０は、本実施形態の音声合成装置１００において特徴的な声質編集インタフェースを提供してユーザによる声質編集を支援する機能モジュールである。この編集支援部１１０は、サブモジュールとして、表示装置に編集画面を表示させる表示制御部１１１と、この編集画面上で入力された上述の第１操作を受け付ける第１操作受付部１１２と、編集画面上で入力された上述した第２操作を受け付ける第２操作受付部１１３とを含む。なお、編集支援部１１０が提供する声質編集インタフェースを利用した声質編集の詳細については、編集画面の具体例とともに後述する。

得点変換部１２０は、得点変換モデル記憶部１０９が保持する得点変換モデルに基づいて、第１操作に応じた上位表現語得点ベクトルを下位表現語得点ベクトルに変換する。上述したように、音声合成部１３０による音声合成で使用される音響モデルは、下位表現語得点ベクトルを音響モデルの平均ベクトルに変換するモデルであり、第１操作に応じて生成される上位表現語得点ベクトルから直接音声を合成することはできない。そのため、第１操作に応じて生成される上位表現語得点ベクトルを下位表現語得点ベクトルに変換する必要がある。このような上位表現語得点ベクトルから下位表現語得点ベクトルへの変換を行うのが、得点変換部１２０である。得点変換モデル記憶部１０９が保持する得点変換モデルは、上記式（２）の変換行列Ｇとバイアスベクトルｄがすでに学習により推定されている。したがって、得点変換部１２０は、得点変換モデル記憶部１０９が保持する得点変換モデルを使用して、第１操作に応じて生成される上位表現語得点ベクトルを下位表現語得点ベクトルに変換できる。

音声合成部１３０は、音響モデル記憶部１０７に保持された音響モデル（例えば上記式（１）の重回帰ＨＳＭＭ）を使用して、任意のテキストＴに対応する合成音Ｓを、上位表現語得点ベクトルから変換された下位表現語得点ベクトル、あるいは第２操作に応じて変更された下位表現語得点ベクトルに応じた声質を持つ合成音Ｓとして生成する。音声合成部１３０により生成された合成音Ｓは、スピーカから出力（再生）される。なお、音声合成部１３０による音声合成の方法は隠れマルコフモデルを用いた音声合成方法であるが、隠れマルコフモデルを用いた音声合成方法の詳細は、例えば下記の参考文献に詳細が記載されているため、ここでは説明を省略する。
（参考文献１）Keiichi Tokuda et al．，“Speech Synthesis Based on Hidden Markov Models”，Proceedings of the IEEE，101(5)，pp．1234-1252，2013．

ここで、本実施形態の音声合成装置１００において特徴的な声質編集インタフェースを利用した声質編集の具体例について説明する。図６は、表示制御部１１１の制御により表示装置に表示される編集画面ＥＳの一例を示す図である。図６に例示する編集画面ＥＳは、テキストボックス２３０と、第１領域２３１と、第２領域２３２と、再生ボタン２３３と、保存ボタン２３４とを含む。

テキストボックス２３０は、ユーザが音声合成の対象となる任意のテキストＴを入力するための領域である。

第１領域２３１は、上述の第１操作を入力させるための領域である。第１操作を入力させる形式は様々考えられるが、図６では、その一例として、本実施形態で想定する複数の上位表現語ＵＥを並べて表示し、その中の１つをユーザに選ばせるオプション形式の第１領域２３１を例示している。この図６に例示する第１領域２３１では、上位表現語ＵＥのそれぞれに対応するチェックボックス２３５が設けられ、ユーザがマウス操作やタッチ操作などにより、生成したい合成音の声質を最も的確に表現する上位表現語ＵＥのチェックボックス２３５を選択することで、声質が指定される。図６の例では、ユーザにより「可愛い」のチェックボックス２３５が選択された様子を示している。この場合、「可愛い」のチェックボックス２３５を選択するユーザの操作が第１操作となる。

第１領域２３１上で入力された第１操作は、第１操作受付部１１２により受け付けられ、この第１操作に応じた上位表現語得点ベクトルが生成される。第１領域２３１が図６のようなオプション形式の場合、例えば、この第１領域２３１上でユーザにより選択された上位表現語ＵＥの次元のみ高い値（例えば１）となり、その他の次元の値が平均的な値（例えば０）となる上位表現語得点ベクトルが生成される。なお、上位表現語得点ベクトルの各次元の値は上述の上位表現語ＵＥの得点の範囲に依存するため、上記に限定されない。第１操作に応じた上位表現語得点ベクトルは、得点変換部１２０により下位表現語得点ベクトルに変換される。

第２領域２３２は、得点変換部１２０により変換された下位表現語得点ベクトルをユーザに提示するとともに、上述の第２操作を入力させるための領域である。下位表現語得点ベクトルをユーザに提示して第２操作を入力させる形式は様々考えられるが、図６では、その一例として、本実施形態で想定する複数の下位表現語ＬＥのそれぞれを軸とするスライダーバーにより下位表現語得点ベクトルを可視化した形式の第２領域２３２を例示している。この図６に例示する第２領域２３２では、スライダーバーのつまみ２３６の位置が、そのスライダーバーに対応する下位表現語ＬＥの得点（下位表現語得点ベクトルの次元の値）を示している。つまり、第１操作に応じた上位表現語得点ベクトルから変換された下位表現語得点ベクトルの各次元の値に応じて、各下位表現語ＬＥに対応するスライダーバーのつまみ２３６の位置がプリセットされる。そして、ユーザが任意の下位表現語ＬＥに対応するスライダーバーのつまみ２３６を動かすことで、変換された下位表現語得点ベクトルの値を変更することができる。この場合、任意の下位表現語ＬＥに対応するスライダーバーのつまみ２３６を動かすユーザの操作が第２操作となる。

第２領域２３２上で入力された第２操作は、第２操作受付部１１３により受け付けられ、この第２操作に応じて、得点変換部１２０により変換された下位表現語得点ベクトルの値が変更される。そして、第２操作に応じて変更された下位表現語得点ベクトルに応じた声質を持つ合成音Ｓが、音声合成部１３０により生成される。

再生ボタン２３３は、音声合成部１３０により生成された合成音Ｓを聴く際にユーザが操作するボタンである。ユーザは、テキストボックス２３０に任意のテキストＴを入力し、第１領域２３１上で第１操作を行った後にこの再生ボタン２３３を操作することにより、第１操作に応じた上位表現語得点ベクトルから変換された下位表現語得点ベクトルに基づくテキストＴの合成音Ｓをスピーカから出力させて、この合成音Ｓを聴くことができる。また、この合成音Ｓの声質が所望の声質とは異なる場合、ユーザは第２領域２３２上で第２操作を行った後にこの再生ボタン２３３を再度操作することにより、第２操作に応じて変更された下位表現語得点ベクトルに基づく合成音Ｓをスピーカから出力させて、この合成音Ｓを聴くことができる。ユーザは、所望の声質の合成音Ｓが得られるまでこのような操作を繰り返すといった簡便な操作により、所望の声質の合成音Ｓを得ることができる。

保存ボタン２３４は、以上の操作により得られた所望の声質の合成音Ｓを保存するためにユーザが操作するボタンである。すなわち、ユーザが上述の操作を行った後にこの保存ボタン２３４を操作すると、最終的に得られた所望の声質の合成音Ｓが保存される。なお、所望の声質の合成音Ｓを保存する代わりに、所望の声質の合成音Ｓを生成するための下位表現語得点ベクトルを保存する構成としてもよい。

なお、図６では、編集画面ＥＳに含まれる第１領域２３１としてオプション形式の第１領域２３１を例示したが、第１領域２３１は第１操作を入力させる形式であればよく、オプション形式に限らない。例えば図７に示すように、図６の第２領域２３２と同様のスライダーバー形式で第１領域２３１を構成してもよい。第１領域２３１をスライダーバー形式とした場合、ユーザは複数の上位表現語ＵＥに基づいて所望の声質を指定することができる。この場合、任意の上位表現語ＵＥに対応するスライダーバーのつまみ２３６を動かすユーザの操作が第１操作となり、例えば、各上位表現語ＵＥに対応するスライダーバーのつまみ２３６の位置をそのまま数値として当てはめたベクトルが、上位表現語得点ベクトルとして生成される。

また、例えば図８に示すように、上位表現語ＵＥのそれぞれに対応して回転可能なダイヤル２３７を設けたダイヤル形式の第１領域２３１を構成してもよい。第１領域２３１をダイヤル形式とした場合、スライダーバー形式の第１領域２３１と同様に、ユーザは複数の上位表現語ＵＥに基づいて所望の声質を指定することができる。この場合、任意の上位表現語ＵＥに対応するダイヤル２３７を動かすユーザの操作が第１操作となり、例えば、各上位表現語ＵＥに対応するダイヤル２３７の位置をそのまま数値として当てはめたベクトルが、上位表現語得点ベクトルとして生成される。

また、例えば図９に示すように、上位表現語ＵＥのそれぞれを軸としたレーダーチャート形式の第１領域２３１を構成してもよい。第１領域２３１をレーダーチャート形式とした場合、スライダーバー形式やダイヤル形式の第１領域２３１と同様に、ユーザは複数の上位表現語ＵＥに基づいて所望の声質を指定することができる。この場合、任意の上位表現語ＵＥに対応する軸上のポインタ２３８を動かすユーザの操作が第１操作となり、例えば、各上位表現語ＵＥに対応する軸上のポインタ２３８の位置をそのまま数値として当てはめたベクトルが、上位表現語得点ベクトルとして生成される。

また、図６では、編集画面ＥＳに含まれる第２領域２３２としてスライダーバー形式の第２領域２３２を例示したが、第２領域２３２は、下位表現語得点ベクトルをユーザに提示しながら上述の第２操作を入力させることが可能な形式であればよく、スライダーバー形式に限らない。例えば図１０に示すように、図８に例示した第１領域２３１と同様のダイヤル形式で第２領域２３２を構成してもよい。このようなダイヤル形式の第２領域２３２では、第１操作に応じた上位表現語得点ベクトルから変換された下位表現語得点ベクトルの各次元の値に応じて、各下位表現語ＵＥに対応するダイヤル２３７の位置がプリセットされる。そして、ユーザが任意の下位表現語ＬＥに対応するダイヤル２３７を動かすことで、変換された下位表現語得点ベクトルの値を変更することができる。この場合、任意の下位表現語ＬＥに対応するダイヤル２３７を動かすユーザの操作が第２操作となる。

また、例えば図１１に示すように、図９に例示した第１領域２３１と同様のレーダーチャート形式で第２領域２３２を構成してもよい。このようなレーダーチャート形式の第２領域２３２では、第１操作に応じた上位表現語得点ベクトルから変換された下位表現語得点ベクトルの各次元の値に応じて、各下位表現語ＵＥに対応する軸上のポインタ２３８の位置がプリセットされる。そして、ユーザが任意の下位表現語ＬＥに対応する軸上のポインタ２３８を動かすことで、変換された下位表現語得点ベクトルの値を変更することができる。この場合、任意の下位表現語ＬＥに対応する軸上のポインタ２３８を動かすユーザの操作が第２操作となる。

次に、本実施形態の音声合成装置１００の動作について、図１２乃至図１４のフローチャートを参照しながら説明する。

図１２は、本実施形態の音声合成装置１００の動作概要を示すフローチャートである。本実施形態の音声合成装置１００の動作は、図１２に示すように、モデルの学習を行うステップＳ１０１と、音声合成を行うステップＳ１０２との２つのステップに分けられる。ステップＳ１０１のモデルの学習は基本的に初回に一度だけ行えばよいが、例えば、話者データベース１０１に音声が追加された場合など、モデルの更新が必要と判断されると（ステップＳ１０３：Ｙｅｓ）、ステップＳ１０１のモデルの学習が再度行われる。モデルの更新が必要でなければ（ステップＳ１０３：Ｎｏ）、そのモデルを用いてステップＳ１０２の音声合成が行われる。

図１３は、図１２のステップＳ１０１のモデルの学習の処理手順を示すフローチャートである。モデルの学習の処理では、まず、声質評価部１０３が、話者データベース１０１のすべての話者に対して上位表現語ＵＥの得点データおよび下位表現語ＬＥの得点データを生成し、上位表現語ＵＥの得点データを上位表現語得点記憶部１０４に、下位表現語ＬＥの得点データを下位表現語得点記憶部１０５にそれぞれ格納する（ステップＳ２０１）。

次に、音響モデル学習部１０６が、話者データベース１０１が保持する音響特徴量およびコンテキストラベルと、下位表現語得点記憶部１０５が保持する下位表現語ＬＥの得点データとに基づいて音響モデルを学習し、学習により得られた音響モデルを音響モデル記憶部１０７に格納する（ステップＳ２０２）。さらに、得点変換モデル学習部１０８が、上位表現得語得点記憶部１０４が保持する上位表現語ＵＥの得点データと、下位表現語得点記憶部１０５が保持する下位表現語ＬＥの得点データとに基づいて得点変換モデルを学習し、学習により得られた得点変換モデルを得点変換モデル記憶部１０９に格納する（ステップＳ２０３）。なお、ステップＳ２０２の音響モデルの学習とステップＳ２０３の得点変換モデルの学習は、並列に実施することができる。

図１４は、図１２のステップＳ１０２の音声合成の処理手順を示すフローチャートである。音声合成の処理では、まず、編集支援部１１０の表示制御部１１１が、上述の編集画面ＥＳを表示装置に表示させる制御を行う（ステップＳ３０１）。そして、第１操作受付部１１２が、編集画面ＥＳの第１領域２３１上で入力されたユーザの第１操作を受け付けて、この第１操作に応じた上位表現語得点ベクトルを生成する（ステップＳ３０２）。

次に、得点変換部１２０が、得点変換モデル記憶部１０９が保持する得点変換モデルに基づいて、ステップＳ３０２で生成された上位表現語得点ベクトルを下位表現語得点ベクトルに変換する（ステップＳ３０３）。そして、音声合成部１３０が、音響モデル記憶部１０７が保持する音響モデルを使用して、入力された任意のテキストＴに対応する合成音Ｓとして、ステップＳ３０３で上位表現語得点ベクトルから変換された下位表現語得点ベクトルに応じた声質を持つ合成音Ｓを生成する（ステップＳ３０４）。この合成音Ｓは、ユーザが編集画面ＥＳの再生ボタン２３３を操作することで再生され、スピーカから出力される。

このとき、編集画面ＥＳの第２領域２３２では、再生された合成音Ｓに対応する下位表現語得点ベクトルが視覚的に把握できるようにユーザに提示されている。そして、ユーザがこの第２領域２３２上で第２操作を行い、この第２操作が第２操作受付部１１３により受け付けられると（ステップＳ３０５：Ｙｅｓ）、第２操作に応じて下位表現語得点ベクトルが変更される。この場合は、ステップＳ３０４に戻って、音声合成部１３０により、下位表現語得点ベクトルに応じた声質を持つ合成音Ｓが生成される。この処理は、第２操作受付部１１３が第２操作を受け付けるたびに繰り返される。

一方、ユーザが第２領域２３２上での第２操作ではなく（ステップＳ３０５：Ｎｏ）、保存ボタン２３４を操作した場合は（ステップＳ３０６：Ｙｅｓ）、ステップＳ３０４で生成された合成音が保存され、音声合成の処理が終了する。保存ボタン２３４が操作されるまでは（ステップＳ３０６：Ｎｏ）、第２操作受付部１１３が第２操作の入力を待機する状態が継続される。

なお、図１４では図示を省略しているが、保存ボタン２３４が操作される前にユーザが第１領域２３１上で第１操作を再度行った場合、つまり、上位表現語ＵＥによる声質の指定を変更する操作を行った場合は、ステップＳ３０２に戻って第１操作受付部１１２により第１操作が再度受け付けられ、以降の処理が繰り返される。このように、本実施形態の音声合成装置１００では、上位表現語ＵＥによる声質編集と、下位表現語ＬＥによる声質編集との組み合わせにより、ユーザが要求する多様な声質の合成音を簡便な操作で適切に生成することができる。

以上、具体的な例を挙げながら詳細に説明したように、本実施形態の音声合成装置１００では、ユーザが１以上の上位表現語ＵＥに基づいて所望の声質を指定する第１操作を行うと、この第１操作に応じた上位表現語得点ベクトルが下位表現語得点ベクトルに変換され、下位表現語得点ベクトルに応じた声質の合成音が生成される。また、上位表現得点ベクトルから変換された下位表現得点ベクトルは、視覚的に把握できるようにユーザに提示され、ユーザがこの下位表現得点ベクトルを変更する第２操作を行うと、この第２操作に応じて変更された下位表現得点ベクトルに応じた声質の合成音が生成される。したがって、ユーザは、抽象的で大まかな声質（落ち着いた声、可愛い声、渋い声など）を指定した後に、性別、年齢、高さ、明るさなどの抽象度の低い声質の特徴をさらに微調整して、所望の声質の合成音を得ることができ、所望の声質の合成音を簡便な操作で適切に生成できる。

＜第２実施形態＞
次に、第２実施形態について説明する。本実施形態の音声合成装置１００は、上述した第１実施形態の音声合成装置１００に対し、声質編集を補助する機能を追加したものである。以下、第１実施形態と共通の部分については共通の符号を付して重複した説明を適宜省略し、第２実施形態に特徴的な部分を説明する。

図１５は、第２実施形態の音声合成装置１００の機能的な構成例を示すブロック図である。図１５に示すように、本実施形態の音声合成装置１００は、上述した第１実施形態の音声合成装置１００（図１参照）に対し、範囲計算部１４０が追加された構成となっている。

範囲計算部１４０は、上位表現語得点記憶部１０４が保持する上位表現語ＵＥの得点データと、下位表現語得点記憶部１０５が保持する下位表現語ＬＥの得点データとに基づいて、第１操作により指定された声質の特徴を維持できる下位表現語ＬＥの得点の範囲（以下、「制御可能範囲」と呼ぶ）を計算する。範囲計算部１４０により算出された制御可能範囲は編集支援部１１０に送られ、表示制御部１１１が表示装置に表示させる編集画面ＥＳに反映される。すなわち、表示制御部１１１は、得点変換部１２０により変換された下位表現語得点ベクトルを、範囲計算部１４０により算出された制御可能範囲とともにユーザに提示する第２領域２３２を含む編集画面ＥＳを表示装置に表示させる。

図１６は、本実施形態における編集画面ＥＳの一例を示す図である。この図１６の編集画面ＥＳは、図６に示した編集画面ＥＳと同様に、第１領域２３１上で「可愛い」のチェックボックス２３５を選択する第１操作が行われた例を示している。図６の編集画面ＥＳとの違いは、第１操作により指定された声質（この例では「可愛い」）の特徴を維持できる制御可能範囲が、第２領域２３２において帯状マーク２４０により視覚的に把握できるように提示されている点である。ユーザは、この帯状マーク２４０の範囲内でスライダーバーのつまみ２３６を動かすことで、様々なタイプの可愛い声の合成音を得ることができる。

図１７は、本実施形態の範囲計算部１４０による処理手順の一例を示すフローチャートである。範囲計算部１４０は、まず、第１操作に対応する上位表現語ＵＥ（図１６の例では「可愛い」）を特定する（ステップＳ４０１）。次に、範囲計算部１４０は、上位表現語得点記憶部１０４が保持する上位表現語ＵＥの得点データのうち、ステップＳ４０１で特定した上位表現語ＵＥに対応する列の得点を降順にソートする（ステップＳ４０２）。そして、範囲計算部１４０は、ステップＳ４０２でソートした上位表現語ＵＥの得点が高い方から上位Ｎ人の話者ＩＤを抽出する（ステップＳ４０３）。

次に、範囲計算部１４０は、下位表現語得点記憶部１０５が保持する下位表現語ＬＥの得点データを、ステップＳ４０３で抽出した上位Ｎ人の話者ＩＤで絞り込む（ステップＳ４０４）。そして最後に、範囲計算部１４０は、ステップＳ４０４で絞り込んだ下位表現語ＬＥの得点データから、それぞれの下位表現語ＬＥごとの統計量を求め、この統計量を用いて制御可能範囲を計算する（ステップＳ４０５）。制御可能範囲の中心を表す統計量としては、平均値、中央値、最頻値などが考えられる。また、制御可能範囲の境界を表す統計量としては、最小値、最大値、標準偏差、四分位数などが考えられる。

図１８は、以上の処理手順の具体例を示す模式図である。図１８では、第１領域２３１上で「可愛い」のチェックボックス２３５を選択する第１操作が行われた例を示している。第１操作により指定された声質に対応する上位表現語ＵＥとして「可愛い」が特定されると、上位表現語ＵＥの得点データのうち「可愛い」に対応する列の得点が降順ソートされ、上位Ｎ人（ここでは３人）の話者ＩＤが抽出される。そして、抽出された話者ＩＤで下位表現語ＬＥの得点データが絞り込まれ、絞り込まれた下位表現語ＬＥの得点データから下位表現語ＬＥごとの統計量が算出される。

なお、以上の説明では、図１６に示すようなオプション形式の第１領域２３１上で第１操作が行われることを想定したが、図７に示したスライダーバー形式の第１領域２３１、図８に示したダイヤル形式の第１領域２３１、図９に示したレーダーチャート形式の第１領域２３１などを用い、複数の上位表現語ＵＥに基づいて声質を指定する第１操作が行われた場合であっても、上述の例と同様に制御可能範囲を計算することができる。この場合、図１７のステップＳ４０１において、第１操作に対応する上位表現語ＵＥを特定する代わりに、第１操作に対応する上位表現語得点ベクトルを取得し、ステップＳ４０２およびステップＳ４０３で降順ソートした上位Ｎ人の話者ＩＤを抽出する代わりに、取得した上位表現語得点ベクトルとの距離（例えばユークリッド距離）が近い順に上位Ｎ人の話者ＩＤを抽出すればよい。

ところで、範囲計算部１４０により計算された制御可能範囲を、例えば図１６の編集画面ＥＳの第２領域２３２上で提示するにあたり、下位表現語ＬＥの各軸が完全に独立であれば、一方の軸の操作が他方に影響を及ぼすことはない。しかし、現実的に各軸を完全に独立にすることは困難である。例えば、性別の軸と高さの軸は相関が高いと考えられる。女性に近いほど高い声になり、男性に近いほど低い声になる傾向があるためである。そこで、このような軸の関係を考慮して、制御可能範囲を表す帯状マーク２４０を動的に伸縮させるようにしてもよい。

図１９は、編集画面ＥＳの他の例を示す図であり、第２領域２３２にそれぞれの下位表現語ＬＥに対応するスライダーバーのつまみ２３６の位置を固定するためのチェックボックス２４１を設けた例である。この図１９では、第１領域２３１上で「可愛い」のチェックボックス２３５を選択する第１操作が行われた後、チェックボックス２４１を操作して流暢さに対応するスライダーバーのつまみ２３６の位置が固定された例を示している。流暢さに対応するスライダーバーのつまみ２３６の位置が固定されることにより、流暢さと関連がある性別、年齢、早さの制御可能範囲を表す帯状マーク２４０が動的に変化している。

このような手法を実装するには、図１７のステップＳ４０４において下位表現語ＬＥの得点データの絞り込みを行う際に、固定された下位表現語ＬＥの値を持つ話者でさらに絞り込みを行ってから再度統計量を計算すればよい。固定された下位表現語ＬＥの値と完全に一致する値を持つ話者は少ないと考えられるため、ある程度の幅を持たせる必要がある。例えば、固定された下位表現語ＬＥの値に対して−１から＋１の範囲のデータで話者を絞り込めばよい。

以上のように、本実施形態の音声合成装置１００によれば、第１操作により指定された声質の特徴を維持できる制御可能範囲をユーザに提示するので、ユーザは、多様な声質をより直観的に生成することできる。

なお、本実施形態では、上位表現語ＵＥの得点データと下位表現語ＬＥの得点データとに基づいて制御可能範囲を計算する方法を例示したが、制御可能範囲を計算する方法はこれに限らない。例えば、データから学習した統計モデルを用いる方法も考えられる。また、本実施形態では、制御可能範囲を帯状マーク２４０で表現したが、制御可能範囲を視覚的に把握できるようにユーザに提示できればよく、この表現方法に限定されない。

＜第３実施形態＞
次に、第３実施形態について説明する。本実施形態の音声合成装置１００は、上述した第１実施形態の音声合成装置１００に対し、第２実施形態とは異なる方法で声質編集を補助する機能を追加したものである。以下、第１実施形態と共通の部分については共通の符号を付して重複した説明を適宜省略し、第３実施形態に特徴的な部分を説明する。

図２０は、第３実施形態の音声合成装置１００の機能的な構成例を示すブロック図である。図２０に示すように、本実施形態の音声合成装置１００は、上述した第１実施形態の音声合成装置１００（図１参照）に対し、方向計算部１５０が追加された構成となっている。

方向計算部１５０は、上位表現語得点記憶部１０４が保持する上位表現語ＵＥの得点データと、下位表現語得点記憶部１０５が保持する下位表現語ＬＥの得点データと、得点変換モデル記憶部１０９が保持する得点変換モデルとに基づいて、第１操作により指定された声質の特徴を強めるために下位表現語ＬＥの得点を変更する場合の方向（以下、「制御方向」と呼ぶ）と、その制御方向に変更したときに第１操作により指定された声質の特徴が強まる度合い（以下、「制御強度」と呼ぶ）を計算する。方向計算部１５０により計算された制御方向および制御強度は編集支援部１１０に送られ、表示制御部１１１が表示装置に表示させる編集画面ＥＳに反映される。すなわち、表示制御部１１１は、得点変換部１２０により変換された下位表現語得点ベクトルを、方向計算部１５０により計算された制御方向および制御強度とともにユーザに提示する第２領域２３２を含む編集画面ＥＳを表示装置に表示させる。

図２１は、本実施形態における編集画面ＥＳの一例を示す図である。この図２１の編集画面ＥＳは、図６に示した編集画面ＥＳと同様に、第１領域２３１上で「可愛い」のチェックボックス２３５を選択する第１操作が行われた例を示している。図６の編集画面ＥＳとの違いは、第１操作により指定された声質（この例では「可愛い」）の特徴を強めるための制御方向および制御強度が、第２領域２３２において矢印マーク２４２により視覚的に把握できるように提示されている点である。矢印マーク２４２の向きが制御方向、長さが制御強度にそれぞれ対応している。この矢印マーク２４２で表される制御方向および制御強度は、上位表現語ＵＥに対する下位表現語ＬＥの相関を表しているといえる。つまり、矢印マーク２４２が上向きとなっている下位表現語ＬＥは、第１操作により指定された声質を表す上位表現語ＵＥに対して正の相関があり、矢印マーク２４２が下向きとなっている下位表現語ＬＥは、第１操作により指定された声質を表す上位表現語ＵＥに対して負の相関がある。また、矢印マーク２４２の長さが長いほど、上位表現語ＵＥに対する下位表現語ＬＥの相関が強い。図２１の編集画面ＥＳの例では、例えば、可愛い声と高い声は強い正の相関があり、可愛い声ほど声が高くなることがこの編集画面ＥＳから直観的に分かるようになっている。ユーザは、可愛さをさらに強調したい場合は、矢印マーク２４２に沿ってスライダーバーのつまみ２３６を動かせばよい。

制御方向および制御強度の計算は、得点変換モデル記憶部１０９が保持する得点変換モデルにおける変換行列、つまり、上記式（２）の変換行列Ｇをそのまま活用できる。図２２は、上記式（２）の変換式を模式的に示す図である。変換行列Ｇ２５２は、上位表現語得点ベクトルη２５３を下位表現語得点ベクトルξ２５１に変換する行列である。変換行列Ｇ２５２のサイズは、行数が下位表現語ＬＥの数、列数が上位表現語ＵＥの数と等しくなる。この変換行列Ｇ２５２の特定の列２５５を取り出すことで、特定の上位表現語ＵＥと下位表現語ＬＥ間の相関方向と強さを表す相関ベクトルが得られる。これらの値が正の場合は正の相関があり、負の場合は負の相関があると解釈でき、値の絶対値が相関の強さを表していると解釈できる。これらの値を制御方向および制御方向として算出し、図２１に示した編集画面ＥＳにおける矢印マーク２４２を生成して表示すればよい。

なお、以上の説明では、図２１に示すようなオプション形式の第１領域２３１上で第１操作が行われることを想定したが、図７に示したスライダーバー形式の第１領域２３１、図８に示したダイヤル形式の第１領域２３１、図９に示したレーダーチャート形式の第１領域２３１などを用いて声質を指定する第１操作が行われた場合も同様に、以上説明した方法で制御方向および制御強度を計算することができる。また、複数の上位表現語ＵＥが指定される場合は、それぞれの上位表現語ＵＥに対して計算された下位表現語ＬＥとの間の相関ベクトルを足し合わせればよい。

以上のように、本実施形態の音声合成装置１００によれば、第１操作により指定された声質の特徴を強める制御方向および制御強度をユーザに提示するので、ユーザは、多様な声質をより直観的に生成することできる。

なお、本実施形態では、得点変換モデルの変換行列を用いて、第１操作により指定された声質の特徴を強める制御方向および制御強度を計算する方法を例示したが、制御方向および制御強度を計算する方法はこれに限らない。例えば、図５に示す上位表現語ＵＥの得点データの列２２２方向におけるベクトルと、図４に示す下位表現語ＬＥの得点データの行２１１方向におけるベクトルとの間の相関係数を計算する方法も考えられる。この場合、相関係数の符号を制御方向、大きさを制御強度として算出できる。また、本実施形態では、制御方向および制御強度を矢印マーク２４２で表現したが、制御方向および制御強度を視覚的に把握できるようにユーザに提示できればよく、この表現方法に限定されない。

＜第４実施形態＞
次に、第４実施形態について説明する。本実施形態の音声合成装置１００は、上述した第１実施形態の音声合成装置１００に対し、第２実施形態や第３実施形態とは異なる方法で声質編集を補助する機能を追加したものである。具体的には、上述した第２の実施形態と同様に制御可能範囲を計算するとともに、第２操作に応じて制御可能範囲からランダムに値を設定する機能を追加している。以下、第１実施形態や第２実施形態と共通の部分については共通の符号を付して重複した説明を適宜省略し、第４実施形態に特徴的な部分を説明する。

図２３は、第４実施形態の音声合成装置１００の機能的な構成例を示すブロック図である。図２３に示すように、本実施形態の音声合成装置１００は、上述した第１実施形態の音声合成装置１００（図１参照）に対し、範囲計算部１４０および設定部１６０が追加された構成となっている。

範囲計算部１４０は、第２実施形態と同様に、第１操作により指定された声質の特徴を維持できる制御可能範囲を計算する。範囲計算部１４０により算出された制御可能範囲は、編集支援部１１０および設定部１６０に送られる。

設定部１６０は、第２操作に応じて、範囲計算部１４０により算出された制御可能範囲内から下位表現語ＬＥの得点をランダムに設定する。ここでの第２操作は、上述したスライダーバーのつまみ２３６を動かすような操作ではなく、例えば図２４に示す生成ボタン２６０を押すといった単純な操作である。

図２４は、本実施形態における編集画面ＥＳに含まれる第２領域２３２の一例を示す図である。図１６に示した編集画面ＥＳに含まれる第２領域２３２との違いは、生成ボタン２６０が設けられている点である。例えば、図２４（ａ）に示す第２領域２３２上でユーザが生成ボタン２６０を操作すると、設定部１６０により、範囲計算部１４０により算出された制御可能範囲内からそれぞれの下位表現語ＬＥの得点がランダムに設定され、下位表現語得点ベクトルが変更される。これにより、第２領域２３２が図２４（ｂ）のように更新される。なお、図２４に例示する第２領域２３２は、第２実施形態と同様に制御可能範囲を帯状マーク２４０によりユーザに提示する構成となっているが、制御可能範囲をユーザに提示することは必須ではなく、帯状マーク２４０を含まない構成としてもよい。

以上のように、本実施形態の音声合成装置１００によれば、生成ボタン２６０の操作といった単純な第２操作に応じて、第１操作により指定された声質の特徴を維持できる制御可能範囲内から下位表現語ＬＥの値をランダムに設定するので、ユーザは、所望の声質を持つランダムな合成音を簡便な操作で得ることができる。

＜補足説明＞
以上説明した音声合成装置１００は、音響モデルや得点変換モデルの学習を行う機能と、これら音響モデルや得点変換モデルを用いて合成音を生成する機能との双方を持つ構成であるが、実施形態の音声合成装置１００は、音響モデルや得点変換モデルの学習を行う機能を持たない構成としてもよい。すなわち、実施形態の音声合成装置１００は、少なくとも、編集支援部１１０と、得点変換部１２０と、音声合成部１３０とを備える構成であればよい。

以上説明した実施形態の音声合成装置１００は、例えば、汎用のコンピュータを基本ハードウェアとして用いて実現できる。図２５は、音声合成装置１００のハードウェア構成の一例を示すブロック図である。図２５に示す例では、音声合成装置１００は、音声合成処理を実行するプログラムなどが格納されているメモリ３０２と、メモリ３０２内のプログラムに従って音声合成装置の各部を制御するＣＰＵ３０１と、音声合成装置１００の制御に必要な種々のデータを記憶する外部記憶装置３０３と、合成音などを出力するスピーカ３０６と、編集画面ＥＳを表示する表示装置３０５、ユーザが編集画面ＥＳを操作する際に使用する入力装置３０４と、各部を接続するバス３０７とを含む。なお、外部記憶装置３０３は、有線または無線によるＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などで各部に接続されてもよい。

上述の実施形態で説明した各処理に関する指示は、一例として、ソフトウェアであるプログラムに基づいて実行される。上述の実施形態で説明した各処理に関する指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷ、Ｂｌｕ−ｒａｙ（登録商標）Ｄｉｓｃなど）、半導体メモリ、またはこれに類する記録媒体に記録される。コンピュータが読み取り可能な記録媒体であれば、その記憶形式は何れの形態であってもよい。

コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をＣＰＵ３０１で実行することにより、上述した実施形態の音声合成装置１００として機能する。もちろん、コンピュータがプログラムを取得する場合または読み込む場合は、ネットワークを通じて取得または読み込んでもよい。

また、記録媒体からコンピュータにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワークなどのＭＷ（ミドルウェア）などが本実施形態を実現するための各処理の一部を実行してもよい。

さらに、本実施形態における記録媒体は、コンピュータと独立した媒体に限らず、ＬＡＮやインターネットなどにより伝達されたプログラムをダウンロードして記憶または一時記憶した記録媒体も含まれる。

また、記録媒体は１つに限られず、複数の媒体から本実施形態における処理が実行される場合も、本発明における記録媒体に含まれ、媒体の構成は何れの構成であってもよい。

コンピュータが実行するプログラムは、実施形態の音声合成装置１００を構成する各処理部（少なくとも編集支援部１１０、得点変換部１２０および音声合成部１３０）を含むモジュール構成となっており、実際のハードウェアとしては、例えば、ＣＰＵ３０１がメモリ３０２からプログラムを読み出して実行することにより、上記各処理部が主記憶部にロードされ、主記憶部上に生成されるようになっている。

なお、本実施形態におけるコンピュータは、記録媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するためのものであって、パソコン、マイコンなどの１つからなる装置、複数の装置がネットワーク接続されたシステムなどの何れの構成であってもよい。また、本実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコンなども含み、プログラムによって本実施形態における機能を実現できる機器、装置を総称している。

以上、本発明の実施形態を説明したが、ここで説明した実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。ここで説明した新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。ここで説明した実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００ 音声合成装置
１０８ 得点変換モデル学習部
１１０ 編集支援部
１１１ 表示制御部
１１２ 第１操作受付部
１１３ 第２操作受付部
１２０ 得点変換部
１３０ 音声合成部
１４０ 範囲計算部
１５０ 方向計算部
１６０ 設定部
ＥＳ 編集画面
ＬＥ 下位表現語
ＵＥ 上位表現語

Claims (13)

1. 声質を表す１以上の上位表現語に基づいて所望の音声の声質を指定する第１操作を受け付ける第１操作受付部と、
   前記上位表現語の得点を前記上位表現語よりも抽象度の低い下位表現語の得点に変換する得点変換モデルに基づいて、前記第１操作に応じた前記上位表現語の得点を１以上の前記下位表現語の得点に変換する得点変換部と、
   前記下位表現語の得点に基づいて、任意のテキストに対応する合成音を生成する音声合成部と、を備える音声合成装置。
2. 変換された前記下位表現語の得点を変更する第２操作を受け付ける第２操作受付部をさらに備え、
   前記音声合成部は、前記第２操作に応じて変更された前記下位表現語の得点に基づいて前記合成音を生成する、請求項１に記載の音声合成装置。
3. 変換された前記下位表現語の得点を提示するとともに前記第２操作を入力させるための編集画面を表示装置に表示させる表示制御部をさらに備え、
   前記第２操作受付部は、前記編集画面上で入力された前記第２操作を受け付ける、請求項２に記載の音声合成装置。
4. 前記第１操作により指定された声質の特徴を維持できる前記下位表現語の得点の範囲を計算する範囲計算部をさらに備え、
   前記表示制御部は、変換された前記下位表現語の得点を前記範囲とともに提示する前記編集画面を前記表示装置に表示させる、請求項３に記載の音声合成装置。
5. 前記第１操作により指定された声質の特徴を強めるために前記下位表現語の得点を変更する場合の方向および強まる度合いを計算する方向計算部をさらに備え、
   前記表示制御部は、変換された前記下位表現語の得点を前記方向および前記強まる度合いとともに提示する前記編集画面を前記表示装置に表示させる、請求項３または４に記載の音声合成装置。
6. 前記第１操作により指定された声質の特徴を維持できる前記下位表現語の得点の範囲を計算する範囲計算部と、
   前記第２操作に従って、前記範囲内から前記下位表現語の得点をランダムに設定する設定部と、をさらに備える、請求項３乃至５のいずれか一項に記載の音声合成装置。
7. 前記表示制御部は、前記第１操作を入力させるための第１領域と、変換された前記下位表現語の得点を提示するとともに前記第２操作を入力させるための第２領域とを含む前記編集画面を前記表示装置に表示させ、
   前記第１操作受付部は、前記第１領域上で入力された前記第１操作を受け付け、
   前記第２操作受付部は、前記第２領域上で入力された前記第２操作を受け付ける、請求項３乃至６のいずれか一項に記載の音声合成装置。
8. 前記音声合成部は、音響モデルを使用して、前記下位表現語の得点に応じた合成音を生成する、請求項１乃至７のいずれか一項に記載の音声合成装置。
9. 前記得点変換モデルを保持するモデル記憶部をさらに備え、
   前記得点変換部は、前記モデル記憶部が保持する前記得点変換モデルに基づいて、前記第１操作に応じた前記上位表現語の得点を１以上の前記下位表現語の得点に変換する、請求項１乃至８のいずれか一項に記載の音声合成装置。
10. 前記得点変換モデルは、任意の音声に対する評価結果として得られた前記上位表現語の得点および前記下位表現語の得点を学習データとして学習された統計モデルである、請求項１乃至９のいずれか一項に記載の音声合成装置。
11. 任意の音声に対する評価結果として得られた前記上位表現語の得点および前記下位表現語の得点を学習データとして前記得点変換モデルを学習するモデル学習部をさらに備える、請求項１０に記載の音声合成装置。
12. 音声合成装置において実行される音声合成方法であって、
    声質を表す１以上の上位表現語に基づいて所望の音声の声質を指定する第１操作を受け付けるステップと、
    前記上位表現語の得点を前記上位表現語よりも抽象度の低い下位表現語の得点に変換する得点変換モデルに基づいて、前記第１操作に応じた前記上位表現語の得点を１以上の前記下位表現語の得点に変換するステップと、
    前記下位表現語の得点に基づいて、任意のテキストに対応する合成音を生成するステップと、を含む音声合成方法。
13. コンピュータに、
    声質を表す１以上の上位表現語に基づいて所望の音声の声質を指定する第１操作を受け付ける機能と、
    前記上位表現語の得点を前記上位表現語よりも抽象度の低い下位表現語の得点に変換する得点変換モデルに基づいて、前記第１操作に応じた前記上位表現語の得点を１以上の前記下位表現語の得点に変換する機能と、
    前記下位表現語の得点に基づいて、任意のテキストに対応する合成音を生成する機能と、を実現させるためのプログラム。

Images