JP3560590B2 - 韻律生成装置および韻律生成方法並びにプログラム - Google Patents
韻律生成装置および韻律生成方法並びにプログラム Download PDFInfo
- Publication number
- JP3560590B2 JP3560590B2 JP2002063640A JP2002063640A JP3560590B2 JP 3560590 B2 JP3560590 B2 JP 3560590B2 JP 2002063640 A JP2002063640 A JP 2002063640A JP 2002063640 A JP2002063640 A JP 2002063640A JP 3560590 B2 JP3560590 B2 JP 3560590B2
- Authority
- JP
- Japan
- Prior art keywords
- prosody
- change point
- pattern
- generation device
- rule
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 33
- 230000008859 change Effects 0.000 claims abstract description 406
- 238000007619 statistical method Methods 0.000 claims abstract description 31
- 238000000605 extraction Methods 0.000 claims description 52
- 239000011295 pitch Substances 0.000 claims description 43
- 238000011002 quantification Methods 0.000 claims description 28
- 230000009466 transformation Effects 0.000 claims description 23
- 241001417093 Moridae Species 0.000 claims description 12
- 230000006835 compression Effects 0.000 claims description 12
- 238000007906 compression Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 10
- 230000004048 modification Effects 0.000 claims description 7
- 238000012986 modification Methods 0.000 claims description 7
- 238000013519 translation Methods 0.000 claims description 6
- 238000003066 decision tree Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000000491 multivariate analysis Methods 0.000 claims description 3
- 230000033764 rhythmic process Effects 0.000 abstract description 12
- 230000001020 rhythmical effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 12
- 239000000284 extract Substances 0.000 description 11
- 230000008901 benefit Effects 0.000 description 5
- 230000007704 transition Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、音声の分析により抽出された韻律データおよび韻律制御規則に基づき韻律情報を生成する韻律生成装置および韻律生成方法に関するものである。
【０００２】
【従来の技術】
従来、例えば特開平１１−９５７８３号公報に開示されているように、音声データに含まれる韻律情報をアクセント句のような韻律制御単位でクラスタリングし、代表パタンを生成する技術が知られている。生成された代表パタンから選択規則に従って選択された代表パタンを、変形規則に従って変形して接続することにより、文全体の韻律が生成される。前記代表パタンの選択規則および変形規則は、統計的手法あるいは学習により生成される。
【０００３】
【発明が解決しようとする課題】
しかし、このような従来の韻律生成方法では、代表パタンを作成する際に使用した音声データ中に含まれなかった属性、たとえばモーラ数やアクセント型、を持つアクセント句のための韻律情報を生成する場合の歪みが大きいという問題を有していた。
【０００４】
この発明は、上記の問題に鑑み、韻律パタンを生成する際のひずみを抑え、自然な韻律を生成する韻律生成装置および韻律生成方法を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記の目的を達成するために、本発明にかかる第１の韻律生成装置は、音韻情報および言語情報を入力して韻律を生成する韻律生成装置であって、（ア）音声データの韻律変化点を含む部分の代表韻律パタンをあらかじめ蓄積した代表韻律パタン記憶部、（イ）音声データの韻律変化点を含む部分の音韻に関わる属性または言語情報に関わる属性によりあらかじめ定められた選択規則を記憶する選択規則記憶部、（ウ）音声データの韻律変化点を含む部分の音韻に関わる属性または言語情報に関わる属性によりあらかじめ定められた変形規則を記憶する変形規則記憶部、を参照可能であり、入力された音韻情報および言語情報の少なくともいずれか一方から韻律変化点を設定する韻律変化点設定部と、前記選択規則により、入力された音韻情報および言語情報に従って、前記代表韻律パタン記憶部から代表韻律パタンを選択するパタン選択部と、前記パタン選択部により選択された代表韻律パタンを前記変形規則により変形し、韻律変化点を含まない部分については、選択し変形した前記韻律変化点を含む部分の代表韻律パタンの間を補間する韻律生成部とを備えたことを特徴とする。
【０００６】
なお、（ア）代表韻律パタン記憶部、（イ）選択規則記憶部、および（ウ）変形規則記憶部は、韻律生成装置の内部に含まれていてもよいし、韻律生成装置とは別個の装置として、本発明にかかる韻律生成装置からアクセス可能な状態で設けられていてもよい。あるいは、これらの記憶部を、韻律生成装置が読み取り可能な記録媒体により実現することも可能である。
【０００７】
韻律変化点とは、音声のピッチあるいはパワーが他の領域に比べて急峻に変化する、または音声のリズムが他の領域に比べて急峻に変化するような少なくとも１音素以上の時間幅を持つ区間をいい、具体的には、日本語の場合、アクセント句の開始点、アクセント句の終端、アクセント句終端から次のアクセント句への接続点、アクセント句中１モーラ目から３モーラ目に含まれるアクセント句中でピッチが最大となる点、アクセント核、アクセント核の後続モーラ、アクセント核から後続のモーラへの接続点、文頭、文末、呼気段落頭、呼気段落末等、卓立、または強調等を含む。
【０００８】
上記の構成によれば、従来のようにアクセント句等を韻律制御単位として使用する場合と異なり、韻律変化点を韻律制御単位として用いることによって韻律を生成し、韻律変化点以外の部分については補間により韻律を生成する。これにより、歪みが少なく自然な韻律を生成する韻律生成装置を提供できる。また、アクセント句のように大きな単位でパタンを持つ場合と比較して、本発明の場合は、より小さな単位（韻律変化点）に対応するパタンを用いることにより、保持すべきパタンそのもののバリエーションが少なく、パタン１つ１つのデータ量も少ないので、韻律生成のために保持すべきデータが少なくてすむという点で有利である。さらに、従来のように、アクセント句のように大きな単位で自然音声データよりパタンを生成する場合は、自然音声データに含まれていない属性をもったパタンは、他の属性のパタンを元に変形して生成する必要があるが、この際に歪みが生じるという問題があった。これに対し、本発明の場合は、韻律変化点のようなより小さな単位で韻律を制御し、パタン間を補間することで、パタンの変形を最小限にとどめ、歪みの少ない韻律を生成することができる。
【０００９】
なお、韻律変化点のみならず、韻律変化点に隣接する１モーラ、または１音節、あるいは１音素をも韻律制御単位に含めることとし、この韻律制御単位を用いて韻律を生成し、韻律変化点およびこれに隣接する１モーラ、または１音節、あるいは１音素以外の部分（すなわち韻律制御単位以外の部分）については補間により韻律を生成するようにしてもよい。これにより、韻律変化点と隣接する１モーラ、または１音節、あるいは１音素の部分と補間部分との不連続がなく、歪みが少なく自然な韻律を生成する韻律生成装置を提供できる。
【００１０】
前記第１の韻律生成装置において、前記代表韻律パタンが、ピッチパタンまたはパワーパタンであることが好ましい。
【００１１】
前記第１の韻律生成装置において、前記代表韻律パタンは、音声データの韻律変化点を含む部分のパタンを統計的手法によりクラスタリングし、得られたクラスタごとに生成されたパタンであることが好ましい。
【００１２】
また、上記の目的を達成するために、本発明にかかる第２の韻律生成装置は、音韻情報および言語情報を入力して韻律を生成する韻律生成装置であって、（ア）音声データの韻律変化点の音韻に関わる属性または言語情報に関わる属性によりあらかじめ定められた、韻律変化点についての韻律の変化量推定規則を記憶する変化量推定規則記憶部、（イ）音声データの韻律変化点を含む部分の音韻に関わる属性または言語情報に関わる属性によりあらかじめ定められた、韻律変化点についての韻律の絶対値推定規則を記憶する絶対値推定規則記憶部、を参照可能であり、入力された音韻情報および言語情報の少なくともいずれか一方から韻律変化点を設定する韻律変化点設定部と、前記変化量推定規則記憶部の推定規則により、入力された音韻情報および言語情報に従って、韻律変化点についての韻律の変化量を推定する変化量推定部と、前記絶対値推定規則記憶部の絶対値推定規則により、入力された音韻情報および言語情報に従って、韻律変化点についての韻律の絶対値を推定する絶対値推定部と、韻律変化点については、前記変化量推定部により推定された変化量を前記絶対値推定部により求められた絶対値に対応するよう移動させて韻律を生成し、韻律変化点以外の部分についての韻律を、前記韻律変化点について生成された韻律の間を補間することにより生成する、韻律生成部とを備えたことを特徴とする。
【００１３】
なお、（ア）変化量推定規則記憶部、および（イ）絶対値推定規則記憶部、は、韻律生成装置の内部に含まれていてもよいし、韻律生成装置とは別個の装置として、本発明にかかる韻律生成装置からアクセス可能な状態で設けられていてもよい。あるいは、これらの記憶部を、韻律生成装置が読み取り可能な記録媒体により実現することも可能である。
【００１４】
この第２の韻律生成装置によれば、韻律変化点の変化量を推定することにより、韻律のパタンデータが不要である。従って、韻律生成のために保持すべきデータ量がさらに少なくてすむという利点がある。また、韻律パタンを用いず、韻律変化点の変化量を推定することにより、パタン変形による歪みが生じない。さらに、固定された韻律パタンを持たず、入力された音韻情報および言語情報に合わせて、韻律変化点の変化量を推定するため、より柔軟に韻律情報を生成することができる。
【００１５】
前記第２の韻律生成装置において、前記韻律の変化量が、ピッチの変化量またはパワーの変化量であることが好ましい。
【００１６】
前記第２の韻律生成装置において、前記変化量推定規則は、音声データの韻律変化点の韻律の変化量と、韻律変化点に対応するモーラまたは音節の音韻に関わる属性または言語情報に関わる属性との関係を統計的手法または学習により規則化し、前記音韻に関わる属性および言語情報に関わる属性の少なくとも１つを用いて韻律の変化量を予測する規則であることが好ましい。さらに、この統計的手法が、韻律の変化量を基準変量とした数量化Ｉ類であることが好ましい。
【００１７】
前記第２の韻律生成装置において、前記絶対値推定規則は、音声データの韻律変化点の韻律変化量計算時の基準点の絶対値と、変化点に対応するモーラまたは音節の音韻に関わる属性または言語情報に関わる属性との関係を、統計的手法または学習により規則化し、前記音韻に関わる属性および言語情報に関わる属性の少なくとも１つを用いて韻律変化量計算時の基準点の絶対値を予測する規則であることが好ましい。さらに、この統計的手法が、韻律変化量計算時の基準点の絶対値を基準変量とした数量化Ｉ類、または、韻律変化量計算時の基準点の移動量を基準変量とした数量化Ｉ類であることが好ましい。
【００１８】
前記第１または第２の韻律生成装置において、前記韻律変化点が、アクセント句の句頭、アクセント句の句末、およびアクセント核の少なくともいずれかを含むことが好ましい。
【００１９】
また、前記第１または第２の韻律生成装置において、前記韻律変化点は、音声データの隣接するモーラまたは隣接する音節のピッチの差をΔＰとして、当該ΔＰと直後のΔＰの符号が異なる点であるとすることもできる。さらに、前記韻律変化点は、当該ΔＰと直後のΔＰの絶対値の和があらかじめ定められた値を上回る点であるとしてもよい。
【００２０】
あるいは、前記第１または第２の韻律生成装置において、前記韻律変化点は、音声データの隣接するモーラまたは隣接する音節のピッチの差をΔＰとして、当該ΔＰと直後のΔＰの符号が等しく、且つ、当該ΔＰと直後のΔＰの比（または差）があらかじめ定められた値を上回る点であるとすることもできる。さらに、前記韻律変化点は、（１）前記ΔＰを、隣接するモーラまたは音節のうち後続モーラまたは音節のピッチから、先行するモーラまたは音節のピッチを減じたものとし、当該ΔＰと直後のΔＰの符号が負であり、且つ、当該ΔＰと直後のΔＰの比が、１．５〜２．５の範囲内であらかじめ定められた値を上回る点、あるいは、（２）前記ΔＰを、隣接するモーラまたは音節のうち後続モーラまたは音節のピッチから、先行するモーラまたは音節のピッチを減じたものとし、当該ΔＰと直後のΔＰの符号が負であり、且つ、直前のΔＰの符号が正であり、当該ΔＰと直後のΔＰの比が、１．２〜２．０の範囲内であらかじめ定められた値を上回る点、であるとしてもよい。
【００２１】
前記第１または第２の韻律生成装置において、前記韻律変化点設定部は、音声データの韻律変化点の音韻に関わる属性および言語情報に関わる属性によりあらかじめ定められた韻律変化点抽出規則に従って、入力された音韻情報および言語情報のうち少なくともいずれか１つを用いて韻律変化点を設定することが好ましい。さらに、前記韻律変化点抽出規則は、音声データの隣接するモーラまたは音節が韻律変化点であるか否かの分類と、隣接するモーラまたは音節の音韻に関わる属性または言語情報に関わる属性との関係を、統計的手法または学習により規則化し、前記音韻に関わる属性および言語情報に関わる属性のうち少なくとも１つを用いて韻律変化点であるか否かを予測する規則であることが好ましい。
【００２２】
前記第１または第２の韻律生成装置において、前記韻律変化点は、音声データの隣接するモーラまたは隣接する音節のパワーの差をΔＡとして、当該ΔＡと直後のΔＡの符号が異なる点であるとしてもよい。さらに、前記韻律変化点は、当該ΔＡの絶対値と直後のΔＡの絶対値の和があらかじめ定められた値を上回る点であるとすることもできる。
【００２３】
前記第１または第２の韻律生成装置において、前記韻律変化点は、音声データの隣接するモーラまたは隣接する音節のパワーの差をΔＡとして、当該ΔＡと直後のΔＡの符号が等しく、且つ、当該ΔＡと直後のΔＡの比（または差）があらかじめ定められた値を上回る点であるとしてもよい。
【００２４】
なお、上記した前記隣接するモーラまたは隣接する音節のパワーの差として、隣接するモーラまたは隣接する音節に含まれる母音のパワーの差を用いることができる。
【００２５】
また、前記第１または第２の韻律生成装置において、前記韻律変化点は、音声データの隣接するモーラまたは音節または音素の時間長を音韻の種類毎に標準化した値の差をΔＤとして、（１）当該ΔＤがあらかじめ定められた値を上回る点、または、（２）当該ΔＤと直後のΔＤの符号が異なる点であるとしてもよい。さらに、（２）の場合、前記韻律変化点は、当該ΔＤの絶対値と直後のΔＤの絶対値の和があらかじめ定められた値を上回る点であるとすることもできる。
【００２６】
また、前記第１または第２の韻律生成装置において、前記韻律変化点は、音声データの隣接するモーラまたは音節または音素の時間長を音韻の種類毎に標準化した値の差をΔＤとして、当該ΔＤと直後のΔＤの符号が等しく、且つ、当該ΔＤと直後のΔＤの比（または差）があらかじめ定められた値を上回る点であるとしてもよい。
【００２７】
前記の第１または第２の韻律生成装置において、前記音韻に関わる属性は、（１）アクセント句、文節、ストレス句、もしくは単語についての、音素数、モーラ数、音節数、アクセント位置、アクセントタイプ、アクセント強度、ストレスパタン、もしくはストレス強度、（２）文頭、句頭、アクセント句先頭、文節先頭、もしくは単語先頭からの、モーラ数、音節数、もしくは音素数、（３）文末、句末、アクセント句末、文節の末尾、もしくは単語の末尾からの、モーラ数、音節数、もしくは音素数、（４）隣接するポーズの有無、（５）隣接するポーズの時間長、（６）当該韻律変化点より前で最も近い位置にあるポーズの時間長、および、（７）当該韻律変化点より後で最も近い位置にあるポーズの時間長、（８）当該韻律変化点より前で最も近い位置にあるポーズからの、モーラ数、音節数、もしくは音素数、（９）当該韻律変化点より後で最も近い位置にあるポーズからのモーラ数、音節数、もしくは音素数、（１０）アクセント核あるいはストレス位置からのモーラ数、音節数、もしくは音素数、のいずれか１つ以上であることが好ましい。また、前記の韻律生成装置において、前記言語情報に関わる属性は、アクセント句、文節、ストレス句、または単語についての、品詞、係り受け属性、係り先への距離、係り元への距離、構文における属性、卓立、強調、または意味分類のいずれか１つ以上であることが好ましい。このような変数を用いて定められた選択規則および変形規則を用いることにより、選択の正確さや変形量の推定精度を向上させることができる。
【００２８】
前記第１の韻律生成装置において、前記選択規則は、音声データの韻律パタンを前記代表韻律パタンに対応するクラスタにクラスタリングし、各々の韻律パタンが分類されたクラスタと、各々の韻律パタンの音韻に関わる属性または言語情報に関わる属性との関係を、統計的手法または学習により規則化し、前記音韻に関わる属性および言語情報に関わる属性のうち少なくとも１つを用いて当該韻律変化点を含む韻律パタンが属するクラスタを予測する規則であることが好ましい。
【００２９】
前記の韻律生成装置において、前記変形は、ピッチパタンの周波数軸上での平行移動、または、ピッチパタンの周波数の対数軸上での平行移動であることが好ましい。
【００３０】
前記の韻律生成装置において、前記変形は、パワーパタンの振幅軸上での平行移動、またはパワーパタンのパワー軸上での平行移動であることが好ましい。
【００３１】
前記の韻律生成装置において、前記変形は、ピッチパタンの周波数軸上または対数軸上でのダイナミックレンジの圧縮あるいは伸張であることが好ましい。
【００３２】
前記の韻律生成装置において、前記変形は、パワーパタンの振幅軸上またはパワー軸上でのダイナミックレンジの圧縮あるいは伸張であることが好ましい。
【００３３】
前記の韻律生成装置において、前記変形規則は、音声データの韻律パタンを前記代表韻律パタンに対応するクラスタにクラスタリングし、クラスタ毎の代表韻律パタンを作成し、各々の韻律パタンが属するクラスタの代表韻律パタンとの距離と各々の韻律パタンの音韻に関わる属性または言語情報に関わる属性との関係を統計的手法または学習により規則化し、前記音韻に関わる属性および言語情報に関わる属性の少なくとも１つを用いて選択した韻律パタンを変形する変形量を予測する規則であることが好ましい。
【００３４】
前記の韻律生成装置において、前記変形量が、移動量、ダイナミックレンジの圧縮率、またはダイナミックレンジの伸張率であることが好ましい。
【００３５】
前記の韻律生成装置において、前記統計的手法が、多変量解析、決定木、クラスタの種類を基準変量とした数量化ＩＩ類、クラスタの代表韻律パタンと各々の韻律データとの距離を基準変量とした数量化Ｉ類、クラスタの代表韻律パタンの移動量を基準変量とした数量化Ｉ類、または、クラスタの代表韻律パタンのダイナミックレンジの圧縮率もしくは伸張率を基準変量とした数量化Ｉ類であることが好ましい。
【００３６】
前記の韻律生成装置において、前記学習がニューラルネットを用いることが好ましい。
【００３７】
前記の韻律生成装置において、前記補間が、線形補間、スプライン関数による補間、または、シグモイド曲線による補間であることが好ましい。
【００３８】
さらに、上記の目的を達成するために、本発明にかかる第１の韻律生成方法は、音声情報および言語情報を入力して韻律を生成する韻律生成方法であって、入力された音韻情報および言語情報の少なくともいずれか一方から韻律変化点を設定し、音声データの韻律変化点を含む部分の代表韻律パタンから、韻律変化点を含む部分の音韻に関わる属性または言語情報に関わる属性によりあらかじめ定められた選択規則により韻律パタンを選択し、韻律変化点を含む部分の音韻に関わる属性または言語情報に関わる属性によりあらかじめ定められた変形規則により前記選択した韻律パタンを変形し、韻律変化点を含まない部分については、選択し変形した前記韻律変化点を含む部分の韻律パタンの間を補間することを特徴とする。
【００３９】
この方法によれば、従来のようにアクセント句等を韻律制御単位として使用する方法と異なり、韻律変化点を含む部分を韻律制御単位として用いることによって韻律を生成し、韻律変化点を含まない部分については補間により韻律を生成する。これにより、歪みが少なく自然な韻律を生成することが可能となる。
【００４０】
また、上記の目的を達成するために、本発明にかかる第２の韻律生成方法は、音韻情報および言語情報を入力して韻律を生成する韻律生成方法であって、入力された音韻情報および言語情報の少なくともいずれか一方から韻律変化点を設定し、音声データの韻律変化点の音韻に関わる属性または言語情報に関わる属性によりあらかじめ定められた、韻律変化点についての韻律の変化量推定規則により、入力された音韻情報および言語情報に従って、韻律変化点についての韻律の変化量を推定し、音声データの韻律変化点を含む部分の音韻に関わる属性または言語情報に関わる属性によりあらかじめ定められた、韻律変化点についての韻律の絶対値推定規則により、入力された音韻情報および言語情報に従って、韻律変化点についての韻律の絶対値を推定し、韻律変化点については、前記変化量推定部により推定された変化量を前記絶対値推定部により求められた絶対値に対応するよう移動させて韻律を生成し、韻律変化点以外の部分についての韻律を、前記韻律変化点について生成された韻律の間を補間することにより生成する、ことを特徴とする。
【００４１】
この方法によれば、従来のようにアクセント句等を韻律制御単位として使用する方法と異なり、韻律変化点を含む部分を韻律制御単位として用いることによって韻律を生成し、韻律変化点を含まない部分については補間により韻律を生成する。これにより、歪みが少なく自然な韻律を生成することが可能となる。また、パタンデータが不要であるので、韻律生成のために保持すべきデータ量がさらに少なくてすむという利点がある。
【００４２】
さらに、上記の目的を達成するために、本発明にかかる第１のプログラムは、音韻情報および言語情報を入力して韻律を生成する韻律生成処理をコンピュータに実行させるプログラムであって、前記コンピュータは、（ア）音声データの韻律変化点を含む部分の代表韻律パタンをあらかじめ蓄積した代表韻律パタン記憶部、（イ）音声データの韻律変化点を含む部分の音韻に関わる属性または言語情報に関わる属性によりあらかじめ定められた選択規則を記憶する選択規則記憶部、（ウ）音声データの韻律変化点を含む部分の音韻に関わる属性または言語情報に関わる属性によりあらかじめ定められた変形規則を記憶する変形規則記憶部、を参照可能であり、入力された音韻情報および言語情報の少なくともいずれか一方から韻律変化点を設定し、前記選択規則により、入力された音韻情報および言語情報に従って、前記代表韻律パタン記憶部から代表韻律パタンを選択し、前記パタン選択部により選択された代表韻律パタンを前記変形規則により変形し、韻律変化点を含まない部分については、選択し変形した前記韻律変化点を含む部分の代表韻律パタンの間を補間する処理を、コンピュータに実行させることを特徴とする。
【００４３】
さらに、上記の目的を達成するために、本発明にかかる第２のプログラムは、音韻情報および言語情報を入力して韻律を生成する韻律生成処理をコンピュータに実行させるプログラムであって、前記コンピュータは、（ア）音声データの韻律変化点の音韻に関わる属性または言語情報に関わる属性によりあらかじめ定められた、韻律変化点についての韻律の変化量推定規則を記憶する変化量推定規則記憶部、（イ）音声データの韻律変化点を含む部分の音韻に関わる属性または言語情報に関わる属性によりあらかじめ定められた、韻律変化点についての韻律の絶対値推定規則を記憶する絶対値推定規則記憶部、を参照可能であり、入力された音韻情報および言語情報の少なくともいずれか一方から韻律変化点を設定し、前記変化量推定規則記憶部の推定規則により、入力された音韻情報および言語情報に従って、韻律変化点についての韻律の変化量を推定し、前記絶対値推定規則記憶部の絶対値推定規則により、入力された音韻情報および言語情報に従って、韻律変化点についての韻律の絶対値を推定し、韻律変化点については、前記変化量推定部により推定された変化量を前記絶対値推定部により求められた絶対値に対応するよう移動させて韻律を生成し、韻律変化点以外の部分についての韻律を、前記韻律変化点について生成された韻律の間を補間することにより生成する処理をコンピュータに実行させることを特徴とする。
【００４４】
【発明の実施の形態】
＜第１の実施形態＞
以下、本発明の実施の一形態について、図１および図２を用いて説明する。
【００４５】
図１は、本発明の一実施形態としての韻律生成装置の機能ブロック図であり、図２は、処理過程での情報の例を示した説明図である。
【００４６】
図１に示すように、本実施形態にかかる韻律生成装置は、韻律変化点抽出部１１０、代表韻律パタンテーブル１２０、代表韻律パタン選択規則テーブル１３０、パターン選択部１４０、変形規則テーブル１５０、および韻律生成部１６０を含む。なお、本システムは、これらのすべての機能ブロックを含む単一の装置として構成することもできるし、１ないし２以上の機能ブロックを含む独立した複数の装置の結合によって構成することもできる。後者において、１つの装置が複数の機能ブロックを含む場合、前記の機能ブロックのいずれを含むかは任意である。
【００４７】
韻律変化点抽出部１１０（韻律変化点設定部）は、合成音声用の韻律生成の対象となる音韻列と、アクセント位置やアクセント区切りあるいは品詞や係り受け等の言語情報とを入力信号とし、音韻列中の韻律変化点を抽出する。
【００４８】
代表韻律パタンテーブル１２０は、韻律変化点を含む２モーラのピッチとパワーとをそれぞれクラスタリングし、各クラスタの代表パタンを格納したテーブルである。代表韻律パタン選択規則テーブル１３０は、韻律変化点の属性により代表パタンを選択するための選択規則を格納したテーブルである。パタン選択部１４０は、韻律変化点抽出部１１０より出力された韻律変化点ごとに、代表パタン選択規則テーブル１３０の選択規則に従って、代表韻律パタンテーブル１２０より、代表ピッチパタンおよび代表パワーパタンを選択する。
【００４９】
変形規則テーブル１５０は、代表韻律パタンテーブル１２０に格納されたピッチパタンの周波数の対数軸上の移動量およびパワーパタンのパワーの対数軸上の移動量を決定する規則を格納したテーブルである。なお、前記移動量は対数軸上ではなく、周波数軸上またはパワー軸上の移動量であってもよい。周波数軸またはパワー軸上での変形は簡便である点で有利である。一方、対数軸上での変形は、人間の感覚量に対して線形な軸となり、変形によるひずみが聴感上少ないという利点がある。また、移動は、平行移動であってもよいし、当該軸上でのダイナミックレンジの圧縮または伸張であってもよい。
【００５０】
韻律生成部１６０は、パタン選択部１４０で選択された各韻律変化点に対応するピッチパタンとパワーパタンを、変形規則テーブル１５０の変形規則に従って変形し、韻律変化点に対応するパタンの間を補間して入力された音韻列全体に対応するピッチおよびパワーの情報を生成する。
【００５１】
下記において、以上のように構成された韻律生成装置の動作を、図２の例に従って述べる。
【００５２】
韻律を生成しようとする日本語テキストが、図２のＡ）に示すように、「私の意見が認められたかもしれない。」である場合、図２のＢ）に示す「わたしのいけんが／（無音）みとめられたかもしれない」という音韻列と、図２のＤ）に示す、文節毎の属性としてのモーラ数およびアクセント型とが、韻律変化点抽出部１１０に入力される。
【００５３】
韻律変化点抽出部１１０は、入力された音韻列より、呼気段落頭、呼気段落末、文頭および文末を抽出する。さらに、音韻列および文節属性より、アクセント句の立ちあがりおよびアクセント位置を抽出する。韻律変化点抽出部１１０は、また、呼気段落頭、呼気段落末、文頭、文末、さらにアクセント句とアクセント位置の情報を統合し、図２のＣ）に示す韻律変化点を抽出する。
【００５４】
パタン選択部１４０は、代表パタン選択規則テーブル１３０の規則に従って、代表韻律パタンテーブル１２０より、韻律変化点毎に、図２のＥ）に示すピッチと、パワーのパタンを選択する。
【００５５】
韻律生成部１６０は、パタン選択部１４０で韻律変化点毎に選択されたパタンを、韻律変化点の属性により設定された変形規則テーブル１５０の変形規則に従って、対数軸上で移動する。さらに韻律変化点毎のパタンの間を対数軸上で線形補間を行って、パタンが適用されない音韻に対応するピッチとパワーを生成し、音韻列に対応するピッチパタン、パワーパタンとして出力する。なお、線形補間の代わりに、スプライン関数またはシグモイド曲線による補間を行うことも可能であり、合成音がより滑らかにつながるという利点がある。
【００５６】
代表韻律パタンテーブル１２０に格納するデータは、例えば、実音声より抽出した韻律変化点のピッチパタンあるいはパワーパタンについて、ピッチパタン間またはパワーパタン間の相関をパタンの組み合わせについて計算した相関行列よりパタン間の距離を計算するクラスタリング手法（１９８９年、東洋経済新報社発行、竹内啓他編、統計学辞典参照）によって生成される。また、クラスタリング手法は、これ以外の一般的統計手法によってもよい。
【００５７】
代表韻律パタン選択規則テーブル１３０に格納するデータは、例えば、実音声より抽出した韻律変化点のピッチパタンもしくはパワーパタンの持つ文節の属性、または、呼気段落もしくは文中での位置等の属性といったカテゴリカルデータを説明変数とし、各ピッチパタンまたはパワーパタンがどのカテゴリに分類されるかを基準変数として、数量化ＩＩ類（前記の統計学辞典参照）により求められた各変量の各カテゴリに対応する数値とし、パタン選択規則は、格納された数値を用いた数量化ＩＩ類による予測式であるとする。
【００５８】
なお、代表韻律パタン選択規則テーブル１３０に格納されるデータ数値を求める方法は、これに限らず、例えば、それぞれのピッチパタンまたはパワーパタンが分類されたカテゴリの代表値とそれぞれのパタンとの距離を基準変量とした数量化Ｉ類（前記の統計学辞典参照）、または、前記代表値の移動量を基準変量とした数量化Ｉ類により、求めることもできる。
【００５９】
変形規則テーブル１５０に格納するデータは、例えば、実音声より抽出した韻律変化点のピッチパタンまたはパワーパタンについて、それぞれのピッチパタンまたはパワーパタンが分類されたカテゴリの代表値とそれぞれのパタンとの距離を基準変量とし、それぞれのピッチパタンもしくはパワーパタンの持つ文節の属性や呼気段落もしくは文中の位置のような属性といったカテゴリカルデータを説明変数として、数量化Ｉ類（前記の統計学辞典参照）により求められた各変量の各カテゴリに対応する数値とし、変形規則は格納された数値を用いた数量化Ｉ類による予測式であるとする。前記基準変数としては、前記代表値のダイナミックレンジの圧縮率または伸張率を用いることもできる。
【００６０】
前記カテゴリカルデータとして用いることができるのは、音韻に関わる属性および言語情報に関わる属性である。前記音韻に関わる属性の例として、（１）アクセント句、文節、ストレス句、もしくは単語についての、モーラ数、音節数、アクセント位置、アクセントタイプ、アクセント強度、ストレスパタン、もしくはストレス強度、（２）文頭、句頭、アクセント句先頭、文節先頭、もしくは単語先頭からの、モーラ数、音節数、もしくは音素数、（３）文末、句末、アクセント句末、文節の末尾、もしくは単語の末尾からの、モーラ数、音節数、もしくは音素数、（４）隣接するポーズの有無、（５）隣接するポーズの時間長、（６）当該韻律変化点より前で最も近い位置にあるポーズの時間長、または、（７）当該韻律変化点より後で最も近い位置にあるポーズの時間長等をあげることができる。なお、前記（１）〜（７）のいずれか１つのみを用いてもよいし、複数を組み合わせて用いてもよい。また、前記言語情報に関わる属性としては、アクセント句、文節、ストレス句、または単語についての、品詞、係り受け属性、係り先への距離、係り元への距離、または構文における属性等のうち、いずれか１つ以上を用いることができる。このような変数を用いて定められた選択規則および変形規則を用いることにより、選択の正確さや変形量の推定精度を向上させることができる。
【００６１】
なお、前述の選択規則および変形規則は、統計的手法を用いて生成するものとしたが、統計的手法としては、前述した数量化Ｉ類または数量化ＩＩ類の他に、多変量解析または決定木等を用いることができる。また、統計的手法に限らず、例えばニューラルネットを用いた学習によって生成することも可能である。
【００６２】
以上のように、本実施形態にかかる韻律生成装置によれば、韻律変化点を含む限られた部分のピッチパタンおよびパワーパタンを保持し、パタンの選択および変形の規則を学習あるいは統計的手法によって設定し、パタン間を補間によって求めることにより、韻律の自然性を失わずに韻律を生成することができる。また、保持すべき韻律情報を大幅に減少させることができる。
【００６３】
なお、本実施形態で説明した韻律生成装置の動作をコンピュータに実行させるプログラムとして、本発明を実施することも可能である。
【００６４】
＜第２の実施形態＞
本発明の第２の実施形態について、図３〜図１０を用いて説明する。
【００６５】
本実施形態にかかる韻律生成装置は、（１）自然音声に基づき、代表パタン、パタン選択規則、パタン変形規則、および変化点抽出規則を生成して蓄積する系（パタン・規則生成部）、（２）音韻情報および言語情報を入力し、前述のパタン・規則生成部で蓄積された代表パタンおよび各規則を用いて、韻律情報を生成する系（韻律情報生成部）、の二系統で構成される。本実施形態にかかる韻律生成装置は、これら両方の系を具備する単一の装置として実現することも可能であり、各系を別個の装置として実施することも可能である。以下の説明では、上記の二つの系をそれぞれ別個の装置として実施する例を示す。
【００６６】
図３は、本実施形態の韻律生成装置のうち、前述のパタン・規則生成部として機能するパタン・規則生成装置の構成を示すブロック図である。図４は、前述の韻律情報生成部として機能する韻律情報生成装置の構成を示すブロック図である。図５、図６、図７、図８、図９は、図３のパタン・規則生成装置の動作を示したフローチャートである。図１０は、図４の韻律情報生成装置の動作を示したフローチャートである。
【００６７】
図３に示すように、本実施形態にかかるパタン・規則生成装置は、自然音声データベース２０１０、変化点抽出部２０２０、代表パタン生成部２０３０、代表パタン記憶部２０４０ａ、パタン選択規則生成部２０５０、パタン選択規則テーブル２０６０ａ、パタン変形規則生成部２０７０、パタン変形規則テーブル２０８０ａ、変化点抽出規則生成部２０９０、変化点抽出規則テーブル２１００ａを含む。
【００６８】
また、図４に示すように、本実施形態にかかる韻律情報生成装置は、変化点設定部２１１０、変化点抽出規則テーブル２１００ｂ、パタン選択部２１２０、代表パタン記憶部２０４０ｂ、パタン選択規則テーブル２０６０ｂ、韻律生成部２１３０、パタン変形規則テーブル２０８０ｂを含む。ここで、代表パタン記憶部２０４０ｂには、図３に示すパタン・規則生成装置において代表パタン記憶部２０４０ａに蓄積された代表パタンがコピーされる。これと同様に、パタン選択規則テーブル２０６０ｂ、パタン変形規則テーブル２０８０ｂ、および変化点抽出規則テーブル２１００ｂのそれぞれには、図３に示すパタン・規則生成装置のパタン選択規則テーブル２０６０ａ、パタン変形規則テーブル２０８０ａ、変化点抽出規則テーブル２１００ａのそれぞれに蓄積された規則がコピーされる。なお、パタン・規則生成装置から韻律情報生成装置への代表パタンおよび各種規則のコピーは、韻律情報生成装置の出荷前にのみ実行されることとしても良いし、韻律情報生成装置の使用中にも逐次実行される仕組みとしても良い。後者の場合は、パタン・規則生成装置と韻律情報生成装置との間を適当な通信手段で適宜接続することが必要となる。
【００６９】
ここで、図５〜図８を参照しながら、パタン・規則生成装置の動作について説明する。変化点抽出部２０２０は、自然音声とその音声に対応する音響特性データおよび言語情報を保持する自然音声データベース２０１０より、モーラ毎の基本周波数を抽出する。さらに、抽出したモーラ毎の基本周波数について、直前モーラとの基本周波数の差ΔＰを、以下の式により求める（ステップＳ２０１）。
【００７０】
ΔＰ＝当該モーラ基本周波数−直前モーラ基本周波数
ΔＰが、発話先頭あるいはポーズの直後のモーラとそれに続くモーラとの基本周波数の差である場合、あるいはΔＰが発話末尾のモーラあるいはポーズ直前のモーラとその直前にあるモーラとの基本周波数の差である場合（ステップＳ２０２の結果がＹｅｓ）、当該モーラと直前のモーラとを、韻律変化点として音韻列に対応させて記録する（ステップＳ２０７）。
【００７１】
一方、ステップＳ２０２において、ΔＰが発話先頭あるいはポーズの直後のモーラとそれに続くモーラとの基本周波数の差でなく、且つ、ΔＰが発話末尾のモーラあるいはポーズ直前のモーラとその直前にあるモーラとの基本周波数の差でない場合（ステップＳ２０２の結果がＮｏ）、直前のΔＰの符号と当該ΔＰの符号の組み合わせを判定する（ステップＳ２０３）。
【００７２】
ステップＳ２０３にて、直前のΔＰの符号が負であり、且つ、当該ΔＰの符号が正である場合（ステップＳ２０３の結果がＹｅｓ）、当該モーラと直前のモーラを韻律変化点として音韻列に対応させて記録する（ステップＳ２０７）。一方、ステップＳ２０３において、直前のΔＰの符号が負で無いか、あるいは当該ΔＰの符号が正で無い場合（ステップＳ２０３の結果がＮｏ）、さらに直前のΔＰの符号と、当該ΔＰの符号との組み合わせを判定する（ステップＳ２０４）。
【００７３】
ステップＳ２０４において直前のΔＰの符号が正で且つその前のΔＰの符号が負の場合（ステップＳ２０４の結果がＹｅｓ）、当該ΔＰと直後のΔＰとを比較する（ステップＳ２０５）。ステップＳ２０５において当該ΔＰが、直後のΔＰの値の１．５倍より大きい場合（ステップＳ２０５の結果がＹｅｓ）、当該モーラと直前のモーラを韻律変化点として音韻列に対応させて記録する（ステップＳ２０７）。ステップＳ２０４において直前のΔＰの符号が正でないあるいはその前のΔＰの符号が負で無い場合（ステップＳ２０４の結果がＮｏ）、当該ΔＰと直前のΔＰとを比較する（ステップＳ２０６）。ステップＳ２０６において当該ΔＰが直前のΔＰの２．０倍より大きい場合（ステップＳ２０６の結果がＹｅｓ）、当該モーラと直前のモーラを韻律変化点として音韻列に対応させて記録する（ステップＳ２０７）。
【００７４】
ステップＳ２０５において当該ΔＰが直後のΔＰの１．５倍を超えない場合、あるいは、ステップＳ２０６において当該ΔＰの絶対値が直前のΔＰの２．０倍の絶対値を超えない場合は、当該モーラと直前のモーラを韻律変化点ではないとして音韻列に対応させて記録する（ステップＳ２０８）。
【００７５】
以上のように、変化点抽出部２０２０は、音韻列から、連続する２モーラで表される韻律変化点を抽出し、音韻列に対応させて記憶する。なお、ここでは、連続する隣接モーラのΔＰの比に基づいて韻律変化点であるか否かを判断したが、隣接モーラのΔＰの差に基づいて判断してもよい。
【００７６】
代表パタン生成部２０３０は、図６に示すように、変化点抽出部２０２０で抽出された変化点について、各変化点毎に、変化点の２モーラ分の基本周波数パタンと音源振幅パタンとを、自然音声データベース２０１０より抽出する（ステップＳ２１１）。代表パタン生成部２０３０は、ステップＳ２１１で抽出された基本周波数パタンと音源振幅パタンとをそれぞれにクラスタリングし（ステップＳ２１２）、生成されたクラスタ毎に、クラスタ内のデータの重心を求める（ステップＳ２１３）。代表パタン生成部２０３０は、さらに、求めたクラスタ毎の重心のパタンを、各クラスタの代表パタンとして代表パタン記憶部２０４０ａに格納する（ステップＳ２１４）。
【００７７】
パタン選択規則生成部２０５０は、図７に示すように、代表パタン生成部２０３０でクラスタに分類された各変化点のデータについて、まず、変化点の２モーラに対応する言語情報を、自然音声データベース２０１０より抽出する（ステップＳ２２１）。本実施形態では、言語情報は、文節内のモーラ位置、標準アクセント位置からの距離、読点からの距離、品詞とする。２モーラ分の音韻列と言語情報を説明変数とし、代表パタン生成部２０３０でどのクラスタに分類されたかを基準変量として、決定木を用いた解析により、パタン選択の規則を生成する（ステップＳ２２２）。パタン選択規則生成部２０５０は、ステップＳ２２２で生成された規則を、変化点の代表パタンの選択規則として、パタン選択規則テーブル２０６０ａに蓄積する（ステップＳ２２３）。
【００７８】
パタン変形規則生成部２０７０は、図８に示すように、変化点抽出部２０２０で抽出された変化点について、各変化点毎に、変化点の２モーラ分の基本周波数の最大値と音源振幅のうちの最大値とを自然音声データベース２０１０より抽出する（ステップＳ２３１）。さらに、各変化点に対応する音韻情報を含む言語情報を抽出する（ステップＳ２３２）。本実施形態では、音韻情報は、変化点の２モーラのそれぞれの音素列とし、言語情報は、文節内のモーラ位置、標準アクセント位置からの距離、読点からの距離、品詞とする。パタン変形規則生成部２０７０は、ステップＳ２３２で抽出した音韻情報および言語情報を説明変数とし、ステップＳ２３１で求めた基本周波数と音源振幅の最大値を基準変量として、基本周波数と音源振幅をそれぞれに数量化Ｉ類モデルをあてはめ、基本周波数の最大値の推定規則と音源振幅の最大値の推定規則とを生成する（ステップＳ２３３）。パタン変形規則生成部２０７０は、ステップＳ２３３で生成した基本周波数の最大値推定規則を基本周波数パタンの対数周波数軸上の移動規則として、音源振幅の最大値推定規則を音源振幅パタンの振幅値の対数軸上での移動規則として、パタン変形規則テーブル２０８０ａに格納する（ステップＳ２３４）。
【００７９】
変化点抽出規則生成部２０９０は、図９に示すように、変化点抽出部２０２０により変化点か変化点でないかの情報が付加された音韻列に対応する言語情報を、自然音声データベース２０１０より抽出する（ステップＳ２４１）。本実施形態では、言語情報は、文節属性、品詞、文節内のモーラ位置、標準アクセント位置からの距離、読点からの距離とする。音韻情報としてのモーラ種類とステップＳ２４１で抽出した言語情報を説明変数とし、各モーラが変化点である、または変化点ではない、のいずれに属するか、すなわち変化点抽出部２０２０の処理結果を基準変量として、数量化ＩＩ類モデルを当てはめ、各モーラが変化点であるか否かを音韻情報と言語情報から判定する変化点抽出規則を生成し（ステップＳ２４２）、変化点抽出規則テーブル２１００ａに格納する（ステップＳ２４３）。
【００８０】
以上のように、パタン・規則生成装置において、代表パタン、パタン選択規則、パタン変形規則、および変化点抽出規則が生成され、代表パタン記憶部２０４０ａ、パタン選択規則テーブル２０６０ａ、パタン変形規則テーブル２０８０ａ、および変化点抽出規則テーブル２１００ａにそれぞれ格納される。そして、代表パタン記憶部２０４０ａ、パタン選択規則テーブル２０６０ａ、パタン変形規則テーブル２０８０ａ、および変化点抽出規則テーブル２１００ａに蓄積されたパタンおよび規則は、図４の韻律情報生成装置の代表パタン記憶部２０４０ｂ、パタン選択規則テーブル２０６０ｂ、パタン変形規則テーブル２０８０ｂ、および変化点抽出規則テーブル２１００ｂのそれぞれにコピーされる。
【００８１】
次に、韻律情報生成装置の動作について、図１０を参照しながら説明する。
【００８２】
韻律情報生成装置は、図４にも示したように、音韻情報と言語情報を入力する（ステップＳ２５１）。本実施形態では、音韻情報は、モーラ区切り記号のついた音素列であり、言語情報は、文節属性、品詞、文節内のモーラ位置、標準アクセント位置からの距離、読点からの距離であるものとする。
【００８３】
変化点設定部２１１０は、ステップＳ２５１で入力した音韻情報および言語情報に基づき、図３のパタン・規則生成装置で蓄積された変化点抽出規則を格納した変化点抽出規則テーブル２１００ｂを参照して、数量化ＩＩ類モデルを用いて各音韻が韻律変化点であるか否かを推定することにより、音韻列上の韻律変化点の位置を推定する（ステップＳ２５２）。
【００８４】
次に、パタン選択部２１２０が、変化点設定部２１１０によって設定された変化点毎に、変化点に対応する音素列と言語情報を用いて、図３のパタン・規則生成装置で蓄積されたパタン選択規則を格納したパタン選択規則テーブル２０６０ｂを参照して、決定木により変化点の基本周波数および音源振幅のそれぞれについて変化点が所属するクラスタを推定し、代表パタン記憶部２０４０ｂより該当するクラスタの代表パタンを、当該の変化点に対応する基本周波数パタンおよび音源振幅パタンとして取得する（ステップＳ２５３）。
【００８５】
韻律生成部２１３０は、図３のパタン・規則生成装置で蓄積されたパタン変形規則を格納したパタン変形規則テーブル２０８０ｂを参照して、数量化Ｉ類モデルを用いて当該変化点の基本周波数パタンの対数周波数軸上での最大値と、音源振幅の対数軸上での最大値を推定し（ステップＳ２５４）、ステップＳ２５３で取得した基本周波数パタンを対数周波数軸上で最大値を基準に移動する。また、同様に、ステップＳ２５３で取得した音源振幅パタンも、対数軸上で最大値を基準に移動する（ステップＳ２５５）。
【００８６】
次に、韻律生成部２１３０は、変化点以外の音韻に対応する基本周波数と音源振幅を、変化点に設定された基本周波数パタンおよび音源振幅パタンの間を、対数軸上の直線で補間することで、全ての音韻に対する基本周波数および音源振幅の値を生成し（ステップＳ２５６）、出力する（ステップＳ２５７）。
【００８７】
この方法によれば、従来のようにアクセント句等の、変化点を複数含む複雑でバリエーションの多い単位を韻律制御単位として使用する方法と異なり、入力された音韻と言語情報から規則によって韻律変化点を自動的に設定し、韻律変化点を韻律制御単位として用いて、各韻律変化点の韻律情報を個別に決定し、変化点以外の部分の韻律情報を補間により生成する。これにより、少ないパタンデータから、歪みが少なく自然な韻律を生成することが可能となる。なお、本実施形態では、韻律変化点のみを韻律制御単位として用いて韻律情報を生成する例を示したが、韻律変化点のみならず、例えば、韻律変化点に隣接する１モーラ、または１音節、あるいは１音素を含む部分を韻律制御単位として用いてもよい。
【００８８】
本実施形態では、パタン・規則生成装置および韻律情報生成装置の各々に、代表パタン記憶部、パタン選択規則テーブル、パタン変形規則テーブル、および変化点抽出規則テーブルを別個に設けて、パタン・規則生成装置で蓄積された代表パタンおよび各種規則を韻律情報生成装置へコピーするものとした。しかし、この構成以外に、パタン・規則生成装置および韻律情報生成装置が、一系統の代表パタン記憶部、パタン選択規則テーブル、パタン変形規則テーブル、および変化点抽出規則テーブルを共有する構成も可能である。この場合、例えば、代表パタン記憶部は、少なくとも代表パタン生成部２０３０とパタン選択部２１２０の双方からアクセス可能であればよい。また、上述したように、パタン・規則生成部および韻律情報生成部を単一の装置に搭載した構成としても良く、この場合は、一系統の代表パタン記憶部、パタン選択規則テーブル、パタン変形規則テーブル、および変化点抽出規則テーブルを備えればすむことは言うまでもない。
【００８９】
また、図３に示したパタン・規則生成装置の代表パタン記憶部２０４０ａ、パタン選択規則テーブル２０６０ａ、パタン変形規則テーブル２０８０ａ、および変化点抽出規則テーブル２１００ａの少なくともいずれか一つの内容を、例えばＤＶＤ等の記憶媒体にコピーし、この記憶媒体を、図４に示した韻律情報生成装置が、代表パタン記憶部２０４０ｂ、パタン選択規則テーブル２０６０ｂ、パタン変形規則テーブル２０８０ｂ、変化点抽出規則テーブル２１００ｂとして参照する構成とすることも可能である。
【００９０】
なお、図１０のフローチャートに示した動作をコンピュータに実行させるプログラムとして、本発明を実施することも可能である。
【００９１】
＜第３の実施形態＞
本発明の第３の実施形態としての韻律生成装置について、図１１〜図１５を用いて説明する。
【００９２】
本実施形態にかかる韻律生成装置は、（１）自然音声に基づき、変化量推定規則および絶対値推定規則を生成して蓄積する系（推定規則生成部）、（２）音韻情報および言語情報を入力し、前述の推定規則生成部で蓄積された変化量推定規則および絶対値推定規則を用いて、韻律情報を生成する系（韻律情報生成部）、の二系統で構成される。本実施形態にかかる韻律生成装置は、これら両方の系を実施する一つの装置として実現することも可能であり、各系を別個の装置として実施することも可能である。なお、以下の説明では、上記の二つの系をそれぞれ別個の装置として実施する例を示す。
【００９３】
図１１は、本実施形態の韻律生成装置のうち、前述の推定規則生成部の機能を有する推定規則生成装置の構成を示すブロック図である。図１２は、韻律情報生成部の機能を有する韻律情報生成装置の構成を示すブロック図である。図１３および図１４は、図１１の推定規則生成装置の動作を示したフローチャートであり、図１５は、図１２の韻律情報生成装置の動作を示したフローチャートである。
【００９４】
図１１に示すように、本実施形態にかかる韻律生成装置の推定規則生成装置は、自然音声データベース２０１０、変化点抽出部３０２０、変化量計算部３０３０、変化量推定規則生成部３０４０、変化量推定規則テーブル３０５０ａ、絶対値推定規則生成部３０６０、絶対値推定規則テーブル３０７０ａを含む。
【００９５】
図１２に示すように、本実施形態にかかる韻律生成装置の韻律情報生成装置は、変化点設定部３１１０、変化量推定部３１２０、変化量推定規則テーブル３０５０ｂ、絶対値推定部３１３０、絶対値推定規則テーブル３０７０ｂ、韻律生成部３１４０を含む。
【００９６】
まず、図１１に示した推定規則生成装置の動作について、図１３および図１４を参照しながら説明する。推定規則生成装置において、変化点抽出部３０２０は、自然音声とその音声に対応する音響特性データおよび言語情報を保持する自然音声データベース２０１０より、テキストより生成された言語情報としての標準アクセント句の句頭２音節、アクセント句末２音節、アクセント核とその直後の音節を、変化点として抽出する（ステップＳ３０１）。
【００９７】
次に、変化量計算部３０３０は、ステップＳ３０１で抽出された変化点の各々について、変化点２音節についての基本周波数および音源振幅のそれぞれの変化量を、以下の式で計算する（ステップＳ３０２）。
【００９８】
変化量推定規則生成部３０４０は、自然音声データベース２０１０より変化点の２音節に対応する音韻情報と言語情報を、自然音声データベース２０１０より抽出する（ステップＳ３０３）。本実施形態では、音韻情報は音節の音声学的分類であり、言語情報は文節内の音節位置、標準アクセント位置からの距離、読点からの距離、品詞であるとする。さらに、変化量推定規則生成部３０４０は、変化点の基本周波数と音源振幅について、音韻情報と言語情報を説明変数とし、それぞれの変化量を基準変量として、数量化Ｉ類による推定規則を生成する（ステップＳ３０４）。そして、ステップＳ３０４で生成した推定規則を、変化点の変化量推定規則として変化量推定規則テーブル３０５０ａに蓄積する（ステップＳ３０５）。
【００９９】
また、絶対値推定規則生成部３０６０は、ステップＳ３０１で変化点抽出部３０２０により変化点として抽出された２音節のうち前の音節に対応する基本周波数および音源振幅を、自然音声データベース２０１０より抽出する（ステップＳ３１１）。さらに、絶対値推定規則生成部３０６０は、変化点として抽出された２音節のうち前の音節に対応する音韻情報と言語情報とを、自然音声データベース２０１０より抽出する（ステップＳ３１２）。本実施形態では、音韻情報は音節の音声学的分類であり、言語情報は文節内の音節位置、標準アクセント位置からの距離、読点からの距離、品詞であるとする。
【０１００】
また、絶対値推定規則生成部３０６０は、各変化点の２音節のうち前の音節の基本周波数と音源振幅の絶対値をそれぞれ求める。そして、求めた各絶対値に対して、音韻情報と言語情報を説明変数とし、それぞれの絶対値を基準変量として、数量化Ｉ類による推定規則を生成する（ステップＳ３１３）。生成された規則は、絶対値推定規則として絶対値推定規則テーブルに蓄積される（ステップＳ３１４）。
【０１０１】
以上のように、推定規則生成装置により、変化量推定規則および絶対値推定規則が変化量推定規則テーブル３０５０ａおよび絶対値推定規則テーブル３０７０ａに蓄積される。そして、図１２に示す韻律情報生成装置の変化量推定規則テーブル３０５０ｂおよび絶対値推定規則テーブル３０７０ｂには、変化量推定規則テーブル３０５０ａおよび絶対値推定規則テーブル３０７０ａに蓄積された変化量推定規則および絶対値推定規則がコピーされる。
【０１０２】
ここで、図１２に示す韻律情報生成装置の動作について、図１５を参照しながら説明する。韻律情報生成装置は、図１２にも示したように、音韻情報と言語情報を入力する（ステップＳ３２１）。本実施形態では、音韻情報は音節の音声学的分類であり、言語情報は文節内の音節位置、標準アクセント位置からの距離、読点からの距離、品詞、文節属性、係り受け距離であるとする。
【０１０３】
変化点設定部３１１０は、入力された言語情報のうちの標準アクセント句の情報に基づき、音韻列上での変化点の位置を設定する（ステップＳ３２２）。なお、ここでは、変化点設定部３１１０が入力言語情報に従い韻律変化点を設定するものとしたが、これに限らず、音声データの韻律変化点の音韻に関わる属性および言語情報に関わる属性によりあらかじめ定められた韻律変化点抽出規則に従って、韻律変化点を設定するものとしてもよい。ただし、この場合は、第２の実施形態と同様に、変化点設定部３１１０が参照可能な変化点抽出規則テーブルを設ける必要がある。
【０１０４】
変化量推定部３１２０は、図１１の推定規則生成装置で蓄積された変化量推定規則を格納した変化量推定規則テーブル３０５０ｂを参照して、入力された音韻情報および言語情報を用いて、変化点毎に基本周波数変化量と音源振幅の変化量を、数量化Ｉ類モデルを利用して推定する（ステップＳ３２３）。
【０１０５】
絶対値推定部３１３０は、図１１の推定規則生成装置で蓄積された絶対値推定規則を格納した絶対値推定規則テーブル３０７０ｂを参照して、入力された音韻情報および言語情報を用いて、変化点毎に２音節のうち前の音節の基本周波数と音源振幅の絶対値を、数量化Ｉ類モデルを利用して推定する（ステップＳ３２４）。
【０１０６】
韻律生成部３１４０は、ステップＳ３２３で推定した変化点毎の基本周波数の変化量と音源振幅の変化量を、ステップＳ３２４で推定した２音節のうち前の音節の基本周波数と音源振幅の絶対値に合わせて対数軸上で移動させて、変化点の基本周波数と音源振幅を決定する（ステップＳ３２５）。さらに、韻律生成部３１４０は、変化点以外の音韻に対する基本周波数と音源振幅の情報を、補間により求める。すなわち、韻律生成部３１４０は、変化点以外の区間を挟む変化点（つまり変化点以外の区間の両端に位置する二つの変化点）の音節を用いて、スプライン関数で補間を行うことにより、変化点以外の基本周波数と音源振幅の情報を生成し（ステップＳ３２６）、入力された全音韻列に対する基本周波数と音源振幅の情報を出力する（ステップＳ３２７）。
【０１０７】
この方法によれば、従来のようにアクセント句等の、変化点を複数含む複雑でバリエーションの多い単位を韻律生成単位として使用する方法と異なり、言語情報から設定される韻律変化点の韻律情報を変化量として推定し、変化点以外の部分の韻律情報を補間により生成する。これにより、パタンデータとして大量のデータを保持することなく歪みが少なく自然な韻律を生成することが可能となる。
【０１０８】
本実施形態では、推定規則生成装置および韻律情報生成装置の各々に、変化量推定規則テーブルおよび絶対値推定規則テーブルを別個に設けて、推定規則生成装置で蓄積された推定規則を、韻律情報生成装置へコピーするものとした。しかし、この構成以外に、推定規則生成装置および韻律情報生成装置が、一系統の変化量推定規則テーブルおよび絶対値推定規則テーブルを共有する構成も可能である。この場合、例えば、変化量推定規則テーブルは、少なくとも、変化量推定規則生成部３０４０および変化量推定部３１２０の双方からアクセス可能であればよい。また、上述したように、推定規則生成部および韻律情報生成部を単一の装置に搭載した構成としても良く、この場合は、一系統の変化量推定規則テーブルおよび絶対値推定規則テーブルを備えればすむ。
【０１０９】
また、図１１に示した推定規則生成装置の変化量推定規則テーブル３０５０ａおよび絶対値推定規則テーブル３０７０ａの少なくともいずれか一つの内容を、例えばＤＶＤ等の記憶媒体にコピーし、この記憶媒体を、図１２に示した韻律情報生成装置が、変化量推定規則テーブル３０５０ｂ、絶対値推定規則テーブル３０７０ｂとして参照する構成とすることも可能である。
【０１１０】
なお、図１５のフローチャートに示した動作をコンピュータに実行させるプログラムとして、本発明を実施することも可能である。
【０１１１】
＜第４の実施形態＞
本発明の第４の実施形態としての韻律生成装置について、図１６を用いて説明する。
【０１１２】
なお、本実施形態にかかる韻律生成装置は、第２の実施形態と概ね同様であるが、変化点抽出部２０２０の動作のみが第２の実施形態と異なる。従って、変化点抽出部２０２０の動作についてのみ説明する。
【０１１３】
本実施形態にかかる韻律生成装置のパタン・規則生成装置では、変化点抽出部２０２０は、自然音声とその音声に対応する音響特性データおよび言語情報を保持する自然音声データベース２０１０よりモーラ毎の母音中心点での音源波形の振幅値を抽出する。抽出した音源波形の振幅値を、モーラの種類で分類し、モーラの種類毎にＺ変換により標準化する。標準化した音源波形の振幅値、すなわち音源波形の振幅のＺスコアを、モーラのパワー（Ａ）とする（ステップＳ４０１）。次に、変化点抽出部２０２０は、モーラ毎のパワー（Ａ）について、直前モーラとのパワー（Ａ）の差をΔＡとして、以下の式により求める（ステップＳ４０２）。
【０１１４】
ΔＡ ＝ 当該モーラのパワー − 直前モーラのパワー
ΔＡが発話先頭あるいはポーズの直後のモーラとそれに続くモーラとのパワーの差である場合、あるいはΔＡが発話末尾のモーラあるいはポーズ直前のモーラとその直前にあるモーラとのパワーの差である場合（ステップＳ４０３）、当該モーラと直前のモーラを韻律変化点として音韻列に対応させて記録する（ステップＳ４０６）。
【０１１５】
ステップＳ４０３においてΔＡが発話先頭あるいはポーズの直後のモーラとそれに続くモーラとのパワーの差でなく、且つ、ΔＡが発話末尾のモーラあるいはポーズ直前のモーラとその直前にあるモーラとのパワーの差でない場合、直前のΔＡの符号と当該ΔＡの符号とを比較する（ステップＳ４０４）。ステップＳ４０４において、直前のΔＡの符号と当該ΔＡの符号とが異なる場合、当該モーラと直前のモーラを韻律変化点として音韻列に対応させて記録する（ステップＳ４０６）。
【０１１６】
ステップＳ４０４において、直前のΔＡの符号と当該ΔＡの符号とが一致する場合、当該ΔＡと直後のΔＡとを比較する（ステップＳ４０５）。ステップＳ４０５において、当該ΔＡの絶対値が、直後のΔＡを１．５倍したものの絶対値より大きい場合、当該モーラと直前のモーラを韻律変化点として音韻列に対応させて記録する（ステップＳ４０６）。ステップＳ４０５において、当該ΔＡの絶対値が、直後のΔＡを１．５倍したものの絶対値以下の場合、当該モーラと直前のモーラを韻律変化点以外として音韻列に対応させて記録する（ステップＳ４０７）。なお、ここではΔＡの比に基づいて韻律変化点であるか否かを判断したが、ΔＡの差に基づいて判断することもできる。
【０１１７】
＜実施の形態５＞
本発明の第５の実施形態としての韻律生成装置について、図１７を用いて説明する。
【０１１８】
なお、本実施形態にかかる韻律生成装置も、第２の実施形態と概ね同様であるが、変化点抽出部２０２０の動作のみが第２の実施形態と異なる。従って、変化点抽出部２０２０の動作についてのみ説明する。
【０１１９】
本実施形態にかかる韻律生成装置のパタン・規則生成装置において、変化点抽出部２０２０は、自然音声とその音声に対応する音響特性データおよび言語情報を保持する自然音声データベース２０１０より、音素毎の継続時間長を抽出する。抽出した継続時間長のデータを音素の種類で分類し、音素の種類毎にＺ変換により標準化する。標準化した音素時間長を標準化音素時間長（Ｄ）とする（ステップＳ５０１）。
【０１２０】
当該音素が発話先頭あるいはポーズの直後に位置する場合（ステップＳ５０２）、当該音素を含むモーラを韻律変化点として音韻列に対応させて記録する（ステップＳ５０５）。ステップＳ５０２において、当該音素が発話先頭あるいはポーズの直後の音素でない場合、標準化音素時間長（Ｄ）について、直前音素の標準化音素時間長（Ｄ）との差の絶対値をΔＤとする（ステップＳ５０３）。
【０１２１】
次に、変化点抽出部２０２０は、ΔＤを１と比較する（ステップＳ５０４）。Ｓ５０４においてΔＤが１より大きい場合、当該音素を含むモーラを韻律変化点として音韻列に対応させて記録する（ステップＳ５０５）。Ｓ５０４においてΔＤが１以下の場合、当該音素を含むモーラを韻律変化点以外として音韻列に対応させて記録する（ステップＳ５０７）。
【０１２２】
【発明の効果】
以上のように、本発明によれば、韻律変化点を含む部分の韻律パタンを用い、あらかじめ定められた選択規則および変形規則に従って韻律を生成し、韻律変化点を含まない部分の韻律パタン間を補間によって求めることで、韻律の自然性を失わずに韻律を生成することができる。
【図面の簡単な説明】
【図１】本発明にかかる第１の実施形態の韻律生成装置の構成を示すブロック図
【図２】前記韻律生成装置における韻律生成処理の過程を示す説明図
【図３】本発明にかかる第２の実施形態の韻律生成装置のうち、パタン・規則生成装置の構成を示すブロック図
【図４】本発明にかかる第２の実施形態の韻律生成装置のうち、韻律情報生成装置の構成を示すブロック図
【図５】第２の実施形態におけるパタン・規則生成装置の動作の一部を示すフローチャート
【図６】第２の実施形態におけるパタン・規則生成装置の動作の一部を示すフローチャート
【図７】第２の実施形態におけるパタン・規則生成装置の動作の一部を示すフローチャート
【図８】第２の実施形態におけるパタン・規則生成装置の動作の一部を示すフローチャート
【図９】第２の実施形態におけるパタン・規則生成装置の動作の一部を示すフローチャート
【図１０】第２の実施形態における韻律情報生成装置の動作を示すフローチャート
【図１１】本発明にかかる第３の実施形態の韻律生成装置のうち、規則生成部に相当する構成を示すブロック図
【図１２】本発明にかかる第３の実施形態の韻律生成装置のうち、韻律情報生成装置に相当する構成を示すブロック図
【図１３】第３の実施形態における規則生成部の動作の一部を示したフローチャート
【図１４】第３の実施形態における規則生成部の動作の一部を示したフローチャート
【図１５】第３の実施形態における韻律情報生成装置の動作を示したフローチャート
【図１６】第４の実施形態における変化点抽出部の動作を示したフローチャート
【図１７】第５の実施形態における変化点抽出部の動作を示したフローチャート
【符号の説明】
１１０ 韻律変化点抽出部
１２０ 代表韻律パタンテーブル
１３０ 代表韻律パタン選択規則テーブル
１４０ パタン選択部
１５０ 変形規則テーブル
１６０ 韻律生成部
２０１０ 自然音声データベース
２０２０ 変化点抽出部
２０３０ 代表パタン生成部
２０４０ａ，２０４０ｂ 代表パタン記憶部
２０５０ パタン選択規則生成部
２０６０ａ，２０６０ｂ パタン選択規則テーブル
２０７０ パタン変形規則生成部
２０８０ａ，２０８０ｂ パタン変形規則テーブル
２０９０ 変化点抽出規則生成部
２１００ａ，２１００ｂ 変化点抽出規則テーブル
２１１０ 変化点設定部
２１２０ パタン選択部
２１３０ 韻律生成部
３０２０ 変化点抽出部
３０３０ 変化量計算部
３０４０ 変化量推定規則生成部
３０５０ａ，３０５０ｂ 変化量推定規則テーブル
３０６０ 絶対値推定規則生成部
３０７０ａ，３０７０ｂ 絶対値推定規則テーブル
３１１０ 変化点設定部
３１２０ 変化量推定部
３１３０ 絶対値推定部
３１４０ 韻律生成部
【発明の属する技術分野】
本発明は、音声の分析により抽出された韻律データおよび韻律制御規則に基づき韻律情報を生成する韻律生成装置および韻律生成方法に関するものである。
【０００２】
【従来の技術】
従来、例えば特開平１１−９５７８３号公報に開示されているように、音声データに含まれる韻律情報をアクセント句のような韻律制御単位でクラスタリングし、代表パタンを生成する技術が知られている。生成された代表パタンから選択規則に従って選択された代表パタンを、変形規則に従って変形して接続することにより、文全体の韻律が生成される。前記代表パタンの選択規則および変形規則は、統計的手法あるいは学習により生成される。
【０００３】
【発明が解決しようとする課題】
しかし、このような従来の韻律生成方法では、代表パタンを作成する際に使用した音声データ中に含まれなかった属性、たとえばモーラ数やアクセント型、を持つアクセント句のための韻律情報を生成する場合の歪みが大きいという問題を有していた。
【０００４】
この発明は、上記の問題に鑑み、韻律パタンを生成する際のひずみを抑え、自然な韻律を生成する韻律生成装置および韻律生成方法を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記の目的を達成するために、本発明にかかる第１の韻律生成装置は、音韻情報および言語情報を入力して韻律を生成する韻律生成装置であって、（ア）音声データの韻律変化点を含む部分の代表韻律パタンをあらかじめ蓄積した代表韻律パタン記憶部、（イ）音声データの韻律変化点を含む部分の音韻に関わる属性または言語情報に関わる属性によりあらかじめ定められた選択規則を記憶する選択規則記憶部、（ウ）音声データの韻律変化点を含む部分の音韻に関わる属性または言語情報に関わる属性によりあらかじめ定められた変形規則を記憶する変形規則記憶部、を参照可能であり、入力された音韻情報および言語情報の少なくともいずれか一方から韻律変化点を設定する韻律変化点設定部と、前記選択規則により、入力された音韻情報および言語情報に従って、前記代表韻律パタン記憶部から代表韻律パタンを選択するパタン選択部と、前記パタン選択部により選択された代表韻律パタンを前記変形規則により変形し、韻律変化点を含まない部分については、選択し変形した前記韻律変化点を含む部分の代表韻律パタンの間を補間する韻律生成部とを備えたことを特徴とする。
【０００６】
なお、（ア）代表韻律パタン記憶部、（イ）選択規則記憶部、および（ウ）変形規則記憶部は、韻律生成装置の内部に含まれていてもよいし、韻律生成装置とは別個の装置として、本発明にかかる韻律生成装置からアクセス可能な状態で設けられていてもよい。あるいは、これらの記憶部を、韻律生成装置が読み取り可能な記録媒体により実現することも可能である。
【０００７】
韻律変化点とは、音声のピッチあるいはパワーが他の領域に比べて急峻に変化する、または音声のリズムが他の領域に比べて急峻に変化するような少なくとも１音素以上の時間幅を持つ区間をいい、具体的には、日本語の場合、アクセント句の開始点、アクセント句の終端、アクセント句終端から次のアクセント句への接続点、アクセント句中１モーラ目から３モーラ目に含まれるアクセント句中でピッチが最大となる点、アクセント核、アクセント核の後続モーラ、アクセント核から後続のモーラへの接続点、文頭、文末、呼気段落頭、呼気段落末等、卓立、または強調等を含む。
【０００８】
上記の構成によれば、従来のようにアクセント句等を韻律制御単位として使用する場合と異なり、韻律変化点を韻律制御単位として用いることによって韻律を生成し、韻律変化点以外の部分については補間により韻律を生成する。これにより、歪みが少なく自然な韻律を生成する韻律生成装置を提供できる。また、アクセント句のように大きな単位でパタンを持つ場合と比較して、本発明の場合は、より小さな単位（韻律変化点）に対応するパタンを用いることにより、保持すべきパタンそのもののバリエーションが少なく、パタン１つ１つのデータ量も少ないので、韻律生成のために保持すべきデータが少なくてすむという点で有利である。さらに、従来のように、アクセント句のように大きな単位で自然音声データよりパタンを生成する場合は、自然音声データに含まれていない属性をもったパタンは、他の属性のパタンを元に変形して生成する必要があるが、この際に歪みが生じるという問題があった。これに対し、本発明の場合は、韻律変化点のようなより小さな単位で韻律を制御し、パタン間を補間することで、パタンの変形を最小限にとどめ、歪みの少ない韻律を生成することができる。
【０００９】
なお、韻律変化点のみならず、韻律変化点に隣接する１モーラ、または１音節、あるいは１音素をも韻律制御単位に含めることとし、この韻律制御単位を用いて韻律を生成し、韻律変化点およびこれに隣接する１モーラ、または１音節、あるいは１音素以外の部分（すなわち韻律制御単位以外の部分）については補間により韻律を生成するようにしてもよい。これにより、韻律変化点と隣接する１モーラ、または１音節、あるいは１音素の部分と補間部分との不連続がなく、歪みが少なく自然な韻律を生成する韻律生成装置を提供できる。
【００１０】
前記第１の韻律生成装置において、前記代表韻律パタンが、ピッチパタンまたはパワーパタンであることが好ましい。
【００１１】
前記第１の韻律生成装置において、前記代表韻律パタンは、音声データの韻律変化点を含む部分のパタンを統計的手法によりクラスタリングし、得られたクラスタごとに生成されたパタンであることが好ましい。
【００１２】
また、上記の目的を達成するために、本発明にかかる第２の韻律生成装置は、音韻情報および言語情報を入力して韻律を生成する韻律生成装置であって、（ア）音声データの韻律変化点の音韻に関わる属性または言語情報に関わる属性によりあらかじめ定められた、韻律変化点についての韻律の変化量推定規則を記憶する変化量推定規則記憶部、（イ）音声データの韻律変化点を含む部分の音韻に関わる属性または言語情報に関わる属性によりあらかじめ定められた、韻律変化点についての韻律の絶対値推定規則を記憶する絶対値推定規則記憶部、を参照可能であり、入力された音韻情報および言語情報の少なくともいずれか一方から韻律変化点を設定する韻律変化点設定部と、前記変化量推定規則記憶部の推定規則により、入力された音韻情報および言語情報に従って、韻律変化点についての韻律の変化量を推定する変化量推定部と、前記絶対値推定規則記憶部の絶対値推定規則により、入力された音韻情報および言語情報に従って、韻律変化点についての韻律の絶対値を推定する絶対値推定部と、韻律変化点については、前記変化量推定部により推定された変化量を前記絶対値推定部により求められた絶対値に対応するよう移動させて韻律を生成し、韻律変化点以外の部分についての韻律を、前記韻律変化点について生成された韻律の間を補間することにより生成する、韻律生成部とを備えたことを特徴とする。
【００１３】
なお、（ア）変化量推定規則記憶部、および（イ）絶対値推定規則記憶部、は、韻律生成装置の内部に含まれていてもよいし、韻律生成装置とは別個の装置として、本発明にかかる韻律生成装置からアクセス可能な状態で設けられていてもよい。あるいは、これらの記憶部を、韻律生成装置が読み取り可能な記録媒体により実現することも可能である。
【００１４】
この第２の韻律生成装置によれば、韻律変化点の変化量を推定することにより、韻律のパタンデータが不要である。従って、韻律生成のために保持すべきデータ量がさらに少なくてすむという利点がある。また、韻律パタンを用いず、韻律変化点の変化量を推定することにより、パタン変形による歪みが生じない。さらに、固定された韻律パタンを持たず、入力された音韻情報および言語情報に合わせて、韻律変化点の変化量を推定するため、より柔軟に韻律情報を生成することができる。
【００１５】
前記第２の韻律生成装置において、前記韻律の変化量が、ピッチの変化量またはパワーの変化量であることが好ましい。
【００１６】
前記第２の韻律生成装置において、前記変化量推定規則は、音声データの韻律変化点の韻律の変化量と、韻律変化点に対応するモーラまたは音節の音韻に関わる属性または言語情報に関わる属性との関係を統計的手法または学習により規則化し、前記音韻に関わる属性および言語情報に関わる属性の少なくとも１つを用いて韻律の変化量を予測する規則であることが好ましい。さらに、この統計的手法が、韻律の変化量を基準変量とした数量化Ｉ類であることが好ましい。
【００１７】
前記第２の韻律生成装置において、前記絶対値推定規則は、音声データの韻律変化点の韻律変化量計算時の基準点の絶対値と、変化点に対応するモーラまたは音節の音韻に関わる属性または言語情報に関わる属性との関係を、統計的手法または学習により規則化し、前記音韻に関わる属性および言語情報に関わる属性の少なくとも１つを用いて韻律変化量計算時の基準点の絶対値を予測する規則であることが好ましい。さらに、この統計的手法が、韻律変化量計算時の基準点の絶対値を基準変量とした数量化Ｉ類、または、韻律変化量計算時の基準点の移動量を基準変量とした数量化Ｉ類であることが好ましい。
【００１８】
前記第１または第２の韻律生成装置において、前記韻律変化点が、アクセント句の句頭、アクセント句の句末、およびアクセント核の少なくともいずれかを含むことが好ましい。
【００１９】
また、前記第１または第２の韻律生成装置において、前記韻律変化点は、音声データの隣接するモーラまたは隣接する音節のピッチの差をΔＰとして、当該ΔＰと直後のΔＰの符号が異なる点であるとすることもできる。さらに、前記韻律変化点は、当該ΔＰと直後のΔＰの絶対値の和があらかじめ定められた値を上回る点であるとしてもよい。
【００２０】
あるいは、前記第１または第２の韻律生成装置において、前記韻律変化点は、音声データの隣接するモーラまたは隣接する音節のピッチの差をΔＰとして、当該ΔＰと直後のΔＰの符号が等しく、且つ、当該ΔＰと直後のΔＰの比（または差）があらかじめ定められた値を上回る点であるとすることもできる。さらに、前記韻律変化点は、（１）前記ΔＰを、隣接するモーラまたは音節のうち後続モーラまたは音節のピッチから、先行するモーラまたは音節のピッチを減じたものとし、当該ΔＰと直後のΔＰの符号が負であり、且つ、当該ΔＰと直後のΔＰの比が、１．５〜２．５の範囲内であらかじめ定められた値を上回る点、あるいは、（２）前記ΔＰを、隣接するモーラまたは音節のうち後続モーラまたは音節のピッチから、先行するモーラまたは音節のピッチを減じたものとし、当該ΔＰと直後のΔＰの符号が負であり、且つ、直前のΔＰの符号が正であり、当該ΔＰと直後のΔＰの比が、１．２〜２．０の範囲内であらかじめ定められた値を上回る点、であるとしてもよい。
【００２１】
前記第１または第２の韻律生成装置において、前記韻律変化点設定部は、音声データの韻律変化点の音韻に関わる属性および言語情報に関わる属性によりあらかじめ定められた韻律変化点抽出規則に従って、入力された音韻情報および言語情報のうち少なくともいずれか１つを用いて韻律変化点を設定することが好ましい。さらに、前記韻律変化点抽出規則は、音声データの隣接するモーラまたは音節が韻律変化点であるか否かの分類と、隣接するモーラまたは音節の音韻に関わる属性または言語情報に関わる属性との関係を、統計的手法または学習により規則化し、前記音韻に関わる属性および言語情報に関わる属性のうち少なくとも１つを用いて韻律変化点であるか否かを予測する規則であることが好ましい。
【００２２】
前記第１または第２の韻律生成装置において、前記韻律変化点は、音声データの隣接するモーラまたは隣接する音節のパワーの差をΔＡとして、当該ΔＡと直後のΔＡの符号が異なる点であるとしてもよい。さらに、前記韻律変化点は、当該ΔＡの絶対値と直後のΔＡの絶対値の和があらかじめ定められた値を上回る点であるとすることもできる。
【００２３】
前記第１または第２の韻律生成装置において、前記韻律変化点は、音声データの隣接するモーラまたは隣接する音節のパワーの差をΔＡとして、当該ΔＡと直後のΔＡの符号が等しく、且つ、当該ΔＡと直後のΔＡの比（または差）があらかじめ定められた値を上回る点であるとしてもよい。
【００２４】
なお、上記した前記隣接するモーラまたは隣接する音節のパワーの差として、隣接するモーラまたは隣接する音節に含まれる母音のパワーの差を用いることができる。
【００２５】
また、前記第１または第２の韻律生成装置において、前記韻律変化点は、音声データの隣接するモーラまたは音節または音素の時間長を音韻の種類毎に標準化した値の差をΔＤとして、（１）当該ΔＤがあらかじめ定められた値を上回る点、または、（２）当該ΔＤと直後のΔＤの符号が異なる点であるとしてもよい。さらに、（２）の場合、前記韻律変化点は、当該ΔＤの絶対値と直後のΔＤの絶対値の和があらかじめ定められた値を上回る点であるとすることもできる。
【００２６】
また、前記第１または第２の韻律生成装置において、前記韻律変化点は、音声データの隣接するモーラまたは音節または音素の時間長を音韻の種類毎に標準化した値の差をΔＤとして、当該ΔＤと直後のΔＤの符号が等しく、且つ、当該ΔＤと直後のΔＤの比（または差）があらかじめ定められた値を上回る点であるとしてもよい。
【００２７】
前記の第１または第２の韻律生成装置において、前記音韻に関わる属性は、（１）アクセント句、文節、ストレス句、もしくは単語についての、音素数、モーラ数、音節数、アクセント位置、アクセントタイプ、アクセント強度、ストレスパタン、もしくはストレス強度、（２）文頭、句頭、アクセント句先頭、文節先頭、もしくは単語先頭からの、モーラ数、音節数、もしくは音素数、（３）文末、句末、アクセント句末、文節の末尾、もしくは単語の末尾からの、モーラ数、音節数、もしくは音素数、（４）隣接するポーズの有無、（５）隣接するポーズの時間長、（６）当該韻律変化点より前で最も近い位置にあるポーズの時間長、および、（７）当該韻律変化点より後で最も近い位置にあるポーズの時間長、（８）当該韻律変化点より前で最も近い位置にあるポーズからの、モーラ数、音節数、もしくは音素数、（９）当該韻律変化点より後で最も近い位置にあるポーズからのモーラ数、音節数、もしくは音素数、（１０）アクセント核あるいはストレス位置からのモーラ数、音節数、もしくは音素数、のいずれか１つ以上であることが好ましい。また、前記の韻律生成装置において、前記言語情報に関わる属性は、アクセント句、文節、ストレス句、または単語についての、品詞、係り受け属性、係り先への距離、係り元への距離、構文における属性、卓立、強調、または意味分類のいずれか１つ以上であることが好ましい。このような変数を用いて定められた選択規則および変形規則を用いることにより、選択の正確さや変形量の推定精度を向上させることができる。
【００２８】
前記第１の韻律生成装置において、前記選択規則は、音声データの韻律パタンを前記代表韻律パタンに対応するクラスタにクラスタリングし、各々の韻律パタンが分類されたクラスタと、各々の韻律パタンの音韻に関わる属性または言語情報に関わる属性との関係を、統計的手法または学習により規則化し、前記音韻に関わる属性および言語情報に関わる属性のうち少なくとも１つを用いて当該韻律変化点を含む韻律パタンが属するクラスタを予測する規則であることが好ましい。
【００２９】
前記の韻律生成装置において、前記変形は、ピッチパタンの周波数軸上での平行移動、または、ピッチパタンの周波数の対数軸上での平行移動であることが好ましい。
【００３０】
前記の韻律生成装置において、前記変形は、パワーパタンの振幅軸上での平行移動、またはパワーパタンのパワー軸上での平行移動であることが好ましい。
【００３１】
前記の韻律生成装置において、前記変形は、ピッチパタンの周波数軸上または対数軸上でのダイナミックレンジの圧縮あるいは伸張であることが好ましい。
【００３２】
前記の韻律生成装置において、前記変形は、パワーパタンの振幅軸上またはパワー軸上でのダイナミックレンジの圧縮あるいは伸張であることが好ましい。
【００３３】
前記の韻律生成装置において、前記変形規則は、音声データの韻律パタンを前記代表韻律パタンに対応するクラスタにクラスタリングし、クラスタ毎の代表韻律パタンを作成し、各々の韻律パタンが属するクラスタの代表韻律パタンとの距離と各々の韻律パタンの音韻に関わる属性または言語情報に関わる属性との関係を統計的手法または学習により規則化し、前記音韻に関わる属性および言語情報に関わる属性の少なくとも１つを用いて選択した韻律パタンを変形する変形量を予測する規則であることが好ましい。
【００３４】
前記の韻律生成装置において、前記変形量が、移動量、ダイナミックレンジの圧縮率、またはダイナミックレンジの伸張率であることが好ましい。
【００３５】
前記の韻律生成装置において、前記統計的手法が、多変量解析、決定木、クラスタの種類を基準変量とした数量化ＩＩ類、クラスタの代表韻律パタンと各々の韻律データとの距離を基準変量とした数量化Ｉ類、クラスタの代表韻律パタンの移動量を基準変量とした数量化Ｉ類、または、クラスタの代表韻律パタンのダイナミックレンジの圧縮率もしくは伸張率を基準変量とした数量化Ｉ類であることが好ましい。
【００３６】
前記の韻律生成装置において、前記学習がニューラルネットを用いることが好ましい。
【００３７】
前記の韻律生成装置において、前記補間が、線形補間、スプライン関数による補間、または、シグモイド曲線による補間であることが好ましい。
【００３８】
さらに、上記の目的を達成するために、本発明にかかる第１の韻律生成方法は、音声情報および言語情報を入力して韻律を生成する韻律生成方法であって、入力された音韻情報および言語情報の少なくともいずれか一方から韻律変化点を設定し、音声データの韻律変化点を含む部分の代表韻律パタンから、韻律変化点を含む部分の音韻に関わる属性または言語情報に関わる属性によりあらかじめ定められた選択規則により韻律パタンを選択し、韻律変化点を含む部分の音韻に関わる属性または言語情報に関わる属性によりあらかじめ定められた変形規則により前記選択した韻律パタンを変形し、韻律変化点を含まない部分については、選択し変形した前記韻律変化点を含む部分の韻律パタンの間を補間することを特徴とする。
【００３９】
この方法によれば、従来のようにアクセント句等を韻律制御単位として使用する方法と異なり、韻律変化点を含む部分を韻律制御単位として用いることによって韻律を生成し、韻律変化点を含まない部分については補間により韻律を生成する。これにより、歪みが少なく自然な韻律を生成することが可能となる。
【００４０】
また、上記の目的を達成するために、本発明にかかる第２の韻律生成方法は、音韻情報および言語情報を入力して韻律を生成する韻律生成方法であって、入力された音韻情報および言語情報の少なくともいずれか一方から韻律変化点を設定し、音声データの韻律変化点の音韻に関わる属性または言語情報に関わる属性によりあらかじめ定められた、韻律変化点についての韻律の変化量推定規則により、入力された音韻情報および言語情報に従って、韻律変化点についての韻律の変化量を推定し、音声データの韻律変化点を含む部分の音韻に関わる属性または言語情報に関わる属性によりあらかじめ定められた、韻律変化点についての韻律の絶対値推定規則により、入力された音韻情報および言語情報に従って、韻律変化点についての韻律の絶対値を推定し、韻律変化点については、前記変化量推定部により推定された変化量を前記絶対値推定部により求められた絶対値に対応するよう移動させて韻律を生成し、韻律変化点以外の部分についての韻律を、前記韻律変化点について生成された韻律の間を補間することにより生成する、ことを特徴とする。
【００４１】
この方法によれば、従来のようにアクセント句等を韻律制御単位として使用する方法と異なり、韻律変化点を含む部分を韻律制御単位として用いることによって韻律を生成し、韻律変化点を含まない部分については補間により韻律を生成する。これにより、歪みが少なく自然な韻律を生成することが可能となる。また、パタンデータが不要であるので、韻律生成のために保持すべきデータ量がさらに少なくてすむという利点がある。
【００４２】
さらに、上記の目的を達成するために、本発明にかかる第１のプログラムは、音韻情報および言語情報を入力して韻律を生成する韻律生成処理をコンピュータに実行させるプログラムであって、前記コンピュータは、（ア）音声データの韻律変化点を含む部分の代表韻律パタンをあらかじめ蓄積した代表韻律パタン記憶部、（イ）音声データの韻律変化点を含む部分の音韻に関わる属性または言語情報に関わる属性によりあらかじめ定められた選択規則を記憶する選択規則記憶部、（ウ）音声データの韻律変化点を含む部分の音韻に関わる属性または言語情報に関わる属性によりあらかじめ定められた変形規則を記憶する変形規則記憶部、を参照可能であり、入力された音韻情報および言語情報の少なくともいずれか一方から韻律変化点を設定し、前記選択規則により、入力された音韻情報および言語情報に従って、前記代表韻律パタン記憶部から代表韻律パタンを選択し、前記パタン選択部により選択された代表韻律パタンを前記変形規則により変形し、韻律変化点を含まない部分については、選択し変形した前記韻律変化点を含む部分の代表韻律パタンの間を補間する処理を、コンピュータに実行させることを特徴とする。
【００４３】
さらに、上記の目的を達成するために、本発明にかかる第２のプログラムは、音韻情報および言語情報を入力して韻律を生成する韻律生成処理をコンピュータに実行させるプログラムであって、前記コンピュータは、（ア）音声データの韻律変化点の音韻に関わる属性または言語情報に関わる属性によりあらかじめ定められた、韻律変化点についての韻律の変化量推定規則を記憶する変化量推定規則記憶部、（イ）音声データの韻律変化点を含む部分の音韻に関わる属性または言語情報に関わる属性によりあらかじめ定められた、韻律変化点についての韻律の絶対値推定規則を記憶する絶対値推定規則記憶部、を参照可能であり、入力された音韻情報および言語情報の少なくともいずれか一方から韻律変化点を設定し、前記変化量推定規則記憶部の推定規則により、入力された音韻情報および言語情報に従って、韻律変化点についての韻律の変化量を推定し、前記絶対値推定規則記憶部の絶対値推定規則により、入力された音韻情報および言語情報に従って、韻律変化点についての韻律の絶対値を推定し、韻律変化点については、前記変化量推定部により推定された変化量を前記絶対値推定部により求められた絶対値に対応するよう移動させて韻律を生成し、韻律変化点以外の部分についての韻律を、前記韻律変化点について生成された韻律の間を補間することにより生成する処理をコンピュータに実行させることを特徴とする。
【００４４】
【発明の実施の形態】
＜第１の実施形態＞
以下、本発明の実施の一形態について、図１および図２を用いて説明する。
【００４５】
図１は、本発明の一実施形態としての韻律生成装置の機能ブロック図であり、図２は、処理過程での情報の例を示した説明図である。
【００４６】
図１に示すように、本実施形態にかかる韻律生成装置は、韻律変化点抽出部１１０、代表韻律パタンテーブル１２０、代表韻律パタン選択規則テーブル１３０、パターン選択部１４０、変形規則テーブル１５０、および韻律生成部１６０を含む。なお、本システムは、これらのすべての機能ブロックを含む単一の装置として構成することもできるし、１ないし２以上の機能ブロックを含む独立した複数の装置の結合によって構成することもできる。後者において、１つの装置が複数の機能ブロックを含む場合、前記の機能ブロックのいずれを含むかは任意である。
【００４７】
韻律変化点抽出部１１０（韻律変化点設定部）は、合成音声用の韻律生成の対象となる音韻列と、アクセント位置やアクセント区切りあるいは品詞や係り受け等の言語情報とを入力信号とし、音韻列中の韻律変化点を抽出する。
【００４８】
代表韻律パタンテーブル１２０は、韻律変化点を含む２モーラのピッチとパワーとをそれぞれクラスタリングし、各クラスタの代表パタンを格納したテーブルである。代表韻律パタン選択規則テーブル１３０は、韻律変化点の属性により代表パタンを選択するための選択規則を格納したテーブルである。パタン選択部１４０は、韻律変化点抽出部１１０より出力された韻律変化点ごとに、代表パタン選択規則テーブル１３０の選択規則に従って、代表韻律パタンテーブル１２０より、代表ピッチパタンおよび代表パワーパタンを選択する。
【００４９】
変形規則テーブル１５０は、代表韻律パタンテーブル１２０に格納されたピッチパタンの周波数の対数軸上の移動量およびパワーパタンのパワーの対数軸上の移動量を決定する規則を格納したテーブルである。なお、前記移動量は対数軸上ではなく、周波数軸上またはパワー軸上の移動量であってもよい。周波数軸またはパワー軸上での変形は簡便である点で有利である。一方、対数軸上での変形は、人間の感覚量に対して線形な軸となり、変形によるひずみが聴感上少ないという利点がある。また、移動は、平行移動であってもよいし、当該軸上でのダイナミックレンジの圧縮または伸張であってもよい。
【００５０】
韻律生成部１６０は、パタン選択部１４０で選択された各韻律変化点に対応するピッチパタンとパワーパタンを、変形規則テーブル１５０の変形規則に従って変形し、韻律変化点に対応するパタンの間を補間して入力された音韻列全体に対応するピッチおよびパワーの情報を生成する。
【００５１】
下記において、以上のように構成された韻律生成装置の動作を、図２の例に従って述べる。
【００５２】
韻律を生成しようとする日本語テキストが、図２のＡ）に示すように、「私の意見が認められたかもしれない。」である場合、図２のＢ）に示す「わたしのいけんが／（無音）みとめられたかもしれない」という音韻列と、図２のＤ）に示す、文節毎の属性としてのモーラ数およびアクセント型とが、韻律変化点抽出部１１０に入力される。
【００５３】
韻律変化点抽出部１１０は、入力された音韻列より、呼気段落頭、呼気段落末、文頭および文末を抽出する。さらに、音韻列および文節属性より、アクセント句の立ちあがりおよびアクセント位置を抽出する。韻律変化点抽出部１１０は、また、呼気段落頭、呼気段落末、文頭、文末、さらにアクセント句とアクセント位置の情報を統合し、図２のＣ）に示す韻律変化点を抽出する。
【００５４】
パタン選択部１４０は、代表パタン選択規則テーブル１３０の規則に従って、代表韻律パタンテーブル１２０より、韻律変化点毎に、図２のＥ）に示すピッチと、パワーのパタンを選択する。
【００５５】
韻律生成部１６０は、パタン選択部１４０で韻律変化点毎に選択されたパタンを、韻律変化点の属性により設定された変形規則テーブル１５０の変形規則に従って、対数軸上で移動する。さらに韻律変化点毎のパタンの間を対数軸上で線形補間を行って、パタンが適用されない音韻に対応するピッチとパワーを生成し、音韻列に対応するピッチパタン、パワーパタンとして出力する。なお、線形補間の代わりに、スプライン関数またはシグモイド曲線による補間を行うことも可能であり、合成音がより滑らかにつながるという利点がある。
【００５６】
代表韻律パタンテーブル１２０に格納するデータは、例えば、実音声より抽出した韻律変化点のピッチパタンあるいはパワーパタンについて、ピッチパタン間またはパワーパタン間の相関をパタンの組み合わせについて計算した相関行列よりパタン間の距離を計算するクラスタリング手法（１９８９年、東洋経済新報社発行、竹内啓他編、統計学辞典参照）によって生成される。また、クラスタリング手法は、これ以外の一般的統計手法によってもよい。
【００５７】
代表韻律パタン選択規則テーブル１３０に格納するデータは、例えば、実音声より抽出した韻律変化点のピッチパタンもしくはパワーパタンの持つ文節の属性、または、呼気段落もしくは文中での位置等の属性といったカテゴリカルデータを説明変数とし、各ピッチパタンまたはパワーパタンがどのカテゴリに分類されるかを基準変数として、数量化ＩＩ類（前記の統計学辞典参照）により求められた各変量の各カテゴリに対応する数値とし、パタン選択規則は、格納された数値を用いた数量化ＩＩ類による予測式であるとする。
【００５８】
なお、代表韻律パタン選択規則テーブル１３０に格納されるデータ数値を求める方法は、これに限らず、例えば、それぞれのピッチパタンまたはパワーパタンが分類されたカテゴリの代表値とそれぞれのパタンとの距離を基準変量とした数量化Ｉ類（前記の統計学辞典参照）、または、前記代表値の移動量を基準変量とした数量化Ｉ類により、求めることもできる。
【００５９】
変形規則テーブル１５０に格納するデータは、例えば、実音声より抽出した韻律変化点のピッチパタンまたはパワーパタンについて、それぞれのピッチパタンまたはパワーパタンが分類されたカテゴリの代表値とそれぞれのパタンとの距離を基準変量とし、それぞれのピッチパタンもしくはパワーパタンの持つ文節の属性や呼気段落もしくは文中の位置のような属性といったカテゴリカルデータを説明変数として、数量化Ｉ類（前記の統計学辞典参照）により求められた各変量の各カテゴリに対応する数値とし、変形規則は格納された数値を用いた数量化Ｉ類による予測式であるとする。前記基準変数としては、前記代表値のダイナミックレンジの圧縮率または伸張率を用いることもできる。
【００６０】
前記カテゴリカルデータとして用いることができるのは、音韻に関わる属性および言語情報に関わる属性である。前記音韻に関わる属性の例として、（１）アクセント句、文節、ストレス句、もしくは単語についての、モーラ数、音節数、アクセント位置、アクセントタイプ、アクセント強度、ストレスパタン、もしくはストレス強度、（２）文頭、句頭、アクセント句先頭、文節先頭、もしくは単語先頭からの、モーラ数、音節数、もしくは音素数、（３）文末、句末、アクセント句末、文節の末尾、もしくは単語の末尾からの、モーラ数、音節数、もしくは音素数、（４）隣接するポーズの有無、（５）隣接するポーズの時間長、（６）当該韻律変化点より前で最も近い位置にあるポーズの時間長、または、（７）当該韻律変化点より後で最も近い位置にあるポーズの時間長等をあげることができる。なお、前記（１）〜（７）のいずれか１つのみを用いてもよいし、複数を組み合わせて用いてもよい。また、前記言語情報に関わる属性としては、アクセント句、文節、ストレス句、または単語についての、品詞、係り受け属性、係り先への距離、係り元への距離、または構文における属性等のうち、いずれか１つ以上を用いることができる。このような変数を用いて定められた選択規則および変形規則を用いることにより、選択の正確さや変形量の推定精度を向上させることができる。
【００６１】
なお、前述の選択規則および変形規則は、統計的手法を用いて生成するものとしたが、統計的手法としては、前述した数量化Ｉ類または数量化ＩＩ類の他に、多変量解析または決定木等を用いることができる。また、統計的手法に限らず、例えばニューラルネットを用いた学習によって生成することも可能である。
【００６２】
以上のように、本実施形態にかかる韻律生成装置によれば、韻律変化点を含む限られた部分のピッチパタンおよびパワーパタンを保持し、パタンの選択および変形の規則を学習あるいは統計的手法によって設定し、パタン間を補間によって求めることにより、韻律の自然性を失わずに韻律を生成することができる。また、保持すべき韻律情報を大幅に減少させることができる。
【００６３】
なお、本実施形態で説明した韻律生成装置の動作をコンピュータに実行させるプログラムとして、本発明を実施することも可能である。
【００６４】
＜第２の実施形態＞
本発明の第２の実施形態について、図３〜図１０を用いて説明する。
【００６５】
本実施形態にかかる韻律生成装置は、（１）自然音声に基づき、代表パタン、パタン選択規則、パタン変形規則、および変化点抽出規則を生成して蓄積する系（パタン・規則生成部）、（２）音韻情報および言語情報を入力し、前述のパタン・規則生成部で蓄積された代表パタンおよび各規則を用いて、韻律情報を生成する系（韻律情報生成部）、の二系統で構成される。本実施形態にかかる韻律生成装置は、これら両方の系を具備する単一の装置として実現することも可能であり、各系を別個の装置として実施することも可能である。以下の説明では、上記の二つの系をそれぞれ別個の装置として実施する例を示す。
【００６６】
図３は、本実施形態の韻律生成装置のうち、前述のパタン・規則生成部として機能するパタン・規則生成装置の構成を示すブロック図である。図４は、前述の韻律情報生成部として機能する韻律情報生成装置の構成を示すブロック図である。図５、図６、図７、図８、図９は、図３のパタン・規則生成装置の動作を示したフローチャートである。図１０は、図４の韻律情報生成装置の動作を示したフローチャートである。
【００６７】
図３に示すように、本実施形態にかかるパタン・規則生成装置は、自然音声データベース２０１０、変化点抽出部２０２０、代表パタン生成部２０３０、代表パタン記憶部２０４０ａ、パタン選択規則生成部２０５０、パタン選択規則テーブル２０６０ａ、パタン変形規則生成部２０７０、パタン変形規則テーブル２０８０ａ、変化点抽出規則生成部２０９０、変化点抽出規則テーブル２１００ａを含む。
【００６８】
また、図４に示すように、本実施形態にかかる韻律情報生成装置は、変化点設定部２１１０、変化点抽出規則テーブル２１００ｂ、パタン選択部２１２０、代表パタン記憶部２０４０ｂ、パタン選択規則テーブル２０６０ｂ、韻律生成部２１３０、パタン変形規則テーブル２０８０ｂを含む。ここで、代表パタン記憶部２０４０ｂには、図３に示すパタン・規則生成装置において代表パタン記憶部２０４０ａに蓄積された代表パタンがコピーされる。これと同様に、パタン選択規則テーブル２０６０ｂ、パタン変形規則テーブル２０８０ｂ、および変化点抽出規則テーブル２１００ｂのそれぞれには、図３に示すパタン・規則生成装置のパタン選択規則テーブル２０６０ａ、パタン変形規則テーブル２０８０ａ、変化点抽出規則テーブル２１００ａのそれぞれに蓄積された規則がコピーされる。なお、パタン・規則生成装置から韻律情報生成装置への代表パタンおよび各種規則のコピーは、韻律情報生成装置の出荷前にのみ実行されることとしても良いし、韻律情報生成装置の使用中にも逐次実行される仕組みとしても良い。後者の場合は、パタン・規則生成装置と韻律情報生成装置との間を適当な通信手段で適宜接続することが必要となる。
【００６９】
ここで、図５〜図８を参照しながら、パタン・規則生成装置の動作について説明する。変化点抽出部２０２０は、自然音声とその音声に対応する音響特性データおよび言語情報を保持する自然音声データベース２０１０より、モーラ毎の基本周波数を抽出する。さらに、抽出したモーラ毎の基本周波数について、直前モーラとの基本周波数の差ΔＰを、以下の式により求める（ステップＳ２０１）。
【００７０】
ΔＰ＝当該モーラ基本周波数−直前モーラ基本周波数
ΔＰが、発話先頭あるいはポーズの直後のモーラとそれに続くモーラとの基本周波数の差である場合、あるいはΔＰが発話末尾のモーラあるいはポーズ直前のモーラとその直前にあるモーラとの基本周波数の差である場合（ステップＳ２０２の結果がＹｅｓ）、当該モーラと直前のモーラとを、韻律変化点として音韻列に対応させて記録する（ステップＳ２０７）。
【００７１】
一方、ステップＳ２０２において、ΔＰが発話先頭あるいはポーズの直後のモーラとそれに続くモーラとの基本周波数の差でなく、且つ、ΔＰが発話末尾のモーラあるいはポーズ直前のモーラとその直前にあるモーラとの基本周波数の差でない場合（ステップＳ２０２の結果がＮｏ）、直前のΔＰの符号と当該ΔＰの符号の組み合わせを判定する（ステップＳ２０３）。
【００７２】
ステップＳ２０３にて、直前のΔＰの符号が負であり、且つ、当該ΔＰの符号が正である場合（ステップＳ２０３の結果がＹｅｓ）、当該モーラと直前のモーラを韻律変化点として音韻列に対応させて記録する（ステップＳ２０７）。一方、ステップＳ２０３において、直前のΔＰの符号が負で無いか、あるいは当該ΔＰの符号が正で無い場合（ステップＳ２０３の結果がＮｏ）、さらに直前のΔＰの符号と、当該ΔＰの符号との組み合わせを判定する（ステップＳ２０４）。
【００７３】
ステップＳ２０４において直前のΔＰの符号が正で且つその前のΔＰの符号が負の場合（ステップＳ２０４の結果がＹｅｓ）、当該ΔＰと直後のΔＰとを比較する（ステップＳ２０５）。ステップＳ２０５において当該ΔＰが、直後のΔＰの値の１．５倍より大きい場合（ステップＳ２０５の結果がＹｅｓ）、当該モーラと直前のモーラを韻律変化点として音韻列に対応させて記録する（ステップＳ２０７）。ステップＳ２０４において直前のΔＰの符号が正でないあるいはその前のΔＰの符号が負で無い場合（ステップＳ２０４の結果がＮｏ）、当該ΔＰと直前のΔＰとを比較する（ステップＳ２０６）。ステップＳ２０６において当該ΔＰが直前のΔＰの２．０倍より大きい場合（ステップＳ２０６の結果がＹｅｓ）、当該モーラと直前のモーラを韻律変化点として音韻列に対応させて記録する（ステップＳ２０７）。
【００７４】
ステップＳ２０５において当該ΔＰが直後のΔＰの１．５倍を超えない場合、あるいは、ステップＳ２０６において当該ΔＰの絶対値が直前のΔＰの２．０倍の絶対値を超えない場合は、当該モーラと直前のモーラを韻律変化点ではないとして音韻列に対応させて記録する（ステップＳ２０８）。
【００７５】
以上のように、変化点抽出部２０２０は、音韻列から、連続する２モーラで表される韻律変化点を抽出し、音韻列に対応させて記憶する。なお、ここでは、連続する隣接モーラのΔＰの比に基づいて韻律変化点であるか否かを判断したが、隣接モーラのΔＰの差に基づいて判断してもよい。
【００７６】
代表パタン生成部２０３０は、図６に示すように、変化点抽出部２０２０で抽出された変化点について、各変化点毎に、変化点の２モーラ分の基本周波数パタンと音源振幅パタンとを、自然音声データベース２０１０より抽出する（ステップＳ２１１）。代表パタン生成部２０３０は、ステップＳ２１１で抽出された基本周波数パタンと音源振幅パタンとをそれぞれにクラスタリングし（ステップＳ２１２）、生成されたクラスタ毎に、クラスタ内のデータの重心を求める（ステップＳ２１３）。代表パタン生成部２０３０は、さらに、求めたクラスタ毎の重心のパタンを、各クラスタの代表パタンとして代表パタン記憶部２０４０ａに格納する（ステップＳ２１４）。
【００７７】
パタン選択規則生成部２０５０は、図７に示すように、代表パタン生成部２０３０でクラスタに分類された各変化点のデータについて、まず、変化点の２モーラに対応する言語情報を、自然音声データベース２０１０より抽出する（ステップＳ２２１）。本実施形態では、言語情報は、文節内のモーラ位置、標準アクセント位置からの距離、読点からの距離、品詞とする。２モーラ分の音韻列と言語情報を説明変数とし、代表パタン生成部２０３０でどのクラスタに分類されたかを基準変量として、決定木を用いた解析により、パタン選択の規則を生成する（ステップＳ２２２）。パタン選択規則生成部２０５０は、ステップＳ２２２で生成された規則を、変化点の代表パタンの選択規則として、パタン選択規則テーブル２０６０ａに蓄積する（ステップＳ２２３）。
【００７８】
パタン変形規則生成部２０７０は、図８に示すように、変化点抽出部２０２０で抽出された変化点について、各変化点毎に、変化点の２モーラ分の基本周波数の最大値と音源振幅のうちの最大値とを自然音声データベース２０１０より抽出する（ステップＳ２３１）。さらに、各変化点に対応する音韻情報を含む言語情報を抽出する（ステップＳ２３２）。本実施形態では、音韻情報は、変化点の２モーラのそれぞれの音素列とし、言語情報は、文節内のモーラ位置、標準アクセント位置からの距離、読点からの距離、品詞とする。パタン変形規則生成部２０７０は、ステップＳ２３２で抽出した音韻情報および言語情報を説明変数とし、ステップＳ２３１で求めた基本周波数と音源振幅の最大値を基準変量として、基本周波数と音源振幅をそれぞれに数量化Ｉ類モデルをあてはめ、基本周波数の最大値の推定規則と音源振幅の最大値の推定規則とを生成する（ステップＳ２３３）。パタン変形規則生成部２０７０は、ステップＳ２３３で生成した基本周波数の最大値推定規則を基本周波数パタンの対数周波数軸上の移動規則として、音源振幅の最大値推定規則を音源振幅パタンの振幅値の対数軸上での移動規則として、パタン変形規則テーブル２０８０ａに格納する（ステップＳ２３４）。
【００７９】
変化点抽出規則生成部２０９０は、図９に示すように、変化点抽出部２０２０により変化点か変化点でないかの情報が付加された音韻列に対応する言語情報を、自然音声データベース２０１０より抽出する（ステップＳ２４１）。本実施形態では、言語情報は、文節属性、品詞、文節内のモーラ位置、標準アクセント位置からの距離、読点からの距離とする。音韻情報としてのモーラ種類とステップＳ２４１で抽出した言語情報を説明変数とし、各モーラが変化点である、または変化点ではない、のいずれに属するか、すなわち変化点抽出部２０２０の処理結果を基準変量として、数量化ＩＩ類モデルを当てはめ、各モーラが変化点であるか否かを音韻情報と言語情報から判定する変化点抽出規則を生成し（ステップＳ２４２）、変化点抽出規則テーブル２１００ａに格納する（ステップＳ２４３）。
【００８０】
以上のように、パタン・規則生成装置において、代表パタン、パタン選択規則、パタン変形規則、および変化点抽出規則が生成され、代表パタン記憶部２０４０ａ、パタン選択規則テーブル２０６０ａ、パタン変形規則テーブル２０８０ａ、および変化点抽出規則テーブル２１００ａにそれぞれ格納される。そして、代表パタン記憶部２０４０ａ、パタン選択規則テーブル２０６０ａ、パタン変形規則テーブル２０８０ａ、および変化点抽出規則テーブル２１００ａに蓄積されたパタンおよび規則は、図４の韻律情報生成装置の代表パタン記憶部２０４０ｂ、パタン選択規則テーブル２０６０ｂ、パタン変形規則テーブル２０８０ｂ、および変化点抽出規則テーブル２１００ｂのそれぞれにコピーされる。
【００８１】
次に、韻律情報生成装置の動作について、図１０を参照しながら説明する。
【００８２】
韻律情報生成装置は、図４にも示したように、音韻情報と言語情報を入力する（ステップＳ２５１）。本実施形態では、音韻情報は、モーラ区切り記号のついた音素列であり、言語情報は、文節属性、品詞、文節内のモーラ位置、標準アクセント位置からの距離、読点からの距離であるものとする。
【００８３】
変化点設定部２１１０は、ステップＳ２５１で入力した音韻情報および言語情報に基づき、図３のパタン・規則生成装置で蓄積された変化点抽出規則を格納した変化点抽出規則テーブル２１００ｂを参照して、数量化ＩＩ類モデルを用いて各音韻が韻律変化点であるか否かを推定することにより、音韻列上の韻律変化点の位置を推定する（ステップＳ２５２）。
【００８４】
次に、パタン選択部２１２０が、変化点設定部２１１０によって設定された変化点毎に、変化点に対応する音素列と言語情報を用いて、図３のパタン・規則生成装置で蓄積されたパタン選択規則を格納したパタン選択規則テーブル２０６０ｂを参照して、決定木により変化点の基本周波数および音源振幅のそれぞれについて変化点が所属するクラスタを推定し、代表パタン記憶部２０４０ｂより該当するクラスタの代表パタンを、当該の変化点に対応する基本周波数パタンおよび音源振幅パタンとして取得する（ステップＳ２５３）。
【００８５】
韻律生成部２１３０は、図３のパタン・規則生成装置で蓄積されたパタン変形規則を格納したパタン変形規則テーブル２０８０ｂを参照して、数量化Ｉ類モデルを用いて当該変化点の基本周波数パタンの対数周波数軸上での最大値と、音源振幅の対数軸上での最大値を推定し（ステップＳ２５４）、ステップＳ２５３で取得した基本周波数パタンを対数周波数軸上で最大値を基準に移動する。また、同様に、ステップＳ２５３で取得した音源振幅パタンも、対数軸上で最大値を基準に移動する（ステップＳ２５５）。
【００８６】
次に、韻律生成部２１３０は、変化点以外の音韻に対応する基本周波数と音源振幅を、変化点に設定された基本周波数パタンおよび音源振幅パタンの間を、対数軸上の直線で補間することで、全ての音韻に対する基本周波数および音源振幅の値を生成し（ステップＳ２５６）、出力する（ステップＳ２５７）。
【００８７】
この方法によれば、従来のようにアクセント句等の、変化点を複数含む複雑でバリエーションの多い単位を韻律制御単位として使用する方法と異なり、入力された音韻と言語情報から規則によって韻律変化点を自動的に設定し、韻律変化点を韻律制御単位として用いて、各韻律変化点の韻律情報を個別に決定し、変化点以外の部分の韻律情報を補間により生成する。これにより、少ないパタンデータから、歪みが少なく自然な韻律を生成することが可能となる。なお、本実施形態では、韻律変化点のみを韻律制御単位として用いて韻律情報を生成する例を示したが、韻律変化点のみならず、例えば、韻律変化点に隣接する１モーラ、または１音節、あるいは１音素を含む部分を韻律制御単位として用いてもよい。
【００８８】
本実施形態では、パタン・規則生成装置および韻律情報生成装置の各々に、代表パタン記憶部、パタン選択規則テーブル、パタン変形規則テーブル、および変化点抽出規則テーブルを別個に設けて、パタン・規則生成装置で蓄積された代表パタンおよび各種規則を韻律情報生成装置へコピーするものとした。しかし、この構成以外に、パタン・規則生成装置および韻律情報生成装置が、一系統の代表パタン記憶部、パタン選択規則テーブル、パタン変形規則テーブル、および変化点抽出規則テーブルを共有する構成も可能である。この場合、例えば、代表パタン記憶部は、少なくとも代表パタン生成部２０３０とパタン選択部２１２０の双方からアクセス可能であればよい。また、上述したように、パタン・規則生成部および韻律情報生成部を単一の装置に搭載した構成としても良く、この場合は、一系統の代表パタン記憶部、パタン選択規則テーブル、パタン変形規則テーブル、および変化点抽出規則テーブルを備えればすむことは言うまでもない。
【００８９】
また、図３に示したパタン・規則生成装置の代表パタン記憶部２０４０ａ、パタン選択規則テーブル２０６０ａ、パタン変形規則テーブル２０８０ａ、および変化点抽出規則テーブル２１００ａの少なくともいずれか一つの内容を、例えばＤＶＤ等の記憶媒体にコピーし、この記憶媒体を、図４に示した韻律情報生成装置が、代表パタン記憶部２０４０ｂ、パタン選択規則テーブル２０６０ｂ、パタン変形規則テーブル２０８０ｂ、変化点抽出規則テーブル２１００ｂとして参照する構成とすることも可能である。
【００９０】
なお、図１０のフローチャートに示した動作をコンピュータに実行させるプログラムとして、本発明を実施することも可能である。
【００９１】
＜第３の実施形態＞
本発明の第３の実施形態としての韻律生成装置について、図１１〜図１５を用いて説明する。
【００９２】
本実施形態にかかる韻律生成装置は、（１）自然音声に基づき、変化量推定規則および絶対値推定規則を生成して蓄積する系（推定規則生成部）、（２）音韻情報および言語情報を入力し、前述の推定規則生成部で蓄積された変化量推定規則および絶対値推定規則を用いて、韻律情報を生成する系（韻律情報生成部）、の二系統で構成される。本実施形態にかかる韻律生成装置は、これら両方の系を実施する一つの装置として実現することも可能であり、各系を別個の装置として実施することも可能である。なお、以下の説明では、上記の二つの系をそれぞれ別個の装置として実施する例を示す。
【００９３】
図１１は、本実施形態の韻律生成装置のうち、前述の推定規則生成部の機能を有する推定規則生成装置の構成を示すブロック図である。図１２は、韻律情報生成部の機能を有する韻律情報生成装置の構成を示すブロック図である。図１３および図１４は、図１１の推定規則生成装置の動作を示したフローチャートであり、図１５は、図１２の韻律情報生成装置の動作を示したフローチャートである。
【００９４】
図１１に示すように、本実施形態にかかる韻律生成装置の推定規則生成装置は、自然音声データベース２０１０、変化点抽出部３０２０、変化量計算部３０３０、変化量推定規則生成部３０４０、変化量推定規則テーブル３０５０ａ、絶対値推定規則生成部３０６０、絶対値推定規則テーブル３０７０ａを含む。
【００９５】
図１２に示すように、本実施形態にかかる韻律生成装置の韻律情報生成装置は、変化点設定部３１１０、変化量推定部３１２０、変化量推定規則テーブル３０５０ｂ、絶対値推定部３１３０、絶対値推定規則テーブル３０７０ｂ、韻律生成部３１４０を含む。
【００９６】
まず、図１１に示した推定規則生成装置の動作について、図１３および図１４を参照しながら説明する。推定規則生成装置において、変化点抽出部３０２０は、自然音声とその音声に対応する音響特性データおよび言語情報を保持する自然音声データベース２０１０より、テキストより生成された言語情報としての標準アクセント句の句頭２音節、アクセント句末２音節、アクセント核とその直後の音節を、変化点として抽出する（ステップＳ３０１）。
【００９７】
次に、変化量計算部３０３０は、ステップＳ３０１で抽出された変化点の各々について、変化点２音節についての基本周波数および音源振幅のそれぞれの変化量を、以下の式で計算する（ステップＳ３０２）。
【００９８】
【００９９】
また、絶対値推定規則生成部３０６０は、ステップＳ３０１で変化点抽出部３０２０により変化点として抽出された２音節のうち前の音節に対応する基本周波数および音源振幅を、自然音声データベース２０１０より抽出する（ステップＳ３１１）。さらに、絶対値推定規則生成部３０６０は、変化点として抽出された２音節のうち前の音節に対応する音韻情報と言語情報とを、自然音声データベース２０１０より抽出する（ステップＳ３１２）。本実施形態では、音韻情報は音節の音声学的分類であり、言語情報は文節内の音節位置、標準アクセント位置からの距離、読点からの距離、品詞であるとする。
【０１００】
また、絶対値推定規則生成部３０６０は、各変化点の２音節のうち前の音節の基本周波数と音源振幅の絶対値をそれぞれ求める。そして、求めた各絶対値に対して、音韻情報と言語情報を説明変数とし、それぞれの絶対値を基準変量として、数量化Ｉ類による推定規則を生成する（ステップＳ３１３）。生成された規則は、絶対値推定規則として絶対値推定規則テーブルに蓄積される（ステップＳ３１４）。
【０１０１】
以上のように、推定規則生成装置により、変化量推定規則および絶対値推定規則が変化量推定規則テーブル３０５０ａおよび絶対値推定規則テーブル３０７０ａに蓄積される。そして、図１２に示す韻律情報生成装置の変化量推定規則テーブル３０５０ｂおよび絶対値推定規則テーブル３０７０ｂには、変化量推定規則テーブル３０５０ａおよび絶対値推定規則テーブル３０７０ａに蓄積された変化量推定規則および絶対値推定規則がコピーされる。
【０１０２】
ここで、図１２に示す韻律情報生成装置の動作について、図１５を参照しながら説明する。韻律情報生成装置は、図１２にも示したように、音韻情報と言語情報を入力する（ステップＳ３２１）。本実施形態では、音韻情報は音節の音声学的分類であり、言語情報は文節内の音節位置、標準アクセント位置からの距離、読点からの距離、品詞、文節属性、係り受け距離であるとする。
【０１０３】
変化点設定部３１１０は、入力された言語情報のうちの標準アクセント句の情報に基づき、音韻列上での変化点の位置を設定する（ステップＳ３２２）。なお、ここでは、変化点設定部３１１０が入力言語情報に従い韻律変化点を設定するものとしたが、これに限らず、音声データの韻律変化点の音韻に関わる属性および言語情報に関わる属性によりあらかじめ定められた韻律変化点抽出規則に従って、韻律変化点を設定するものとしてもよい。ただし、この場合は、第２の実施形態と同様に、変化点設定部３１１０が参照可能な変化点抽出規則テーブルを設ける必要がある。
【０１０４】
変化量推定部３１２０は、図１１の推定規則生成装置で蓄積された変化量推定規則を格納した変化量推定規則テーブル３０５０ｂを参照して、入力された音韻情報および言語情報を用いて、変化点毎に基本周波数変化量と音源振幅の変化量を、数量化Ｉ類モデルを利用して推定する（ステップＳ３２３）。
【０１０５】
絶対値推定部３１３０は、図１１の推定規則生成装置で蓄積された絶対値推定規則を格納した絶対値推定規則テーブル３０７０ｂを参照して、入力された音韻情報および言語情報を用いて、変化点毎に２音節のうち前の音節の基本周波数と音源振幅の絶対値を、数量化Ｉ類モデルを利用して推定する（ステップＳ３２４）。
【０１０６】
韻律生成部３１４０は、ステップＳ３２３で推定した変化点毎の基本周波数の変化量と音源振幅の変化量を、ステップＳ３２４で推定した２音節のうち前の音節の基本周波数と音源振幅の絶対値に合わせて対数軸上で移動させて、変化点の基本周波数と音源振幅を決定する（ステップＳ３２５）。さらに、韻律生成部３１４０は、変化点以外の音韻に対する基本周波数と音源振幅の情報を、補間により求める。すなわち、韻律生成部３１４０は、変化点以外の区間を挟む変化点（つまり変化点以外の区間の両端に位置する二つの変化点）の音節を用いて、スプライン関数で補間を行うことにより、変化点以外の基本周波数と音源振幅の情報を生成し（ステップＳ３２６）、入力された全音韻列に対する基本周波数と音源振幅の情報を出力する（ステップＳ３２７）。
【０１０７】
この方法によれば、従来のようにアクセント句等の、変化点を複数含む複雑でバリエーションの多い単位を韻律生成単位として使用する方法と異なり、言語情報から設定される韻律変化点の韻律情報を変化量として推定し、変化点以外の部分の韻律情報を補間により生成する。これにより、パタンデータとして大量のデータを保持することなく歪みが少なく自然な韻律を生成することが可能となる。
【０１０８】
本実施形態では、推定規則生成装置および韻律情報生成装置の各々に、変化量推定規則テーブルおよび絶対値推定規則テーブルを別個に設けて、推定規則生成装置で蓄積された推定規則を、韻律情報生成装置へコピーするものとした。しかし、この構成以外に、推定規則生成装置および韻律情報生成装置が、一系統の変化量推定規則テーブルおよび絶対値推定規則テーブルを共有する構成も可能である。この場合、例えば、変化量推定規則テーブルは、少なくとも、変化量推定規則生成部３０４０および変化量推定部３１２０の双方からアクセス可能であればよい。また、上述したように、推定規則生成部および韻律情報生成部を単一の装置に搭載した構成としても良く、この場合は、一系統の変化量推定規則テーブルおよび絶対値推定規則テーブルを備えればすむ。
【０１０９】
また、図１１に示した推定規則生成装置の変化量推定規則テーブル３０５０ａおよび絶対値推定規則テーブル３０７０ａの少なくともいずれか一つの内容を、例えばＤＶＤ等の記憶媒体にコピーし、この記憶媒体を、図１２に示した韻律情報生成装置が、変化量推定規則テーブル３０５０ｂ、絶対値推定規則テーブル３０７０ｂとして参照する構成とすることも可能である。
【０１１０】
なお、図１５のフローチャートに示した動作をコンピュータに実行させるプログラムとして、本発明を実施することも可能である。
【０１１１】
＜第４の実施形態＞
本発明の第４の実施形態としての韻律生成装置について、図１６を用いて説明する。
【０１１２】
なお、本実施形態にかかる韻律生成装置は、第２の実施形態と概ね同様であるが、変化点抽出部２０２０の動作のみが第２の実施形態と異なる。従って、変化点抽出部２０２０の動作についてのみ説明する。
【０１１３】
本実施形態にかかる韻律生成装置のパタン・規則生成装置では、変化点抽出部２０２０は、自然音声とその音声に対応する音響特性データおよび言語情報を保持する自然音声データベース２０１０よりモーラ毎の母音中心点での音源波形の振幅値を抽出する。抽出した音源波形の振幅値を、モーラの種類で分類し、モーラの種類毎にＺ変換により標準化する。標準化した音源波形の振幅値、すなわち音源波形の振幅のＺスコアを、モーラのパワー（Ａ）とする（ステップＳ４０１）。次に、変化点抽出部２０２０は、モーラ毎のパワー（Ａ）について、直前モーラとのパワー（Ａ）の差をΔＡとして、以下の式により求める（ステップＳ４０２）。
【０１１４】
ΔＡ ＝ 当該モーラのパワー − 直前モーラのパワー
ΔＡが発話先頭あるいはポーズの直後のモーラとそれに続くモーラとのパワーの差である場合、あるいはΔＡが発話末尾のモーラあるいはポーズ直前のモーラとその直前にあるモーラとのパワーの差である場合（ステップＳ４０３）、当該モーラと直前のモーラを韻律変化点として音韻列に対応させて記録する（ステップＳ４０６）。
【０１１５】
ステップＳ４０３においてΔＡが発話先頭あるいはポーズの直後のモーラとそれに続くモーラとのパワーの差でなく、且つ、ΔＡが発話末尾のモーラあるいはポーズ直前のモーラとその直前にあるモーラとのパワーの差でない場合、直前のΔＡの符号と当該ΔＡの符号とを比較する（ステップＳ４０４）。ステップＳ４０４において、直前のΔＡの符号と当該ΔＡの符号とが異なる場合、当該モーラと直前のモーラを韻律変化点として音韻列に対応させて記録する（ステップＳ４０６）。
【０１１６】
ステップＳ４０４において、直前のΔＡの符号と当該ΔＡの符号とが一致する場合、当該ΔＡと直後のΔＡとを比較する（ステップＳ４０５）。ステップＳ４０５において、当該ΔＡの絶対値が、直後のΔＡを１．５倍したものの絶対値より大きい場合、当該モーラと直前のモーラを韻律変化点として音韻列に対応させて記録する（ステップＳ４０６）。ステップＳ４０５において、当該ΔＡの絶対値が、直後のΔＡを１．５倍したものの絶対値以下の場合、当該モーラと直前のモーラを韻律変化点以外として音韻列に対応させて記録する（ステップＳ４０７）。なお、ここではΔＡの比に基づいて韻律変化点であるか否かを判断したが、ΔＡの差に基づいて判断することもできる。
【０１１７】
＜実施の形態５＞
本発明の第５の実施形態としての韻律生成装置について、図１７を用いて説明する。
【０１１８】
なお、本実施形態にかかる韻律生成装置も、第２の実施形態と概ね同様であるが、変化点抽出部２０２０の動作のみが第２の実施形態と異なる。従って、変化点抽出部２０２０の動作についてのみ説明する。
【０１１９】
本実施形態にかかる韻律生成装置のパタン・規則生成装置において、変化点抽出部２０２０は、自然音声とその音声に対応する音響特性データおよび言語情報を保持する自然音声データベース２０１０より、音素毎の継続時間長を抽出する。抽出した継続時間長のデータを音素の種類で分類し、音素の種類毎にＺ変換により標準化する。標準化した音素時間長を標準化音素時間長（Ｄ）とする（ステップＳ５０１）。
【０１２０】
当該音素が発話先頭あるいはポーズの直後に位置する場合（ステップＳ５０２）、当該音素を含むモーラを韻律変化点として音韻列に対応させて記録する（ステップＳ５０５）。ステップＳ５０２において、当該音素が発話先頭あるいはポーズの直後の音素でない場合、標準化音素時間長（Ｄ）について、直前音素の標準化音素時間長（Ｄ）との差の絶対値をΔＤとする（ステップＳ５０３）。
【０１２１】
次に、変化点抽出部２０２０は、ΔＤを１と比較する（ステップＳ５０４）。Ｓ５０４においてΔＤが１より大きい場合、当該音素を含むモーラを韻律変化点として音韻列に対応させて記録する（ステップＳ５０５）。Ｓ５０４においてΔＤが１以下の場合、当該音素を含むモーラを韻律変化点以外として音韻列に対応させて記録する（ステップＳ５０７）。
【０１２２】
【発明の効果】
以上のように、本発明によれば、韻律変化点を含む部分の韻律パタンを用い、あらかじめ定められた選択規則および変形規則に従って韻律を生成し、韻律変化点を含まない部分の韻律パタン間を補間によって求めることで、韻律の自然性を失わずに韻律を生成することができる。
【図面の簡単な説明】
【図１】本発明にかかる第１の実施形態の韻律生成装置の構成を示すブロック図
【図２】前記韻律生成装置における韻律生成処理の過程を示す説明図
【図３】本発明にかかる第２の実施形態の韻律生成装置のうち、パタン・規則生成装置の構成を示すブロック図
【図４】本発明にかかる第２の実施形態の韻律生成装置のうち、韻律情報生成装置の構成を示すブロック図
【図５】第２の実施形態におけるパタン・規則生成装置の動作の一部を示すフローチャート
【図６】第２の実施形態におけるパタン・規則生成装置の動作の一部を示すフローチャート
【図７】第２の実施形態におけるパタン・規則生成装置の動作の一部を示すフローチャート
【図８】第２の実施形態におけるパタン・規則生成装置の動作の一部を示すフローチャート
【図９】第２の実施形態におけるパタン・規則生成装置の動作の一部を示すフローチャート
【図１０】第２の実施形態における韻律情報生成装置の動作を示すフローチャート
【図１１】本発明にかかる第３の実施形態の韻律生成装置のうち、規則生成部に相当する構成を示すブロック図
【図１２】本発明にかかる第３の実施形態の韻律生成装置のうち、韻律情報生成装置に相当する構成を示すブロック図
【図１３】第３の実施形態における規則生成部の動作の一部を示したフローチャート
【図１４】第３の実施形態における規則生成部の動作の一部を示したフローチャート
【図１５】第３の実施形態における韻律情報生成装置の動作を示したフローチャート
【図１６】第４の実施形態における変化点抽出部の動作を示したフローチャート
【図１７】第５の実施形態における変化点抽出部の動作を示したフローチャート
【符号の説明】
１１０ 韻律変化点抽出部
１２０ 代表韻律パタンテーブル
１３０ 代表韻律パタン選択規則テーブル
１４０ パタン選択部
１５０ 変形規則テーブル
１６０ 韻律生成部
２０１０ 自然音声データベース
２０２０ 変化点抽出部
２０３０ 代表パタン生成部
２０４０ａ，２０４０ｂ 代表パタン記憶部
２０５０ パタン選択規則生成部
２０６０ａ，２０６０ｂ パタン選択規則テーブル
２０７０ パタン変形規則生成部
２０８０ａ，２０８０ｂ パタン変形規則テーブル
２０９０ 変化点抽出規則生成部
２１００ａ，２１００ｂ 変化点抽出規則テーブル
２１１０ 変化点設定部
２１２０ パタン選択部
２１３０ 韻律生成部
３０２０ 変化点抽出部
３０３０ 変化量計算部
３０４０ 変化量推定規則生成部
３０５０ａ，３０５０ｂ 変化量推定規則テーブル
３０６０ 絶対値推定規則生成部
３０７０ａ，３０７０ｂ 絶対値推定規則テーブル
３１１０ 変化点設定部
３１２０ 変化量推定部
３１３０ 絶対値推定部
３１４０ 韻律生成部
Claims (60)
- 音韻情報および言語情報を入力して韻律を生成する韻律生成装置であって、
（ア）音声データの韻律変化点を含む部分の代表韻律パタンをあらかじめ蓄積した代表韻律パタン記憶部、（イ）音声データの韻律変化点を含む部分の音韻に関わる属性または言語情報に関わる属性によりあらかじめ定められた選択規則を記憶する選択規則記憶部、（ウ）音声データの韻律変化点を含む部分の音韻に関わる属性または言語情報に関わる属性によりあらかじめ定められた変形規則を記憶する変形規則記憶部、を参照可能であり、
入力された音韻情報および言語情報の少なくともいずれか一方から韻律変化点を設定する韻律変化点設定部と、
前記選択規則により、入力された音韻情報および言語情報に従って、前記代表韻律パタン記憶部から代表韻律パタンを選択するパタン選択部と、
前記パタン選択部により選択された代表韻律パタンを前記変形規則により変形し、韻律変化点を含まない部分については、選択し変形した前記韻律変化点を含む部分の代表韻律パタンの間を補間する韻律生成部とを備えたことを特徴とする韻律生成装置。 - 前記代表韻律パタンが、ピッチパタンである請求項１に記載の韻律生成装置。
- 前記代表韻律パタンが、パワーパタンである請求項１に記載の韻律生成装置。
- 前記代表韻律パタンは、音声データの韻律変化点を含む部分のパタンを統計的手法によりクラスタリングし、得られたクラスタごとに生成されたパタンである、請求項１〜３のいずれか一項に記載の韻律生成装置。
- 音韻情報および言語情報を入力して韻律を生成する韻律生成装置であって、
（ア）音声データの韻律変化点の音韻に関わる属性または言語情報に関わる属性によりあらかじめ定められた、韻律変化点についての韻律の変化量推定規則を記憶する変化量推定規則記憶部、（イ）音声データの韻律変化点を含む部分の音韻に関わる属性または言語情報に関わる属性によりあらかじめ定められた、韻律変化点についての韻律の絶対値推定規則を記憶する絶対値推定規則記憶部、を参照可能であり、
入力された音韻情報および言語情報の少なくともいずれか一方から韻律変化点を設定する韻律変化点設定部と、
前記変化量推定規則記憶部の推定規則により、入力された音韻情報および言語情報に従って、韻律変化点についての韻律の変化量を推定する変化量推定部と、前記絶対値推定規則記憶部の絶対値推定規則により、入力された音韻情報および言語情報に従って、韻律変化点についての韻律の絶対値を推定する絶対値推定部と、
韻律変化点については、前記変化量推定部により推定された変化量を前記絶対値推定部により求められた絶対値に対応するよう移動させて韻律を生成し、韻律変化点以外の部分についての韻律を、前記韻律変化点について生成された韻律の間を補間することにより生成する、韻律生成部とを備えたことを特徴とする韻律生成装置。 - 前記韻律の変化量が、ピッチの変化量である請求項５に記載の韻律生成装置。
- 前記韻律の変化量が、パワーの変化量である請求項５に記載の韻律生成装置。
- 前記変化量推定規則は、音声データの韻律変化点の韻律の変化量と、韻律変化点に対応するモーラまたは音節の音韻に関わる属性または言語情報に関わる属性との関係を統計的手法または学習により規則化し、前記音韻に関わる属性および言語情報に関わる属性の少なくとも１つを用いて韻律の変化量を予測する規則である、請求項５に記載の韻律生成装置。
- 前記絶対値推定規則は、音声データの韻律変化点の韻律変化量計算時の基準点の絶対値と、変化点に対応するモーラまたは音節の音韻に関わる属性または言語情報に関わる属性との関係を、統計的手法または学習により規則化し、前記音韻に関わる属性および言語情報に関わる属性の少なくとも１つを用いて韻律変化量計算時の基準点の絶対値を予測する規則である、請求項５に記載の韻律生成装置。
- 前記統計的手法が、韻律の変化量を基準変量とした数量化Ｉ類である、請求項８に記載の韻律生成装置。
- 前記統計的手法が、韻律変化量計算時の基準点の絶対値を基準変量とした数量化Ｉ類である、請求項９に記載の韻律生成装置。
- 前記統計的手法が、韻律変化量計算時の基準点の移動量を基準変量とした数量化Ｉ類である、請求項９に記載の韻律生成装置。
- 前記韻律変化点が、アクセント句の句頭、アクセント句の句末、およびアクセント核の少なくともいずれかを含む、請求項１または５に記載の韻律生成装置。
- 前記韻律変化点は、音声データの隣接するモーラまたは隣接する音節のピッチの差をΔＰとして、当該ΔＰと直後のΔＰの符号が異なる点であるとする、請求項１または５に記載の韻律生成装置。
- 前記韻律変化点は、当該ΔＰと直後のΔＰの絶対値の和があらかじめ定められた値を上回る点であるとする、請求項１３に記載の韻律生成装置。
- 前記韻律変化点は、音声データの隣接するモーラまたは隣接する音節のピッチの差をΔＰとして、当該ΔＰと直後のΔＰの符号が等しく、且つ、当該ΔＰと直後のΔＰの比があらかじめ定められた値を上回る点であるとする、請求項１または５に記載の韻律生成装置。
- 前記韻律変化点は、音声データの隣接するモーラまたは隣接する音節のピッチの差をΔＰとして、当該ΔＰと直後のΔＰの符号が等しく、且つ、当該ΔＰと直後のΔＰの差があらかじめ定められた値を上回る点であるとする、請求項１または５に記載の韻律生成装置。
- 前記韻律変化点は、前記ΔＰを、隣接するモーラまたは音節のうち後続モーラまたは音節のピッチから、先行するモーラまたは音節のピッチを減じたものとし、当該ΔＰと直後のΔＰの符号が負であり、且つ、当該ΔＰと直後のΔＰの比が、１．５〜２．５の範囲内であらかじめ定められた値を上回る点であるとする、請求項１７に記載の韻律生成装置。
- 前記韻律変化点は、前記ΔＰを、隣接するモーラまたは音節のうち後続モーラまたは音節のピッチから、先行するモーラまたは音節のピッチを減じたものとし、当該ΔＰと直後のΔＰの符号が負であり、且つ、直前のΔＰの符号が正であり、当該ΔＰと直後のΔＰの比が、１．２〜２．０の範囲内であらかじめ定められた値を上回る点であるとする、請求項１７に記載の韻律生成装置。
- 前記韻律変化点設定部は、音声データの韻律変化点の音韻に関わる属性および言語情報に関わる属性によりあらかじめ定められた韻律変化点抽出規則に従って、入力された音韻情報および言語情報のうち少なくともいずれか１つを用いて韻律変化点を設定する、請求項１または５に記載の韻律生成装置。
- 前記韻律変化点抽出規則は、音声データの隣接するモーラまたは音節が韻律変化点であるか否かの分類と、隣接するモーラまたは音節の音韻に関わる属性または言語情報に関わる属性との関係を、統計的手法または学習により規則化し、前記音韻に関わる属性および言語情報に関わる属性のうち少なくとも１つを用いて韻律変化点であるか否かを予測する規則である、請求項２０に記載の韻律生成装置。
- 前記韻律変化点は、音声データの隣接するモーラまたは隣接する音節のパワーの差をΔＡとして、当該ΔＡと直後のΔＡの符号が異なる点であるとする、請求項１または５に記載の韻律生成装置。
- 前記韻律変化点は、当該ΔＡの絶対値と直後のΔＡの絶対値の和があらかじめ定められた値を上回る点であるとする、請求項２２に記載の韻律生成装置。
- 前記韻律変化点は、音声データの隣接するモーラまたは隣接する音節のパワーの差をΔＡとして、当該ΔＡと直後のΔＡの符号が等しく、且つ、当該ΔＡと直後のΔＡの比があらかじめ定められた値を上回る点であるとする、請求項１または５に記載の韻律生成装置。
- 前記韻律変化点は、音声データの隣接するモーラまたは隣接する音節のパワーの差をΔＡとして、当該ΔＡと直後のΔＡの符号が等しく、且つ、当該ΔＡと直後のΔＡの差があらかじめ定められた値を上回る点であるとする、請求項１または５に記載の韻律生成装置。
- 前記隣接するモーラまたは隣接する音節のパワーの差として、隣接するモーラまたは隣接する音節に含まれる母音のパワーの差を用いる、請求項２２〜２５のいずれか一項に記載の韻律生成装置。
- 前記韻律変化点は、音声データの隣接するモーラまたは音節または音素の時間長を音韻の種類毎に標準化した値の差をΔＤとして、当該ΔＤがあらかじめ定められた値を上回る点であるとする、請求項１または５に記載の韻律生成装置。
- 前記韻律変化点は、音声データの隣接するモーラまたは音節または音素の時間長を音韻の種類毎に標準化した値の差をΔＤとして、当該ΔＤと直後のΔＤの符号が異なる点であるとする、請求項１または５に記載の韻律生成装置。
- 前記韻律変化点は、当該ΔＤの絶対値と直後のΔＤの絶対値の和があらかじめ定められた値を上回る点であるとする、請求項２５に記載の韻律生成装置。
- 前記韻律変化点は、音声データの隣接するモーラまたは音節または音素の時間長を音韻の種類毎に標準化した値の差をΔＤとして、当該ΔＤと直後のΔＤの符号が等しく、且つ、当該ΔＤと直後のΔＤの比があらかじめ定められた値を上回る点であるとする、請求項１または５に記載の韻律生成装置。
- 前記韻律変化点は、音声データの隣接するモーラまたは音節または音素の時間長を音韻の種類毎に標準化した値の差をΔＤとして、当該ΔＤと直後のΔＤの符号が等しく、且つ、当該ΔＤと直後のΔＤの差があらかじめ定められた値を上回る点であるとする、請求項１または５に記載の韻律生成装置。
- 前記音韻に関わる属性は、（１）アクセント句、文節、ストレス句、もしくは単語についての、音素数、モーラ数、音節数、アクセント位置、アクセントタイプ、アクセント強度、ストレスパタン、もしくはストレス強度、（２）文頭、句頭、アクセント句先頭、文節先頭、もしくは単語先頭からの、モーラ数、音節数、もしくは音素数、（３）文末、句末、アクセント句末、文節の末尾、もしくは単語の末尾からの、モーラ数、音節数、もしくは音素数、（４）隣接するポーズの有無、（５）隣接するポーズの時間長、（６）当該韻律変化点より前で最も近い位置にあるポーズの時間長、（７）当該韻律変化点より後で最も近い位置にあるポーズの時間長、（８）当該韻律変化点より前で最も近い位置にあるポーズからの、モーラ数、音節数、もしくは音素数、（９）当該韻律変化点より後で最も近い位置にあるポーズからのモーラ数、音節数、もしくは音素数、（１０）アクセント核あるいはストレス位置からのモーラ数、音節数、もしくは音素数、のうちのいずれか１つ以上である、請求項１または５に記載の韻律生成装置。
- 前記言語情報に関わる属性は、アクセント句、文節、ストレス句、または単語についての、品詞、係り受け属性、係り先への距離、係り元への距離、構文における属性、卓立、強調、または意味分類のうちのいずれか１つ以上である、請求項１または５に記載の韻律生成装置。
- 前記選択規則は、音声データの韻律パタンを前記代表韻律パタンに対応するクラスタにクラスタリングし、各々の韻律パタンが分類されたクラスタと、各々の韻律パタンの音韻に関わる属性または言語情報に関わる属性との関係を、統計的手法または学習により規則化し、前記音韻に関わる属性および言語情報に関わる属性のうち少なくとも１つを用いて当該韻律変化点を含む韻律パタンが属するクラスタを予測する規則である、請求項１に記載の韻律生成装置。
- 前記変形は、ピッチパタンの周波数軸上での平行移動である、請求項２、４、３２〜３４のいずれか一項に記載の韻律生成装置。
- 前記変形は、ピッチパタンの周波数の対数軸上での平行移動である、請求項２、４、３２〜３４のいずれか一項に記載の韻律生成装置。
- 前記変形は、パワーパタンの振幅軸上での平行移動である、請求項３、４、３２〜３４のいずれか一項に記載の韻律生成装置。
- 前記変形は、パワーパタンのパワー軸上での平行移動である、請求項３、４、３２〜３４のいずれか一項に記載の韻律生成装置。
- 前記変形は、ピッチパタンの周波数軸上でのダイナミックレンジの圧縮あるいは伸張である、請求項３、４、３２〜３４のいずれか一項に記載の韻律生成装置。
- 前記変形は、ピッチパタンの対数軸上でのダイナミックレンジの圧縮あるいは伸張である、請求項３、４、３２〜３４のいずれか一項に記載の韻律生成装置。
- 前記変形は、パワーパタンの振幅軸上でのダイナミックレンジの圧縮あるいは伸張である、請求項２、４、３２〜３４のいずれか一項に記載の韻律生成装置。
- 前記変形は、パワーパタンのパワー軸上でのダイナミックレンジの圧縮あるいは伸張である、請求項２、４、３２〜３４のいずれか一項に記載の韻律生成装置。
- 前記変形規則は、音声データの韻律パタンを前記代表韻律パタンに対応するクラスタにクラスタリングし、クラスタ毎の代表韻律パタンを作成し、各々の韻律パタンが属するクラスタの代表韻律パタンとの距離と各々の韻律パタンの音韻に関わる属性または言語情報に関わる属性との関係を統計的手法または学習により規則化し、前記音韻に関わる属性および言語情報に関わる属性の少なくとも１つを用いて選択した韻律パタンを変形する変形量を予測する規則である、請求項１〜４、３２〜４２のいずれか一項に記載の韻律生成装置。
- 前記変形量が、移動量、ダイナミックレンジの圧縮率、またはダイナミックレンジの伸張率である、請求項４３に記載の韻律生成装置。
- 前記統計的手法が多変量解析である、請求項８、９、２１、３４、および４３のいずれか一項に記載の韻律生成装置。
- 前記統計的手法が決定木である、請求項２１または３４に記載の韻律生成装置。
- 前記統計的手法が、クラスタの種類を基準変量とした数量化ＩＩ類である、請求項２１または３４に記載の韻律生成装置。
- 前記統計的手法が、クラスタの代表韻律パタンと各々の韻律データとの距離を基準変量とした数量化Ｉ類である、請求項３４または４３に記載の韻律生成装置。
- 前記統計的手法が、クラスタの代表韻律パタンの移動量を基準変量とした数量化Ｉ類である、請求項４３に記載の韻律生成装置。
- 前記統計的手法が、クラスタの代表韻律パタンのダイナミックレンジの圧縮率または伸張率を基準変量とした数量化Ｉ類である、請求項４３に記載の韻律生成装置。
- 前記学習がニューラルネットを用いる、請求項８、９、２１、３４、４３のいずれか一項に記載の韻律生成装置。
- 前記補間が線形補間である、請求項１〜５１のいずれか一項に記載の韻律生成装置。
- 前記補間がスプライン関数による補間である、請求項１〜５１のいずれか一項に記載の韻律生成装置。
- 前記補間がシグモイド曲線による補間である、請求項１〜５１のいずれか一項に記載の韻律生成装置。
- 前記パワーは、モーラまたは音節のパワーを音韻の種類毎に標準化した値である、請求項３，２２，３７，３８，４１，４２のいずれか一項に記載の韻律生成装置。
- 前記パワーは、モーラまたは音節の音源波形の振幅値である、請求項３，２２，３７，３８，４１，４２のいずれか一項に記載の韻律生成装置。
- 音声情報および言語情報を入力して韻律を生成する韻律生成方法であって、
入力された音韻情報および言語情報の少なくともいずれか一方から韻律変化点を設定し、
音声データの韻律変化点を含む部分の代表韻律パタンから、韻律変化点を含む部分の音韻に関わる属性または言語情報に関わる属性によりあらかじめ定められた選択規則により韻律パタンを選択し、
韻律変化点を含む部分の音韻に関わる属性または言語情報に関わる属性によりあらかじめ定められた変形規則により前記選択した韻律パタンを変形し、韻律変化点を含まない部分については選択し変形した前記韻律変化点を含む部分の韻律パタンの間を補間することを特徴とする韻律生成方法。 - 音韻情報および言語情報を入力して韻律を生成する韻律生成方法であって、
入力された音韻情報および言語情報の少なくともいずれか一方から韻律変化点を設定し、
音声データの韻律変化点の音韻に関わる属性または言語情報に関わる属性によりあらかじめ定められた、韻律変化点についての韻律の変化量推定規則により、入力された音韻情報および言語情報に従って、韻律変化点についての韻律の変化量を推定し、
音声データの韻律変化点を含む部分の音韻に関わる属性または言語情報に関わる属性によりあらかじめ定められた、韻律変化点についての韻律の絶対値推定規則により、入力された音韻情報および言語情報に従って、韻律変化点についての韻律の絶対値を推定し、
韻律変化点については、前記変化量推定部により推定された変化量を前記絶対値推定部により求められた絶対値に対応するよう移動させて韻律を生成し、韻律変化点以外の部分についての韻律を、前記韻律変化点について生成された韻律の間を補間することにより生成する、ことを特徴とする韻律生成方法。 - 音韻情報および言語情報を入力して韻律を生成する韻律生成処理をコンピュータに実行させるプログラムであって、
前記コンピュータは、（ア）音声データの韻律変化点を含む部分の代表韻律パタンをあらかじめ蓄積した代表韻律パタン記憶部、（イ）音声データの韻律変化点を含む部分の音韻に関わる属性または言語情報に関わる属性によりあらかじめ定められた選択規則を記憶する選択規則記憶部、（ウ）音声データの韻律変化点を含む部分の音韻に関わる属性または言語情報に関わる属性によりあらかじめ定められた変形規則を記憶する変形規則記憶部、を参照可能であり、
入力された音韻情報および言語情報の少なくともいずれか一方から韻律変化点を設定し、
前記選択規則により、入力された音韻情報および言語情報に従って、前記代表韻律パタン記憶部から代表韻律パタンを選択し、
前記パタン選択部により選択された代表韻律パタンを前記変形規則により変形し、韻律変化点を含まない部分については、選択し変形した前記韻律変化点を含む部分の代表韻律パタンの間を補間する処理を、コンピュータに実行させることを特徴とするプログラム。 - 音韻情報および言語情報を入力して韻律を生成する韻律生成処理をコンピュータに実行させるプログラムであって、
前記コンピュータは、（ア）音声データの韻律変化点の音韻に関わる属性または言語情報に関わる属性によりあらかじめ定められた、韻律変化点についての韻律の変化量推定規則を記憶する変化量推定規則記憶部、（イ）音声データの韻律変化点を含む部分の音韻に関わる属性または言語情報に関わる属性によりあらかじめ定められた、韻律変化点についての韻律の絶対値推定規則を記憶する絶対値推定規則記憶部、を参照可能であり、
入力された音韻情報および言語情報の少なくともいずれか一方から韻律変化点を設定し、
前記変化量推定規則記憶部の推定規則により、入力された音韻情報および言語情報に従って、韻律変化点についての韻律の変化量を推定し、
前記絶対値推定規則記憶部の絶対値推定規則により、入力された音韻情報および言語情報に従って、韻律変化点についての韻律の絶対値を推定し、
韻律変化点については、前記変化量推定部により推定された変化量を前記絶対値推定部により求められた絶対値に対応するよう移動させて韻律を生成し、韻律変化点以外の部分についての韻律を、前記韻律変化点について生成された韻律の間を補間することにより生成する処理をコンピュータに実行させることを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002063640A JP3560590B2 (ja) | 2001-03-08 | 2002-03-08 | 韻律生成装置および韻律生成方法並びにプログラム |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001-65401 | 2001-03-08 | ||
| JP2001065401 | 2001-03-08 | ||
| JP2002063640A JP3560590B2 (ja) | 2001-03-08 | 2002-03-08 | 韻律生成装置および韻律生成方法並びにプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002333897A JP2002333897A (ja) | 2002-11-22 |
| JP3560590B2 true JP3560590B2 (ja) | 2004-09-02 |
Family
ID=26610896
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002063640A Expired - Fee Related JP3560590B2 (ja) | 2001-03-08 | 2002-03-08 | 韻律生成装置および韻律生成方法並びにプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3560590B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005202014A (ja) * | 2004-01-14 | 2005-07-28 | Sony Corp | 音声信号処理装置、音声信号処理方法および音声信号処理プログラム |
| JP4720974B2 (ja) * | 2004-12-21 | 2011-07-13 | 株式会社国際電気通信基礎技術研究所 | 音声発生装置およびそのためのコンピュータプログラム |
| US20060229877A1 (en) * | 2005-04-06 | 2006-10-12 | Jilei Tian | Memory usage in a text-to-speech system |
| JP4716116B2 (ja) * | 2006-03-10 | 2011-07-06 | 株式会社国際電気通信基礎技術研究所 | 音声情報処理装置、およびプログラム |
| JP4736962B2 (ja) * | 2006-06-01 | 2011-07-27 | 日産自動車株式会社 | キーワード選択方法、音声認識方法、キーワード選択システム、およびキーワード選択装置 |
| JP5012444B2 (ja) * | 2007-11-14 | 2012-08-29 | 富士通株式会社 | 韻律生成装置、韻律生成方法、および、韻律生成プログラム |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05108085A (ja) * | 1991-10-19 | 1993-04-30 | Ricoh Co Ltd | 音声合成装置 |
| JP3271513B2 (ja) * | 1996-03-09 | 2002-04-02 | 日本ビクター株式会社 | 情報信号処理方法及び情報信号処理装置 |
| JP3667950B2 (ja) * | 1997-09-16 | 2005-07-06 | 株式会社東芝 | ピッチパターン生成方法 |
| JP3583929B2 (ja) * | 1998-09-01 | 2004-11-04 | 日本電信電話株式会社 | ピッチパタン変形方法及びその記録媒体 |
-
2002
- 2002-03-08 JP JP2002063640A patent/JP3560590B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002333897A (ja) | 2002-11-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8738381B2 (en) | Prosody generating devise, prosody generating method, and program | |
| US11763797B2 (en) | Text-to-speech (TTS) processing | |
| JPH08263097A (ja) | 音声のワードを認識する方法及び音声のワードを識別するシステム | |
| JPH09114495A (ja) | ピッチ輪郭を決定するためのシステムおよび方法 | |
| JPH10116089A (ja) | 音声合成用の基本周波数テンプレートを収容する韻律データベース | |
| JPH1195783A (ja) | 音声情報処理方法 | |
| Bellegarda et al. | Statistical prosodic modeling: from corpus design to parameter estimation | |
| JP5807921B2 (ja) | 定量的ｆ０パターン生成装置及び方法、ｆ０パターン生成のためのモデル学習装置、並びにコンピュータプログラム | |
| JP3560590B2 (ja) | 韻律生成装置および韻律生成方法並びにプログラム | |
| JP2001265375A (ja) | 規則音声合成装置 | |
| JP2006227589A (ja) | 音声合成装置および音声合成方法 | |
| JP2009069179A (ja) | 基本周波数パターン生成装置、基本周波数パターン生成方法及びプログラム | |
| Liao et al. | Speaker adaptation of SR-HPM for speaking rate-controlled Mandarin TTS | |
| JP2003186489A (ja) | 音声情報データベース作成システム，録音原稿作成装置および方法，録音管理装置および方法，ならびにラベリング装置および方法 | |
| Chen et al. | A statistics-based pitch contour model for Mandarin speech | |
| JP5874639B2 (ja) | 音声合成装置、音声合成方法及び音声合成プログラム | |
| Wen et al. | Prosody Conversion for Emotional Mandarin Speech Synthesis Using the Tone Nucleus Model. | |
| KR100806287B1 (ko) | 문말 억양 예측 방법 및 이를 기반으로 하는 음성합성 방법및 시스템 | |
| Chen et al. | A Mandarin Text-to-Speech System | |
| Wang et al. | Emotional voice conversion for mandarin using tone nucleus model–small corpus and high efficiency | |
| JP4684770B2 (ja) | 韻律生成装置及び音声合成装置 | |
| Ishi et al. | Mora F0 representation for accent type identification in continuous speech and considerations on its relation with perceived pitch values | |
| JP6137708B2 (ja) | 定量的ｆ０パターン生成装置、ｆ０パターン生成のためのモデル学習装置、並びにコンピュータプログラム | |
| Rao | Modeling supra-segmental features of syllables using neural networks | |
| JP2007163667A (ja) | 音声合成装置および音声合成プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040519 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040525 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3560590 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090604 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100604 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100604 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110604 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120604 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120604 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130604 Year of fee payment: 9 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |