JP4999757B2 - 音声分析合成装置、音声分析合成方法、コンピュータプログラム、および記録媒体 - Google Patents

Description

本発明は、入力された音声信号の発話速度を所望の速度に変換した音声信号を出力することができる、音声分析合成装置、音声分析合成方法、コンピュータプログラム、および記録媒体に関するものである。

これまでに、与えられた音声信号の発話スタイルを変換して音声を合成する方法として、音声スペクトルに着目した方法が提案されている（例えば、非特許文献１を参照）。しかしながら、音声スペクトルのみからでは、発話スタイルの特徴をうまく捉えることが困難であり、現時点では十分な品質が得られないという問題がある。

音声を調音運動の観点から捉え、調音運動に基づき発話スタイルを変換させる方法は、上記の音声スペクトルを用いる場合と比較して、より直感的であり、精度が良くなることが期待される。しかしながら、調音運動と音声スペクトルとの間の非線形な写像関係により、調音運動に基づき変換した発話スタイルの特徴が、写像後の音声スペクトルにうまく反映されないという問題がある（例えば、特許文献１を参照）。

最も基本的な発話スタイルの制御として、話速の変換があるが、音声信号そのものに時間軸伸縮を施すと、基本周波数も変化してしまうという問題があるため、ピッチ同期分析を用いることが提案されている（例えば、非特許文献２を参照）。しかしながら、ピッチ同期分析を行うために必要なピッチマークの抽出において、従来のＬＰＣ（線形予測係数）予測残差信号の絶対値の閾値処理に基づく方法では、特に基本周波数の高い女声においてピッチマークをうまく抽出できないことが知られている（例えば、非特許文献３を参照）。また、ピッチ同期分析は、固定窓長および固定フレームシフト長を用いた音声信号の分析方法と比較して、基本周波数の影響を受けない、安定な音声スペクトルや音源情報の抽出が可能であることが知られている（例えば、非特許文献３を参照）。

音声の合成において、単一パルス系列と白色雑音を切り換える駆動音源を用いた場合では、合成される音声信号の品質が良くないことが問題となる。そこで、単一パルス系列の代わりに、位相等化音声信号との誤差が最小になるように決定されたマルチパルス系列を用いる手法があるが、有声と無声が切り替わる部分においてバズ的な音声を生じる問題がある（例えば、特許文献２を参照）。一方、バズ的な音声を改善する方法として、周波数帯域毎の有声／無声判定に基づき、単一パルス系列と白色雑音、を混合する駆動音源が提案されているが、さらなる品質の向上が必要とされている（例えば、非特許文献４参照）。
Tachibana,M.,Yamagishi,J.,Masuko,T.,and Kobayashi,T.,"Speech synthesis with various emotional expressions and speaking styles by style interpolation and morphing,"IEICE Trans．Information and Systems，E88-D, 11, pp．2484-2491(2005). Moulines，E., and Charpentier，F.,"Pitch-synchronous waveform processing techniques for text-to-speech synthesis using diphones,"Speech Communication,9,pp.453-467(1990). Miyoshi，Y.,Yamato,K.,Mizoguchi.R.,Yanagida,M.,and Kakusho,O.,"Analysis of speech signals of short pitch period by a sample-selective linear prediction,"IEEE Trans. Signal Processing, 35, 9, pp. 1233-1240(1987).. McCree, A.V.,and Barnwell,T.P.,"A mixed excitation LPC vocoder model for low bit rate speech coding," IEEE Trans. Speech and Audio Processing,3,4, pp. 242-249(1995). 特許第３４１２７９８号公報 特公平７−８２３６０号公報

調音運動に基づく発話スタイルの変換において、上記の特許文献１で提案されている調音パラメータから音声スペクトルへの写像を用いた場合、十分な品質の音声信号を合成できないという問題がある。従って、調音パラメータから音声スペクトルへの写像処理を介さずに、発話スタイルの変換に関わる調音パラメータの特徴を、直接音声スペクトルの変換に生かす技術が必要となる。

本発明は、斯かる実情に鑑みなされたものであり、本発明の目的は、入力音声の各部分ごとの局所的な発話速度を、所望の速度に変換した音声を出力することができるようにし、入力音声の発話速度の局所的なばらつきを少なくし、聞き取りやすい音声を出力することができる、音声分析合成装置、音声分析合成方法、コンピュータプログラム、および記録媒体を提供することにある。

本発明は上記課題を解決するためになされたものであり、同時測定された音声を音声信号として計測すると共に調音運動の計測データを収集するデータ入力部と、前記計測データを分析する音声分析部と、前記音声分析部の分析結果に所定の変換を施す音声変換部と、前記音声変換部の変換結果を基に音声を合成するボコーダ型の音声合成部とを備える音声分析合成装置であって、前記音声分析部は、前記音声信号から音声区間を検出すると共に、前記音声区間における基本周波数を算出する基本周波数計算部と、前記基本周波数を用いて、ピッチ周期に応じたパルス系列を持つピッチ波形を生成するパルス系列生成部と、前記音声信号を基に線型予測分析を行いＬＰＣ（線型予測分析）係数を算出するＬＰＣ係数計算部と、前記音声信号と、前記ＬＰＣ係数をフィルタ係数に持つ逆フィルタとによりＬＰＣ予測残差波形を算出するＬＰＣ残差計算部と、前記ＬＰＣ係数からＬＳＰ（線スペクトル対）係数を算出するＬＳＰ係数計算部と、前記検出した音声区間内で、前記ＬＰＣ予測残差波形の絶対値と、前記ピッチ波形の絶対値との相互相関を最大にするピッチマークを抽出するピッチマーク計算部と、前記検出した音声区間内で、前記音声信号と、前記ピッチマークと、前記ＬＰＣ予測残差波形とを基に、音声信号の位相成分を一定の位相に等化した位相等化音声を生成する位相等化音声計算部と、前記検出した音声区間内で、前記位相等化音声を基に位相等化パルス音源モデルのフィルタ係数を算出する位相等化パルス音源フィルタ計算部と、前記検出した音声区間内で、前記音声信号に基いて予め定められた算出方法で周波数帯域毎の音声強度を算出する有声強度計算部と、前記検出した音声区間内で、前記音声信号に基いて予め定められた算出方法で白色雑音ゲインを算出する白色雑音ゲイン計算部と、を備え、前記音声変換部は、前記調音運動の計測データを基に、調音パラメータの速度を調音速度として算出する調音速度計算部と、前記調音速度に応じて前記ＬＳＰ係数に所定の変換を施すＬＳＰ係数変換部と、前記調音速度に応じて前記基本周波数に所定の変換を施す基本周波数変換部と、前記調音速度に応じて前記位相等化パルス音源モデルのフィルタ係数に所定の変換を施す位相等化パルス音源フィルタ変換部と、前記調音速度に応じて前記白色雑音ゲインに所定の変換を施す白色雑音ゲイン変換部と、前記調音速度に応じて前記周波数帯域毎の音声強度に所定の変換を施す有声強度変換部と、を備え、前記音声合成部は、前記基本周波数変換部において変換された基本周波数と、前記位相等化パルス音源フィルタ変換部により変換されたフィルタ係数と、前記位相等化パルス音源モデルとに基づいて、位相等化パルス音源を生成すると共に、前記有声強度変換部において変換された周波数帯域毎の音声強度に基いて、有声帯域においては前記生成した位相等化パルス音源を混合し、無声帯域では白色雑音を混合した駆動音源を生成する駆動音源生成部と、前記ＬＳＰ係数変換部により変換されたＬＳＰ係数と前記駆動音源の出力信号とから音声信号を合成する畳み込み演算部と、を備え、前記有声強度計算部が前記音声強度を算出する場合、前記白色雑音ゲイン計算部が前記白色雑音ゲインを算出する場合、および、前記駆動音源生成部が前記位相等化パルス音源を生成する場合、分析窓長を２ピッチ周期分として算出または生成する、ことを特徴とする音声分析合成装置である。

また、本発明は、前記音声合成部が、前記ＬＳＰ係数変換部により変換されたＬＳＰ係数をＬＰＣ係数に変換するＬＰＣ係数計算部を有し、前記畳み込み演算部が、前記ＬＰＣ係数計算部において変換されたＬＰＣ係数と前記駆動音源の出力信号とを畳み込むことにより音声信号を合成する、ことを特徴とする記載の音声分析合成装置である。

また、本発明は、前記音声変換部のＬＳＰ係数変換部と基本周波数変換部と位相等化パルス音源フィルタ変換部と白色雑音ゲイン変換部と有声強度変換部とは、それぞれ、時刻ｔにおける調音速度として、調音パラメータをｘ_ｔ，ｉ（ｉ＝１，・・・，ｎ：唇や舌などの水平および垂直位置）とした場合のＲＭＳ距離ｄｘ_ｔを使用し、「ｄｘ_ｔ＝ｓｑｒｔ（Σ_ｉ（ｘ_ｔ，ｉ−ｘ_{ｔ−１，ｉ}）×（ｘ_ｔ，ｉ−ｘ_{ｔ−１，ｉ}）／ｎ）、ここで、ｓｑｒｔは根号、調音速度の単位はｍｍ」、また、音声区間全体の調音速度の和を、音声区間全体の長さ（フレーム数）で割った、平均調音速度ａｖｅｄｘを算出し、さらに、すべての時刻ｔにおいて、「ｄｘ_ｋ＜＝ｔ×ａｖｅｄｘ、かつｄｘ_ｋ＋１＞ｔ×ａｖｅｄｘ」となるｋを求め、時刻ｔにおけるパラメータを、次の式により線型補間すること、「（（ｄｘ_ｋ＋１−ｔ×avedx）×ｐ_ｋ＋（ｔ×avedx−ｄｘ_ｋ）×ｐ_ｋ＋１）／（ｄｘ_ｋ＋１−ｄｘ_ｋ）、ここで、Ｐ_ｋは、時刻ｋにおける、前記ＬＳＰ係数、基本周波数、位相等化パルス音源のフィルタ係数、白色雑音ゲイン、または、周波数帯域毎の有声強度」、を特徴とする音声分析合成装置である。

また、本発明は、同時測定された音声を音声信号として計測すると共に調音運動の計測データを収集するデータ入力部と、前記計測データを分析する音声分析部と、前記音声分析部の分析結果に所定の変換を施す音声変換部と、前記音声変換部の変換結果を基に音声を合成するボコーダ型の音声合成部とを備える音声分析合成装置における音声分析合成方法であって、前記音声分析部により、前記音声信号から音声区間を検出すると共に、前記音声区間における基本周波数を算出する基本周波数計算手順と、前記基本周波数を用いて、ピッチ周期に応じたパルス系列を持つピッチ波形を生成するパルス系列生成手順と、前記音声信号を基に線型予測分析を行いＬＰＣ（線型予測分析）係数を算出するＬＰＣ係数計算手順と、前記音声信号と、前記ＬＰＣ係数をフィルタ係数に持つ逆フィルタとによりＬＰＣ予測残差波形を算出するＬＰＣ残差計算手順と、前記ＬＰＣ係数からＬＳＰ（線スペクトル対）係数を算出するＬＳＰ係数計算手順と、前記検出した音声区間内で、前記ＬＰＣ予測残差波形の絶対値と、前記ピッチ波形の絶対値との相互相関を最大にするピッチマークを抽出するピッチマーク計算手順と、前記検出した音声区間内で、前記音声信号と、前記ピッチマークと、前記ＬＰＣ予測残差波形とを基に、音声信号の位相成分を一定の位相に等化した位相等化音声を生成する位相等化音声計算手順と、前記検出した音声区間内で、前記位相等化音声を基に位相等化パルス音源モデルのフィルタ係数を算出する位相等化パルス音源フィルタ計算手順と、前記検出した音声区間内で、前記音声信号に基いて予め定められた算出方法で周波数帯域毎の音声強度を算出する有声強度計算手順と、前記検出した音声区間内で、前記音声信号に基いて予め定められた算出方法で白色雑音ゲインを算出する白色雑音ゲイン計算手順と、が行われ、前記音声変換部により、前記調音運動の計測データを基に、調音パラメータの速度を調音速度として算出する調音速度計算手順と、前記調音速度に応じて前記ＬＳＰ係数に所定の変換を施すＬＳＰ係数変換手順と、前記調音速度に応じて前記基本周波数に所定の変換を施す基本周波数変換手順と、前記調音速度に応じて前記位相等化パルス音源モデルのフィルタ係数に所定の変換を施す位相等化パルス音源フィルタ変換手順と、前記調音速度に応じて前記白色雑音ゲインに所定の変換を施す白色雑音ゲイン変換手順と、前記調音速度に応じて前記周波数帯域毎の音声強度に所定の変換を施す有声強度変換手順と、を行われ、前記音声合成部により、前記基本周波数変換手順において変換された基本周波数と、前記位相等化パルス音源フィルタ変換手順により変換されたフィルタ係数と、前記位相等化パルス音源モデルとに基づいて、位相等化パルス音源を生成すると共に、前記有声強度変換手順において変換された周波数帯域毎の音声強度に基いて、有声帯域においては前記生成した位相等化パルス音源を混合し、無声帯域では白色雑音を混合した駆動音源を生成する駆動音源生成手順と、前記ＬＳＰ係数変換手順により変換されたＬＳＰ係数と前記駆動音源の出力信号とから音声信号を合成する畳み込み演算手順と、が行われ、前記有声強度計算手順において前記音声強度が算出される場合、前記白色雑音ゲイン計算手順において前記白色雑音ゲインが算出される場合、および、前記駆動音源生成手順において前記位相等化パルス音源が生成される場合、分析窓長を２ピッチ周期分として算出または生成される、ることを特徴とする音声分析合成方法である。

また、本発明は、前記音声合成部により、前記ＬＳＰ係数変換手順により変換されたＬＳＰ係数をＬＰＣ係数に変換するＬＰＣ係数計算手順が行われ、前記畳み込み演算手順で、前記ＬＰＣ係数計算手順において変換されたＬＰＣ係数と前記駆動音源の出力信号とを畳み込むことにより音声信号を合成する、ことを特徴とする音声分析合成方法である。

また、本発明は、前記音声変換部によるＬＳＰ係数変換手順と基本周波数変換手順と位相等化パルス音源フィルタ変換手順と白色雑音ゲイン変換手順と有声強度変換手順とで、それぞれ、前記音声変換部により、時刻ｔにおける調音速度として、調音パラメータをｘ_ｔ，ｉ（ｉ＝１，・・・，ｎ：唇や舌などの水平および垂直位置）とした場合のＲＭＳ距離ｄｘ_ｔを使用する手順と、「ｄｘ_ｔ＝ｓｑｒｔ（Σ_ｉ（ｘ_ｔ，ｉ−ｘ_{ｔ−１，ｉ}）×（ｘ_ｔ，ｉ−ｘ_{ｔ−１，ｉ}）／ｎ）、ここで、ｓｑｒｔは根号、調音速度の単位はｍｍ」、また、音声区間全体の調音速度の和を、音声区間全体の長さ（フレーム数）で割った、平均調音速度ａｖｅｄｘを算出する手順と、さらに、すべての時刻ｔにおいて、「ｄｘ_ｋ＜＝ｔ×ａｖｅｄｘ、かつｄｘ_ｋ＋１＞ｔ×ａｖｅｄｘ」となるｋを求め、時刻ｔにおけるパラメータを、次の式により線型補間する手順と、「（（ｄｘ_ｋ＋１−ｔ×avedx）×ｐ_ｋ＋（ｔ×avedx−ｄｘ_ｋ）×ｐ_ｋ＋１）／（ｄｘ_ｋ＋１−ｄｘ_ｋ）、ここで、Ｐ_ｋは、時刻ｋにおける、前記ＬＳＰ係数、基本周波数、位相等化パルス音源フィルタ係数、白色雑音ゲイン、または、周波数帯域毎の有声強度」、が行われることを特徴とする音声分析合成方法である。

また、本発明は、音声と調音運動の計測データを収集するデータ入力部と、前記計測データを分析する音声分析部と、前記音声分析部の分析結果に所定の変換を施す音声変換部と、前記音声変換部の変換結果を基に音声を合成するボコーダ型の音声合成部とを備える音声分析合成装置内のコンピュータに、上述の手順を実行させるためのコンピュータプログラムである。

また、本発明は、上述のコンピュータプログラムを格納すること特徴とするコンピュータ読み取り可能な記録媒体である。

本発明の音声分析合成装置および音声分析合成方法においては、音声分析部おいて、音声信号から、音声スペクトルや音源のパラメータ等を抽出し、また音声変換部により、調音パラメータの速度情報に基づき、音声スペクトルや音源のパラメータ等に所定の変換を施し、ボコーダ型の音声合成器で音声信号を生成するようにしたので、これにより、様々な発話スタイルを与える、高品質な音声を合成することができる。このため、例えば、入力音声の声の高さ（ピッチ）を変えずに、入力音声の各部分ごとの局所的な発話速度を、所望の速度に変換した音声を出力することができる。すなわち、発話速度が速い部分を遅くし、遅い部分は速くするという変換により、入力音声の発話速度の局所的なばらつきを少なくし、聞き取りやすい音声を得ることができる。

また、本発明の音声分析合成装置および音声分析合成方法においては、音声分析部により得られた、ＬＳＰ係数、基本周波数、位相等化パルス音源のフィルタ係数、白色雑音ゲイン、または、周波数帯域毎の有声強度に対して、調音パラメータの速度情報に基づき、平均調音速度ａｖｅｄｘを算出し、すべての時刻ｔにおいて、「ｄｘ_ｋ＜＝ｔ×ａｖｅｄｘ、かつｄｘ_ｋ＋１＞ｔ×ａｖｅｄｘ」となるｋを求め、時刻ｔにおけるパラメータを、線型補間した、「（（ｄｘ_ｋ＋１−ｔ×avedx）×ｐ_ｋ＋（ｔ×avedx−ｄｘ_ｋ）×ｐ_ｋ＋１）／（ｄｘ_ｋ＋１−ｄｘ_ｋ）、 ここで、Ｐ_ｋは、時刻ｋにおける、ＬＳＰ係数、基本周波数、位相等化パルス音源フィルタ係数、白色雑音ゲイン、または、周波数帯域毎の有声強度」、を算出するようにしたので、これにより、人間が一定の調音速度で発話した場合の発話スタイルを有する音声を生成することが可能となる。

図１は、本発明の実施の形態に係わる音声分析合成装置の構成を示す図である。
図１に示す本発明の音声分析合成装置は、音声分析合成装置１に、マイク（マイクロフォン）２および、２次元磁気センサシステム３を接続して構成される。

音声分析合成装置１内には、ＣＰＵ（Central Processing Unit）、ＲＯＭ(Read Only Memory)、ＲＡＭ（Random Access Memory）等を有する主制御部１１が設けられ、この主制御部１１は、音声分析合成装置１内の各処理部の処理動作を統括して制御するための制御部である。また、主制御１１内のＣＰＵによりコンピュータシステムが構成されている。

データ入力部１２は、インタフェース部１３を介して、マイク２および２次元磁気センサシステム３と接続されている。データ入力部１２は、マイク２により計測される音声信号と、２次元磁気センサシステム３により計測される調音運動（唇や、舌の運動）の同時計測データを計測する。図１に示す音声分析合成装置１では、例えば、音声信号は１６ｋＨｚサンプリングで計測し、調音パラメータは、下歯茎付近の１点、上・下唇それぞれの１点、舌上の３点の計６点の水平および垂直位置を毎秒２５０回のレートで測定する（１２次のベクトル）。

また、音声分析合成装置１には、音声分析部１００、音声変換部２００、およびボコーダ型の音声合成部３００を有している。

音声分析部１００は、データ入力部１２により収集された音声信号を基に、ＬＰＣ（線形予測係数）、ＬＳＰ（線スペクトル対）係数、位相等化音声、位相等化パルス音源モデルのフィルタ係数、周波数帯域ごとの有声強度、および白色雑音ゲイン等の算出処理を行なう。

音声変換部２００は、調音運動の計測データを基に、ＬＳＰ係数、基本周波数、位相等化パルス音源モデルのフィルタ係数、白色雑音ゲイン、および周波数帯域ごとの有声強度等の変換処理（例えば、線形補間処理）を行なう。音声合成部３００は、音声変換部２００おいて変換されたパラメータを用いて、駆動音源を生成すると共に、この駆動音源からの信号を基に音声信号を合成する。音声出力部１４は、音声合成部３００により合成された音声信号により、音声を出力する。

図２は、音声分析部１００の構成を示す図である。
図２に示す音声分析部１００内の基本周波数計算部１０１は、音声信号のパワーにより、音声区間の検出を行ない、基本周波数を抽出する処理を行なう。

パルス系列生成部１０２は、音声区間内で、基本周波数計算部１０１により得られた基本周波数を用いて、ピッチ周期に応じたパルス系列を持つパルス系列信号ｅｘを生成する処理を行なう。なお、このピッチ周期に応じたパルス系列を持つパルス系列信号ｅｘをピッチ波形と呼ぶ（例えば、図８（Ｂ）に示すピッチ波形を参照）。

ＬＰＣ係数計算部１０３は、音声信号を用いて、通常の線型予測分析を行い、ＬＰＣ（線型予測分析）係数を算出する。ＬＰＣ残差計算部１０４は、ＬＰＣ係数をフィルタ係数とする逆フィルタによりＬＰＣ予測残差波形ｒｅｓを求める（例えば、図８（Ｃ）に示すＬＰＣ予測残差波形を参照）。

ＬＳＰ係数計算部１０５は、ＬＰＣ係数計算部１０３により算出されたＬＰＣ係数を基に、ＬＳＰ（線スペクトル対）係数を算出すると共に、これを保持する処理を行なう。

ピッチマーク計算部１０６は、ＬＰＣ予測残差信号ｒｅｓと、パルス系列信号ｅｘとを基に、ピッチマークを抽出する処理を行なう。（例えば、図８（D）に示すピッチマークを参照）。

位相等化音声計算部１０７は、音声区間内で、音声信号と、ピッチマーク計算部１０６で求められたピッチマークと、ＬＰＣ予測残差信号の波形を用いて、音声信号の位相成分を一定の位相に等化した位相等化音声を生成する（例えば、特許文献２を参照）。

位相等化パルス音源フィルタ計算部１０８は、音声区間内で、位相等化音声と合成音声信号との聴覚重み付き誤差が最小となるような、位相等化パルス音源モデルを生成すると共に、この位相等化パルス音源モデルのパラメータ（ＦＩＲフィルタ係数ｖ_ｋ）を求める処理を行なう。（例えば、特許文献２を参照）。

有声強度計算部１０９は、音声信号を、帯域通過フィルタに通し、例えば、４ｍｓのフレーム周期毎に自己相関関数、あるいは調波構造指数を計算し、有声強度を算出する処理を行なう（例えば、非特許文献4参照）。白色雑音ゲイン計算部１１０は、音声区間以外での白色雑音のゲインを算出する処理を行なう。

この音声分析部１００における処理の流れを図５に示す。以下、図５を参照して、音声分析部１００における処理の流れについて説明する。

最初に、マイクによる音声信号をデータ入力部１２より計測する（ステップＳ１０１）。例えば、図８（Ａ）に音声信号の波形の例を示す。

続いて、基本周波数計算部１０１は、得られた音声信号から、音声信号のパワーを基に、音声区間の検出を行う。例えば、本実施の形態では、人間の声道の特性に合わせて３０ｍｓ程度の分析窓長（分析区間）と、４ｍｓ程度の分析シフト長により、瞬時周波数振幅スペクトルに基づき、基本周波数（ＦＯあるいはピッチ周期）を求める（ステップＳ１０２）。

この基本周波数の算出には、例えば、ＩＥＩＣＥの文献（５）「Arifiant、D., Tanaka,T., Masuko, T., and Kobayashi, T.,“Robust FO estimation of speech signal using harmonicity measure based on instantaneous frequency,”IEICE Trans. Information and Systems, E87-D,12,pp. 2812-2820(2004).」に示される手法を使用することができる。

なお、基本周波数の抽出には、変形自己相関法などの別の手法を用いることも可能であるが、本発明において基本周波数の抽出誤りは、音声の分析や合成の精度に大きな影響を及ぼすため、できるだけ抽出誤りの少ない手法を用いることが重要である。

次に、パルス系列生成部１０２により、音声区間内で、基本周波数計算部１０１により求めた基本周波数を用いて、ピッチ周期に応じたパルス系列信号（ピッチ波形）ｅｘを生成する（ステップＳ１０３）。このピッチ周期に応じたパルス系列信号ｅｘの例を、図８（Ｂ）に示す。

続いて、ＬＰＣ係数計算部１０３により、上記音声信号を用いて、線型予測分析を行い、また、ＬＰＣ残差計算部１０４により、ＬＰＣ逆フィルタによりＬＰＣ予測残差波形ｒｅｓを求める。このＬＰＣ予測残差波形ｒｅｓの例を、図８（Ｃ）に示す。

本実施の形態では、前述のように、ＬＰＣ分析窓長３０ｍｓ、分析シフト長４ｍｓとし、２８次の自己相関法により求め、さらに、基本周波数の影響を避けるためにラグ窓（Lag Window）を用いる。ここで、ＬＰＣ係数は、ＬＳＰ係数計算部１０５により、線スペクトル対（ＬＳＰ）係数に変換して保持しておく（ステップＳ１０４）。

続いて、ピッチマーク計算部１０６により、音声区間内で、フレーム番号ｔ（フレーム周期４ｍｓ）、時刻ｋ（窓長３０ｍｓ）において、ステップＳ１０３で生成したピッチ波形ｅｘ（ｔ，ｋ）の絶対値と、ステップＳ１０４において求めたＬＰＣ予測残差波形ｒｅｓ（ｔ，ｋ）の絶対値の間で、フレームｔ毎に、相互相関関数、
ｒ（ｔ、ｊ）＝Σ_ｋ｜ｒｅｓ（ｔ，ｋ）｜×｜ｅｘ（ｔ，ｋ＋ｊ）｜、

を計算し、Σ_ｔｒ（ｔ、ｊ）が最大となるようなｊの系列を、動的計画法を用いて求める。ここで、｜＊｜は絶対値である。得られるｊの系列は、ＬＰＣ予測残差信号の絶対値が大きな時刻を示しているため、ピッチマークの候補となる。最終的には、得られたピッチマーク候補の近傍で、再度｜ｒｅｓ｜が最大となる時刻を探索し、ピッチマークとして抽出する（ステップＳ１０５）。このピッチマークの例を、図８（Ｄ）に示す。

次に、位相等化音声計算部１０７により、音声区間内で、ステップＳ１０１において得られた音声信号と、ステップＳ１０５で求められたピッチマークと、ステップＳ１０４で求められたＬＰＣ予測残差信号を用いて、音声信号の位相成分を一定の位相に等化した位相等化音声を生成する（例えば、特許文献２を参照）（ステップＳ１０６）。

そして、位相等化パルス音源フィルタ計算部１０８により、音声区間内で、上記位相等化音声との聴覚重み付き誤差が最小となるような、位相等化パルス音源モデルおよび位相等化パルス音源モデルのパラメータ（ＦＩＲフィルタ係数ｖｋ）を求める（ステップＳ１０７）。ここで、ＦＩＲフィルタ（６タップ）の伝達特性は、特許文献２と同様に、次のように表される。

ここで、Ｔｉはピッチマークｉにおけるピッチ周期である。

また、白色雑音ゲイン計算部１１０で算出される白色雑音のゲインは、音声信号ｓの自己相関関数を、

としたとき、

で与えられる。ここで、ＰはＬＰＣ分析の次数、αｋはＬＰＣ係数、ｎはフレーム番号、Ｎは窓長である。

次に、有声強度計算部１０９により、音声信号を、0−500，500―1000，1000―2000，2000−3000，3000−4000，4000−5000，5000−6000，6000−7000，7000−8000Hzの帯域通過フィルタにそれぞれ通し、４ｍｓのフレーム周期毎に自己相関関数、あるいは調波構造指数（例えば、前述のＩＥＩＣＥの文献（５）を参照）を計算し、これを有声強度とする（例えば、非特許文献4参照）（ステップＳ１０８）。

これらの位相等化パルス音源、白色雑音ゲイン、および有声強度の計算には、各ピッチマーク位置を分析開始時点とし、分析窓長は２ピッチ周期分として求める。本実施の形態では、分析にはピッチ同期分析を用いるが、合成には４ｍｓフレームシフトを用いるため、ピッチマーク位置と固定長フレームの開始時点が異なることが問題となる。したがって、本実施の形態では、各フレームにおけるパラメータは線型補間により求める。なお、音声区間以外での白色雑音のゲインは、１５ｍｓの固定窓長、４ｍｓの固定フレームシフト長を用いて求める（ステップＳ１０９）。

また、図３は、音声変換部２００の構成例を示す図である。
図３に示すように、音声変換部２００は、調音パラメータの速度（調音速度）を計算する調音速度計算部２０１を有している。また、調音速度を基に、音声分析部１００で求めたそれぞれのパラータを変換（線形補間）するＬＳＰ係数変換部２０２、基本周波数変換部２０３、位相等化パルス音源フィルタ変換部２０４、白色雑音ゲイン変換部２０５、および周波数帯域毎の有声強度変換部２０６とで構成されている。なお、線形補間については、後述される。

また、図６は、音声変換部における処理の流れを示す図である。以下、図６を参照して、その処理の流れについて説明する。

調音速度計算部２０１により、音声区間において、２次元磁気センサシステムを用いて計測した調音パラメータの速度（調音速度）を計算する（ステップＳ２０１、Ｓ２０２）。
この調音速度の波形例を図１１の最下段の波形（細線の波形）に示す。

この調音速度を算出する場合に、時刻ｔにおける調音速度は、調音パラメータをｘ_ｔ，ｉ（ｉ＝１，・・・，１２：唇や舌などの水平および垂直位置）として、ＲＭＳ距離ｄｘ_ｔ、
ｄｘ_ｔ＝ｓｑｒｔ（Σ_ｉ（ｘ_ｔ，ｉ−ｘ_{ｔ−１，ｉ}）×（ｘ_ｔ，ｉ−ｘ_{ｔ−１，ｉ}）／１２）、
が用いられる。ここで、ｓｑｒｔは根号、調音速度の単位はｍｍである。

そして、調音速度計算部２０１は、音声区間全体の調音速度の和を、音声区間全体の長さ（フレーム数）で割った、平均調音速度ａｖｅｄｘを計算する（ステップＳ２０２）。

そして、すべての時刻ｔにおいて、
「ｄｘ_ｋ＜＝ｔ×ａｖｅｄｘ、かつｄｘ_ｋ＋１＞ｔ×ａｖｅｄｘ」となるｋを求め、最終的に時刻ｔにおけるパラメータを、線型補間した、
（（ｄｘ_ｋ＋１−ｔ×avedx）×ｐ_ｋ＋（ｔ×avedx−ｄｘ_ｋ）×ｐ_ｋ＋１）／（ｄｘ_ｋ＋１−ｄｘ_ｋ）、
を算出する。

ここでｐ_ｋは、時刻ｋにおける、ＬＳＰ係数、基本周波数、位相等化パルス音源フィルタ係数、白色雑音ゲイン、あるいは周波数帯域毎の有声強度であり、ＬＳＰ係数は、ＬＳＰ係数変換部２０２により算出され（ステップＳ２０３）、基本周波数は、基本周波数変換部２０３により算出され（ステップＳ２０４）、位相等化パルス音源フィルタ係数は位相等化パルス音源フィルタ変換部２０４により算出される（ステップＳ２０５）。また、白色雑音ゲインは、白色雑音ゲイン変換部２０５により算出され（ステップＳ２０６）、周波数帯域毎の有声強度は、周波数帯域毎の有声強度変換部２０６により算出される。ＬＳＰ係数変換部２０２により算出される（ステップＳ２０７）、

これにより、人間が一定の調音速度で発話した場合の発話スタイルを有する音声を生成することが可能となる（これを、調音速度等化音声と呼ぶ）。

この調音速度等化音声の例を、図１１において調音速度等化音声（上から２番目の波形）として示している。

また、これとは逆に、調音速度の逆数の平均毎にパラメータを並べることにより、人間にとっては発話困難な、調音速度の初速が速く、だんだんと遅くなる発話スタイルを有する音声を生成できる。これらの調音速度の変換法は一例であり、様々な手法が考えられる。

また、図４は、音声合成部３００の構成例を示す図である。
図４に示すように、音声合成部３００は、位相等化パルス音源と白色雑音の音源を生成する駆動音源生成部３０１と、ＬＳＰ係数からＬＰＣ係数を算出するＬＰＣ係数計算部３０２とを有している。また、位相等化パルス音源と白色雑音とＬＰＣ係数とを基に、最終的な音声信号３０４を合成する畳み込み演算部３０３を有している。

この音声合成部３００における処理の流れを図７に示す。以下、図７を参照して、音声合成部その処理の流れについて説明する。

音声合成部３００では、音声変換部２００において調音速度を基に線形補間されたパラメータを取得する（ステップＳ３０１）。

また、このステップＳ３０１において、駆動音源生成部３０１により、音声変換部２００において調音速度を基に線形補間された基本周波数に、式（１）を適用することで、位相等化パルス音源フィルタ係数を求め、位相等化パルス音源を作成する。

また、白色雑音に、音声変換部２００において調音速度を基に補間された白色雑音のゲインを乗じる。そして、音声変換部２００において調音速度を基に補間された有声強度に基づき、ある閾値より大きい帯域を有声帯域、小さい帯域を無声帯域として、有声帯域では位相等化パルス音源、無声帯域では白色雑音を混合した駆動音源を作成する。

そして、最終的には、ＬＰＣ係数計算部３０２により、ＬＳＰ係数変換部２０２により算出されたＬＳＰ係数をＬＰＣ係数に変換し、畳み込み演算部３０３により、ＬＰＣ係数計算部３０２により変換されたＬＰＣ係数と駆動音源の出力信号とを畳み込むことで音声を合成する（ステップＳ３０２）。

以上、本発明の音声分析合成装置の構成と処理の流れについて説明したが、具体的な例として、音声分析部１００、音声変換部２００、および音声合成部３００において、処理される信号の波形の例を、図８〜図１１に示す。

図８は、発声資料「腕前」の一部の波形例を示している。図８（Ａ）は、マイクから入力される音声信号を１６ｋＨｚでサンプリングした音声信号、図８（Ｂ）は、基本周波数を用いて、ピッチ周期に応じたパルス系列を持つ信号であるピッチ波形を示している。

また、図８（Ｃ）は、線型予測分析（ＬＰＣ）を行い、ＬＰＣ逆フィルタにより求めたＬＰＣ予測残差信号ｒｅｓの波形を示し、図８（Ｄ）は、音声区間内で、フレーム番号ｔ（フレーム周期４ｍｓ）、時刻ｋ（窓長３０ｍｓ）において、ピッチ波形とＬＰＣ予測残差信号を基に生成されたピッチマークを示している。 また、図８（Ｅ）は、調音パラメータの速度（調音速度）から算出した平均調音速度ａｖｅｄｘを基に合成した再合成波形を示している。

図８に示すように、従来手法であるL PＣ予測残差信号の絶対値の閾値処理を用いた場合、図８（Ｃ）の波形の点線の丸で囲まれた部分をピッチマークと誤認してしまう可能性があるが、本手法を用いた場合、このような誤りは少ない。

また、図９は、発声資料「腕前」の白色雑音のゲインの例を示す図である。
図９（Ａ）は、ピッチ同期分析適用なし、図９（Ｂ）は、ピッチ同期分析適用あり、の場合を示す。図９に示すように、ピッチ同期分析を行なうことにより、基本波の影響を受けない、なめらかに変化するゲインを得ることができる。

また、図１０は、駆動音源の例を示す図であり、図１０（Ａ）は、位相等化パルス音源、図１０（Ｂ）は、ゲインを加えた白色雑音．図１０（Ｃ）は、周波数帯域毎の有声／無声判定に基づいて、図１０（Ａ）と図１０（Ｂ）とを混合した信号を示している。

また、図１１は、本発明における調音速度等化音声の例を示す図である。発声は「青空に入道雲が浮かんでいます」の例である。

図１１に示す信号波形は、上から順番に、原音声、調音速度等化音声、基本周波数、調音位置（下歯茎、水平方向）、調音位置（上唇、水平方向）、調音位置（下唇、水平方向）、調音位置（舌１、水平方向）、調音位置（舌２、水平方向）、調音位置（舌３、水平方向）、
調音位置（下歯茎、垂直方向）、調音位置（上唇、垂直方向）、調音位置（下唇、垂直方向）、調音位置（舌１、垂直方向）、調音位置（舌２、垂直方向）、調音位置（舌３、垂直方向）、調音速度を、それぞれ示している。なお、基本周波数、調音位置および調音速度における細線は原音声、太線は調音速度等化音声である。

図１１に示すように、調音速度等化音声における調音速度は、音声区間で一定に保たれており、本発明の手法の有効性を確認できる。

また受聴試験の結果、再合成された音声信号と、原音声信号の間の知覚的な歪みはほとんど感じられないことを確認している。

なお、上記の説明においては、図７のステップＳ３０２において、ＬＰＣ係数計算部３０２により、ＬＳＰ係数変換部２０２により算出されたＬＳＰ係数をＬＰＣ係数に変換し、畳み込み演算部３０３により、ＬＰＣ係数計算部３０２により変換されたＬＰＣ係数と駆動音源の出力信号とを畳み込むことで音声を合成した。しかし、これに限られるものではなく、畳み込み演算部３０３は、ＬＳＰ係数変換部２０２により算出されたＬＳＰ係数からＬＳＰ合成フィルタを生成し、生成したＬＳＰ合成フィルタと駆動音源の出力信号とを畳み込むことで音声を合成してもよい。

以上、本発明の音声分析合成装置について説明したが、図１に示した音声分析合成装置１は、内部にコンピュータシステムを有している。そして、データ入力部１２、音声分析部１００、音声変換部２００、音声合成部３００等における処理は、ＣＰＵがプログラムを読み出して実行することにより、その機能が実現されるものである（もちろん、専用のハードウェアにより実現されるものであってもよい）。

そして、上記プログラムは、例えばハードディスクやＲＯＭ等の、コンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。

すなわち、データ入力部１２、音声分析部１００、音声変換部２００、音声合成部３００等における、各処理は、ＣＰＵ等の中央演算処理装置が上記プログラムを読み出して、情報の加工、演算処理を実行することにより、実現されるものである。

ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

また、図１に示す音声分析合成装置１には、周辺機器として入力装置、表示装置等（いずれも表示せず）が接続されているものとする。ここで、入力装置としては、キーボード、マウス等の入力デバイスのことをいう。表示装置とは、ＣＲＴ（Cathode Ray Tube）や液晶表示装置等のことをいう。

以上、本発明の実施の形態について説明したが、本発明の音声分析合成装置は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

本発明の実施の形態に係わる音声分析合成装置の構成を示す図である。 音声分析部の構成例を示す図である。 音声変換部の構成例を示す図である。 音声合成部の構成例を示す図である。 音声分析部における処理の流れを示す図である。 音声変換部における処理の流れを示す図である。 音声合成部における処理の流れを示す図である。 発声資料「腕前」の一部の波形例を示す図である。 発声資料「腕前」の白色雑音のゲインの例を示す図である。 駆動音源の例を示す図である。 本発明における調音速度等化音声の例を示す図である。

符号の説明

１・・・音声分析合成装置、２・・・マイク、３・・・２次元磁気センサシステム、１１・・・主制御部、１２・・・データ入力部、１３・・・インタフェース部、１４・・・音声出力部、１００・・・音声分析部、１０１・・・基本周波数計算部、１０２・・・パルス系列生成部、１０３・・・ＬＰＣ係数計算部、１０４・・・ＬＰＣ残差計算部、１０５・・・ＬＳＰ係数計算部、１０６・・・ピッチマーク計算部、１０７・・・位相等化音声計算部、１０８・・・位相等化パルス音源フィルタ計算部、１０９・・・有声強度計算部、１１０・・・白色雑音ゲイン計算部、２００・・・音声変換部、２０１・・・調音速度計算部、２０２・・・ＬＳＰ係数変換部、２０３・・・基本周波数変換部、２０４・・・位相等化パルス音源フィルタ変換部、２０５・・・白色雑音ゲイン変換部、２０６・・・有声強度変換部、３００・・・音声合成部、３０１・・・駆動音源生成部、３０２・・・ＬＰＣ係数計算部、３０３・・・畳み込み演算部

Claims (8)

1. 同時測定された音声を音声信号として計測すると共に調音運動の計測データを収集するデータ入力部と、前記計測データを分析する音声分析部と、前記音声分析部の分析結果に所定の変換を施す音声変換部と、前記音声変換部の変換結果を基に音声を合成するボコーダ型の音声合成部とを備える音声分析合成装置であって、
   前記音声分析部は、
   前記音声信号から音声区間を検出すると共に、前記音声区間における基本周波数を算出する基本周波数計算部と、
   前記基本周波数を用いて、ピッチ周期に応じたパルス系列を持つピッチ波形を生成するパルス系列生成部と、
   前記音声信号を基に線型予測分析を行いＬＰＣ（線型予測分析）係数を算出するＬＰＣ係数計算部と、
   前記音声信号と、前記ＬＰＣ係数をフィルタ係数に持つ逆フィルタとによりＬＰＣ予測残差波形を算出するＬＰＣ残差計算部と、
   前記ＬＰＣ係数からＬＳＰ（線スペクトル対）係数を算出するＬＳＰ係数計算部と、
   前記検出した音声区間内で、前記ＬＰＣ予測残差波形の絶対値と、前記ピッチ波形の絶対値との相互相関を最大にするピッチマークを抽出するピッチマーク計算部と、
   前記検出した音声区間内で、前記音声信号と、前記ピッチマークと、前記ＬＰＣ予測残差波形とを基に、音声信号の位相成分を一定の位相に等化した位相等化音声を生成する位相等化音声計算部と、
   前記検出した音声区間内で、前記位相等化音声を基に位相等化パルス音源モデルのフィルタ係数を算出する位相等化パルス音源フィルタ計算部と、
   前記検出した音声区間内で、前記音声信号に基いて予め定められた算出方法で周波数帯域毎の音声強度を算出する有声強度計算部と、
   前記検出した音声区間内で、前記音声信号に基いて予め定められた算出方法で白色雑音ゲインを算出する白色雑音ゲイン計算部と、
   を備え、
   前記音声変換部は、
   前記調音運動の計測データを基に、調音パラメータの速度を調音速度として算出する調音速度計算部と、
   前記調音速度に応じて前記ＬＳＰ係数に所定の変換を施すＬＳＰ係数変換部と、
   前記調音速度に応じて前記基本周波数に所定の変換を施す基本周波数変換部と、
   前記調音速度に応じて前記位相等化パルス音源モデルのフィルタ係数に所定の変換を施す位相等化パルス音源フィルタ変換部と、
   前記調音速度に応じて前記白色雑音ゲインに所定の変換を施す白色雑音ゲイン変換部と、
   前記調音速度に応じて前記周波数帯域毎の音声強度に所定の変換を施す有声強度変換部と、
   を備え、
   前記音声合成部は、
   前記基本周波数変換部において変換された基本周波数と、前記位相等化パルス音源フィルタ変換部により変換されたフィルタ係数と、前記位相等化パルス音源モデルとに基づいて、位相等化パルス音源を生成すると共に、前記有声強度変換部において変換された周波数帯域毎の音声強度に基いて、有声帯域においては前記生成した位相等化パルス音源を混合し、無声帯域では白色雑音を混合した駆動音源を生成する駆動音源生成部と、
   前記ＬＳＰ係数変換部により変換されたＬＳＰ係数と前記駆動音源の出力信号とから音声信号を合成する畳み込み演算部と、
   を備え、
   前記有声強度計算部が前記音声強度を算出する場合、前記白色雑音ゲイン計算部が前記白色雑音ゲインを算出する場合、および、前記駆動音源生成部が前記位相等化パルス音源を生成する場合、分析窓長を２ピッチ周期分として算出または生成する、
   ことを特徴とする音声分析合成装置。
2. 前記音声合成部が、
   前記ＬＳＰ係数変換部により変換されたＬＳＰ係数をＬＰＣ係数に変換するＬＰＣ係数計算部
   を有し、
   前記畳み込み演算部が、
   前記ＬＰＣ係数計算部において変換されたＬＰＣ係数と前記駆動音源の出力信号とを畳み込むことにより音声信号を合成する、
   ことを特徴とする請求項１に記載の音声分析合成装置。
3. 前記音声変換部のＬＳＰ係数変換部と基本周波数変換部と位相等化パルス音源フィルタ変換部と白色雑音ゲイン変換部と有声強度変換部とは、それぞれ、
   時刻ｔにおける調音速度として、調音パラメータをｘｔ，ｉ（ｉ＝１，・・・，ｎ：唇や舌などの水平および垂直位置）とした場合のＲＭＳ距離ｄｘｔを使用し、
   「ｄｘｔ＝ｓｑｒｔ（Σｉ（ｘｔ，ｉ−ｘｔ−１，ｉ）×（ｘｔ，ｉ−ｘｔ−１，ｉ）／ｎ）、
   ここで、ｓｑｒｔは根号、調音速度の単位はｍｍ」、
   また、音声区間全体の調音速度の和を、音声区間全体の長さ（フレーム数）で割った、平均調音速度ａｖｅｄｘを算出し、
   さらに、すべての時刻ｔにおいて、
   「ｄｘｋ＜＝ｔ×ａｖｅｄｘ、かつｄｘｋ＋１＞ｔ×ａｖｅｄｘ」となるｋを求め、
   時刻ｔにおけるパラメータを、次の式により線型補間すること、
   「（（ｄｘｋ＋１−ｔ×avedx）×ｐｋ＋（ｔ×avedx−ｄｘｋ）×ｐｋ＋１）／（ｄｘｋ＋１−ｄｘｋ）、ここで、Ｐｋは、時刻ｋにおける、前記ＬＳＰ係数、基本周波数、位相等化パルス音源のフィルタ係数、白色雑音ゲイン、または、周波数帯域毎の有声強度」、
   を特徴とする請求項１または請求項２に記載の音声分析合成装置。
4. 同時測定された音声を音声信号として計測すると共に調音運動の計測データを収集するデータ入力部と、前記計測データを分析する音声分析部と、前記音声分析部の分析結果に所定の変換を施す音声変換部と、前記音声変換部の変換結果を基に音声を合成するボコーダ型の音声合成部とを備える音声分析合成装置における音声分析合成方法であって、
   前記音声分析部により、
   前記音声信号から音声区間を検出すると共に、前記音声区間における基本周波数を算出する基本周波数計算手順と、
   前記基本周波数を用いて、ピッチ周期に応じたパルス系列を持つピッチ波形を生成するパルス系列生成手順と、
   前記音声信号を基に線型予測分析を行いＬＰＣ（線型予測分析）係数を算出するＬＰＣ係数計算手順と、
   前記音声信号と、前記ＬＰＣ係数をフィルタ係数に持つ逆フィルタとによりＬＰＣ予測残差波形を算出するＬＰＣ残差計算手順と、
   前記ＬＰＣ係数からＬＳＰ（線スペクトル対）係数を算出するＬＳＰ係数計算手順と、
   前記検出した音声区間内で、前記ＬＰＣ予測残差波形の絶対値と、前記ピッチ波形の絶対値との相互相関を最大にするピッチマークを抽出するピッチマーク計算手順と、
   前記検出した音声区間内で、前記音声信号と、前記ピッチマークと、前記ＬＰＣ予測残差波形とを基に、音声信号の位相成分を一定の位相に等化した位相等化音声を生成する位相等化音声計算手順と、
   前記検出した音声区間内で、前記位相等化音声を基に位相等化パルス音源モデルのフィルタ係数を算出する位相等化パルス音源フィルタ計算手順と、
   前記検出した音声区間内で、前記音声信号に基いて予め定められた算出方法で周波数帯域毎の音声強度を算出する有声強度計算手順と、
   前記検出した音声区間内で、前記音声信号に基いて予め定められた算出方法で白色雑音ゲインを算出する白色雑音ゲイン計算手順と、
   が行われ、
   前記音声変換部により、
   前記調音運動の計測データを基に、調音パラメータの速度を調音速度として算出する調音速度計算手順と、
   前記調音速度に応じて前記ＬＳＰ係数に所定の変換を施すＬＳＰ係数変換手順と、
   前記調音速度に応じて前記基本周波数に所定の変換を施す基本周波数変換手順と、
   前記調音速度に応じて前記位相等化パルス音源モデルのフィルタ係数に所定の変換を施す位相等化パルス音源フィルタ変換手順と、
   前記調音速度に応じて前記白色雑音ゲインに所定の変換を施す白色雑音ゲイン変換手順と、
   前記調音速度に応じて前記周波数帯域毎の音声強度に所定の変換を施す有声強度変換手順と、
   を行われ、
   前記音声合成部により、
   前記基本周波数変換手順において変換された基本周波数と、前記位相等化パルス音源フィルタ変換手順により変換されたフィルタ係数と、前記位相等化パルス音源モデルとに基づいて、位相等化パルス音源を生成すると共に、前記有声強度変換手順において変換された周波数帯域毎の音声強度に基いて、有声帯域においては前記生成した位相等化パルス音源を混合し、無声帯域では白色雑音を混合した駆動音源を生成する駆動音源生成手順と、
   前記ＬＳＰ係数変換手順により変換されたＬＳＰ係数と前記駆動音源の出力信号とから音声信号を合成する畳み込み演算手順と、
   が行われ、
   前記有声強度計算手順において前記音声強度が算出される場合、前記白色雑音ゲイン計算手順において前記白色雑音ゲインが算出される場合、および、前記駆動音源生成手順において前記位相等化パルス音源が生成される場合、分析窓長を２ピッチ周期分として算出または生成される、
   ることを特徴とする音声分析合成方法。
5. 前記音声合成部により、
   前記ＬＳＰ係数変換手順により変換されたＬＳＰ係数をＬＰＣ係数に変換するＬＰＣ係数計算手順
   が行われ、
   前記畳み込み演算手順で、
   前記ＬＰＣ係数計算手順において変換されたＬＰＣ係数と前記駆動音源の出力信号とを畳み込むことにより音声信号を合成する、
   ことを特徴とする請求項４に記載の音声分析合成方法。
6. 前記音声変換部によるＬＳＰ係数変換手順と基本周波数変換手順と位相等化パルス音源フィルタ変換手順と白色雑音ゲイン変換手順と有声強度変換手順とで、それぞれ、
   時刻ｔにおける調音速度として、調音パラメータをｘｔ，ｉ（ｉ＝１，・・・，ｎ：唇や舌などの水平および垂直位置）とした場合のＲＭＳ距離ｄｘｔを使用する手順と、
   「ｄｘｔ＝ｓｑｒｔ（Σｉ（ｘｔ，ｉ−ｘｔ−１，ｉ）×（ｘｔ，ｉ−ｘｔ−１，ｉ）／ｎ）、
   ここで、ｓｑｒｔは根号、調音速度の単位はｍｍ」、
   また、音声区間全体の調音速度の和を、音声区間全体の長さ（フレーム数）で割った、平均調音速度ａｖｅｄｘを算出する手順と、
   さらに、すべての時刻ｔにおいて、
   「ｄｘｋ＜＝ｔ×ａｖｅｄｘ、かつｄｘｋ＋１＞ｔ×ａｖｅｄｘ」となるｋを求め、
   時刻ｔにおけるパラメータを、次の式により線型補間する手順と、
   「（（ｄｘｋ＋１−ｔ×avedx）×ｐｋ＋（ｔ×avedx−ｄｘｋ）×ｐｋ＋１）／（ｄｘｋ＋１−ｄｘｋ）、ここで、Ｐｋは、時刻ｋにおける、前記ＬＳＰ係数、基本周波数、位相等化パルス音源フィルタ係数、白色雑音ゲイン、または、周波数帯域毎の有声強度」、
   が行われることを特徴とする請求項４または請求項５に記載の音声分析合成方法。
7. 音声と調音運動の計測データを収集するデータ入力部と、前記計測データを分析する音声分析部と、前記音声分析部の分析結果に所定の変換を施す音声変換部と、前記音声変換部の変換結果を基に音声を合成するボコーダ型の音声合成部とを備える音声分析合成装置内のコンピュータに、
   請求項４から請求項６のいずれかに記載の手順を実行させるためのコンピュータプログラム。
8. 請求項７に記載のコンピュータプログラムを格納すること特徴とするコンピュータ読み取り可能な記録媒体。

Images