JP3840684B2

JP3840684B2 - ピッチ抽出装置及びピッチ抽出方法

Info

Publication number: JP3840684B2
Application number: JP01643396A
Authority: JP
Inventors: 和幸飯島; 正之西口; 淳松本; 士郎大森
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1996-02-01
Filing date: 1996-02-01
Publication date: 2006-11-01
Anticipated expiration: 2016-02-01
Also published as: CN1165365A; KR100421817B1; MY120918A; KR970061590A; CN1146862C; JPH09212194A; US5930747A

Description

【０００１】
【発明の属する技術分野】
本発明は、入力音声信号からピッチを抽出するピッチ抽出装置及びピッチ抽出方法に関する。
【０００２】
【従来の技術】
音声は、音の性質として、有声音と無声音とに区別される。有声音は、声帯振動を伴う音声で、周期的な振動として観測される。無声音は、声帯振動を伴わない音声で、非周期的な雑音として観測される。通常の音声では大部分が有声音であり、無声音は無声子音と呼ばれる特殊な子音のみである。有声音の周期は、声帯振動の周期で決まり、これをピッチ周期、その逆数をピッチ周波数という。これらピッチ周期及びピッチ周波数は、声の高低やイントネーションを決める需要な要因となる。従って、原音声波形から正確にピッチ周期を抽出（以下、ピッチ抽出という）することは、音声を分析し合成する音声合成の課程の中でも重要となる。
【０００３】
上記ピッチ抽出の方法（以下、ピッチ抽出方法）として、相関処理が波形の位相歪みに強いことを利用した相関処理法があり、この相関処理法の一方法としては、自己相関法がある。この自己相関法では、一般的には、入力音声信号を所定の周波数帯域に制限した後に、所定のサンプル数の入力音声信号の自己相関を求めてピッチ抽出を行い、ピッチを得る。入力音声信号を帯域制限する際には、一般的に、ローパスフィルタ（以下、ＬＰＦという）が用いられる。
【０００４】
【発明が解決しようとする課題】
ところで、上述の自己相関法において、例えば、低周波数成分にインパルス状のピッチが含まれている音声信号を用いるときには、この音声信号をＬＰＦに通すことによって、インパルス状の成分が除去されてしまう。よって、このＬＰＦを通した音声信号のピッチ抽出を行って、低周波数成分にインパルス状のピッチが含まれている音声信号の正しいピッチを得ることは困難である。
【０００５】
逆に、低周波数成分のインパルス状の成分を除去しないために、低周波数成分にインパルス状のピッチが含まれている音声信号をハイパスフィルタ（以下、ＨＰＦという）のみに通すこととすると、この音声信号波形がノイズ成分の多い波形である場合には、ピッチ成分とノイズ成分との区別がつかなくなり、やはり、正しいピッチを得ることは困難となる。
【０００６】
そこで、本発明は上述の実情に鑑み、様々な特性を持つ音声信号のピッチを正確に抽出することができるピッチ抽出装置及びピッチ抽出方法を提供するものである。
【０００７】
【課題を解決するための手段】
本発明に係るピッチ抽出装置は、上述した課題を解決するために、入力音声信号を複数の異なる周波数帯域に制限するフィルタ手段と、上記フィルタ手段からの各周波数帯域の音声信号毎に、所定単位の自己相関データを算出する自己相関算出手段と、上記自己相関算出手段からの自己相関データからピークを検出して、ピッチ強度を求め、ピッチ周期を算出するピッチ周期算出手段と、上記自己相関算出手段からの自己相関データのピークの値を大きい順に並べ換えた関数を順次ｒ（０）、ｒ（１）、ｒ（２）、・・・とし、ｒ（１）、ｒ（２）、・・・をｒ（０）で除算することにより正規化した関数をｒ'（１）、ｒ'（２）、・・・とするとき、ｒ'（１）とｒ'（２）との比を求めることにより、ピッチ強度の信頼度を示す評価パラメータを算出する評価パラメータ算出手段と、上記ピッチ周期算出手段からのピッチ周期及び上記評価パラメータ算出手段からの評価パラメータに基づいて、上記複数の異なる周波数帯域の音声信号の内の１つの周波数帯域の音声信号のピッチを選択する選択手段とを備えて成ることを特徴とする。
また、本発明に係るピッチ抽出方法は、上述した課題を解決するために、入力音声信号を複数の異なる周波数帯域に制限するフィルタ工程と、上記各周波数帯域の音声信号毎に、所定単位の自己相関データを算出する自己相関算出工程と、上記自己相関データからピークを検出して、ピッチ強度を求め、ピッチ周期を算出するピッチ周期算出工程と、上記自己相関データのピークの値を大きい順に並べ換えた関数を順次ｒ（０）、ｒ（１）、ｒ（２）、・・・とし、ｒ（１）、ｒ（２）、・・・をｒ（０）で除算することにより正規化した関数をｒ'（１）、ｒ'（２）、・・・とするとき、ｒ'（１）とｒ'（２）との比を求めることにより、ピッチ強度の信頼度を示す評価パラメータを算出する評価パラメータ算出工程と、上記ピッチ周期及び上記評価パラメータに基づいて、上記複数の異なる周波数帯域の音声信号の内の１つの周波数帯域の音声信号のピッチを選択する選択工程とを有して成ることを特徴とする。
【０００８】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【０００９】
図１には、本発明に係るピッチ抽出装置を用いたピッチサーチ装置の実施の形態の概略的な構成を示し、図２には、本発明に係るピッチ抽出装置の概略的な構成を示す。
【００１０】
この図２に示すピッチ抽出装置は、入力音声信号を複数の異なる周波数帯域に制限するフィルタ手段であるＨＰＦ１２、ＬＰＦ１６と、上記ＨＰＦ１２、ＬＰＦ１６からの各周波数帯域の音声信号毎に、所定単位の自己相関データを算出する自己相関算出手段である自己相関算出部１３、１７と、上記自己相関算出部１３、１７からの自己相関データからピークを検出して、ピッチ強度を求め、ピッチ周期を算出するピッチ周期算出手段であるピッチ強度／ピッチラグ算出部１４、１８と、上記ピッチ強度／ピッチラグ算出部１４、１８からのピッチ強度を用いて、ピッチ強度の信頼度を示す評価パラメータを算出する評価パラメータ算出手段である評価パラメータ算出部１５、１９と、上記ピッチ強度／ピッチラグ算出部１４、１８からのピッチ周期及び上記評価パラメータ算出部１５、１９からの評価パラメータに基づいて、上記複数の異なる周波数帯域の音声信号の内の１つの周波数帯域の音声信号のピッチを選択する選択手段である選択部２０とを備えて成る。
【００１１】
先ず、図１のピッチサーチ装置について説明する。
【００１２】
図１の入力端子１からの入力音声信号は、フレーム区分部２に送られる。このフレーム区分部２は、入力音声信号を所定のサンプル数のフレーム単位で区分する。
【００１３】
現フレームピッチ算出部３及び他フレームピッチ算出部４は、所定のフレームのピッチを算出して出力するものであり、図２に示すピッチ抽出装置の構成から成る。具体的には後述するように、現フレームピッチ算出部３は、上記フレーム区分部２で区分された現フレームのピッチを算出し、他フレームピッチ算出部４は、上記フレーム区分部２で区分された現フレーム以外のフレームのピッチを算出する。
【００１４】
本実施の形態では、入力音声信号波形を上記フレーム区分部２により、例えば現フレーム、過去フレーム、及び未来フレームに区分している。そして、確定している過去フレームのピッチを基に、現フレームを決定し、さらに過去フレームのピッチ及び未来フレームのピッチを基に、上記決定された現フレームのピッチを確定する方法である。このように、過去フレーム、現フレーム、及び未来フレームから現フレームのピッチを正確に出そうという考え方を、Delayed decision（ディレイドディシジョン）という。
【００１５】
比較検出部５は、上記現フレームピッチ算出部３で検出されたピークが、上記他フレームピッチ算出部４で算出されたピッチに対して、所定の関係を満たすピッチ範囲内にあるか否かを比較し、この範囲内にあるときにピークを検出する。
【００１６】
ピッチ決定部６は、上記比較検出部５で比較検出されたピークから現フレームのピッチを決定する。
【００１７】
次に、現フレームピッチ算出部３及び他フレームピッチ算出部４を構成する図２のピッチ抽出装置におけるピッチ抽出の処理について、具体的に説明する。
【００１８】
入力端子１１からのフレーム単位の入力音声信号は、２つの周波数帯域に制限するために、ＨＰＦ１２及びＬＰＦ１６にそれぞれ送られる。
【００１９】
具体的には、例えば、サンプリング周波数ｆｓが８ｋＨｚの入力音声信号を、２５６サンプル毎のフレームに分割したときには、このフレーム毎の入力音声信号の帯域制限を行うためのＨＰＦ１２のカットオフ周波数ｆｃ_Hは１ｋＨｚ、ＬＰＦ１６のカットオフ周波数ｆｃ_Lは３．２ｋＨｚに定める。このとき、ＨＰＦ１２からの出力をｘ_H、ＬＰＦ１６からの出力をｘ_Lとすると、出力ｘ_Hは３．２〜４．０ｋＨｚ、出力ｘ_Lは０〜１．０ｋＨｚにそれぞれ帯域制限されている。但し、入力音声信号が予め帯域制限されている場合には、この限りではない。
【００２０】
自己相関算出部１３、１７では、ＦＦＴ（高速フーリエ変換）によってそれぞれ自己相関データを求め、それらのピークをそれぞれ取り出す。
【００２１】
ピッチ強度／ピッチラグ算出部１４、１８では、これらのピークの値を大きい順に並べ換え、即ちソーティングした関数をそれぞれｒ_H（ｎ）、ｒ_L（ｎ）とする。このとき、自己相関算出部１３で求められた自己相関データのピークの総数をＮ_H、自己相関算出部１７で求められた自己相関データのピークの総数をＮ_Lとすると、ｒ_H（ｎ）、ｒ_L（ｎ）は、それぞれ（１）、（２）式で表される。
【００２２】
ｒ_H（０）、ｒ_H（１）、・・・、ｒ_H（Ｎ_H−１）・・・（１）
ｒ_L（０）、ｒ_L（１）、・・・、ｒ_L（Ｎ_L−１）・・・（２）
また、ｒ_H（ｎ）、ｒ_L（ｎ）に対応するピッチラグをそれぞれ算出し、ｌａｇ_H（ｎ）、ｌａｇ_L（ｎ）とする。このピッチラグとは、ピッチ周期毎のサンプル数である。
【００２３】
さらに、ｒ_H（ｎ）の各ピーク値をｒ_H（０）で、ｒ_L（ｎ）の各ピーク値をｒ_L（０）でそれぞれ除算し、正規化した関数を、ｒ'_H（ｎ）及びｒ'_L（ｎ）とすると、ｒ'_H（ｎ）、ｒ'_L（ｎ）は、それぞれ（３）、（４）式で表される。
【００２４】

ここで、上記並べ換えたｒ'_H（ｎ）、ｒ'_L（ｎ）の中で一番大きい値（ピーク）は、ｒ'_H（０）、ｒ'_L（０）である。
【００２５】
評価パラメータ算出部１５、１９では、ＨＰＦ１２で帯域制限された入力音声信号のピッチ信頼度ｐｒｏｂ_H、ＬＰＦ１６で帯域制限された入力音声信号のピッチ信頼度をｐｒｏｂ_Lを算出する。このピッチ信頼度ｐｒｏｂ_H、ｐｒｏｂ_Lは、それぞれ（５）、（６）式で算出する。
【００２６】
ｐｒｏｂ_H ＝ｒ'_H（１）／ｒ'_H（２）・・・（５）
ｐｒｏｂ_L ＝ｒ'_L（１）／ｒ'_L（２）・・・（６）
選択部２０では、上記ピッチ強度／ピッチラグ算出部１４、１８で算出された各ピッチラグ、及び上記評価パラメータ算出部１５、１９で算出されたピッチ信頼度に基づいて、ＨＰＦ１２で帯域制限された入力音声信号によって得られたパラメータ、あるいは、ＬＰＦ１６で帯域制限された入力音声信号によって得られたパラメータの内のいずれか一方のパラメータを、上記入力端子１１からの入力音声信号のピッチサーチに用いるのかを判別して選択する。このとき、以下の表１に示す判別処理を行う。
【００２７】
〔表１〕
if lag_H x 0.96 < lag_L < lag_H x 1.04 then ＬＰＦによるパラメータを用いる
else if N_H > 40 then ＬＰＦによるパラメータを用いる
else if prob_H/prob_L > 1.2 then ＨＰＦによるパラメータを用いる
else ＬＰＦによるパラメータを用いる
この判別処理では、ＬＰＦ１６で帯域制限された入力音声信号から求められたピッチのほうが信頼度が高くなるように処理を行っている。
【００２８】
先ず、ＬＰＦ１６で帯域制限された入力音声信号のピッチラグｌａｇ_Lと、ＨＰＦ１２で帯域制限された入力音声信号のピッチラグｌａｇ_Hとを比較して、ｌａｇ_Hとｌａｇ_Lとの差が小さいときには、ＬＰＦ１６で帯域制限された入力音声信号によって得られたパラメータを選択する。具体的には、ＬＰＦ１６によるピッチラグｌａｇ_Lの値が、ＨＰＦ１２によるピッチラグｌａｇ_Hの０．９６倍の値より大きく、また、ピッチラグｌａｇ_Hの１．０４倍の値より小さいならば、ＬＰＦ１６で帯域制限された入力音声信号のパラメータを用いる。
【００２９】
次に、ＨＰＦ１２によるピークの総数Ｎ_Hを所定数と比較し、Ｎ_Hが所定数より多いときにはピッチが出ていないと判別して、ＬＰＦ１６によるパラメータを選択する。具体的には、Ｎ_Hが４０以上であるならば、ＬＰＦ１６で帯域制限された入力音声信号のパラメータを用いる。
【００３０】
次に、評価パラメータ算出部１５からのｐｒｏｂ_Hと評価パラメータ算出部１９からのｐｒｏｂ_Lとを比較し、判別を行う。具体的には、ｐｒｏｂ_Hをｐｒｏｂ_Lで除算した値が１．２以上であるならば、ＨＰＦ１２で帯域制限された入力音声信号のパラメータを用いる。
【００３１】
最後に、上述の３段階の判別処理で判別できないときには、ＬＰＦ１６で帯域制限された入力音声信号のパラメータを用いる。
【００３２】
この選択部２０で選択されたパラメータは、出力端子２１から出力される。
【００３３】
次に、上記ピッチ抽出装置を用いたピッチサーチ装置におけるピッチサーチ方法の手順について、図３及び図４のフローチャートを用いて説明する。
【００３４】
先ず、図３のステップＳ１で、所定数の音声信号をフレーム区分して、このフレーム単位の入力音声信号を、ステップＳ２で、ＬＰＦに通して帯域制限を行うとともに、ステップＳ３で、ＨＰＦに通して帯域制限を行う。
【００３５】
次に、ステップＳ４で、ステップＳ２の帯域制限された入力音声信号の自己相関データが算出される。一方、ステップＳ５で、ステップＳ３の帯域制限された入力音声信号の自己相関データが算出される。
【００３６】
ステップＳ４で求められた自己相関データを用いて、ステップＳ６で、複数あるいは全てのピークが検出される。また、それらのピーク値のソーティングが行われて、ｒ_H（ｎ）及びｒ_H（ｎ）に対応するｌａｇ_H（ｎ）を求める。また、ｒ_H（ｎ）を正規化した関数ｒ'_H（０）を得る。一方、ステップＳ５で求められた自己相関データを用いて、ステップＳ７で、複数あるいは全てのピークが検出される。また、それらのピーク値のソーティングが行われて、ｒ_L（ｎ）及びｒ_L（ｎ）に対応するｌａｇ_L（ｎ）を求める。また、ｒ_L（ｎ）を正規化した関数ｒ'_L（０）を得る。
【００３７】
ステップＳ８で、ステップＳ６で得られたｒ'_H（ｎ）の内のｒ'_H（１）、ｒ'_H（１）を用いてピッチ信頼度を求める。一方、ステップＳ９で、ステップＳ７で得られたｒ'_L（ｎ）の内のｒ'_L（１）、ｒ'_L（１）を用いてピッチ信頼度を求める。
【００３８】
この後、入力音声信号のピッチ抽出のためのパラメータとして、ＬＰＦによるパラメータを用いるか、あるいはＨＰＦによるパラメータを用いるかの判別処理を行う。
【００３９】
先ず、ステップＳ１０で、ＬＰＦ１６によるピッチラグｌａｇ_Lの値が、ＨＰＦ１２によるピッチラグｌａｇ_Hの０．９６倍の値より大きく、また、ピッチラグｌａｇ_Hの１．０４倍の値より小さいか否かを判別する。ここでＹＥＳが判別されると、ステップＳ１３に進み、ＬＰＦで帯域制限された入力音声信号の自己相関データを基に得られたパラメータを使用する。一方、ＮＯが判別されると、ステップＳ１１に進む。
【００４０】
ステップＳ１１では、ＨＰＦによるピークの総数Ｎ_Hが４０以上であるか否かを判別する。ここで、ＹＥＳが判別されるならば、ステップＳ１３に進み、ＬＰＦによるパラメータを使用する。一方、ＮＯが判別されると、ステップＳ１２に進む。
【００４１】
ステップＳ１２では、ピッチ信頼度であるｐｒｏｂ_Hをｐｒｏｂ_Lで除算した値が１．２以下であるか否かを判別する。ここで、ＹＥＳが判別されるならば、ステップＳ１３に進み、ＬＰＦによるパラメータを使用する。一方、ＮＯが判別されるならば、ステップＳ１４に進み、ＨＰＦで帯域制限された入力音声信号の自己相関データを基に得られたパラメータを使用する。
【００４２】
このようにして選択されたパラメータを用いて、以下のピッチサーチを行う。尚、以下の説明では、選択されたパラメータである、自己相関データをｒ（ｎ）、この自己相関データの正規化関数をｒ'（ｎ）、この正規化関数を並べ換えたものをｒ'_s（ｎ）として説明する。
【００４３】
図４のフローチャートのステップＳ１５で、上記並べ換えたピークの中で最大ピークｒ'_s（０）がｋ＝０．４より大きいか否かを判別する。ここで、ＹＥＳ（最大ピークｒ'_s（０）が０．４より大きい）が判別されると、ステップＳ１６に進む。一方、ＮＯ（最大ピークｒ'_s（０）が０．４より小さい）が判別されると、ステップＳ１７に進む。
【００４４】
ステップＳ１６では、上記ステップＳ１５でＹＥＳが判別された結果、Ｐ（０）を現フレームのピッチＰ₀とする。また、このときのＰ（０）を典型的なピッチＰ_tとする。
【００４５】
ステップＳ１７では、前フレームにおいて、ピッチＰ_-1が無いのか否かを判別する。ここで、ＹＥＳ（ピッチが無かった）が判別されると、ステップＳ１８に進む。一方、ＮＯ（ピッチがあった）が判別されると、ステップＳ２１に進む。
【００４６】
ステップＳ１８では、最大ピーク値ｒ'_s（０）がｋ＝０．２５より大きいか否かを判別する。ここで、ＹＥＳ（最大ピーク値ｒ'_s（０）がｋより大きい）が判別されると、ステップＳ１９に進む。一方、ＮＯ（最大ピーク値ｒ'_s（０）がｋより小さい）が判別されると、ステップＳ２０に進む。
【００４７】
ステップＳ１９では、上記ステップＳ１８でＹＥＳが判別されたとき、即ち、最大ピーク値ｒ'_s（０）がｋ＝０．２５より大きいとき、Ｐ（０）を現フレームのピッチＰ₀とする。
【００４８】
ステップＳ２０では、上記ステップＳ１８でＮＯが判別されたとき、即ち、最大ピーク値ｒ'_s（０）がｋ＝０．２５より小さいとき、現フレームにはピッチが無い（Ｐ₀＝Ｐ（０））とする。
【００４９】
ステップＳ２１では、上記ステップＳ１７で過去フレームのピッチＰ_-1が０でなかった、即ち、ピッチがあることを受けて、この過去のピッチＰ_-1でのピーク値が０．２より大きいか否かを判別する。ここで、ＹＥＳ（過去のピッチＰ_-1が０．２より大きい）が判別されると、ステップＳ２２に進む。一方、ＮＯ（過去のピッチＰ_-1が０．２より小さい）が判別されると、ステップＳ２５に進む。
【００５０】
ステップＳ２２では、上記ステップＳ２１でのＹＥＳの判別を受けて、過去フレームのピッチＰ_-1の８０％〜１２０％の範囲で、最大ピーク値ｒ'_s（Ｐ_-1）を探す。つまり、既に求められている過去のピッチＰ_-1に対して、０≦ｎ＜ｊの範囲でｒ'_s（ｎ）を検索する。
【００５１】
ステップＳ２３では、上記ステップＳ２２によって探された現フレームのピッチの候補が、所定値０．３より大きいか否かを判別する。ここで、ＹＥＳが判別されると、ステップＳ２４に進み、ＮＯが判別されると、ステップＳ２８に進む。
【００５２】
ステップＳ２４では、上記ステップＳ２３でのＹＥＳの判別結果を受けて、上記現フレームのピッチの候補を現フレームのピッチＰ₀とする。
【００５３】
ステップＳ２５では、上記ステップＳ２１で、過去のピッチＰ_-1でのピーク値ｒ'（Ｐ_-1）が０．２より小さいという判別結果を受けて、このときの最大ピーク値ｒ'_s（０）が０．３５より大きいか否かを判別する。ここで、ＹＥＳ（最大ピーク値ｒ'_s（０）が０．３５より大きい）が判別されると、ステップＳ２６に進む。一方、ＮＯ（最大ピーク値ｒ'_s（０）が０．３５より）が判別されると、ステップＳ２７に進む。
【００５４】
ステップＳ２６では、上記ステップＳ２５でＹＥＳが判別されたとき、即ち、最大ピーク値ｒ'_s（０）が０．３５より大きいとき、Ｐ（０）を現フレームのピッチＰ₀とする。
【００５５】
ステップＳ２７では、上記ステップＳ２５でＮＯが判別されたとき、即ち、最大ピーク値ｒ'_s（０）が０．３５より小さいとき、現フレームにはピッチが無いとする。
【００５６】
ステップＳ２８では、上記ステップＳ２３でＮＯが判別された結果を受けて、典型的なピッチＰ_tの８０％〜１２０％の範囲で、最大ピーク値ｒ'_s（Ｐ_t）を探す。つまり、既に求められている典型的なピッチＰ_tに対して、０≦ｎ＜ｊの範囲でｒ'_s（ｎ）を検索する。
【００５７】
ステップＳ２９は、上記ステップＳ２８で探し出されたピッチを現フレームのピッチＰ₀とする。
【００５８】
このように、フレーム単位で、帯域制限された周波数帯域毎に、過去のフレームで算出されたピッチを基に現フレームのピッチを決定して、評価パラメータを算出し、この評価パラメータに基づいて基となるピッチを決定した後に、この過去から決定された現フレームのピッチを、過去フレームのピッチ、現フレームのピッチ、及び未来フレームのピッチを基に決定することにより、現フレームのピッチを正確なものとする。
【００５９】
また、図１及び図２で示したピッチサーチ装置の他の実施の形態を図５に示す。図５のピッチサーチ装置では、現フレームピッチ算出部６０において、現フレームの周波数帯域制限を行った後にフレーム区分を行った、このフレーム単位の入力音声信号のパラメータを求めると共に、他フレームピッチ算出部６１において、他フレームの周波数帯域制限を行った後にフレーム区分を行った、このフレーム単位の入力音声信号のパラメータを求め、これらのパラメータを比較して、現フレームのピッチを求める。
【００６０】
尚、自己相関算出部４２、４７、５２、５７は、図２の自己相関算出部１３、１７と同様の処理を行い、ピッチ強度／ピッチラグ算出部４３、４８、５３、５８は、図２のピッチ強度／ピッチラグ算出部１４、１８と同様の処理を行い、評価パラメータ算出部４４、４９、５４、５９は、図２の評価パラメータ算出部１５、１９と同様の処理を行い、選択部３３、３４は、図２の選択部２０と同様の処理を行い、比較検出部３５は、図１の比較検出部５と同様の処理を行い、ピッチ決定部３６は、図１のピッチ決定部６と同様の処理を行う。
【００６１】
先ず、入力端子３１から入力される現フレームの音声信号は、ＨＰＦ４０及びＬＰＦ４５でそれぞれ周波数帯域を制限し、フレーム区分部４１、４６でフレーム単位に区分して、フレーム単位の入力音声信号として出力する。そして、自己相関算出部４２、４７でそれぞれ自己相関データを算出し、ピッチ強度／ピッチラグ算出部４３、４８でそれぞれピッチ強度及びピッチラグを算出し、評価パラメータ算出部４４、４９でそれぞれ評価パラメータであるピッチ強度の比較値を算出する。さらに、選択部３３で、ピッチラグや評価パラメータ等を用いて、ＨＰＦ４０で周波数帯域制限された入力音声信号のパラメータ及びＬＰＦ４５で周波数帯域制限された入力音声信号のパラメータの内のいずれか一方のパラメータを選択する。
【００６２】
同様にして、入力端子３２から入力される他フレームの音声信号は、ＨＰＦ５０及びＬＰＦ５５でそれぞれ周波数帯域を制限し、フレーム区分部５１、５６でフレーム単位に区分して、フレーム単位の入力音声信号として出力する。そして、自己相関算出部５２、５７でそれぞれ自己相関データを算出し、ピッチ強度／ピッチラグ算出部５３、５８でそれぞれピッチ強度及びピッチラグを算出し、評価パラメータ算出部５４、５９でそれぞれ評価パラメータであるピッチ強度の比較値を算出する。さらに、選択部３４で、ピッチラグや評価パラメータ等を用いて、ＨＰＦ５０で周波数帯域制限された入力音声信号のパラメータ及びＬＰＦ５５で周波数帯域制限された入力音声信号のパラメータの内のいずれか一方のパラメータを選択する。
【００６３】
上記比較検出部３５では、上記現フレームピッチ算出部６０で検出されたピークが、上記他フレームピッチ算出部６１で算出されたピッチに対して、所定の関係を満たすピッチ範囲内にあるか否かを比較し、この範囲内にあるときにピークを検出する。上記ピッチ決定部３６では、上記比較検出部３５で比較検出されたピークから現フレームのピッチを決定する。
【００６４】
尚、上記フレーム単位の音声信号に対してＬＰＣ（Linear Predictive Coding: 線形予測符号化）を行い、得られる短期予測残差、即ちＬＰＣ（線形予測符号化）残差を用いてピッチを算出することにより、より正確なピッチ抽出を行うことができる。
【００６５】
また、表１に示す判別処理及び判別処理に用いる定数は一例であり、より正確なパラメータを選択するために、表１に示す判別処理以外の判別処理を用いたり、定数として他の値を用いたりしてもよい。
【００６６】
また、上述のピッチ抽出装置では、フレーム単位の音声信号の周波数帯域を、ＨＰＦ及びＬＰＦを用いて２つの周波数帯域に制限して、最適なピッチを選択しているが、音声信号の周波数帯域の制限は２つに限られることはなく、３つ以上の異なる周波数帯域に制限し、各周波数帯域の音声信号のピッチをそれぞれ算出して、最適なピッチを選択するようにしてもよい。このとき、表１に示す判別処理の代わりに、３つ以上の異なる周波数帯域の入力音声信号のパラメータを選択するための他の判別処理を用いる。
【００６７】
次に、上述のピッチサーチ装置を音声信号符号化装置に適用した実施の形態について、図面を用いて説明する。
【００６８】
図６に示す音声信号符号化装置は、入力音声信号の短期予測残差、例えばＬＰＣ（線形予測符号化）残差を求めて、サイン波分析（sinusoidal analysis）符号化、例えばハーモニックコーディング（harmonic coding）を行い、入力音声信号に対して位相伝送を行う波形符号化により符号化し、入力信号の有声音（Ｖ：Voiced）の部分及び無声音（ＵＶ：Unvoiced）の部分をそれぞれ符号化するものである。
【００６９】
この図６に示された音声信号符号化装置において、入力端子１０１に供給された音声信号は、ハイパスフィルタ（ＨＰＦ）１０９にて不要な帯域の信号を除去するフィルタ処理が施された後、ＬＰＣ（線形予測符号化）分析・量子化部１１３のＬＰＣ分析回路１３２と、ＬＰＣ逆フィルタ回路１１１とに送られる。
【００７０】
ＬＰＣ分析・量子化部１１３のＬＰＣ分析回路１３２は、入力信号波形の２５６サンプル程度の長さを１ブロックとしてハミング窓をかけて、自己相関法により線形予測係数、いわゆるαパラメータを求める。データ出力の単位となるフレーミングの間隔は、１６０サンプル程度とする。サンプリング周波数ｆｓが例えば８ｋHzのとき、１フレーム間隔は１６０サンプルで２０ｍsec となる。
【００７１】
ＬＰＣ分析回路１３２からのαパラメータは、α→ＬＳＰ変換回路１３３に送られて、線スペクトル対（ＬＳＰ）パラメータに変換される。これは、直接型のフィルタ係数として求まったαパラメータを、例えば１０個、すなわち５対のＬＳＰパラメータに変換する。変換は例えばニュートン−ラプソン法等を用いて行う。このＬＳＰパラメータに変換するのは、αパラメータよりも補間特性に優れているからである。
【００７２】
α→ＬＳＰ変換回路１３３からのＬＳＰパラメータは、ＬＳＰ量子化器１３４によりマトリクスあるいはベクトル量子化される。このとき、フレーム間差分をとってからベクトル量子化してもよく、複数フレーム分をまとめてマトリクス量子化してもよい。ここでは、２０ｍsec を１フレームとし、２０ｍsec 毎に算出されるＬＳＰパラメータを２フレーム分まとめて、マトリクス量子化及びベクトル量子化している。
【００７３】
このＬＳＰ量子化器１３４からの量子化出力、すなわちＬＳＰ量子化のインデクスは、端子１０２を介して取り出され、また量子化済みのＬＳＰベクトルは、ＬＳＰ補間回路１３６に送られる。
【００７４】
ＬＳＰ補間回路１３６は、上記２０ｍsec あるいは４０ｍsec 毎に量子化されたＬＳＰのベクトルを補間し、８倍のレートにする。すなわち、２．５ｍsec 毎にＬＳＰベクトルが更新されるようにする。これは、残差波形をハーモニック符号化復号化方法により分析合成すると、その合成波形のエンベロープは非常になだらかでスムーズな波形になるため、ＬＰＣ係数が２０ｍsec 毎に急激に変化すると異音を発生することがあるからである。すなわち、２．５ｍsec 毎にＬＰＣ係数が徐々に変化してゆくようにすれば、このような異音の発生を防ぐことができる。
【００７５】
このような補間が行われた２．５ｍsec 毎のＬＳＰベクトルを用いて入力音声の逆フィルタリングを実行するために、ＬＳＰ→α変換回路１３７により、ＬＳＰパラメータを例えば１０次程度の直接型フィルタの係数であるαパラメータに変換する。このＬＳＰ→α変換回路１３７からの出力は、上記ＬＰＣ逆フィルタ回路１１１に送られ、このＬＰＣ逆フィルタ１１１では、２．５ｍsec 毎に更新されるαパラメータにより逆フィルタリング処理を行って、滑らかな出力を得るようにしている。このＬＰＣ逆フィルタ１１１からの出力は、サイン波分析符号化部１１４、具体的には例えばハーモニック符号化回路、の直交変換回路１４５、例えばＤＦＴ（離散フーリエ変換）回路に送られる。
【００７６】
ＬＰＣ分析・量子化部１１３のＬＰＣ分析回路１３２からのαパラメータは、聴覚重み付けフィルタ算出回路１３９に送られて聴覚重み付けのためのデータが求められ、この重み付けデータが後述する聴覚重み付きのベクトル量子化器１１６と、第２の符号化部１２０の聴覚重み付けフィルタ１２５及び聴覚重み付きの合成フィルタ１２２とに送られる。
【００７７】
ハーモニック符号化回路等のサイン波分析符号化部１１４では、ＬＰＣ逆フィルタ１１１からの出力を、ハーモニック符号化の方法で分析する。すなわち、ピッチ検出、各ハーモニクスの振幅Ａｍの算出、有声音（Ｖ）／無声音（ＵＶ）の判別を行い、ピッチによって変化するハーモニクスのエンベロープあるいは振幅Ａｍの個数を次元変換して一定数にしている。
【００７８】
図６に示すサイン波分析符号化部１１４の具体例においては、一般のハーモニック符号化を想定しているが、特に、ＭＢＥ（Multiband Excitation: マルチバンド励起）符号化の場合には、同時刻（同じブロックあるいはフレーム内）の周波数軸領域いわゆるバンド毎に有声音（Voiced）部分と無声音（Unvoiced）部分とが存在するという仮定でモデル化することになる。それ以外のハーモニック符号化では、１ブロックあるいはフレーム内の音声が有声音か無声音かの択一的な判定がなされることになる。なお、以下の説明中のフレーム毎のＶ／ＵＶとは、ＭＢＥ符号化に適用した場合には全バンドがＵＶのときを当該フレームのＵＶとしている。
【００７９】
図６のサイン波分析符号化部１１４のオープンループピッチサーチ部１４１には、上記入力端子１０１からの入力音声信号が、またゼロクロスカウンタ１４２には、上記ＨＰＦ（ハイパスフィルタ）１０９からの信号がそれぞれ供給されている。サイン波分析符号化部１１４の直交変換回路１４５には、ＬＰＣ逆フィルタ１１１からのＬＰＣ残差あるいは線形予測残差が供給されている。このオープンループピッチサーチ部１４１は、上述の本発明に係るピッチサーチ装置の実施の形態を用いたものであり、このオープンループピッチサーチ部１４１では、入力信号のＬＰＣ残差をとってオープンループによる比較的ラフなピッチのサーチが行われ、抽出された粗ピッチデータは高精度ピッチサーチ１４６に送られて、後述するようなクローズドループによる高精度のピッチサーチ（ピッチのファインサーチ）が行われる。また、オープンループピッチサーチ部１４１からは、上記粗ピッチデータと共にＬＰＣ残差の自己相関の最大値をパワーで正規化した正規化自己相関最大値ｒ(p) が取り出され、Ｖ／ＵＶ（有声音／無声音）判定部１１５に送られている。
【００８０】
直交変換回路１４５では例えばＤＦＴ（離散フーリエ変換）等の直交変換処理が施されて、時間軸上のＬＰＣ残差が周波数軸上のスペクトル振幅データに変換される。この直交変換回路１４５からの出力は、高精度ピッチサーチ部１４６及びスペクトル振幅あるいはエンベロープを評価するためのスペクトル評価部１４８に送られる。
【００８１】
高精度（ファイン）ピッチサーチ部１４６には、オープンループピッチサーチ部１４１で抽出された比較的ラフな粗ピッチデータと、直交変換部１４５により例えばＤＦＴされた周波数軸上のデータとが供給されている。この高精度ピッチサーチ部１４６では、上記粗ピッチデータ値を中心に、0.２〜0.５きざみで±数サンプルずつ振って、最適な小数点付き（フローティング）のファインピッチデータの値へ追い込む。このときのファインサーチの手法として、いわゆる合成による分析 (Analysis by Synthesis)法を用い、合成されたパワースペクトルが原音のパワースペクトルに最も近くなるようにピッチを選んでいる。このようなクローズドループによる高精度のピッチサーチ部１４６からのピッチデータについては、スイッチ１１８を介して出力端子１０４に送っている。
【００８２】
スペクトル評価部１４８では、ＬＰＣ残差の直交変換出力としてのスペクトル振幅及びピッチに基づいて各ハーモニクスの大きさ及びその集合であるスペクトルエンベロープが評価され、高精度ピッチサーチ部１４６、Ｖ／ＵＶ（有声音／無声音）判定部１１５及び聴覚重み付きのベクトル量子化器１１６に送られる。
【００８３】
Ｖ／ＵＶ（有声音／無声音）判定部１１５は、直交変換回路１４５からの出力と、高精度ピッチサーチ部１４６からの最適ピッチと、スペクトル評価部１４８からのスペクトル振幅データと、オープンループピッチサーチ部１４１からの正規化自己相関最大値ｒ(p) と、ゼロクロスカウンタ４１２からのゼロクロスカウント値とに基づいて、当該フレームのＶ／ＵＶ判定が行われる。さらに、ＭＢＥの場合の各バンド毎のＶ／ＵＶ判定結果の境界位置も当該フレームのＶ／ＵＶ判定の一条件としてもよい。このＶ／ＵＶ判定部１１５からの判定出力は、出力端子１０５を介して取り出される。
【００８４】
ところで、スペクトル評価部１４８の出力部あるいはベクトル量子化器１１６の入力部には、データ数変換（一種のサンプリングレート変換）部が設けられている。このデータ数変換部は、上記ピッチに応じて周波数軸上での分割帯域数が異なり、データ数が異なることを考慮して、エンベロープの振幅データ｜Ａ_m｜を一定の個数にするためのものである。すなわち、例えば有効帯域を３４００ｋHzまでとすると、この有効帯域が上記ピッチに応じて、８バンド〜６３バンドに分割されることになり、これらの各バンド毎に得られる上記振幅データ｜Ａ_m｜の個数ｍ_MX＋１も８〜６３と変化することになる。このためデータ数変換部１１９では、この可変個数ｍ_MX＋１の振幅データを一定個数Ｍ個、例えば４４個、のデータに変換している。
【００８５】
このスペクトル評価部１４８の出力部あるいはベクトル量子化器１１６の入力部に設けられたデータ数変換部からの上記一定個数Ｍ個（例えば４４個）の振幅データあるいはエンベロープデータが、ベクトル量子化器１１６により、所定個数、例えば４４個のデータ毎にまとめられてベクトルとされ、重み付きベクトル量子化が施される。この重みは、聴覚重み付けフィルタ算出回路１３９からの出力により与えられる。ベクトル量子化器１１６からの上記エンベロープのインデクスは、スイッチ１１７を介して出力端子１０３より取り出される。なお、上記重み付きベクトル量子化に先だって、所定個数のデータから成るベクトルについて適当なリーク係数を用いたフレーム間差分をとっておくようにしてもよい。
【００８６】
次に、第２の符号化部１２０について説明する。第２の符号化部１２０は、いわゆるＣＥＬＰ（符号励起線形予測）符号化構成を有しており、特に、入力音声信号の無声音部分の符号化のために用いられている。この無声音部分用のＣＥＬＰ符号化構成において、雑音符号帳、いわゆるストキャスティック・コードブック（stochastic code book）１２１からの代表値出力である無声音のＬＰＣ残差に相当するノイズ出力を、ゲイン回路１２６を介して、聴覚重み付きの合成フィルタ１２２に送っている。重み付きの合成フィルタ１２２では、入力されたノイズをＬＰＣ合成処理し、得られた重み付き無声音の信号を減算器１２３に送っている。減算器１２３には、上記入力端子１０１からＨＰＦ（ハイパスフィルタ）１０９を介して供給された音声信号を聴覚重み付けフィルタ１２５で聴覚重み付けした信号が入力されており、合成フィルタ１２２からの信号との差分あるいは誤差を取り出している。この誤差を距離計算回路１２４に送って距離計算を行い、誤差が最小となるような代表値ベクトルを雑音符号帳１２１でサーチする。このような合成による分析（Analysis by Synthesis ）法を用いたクローズドループサーチを用いた時間軸波形のベクトル量子化を行っている。
【００８７】
このＣＥＬＰ符号化構成を用いた第２の符号化部１２０からのＵＶ（無声音）部分用のデータとしては、雑音符号帳１２１からのコードブックのシェイプインデクスと、ゲイン回路１２６からのコードブックのゲインインデクスとが取り出される。雑音符号帳１２１からのＵＶデータであるシェイプインデクスは、スイッチ１２７ｓを介して出力端子１０７ｓに送られ、ゲイン回路１２６のＵＶデータであるゲインインデクスは、スイッチ１２７ｇを介して出力端子１０７ｇに送られている。
【００８８】
ここで、これらのスイッチ１２７ｓ、１２７ｇ及び上記スイッチ１１７、１１８は、上記Ｖ／ＵＶ判定部１１５からのＶ／ＵＶ判定結果によりオン／オフ制御され、スイッチ１１７、１１８は、現在伝送しようとするフレームの音声信号のＶ／ＵＶ判定結果が有声音（Ｖ）のときオンとなり、スイッチ１２７ｓ、１２７ｇは、現在伝送しようとするフレームの音声信号が無声音（ＵＶ）のときオンとなる。
【００８９】
【発明の効果】
以上の説明からも明かなように、本発明に係るピッチ抽出装置及びピッチ抽出方法は、入力音声信号を複数の異なる周波数帯域に制限し、上記各周波数帯域の音声信号毎の、所定単位の自己相関データからピークを検出してピッチ強度を求め、ピッチ周期を算出し、また、上記ピッチ強度を用いて、ピッチ強度の信頼度を示す評価パラメータを算出し、上記ピッチ周期及び上記評価パラメータに基づいて、上記複数の異なる周波数帯域の音声信号の内の１つの周波数帯域の音声信号のピッチを選択することにより、様々な特性を持つ音声信号のピッチを正確に抽出して、高精度なピッチサーチを行うことができる。
【図面の簡単な説明】
【図１】本発明に係るピッチ抽出装置を用いたピッチサーチ装置の実施の形態の概略的な構成図である。
【図２】本発明に係るピッチ抽出装置の概略的な構成図である。
【図３】ピッチサーチ処理を説明するためのフローチャートである。
【図４】図３のピッチサーチ処理に続くピッチサーチ処理のフローチャートである。
【図５】他のピッチサーチ装置の概略的な構成図である。
【図６】本発明に係るピッチサーチ装置を適用した音声信号符号化装置の概略的な構成図である。
【符号の説明】
２フレーム区分部、３現フレームピッチ算出部、４他フレームピッチ算出部、５比較検出部、６ピッチ決定部、１２ＨＰＦ、１６ＬＰＦ、１３，１７自己相関算出部、１４，１８ピッチ強度／ピッチラグ算出部、１５，１９評価パラメータ算出部、２０選択部

Claims

入力音声信号を複数の異なる周波数帯域に制限するフィルタ手段と、
上記フィルタ手段からの各周波数帯域の音声信号毎に、所定単位の自己相関データを算出する自己相関算出手段と、
上記自己相関算出手段からの自己相関データからピークを検出して、ピッチ強度を求め、ピッチ周期を算出するピッチ周期算出手段と、
上記自己相関算出手段からの自己相関データのピークの値を大きい順に並べ換えた関数を順次ｒ（０）、ｒ（１）、ｒ（２）、・・・とし、ｒ（１）、ｒ（２）、・・・をｒ（０）で除算することにより正規化した関数をｒ ' （１）、ｒ ' （２）、・・・とするとき、ｒ ' （１）とｒ ' （２）との比を求めることにより、ピッチ強度の信頼度を示す評価パラメータを算出する評価パラメータ算出手段と、
上記ピッチ周期算出手段からのピッチ周期及び上記評価パラメータ算出手段からの評価パラメータに基づいて、上記複数の異なる周波数帯域の音声信号の内の１つの周波数帯域の音声信号のピッチを選択する選択手段と
を備えて成ることを特徴とするピッチ抽出装置。
上記フィルタ手段では、ハイパスフィルタ及びローパスフィルタを用い、２つの周波数帯域に制限された音声信号を出力することを特徴とする請求項１記載のピッチ抽出装置。
上記フィルタ手段には、フレーム単位の音声信号を入力することを特徴とする請求項１記載のピッチ抽出装置。
上記フィルタ手段では、ハイパスフィルタ及びローパスフィルタを用い、２つの周波数帯域に制限された音声信号を出力することを特徴とする請求項３記載のピッチ抽出装置。
上記フィルタ手段で、複数の周波数帯域に制限された音声信号を、フレーム単位で出力することを特徴とする請求項１記載のピッチ抽出装置。
上記フィルタ手段では、ハイパスフィルタ及びローパスフィルタを用い、２つの周波数帯域に制限された音声信号を、フレーム単位で出力することを特徴とする請求項５記載のピッチ抽出装置。
上記フィルタ手段では、少なくとも１つのローパスフィルタを用いることを特徴とする請求項１記載のピッチ抽出装置。
上記フィルタ手段では、上記ローパスフィルタで高域が除去された信号と上記入力音声信号とを出力することを特徴とする請求項７記載のピッチ抽出装置。
入力音声信号を複数の異なる周波数帯域に制限するフィルタ工程と、
上記各周波数帯域の音声信号毎に、所定単位の自己相関データを算出する自己相関算出工程と、
上記自己相関データからピークを検出して、ピッチ強度を求め、ピッチ周期を算出するピッチ周期算出工程と、
上記自己相関データのピークの値を大きい順に並べ換えた関数を順次ｒ（０）、ｒ（１）、ｒ（２）、・・・とし、ｒ（１）、ｒ（２）、・・・をｒ（０）で除算することにより正規化した関数をｒ ' （１）、ｒ ' （２）、・・・とするとき、ｒ ' （１）とｒ ' （２）との比を求めることにより、ピッチ強度の信頼度を示す評価パラメータを算出する評価パラメータ算出工程と、
上記ピッチ周期及び上記評価パラメータに基づいて、上記複数の異なる周波数帯域の音声信号の内の１つの周波数帯域の音声信号のピッチを選択する選択工程と
を有して成ることを特徴とするピッチ抽出方法。
上記フィルタ工程では、ハイパスフィルタ及びローパスフィルタを用い、２つの周波数帯域に制限された音声信号を出力することを特徴とする請求項９記載のピッチ抽出方法。
上記フィルタ工程では、少なくとも１つのローパスフィルタを用いることを特徴とする請求項９記載のピッチ抽出方法。
上記フィルタ工程では、上記ローパスフィルタで高域が除去された信号と上記入力音声信号とを出力することを特徴とする請求項１１記載のピッチ抽出方法。