[go: up one dir, main page]

JPH0844394A - 励起パラメータの評価 - Google Patents

励起パラメータの評価

Info

Publication number
JPH0844394A
JPH0844394A JP7077829A JP7782995A JPH0844394A JP H0844394 A JPH0844394 A JP H0844394A JP 7077829 A JP7077829 A JP 7077829A JP 7782995 A JP7782995 A JP 7782995A JP H0844394 A JPH0844394 A JP H0844394A
Authority
JP
Japan
Prior art keywords
frequency band
signal
band signal
modified
modified frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7077829A
Other languages
English (en)
Other versions
JP4100721B2 (ja
Inventor
Daniel Wayne Griffin
ダニエル・ウエイン・グリフィン
Jae S Lim
ジェ・エス・リム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Digital Voice Systems Inc
Original Assignee
Digital Voice Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Digital Voice Systems Inc filed Critical Digital Voice Systems Inc
Publication of JPH0844394A publication Critical patent/JPH0844394A/ja
Application granted granted Critical
Publication of JP4100721B2 publication Critical patent/JP4100721B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/93Discriminating between voiced and unvoiced parts of speech signals
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/087Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters using mixed excitation models, e.g. MELP, MBE, split band LPC or HVXC
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/21Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)

Abstract

(57)【要約】 【目的】 デジタル音声信号の励起パラメータを正確に
決定すること。 【構成】 デジタル音声信号を少なくとも2つの周波数
バンドに分割し、周波数バンド信号の少なくとも1つに
ついて非線形演算を施して、修正周波数バンドを生成
し、その修正された周波数バンドが有声か無声かを決定
する。

Description

【発明の詳細な説明】
【0001】
【発明の背景】本発明は、音声解析と合成において励起
パラメータが評価される精度の改良に関する。音声解析
と合成は電気通信や音声認識等の種々の応用分野におい
て汎く用いられている。あるタイプの音声解析・合成シ
ステムであるボコーダ(vocoder)は、短い時間
感覚での励起に対して、音声をシステムの応答としてモ
デル化する。ボコーダ・システムとしては線形予測ボコ
ーダ、準同型ボコーダ、チャネルボコーダ、正弦変換コ
ーダ(STC)、マルチバンド励起ボコーダ(MB
E)、改良型マルチバンド励起ボコーダ(IMBE)等
が知られている。ボコーダは、典型的には、励起パラメ
ータとシステムパラメータに基づいて音声を合成する。
典型的には、入力信号は、例えば、ハミングの窓(Ha
mming Window)を用いてセグメント化され
る。そして、各セグメントについて、システムパラメー
タと励起パラメータが決定される。システムパラメータ
は、スペクトル・エンベロープ(spectral e
nvelope)或はシステムのインパルス応答を含
む。励起パラメータは、入力信号がピッチを持つか否か
を示す有声/無声決定および基本周波数(又はピッチ)
を含む。IMBE(TM)ボコーダのように、音声を周
波数バンドに分割するボコーダにおいては、励起パラメ
ータは、単一の有声/無声決定ではなく、各周波数バン
ド毎の有声/無声決定を含むこともできる。正確な励起
パラメータは高品質の音声合成にとって本質的である。
励起パラメータは、音声合成が必要とされない音声認識
等の分野においても使用される。励起パラメータの精度
は、そのシステムのパフォーマンスに直接影響する。
【0002】
【発明の要約】ある態様において、一般的に、本発明は
音声信号に対して非線形操作を施して、音声信号の基本
周波数を強調し、それによって、基本周波数やその他の
励起パラメータが決定される精度を改善する。励起パラ
メータを決定する典型的なアプローチでは、アナログ音
声信号s(t)をサンプリングして、音声信号s(n)
を生成する。音声信号s(n)は窓w(n)に掛け合わ
され、一般に、音声セグメントもしくは音声フレームと
呼ばれる窓掛け信号sW(n)(windowed s
ignal・窓による重み付けを行った信号)が生成さ
れる。窓掛け信号sW(n)に関してフーリエ変換が施
されて、周波数スペクトラムsW(ω)が生成され、そ
れから励起パラメータが決定される。音声信号s(n)
が基本周波数ωo又はピッチ周期no(no=2π/ωo
で周期的である場合、音声信号s(n)の周波数スペク
トルは、ωoとその高調周波数(ωoの整数倍)でエネル
ギを有する線形スペクトルとなるべきである。予想され
るように、sW(ω)はωoおよびその高調周波数付近に
中心を有するスペクトルピークを有する。しかしなが
ら、窓掛け操作によって、スペクトルピークはある幅を
有し、その幅は窓w(n)の長さと形状に依存し、か
つ、窓w(n)の長さが増大するにしたがって、減少す
る傾向を有する。この窓掛けによってもたらされるエラ
ーは励起パラメータを精度を低下させる。スペクトルピ
ークの幅を減少させ、それによって励起パラメータの精
度を向上させるためには、窓w(n)の長さは、できる
だけ長くする必要がある。
【0003】窓w(n)の最大有効長は制限される。音
声信号は定常的な信号ではなく、その代わりに時間によ
って変化する基本周波数を持つ。有意の励起パラメータ
を得るために、解析された音声セグメントは、実質的に
変化しない基本周波数を持たなければならない。したが
って、窓w(n)の長さは、基本周波数が窓内で大きく
変化しないように十分に短くなければならない。窓w
(n)の最大長さの制限に加えて、変化する基本周波数
はスペクトルピークを拡げる傾向がある。この拡大効果
は周波数が増加するに応じて大きくなる。例えば、窓の
間で基本周波数がΔωoだけ変化したとすると、m次の
高調波の周波数即ちmwoの周波数はmΔωoだけ変化
し、mωoに対応するスペクトルピークはωoに対応する
スペクトルピークより、より大きく拡げられる。より高
次の高調波での増加する拡大は、基本周波数の評価と高
周波バンドについての有声/無声決定の生成における高
次同調波の有効性を低下させる。非線形演算を施すこと
によって、変化する基本周波数の高次同調波への大きな
インパクトは減少されるか、消失され、より高次の同調
波は基本周波数の評価及び有声/無声決定の生成にとっ
てより有効に作用する。適当な非線形演算は、複素数
(又は実数)から実数値にマッピングし、複素数(又は
実数)値の大きさの非減少関数である出力を生成する。
かかる非線形演算は、例えば、絶対値、絶対値の2乗、
絶対値のあるべき乗もしくは絶対値の対数を含む。
【0004】非線形演算は、入力信号の基本周波数にお
いて、スペクトルピークを有する出力信号を生成する傾
向を有する。このことは、入力信号が基本周波数におい
てスペクトルピークを持たない場合にも正しい。例え
ば、ωoの3次と4次の同調波の間の領域にある周波数
のみを通過させるバンドパスフィルタが音声信号s
(n)に対して設置され、バンドパスフィルタの出力x
(n)は3ωo,4ωoおよび5ωoにスペクトルピーク
を有する。x(n)はωoにおいてスペクトルピークを
持たないにもかかわらず、|x(n)|2はあるピーク
を持つであろう。実信号x(n)については|x(n)
2はx2(n)に等しい。よく知られているように、x
2(n)のフーリエ変換はx(n)のフーリエ変換x
(ω)のx(ω)を用いた畳み込み(convolut
ion)
【数1】 x(ω)を用いたx(ω)の畳み込みは、x(ω)がス
ペクトルピークを有する周波数間の差に等しい周波数に
おいてスペクトルピークを持つ。周期信号のスペクトル
ピーク間の差は、基本周波数とその倍数である。かくし
て、3ωo,4ωoおよび5ωoにおいてx(ω)がスペ
クトルピークを有する例において、x(ω)を用いて畳
み込まれたx(ω)はωo(4ωo−3ωo,5ωo−4ω
o)においてスペクトルピークを持つ。典型的な周期信
号について、基本周波数におけるスペクトルピークは、
最も際立ったものとなる。
【0005】上記の議論は、複素信号にも適用される。
複素信号x(n)について、|x(n)|2のフーリエ
変換は以下の通りである。
【数2】 これは、x(ω)のx*(ω)との自己相関であり、n
ωoだけ離れたスペクトルピークがnωoにおいてピーク
を生成するという性質をも有する。|x(n)|,ある
実数aについて|x(n)|aおよびlog|x(n)
|は|x(n)|2と同じではないけれども、|x
(n)|2についての上記の議論は、定量的なレベルで
は近似的に適用することができる。例えば、|x(n)
|=y(n)0.5(ここで、y(n)=|x(n)|2
ついて、y(n)のテイラー級数展開は以下のように表
される。
【数3】 乗算は連係的であるので、信号yk(n)のフーリエ変
換はyk-1(n)のフーリエ変換を用いて畳み込んだY
(ω)である。|x(n)|2以外の非線形演算の挙動
はY(ω)のY(ω)による多重畳み込みの挙動を観察
することによって|x(n)|2から派生されうる。Y
(ω)がnωoにおいてピークを有するとすると、Y
(ω)のY(ω)を用いた多重畳み込みも、nωoにお
いてピークを有することであろう。
【0006】上で示した如く非線形演算は周期信号の基
本周波数を強調し、かつ、それは周期信号がより高次の
同調波において大きなエネルギを含む場合には、とりわ
け有用である。本発明によれば、入力信号に対する励起
パラメータは入力信号を少なくとも2つの周波数バンド
信号に分割することによって、生成される。その後、周
波数バンド信号の少なくとも1つに関して非線形演算が
行われ、それによって、少なくとも1つの修正周波数バ
ンド信号を生成する。最終的に各修正周波数バンド信号
について、その修正周波数バンド信号が有声か無声かを
決定する。典型的には、有声/無声の決定は規則的な時
間間隔でなされる。ある修正周波数バンド信号が有声か
無声かを決定するため、有声エネルギ(修正周波数バン
ド信号の評価された基本周波数と評価された基本周波数
の高次同調波に寄与する全エネルギの1部)と修正周波
数バンド信号の全エネルギが計算される。通常、0.5
ω0以下の周波数は全エネルギには含まれないものとす
る。なぜならば、これら周波数を含むとパフォーマンス
が低下するからである。修正周波数バンド信号は、その
修正周波数バンド信号の有声エネルギが修正周波数バン
ド信号の全エネルギの予め決められた割合を越えた時
に、有声であると判定され、そうでなければ無声と判定
される。修正周波数バンド信号は有声であると判定され
た場合、有声度が全エネルギに対する有声エネルギの比
に基づいて評価される。有声エネルギは修正周波数バン
ド信号とそれ自信もしくは他の修正周波数バンド信号と
の相関からも決定することができる。
【0007】計算上の負荷を低減するため、即ち、パラ
メータの数を減少させるため、有声/無声の決定をする
に先立って修正周波数バンド信号のセットは、他の、典
型的にはより少ない修正周波数バンド信号のセットに変
換することができる。例えば、第1のセットの2つの修
正周波数バンド信号は第2のセットにおいて、単一の修
正周波数バンド信号に結合される。デジタル化した音声
の基本周波数も評価することができる。多くの場合、こ
の評価はある修正周波数バンド信号を少なくとも1つの
他の周波数バンド信号(修正されている場合も修正され
ない場合もある)と組み合わせること、及び結果として
得られる組み合わせ信号の基本周波数を評価することの
2つの工程を含む。したがって、例えば、少なくとも2
つの修正周波数バンド信号を生成するため、非線形演算
が少なくとも2つの周波数バンド信号に関してなされた
時に、修正周波数バンド信号は1つの信号に組み合わす
ことができ、かつ、その信号の基本周波数の評価が作り
出される。修正周波数バンド信号は和算によって組み合
わせることができる。他の方式では信号対雑音比は修正
周波数バンド信号の各々について決定することができ重
みつけされた組み合わせが高い信号対雑音比を持ったあ
る修正周波数バンド信号がその信号に対してある低い信
号対雑音比を有する修正周波数バンド信号より多く寄与
するように生成される。他の態様において、一般的に本
発明は非線形演算を用いることによって基本周波数評価
の精度を改善することを特徴としている。非線形演算は
入力信号に対して行われ、それによって基本周波数が評
価される修正信号を生成する。いま一つの方式では入力
信号は少なくとも2つの周波数バンド信号に分割され、
次いでこれら周波数バンド信号に関して非線形演算がな
され、修正周波数バンド信号を生成する。最後に、修正
周波数バンド信号は基本周波数が評価される結合された
信号を生成すべく組み合わされる。本発明の他の特徴と
利点は以下の詳細な実施例についての説明と請求の範囲
から明らかになるであろう。
【0008】
【実施例】図1から図5はある信号の周波数バンドが有
声か無声か、ソフトウエアによって好ましい課題に設定
される種々のブロックと単位を決定するためのシステム
の構成を示している。図1を参照して、有声/無声決定
システム10においてサンプルユニット12がアナログ
の音声信号s(t)をサンプリングして音声信号s
(n)を生成する。典型的な音声のコード化への応用に
ついてはサンプリングレートは6kHzから10kHz
の範囲に設定される。チャネル処理ユニット14は音声
信号s(n)を少なくとも2つの周波数バンドに分割
し、それら周波数バンドを処理して周波数バンド信号の
第1のセットT0(ω)…TI(ω)を生成する。以下で
議論するように、チャネル処理ユニット14は各チャネ
ル処理ユニット14の第1ステージに用いられているバ
ンドパスフィルタのパラメータによって差別化されてい
る。本実施例においては、16個のチャネル処理ユニッ
トが設けられている(I=15)。リマップユニット1
6は周波数バンド信号の第1のセットを変換して、周波
数バンド信号の第2のセットU0(ω)…UK(ω)を生
成する。好ましい実施例においては、周波数バンド信号
の第2のセットにおいては11の周波数バンド信号があ
る(K=10)。このようにして、リマップユニット1
6は16個のチャネル処理ユニット14からの周波数バ
ンド信号を11個の周波数バンド信号にマッピングす
る。リマップユニット16は、周波数バンド信号の第1
のセットの低周波数成分T0(ω)…T5(ω)を周波数
バンド信号の第2のセットU0(ω)…U5(ω)に直接
にマッピングすることによって上記の処理を行う。リマ
ップユニット16は第1のセットの残りの周波数バンド
信号の各1対を第2のセットにおける単一の周波数信号
になるように組み合わせる。例えば、T6(ω)とT
7(ω)は結合されてU6(ω)が生成され、また、T14
(ω)とT15(ω)とが組み合わされてU10(ω)が生
成される。リマッピングについては他の種々の方式も採
用することができる。
【0009】次に有声/無声決定ユニット18は、それ
ぞれは第2のセットの1つの周波数バンド信号に関係し
ている、周波数バンド信号が有声か無声かを決定し、か
つ、これら決定の結果を示す出力信号(V/UV0…V
/UVK)を生成する。各決定ユニット18は周波数バ
ンド信号の全エネルギに対する関連した周波数バンド信
号の有声エネルギの比を計算する。この比が所定のしき
い値を越えると決定ユニット18はその周波数バンド信
号が有声であると判定する。そうでない場合その周波数
バンド信号は無声であると判定する。決定ユニット18
はその関係する周波数バンド信号の有声エネルギを以下
のように計算する。
【数4】 ここで、Inは[(n−0.25)ω0、(n+0.2
5)ω0]であり、ω0は基本周波数の評価値(以下で記
述されるようにして生成される)及びNは考慮すべき基
本周波数ω0の同調波の数である。決定ユニット18
は、それらの関連する周波数バンド信号の全エネルギを
以下の通りに演算する。
【数5】 いま一つの方式では、周波数バンド信号が有声か無声か
を決定するだけでなく、決定ユニット18はある周波数
バンド信号が有声である割合を決定する。上で述べた有
声/無声の決定と同様にして有声の度合は全エネルギに
対する有声エネルギの比の関数であり:その比が1に近
いときは、周波数バンド信号は有声度が高くその比が2
分の1に等しいかそれ以下の時には無声である確立が高
く、さらにその比が2分の1と1の間の値であるときに
は、周波数バンド信号はその比によって示される度合に
応じて有声である。
【0010】図2を参照して、基本周波数評価ユニット
20は結合ユニット22と評価器を含む結合ユニット2
2はチャネル処理ユニット14(図1)の出力T
i(ω)を足し合わせてX(ω)を生成する。いま一つ
の方法では結合ユニット22は各チャネル処理ユニット
14の出力について信号対雑音比を評価し、かつ、より
高い信号対雑音比を有する出力が低い信号対雑音比を有
する出力よりもX(ω)に対してより大きく寄与するよ
うに種々の出力を重み付けする。評価器24はωmin
らωmaxの範囲でX(ω)を最大にする値ω0を選択する
ことによって、基本周波数(ω0)を評価する。X
(ω)はωの離散サンプルについてのみ適用されるので
X(ω0)のω0近傍での放物線補間が評価の精度を向上
するのに用いられる。評価器24はX(ω)のバンド幅
内のω0のN個の高調波のピーク近傍における放物線評
価を組み合わせることによって基本周波数評価の精度を
も改善する。基本周波数の評価が一旦決定されると、有
声エネルギEV(ω0)は以下の通りに計算される。
【数6】 ここで、Inは[(n−0.25)ω0、(n+0.2
5)ω0]である。その後、有声エネルギEV(0.5ω
0)が計算され、かつ、EV(ω0)と比較され、基本周
波数の最終評価としてω0と0.5ω0との間を選択す
る。図3を参照して、いま一つの基本周波数評価ユニッ
ト26は非線形演算ユニット28、窓掛けと高速フーリ
エ変換(FFT)ユニット30と評価器32を含む。非
線形演算ユニット28はs(n)について非線形演算、
ここでは絶対値の2乗を施し、s(n)の基本周波数を
強調すると共にω0を評価するに際して、有声エネルギ
の決定を容易化する。
【0011】窓掛けとFFTユニット30は非線形演算
ユニット28の出力を掛け合わせてそれをセグメント化
し、かつ、結果の積のFFTとX(ω)とを演算する。
最後に、前記評価器24と同一の働きを成す評価器32
は基本周波数の評価値を生成する。図4を参照して、音
声信号s(n)がチャネル処理ユニット14に入力され
ると特定周波数バンドに属する成分si(n)はバンド
パスフィルタ34によって分離される。バンドパスフィ
ルタ34は演算の負荷を減少させるために、ダウンサン
プリングを用いておりシステムのパフォーマンスに何ら
の深刻な影響を与えることなしにそれを実行する。バン
ドパスフィルタ34は有限インパルスレスポンス(FI
R)もしくは無限インパルスレスポンス(IIR)フィ
ルタとして構成することができ、或はFFTを用いるバ
ンドパスフィルタ34は17周波数において32点FI
Rフィルタの出力を演算するために32点実数入力FF
Tを用いて構成することもでき、FFTが計算される時
間ごとに入力音声サンプルをシフトすることによってダ
ウンサンプリングを実行する。例えば、使用される第1
FFTが32の内の1点をサンプリングするとすれば、
10のダウンサンプリングファクタは第2のFFTにお
いて42の内の11のサンプル点を用いることによって
達成される。第1の非線形演算ユニット36は、分離さ
れた周波数バンドsi(n)について非線形演算を実行
し、分離された周波数バンドsi(n)の基本周波数を
強調する。si(n)(iは0より大きい)の複素数の
値については絶対値│si(n)│が使用される。s
0(n)の実数値についてはs0(n)が0より大きけれ
ばそのままs0(n)の値が用いられ、s0(n)が0か
それより小さい場合には0が用いられる。非線形演算ユ
ニット36の出力がローパスフィルタとダウンサンプリ
ングユニット38を通過するとデータレートは減少し、
かつ、その結果としてシステムのそれ以後の要素の演算
負荷を減少させる。ローパスフィルタとダウンサンプリ
ングユニット38としては、ダウンサンプリングファク
タ2について異なるサンプルごとに演算を行う7点FI
Rフィルタが用いられる。窓掛け及びFFTユニット4
0はローパスフィルタとダウンサンプリングユニット3
8の出力をある窓で掛け合わせその積の実数入力FFT
とSi(ω)を演算する。
【0012】最後に、第2非線形演算ユニット42はS
i(ω)について非線形演算を施し、有声もしくは全エ
ネルギの評価を容易化すると共に基本周波数評価におい
て用いられる場合には、チャネル処理ユニット14の出
力Ti(ω)を構造的に組み合わせることを保証する。
絶対値の2乗はTi(ω)の全ての成分を実数で正の値
とするので、好適に用いられる。他の実施例は請求の範
囲に含まれる。例えば、図5を参照していま一つの有声
/無声決定システム44はサンプリングユニット12、
チャネル処理ユニット14、リマップユニット16及び
有声/無声決定ユニット18を含み、これらユニットは
有声/無声決定システム10の対応するユニットと同一
の働きを成す。しかしながら、非線形演算は高周波数バ
ンドに最も有利に適用されるので決定システム44は高
周波に対応する周波数バンドのチャネル処理ユニットの
みを用い、かつ、低周波に対応する周波数バンドではチ
ャネル変換ユニット46を用いる。チャネル変換ユニッ
トは入力信号に対して非線形演算を施すのみならず、周
波数バンド信号を発生するよく知られた技術にしたがっ
て入力信号を処理する。例えば、チャネル変換ユニット
46はバンドパスフィルタと窓掛けとFFTユニットを
含むことができる。いま一つの方式では窓掛け及びFF
Tユニット40と図4の非線形演算ユニット42は窓掛
け及び自己相関ユニットによって置換することができ
る。有声エネルギと全エネルギは自己相関から演算され
る。
【図面の簡単な説明】
【図1】 図1は、ある信号の周波数バンドが有声か無
声かを決定するためのシステムのブロックダイヤグラム
である。
【図2】 図2は、基本周波数評価ユニットのブロック
ダイヤグラムである。
【図3】 図3は、基本周波数評価ユニットのブロック
ダイヤグラムである。
【図4】 図4は、図1のシステムのチャネル処理ユニ
ットのブロックダイヤグラムである。
【図5】 図5は、信号の周波数バンドが有声か無声か
を決定するためのシステムのブロックダイヤグラムであ
る。
【符号の説明】
10…有声/無声決定システム、 12…サンプルユ
ニット、14…チャネル処理ユニット、 16…リ
マップユニット、18…有声/無声決定ユニット、
20…基本周波数評価ユニット、22…結合ユニット、
24…評価器、26…基本周波数評価ユ
ニット、 28…非線形演算ユニット、30…窓掛け
と高速フーリエ変換(FFT)ユニット、32…評価
器、 34…バンドパスフィルタ、
36…非線形演算ユニット、 38…ダウンサン
プリングユニット、40…窓掛け及びFFTユニット、
42…非線形演算ユニット。
フロントページの続き (72)発明者 ジェ・エス・リム アメリカ合衆国01890マサチューセッツ州 ウィンチェスター、ウエスト・チャード ン・ロード21番

Claims (35)

    【特許請求の範囲】
  1. 【請求項1】 デジタル音声信号を解析して、デジタル
    音声信号について励起パラメータを決定する方法であっ
    て、該方法は以下の工程からなる:デジタル音声信号を
    少なくとも2つの周波数バンド信号に分割する;少なく
    とも1つの周波数バンド信号について、非線形演算を実
    行して少なくとも1つの修正周波数バンド信号を生成す
    る;及び少なくとも1つの修正周波数バンド信号につい
    て修正周波数バンド信号が有声か無声かを決定する。
  2. 【請求項2】 上記決定工程は正規の時間間隔で実行さ
    れる請求項1記載の方法。
  3. 【請求項3】 デジタル音声信号は、音声をコード化す
    る1つの工程として分析される請求項1記載の方法。
  4. 【請求項4】 さらに、デジタル音声信号の基本周波数
    を評価する工程を含む請求項1記載の方法。
  5. 【請求項5】 少なくとも1つの修正周波数バンド信号
    の基本周波数を評価する工程を更に含む請求項1記載の
    方法。
  6. 【請求項6】 修正周波数バンド信号を少なくとも1つ
    の他の周波数バンド信号と組み合わせて結合信号を生成
    する工程と、結合信号の基本周波数を評価する工程とを
    更に含む請求項1記載の方法。
  7. 【請求項7】 上記非線形演算実行工程は少なくとも2
    つの周波数バンド信号について実行され、少なくとも2
    つの修正周波数バンド信号を生成し、かつ、上記結合工
    程は少なくとも2つの修正周波数バンド信号を結合する
    ことからなる請求項6記載の方法。
  8. 【請求項8】 上記結合工程は修正周波数バンド信号と
    少なくとも1つの他の周波数バンド信号とを足し合わせ
    て結合信号を生成する請求項6記載の方法。
  9. 【請求項9】 修正周波数バンド信号と少なくとも1つ
    の他の周波数バンド信号について信号対雑音比を決定す
    る工程を更に含み、上記結合工程は修正周波数バンド信
    号と少なくとも1つの他の周波数バンド信号を重み付け
    し、高い信号対雑音比を有する周波数バンド信号が低い
    信号対雑音比を有する周波数バンド信号に比べてより多
    く寄与するように結合信号を生成する請求項6記載の方
    法。
  10. 【請求項10】 上記決定工程は修正周波数バンド信号
    の有声エネルギを決定し:修正周波数バンド信号の全エ
    ネルギを決定し;修正周波数バンド信号の有声エネルギ
    が修正周波数バンド信号の全エネルギの所定の割合を越
    える時には、修正周波数バンド信号が有声であると判定
    し;及び修正周波数バンド信号の有声エネルギが修正周
    波数バンド信号の全エネルギの所定の比に等しいかそれ
    より小さい時には修正周波数バンド信号が無声であると
    判定するものである請求項6記載の方法。
  11. 【請求項11】 有声エネルギは修正周波数バンド信号
    の評価された基本周波数及びその基本周波数の同調波に
    寄与する全エネルギの1部である請求項10記載の方
    法。
  12. 【請求項12】 上記決定工程は:修正周波数バンド信
    号の有声エネルギを決定する;修正周波数バンド信号の
    全エネルギを決定する;修正周波数バンド信号の有声エ
    ネルギが修正周波数バンド信号の全エネルギの所定の比
    率を越えた時に修正周波数バンド信号が有声であると判
    定する;及び修正周波数バンド信号の有声エネルギが修
    正周波数バンド信号の全エネルギの所定の比率に等しい
    かそれ以下である場合に修正周波数バンド信号が無声で
    あると判定することを含む請求項1記載の方法。
  13. 【請求項13】 修正周波数バンド信号の有声エネルギ
    は、修正周波数バンド信号とそれ自信もしくはその他の
    修正周波数バンド信号との相関から得られる請求項12
    記載の方法。
  14. 【請求項14】 修正周波数バンド信号が有声であると
    判定された場合、上記決定工程は修正周波数バンド信号
    の有声エネルギと修正周波数信号の全エネルギとを比較
    することによって修正周波数バンド信号について有声度
    を評価することを更に含む請求項12記載の方法。
  15. 【請求項15】 上記実行工程は上記実行工程によって
    生成された修正周波数バンド信号の数が上記分割工程に
    よって生成された周波数バンド信号の数と等しくなるよ
    うに全ての周波数バンド信号について非線形演算を実行
    することを含む請求項1記載の方法。
  16. 【請求項16】 上記実行工程は上記実行工程によって
    生成される修正周波数バンド信号の数が、上記分割工程
    によって生成される周波数バンド信号の数より少なくな
    るように周波数バンド信号の幾つかについてのみ非線形
    演算を実行することを含む請求項1記載の方法。
  17. 【請求項17】 非線形演算が施される周波数バンド信
    号は、非線形演算が施されない周波数バンド信号よりも
    高い周波数に対応するものである請求項16記載の方
    法。
  18. 【請求項18】 非線形演算が実行されない周波数バン
    ド信号について周波数バンド信号が有声か無声かを決定
    する工程を更に含む請求項17記載の方法。
  19. 【請求項19】 非線形演算は絶対値である請求項1記
    載の方法。
  20. 【請求項20】 非線形演算は絶対値の2乗である請求
    項1記載の方法。
  21. 【請求項21】 非線形演算はある実数の乗の絶対値で
    ある請求項1記載の方法。
  22. 【請求項22】 少なくとも2つの周波数バンド信号に
    ついて非線形演算を実行して、修正周波数バンド信号の
    第1のセットを生成する:修正周波数バンド信号の第1
    のセットを少なくとも1つの修正周波数バンド信号の第
    2のセットに変換する;及び第2セットの少なくとも1
    つの修正周波数バンド信号について修正周波数バンド信
    号が有声か無声かを決定する工程を更に含む請求項1記
    載の方法。
  23. 【請求項23】 上記変換工程は、第1のセットの少な
    くとも2つの修正周波数バンド信号を組み合わせて第2
    のセットの1つの修正周波数バンド信号を生成する請求
    項22記載の方法。
  24. 【請求項24】 デジタル音声の基本周波数を評価する
    工程を更に含む請求項22記載の方法。
  25. 【請求項25】 修正周波数バンド信号の第2のセット
    のある修正周波数バンド信号を少なくとも1つの他の周
    波数バンド信号と組み合わせて結合信号を生成する:及
    び結合信号の基本周波数を評価する工程をさらに含む請
    求項22記載の方法。
  26. 【請求項26】 上記決定工程は:修正周波数バンド信
    号の有声エネルギを決定する;修正周波数バンド信号の
    全エネルギを決定する;修正周波数バンド信号の有声エ
    ネルギが修正周波数バンド信号の全エネルギの所定の比
    率より大きい場合には修正周波数バンド信号が有声であ
    ると判定する;修正周波数バンド信号の有声エネルギが
    修正周波数バンド信号の全エネルギの所定の比率に等し
    いかそれ以下であるときには修正周波数バンド信号が無
    声であると判定することを含む請求項22記載の方法。
  27. 【請求項27】 上記修正周波数バンド信号が有声であ
    ると判定された時に上記決定工程は修正周波数バンド信
    号の有声エネルギを修正周波数バンド信号の全エネルギ
    と比較することによって修正周波数バンド信号の有声度
    を評価することを含む請求項26記載の方法。
  28. 【請求項28】 励起パラメータの幾つかをコード化す
    る工程を更に含む請求項1記載の方法。
  29. 【請求項29】 デジタル音声信号を解析してデジタル
    音声信号の励起パラメータを決定する方法であって、該
    方法は以下の工程からなる:入力信号を2つの周波数バ
    ンド信号に分割する;周波数バンド信号の最初の1つに
    非線形演算を施して第1修正周波数バンド信号を生成す
    る;第1修正周波数バンド信号と少なくとも1つの他の
    周波数バンド信号とを組み合わせて結合周波数バンド信
    号を生成する;及び結合周波数バンド信号の基本周波数
    を評価する。
  30. 【請求項30】 デジタル音声信号を解析してデジタル
    音声信号の励起パラメータを決定する方法であって、該
    方法は以下の工程からなる;デジタル音声信号を少なく
    とも2つの周波数バンド信号に分割する;周波数バンド
    信号の少なくとも1つについて非線形演算を施して少な
    くとも1つの修正バンド信号を生成する;及び少なくと
    も1つの修正バンド信号から基本周波数を評価する。
  31. 【請求項31】 デジタル音声信号を解析してデジタル
    音声信号の基本周波数を決定する方法であって、該方法
    は以下の工程からなる:デジタル音声信号を少なくとも
    2つの周波数バンド信号に分割する;周波数バンド信号
    の少なくとも2つについて非線形演算を施して少なくと
    も2つの修正周波数バンド信号を生成する;少なくとも
    2つの修正周波数バンド信号を組み合わせて結合信号を
    生成する;及び結合信号の基本周波数を評価する。
  32. 【請求項32】 デジタル音声信号を解析してデジタル
    音声信号の励起パラメータを決定することによって音声
    をコード化するシステムであって、該システムは以下の
    ものからなる:デジタル音声信号を少なくとも2つの周
    波数バンド信号に分割する手段;周波数バンド信号の少
    なくとも1つについて非線形演算を実行し、少なくとも
    1つの修正周波数バンド信号を生成する手段;及び少な
    くとも1つの修正周波数バンド信号について該修正周波
    数バンド信号が有声か無声かを決定する手段。
  33. 【請求項33】 少なくとも1つの修正周波数バンド信
    号を少なくとも1つの他の周波数バンド信号と組み合わ
    せて結合信号を生成する手段と、結合信号の基本周波数
    を評価する手段とをさらに含む請求項32記載のシステ
    ム。
  34. 【請求項34】 上記実行する手段が上記実行手段によ
    って生成される修正周波数バンド信号の数が分割手段に
    よって生成される周波数バンド信号の数より少なくなる
    ように周波数バンド信号の幾つかのみについて非線形演
    算を施す手段を更に含む請求項32記載のシステム。
  35. 【請求項35】 実行手段が非線形演算を施す周波数バ
    ンド信号は上記実行手段が非線形演算を施さない周波数
    バンド信号に比べてより高い周波数に対応するものであ
    る請求項34記載のシステム。
JP07782995A 1994-04-04 1995-04-03 励起パラメータの評価 Expired - Lifetime JP4100721B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/222,119 US5715365A (en) 1994-04-04 1994-04-04 Estimation of excitation parameters
US222119 1994-04-04

Publications (2)

Publication Number Publication Date
JPH0844394A true JPH0844394A (ja) 1996-02-16
JP4100721B2 JP4100721B2 (ja) 2008-06-11

Family

ID=22830914

Family Applications (1)

Application Number Title Priority Date Filing Date
JP07782995A Expired - Lifetime JP4100721B2 (ja) 1994-04-04 1995-04-03 励起パラメータの評価

Country Status (9)

Country Link
US (1) US5715365A (ja)
EP (1) EP0676744B1 (ja)
JP (1) JP4100721B2 (ja)
KR (1) KR100367202B1 (ja)
CN (1) CN1113333C (ja)
CA (1) CA2144823C (ja)
DE (1) DE69518454T2 (ja)
DK (1) DK0676744T3 (ja)
NO (1) NO308635B1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE43099E1 (en) 1996-12-19 2012-01-10 Alcatel Lucent Speech coder methods and systems

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5774837A (en) * 1995-09-13 1998-06-30 Voxware, Inc. Speech coding system and method using voicing probability determination
JP3266819B2 (ja) * 1996-07-30 2002-03-18 株式会社エイ・ティ・アール人間情報通信研究所 周期信号変換方法、音変換方法および信号分析方法
JP4121578B2 (ja) * 1996-10-18 2008-07-23 ソニー株式会社 音声分析方法、音声符号化方法および装置
US6070137A (en) * 1998-01-07 2000-05-30 Ericsson Inc. Integrated frequency-domain voice coding using an adaptive spectral enhancement filter
US6192335B1 (en) * 1998-09-01 2001-02-20 Telefonaktieboiaget Lm Ericsson (Publ) Adaptive combining of multi-mode coding for voiced speech and noise-like signals
US6604071B1 (en) * 1999-02-09 2003-08-05 At&T Corp. Speech enhancement with gain limitations based on speech activity
US6253171B1 (en) * 1999-02-23 2001-06-26 Comsat Corporation Method of determining the voicing probability of speech signals
US6975984B2 (en) * 2000-02-08 2005-12-13 Speech Technology And Applied Research Corporation Electrolaryngeal speech enhancement for telephony
US20030135374A1 (en) * 2002-01-16 2003-07-17 Hardwick John C. Speech synthesizer
US7970606B2 (en) 2002-11-13 2011-06-28 Digital Voice Systems, Inc. Interoperable vocoder
US7634399B2 (en) * 2003-01-30 2009-12-15 Digital Voice Systems, Inc. Voice transcoder
US8359197B2 (en) 2003-04-01 2013-01-22 Digital Voice Systems, Inc. Half-rate vocoder
US7698949B2 (en) * 2005-09-09 2010-04-20 The Boeing Company Active washers for monitoring bolted joints
KR100735343B1 (ko) * 2006-04-11 2007-07-04 삼성전자주식회사 음성신호의 피치 정보 추출장치 및 방법
US8036886B2 (en) * 2006-12-22 2011-10-11 Digital Voice Systems, Inc. Estimation of pulsed speech model parameters
US9947340B2 (en) 2008-12-10 2018-04-17 Skype Regeneration of wideband speech
GB0822537D0 (en) * 2008-12-10 2009-01-14 Skype Ltd Regeneration of wideband speech
GB2466201B (en) * 2008-12-10 2012-07-11 Skype Ltd Regeneration of wideband speech
US8600737B2 (en) 2010-06-01 2013-12-03 Qualcomm Incorporated Systems, methods, apparatus, and computer program products for wideband speech coding
JP5552988B2 (ja) * 2010-09-27 2014-07-16 富士通株式会社 音声帯域拡張装置および音声帯域拡張方法
US11295751B2 (en) * 2019-09-20 2022-04-05 Tencent America LLC Multi-band synchronized neural vocoder
US11270714B2 (en) 2020-01-08 2022-03-08 Digital Voice Systems, Inc. Speech coding using time-varying interpolation
US12254895B2 (en) 2021-07-02 2025-03-18 Digital Voice Systems, Inc. Detecting and compensating for the presence of a speaker mask in a speech signal
US11990144B2 (en) 2021-07-28 2024-05-21 Digital Voice Systems, Inc. Reducing perceived effects of non-voice data in digital speech

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3706929A (en) * 1971-01-04 1972-12-19 Philco Ford Corp Combined modem and vocoder pipeline processor
US3982070A (en) * 1974-06-05 1976-09-21 Bell Telephone Laboratories, Incorporated Phase vocoder speech synthesis system
US3975587A (en) * 1974-09-13 1976-08-17 International Telephone And Telegraph Corporation Digital vocoder
US3995116A (en) * 1974-11-18 1976-11-30 Bell Telephone Laboratories, Incorporated Emphasis controlled speech synthesizer
US4004096A (en) * 1975-02-18 1977-01-18 The United States Of America As Represented By The Secretary Of The Army Process for extracting pitch information
JPS6051720B2 (ja) * 1975-08-22 1985-11-15 日本電信電話株式会社 音声の基本周期抽出装置
US4091237A (en) * 1975-10-06 1978-05-23 Lockheed Missiles & Space Company, Inc. Bi-Phase harmonic histogram pitch extractor
US4015088A (en) * 1975-10-31 1977-03-29 Bell Telephone Laboratories, Incorporated Real-time speech analyzer
JPS597120B2 (ja) * 1978-11-24 1984-02-16 日本電気株式会社 音声分析装置
FR2494017B1 (fr) * 1980-11-07 1985-10-25 Thomson Csf Procede de detection de la frequence de melodie dans un signal de parole et dispositif destine a la mise en oeuvre de ce procede
ATE15415T1 (de) * 1981-09-24 1985-09-15 Gretag Ag Verfahren und vorrichtung zur redundanzvermindernden digitalen sprachverarbeitung.
US4441200A (en) * 1981-10-08 1984-04-03 Motorola Inc. Digital voice processing system
US4509186A (en) * 1981-12-31 1985-04-02 Matsushita Electric Works, Ltd. Method and apparatus for speech message recognition
DE3276732D1 (en) * 1982-04-27 1987-08-13 Philips Nv Speech analysis system
FR2544901B1 (fr) * 1983-04-20 1986-02-21 Zurcher Jean Frederic Vocodeur a canaux muni de moyens de compensation des modulations parasites du signal de parole synthetise
AU2944684A (en) * 1983-06-17 1984-12-20 University Of Melbourne, The Speech recognition
NL8400552A (nl) * 1984-02-22 1985-09-16 Philips Nv Systeem voor het analyseren van menselijke spraak.
NL8400728A (nl) * 1984-03-07 1985-10-01 Philips Nv Digitale spraakcoder met basisband residucodering.
US4622680A (en) * 1984-10-17 1986-11-11 General Electric Company Hybrid subband coder/decoder method and apparatus
US4879748A (en) * 1985-08-28 1989-11-07 American Telephone And Telegraph Company Parallel processing pitch detector
US4720861A (en) * 1985-12-24 1988-01-19 Itt Defense Communications A Division Of Itt Corporation Digital speech coding circuit
US4797926A (en) * 1986-09-11 1989-01-10 American Telephone And Telegraph Company, At&T Bell Laboratories Digital speech vocoder
WO1990013112A1 (en) * 1989-04-25 1990-11-01 Kabushiki Kaisha Toshiba Voice encoder
US5081681B1 (en) * 1989-11-30 1995-08-15 Digital Voice Systems Inc Method and apparatus for phase synthesis for speech processing
EP0459362B1 (en) * 1990-05-28 1997-01-08 Matsushita Electric Industrial Co., Ltd. Voice signal processor
US5216747A (en) * 1990-09-20 1993-06-01 Digital Voice Systems, Inc. Voiced/unvoiced estimation of an acoustic signal
US5226108A (en) * 1990-09-20 1993-07-06 Digital Voice Systems, Inc. Processing a speech signal with estimated pitch
US5226084A (en) * 1990-12-05 1993-07-06 Digital Voice Systems, Inc. Methods for speech quantization and error correction
US5247579A (en) * 1990-12-05 1993-09-21 Digital Voice Systems, Inc. Methods for speech transmission
US5450522A (en) * 1991-08-19 1995-09-12 U S West Advanced Technologies, Inc. Auditory model for parametrization of speech

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE43099E1 (en) 1996-12-19 2012-01-10 Alcatel Lucent Speech coder methods and systems

Also Published As

Publication number Publication date
KR950034055A (ko) 1995-12-26
US5715365A (en) 1998-02-03
CN1118914A (zh) 1996-03-20
NO308635B1 (no) 2000-10-02
NO951287D0 (no) 1995-04-03
EP0676744A1 (en) 1995-10-11
KR100367202B1 (ko) 2003-03-04
NO951287L (no) 1995-10-05
DE69518454T2 (de) 2001-04-12
JP4100721B2 (ja) 2008-06-11
DK0676744T3 (da) 2000-12-18
CN1113333C (zh) 2003-07-02
DE69518454D1 (de) 2000-09-28
CA2144823A1 (en) 1995-10-05
CA2144823C (en) 2006-01-17
EP0676744B1 (en) 2000-08-23

Similar Documents

Publication Publication Date Title
JP4100721B2 (ja) 励起パラメータの評価
EP0722165B1 (en) Estimation of excitation parameters
US6741960B2 (en) Harmonic-noise speech coding algorithm and coder using cepstrum analysis method
CN1838238B (zh) 一种用于增强信源解码器的设备
JP3475446B2 (ja) 符号化方法
US6496797B1 (en) Apparatus and method of speech coding and decoding using multiple frames
EP0566131A2 (en) Method and device for discriminating voiced and unvoiced sounds
EP1031141B1 (en) Method for pitch estimation using perception-based analysis by synthesis
JPS63259696A (ja) 音声予処理方法および装置
US10403298B2 (en) Concept for encoding of information
US6456965B1 (en) Multi-stage pitch and mixed voicing estimation for harmonic speech coders
JPH09281996A (ja) 有声音/無声音判定方法及び装置、並びに音声符号化方法
McLoughlin et al. LSP-based speech modification for intelligibility enhancement
Sugiura et al. Regularized Modified Covariance Method for Spectral Analysis of Bone-Conducted Speech
JPH11219198A (ja) 位相検出装置及び方法、並びに音声符号化装置及び方法
JP3218679B2 (ja) 高能率符号化方法
US6438517B1 (en) Multi-stage pitch and mixed voicing estimation for harmonic speech coders
EP1163668B1 (en) An adaptive post-filtering technique based on the modified yule-walker filter
KR100628170B1 (ko) 음성을 코딩하기 위한 장치 및 방법
JP3297750B2 (ja) 符号化方法
JP3223564B2 (ja) ピッチ抽出方法
Varho et al. A linear predictive method using extrapolated samples for modelling of voiced speech
CN114258569A (zh) 用于音频编码的多滞后格式
Hugli Signal Procesing Laboratory Swiss Federal Institute of Technology
Varho et al. Spectral estimation of voiced speech with regressive linear prediction

Legal Events

Date Code Title Description
A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20031209

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20031212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040518

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20041109

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20071211

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20071214

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080111

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080318

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110328

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120328

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130328

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130328

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140328

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term