JP2001249674A - 駆動信号分析装置 - Google Patents
駆動信号分析装置Info
- Publication number
- JP2001249674A JP2001249674A JP2000059861A JP2000059861A JP2001249674A JP 2001249674 A JP2001249674 A JP 2001249674A JP 2000059861 A JP2000059861 A JP 2000059861A JP 2000059861 A JP2000059861 A JP 2000059861A JP 2001249674 A JP2001249674 A JP 2001249674A
- Authority
- JP
- Japan
- Prior art keywords
- time
- drive signal
- group delay
- drive
- compensated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
号の抽出を行うことができる駆動信号分析装置を提供す
る。 【解決手段】 駆動信号分析装置において、周波数スペ
クトルの振幅成分と群遅延の関係を利用することによ
り、分析対象の信号が生成される過程における伝達特性
による群遅延の偏りを補償して、精密な駆動時刻を時間
軸から補償された群遅延から求められる補償された平均
時刻への写像の不動点として求め、補償された群遅延の
標準偏差から本来の駆動信号の拡がりを表す継続時間を
求めることにより駆動信号の特徴を抽出する。
Description
に関するものである。
もに変動するような信号は、エネルギーの供給源となる
駆動による応答が集まったものと解釈することができ
る。このそれぞれの駆動による応答を波形から得られる
情報に基づいて、一つ一つの駆動による応答に分離する
ことが求められている。また、そうして選択されたそれ
ぞれの応答について、その応答の原因となった駆動がど
のようなものであるかを推定することも求められてい
る。
を1ピッチ毎に切出して編集することにより音声合成を
行う波形編集合成方式において、適切な波形を切出すた
めの鍵となる技術である。また、音声信号の振幅スペク
トル成分に主に含まれる言語情報と、音声信号の駆動信
号に主に含まれる感情等のパラ言語情報を精密に分離す
るための鍵となる分析技術である。しかし、これまで
は、駆動による応答の適切な選択や応答の原因となった
駆動の属性を合成に適した形で抽出する方法は無かっ
た。
の試みの一つに数kHzという比較的高い中心周波数を
有する帯域フィルタの出力の包絡の変動に基づいて駆動
による応答を抽出しようという検討がある(T.V A
nanthapadmauabha and B.Ye
gnanarayana,“Epoch extrac
tion of voiced speech”IEE
E Trans.Acoust.Speech,Sig
nal Processing,Vol.ASSP−2
3,pp.562−570,1975)。この方法で
は、包絡の変動の選択に適当な閾値を設けることで、音
声における声門閉止という高い周波数成分においてエネ
ルギーが時間的に集中する現象を抽出している。しか
し、閾値の設定は恣意的であり、また、合成に使うため
の駆動そのものの性質を記述する方法を有していない。
の駆動信号を求めようとする最近の提案に、合成と分析
を繰返すことで逐次的に駆動信号の推定値を改良しよう
とするものがある(Wen Ding,Hideki
Kasuya,Shuichi Adachi,“Si
multaneous Estimation ofV
ocal Tract and voice Sour
ce Parameters Based on an
ARX Model,”IEICE Trans.I
nfo.and System,Vol.E78−D,
No.6,pp.738−743,1995.)。しか
し、この方法では、駆動信号のモデルとして自由度の少
ないものを用いているため、現実の音声のように多様な
発声に対しては、十分に近似できないことが生ずる。そ
のため、多様な発声の状況の全てにわたって高品質の音
声合成を可能にするものではない。また、近似度を逐次
的に改善する繰返し演算は計算量も多く、実時間処理を
要求されるような応用には適していないという問題があ
る。
に適した性質を有するwaveletを用いて音声の駆
動情報を抽出しようとするものがある(S.Kadam
be,G.F.Boudreaux−Bartels,
“Applicationof the wavele
t transform for pitch det
ection of speech signal
s,”IEEE Trans.Information
Theory,vol.38,No.2,pp.91
7−924,March 1992)。しかし、この方
法においても、信号の中の特異性を有する時点が一点で
あれば精密な抽出はできるものの、実際の音声のように
厳密には特異性を有する一点が存在せず、ある範囲にラ
ンダムに拡がっているような場合には、適切な位置が抽
出されるかは明らかでは無い。また、そのような駆動現
象の拡がりを表すパラメタを持たないため、高品質の音
声合成を可能にする情報の抽出の手段としては有効では
無い。
の分析と加工および合成に適合した合理的な駆動信号の
抽出方法は無かったといえる。
響信号の性質を表す場合、信号の原動力となる駆動情報
とそれによって駆動される伝達特性の双方の記述が必要
となる。しかし、これまでは高品位の再合成に適した駆
動情報を音響信号の分析により求めることは困難であっ
た。すなわち、これまで、分析と加工の双方に適合した
合理的な駆動信号の抽出方法は無かった。
加工の双方に適合した合理的な駆動信号の抽出を行うこ
とができる駆動信号分析装置を提供することを目的とす
る。
成するために、 〔1〕駆動信号分析装置において、信号波形について、
時間軸上の時刻から、自乗した波形を一組のフィルタで
処理することにより求められる平均時刻への写像の不動
点として駆動点を求め、不動点における写像の傾斜から
駆動の拡がりを表す継続時間を求めることにより駆動信
号の特徴を抽出する。
スペクトルの振幅成分と群遅延の関係を利用して、前記
分析装置における伝達特性による偏りを補償して精密な
駆動時刻と本来の駆動信号の拡がりを表す継続時間を求
めることにより駆動信号の特徴を抽出する。
よび様々な周波数領域における時間的拡がりとして表
し、それらのパラメータを、適切に設計された一組のフ
ィルタによって信号波形の自乗を処理することにより求
めることのできる装置を提供する。
遅延特性の処理を加味することによって、未知の伝達特
性による影響を自動的に補償でき、かつ、信号の中の信
頼できる情報だけを選択的に利用することができる構成
を明らかにしている。
て詳細に説明する。
々な周波数領域における時間的拡がりとして表し、それ
らのパラメータを、適切に設計された一組のフィルタに
よって信号波形の自乗を処理することにより求めること
のできる装置を提供する。
遅延特性の処理を加味することによって、未知の伝達特
性による影響を自動的に補償でき、かつ、信号の中の信
頼できる情報だけを選択的に利用することができる構成
を明らかにしている。
説明する。 (1−1)時間領域での表現 ある時間信号をs(t)としたとき、その平均時刻
〈t〉と継続時間σt は以下のように表される(L.C
ohen.Time−frequency analy
sis.Prentice Hall,Englewo
od Cliffs,NJ,1995参照)。 〈t〉=〔∫t|s(t)|2 dt〕/〔∫|s(t)|2 dt〕 …(1) σ2 t =〔∫(t−〈t〉)2 |s(t)|2 dt〕/〔∫|s(t)|2 dt 〕 …(2) 音声波形は複数のイベントを含むため、上記の量を意味
のあるものとするためには、注目するイベントを時間窓
等の操作によって予め分離しておくことが必要となる。
声門閉止の周囲を切出せば、次式によって、イベントの
平均時刻〈t(u)〉と継続時間σt (u)を求めるこ
とができる。 〈t(u)〉=〔∫t|x(t,u)|2 dt〕/〔∫|x(t,u)|2 dt 〕 …(3) σ2 t (u)=〔∫(t−〈t〉)2 |x(t,u)|2 dt〕/〔∫|x(t ,u)|2 dt〕 …(4) x(t,u)=w(t−u)s(t) …(5) ここでuは、時間窓の中心がある時刻を表し、積分の範
囲は(−∞,∞)である。なお、σt (u)は窓が掛け
られた信号の見かけの継続時間である。 (1−1−1)窓の中心と平均時刻 ここで、以下の議論を簡単にするために次のようなガウ
ス型の窓関数を用いる。
ウス型を仮定する。
dtは、切り出された波形のエネルギーを表す。式
(8)より|w(t−u)s(t)|は中心に対して対
称となるので、平均時刻は指数部の導関数が0となる位
置となり、次のように求められる。L(t)=−log
|w(t−u)s(t)|2 とする。
イベントの時刻の加重平均となる。イベントの継続時間
が短ければ短いほどイベントの時刻の重みが増す。ま
た、平均時刻がイベントの時刻と一致するのは、窓の中
心がイベント位置に重なった時であることが分かる。し
たがって、イベントの時刻は、窓の中心の時刻から平均
時刻への写像の不動点の中で以下の条件を満たすものか
ら求められる。 {te }={u|〈t(u)〉=u,〔d〈t(u)〉〕/du<1} …(10) (1−1−2)写像の傾斜と継続時間 ところで、上記式(9)より、上記の条件を満たす不動
点における写像の傾斜g(te )は次式のように求めら
れる。
る写像の傾斜g(te )を用いて次のように表されるこ
とに注意する。
と、以下が得られる。
間窓の標準偏差σw を用いることにより、窓で切り出さ
れた信号の見かけの継続時間を表すことができることが
分かる。また、次式によってイベントのパラメータであ
るσs (te )を求めることができる。
(L.Cohen.Time−frequency a
nalysis.Prentice Hall,Eng
lewood Cliffs,NJ,1995)を利用
し、窓を掛けた信号の平均時刻〈t(u)〉と継続時間
σt (u)を群遅延tg (ω,u)=−ψ′(ω,u)
を用いて表現する。ここで′はωに関する微分を表す。 〈t(u)〉=−∫ψ′(ω,u)|S(ω,u)|2 dω …(15) σ2 t (u)=∫〔B′(ω,u)/B(ω,u)〕2 ・B2 (ω,u)dω +∫〔ψ′(ω,u)+〈t(u)〉)2 ・B2 (ω,u)dω …(16)
の振幅変動による継続時間への寄与分、第二項は、位相
変動による寄与分を表す。B(ω,u)は、スペクトル
の振幅成分を表す。 (1−2−1)最小位相応答の補償 上記の式(15)は、平均時刻が群遅延の加重平均であ
ることを示している。すなわち、声門閉止に対応する不
動点は、声道のインパルス応答の群遅延分だけ実際の声
門の閉止時刻から遅れた位置に生ずることが分かる。声
道のインパルス応答が因果律を満たしているのであれ
ば、振幅スペクトルから例えば次のように複素ケプスト
ラムC(q,u)を介して最小位相インパルス応答
(A.Oppenheim and R.Schafe
r. Discrete−Time Signal P
rocessing. Prentice Hall,
Englewood Cliffs,NJ,1989参
照)に対応する群遅延τm (ω,u)を計算することが
できる。
位相成分を用いて群遅延−ψ′(ω,u)を補償すれ
ば、声道の影響を受ける前の駆動信号の群遅延特性を求
めることができる。
*(u)〉(tの上に〜が付く)と位相変動による寄与
分σ2 *P (u)(σの上に〜が付く)は次のように求
められる。
で近似できるのであれば、声道の応答による群遅延を補
償した位相変動による寄与分は、ほぼ0となる。なお、
振幅成分を補償して平坦なスペクトルとすると第一項は
0となる。これは逆フィルタ処理に外ならない。しか
し、本発明は逆フィルタ処理を実際に行わずに声道の影
響を受ける前の駆動信号の群遅延特性を求めるところに
特徴がある。 (2)駆動情報の抽出手順 以上をまとめると、次の手続きによって駆動点の情報を
抽出することができる。 ステップ1 上記式(10)を用いて不動点として駆動
点の候補を抽出する。同時に、上記式(13)により継
続時間を求める。 ステップ2 それぞれの駆動点において、上記式(1
8)を用いて最小位相インパルス応答に対応する群遅延
を求める。 ステップ3 ステップ1で求めた駆動点のそれぞれの候
補における平均時刻とステップ2で求めた最小位相イン
パルス応答に対応する群遅延から、上記式(20)を用
いて駆動点の位置を求め、上記式(21)を用いて駆動
源の継続時間を求める。
ップの具体的動作について説明する。 (2−1)実音声の分析例 男性の発声した日本語母音の連鎖「アイウエオ」を例に
とって、分析の各ステップを説明する。音声の収録には
圧力型マイク(Sony EMC−77S)を用い、2
2050Hz 16bitで標本化した。
窓の中心位置から平均時刻への写像を示す。図中の○印
は抽出された不動点を示す。図の最上部に示した音声波
形と比較すると、不動点は声門閉止の位置から少し遅れ
たところにあることが分かる。
ネルギーで正規化された無次元の量であり、図中の12
5ms附近のようにレベルが低い場合も、163ms附
近のようにレベルが高い場合も、同様に安定に求めるこ
とができる。通常のイベント検出で必要な閾値の設定
は、本発明の方法では不要である。
に、それぞれ不動点について求めた継続時間を音声波形
とともに示す。無声部分ではイベントの継続時間はほぼ
窓長に一致し、有声部分では短くなっていることが分か
る。
出:図3に、スペクトルの振幅情報を用いて補正したイ
ベント時刻と、イベントの駆動信号の継続時間を示す。
ここでも無声部分のイベントの継続時間は窓長のあたり
に存在することが分かる。有声部分については、継続時
間が明らかに小さな値を示しており、駆動源が非常に短
い時間に集中していることが分かる。修正されたイベン
ト位置と駆動情報:図4に、修正されたイベント位置と
イベントの鋭さを示す。イベントの鋭さη(u)を表す
指標として以下の式で表されるものを用いた。
ルスの場合で最小位相の補償が完全に行われた場合であ
る。また、駆動源が定常的なランダム雑音の場合には、
この指標は0.3よりもやや少ない値の周辺に分布す
る。
成について説明する。
装置の構成図であり、特に、波形に基づく駆動情報の抽
出装置の構成を示している。
遅延回路、3はGauss(ガウス)型加重回路、4,
6は総和部分(Σ)、5は微分Gauss型加重回路、
7は不動点検出回路、8は不動点位置、9は傾斜計算回
路、10は拡がり変換回路、11は標準偏差である。
延回路2、Gauss型加重回路3、微分型Gauss
加重回路5により、上の総和部分6により式(3)の分
子部分を計算し、下の総和部分4により式(3)の分母
部分を計算することにより、不動点検出回路7において
平均時刻を計算し、式(10)によって不動点として駆
動点の位置を求める。また、傾斜計算回路9において式
(11)により定義される平均時間の導関数を上記で求
めた駆動点の位置において求める。こうして求めた傾斜
の値を「拡がり変換回路10において式(14)により
駆動点付近での信号の標準偏差11に変換し、駆動点の
特徴量とする。
よび様々な周波数領域における拡がりとして表し、それ
らのパラメータを、適切に設計された一組のフィルタに
よって信号波形の自乗を処理することにより求めること
のできる装置を提供する。
装置の構成図であり、特に、周波数スペクトルの振幅成
分と群遅延との関係を利用して精密な駆動時刻と本来の
駆動信号の拡がりを表す継続時間を求める装置の構成を
示している。
と群遅延特性の処理を加味することによって、未知の伝
達特性による影響を自動的に補償でき、かつ、信号の中
の信頼できる情報だけを選択的に利用することができる
構成を明らかにしている。
重回路23、微分Gauss型加重回路25とFFT
(高速フーリエ変換)回路24,26により、式(2
3)の分母(Gauss型加重回路23とFFT回路2
4利用)と、分子(微分Gauss型加重回路25とF
FT回路26利用)を計算し、群遅延計算回路28によ
って式(23)を実行して群遅延特性を求める。最小位
相群遅延計算回路29では式(18)によりパワースペ
クトル計算回路27により式(17)で求められる振幅
スペクトルから複素ケプストラムを介して最小位相応答
の位相成分を求め、その周波数成分により最小位相応答
成分の群遅延特性を求める。補償済み群遅延計算回路3
0では、群遅延計算回路28で式(23)により求めら
れた群遅延特性の実測値から最小位相群遅延計算回路2
9で求められた最小位相応答成分の群遅延特性を減算す
ることで、受動的な伝達システム(この場合は例えば声
道の伝達特性等)の影響を補償して駆動源だけに依存し
た補償済み群遅延特性を推定する。補償済み平均群遅延
計算回路31では、こうして求めた補償済み群遅延特性
を、パワースペクトル計算回路27により式(17)の
自乗で求められるパワースペクトルを、加重として用い
て式(20)によって定義される補償された平均時刻を
求める。不動点計算回路32では、補償された平均時刻
が0を上から下に横切る点として不動点位置33を求め
る。また、同時に、補償された群遅延の駆動点付近での
標準偏差35を標準偏差計算回路34で計算し、駆動点
の特徴量とする。
のではなく、本発明の趣旨に基づいて種々の変形が可能
であり、これらを本発明の範囲から排除するものではな
い。
よれば、分析と加工の双方に適合した合理的な駆動信号
の抽出を行うことができる。
の写像を示す図である。
続時間を音声波形とともに示す図である。
正したイベント時刻と、イベントの駆動信号の継続時間
を示す図である。
トの鋭さを示す図である。
図である。
図である。
Claims (2)
- 【請求項1】 駆動信号分析装置において、 信号波形について、時間軸上の時刻から、自乗した波形
を一組のフィルタで処理することにより求められる平均
時刻への写像の不動点として駆動点を求め、不動点にお
ける写像の傾斜から駆動の拡がりを表す継続時間を求め
ることにより駆動信号の特徴を抽出する駆動信号分析装
置。 - 【請求項2】 駆動信号分析装置において、 周波数スペクトルの振幅成分と群遅延の関係を利用し
て、前記分析装置における伝達特性による偏りを補償し
て精密な駆動時刻と本来の駆動信号の拡がりを表す継続
時間を求めることにより駆動信号の特徴を抽出する駆動
信号分析装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000059861A JP4166405B2 (ja) | 2000-03-06 | 2000-03-06 | 駆動信号分析装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000059861A JP4166405B2 (ja) | 2000-03-06 | 2000-03-06 | 駆動信号分析装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2001249674A true JP2001249674A (ja) | 2001-09-14 |
JP2001249674A5 JP2001249674A5 (ja) | 2005-08-18 |
JP4166405B2 JP4166405B2 (ja) | 2008-10-15 |
Family
ID=18580259
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000059861A Expired - Fee Related JP4166405B2 (ja) | 2000-03-06 | 2000-03-06 | 駆動信号分析装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4166405B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013164572A (ja) * | 2012-01-10 | 2013-08-22 | Toshiba Corp | 音声特徴量抽出装置、音声特徴量抽出方法及び音声特徴量抽出プログラム |
WO2014021318A1 (ja) * | 2012-08-01 | 2014-02-06 | 独立行政法人産業技術総合研究所 | 音声分析合成のためのスペクトル包絡及び群遅延の推定システム及び音声信号の合成システム |
JP2015202182A (ja) * | 2014-04-14 | 2015-11-16 | コニカミノルタ株式会社 | 超音波探触子及び超音波画像診断装置 |
JP2016033677A (ja) * | 2012-01-10 | 2016-03-10 | 株式会社東芝 | 音声特徴量抽出装置、音声特徴量抽出方法及び音声特徴量抽出プログラム |
US10650800B2 (en) | 2015-09-16 | 2020-05-12 | Kabushiki Kaisha Toshiba | Speech processing device, speech processing method, and computer program product |
-
2000
- 2000-03-06 JP JP2000059861A patent/JP4166405B2/ja not_active Expired - Fee Related
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013164572A (ja) * | 2012-01-10 | 2013-08-22 | Toshiba Corp | 音声特徴量抽出装置、音声特徴量抽出方法及び音声特徴量抽出プログラム |
JP2016033677A (ja) * | 2012-01-10 | 2016-03-10 | 株式会社東芝 | 音声特徴量抽出装置、音声特徴量抽出方法及び音声特徴量抽出プログラム |
US9754603B2 (en) | 2012-01-10 | 2017-09-05 | Kabushiki Kaisha Toshiba | Speech feature extraction apparatus and speech feature extraction method |
WO2014021318A1 (ja) * | 2012-08-01 | 2014-02-06 | 独立行政法人産業技術総合研究所 | 音声分析合成のためのスペクトル包絡及び群遅延の推定システム及び音声信号の合成システム |
JPWO2014021318A1 (ja) * | 2012-08-01 | 2016-07-21 | 国立研究開発法人産業技術総合研究所 | 音声分析合成のためのスペクトル包絡及び群遅延の推定システム及び音声信号の合成システム |
JP2015202182A (ja) * | 2014-04-14 | 2015-11-16 | コニカミノルタ株式会社 | 超音波探触子及び超音波画像診断装置 |
US10650800B2 (en) | 2015-09-16 | 2020-05-12 | Kabushiki Kaisha Toshiba | Speech processing device, speech processing method, and computer program product |
US11170756B2 (en) | 2015-09-16 | 2021-11-09 | Kabushiki Kaisha Toshiba | Speech processing device, speech processing method, and computer program product |
CN114464208A (zh) * | 2015-09-16 | 2022-05-10 | 株式会社东芝 | 语音处理装置、语音处理方法以及存储介质 |
US11348569B2 (en) | 2015-09-16 | 2022-05-31 | Kabushiki Kaisha Toshiba | Speech processing device, speech processing method, and computer program product using compensation parameters |
Also Published As
Publication number | Publication date |
---|---|
JP4166405B2 (ja) | 2008-10-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10614827B1 (en) | System and method for speech enhancement using dynamic noise profile estimation | |
Yegnanarayana et al. | Extraction of vocal-tract system characteristics from speech signals | |
US8972255B2 (en) | Method and device for classifying background noise contained in an audio signal | |
CN111653289B (zh) | 一种回放语音检测方法 | |
WO2017088364A1 (zh) | 动态选择语音模型的语音识别方法及装置 | |
EP1850328A1 (en) | Enhancement and extraction of formants of voice signals | |
CN101149928A (zh) | 声音信号处理方法、声音信号处理设备及计算机程序 | |
JPS5850360B2 (ja) | 音声認識装置における前処理方法 | |
JP2013500508A (ja) | 音声信号の処理に際して、ノイズを無視して音声を対象にすることによりノイズを低減するシステムおよび方法 | |
JPH10133693A (ja) | 音声認識装置 | |
JP4061094B2 (ja) | 音声認識装置、その音声認識方法及びプログラム | |
JP2006079085A (ja) | 音声品質向上方法及び装置 | |
JP2001249674A (ja) | 駆動信号分析装置 | |
JP2005227782A (ja) | 有声音および無声音の検出装置、並びにその方法 | |
JP2002507776A (ja) | 音声信号の過渡現象を解析するための信号処理方法 | |
CN107039046B (zh) | 一种基于特征融合的语音声效模式检测方法 | |
JP4313740B2 (ja) | 残響除去方法、プログラムおよび記録媒体 | |
CN109308894A (zh) | 一种基于Bloomfield’s模型的语音建模方法 | |
CN111063371B (zh) | 一种基于语谱图时间差分的语音音节数估计方法 | |
JP2012252026A (ja) | 音声認識装置、音声認識方法、及び音声認識プログラム | |
JP2885984B2 (ja) | 音声分析装置 | |
Juhitha et al. | Laughter Synthesis using Mass-spring Model and Excitation Source Characteristics | |
Saeed et al. | An image-based system for spoken-letter recognition | |
Kolokolov | Measuring the Fundamental Tone of Voice Signal | |
Kumar¹ et al. | Extraction of Vocal Tract Length from Formant Frequencies for Forensic Speech Applications |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20031031 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20040129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050128 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050128 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070326 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080729 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080730 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110808 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |