JP3580906B2 - 音声復号装置 - Google Patents
音声復号装置 Download PDFInfo
- Publication number
- JP3580906B2 JP3580906B2 JP17388695A JP17388695A JP3580906B2 JP 3580906 B2 JP3580906 B2 JP 3580906B2 JP 17388695 A JP17388695 A JP 17388695A JP 17388695 A JP17388695 A JP 17388695A JP 3580906 B2 JP3580906 B2 JP 3580906B2
- Authority
- JP
- Japan
- Prior art keywords
- prediction coefficient
- value
- prediction
- average
- background noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000003044 adaptive effect Effects 0.000 claims description 25
- 238000001514 detection method Methods 0.000 description 19
- 230000005540 biological transmission Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 238000000034 method Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 206010002953 Aphonia Diseases 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 206010019133 Hangover Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
Images
Landscapes
- Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
- Noise Elimination (AREA)
Description
【産業上の利用分野】
本発明は音声符号化通信における音声復号装置に関し、特に、符号化方式に適応差分PCM(ADPCM)方式を適用した音声復号装置に関するものである。
【0002】
【従来の技術】
音声による通信が行われている場合、通話者のどちらか一方が発声している時間率は約35%であるといわれている。
近年、個人主体の通信であるパーソナルコミュニケーションがその範囲を拡大してきている。そこでは携帯に便利な端末を利用した音声通信が主体である。このような携帯端末に要求される事項として、第1にコードレス化が挙げられる。第2に携帯に便利なように電池が使用され長時間にわたる使用に耐える必要があるため回路消費電力の低減化が要求されている。
【0003】
回路消費電力の従来の低減方法として、音声の発声時間率に着目し発声している時のみ送信回路を動作させ、その他の送信時間は回路を休止状態にする方法がある。このような技術を実現するためには送信側に音声検出機能を設けて有音区間のみ送信する不連続送信装置を付加すればよい。その場合に問題となるのは受信側である。すなわち、受信側では再生音声が断続する為に非常に不愉快な音声になる。この原因は、音声を伝送しているときは音声に背景雑音が重畳されているが、音声がないときは背景雑音が伝送されない。すなわち、背景雑音は音声信号がある時のみ変調されて伝送されるためであることが知られている。
このような問題点を解決する方法として、受信側で音声信号が伝送されて来ない無音区間は送信側の背景雑音に類似した擬似背景雑音を発生させる方法が知られている。
【0004】
本発明は受信側の復号器を対象とするものであるが、受信側の復号器には送信側の符号化器と同じ構成部分があるので、送信側のADPCM符号化器について概要を説明する。
図5は送信側符号化器のブロック図である。図において、51は64kb/sのμ則PCM入力信号を線形13ビットPCMに変換する均一PCM変換器である。
52は均一PCM変換器51の出力から適応予測器53の出力である予測信号jを差し引いて差分信号kを得る減算器52である。この差分信号kは適応量子化器54により量子化され、ADPCM音声符号化器の出力として32kb/sの音声データが伝送路に送出される。
一方、適応逆量子化器56は、32kb/sの出力音声データを適応逆量子化して量子化差分信号mを出力する。加算器55は、量子化差分信号mと予測信号jを加算して再生信号nを出力する。
適応予測器53は、予測係数を算出しそれを用いて量子化差分信号mおよび再生信号nから予測信号jを生成して出力する。
【0005】
適応予測器53が予測信号jを生成するために算出する予測係数は、ある時点の標本値を、隣接する過去の2つの標本値で予測するための係数であり、その値は音色を表す。例えば、予測係数は、音声信号の場合と背景雑音の場合とでは異なった発生分布となり、同じ背景雑音でも、平坦な周波数特性を持つ白色雑音と、一般によく知られているピンク雑音のように傾きを持った雑音とでも発生分布が異なる。
一例として、図6は入力信号と予測係数の波形例図であり、適応予測器53で計算される予測係数のうちa1,a2と音声の時間的変化を示す。区間A,B,Cの音声のある区間と、区間D,Eの背景雑音のみの区間では予測係数の値が異なることが分かる。ここで音声に重畳している背景雑音は、例えば、傾いた周波数特性をもつ実際の空気調節装置(エアコン)の雑音である。
従来技術、本発明は、ともに擬似背景雑音を発生させる一手段としてこの予測係数に注目したものである。
その一例を説明する。
【0006】
図4は従来の復号装置のブロック図である。
図4において、1はアンテナである。2は送信側の符号化器からの音声の有り無しを判断する音声検出器の音声検出フラグとADPCM符号化データとが多重されて変調された変調波を受信復調する受信復調器である。3は受信復調された信号aをADPCM符号化データcと音声検出フラグbに分離する多重分離器である。4は多重分離器3からの音声検出フラグbを受け、電力保持器、ADPCM復号器5、予測係数保持器6にそれぞれを後に記述する制御を行うための制御信号を出力する制御器である。5は制御器4からの制御信号dを受けて、擬似背景雑音用ランダムADPCMデータを発生するとともに、予測係数保持器6と予測係数データの送受を行い、多重分離器3からのADPCM符号化データcを復号するADPCM復号器である。6はADPCM復号器5の予測係数gをフレーム毎に平均値を計算して、制御器4からの制御信号eにより有音区間は平均値の記憶の更新を行い、無音区間は更新を中止する予測係数保持器である。8はスピーカである。
【0007】
図4と図7を用いて動作を説明する。
まず、図4において、音声検出フラグとADPCM符号化データが多重化され変調された変調波をアンテナ1で受け、受信復調器2で受信復調して多重分離器3に復調信号aを送る。ここでいう音声検出フラグとは、送信側の符号化器の入力音声の、音声が有る部分(有音区間)と無い部分(無音区間)を音声検出器で検出した結果を示すものである。
多重分離器3は、音声検出フラグbとADPCM符号化データcに分離する。この場合、例として、ADPCM符号化データcは5msecを1フレームとしている。5msec毎に音声検出フラグbが制御器4に送られる。
制御器4は、音声検出フラグbを受けて、有音区間,無音区間のいずれかを示す制御信号d,eを出力する。
ADPCM符号器5は、無音区間では変調信号が途絶えてしまうため、自ら擬似背景雑音を生成するためにADPCM符号化データcが取り得る範囲のランダムなデータを内部生成し、そのデータを予測係数保持器6から与えられる予測係数fを用いて復号する。
【0008】
予測係数保持器6は、送信断時のADPCM復号器5で生成した擬似背景雑音に、実際の雑音のスペクトラム情報を付加するために、ADPCM復号器5内の予測係数gを抽出してフレーム毎に平均値を求めて更新保持する。制御信号eが有音区間から無音区間に変わったとき、その直前のフレーム、即ち、有音区間の最後のフレームの予測係数の平均値を保持して、更新を中止する。
ADPCM復号器5は、この更新を中止して保持されている予測係数fを使用して内部で発生したランダムデータの復号を行い、擬似背景雑音を出力する。
【0009】
符号化器側の音声検出器には、有音区間から無音区間に変化したとき、会話の語尾切れを防ぐために約数100msecの間有音区間と判定するハングオーバーと一般に言われている機能が備わっているため、有音区間の最後のフレームの予測係数値は背景雑音の値となる。この効果で、ランダムなデータを用いて復号しても実際の符号化器側の音声に重畳されている背景雑音と似た音色を持つ雑音が生成される。
【0010】
図7は擬似背景雑音に対する予測係数を説明する波形例図であり、外乱のない場合を示す。図において、(A)は符号化器の入力音声信号(音声+背景雑音)を示し、(B)はこれに対する予測係数のうち、例として予測係数a1の時間変化を示す。
符号化器側の音声検出処理で、音声が音声検出フラグ(C)のように理想的に検出されたとすると、符号化器は音声信号(D)の音声データだけを断続送信する。(E)はこの音声信号(D)に対する予測係数a1である。
従来技術では、音声信号(D)のように区間a,b,cに擬似背景雑音を挿入するために、有音区間から無音区間に変わる直前のフレーム、ここでは、予測係数保持器6で保持されるt,t−1,t−2の予測係数a1の平均値(F)を使用してそれぞれ区間a,b,cのランダムデータを復号し、擬似背景雑音を出力する。つまり復号器5が復号に用いる予測係数は予測係数a1(G)のようになる。
この状態では無音区間a,b,cの擬似背景雑音の音色は予測係数a1(F)のように区間a,b,cでほぼ同じ値の実際の背景雑音の予測係数値になっているため、違和感のない連続性のある擬似背景雑音になる。
【0011】
【発明が解決しようとする課題】
次に、従来技術の問題点を図8を用いて説明する。図8は外乱のある場合の予測係数の波形例図である。
有音区間の最後の背景雑音のフレーム(t−1)に急に変化する外乱等が加わった場合、例えば、符号化器側のマイクロホンに異音が入った場合や伝送路上での誤りによる場合等、または受信した音声検出フラグが誤った判定結果を示した場合、例えば、符号化器側の音声検出器が判定誤りを起こして有音区間中に無音区間と判定してしまった場合や伝送路上で音声検出フラグに誤りが生じてしまった場合等、入力音声信号(A)、予測係数(B)、音声検出フラグ(C)で示したように、有音区間の最終フレームt−1は、入力音声(A),予測係数a1(B)ともに背景雑音とレベルが異なった状態になっている。
従来方式では、有音区間の最後のフレームの予測係数の平均値のみを用いて引き続く無音区間の擬似背景雑音を生成している。即ち、区間bの予測係数として予測係数a1(E)のZの部分の平均値が用いられるため、予測係数a1(F)の差x,yのように、区間aと区間cとがかなり異なった値が用いられるため、区間bの擬似背景雑音の音色が異なり、区間a,b,cでは、(G)に示すように連続性のない違和感のあるものになってしまうという欠点がある。
【0012】
本発明の目的は、従来技術の問題点である短時間の断続受信に伴う擬似背景雑音生成におよぼす悪影響を低減させ、ADPCM音声符号化方式において、有音区間の最後の部分、無声になった直前にレベルや背景雑音と音色の違いが大きい外乱があっても、再生される擬似背景雑音に違和感が生じないようにした音声復号装置を提供することにある。
【0013】
【課題を解決するための手段】
本発明の音声復号装置は、受信した適応差分PCM符号化信号の有音区間では予測係数を用いて前記適応差分PCM符号化信号を復号し再生音声として出力するとともに、無音区間では前記予測係数を用いて内部で発生させたランダム符号を復号し無音区間の再生雑音として擬似背景雑音を出力する適応差分PCM復号器と、前記予測係数のフレーム毎の平均値を求めて更新保持する予測係数保持器を備えた音声復号装置において、
前記予測係数保持器が求めた前記予測係数のフレーム毎の平均値を過去複数回にわたって順次更新記憶する予測係数メモリと、該予測係数メモリに過去複数回にわたって記憶された複数の予測係数の平均値を求めて前記適応差分PCM復号器に対する無音区間の予測係数とする補助予測係数保持器を設けたことを特徴とするものである。
【0014】
さらに、本発明の音声復号装置は、適応差分PCM符号化信号の有音区間では予測係数を用いて前記適応差分PCM符号化信号を復号し再生音声として出力するとともに、無音区間では前記予測係数を用いて内部で発生させたランダム符号を復号し無音区間の再生雑音として擬似背景雑音を出力する適応差分PCM復号器と、前記予測係数のフレーム毎の平均値を求めて更新保持する予測係数保持器を備えた音声復号装置において、
前記予測係数保持器がフレーム毎に求めた予測係数の平均値に0.5未満の正数を第1の乗算値として乗算する第1の乗算器と、該第1の乗算器からの入力値と他方の入力値とを加算して前記予測係数保持器に与える予測係数とする加算器と、該加算器の出力を更新記憶して出力する予測係数メモリと、該予測係数メモリの出力値に1から前記第1の乗算値を差し引いた値を第2の乗算値として乗算し前記加算器の前記他方の入力値とする第2の乗算器とを備えたことを特徴とするものである。
【0015】
【実施例】
図1は本発明の実施例を示すブロック図である。図1の1はアンテナ、2は音声検出フラグとADPCM符号化データとが多重変調された変調波を受信復調する受信復調器、3は受信復調信号aをADPCM符号化データcと音声検出フラグbに分離する多重分離器、4は音声検出フラグbを受け、制御信号d,eを出力する制御器、5はADPCM復号器であり、以上は従来回路と同じである。
6予測係数保持器であり、有音区間はADPCM復号器5の内部変数である予測係数gを抽出してフレーム毎に平均値を計算して平均値を記憶更新し、無音区間は更新を停止する。7は本発明で付加した補助予測係数保持器、8はスピーカである。
【0016】
〔動作〕
予測係数保持器6及び補助予測係数保持器7の動作以外は従来技術と同じであるので、従来技術と異なる点を詳細に説明する。
予測係数保持器6は、制御信号eに従って有音区間はADPCM復号器5内で計算される予測係数gを抽出しフレーム毎に平均値を計算して保持更新を行い、有音区間から無音区間に変化したとき更新を停止して最終フレームの値iを補助予測係数保持器7に出力する。
補助予測係数保持器7は、予測係数保持器6で計算された最終フレームの値iが入力される毎に、過去の有音区間から無音区間に変化したときの直前の予測係数値を用いて擬似背景雑音を生成するための予測係数値に対して従来技術の問題点にある影響を軽減する処理を行う。例えば、過去の最終フレームのデータに重み付けを与えて現在のデータの影響を抑圧する、または、過去数フレームのデータの平均をとることにより過去のデータに重み付けを与える処理を行って予測係数保持器6に処理後の値hを出力する。予測係数保持器6はこの値hを無音区間のfとして出力し、ADPCM復号器5はこの値fを用いて擬似背景雑音を生成する。
【0017】
図2は本発明の要部をなす補助予測係数保持器7の第1の実施例を示すブロック図である。図2において、21は平均値算出器、22は予測係数メモリである。平均値算出器21はメモリ22の複数回の最終フレームの予測係数の平均値を算出し、予測係数保持器6に対してその平均値hを出力する。予測係数メモリ22は複数回の最終フレーム、例えば、t〜t−4の5フレーム分の過去の予測係数値を順次記憶更新する。
【0018】
〔動作〕
有音区間から無音区間への変化が検出されると、補助予測係数保持器7は予測係数保持器6から最終フレームの予測係数平均値iを抽出する。メモリ22は、最終フレームの予測係数平均値が入力される毎にメモリ内の値を更新し記憶していく。ここではtは現在入力されたiの値であり、t−1は1つ過去に入力された値、同様にt−4まで計5つの値が記憶されており、新たな値iが入力される毎にそれぞれの値が順次過去のメモリへと更新される。次に平均値算出器21はメモリ22から出力される5つの値の平均値を算出して、その平均値hを予測係数保持器6に供給する。予測係数保持器6はその値hを値fとして復号器5に与える。
この処理により、図8の(F)の領域bの予測係数は破線lのようになり、領域cでは破線kのように正規の値に滑らかに近づいていき、Zのような影響を受けても領域a,領域b,領域cに極端な差が生ずることなく、従来の差xはmになり、yはnになり違和感が極めて低減される。
【0019】
次に、図3は本発明の要部をなす補助予測係数保持器7の第2の実施例を示すブロック図である。図3において、31は加算器、32,33は乗算器,34は予測係数メモリである。乗算器32には、0<α<0.5の乗算値αが設定され、現在入力された最終フレームの予測係数平均値iの重み付けを軽くする。一方の乗算器33には、1−α=βとする乗算値βが設定され、加算器31から出力された前回の予測係数平均値hの重み付けを重くするように作用する。例えば、α=0.05、β=1−α=0.95なる乗算値を設定すると、加算器31は、現在の入力値iの5%と前回の加算器31からの出力値hの95%を加算して出力することとなる。予測係数メモリ34は、加算器31の出力値hを順次記憶更新し、記憶した値pを乗算器33に与えて乗算値βが乗算されて次回の加算器31の一方の入力とする。
【0020】
有音区間から無音区間に変化すると、補助予測係数保持器7は予測係数保持器6から最終フレームの予測係数値iを抽出する。加算器31、乗算器32,33では次の式(1)の計算がされる。
【数1】
h=p×0.95+i×0.05 (1)
つまり、hは前回のiの値を含んだ予測係数値となり、現在入力されたiの値には大きくは左右されることはない。このことは、仮にある時点のiの値が急激に変わっても、出力されるhの値にはあまり影響することはなく、また適切な値に落ち着いていく。予測係数メモリ34は新しいhを更新記憶する。初期値としてはここでは0としている(短時間で適切な値に落ち着く。)
この処理により、図2の第1の実施例と同様に過去の値によって現在の値の急激な変動が抑えられるという効果が得られる。
【0021】
【発明の効果】
以上詳細に説明したように、過去の最終フレームの予測係数を利用して擬似背景雑音を生成することにより、短時間の急激な変化をする信号等が入って来た場合もその信号の影響をそのまま受けることがなく音声に重畳している背景雑音とほぼ同じスペクトラム情報をもった擬似背景雑音を生成することができるため、受話者に与える違和感が軽減される。
【図面の簡単な説明】
【図1】本発明の実施例を示す音声復号装置の構成例図である。
【図2】本発明の図1の補助予測係数保持器の第1の実施例を示す構成例図である。
【図3】本発明の図1の補助予測係数保持器の第2の実施例を示す構成例図である。
【図4】従来の音声復号装置の構成例図である。
【図5】ADPCM符号化方式の送信側符号化器のブロック図である。
【図6】入力信号と予測信号の波形例図である。
【図7】擬似背景雑音に対する予測係数を説明する波形例図である。
【図8】外乱がある場合の擬似背景雑音に対する予測係数を説明する波形例図である。
【符号の説明】
1 アンテナ
2 受信復調器
3 多重分離器
4 制御器
5 ADPCM復号器
6 予測係数保持器
7 補助予測係数保持器
8 スピーカ
a 復調信号
b 音声検出フラグ
c ADPCM符号化信号
e 制御信号
f 擬似敗勢雑音に与える予測係数値
g 予測係数
21 平均値算出器
22 予測係数メモリ
31 加算器
32 乗算器
33 乗算器
34 予測係数メモリ
51 均一PCM変換器
52 減算器
53 適応予測器
54 適応量子化器
55 加算器
56 適応逆量子化器
j 予測信号
m 量子化差分信号
n 再生信号
Claims (2)
- 受信した適応差分PCM符号化信号の有音区間では予測係数を用いて前記適応差分PCM符号化信号を復号し再生音声として出力するとともに、無音区間では前記予測係数を用いて内部で発生させたランダム符号を復号し無音区間の再生雑音として擬似背景雑音を出力する適応差分PCM復号器と、前記予測係数のフレーム毎の平均値を求めて更新保持する予測係数保持器を備えた音声復号装置において、
前記予測係数保持器が求めた前記予測係数のフレーム毎の平均値を過去複数回にわたって順次更新記憶する予測係数メモリと、該予測係数メモリに過去複数回にわたって記憶された複数の予測係数の平均値を求めて前記適応差分PCM復号器に対する無音区間の予測係数とする補助予測係数保持器を設けたことを特徴とする音声復号装置。 - 受信した適応差分PCM符号化信号の有音区間では予測係数を用いて前記適応差分PCM符号化信号を復号し再生音声として出力するとともに、無音区間では前記予測係数を用いて内部で発生させたランダム符号を復号し無音区間の再生雑音として擬似背景雑音を出力する適応差分PCM復号器と、前記予測係数のフレーム毎の平均値を求めて更新保持する予測係数保持器を備えた音声復号装置において、
前記予測係数保持器がフレーム毎に求めた予測係数の平均値に0.5未満の正数を第1の乗算値として乗算する第1の乗算器と、該第1の乗算器からの入力値と他方の入力値とを加算して前記予測係数保持器に与える予測係数とする加算器と、該加算器の出力を更新記憶して出力する予測係数メモリと、該予測係数メモリの出力値に1から前記第1の乗算値を差し引いた値を第2の乗算値として乗算し前記加算器の前記他方の入力値とする第2の乗算器とを備えたことを特徴とする音声復号装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP17388695A JP3580906B2 (ja) | 1995-06-19 | 1995-06-19 | 音声復号装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP17388695A JP3580906B2 (ja) | 1995-06-19 | 1995-06-19 | 音声復号装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH098680A JPH098680A (ja) | 1997-01-10 |
JP3580906B2 true JP3580906B2 (ja) | 2004-10-27 |
Family
ID=15968939
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP17388695A Expired - Fee Related JP3580906B2 (ja) | 1995-06-19 | 1995-06-19 | 音声復号装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3580906B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3273599B2 (ja) | 1998-06-19 | 2002-04-08 | 沖電気工業株式会社 | 音声符号化レート選択器と音声符号化装置 |
-
1995
- 1995-06-19 JP JP17388695A patent/JP3580906B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH098680A (ja) | 1997-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3955600B2 (ja) | 背景ノイズエネルギーレベルを見積もる方法と装置 | |
EP0661689B1 (en) | Noise reducing method, noise reducing apparatus and telephone set | |
US5812965A (en) | Process and device for creating comfort noise in a digital speech transmission system | |
US7421388B2 (en) | Compressed domain voice activity detector | |
US20150187364A1 (en) | Voice detector and a method for suppressing sub-bands in a voice detector | |
JP2008146081A (ja) | 冗長性低減方法 | |
JP2007316658A (ja) | ステレオ音響信号の処理方法と装置 | |
JPH0962299A (ja) | コード励振線形予測符号化装置 | |
EP1598811A2 (en) | Decoding apparatus and method | |
US6424942B1 (en) | Methods and arrangements in a telecommunications system | |
JPH0644195B2 (ja) | エネルギ正規化および無声フレーム抑制機能を有する音声分析合成システムおよびその方法 | |
JPH07325594A (ja) | 復号器において使用されるパラメータ信号アダプタの動作方法 | |
JP2576690B2 (ja) | ディジタル携帯電話機 | |
WO2001065542A1 (fr) | Dispositif de codage/decodage de la voix et procede associe | |
JP3580906B2 (ja) | 音声復号装置 | |
WO2004112256A1 (ja) | 音声符号化装置 | |
JP4551817B2 (ja) | ノイズレベル推定方法及びその装置 | |
JPH0954600A (ja) | 音声符号化通信装置 | |
JP3649854B2 (ja) | 音声符号化装置 | |
JP2638522B2 (ja) | 音声符号化装置 | |
JP3496618B2 (ja) | 複数レートで動作する無音声符号化を含む音声符号化・復号装置及び方法 | |
JPH10326100A (ja) | 音声録音方法及び音声再生方法及び音声録音再生装置 | |
JP3593183B2 (ja) | 音声復号装置 | |
JP3316945B2 (ja) | 伝送誤り補償装置 | |
JP3179687B2 (ja) | 音声復号装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040720 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040721 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090730 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100730 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110730 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120730 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |