JP4422500B2 - ディジタル音声伝送システムの快適ノイズを作る方法 - Google Patents
ディジタル音声伝送システムの快適ノイズを作る方法 Download PDFInfo
- Publication number
- JP4422500B2 JP4422500B2 JP2004012387A JP2004012387A JP4422500B2 JP 4422500 B2 JP4422500 B2 JP 4422500B2 JP 2004012387 A JP2004012387 A JP 2004012387A JP 2004012387 A JP2004012387 A JP 2004012387A JP 4422500 B2 JP4422500 B2 JP 4422500B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- signal
- excitation
- speech
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/012—Comfort noise or silence coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04J—MULTIPLEX COMMUNICATION
- H04J3/00—Time-division multiplex systems
- H04J3/17—Time-division multiplex systems in which the transmission channel allotted to a first user may be taken away and re-allotted to a second user if the first user becomes inactive, e.g. TASI
- H04J3/175—Speech activity or inactivity detectors
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Mobile Radio Communication Systems (AREA)
Description
通信の環境ノイズが高いときは、無効期間の間に、特性の突然の抑制もしくは緩和という、聞く側にとって非常に不愉快な効果を生じ、この効果はおそらく通信が中断したという印象を引き起こすであろう。さらに、音声信号は時に明瞭さの限界にまで達する。
上記の欠点を直すには、かなり最近になって提案されているのが無効期間の間に送信が妨害される前に当面の背景ノイズを再現するような合成信号を挿入する方法である。一例として、全速度および半速度の欧州自動車ラジオ・システムのための仕様作成の状況において実行された結果を引用する。
。そのようなシステムにおいて音声活性検出タイプの装置は送信に必要な速度を決定する。標本毎に1,1/2,1/4,1/8の4種の速度比が可能である。送信は妨害されず、送信されるパラメータはLPC係数によるスペクトルの包絡線と、励起エネルギーに関する指標とである。これらのパラメータは各フレーム毎に送信され、最も遅い速度のシステムはCNG生成器によるのと類似の機能を示す。
本発明のもうひとつの目的はさらに、良質の、環境媒体を代表し、一方この生成を確かにするために送信されるデータの量と速度を最適化する快適ノイズを生成することである。
− 快適ノイズを記述する一組の符号化済みのパラメータから成る無音記述フレームの生成と送信をし、この無音記述フレームはこの有効期間に続く無効期間の最初の無音記述フレームとなるものであり、
この無効期間の連続する各現在の無効フレームに対して、
− この無効フレームの周波数スペクトルを分析し蓄積し、
− この現在の無効フレームの周波数スペクトルを基準用と現フレーム周波数スペクトルを認識する基準によって、基準用周波数スペクトルと比較し、
− この現在の無効フレームの間、基準用と現フレーム周波数スペクトルが無い時の基準によって、送信を、特に新しい無音記述フレームの送信を延期し、
− この現在の無効フレームの間、新しい無音記述フレームの生成と送信を行い、これにより快適ノイズの送信速度を、先行する無音記述フレームの間に見積もられた基準用スペクトルとは異なる周波数スペクトルを持つ無音記述フレームの送信速度にまで減ずることを可能にする。
本発明の主題であり、音声復号化器と接続され、受信端において、以下の各項を備えそれらがあるところにおいて同様に顕著であるような方法と装置。
− 復号化済みのパラメータを生成するために、各連続する無音記述フレームに対し、快適ノイズを記述する符号済みのパラメータの組を復号化し、
− 音声復号化器のレベルにおいて、復号化済みのパラメータの処理の後に、対応する快適ノイズを合成する。
− 図2は、送信端において本発明の主題に従って快適ノイズを生成する処理を実行させる一連の必須のステップを図解によって表している。
− 図3は、無音記述フレームの好ましいモードをフローチャート様式で表している。
− 図4は、受信端において本発明の主題に従って快適ノイズを生成する処理を実行させる一連の必須のステップを図解によって表している。
− 図5は、音声符号化器がLPCフィルタを備えた予測型である場合に、快適ノイズを生成する処理を実行させる一連の必須のステップを図解によって表している。
− 図6は、本発明の主題に従って、送信端において快適ノイズを生成する装置の図を機能ブロックの様式で図解により表している。
− 図7は、本発明の主題に従って、音声符号化器が予測型であるようなより特殊な場合に、送信端において快適ノイズを生成する装置の図を機能ブロックの様式で図解により表している。
− 図8は、図7で表される装置で使われている快適ノイズ生成器の具体例の詳細を表している。
− 図9は、無音記述フレームに対し、送信あるいは非送信命令信号を作る一連のステップの組を、機能フローチャートの様式で表している。
− 図10は、無音記述フレームの作成とコーディングと送信の一連のステップの組を、機能フローチャートの様式で表している。
− 図11は、一実施形態に従って励起信号を作る一連のステップの組を、機能フローチャートの様式で表している。
− 図12は、本発明の主題に従って、受信端において快適ノイズを生成する装置の図を機能ブロックの様式で図解により表している。
− 図13は、図12で表される装置で使われている快適ノイズ生成器の具体化の詳細を表している。
処理特有の話をする前に、最初に、従来技術に関する図1と共に思い出されるのは、音声のディジタル送信のためのシステムにおける従来からある快適ノイズ生成用装置は送信端において音声符号化器に加えて音声活性復号化器と先述したVADとCNG生成器とを含んでいる。この組み合わせは送信端において、送信チャネルについての記述中に先にかかれている方法の内の一つに従って、無音記述フレームかSIDフレームを周期的に送信することを可能にしている。
受信端において、送信端で使われる音声符号化器もまた予測型の符号化器である時に、予測型の復号化器である音声復号化器は、送信された時に音声信号を各SIDフレーム別に復号化し、受信端においてCNG生成器の効により対応する快適ノイズをつくることを可能にしている。
このようにして、前記の図2でさらに述べるように、本発明の手段である快適ノイズを生成する処理は本発明の主題であって送信端で実行され無効期間の検出の後に続く。無効期間の検出は、例えばタイムディレーが掛けられた音声活性検出器VADにより与えられる信号を基準として実行され得るもので、無効期間が効果的に通過するように上記に対して時間遅れが加えられる。この時間遅れはまた、検出期間の時間を考慮するように、図2に表されるように、発明に従って処理の正確な実行が確かにされるように調節され得るものである。上述の図2において、検出期間は、関連する有効期間に続いて点線で区切られる間隔によって表される。
かくして、さらに図2において述べられるように、本発明の主題である処理は次に、この無効期間における連続する現在の無効フレームの各々に対してステップ101においてこれに関した現在の無効フレームの周波数スペクトルを分析し蓄積することにある。前記無効フレームにおける周波数スペクトルは、ステップ102において基準周波数スペクトルと比較される。これを得るための処理のないようは後述する。
基準用と現在フレームの周波数スペクトルが同一である場合は、上述のステップ102で表現されているように、発明に関する処理は送信、特に新しい無音記述フレーム,SIDフレームの送信を遅らせるか、基準用と現在フレームの周波数スペクトルが同一で無い場合は、ステップ100における生成と送信において
、このステップ100は各SIDフレームに対してこの現無効フレームの間の新しい無音記述フレームである最初のSIDフレームで使用されたのと同じ手法に従って実行される。図2において、新フレームの送信の延期は、基準用と現フレーム周波数スペクトルが同一である場合は基準104を持つものと示される。
本発明の主題であるところの快適ノイズを生成する処理の特殊な具体例において、基準用周波数スペクトルは各無音記述フレームの生成中に得られる環境ノイズの周波数スペクトルから作られ得ると示している。このようにして、図2で表されるような本発明の主題である処理は、各SIDフレームの基準用周波数スペクトルを得ることを可能にするところの環境ノイズを蓄積するステップである103を包含し得ると理解される。
SIDフレーム毎に計算され、また基準用周波数スペクトルを構成し得る周波数スペクトルの見積りは図3と共に記述されるであろう実施形態に従って実行され得る。
かくして、図3に表されたように、各無音記述フレームを達成する手続きは過去の平均周波数スペクトルを確定するために、連続的な無効フレームの平均周波数スペクトルを決定してなるステップを含み得るものであり、このステップは図3中の1041を参照されたい。
この場合、過去の平均周波数のスペクトルSmpは式(3)を満足する。
上述のステップ1042は過去の平均周波数スペクトルの同一性と、式(4)に表される現在の無効フレームの周波数スペクトルとのテストから成る。
上記の周波数スペクトルが同一かどうかの基準に基づいて、本発明の主題である処理は、無音記述フレームSIDと過去の平均スペクトルSFmpの1043を選び、また上記の周波数スペクトルが同一でない場合は、1044において対応する現在の無効フレームの周波数スペクトルを選ぶ。
この動作のモードは特別に有利な方法でもって現在の各無効フレームの無音スペクトルを見積もることを可能にするが、この時そのようなフレームが局所的不動性スペクトル領域に属するかあるいは非不動性スペクトル領域に属するかによる。
不連続音声のディジタル送信のためのシステムで快適ノイズを生成する処理のより詳細な記述は、本発明の主題に従って受信端において図4と共に与えられる
。
もちろん、受信端において、発明に従う処理は、既述の処理によってSIDフレームを送ることを含んでいると示される。
図4を参照して、発明に関する処理は、各連続的無音記述フレームに対してステップ200において復号化済みのパラメータを生成するために、快適ノイズを記述する符号化済みのパラメータの組を復号化し、それから、音声複合化器のレベルで復号化済みのパラメータを処理した後、音声複合化器がステップ201において対応する快適ノイズを合成することを可能にするようなパラメータを合成することとから成る。特に、復号化済みのパラメータの処理は適当な特別の再符号化からなることが可能だと示している。
そのような場合には、復号化された信号は励起信号にフィルタを掛けることにより得られ、この信号は今後LPCフィルタと呼ぶところのLPC合成フィルタによって、新規の辞書と随意に長期励起とから始まる。
本発明の主題である処理は、快適ノイズを作るために信号の合成を実行することを可能にするところのLPCフィルタを励起するために、白色ノイズに似た特徴のスペクトルを持つ励起信号を生成することから成る。
そのような場合には、環境ノイズのスペクトルを表すパラメータは、スペクトルの包絡線に対してLPCフィルタの係数によって、また上記のスペクトルのレベルに対して励起信号のエネルギーによって与えられる。
そのような処理は、図5と共に記述し表現されており、ここでは無音記述フレームの送信に関する動作に関連して指標’が付けられている同様のステップを含んでいる。
図5で表される発明による処理の実施の特別なモードに従って、実施される処理は、片方でLPCフィルタの不動性あるいは他方で励起エネルギーの不動性に対してSIDフレームを送信するかあるいはそのようなフレームを送信しないかという決定の基準を作る。
このようにして、ステップ100’の最初のSIDフレームの送信に続いて、図5に実施され記述されている処理はFcと表されている現フレームのLPCフィルターを101’の現フレームFcと比較し、また102’の現フレームFcをステップ103’に従い先行するSIDフレームの間に得られ蓄積される基準フィルターFrと比較することにある。
反対に、もし現フィルタに関するフィルタFcと基準フィルタに関するフィルタFrとが同一であるなら、図5に描かれている実際の処理は、ステップ104’aにおいて現フレームの励起エネルギーの見積りをし、ステップ104’cにおいて上述の現フレームの励起エネルギーEcを先行するSIDフレームの間に見積もった基準エネルギーErとを比較することにある。この見積りは図5中のステップ104’bとして表されている。
図5に表されている本発明の主題である処理の実施の文脈において、LPCフィルタの比較をするために、特にLPCフィルタを量子化するベクトル法によって実施される距離の判断基準を用いることが可能であると示される。上述の距離は、板倉−斉藤距離や最大可能性の距離や、例えばLPC係数や組になったスペクトル・ラインや対数領域から発するパラメータに渡って計算されるユークリッド距離から成ることが可能である。
LPCフィルタやSID無音記述フレームの励起エネルギーを見積もったりする手続きは、後の記述において対応する快適ノイズ生成器の特別な具体例の状況で書かれる。
励起信号の計算に関して、本発明の主題である処理は、ホワイトノイズのと似た特徴を持つスペクトルを備え平均エネルギーが復号化器に送信されるような励起信号を生成することを要求し、この励起信号を合成する簡単な方法は単一の確率濃度を持ち振幅を与えられ、例えば送信されたエネルギーから計算されることにある。
本発明の主題に従って不連続な音声のディジタル送信のためのシステムにおける快適ノイズの生成の装置に関して、この装置はもちろん上述したようにそのような快適ノイズを生成する処理を実施するものであるが、より詳細な記述は図6と共に与えられる。
かくして、特に図6で描かれているように、上述の装置には、符号1の音声符号化器を組み合わされて、モジュール2があり、これは各有効期間に続く検出期間の間、各有効期間の終わりを検出するものである。例えば、モジュール2は従来からのタイプであり音声符号化器1と接続され論理信号を与えるような音声活性符号化器から成るが、この論理信号はVADinと記され、符号化済みの音声フレームが送信されるところの活性期間と無音記述フレームが送信されるところの不活性期間もしくは逆にフレームが送信されないような期間を示す。
入力において、モジュール3aはモジュール3bで作られた現フレームの周波数スペクトルであるところの信号SFcをも受信する。
音声符号化器1は、合成化分析手法の助けを借りて、例えば後に続くExcと表記される励起信号を計算し蓄積するが、これはLPC合成フィルタを励起するために複合化器において計算されるものと同一である。
本発明の主題に従って実施されているCNG生成器3のより詳細な記述は図8と共になされるであろう。この具体化は音声符号化器が予測型である場合に対応する。
このようにして、図8で分かるように、本発明の主題である装置と特にCNG生成器3にはモジュール30が含まれ、これは現フレームに関するパラメータを計算し、音声信号Acfに対する自動相関機能信号を受信し、出力として現フレームPcのパラメータに対応する信号を作り出す。これらのパラメータは現フィルタFcと現励起エネルギーEcとを含んでいる。
、これは符号化済みのフレームもしくは無音記述フレーム、SIDフレームを送信し、あるいは送信を止めて音声活性信号VADinと現フレームPcに関するパラメータと後に記すモジュール32により与えられる基準用パラメータPrとを受信する。このモジュール31は3レベルを持ちVADoutと記されるところの送信タイプ信号を出力するが、最初のレベルはVADout=0で現無効フレームの間に送信が全く無い場合のものであり、すなわちVADin=0は音声活性検出モジュール2により与えられる信号であり、二番目のレベルはVADout=1で活性期間の間の符号化済みの音声フレームの送信に対応し、三番目のレベルはVADout=2で無効期間中のSIDフレームの送信に対応し、すなわちVADin=0である。
CNG生成器3は次にモジュール33を含み、これは符号化済みの形式で無音記述フレームSIDを生成し、送信タイプ信号VADoutと基準用パラメータPrに対応する信号と、条件によっては符号化済みの無音記述フレーム信号を与える。
CNG生成器3は次にモジュール34を含み、このモジュールは励起信号Excを生成し、送信タイプ信号VADoutと基準用パラメータPrに対応する信号とそれに特例として採用された生成方法に従ってある数の音声符号化器により与えられる励起信号の過去のサンプルであるExcpasとを受信する。このモジュールは条件によっては信号VADoutに基づいて現フレームExcのための励起信号を与える。
CNG生成モジュール3の動作は以下の様である。
入力において、CNG生成モジュール3は音声活性検出複合化器2により与えられるフレーム0が無効でフレーム1が有効だという目印のVADinを受信する。このモジュールはまた音声符号化器モジュール1から各フレームに対して以下のものを受信する。
− 現フレームの音声信号のための自動相関機能信号Acf、
− 少なくとも先行フレームに関するパラメータLpcを記述し、Lpcを参照し少なくとも符号化器1の先行フレームのパラメータLpcに対応するような信号、ここでパラメータは音声符号化器の予測量子化器により使用される、
− 適切な過去の励起信号。
無音記述フレームSIDに対して、CNG生成器3はさらにSIDフレームを構成するところの無音を挿入する符号化済みのパラメータを作り出す。
無効フレームに対して、すなわち音声活性モジュール2により与えられる活性信号VADinは0に等しい時、CNG生成モジュール3は追加として適切に現フレームExcに対する励起信号と再更新されたパラメータLpcに対する信号Lpcrとを供給する。
CNG生成器3の総合的な動作は以下のように要約できる。
− もし信号VADinが1に等しいなら、そのフレームは有効でありCNG生成器3は単にVADout=1であるこの目印を通り過ぎる。
− そうでないとモジュール30は最初に現フレームPcに関してパラメータを評価する。
− もし現フレームが有効期間後の最初の無効フレームであるとすると、これはSIDフレームであり、
− さもないと、モジュール31はモジュール32により作られた基準用パラメータPrを使い先行SIDフレームにおいて基準用パラメータを計算し現フレームがSIDフレームであるかどうかを確定する。
もし現フレームがSIDフレームであるなら、VADout=2であり、そうでないときはVADout=0である。
上記の両方の場合において、すなわちVADout=0または2なら、モジュール34は現フレームExcに関して励起信号を生成しそして更新し、モジュール35はパラメータLpcの代表的信号を更新する。
符号化済みの音声フレームあるいは無音記述フレーム,SIDフレームの送信用もしくは送信の停止を決定するモジュール31の動きのモードのより詳細な記述は、図9と共に与えられる。
逆に、テスト1020に対してNOの場合には、すなわちVADin(t−1)=0の時、先行フレームは無効で現フレームに関するLPCフィルタは式(5)からステップ1022で計算される。
さもないと:同じステップ1022において、現フレームEtの励起エネルギーを見積もる処理が、LPC残余エネルギーErrtに基づいて行われる。現励起エネルギーの見積りを得るために、残りのLPCエネルギーErrtは学習により見積もられたCEと表される因子を乗ぜられる。これらのエネルギーの平均はmフレームに渡って計算されるが、mは例えば100msから200msの時間間隔に対応した整数で、式(8)に従って量子化の処理が実行されQ(.)と表記される。
テスト1025の答がNOなら、現フレームは非送信フレーム1026と定義され、信号VADoutは0に等しくなる。
無音記述フレームの動きのモードや符号化済みのSIDフレームや生成モジュール31のより詳しい記述は図10と共に与えられる。
一般的に、SIDフレームを符号化するときには、新らしい基準用フィルターAref(z)が計算されると示されている。
最後に、この処理を実行するために、転送機能がApast(z)と表される過去の平均的LPCフィルターがステップ1100において式(10)に従い評価される。
テスト1101の答がNOならば、過去の平均フィルターが式Aref(z)=Apast(z)に従って基準用フィルターとして選ばれ、基準用フィルターの係数の自動相関機能が式(A)に従い、再更新される。
RAref(i)=RApast(i),i=0→M. −−− 式(A)
ステップ1105において、1023で既に計算され量子化された励起エネルギーが対応するSIDフレームに挿入され、基準用エネルギーIrefとして蓄積される。
励起信号の合成に関して、Irefは基準用エネルギーの量子化指標を表し、grefは標本毎の平均エネルギーの2乗根に等しいところの再蓄積された利得を表し
、次の式(11)を通して得られる。
現フレームの利得gtは次により与えられる:
・無効期間の開始時に、gt=gref
・無効期間中に、gt=α×gt−1+(1−α)×gref
この式において、αは0と1の間にある実数の係数である。
本発明の主題である処理の実施に関する記述中で上述した最初の方法において
、標本の無作為な引き出しによって励起信号の合成は実行され得る。この場合、フレームのN個の励起標本は[−gt×√3,gt×√3]の間に単一の方法の無作為生成器によって引き出される。
この具体化において、N個の標本のフレームは励起パラメータが計算され符号化されるところのL個の標本のN/L個のブロックに分割される。音声符号化器の要求によって、これらのブロックは再分され、長期励起の符号の計算期間は必ずしも新規発明のそれとは対応しない。
nが0からN−1までの標本Exc(n)の標本から成る励起信号Excは、現フレームに対してeLTP(n)と表される長期予測励起と、βu(n)と表されるところでu(n)は新規波形を表しβは逆量子化後の利得を表す新規励起との線形結合として定義され、各ブロックに対し、上記の利得はこのように作られた励起エネルギーを制御するような方法で調整するよう求められる。
指標jの各ブロックに対して、長期励起のパラメータの符号はステップ1202において無作為に引き出される。後者のエネルギーを制限するために、長期励起の利得符号に対して強制は好ましい。信号eLTP(n)のL個の標本は、kが0からL−1まで変化するところのn=jL+kを用いて、ブロック全体に渡り音声符号化器に与えられる過去の信号Excpasの標本を用いることにより得られる。
ステップ1204では、新規励起の利得である量子化指標indと、従って逆量子化処理を通して関連する利得βとを求めることが可能である。ブロック全体に渡り求める値gt 2にできるだけ近い標本あたりの平均エネルギーを得ることを可能にするような指標が式(12)によって選ばれるであろう。
現方法の変形は、長期励起と新規励起の利得がベクトル量子化器により一緒に量子化されるような場合に、以下のようになる:ステップ1202において、励起eLTP(n)はLTP遅延を表す符号を無作為に引き出すことにより利得を1に等しくする。式(12)は式(13)へと変更される。
受信端における不連続音声のディジタル送信システムにおける快適ノイズの生成用装置のより詳しい記述は図12と13と共に与えられる。
図12に表されるように、この装置は受信端においてモジュール5を持ち、このモジュールは快適ノイズあるいはより特別には連続する各無音記述フレームにおいて、この快適ノイズを記述する符号化済みパラメータの組を復号化することが示される。
モジュール5は現フレームに関する快適ノイズPBcを記述するパラメータを作るのを可能にする。
一方で、音声信号復号化器は符号化済み音声フレームを受信し、他方で、現フレームに関する快適ノイズPBcのパラメータを記述する信号を記述する。また
、上図においてdecoded signalと名付けられた合成済み音声信号を合成により与える。
図12に登場するモジュール5は図12において音声信号復号化器が予測型復号化器により構成されるような場合についてより詳しく記述される。復号化モジュール5は、少なくとも、一つの逆多重化器50があり、送信済みの符号化済み無音記述フレーム信号を受信し、LPCフィルター用パラメータを記述する符号化済み信号を与えるが、この信号は合成済みの励起信号のレベルを記述するところの量子化済み利得指標信号irefと同様に、図13において、Lpccと表される現フレームに関連する。
計算モジュール52が与えられるが、これは現フレームに関連してLPCフィルタ用パラメータを記述しLpccと表される符号化済みの信号と、LPCフィルター用パラメータを記述し少なくとも先行フレームに関するところのLpcと表される信号と、VADと表されるフレーム送信タイプ・キューとを受信する。計算モジュール52は、更新済みのLPC信号を現フレームのLPCパラメータと共に与える。
復号化モジュール5は、フレームが有効でない時にのみ動作する。
入力において、モジュール5は、0の時非送信フレーム、2の時SIDフレームであるような信号と、フレームがSIDフレームの時にそのフレームの符号化済みパラメータとを受信する。音声復号化器は他方で以下のデータを供給する: − 少なくとも予測型の量子化器により使用される先行フレームに関するLPCパラメータと、先行フレームのこれらのLPCパラメータに関するところのLpcと表される信号、
− 過去の励起信号Excpasと、長期予測器の記憶蓄積。
出力として、復号化モジュール5は各無効フレームに対して、励起信号ExcのN個の新しい標本と逆量子化の後のLpcと表される新しいLPCパラメータとを作り出す。
信号VAD=2の時、SIDフレームのパラメータLpccと量子化済みのエネルギーのためのirefとが復号化され蓄積される。このステップにおいて蓄積されるパラメータはLpcrefとgrefと表される。
VAD=0の時、計算用モジュール52は復号化器により与えられる過去のパラメータLpcを用いてLpcrefに量子化と逆量子化をすることによりLPCパラメータの新しい組を計算するが、逆量子化された利得grefは変更されず、また現フレームgtに関する利得は上で述べられた式によって更新される。
双方の場合において、モジュール53は現フレームに関する新しい励起Excを上述の一つあるいは他の方法により計算し、それを音声復号化器に送信するがここでは無効フレームの復号化済み信号の合成を行う。
最後に、特殊な具体化において、ここで上述したパラメータの実際の値は以下の表のようであり、周波数8khzにおいて取った1フレームN=240個の標本に対するものである。
不連続音声のディジタル送信のための装置において快適ノイズを生成する高性能の処理と装置はこれで記述された。
それらは、SIDフレームを作ることができるようなパラメータを見積もるために、後者の変更を元に戻すところの環境ノイズの不動性の有無を考慮する効果的な方法を実施する時に顕著である。
エネルギー不動性の見積りのための予測型音声符号化器に関連するより特殊な場合において、本発明の主題である処理は量子化済みの励起信号のエネルギーの比較を行い、そうして量子化器の知覚的特質から簡便な方法で効果を得ることを可能にしている。
、送信されるエネルギーに利得を合わせられるよう方法が開発される。こうして作られた励起波形は一般に新規辞書のみを用いるものよりも豊富なスペクトルを持っている。
最後に、全体に、より良質のノイズを実施し生成することができ、これは平均送信速度が低い時にも計算の中庸な複雑さを犠牲にして合成される。
2…VAD(音声活性化符号化器)
3…MUX(多重化器)
4…CNG生成器
Claims (3)
- 予測型の音声符号化器を備え、過去のフレームとこの音声符号化器により与えられる長期予測データLTPとから発する特定の数の励起標本に基づいた、不連続音声のディジタル送信システムの中の快適ノイズ発生器で使われる励起信号を合成する方法であって、
− N個の標本を含む現在の各々の無効フレームを、それぞれL個の連続する標本を含むN/L個のブロックへと細分化し(1201、1207);
− L個の長期予測励起標本eLTP(n) を得るために、過去のフレームから発せられる上記の励起標本を用いて長期予測のパラメータの符号を無作為に選択し(1202);
− 上記の波形のL個の標本u(n)を得るために、1つの新規の波形を新規の辞書において無作為に選択して(1203)、
− 利得の量子化索引に関連づけられた利得値βを所定の評価基準に基づいて決定し;
− 現在のブロックの標本を更新することにより、励起信号Excを決定し、上記の励起信号は利得値βに基づいて長期予測eLTP(n) 及び無作為に選択された新規の波形の線形の組み合わせとして現フレームに対して定義される、
各処理から構成されることを特徴とするディジタル音声伝送システムにおける快適ノイズ生成方法。 - 上記の利得値βが長期励起と新規の波形に関連し、それぞれ関連づけられた利得値β1 、β2 に基づいて重み付けをすることにより特徴づけられるところの処理であって、上記の利得値は、現在のブロックに渡って、
上記の線形の組み合わせは、n=jL+kであり、kは0からL−1まで変化する前提における
Exc(jL+k)=β1 ・eLTP(jL+k)+β2 ・u(jL+k)
を満足する励起信号Excを定義する
ことを特徴とする請求項1に記載のディジタル音声送信システムにおける快適ノイズ生成方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR9512039A FR2739995B1 (fr) | 1995-10-13 | 1995-10-13 | Procede et dispositif de creation d'un bruit de confort dans un systeme de transmission numerique de parole |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP30694396A Division JP3781495B2 (ja) | 1995-10-13 | 1996-10-14 | ディジタル音声伝送システムの快適ノイズを作る方法と装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004177978A JP2004177978A (ja) | 2004-06-24 |
JP4422500B2 true JP4422500B2 (ja) | 2010-02-24 |
Family
ID=9483505
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP30694396A Expired - Lifetime JP3781495B2 (ja) | 1995-10-13 | 1996-10-14 | ディジタル音声伝送システムの快適ノイズを作る方法と装置 |
JP2004012387A Expired - Lifetime JP4422500B2 (ja) | 1995-10-13 | 2004-01-20 | ディジタル音声伝送システムの快適ノイズを作る方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP30694396A Expired - Lifetime JP3781495B2 (ja) | 1995-10-13 | 1996-10-14 | ディジタル音声伝送システムの快適ノイズを作る方法と装置 |
Country Status (8)
Country | Link |
---|---|
US (1) | US5812965A (ja) |
EP (3) | EP1372289B1 (ja) |
JP (2) | JP3781495B2 (ja) |
KR (1) | KR100357254B1 (ja) |
CN (1) | CN1104710C (ja) |
DE (3) | DE69631318T2 (ja) |
FR (1) | FR2739995B1 (ja) |
HK (2) | HK1057939A1 (ja) |
Families Citing this family (59)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5978756A (en) * | 1996-03-28 | 1999-11-02 | Intel Corporation | Encoding audio signals using precomputed silence |
SE507370C2 (sv) * | 1996-09-13 | 1998-05-18 | Ericsson Telefon Ab L M | Metod och anordning för att alstra komfortbrus i linjärprediktiv talavkodare |
US6269331B1 (en) * | 1996-11-14 | 2001-07-31 | Nokia Mobile Phones Limited | Transmission of comfort noise parameters during discontinuous transmission |
US5960389A (en) | 1996-11-15 | 1999-09-28 | Nokia Mobile Phones Limited | Methods for generating comfort noise during discontinuous transmission |
JP3575967B2 (ja) * | 1996-12-02 | 2004-10-13 | 沖電気工業株式会社 | 音声通信システムおよび音声通信方法 |
KR100205251B1 (ko) * | 1996-12-09 | 1999-07-01 | 정선종 | 코드분할 다중접속 기지국에서의 음성 부호화 장치 및 방법 |
FR2758676A1 (fr) * | 1997-01-21 | 1998-07-24 | Philips Electronics Nv | Methode de reduction des clics dans un systeme de transmission de donnees |
ATE231666T1 (de) * | 1997-06-23 | 2003-02-15 | Liechti Ag | Verfahren für die kompression der aufnahmen von umgebungsgeräuschen, verfahren für die erfassung von programmelementen darin, vorrichtung und computer-programm dafür |
US6347081B1 (en) * | 1997-08-25 | 2002-02-12 | Telefonaktiebolaget L M Ericsson (Publ) | Method for power reduced transmission of speech inactivity |
US6023674A (en) * | 1998-01-23 | 2000-02-08 | Telefonaktiebolaget L M Ericsson | Non-parametric voice activity detection |
US6122611A (en) * | 1998-05-11 | 2000-09-19 | Conexant Systems, Inc. | Adding noise during LPC coded voice activity periods to improve the quality of coded speech coexisting with background noise |
US7072832B1 (en) * | 1998-08-24 | 2006-07-04 | Mindspeed Technologies, Inc. | System for speech encoding having an adaptive encoding arrangement |
US6192335B1 (en) | 1998-09-01 | 2001-02-20 | Telefonaktieboiaget Lm Ericsson (Publ) | Adaptive combining of multi-mode coding for voiced speech and noise-like signals |
US6256606B1 (en) | 1998-11-30 | 2001-07-03 | Conexant Systems, Inc. | Silence description coding for multi-rate speech codecs |
US6691084B2 (en) * | 1998-12-21 | 2004-02-10 | Qualcomm Incorporated | Multiple mode variable rate speech coding |
US6519260B1 (en) | 1999-03-17 | 2003-02-11 | Telefonaktiebolaget Lm Ericsson (Publ) | Reduced delay priority for comfort noise |
US7423983B1 (en) * | 1999-09-20 | 2008-09-09 | Broadcom Corporation | Voice and data exchange over a packet based network |
US6381568B1 (en) | 1999-05-05 | 2002-04-30 | The United States Of America As Represented By The National Security Agency | Method of transmitting speech using discontinuous transmission and comfort noise |
GB2350532B (en) * | 1999-05-28 | 2001-08-08 | Mitel Corp | Method to generate telephone comfort noise during silence in a packetized voice communication system |
JP3451998B2 (ja) * | 1999-05-31 | 2003-09-29 | 日本電気株式会社 | 無音声符号化を含む音声符号化・復号装置、復号化方法及びプログラムを記録した記録媒体 |
US7161931B1 (en) * | 1999-09-20 | 2007-01-09 | Broadcom Corporation | Voice and data exchange over a packet based network |
EP1094446B1 (en) * | 1999-10-18 | 2006-06-07 | Lucent Technologies Inc. | Voice recording with silence compression and comfort noise generation for digital communication apparatus |
GB2356538A (en) * | 1999-11-22 | 2001-05-23 | Mitel Corp | Comfort noise generation for open discontinuous transmission systems |
US6615170B1 (en) * | 2000-03-07 | 2003-09-02 | International Business Machines Corporation | Model-based voice activity detection system and method using a log-likelihood ratio and pitch |
GB0007655D0 (en) * | 2000-03-29 | 2000-05-17 | Simoco Int Ltd | Digital transmission |
EP1279164A1 (de) * | 2000-04-28 | 2003-01-29 | Deutsche Telekom AG | Verfahren zur berechnung einer sprachaktivitätsentscheidung (voice activity detector) |
US6898195B1 (en) * | 2000-05-09 | 2005-05-24 | Telefonaktiebolaget Lm Ericsson (Publ) | Method and apparatus for sustaining conversational services in a packet switched radio access network |
SE518941C2 (sv) * | 2000-05-31 | 2002-12-10 | Ericsson Telefon Ab L M | Anordning och förfarande relaterande till kommunikation av tal |
EP1179819A1 (en) * | 2000-08-11 | 2002-02-13 | Lucent Technologies Inc. | Efficient comfort noise transmission |
US6807525B1 (en) * | 2000-10-31 | 2004-10-19 | Telogy Networks, Inc. | SID frame detection with human auditory perception compensation |
EP1204093A1 (en) * | 2000-11-02 | 2002-05-08 | Lucent Technologies Inc. | Discontinuous comfort noise transmission |
US6662155B2 (en) * | 2000-11-27 | 2003-12-09 | Nokia Corporation | Method and system for comfort noise generation in speech communication |
GB2370206A (en) * | 2000-12-15 | 2002-06-19 | Ericsson Telefon Ab L M | Storing a speech signal, e.g. in a mobile telephone |
US6631139B2 (en) * | 2001-01-31 | 2003-10-07 | Qualcomm Incorporated | Method and apparatus for interoperability between voice transmission systems during speech inactivity |
US20030120484A1 (en) * | 2001-06-12 | 2003-06-26 | David Wong | Method and system for generating colored comfort noise in the absence of silence insertion description packets |
US20030212550A1 (en) * | 2002-05-10 | 2003-11-13 | Ubale Anil W. | Method, apparatus, and system for improving speech quality of voice-over-packets (VOP) systems |
US7746797B2 (en) * | 2002-10-09 | 2010-06-29 | Nortel Networks Limited | Non-intrusive monitoring of quality levels for voice communications over a packet-based network |
EP1414024A1 (en) * | 2002-10-21 | 2004-04-28 | Alcatel | Realistic comfort noise for voice calls over packet networks |
US7406096B2 (en) * | 2002-12-06 | 2008-07-29 | Qualcomm Incorporated | Tandem-free intersystem voice communication |
EP1582079B1 (en) * | 2002-12-16 | 2008-09-10 | Research In Motion Limited | Method and apparatus for reducing power consumption in cdma communication device |
US7436786B2 (en) * | 2003-12-09 | 2008-10-14 | International Business Machines Corporation | Telecommunications system for minimizing the effect of white noise data packets for the generation of required white noise on transmission channel utilization |
US20060149536A1 (en) * | 2004-12-30 | 2006-07-06 | Dunling Li | SID frame update using SID prediction error |
PL1897085T3 (pl) * | 2005-06-18 | 2017-10-31 | Nokia Technologies Oy | System i sposób adaptacyjnej transmisji parametrów szumu łagodzącego w czasie nieciągłej transmisji mowy |
KR100785471B1 (ko) * | 2006-01-06 | 2007-12-13 | 와이더댄 주식회사 | 통신망을 통해 가입자 단말기로 전송되는 오디오 신호의출력 품질 개선을 위한 오디오 신호의 처리 방법 및 상기방법을 채용한 오디오 신호 처리 장치 |
CN101087319B (zh) * | 2006-06-05 | 2012-01-04 | 华为技术有限公司 | 一种发送和接收背景噪声的方法和装置及静音压缩系统 |
US20080059161A1 (en) * | 2006-09-06 | 2008-03-06 | Microsoft Corporation | Adaptive Comfort Noise Generation |
CN101303855B (zh) * | 2007-05-11 | 2011-06-22 | 华为技术有限公司 | 一种舒适噪声参数产生方法和装置 |
CN101483042B (zh) | 2008-03-20 | 2011-03-30 | 华为技术有限公司 | 一种噪声生成方法以及噪声生成装置 |
CN101309487B (zh) * | 2008-07-15 | 2011-05-11 | 华为技术有限公司 | 一种语音帧的处理方法、系统和基站 |
EP2347619B1 (en) * | 2008-10-16 | 2013-04-03 | Telefonaktiebolaget L M Ericsson (PUBL) | Apparatus and method of controlling sporadic transmissions of silence insertion descriptor (sid) |
US20100260273A1 (en) * | 2009-04-13 | 2010-10-14 | Dsp Group Limited | Method and apparatus for smooth convergence during audio discontinuous transmission |
CN102034476B (zh) * | 2009-09-30 | 2013-09-11 | 华为技术有限公司 | 语音帧错误检测的方法及装置 |
KR101364685B1 (ko) * | 2010-04-13 | 2014-02-19 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 오디오 신호의 샘플 정밀 표현을 위한 방법 및 인코더와 디코더 |
US20110273213A1 (en) * | 2010-05-06 | 2011-11-10 | Qualcomm Incorporated | Method and apparatus to dynamically adjust a clock rate in a mobile device |
CN105225668B (zh) | 2013-05-30 | 2017-05-10 | 华为技术有限公司 | 信号编码方法及设备 |
US9185506B1 (en) * | 2013-12-16 | 2015-11-10 | Amazon Technologies, Inc. | Comfort noise generation based on noise estimation |
EP2980801A1 (en) | 2014-07-28 | 2016-02-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Method for estimating noise in an audio signal, noise estimator, audio encoder, audio decoder, and system for transmitting audio signals |
GB2532041B (en) | 2014-11-06 | 2019-05-29 | Imagination Tech Ltd | Comfort noise generation |
US10978096B2 (en) * | 2017-04-25 | 2021-04-13 | Qualcomm Incorporated | Optimized uplink operation for voice over long-term evolution (VoLte) and voice over new radio (VoNR) listen or silent periods |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU608432B2 (en) * | 1988-03-11 | 1991-03-28 | Lg Electronics Inc. | Voice activity detection |
US5276765A (en) * | 1988-03-11 | 1994-01-04 | British Telecommunications Public Limited Company | Voice activity detection |
JPH0236628A (ja) * | 1988-07-27 | 1990-02-06 | Toshiba Corp | 音声信号の送信方式及び送受信方式 |
US5537509A (en) * | 1990-12-06 | 1996-07-16 | Hughes Electronics | Comfort noise generation for digital communication systems |
JPH04312048A (ja) * | 1991-04-11 | 1992-11-04 | Matsushita Electric Ind Co Ltd | 音声パケットシステム |
JP2518765B2 (ja) * | 1991-05-31 | 1996-07-31 | 国際電気株式会社 | 音声符号化通信方式及びその装置 |
JP2897551B2 (ja) * | 1992-10-12 | 1999-05-31 | 日本電気株式会社 | 音声復号化装置 |
JPH06282297A (ja) * | 1993-03-26 | 1994-10-07 | Idou Tsushin Syst Kaihatsu Kk | 音声符号化方式 |
JPH0750631A (ja) * | 1993-08-05 | 1995-02-21 | Toshiba Corp | 擬似背景雑音発生機能を備えたディジタル無線通信装置 |
SE501981C2 (sv) * | 1993-11-02 | 1995-07-03 | Ericsson Telefon Ab L M | Förfarande och anordning för diskriminering mellan stationära och icke stationära signaler |
JP3182032B2 (ja) * | 1993-12-10 | 2001-07-03 | 株式会社日立国際電気 | 音声符号化通信方式及びその装置 |
JPH08254997A (ja) * | 1995-03-16 | 1996-10-01 | Fujitsu Ltd | 音声符号化・復号化方法 |
-
1995
- 1995-10-13 FR FR9512039A patent/FR2739995B1/fr not_active Expired - Lifetime
-
1996
- 1996-10-10 EP EP03018358A patent/EP1372289B1/fr not_active Expired - Lifetime
- 1996-10-10 DE DE1996631318 patent/DE69631318T2/de not_active Expired - Lifetime
- 1996-10-10 DE DE69637565T patent/DE69637565D1/de not_active Expired - Lifetime
- 1996-10-10 EP EP03005562A patent/EP1320087B1/fr not_active Expired - Lifetime
- 1996-10-10 DE DE69637612T patent/DE69637612D1/de not_active Expired - Lifetime
- 1996-10-10 EP EP96402150A patent/EP0768770B1/fr not_active Expired - Lifetime
- 1996-10-11 KR KR1019960045255A patent/KR100357254B1/ko not_active IP Right Cessation
- 1996-10-11 US US08/731,381 patent/US5812965A/en not_active Expired - Lifetime
- 1996-10-11 CN CN96121678.6A patent/CN1104710C/zh not_active Expired - Lifetime
- 1996-10-14 JP JP30694396A patent/JP3781495B2/ja not_active Expired - Lifetime
-
2003
- 2003-12-16 HK HK03109153A patent/HK1057939A1/xx not_active IP Right Cessation
-
2004
- 2004-01-20 JP JP2004012387A patent/JP4422500B2/ja not_active Expired - Lifetime
- 2004-06-17 HK HK04104421.7A patent/HK1062506A1/xx not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
EP0768770A1 (fr) | 1997-04-16 |
JPH09179590A (ja) | 1997-07-11 |
KR100357254B1 (ko) | 2003-01-10 |
EP1372289A3 (fr) | 2006-05-17 |
DE69631318D1 (de) | 2004-02-19 |
HK1062506A1 (en) | 2004-11-05 |
EP1320087A3 (fr) | 2006-05-17 |
EP0768770B1 (fr) | 2004-01-14 |
JP2004177978A (ja) | 2004-06-24 |
EP1320087B1 (fr) | 2008-06-11 |
US5812965A (en) | 1998-09-22 |
FR2739995B1 (fr) | 1997-12-12 |
EP1320087A2 (fr) | 2003-06-18 |
HK1057939A1 (en) | 2004-04-23 |
CN1104710C (zh) | 2003-04-02 |
JP3781495B2 (ja) | 2006-05-31 |
CN1155801A (zh) | 1997-07-30 |
FR2739995A1 (fr) | 1997-04-18 |
DE69637612D1 (de) | 2008-09-04 |
DE69637565D1 (de) | 2008-07-24 |
EP1372289B1 (fr) | 2008-07-23 |
EP1372289A2 (fr) | 2003-12-17 |
DE69631318T2 (de) | 2004-11-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4422500B2 (ja) | ディジタル音声伝送システムの快適ノイズを作る方法 | |
US6766293B1 (en) | Method for signalling a noise substitution during audio signal coding | |
KR102636424B1 (ko) | 스테레오 사운드 신호의 좌측 및 우측 채널들을 디코딩하는 방법 및 시스템 | |
KR100742443B1 (ko) | 손실 프레임을 처리하기 위한 음성 통신 시스템 및 방법 | |
US6104996A (en) | Audio coding with low-order adaptive prediction of transients | |
JP7297803B2 (ja) | 低ビットレートで背景ノイズをモデル化するためのコンフォートノイズ付加 | |
JP4504414B2 (ja) | 冗長性低減方法 | |
US4890325A (en) | Speech coding transmission equipment | |
KR100346066B1 (ko) | 오디오신호 코딩방법 | |
US6295009B1 (en) | Audio signal encoding apparatus and method and decoding apparatus and method which eliminate bit allocation information from the encoded data stream to thereby enable reduction of encoding/decoding delay times without increasing the bit rate | |
KR101162275B1 (ko) | 오디오 신호 처리 방법 및 장치 | |
EP0911807B1 (en) | Sound synthesizing method and apparatus, and sound band expanding method and apparatus | |
JP2003076394A (ja) | 音声符号変換方法及び装置 | |
KR100544731B1 (ko) | 음성 코덱에서 의사 고대역 신호 추정 방법 및 시스템 | |
US6721712B1 (en) | Conversion scheme for use between DTX and non-DTX speech coding systems | |
JPH07311597A (ja) | 音声信号合成方法 | |
JP2009539132A (ja) | オーディオ信号の線形予測符号化 | |
WO2008148321A1 (fr) | Appareil de codage et de décodage et procédé de traitement du bruit de fond et dispositif de communication utilisant cet appareil | |
JP2001511917A (ja) | 伝送エラーの修正を伴う音声信号の復号方法 | |
US4945567A (en) | Method and apparatus for speech-band signal coding | |
US6012025A (en) | Audio coding method and apparatus using backward adaptive prediction | |
US6134519A (en) | Voice encoder for generating natural background noise | |
JPS6134697B2 (ja) | ||
JP3330178B2 (ja) | 音声符号化装置および音声復号化装置 | |
JPH08139688A (ja) | 音声符号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040318 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061107 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070403 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20070703 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20070706 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070830 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20071009 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080131 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080218 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20080321 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20090807 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091204 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121211 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131211 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |