[go: up one dir, main page]

JP5539203B2 - 改良された音声及びオーディオ信号の変換符号化 - Google Patents

改良された音声及びオーディオ信号の変換符号化 Download PDF

Info

Publication number
JP5539203B2
JP5539203B2 JP2010522867A JP2010522867A JP5539203B2 JP 5539203 B2 JP5539203 B2 JP 5539203B2 JP 2010522867 A JP2010522867 A JP 2010522867A JP 2010522867 A JP2010522867 A JP 2010522867A JP 5539203 B2 JP5539203 B2 JP 5539203B2
Authority
JP
Japan
Prior art keywords
transform
perceptual
determined
determining
spectrum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010522867A
Other languages
English (en)
Other versions
JP2010538316A (ja
Inventor
マニュエル ブリアンド,
アニセ タレブ,
Original Assignee
テレフオンアクチーボラゲット エル エム エリクソン(パブル)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テレフオンアクチーボラゲット エル エム エリクソン(パブル) filed Critical テレフオンアクチーボラゲット エル エム エリクソン(パブル)
Publication of JP2010538316A publication Critical patent/JP2010538316A/ja
Application granted granted Critical
Publication of JP5539203B2 publication Critical patent/JP5539203B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032Quantisation or dequantisation of spectral components
    • G10L19/035Scalar quantisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
  • Reduction Or Emphasis Of Bandwidth Of Signals (AREA)

Description

本発明は、概して信号圧縮及びオーディオ符号化のような信号処理に関し、特に、改良された音声及びオーディオの変換符号化及び対応する装置に関する。
エンコーダは、オーディオ信号のような信号の解析と、符号化された形式の信号の出力が可能な、装置、電気回路、またはコンピュータプログラムである。得られる信号は多くの場合、伝送、格納、及び暗号化のいずれか1つ以上の目的で用いられる。一方、デコーダは、符号化された信号を受け、復号された信号を出力する、エンコーダ処理の逆処理が可能な装置、回路、またはコンピュータプログラムである。
オーディオエンコーダのような最先端のエンコーダの多くにおいて、入力信号の各フレームは、解析され、時間領域から周波数領域へ変換される。解析結果は量子化及び符号化された後、用途に応じて伝送または格納される。受信側(または格納された、符号化された信号を用いる場合)では、その後に合成手順が続く、対応する復号処理により、時間領域における信号を復元することが可能である。
コーデック(エンコーダ - デコーダ)は、バンド幅が制限された通信チャネル上で効率的な伝送を行うための、オーディオ及びビデオデータのような情報を圧縮/伸張によく用いられる。
いわゆる変換コーダ、より一般的には変換コーデックは、通常、DCT(Discrete Cosine Transform:離散コサイン変換)や、修正離散コサイン変換(MDCT)や、聴覚系特性に関するよりよい符号化効率を実現する他の重複変換のような、時間領域から周波数領域への変換に主に基づいている。変換コーデックに共通した特性は、サンプルの重複ブロック、すなわち重複フレームにおいて動作することである。各フレームの変換解析または同等のサブバンド解析によって得られる符号化係数は通常量子化され、さらに格納されるかビットストリームとして受信側に伝送される。デコーダは、ビットストリームを受信すると、信号フレームを再現するための逆量子化及び逆変換を実行する。
いわゆる知覚エンコーダは、信号源のモデルよりもむしろ、信号を受信する場所、即ち人間の聴覚系のための不可逆符号化モデルを用いる。知覚オーディオ符号化はそれ故に、オリジナルのオーディオ信号を忠実に再生するために必要なビット数を最適化または減らすための、聴覚系の心理音響的な知見を取り入れたオーディオ信号符号化を伴う。加えて知覚符号化は、信号のうち、人間の受容器が知覚しないであろう部分を、除去(即ち、伝送しない)又は近似しようとする。すなわち、元の信号の可逆符号化とは対照的な不可逆符号化を行おうとする。モデルは通常、心理音響モデルと呼ばれる。一般に、知覚エンコーダは、波形エンコーダよりも低い信号対雑音比(SNR)を有し、同等のビットレートで動作する可逆エンコーダよりも高い知覚品質を有するであろう。
知覚エンコーダは、聞き取れる量子化ノイズを導入せずに各周波数サブバンドを符号化(量子化)するために必要な最小ビット数を決定するために刺激のマスキングパターンを用いる。
周波数領域で動作する、既存の知覚エンコーダは、非特許文献1に示されるように、いわゆるマスキング閾値(MT:Masking Threshold)を計算するために、いわゆる最小可聴限界(ATH:Absolute Threshold of Healing)及び、マスキングの音調及びノイズ状の拡散の両方との組み合わせを用いるのが一般的である。この瞬時的なマスキング閾値に基づき、既存の心理音響モデルは、符号化ノイズが高エネルギレベルの成分によってマスクされるように、例えばエンコーダによって導入されたノイズが聞き取れないように、元のスペクトルを成形するために用いられる、スケール係数を計算する(非特許文献2)。
知覚モデリングは、高ビットレートのオーディオ符号化に広く用いられている。MPEG-1 Layer III(非特許文献3)やMPEG-2拡張オーディオ符号化(非特許文献4)のような標準化されたエンコーダは、広バンドオーディオに対し、それぞれ128kbps、64kpbsのレートで「CD音質」を達成する。それにも関わらず、これらのコーデックは、その定義上、歪みが聞き取れない状態を維持することを保障するためのマスキング量を低く見積らざるを得ない。さらに、広バンドオーディオエンコーダは、通常、低ビットレート(64kbps未満)において余り信頼できない、高複雑性の聴覚(知覚)モデルを用いている。
J.D.ジョンストン、「ノイズマスキング尺度を用いた、知覚エントロピーの推定」、ICASSP、1998年5月、pp.2524ー2527 J.D.ジョンストン、「知覚ノイズ尺度を用いたオーディオ信号の変換符号化」、IEEE J通信分野、1988年、第6号、pp.314ー323 「毎秒約1.5メガビット以上における、デジタル記録媒体のための動画及び結合されたオーディオの符号化、第3編オーディオ」、1993年、ISO/IEC JTC/SC29/WG 11, CD 11172-3 「MPEG-2拡張オーディオ符号化AAC」、1997年、ISO/IEC 13818-7
上述の問題のため、低複雑性の機能性を保ちながら、低ビットレートにおいても信頼できる、改良された知覚モデルが必要とされている。
本発明は、従来技術の処理におけるこれらの問題点やその他の問題点を解消する。
基本的には、電気通信システムにおけるオーディオ信号の知覚変換符号化方法において、まず、時間分割された(time segmented)入力オーディオ信号の、時間領域から周波数領域への変換を表わす変換係数を決定し、決定された変換係数に基づいて、入力オーディオ信号の知覚サブバンドのスペクトルを決定する。続いて、決定されたスペクトルに基づいて、サブバンド毎にマスキング閾値を決定し、サブバンド毎に決定されたマスキング閾値に基づいて、サブバンド毎にスケール係数を計算する。最後に、知覚に関連するサブバンドについて符号化によるエネルギ損失を避けるために、すなわち、高品質低ビットレート符号化が実現できるように、サブバンド毎に、計算されたスケール係数を適応させる。
本発明が提供するさらなる利点は、以下の、本発明の実施形態の説明を読むことで理解されるだろう。
全バンドオーディオ符号化に適した典型的なエンコーダを示す。 全バンドオーディオ復号化に適した典型的なデコーダを示す。 一般的な知覚変換エンコーダを示す。 一般的な知覚変換デコーダを示す。 本発明に係る心理音響モデルの方法のフローチャートを示す。 本発明に係る方法の実施形態のさらなるフローチャートを示す。 本発明に係る方法の実施形態の別のフローチャートを示す。 本発明に係る方法の実施を可能とする装置を示す。
全バンドオーディオ符号化に適した典型的なエンコーダを示す。 全バンドオーディオ復号化に適した典型的なデコーダを示す。 一般的な知覚変換エンコーダを示す。 一般的な知覚変換デコーダを示す。 本発明に係る心理音響モデルの方法のフローチャートを示す。 本発明に係る方法の実施形態のさらなるフローチャートを示す。 本発明に係る方法の実施形態の別のフローチャートを示す。
(本明細書における略語)
ATH :最小可聴限界(Absolute Threshold of Hearing)
BS :バークスペクトル(Bark Spectrum)
DCT :離散コサイン変換(Discrete Cosine Transform)
DFT :離散フーリエ変換(Discrete Fourier Transform)
ERB :等価矩形バンド幅(Equivalent Rectangular Bandwidth)
IMDCT:修正逆離散コサイン変換(Inverse Modified Discrete Cosine Transform)
MT :マスキング閾値(Masking Threshold)
MDCT :修正離散コサイン変換(Modified Discrete Cosine Transform)
SF :スケール係数(Scale Factor)
(詳細な説明)
本発明は主に、変換符号化に関し、特にサブバンド符号化に関する。
本発明の実施形態の以下の記載の理解を容易にするため、いくつかの主要定義を以下に説明する。
電気通信における信号処理では、制限されたダイナミックレンジを伴う信号表現を改良する方法として、圧伸が利用されることがある。圧伸は、圧縮及び伸張の組み合わせを意味し、即ち信号のダイナミックレンジが伝送の前に圧縮され、受信機において元の値に伸張されることを表す。これは、大きなダイナミックレンジの信号を、より小さなダイナミックレンジ性能を有する設備を通じて伝送することを可能にする。
以下、本発明を、現在はITU−T G.719に名称が変更された、ITU−T G.722.1の全バンドコーデック拡張に適した、特定の例示的かつ非限定的なコーデックの実現に関して説明する。この特定例において、コーデックは、好ましくは、48kHzのサンプリングレートで動作し、20Hzから20kHzの範囲の全オーディオバンド幅を提供する、低複雑性変換に基づくオーディオコーデックとして表される。エンコーダは、20msのフレームにおける、16ビットのリニアPCM信号の入力を処理し、コーデックは40msの総遅延を有する。符号化アルゴリズムは、適応時間分解能、適応ビット割当、及び低複雑性格子ベクトル量子化を用いる変換符号化に基づくことが好ましい。加えてデコーダは、符号化されないスペクトル成分を、信号適応ノイズフィルまたはバンド幅拡張によって置換してもよい。
図1は、全バンドオーディオ符号化に適した、例示的なエンコーダのブロック図である。48kHzでサンプリングされた入力信号は、過渡検出器で処理される。過渡の検出に応じて、高周波数分解能または低周波数分解能(高時間分解能)変換が、入力信号フレームに適用される。固定フレームの場合、適応変換は修正離散コサイン変換(MDCT)に基づくことが好ましい。非固定フレームには、さらなる遅延が生じることなく、複雑性においてとても少ないオーバーヘッドを伴った、より高い時間分解能の変換が用いられる。非固定フレームは、(任意の分解能が選択されることが可能であるが)5msフレームに相当する時間分解能を有することが好ましい。
得られたスペクトル係数を、不定長の複数のバンドにグループ化することは有益かもしれない。それぞれのバンドのノルムは推定されてよく、全てのバンドのノルムからなる、得られたスペクトル包絡は量子化及び符号化される。それから、係数は量子化されたノルムによって正規化される。量子化されたノルムはさらに適応スペクトル重み付けに基づいて調整され、ビット割当のための入力として用いられる。正規化されたスペクトル係数は、それぞれの周波数バンドに割り当てられたビットに基づいて量子化及び符号化された格子ベクトルである。符号化されていないスペクトル係数のレベルは、推定、符号化され、デコーダに伝送される。符号化されたスペクトル係数及び符号化されたノルムの両方についての量子化指数に、ハフマン符号化が適用されることが好ましい。
図2は、全バンドオーディオ復号に適した、例示的なデコーダのブロック図である。フレーム形態、即ち固定または過渡、を表す過渡フラグが最初に復号される。スペクトル包絡は復号され、同一の、要求ビット、ノルム調整、及びビット割当アルゴリズムは、デコーダにおいて、正規化された変換係数の量子化係数の復号に必須のビット割当を再計算するために用いられる。
逆量子化の後、低周波数の符号化されていない(ゼロビットが割り当てられた)スペクトル係数は再生成される。この再生性は、好ましくは受信したスペクトル係数(非ゼロビット割当のスペクトル係数)から作られた、スペクトルを有するコードブックを用いて行われることが好ましい。
ノイズレベル調整指数は、再生成された係数のレベルを調整するために用いられてよい。高周波数の符号化されていないスペクトル係数は、バンド幅拡張を用いて再生成されることが好ましい。
復号されたスペクトル係数及び再生成されたスペクトル係数は合成され、正規化されたスペクトルをもたらす。復号された全バンドスペクトルを得るため、復号されたスペクトル包絡が適用される。
最後に、時間領域復号された信号を再生するために逆変換が適用される。これは、固定モードについては修正逆離散コサイン変換(IMDCT)、過渡モードについては高時間分解能変換の逆変換を適用して行われることが好ましい。
全バンド拡張のために適応されたアルゴリズムは、適応変換符号化技術に基づいている。アルゴリズムは、入力及び出力オーディオの20msフレームにおいて動作する。連続する入力及び出力フレーム間で、40msの、50%が重複した変換窓(基底関数長)が用いられるため、効果的な先読みバッファサイズは20msとなる。それ故に、アルゴリズム的な総遅延は、フレームサイズと先読みサイズを加えた40msとなる。G.722.1の全バンド符号化コーデック(ITU−T G.719)の使用により経験される他の遅延の全ては、計算遅延及びネットワーク伝送遅延の少なくとも一方によるものである。
知覚変換エンコーダに関する、一般的かつ典型的な符号化方式を、図3を参照して説明する。対応する復号方式は、図4を参照して説明する。
符号化方式の最初のステップは、一般に「窓化」(windowing)と呼ばれる、時間領域処理で構成され、この処理により入力オーディオ信号の時間分割結果が得られる。
コーデック(エンコーダ及びデコーダの両方)によって使用される時間領域から周波数領域への変換は、例えば、
離散フーリエ変換(DFT)は式1によって表される。
ここで、X[k]は窓化された(windowed)入力信号x[n]のDFTである。Nはウィンドウw[n]のサイズ、nは時間指数、kは周波数ビン指数を表す。
離散コサイン変換(DCT)、
修正離散コサイン変換(MDCT)は式2によって表される。
ここで、X[k]は窓化された入力信号x[n]のMDCTである。Nはウィンドウw[n]のサイズ、nは時間指数、kは周波数ビン指数を表す。
入力オーディオ信号のこれらの周波数表現のいずれか1つに基づいて、知覚オーディオコーデックは、例えばいわゆるバークスケール、またはバークスケールの近似、またはその他の周波数スケール等の、聴覚系の臨界バンドに関するスペクトル分解またはスペクトル近似を得ようとする。さらなる理解のために、バークスケールは、それぞれの「バーク(バークホウゼンにちなんで名づけられた)」が1つの臨界バンドを構成する、標準化された周波数のスケールである。
臨界バンドによって確立された知覚スケールにしたがって、変換係数を周波数でグループ化することによって、このステップは達成される(式3を参照)。
Nbは周波数または心理音響バンドの数であり、kは周波数ビン指数、bは相対指数を表す。
前述のように、知覚変換コーデックは、例えばスケール係数Sf[b]のような、周波数成形関数を得るためのマスキング閾値MT[b]の推定に依存し、マスキング閾値MT[b]は心理音響サブバンド領域における変換係数Xb[k]に適応される。スケーリングされたスペクトルXsb [k]は以下の式4によって定義される。
Nbは周波数または心理音響バンドの数であり、kは周波数ビン指数、bは相対指数を表す。
最後に、知覚エンコーダは符号化の目的で、スケーリングされた知覚スペクトルを有効に使うことができる。図3に示すように、量子化及び符号化処理は、冗長度抑圧を実行することができ、スケールされたスペクトルを用いて元のスペクトルの最も知覚的に関連のある係数に重点的に取り組むことができる。
復号段階(図4参照)で、受信したバイナリフラックス、例えばビットストリームの逆量子化及び復号を用いることにより、逆処理が実現される。このステップに続いて、時間領域に戻した信号を得るための逆変換(逆MDCT(IMDCT)または逆DFT(IDFT)等)が行われる。最後に、知覚的に再現されたオーディオ信号を生成するためにオーバーラップ追加(overlap-add)法が用いられる。知覚に関連する係数のみが復号されるので、不可逆符号化である。
聴覚系の制限を考慮するために、本発明は、符号化が最終的な知覚を変化させないような変換係数のスケーリングを可能にする適切な周波数処理を行う。
従って、本発明は複雑性が非常に低い用途の要求を満たす心理音響モデル生成を可能とする。これは、簡単な及び単純化されたスケール係数の計算を用いることによって達成される。さらに、スケール係数の適応圧伸または伸張は、高い知覚オーディオ品質を有する低ビットレートの全バンドオーディオ符号化を可能とする。要約すると、本発明の技術は、全ての知覚に関連する係数が、元の信号またはスペクトルダイナミックレンジとは独立して量子化されるように、量子化器のビット割当を知覚的に最適化することができる。
本発明による心理音響モデルの改良の方法及び装置の実施形態について以下に説明する。
以下、効率的な知覚符号化に使用可能なスケール係数を導出するために用いられる、心理音響モデル生成の詳細について説明する。
図5を参照し、本発明の方法の一般的な実施形態を説明する。基本的に、例えば音声信号であるオーディオ信号が符号化のために与えられる。オーディオ信号には前述したような標準的な処理が行われ、窓化、及び時間分割された入力オーディオ信号が得られる。まず、ステップ210において、この時間分割された入力オーディオ信号についての変換係数が決定される。次に、ステップ212において、知覚グループ化係数または知覚サブバンド周波数が例えばバークスケールまたはその他のスケールによって決定される。このように決定された係数またはサブバンド毎に対し、マスキング閾値がステップ214において決定される。加えて、スケール係数は、サブバンドまたは係数毎にステップ216で計算される。最後に、知覚に関連するサブバンド、即ち人や装置に伝送された際に、実際に聞き取りに影響を及ぼすサブバンドを符号化することによるエネルギ損失を防ぐために、計算されたスケール係数はステップ218で適応される。
従って、この適応は知覚に関連するサブバンドのエネルギを保ち、復号されたオーディオ信号の知覚品質を最大限にするだろう。
図6を参照し、本発明の心理音響モデルのさらに詳細な実施形態について説明する。実施形態は、モデルによって定義された心理音響サブバンドb毎に、スケール係数SF[b]の計算を可能とする。実施形態はいわゆるバークスケールに重点を置いて記述されるが、軽微な調整だけで、他の適した知覚スケールに同様に適用可能である。一般性を欠くことなく、低周波数(少数の変換係数のグループ)についての高周波数分解能に対して、高周波数についての低周波数分解能も考慮する。サブバンドごとの係数の数は、例えばいわゆるバークスケールの良好な近似として考えられている等価矩形バンド幅(ERB)のような知覚スケールによって、または後で用いられる量子化器の周波数分解能によって定義可能である。あるいは、使用される符号化方式に応じて、これら2つの組み合わせを用いることもできる。
変換係数X[k]を入力として用い、心理音響解析は最初に、式5によって定義されるバークスペクトルBS[b](単位dB)を計算する。
Nbは心理音響サブバンドの数、kは周波数ビン指数、及びbは相対指数を表す。
知覚係数、または例えばバークスペクトルのような臨界サブバンドの決定に基づいて、本発明の心理音響モデルは、マスキング閾値MTの前述した低複雑性計算を行う。
最初のステップでは、平均マスキングを考慮することにより、バークスペクトルからマスキング閾値MTを導出する。オーディオ信号における音調およびノイズ成分とで同じ方法で行う。これは、以下の式6に表すように、サブバンドb毎の29dBのエネルギ低減により達成される。
2番目のステップは、非特許文献2で述べられているマスキング周波数の拡散効果に依存する。ここで示す心理音響モデルは、以下に定義される単純化された式において、前方拡散及び後方拡散の両方を考慮する。
最後のステップは、式8によって定義されるように、いわゆる最小可聴限界ATHを用いて直前の値を飽和させることにより、マスキング閾値を導出する。
ATHは、一般に被験者が特定の音を50%の時間検出できる音量レベルとして定義される。計算されたマスキング閾値MTから、本発明が提案する低複雑性モデルは、心理音響サブバンド毎に、スケール係数SF[b]の計算を目指す。SFの計算は、正規化ステップ、及び適応圧伸または伸張ステップの両方に依存する。
変換係数が非線形スケール(高周波数についてはより大きなバンド幅)に従ってグループ化されている事実に基づいて、MTの計算のために全てのサブバンドにおいて累積されたエネルギは、マスキング拡散の適用後、正規化されてよい。正規化ステップは、式9のように表すことができる。
L[1,...,Nb]はそれぞれの心理音響サブバンドbの長さ(変換係数の数)を表す。
スケール係数SFはその後、正規化されたMTであるMTnormが、検討している符号化方式によって導入されうる符号化ノイズのレベルと同等であるとの仮定を用いて、正規化されたマスキング閾値から導出される。それから、式10により、MTnormの値の逆符号の値として、スケール係数SF[b]を定義する。
それから、スケール係数の値はマスキングの効果が所定量に制限されるように減らされる。モデルは、スケール係数の(ビットレートに応じた)可変の、または固定のダイナミックレンジをα=20dBと予測することができる。
この動的な値を、利用可能なデータレートに結びつけることも可能である。それから、量子化器が低周波数成分を重点的に処理するように、スケール係数は知覚に関連するサブバンドにおいてエネルギ損失が現れないように調整されることができる。通常、最低のサブバンド(周波数が500Hz未満)についての低いSF値(6dB未満)は、それらサブバンドが符号化方式によって知覚的に関連があるものと考慮されるように増加される。
図7を参照して、さらなる実施形態を説明する。図5に関して説明したものと同一のステップが存在する。加えて、ステップ210で決定された変換係数は、ステップ212で知覚係数またはサブバンドの決定に用いられる前に、ステップ211で正規化される。さらに、スケール係数の適応を行うステップ218は、スケール係数の適応的な圧伸を行うステップ219及びスケール係数の適応的な平滑化を行うステップ220をさらに有している。これら2つのステップ219及び220は、当然図5及び図6の実施形態にも同様に含めることができる。
この実施形態によれば、本発明の方法はさらに、変換領域コーデックによって用いられる量子化器の範囲に対してスペクトル情報を適切にマッピングする。入力スペクトルノルムのダイナミクスは、信号の支配的な部分の符号化を最適化するために、量子化器の範囲に適応的にマッピングされる。これは、元のスペクトルノルムを量子化器の範囲への圧伸または伸張することが可能な重み付け関数の計算により達成される。これにより、最終的な知覚を変化させずに、いくつかのデータレート(中間または低いレート)で、高オーディオ品質の全バンドオーディオ符号化を可能とする。非常に低い複雑性(及び低遅延)用途の要求を満たすための、重み付け関数が複雑性の低い計算で得られることもまた、本発明の一つの強力な利点である。
実施形態によれば、量子化器にマッピングする信号は、変換されたスペクトル領域(例えば周波数領域)における入力信号のノルム(二乗平均平方根)に対応する。これらのノルム(指数pを伴うサブバンド)のサブバンド周波数分解(サブバンド境界)は、量子化器の周波数分解能(指数bを伴うサブバンド)にマッピングされなければならない。それからノルムはレベル調整され、複数の隣接ノルム(前方平滑化されたノルム及び後方平滑化されたノルム)と、絶対最小値エネルギとに従って、サブバンドb毎の支配的なノルムが計算される。処理の詳細は、以下に記される。
まず、ノルム(Spe(p))はスペクトル領域にマッピングされる。これは、式12に示す線形処理によって実現される。
BMAXはサブバンドの最大数(この特定の実施では20)を表す。Hb、Tb及びJbの値は、44のサブバンドスペクトルを用いた量子化器に基づいた表1で定義される。Jbは変換された領域のサブバンド数に対応する加重間隔(summation interval)を表している。
マッピングされたスペクトルBSpe(b)は、式13によって前方平滑化される。
そして以下の式14により後方平滑化される。
得られる関数は、式15によって閾値が設定され、再正規化される。
ここで、A(b)は表1より得られる。得られる関数(以下の式16)は、さらにスペクトルのダイナミックレンジ(この特定の実施ではα=4)に応じて適応的に圧伸または伸張される。
信号のダイナミクス(最小及び最大)に従って、重み付け関数は、信号のダイナミクスが量子化器の範囲を超えた場合には信号を圧伸するように、信号のダイナミクスが量子化器の全範囲をカバーしない場合は信号を拡張するように計算される。
最後に、(変換領域における元の境界に基づく)逆サブバンド領域マッピングを用いることにより、量子化器に入力する重み付けされたノルムを生成するために、重み付け関数が元のノルムに適用される。
図8を参照して、本発明の方法の実施を可能とする装置の実施形態を説明する。装置は、処理のためのオーディオ信号またはオーディオ信号の表現の伝送及び受信のための入出力部I/Oを備える。加えて、装置は受信した時間分割された入力オーディオ信号、またはこのようなオーディオ信号の表現の、時間領域から周波数領域への変換を表現する変換係数を決定するように構成された変換決定手段310を備える。さらなる実施形態によれば変換決定部は、決定された係数を正規化するように構成されたノルム部311に適合または接続され得る。これは、図8において点線で示される。さらに装置は、決定された変換係数または正規化された変換係数に基づいて、入力オーディオ信号または入力オーディオ信号の表現についての知覚サブバンドのスペクトル、を決定するユニット312を備える。マスキング部314は、前記決定されたスペクトルに基づいて、前記サブバンド毎にマスキング閾値MTを決定する。最後に、装置は前記決定されたマスキング閾値に基づいて、前記サブバンド毎にスケール係数を計算するユニット316を備える。このユニット316は、知覚に関連するサブバンドのエネルギ損失を避けるために、前記サブバンド毎に前記計算されたスケール係数を適応する適応手段318に備えられ、または結合され得る。特定の実施形態では、適応部318は、決定されたスケール係数を適応的に圧伸するためのユニット319、及び決定されたスケール係数を適応的に平滑化するためのユニット320を備える。
上述した装置は、エンコーダまたは電気通信システムのエンコーダ装置に含まれても、接続されてもよい。
本発明の利点は、
高品質全バンドオーディオを伴う低複雑性計算
量子化器に適応された柔軟な周波数分解能
スケール係数の適応的な圧伸または伸張
を含む。
添付の請求項によって定義される本発明の範囲を逸脱することなく、本発明に様々な修正及び変形がなされてもよいことは、本技術分野に属する当業者によって理解されよう。

Claims (9)

  1. 電気通信システムにおける、オーディオ信号の知覚変換符号化方法であって、
    時間分割された入力オーディオ信号の、時間領域から周波数領域への変換を表現する変換係数を決定する変換係数決定工程と、
    前記決定された変換係数に基づいて、前記入力オーディオ信号の知覚サブバンドのスペクトルを決定するスペクトル決定工程と、
    前記決定されたスペクトルに基づいて、前記サブバンド毎にマスキング閾値を決定するマスキング閾値決定工程と、
    前記決定されたマスキング閾値に基づいて、前記サブバンド毎にスケール係数を計算する計算工程と、
    知覚に関連するサブバンドの、符号化によるエネルギ損失を避けるために、前記サブバンド毎に、前記計算されたスケール係数を適応させる適応工程と、を有し、
    前記適応工程は、前記サブバンド毎の前記計算されたスケール係数を適応的に圧伸及び平滑化する工程を含み、
    前記マスキング閾値決定工程は、前記決定されたマスキング閾値を正規化する正規化工程を含み、
    前記計算工程は、前記正規化されたマスキング閾値に基づいて前記スケール係数を計算する
    ことを特徴とする知覚変換符号化方法。
  2. 符号化処理における効率的なビット割当を可能とする所定の量子化範囲に基づいて前記適応工程を実行することにより、いくつかのデータレートで高オーディオ品質を伴う全バンドオーディオ符号化を可能にすることを特徴とする請求項1に記載の知覚変換符号化方法。
  3. 前記決定された変換係数を正規化し、前記正規化された変換係数に基づいて全ての工程を実行する、さらなる初期工程を備えることを特徴とする請求項1に記載の知覚変換符号化方法。
  4. 前記スペクトルはバークスペクトルに少なくとも部分的に基づくことを特徴とする請求項1に記載の知覚変換符号化方法。
  5. 前記スペクトルは、前記信号における周波数の総数にさらに基づくことを特徴とする請求項に記載の知覚変換符号化方法。
  6. 前記正規化工程は、変換されたスペクトル領域において、前記入力オーディオ信号の二乗平均平方根を計算する工程を有することを特徴とする請求項に記載の知覚変換符号化方法。
  7. 電気通信システムにおける、オーディオ信号の知覚変換符号化装置であって、
    時間分割された入力オーディオ信号の時間領域から周波数領域への変換を表現する変換係数を決定する変換決定手段と、
    前記決定された変換係数に基づいて、前記入力オーディオ信号の知覚サブバンドのスペクトルを決定するスペクトル手段と、
    前記決定されたスペクトルに基づいて、前記サブバンド毎にマスキング閾値を決定するマスキング手段と、
    前記決定されたマスキング閾値に基づいて、前記サブバンド毎にスケール係数を計算するスケール係数手段と、
    知覚に関連するサブバンドのエネルギ損失を避けるために、前記サブバンド毎に、前記計算されたスケール係数を適応させる適応手段と、を備え、
    前記適応手段は、前記サブバンド毎の前記計算されたスケール係数を適応的に圧伸及び平滑化する手段を含み、 前記マスキング手段は、前記決定されたマスキング閾値を正規化する正規化手段を含み、
    前記スケール係数手段は、前記正規化されたマスキング閾値に基づいて前記スケール係数を計算する
    ことを特徴とする知覚変換符号化装置。
  8. 前記決定された変換係数を正規化する手段をさらに備えることを特徴とする請求項に記載の知覚変換符号化装置。
  9. 請求項に記載の知覚変換符号化装置を備えることを特徴とするエンコーダ。
JP2010522867A 2007-08-27 2008-08-26 改良された音声及びオーディオ信号の変換符号化 Active JP5539203B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US96815907P 2007-08-27 2007-08-27
US60/968,159 2007-08-27
US4424808P 2008-04-11 2008-04-11
US61/044,248 2008-04-11
PCT/SE2008/050967 WO2009029035A1 (en) 2007-08-27 2008-08-26 Improved transform coding of speech and audio signals

Publications (2)

Publication Number Publication Date
JP2010538316A JP2010538316A (ja) 2010-12-09
JP5539203B2 true JP5539203B2 (ja) 2014-07-02

Family

ID=40387559

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010522867A Active JP5539203B2 (ja) 2007-08-27 2008-08-26 改良された音声及びオーディオ信号の変換符号化

Country Status (8)

Country Link
US (2) US20110035212A1 (ja)
EP (1) EP2186087B1 (ja)
JP (1) JP5539203B2 (ja)
CN (1) CN101790757B (ja)
AT (1) ATE535904T1 (ja)
ES (1) ES2375192T3 (ja)
HK (1) HK1143237A1 (ja)
WO (1) WO2009029035A1 (ja)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE535904T1 (de) * 2007-08-27 2011-12-15 Ericsson Telefon Ab L M Verbesserte transformationskodierung von sprach- und audiosignalen
PL2186090T3 (pl) 2007-08-27 2017-06-30 Telefonaktiebolaget Lm Ericsson (Publ) Detektor stanów przejściowych i sposób wspierający kodowanie sygnału audio
US8700410B2 (en) * 2009-06-18 2014-04-15 Texas Instruments Incorporated Method and system for lossless value-location encoding
US8498874B2 (en) * 2009-09-11 2013-07-30 Sling Media Pvt Ltd Audio signal encoding employing interchannel and temporal redundancy reduction
KR101483179B1 (ko) * 2010-10-06 2015-01-19 에스케이 텔레콤주식회사 주파수 마스크 테이블을 이용한 주파수변환 블록 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
GB2487399B (en) * 2011-01-20 2014-06-11 Canon Kk Acoustical synthesis
PT2697795E (pt) 2011-04-15 2015-09-25 Ericsson Telefon Ab L M Utilização conjunta adaptativa de taxas de ganho/forma
EP2707874A4 (en) 2011-05-13 2014-12-03 Samsung Electronics Co Ltd BIT ASSIGNMENT AND AUDIO CODING AND DECODING
CN102800317B (zh) * 2011-05-25 2014-09-17 华为技术有限公司 信号分类方法及设备、编解码方法及设备
CN102208188B (zh) * 2011-07-13 2013-04-17 华为技术有限公司 音频信号编解码方法和设备
EP2898506B1 (en) 2012-09-21 2018-01-17 Dolby Laboratories Licensing Corporation Layered approach to spatial audio coding
CN103778918B (zh) * 2012-10-26 2016-09-07 华为技术有限公司 音频信号的比特分配的方法和装置
CN103854653B (zh) 2012-12-06 2016-12-28 华为技术有限公司 信号解码的方法和设备
DK2981958T3 (en) * 2013-04-05 2018-05-28 Dolby Int Ab AUDIO CODES AND DECODS
WO2014210284A1 (en) 2013-06-27 2014-12-31 Dolby Laboratories Licensing Corporation Bitstream syntax for spatial voice coding
FR3017484A1 (fr) * 2014-02-07 2015-08-14 Orange Extension amelioree de bande de frequence dans un decodeur de signaux audiofrequences
CN106228991B (zh) 2014-06-26 2019-08-20 华为技术有限公司 编解码方法、装置及系统
US10146500B2 (en) * 2016-08-31 2018-12-04 Dts, Inc. Transform-based audio codec and method with subband energy smoothing
EP3483882A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Controlling bandwidth in encoders and/or decoders
EP3483884A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Signal filtering
WO2019091576A1 (en) 2017-11-10 2019-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoders, audio decoders, methods and computer programs adapting an encoding and decoding of least significant bits
WO2019091573A1 (en) * 2017-11-10 2019-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding and decoding an audio signal using downsampling or interpolation of scale parameters
EP3483880A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Temporal noise shaping
EP3483883A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio coding and decoding with selective postfiltering
EP3483878A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder supporting a set of different loss concealment tools
EP3483886A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Selecting pitch lag
EP3483879A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Analysis/synthesis windowing function for modulated lapped transformation
EP3775821A1 (en) 2018-04-11 2021-02-17 Dolby Laboratories Licensing Corporation Perceptually-based loss functions for audio encoding and decoding based on machine learning
US10455335B1 (en) * 2018-07-20 2019-10-22 Mimi Hearing Technologies GmbH Systems and methods for modifying an audio signal using custom psychoacoustic models
US10966033B2 (en) * 2018-07-20 2021-03-30 Mimi Hearing Technologies GmbH Systems and methods for modifying an audio signal using custom psychoacoustic models
EP3598441B1 (en) * 2018-07-20 2020-11-04 Mimi Hearing Technologies GmbH Systems and methods for modifying an audio signal using custom psychoacoustic models
EP3614380B1 (en) 2018-08-22 2022-04-13 Mimi Hearing Technologies GmbH Systems and methods for sound enhancement in audio systems
CN113782040B (zh) * 2020-05-22 2024-07-30 华为技术有限公司 基于心理声学的音频编码方法及装置

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE40280E1 (en) * 1988-12-30 2008-04-29 Lucent Technologies Inc. Rate loop processor for perceptual encoder/decoder
US5752225A (en) * 1989-01-27 1998-05-12 Dolby Laboratories Licensing Corporation Method and apparatus for split-band encoding and split-band decoding of audio information using adaptive bit allocation to adjacent subbands
NL9000338A (nl) * 1989-06-02 1991-01-02 Koninkl Philips Electronics Nv Digitaal transmissiesysteem, zender en ontvanger te gebruiken in het transmissiesysteem en registratiedrager verkregen met de zender in de vorm van een optekeninrichting.
JP2560873B2 (ja) * 1990-02-28 1996-12-04 日本ビクター株式会社 直交変換符号化復号化方法
JP3134363B2 (ja) * 1991-07-16 2001-02-13 ソニー株式会社 量子化方法
EP0559348A3 (en) * 1992-03-02 1993-11-03 AT&T Corp. Rate control loop processor for perceptual encoder/decoder
JP3150475B2 (ja) * 1993-02-19 2001-03-26 松下電器産業株式会社 量子化方法
JP3123290B2 (ja) * 1993-03-09 2001-01-09 ソニー株式会社 圧縮データ記録装置及び方法、圧縮データ再生方法、記録媒体
US5508949A (en) * 1993-12-29 1996-04-16 Hewlett-Packard Company Fast subband filtering in digital signal coding
JP3334419B2 (ja) * 1995-04-20 2002-10-15 ソニー株式会社 ノイズ低減方法及びノイズ低減装置
SE512719C2 (sv) * 1997-06-10 2000-05-02 Lars Gustaf Liljeryd En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion
JP3784993B2 (ja) * 1998-06-26 2006-06-14 株式会社リコー 音響信号の符号化・量子化方法
CN1065400C (zh) * 1998-09-01 2001-05-02 国家科学技术委员会高技术研究发展中心 兼容ac-3和mpeg-2的音频编解码器
US6704705B1 (en) * 1998-09-04 2004-03-09 Nortel Networks Limited Perceptual audio coding
US6578162B1 (en) * 1999-01-20 2003-06-10 Skyworks Solutions, Inc. Error recovery method and apparatus for ADPCM encoded speech
DE19947877C2 (de) * 1999-10-05 2001-09-13 Fraunhofer Ges Forschung Verfahren und Vorrichtung zum Einbringen von Informationen in einen Datenstrom sowie Verfahren und Vorrichtung zum Codieren eines Audiosignals
EP1139336A3 (en) * 2000-03-30 2004-01-02 Matsushita Electric Industrial Co., Ltd. Determination of quantizaion coefficients for a subband audio encoder
JP4021124B2 (ja) * 2000-05-30 2007-12-12 株式会社リコー デジタル音響信号符号化装置、方法及び記録媒体
JP2002268693A (ja) * 2001-03-12 2002-09-20 Mitsubishi Electric Corp オーディオ符号化装置
AU2003213149A1 (en) * 2002-02-21 2003-09-09 The Regents Of The University Of California Scalable compression of audio and other signals
JP2003280695A (ja) * 2002-03-19 2003-10-02 Sanyo Electric Co Ltd 音声圧縮方法および音声圧縮装置
JP2003280691A (ja) * 2002-03-19 2003-10-02 Sanyo Electric Co Ltd 音声処理方法および音声処理装置
JP3881946B2 (ja) * 2002-09-12 2007-02-14 松下電器産業株式会社 音響符号化装置及び音響符号化方法
US7272566B2 (en) * 2003-01-02 2007-09-18 Dolby Laboratories Licensing Corporation Reducing scale factor transmission cost for MPEG-2 advanced audio coding (AAC) using a lattice based post processing technique
JP4293833B2 (ja) * 2003-05-19 2009-07-08 シャープ株式会社 ディジタル信号記録再生装置及びその制御プログラム
JP4212591B2 (ja) * 2003-06-30 2009-01-21 富士通株式会社 オーディオ符号化装置
KR100595202B1 (ko) * 2003-12-27 2006-06-30 엘지전자 주식회사 디지털 오디오 워터마크 삽입/검출 장치 및 방법
JP2006018023A (ja) * 2004-07-01 2006-01-19 Fujitsu Ltd オーディオ信号符号化装置、および符号化プログラム
US7668715B1 (en) * 2004-11-30 2010-02-23 Cirrus Logic, Inc. Methods for selecting an initial quantization step size in audio encoders and systems using the same
US7539612B2 (en) * 2005-07-15 2009-05-26 Microsoft Corporation Coding and decoding scale factor information
CN1909066B (zh) * 2005-08-03 2011-02-09 昆山杰得微电子有限公司 音频编码码量控制和调整的方法
US8332216B2 (en) * 2006-01-12 2012-12-11 Stmicroelectronics Asia Pacific Pte., Ltd. System and method for low power stereo perceptual audio coding using adaptive masking threshold
JP4350718B2 (ja) * 2006-03-22 2009-10-21 富士通株式会社 音声符号化装置
KR100943606B1 (ko) * 2006-03-30 2010-02-24 삼성전자주식회사 디지털 통신 시스템에서 양자화 장치 및 방법
SG136836A1 (en) * 2006-04-28 2007-11-29 St Microelectronics Asia Adaptive rate control algorithm for low complexity aac encoding
ATE535904T1 (de) * 2007-08-27 2011-12-15 Ericsson Telefon Ab L M Verbesserte transformationskodierung von sprach- und audiosignalen

Also Published As

Publication number Publication date
WO2009029035A1 (en) 2009-03-05
ATE535904T1 (de) 2011-12-15
US9153240B2 (en) 2015-10-06
ES2375192T3 (es) 2012-02-27
JP2010538316A (ja) 2010-12-09
US20140142956A1 (en) 2014-05-22
EP2186087A1 (en) 2010-05-19
HK1143237A1 (en) 2010-12-24
CN101790757A (zh) 2010-07-28
EP2186087A4 (en) 2010-11-24
CN101790757B (zh) 2012-05-30
US20110035212A1 (en) 2011-02-10
EP2186087B1 (en) 2011-11-30

Similar Documents

Publication Publication Date Title
JP5539203B2 (ja) 改良された音声及びオーディオ信号の変換符号化
JP4212591B2 (ja) オーディオ符号化装置
JP5219800B2 (ja) コード化されたオーディオの経済的な音量計測
JP5140730B2 (ja) 切り換え可能な時間分解能を用いた低演算量のスペクトル分析/合成
KR100986924B1 (ko) 정보 신호 인코딩
KR100991448B1 (ko) 스펙트럼 홀 충전을 사용하는 오디오 코딩 시스템
JP5485909B2 (ja) オーディオ信号処理方法及び装置
JP5267362B2 (ja) オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラムならびに映像伝送装置
US20040162720A1 (en) Audio data encoding apparatus and method
EP2490215A2 (en) Method and apparatus to extract important spectral component from audio signal and low bit-rate audio signal coding and/or decoding method and apparatus using the same
KR20130107257A (ko) 대역폭 확장을 위한 고주파수 부호화/복호화 방법 및 장치
MXPA96004161A (en) Quantification of speech signals using human auiditive models in predict encoding systems
RU2505921C2 (ru) Способ и устройство кодирования и декодирования аудиосигналов (варианты)
KR100695125B1 (ko) 디지털 신호 부호화/복호화 방법 및 장치
KR20120008537A (ko) 복호화 장치 및 복호화 방법, 및 복호화 장치를 구비하는 통신 단말 장치 및 기지국 장치
EP1514263A1 (en) Audio coding system using characteristics of a decoded signal to adapt synthesized spectral components
WO2001033555A1 (en) Method of encoding an audio signal using a quality value for bit allocation
KR100477701B1 (ko) Mpeg 오디오 인코딩 방법 및 mpeg 오디오 인코딩장치
Teh et al. Subband coding of high-fidelity quality audio signals at 128 kbps
JPH0918348A (ja) 音響信号符号化装置及び音響信号復号装置
Boland et al. Hybrid LPC And discrete wavelet transform audio coding with a novel bit allocation algorithm
KR970006825B1 (ko) 오디오신호 부호화장치
Malvar Perceptual Audio Coding
JPH05114863A (ja) 高能率符号化装置及び復号化装置
KR19990041758A (ko) 디지탈 오디오 부호화장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110809

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130305

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131004

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140404

R150 Certificate of patent or registration of utility model

Ref document number: 5539203

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140430

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250