JP3348759B2 - 変換符号化方法および変換復号化方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、楽音信号あるいは
音声信号等、ピッチ成分を含む信号の変換符号化方法お
よび変換復号化方法に関する。

【０００２】

【従来の技術】現在、楽音信号あるいは音声信号等のオ
ーディオ信号を高能率に符号化する方法として、該オー
ディオ信号をフレームと呼ばれる５〜５０ｍｓ程度の一
定間隔の区間に分割し、この１フレームの信号に時間−
周波数変換を施して得られた周波数領域信号を、周波数
特性の包絡形状（周波数特性の概形）と、周波数領域信
号を周波数特性概形で平坦化して得られる残差信号の２
つの情報に分離し、それぞれを符号化することが提案さ
れている。

【０００３】また、このような符号化法の具体的な方法
として、適応スペクトル聴感制御エントロピー符号化法
（ASPEC,Adaptive Spectral Perceptual Entropy Codin
g）、重み付きベクトル量子化による変換符号化法（TCW
VQ,Transform Coding withWeighted Vector Quantizati
on）、およびエムペグ−オーディオ・レイヤ３方式（MP
EG-Audio Layer 3）等が提案されている。

【０００４】なお、これらの技術については、K.Brande
nburg, J.Herre, J.D.Johnston etal:"ASPEC:Adaptive
spectral entropy coding of high quality music sign
als", Proc.AES'91 、T.Moriya, H.Suda:"An 8 Kbit/s
transform coder for noisychannels", Proc.ICASSP'89
pp.196--199 、および ISO/IEC標準 IS-11172-3 に詳
しく述べられている。

【０００５】ここで、これらの符号化法によって高能率
な符号化を実現するためには、残差信号は、できるだけ
周波数特性が平坦であることが望ましい。このため、上
述の適応スペクトル聴感制御エントロピー符号化法（AS
PEC）あるいはエムペグ−オーディオ・レイヤ３方式（M
PEG-Audio Layer 3）では、図５に示すように、周波数
領域信号をいくつかの小帯域に分割し、各小帯域内の信
号を帯域の強さを表すスケーリングファクタと呼ばれる
値で除算して正規化することにより、残差信号の周波数
特性の平坦化を図っている。

【０００６】一方、これらの方法よりも高能率な周波数
領域信号の平坦化方法として、図６に示すような線形予
測分析を用いる方法がある。この方法では、入力信号を
線形予測して得られた線形予測係数で線形予測分析フィ
ルタを駆動することにより周波数特性の平坦化を行う。
この方法は、上記 重み付きベクトル量子化による変換
符号化法（TCWVQ）で用いられている手法である。

【０００７】なお、線形予測分析、離散コサイン変換
（DCT）、変形離散コサイン変換（MDCT）等の各関連各
技術については、斉藤、中田”音声情報処理の基礎”
（オーム社）の第６章、K.R.Rao,P.Yip 著、安田、藤原
訳”画像符号化技術−DCTとその国際標準”（オーム
社）の第２章、H.S.Malvar,"Signal Processing with L
apedTransforms,"Artech House 、および ISO/IEC 標
準 IS-11172-3 に記載されている。

【０００８】

【発明が解決しようとする課題】しかし、これらの符号
化方法では、周波数特性の大局的な概形を正規化するに
とどまり、楽音や音声のピッチ成分による微視的な周波
数特性の凹凸を能率良く除去することができない。した
がって、このことが障害となり、上記従来の符号化方法
は、ピッチ成分の強いオーディオ信号を符号化する場合
に高能率化することが困難であった。

【０００９】本発明は、上述する問題点に鑑みてなされ
たもので、ピッチ成分が含まれたオーディオ信号を能率
良く符号化することが可能な変換符号化方法および変換
復号化方法を提供することを目的としている。

【００１０】

【課題を解決するための手段】請求項１記載の発明は、
楽音信号あるいは音声信号を一定時間間隔のフレームに
分割し、各フレームに時間−周波数変換を施して周波数
領域信号を生成する時間−周波数変換段階と、 周波数領
域信号の概形信号を生成し、当該概形信号を量子化して
量子化概形インデックスを出力する概形計算・量子化段
階と、 前記周波数領域信号を量子化された前記概形信号
により除算して平坦化信号を生成する平坦化段階と、 前
記平坦化信号からピッチ成分を検出して量子化し量子化
ピッチ成分インデックスを出力するピッチ符号化段階
と、 前記平坦化信号から量子化した前記ピッチ成分を除
去した平坦化信号の量子化平坦化信号インデックスを出
力する平坦化信号量子化段階と を有することを特徴とし
ている。

【００１１】請求項２記載の発明は、請求項１記載の発
明において、ピッチ符号化段階では、ピッチ成分の基本
周波数を求めて量子化し、 周波数領域信号から前記基本
周波数の自然数倍の周波数またはこの周波数に最も近い
周波数のサンプルをピッチ成分サンプルとして抽出して
量子化し、 このようにして得られた量子化ピッチ基本周
波数インデックスと量子化ピッチ成分サンプルインデッ
クスとを量子化ピッチ成分インデックスとして出力する
ことを特徴としている。

【００１２】請求項３記載の発明は、請求項２記載の発
明において、ピッチ符号化段階では、周波数領域信号か
ら基本周波数の自然数倍の周波数あるいはこの周波数に
最も近い周波数のサンプル及びこれを含めた連続する複
数のサンプルを１単位としてピッチ成分を抽出して量子
化することを特徴としている。

【００１３】請求項４記載の発明は、請求項２または３
記載の発明において、ピッチ符号化段階では、ピッチ成
分サンプルを一括または各単位毎にベクトル量子化する
ことを特徴としている。

【００１４】請求項５記載の発明は、量子化平坦化信号
インデックスから平坦化信号を再生する平坦化信号再生
段階と、量子化ピッチ成分インデックスからピッチ成分
を再生するピッチ再生段階と、 量子化概形インデックス
から概形信号を再生する概形信号再生段階と、 前記平坦
化信号に前記ピッチ成分を加えた信号を前記概形信号で
逆平坦化して周波数領域信号を再生する逆平坦化段階
と、 前記周波数領域信号に時間−周波数逆変換を施して
時間領域の楽音信号あるいは音声信号を生成する時間−
周波数逆変換段階と を有することを特徴としている。

【００１５】請求項６記載の発明は、請求項５記載の発
明において、ピッチ再生段階では、 ピッチ成分の基本周
波数を復号化し、 ピッチ成分として量子化ピッチ成分サ
ンプルインデックスから復号したピッチ成分サンプルを
前記基本周波数の自然数倍の周波数またはこの周波数に
最も近い周波数に周波数領域信号として配置することを
特徴としている。

【００１６】請求項７記載の発明は、請求項６記載の発
明において、ピッチ再生段階では、ピッチ成分として量
子化ピッチ成分サンプルインデックスから復号したピッ
チ成分サンプルを基本周波数の自然数倍の周波数または
この周波数に最も近い周波数のサンプル及びこれを含め
た連続する複数のサンプルを１単位として周波数領域信
号として配置することを特徴としている。

【００１７】請求項８記載の発明は、請求項６または７
記載の発明において、ピッチ再生段階では、ピッチ成分
サンプルを一括または各単位毎に復号することを特徴と
している。

【００１８】

【作用】楽音あるいは音声は、ピッチすなわち音程の高
／低を有する。この楽音あるいは音声を周波数変換して
得られる周波数領域信号には、一定の周波数間隔で並ぶ
ピッチ成分が含まれる。したがって、該周波数領域信号
を自らの周波数特性の概形で正規化して得られる残差信
号にも、上記ピッチ成分が含まれている。このピッチ成
分は、全体のパワーに対してエネルギーの大きいスパイ
クとなって現れるので、残差信号の平坦度を落として量
子化能率を悪化させる。しかし、本発明は、ピッチ成分
が周波数軸上で等間隔に並んでいる点に着目し、ピッチ
成分を残差信号から差し引くことにより、少ない付加情
報量で残差係数の平坦度を高める。

【００１９】

【発明の実施の形態】以下、図面を参照して本発明の一
実施形態について説明する。図１は、本実施形態による
変換符号化方法および変換復号化方法を説明する図であ
り、符号Ａは符号器、またＢは復号器である。図示する
ように、符号器Ａは、時間−周波数変換器１、大局的概
形計算・量子化器２、第１平坦化器３、ピッチ符号化器
４、加算器５、微細スペクトル概形計算・量子化器６、
第２平坦化器７、および量子化器８によって構成されて
いる。

【００２０】時間−周波数変換器１は、時間領域の入力
信号（楽音信号あるいは音声信号等のオーディオ信号）
を一定時間間隔のフレームに分割し、各々のフレームに
時間−周波数変換を施して周波数領域信号を生成する。

【００２１】図２は、この周波数領域信号の周波数特性
を示したものである。この図に示すように、楽音信号あ
るいは音声信号の周波数領域信号は、一定周波数間隔ｐ
で配列するピッチ成分が含まれている。なお、変換手法
としては、離散コサイン変換（Discrete Cosine Transf
ormation,DCT）や変形離散コサイン変換（Modified Dis
crete Cosine Transformation,MDCT）を用いることがで
きる。

【００２２】大局的概形計算・量子化器２は、上記時間
−周波数変換器１から出力された周波数領域信号の大局
的な概形を示す信号を生成し、また量子化する。そし
て、この信号を上記第１平坦化器３に出力すると共に、
量子化大局的概形インデックスとして外部に出力する。
該大局的概形の算出手法としては、線形予測スペクト
ル、あるいは周波数領域信号を複数のサブバンドに分割
し、各バンドの代表値によって周波数領域信号全体の概
形を表現するスケールファクタを用いてもよい。

【００２３】なお、線形予測スペクトルを量子化する場
合は、線形予測パラメータをＬＳＰパラメータに変換し
て量子化する。またはＫパラメータに変換して量子化す
る。

【００２４】第１平坦化器３は、上記時間−周波数変換
器１から出力された周波数領域信号を大局的概形計算・
量子化器２から出力された上記大局的概形信号によって
除算することにより平坦化し、第１の平坦化信号を出力
する。

【００２５】次に、ピッチ符号化器４は、上記第１の平
坦化信号からピッチ成分を検出して符号化する。また、
図３はピッチ符号化器４の詳細を示す図であり、上記第
１の平坦化信号は、図示するピッチ基本周波数抽出器４
ａおよびピッチサンプル抽出器４ｂに入力される。

【００２６】このピッチ基本周波数抽出器４ａは、第１
の平坦化信号を分析することによりピッチ成分の基本周
波数（ピッチ基本周波数）を求める。すなわち、ピッチ
基本周波数抽出器４ａは、第１の平坦化係数のケプスト
ラムを計算し、その最大値をピッチ成分の基本周期とす
る。そして、該基本周期の逆数を演算することによりピ
ッチ基本周波数を求め、ピッチ基本周波数量子化器４ｃ
に出力する。

【００２７】なお、ピッチ基本周波数をより正確にする
ために、求められたピッチ基本周波数の前後で、ピッチ
基本周波数ごとの第１の平坦化信号のサンプルのパワー
の総和が最大になる基本周波数を検索し、新たにこれを
ピッチ基本周波数としてもよい。

【００２８】ピッチ基本周波数量子化器４ｃは、このよ
うにして求められたピッチ基本周波数を量子化する。す
なわち、このピッチ基本周波数量子化器４ｃは、ピッチ
基本周波数の対数値をスカラ量子化し、量子化ピッチ基
本周波数インデックスとして外部に出力すると共に、こ
のスカラ量子化された信号を上記ピッチサンプル抽出器
４ｂに出力する。

【００２９】このピッチサンプル抽出器４ｂは、第１平
坦化器３から入力された第１の平坦化信号に対して、ピ
ッチ基本周波数量子化器４ｃから入力された量子化ピッ
チ基本周波数の自然数倍の周波数に最も近いサンプルを
中心として前後１サンプルを抽出し、この３サンプル一
組を一本のピッチ成分のサンプル群としてピッチサンプ
ル量子化器４ｄに出力する。なお、このピッチ成分のサ
ンプル群の数は、固定値でも良いし、可変としても良
い。

【００３０】ピッチサンプル量子化器４ｄは、上記ピッ
チ成分のサンプル群を量子化して量子化ピッチ成分イン
デックスとして外部に出力すると共に、この量子化ピッ
チ成分インデックスを復号した量子化ピッチ成分を上記
加算器５に出力する。なお、該サンプル群の量子化は、
スカラ量子化であっても良いし、３サンプルからなるサ
ンプル群ごとにベクトル量子化してもよい。また、全サ
ンプル群を一括でベクトル量子化しても良い。以上がピ
ッチ符号化器４において行われる処理である。

【００３１】次に、加算器５は、該ピッチ符号化器４か
ら入力されたピッチ成分の量子化信号を用いて、第１平
坦化器３から入力された第１の平坦化信号からピッチ成
分のみを差し引いて第２の平坦化信号を生成し、微細ス
ペクトル概形計算・量子化器６および第２平坦化器７に
出力する。

【００３２】ここで、図４は、この第２の平坦化信号の
周波数特性を示す図である。上記図２との比較でわかる
ように、第２の平坦化信号は、時間−周波数変換器１か
ら出力された周波数領域信号からピッチ成分を除去した
ものとなる。

【００３３】微細スペクトル概形計算・量子化器６は、
該第２の平坦化信号から微細なスペクトルの概形（微細
スペクトル概形）を計算し、これを量子化する。そし
て、この量子化した信号を量子化微細スペクトル概形イ
ンデックスとして外部に出力すると共に、第２平坦化器
７に出力する。

【００３４】この微細スペクトル概形は、微細スペクト
ル概形を直接量子化して求めてもよいし、過去のフレー
ムの微細スペクトル概形を線形合成して求めてもよい。
また、過去および現在のフレームの量子化された微細ス
ペクトル概形の情報を線形合成して求めてもよい。さら
に、この微細スペクトル概形は、例えば、第２の平坦化
信号の絶対値に３から５程度の幅の窓関数を畳み込んだ
ものを用いてもよいし、サブバンド分割した第２の平坦
化信号の振幅の代表値を各バンドごとに用意し、これを
概形としてもよい。

【００３５】第２平坦化器７は、加算器５から入力され
た第２の平坦化信号を微細スペクトル概形計算・量子化
器６で得られた微細スペクトル概形で除算して平坦化
し、第３の平坦化信号として量子化器８に出力する。こ
の量子化器８は、該第３の平坦化信号をスカラ量子化あ
るいはベクトル量子化し、量子化インデックスとして外
部に出力する。

【００３６】なお、ベクトル量子化する場合は、フレー
ムの全サンプルを一括で量子化してもよいが、フレーム
のサンプル列を複数のサブベクトルに分割して、このサ
ブベクトルごとに量子化する方が演算量の面で現実的で
ある。また、分割の方法は、単純なサブバンド分割でも
よいし、サンプルをインタリーブしてから分割するイン
タリーブ分割でもよい。また、量子化の際必要な情報量
にあわせて適応的ビット割り当てをしてもよい。

【００３７】次に、復号器Ｂについて説明する。図１に
示すように、復号器Ｂは、再生器９、微細スペクトル概
形再生器１０、第１逆平坦化器１１、ピッチ再生器１
２、加算器１３、大局的概形再生器１４、第２逆平坦化
器１５、および時間−周波数逆変換器１６によって構成
されている。

【００３８】このうち、再生器９は、上記符号器Ａから
伝送されてきた量子化インデックスから上記第３の平坦
化信号を再生する。この再生器９は、上記量子化器８の
逆処理を行うことにより第３の平坦化信号を再生し、第
１逆平坦化器１１に出力する。微細スペクトル概形再生
器１０は、符号器Ａから伝送されてきた微細スペクトル
概形量子化インデックスから微細スペクトル概形を再生
する。

【００３９】第１逆平坦化器１１は、再生器９から入力
された第３の平坦化信号に微細スペクトル概形を付加し
て、上記第２の平坦化信号を再生して加算器１３に出力
する。また、ピッチ再生器１２は、符号器Ａから伝送さ
れてきた量子化ピッチ成分インデックスおよび量子化ピ
ッチ基本周波数インデックスから上記ピッチ成分を再生
し、加算器１３に出力する。

【００４０】加算器１３は、第１逆平坦化器１１から入
力された第２の平坦化信号に、ピッチ再生器１２から入
力されたピッチ成分を加えて上記第１の平坦化信号を再
生し、第２逆平坦化器１５に出力する。また、大局的概
形再生器１４は、符号器Ａから伝送されてきた量子化大
局的概形インデックスから上記大局的概形を再生し、第
２逆平坦化器１５に出力する。

【００４１】第２逆平坦化器１５は、加算器１３から入
力された第１の平坦化信号に、大局的概形再生器１４か
ら入力された大局的概形を付加し、上記周波数領域信号
を生成する。そして、時間−周波数逆変換器１６は、該
第２逆平坦化器１５から入力された周波数領域信号に時
間−周波数逆変換を施して復号し、時間領域の音声信号
あるいは楽音信号を出力する。

【００４２】

【発明の効果】以上説明したように、本発明によれば、
ピッチ成分を有する楽音信号あるいは音声信号を符号化
するに際し、該信号を周波数領域に変換した周波数領域
信号に現れるスパイク状のピッチ成分のの規則性を利用
して、これを高能率に符号化する。したがって、より平
坦化された残差係数を得ることができ、符号化器全体の
能率を高めることが可能である。

【図面の簡単な説明】

【図１】本発明の一実施形態を示す符号器および復号器
を説明する図である。

【図２】本発明において時間−周波数変換器の出力信号
の周波数特性を示す図である。

【図３】本発明においてピッチ符号化器の詳細構成を示
す図である。

【図４】本発明において第２平坦化信号の周波数特性を
示す図である。

【図５】従来の変換符号化方法を説明する第１の図であ
る。

【図６】従来の変換符号化方法を説明する第２の図であ
る。

【符号の説明】

１ 時間−周波数変換器 ２ 大局的概形計算・量子化器 ３ 第１平坦化器 ４ ピッチ符号化器 ５、１３ 加算器 ６ 微細スペクトル概形計算・量子化器 ７ 第２平坦化器 ８ 量子化器 ９ 再生器 １０ 微細スペクトル概形再生器 １１ 第１逆平坦化器 １２ ピッチ再生器 １４ 大局的概形再生器 １５ 第２逆平坦化器 １６ 時間−周波数逆変換器

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平１−239597（ＪＰ，Ａ) 特開 昭57−62096（ＪＰ，Ａ) 特開 昭57−161795（ＪＰ，Ａ) 特開 昭63−37400（ＪＰ，Ａ) 特開 平７−261800（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G10L 11/00 - 11/04 G10L 19/00 - 19/02 G11B 20/10 H03M 7/30

Claims (8)

(57)【特許請求の範囲】
1. 【請求項１】 楽音信号あるいは音声信号を一定時間間
   隔のフレームに分割し、各フレームに時間−周波数変換
   を施して周波数領域信号を生成する時間−周波数変換段
   階と、 周波数領域信号の概形信号を生成し、当該概形信号を量
   子化して量子化概形インデックスを出力する概形計算・
   量子化段階と、 前記周波数領域信号を量子化された前記概形信号により
   除算して平坦化信号を生成する平坦化段階と、 前記平坦化信号からピッチ成分を検出して量子化し量子
   化ピッチ成分インデックスを出力するピッチ符号化段階
   と、 前記平坦化信号から量子化した前記ピッチ成分を除去し
   た平坦化信号の量子化平坦化信号インデックスを出力す
   る平坦化信号量子化段階と を有する ことを特徴とする変
   換符号化方法。
2. 【請求項２】 ピッチ符号化段階では、 ピッチ成分の基本周波数を求めて量子化し、 周波数領域信号から前記基本周波数の自然数倍の周波数
   またはこの周波数に最も近い周波数のサンプルをピッチ
   成分サンプルとして抽出して量子化し、 このようにして得られた量子化ピッチ基本周波数インデ
   ックスと量子化ピッチ成分サンプルインデックスとを量
   子化ピッチ成分インデックスとして出力する ことを特徴
   とする請求項１記載の変換符号化方法。
3. 【請求項３】 ピッチ符号化段階では、 周波数領域信号から基本周波数の自然数倍の周波数ある
   いはこの周波数に最も近い周波数のサンプル及びこれを
   含めた連続する複数のサンプルを１単位としてピッチ成
   分を抽出して量子化する ことを特徴とする請求項２記載
   の変換符号化方法。
4. 【請求項４】 ピッチ符号化段階では、ピッチ成分サン
   プルを一括または各単位毎にベクトル量子化することを
   特徴とする請求項２または３記載の変換符号化方法。
5. 【請求項５】 量子化平坦化信号インデックスから平坦
   化信号を再生する平 坦化信号再生段階と、量子化ピッチ成分インデックスからピッチ成分を再生す
   るピッチ再生段階と、 量子化概形インデックスから概形信号を再生する概形信
   号再生段階と、 前記平坦化信号に前記ピッチ成分を加えた信号を前記概
   形信号で逆平坦化して周波数領域信号を再生する逆平坦
   化段階と、 前記周波数領域信号に時間−周波数逆変換を施して時間
   領域の楽音信号あるいは音声信号を生成する時間−周波
   数逆変換段階と を有する ことを特徴とする変換復号化方
   法。
6. 【請求項６】 ピッチ再生段階では、 ピッチ成分の基本周波数を復号化し、 ピッチ成分として量子化ピッチ成分サンプルインデック
   スから復号したピッチ成分サンプルを前記基本周波数の
   自然数倍の周波数またはこの周波数に最も近い周波数に
   周波数領域信号として配置する ことを特徴とする請求項
   ５記載の変換復号化方法。
7. 【請求項７】 ピッチ再生段階では、ピッチ成分として
   量子化ピッチ成分サンプルインデックスから復号したピ
   ッチ成分サンプルを基本周波数の自然数倍の周波数また
   はこの周波数に最も近い周波数のサンプル及びこれを含
   めた連続する複数のサンプルを１単位として周波数領域
   信号として配置することを特徴とする請求項６記載の変
   換復号化方法。
8. 【請求項８】 ピッチ再生段階では、ピッチ成分サンプ
   ルを一括または各単位毎に復号することを特徴とする請
   求項６または７記載の変換復号化方法。