JP5036317B2

JP5036317B2 - スケーラブル符号化装置、スケーラブル復号化装置、およびこれらの方法

Info

Publication number: JP5036317B2
Application number: JP2006543195A
Authority: JP
Inventors: 正浩押切
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2004-10-28
Filing date: 2005-10-26
Publication date: 2012-09-26
Anticipated expiration: 2025-10-26
Also published as: EP1806736A4; CN101044553A; KR20070083856A; ATE480851T1; EP1806736B1; US8019597B2; DE602005023503D1; WO2006046587A1; US20090125300A1; CN101044553B; JPWO2006046587A1; BRPI0517246A; EP1806736A1

Description

本発明は、上位レイヤにおいて変換符号化を行うスケーラブル符号化装置、スケーラブル復号化装置、およびこれらの方法に関する。

移動体通信システムでは、電波資源等の有効利用のために、音声信号を低ビットレートに圧縮して伝送することが要求されている。その一方で、ユーザからは通話音声の品質向上や臨場感の高い通話サービスの実現が望まれているので、音声信号の高品質化のみならず、より帯域の広いオーディオ信号等の音声以外の信号をも高品質に符号化できることが望まれる。

このように相反する２つの要求に対し、複数の符号化技術を階層的に統合する技術が有望視されている。この技術は、音声信号に適したモデルで入力信号を低ビットレートで符号化する第１レイヤと、入力信号と第１レイヤの復号信号との差分信号を音声以外の信号にも適したモデルで符号化する第２レイヤとを階層的に組み合わせる。このように階層的に符号化を行う技術は、符号化装置から得られるビットストリームにスケーラビリティ性、すなわち、ビットストリームの一部の情報からでも復号信号を得ることができる性質を有するため、一般的にスケーラブル符号化と呼ばれている。このスケーラブル符号化は、ビットレートの異なるネットワーク間の通信にも柔軟に対応できる。よって、スケーラブル符号化は、ＩＰプロトコルで多様なネットワークが統合されていく今後のネットワーク環境に適したものといえる。

ＭＰＥＧ−４（Moving Picture Experts Group phase-4）で規格化された技術を用いてスケーラブル符号化を実現する例として、例えば、非特許文献１に開示されている技術がある。この技術は、第１レイヤにおいて、音声信号に適したＣＥＬＰ（Code Excited Linear Prediction；符号励信線形予測）符号化を用い、第２レイヤにおいて、原信号から第１レイヤ復号信号を減じた残差信号に対して、ＡＡＣ（Advanced Audio Coder）やＴｗｉｎＶＱ（Transform Domain Weighted Interleave Vector Quantization；周波数領域重み付きインターリーブベクトル量子化）等の変換符号化を用いる。この変換符号化とは、時間領域の信号を周波数領域の信号に変換してから、この周波数領域の信号に対し符号化を行う技術である。

また、変換符号化の具体例として特許文献１に開示されている技術がある。この技術は、入力信号をピッチ分析してピッチ周波数を求め、ピッチ周波数の整数倍の周波数に位置するスペクトルをまとめて符号化する。ここで、音声信号の調波構造を特定するパラメータであるピッチ周波数の整数倍にあたる周波数を調波周波数と呼び、調波周波数に位置するスペクトルを調波スペクトルと呼ぶこととすると、特許文献１の技術は、調波スペクトルを復号した後に、入力スペクトルから減算して誤差スペクトルを求め、この誤差スペクトルを別途符号化していることになる。この構成により、調波スペクトルを比較的少ない演算量で効率的に符号化することができ、音質劣化の少ない符号化方式を提供できている。
特開平９−１８１６１１号公報三木弼一編著、「ＭＰＥＧ−４のすべて」、初版、（株）工業調査会、１９９８年９月３０日、ｐ．１２６−１２７

しかしながら、特許文献１の技術をスケーラブル符号化に適用した場合、調波周波数を特定するためにはピッチ周波数を符号化して復号化側へ伝送する必要がある。また、調波スペクトルを復号した後に誤差スペクトル成分を求め、その誤差スペクトルをさらに符号化する必要がある。そのため符号化パラメータのビットレートが増加する。

さらに特許文献１の技術では、１つのピッチ周波数に対応した１組の調波スペクトルのみが存在している場合、すなわち、音源が１種類の場合を想定しており、入力信号に複数の話者や楽器が含まれているような音源が複数種類である場合に高品質な符号化が困難となる。何故なら、音源が複数の場合、主たる調波スペクトル（主調波スペクトル）と副次的な調波スペクトル（副調波スペクトル）という、異なるピッチ周波数によって特定される複数種類の調波スペクトルが混在することとなるからである。

よって、本発明の目的は、符号化パラメータのビットレートを減少させることができ、また、複数の調波構造が混在する音声信号に対しても効率的に符号化することができるスケーラブル符号化装置、スケーラブル復号化装置、およびこれらの方法を提供することである。

本発明のスケーラブル符号化装置は、音声信号を当該音声信号のピッチ周期を用いて符号化することにより第１の符号化パラメータを生成する第１の符号化手段と、前記ピッチ周期からピッチ周波数を算出する算出手段と、前記第１の符号化パラメータを用いて復号信号を生成する復号手段と、前記音声信号のスペクトルと前記復号信号のスペクトルとから、ピッチ周波数の整数倍の周波数を選択する選択手段と、前記選択された周波数の前記音声信号のスペクトルから前記選択された周波数の前記復号信号のスペクトルを減じて得られた残差スペクトルに対して符号化を行って第２の符号化パラメータを生成する第２の符号化手段と、を具備し、前記残差スペクトルは、前記選択手段により選択されたピッチ周波数の整数倍の周波数が特定の周波数よりも高い周波数に限定される構成を採る。

本発明によれば、スケーラブル符号化において、符号化パラメータのビットレートを減少させることができる。また、符号化側において、複数の調波構造が混在する音声信号に対しても効率的に符号化することができると共に、復号化側において、復号された音声信号の音質を向上させることができる。

以下、本発明の実施の形態について、添付図面を参照して詳細に説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係るスケーラブル符号化装置の主要な構成を示すブロック図である。

本実施の形態に係るスケーラブル符号化装置の各部は以下の動作を行う。

第１レイヤ符号化部１０２は、入力される音声信号（原信号）Ｓ１１をＣＥＬＰ方式によって符号化し、得られる符号化パラメータＳ１２を、多重化部１０３、第１レイヤ復号化部１０４に与える。また、第１レイヤ符号化部１０２は、得られた符号化パラメータのうち、ピッチ周期Ｓ１４を第２レイヤ符号化部１０６に与える。このピッチ周期は、適応符号帳の探索において得られる適応符号帳ラグが用いられる。第１レイヤ復号化部１０４は、第１レイヤ符号化部１０２から出力された符号化パラメータＳ１２から第１レイヤの復号信号Ｓ１３を生成し、第２レイヤ符号化部１０６に出力する。

一方、遅延部１０５は、入力された音声信号Ｓ１１に所定の長さの遅延を与える。この遅延は、第１レイヤ符号化部１０２、第１レイヤ復号化部１０４等で生じる時間遅れを補正するためのものである。第２レイヤ符号化部１０６は、第１レイヤ復号化部１０４で生成された第１レイヤ復号信号Ｓ１３を用いて、遅延部１０５から出力される所定時間遅延された音声信号Ｓ１５に対し、ＭＤＣＴ（Modified Discrete Cosine Transform；変形離散コサイン変換）を用いた変換符号化を施し、生成される符号化パラメータＳ１６を多重化部１０３に出力する。

多重化部１０３は、第１レイヤ符号化部１０２で求められる符号化パラメータＳ１２と、第２レイヤ符号化部１０６で求められる符号化パラメータＳ１６とを多重化し、これを出力符号化パラメータのビットストリームとして外部に出力する。

図２は、上記の第２レイヤ符号化部１０６内部の主要な構成を示すブロック図である。

ＭＤＣＴ分析部１１１は、変換符号化を行うために、音声信号Ｓ１５に対してＭＤＣＴ分析を施し、分析結果のスペクトルを選択部１１３に出力する。変換符号化は、時間領域の信号を周波数領域の信号に変換してから、この周波数領域の信号に対し符号化を行う技術であり、ＭＤＣＴ分析を用いる変換符号化としては、ＡＡＣ（Advanced Audio Coder）、ＴｗｉｎＶＱ（Transform Domain Weighted Interleave Vector Quantization；周波数領域重み付きインターリーブベクトル量子化）等がある。

ピッチ周波数変換部１１２は、第１レイヤ符号化部１０２から与えられるピッチ周期Ｓ１４を秒単位の値に変換した後にその逆数を求めてピッチ周波数を算出し、選択部１１３、１１５に出力する。

選択部１１３は、ピッチ周波数変換部１１２から出力されるピッチ周波数を用いて、ＭＤＣＴ分析部１１１から出力される音声信号のスペクトルのうち一部のスペクトルを選択し、加算部１１７に出力する。具体的には、選択部１１３は、ピッチ周波数の整数倍の周波数（調波周波数）に位置するスペクトル（調波スペクトル）を選択し、加算部１１７に出力する。第２レイヤ符号化部１０６は、この選択された複数の調波スペクトルに対して以降の符号化処理を行う。このように、符号化対象のスペクトルを全範囲でなく一部の範囲に限定することにより、符号化レートの低ビットレート化を図ることができる。なお、ここで調波スペクトルとは、調波周波数上に位置する非常に狭帯域の線スペクトルのようなスペクトルのことである。

ＭＤＣＴ分析部１１４は、ＭＤＣＴ分析部１１１と同様に、第１レイヤ復号化部１０４から出力される第１レイヤ復号信号Ｓ１３に対してＭＤＣＴ分析を施し、分析結果のスペクトルを選択部１１５に出力する。

選択部１１５は、選択部１１３と同様に、ピッチ周波数変換部１１２から出力されるピッチ周波数を用いて、ＭＤＣＴ分析部１１４から出力される第１レイヤ復号信号のスペクトルのうち一部の範囲のスペクトルを選択し、加算部１１６に出力する。

残差スペクトル符号帳１２１は、後述の探索部１２０から指示されたインデックスに対応する残差スペクトルを生成し、乗算器１２３に出力する。

ゲイン符号帳１２２は、後述の探索部１２０から指示されたインデックスに対応するゲインを乗算器１２３に出力する。

乗算器１２３は、残差スペクトル符号帳１２１で生成された残差スペクトルに、ゲイン符号帳１２２から出力されたゲインを乗算し、ゲイン調整後の残差スペクトルを加算器１１６に出力する。

加算器１１６は、選択部１１５から出力される一部の範囲に限定された第１レイヤ復号信号のスペクトルに、乗算器１２３から出力されるゲイン調整後の残差スペクトルを加算し、加算器１１７に出力する。

加算器１１７は、選択部１１３から出力される一部の範囲に限定された音声信号のスペクトルから、加算器１１６から出力される第１レイヤ復号信号のスペクトルを減算して残差スペクトルを求め、重み付け部１１９に出力する。第２レイヤ符号化部１０６は、この残差スペクトルを最小とするように符号化が行われる。

聴覚マスキング算出部１１８は、音声信号Ｓ１５に対し、人間には知覚されないノイズパワの閾値、すなわち、聴覚マスキングを算出し、重み付け部１１９に出力する。人間の聴覚には、ある周波数の信号が与えられたときにその周波数近傍の信号が聞こえ難くなるという特性（マスキング効果）があり、聴覚マスキング算出部１１８は、この特性を第２レイヤ符号化部１０６で利用するため、入力された音声信号Ｓ１５のスペクトルから聴覚マスキングを算出する。

重み付け部１１９は、加算器１１７から出力される残差スペクトルに対し、聴覚マスキング算出部１１８で算出された聴覚マスキングによる重み付けを施し、探索部１２０に出力する。

上記の残差スペクトル符号帳１２１、ゲイン符号帳１２２、乗算器１２３、加算器１１６、１１７、および重み付け部１１９は、閉ループ（帰還ループ）を構成しており、探索部１２０は、重み付け部１１９から出力される残差スペクトルが最小となるように、残差スペクトル符号帳１２１およびゲイン符号帳１２２に指示するインデックスを様々に変化させる。

より詳細には、残差スペクトル符号帳１２１に格納されている残差スペクトルのベクトル候補、およびゲイン符号帳１２２に格納されているゲイン候補は、例えば次の式（１）で表される歪みＥを最小とするように決定される。ここで、ｗ（ｋ）は聴覚マスキングにより定まる重み関数、ｏ（ｋ）は原信号スペクトル、ｇ（ｊ）は第ｊゲイン候補、ｅ（ｉ，ｋ）は第ｉ残差スペクトル候補、ｂ（ｋ）は基本レイヤスペクトルを表す。

また、第２レイヤ符号化部１０６がスケールファクタを用いる符号化部の場合には、歪みＥは、例えば次の式（２）のように定義される。ここでＳＦ（ｋ）は原信号スペクトルのスケールファクタを符号化した結果得られる復号スケールファクタ、ｂ’（ｋ）は基本レイヤスペクトルを自身のスケールファクタで正規化した結果得られるスペクトルを表す。

探索部１２０は、上記の閉ループによって最終的に得られる、残差スペクトル符号帳１２１およびゲイン符号帳１２２のインデックスを、符号化パラメータＳ１６として第２レイヤ符号化部１０６の外部に出力する。

次いで、選択部１１３、１１５がスペクトルを一部の範囲に選択する処理によって、符号化効率を向上させることができる原理について、以下図面を用いて詳細に説明する。

図３は、原信号であるオーディオ信号のスペクトルの一例を示した図である。サンプリング周波数は１６ｋＨｚとなっている。

この例では、ピッチ周波数は約６００Ｈｚとなっており、一般的なオーディオ信号において、ピッチ周波数の整数倍の位置、すなわち、調波周波数ｆ１、ｆ２、ｆ３、・・・の位置にスペクトルのピーク（調波スペクトル）が複数現れることがわかる。

図４は、図３に示した原信号スペクトルから第１レイヤ復号信号のスペクトルを減じて得られる残差スペクトルの一例を示した図である。この図において、実線が残差スペクトル、破線が聴覚マスキング閾値を表している。

この図に示すように、第１レイヤにおいて符号化が施されているために、残差スペクトルの振幅は、原信号スペクトルに比べ全体的に小さくなっている。さらに、低域のスペクトルの振幅が高域のスペクトルの振幅よりもより小さくなっている。これは、第１レイヤ符号化部１０２において行われるＣＥＬＰ符号化が、信号エネルギーの大きい成分に対してより符号化歪みを小さくする処理を施すという特徴があるためである。

また、調波周波数上に位置する残差スペクトルは、原信号スペクトルと比べて振幅が減衰しているものの、そのピーク形状は依然として残っている。すなわち、振幅が減衰しても、調波周波数上においては残差スペクトルのピークが聴覚マスキング閾値を超えてしまう状況が多く発生する。さらに、ＣＥＬＰ符号化の上記特徴により、低域よりも高域の方が聴覚マスキング閾値を超える残差スペクトルのピーク数がより多くなる。

一方、聴覚マスキング閾値よりも残差スペクトルが小さい場合には、聴感上その符号化歪みは知覚されない。前述したように、聴覚マスキング閾値を超える残差スペクトルの多くは調波周波数上もしくはその近傍に位置するものであり、高域ほどこの傾向が強い。また、調波周波数以外の周波数における残差スペクトルの多くは、聴覚マスキング閾値よりも小さく、符号化の対象とする必要がない。

そこで、以上の特性を考慮して、本実施の形態では、入力信号の効率的な符号化を行うために、第２レイヤにおいて、調波周波数上に位置するスペクトルを符号化対象とする。

図５は、上記のスケーラブル符号化装置で符号化されたコードを復号する、すなわち、本実施の形態に係るスケーラブル復号化装置の主要な構成を示すブロック図である。

分離部１５１は、上記のスケーラブル符号化装置で符号化されたコードを、第１レイヤ復号化部１５２用の符号化パラメータと、第２レイヤ復号化部１５３用の符号化パラメータとに分離する。

第１レイヤ復号化部１５２は、分離部１５１で得られた符号化パラメータに対しＣＥＬＰ方式の復号化を施し、得られる第１レイヤ復号信号を第２レイヤ復号化部１５３に与える。また、第１レイヤ復号化部１５２は、上記のＣＥＬＰ方式の復号化で得られるピッチ周期を第２レイヤ復号化部１５３に出力する。このピッチ周期として、適応符号帳ラグが用いられる。この第１レイヤ復号信号は、必要に応じ、直接外部にも低品質の復号信号として出力される。

第２レイヤ復号化部１５３は、第１レイヤ復号化部１５２から得られる第１レイヤ復号信号を用いて、分離部１５１で分離された第２レイヤ符号化パラメータに対して後述の復号化処理を施し、得られる第２レイヤ復号信号を必要に応じて高品質の復号信号として外部に出力する。

このように、第１レイヤ復号信号によって再生音声の最低限の品質が担保され、第２レイヤ復号信号によって再生音声の品質を高めることができる。また、第１レイヤ復号信号または第２レイヤ復号信号のいずれを出力するかは、ネットワーク環境（パケットロスの発生等）によって第２レイヤ符号化パラメータが得られるかどうか、または、アプリケーションやユーザの設定等に依存する。

図６は、上記の第２レイヤ復号化部１５３内部の主要な構成を示すブロック図である。

この図に示すＭＤＣＴ分析部１６１、加算器１６２、ピッチ周波数変換部１６４、残差スペクトル符号帳１６６、乗算器１６７、およびゲイン符号帳１６８は、上記のスケーラブル符号化装置の第２レイヤ符号化部１０６（図２参照）が有するＭＤＣＴ分析部１１４、加算器１１６、ピッチ周波数変換部１１２、残差スペクトル符号帳１２１、乗算器１２３、およびゲイン符号帳１２２にそれぞれ対応した構成であり、各部は基本的に同様の機能を有する。

残差スペクトル符号帳１６６は、分離部１５１から与えられる符号化パラメータ(振幅情報)を用いて、格納されている複数の残差スペクトル候補の中から１つの残差スペクトルを選択し、乗算部１６７に出力する。

ゲイン符号帳１６８は、分離部１５１から与えられる符号化パラメータ(ゲイン情報)を用いて、格納されている複数のゲイン候補の中から１つのゲインを選択し、乗算部１６７に出力する。

乗算部１６７は、残差スペクトル符号帳１６６から与えられる残差スペクトルに、ゲイン符号帳１６８から与えられるゲインを乗じ、ゲイン調整後の残差スペクトルを配置部１６５に出力する。

ピッチ周波数変換部１６４は、第１レイヤ復号化部１５２から与えられるピッチ周期を用いて、ピッチ周波数を算出し、配置部１６５に出力する。このピッチ周波数は、ピッチ周期を秒単位の値に変換し、その逆数で表される。

配置部１６５は、ピッチ周波数変換部１６４から与えられるピッチ周波数で表される調波周波数上に、乗算部１６７から与えられるゲイン調整後の残差スペクトルを配置し、加算部１６２に出力する。この残差スペクトルの配置方法は、符号化側の第２レイヤ符号化部１０６内部の選択部１１３、１１５において、ピッチ周波数を用いてどのようにＭＤＣＴ係数を配置したかに依存しており、復号化側でも符号化側と同様の配置方法を採る。

ＭＤＣＴ分析部１６１は、第１レイヤ復号化部１５２から出力された第１レイヤ復号信号をＭＤＣＴ変換により周波数分析し、得られるＭＤＣＴ係数、すなわち、第１レイヤ復号スペクトルを加算器１６２に出力する。

加算器１６２は、ＭＤＣＴ分析部１６１から出力された第１レイヤ復号スペクトルに、配置部１６５から出力される各残差スペクトル配置後のスペクトルを加算することにより、第２レイヤ復号スペクトルを生成し、これを時間領域変換部１６３に出力する。

時間領域変換部１６３は、加算器１６２から出力される第２レイヤ復号スペクトルを時間領域の信号に変換した後、必要に応じて適切な窓掛けおよび重ね合わせ加算等の処理を行ってフレーム間に生じる不連続を回避し、最終的な高品質の復号信号を出力する。

以上説明したように、本実施の形態によれば、第１レイヤにおけるＣＥＬＰ方式の符号化によって求まるピッチ周期を用いて、第２レイヤにおいて、音声信号の調波構造を特定する調波周波数を特定し、この調波周波数上のスペクトルのみを符号化対象とする。よって、音声信号の全周波数帯域を符号化対象とするのではないため、符号化パラメータのビットレートを低減することができると共に、また、調波周波数上のスペクトルは音声信号の特徴をよく表したスペクトルであるため、少ないビットレートで高品質の復号信号を得ることができ符号化効率が良い。さらに、ピッチ周波数に関する付加情報を復号化側へ伝送する必要もない。

なお、本実施の形態では、第２レイヤにおける変換符号化において、調波スペクトル、すなわち、調波周波数上のスペクトルを符号化対象とする場合を例にとって説明したが、符号化対象とするスペクトルは必ずしも調波周波数上のスペクトルに限定する必要はなく、例えば、調波周波数の近傍に位置するスペクトルの中で、他のスペクトルより鋭敏なピーク形状を有しているスペクトルを選択して符号化対象としても良い。この場合、調波周波数から選択されたスペクトルまでの相対的な位置情報を符号化して復号化部へ伝送する必要がある。

なお、本実施の形態では、第２レイヤにおける変換符号化において、調波スペクトル、すなわち、調波周波数上に位置する非常に狭帯域の線スペクトルのようなスペクトルを符号化対象とする場合を例にとって説明したが、符号化対象とするスペクトルは必ずしも線スペクトルのようなスペクトルにする必要はなく、例えば、調波周波数近傍の一定の帯域幅（ただし狭帯域）を有するスペクトルを符号化対象としても良い。例えば、この一定の帯域幅として調波周波数を中心とした一定範囲の周波数領域を設定することができる。

図７は、本実施の形態に係るスケーラブル符号化装置の変形例１の主要な構成を示すブロック図である。なお、既に説明した構成要素と同一の構成要素には同一の符号を付し、その説明を省略する。

第１レイヤ符号化部１０２ａは、第１レイヤ符号化部１０２と基本的動作は同一であるが、ピッチ周期を第２レイヤ符号化部２０６に出力しない点が異なる。第２レイヤ符号化部２０６は、第１レイヤ復号化部１０４から出力される第１レイヤ復号信号Ｓ１３を相関分析してピッチ周期を求める。

図８は、上記の第２レイヤ符号化部２０６内部の主要な構成を示すブロック図である。なお、既に説明した構成要素と同一の構成要素には同一の符号を付し、その説明を省略する。

相関分析部２１１における相関分析は、第１レイヤ復号信号をｙ（ｎ）としたとき、例えば次の式（３）に従って行われる。ここで、τはピッチ周期の候補を表し、探索範囲ＴＭＩＮ〜ＴＭＡＸの中で最もＣｏｒ（τ）を大きくするときのτをピッチ周期として出力する。

第１レイヤ符号化部１０２ａで求められるピッチ周期は、内部の適応符号帳に含まれる適応ベクトル候補と原信号との歪みを最小化する処理において決定されるものであり、適応符号帳に含まれる適応ベクトル候補の内容によっては正しいピッチ周期が求まらず、その整数倍または整数分の１のピッチ周期が求まることがある。しかし、第１レイヤ符号化部１０２ａは、適応符号帳で表しきれない誤差成分を符号化する雑音符号帳も有しており、仮に適応符号帳が有効に機能しない場合でも雑音符号帳を用いて符号化パラメータが生成されることで、この符号化パラメータを復号して得られる第１レイヤ復号信号は、より原信号に近づくことになる。従って、本変形例では、この第１レイヤ復号信号をピッチ分析することでより正確なピッチ情報を得る。

よって、本変形例によれば、符号化性能を向上させることができる。また、第１レイヤ復号信号は復号化側でも得られるため、本変形例によれば、ピッチ周期に関する情報を復号化側に伝送する必要がない。

図９は、図７に示したスケーラブル符号化装置に対応するスケーラブル復号化装置の主要な構成を示すブロック図である。また、図１０は、このスケーラブル復号化装置内の第２レイヤ復号化部２５３の主要な構成を示すブロック図である。ここでも、既に説明した構成要素と同一の構成要素には同一の符号を付し、その説明を省略する。

図１１は、本実施の形態に係るスケーラブル符号化装置の変形例２、特に第２レイヤ符号化部１０６の変形例（第２レイヤ符号化部３０６）の主要な構成を示すブロック図である。ここでも、既に説明した構成要素と同一の構成要素には同一の符号を付し、その説明を省略する。

ピッチ周期修正部３１１は、第１レイヤで得られるピッチ周波数を基準にその周辺のピッチ周波数から、より正確なピッチ周波数を求め直し、その差分量を符号化する。より詳細には、ピッチ周期修正部３１１は、第１レイヤで得られるピッチ周期Ｔに差分量ΔＴを加え、Ｔ＋ΔＴを秒単位の値に変換した後に、その逆数をとりピッチ周波数を求める。このピッチ周波数で特定される調波周波数に位置する下記の式（４）のｄ（ｋ）、もしくは調波周波数を中心に限定された周波数範囲に含まれる下記ｄ（ｋ）の総和Ｓをとる。ここで、Ｍ（ｋ）は聴覚マスキング閾値、ｏ（ｋ）は原信号スペクトル、ｂ（ｋ）は第１レイヤ復号信号のスペクトル、ＭＡＸ（）は最大値を返す関数、ｄ（ｋ）は、聴覚マスキング閾値（Ｍ（ｋ））と残差スペクトル（ｏ（ｋ）−ｂ（ｋ））とを比較して残差スペクトルの振幅が聴覚マスキング閾値をどの程度超えているかを表すパラメータである。

このｄ（ｋ）は、聴感的な歪みを定量化したものに相当する。ピッチ周期修正部３１１は、この総和Ｓが最大となるときのΔＴを符号化してピッチ周期修正情報として出力する。そして、Ｔ＋ΔＴをピッチ周波数変換部１１２に出力する。

図１２は、図１１に示した第２レイヤ符号化部３０６に対応する第２レイヤ復号化部３５３の構成を示すブロック図である。

ピッチ周期修正部３６１は、第２レイヤ符号化部３０６から伝送されたピッチ周期修正情報を基に差分量ΔＴを復号し、ピッチ周期Ｔを加算して修正後のピッチ周期を生成し出力する。

これらの構成によれば、少ないビットを付加してより正確なピッチ周波数を求めることにより、復号信号の高品質化を図ることができる。

（実施の形態２）
本発明の実施の形態２では、残差スペクトル（原信号スペクトルから第１レイヤ復号信号スペクトルを減じたスペクトル）と聴覚マスキング閾値との関係から、第２レイヤで符号化対象とする高域スペクトルを決定するための周波数（起点周波数）を求め、この起点周波数よりも高域のスペクトルについて、実施の形態１で説明した調波スペクトルの符号化を行う。そして、起点周波数の情報を符号化して復号部へ伝送する。

第１レイヤにおける符号化はＣＥＬＰ方式であるため、信号エネルギーの大きい成分の符号化歪みを小さくする性質があり、聴感的に歪みが知覚されるスペクトルは高域部に発生しやすくなる。その性質を利用し、符号化の対象となるスペクトルの数を限定することにより、符号化効率を改善させる。

本実施の形態に係るスケーラブル符号化装置は、実施の形態１に示したスケーラブル符号化装置と同様の基本的構成を有しているので、全体図の説明は省略し、実施の形態１と異なる構成である第２レイヤ符号化部４０６について以下説明する。

図１３は、第２レイヤ符号化部４０６の主要な構成を示すブロック図である。なお、実施の形態１に示した第２レイヤ符号化部１０６と同一の構成要素には同一の符号を付し、その説明を省略する。

起点周波数決定部４１１は、残差スペクトルと聴覚マスキング閾値との関係から、起点周波数を決定する。起点周波数の候補はあらかじめ定められており、符号化側と復号化側とでは起点周波数および符号化パラメータの候補が記録された同一のテーブルを有している。

例えば、起点周波数は、下記で表されるｄ（ｋ）を算出し、このｄ（ｋ）を用いて決定される。

ｄ（ｋ）は、残差スペクトルの振幅が聴覚マスキング閾値をどの程度超えているかを表すパラメータであり、例えば、残差スペクトルの振幅が聴覚マスキング閾値を超えていないスペクトルは０とみなす。

起点周波数決定部４１１は、起点周波数の各候補に対して、調波周波数または調波周波数を中心に限定された区間のｄ（ｋ）の総和をとり、その変化量が大きくなるときの起点周波数を選択して、その符号化パラメータを出力する。

図１４は、残差スペクトルと起点周波数との関係を説明するための図である。上段は、残差スペクトル（実線）および聴覚マスキング閾値（破線）を示しており、下段は、起点周波数を０Ｈｚから３０００Ｈｚに変化させた場合の、すなわち、起点周波数＃０〜＃３における符号化対象のスペクトル周波数（帯域）を示したものである（ここでは、符号化対象の周波数と符号化対象外の周波数とを信号のオン／オフによって示している）。

残差スペクトルは、サンプリング周波数１６ｋＨｚのオーディオ信号を原信号として、この原信号スペクトルから第１レイヤ復号信号のスペクトルを減じて求めたものである。この例では、周波数２０００Ｈｚ以下の残差スペクトルは聴覚マスキング閾値以下となっており、２０００Ｈｚ以上の高調波位置で聴覚マスキング閾値を超える残差スペクトルが現れている。すなわち、前述したｄ（ｋ）の総和の変化量は起点周波数＃２（２０００Ｈｚ）から起点周波数＃３（３０００Ｈｚ）の間で大きく変化する。よって、このとき、符号化対象のスペクトル周波数を特定する情報として、起点周波数＃２を表す符号化パラメータが出力されることになる。

図１５は、上記の第２レイヤ符号化部４０６に対応する第２レイヤ復号化部４５３の主要な構成を示すブロック図である。実施の形態１に示した第２レイヤ復号化部１５３（図６参照）と同一の構成要素には同一の符号を付し、その説明を省略する。

起点周波数復号部４６１は、起点周波数の符号化パラメータを用いて起点周波数を復号し、配置部１６５ｂに出力する。配置部１６５ｂは、この起点周波数とピッチ周波数変換部１６４から出力されるピッチ周波数とを用いて復号残差スペクトルを配置する周波数を求め、この周波数に乗算器１６７から出力される復号残差スペクトルを配置する。

本実施の形態によれば、以下の効果が得られる。すなわち、第１レイヤの符号化はＣＥＬＰ方式の符号化であるため、エネルギーの大きい低域スペクトルは比較的符号化歪みが少なく符号化される。よって、第２レイヤにおいて、起点周波数より高域に位置する調波スペクトルのみを符号化することにより、符号化対象のスペクトルが少なくなり、符号化パラメータのビットレートを少なくすることができる。これは、起点周波数に関する情報を復号化側に伝送しなくてはならないとしても符号化パラメータの低ビットレート化を実現することができる。

（実施の形態３）
本発明の実施の形態３では、複数の音源が存在し、調波スペクトルを特定するためのピッチ周波数が複数存在する場合に、１組ではなく複数の組の調波スペクトルをそれぞれ符号化する。

図１６は、本発明の実施の形態３に係るスケーラブル符号化装置の主要な構成を示すブロック図である。このスケーラブル符号化装置も、実施の形態１に示したスケーラブル符号化装置と同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。

本実施の形態に係るスケーラブル符号化装置の構成は、第１レイヤ符号化部１０２ｃで得られるピッチ周期Ｓ１４を使用して符号化を行う第２レイヤ符号化部１０６ｃと、ピッチ周期Ｓ１４を基準とする周辺のピッチ周期から、新たな調波スペクトル符号化用のピッチ周期を求め、符号化を行う第３レイヤ符号化部５０１とから成る。

第２レイヤ符号化部１０６ｃは、第１レイヤ符号化部１０２ｃで得られるピッチ周期Ｓ１４を基にピッチ周波数を求め、このピッチ周波数で特定される調波スペクトル（第１調波スペクトル）を符号化し、得られる各パラメータ、すなわち、復号第１調波スペクトル（Ｓ５１）、聴覚マスキング閾値（Ｓ５２）、原信号スペクトル（Ｓ５３）、および第１レイヤ復号信号スペクトル（Ｓ５４）を第３レイヤ符号化部５０１に出力する。

第３レイヤ符号化部５０１は、第１レイヤ符号化部１０２ｃで得られるピッチ周期Ｓ１４を基準に、その周辺のピッチ周期、すなわち、ピッチ周期Ｓ１４と近い値である他のピッチ周期から、最も適したピッチ周期を算出し、算出されたピッチ周期から特定される調波スペクトル（第２調波スペクトル）を符号化する。また、第３レイヤ符号化部５０１は、実施の形態１の変形例２と同様に、算出されたピッチ周期のピッチ周期Ｓ１４からの差分量も符号化する。また、上記の新たに算出されるピッチ周期の算出法は、実施の形態１の変形例２と同様の手法を用いる。

図１７は、上記の第２レイヤ符号化部１０６ｃ内部の主要な構成を示すブロック図である。また、図１８は、上記の第３レイヤ符号化部５０１内部の主要な構成を示すブロック図である。

第２レイヤ符号化部１０６ｃ内部の第１調波スペクトル復号部５１１は、ピッチ周期Ｓ１４から求まるピッチ周波数と、第１調波スペクトルを符号化して得られる符号化パラメータ（第１調波符号化パラメータ）とから第１調波スペクトルを復号し、第３レイヤ符号化部５０１に与える（Ｓ５１）。

第３レイヤ符号化部５０１は、第１レイヤ復号スペクトル（Ｓ５４）に第１調波スペクトル（Ｓ５１）を加算し、その結果を利用して第２調波スペクトルの符号化パラメータ（第２調波符号化パラメータ）を探索により決定する。

図１９は、第２レイヤ符号化部１０６ｃで符号化対象となる第１調波周波数と、第３レイヤ符号化部５０１で符号化対象となる第２調波周波数とを概念的に示した図である。ここでは、符号化対象の周波数と符号化対象外の周波数とを信号のオン／オフによって示している。

このように、本実施の形態によれば、異なる２つの調波スペクトルを有する入力信号に対しても、各調波スペクトルを各々高効率に符号化することができる。さらに、これを応用すれば、例えば、複数の話者や楽器が含まれている場合のように、調波周波数の異なる複数の調波スペクトルを有する信号に対して、高品質な符号化を行うことができる。よって、主観品質を改善することができる。この構成によれば、基準のピッチ周期からの差分量を符号化するため、符号化パラメータを低ビットレート化することができる。

なお、実施の形態１の変形例１で示したように、第２レイヤ符号化部１０６ｃは、ピッチ周期Ｓ１４の代わりに、第１レイヤ復号信号Ｓ１３を分析して求められるピッチ周期を用いても良い。

図２０は、上記の本実施の形態に係るスケーラブル符号化装置に対応するスケーラブル復号化装置の主要な構成を示すブロック図である。実施の形態１に示したスケーラブル復号化装置と同一の構成要素には同一の符号を付し、その説明を省略する。

第２レイヤ復号化部１５３ｃは、第１レイヤ符号化パラメータと第１調波符号化パラメータまでの情報とを用いて復号処理を行い、高品質＃１の復号信号を出力する。第３レイヤ復号化部５５１は、第１レイヤ符号化パラメータと第１調波符号化パラメータと第２調波符号化パラメータの情報とを用いて復号処理を行い、高品質＃１の復号信号よりさらに高品質な高品質＃２の復号信号を出力する。

図２１は、上記の第２レイヤ復号化部１５３ｃ内部の主要な構成を示すブロック図である。また、図２２は、上記の第３レイヤ復号化部５５１内部の主要な構成を示すブロック図である。

第２レイヤ復号化部１５３ｃは、ピッチ周期と第１調波符号化パラメータとから第１調波スペクトルを復号し、第１調波スペクトルと第１レイヤ復号スペクトルとの加算結果を第３レイヤ復号化部５５１に与える。第３レイヤ復号化部５５１は、第１レイヤ復号スペクトルに復号第１調波スペクトルを加算したスペクトル（Ｓ５５）に復号第２調波スペクトルを加算する。

本構成によれば、符号化パラメータの一部または全てを用いることで、低品質な復号信号、高品質＃１の復号信号、高品質＃２の復号信号という、３種類の品質の復号信号を生成することが可能となる。これはスケーラブル機能をより細かく制御できることを意味する。

以上、本発明の各実施の形態について説明した。

本発明に係るスケーラブル符号化装置、スケーラブル復号化装置、およびこれらの方法は、上記各実施の形態に限定されず、種々変更して実施することが可能である。例えば、各実施の形態は、適宜組み合わせて実施することが可能である。

本発明に係るスケーラブル符号化装置およびスケーラブル復号化装置は、移動体通信システムにおける通信端末装置および基地局装置に搭載することも可能であり、これにより上記と同様の作用効果を有する通信端末装置および基地局装置を提供することができる。

なお、上記各実施の形態においては、スケーラブル符号化の階層数が２または３である場合を例にとって説明したが、これに限定されず、４以上の階層を持つスケーラブル符号化にも適用することができる。

また、上記各実施の形態においては、第１レイヤ符号化部においてＣＥＬＰ方式の符号化が行われる場合を例にとって説明したが、これに限定されず、第１レイヤ符号化部における符号化方法は、音声信号のピッチ周期を利用した符号化方法であれば良い。

また、本発明は、各レイヤの扱う信号のサンプリングレートが異なるときにも適用可能である。例えば、第ｎレイヤの扱う信号のサンプリングレートをＦｓ（ｎ）と表した場合、Ｆｓ（ｎ）≦Ｆｓ（ｎ＋１）の関係が成り立つ。

また、上記各実施の形態においては、第２レイヤにおける変換符号化の方式として、ＭＤＣＴを使用する場合を例にとって説明したが、これに限定されず、例えば、ＤＦＴ（離散フーリエ変換）、コサイン変換、Wavelet変換等の他の変換符号化方式であっても良い。

また、第１レイヤで得られるピッチ周期（Ｔ１）を基準に周辺のピッチ周期を決定する際に、Ｔ１の整数倍または整数分の１の少なくとも一方を含むピッチ周期もピッチ周期決定の際の基準に加えても良い。これは、半ピッチ、倍ピッチの対策となる。

また、ここでは、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はソフトウェアで実現することも可能である。

また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されていても良いし、一部または全てを含むように１チップ化されていても良い。

また、ここではＬＳＩとしたが、集積度の違いによって、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩ等と呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラム化することが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続もしくは設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。

さらに、半導体技術の進歩または派生する別技術により、ＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適応等が可能性としてあり得る。

本明細書は、２００４年１０月２８日出願の特願２００４−３１４２３０に基づく。この内容はすべてここに含めておく。

本発明に係るスケーラブル符号化装置、スケーラブル復号化装置、およびこれらの方法は、移動体通信システムにおける通信端末装置、基地局装置等の用途に適用できる。

実施の形態１に係るスケーラブル符号化装置の主要な構成を示すブロック図実施の形態１に係る第２レイヤ符号化部内部の主要な構成を示すブロック図オーディオ信号のスペクトルの一例を示した図残差スペクトルの一例を示した図実施の形態１に係るスケーラブル復号化装置の主要な構成を示すブロック図実施の形態１に係る第２レイヤ復号化部内部の主要な構成を示すブロック図実施の形態１に係るスケーラブル符号化装置の変形例１の主要な構成を示すブロック図実施の形態１に係る第２レイヤ符号化部の主要な構成を示すブロック図実施の形態１に係るスケーラブル復号化装置の主要な構成を示すブロック図実施の形態１に係る第２レイヤ復号化部の主要な構成を示すブロック図実施の形態１に係る第２レイヤ符号化部の変形例の主要な構成を示すブロック図実施の形態１に係る第２レイヤ復号化部の構成を示すブロック図実施の形態２に係る第２レイヤ符号化部の主要な構成を示すブロック図残差スペクトルと起点周波数との関係を説明するための図実施の形態２に係る第２レイヤ復号化部の主要な構成を示すブロック図実施の形態３に係るスケーラブル符号化装置の主要な構成を示すブロック図実施の形態３に係る第２レイヤ符号化部内部の主要な構成を示すブロック図実施の形態３に係る第３レイヤ符号化部内部の主要な構成を示すブロック図第１調波周波数と第２調波周波数とを概念的に示した図実施の形態３に係るスケーラブル復号化装置の主要な構成を示すブロック図実施の形態３に係る第２レイヤ復号化部内部の主要な構成を示すブロック図実施の形態３に係る第３レイヤ復号化部内部の主要な構成を示すブロック図

Claims

音声信号を当該音声信号のピッチ周期を用いて符号化することにより第１の符号化パラメータを生成する第１の符号化手段と、
前記ピッチ周期からピッチ周波数を算出する算出手段と、
前記第１の符号化パラメータを用いて復号信号を生成する復号手段と、
前記音声信号のスペクトルと前記復号信号のスペクトルとから、ピッチ周波数の整数倍の周波数を選択する選択手段と、
前記選択された周波数の前記音声信号のスペクトルから前記選択された周波数の前記復号信号のスペクトルを減じて得られた残差スペクトルに対して符号化を行って第２の符号化パラメータを生成する第２の符号化手段と、
を具備し、
前記残差スペクトルは、前記選択手段により選択されたピッチ周波数の整数倍の周波数が特定の周波数よりも高い周波数に限定される
スケーラブル符号化装置。
前記特定の周波数は、
前記残差スペクトルと所定の閾値との関係に基づいて決定される、
請求項１記載のスケーラブル符号化装置。
前記第２の符号化手段は、
前記特定の周波数に関する情報をさらに符号化する、
請求項１記載のスケーラブル符号化装置。
前記第２の符号化パラメータを用いて調波スペクトルを生成する調波スペクトル復号部と、
前記復号信号のスペクトルと前記音声信号のスペクトルと前記調波スペクトルとを用いて、前記第２の符号化手段で用いられるピッチ周波数と異なるピッチ周波数の整数倍の周波数が選択されて求められる第２の残差スペクトルに対して符号化を行う第３の符号化手段と、
をさらに具備する請求項１記載のスケーラブル符号化装置。
前記第３の符号化手段は、
前記異なるピッチ周波数と前記第２の符号化手段で用いられるピッチ周波数との差をさらに符号化する、
請求項３記載のスケーラブル符号化装置。
前記算出手段は、
前記復号信号から前記ピッチ周期を取得し、前記ピッチ周波数を算出する、
請求項１記載のスケーラブル符号化装置。
前記ピッチ周期を当該ピッチ周期の周辺のピッチ周期に基づいて修正する修正手段をさらに具備し、
前記算出手段は、
修正後のピッチ周期から前記ピッチ周波数を算出する、
請求項１記載のスケーラブル符号化装置。
前記第２の符号化手段は、
前記ピッチ周期と前記修正後のピッチ周期との差をさらに符号化する、
請求項６記載のスケーラブル符号化装置。
前記第２の符号化手段は、
ＭＤＣＴ（Modified Discrete Cosine Transform；変形離散コサイン変換）を用いる符号化を行う、
請求項１記載のスケーラブル符号化装置。
前記ピッチ周波数の整数倍の周波数における残差スペクトルとは、一定の帯域幅を有している残差スペクトルである、
請求項１記載のスケーラブル符号化装置。
音声信号のピッチ周期を用いて符号化された前記音声信号の第１の符号化パラメータを、前記ピッチ周期を利用して第１の復号信号を生成する第１の復号化手段と、
前記ピッチ周期からピッチ周波数を算出する算出手段と、
前記第１の復号信号と、前記音声信号のスペクトルと前記第１の復号信号のスペクトルとを用いて前記ピッチ周波数の整数倍の周波数のスペクトルが選択されて求められる残差スペクトルを符号化して得られる第２の符号化パラメータとを用いて第２の復号信号を生成する第２の復号化手段
を具備するスケーラブル復号化装置において、
前記第２の復号化手段は、
前記残差スペクトルを生成する生成手段と、
前記残差スペクトルのうち、前記ピッチ周波数の整数倍の周波数における前記残差スペクトルに関するパラメータを用いて設定される特定の周波数よりも高域で、かつ前記ピッチ周波数の整数倍の周波数に前記生成手段によって生成される前記残差スペクトルを配置する配置手段と、
を有するスケーラブル復号化装置。
請求項１記載のスケーラブル符号化装置を具備する通信端末装置。
請求項１１記載のスケーラブル復号化装置を具備する通信端末装置。
請求項１記載のスケーラブル符号化装置を具備する基地局装置。
請求項１１記載のスケーラブル復号化装置を具備する基地局装置。
音声信号を当該音声信号のピッチ周期を用いて符号化することにより第１の符号化パラメータを生成するステップと、
前記ピッチ周期からピッチ周波数を算出するステップと、
前記第１の符号化パラメータを用いて復号信号を生成するステップと、
前記音声信号のスペクトルと前記復号信号のスペクトルとから、ピッチ周波数の整数倍の周波数を選択するステップと、
前記選択された周波数の前記音声信号のスペクトルから前記選択された周波数の前記復号信号のスペクトルを減じて得られた残差スペクトルに対して符号化を行って第２の符号化パラメータを生成するステップと、
を具備し、
前記残差スペクトルは、前記選択するステップにより選択されたピッチ周波数の整数倍の周波数が特定の周波数よりも高い周波数に限定される、
スケーラブル符号化方法。
音声信号のピッチ周期を用いて符号化された前記音声信号の第１の符号化パラメータを、前記ピッチ周期を利用して第１の復号信号を生成する第１の復号化ステップと、
前記ピッチ周期からピッチ周波数を算出する算出ステップと、
前記第１の復号信号と、前記音声信号のスペクトルと前記第１の復号信号のスペクトルとを用いて前記ピッチ周波数の整数倍の周波数のスペクトルが選択されて求められる残差スペクトルを符号化して得られる第２の符号化パラメータとを用いて第２の復号信号を生成する第２の復号化ステップと、
を具備するスケーラブル復号化方法において、
前記第２の復号化ステップは、
前記残差スペクトルを生成する生成ステップと、
前記残差スペクトルのうち、前記ピッチ周波数の整数倍の周波数における前記残差スペクトルに関するパラメータを用いて設定される特定の周波数よりも高域で、かつ前記ピッチ周波数の整数倍の周波数に前記生成ステップによって生成される前記残差スペクトルを配置する配置ステップと、
を含むスケーラブル復号化方法。