JP4954080B2

JP4954080B2 - 変換符号化装置および変換符号化方法

Info

Publication number: JP4954080B2
Application number: JP2007540000A
Authority: JP
Inventors: 正浩押切; 智史山梨
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2005-10-14
Filing date: 2006-10-13
Publication date: 2012-06-13
Anticipated expiration: 2026-10-13
Also published as: US20090281811A1; US8135588B2; RU2008114382A; EP1953737A4; WO2007043648A1; CN102623014A; CN101283407B; US20120136653A1; US8311818B2; EP1953737A1; CN101283407A; EP1953737B1; BRPI0617447A2; KR20080047443A; JPWO2007043648A1

Description

本発明は、周波数領域において入力信号の符号化を行う変換符号化装置および変換符号化方法に関する。

移動体通信システムにおける電波資源等の有効利用のために、音声信号を低ビットレートで圧縮することが要求されている。その一方で、ユーザからは通話音声の品質向上や臨場感の高い通話サービスの実現が望まれている。この実現には、音声信号の高品質化のみならず、より帯域の広いオーディオ信号等の音声以外の信号をも高品質に符号化できることが望ましい。そのため、複数の符号化技術を階層的に統合するアプローチが有望視されている。

例えば、音声信号に適したモデルで入力信号を低ビットレートで符号化する第１レイヤと、入力信号と第１レイヤ復号信号の差分信号を音声以外の信号にも適したモデルで符号化する第２レイヤと、を階層的に組み合わせる技術がある（例えば、非特許文献１参照）。ここでは、ＭＰＥＧ−４（Moving Picture Experts Group phase-4）で規格化された技術を用いてスケーラブル符号化を行う例が示されている。具体的には、音声信号に適したＣＥＬＰ（Code Excited Linear Prediction：符号励信線形予測）を第１レイヤに用い、原信号から第１レイヤ復号信号を減じた残差信号に対してＡＡＣ（Advanced Audio Coder）やＴｗｉｎＶＱ（Transform Domain Weighted Interleave Vector Quantization：周波数領域重み付きインタリーブベクトル量子化）のような変換符号化を第２レイヤとして用いている。

ところで、ＴｗｉｎＶＱという変換符号化は、入力信号にＭＤＣＴ（Modified Discrete Cosine Transform：変形離散コサイン変換）を施し、得られるＭＤＣＴ係数を、スペクトル包絡とバーク尺度ごとの平均振幅とで正規化を行う技術である（例えば、非特許文献２参照）。ここで、スペクトル包絡を表すＬＰＣ係数とバーク尺度ごとの平均振幅値とは、それぞれ別個に符号化され、正規化されたＭＤＣＴ係数がインタリーブされ、サブベクトルに分割され、ベクトル量子化が施される。特に、スペクトル包絡とバーク尺度ごとの平均振幅とをスケールファクタと呼び、正規化後のＭＤＣＴ係数をスペクトルの微細構造（以下、微細スペクトル）と呼ぶこととすると、ＴｗｉｎＶＱは、ＭＤＣＴ係数をスケールファクタと微細スペクトルとに分離して符号化を行う技術と考えることができる。

ＴｗｉｎＶＱに代表される変換符号化において、スケールファクタは、微細スペクトルのエネルギーを制御するために用いられる。このため、スケールファクタの主観品質（人間の聴感品質）に与える影響は大きく、スケールファクタの符号化歪みが大きい場合は主観品質を大きく劣化させてしまう。従って、スケールファクタの高性能な符号化は重要である。
三木弼一編著、「ＭＰＥＧ−４の全て（初版）」（株）工業調査会、１９９８年９月３０日、ｐ．１２６−１２７岩上直樹、守谷健弘、三樹聡、池田和永、神明夫著、「周波数領域重み付けインタリーブベクトル量子化（ＴｗｉｎＶＱ）による楽音符号化」信学論（Ａ）、１９９７年５月、ｖｏｌ．Ｊ８０−Ａ、ｎｏ．５、ｐ．８３０−８３７

ＴｗｉｎＶＱは、スケールファクタに相当する情報を、スペクトル包絡とバーク尺度ご
との平均振幅とで表す。例えば、バーク尺度ごとの平均振幅に着目すると、非特許文献２に開示の技術では、次式で表される重み付き２乗誤差ｄを最小にするバーク尺度ごとの平均振幅ベクトルを決定している。

ここで、ｉはバーク尺度の番号、Ｅ_ｉは第ｉバークの平均振幅、Ｃ_ｉ（ｍ）は平均振幅符号帳に記録されている第ｍ平均振幅ベクトルを示す。

上記式（１）で示される重み関数ｗ_ｉは、バーク尺度、すなわち周波数の関数であり、バーク尺度ｉが同じ場合、入力スケールファクタと量子化候補との差（Ｅ_ｉ−Ｃ_ｉ（ｍ））に対して乗じられる重み（ウェイト）ｗ_ｉは常に同一である。

また、ｗ_ｉはバーク尺度に対応する重みを表し、スペクトル包絡の大きさに基づいて算出される。例えば、スペクトル包絡の小さな帯域に対する平均振幅の重みは小さな値となり、スペクトル包絡の大きな帯域に対する平均振幅の重みは大きな値となる。よって、スペクトル包絡の大きな帯域に対する平均振幅の重みは大きく設定されるため、結果として、この帯域を重要視して符号化を行うこととなる。逆に、スペクトル包絡の小さい帯域に対する平均振幅の重みは小さく設定されるため、この帯域の重要度は低くなる。

一般に、スペクトル包絡の大きい帯域が音声品質に与える影響は大きく、この帯域に属するスペクトルを正確に表すことが音声品質を改善するためには重要である。しかしながら、非特許文献２に開示の技術では、低ビットレート化を図るために平均振幅の量子化に配分するビット数を少なくした場合、ビット数が充分でないために平均振幅ベクトルＣ（ｍ）の候補数が限定されてしまい、たとえ上記式（１）を満足する平均振幅ベクトルを決定したとしても、その量子化歪みは大きくなり、音声品質の劣化を招くという問題がある。

本発明の目的は、ビット数が充分に割り当てられない場合でも、聴感的な音声品質の劣化を軽減することができる変換符号化装置および変換符号化方法を提供することである。

本発明の変換符号化装置は、入力スペクトルに対応する複数の入力スケールファクタを算出する入力スケールファクタ算出手段と、スケールファクタを複数格納し、一のスケールファクタを出力する符号帳と、前記複数の入力スケールファクタのうちの一の入力スケールファクタと前記符号帳から出力されるスケールファクタとの歪みを算出する歪み算出手段と、前記一の入力スケールファクタが前記符号帳から出力されるスケールファクタより大きい場合の前記歪みよりも、前記一の入力スケールファクタが前記符号帳から出力されるスケールファクタより小さい場合の前記歪みに対して、より重みを付けた重み付き歪みを算出する重み付き歪み算出手段と、前記符号帳において、前記重み付き歪みを最小とするスケールファクタを探索する探索手段と、を具備する構成を採る。

本発明によれば、低ビットレート環境下においても、聴感的な音声品質の劣化を軽減することができる。

本発明は、大別して、スケーラブル符号化に適用する場合と単一レイヤからなる符号化に適用する場合とに分けられる。ここで、スケーラブル符号化とは、複数のレイヤからなる階層構造を有する符号化方式で、各レイヤで生成される符号化パラメータがスケーラビリティを有するという特徴がある。すなわち、複数レイヤの符号化パラメータの一部のレイヤ（低位レイヤ）の符号化パラメータからでも、ある程度の品質の復号信号が得られ、より多くのレイヤの符号化パラメータを用いて復号を行うことにより、より高品質の復号信号が得られるという特徴を有している。

そこで、実施の形態１〜３、５〜８では、本発明をスケーラブル符号化に適用する場合について説明し、実施の形態４では、本発明を単一レイヤからなる符号化に適用する場合について説明する。なお、実施の形態１〜３、５〜８では、以下の場合を例にとって説明を行うこととする。
（１）第１レイヤと当該レイヤより上位の第２レイヤとからなる、すなわち、下位レイヤと上位レイヤとからなる２階層構造のスケーラブル符号化を行う。
（２）符号化パラメータが周波数軸方向にスケーラビリティを有する帯域スケーラブル符号化を行う。
（３）第２レイヤでは、周波数領域における符号化、すなわち変換符号化を行い、変換
方式として、ＭＤＣＴ（Modified Discrete Cosine Transform：変形離散コサイン変換）を使用する。

また、全ての実施の形態において、本発明を音声信号の符号化に適用する場合を例にとって説明する。以下、本発明の実施の形態について、添付図面を参照して詳細に説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る変換符号化装置を備えるスケーラブル符号化装置の主要な構成を示すブロック図である。

本実施の形態に係るスケーラブル符号化装置は、ダウンサンプリング部１０１、第１レイヤ符号化部１０２、多重化部１０３、第１レイヤ復号化部１０４、遅延部１０５、および第２レイヤ符号化部１０６を備え、各部は以下の動作を行う。

ダウンサンプリング部１０１は、サンプリングレートＦ２の入力信号からサンプリングレートＦ１（Ｆ１≦Ｆ２）の信号を生成し、第１レイヤ符号化部１０２に与える。第１レイヤ符号化部１０２は、ダウンサンプリング部１０１から出力されたサンプリングレートＦ１の信号を符号化する。第１レイヤ符号化部１０２で得られた符号化パラメータは、多重化部１０３に与えられると共に、第１レイヤ復号化部１０４に与えられる。第１レイヤ復号化部１０４は、第１レイヤ符号化部１０２から出力された符号化パラメータから、第１レイヤの復号信号を生成する。

一方、遅延部１０５は、入力信号に所定の長さの遅延を与える。この遅延は、ダウンサンプリング部１０１、第１レイヤ符号化部１０２、および第１レイヤ復号化部１０４で生じる時間遅れを補正するためのものである。第２レイヤ符号化部１０６は、第１レイヤ復号化部１０４で生成された第１レイヤ復号信号を用いて、遅延部１０５から出力された所定時間遅延された入力信号の変換符号化を行い、生成された符号化パラメータを多重化部１０３に出力する。

多重化部１０３は、第１レイヤ符号化部１０２で求められる符号化パラメータと、第２レイヤ符号化部１０６で求められる符号化パラメータとを多重化し、これを最終的な符号化パラメータとして出力する。

図２は、第２レイヤ符号化部１０６内部の主要な構成を示すブロック図である。

第２レイヤ符号化部１０６は、ＭＤＣＴ分析部１１１、１１２、高域スペクトル推定部１１３、および補正スケールファクタ符号化部１１４を備え、各部は以下の動作を行う。

ＭＤＣＴ分析部１１１は、第１レイヤ復号信号をＭＤＣＴ分析して、信号帯域（周波数帯域）０〜ＦＬの低域スペクトル（狭帯域スペクトル）を算出し、高域スペクトル推定部１１３に出力する。

ＭＤＣＴ分析部１１２は、原信号である音声信号をＭＤＣＴ分析して、信号帯域０〜ＦＨの広帯域スペクトルを算出し、このうち、狭帯域スペクトルと同じ帯域幅で、かつ信号帯域が高域ＦＬ〜ＦＨの高域スペクトルを、高域スペクトル推定部１１３および補正スケールファクタ符号化部１１４に出力する。ここで、狭帯域スペクトルの信号帯域と広帯域スペクトルの信号帯域との間には、ＦＬ＜ＦＨの関係がある。

高域スペクトル推定部１１３は、信号帯域０〜ＦＬの低域スペクトルを利用して、信号
帯域ＦＬ〜ＦＨの高域スペクトルを推定し、推定スペクトルを得る。推定スペクトルの導出方法は、高域スペクトルとの類似度が最大となるような推定スペクトルを、低域スペクトルを基に、この低域スペクトル変形することにより求める。高域スペクトル推定部１１３は、この推定スペクトルに関する情報（推定情報）を符号化し、得られる符号化パラメータを出力すると共に、推定スペクトル自体を補正スケールファクタ符号化部１１４に与える。

以下の説明では、高域スペクトル推定部１１３から出力される推定スペクトルのことを第１スペクトルと呼び、ＭＤＣＴ分析部１１２から出力される高域スペクトルのことを第２スペクトルと呼ぶこととする。

ここで、上記説明で現れた各種スペクトルをまとめて信号帯域と併せて示すと、以下のようになる。
狭帯域スペクトル（低域スペクトル）・・・０〜ＦＬ
広帯域スペクトル・・・０〜ＦＨ
第１スペクトル（推定スペクトル）・・・ＦＬ〜ＦＨ
第２スペクトル（高域スペクトル）・・・ＦＬ〜ＦＨ

補正スケールファクタ符号化部１１４は、第１スペクトルのスケールファクタが第２スペクトルのスケールファクタに近づくように、第１スペクトルのスケールファクタを補正し、この補正スケールファクタに関する情報を符号化して出力する。

図３は、補正スケールファクタ符号化部１１４内部の主要な構成を示すブロック図である。

補正スケールファクタ符号化部１１４は、スケールファクタ算出部１２１、１２２、補正スケールファクタ符号帳１２３、乗算器１２４、減算器１２５、判定部１２６、重み付き誤差算出部１２７、および探索部１２８を備え、各部は以下の動作を行う。

スケールファクタ算出部１２１は、入力される第２スペクトルの信号帯域ＦＬ〜ＦＨを複数のサブバンドに分割し、各サブバンドに含まれるスペクトルの大きさを求め、減算器１２５に出力する。具体的には、サブバンドへの分割は、臨界帯域に対応付けて行われ、バーク尺度で等間隔に分割される。また、スケールファクタ算出部１２１は、各サブバンドに含まれるスペクトルの平均振幅を求め、これを第２スケールファクタＳＦ２（ｋ）｛０≦ｋ＜ＮＢ｝とする。ここでＮＢはサブバンド数を表す。なお、平均振幅の代わりに最大振幅値等を用いても良い。

スケールファクタ算出部１２２は、入力される第１スペクトルの信号帯域ＦＬ〜ＦＨを複数のサブバンドに分割し、各サブバンドの第１スケールファクタＳＦ１（ｋ）｛０≦ｋ＜ＮＢ｝を算出し、乗算器１２４に出力する。なお、スケールファクタ算出部１２２では、スケールファクタ算出部１２１と同様に、平均振幅の代わりに最大振幅値等を用いても良い。

以降の処理においては、複数のサブバンドにおける各パラメータを１つのベクトル値にまとめる。例えば、ＮＢ個のスケールファクタを１つのベクトルとして表す。そして、このベクトル毎に各処理を行う場合、すなわち、ベクトル量子化を行う場合を例にとって説明を行う。

補正スケールファクタ符号帳１２３は、補正スケールファクタの候補が複数格納されており、探索部１２８からの指示に従い、格納されている補正スケールファクタの候補のう
ちの１つを乗算器１２４に順次出力する。補正スケールファクタ符号帳１２３に格納されている補正スケールファクタの複数の候補は、ベクトルで表される。

乗算器１２４は、スケールファクタ算出部１２２から出力される第１スケールファクタと、補正スケールファクタ符号帳１２３から出力される補正スケールファクタの候補とを乗算し、乗算結果を減算器１２５に与える。

減算器１２５は、スケールファクタ算出部１２１より出力される第２スケールファクタから、乗算器１２４の出力、すなわち、第１スケールファクタおよび補正スケールファクタ候補の積を減じ、これにより得られる誤差信号を、重み付き誤差算出部１２７および判定部１２６に与える。

判定部１２６は、減算器１２５から与えられる誤差信号の符号に基づいて、重み付き誤差算出部１２７に与える重みベクトルを決定する。具体的には、減算器１２５から与えられる誤差信号ｄ（ｋ）は、以下の式（２）によって表される。

ここで、ｖ_ｉ（ｋ）は、第ｉ番目の補正スケールファクタの候補を表す。判定部１２６は、ｄ（ｋ）の符号を調べ、正である場合にはｗ_ｐｏｓ、負である場合にはｗ_ｎｅｇを重み（ウェイト）として選択し、これらから構成される重みベクトルｗ（ｋ）を、重み付き誤差算出部１２７に出力する。これらの重みには、以下の式（３）の大小関係がある。

例えば、サブバンド数ＮＢ＝４であり、ｄ（ｋ）の符号が｛＋，−，−，＋｝となる場合、重み付き誤差算出部１２７に出力される重みベクトルｗ（ｋ）は、ｗ（ｋ）＝｛ｗ_ｐｏｓ，ｗ_ｎｅｇ，ｗ_ｎｅｇ，ｗ_ｐｏｓ｝と表される。

重み付き誤差算出部１２７は、まず、減算部１２５から与えられる誤差信号の２乗値を算出し、次に、判定部１２６から与えられる重みベクトルｗ（ｋ）を誤差信号の２乗値に乗じて、重み付き２乗誤差Ｅを算出し、算出結果を探索部１２８に与える。ここで、重み付き２乗誤差Ｅは以下の式（４）のように表される。

探索部１２８は、補正スケールファクタ符号帳１２３を制御して、格納されている補正スケールファクタの候補を順次出力させ、閉ループ処理により、重み付き誤差算出部１２７から出力される重み付き２乗誤差Ｅが最小となる補正スケールファクタの候補を求める。探索部１２８は、求まった補正スケールファクタの候補のインデックスｉｏｐｔを符号化パラメータとして出力する。

上記のように、誤差信号の符号に応じて重み付き２乗誤差を算出するときの重みを設定
し、かつその重みが式（２）に示されるような関係がある場合、次のような作用が得られる。すなわち、誤差信号ｄ（ｋ）が正の場合とは、復号化側で生成される復号値（符号化側で言うと、第１スケールファクタに補正スケールファクタ候補を乗じた値）が目標値である第２スケールファクタよりも小さくなる場合である。また、誤差信号ｄ（ｋ）が負の場合とは、復号化側で生成される復号値が目標値である第２スケールファクタよりも大きくなる場合である。従って、誤差信号ｄ（ｋ）が正の場合の重みを、誤差信号ｄ（ｋ）が負の場合の重みよりも小さくなるように設定することにより、２乗誤差が同程度の値の場合、第２スケールファクタよりも小さい復号値を生成する補正スケールファクタ候補が選択されやすくなる。

これにより次のような改善効果が得られる。例えば、本実施の形態のように、低域スペクトルを利用して高域スペクトルを推定する場合、一般的には、低ビットレート化を実現することができる。しかし、低ビットレート化を実現する一方で、推定スペクトルの精度、すなわち、推定スペクトルと高域スペクトルとの類似性は、上述の通り、充分に高いとは言えない。かかる場合に、スケールファクタの復号値が目標値よりも大きくなり、量子化後のスケールファクタが推定スペクトルを強調する方向に作用すると、推定スペクトルの精度の低さが人間の耳に品質劣化として知覚されやすくなる。逆に、スケールファクタの復号値が目標値よりも小さくなり、量子化後のスケールファクタがこの推定スペクトルを減衰する方向に作用するときは、推定スペクトルの精度の低さが目立たなくなり、復号信号の音質が改善するという効果が得られる。なお、この傾向は、計算機によるシミュレーションにおいても確認することができた。

次いで、上記のスケーラブル符号化装置に対応する、本実施の形態に係るスケーラブル復号化装置について説明する。図４は、このスケーラブル復号化装置の主要な構成を示すブロック図である。

分離部１５１は、符号化パラメータを示す入力ビットストリームに対し分離処理を施し、第１レイヤ復号化部１５２用の符号化パラメータと、第２レイヤ復号化部１５３用の符号化パラメータとを生成する。

第１レイヤ復号化部１５２は、分離部１５１で得られた符号化パラメータを用いて信号帯域０〜ＦＬの復号信号を復号し、この復号信号を出力する。また、第１レイヤ復号化部１５２は、得られた復号信号を第２レイヤ復号化部１５３にも与える。

第２レイヤ復号化部１５３には、分離部１５１で分離された符号化パラメータと第１レイヤ復号化部１５２から出力される第１レイヤ復号信号とが与えられる。第２レイヤ復号化部１５３は、スペクトル復号化を行い、時間領域の信号に変換して信号帯域０〜ＦＨの広帯域の復号信号を生成し、これを出力する。

図５は、第２レイヤ復号化部１５３内部の主要な構成を示すブロック図である。なお、第２レイヤ復号化部１５３は、本実施の形態に係る変換符号化装置における第２レイヤ符号化部１０６に対応する構成要素である。

ＭＤＣＴ分析部１６１は、第１レイヤ復号信号をＭＤＣＴ分析して、信号帯域０〜ＦＬの第１スペクトルを算出し、高域スペクトル復号化部１６２に出力する。

高域スペクトル復号化部１６２は、本実施の形態に係る変換符号化装置から送られてくる符号化パラメータ（推定情報）と第１スペクトルとを用い、信号帯域ＦＬ〜ＦＨの推定スペクトル（微細スペクトル）を復号する。得られた推定スペクトルは乗算器１６４に与えられる。

補正スケールファクタ復号化部１６３は、本実施の形態に係る変換符号化装置から送られてくる符号化パラメータ（補正スケールファクタ）を用いて補正スケールファクタを復号する。具体的には、内蔵の補正スケールファクタ符号帳（図示せず）を参照し、対応する補正スケールファクタを乗算器１６４に出力する。

乗算器１６４は、高域スペクトル復号化部１６２から出力される推定スペクトルに、補正スケールファクタ復号化部１６３から出力される補正スケールファクタを乗じ、乗算結果を連結部１６５に出力する。

連結部１６５は、第１スペクトルと乗算器１６４から出力される推定スペクトルとを周波数軸上において連結し、信号帯域０〜ＦＨの広帯域の復号スペクトルを生成して、時間領域変換部１６６に出力する。

時間領域変換部１６６は、連結部１６５から出力される復号スペクトルに対し、逆ＭＤＣＴ処理を施し、適切な窓関数を乗じた後に、前フレームの窓掛け後の信号と対応する領域を加算して、第２レイヤ復号信号を生成して出力する。

以上説明したように、本実施の形態によれば、高位レイヤの周波数領域での符号化において、入力信号を周波数領域の係数に変換してスケールファクタを量子化する際に、スケールファクタが小さくなる量子化候補が選択されやすくなる重み付き歪み尺度を用いてスケールファクタの量子化を行う。すなわち、量子化後のスケールファクタが量子化前のスケールファクタよりも小さいものが選ばれやすくなる。よって、スケールファクタの量子化に配分されるビット数が充分でない場合でも、聴感的な主観品質の劣化を抑えることができる。

また、非特許文献２に開示の技術によれば、上記式（１）で示される重み関数ｗ_ｉは、バーク尺度ｉが同じ場合、常に同一となる。しかし、本実施の形態によれば、バーク尺度ｉが同じであったとしても、入力信号と量子化候補との差（Ｅ_ｉ−Ｃ_ｉ（ｍ））に応じて差に乗じる重みを変えることになる。すなわち、重みは、Ｅ_ｉ−Ｃ_ｉ（ｍ）が負となる量子化候補Ｃ_ｉ（ｍ）よりも、Ｅ_ｉ−Ｃ_ｉ（ｍ）が正となる量子化候補Ｃ_ｉ（ｍ）が選択されやすくなるように、換言すれば、原スケールファクタよりも量子化後のスケールファクタが小さくなるように設定されている。

なお、本実施の形態では、ベクトル量子化を用いる場合を例にとって説明したが、ベクトル量子化、すなわちベクトル毎に処理を行う代わりに、サブバンド毎に独立に処理を行っても良い。かかる場合、例えば、補正スケールファクタ符号帳に含まれる補正スケールファクタ候補はスカラーで表される。

（実施の形態２）
本発明の実施の形態２に係る変換符号化装置を備えるスケーラブル符号化装置の基本的構成は、実施の形態１と同様である。よって、その説明を省略し、実施の形態１と異なる構成である第２レイヤ符号化部２０６について以下説明する。

図６は、第２レイヤ符号化部２０６内部の主要な構成を示すブロック図である。第２レイヤ符号化部２０６は、実施の形態１に示した第２レイヤ符号化部１０６と同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。また、基本的動作は同一であるが、詳細な点で違いがある構成要素には、同一の番号にアルファベットの小文字を付した符号を付して適宜説明を加える。また、他の構成の説明においても同様の表記方法を用いることとする。

第２レイヤ符号化部２０６は、聴覚マスキング算出部２１１およびビット配分決定部２１２をさらに備え、補正スケールファクタ符号化部１１４ａは、ビット配分決定部２１２で決定されたビット配分に基づいた補正スケールファクタの符号化を行う。

具体的には、聴覚マスキング算出部２１１は、入力信号を分析して量子化歪みの許容値を表す聴覚マスキング値を算出し、ビット配分決定部２１２に出力する。

ビット配分決定部２１２は、聴覚マスキング算出部２１１で算出された聴覚マスキング値に基づき、どのサブバンドにどの程度のビットを配分するかを決定し、このビット配分情報を外部に出力すると共に、補正スケールファクタ符号化部１１４ａに出力する。

補正スケールファクタ符号化部１１４ａは、ビット配分決定部２１２から出力されるビット配分情報で決定されるビット数を用いて、補正スケールファクタ候補を量子化し、そのインデックスを符号化パラメータとして出力する。その際、サブバンドに対応する重みの大きさを補正スケールファクタの量子化ビット数に基づき設定する。具体的には、補正スケールファクタ符号化部１１４ａは、量子化ビット数の少ないサブバンドの補正スケールファクタに対する２つの重みの差、具体的には、誤差信号ｄ（ｋ）が正の場合の重みｗ_ｐｏｓと誤差信号ｄ（ｋ）が負の場合の重みｗ_ｎｅｇの差が大きくなるように設定し、一方、量子化ビット数の多いサブバンドの補正スケールファクタに対する上記２つの重みに対しては、これら２つの重みの差が小さくなるように設定する。

上記構成を採ることにより、量子化ビット数の少ないサブバンドの補正スケールファクタに対して、量子化後のスケールファクタが量子化前のスケールファクタよりも小さいものが選ばれる確率が高くなり、その結果、聴感的な品質劣化を軽減することができる。

次いで、本実施の形態に係るスケーラブル復号化装置について説明する。しかし、本実施の形態に係るスケーラブル復号化装置は、実施の形態１で示したスケーラブル復号化装置と同様の基本的構成を有しているため、実施の形態１と異なる構成である第２レイヤ復号化部２５３について以下説明する。

図７は、第２レイヤ復号化部２５３内部の主要な構成を示すブロック図である。

ビット配分復号化部２６１は、本実施の形態に係るスケーラブル符号化装置から送られる符号化パラメータ（ビット配分情報）を用いて、各サブバンドのビット数を復号し、得られたビット数を補正スケールファクタ復号化部１６３ａに出力する。

補正スケールファクタ復号化部１６３ａは、各サブバンドのビット数と符号化パラメータ（補正スケールファクタ）とを用いて、補正スケールファクタを復号し、得られた補正スケールファクタを乗算器１６４に出力する。その他の処理は、実施の形態１と同様である。

このように、本実施の形態によれば、各帯域のスケールファクタに配分される量子化ビット数に応じて、重みを変更する。この重みの変更は、量子化ビット数の少ないスケールファクタに対して、誤差信号ｄ（ｋ）が正であるときの重みｗ_ｐｏｓと誤差信号ｄ（ｋ）が負であるときの重みｗ_ｎｅｇとの差が大きくなるように設定する。

上記構成を採ることにより、量子化ビット数の少ないスケールファクタに対し、量子化後のスケールファクタが量子化前のスケールファクタよりも小さいものがより選ばれやすくなり、当該帯域で生じる聴感的な品質劣化を軽減することができる。

（実施の形態３）
本発明の実施の形態３に係る変換符号化装置を備えるスケーラブル符号化装置の基本的構成も、実施の形態１と同様である。よって、その説明を省略し、実施の形態１と異なる構成である第２レイヤ符号化部３０６について以下説明する。

第２レイヤ符号化部３０６の基本的動作は、実施の形態２に示した第２レイヤ符号化部２０６と類似しており、実施の形態２で用いたビット配分情報に代わりに、後述の類似度を用いる点が異なる。図８は、第２レイヤ符号化部３０６内部の主要な構成を示すブロック図である。

類似度算出部３１１は、信号帯域ＦＬ〜ＦＨの第２スペクトル、すなわち原信号のスペクトルと、信号帯域ＦＬ〜ＦＨの推定スペクトルとの類似度を算出し、得られた類似度を補正スケールファクタ符号化部１１４ｂに出力する。ここで類似度とは、例えば、第２スペクトルに対する推定スペクトルのＳＮＲ（Signal-to-Noise Ratio）で定義する。

補正スケールファクタ符号化部１１４ｂは、類似度算出部３１１から出力される類似度に基づいて、補正スケールファクタ候補を量子化し、そのインデックスを符号化パラメータとして出力する。その際、サブバンドに対応する重みの大きさをそのサブバンドの類似度に基づき設定する。具体的には、補正スケールファクタ符号化部１１４ｂは、類似度の低いサブバンドの補正スケールファクタに対する２つの重みの差、具体的には、誤差信号ｄ（ｋ）が正の場合の重みｗ_ｐｏｓと誤差信号ｄ（ｋ）が負の場合の重みｗ_ｎｅｇの差が大きくなるように設定し、一方、類似度の高いサブバンドの補正スケールファクタに対する上記２つの重みに対しては、これら２つの重みの差が小さくなるように設定する。

本実施の形態に係るスケーラブル復号化装置および変換復号化装置の基本的構成は、実施の形態１に示したものと同様であるのでその説明を省略する。

このように、本実施の形態によれば、原信号のスペクトルに対する各帯域の推定スペクトルの形状の精度（例えば、類似度、ＳＮＲ等）に応じて重みを変更する。この重みの変更は、類似度の低いサブバンドのスケールファクタに対して、誤差信号ｄ（ｋ）が正であるときの重みｗ_ｐｏｓと負であるときの重みｗ_ｎｅｇとの差が大きくなるように設定する。

上記構成を採ることにより、推定スペクトルのＳＮＲの低いサブバンドに対応するスケールファクタに対して、量子化後のスケールファクタが量子化前のスケールファクタよりも小さいものがより選ばれやすくなり、当該帯域で生じる聴感的な品質劣化をより軽減することができる。

（実施の形態４）
実施の形態１〜３では、補正スケールファクタ符号化部１１４、１１４ａ、１１４ｂの入力が、第１スペクトルと第２スペクトルという特徴の異なる２つのスペクトルである場合を例に示した。しかし、本発明では、補正スケールファクタ符号化部１１４、１１４ａ、１１４ｂの入力は、１つのスペクトルであっても良い。かかる場合の実施の形態を以下示す。

本発明の実施の形態４は、レイヤ数１、すなわちスケーラブル符号化でない場合に本発明を適用したものである。

図９は、本実施の形態に係る変換符号化装置の主要な構成を示すブロック図である。な
お、ここでは、変換方式としてＭＤＣＴを使用する場合を例にとって説明を行う。

本実施の形態に係る変換符号化装置は、ＭＤＣＴ分析部４０１、スケールファクタ符号化部４０２、微細スペクトル符号化部４０３、および多重化部４０４を備え、各部は以下の動作を行う。

ＭＤＣＴ分析部４０１は、原信号である音声信号をＭＤＣＴ分析して、得られるスペクトルをスケールファクタ符号化部４０２および微細スペクトル符号化部４０３に出力する。

スケールファクタ符号化部４０２は、ＭＤＣＴ分析部４０１で求められたスペクトルの信号帯域を複数のサブバンドに分割し、各サブバンドのスケールファクタを算出して、これらに対し量子化を行う。この量子化の詳細については後述する。スケールファクタ符号化部４０２は、量子化により得られた符号化パラメータ（スケールファクタ）を多重化部４０４に出力すると共に、復号スケールファクタ自体を微細スペクトル符号化部４０３に出力する。

微細スペクトル符号化部４０３は、スケールファクタ符号化部４０２から出力される復号スケールファクタを用いて、ＭＤＣＴ分析部４０１から与えられるスペクトルを正規化し、正規化後のスペクトルを符号化する。微細スペクトル符号化部４０３は、得られた符号化パラメータ（微細スペクトル）を多重化部４０４に出力する。

図１０は、スケールファクタ符号化部４０２内部の主要な構成を示すブロック図である。なお、このスケールファクタ符号化部４０２は、実施の形態１に示したスケールファクタ符号化部１１４と同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。

実施の形態１では、乗算器１２４において、第１スペクトルのスケールファクタＳＦ１（ｋ）に補正スケールファクタ候補ｖ_ｉ（ｋ）を乗じ、減算器１２５で誤差信号ｄ（ｋ）を求めていたが、本実施の形態では、スケールファクタ候補ｘ_ｉ（ｋ）を減算器１２５に直接与えて誤差信号ｄ（ｋ）を求めている点が異なる。すなわち、本実施形態では、実施の形態１で示した式（２）は以下のように表される。

図１１は、本実施の形態に係る変換復号化装置の主要な構成を示すブロック図である。

分離部４５１は、符号化パラメータを示す入力ビットストリームに対し分離処理を施し、スケールファクタ復号化部４５２用の符号化パラメータ（スケールファクタ）と、微細スペクトル復号化部４５３用の符号化パラメータ（微細スペクトル）とを生成する。

スケールファクタ復号化部４５２は、分離部４５１で得られた符号化パラメータ（スケールファクタ）を用いてスケールファクタを復号し、これを乗算器４５４に与える。

微細スペクトル復号化部４５３は、分離部４５１で得られた符号化パラメータ（微細スペクトル）を用いて微細スペクトルを復号し、これを乗算器４５４に与える。

乗算器４５４は、微細スペクトル復号化部４５３から出力される微細スペクトルに、スケールファクタ復号化部４５２から出力されるスケールファクタを乗じ、復号スペクトルを生成する。この復号スペクトルは、時間領域変換部４５５に出力される。

時間領域変換部４５５は、乗算器４５４から出力される復号スペクトルに対し時間領域変換を施し、得られる時間領域信号を最終的な復号信号として出力する。

このように、本実施の形態によれば、単一レイヤからなる符号化においても本発明を適用することができる。

なお、スケールファクタ符号化部４０２は、実施の形態２で示したビット配分情報や実施の形態３で示した類似度等の指標に応じて、ＭＤＣＴ分析部４０１から与えられるスペクトルのスケールファクタをあらかじめ減衰させてから、重み付けなしの通常の歪み尺度により量子化を行う構成であっても良い。これにより、低ビットレート環境下においても、音声品質の劣化を軽減することができる。

（実施の形態５）
図１２は、本発明の実施の形態５に係る変換符号化装置を備えるスケーラブル符号化装置の主要な構成を示すブロック図である。

本発明の形態の形態に係るスケーラブル符号化装置は、ダウンサンプリング部５０１、第１レイヤ符号化部５０２、多重化部５０３、第１レイヤ復号化部５０４、アップサンプリング部５０５、遅延部５０７、第２レイヤ符号化部５０８、及び背景雑音分析部５０６とから主に構成される。

ダウンサンプリング部５０１は、サンプリングレートＦ２の入力信号からサンプリングレートＦ１（Ｆ１≦Ｆ２）の信号を生成し、第１レイヤ符号化部５０２に与える。第１レイヤ符号化部５０２は、ダウンサンプリング部５０１から出力されたサンプリングレートＦ１の信号を符号化する。第１レイヤ符号化部５０２で得られた符号化パラメータは、多重化部５０３に与えられると共に、第１レイヤ復号化部５０４に与えられる。第１レイヤ復号化部５０４は、第１レイヤ符号化部５０２から出力された符号化パラメータから、第１レイヤの復号信号を生成し、背景雑音分析部５０６とアップサンプリング部５０５に出力する。アップサンプリング部５０５は、第１レイヤ復号信号のサンプリングレートをＦ１からＦ２にアップサンプリングし、これを第２レイヤ符号化部５０８に出力する。

背景雑音分析部５０６は、第１レイヤ復号信号を入力とし、この信号内に背景雑音が含まれるかどうかを判定する。背景雑音分析部５０６は、第１レイヤ復号信号に背景雑音が含まれていると判定した場合には、該背景雑音に対してＭＤＣＴなどの処理を行ってその周波数特性を分析し、分析した周波数特性を背景雑音情報として第２レイヤ符号化部５０８に出力する。一方、背景雑音分析部５０６は、第１レイヤ復号信号に背景雑音が含まれていないと判定した場合には、第２レイヤ符号化部５０８に第１レイヤ復号信号には背景雑音が含まれていないことを示す背景雑音情報を出力する。なお、本実施の形態では、背景雑音の検出方法として、ある区間の入力信号を分析しその入力信号の最大パワー値と最小パワー値を算出し、それらの比、あるいは差が閾値以上であった場合に最小パワー値を雑音とする等の方法の他、一般的な背景雑音検出方法を採ることができる。

遅延部５０７は、入力信号に所定の長さの遅延を与える。この遅延は、ダウンサンプリング部５０１、第１レイヤ符号化部５０２、および第１レイヤ復号化部５０４で生じる時間遅れを補正するためのものである。

第２レイヤ符号化部５０８は、アップサンプリング部５０５から得られるアップサンプリング後の第１レイヤ復号信号、及び背景雑音分析部５０６から得られる背景雑音情報を用いて、遅延部５０７から出力された所定時間遅延された入力信号の変換符号化を行い、生成された符号化パラメータを多重化部５０３に出力する。

多重化部５０３は、第１レイヤ符号化部５０２で求められる符号化パラメータと、第２レイヤ符号化部５０８で求められる符号化パラメータとを多重化し、これを最終的な符号化パラメータとして出力する。

図１３は、第２レイヤ符号化部５０８内部の主要な構成を示すブロック図である。第２レイヤ符号化部５０８は、ＭＤＣＴ分析部５１１、５１２、高域スペクトル推定部５１３、および補正スケールファクタ符号化部５１４を備え、各部は以下の動作を行う。

ＭＤＣＴ分析部５１１は、第１レイヤ復号信号をＭＤＣＴ分析して、信号帯域（周波数帯域）０〜ＦＬの低域スペクトル（狭帯域スペクトル）を算出し、高域スペクトル推定部５１３に出力する。

ＭＤＣＴ分析部５１２は、原信号である音声信号をＭＤＣＴ分析して、信号帯域０〜ＦＨの広帯域スペクトルを算出し、このうち、狭帯域スペクトルと同じ帯域幅で、かつ信号帯域が高域ＦＬ〜ＦＨの高域スペクトルを、高域スペクトル推定部５１３および補正スケールファクタ符号化部５１４に出力する。ここで、狭帯域スペクトルの信号帯域と広帯域スペクトルの信号帯域との間には、ＦＬ＜ＦＨの関係がある。

高域スペクトル推定部５１３は、信号帯域０〜ＦＬの低域スペクトルを利用して、信号帯域ＦＬ〜ＦＨの高域スペクトルを推定し、推定スペクトルを得る。推定スペクトルの導出方法は、高域スペクトルとの類似度が最大となるような推定スペクトルを、低域スペクトルを基に、この低域スペクトル変形することにより求める。高域スペクトル推定部５１３は、この推定スペクトルに関する情報（推定情報）を符号化し、得られる符号化パラメータを出力する。

以下の説明では、高域スペクトル推定部５１３から出力される推定スペクトルのことを第１スペクトルと呼び、ＭＤＣＴ分析部５１２から出力される高域スペクトルのことを第２スペクトルと呼ぶこととする。

補正スケールファクタ符号化部５１４は、背景雑音情報を用いて、第２スペクトルのスケールファクタに関する情報を符号化して出力する。

図１４は、補正スケールファクタ符号化部５１４内部の主要な構成を示すブロック図である。補正スケールファクタ符号化部５１４は、スケールファクタ算出部５２１、補正スケールファクタ符号帳５２２、減算器５２３、判定部５２４、重み付き誤差算出部５２５、および探索部５２６を備え、各部は以下の動作を行う。

スケールファクタ算出部５２１は、入力される第２スペクトルの信号帯域ＦＬ〜ＦＨを
複数のサブバンドに分割し、各サブバンドに含まれるスペクトルの大きさを求め、減算器５２３に出力する。具体的には、サブバンドへの分割は、臨界帯域に対応付けて行われ、バーク尺度で等間隔に分割される。また、スケールファクタ算出部５２１は、各サブバンドに含まれるスペクトルの平均振幅を求め、これを第２スケールファクタＳＦ２（ｋ）｛０≦ｋ＜ＮＢ｝とする。ここでＮＢはサブバンド数を表す。なお、平均振幅の代わりに最大振幅値等を用いても良い。

補正スケールファクタ符号帳５２２は、補正スケールファクタの候補が複数格納されており、探索部５２６からの指示に従い、格納されている補正スケールファクタの候補のうちの１つを減算器５２３に順次出力する。補正スケールファクタ符号帳５２２に格納されている補正スケールファクタの複数の候補は、ベクトルで表される。

減算器５２３は、スケールファクタ算出部５２１より出力される第２スケールファクタから、補正スケールファクタの出力である補正スケールファクタ候補を減じ、これにより得られる誤差信号を、重み付き誤差算出部５２５および判定部５２４に与える。

判定部５２４は、減算器から与えられる誤差信号の符号、及び背景雑音情報に基づいて、重み付き誤差算出部５２５に与える重みベクトルを決定する。以下、判定部５２４における具体的な処理の流れを説明する。

判定部５２４は、入力された背景雑音情報を分析する。また、判定部５２４は、内部に要素数がサブバンド数ＮＢである、背景雑音フラグＢＮＦ（ｋ）｛０≦ｋ＜ＮＢ｝を有する。判定部５２４は、背景雑音情報が、入力信号（第１復号信号）中に背景雑音が含まれていないことを示している場合には、背景雑音フラグＢＮＦ（ｋ）の値を全て０に設定する。また、判定部５２４は、背景雑音情報が、入力信号（第１復号信号）中に背景雑音が含まれていることを示している場合には、背景雑音情報が示す背景雑音の周波数特性を分析し、サブバンド毎の周波数特性に変換する。なお、ここでは説明の簡略化のため、背景雑音情報がサブバンド毎のスペクトルの平均パワー値を示すものとして扱う。判定部５２４は、サブバンド毎のスペクトルの平均パワー値ＳＰ（ｋ）と、予め内部に設定されたサブバンド毎の閾値ＳＴ（ｋ）を比較し、ＳＰ（ｋ）がＳＴ（ｋ）以上であった場合には対応するサブバンドの背景雑音フラグＢＮＦ（ｋ）の値を１に設定する。

ここで、減算器から与えられる誤差信号ｄ（ｋ）は、以下の式（６）によって表される。

ここで、ｖ_ｉ（ｋ）は、第ｉ番目の補正スケールファクタの候補を表す。判定部５２４は、ｄ（ｋ）の符号が正である場合にはｗ_ｐｏｓを重みとして選択する。また、判定部５２４は、ｄ（ｋ）の符号が負であり、かつ背景雑音フラグＢＮＦ（ｋ）の値が１である場合にはｗｐｏｓを重みとして選択する。また、判定部５２４は、ｄ（ｋ）の符号が負であり、かつ背景雑音フラグＢＮＦ（ｋ）の値が０である場合にはｗ_ｎｅｇを重みとして選択
する。次に、判定部５２４は、これらから構成される重みベクトルｗ（ｋ）を、重み付き誤差算出部５２５に出力する。これらの重みには、以下の式（７）の大小関係がある。

例えば、サブバンド数ＮＢ＝４であり、ｄ（ｋ）の符号が｛＋，−，−，＋｝であり、背景雑音フラグＢＮＦ（ｋ）が｛０，０，１，１｝となる場合、重み付き誤差算出部５２５に出力される重みベクトルｗ（ｋ）は、ｗ（ｋ）＝｛ｗ_ｐｏｓ，ｗ_ｎｅｇ，ｗ_ｐｏｓ，ｗ_ｐｏｓ｝と表される。

重み付き誤差算出部５２５は、まず、減算器５２３から与えられる誤差信号の２乗値を算出し、次に、判定部５２４から与えられる重みベクトルｗ（ｋ）を誤差信号の２乗値に乗じて、重み付き２乗誤差Ｅを算出し、算出結果を探索部５２６に与える。ここで、重み付き２乗誤差Ｅは以下の式（８）のように表される。

探索部５２６は、補正スケールファクタ符号帳５２２を制御して、格納されている補正スケールファクタの候補を順次出力させ、閉ループ処理により、重み付き誤差算出部５２５から出力される重み付き２乗誤差Ｅが最小となる補正スケールファクタの候補を求める。探索部５２６は、求まった補正スケールファクタの候補のインデックスｉｏｐｔを符号化パラメータとして出力する。

上記のように、誤差信号の符号に応じて重み付き２乗誤差を算出するときの重みを設定し、かつその重みが式（７）に示されるような関係がある場合、次のような作用が得られる。すなわち、誤差信号ｄ（ｋ）が正の場合とは、復号化側で生成される復号値（符号化側で言うと、第１スケールファクタを正規化し、正規化された値に補正スケールファクタ候補を乗じた値）が目標値である第２スケールファクタよりも小さくなる場合である。また、誤差信号ｄ（ｋ）が負の場合とは、復号化側で生成される復号値が目標値である第２スケールファクタよりも大きくなる場合である。従って、誤差信号ｄ（ｋ）が正の場合の重みを、誤差信号ｄ（ｋ）が負の場合の重みよりも小さくなるように設定することにより、２乗誤差が同程度の値の場合、第２スケールファクタよりも小さい復号値を生成する補正スケールファクタ候補が選択されやすくなる。

これにより次のような改善効果が得られる。例えば、本実施の形態のように、低域スペクトルを利用して高域スペクトルを推定する場合、一般的には、低ビットレート化を実現することができる。しかし、低ビットレート化を実現する一方で、推定スペクトルの精度、すなわち、推定スペクトルと高域スペクトルとの類似性は、上述の通り、充分に高いとは言えない。かかる場合に、スケールファクタの復号値が目標値よりも大きくなり、量子化後のスケールファクタが推定スペクトルを強調する方向に作用すると、推定スペクトルの精度の低さが人間の耳に品質劣化として知覚されやすくなる。逆に、スケールファクタの復号値が目標値よりも小さくなり、量子化後のスケールファクタがこの推定スペクトルを減衰する方向に作用するときは、推定スペクトルの精度の低さが目立たなくなり、復号信号の音質が改善するという効果が得られる。さらに、入力信号（第１レイヤ復号化信号
）中に背景雑音が含まれるかどうかに応じて、上記の作用の程度を調整することにより、聴感的により良い復号化信号を得ることが出来る。なお、この傾向は、計算機によるシミュレーションにおいても確認することができた。

次いで、上記のスケーラブル符号化装置に対応する、本実施の形態に係るスケーラブル復号化装置について説明する。なお、スケーラブル復号化装置の構成は、実施の形態１で説明した図４と同じであるため、ここでは説明は省略する。

本実施の形態の復号化装置は、第２レイヤ復号化部１５３の内部構成のみが実施の形態１の場合と異なる。以下、本実施の形態に係る第２レイヤ復号化部１５３の主要な構成について図１５を用いて説明する。なお、第２レイヤ復号化部１５３は、本実施の形態に係る変換符号化装置における第２レイヤ符号化部５０８に対応する構成要素である。

ＭＤＣＴ分析部５６１は、第１レイヤ復号信号をＭＤＣＴ分析して、信号帯域０〜ＦＬの第１スペクトルを算出し、高域スペクトル復号化部５６２に出力する。

高域スペクトル復号化部５６２は、本実施の形態に係る変換符号化装置から送られてくる符号化パラメータ（推定情報）と第１スペクトルとを用い、信号帯域ＦＬ〜ＦＨの推定スペクトル（微細スペクトル）を復号する。得られた推定スペクトルは高域スペクトル正規化部５６３に与えられる。

補正スケールファクタ復号化部５６４は、本実施の形態に係る変換符号化装置から送られてくる符号化パラメータ（補正スケールファクタ）を用いて補正スケールファクタを復号する。具体的には、内蔵の補正スケールファクタ符号帳５２２（図示せず）を参照し、対応する補正スケールファクタを乗算器５６５に出力する。

高域スペクトル正規化部５６３は、高域スペクトル復号化部５６２から出力される推定スペクトルの信号帯域ＦＬ〜ＦＨを複数のサブバンドに分割し、各サブバンドに含まれるスペクトルの大きさを求める。具体的には、サブバンドへの分割は、臨界帯域に対応付けて行われ、バーク尺度で等間隔に分割される。また、スケールファクタ算出部５２１は、各サブバンドに含まれるスペクトルの平均振幅を求め、これを第１スケールファクタＳＦ１（ｋ）｛０≦ｋ＜ＮＢ｝とする。ここでＮＢはサブバンド数を表す。なお、平均振幅の代わりに最大振幅値等を用いても良い。次に、高域スペクトル正規化部５６３は、推定スペクトルの値（ＭＤＣＴ値）をサブバンド毎に第１スケールファクタＳＦ１（ｋ）で除算し、除算した推定スペクトル値を正規化推定スペクトルとして乗算器５６５に出力する。

乗算器５６５は、高域スペクトル正規化部５６３から出力される正規化推定スペクトルに、補正スケールファクタ復号化部５６４から出力される補正スケールファクタを乗じ、乗算結果を連結部５６６に出力する。

連結部５６６は、第１スペクトルと乗算器から出力される正規化推定スペクトルとを周波数軸上において連結し、信号帯域０〜ＦＨの広帯域の復号スペクトルを生成して、時間領域変換部５６７に出力する。

時間領域変換部５６７は、連結部５６６から出力される復号スペクトルに対し、逆ＭＤＣＴ処理を施し、適切な窓関数を乗じた後に、前フレームの窓掛け後の信号と対応する領域を加算して、第２レイヤ復号信号を生成して出力する。

以上説明したように、本実施の形態によれば、高位レイヤの周波数領域での符号化において、入力信号を周波数領域の係数に変換してスケールファクタを量子化する際に、スケ
ールファクタが小さくなる量子化候補が選択されやすくなる重み付き歪み尺度を用いてスケールファクタの量子化を行う。すなわち、量子化後のスケールファクタが量子化前のスケールファクタよりも小さいものが選ばれやすくなる。よって、スケールファクタの量子化に配分されるビット数が充分でない場合でも、聴感的な主観品質の劣化を抑えることができる。

なお、本実施の形態では、ベクトル量子化を用いる場合を例にとって説明したが、ベクトル量子化、すなわちベクトル毎に処理を行う代わりに、サブバンド毎に独立に処理を行っても良い。かかる場合、例えば、補正スケールファクタ符号帳５２２に含まれる補正スケールファクタ候補はスカラーで表される。

また、本実施の形態では、サブバンド毎の平均パワー値を閾値を比較することで背景雑音フラグＢＮＦ（ｋ）の値を決定したが、本発明はこれに限らず、背景雑音のサブバンド毎の平均パワー値と、第１復号信号（音声部）のサブバンド毎の平均パワー値との比を利用する方法等にも同様に適用される。

また、本実施の形態では、符号化装置内にアップサンプリング部５０５を備える構成について説明したが、本発明はこれに限らず、第１アップサンプリング部を備えず、狭帯域の第１レイヤ復号化信号を第２レイヤ符号化部に入力する場合についても同様に適用できる。

また、本実施の形態では、入力信号の特性（例えば、音声が含まれる部分か音声が含まれない部分か、等）に関わらず、常に上述した方法によって量子化を行う場合について説明したが、本発明はこれに限らず、入力信号の特性（有声部分か無声部分か等）に応じて上述した方法を利用するかどうかを切り替える場合についても同様に適用できる。例えば、入力信号に音声が含まれている部分に対しては上述した重みを適用した距離計算によるベクトル量子化を行い、入力信号に音声が含まれない部分に対しては上述した重みを適用した距離計算によるベクトル量子化ではなく、実施の形態１〜４に示した方法によるベクトル量子化を行うという手法が挙げられる。このように、入力信号の特性に応じて、時間軸上でもベクトル量子化の距離計算手法を切り替えることで、より品質の良い復号化信号を得ることができる。

（実施の形態６）
本発明の実施の形態６は、実施の形態５に対して、符号化装置の第２レイヤ符号化部の内部構成のみが異なる。図１６は、本実施の形態に係る第２レイヤ符号化部５０８の内部の主要な構成を示すブロック図である。図１６に示す第２レイヤ符号化部５０８は、図１３と比較して、補正スケールファクタ符号化部６１４の作用が、補正スケールファクタ符号化部５１４と異なる。

高域スペクトル推定部５１３は、推定スペクトル自体を補正スケールファクタ符号化部６１４に与える。

補正スケールファクタ符号化部６１４は、背景雑音情報を用いて、第１スペクトルのスケールファクタが第２スペクトルのスケールファクタに近づくように、第１スペクトルのスケールファクタを補正し、この補正スケールファクタに関する情報を符号化して出力する。

図１７は、図１６中の補正スケールファクタ符号化部６１４の内部の主要な構成を示すブロック図である。補正スケールファクタ符号化部６１４は、スケールファクタ算出部６２１、６２２、補正スケールファクタ符号帳６２３、乗算器６２４、減算器６２５、判定
部６２６、重み付き誤差算出部６２７、および探索部６２８を備え、各部は以下の動作を行う。

スケールファクタ算出部６２１は、入力される第２スペクトルの信号帯域ＦＬ〜ＦＨを複数のサブバンドに分割し、各サブバンドに含まれるスペクトルの大きさを求め、減算器６２５に出力する。具体的には、サブバンドへの分割は、臨界帯域に対応付けて行われ、バーク尺度で等間隔に分割される。また、スケールファクタ算出部６２１は、各サブバンドに含まれるスペクトルの平均振幅を求め、これを第２スケールファクタＳＦ２（ｋ）｛０≦ｋ＜ＮＢ｝とする。ここでＮＢはサブバンド数を表す。なお、平均振幅の代わりに最大振幅値等を用いても良い。

スケールファクタ算出部６２２は、入力される第１スペクトルの信号帯域ＦＬ〜ＦＨを複数のサブバンドに分割し、各サブバンドの第１スケールファクタＳＦ１（ｋ）｛０≦ｋ＜ＮＢ｝を算出し、乗算器６２４に出力する。スケールファクタ算出部６２１と同様に、平均振幅の代わりに最大振幅値等を用いても良い。

補正スケールファクタ符号帳６２３は、補正スケールファクタの候補が複数格納されており、探索部６２８からの指示に従い、格納されている補正スケールファクタの候補のうちの１つを乗算器６２４に順次出力する。補正スケールファクタ符号帳６２３に格納されている補正スケールファクタの複数の候補は、ベクトルで表される。

乗算器６２４は、スケールファクタ算出部６２２から出力される第１スケールファクタと、補正スケールファクタ符号帳６２３から出力される補正スケールファクタの候補とを乗算し、乗算結果を減算器６２５に与える。

減算器６２５は、スケールファクタ算出部６２１より出力される第２スケールファクタから、乗算器６２４の出力、すなわち、第１スケールファクタおよび補正スケールファクタ候補の積を減じ、これにより得られる誤差信号を、判定部６２６および重み付き誤差算出部６２７に与える。

判定部６２６は、減算器６２５から与えられる誤差信号の符号、及び背景雑音情報とに基づいて、重み付き誤差算出部に与える重みベクトルを決定する。以下、判定部における具体的な処理の流れを説明する。

判定部６２６は、入力された背景雑音情報を分析する。また、判定部６２６は、内部に要素数がサブバンド数ＮＢである、背景雑音フラグＢＮＦ（ｋ）｛０≦ｋ＜ＮＢ｝を有する。判定部６２６は、背景雑音情報が、入力信号（第１復号信号）中に背景雑音が含まれていないことを示している場合には、背景雑音フラグＢＮＦ（ｋ）の値を全て０に設定する。また、判定部６２６は、背景雑音情報が、入力信号（第１復号信号）中に背景雑音が含まれていることを示している場合には、背景雑音情報が示す背景雑音の周波数特性を分析し、サブバンド毎の周波数特性に変換する。なお、ここでは説明の簡略化のため、背景雑音情報がサブバンド毎のスペクトルの平均パワー値を示すものとして扱う。判定部６２６は、サブバンド毎のスペクトルの平均パワー値ＳＰ（ｋ）と、予め内部に設定されたサブバンド毎の閾値ＳＴ（ｋ）を比較し、ＳＰ（ｋ）がＳＴ（ｋ）以上であった場合には対応するサブバンドの背景雑音フラグＢＮＦ（ｋ）の値を１に設定する。

ここで、減算器６２５から与えられる誤差信号ｄ（ｋ）は、以下の式（９）によって表される。

ここで、ｖ_ｉ（ｋ）は、第ｉ番目の補正スケールファクタの候補を表す。判定部６２６は、ｄ（ｋ）の符号が正である場合にはｗ_ｐｏｓを重みとして選択する。また、判定部６２６は、ｄ（ｋ）の符号が負であり、かつ背景雑音フラグＢＮＦ（ｋ）の値が１である場合にはｗ_ｐｏｓを重みとして選択する。また、判定部６２６は、ｄ（ｋ）の符号が負であり、かつ背景雑音フラグＢＮＦ（ｋ）の値が０である場合にはｗ_ｎｅｇを重みとして選択する。次に、判定部６２６は、これらから構成される重みベクトルｗ（ｋ）を、重み付き誤差算出部６２７に出力する。これらの重みには、以下の式（１０）の大小関係がある。

例えば、サブバンド数ＮＢ＝４であり、ｄ（ｋ）の符号が｛＋，−，−，＋｝であり、背景雑音フラグＢＮＦ（ｋ）が｛０，０，１，１｝となる場合、重み付き誤差算出部６２７に出力される重みベクトルｗ（ｋ）は、ｗ（ｋ）＝｛ｗ_ｐｏｓ，ｗ_ｎｅｇ，ｗ_ｐｏｓ，ｗ_ｐｏｓ｝と表される。

重み付き誤差算出部６２７は、まず、減算器６２５から与えられる誤差信号の２乗値を算出し、次に、判定部６２６から与えられる重みベクトルｗ（ｋ）を誤差信号の２乗値に乗じて、重み付き２乗誤差Ｅを算出し、算出結果を探索部６２８に与える。ここで、重み付き２乗誤差Ｅは以下の式（１１）のように表される。

探索部６２８は、補正スケールファクタ符号帳６２３を制御して、格納されている補正スケールファクタの候補を順次出力させ、閉ループ処理により、重み付き誤差算出部６２７から出力される重み付き２乗誤差Ｅが最小となる補正スケールファクタの候補を求める。探索部６２８は、求まった補正スケールファクタの候補のインデックスｉｏｐｔを符号化パラメータとして出力する。

上記のように、誤差信号の符号に応じて重み付き２乗誤差を算出するときの重みを設定し、かつその重みが式（１０）に示されるような関係がある場合、次のような作用が得られる。すなわち、誤差信号ｄ（ｋ）が正の場合とは、復号化側で生成される復号値（符号化側で言うと、第１スケールファクタを正規化し、正規化された値に補正スケールファクタ候補を乗じた値）が目標値である第２スケールファクタよりも小さくなる場合である。また、誤差信号ｄ（ｋ）が負の場合とは、復号化側で生成される復号値が目標値である第
２スケールファクタよりも大きくなる場合である。従って、誤差信号ｄ（ｋ）が正の場合の重みを、誤差信号ｄ（ｋ）が負の場合の重みよりも小さくなるように設定することにより、２乗誤差が同程度の値の場合、第２スケールファクタよりも小さい復号値を生成する補正スケールファクタ候補が選択されやすくなる。

これにより次のような改善効果が得られる。例えば、本実施の形態のように、低域スペクトルを利用して高域スペクトルを推定する場合、一般的には、低ビットレート化を実現することができる。しかし、低ビットレート化を実現する一方で、推定スペクトルの精度、すなわち、推定スペクトルと高域スペクトルとの類似性は、上述の通り、充分に高いとは言えない。かかる場合に、スケールファクタの復号値が目標値よりも大きくなり、量子化後のスケールファクタが推定スペクトルを強調する方向に作用すると、推定スペクトルの精度の低さが人間の耳に品質劣化として知覚されやすくなる。逆に、スケールファクタの復号値が目標値よりも小さくなり、量子化後のスケールファクタがこの推定スペクトルを減衰する方向に作用するときは、推定スペクトルの精度の低さが目立たなくなり、復号信号の音質が改善するという効果が得られる。さらに、入力信号（第１レイヤ復号化信号）中に背景雑音が含まれるかどうかに応じて、上記の作用の程度を調整することにより、聴感的により良い復号化信号を得ることが出来る。なお、この傾向は、計算機によるシミュレーションにおいても確認することができた。

また、本実施の形態では、入力信号の特性（例えば、音声が含まれる部分か音声が含まれない部分か、等）に関わらず、常に上述した方法によって量子化を行う場合について説明したが、本発明はこれに限らず、入力信号の特性（有声部分か無声部分か等）に応じて上述した方法を利用するかどうかを切り替える場合についても同様に適用される。例えば、入力信号に音声が含まれている部分に対しては上述した重みを適用した距離計算によるベクトル量子化を行い、入力信号に音声が含まれない部分に対しては上述した重みを適用した距離計算によるベクトル量子化ではなく、実施の形態１〜４に示した方法によるベクトル量子化を行うという手法が挙げられる。このように、入力信号の特性に応じて、時間軸上でもベクトル量子化の距離計算手法を切り替えることで、より品質の良い復号化信号を得ることが出来る。

（実施の形態７）
図１８は、本発明の実施の形態７に係るスケーラブル復号化装置の主要な構成を示すブロック図である。図１８において、分離部７０１は、図示せぬ符号化装置から送出されたビットストリームを受信し、受信したビットストリームに記録されているレイヤ情報に基づいて、ビットストリームを分離し、レイヤ情報を切替部７０５及びポストフィルタの修正ＬＰＣ算出部７０８に出力する。

レイヤ情報がレイヤ３を示す場合、すなわち、ビットストリームに全てのレイヤ（第１レイヤ〜第３レイヤ）の符号化情報が格納されている場合、分離部７０１は、ビットストリームから第１レイヤ符号化情報、第２レイヤ符号化情報、第３レイヤ符号化情報を分離する。分離された第１レイヤ符号化情報は第１レイヤ復号化部７０２に、第２レイヤ符号化情報は第２レイヤ復号化部７０３に、第３レイヤ符号化情報は第３レイヤ復号化部７０４にそれぞれ出力される。

また、レイヤ情報がレイヤ２を示す場合、すなわち、ビットストリームに第１レイヤ及び第２レイヤの符号化情報が格納されている場合、分離部７０１は、ビットストリームから第１レイヤ符号化情報、第２レイヤ符号化情報を分離する。分離された第１レイヤ符号化情報は第１レイヤ復号化部７０２に、第２レイヤ符号化情報は第２レイヤ復号化部７０３にそれぞれ出力される。

さらに、レイヤ情報がレイヤ１を示す場合、すなわち、ビットストリームに第１レイヤの符号化情報のみが格納されている場合、分離部７０１は、ビットストリームから第１レイヤ符号化情報を分離し、分離した第１レイヤ符号化情報を第１レイヤ復号化部７０２に出力する。

第１レイヤ復号化部７０２は、分離部７０１から出力された第１レイヤ符号化情報を用いて、信号帯域ｋが０以上、ＦＨ未満における基本品質の第１レイヤ復号信号を生成し、生成した第１レイヤ復号信号を切替部７０５、第２レイヤ復号化部７０３、及び背景雑音検出部７０６に出力する。

第２レイヤ復号化部７０３は、分離部７０１から第２レイヤ符号化情報が出力されると、この第２レイヤ符号化情報と第１レイヤ復号化部７０２から出力された第１レイヤ復号信号とを用いて、信号帯域ｋが０以上、ＦＬ未満における改善品質と、信号帯域ｋがＦＬ以上、ＦＨ未満における基本品質の第２レイヤ復号信号を生成する。生成された第２レイヤ復号信号は切替部７０５及び第３レイヤ復号化部７０４に出力される。なお、第２レイヤ復号化部７０３は、レイヤ情報がレイヤ１を示す場合、第２レイヤ符号化情報が得られないので、全く動作しないか、もしくは、第２レイヤ復号化部７０３に備わる変数を更新する。

第３レイヤ復号化部７０４は、分離部７０１から第３レイヤ符号化情報が出力されると、この第３レイヤ符号化情報と第２レイヤ復号化部７０３から出力された第２レイヤ復号信号とを用いて、信号帯域ｋが０以上、ＦＨ未満における改善品質の第３レイヤ復号信号を生成する。生成された第３レイヤ復号信号は切替部７０５に出力される。なお、第３レイヤ復号化部７０４は、レイヤ情報がレイヤ１又はレイヤ２を示す場合、第３レイヤ符号化情報が得られないので、全く動作しないか、もしくは、第３レイヤ復号化部７０４に備わる変数を更新する。

背景雑音検出部７０６は、第１レイヤ復号信号を入力とし、この信号内に背景雑音が含まれるかどうかを判定する。背景雑音検出部７０６は、第１レイヤ復号信号に背景雑音が含まれていると判定した場合には、該背景雑音に対してＭＤＣＴなどの処理を行ってその周波数特性を分析し、分析した周波数特性を背景雑音情報として修正ＬＰＣ算出部７０８に出力する。また、背景雑音検出部７０６は、第１レイヤ復号信号に背景雑音が含まれていないと判定した場合には、第１レイヤ復号信号には背景雑音が含まれていないことを示す背景雑音情報を修正ＬＰＣ算出部７０８に出力する。なお、本実施の形態では、背景雑音の検出方法として、ある区間の入力信号を分析しその入力信号の最大パワー値と最小パワー値を算出し、それらの比、あるいは差が閾値以上であった場合に最小パワー値を雑音とする等の方法の他、一般的な背景雑音検出方法を採ることができる。なお、本実施の形態では、背景雑音検出部７０６は、第１レイヤ復号信号に背景雑音が含まれるかどうかを判定したが、本発明はこれに限らず、第２レイヤ復号信号、及び第３レイヤ復号信号に背景雑音が含まれるかどうかを検出する場合や、入力信号中に含まれる背景雑音の情報を符号化装置側から伝送し、伝送された背景雑音の情報を利用する場合に対しても同様に適用できる。

切替部７０５は、分離部７０１から出力されたレイヤ情報に基づいて、いずれのレイヤの復号信号が得られるかを判断し、最も高次のレイヤにおける復号信号を修正ＬＰＣ算出部７０８及びフィルタ部７０７に出力する。

ポストフィルタは、修正ＬＰＣ算出部７０８とフィルタ部７０７とを備え、修正ＬＰＣ算出部７０８は、分離部７０１から出力されたレイヤ情報と、切替部７０５から出力された復号信号、及び背景雑音検出部７０６から得られる背景雑音情報とを用いて、修正ＬＰ
Ｃ係数を算出し、算出した修正ＬＰＣ係数をフィルタ部７０７に出力する。修正ＬＰＣ算出部７０８の詳細については後述する。

フィルタ部７０７は、修正ＬＰＣ算出部７０８から出力された修正ＬＰＣ係数によってフィルタを構成し、切替部７０５から出力された復号信号にポストフィルタ処理を施し、ポストフィルタ処理を施した復号信号を出力する。

図１９は、図１８に示した修正ＬＰＣ算出部７０８の内部構成を示すブロック図である。この図において、周波数変換部７１１は、切替部７０５から出力された復号信号の周波数分析を行い、復号信号のスペクトル（以下、「復号スペクトル」という）を求め、求めた復号スペクトルをパワースペクトル算出部７１２に出力する。

パワースペクトル算出部７１２は、周波数変換部７１１から出力された復号スペクトルのパワー（以下、「パワースペクトル」という）を算出し、算出したパワースペクトルをパワースペクトル修正部７１３に出力する

修正帯域決定部７１４は、分離部７０１から出力されたレイヤ情報に基づいて、パワースペクトルの修正を行う帯域（以下、「修正帯域」という）を決定し、決定した帯域は修正帯域情報としてパワースペクトル修正部７１３に出力する。

本実施の形態では、各レイヤは図２０に示した信号帯域及び音声品質を担当しているので、レイヤ情報がレイヤ１を示す場合、修正帯域決定部７１４は修正帯域を０（修正を行わない）とし、レイヤ情報がレイヤ２を示す場合、修正帯域を０〜ＦＬとし、また、レイヤ情報がレイヤ３を示す場合、修正帯域を０〜ＦＨとして修正帯域情報を生成する。

パワースペクトル修正部７１３は、修正帯域決定部７１４から出力された修正帯域情報、及び背景雑音情報に基づいて、パワースペクトル算出部７１２から出力されたパワースペクトルを修正し、修正したパワースペクトルを逆変換部７１５に出力する。

ここで、パワースペクトルの修正とは、背景雑音情報が「第１復号信号に背景雑音が含まれていない」ことを示している場合に、ポストフィルタの特性を弱め、スペクトルの変形が小さくなるようにすることを意味し、より具体的には、パワースペクトルの周波数軸上での変化を抑圧するように修正することを意味する。これにより、レイヤ情報がレイヤ２を示す場合、０〜ＦＬの帯域におけるポストフィルタの特性が弱められ、レイヤ情報がレイヤ３を示す場合、０〜ＦＨの帯域におけるポストフィルタの特性が弱められる。また、パワースペクトル修正部７１３は、背景雑音情報が「第１復号信号に背景雑音が含まれている」ことを示している場合には、上記のようなポストフィルタの特性を弱める処理を行わない、あるいは弱める程度を少なくするという処理を行う。このように第１復号信号中に背景雑音が存在するかどうか（入力信号中に背景雑音が存在するかどうか）に応じて、ポストフィルタ処理を切り替えることにより、背景雑音が存在しない場合には復号信号の異音感を出来る限り目立たないようにし、背景雑音が存在する場合には復号信号の帯域感を出来る限り増加させるような処理が可能になり、より主観的に良い品質の復号信号を生成することが出来る。

逆変換部７１５は、パワースペクトル修正部７１３から出力された修正パワースペクトルに逆変換を施し、自己相関関数を求める。求められた自己相関関数はＬＰＣ分析部７１６に出力される。なお、逆変換部７１５はＦＦＴ（ＦａｓｔＦｏｕｒｉｅｒＴｒａｎｓｆｏｒｍ）を利用することにより、演算量を削減することができる。このとき、修正パワースペクトルの次数が２Ｎで表せない場合、分析長が２Ｎになるよう修正パワースペクトルを平均化してもよいし、修正パワースペクトルを間引いてもよい。

ＬＰＣ分析部７１６は、逆変換部７１５から出力された自己相関関数に自己相関法などを用いてＬＰＣ係数を求め、求めたＬＰＣ係数を修正ＬＰＣ係数としてフィルタ部７０７に出力する。

次に、上述したパワースペクトル修正部７１３の具体的な実現方法について説明する。まず、第１の実現方法として、修正帯域におけるパワースペクトルを平坦化する方法について説明する。この方法は、修正帯域におけるパワースペクトルの平均値を算出し、算出した平均値によって平均化前のスペクトルを置き換えるものである。

図２１に、第１の実現方法によるパワースペクトルの修正の様子を示す。この図では、女性の有声部（/ｏ/）のパワースペクトルに対し、レイヤ情報がレイヤ２（０〜ＦＬの帯域におけるポストフィルタの特性を弱める）のときの修正の様子を示しており、０〜ＦＬの帯域を約２２ｄＢのパワースペクトルで置き換えている。このとき、修正される帯域と修正されない帯域の接続部分でのスペクトルの変化が不連続にならないようにパワースペクトルを修正することが望ましい。その具体的な方法として、例えば、前記接続部分とその近傍のパワースペクトルに対して移動平均値を求め、その移動平均値で対応するパワースペクトルを置き換える。これにより正確なスペクトル特性を有する修正ＬＰＣ係数を求めることができる。

次に、パワースペクトル修正部７１３の第２の実現方法について説明する。第２の実現方法は、修正帯域におけるパワースペクトルのスペクトル傾斜を求め、求めたスペクトル傾斜によって当該帯域のスペクトルを置き換えるものである。ここで、スペクトル傾斜とは、当該帯域におけるパワースペクトルの全体的な傾きを示すものである。例えば、復号信号の１次のＰＡＲＣＯＲ係数（反射係数）、あるいは当該ＰＡＲＣＯＲ係数に定数を乗じて形成されるディジタルフィルタのスペクトル特性が用いられる。このスペクトル特性に、当該帯域におけるパワースペクトルのエネルギーが保存されるように算出された係数を乗じたもので当該帯域のパワースペクトルが置き換えられる。

図２２に、第２の実現方法によるパワースペクトルの修正の様子を示す。この図では、０〜ＦＬの帯域におけるパワースペクトルを約２３ｄＢ〜２６ｄＢに傾斜するパワースペクトルで置き換えている。

ここで、以下の式（１２）に代表的なポストフィルタの伝達関数ＰＦを示す。なお式（１２）におけるα（ｉ）は復号信号のＬＰＣ（ＬｉｎｅａｒＰｒｅｄｉｃｔｉｏｎＣｏｅｆｆｉｃｉｅｎｔ）係数、ＮＰはＬＰＣ係数の次数、γｎとγｄはポストフィルタの雑音抑圧の程度を決定する設定値（０＜γｎ＜γｄ＜１）、μはフォルマント強調フィルタにより生じるスペクトル傾きを補正するための設定値、をそれぞれ表す。

上述したように修正帯域におけるパワースペクトルをスペクトル傾斜で置き換えることにより、ポストフィルタの傾き補正フィルタ式（１２）のＵ（ｚ）による高域強調の作
用を当該帯域内では打ち消しあうことになる。すなわち、式（１２）のＵ（ｚ）のスペクトル特性の逆特性に相当するスペクトル特性を付与することになる。これにより、ポストフィルタを含めた当該帯域のスペクトル特性をより平坦化させることができる。

また、パワースペクトル修正部７１３の第３の実現方法として、修正帯域におけるパワースペクトルをα乗（０＜α＜１）したものを用いてもよい。この方法では、前述したようなパワースペクトルを平坦化する方法に比べて、より柔軟にポストフィルタの特性を設計することができる。

次に、上述した修正ＬＰＣ算出部７０８によって算出された修正ＬＰＣ係数を用いて構成されたポストフィルタのスペクトル特性について図２３を用いて説明する。ここでは、図２２に示したスペクトルを用いて修正ＬＰＣ係数を求め、かつ、ポストフィルタの設定値をγｎ＝０．６、γｄ＝０．８、μ＝０．４とした場合のスペクトル特性を例に説明する。なお、ＬＰＣ係数の次数は１８次とする。

図２３に示す実線はパワースペクトル修正を行った場合のスペクトル特性を表し、点線はパワースペクトル修正を行わなかった場合（設定値は上記同様）のスペクトル特性を表す。図２３に示すように、パワースペクトル修正を行った場合のポストフィルタの特性は、０〜ＦＬの帯域ではほぼ平坦になっており、ＦＬ〜ＦＨの帯域ではパワースペクトル修正を行わなかった場合と同様のスペクトル特性となっている。

一方、ナイキスト周波数近傍では、パワースペクトル修正を行った場合のスペクトル特性は、パワースペクトル修正を行わなかった場合のスペクトル特性に比べ、若干減衰しているが、この帯域の信号成分は他の帯域の信号成分に比べて小さいため、この影響はほとんど無視することができる。

このように実施の形態７によれば、レイヤ情報に応じた帯域のパワースペクトルを修正し、修正したパワースペクトルに基づいて修正ＬＰＣ係数を算出し、算出した修正ＬＰＣ係数によってポストフィルタを構成することにより、各レイヤが担当する帯域毎に音声品質が異なる場合でも、音声品質に応じたスペクトル特性によって復号信号にポストフィルタ処理を施すことができるので、音声品質を改善することができる。

なお、本実施の形態では、レイヤ情報がレイヤ１〜３のいずれの場合も、修正ＬＰＣ係数を算出するものとして説明したが、符号化の対象となる全ての帯域がほぼ同一の音声品質であるレイヤの場合（本実施の形態では、全帯域が基本品質のレイヤ１、及び、全帯域が改善品質のレイヤ３）には、必ずしも帯域毎に修正ＬＰＣ係数を算出する必要はなく、このような場合、ポストフィルタの強さを規定する設定値（γｎ、γｄ及びμ）をレイヤ毎に予め用意し、用意された設定値を切り替えてポストフィルタを直接構成するようにしてもよい。これにより、修正ＬＰＣ係数の算出に要する処理量、処理時間を削減することができる。

なお、本実施の形態では、パワースペクトル修正部７１３において、第１レイヤ復号信号中に背景雑音が存在するか否かに応じて全帯域共通の処理を行ったが、本発明はこれに限らず、背景雑音検出部７０６において第１レイヤ復号信号中に含まれる背景雑音の周波数特性を算出し、パワースペクトル修正部７１３ではその結果を利用してサブバンド毎にパワースペクトルの修正方法を切り替える場合等にも同様に適用できる。

（実施の形態８）
図２４は、本発明の実施の形態８に係るスケーラブル復号化装置の主要な構成を示すブロック図である。ここでは、図１８と異なる部分のみ説明する。この図において、第２切
替部８０６は、分離部８０１からレイヤ情報を取得し、取得したレイヤ情報に基づいて、いずれのレイヤの復号スペクトルが得られるかを判断し、最も高次のレイヤにおける復号ＬＰＣ係数をポストフィルタの抑圧情報算出部８０８に出力する。ただし、復号処理の過程で復号ＬＰＣ係数を生成しない場合も考えられ、このような場合、第２切替部８０６が取得した復号ＬＰＣ係数からいずれかの復号ＬＰＣ係数が選択される。

背景雑音検出部８０７は、第１レイヤ復号信号を入力とし、この信号内に背景雑音が含まれるかどうかを判定する。背景雑音検出部８０７は、第１レイヤ復号信号に背景雑音が含まれていると判定した場合には、該背景雑音に対してＭＤＣＴなどの処理を行ってその周波数特性を分析し、分析した周波数特性を背景雑音情報として抑圧情報算出部８０８に出力する。また、背景雑音検出部８０７は、第１レイヤ復号信号に背景雑音が含まれていないと判定した場合には、第１レイヤ復号信号には背景雑音が含まれていないという情報を背景雑音情報として抑圧情報算出部８０８に出力する。なお、背景雑音の検出方法は、ある区間の入力信号を分析しその入力信号の最大パワー値と最小パワー値を算出し、それらの比、あるいは差が閾値以上であった場合に最小パワー値を雑音とする等の方法の他、一般的な背景雑音検出方法を採ることとする。なお、本実施の形態では、背景雑音検出部７０６は、第１レイヤ復号信号に背景雑音が含まれるかどうかを判定したが、本発明はこれに限らず、第２レイヤ復号信号、及び第３レイヤ復号信号に背景雑音が含まれるかどうかを検出する場合や、入力信号中に含まれる背景雑音の情報を符号化装置側から伝送し、伝送された背景雑音の情報を利用する場合に対しても同様に適用できる。

抑圧情報算出部８０８は、分離部８０１から出力されたレイヤ情報と、第２切替部８０６から出力されたＬＰＣ係数と、背景雑音検出部８０７から出力された背景雑音情報とを用いて、抑圧情報を算出し、算出した抑圧情報を乗算器８０９に出力する。抑圧情報算出部８０８の詳細については後述する。

乗算器８０９は、抑圧情報算出部８０８から出力された抑圧情報を切替部８０５から出力された復号スペクトルに乗算し、抑圧情報を乗算した復号スペクトルを時間領域変換部８１０に出力する。

時間領域変換部８１０は、乗算器８０９から出力される復号スペクトルに対し、逆ＭＤＣＴ処理を施し、適切な窓関数を乗じた後に、前フレームの窓掛け後の信号と対応する領域を加算して、出力信号を生成して出力する。

図２５は、図２４に示した抑圧情報算出部８０８の内部構成を示すブロック図である。この図において、ＬＰＣスペクトル算出部８２１は、第２切替部８０６から出力された復号ＬＰＣ係数を離散フーリエ変換し、各複素スペクトルのエネルギーを算出し、算出したエネルギーをＬＰＣスペクトルとしてＬＰＣスペクトル修正部８２２に出力する。すなわち、復号ＬＰＣ係数をα（ｉ）と表したとき、次式（１３）で表されるフィルタを構成する。

ＬＰＣスペクトル算出部８２１は、上式（１３）で表されるフィルタのスペクトル特性
を算出し、ＬＰＣスペクトル修正部８２２に出力する。ここで、ＮＰは復号ＬＰＣ係数の次数を表す。

また、雑音抑圧の強さの程度を調整する所定のパラメータγｎ及びγｄを用いて、以下の式（１４）で表されるフィルタを構成し、このフィルタのスペクトル特性を算出するようにしてもよい（０＜γｎ＜γｄ＜１）。

また、式（１３）又は式（１４）で表されるフィルタには、低域部（もしくは高域部）が高域部（もしくは低域部）に比べて過度に強調される特性（一般に、この特性を「スペクトル傾き」という）が生じる場合があるが、これを補正するためのフィルタ（アンチチルトフィルタ）を併用してもよい。

ＬＰＣスペクトル修正部８２２は、実施の形態７中のパワースペクトル修正部７１３と同様に、修正帯域決定部８２３から出力された修正帯域情報に基づいて、ＬＰＣスペクトル算出部８２１から出力されたＬＰＣスペクトルを修正し、修正したＬＰＣスペクトルを抑圧係数算出部８２４に出力する。

抑圧係数算出部８２４は、背景雑音情報を利用して、以下のような方法で抑圧係数を算出する。

抑圧係数算出部８２４は、ＬＰＣスペクトル修正部８２２から出力された修正ＬＰＣスペクトルを予め定められたバンド幅のサブバンドに分割し、分割したサブバンド毎の平均値を求める。そして、求めた平均値が所定の閾値より小さいサブバンドを選択し、選択したサブバンドについて、復号スペクトルを抑圧する係数（ベクトル値）を算出する。これにより、スペクトルの谷となる帯域を含むサブバンドを減衰させることができる。ちなみに、抑圧係数の算出は選択されたサブバンドの平均値に基づいて行われる。その具体的な算出法としては、例えば、サブバンドの平均値に所定の係数を乗じて抑圧係数を算出する。また、平均値が所定の閾値以上のサブバンドについては、復号スペクトルを変化させないような係数が算出される。

なお、抑圧係数は、ＬＰＣ係数である必要はなく、復号スペクトルに直接乗じられる係数であればよい。これにより、逆変換処理及びＬＰＣ分析処理を行う必要がなくなり、これらの処理に要する演算量を削減することができる。

また、抑圧係数算出部８２４は、次に示す方法に基づいて抑圧係数を算出してもよい。すなわち、抑圧係数算出部８２４では、ＬＰＣスペクトル修正部８２２から出力された修正ＬＰＣスペクトルを予め定められたバンド幅のサブバンドに分割し、分割したサブバンド毎の平均値を求める。そして、各サブバンドの平均値の中で最大となるサブバンドを求め、当該サブバンドの平均値を用いて各サブバンドの平均値を正規化する。当該正規化後のサブバンド平均値を抑圧係数として出力する。

この方法では、所定のサブバンドに分割した後に抑圧係数を出力する方法について説明しているが、より細かく抑圧係数を決定するために、周波数毎に抑圧係数を算出して出力してもよい。その場合、抑圧係数算出部８２４では、ＬＰＣスペクトル修正部８２２から出力された修正ＬＰＣスペクトルの中で最大となる周波数を求め、当該周波数のスペクトルを用いて各周波数のスペクトルを正規化する。当該正規化後のスペクトルを抑圧係数として出力する。

なお、ここで、上記のようにして算出される抑圧係数は、抑圧係数算出部８２４に入力された背景雑音情報が「第１レイヤ復号信号中に背景雑音が含まれている」ことを示していた場合には、その背景雑音のレベルに応じて、スペクトルの谷となる帯域を含むサブバンドを減衰させる効果が少なくなるように最終的に決定されることとする。このように第１復号信号中に背景雑音が存在するかどうか（入力信号中に背景雑音が存在するかどうか）に応じて、ポストフィルタ処理を切り替えることにより、背景雑音が存在しない場合には復号信号の異音感を出来る限り目立たないようにし、背景雑音が存在する場合には復号信号の帯域感を出来る限り増加させるような処理が可能になり、より主観的に良い品質の復号信号を生成することが出来る。

このように実施の形態８によれば、復号ＬＰＣ係数から算出されたＬＰＣスペクトルは、復号信号の微細情報が除かれたスペクトル包絡であり、このスペクトル包絡に基づいて直接的に抑圧係数を求めることにより、少ない演算量でより正確なポストフィルタを実現することができ、音声品質の向上を図ることが出来る。また、前記抑圧係数を、入力信号中（第１レイヤ復号信号中）に背景雑音が含まれるか否かに応じて切り替えることによって、背景雑音がある場合に対しても、ない場合に対してもそれぞれ主観的に良い品質の復号信号を生成することが出来る。

以上、本発明の各実施の形態について説明した。

なお、実施の形態１〜３、５〜８では、階層数が２または３の場合を例にとって説明したが、本発明は、階層数が２以上であればいずれの階層数のスケーラブル符号化にも適用することができる。

また、実施の形態１〜３、５〜８では、スケーラブル符号化を例にとって説明しているが、エンベディッド符号化等の他の階層符号化にも適用することができる。

また、本明細書では、音声信号を符号化対象とする場合を例にとって説明しているが、これに限定されず、本発明は、例えばオーディオ信号等にも適用することができる。

また、本明細書では、周波数変換としてＭＤＣＴを用いる場合を例にとって説明したが、高速フーリエ変換（ＦＦＴ）、離散フーリエ変換（ＤＦＴ）、ＤＣＴ、サブバンドフィルタ等を使用することもできる。

本発明に係る変換符号化装置および変換符号化方法は、上記各実施の形態に限定されず、種々変更して実施することが可能である。

本発明に係る変換符号化装置は、移動体通信システムにおける通信端末装置および基地局装置に搭載することが可能であり、これにより上記と同様の作用効果を有する通信端末装置、基地局装置、および移動体通信システムを提供することができる。

なお、ここでは、本発明をハードウェアで構成する場合を例にとって説明したが、本発明をソフトウェアで実現することも可能である。例えば、本発明に係る変換符号化方法の
アルゴリズムをプログラミング言語によって記述し、このプログラムをメモリに記憶しておいて情報処理手段によって実行させることにより、本発明に係る変換符号化装置と同様の機能を実現することができる。

また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部または全てを含むように１チップ化されても良い。

また、ここではＬＳＩとしたが、集積度の違いによって、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩ等と呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラム化することが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続もしくは設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。

さらに、半導体技術の進歩または派生する別技術により、ＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適応等が可能性としてあり得る。

本明細書は、２００５年１０月１４日出願の特願２００５−３００７７８および２００６年１０月３日出願の特願２００６−２７２２５１に基づく。これらの内容は、すべてここに含めておく。

本発明に係る変換符号化装置および変換符号化方法は、移動体通信システムにおける通信端末装置、基地局装置等の用途に適用することができる。

実施の形態１に係るスケーラブル符号化装置の主要な構成を示すブロック図実施の形態１に係る第２レイヤ符号化部内部の主要な構成を示すブロック図実施の形態１に係る補正スケールファクタ符号化部内部の主要な構成を示すブロック図実施の形態１に係るスケーラブル復号化装置の主要な構成を示すブロック図実施の形態１に係る第２レイヤ復号化部内部の主要な構成を示すブロック図実施の形態２に係る第２レイヤ符号化部内部の主要な構成を示すブロック図実施の形態２に係る第２レイヤ復号化部内部の主要な構成を示すブロック図実施の形態３に係る第２レイヤ符号化部内部の主要な構成を示すブロック図実施の形態４に係る変換符号化装置の主要な構成を示すブロック図実施の形態４に係るスケールファクタ符号化部内部の主要な構成を示すブロック図実施の形態４に係る変換復号化装置の主要な構成を示すブロック図実施の形態５に係るスケーラブル符号化装置の主要な構成を示すブロック図実施の形態５に係る第２レイヤ符号化部内部の主要な構成を示すブロック図実施の形態５に係る補正スケールファクタ符号化部内部の主要な構成を示すブロック図実施の形態５に係る第２レイヤ復号化部内部の主要な構成を示すブロック図実施の形態６に係る第２レイヤ符号化部内部の主要な構成を示すブロック図実施の形態６に係る補正スケールファクタ符号化部内部の主要な構成を示すブロック図実施の形態７に係るスケーラブル復号化装置の主要な構成を示すブロック図実施の形態７に係る修正ＬＰＣ算出部内部の主要な構成を示すブロック図実施の形態７に係る各レイヤの信号帯域及び音声品質を示す概略図実施の形態７に係る第１の実現方法によるパワースペクトルの修正の状態を示すスペクトル特性図実施の形態７に係る第２の実現方法によるパワースペクトルの修正の状態を示すスペクトル特性図実施の形態７に係る修正ＬＰＣ係数を用いて構成されたポストフィルタのスペクトル特性図実施の形態８に係るスケーラブル復号化装置の主要な構成を示すブロック図実施の形態８に係る抑圧情報算出部内部の主要な構成を示すブロック図

Claims

入力スペクトルに対応する複数の入力スケールファクタを算出する入力スケールファクタ算出手段と、
スケールファクタを複数格納し、一のスケールファクタを出力する符号帳と、
前記複数の入力スケールファクタのうちの一の入力スケールファクタと前記符号帳から出力されるスケールファクタとの歪みを算出する歪み算出手段と、
前記一の入力スケールファクタが前記符号帳から出力されるスケールファクタより大きい場合の前記歪みよりも、前記一の入力スケールファクタが前記符号帳から出力されるスケールファクタより小さい場合の前記歪みに対して、より重みを付けた重み付き歪みを算出する重み付き歪み算出手段と、
前記符号帳において、前記重み付き歪みを最小とするスケールファクタを探索する探索手段と、
を具備する変換符号化装置。
前記入力スケールファクタの符号化に割り当てるビット数を適応的に決定する決定手段をさらに具備し、
前記重み付き歪み算出手段は、
割り当てられる前記ビット数が少ない入力スケールファクタに対しては、より加重した前記重みを使用して重み付き歪みを算出する、
請求項１記載の変換符号化装置。
前記入力スペクトルに対して雑音が含まれるか否かを検出する背景雑音検出手段をさらに具備し、
前記重み付き歪み算出手段は、
前記一の入力スケールファクタが前記符号帳から出力されるスケールファクタより大きい場合の前記歪みよりも、前記一の入力スケールファクタが前記符号帳から出力されるスケールファクタより小さい場合の前記歪みに対して、より重みを付けるとともに、前記背景雑音検出部で検出された背景雑音のレベルが大きくなるにつれて、より重みが少なくなるように重み付き歪みを算出する、
請求項１記載の変換符号化装置。
第１スペクトルに対応する複数の第１スケールファクタを算出する第１スケールファクタ算出手段と、
第２スペクトルに対応する複数の第２スケールファクタを算出する第２スケールファクタ算出手段と、
補正係数を複数格納し、一の補正係数を出力する符号帳と、
前記複数の第１スケールファクタのうちの一の第１スケールファクタに前記符号帳から出力される補正係数を乗算して出力する乗算手段と、
前記複数の第２スケールファクタのうちの一の第２スケールファクタと前記乗算手段から出力される第１スケールファクタとの歪みを算出する歪み算出手段と、
前記一の第２スケールファクタが前記乗算手段から出力される第１スケールファクタより大きい場合の前記歪みよりも、前記一の第２スケールファクタが前記乗算手段から出力される第１スケールファクタより小さい場合の前記歪みに対して、より重みを付けた重み付き歪みを算出する重み付き歪み算出手段と、
前記符号帳において、前記重み付き歪みを最小とする補正係数を探索する探索手段と、
を具備する変換符号化装置。
前記第１スペクトルと前記第２スペクトルとの類似度を算出する類似度算出手段をさらに具備し、
前記重み付き歪み算出手段は、
前記類似度が小さい第２スケールファクタに対しては、より加重した前記重みを使用して重み付き歪みを算出する、
請求項４記載の変換符号化装置。
前記第１スペクトル、または第２スペクトルのいずれか、あるいは両方に対して雑音が含まれるか否かを検出する背景雑音検出手段をさらに具備し、
前記重み付き歪み算出手段は、
前記一の第２スケールファクタが前記乗算手段から出力される第１スケールファクタより大きい場合の前記歪みよりも、前記一の第２スケールファクタが前記乗算手段から出力される第１スケールファクタより小さい場合の前記歪みに対して、より重みを付けるとともに、前記背景雑音検出部で検出された背景雑音のレベルが大きくなるにつれて、より重みが少なくなるように重み付き歪みを算出する、
請求項４記載の変換符号化装置。
請求項１記載の変換符号化装置を具備する通信端末装置。
請求項１記載の変換符号化装置を具備する基地局装置。
入力スペクトルに対応する複数の入力スケールファクタを算出するステップと、
スケールファクタを複数格納している符号帳の中から一のスケールファクタを選択するステップと、
前記複数の入力スケールファクタのうちの一の入力スケールファクタと前記選択されたスケールファクタとの歪みを算出するステップと、
前記一の入力スケールファクタが前記選択されたスケールファクタより大きい場合の前記歪みよりも、前記一の入力スケールファクタが前記選択されたスケールファクタより小さい場合の前記歪みに対して、より重みを付けた重み付き歪みを算出するステップと、
前記符号帳において、前記重み付き歪みを最小とするスケールファクタを探索するステップと、
を具備する変換符号化方法。
入力スペクトルに対応する複数の入力スケールファクタを算出するステップと、
スケールファクタを複数格納している符号帳の中から一のスケールファクタを選択するステップと、
前記入力スペクトルに対して雑音が含まれるか否かを検出する背景雑音検出ステップと、
前記複数の入力スケールファクタのうちの一の入力スケールファクタと前記選択されたスケールファクタとの歪みを算出するステップと、
前記一の入力スケールファクタが前記選択されたスケールファクタより大きい場合の前記歪みよりも、前記一の入力スケールファクタが前記選択されたスケールファクタより小さい場合の前記歪みに対して、より重みを付けるとともに、前記背景雑音検出部で検出された背景雑音のレベルが大きくなるにつれて、より重みが少なくなるように重み付き歪みを算出する重み付き歪み算出ステップと、
前記符号帳において、前記重み付き歪みを最小とするスケールファクタを探索するステップと、
を具備する変換符号化方法。