JP5817499B2 - 復号装置、符号化装置、符号化復号システム、復号方法、符号化方法、復号プログラム、及び符号化プログラム - Google Patents

Description

開示の技術は復号装置、符号化装置、符号化復号システム、復号方法、符号化方法、復号プログラム、及び符号化プログラムに関する。

近年、日本のマルチメディア放送や海外のデジタルテレビ放送サービスにおいて、ＩＳＯ／ＩＥＣで標準化されたＭＰＥＧサラウンド方式（ＩＳＯ／ＩＥＣ ２３００３−１：２００７）が採用されている。ＭＰＥＧサラウンドでは、原信号であるオーディ信号を符号化して主信号符号とし、原信号の符号化により生じる誤差成分を表す残差信号を符号化して残差符号とする方式である。このような方式で符号化された入力データ（主信号符号と残差符号とが多重化された符号化データ）を復号するための従来技術の構成の一例を図１９に示す。図１９に示す復号装置１０００では、入力データはデータ分離部１００２に入力され、主信号符号と残差符号とに分離され、各々主信号復号部１００４及び残差復号部１００６に入力される。主信号復号部１００４では、主信号符号を復号して主信号を出力する。例えば、主信号符号がＡＡＣ（Advanced Audio Coding）やＨＥ−ＡＡＣ（High-Efficiency Advanced Audio Coding）により符号化されている場合には、主信号復号部１００４としては、対応するＡＡＣデコーダやＨＥ−ＡＡＣデコーダが用いられる。一方、残差復号部１００６では、残差符号を復号して残差信号として出力する。例えば、残差符号がＡＡＣなどにより符号化されている場合には、残差復号部１００６としては、対応するＡＡＣデコーダが用いられる。復号された主信号及び残差信号は加算部１００８に入力され、これらを加算して最終的な出力データが出力される（例えば、特許文献１〜４）。

さらに、主信号の符号化方式としてＨＥ−ＡＡＣが用いられている場合の構成の一例を図２０に示す。図２０に示す復号装置１００１では、入力データはデータ分離部１００２に入力され、主信号符号と補助情報符号と残差符号とに分離され、各々低域主信号復号部１０１０、補助情報復号部１０１２、及び残差復号部１００６に入力される。ここでの主信号符号は、原信号の低周波数成分が符号化された信号である。低域主信号復号部１０１０では、主信号符号を復号して主信号の低域成分である低域主信号を出力する。また、補助情報復号部１０１２では、補助情報符号を復号して補助情報を出力する。

また、高域主信号生成部１０１４では、ＳＢＲ（Spectral Band Replication）技術により、補助情報及び低域主信号を用いて、主信号の高域成分である高域主信号を出力する。ここで、高域主信号生成部１０１４における高域主信号の生成について説明する。高域主信号の生成では、図２１に示すように、低域主信号の所定の周波数帯域を選択して複製し、電力を微調整して高域主信号を生成する。選択される所定の周波数帯域、及び電力の微調整のためのゲインを示す情報は補助情報に含まれている。そして、主信号合成部１０１６で、低域主信号と高域主信号とを合成して、全帯域の成分を含む主信号を生成する。従って、ＳＢＲ技術を用いることにより、低域主信号及び補助情報から高域主信号を生成できるため、原信号の低周波数成分のみを符号化して主信号符号とすればよく、少ないビットレートで符号化することができる。一方、残差復号部１００６では、残差符号をＡＡＣ等のデコード方式により復号して残差信号を出力する。そして、加算部１００８で、生成された全帯域の主信号と残差信号とを加算して最終的な出力データが出力される。

特開平８−２４８８９７号公報 特開２００７−７２２６４号公報 国際公開第２００８／０６６０７１号パンフレット 特許第３８７１３４７号公報

従来技術では、原信号を符号化して主信号符号を得ると共に、符号化時の誤差成分である残差信号も符号化して復号の際に用いるため、復号して出力される出力データの質を高くできる利点がある。一方で、残差符号の情報量が多くなるため、低ビットレート化が困難である、という問題があった。

また、ＳＢＲ技術を適用し、主信号符号及び補助情報から高域主信号を生成する方式では、主信号のビットレートを削減することはできるが、残差信号のビットレートを削減することができないため、低ビットレート化が困難である、という問題があった。

開示の技術は、残差信号の低ビットレート化を図ることが目的である。

開示の技術は、主信号復号部が、原信号の低周波数成分が符号化された主信号符号を復号して低域主信号を出力する。また補助情報復号部が、低域主信号から原信号の高周波数成分に対応する高域主信号を生成するための補助情報が符号化された補助情報符号を復号して補助情報を出力する。また残差復号部が、原信号の符号化により生じた誤差成分を表す残差信号の低周波数成分が符号化された残差符号を復号して低域残差信号を出力する。そして、主信号生成部が、主信号復号部から出力された低域主信号と補助情報復号部から出力された補助情報とに基づいて高域主信号を生成し、低域主信号及び高域主信号に基づいて主信号を生成する。また残差信号生成部が、残差復号部から出力された低域残差信号と補助情報復号部から出力された補助情報とに基づいて、残差信号の高周波数成分を表す高域残差信号を生成し、低域残差信号及び高域残差信号に基づいて残差信号を生成する。そして、出力信号生成部が、主信号生成部で生成された主信号と、残差信号生成部で生成された残差信号とに基づいて、出力信号を生成する。

また、開示の技術は、主信号符号化部が、原信号の低周波数成分を符号化した主信号符号、及び主信号符号を復号した低域主信号を複製した信号を用いて原信号の高周波数成分に対応する高域主信号を生成するための補助情報を符号化した補助情報符号を出力する。また残差符号化部が、原信号の符号化により生じた誤差成分を表す残差信号のうち、補助情報が示す複製元周波数帯域及び複製先周波数帯域と整合する低周波成分を符号化した残差符号を出力する。

開示の技術は、残差信号の低ビットレート化を図ることができる、という効果を有する。

第１の実施の形態に係る復号装置の機能ブロック図である。 復号装置として機能するコンピュータの概略ブロック図である。 入力データのフォーマットの一例を示す概略図である。 高域主信号の生成を説明するための概略図である。 ハープシコードの楽音の一例を示すスペクトル図である。 高域残差信号の生成を説明するための概略図である。 第１の実施の形態における復号処理の内容を示すフローチャートである。 第２及び第４の実施の形態に係る復号装置の機能ブロック図である。 低域主信号、高域主信号、及び全帯域の主信号の関係を示す概略図である。 第３の実施の形態に係る復号装置の機能ブロック図である。 第３の実施の形態における高域残差生成部の機能ブロック図である。 主信号の周波数方向の自己相関の一例を示す概略図である。 第３の実施の形態における高域残差信号生成処理の内容を示すフローチャートである。 （ａ）主信号の低域と高域との比較、及び（ｂ）残差信号の低域と高域との比較を示す概略図である。 高域残差信号を修正するための修正量γの一例を示す概略図である。 第５の実施の形態に係る符号化装置の機能ブロック図である。 符号化装置として機能するコンピュータの概略ブロック図である。 第５の実施の形態における符号化処理の内容を示すフローチャートである。 従来技術の復号装置の一例を示す機能ブロック図である。 従来技術の復号装置の他の例を示す機能ブロック図である。 従来技術の高域残差信号の生成を説明するための概略図である。

以下、図面を参照して開示の技術の実施の形態の一例を詳細に説明する。

＜第１の実施の形態＞

図１に、第１の実施の形態に係る復号装置１０を示す。復号装置１０は入力された入力データを復号して出力信号を出力する処理を行う。復号装置１０は、データ分離部１２、低域主信号復号部１４、補助情報復号部１６、低域残差復号部１８、主信号生成部２４、残差信号生成部３０、及び出力データ生成部３２を含んで表すことができる。さらに、主信号生成部２４は、高域主信号生成部２０及び主信号合成部２２を含んで表すことができる。また、残差信号生成部３０は、高域残差生成部２６及び残差合成部２８を含んで表すことができる。

復号装置１０は、例えば図２に示すコンピュータ７０で実現することができる。コンピュータ７０はＣＰＵ７２、メモリ４４、不揮発性の記憶部４６、キーボード４８、マウス５０、ディスプレイ５２、スピーカ５４を備え、これらはバス５６を介して互いに接続されている。なお、記憶部４６はＨＤＤ(Hard Disk Drive)やフラッシュメモリ等によって実現できる。記録媒体としての記憶部４６には、コンピュータ７０を復号装置１０として機能させるための復号プログラム５８が記憶されている。ＣＰＵ７２は、復号プログラム５８を記憶部４６から読み出してメモリ４４に展開し、復号プログラム５８が有するプロセスを順次実行する。

復号プログラム５８は、データ分離プロセス６０、低域主信号復号プロセス６１、補助情報復号プロセス６２、低域残差復号プロセス６３、主信号生成プロセス６４、残差信号生成プロセス６５、及び出力データ生成プロセス６６を有する。ＣＰＵ７２は、データ分離プロセス６０を実行することで、図１に示すデータ分離部１２として動作する。またＣＰＵ７２は、低域主信号復号プロセス６１を実行することで、図１に示す低域主信号復号部１４として動作する。またＣＰＵ７２は、補助情報復号プロセス６２を実行することで、図１に示す補助情報復号部１６として動作する。またＣＰＵ７２は、低域残差復号プロセス６３を実行することで、図１に示す低域残差復号部１８として動作する。またＣＰＵ７２は、主信号生成プロセス６４を実行することで、図１に示す主信号生成部２４として動作する。またＣＰＵ７２は、残差信号生成プロセス６５を実行することで、図１に示す残差信号生成部３０として動作する。またＣＰＵ７２は、出力データ生成プロセス６６を実行することで、図１に示す出力データ生成部３２として動作する。これにより、復号プログラム５８を実行したコンピュータ７０が、復号装置１０として機能することになる。

なお、復号装置１０は、例えば半導体集積回路、より詳しくはＡＳＩＣ（Application Specific Integrated Circuit）等で実現することも可能である。

データ分離部１２は、フレーム単位の入力データを解析し、多重化された入力データを分離する。ここで、入力データは、主信号符号と補助情報符号と残差符号とが多重化された信号である。主信号符号は、原信号の低周波数成分が符号化された信号である。補助情報符号は、高域主信号を生成するための補助情報が符号化された信号である。残差符号は、原信号の符号化により生じる誤差成分、すなわち主信号符号を復号して得られる主信号と原信号との誤差を表す残差信号の低周波数成分が符号化された信号である。図３に、入力データの一例として、ＭＰＥＧサラウンドにおける入力ストリームのフォーマットを示す。図３に示すフォーマットは、ＡＤＴＳ（Audio Data Transport Stream）と呼ばれるデータ形式で、ＡＤＴＳヘッダ、ＡＡＣデータ、及びフィルエレメントの各フィールドを有する。ＡＡＣデータが主信号符号に相当し、残差符号及び補助情報符号はフィルエレメントに含まれる。このように各信号が多重化された入力データから、主信号符号、補助情報符号、及び残差符号を分離する。なお、分離方法は、例えば、ＩＳＯ／ＩＥＣ１４４９６−３規格に記載の方法を用いることができる。

低域主信号復号部１４は、データ分離部１２で分離された主信号符号をＡＡＣにより復号して、主信号の低域成分である低域主信号を出力する。なお、ＡＡＣ方式による復号は、例えば、ＩＳＯ／ＩＥＣ１３８１８−７規格に記載の方法を用いることができる。

補助情報復号部１６は、データ分離部１２で分離された補助情報符号を復号して補助情報を出力する。補助情報は、表１に示すように、高域主信号を生成する際に、低域主信号から選択される所定の周波数帯域、及び電力の微調整のためのゲインを示す情報が含まれる。

低域残差復号部１８は、データ分離部１２で分離された残差符号をＡＡＣにより復号して、残差信号の低域成分である低域残差信号を出力する。

高域主信号生成部２０は、ＳＢＲ技術により、低域主信号復号部１４から出力された低域主信号と、補助情報復号部１６から出力された補助情報とを用いて、主信号の高域成分である高域主信号を生成する。高域主信号の生成は上述の従来技術と同様であるが、表１に示した補助情報の記号との関係を含めて、図４を参照して説明する。まず、主信号符号は、原信号の周波数０〜Ｆ３までの低域が符号化されたものであり、低域主信号復号部１４では、周波数０〜Ｆ３までの低域主信号が復号されて出力される。高域主信号生成部２０では、補助情報復号部１６から出力された補助情報を用いて、低域主信号の周波数Ｆ１〜Ｆ２の範囲の信号Ｓｐ（Ｆ１）〜Ｓｐ（Ｆ２）を切り出して、周波数Ｆ３〜Ｆ４へ複製する。さらに、複製した信号の電力を電力調整ゲインＧａｉｎ_ｓｐにより調整する。このようにして生成された周波数Ｆ３〜Ｆ４の信号が高域主信号となる。

主信号合成部２２は、低域主信号復号部１４で復号された低域主信号と、高域主信号生成部２０で生成された高域主信号とを合成して、全帯域の成分を含む主信号を生成する。

高域残差生成部２６は、ＳＢＲ技術により、低域残差復号部１８から出力された低域残差信号と、補助情報復号部１６から出力された補助情報、すなわち主信号に対する補助情報（表１）とを用いて、残差信号の高域成分である高域残差信号を生成する。

ここで、低域残差信号と主信号の補助情報とを用いて高域残差信号を生成する原理について説明する。図５にハープシコードの楽音のスペクトル例を示す。図５に示すように、楽器音のように倍音成分を多く含む音の場合、主信号の低域と高域との相関が高いことが知られている。また、発明者等の実験によれば、主信号をＡＡＣで符号化した場合の残差信号においても、低域と高域とにピーク成分を多く含み、残差信号の低域と高域との間に高い相関が存在することが分かった。また、主信号と残差信号との間にも高い相関が存在することが分かった。従って、残差信号の低域から高域を生成することにより、残差符号化のビットレートを低減することが期待できる。ただし、単純に従来のＳＢＲ技術を残差信号に適用すると、残差信号に対する補助情報の符号化が必要となる。そこで、主信号の補助情報を用いて、低域残差信号から高域残差信号を生成する。これにより、残差信号の補助情報の符号化が必要なくなる。

上記原理に従って、高域残差生成部２６は、主信号の補助情報が示す低域残差信号の所定の周波数帯域を選択して複製し、電力を微調整して高域残差信号を生成する。電力を調整するためのゲインは、低域主信号と低域残差信号との相関、及び低域残差信号と高域残差信号との相関を考慮した値とすることができる。例えば、低域主信号の所定の周波数帯域に含まれる信号の平均電力と、低域残差信号の所定の周波数帯域に含まれる信号の平均電力との比からゲインを算出することができる。また、平均電力の他に、低域主信号及び低域残差信号各々の所定の周波数帯域に含まれる信号の最大値の比や最小値の比などを用いてもよい。以下では、具体的に平均電力の比を用いたゲインを算出する場合について説明する。

高域残差生成部２６は、まず、補助情報復号部１６から出力された補助情報を用いて、図６に示すように、低域残差信号の周波数Ｆ１〜Ｆ２の範囲の信号Ｒｅｓ（Ｆ１）〜Ｒｅｓ（Ｆ２）を切り出す。また、切り出した信号Ｒｅｓ（Ｆ１）〜Ｒｅｓ（Ｆ２）の電力を平均した低域残差信号平均電力Ｒｅｓ_ａｖｅを算出する。同様に、図４に示した主信号のＳｐ（Ｆ１）〜Ｓｐ（Ｆ２）の電力を平均した低域主信号平均電力Ｓｐ_ａｖｅを算出する。算出したＲｅｓ_ａｖｅ及びＳｐ_ａｖｅを用いて、下記（１）式により、残差信号に対する電力調整ゲインＧａｉｎ_ｒｅｓを求める。なお、βは定数である。

次に、信号Ｒｅｓ（Ｆ１）〜Ｒｅｓ（Ｆ２）の残差信号スペクトルＲｅｓ（ｆ）に対して、下記（２）式により補正残差スペクトルＲｅｓ'（ｆ）を求める。

そして、補正残差スペクトルＲｅｓ'（Ｆ１）〜Ｒｅｓ'（Ｆ２）を下記（３）式により周波数シフトすることで、高域残差信号スペクトルＲｅｓ（Ｆ３）〜Ｒｅｓ（Ｆ４）を求める。

残差合成部２８は、低域残差復号部１８で復号された低域残差信号と、高域残差生成部２６で生成された高域残差信号とを合成して、全帯域の成分を含む残差信号を生成する。

出力データ生成部３２は、主信号合成部２２から出力された全帯域の主信号と、残差合成部２８から出力された全体域の残差信号とを加算して、最終的な出力データを生成して出力する。なお、出力データの生成方法は、主信号と残差信号との加算に限定されない。

次に、図７を参照して、第１の実施の形態の復号装置１０における復号処理について説明する。

ステップ１００で、データ分離部１２は、多重化された入力データから、主信号符号と補助情報符号と残差符号とを分離する。

次に、ステップ１０２で、低域主信号復号部１４は、データ分離部１２で分離された主信号符号をＡＡＣにより復号して、主信号の低域成分である低域主信号を出力する。

次に、ステップ１０４で、補助情報復号部１６は、データ分離部１２で分離された補助情報符号を復号して補助情報を出力する。

次に、ステップ１０６で、低域残差復号部１８は、データ分離部１２で分離された残差符号をＡＡＣにより復号して、残差信号の低域成分である低域残差信号を出力する。

次に、ステップ１０８で、高域主信号生成部２０は、ＳＢＲ技術により、低域主信号復号部１４から出力された低域主信号と、補助情報復号部１６から出力された補助情報とを用いて、主信号の高域成分である高域主信号を生成する。そして、主信号合成部２２は、低域主信号復号部１４で復号された低域主信号と、高域主信号生成部２０で生成された高域主信号とを合成して、全帯域の成分を含む主信号を生成する。

次に、ステップ１１０で、高域残差生成部２６は、ＳＢＲ技術により、低域残差復号部１８から出力された低域残差信号と、補助情報復号部１６から出力された補助情報、すなわち主信号の補助情報とを用いて、残差信号の高域成分である高域残差信号を生成する。そして、残差合成部２８は、低域残差復号部１８で復号された低域残差信号と、高域残差生成部２６で生成された高域残差信号とを合成して、全帯域の成分を含む残差信号を生成する。

次に、ステップ１１２で、出力データ生成部３２は、主信号合成部２２から出力された全帯域の主信号と、残差合成部２８から出力された全体域の残差信号とを加算して、最終的な出力データを生成して出力し、復号処理を終了する。

このように、主信号に対する補助情報を用いてＳＢＲ技術を適用して、残差信号の低域成分から高域成分を生成する。そのため、残差信号の低ビットレート化を図ることができる。

＜第２の実施の形態＞

次に、第２の実施の形態について説明する。図８に、第２の実施の形態に係る復号装置２１０を示す。なお、第１の実施の形態の復号装置１０と同一の部分については、同一符号を付して詳細な説明を省略する。

第２の実施の形態の復号装置２１０は、データ分離部１２、低域主信号復号部１４、低域主信号平均電力算出部３４、補助情報復号部１６、低域残差復号部１８、主信号生成部２２４、残差信号生成部２３０、及び出力データ生成部３２を含んで表すことができる。さらに、主信号生成部２２４は、高域主信号生成部２０、主信号合成部２２、及び主信号フィルタバンク３６を含んで表すことができる。また、残差信号生成部２３０は、高域残差生成部２２６、残差合成部２８、及び残差フィルタバンク３８を含んで表すことができる。

データ分離部１２は、入力データから、主信号符号ＭＡＩＮ_ｉ、補助情報符号ＡＵＸ_ｉ、及び残差符号ＲＥＳ_ｉを分離する。

低域主信号復号部１４は、主信号符号ＭＡＩＮ_ｉを復号して、低域主信号Ｍ_Ｌ[ｋ][ｎ]（０≦ｋ＜Ｋ／２，０≦ｎ＜Ｎ）を出力する。ここで、Ｋは周波数帯域幅、Ｎは時間領域におけるフレーム長を表す。例えば、Ｋ＝６４、Ｎ＝１２８とすることができる。また、補助情報復号部１６は、補助情報符号ＡＵＸ_ｉを復号して、補助情報ａｕｘを出力する。

高域主信号生成部２０は、低域主信号Ｍ_Ｌ[ｋ][ｎ]と補助情報ａｕｘとを用いて、高域主信号Ｍ_Ｈ[ｋ][ｎ]（Ｋ／２≦ｋ＜Ｋ，０≦ｎ＜Ｎ）を生成する。また、主信号合成部２２は、低域主信号Ｍ_Ｌ[ｋ][ｎ]と高域主信号Ｍ_Ｈ[ｋ][ｎ]とを合成して全帯域の主信号Ｍ[ｋ][ｎ]（０≦ｋ＜Ｋ，０≦ｎ＜Ｎ）を生成する。低域主信号Ｍ_Ｌ[ｋ][ｎ]、高域主信号Ｍ_Ｈ[ｋ][ｎ]、及び全帯域の主信号Ｍ[ｋ][ｎ]の関係を図９に示す。

主信号フィルタバンク３６は、主信号合成部２２で合成された周波数領域の信号である全帯域の主信号Ｍ[ｋ][ｎ]を、時間領域の主信号Ｍ[ｎ]に変換して出力する。フィルタバンクとして、例えば下記（４）式を用いることができる。

低域残差復号部１８は、残差符号ＲＥＳ_ｉを復号して、低域残差信号ＲＥＳ_Ｌ[ｋ][ｎ] （０≦ｋ＜Ｋ／２，０≦ｎ＜Ｎ）を出力する。

低域主信号平均電力算出部３４は、第１の実施の形態の高域残差生成部２６の処理で説明したように、低域主信号Ｍ_Ｌ[ｋ][ｎ]から低域主信号平均電力Ｓｐ_ａｖｅを算出し、高域残差生成部２６に出力する。

高域残差生成部２６は、第１の実施の形態と同様に、低域残差信号ＲＥＳ_Ｌ[ｋ][ｎ]から低域残差信号平均電力Ｒｅｓ_ａｖｅを算出する。そして、低域残差信号ＲＥＳ_Ｌ[ｋ][ｎ]、補助情報ａｕｘ、低域主信号平均電力Ｓｐ_ａｖｅ、及び低域残差信号平均電力Ｒｅｓ_ａｖｅを用いて、高域残差信号ＲＥＳ_Ｈ[ｋ][ｎ]（Ｋ／２≦ｋ＜Ｋ，０≦ｎ＜Ｎ）を生成する。

残差合成部２８は、低域残差信号ＲＥＳ_Ｌ[ｋ][ｎ]と高域残差信号ＲＥＳ_Ｈ[ｋ][ｎ]とを合成して全帯域の残差信号ＲＥＳ[ｋ][ｎ]（０≦ｋ＜Ｋ，０≦ｎ＜Ｎ）を生成する。低域残差信号ＲＥＳ_Ｌ[ｋ][ｎ]、高域残差信号ＲＥＳ_Ｈ[ｋ][ｎ]、及び全帯域の残差信号ＲＥＳ[ｋ][ｎ]の関係は図９と同様である。

残差フィルタバンク３８は、残差合成部２８で合成された周波数領域の信号である全帯域の残差信号ＲＥＳ[ｋ][ｎ]を、時間領域の残差信号ＲＥＳ[ｎ]に変換して出力する。フィルタバンクとしては、（４）式を用いることができる。

出力データ生成部３２は、時間領域の信号に変換された全帯域の主信号Ｍ[ｎ]と、全体域の残差信号ＲＥＳ[ｎ]とを加算して、最終的な出力データを生成して出力する。

なお、第２の実施の形態の復号装置２１０における復号処理は、第１の実施の形態の復号処理（図７）において、ステップ１０８及び１１０の後に、周波数領域の主信号及び残差信号各々を時間領域の信号に変換する処理が加わるだけであるので、説明を省略する。

このように、主信号に対する補助情報を用いてＳＢＲ技術を適用して、残差信号の低域成分から高域成分を生成する。そのため、残差信号の低ビットレート化を図ることができる。

＜第３の実施の形態＞

次に、第３の実施の形態について説明する。図１０に、第３の実施の形態に係る復号装置３１０を示す。なお、第１の実施の形態の復号装置１０または第２の実施の形態の復号装置２１０と同一の部分については、同一符号を付して詳細な説明を省略する。

第３の実施の形態の復号装置３１０は、データ分離部１２、低域主信号復号部１４、低域主信号平均電力算出部３４、補助情報復号部１６、低域残差復号部１８、主信号生成部２２４、残差信号生成部３３０、及び出力データ生成部３２を含んで表すことができる。さらに、主信号生成部２２４は、高域主信号生成部２０、主信号合成部２２、及び主信号フィルタバンク３６を含んで表すことができる。また、残差信号生成部３３０は、高域残差生成部３２６、残差合成部２８、及び残差フィルタバンク３８を含んで表すことができる。第３の実施の形態の復号装置３１０の構成は、高域残差生成部３２６以外は第２の実施の形態の復号装置２１０の構成と同様であるため、異なる点についてのみ説明する。

一般に、楽器音のように倍音成分を多く含む音源では、低域残差信号と高域残差信号との相関が高くなる傾向があるため、第１及び第２の実施の形態で述べたように残差信号にＳＢＲを適用することによるビットレート低減の効果が大きくなる。一方で、低域残差信号と高域残差信号との相関が低い音源に対しては、残差信号にＳＢＲを適用することにより出力データが劣化する可能性がある。そこで、第３の実施の形態の復号装置３１０では、低域主信号、高域主信号、全帯域の主信号、及び低域残差信号の少なくとも１つの信号に含まれる倍音成分に基づいて、高域残差生成部３２６の動作を制御する。なお、低域主信号、高域主信号、全帯域の主信号、及び低域残差信号の少なくとも１つとしたのは、残差信号に倍音成分が多く含まれる場合には、必然的に主信号にも倍音成分が多く含まれためである。すなわち、低域主信号、高域主信号、全帯域の主信号、及び低域残差信号の少なくとも１つの信号の倍音成分を判断することにより、低域残差信号と高域残差信号との相関の高低を判断することができる。

高域残差生成部３２６は、図１１に示すように、生成部３２６ａ及びピッチ性判定部３２６ｂを含んで表すことができる。

ピッチ性判定部３２６ｂは、主信号合成部２２から入力された主信号Ｍ[ｋ][ｎ]に基づいて、主信号Ｍ[ｋ][ｎ]のピッチ性を判定する。ピッチ性とは、信号に含まれる倍音成分の強度を示すものである。信号に含まれる倍音成分の強度が高い場合に、その信号がピッチ性を含むという。

具体的には、ピッチ性判定部３２６ｂは、例えば下記（５）式を用いて、１フレームの全帯域の主信号Ｍ[ｋ][ｎ]の各時刻ｎにおいて、周波数方向の遅延をｄとして、周波数方向の自己相関Ａｃｏｒ[ｎ，ｄ]を求める。

各時刻ｎについて求めた自己相関Ａｃｏｒ[ｎ，ｄ]を用いて、全時刻（ｎ＝０，・・・，Ｎ）の合計、平均、最大値、最小値等を求めることにより、遅延ｄ毎に、全時刻における自己相関Ａｃｏｒ[ｄ]を求める。例えば、合計を用いる場合は、
Ａｃｏｒ[ｄ]＝Ａｃｏｒ[０，ｄ]＋・・・＋Ａｃｏｒ[Ｎ，ｄ]
として遅延ｄについての自己相関を求めることができる。図１２に自己相関Ａｃｏｒ[ｄ]の例を示す。全て自己相関Ａｃｏｒ[ｄ]の中で最大となる自己相関Ａｃｏｒ[ｄ_max]を選択して、ピッチ性を表すパラメータとして用いることができる。図１２の例では、自己相関Ａｃｏｒ[ｄ１]が自己相関Ａｃｏｒ[ｄ_max]となる。

またピッチ性判定部３２６ｂは、算出したピッチ性を示すパラメータである自己相関Ａｃｏｒ[ｄ_max]が予め定めた閾値ＴＨ_ｐｉｔｃｈ以上の場合に、主信号Ｍ[ｋ][ｎ]にピッチ性が含まれると判定する。一方、自己相関Ａｃｏｒ[ｄ_max]が閾値ＴＨ_ｐｉｔｃｈ未満の場合には、主信号Ｍ[ｋ][ｎ]にピッチ性が含まれないと判定する。

生成部３２６ａは、ピッチ性判定部３２６ｂにより主信号Ｍ[ｋ][ｎ]にピッチ性が含まれると判定された場合には、第２の実施の形態の高域残差生成部２２６と同様に、低域残差信号ＲＥＳ_Ｌ[ｋ][ｎ]から低域残差信号平均電力Ｒｅｓ_ａｖｅを算出する。そして、低域残差信号ＲＥＳ_Ｌ[ｋ][ｎ]、補助情報ａｕｘ、低域主信号平均電力Ｓｐ_ａｖｅ、及び低域残差信号平均電力Ｒｅｓ_ａｖｅを用いて、高域残差信号ＲＥＳ_Ｈ[ｋ][ｎ]を生成する。ピッチ性判定部３２６ｂにより主信号Ｍ[ｋ][ｎ]にピッチ性が含まれないと判定された場合には、高域残差信号ＲＥＳ_Ｈ[ｋ][ｎ]を生成しない。ピッチ性判定部３２６ｂの判定結果に基づく生成部３２６ａの制御方法を表２に示す。

なお、生成部３２６ａにより高域残差信号ＲＥＳ_Ｈ[ｋ][ｎ]が生成されなかった場合には、残差合成部２８からは低域残差信号ＲＥＳ_Ｈ[ｋ][ｎ]のみが出力される。残差フィルタバンク３８では、低域残差信号ＲＥＳ_Ｈ[ｋ][ｎ]を時間領域の低域残差信号ＲＥＳ_Ｈ[ｎ]に変換する。そして、出力データ生成部３２では、全帯域の主信号Ｍ[ｎ]と低域残差信号ＲＥＳ_Ｈ[ｎ]とを加算して、最終的な出力データを生成する。

次に、第３の実施の形態の復号装置３１０における復号処理について説明する。第３の実施の形態の復号処理は、第１の実施の形態の復号処理（図７）のステップ１１０において、図１３に示す高域残差信号生成処理を実行する。

ステップ３００で、ピッチ性判定部３２６ｂは、周波数方向の自己相関の最大値Ａｃｏｒ[ｄ_max]を、ピッチ性を示すパラメータとして算出する。

次に、ステップ３０２で、ピッチ性判定部３２６ｂは、上記ステップ３００で算出した自己相関Ａｃｏｒ[ｄ_max]が予め定めた閾値ＴＨ_ｐｉｔｃｈ以上か否かを判定する。Ａｃｏｒ[ｄ_max]≧ＴＨ_ｐｉｔｃｈの場合には、主信号Ｍ[ｋ][ｎ]にピッチ性が含まれると判定して、ステップ３０４へ移行する。一方、Ａｃｏｒ[ｄ_max]＜ＴＨ_ｐｉｔｃｈの場合には、主信号Ｍ[ｋ][ｎ]にピッチ性が含まれないと判定して、ステップ３０６へ移行する。

ステップ３０４では、生成部３２６ａは、低域残差信号ＲＥＳ_Ｌ[ｋ][ｎ]から低域残差信号平均電力Ｒｅｓ_ａｖｅを算出する。そして、低域残差信号ＲＥＳ_Ｌ[ｋ][ｎ]、補助情報ａｕｘ、低域主信号平均電力Ｓｐ_ａｖｅ、及び低域残差信号平均電力Ｒｅｓ_ａｖｅを用いて、高域残差信号ＲＥＳ_Ｈ[ｋ][ｎ]を生成して出力する。

ステップ３０６では、生成部３２６ｂは、高域残差信号ＲＥＳ_Ｈ[ｋ][ｎ]を生成することなく、入力された低域残差信号ＲＥＳ_Ｌ[ｋ][ｎ]のみを出力する。

このように、主信号がピッチ性を含むか否かにより、高域残差信号を生成するか否かを判定するため、残差信号の低域と高域との相関が低い場合の出力データの劣化を抑制することができる。

なお、第３の実施の形態では、低域残差信号と高域残差信号との相関を、主信号のピッチ性に基づいて判定する場合について説明したが、これに限定されない。上述したように、低域主信号、高域主信号、全帯域の主信号、及び低域残差信号の少なくとも１つの信号のピッチ性を判定するようにしてもよい。

＜第４の実施の形態＞

次に、第４の実施の形態について説明する。図８に示すように、第４の実施の形態の復号装置４１０の構成は、残差信号生成部４３０に含まれる高域残差生成部４２６以外は第２の実施の形態の復号装置２１０の構成と同様であるため、異なる点についてのみ説明する。

第４の実施の形態における高域残差生成部４２６では、高域残差信号の生成において、（１）式により算出された電力調整ゲインＧａｉｎ_ｒｅｓで調整した電力を修正する。

ここで、第４の実施の形態における電力修正の原理について説明する。図１４（ａ）に主信号の低域と高域とを重ねて表示した場合の例を示す。図１４（ａ）において、低域の周波数はＦ１〜Ｆ２であり、高域の周波数はＦ３〜Ｆ４であるが、比較し易いように重ねて表示している。また、図１４（ｂ）に残差信号の低域と高域とを重ねて表示した場合の例を示す。図１４（ｂ）も同様に、比較し易いように残差信号の低域の周波数Ｆ１〜Ｆ２と高域の周波数Ｆ３〜Ｆ４とを重ねて表示している。図１４（ａ）に示すように、主信号の低域と高域とにおいて、周波数の変化に対するピーク電力の傾きがほぼ同じであっても、図１４（ｂ）に示すように、残差信号については、低域よりも高域の電力が小さくなる場合がある。このような場合に、低域残差信号を複写して高域残差信号を生成し、例えば（１）式のような電力調整ゲインＧａｉｎ_ｒｅｓを用いて電力調整を行うと、高域残差信号の電力が必要以上に大きくなり、出力データの品質が劣化する可能性がある。

そこで、第４の実施の形態では、高域残差生成部４２６において、生成した高域残差信号に対して、周波数が高くなるほど電力が減衰するように電力を修正する。

具体的には、高域残差生成部４２６は、第２の実施の形態と同様な処理により生成した高域残差信号ＲＥＳ_Ｈ[ｋ][ｎ]に対して、図１５に示す修正量γ[ｋ]を乗算して、高域残差信号ＲＥＳ_Ｈ[ｋ][ｎ]を修正する。図１５に示す修正量γ[ｋ]は、高域残差信号の開始周波数であるＦ３に対応する定数γ_ｔｈ１と、高域残差信号の終了周波数であるＦ４に対応する定数γ_ｔｈ２との間で、一定の割合で減少する値である。定数γ_ｔｈ１及びγ_ｔｈ２は、例えば、γ_ｔｈ２＝１．０（減衰なし）、γ_ｔｈ２＝０．５（電力を１／２に減衰）とすることができる。高域残差生成部４２６は、この修正量γ[ｋ]を用いて、下記（６）式により高域残差信号ＲＥＳ_Ｈ[ｋ][ｎ]を修正し、修正後の高域残差信号ＲＥＳ'_Ｈ[ｋ][ｎ]を出力する。

なお、第４の実施の形態の復号装置４１０における復号処理は、第１の実施の形態の復号処理（図７）において、ステップ１１０で高域残差信号を生成する際に、上記の電力修正の処理が加わるだけであるので、説明を省略する。

このように、高域残差信号の電力を、周波数が高くなるほど減衰するように修正することで、高域残差信号の電力が必要以上に大きくなることを防止し、出力データの品質が劣化するのを抑制することができる。

なお、定数γ_ｔｈ１及びγ_ｔｈ２は、上記の値に限定されるものではない。また、上記では修正量γ[ｋ]が一定割合で減少する場合を例に説明したが、修正後の電力を周波数が高くなるほど減衰するように修正できる値であればよく、非線形に減衰するような値としてもよい。

＜第５の実施の形態＞

次に、第５の実施の形態について説明する。第１〜第４の実施の形態では復号装置について説明したが、第５の実施の形態では、符号化装置について説明する。

図１６に、第５の実施の形態に係る符号化装置５１０を示す。符号化装置５１０は原信号を符号化して符号化データを出力する処理を行う。符号化装置５１０は、主信号符号化部８０、残差符号化部８１、及び多重化部８２を含んで表すことができる。さらに、残差符号化部８１は、主信号復号部８４、残差信号生成部８６、ピッチ性判定部８８、残差帯域決定部９０、及び符号化部９２を含んで表すことができる。

符号化装置５１０は、例えば図１７に示すコンピュータ５７０で実現することができる。コンピュータ５７０は、第１の実施の形態のコンピュータ７０と同様に、ＣＰＵ７２、メモリ４４、不揮発性の記憶部４６、キーボード４８、マウス５０、ディスプレイ５２、スピーカ５４を備え、これらはバス５６を介して互いに接続されている。なお、記憶部４６はＨＤＤ(Hard Disk Drive)やフラッシュメモリ等によって実現できる。記録媒体としての記憶部４６には、コンピュータ５７０を符号化装置５１０として機能させるための符号化プログラム５５８が記憶されている。ＣＰＵ７２は、符号化プログラム５５８を記憶部４６から読み出してメモリ４４に展開し、符号化プログラム５５８が有するプロセスを順次実行する。

符号化プログラム５５８は、主信号符号化プロセス９４、残差符号化プロセス９６、及び多重化プロセス９８を有する。ＣＰＵ７２は、主信号符号化プロセス９４を実行することで、図１６に示す主信号符号化部８０として動作する。またＣＰＵ７２は、残差符号化プロセス９６を実行することで、図１６に示す残差符号化部８１として動作する。またＣＰＵ７２は、多重化プロセス９８を実行することで、図１６に示す多重化部８２として動作する。これにより、符号化プログラム５５８を実行したコンピュータ５７０が、符号化装置５１０として機能することになる。

なお、符号化装置５１０は、例えば半導体集積回路、より詳しくはＡＳＩＣ（Application Specific Integrated Circuit）等で実現することも可能である。

主信号符号化部８０は、原信号をＨＥ−ＡＡＣにより符号化して、主信号符号及び補助情報符号を出力する。ＨＥ−ＡＡＣにより符号化することにより、主信号符号は、原信号の低周波数成分が符号化されたものとなる。また、補助情報符号は、復号処理において、主信号符号を復号した低域主信号から高域主信号を生成する際に用いる情報である。具体的には、第１の実施の形態で説明したのと同様に、低域主信号から選択される所定の周波数帯域、及び電力の微調整のためのゲインを示す情報が含まれる。

主信号復号部８４は、主信号符号化部８０で符号化された主信号符号及び補助情報符号を復号して主信号を出力する。具体的な処理については、第１の実施の形態の主信号生成部２４と同様である。

残差信号生成部８６は、原信号と主信号復号部８４から出力された主信号との誤差成分を表す残差信号を生成する。

ピッチ性判定部８８は、主信号復号部８４で復号された主信号に含まれるピッチ性を判定する。具体的には、時間領域の信号である主信号を下記（７）式のフィルタバンクにより周波数領域の信号に変換する。その後の処理は、第３の実施の形態のピッチ性判定部３２６ｂと同様である。

残差帯域決定部９０は、ピッチ性判定部８８の判定結果に基づいて、符号化する残差信号の低周波数成分の帯域幅（残差帯域）を決定する。残差帯域の決定方法は、ピッチ性が閾値ＴＨ_ｐｉｔｃｈ以上であれば残差帯域を小さい帯域幅で決定し、ピッチ性がＴＨ_ｐｉｔｃｈ未満であれば残差信号の全ての帯域を残差帯域として決定する。ＴＨ_ｐｉｔｃｈは閾値であり、例えば０．８とすることができる。なお、残差帯域を小さくする場合は、例えば、ナイキスト周波数の１／２に相当する周波数以下の低周波数帯域を残差帯域とすることができる。また、復号時に主信号の補助情報を用いて低域残差信号から高域残差信号を生成することを考慮して、補助情報が示す複製元周波数帯域及び複製先周波数帯域との整合性がとれた残差帯域となるように決定する。

符号化部９２は、残差信号生成部８６で生成された残差信号のうち、残差帯域決定部９０で決定された残差帯域の信号を符号化し、残差符号を出力する。

多重化部８２は、主信号符号化部８０から出力された主信号符号及び補助情報符号と、符号化部９２から出力された残差符号とを多重化して符号化データを生成して、出力する。

次に、図１８を参照して、第５の実施の形態の符号化装置５１０における符号化処理について説明する。

ステップ５００で、主信号符号化部８０は、原信号をＨＥ−ＡＡＣにより符号化して、主信号符号及び補助情報符号を出力する。

次に、ステップ５０２で、主信号復号部８４は、主信号符号化部８０で符号化された主信号符号及び補助情報符号を復号して主信号を出力する。

次に、ステップ５０４で、残差信号生成部８６は、原信号と主信号復号部８４から出力された主信号との誤差成分を表す残差信号を生成する。

次に、ステップ５０６で、ピッチ性判定部８８は、主信号復号部８４で復号された時間領域の信号である主信号を周波数領域の信号に変換した後に、主信号に含まれるピッチ性を判定する。

次に、ステップ５０８で、残差帯域決定部９０は、ピッチ性判定部８８で判定されたピッチ性が閾値ＴＨ_ｐｉｔｃｈ以上であれば残差帯域を小さい帯域幅で決定し、ピッチ性がＴＨ_ｐｉｔｃｈ未満であれば残差信号の全ての帯域を残差帯域として決定する。

次に、ステップ５１１で、符号化部９２は、残差信号生成部８６で生成された残差信号のうち、残差帯域決定部９０で決定された残差帯域の信号を符号化し、残差符号を出力する。

次に、ステップ５１２で、多重化部８２は、主信号符号化部８０から出力された主信号符号及び補助情報符号と、符号化部９２から出力された残差符号とを多重化して符号化データを生成して出力し、符号化処理を終了する。

出力された符号化データは、上記の第１〜第４の実施の形態のいずれかの復号装置により復号される。この際、残差信号の全帯域が符号化されている場合には、復号処理では、低域残差信号から高域残差信号を生成する処理は省略する。

このように、主信号のピッチ性が閾値ＴＨ_ｐｉｔｃｈ以上であれば、残差信号についても低周波数成分のみを符号化することで、低ビットレート化を図ることができる。また、主信号のピッチ性が閾値ＴＨ_ｐｉｔｃｈ未満であれば、残差信号の全帯域を符号化することで、符号化データを復号して生成される出力データの劣化を抑制することができる。

なお、第５の実施の形態では、主信号のピッチ性に基づいて残差帯域を決定する場合について説明したが、ピッチ性を判定することなく、残差信号の予め定めた低周波数帯域を残差帯域として決定しておいてもよい。例えば、主信号の符号化をする低周波数帯域と同一の低周波数帯域を残差帯域として定めておくことができる。

また、上記第１〜第４の実施の形態では復号装置について、第５の実施の形態では符号化装置について説明したが、第１〜第４の実施の形態のいずれかの復号装置と、第５の実施の形態の符号化装置とを含む符号化復号システムとしてもよい。

また、上記では復号プログラム５８または符号化プログラム５５８が記憶部４６に予め記憶（インストール）されている態様を説明したが、これに限定されるものではない。例えば、開示の技術における復号プログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記録媒体に記録されている形態で提供することも可能である。

また、開示の技術の復号装置及び符号化装置各々を、各部の処理を実現するためのハードウエアにより構成してもよい。

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

１０、２１０、３１０、４１０ 復号装置
１２ データ分離部
１４ 低域主信号復号部
１６ 補助情報復号部
１８ 低域残差復号部
２０ 高域主信号生成部
２２ 主信号合成部
２４、２２４ 主信号生成部
２６、２２６、３２６、４２６ 高域残差生成部
２８ 残差合成部
３０、２３０、３３０ 残差信号生成部
３２ 出力データ生成部
３４ 低域主信号平均電力算出部
３６ 主信号フィルタバンク
３８ 残差フィルタバンク
４４ メモリ
４６ 記憶部
４８ キーボード
５０ マウス
５２ ディスプレイ
５４ スピーカ
５６ バス
７０、５７０ コンピュータ
８０ 主信号符号化部
８１ 残差符号化部
８２ 多重化部
８４ 主信号復号部
８６ 残差信号生成部
８８ ピッチ性判定部
９０ 残差帯域決定部
９２ 符号化部
５１０ 符号化装置

Claims (13)

1. 原信号の低周波数成分が符号化された主信号符号を復号して低域主信号を出力する主信号復号部と、
   前記低域主信号から前記原信号の高周波数成分に対応する高域主信号を生成するための補助情報が符号化された補助情報符号を復号して補助情報を出力する補助情報復号部と、
   前記原信号の符号化により生じた誤差成分を表す残差信号の低周波数成分が符号化された残差符号を復号して低域残差信号を出力する残差復号部と、
   前記主信号復号部から出力された前記低域主信号と前記補助情報復号部から出力された前記補助情報とに基づいて前記高域主信号を生成し、前記低域主信号及び前記高域主信号に基づいて主信号を生成する主信号生成部と、
   前記残差復号部から出力された前記低域残差信号と前記補助情報復号部から出力された前記補助情報とに基づいて、前記残差信号の高周波数成分を表す高域残差信号を生成し、前記低域残差信号及び前記高域残差信号に基づいて残差信号を生成する残差信号生成部と、
   前記主信号生成部で生成された主信号と、前記残差信号生成部で生成された残差信号とに基づいて、出力信号を生成する出力信号生成部と、
   を含む復号装置。
2. 前記残差信号生成部は、前記補助情報に基づいて定まる前記低域残差信号の所定帯域に含まれる信号を高域側に複製し、かつ複製された信号のレベルを、前記低域主信号のレベルと前記低域残差信号のレベルとに基づいて調整して、前記高域残差信号を生成する請求項１記載の復号装置。
3. 前記残差信号生成部は、生成した前記高域残差信号のレベルを、周波数が高くなるほど減衰するように修正する請求項２記載の復号装置。
4. 前記主信号生成部は、周波数領域で表された前記主信号を、時間領域の信号に変換し、
   前記残差信号生成部は、周波数領域で表された前記残差信号を、時間領域の信号に変換する
   請求項１〜請求項３のいずれか１項記載の復号装置。
5. 前記残差信号生成部は、前記低域主信号、前記高域主信号、前記主信号、及び前記低域残差信号の少なくとも１つの信号のピッチ性が予め定めた閾値より高い場合に前記高域残差信号を生成する請求項１〜請求項４のいずれか１項記載の復号装置。
6. 前記残差信号生成部は、前記低域主信号、前記高域主信号、前記主信号、及び前記低域残差信号の少なくとも１つの信号の周波数方向の自己相関の最大値を前記ピッチ性として算出する請求項５記載の復号装置。
7. 原信号の低周波数成分を符号化した主信号符号、及び前記主信号符号を復号した低域主信号を複製した信号を用いて前記原信号の高周波数成分に対応する高域主信号を生成する際の複製元周波数帯域及び複製先周波数帯域の情報を含む補助情報を符号化した補助情報符号を出力する主信号符号化部と、
   前記原信号の符号化により生じた誤差成分を表す残差信号のうち、前記補助情報が示す前記複製元周波数帯域及び前記複製先周波数帯域と整合する低周波数成分を符号化した残差符号を出力する残差符号化部と、
   を含む符号化装置。
8. 前記残差符号化部は、前記主信号符号化部から出力された前記主信号符号及び前記補助情報符号を復号した主信号のピッチ性に基づいて、符号化する前記残差信号の低周波数成分の帯域幅を決定する請求項７記載の符号化装置。
9. 請求項１〜請求項６のいずれか１項記載の復号装置と、
   請求項７または請求項８記載の符号化装置と、
   を含む符号化復号システム。
10. 原信号の低周波数成分が符号化された主信号符号を復号して低域主信号を出力する主信号復号ステップと、
    前記低域主信号から前記原信号の高周波数成分に対応する高域主信号を生成するための補助情報が符号化された補助情報符号を復号して補助情報を出力する補助情報復号ステップと、
    前記原信号の符号化により生じた誤差成分を表す残差信号の低周波数成分が符号化された残差符号を復号して低域残差信号を出力する残差復号ステップと、
    前記主信号復号ステップで出力された前記低域主信号と前記補助情報復号ステップで出力された前記補助情報とに基づいて前記高域主信号を生成し、前記低域主信号及び前記高域主信号に基づいて主信号を生成する主信号生成ステップと、
    前記残差復号ステップで出力された前記低域残差信号と前記補助情報復号ステップで出力された前記補助情報とに基づいて、前記残差信号の高周波数成分を表す高域残差信号を生成し、前記低域残差信号及び前記高域残差信号に基づいて残差信号を生成する残差信号生成ステップと、
    前記主信号生成ステップで生成された主信号と、前記残差信号生成ステップで生成された残差信号とに基づいて、出力信号を生成する出力信号生成ステップと、
    を含む復号方法。
11. 原信号の低周波数成分を符号化した主信号符号、及び前記主信号符号を復号した低域主信号を複製した信号を用いて前記原信号の高周波数成分に対応する高域主信号を生成する際の複製元周波数帯域及び複製先周波数帯域の情報を含む補助情報を符号化した補助情報符号を出力する主信号符号化ステップと、
    前記原信号の符号化により生じた誤差成分を表す残差信号のうち、前記補助情報が示す前記複製元周波数帯域及び前記複製先周波数帯域と整合する低周波数成分を符号化した残差符号を出力する残差符号化ステップと、
    を含む符号化方法。
12. コンピュータに、
    原信号の低周波数成分が符号化された主信号符号を復号して低域主信号を出力する主信号復号ステップと、
    前記低域主信号から前記原信号の高周波数成分に対応する高域主信号を生成するための補助情報が符号化された補助情報符号を復号して補助情報を出力する補助情報復号ステップと、
    前記原信号の符号化により生じた誤差成分を表す残差信号の低周波数成分が符号化された残差符号を復号して低域残差信号を出力する残差復号ステップと、
    前記主信号復号ステップで出力された前記低域主信号と前記補助情報復号ステップで出力された前記補助情報とに基づいて前記高域主信号を生成し、前記低域主信号及び前記高域主信号に基づいて主信号を生成する主信号生成ステップと、
    前記残差復号ステップで出力された前記低域残差信号と前記補助情報復号ステップで出力された前記補助情報とに基づいて、前記残差信号の高周波数成分を表す高域残差信号を生成し、前記低域残差信号及び前記高域残差信号に基づいて残差信号を生成する残差信号生成ステップと、
    前記主信号生成ステップで生成された主信号と、前記残差信号生成ステップで生成された残差信号とに基づいて、出力信号を生成する出力信号生成ステップと、
    を含む処理を実行させるための復号プログラム。
13. コンピュータに、
    原信号の低周波数成分を符号化した主信号符号、及び前記主信号符号を復号した低域主信号を複製した信号を用いて前記原信号の高周波数成分に対応する高域主信号を生成する際の複製元周波数帯域及び複製先周波数帯域の情報を含む補助情報を符号化した補助情報符号を出力する主信号符号化ステップと、
    前記原信号の符号化により生じた誤差成分を表す残差信号のうち、前記補助情報が示す前記複製元周波数帯域及び前記複製先周波数帯域と整合する低周波数成分を符号化した残差符号を出力する残差符号化ステップと、
    を含む処理を実行させるための符号化プログラム。