JP5255638B2 - ノイズ補充の方法及び装置 - Google Patents

Description

本発明は、一般にオーディオ信号の符号化及び復号化を行なう方法及び装置に関し、特に、知覚スペクトル復号化を行なう方法及び装置に関するものである。

オーディオ信号が格納及び／又は送信される場合、今日の標準的な方法は、種々の方式に従ってオーディオ信号をデジタル表現に符号化することである。記憶容量及び送信容量の少なくとも一方を節約するために、一般に十分な知覚品質のオーディオ信号の再構成を可能にするのに必要とされるデジタル表現のサイズを減少することが望ましい。符号化信号のサイズと信号品質との間のトレードオフは、実際のアプリケーションに依存する。

信号の振幅の漸進的な変化を正確に符号化するために、すなわち少ない情報量で記述するために、一般に時間領域信号はより小さな部分に分割される必要がある。一般に最新の符号化方法は、時間領域信号を周波数領域に変換する。周波数領域において、理想的には人間聴覚系が認識できない知覚符号化、すなわち不可逆的符号化を使用することにより、より適切な符号化利得が達成される。例えば、非特許文献１を参照。しかし、ビットレートの制約が厳しすぎる場合、知覚オーディオ符号化の概念は、マスク閾値を超える歪みの導入、すなわち符号化ノイズの導入を回避できない。知覚オーディオ符号化の歪みを低減する一般的な課題は、非特許文献２において説明されるＴＮＳ（Temporal Noise Shaping）技術により対処された。基本的にＴＮＳ方法は、２つの主な考え、すなわち時間／周波数の検討及びオープンループ予測符号化による量子化ノイズスペクトルの形成に基づく。

更にオーディオ符号化標準は、専用アプリケーションに従って適度な複雑さに対する遅いデータ転送速度で狭帯域音声から全帯域オーディオまで高いオーディオ品質又は中間のオーディオ品質を与えるために継続的に設計される。非特許文献３において説明されるスペクトル帯域複製（ＳＢＲ）技術は、特定のパラメータを狭帯域信号の知覚オーディオ符号化から結果として得られるバイナリ・フラックス（binary flux）に関連付けることにより遅いデータ転送速度で広帯域又は全帯域オーディオ符号化を可能にするために導入された。そのような特定のパラメータは、一般に復号器側で使用され、低周波数復号化スペクトルからコアコーデックにより復号化されない損失高周波数を再生成する。

変換を使用するオーディオ・コーデックにおいて、非特許文献３で説明されるＴＮＳ技術及びＳＢＲ技術の関連付けは、中間のデータ転送速度のアプリケーション、すなわち中間のオーディオ品質に対する３２ｋｂｐｓの一般的なビットレートに対して正常に実現された。しかし、それらの高度な符号化方法は、予測符号化及びある特定の遅延を要求する適応分解能フィルタバンクを含むため非常に複雑である。実際には、それらの符号化方法は、遅延が少なく且つ複雑でないアプリケーションに適さない。

J.D. Johnstonの「Transform coding of audio signals using perceptual noise criteria」IEEE J. Select. Areas Commun.、vol. 6、３１４〜３２３ページ、１９８８年 J. Herreの「Temporal Noise Shaping, Quantization and Coding Methods in Perceptual Audio Coding: A tutorial introduction」、AES 17th Int. conf. on High Quality Audio Coding、１９９７年 3GPP TS 26.404 V6.0.0（２００４〜０９年）の「Enhanced aacPlus general audio codec - encoder SBR part (Release 6)」２００４年

本発明の一般的な目的は、低ビットレートでも適用可能である符号化アーチファクトを低減する方法及び装置を提供することである。本発明の更なる目的は、それ程複雑でない符号化アーチファクトを低減する方法及び装置を提供することである。

上述の目的は、開示される請求の範囲に係る方法及び装置により達成される。一般に、第１の態様において、知覚スペクトル復号化を行なう方法は、バイナリ・フラックスから戻されたスペクトル係数をスペクトル係数の初期集合の復号化スペクトル係数に復号化することを含む。スペクトル係数の初期集合は、再構成スペクトル係数の集合にスペクトル補充される。スペクトル補充は、バイナリ・フラックスから復号化されないスペクトル係数の初期集合のスペクトル係数を復号化スペクトル係数から導出される要素に等しくなるように設定することによりスペクトル・ホールのノイズ補充を行なうことを含む。周波数領域の再構成スペクトル係数の集合は、時間領域のオーディオ信号に変換される。

第２の態様において、知覚スペクトル復号化において信号処理を行なう方法は、スペクトル係数の初期集合の復号化スペクトル係数を取得することを含む。スペクトル係数の初期集合は、再構成スペクトル係数の集合にスペクトル補充される。スペクトル補充は、大きさがゼロであるか又は符号化されないスペクトル係数の初期集合のスペクトル係数を復号化スペクトル係数から導出される要素に等しくなるように設定することによりスペクトル・ホールのノイズ補充を行なうことを含む。再構成スペクトル係数の集合が出力される。

第３の態様において、知覚スペクトル復号器は、バイナリ・フラックスに対する入力と、バイナリ・フラックスから戻されたスペクトル係数をスペクトル係数の初期集合の復号化スペクトル係数に復号化するように構成されるスペクトル係数復号器とを含む。知覚スペクトル復号器は、スペクトル係数復号器に接続され且つスペクトル係数の集合のスペクトル補充を行なうように構成されるスペクトル補充器を更に含む。スペクトル補充器は、バイナリ・フラックスから復号化されないスペクトル係数の初期集合のスペクトル係数を復号化スペクトル係数から導出された要素に等しくなるように設定することによりスペクトル・ホールのノイズ補充を行なうノイズ補充器を含む。知覚スペクトル復号器は、スペクトル補充器に接続され且つ周波数領域の再構成スペクトル係数の集合を時間領域のオーディオ信号に変換するように構成されるコンバータと、オーディオ信号に対する出力とを更に含む。

第４の態様において、知覚スペクトル復号器用の信号処理装置は、スペクトル係数の初期集合の復号化スペクトル係数に対する入力と、入力に接続され且つスペクトル係数の初期集合のスペクトル補充を行なうように構成されるスペクトル補充器とを含む。スペクトル補充器は、大きさがゼロであるか又は復号化されないスペクトル係数の初期集合のスペクトル係数を復号化スペクトル係数から導出される要素に等しくなるように設定することによりスペクトル・ホールのノイズ補充を行なうノイズ補充器を含む。信号処理装置は、再構成スペクトル係数の集合に対する出力を更に含む。

本発明の１つの利点は、ノイズ補充が従来のノイズ補充方法で起こるようなランダムノイズの注入なしで復号化スペクトル係数に依存するため、オーディオ信号の元の信号の時間エンベロープがより適切に維持されることである。本発明は、それ程複雑でない方法で実現可能である。他の利点については、以下に説明される種々の実施形態と共に更に説明する。

添付の図面と共に以下の説明を参照することにより、本発明は、本発明の更なる目的及び利点と共に最もよく理解されるだろう。

コーデックシステムを示す概略ブロック図である。 オーディオ信号符号器の一実施形態を示す概略ブロック図である。 オーディオ信号復号器の一実施形態を示す概略ブロック図である。 は、本発明に係るノイズ補充器の一実施形態を示す概略ブロック図である。 、 本発明の一実施形態に従ってノイズ補充用のスペクトル・コードブックの作成及び利用を示す図である。 本発明に係る復号器の一実施形態を示す概略ブロック図である。 本発明に係るノイズ補充器の別の実施形態を示す概略ブロック図である。 、 本発明に係るスペクトル畳み込み方法の一実施形態に従って帯域幅拡張の実施形態を示す図である。 本発明に係るノイズ補充器の更に別の実施形態を示す概略ブロック図である。 本発明の一実施形態に係るエンベロープ符号器を有する符号器を示す概略ブロック図である。 本発明に係る復号化方法の一実施形態のステップを示すフローチャートである。 本発明に係る信号処理方法の一実施形態のステップを示すフローチャートである。

図中、同一の図中符号は同様の要素又は対応する要素に対して使用される。

本発明は、符号化／復号化システムの復号化側での周波数領域処理に依存する。この周波数領域処理はノイズ補充（ＮＦ）と呼ばれ、特に低ビットレートに対して発生する符号化アーチファクトを減少でき、また複雑でない方式で低レートで全帯域幅オーディオ信号を再生成するために使用されてもよい。

オーディオ信号に対する一般的なコーデックシステムの一実施形態を図１に概略的に示す。オーディオ・ソース１０は、オーディオ信号１５を生成する。オーディオ信号１５は符号器２０で扱われ、符号器２０は、オーディオ信号１５を表すデータを含むバイナリ・フラックス２５を生成する。バイナリ・フラックス２５は、例えばマルチメディア通信の場合のように、送信／格納部（送信及び／又は格納部）３０により送信されてもよい。送信／格納部３０は、オプションとしてある記憶容量を含んでもよい。バイナリ・フラックス２５は、送信／格納部３０に格納のみ行なわれてもよく、バイナリ・フラックスの利用時に時間遅延を導入する。送信／格納部３０は、バイナリ・フラックス２５の再空間位置付け又は時間遅延のうちの少なくとも一方を導入する構成である。バイナリ・フラックス２５は、使用される際に復号器４０で扱われ、復号器４０は、バイナリ・フラックスに含まれるデータからオーディオ出力３５を生成する。一般にオーディオ出力３５は、元のオーディオ信号１５、並びに可能性として特定の制約下におけるデータ転送速度、遅延又は複雑さ等を近似すべきである。

多くのリアルタイム・アプリケーションにおいて、一般に元のオーディオ信号１５の生成と生成されたオーディオ出力３５との間の時間遅延は、ある特定の時間を超えてはならない。同時に送信資源が制限される場合、一般に利用可能なビットレートも低い。可能な限り最適な方法で利用可能なビットレートを利用するために、知覚オーディオ符号化が開発された。したがって、知覚オーディオ符号化は、今日の多くのマルチメディア・サービスに対して重要な部分になっている。基本原理は、オーディオ信号を周波数領域のスペクトル係数に変換し、知覚モデルを使用してスペクトル係数の周波数及び時間依存マスキングを判定することである。

図２は、一般的な知覚オーディオ符号器２０の一実施形態を示す。この特定の実施形態において、知覚オーディオ符号器２０は、時間／周波数変換器又はフィルタバンクに基づくスペクトル符号器である。オーディオ・ソース１５は、オーディオ信号のフレームを含んで受信される。

一般的な変換符号器において、第１のステップは、入力オーディオ信号x[n]の時間セグメンテーションを結果として与える信号のウィンドウ化と呼ばれる時間領域処理から成る。従って、ウィンドウ化部２１は、オーディオ信号を受信し且つ時間セグメンテーションされたオーディオ信号x[n]２２を提供する。

時間セグメンテーションされたオーディオ信号x[n]２２は、時間領域オーディオ信号２２を周波数領域のスペクトル係数の集合に変換するように構成されるコンバータ２３に提供される。コンバータ２３は、任意の従来の変換器又はフィルタバンクに従って実現される。本発明を動作可能にする原理の詳細は特に重要ではないため、詳細は説明しない。符号器により使用される時間／周波数領域変換は、例えば以下の通りである。

離散フーリエ変換（ＤＦＴ）

式中、X[k]はウィンドウ化された入力信号x[n]のＤＦＴである。Nはウィンドウw[n]のサイズであり、nは時間指標であり、kは周波数ビン指標である。

離散コサイン変換（ＤＣＴ）
修正離散コサイン変換（ＭＤＣＴ）

式中、X[k]はウィンドウ化された入力信号x[n]のＭＤＣＴである。Nはウィンドウw[n]のサイズであり、nは時間指標であり、kは周波数ビン指標である。

本実施形態において、知覚オーディオ・コーデックは、入力オーディオ信号の周波数表現の１つに基づいて、例えばバーク・スケール（Bark scale）である聴覚系の臨界帯域を考慮してスペクトル又はその近似を分解することを目的とする。このステップは、臨界帯域に従って確立される知覚スケールに従う変換係数の周波数グループ化により達成される。

X_b[k] = {X[k]}, k∈[k_b, ..., k_b+1-1], b∈[1, ..., N_b]
Nbは、周波数又は心理音響帯域の数を示し、ｂは相対指標である。

コンバータ２３からの出力は、入力オーディオ信号の周波数表現２４であるスペクトル係数の集合である。

一般に、知覚モデルは、スペクトル係数の周波数及び時間依存マスキングを判定するために使用される。本実施形態において、心理音響サブバンド領域において変換係数X_b[k]に適用される周波数形成関数、例えばスケール因子（変倍因子）SF[b]を導出するために、知覚変換コーデックは、マスキング閾値MT[b]の推定値に依存する。変倍されたスペクトルXs_b[k]は以下のように規定される。

Xs_b[k] = X_b[k] × MT[b], k∈[k_b, ..., k_b+1-1], b∈[1, ..., N_b]
このために、図２の実施形態において、心理音響モデリング部２６は、元の音響信号２２にアクセスできるウィンドウ化部２１及び周波数表現にアクセスできるコンバータ２３に接続される。心理音響モデリング部２６は、本実施形態においては上述の推定値を利用するように構成され、マスキング閾値MT[k]２７を出力する。

入力オーディオ信号の周波数表現２４及びマスキング閾値MT[k]２７は、量子化／符号化部２８に提供される。最初に、マスキング閾値MT[k]２７は周波数表現２４に適用され、スペクトル係数の集合を与える。本実施形態において、スペクトル係数の集合は、周波数グループX_b[k]に基づいて変倍されたスペクトル係数Xs_b[k]に対応する。しかし、更に一般的な変換符号器において、変倍は個々のスペクトル係数X[k]に対して直接実行できる。

量子化／符号化部２８は、任意の適切な方法でスペクトル係数の集合を量子化し、情報を圧縮するように更に構成される。また、量子化／符号化部２８はスペクトル係数の量子化集合を符号化するように構成される。そのような符号化は、知覚特性を利用するのが好ましく、可能な限り最適な方法で量子化ノイズをマスキングするように動作する。知覚符号器は、符号化の目的で知覚的に変倍されたスペクトルを利用してもよい。冗長性の低減は、変倍されたスペクトルを使用することにより元のスペクトルの最も知覚的に関連する係数に集中することができる量子化／符号化処理により実行される。追加の副次的な情報と共に符号化スペクトル係数は、使用される送信又は格納標準に従ってビット・ストリームにパックされる。スペクトル係数の集合を表すデータを有するバイナリ・フラックス２５は、量子化／符号化部２８から出力される。

復号化段階において、基本的に逆演算が達成される。図３において、一般的な知覚オーディオ復号器４０の一実施形態を示す。上述した符号器からの特性を有するバイナリ・フラックス２５が受信される。例えばビット・ストリームである受信したバイナリ・フラックス２５の逆量子化及び復号化は、スペクトル係数復号器４１で実行される。スペクトル係数復号器４１は、バイナリ・フラックスから戻されるスペクトル係数を周波数グループX^Q _b[k]にグループ化される可能性があるスペクトル係数４２の初期集合の復号化スペクトル係数XQ[k]に復号化するように構成される。

スペクトル係数４２の初期集合は、バイナリ・フラックスで受信されないか又は少なくともバイナリ・フラックスから復号化されないスペクトル係数に対応するいわゆる「スペクトル・ホール」を一般的に含むという点で不完全である。換言すると、スペクトル・ホールは、非復号化スペクトル係数X^Q[k]に又はスペクトル係数復号器４１により所定の値に、一般にはゼロに自動的に設定されるスペクトル係数である。スペクトル係数復号器４１からのスペクトル係数４２の不完全な初期集合は、スペクトル補充器４３に提供される。スペクトル補充器４３は、スペクトル係数４２の初期集合をスペクトル補充するように構成される。スペクトル補充器４３はノイズ補充器５０を含む。ノイズ補充器５０は、バイナリ・フラックス２５から復号化されないスペクトル係数４２の初期集合のスペクトル係数を確定値に設定することによりスペクトル・ホールのノイズ補充を行なう処理を提供するように構成される。更に以下に詳細に説明するように、本発明に従って、スペクトル・ホールのスペクトル係数は、復号化スペクトル係数から導出される要素と等しくなるように設定される。復号器４０は、変換領域における高品質なノイズ補充を可能にする特定のモジュールを提示する。スペクトル補充器４３からの結果は、規定される特定の周波数範囲内の全てのスペクトル係数を有する再構成スペクトル係数X_b'[k]の完全な集合４４である。

スペクトル係数の完全な集合４４は、スペクトル補充器４３に接続されるコンバータ４５に提供される。コンバータ４５は、周波数領域の再構成スペクトル係数の完全な集合４４を時間領域のオーディオ信号４６に変換するように構成される。コンバータ４５は、一般に符号器２０（図２）で使用される変換技術に対応する逆変換器又は逆フィルタバンクに基づく。特定の一実施形態において、信号４６は、逆ＭＤＣＴ−ＩＭＤＣＴ又は逆ＤＦＴ−ＩＤＦＴ等の逆変換により時間領域に再び提供される。他の実施形態においては、逆フィルタバンクが利用される。符号器側と同様に、コンバータ４５の技術は従来技術において周知であり、更なる説明は行なわない。最後に、重複加算法は、知覚的に再構成最終的なオーディオ信号３４x'[k]に対する出力３５において上記オーディオ信号３４を生成するために使用される。これは、例示的な本実施形態においてウィンドウ化部４７及び重複適応部４９により提供される。

上記で提示した符号器及び復号器の実施形態は、サブバンド符号化及び当該周波数帯域全体の符号化に対して提供される。

図４において、本発明に係るノイズ補充器５０の一実施形態を示す。この特定の高品質のノイズ補充器５０により、スペクトル・ノイズ・コードブックと呼ばれる新しい概念に基づくスペクトル補充を含む時間構造の保存が可能になる。スペクトル・ノイズ・コードブックは、復号化スペクトル、すなわち復号化スペクトル係数に基づいて実行中に構築される。復号化スペクトルは、全体的な時間エンベロープ情報を含む。これは、ノイズ・コードブックからの生成されたノイズ、可能性としてランダムノイズがノイズによる歪みを導入する時間的に平坦なノイズ補充を回避する情報を更に含むことを意味する。

図４のノイズ補充器のアーキテクチャは、各々が各ステップと関連付けられる２つの連続する部分に依存する。スペクトル・コードブック生成器５１により実行される第１のステップは、復号化スペクトルにより提供される要素X^Q _b[k]、すなわちスペクトル係数４２の初期集合の復号化スペクトル係数を含むスペクトル・コードブックを構築することから成る。

その後、補充スペクトル部５２において、スペクトル・ホールと考えられる復号化スペクトル・サブバンド又はスペクトル係数は、符号化アーチファクトを低減するためにコードブックの要素により補充される。このスペクトル補充は、適応的に規定される遷移周波数まで最低周波数に対して考慮されるのが好ましい。しかし、補充は要求に応じて周波数範囲全体において実行される。現在のオーディオ信号の特定の時間構造と関連付けられるコードブックの要素を使用することにより、ある時間構造の保存は補充されたスペクトル係数に導入される。

図４は、知覚スペクトル復号器用の信号処理装置を示す。信号処理装置は、スペクトル係数の初期集合の復号化スペクトル係数に対する入力を含む。信号処理装置は、入力に接続され且つ再構成スペクトル係数の集合にスペクトル係数の初期集合をスペクトル補充するように構成されるスペクトル補充器を更に含む。スペクトル補充器は、大きさがゼロであるか又は復号化されないスペクトル係数の初期集合のスペクトル係数を復号化スペクトル係数から導出された要素に等しくなるように設定することによりスペクトル・ホールのノイズ補充を行なうノイズ補充器を含む。信号処理装置は、再構成スペクトル係数の集合に対する出力を更に含む。

処理を図５Ａ及び図５Ｂに概略的に示す。本明細書において、ノイズ補充手順の第１のステップが例えば変換係数であるスペクトル係数からスペクトル・コードブックを構築することに依存することを示す。このステップは、復号化スペクトルの知覚的に関連するスペクトル係数X^Q _b[k]を連結することにより達成される。本実施形態において、復号化スペクトルはスペクトル係数のグループに分割される。しかし、提示される原理は任意のそのようなグループ化に適用可能である。特別な例は、各スペクトル係数XQ[k]が自身のグループを構成する場合である。すなわち、グループ化を全く行なわない状況と等しい。図５Ａの復号化スペクトルは、一般にスペクトル・ホールと呼ばれる黒色矩形により示されるいくつかの一連のゼロ係数又は非復号化係数を有する。一般に、スペクトル係数X^Q _b[k]のグループは特定の長さＬを有すると考えられる。この長さは、固定長又は量子化及び符号化処理により判定される値であってもよい。

量子化及び符号化処理の結果として得られるスペクトル・ホールが知覚的に関連しないということに従って、本実施形態において、スペクトル・コードブックはゼロだけを有するわけではないスペクトル係数X^Q _b[k]のグループ、すなわちスペクトル・サブバンドから構成される。例えば本実施形態において、Ｚ個のゼロを有する長さＬ（Ｚ＞Ｌ）のサブバンドの一部が符号化、すなわち量子化されたため、そのサブバンドはコードブックの一部となる。このように、コードブックのサイズは、入力スペクトルの知覚的に関連する内容に対して適応的に規定される。

他の実施形態において、スペクトル・コードブックを生成するときに他の選択基準が使用されてもよい。スペクトル・コードブックに含まれる１つの可能な基準は、スペクトル係数X^Q _b[k]の特定のグループのスペクトル係数のいずれも規定されなかったり、ゼロになったりしないということである。これにより、スペクトル・コードブック内の選択の可能性は減少するが、それと同時に、スペクトル・コードブックの全ての要素がある時間構造情報を保持することが保証される。当業者には理解されるように、復号化スペクトル係数から導出される適切な要素を選択するための限定されない種々の可能な基準が存在する。

スペクトル・ホールが補充されるように要求される場合、本実施形態において、スペクトル・コードブックの要素によりスペクトル・ホールを補充することが提案される。これは、一般的な量子化及び符号化アーチファクトを低減するために実行される。従来技術と比較した場合の本発明の１つの改善点は、スペクトル補充が知覚的に関連するスペクトル自体の一部により達成されることに依存し、元の信号の時間構造の保存を可能にする。一般に、最新のノイズ補充方式の非特許文献１により提案されるホワイト・ノイズ注入は、時間構造の保存の重要な用件を満たさない。これは、プリエコー・アーチファクトが生成される可能性があることを意味する。これに対して、本実施形態に係るスペクトル補充は、プリエコー・アーチファクトを導入せず、量子化及び符号化アーチファクトを依然として低減する。

図５Ｂに示すように、スペクトル・コードブックの要素は、好ましくは遷移周波数まで、例えば連続したＺ＝Ｌ個のゼロであるスペクトル・ホールを補充するために使用される。遷移周波数は、符号器により規定されて復号器に送信されてもよく、あるいはオーディオ信号の内容から復号器により適応的に判定されてもよい。遷移周波数は、例えばサブバンド毎の符号化係数の数に基づいて符号器により行なわれたのと同様に復号器において規定されると仮定する。

全てのスペクトル・ホールの合計の長さがスペクトル・コードブックの長さより長くなる可能性があるため、同一のコードブックの要素はいくつかのスペクトル・ホールを補充するために使用される必要があるだろう。

補充に使用されるスペクトル・コードブックの要素は、以下の１つ以上の基準により選択される。図５Ｂに示す実施形態に対応する１つの基準は、好ましくは低周波数端から開始してインデックス順にスペクトル・コードブックの要素を使用することである。スペクトル係数の集合のインデックスがiで示され且つスペクトル・コードブックのインデックスがjで示される場合、対(i, j)は補充戦略を表すことができる。インデックス順の方法は、インデックスiまでコードブックのインデックスjを増加することによりスペクトル・ホールを盲目的に補充するものとして表される。これは、全てのスペクトル・ホールを覆うために使用される。スペクトル・ホールがスペクトル・コードブック中の要素より多く存在する場合、スペクトル・コードブックの要素の使用は再び最初から開始してもよく、すなわち、スペクトル・コードブックの全ての要素が利用される時はスペクトル・コードブックの循環的使用により開始してもよい。

対(i, j)、例えばスペクトル・ホール係数とコードブックの要素との間の例えば周波数であるスペクトル距離を規定するために、他の基準も使用可能である。このように、例えば利用される時間構造が補充されるスペクトル・ホールから離れすぎていない周波数と関連付けられるスペクトル係数に基づくことが保証される。一般に、補充されるスペクトル・ホールの周波数より低い周波数と関連付けられる要素によりスペクトル・ホールを補充するのがより適切であると考えられる。

別の基準は、注入されたコードブックの要素が戻された符号化係数に円滑に適合するように、スペクトル・ホールの近傍のエネルギーを考慮することである。換言すると、ノイズ補充器は、補充されるスペクトル・ホールに隣接する復号化スペクトル係数のエネルギー及び選択された要素のエネルギーに基づいてスペクトル・コードブックから要素を選択するように構成される。

そのような基準の組合せが更に考慮される。

上記実施形態において、スペクトル・コードブックは、オーディオ信号の現在のフレームの復号化スペクトル係数を含む。フレームの範囲を越える時間依存性が存在する。別の実施形態において、そのようなフレーム間時間依存性を利用するために、例えばフレーム毎にスペクトル・コードブックの一部を保存できる。換言すると、スペクトル・コードブックは、過去のフレーム及び未来のフレームの少なくとも一方の復号化スペクトル係数を含んでもよい。

上記実施形態において示すように、スペクトル・コードブックの要素は、特定の復号化スペクトル係数に直接対応する。しかし、後処理プロセッサを更に含むようにノイズ補充器を構成できる。後処理プロセッサは、スペクトル・コードブックの要素を後処理するように構成される。これにより、ノイズ補充器は後処理されたスペクトル・コードブックから要素を選択するように構成される必要がある。そのように、周波数及び／又は時間空間における特定の依存性は平滑化され、それにより例えば量子化又は符号化ノイズの影響が低減される。

スペクトル・コードブックの使用は、復号化スペクトル係数から導出される要素に等しくなるようにスペクトル・ホールを設定するように構成する実際的な実現例である。しかし、単純な解決策は別の方法で実現されてもよい。別個のコードブックの補充要素の候補を明示的に収集するのではなく、スペクトル・ホールを補充するのに使用される要素の選択及び／又は導出は、集合の復号化スペクトル係数から直接実行される。

好適な実施形態において、復号器のスペクトル補充器は帯域幅拡張を提供するように更に構成される。図６において、復号器４０の一実施形態を示す。ここで、スペクトル補充器４３は帯域幅拡張器５５を更に含む。従来技術において周知のような帯域幅拡張器５５は、スペクトル係数が高周波数端において入手可能である周波数領域を拡大する。一般的な状況において、戻されたスペクトル係数は、主に遷移周波数より低い周波数で提供される。任意のスペクトル・ホールは、上述のノイズ補充により補充される。遷移周波数より高い周波数では、一般的に戻されたスペクトル係数は入手可能でないか又はいくつかの戻されたスペクトル係数のみが入手可能である。この周波数領域は一般的に未知であり、知覚にとってそれ程重要でない。この領域内の入手可能なスペクトル係数を拡張することにより、例えば逆変換に適するスペクトル係数の完全な集合が提供される。要約すると、ノイズ補充は、一般に遷移周波数より低い周波数に対して実行され、帯域幅の拡張は、一般に遷移周波数より高い周波数に対して実行される。

図７に示す特定の一実施形態において、帯域幅拡張器５５はノイズ補充器５０の一部として考えられる。特定の本実施形態において、帯域幅拡張器５５はスペクトル畳み込み部５６を含み、スペクトル畳み込み部５６において、高周波数スペクトル係数は全帯域幅オーディオ信号を構築するためにスペクトル畳み込みにより生成される。換言すると、本実施形態において、処理は遷移周波数の値に基づくスペクトル畳み込みにより補充されたスペクトルから高周波数スペクトルを合成する。

全帯域幅生成の一実施形態について、図８Ａにより説明する。これは、高周波数スペクトル、すなわち基本的に遷移周波数より高いゼロへの遷移周波数より低いスペクトルのスペクトル畳み込みに基づく。これを行なうために、遷移周波数より高い周波数におけるゼロは、低周波数補充スペクトルにより補充される。本実施形態において、補充される高周波数スペクトルの長さの半分に等しい低周波数補充スペクトルの長さは、遷移周波数より低い周波数から選択される。第１のスペクトルコピーは、遷移周波数により規定される対称点に対して達成される。最後に、高周波数スペクトルの最初の半分は、追加の畳み込みにより高周波数スペクトルの後半の半分を生成するために使用される。

この手順は、以下のように説明される一般的な方法の特定の実現例として考えられる。遷移周波数より高いスペクトル（Ｚ個の変換係数）は、信号の高調波構造（例えば、音声信号）又は任意の他の適切な基準に依存してＵ（U≧2）個のスペクトル単位又はブロックに分割される。実際には、元の信号が強い高調波構造を有する場合、不快なアーチファクトを回避するために畳み込み（Ｕを増加する）に使用されるスペクトル部分の長さを減少するのが適切である。

図８Ｂにおいて説明される別の実施形態において、遷移周波数より低い低周波数補充スペクトルの一部はスペクトル畳み込みに使用される。意図された帯域幅拡張Ｚが利用可能な低周波数補充スペクトルの半分の(N-Z)/2以下である場合、補充される高スペクトルの長さに対応する低周波数補充スペクトルの一部が選択され、遷移周波数の周囲の高周波数に畳み込まれる。しかし、意図される帯域幅拡張Ｚが利用可能な低周波数補充スペクトルの半分の(N-Z)/2より大きい場合、すなわちＮ＜３＊Ｚである場合、低周波数補充スペクトルの半分のみが選択され第１の場所に畳み込まれる。その後、畳み込まれたスペクトルからのスペクトル範囲は高周波数範囲の残りの部分を覆うように選択される。必要に応じて、すなわちＮ＜２＊Ｚである場合、高周波数範囲全体が覆われてスペクトル連続性及び全帯域幅信号生成が保証されるまで、この畳み込みは第３のコピー、第４のコピーに対して繰り返される。

遷移周波数より高い高周波数スペクトルがゼロ又は未規定の係数で完全に満たされていない場合、すなわちいくつかの変換係数が実際に知覚符号化又は量子化された場合、図８Ｂに示すように、スペクトル畳み込みはそれらの係数を交換、修正又は削除しないのが好ましい。

図９において、スペクトル補充エンベロープの応用例を提示する復号器４０の一実施形態を示す。このために、ノイズ補充器５０は、スペクトル補充エンベロープ部５７を含む。スペクトル補充エンベロープ部５７は、復号化スペクトルX'_b[k]の最終的なエネルギーが元のスペクトルX_b[k]のエネルギーを近似するように、すなわち初期エネルギーを維持するために、全てのサブバンドにわたる補充された畳み込みスペクトルにスペクトル補充エンベロープを適用するように構成される。これは、ノイズ補充が正規化領域において実行されるときにも適用可能である。

一実施形態において、これは、以下のように書けるサブバンド利得補正を使用して行なわれる。

式中、ｄＢでの利得G[b]は、サブバンドｂ毎の平均量子化誤差の対数値により与えられる。

これを行なうために、元のスペクトル及び／又はノイズフロアのエネルギーレベル、例えばエンベロープG[b]は、符号器により符号化されて復号器に副次的な情報として送信されているべきである。

このように、遷移周波数より高いサブバンドに対する信号尤度推定エンベロープG[b]は、上記式により記述されるように、スペクトル畳み込み後の補充スペクトルのエネルギーを元のスペクトルの初期エネルギーに適応できる。

特定の実施形態において、周波数に依存する方法での信号及びノイズフロア尤度エネルギー推定の組合せは、スペクトル補充及び畳み込み後に使用される適切なエンベロープを構築するために作成される。図１０は、そのような目的で使用される符号器２０の一部を示す。例えば変換係数であるスペクトル係数６６は、エンベロープ符号化部に入力される。量子化誤差６７は、スペクトル係数の量子化により導入される。エンベロープ符号化部６０は、２つの推定器、すなわち信号尤度エネルギー推定器６２及びノイズフロア尤度エネルギー推定器６２を含む。推定器６２、６１は、エネルギー推定出力の量子化を行なう量子化器６３に接続される。

図１０から分かるように、本実施形態においては、信号尤度推定エンベロープのみを使用するのではなく、遷移周波数より低いサブバンドに対するノイズフロア尤度エネルギー推定を使用することが提案される。上記式の信号尤度エネルギー推定との主な相違点は、量子化誤差がサブバンド毎の平均係数の対数値ではなく係数の対数値の平均値を使用することにより均一にされるように計算に依存する。符号器における信号及びノイズフロア尤度エネルギー推定の組合せは、復号器側で補充スペクトルに適用される適切なエンベロープを構築するために使用される。

図１１は、本発明に係る復号化方法の一実施形態のステップを示すフローチャートである。知覚スペクトル復号化方法はステップ２００で開始する。ステップ２１０において、バイナリ・フラックスから戻されるスペクトル係数は、スペクトル係数の初期集合の復号化スペクトル係数に復号化される。ステップ２１２において、スペクトル係数の初期集合のスペクトル補充が実行され、再構成スペクトル係数の集合を与える。ステップ２１６において、周波数領域の再構成スペクトル係数の集合は、時間領域のオーディオ信号に変換される。ステップ２１２はステップ２１４を含み、ステップ２１４において、スペクトル・ホールは、バイナリ・フラックスから復号化されないスペクトル係数の初期集合のスペクトル係数を復号化スペクトル係数から導出される要素に等しくなるように設定することによりノイズ補充される。手順はステップ２４９において終了する。

方法の好適な実施形態は、上述した装置と関連して説明する手順の中から見つけられる。

図１１の手順のスペクトル補充部分は、知覚スペクトル復号化内で一般的に使用される別個の信号処理方法として考えられる。そのような信号処理方法は、中央ノイズ補充ステップ、並びにスペクトル係数の初期集合を取得するステップ及び再構成スペクトル係数の集合を出力するステップを含む。

図１２において、本発明に係るそのようなノイズ補充方法の好適な一実施形態のステップのフローチャートを示す。この方法は、図１１に示す方法の一部として使用されてもよい。信号処理の方法はステップ２５０で開始する。ステップ２６０において、スペクトル係数の初期集合が取得される。スペクトル補充ステップであるステップ２７０はノイズ補充ステップ２７２を含み、ステップ２７２は複数のサブステップ２６２〜２６６を含む。ステップ２６２において、スペクトル・コードブックは復号化スペクトル係数から作成される。省略されてもよいステップ２６４において、スペクトル・コードブックは上述のように後処理される。ステップ２６６において、補充要素はコードブックから選択され、スペクトル係数の初期集合のスペクトル・ホールを補充する。ステップ２６８において、戻されたスペクトル係数の集合が出力される。手順はステップ２９９で終了する。

本明細書で上述した本発明は多くの利点を有し、それらの利点の一部を本明細書で説明する。本発明に係るノイズ補充は、例えば標準的なガウスホワイトノイズ注入による一般的なノイズ補充と比較して高品質を提供する。これは、元の信号の時間エンベロープを維持する。本発明の一実現例の複雑さは、最新技術に従う解決策と比較して非常に低い。周波数領域におけるノイズ補充は、符号器及び／又は復号器側で適応遷移周波数を規定することにより使用される符号化方式に適応される。

上述の実施形態については、本発明のいくつかの図示する例として理解される。本発明の範囲を逸脱せずに、種々の変形、組合せ及び変更が実施形態に対して行なわれてもよいことが当業者には理解されるだろう。特に、種々の実施形態における種々の部分解決策は、技術的に可能であれば他の構成で組み合わされてもよい。しかし、本発明の範囲は添付の請求の範囲により規定される。

Claims (22)

1. 知覚スペクトル復号化を行う方法であって、
   バイナリ・フラックスから戻されたスペクトル係数を、スペクトル係数の初期集合の復号化スペクトル係数に復号化するステップ（２１０）と、
   前記スペクトル係数の初期集合を、再構成スペクトル係数の集合にスペクトル補充するステップ（２１２）と、
   周波数領域の前記再構成スペクトル係数の集合を、時間領域のオーディオ信号に変換するステップ（２１６）と
   を含み、
   スペクトル補充する前記ステップ（２１２）は、前記バイナリ・フラックスから復号化されない前記スペクトル係数の初期集合のスペクトル係数を、前記復号化スペクトル係数から導出される要素に等しくなるように設定することによってスペクトル・ホールのノイズ補充を行なうステップ（２１４）を含み、
   ノイズ補充を行う前記ステップ（２１４）は、前記復号化スペクトル係数に従ってスペクトル・コードブックを作成するステップ（２６２）を含み、これにより、少なくとも１つの基準に従って前記スペクトル・コードブックから選択される（２６６）要素と等しくなるように、前記スペクトル係数の初期集合のスペクトル係数を設定し、
   前記要素は、前記スペクトル・コードブックの前記要素よりも多い前記スペクトル・ホールが存在する場合は、該要素が循環的に使用されるように、低周波数端から開始してインデックス順に前記スペクトル・コードブックから選択される（２６６）ことを特徴とする方法。
2. 前記スペクトル・コードブックは、現在のフレームから知覚的に関連のある復号化スペクトル係数に基づく要素を含むことを特徴とする請求項１に記載の方法。
3. 前記スペクトル・コードブックは、過去のフレームと未来のフレームとの少なくとも１つから知覚的に関連のある復号化スペクトル係数に基づく要素を含むことを特徴とする請求項１又は２に記載の方法。
4. ノイズ補充する前記ステップ（２１４）は、さらに、前記スペクトル・コードブックの後処理を行うステップ（２６４）を含み、これにより、前記要素は、後処理された前記スペクトル・コードブックから選択される（２６６）ことを特徴とする請求項１乃至３の何れか１項に記載の方法。
5. スペクトル補充する前記ステップ（２１２）は、さらに、帯域幅拡張を行うステップを含むことを特徴とする請求項１乃至４の何れか１項に記載の方法。
6. ノイズ補充する前記ステップ（２１４）は、遷移周波数（ｆ_ｔ）より低い周波数に対して実行され、
   前記帯域幅の拡張は、遷移周波数（ｆ_ｔ）より高い周波数に対して実行されることを特徴とする請求項５に記載の方法。
7. 前記帯域幅の拡張は、スペクトルの畳み込みを行うステップを含むことを特徴とする請求項５又は６に記載の方法。
8. ノイズ補充する前記ステップ（２１４）は、正規化領域において実行されることを特徴とする請求項１乃至７の何れか１項に記載の方法。
9. 初期エネルギーを維持するために、前記スペクトル係数の初期集合にスペクトル補充エンベロープを適用し、前記再構成スペクトル係数の集合を出力するステップをさらに含むことを特徴とする請求項８に記載の方法。
10. 変換する前記ステップ（２１６）は、逆変換部と逆フィルタバンクとの少なくとも１つを用いて、逆変換を行うステップを含むことを特徴とする請求項１乃至９の何れか１項に記載の方法。
11. 知覚スペクトル復号化において信号処理を行なう方法であって、
    スペクトル係数の初期集合の復号化スペクトル係数を取得するステップ（２６０）と、
    前記スペクトル係数の初期集合を、再構成スペクトル係数の集合にスペクトル補充するステップ（２１２）と、
    前記再構成スペクトル係数の集合を出力するステップ（２６８）と
    を含み、
    スペクトル補充する前記ステップ（２１２）は、大きさがゼロであるか又は符号化されない前記スペクトル係数の初期集合のスペクトル係数を、前記復号化スペクトル係数から導出される要素に等しくなるように設定することによってスペクトル・ホールのノイズ補充を行なうステップ（２１４）を含み、
    ノイズ補充を行う前記ステップ（２１４）は、前記復号化スペクトル係数に従ってスペクトル・コードブックを作成するステップ（２６２）を含み、これにより、少なくとも１つの基準に従って前記スペクトル・コードブックから選択される（２６６）要素と等しくなるように、前記スペクトル係数の初期集合のスペクトル係数を設定し、
    前記要素は、前記スペクトル・コードブックの前記要素よりも多い前記スペクトル・ホールが存在する場合は、該要素が循環的に使用されるように、低周波数端から開始してインデックス順に前記スペクトル・コードブックから選択される（２６６）ことを特徴とする方法。
12. 知覚スペクトル復号器（４０）であって、
    バイナリ・フラックス（２５）に対する入力と、
    前記バイナリ・フラックス（２５）から戻されたスペクトル係数を、スペクトル係数の初期集合（４２）の復号化スペクトル係数に復号化するように構成されるスペクトル係数復号器（４１）と、
    前記スペクトル係数復号器（４１）に接続され、かつ、前記スペクトル係数の初期集合（４２）のスペクトル補充を行なうように構成されるスペクトル補充器（４３）と、
    前記スペクトル補充器（４３）に接続され、かつ、周波数領域の再構成スペクトル係数の集合を時間領域のオーディオ信号（３４）に変換するように構成されるコンバータ（４５）と、
    前記オーディオ信号（３４）に対する出力（３５）と
    を含み、
    前記スペクトル補充器（４３）は、前記バイナリ・フラックス（２５）から復号化されない前記スペクトル係数の初期集合（４２）のスペクトル係数を、復号化スペクトル係数から導出された要素に等しくなるように設定することによってスペクトル・ホールのノイズ補充を行なうノイズ補充器（５０）を備え、
    前記ノイズ補充器（５０）は、スペクトル・コードブック生成器（５１）を備え、
    前記スペクトル・コードブック生成器（５１）は、前記復号化スペクトル係数からスペクトル・コードブックを作成するように構成され、
    前記ノイズ補充器（５０）は、少なくとも１つの基準に従って前記スペクトル・コードブックから選択された要素で前記スペクトル・ホールを補充するように構成され、
    前記ノイズ補充器（５０）は、さらに、前記スペクトル・コードブックの前記要素よりも多い前記スペクトル・ホールが存在する場合は、該要素が循環的に使用されるように、低周波数端から開始してインデックス順に前記スペクトル・コードブックから前記要素を選択するように構成されることを特徴とする知覚スペクトル復号器。
13. 前記スペクトル・コードブック生成器（５１）は、現在のフレームから知覚的に関連のある復号化スペクトル係数に基づく要素を含む前記スペクトル・コードブックを作成するように構成されることを特徴とする請求項１２に記載の知覚スペクトル復号器。
14. 前記スペクトル・コードブック生成器（５１）は、過去のフレームと未来のフレームとの少なくとも１つから知覚的に関連のある復号化スペクトル係数に基づく要素を含む前記スペクトル・コードブックを作成するように構成されることを特徴とする請求項１２又は１３に記載の知覚スペクトル復号器。
15. 前記ノイズ補充器（５０）は、さらに、前記スペクトル・コードブックの後処理を行う後処理プロセッサを備え、これにより、後処理された前記スペクトル・コードブックから前記要素を選択するように構成されることを特徴とする請求項１２乃至１４の何れか１項に記載の知覚スペクトル復号器。
16. 前記スペクトル補充器（４３）は、さらに、帯域幅拡張器（５５）を備えることを特徴とする請求項１２乃至１５の何れか１項に記載の知覚スペクトル復号器。
17. 前記ノイズ補充器（５０）は、遷移周波数（ｆ_ｔ）より低い周波数に対してノイズ補充を実行し、
    前記帯域幅拡張器（５５）は、遷移周波数（ｆ_ｔ）より高い周波数に対して帯域幅の拡張を実行することを特徴とする請求項１６に記載の知覚スペクトル復号器。
18. 前記帯域幅拡張器（５５）は、スペクトル畳み込み部を備えることを特徴とする請求項１６又は１７に記載の知覚スペクトル復号器。
19. 前記ノイズ補充器（５０）は、正規化領域において動作するように構成されることを特徴とする請求項１２乃至１８の何れか１項に記載の知覚スペクトル復号器。
20. 初期エネルギーを維持するために、前記スペクトル係数の初期集合にスペクトル補充エンベロープを適用し、前記再構成スペクトル係数の集合を出力するように構成されるスペクトル補充エンベロープ適用部（５７）をさらに備えることを特徴とする請求項１９に記載の知覚スペクトル復号器。
21. 前記コンバータ（４５）は、逆変換部と逆フィルタバンクとの少なくとも１つを備えることを特徴とする請求項１２乃至２０の何れか１項に記載の知覚スペクトル復号器。
22. 知覚スペクトル復号器において使用される信号処理装置であって、
    スペクトル係数の初期集合の復号化スペクトル係数に対する入力と、
    前記入力に接続され、かつ、前記スペクトル係数の初期集合を再構成スペクトル係数の集合にスペクトル補充するように構成されるスペクトル補充器（４３）と、
    前記再構成スペクトル係数の集合に対する出力と
    を備え、
    前記スペクトル補充器（４３）は、大きさがゼロであるか又は復号化されない前記スペクトル係数の初期集合のスペクトル係数を、前記復号化スペクトル係数から導出される要素に等しくなるように設定することによってスペクトル・ホールのノイズ補充を行なうノイズ補充器（５０）を備え、
    前記ノイズ補充器（５０）は、スペクトル・コードブック生成器（５１）を備え、
    前記スペクトル・コードブック生成器（５１）は、前記復号化スペクトル係数からスペクトル・コードブックを作成するように構成され、
    前記ノイズ補充器（５０）は、少なくとも１つの基準に従って前記スペクトル・コードブックから選択された要素で前記スペクトル・ホールを補充するように構成され、
    前記ノイズ補充器（５０）は、さらに、前記スペクトル・コードブックの前記要素よりも多い前記スペクトル・ホールが存在する場合は、該要素が循環的に使用されるように、低周波数端から開始してインデックス順に前記スペクトル・コードブックから前記要素を選択するように構成されることを特徴とする信号処理装置。

Images