JP2016519786A - ステレオ・オーディオ・エンコーダおよびデコーダ - Google Patents

Abstract

本開示は入力信号に基づいてステレオ・オーディオ信号をエンコードおよびデコードするための方法、装置およびコンピュータ・プログラム・プロダクトを提供する。本開示によれば、パラメトリック・ステレオ符号化およびステレオ・オーディオ信号の離散的表現の両方を使うハイブリッド・アプローチが使われる。これは、ある種のビットレートについてエンコードされたおよびデコードされたオーディオの品質を改善しうる。

Description

本開示は概括的にはステレオ・オーディオ符号化に関する。詳細には、本開示は減数混合〔ダウンミックス〕および離散的ステレオ符号化を含むハイブリッド符号化のためのデコーダおよびエンコーダに関する。

通常のステレオ・オーディオ符号化では、可能な符号化方式は低ビットレート用途で使われるパラメトリック・ステレオ符号化を含む。中間レートでは、左／右（L/R）または中央／サイド（M/S）波形ステレオ符号化がしばしば使われる。既存の頒布フォーマットおよび関連する符号化技法は、特に低ビットレートと中間ビットレートの間のビットレートでの用途において、その帯域幅効率の観点から改善されうる。

ステレオ・オーディオ・システムにおけるオーディオ頒布の効率を改善する試みは、統合音声音響符号化（USAC）規格においてなされている。USAC規格は、パラメトリック・ステレオ符号化技法と組み合わせた低帯域幅の波形符号化ベースのステレオ符号化を導入する。しかしながら、USACによって提案される解決策は、単純なM/SまたはL/S符号化より効率的な何かをするために修正離散コサイン変換（MDCT）においてステレオ符号化を案内するためにパラメトリック・ステレオ・パラメータを使う。この解決策の欠点は、直交ミラー・フィルタ（QMF）領域で抽出および計算されたパラメトリック・ステレオ・パラメータに基づいてMDCT領域で低帯域幅波形ベースのステレオ符号化をできるだけよく利用することが難しいことがあると言うことである。

上記に鑑み、上記で論じた欠点の一つまたは複数を解決するまたは少なくとも軽減するために、さらなる改善が必要とされうる。

例示的な実施形態について、ここで付属の図面を参照して記述する。
例示的な実施形態に基づくデコード・システムの一般化されたブロック図である。 図１のデコード・システムの第一の部分を示す図である。 図１のデコード・システムの第二の部分を示す図である。 図１のデコード・システムの第三の部分を示す図である。 第一の例示的な実施形態に基づくエンコード・システムの一般化されたブロック図である。 第二の実施形態に基づくエンコード・システムの一般化されたブロック図である。

すべての図面は概略的であり、概して本開示を明確にするために必要な部分を示すだけである。他の部分は省略されたり、あるいは単に示唆されたりすることがある。特に断わりのない限り、同様の参照符号は異なる図面における同様の部分を指す。

〈I.概観――デコーダ〉
本稿での用法では、左右符号化またはエンコードは、左（L）および右（R）ステレオ信号が信号間のいかなる変換も実行することなく符号化されることを意味する。

本稿での用法では、和差符号化またはエンコードは、左右のステレオ信号の和Mが一つの信号（和）として符号化され、左右のステレオ信号の差Sが一つの信号（差）として符号化されることを意味する。和差符号化は中央／サイド符号化と呼ばれることもある。よって、左右形式と和差形式の間の関係は、M＝L＋RおよびS＝L−Rとなる。左右ステレオ信号を和差形式に変換し、逆に和差形式を左右ステレオ信号に変換するとき、両方向における変換がマッチする限り、種々の規格化またはスケーリングが可能であることが注意されうる。本開示では、M＝L＋RおよびS＝L−Rが主として使われるが、異なるスケーリング、たとえばM＝(L＋R)/2およびS＝(L−R)/2を使うシステムも同じようにうまく機能する。

本稿での用法では、ダウンミックス相補的（dmx/comp）符号化またはエンコードは、左右ステレオ信号を、符号化前に、重み付けパラメータaに依存する行列乗算を受けさせることを意味する。よって、dmx/comp符号化は、dmx/comp/a符号化と呼ばれることもある。ダウンミックス相補形式と左右形式および和差形式の間の関係は、典型的には、dmx＝L＋R＝Mおよびcomp＝(1−a)L−(1＋a)R＝−aM＋Sである。注目すべきことに、このように、ダウンミックス相補表現でのダウンミックス信号は和差表現の和信号Mと等価である。

本稿での用法では、オーディオ信号は純粋なオーディオ信号、オーディオビジュアル信号またはマルチメディア信号のオーディオ部分またはこれらの任意のものをメタデータと組み合わせたものでありうる。

第一の側面によれば、例示的な実施形態は、入力信号に基づいてステレオ・チャネル・オーディオ信号をデコードするための方法、装置およびコンピュータ・プログラム・プロダクトを提案する。提案される方法、装置およびコンピュータ・プログラム・プロダクトは一般に同じ特徴および利点をもつことがある。

例示的な実施形態によれば、二つのオーディオ信号をデコードするデコーダが提供される。デコーダは、前記二つのオーディオ信号のある時間フレームに対応する第一の信号および第二の信号を受領するよう構成された受領段を有する。ここで、前記第一の信号は、第一のクロスオーバー周波数までの周波数に対応するスペクトル・データを含む第一の波形符号化された（waveform-coded）信号と、前記第一のクロスオーバー周波数より上の周波数に対応するスペクトル・データを含む波形符号化されたダウンミックス信号とを含み、前記第二の信号は、前記第一のクロスオーバー周波数までの周波数に対応するスペクトル・データを含む第二の波形符号化された信号を含む。

デコーダはさらに、前記受領段の下流の混合段を有する。混合段は、前記第一および第二の信号波形符号化された信号が前記第一のクロスオーバー周波数までのすべての周波数について和差形式であるかどうかを検査し、そうでなければ、前記第一および第二の波形符号化された信号を和差形式に変換するよう構成されている。それにより、前記第一の信号は、前記第一のクロスオーバー周波数までの周波数に対応するスペクトル・データを含む波形符号化された和信号と、前記第一のクロスオーバー周波数より上の周波数に対応するスペクトル・データを含む波形符号化されたダウンミックス信号との組み合わせになり、前記第二の信号は、前記第一のクロスオーバー周波数までの周波数に対応するスペクトル・データを含む波形符号化された差信号を含むようになる。

デコーダはさらに、前記混合段の下流に、前記第一および第二の信号を増数混合〔アップミックス〕してステレオ信号の左および右のチャネルを生成するよう構成されたアップミックス段を有する。ここで、前記第一のクロスオーバー周波数より下の周波数については前記アップミックス段は前記第一および第二の信号の逆和差変換を実行するよう構成されており、前記第一のクロスオーバー周波数より上の周波数については前記アップミックス段は前記第一の信号の前記ダウンミックス信号のパラメトリック増数混合を実行するよう構成されている。

純粋に波形符号化された低周波数、すなわちステレオ・オーディオ信号の離散的表現をもつことの利点は、人間の耳が低周波数をもつオーディオ部分により敏感であるということでありうる。この部分をよりよい品質で符号化することにより、デコードされたオーディオの全体的な印象が高まりうる。

前記第一の信号のパラメトリック・ステレオ符号化された部分、すなわち波形符号化されたダウンミックス信号と、上述したステレオ・オーディオ信号の離散的表現とをもつことの利点は、通常のパラメトリック・ステレオ・アプローチを使うのに比べて、ある種のビットレートについては、これがデコードされたオーディオ信号の品質を改善しうるということである。約32〜40キロビット毎秒（kbps）のビットレートでは、パラメトリック・ステレオ・モデルは飽和しうる。すなわち、デコードされたオーディオ信号の品質は、符号化のためのビットの欠乏ではなく、パラメトリック・モデルの欠点によって制限される。その結果、約32kbpsからのビットレートについては、より低い周波数を波形符号化することにビットを使うほうが有益でありうる。同時に、第一の信号のパラメトリック・ステレオ符号化された部分および頒布されるステレオ・オーディオ信号の離散的表現の両方を使うハイブリッド・アプローチは、低周波数を波形符号化することにすべてのビットが使われるアプローチを使うことおよび残りの周波数についてスペクトル帯域複製（SBR）を使うことに比べ、たとえば48kbpsより下でのある種のビットレートについて、デコードされたオーディオの品質を改善しうるということである。

このように、デコーダは、二チャネル・ステレオ・オーディオ信号をデコードするために有利に使用される。

もう一つの実施形態によれば、前記混合段において前記第一および第二の波形符号化された信号を和差形式に変換することは、重複窓掛け変換領域において実行される。重複窓掛け変換領域はたとえば修正離散コサイン変換（MDCT）領域であってもよい。これは、左右形式またはdmx/comp形式のような他の利用可能なオーディオ頒布フォーマットの和差形式への変換がMDCT領域では達成するのが簡単なので、有利でありうる。結果として、信号は、エンコードされる信号の特性に依存して、前記第一のクロスオーバー周波数より下の周波数の少なくとも部分集合について、異なる諸フォーマットを使ってエンコードされうる。これは、改善された符号化品質および符号化効率を許容しうる。

さらにもう一つの実施形態によれば、前記アップミックス段における前記第一および第二の信号の増数混合は、直交ミラー・フィルタ（QMF）領域において実行される。増数混合は、左および右のステレオ信号を生成するよう実行される。

もう一つの実施形態によれば、前記波形符号化されたダウンミックス信号は、前記第一のクロスオーバー周波数と第二のクロスオーバー周波数との間の周波数に対応するスペクトル・データを含む。高周波数再構成（HFR）パラメータがデコーダによって、たとえば前記受領段において受領され、次いで、該高周波数再構成パラメータを使って高周波数再構成を実行することにより前記第一の信号の前記ダウンミックス信号を前記第二のクロスオーバー周波数より上の周波数範囲に拡張するために、高周波数再構成段に送られる。高周波数再構成はたとえば、スペクトル帯域複製（SBR）を実行することを含んでいてもよい。

前記第一のクロスオーバー周波数と第二のクロスオーバー周波数との間の周波数に対応するスペクトル・データのみを含む波形符号化されたダウンミックス信号をもつことの利点は、当該ステレオ・システムについての必要とされるビット伝送レートが減少されうるということである。あるいはまた、帯域通過フィルタリングされたダウンミックス信号をもつことによって節約されるビットが、より低い周波数を波形符号化することに対して使われ、たとえばそうした周波数の量子化がより細かくなりうる、あるいは前記第一のクロスオーバー周波数を高くしうる。

上述したように、人間の耳は低周波数をもつオーディオ信号部分に対してより敏感なので、前記第二のクロスオーバー周波数より上の周波数をもつオーディオ信号部分のような高周波数は、デコードされたオーディオ信号の知覚されるオーディオ品質を低下させることなく高周波数再構成によって再生成されてもよい。

あるさらなる実施形態によれば、前記第一の信号の前記ダウンミックス信号は、前記第一および第二の信号の増数混合が実行される前に、前記第二のクロスオーバー周波数より上の周波数範囲まで拡張される。これは、前記アップミックス段がすべての周波数に対応するスペクトル・データをもつ入力和信号をもつことになるので、有利でありうる。

あるさらなる実施形態によれば、前記第一の信号の前記ダウンミックス信号は、前記第一および第二の波形符号化された信号を和差形式に変換した後に前記第二のクロスオーバー周波数より上の周波数範囲まで拡張される。これは、前記ダウンミックス信号が和差表現における前記和信号に対応するため、前記高周波数再構成段が同じ形、すなわち和形式で表現された前記第二のクロスオーバー周波数までの周波数に対応するスペクトル・データをもつ入力信号をもつことになるので、有利でありうる。

もう一つの実施形態によれば、前記アップミックス段における増数混合は、アップミックス・パラメータを使ってなされる。アップミックス・パラメータはデコーダによって、たとえば前記受領段において受領され、前記アップミックス段に送られる。前記ダウンミックス信号の脱相関されたバージョンが生成され、前記ダウンミックス信号および前記ダウンミックス信号の前記脱相関されたバージョンが行列演算にかけられる。行列演算のパラメータはアップミックス・パラメータによって与えられる。

あるさらなる実施形態によれば、前記受領段において受領された前記第一および第二の波形符号化された信号は、左右形式、和差形式および／またはダウンミックス相補形式で波形符号化されている。ここで、相補信号は、信号適応的である重み付けパラメータaに依存する。このように、波形符号化された信号は、当該信号の特性に依存して異なる形で符号化され、それでいてデコーダによってデコード可能でありうる。このことは、システムのあるビットレートが与えられたときに、改善された符号化品質を、よってデコードされたオーディオ・ステレオ信号の改善された品質を許容しうる。あるさらなる実施形態では、重み付けパラメータaは実数値である。このことは、信号の虚部を近似する追加的な段が必要とされないので、デコーダを簡略化しうる。さらなる利点は、デコーダの計算量が低減でき、そのことはデコーダの低減したデコード遅延／レイテンシーにもつながりうるということである。

さらにもう一つの実施形態によれば、前記受領段において受領された前記第一および第二の波形符号化された信号は、和差形式で波形符号化されている。これは、前記第一および第二の信号が、それぞれ前記第一および第二の信号について独立な窓掛けをもつ重複窓掛け変換を使って符号化され、それでいてデコーダによってデコード可能であることができることを意味する。このことは、システムのあるビットレートを与えられて、改善された符号化品質を、よってデコードされたオーディオ・ステレオ信号の改善された品質を許容しうる。たとえば、和信号に置いてかと成分が検出されるが、差信号においては検出されない場合、波形符号化器は、和信号をより短い窓を用いて符号化しうる一方、差信号についてはより長いデフォルトの窓が保持されうる。このことは、サイド信号もより短い窓シーケンスを用いて符号化された場合に比べ、より高い符号化効率を提供しうる。

〈II.概観――エンコーダ〉
第二の側面によれば、例示的な実施形態は、入力信号に基づいてステレオ・チャネル・オーディオ信号をエンコードするための方法、装置およびコンピュータ・プログラム・プロダクトを提案する。

提案される方法、装置およびコンピュータ・プログラム・プロダクトは一般に同じ特徴および利点をもつことがある。

上記のデコーダの概観において呈示された特徴およびセットアップに関する利点は一般に、エンコーダについての対応する特徴およびセットアップについても有効でありうる。

例示的な実施形態によれば、二つのオーディオ信号をエンコードするエンコーダが提供される。エンコーダは、エンコードされるべき、前記二つの信号のある時間フレームに対応する第一の信号および第二の信号を受領するよう構成された受領段を有する。

エンコーダはさらに、前記受領段から前記第一および第二の信号を受け取って、それらを和信号である第一の変換された信号および差信号である第二の変換された信号に変換するよう構成された変換段を有する。

エンコーダはさらに、前記変換段から前記第一および第二の変換された信号を受領し、それらを波形符号化してそれぞれ第一および第二の波形符号化された信号にするよう構成された波形符号化段を有する。ここで、前記第一のクロスオーバー周波数より上の周波数については、前記波形符号化段は前記第一の変換された信号を波形符号化するよう構成されており、前記第一のクロスオーバー周波数までの周波数については、前記波形符号化段は前記第一および第二の変換された信号を波形符号化するよう構成されている。

エンコーダはさらに、前記受領段から前記第一および第二の信号を受け取り、前記第一のクロスオーバー周波数より上の周波数について前記第一および第二の信号のスペクトル・データの再構成を可能にするパラメトリック・ステレオ・パラメータを抽出するために、前記第一および第二の信号をパラメトリック・ステレオ・エンコードにかけるよう構成されたパラメトリック・ステレオ・エンコード段を有する。

エンコーダはさらに、前記波形符号化段からの前記第一および第二の波形符号化された信号と、前記パラメトリック・ステレオ・エンコード段からの前記パラメトリック・ステレオ・パラメータを受領し、前記第一および第二の波形符号化された信号および前記パラメトリック・ステレオ・パラメータを含むビットストリームを生成するよう構成されたビットストリーム生成段を有する。

もう一つの実施形態によれば、前記変換段における前記第一および第二の信号の変換は時間領域で実行される。

もう一つの実施形態によれば、前記第一のクロスオーバー周波数より下の周波数の少なくとも部分集合について、エンコーダは、逆和差変換を実行することによって、前記第一および第二の波形符号化された信号を左右形式に変換してもよい。

もう一つの実施形態によれば、前記第一のクロスオーバー周波数より下の周波数の少なくとも部分集合について、エンコーダは、前記第一および第二の波形符号化された信号に対して行列演算を実行することによって、前記第一および第二の波形符号化された信号をダウンミックス／相補形式に変換してもよい。前記行列演算は重み付けパラメータaに依存する。重み付けパラメータaは次いで、ビットストリーム生成段において前記ビットストリームに含められてもよい。

さらにもう一つの実施形態によれば、前記第一のクロスオーバー周波数より上の周波数について、前記変換段において前記第一および第二の変換された信号を波形符号化することは、前記第一のクロスオーバー周波数と第二のクロスオーバー周波数との間の周波数について前記第一の変換された信号を波形符号化し、前記第二のクロスオーバー周波数より上では前記第一の波形符号化された信号を0に設定することを含む。次いで、前記第一の信号および前記第二の信号のダウンミックス信号が、前記ダウンミックス信号の高周波数再構成を可能にする高周波数再構成パラメータを生成するために、高周波数再構成段において高周波数再構成エンコードにかけられてもよい。次いで、高周波数再構成パラメータは前記ビットストリーム生成段において前記ビットストリームに含められてもよい。

あるさらなる実施形態によれば、ダウンミックス信号は前記第一および第二の信号に基づいて計算される。

もう一つの実施形態によれば、前記第一および第二の信号を前記パラメトリック・ステレオ・エンコード段においてパラメトリック・ステレオ・エンコードにかけることは、まず前記第一および第二の信号を和信号である第一の変換された信号および差信号である第二の変換された信号に変換し、次いで、前記第一および第二の変換された信号をパラメトリック・ステレオ・エンコードにかけることによって実行される。ここで、高周波数再構成エンコードにかけられる前記ダウンミックス信号は、前記第一の変換された信号である。

〈III.例示的な実施形態〉
図１は、図２〜図４との関連でのちにより詳細に説明する三つの概念部分２００、３００、４００を有するデコード・システム１００の一般化されたブロック図である。第一の概念部分２００では、ビットストリームが受領され、第一および第二の信号にデコードされる。第一の信号は、第一のクロスオーバー周波数までの周波数に対応するスペクトル・データを含む第一の波形符号化された信号と、前記第一のクロスオーバー周波数より上の周波数に対応するスペクトル・データを含む波形符号化されたダウンミックス信号とを両方含む。第二の信号は、前記第一のクロスオーバー周波数までの周波数に対応するスペクトル・データを含む第二の波形符号化された信号のみを含む。

第二の概念部分３００では、前記第一および第二の信号の波形符号化された部分が和差形式でなく、たとえばM/S形式である場合、前記第一および第二の信号の波形符号化された部分が和差形式に変換される。その後、前記第一および第二の信号は時間領域に、次いで直交ミラー・フィルタ（QMF）領域に変換される。第三の概念部分４００では、第一の信号は高周波数再構成される（HFR）。前記第一および第二の部分の両方は次いでアップミックスされて、デコード・システム１００によってデコードされるエンコードされた信号の周波数帯域全体に対応するスペクトル係数をもつ左右のステレオ信号出力を生成する。

図２は、図１におけるデコード・システム１００の第一の概念部分２００を示している。デコード・システム１００は受領段２１２を有する。受領段２１２では、ビットストリーム・フレーム２０２がデコードされて、量子化解除されて第一の信号２０４ａおよび第二の信号２０４ｂにされる。ビットストリーム・フレーム２０２は、デコードされる前記二つのオーディオ信号の時間フレームに対応する。第一の信号２０４ａは、第一のクロスオーバー周波数k_yまでの周波数に対応するスペクトル・データを含む第一の波形符号化された信号２０８と、前記第一のクロスオーバー周波数より上の周波数に対応するスペクトル・データを含む波形符号化されたダウンミックス信号２０６とを含む。例として、第一のクロスオーバー周波数k_yは1.1kHzである。

いくつかの実施形態によれば、前記波形符号化されたダウンミックス信号２０６は、前記第一のクロスオーバー周波数k_yと第二のクロスオーバー周波数k_xとの間の周波数に対応するスペクトル・データを含む。例として、第二のクロスオーバー周波数k_xは5.6〜8kHzの範囲内にある。

受領された第一および第二の波形符号化された信号２０８、２１０は、左右形式、和差形式および／またはダウンミックス相補形式で波形符号化されていてもよい。ここで、相補信号は、信号適応的である重み付けパラメータaに依存する。波形符号化されたダウンミックス信号２０６は、パラメトリック・ステレオに好適なダウンミックスに対応し、これは上記によれば和形式に対応する。しかしながら、信号２０４ｂは第一のクロスオーバー周波数k_yより上には内容をもたない。各信号２０６、２０８、２１０は修正離散コサイン変換（MDCT）領域で表現される。

図３は、図１のデコード・システム１００の第二の概念部分３００を示している。デコード・システム１００は混合段３０２を有する。デコード・システム１００の設計は、のちにより詳細に述べる高周波数再構成段への入力が和フォーマットである必要があることを要求する。結果として、混合段は、第一および第二の波形符号化された信号２０８、２１０が和差形式であるかどうかを検査するよう構成される。第一および第二の信号波形符号化された信号が前記第一のクロスオーバー周波数k_yまでのすべての周波数について和差形式であるのでなければ、混合段３０２は、波形符号化された信号２０８、２１０全体を和差形式に変換する。混合段３０２への入力信号２０８、２１０の周波数の少なくとも部分集合がダウンミックス相補形式である場合には、混合段３０２への入力として、重み付けパラメータaが要求される。入力信号２０８、２１０がダウンミックス相補形式で符号化されたいくつかの部分集合の周波数を含んでいてもよいこと、その場合には各部分集合が重み付けパラメータaの同じ値を使って符号化される必要はないことを注意してもよい。この場合、いくつかの重み付けパラメータaが混合段３０２への入力として要求される。

上述したように、混合段３０２は常に入力信号２０４ａ〜ｂの和差表現を出力する。MDCT領域で表現された信号を和差表現に変換できるためには、MDCT符号化された信号の窓掛けが同じである必要がある。これは、第一および第二の信号波形符号化された信号２０８、２１０がL/Rまたはダウンミックス相補形式である場合には、信号２０４ａについての窓掛けと信号２０４ｂについての窓掛けが独立であることができないことを含意する。

結果として、第一および第二の信号波形符号化された信号２０８、２１０が和差形式である場合、信号２０４ａについての窓掛けと信号２０４ｂについての窓掛けは独立であってもよい。

混合段３０２のあと、和差信号は、逆修正離散コサイン変換（MDCT^-1）３１２を適用することによって、時間領域に変換される。

次いで、二つの信号３０４ａ〜ｂは、二つのQMFバンク３１４を用いて解析される。ダウンミックス信号３０６が前記低周波数を含まないので、周波数分解能を増すために信号をナイキスト・フィルタバンクを用いて解析する必要はない。これは、ダウンミックス信号が低周波数を含むシステム、たとえばMPEG-4パラメトリック・ステレオのような通常のパラメトリック・ステレオ・デコードに比較されうる。そうしたシステムでは、ダウンミックス信号は、周波数分解能をQMFバンクによって達成されるより高くし、それによりたとえばバーク周波数スケールによって表わされる人間の聴覚系の周波数選択性によりよくマッチするために、ナイキスト・フィルタバンクを用いて解析される必要がある。

QMFバンク３１４からの出力信号３０４は、第一のクロスオーバー周波数k_yまでの周波数に対応するスペクトル・データを含む波形符号化された和信号３０８と、第一のクロスオーバー周波数k_yと第二のクロスオーバー周波数k_xとの間の周波数に対応するスペクトル・データを含む波形符号化されたダウンミックス信号３０６との組み合わせである第一の信号３０４ａを含む。出力信号３０４はさらに、第一のクロスオーバー周波数k_yまでの周波数に対応するスペクトル・データを含む波形符号化された差信号３１０を含む第二の信号３０４ｂを含む。信号３０４ｂは、第一のクロスオーバー周波数k_yより上には内容をもたない。

のちに述べるように、高周波数再構成段４１６（図４との関連で示す）は、前記低周波数、すなわち前記出力信号３０４からの前記第一の波形符号化された信号３０８および前記波形符号化されたダウンミックス信号３０６を、第二のクロスオーバー周波数k_xより上の周波数を再構成するために使う。高周波数再構成段４１６が作用する信号が、前記低周波数にわたって同様の型の信号であることが有利である。この観点から、混合段３０２に、常に前記第一および第二の信号波形符号化された信号２０８、２１０の和差表現を出力させることが有利である。これが、出力される第一の信号３０４ａの第一の波形符号化された信号３０８および波形符号化されたダウンミックス信号３０６が同様の性質であることを含意するからである。

図４は、図１のデコード・システム１００の第三の概念部分４００を示している。高周波数再構成（HFR）段４１６は、高周波数再構成を実行することにより、第一の信号入力信号３０４ａのダウンミックス信号３０６を第二のクロスオーバー周波数k_xより上の周波数範囲に拡張する。HFR段４１６の構成設定に依存して、HFR段４１６への入力は信号３０４ａ全体またはダウンミックス信号３０６だけである。高周波数再構成は、任意の好適な仕方で高周波数再構成段４１６によって受領されうる高周波数再構成パラメータを使うことによってなされる。ある実施形態によれば、実行される高周波数再構成は、スペクトル帯域複製（SBR）を実行することを含む。

高周波数再構成段３１４からの出力は、SBR拡張４１２が適用されたダウンミックス信号４０６を含む信号４０４である。高周波数再構成された信号４０４および信号４０３ｂは次いで、左Lおよび右Rステレオ信号４１２ａ〜ｂを生成するよう、アップミックス段４２０にフィードされる。第一のクロスオーバー周波数k_yより下の周波数に対応するスペクトル係数については、アップミックスは、第一および第二の信号４０８、３１０の逆和差変換を実行することを含む。これは単に、先に概説したように中央‐サイド表現から左‐右表現に移行することを意味する。第一のクロスオーバー周波数k_yまでの周波数に対応するスペクトル係数については、ダウンミックス信号４０６およびSBR拡張４１２は脱相関器４１８を通じてフィードされる。ダウンミックス信号４０６およびSBR拡張４１２ならびにダウンミックス信号４０６およびSBR拡張４１２の脱相関されたバージョンは、次いで、パラメトリック混合パラメータを使ってアップミックスされ、第一のクロスオーバー周波数k_yより上の周波数についての左および右のチャネル４１６、４１４を再構成する。当技術分野において知られている任意のパラメトリック・アップミックス手順が適用されうる。

図１〜図４に示したエンコーダの上記の例示的な実施形態１００では、第一の受領される信号２０４ａが第二のクロスオーバー周波数k_xまでの周波数に対応するスペクトル・データしか含まないので、高周波数再構成が必要とされていることを注意しておくべきである。さらなる実施形態では、第一の受領された信号は、エンコードされた信号の全周波数に対応するスペクトル・データを含む。この実施形態によれば、高周波数再構成は必要とされない。当業者は、この場合に例示的なエンコーダ１００をどのように適応させるべきかを理解する。

図５は、ある実施形態に基づくエンコード・システム５００の一般化されたブロック図を例として示している。

このエンコード・システムでは、エンコードされるべき第一および第二の信号５４０、５４２が受領段（図示せず）によって受領される。これらの信号５４０、５４２は、左５４０および右５４２のステレオ・オーディオ・チャネルの時間フレームを表わす。信号５４０、５４２は時間領域で表現されている。エンコード・システムは、変換段５１０を有する。信号５４０、５４２は変換段５１０において和差フォーマット５４４、５４６に変換される。

エンコード・システムはさらに、変換段５１０から第一および第二の変換された信号５４４、５４６を受領するよう構成されている波形符号化段５１４を含む。波形変換段は典型的には、MDCT領域で動作する。この理由により、変換された信号５４４、５４６は、波形符号化段５１４の前にMDCT変換５１２にかけられる。波形符号化段では、第一および第二の変換された信号５４４、５４６は波形符号化されて、それぞれ第一および第二の波形符号化された信号５１８、５２０にされる。

第一のクロスオーバー周波数k_yより上の周波数については、波形符号化段５１４は、第一の変換された信号５４４を波形符号化して、第一の波形符号化された信号５１８の波形符号信号５５２にするよう構成されている。波形符号化段５１４は、第一のクロスオーバー周波数k_yより上では第二の波形符号化された信号５２０を0に設定するよう、あるいはこれらの周波数を全くエンコードしないよう、構成されていてもよい。第一のクロスオーバー周波数k_yより上の周波数については、波形符号化段５１４は、第一の変換された信号５４４を波形符号化して、第一の波形符号化された信号５１８の波形符号化された信号５５２にするよう構成されている。

第一のクロスオーバー周波数k_yより下の周波数については、前記二つの信号５４８、５５０についてどの種類のステレオ符号化を使うべきかについて、波形符号化段５１４において決定がなされる。第一のクロスオーバー周波数k_yより下での変換された信号５４４、５４６の特性に依存して、波形符号化された信号５４８、５５０の異なる部分集合について異なる決定がされることができる。符号化は、左／右符号化、中央／サイド符号化、すなわち和と差の符号化またはdmx/comp/a符号化であることができる。信号５４８、５５０が波形符号化段５１４において和差符号化によって波形符号化される場合、波形符号化された信号５１８、５２０は、それぞれ信号５１８、５２０についての独立な窓掛けを用いる重複窓掛け変換を使って符号化されてもよい。

例示的な第一のクロスオーバー周波数k_yは1.1kHzであるが、この周波数はステレオ・オーディオ・システムのビット伝送レートに依存して、あるいはエンコードされるべきオーディオの特性に依存して変わりうる。

こうして、波形符号化段５１４から少なくとも二つの信号５１８、５２０が出力される。第一のクロスオーバー周波数k_yより下の信号の一つまたは複数の部分集合または周波数帯域全体が重み付けパラメータaに依存して行列演算を実行することによってダウンミックス／相補形式で符号化される場合、このパラメータも信号５２２として出力される。いくつかの部分集合がダウンミックス／相補形式でエンコードされる場合、各部分集合は重み付けパラメータaの同じ値を使って符号化される必要はない。この場合、いくつかの重み付けパラメータが信号５２２として出力される。

これら二つまたは三つの信号５１８、５２０、５２２はエンコードおよび量子化５２４されて単一の合成信号５５８にされる。

デコーダ側で第一のクロスオーバー周波数より上の周波数について第一および第二の信号５４０、５４２のスペクトル・データを再構成できるために、パラメトリック・ステレオ・パラメータ５３６が信号５４０、５４２から抽出される必要がある。この目的のために、エンコーダ５００は、パラメトリック・ステレオ（PS）エンコード段５３０を有する。PSエンコード段５３０は典型的にはQMF領域で動作する。したがって、PSエンコード段５３０に入力される前に、第一および第二の信号５４０、５４２はQMF分解段５２６によってQMF領域に変換される。PSエンコーダ段５３０は、第一のクロスオーバー周波数k_yより上の周波数についてパラメトリック・ステレオ・パラメータ５３６を抽出するだけであるよう適応される。

パラメトリック・ステレオ・パラメータ５３６がパラメトリック・ステレオ・エンコードされる信号の特性を反映することを注意しておいてもいいだろう。よって、これらのパラメータは周波数選択的である、すなわち、パラメータ５３６の各パラメータは、左または右の入力信号５４０、５４２の周波数の部分集合に対応しうる。PSエンコード段５３０はパラメトリック・ステレオ・パラメータ５３６を計算し、これらを一様または非一様な仕方で量子化する。パラメータは上述したように周波数選択的に計算され、ここで、入力信号５４０、５４２の周波数範囲全体はたとえば15個のパラメータ帯域に分割される。これらは人間の聴覚系の周波数分解能のモデル、たとえばバーク・スケールに従って離間されていてもよい。

図５に示したエンコーダ５００の例示的な実施形態では、波形符号化段５１４は、第一のクロスオーバー周波数k_yと第二のクロスオーバー周波数k_xとの間の周波数について第一の変換された信号５４４を波形符号化し、第二のクロスオーバー周波数k_xより上では第一の波形符号化された信号５１８を0に設定するよう構成されている。これは、エンコーダ５００を一部とするオーディオ・システムの要求される伝送レートをさらに軽減するためになされてもよい。第二のクロスオーバー周波数k_xより上の信号を再構成できるために、高周波数再構成パラメータ５３８が生成される必要がある。この例示的実施形態によれば、これはダウンミックス段５３４においてQMF領域で表わされる二つの信号５４０、５４２をダウンミックスすることによってなされる。結果として得られるダウンミックス信号はたとえば信号５４０、５４２の和に等しく、次いで、高周波数パラメータ５３８を生成するために、高周波数再構成（HFR）エンコード段５３２における高周波数再構成エンコードにかけられる。パラメータ５３８はたとえば、当業者によく知られるように、第二のクロスオーバー周波数k_xより上の周波数のスペクトル包絡、ノイズ加算情報などを含んでいてもよい。

例示的な第二のクロスオーバー周波数k_xは5.6〜8kHzであるが、この周波数はステレオ・オーディオ・システムのビット伝送レートに依存して、あるいはエンコードされるオーディオの特性に依存して変えられてもよい。

エンコーダ５００はさらに、ビットストリーム生成段、すなわちビットストリーム・マルチプレクサ５２４を有する。エンコーダ５００の例示的な実施形態によれば、ビットストリーム生成段は、エンコードされ、量子化された信号５４４および二つのパラメータ信号５３６、５３８を受領するよう構成されている。これらは、ステレオ・オーディオ・システムにおいてさらに頒布されるため、ビットストリーム生成段５６２によってビットストリーム５６０に変換される。

もう一つの実施形態によれば、波形符号化段５１４が、第一のクロスオーバー周波数k_yより上のすべての周波数について第一の変換された信号５４４を波形符号化するよう構成されている。この場合、HFRエンコード段５３２は必要とされず、結果として、高周波数再構成パラメータ５３８はビットストリームに含められない。

図６は、例として、もう一つの実施形態に基づくエンコーダ・システム６００の一般化されたブロック図を示している。この実施形態は、QMF分解段５２６によって変換される信号５４４、５４６が和差フォーマットであるという点で図５に示した実施形態と異なっている。結果として、和信号５４４がすでにダウンミックス信号の形なので、別個のダウンミックス段５３４の必要がない。このように、SBRエンコード段５３２は、高周波数再構成パラメータ５３８を抽出するために和信号５４４に対して作用する必要があるだけである。PSエンコーダ５３０は、パラメトリック・ステレオ・パラメータ５３６を抽出するために、和信号５４４および差信号５４６の両方に対して作用するよう適応されている。

〈等価物、拡張、代替その他〉
上記の記述を吟味すれば、当業者には本開示のさらなる実施形態が明白になるであろう。本稿および図面は実施形態および例を開示しているが、開示はこれらの個別的な例に制約されるものではない。付属の請求項によって定義される本開示の範囲から外れることなく数多くの修正および変形をなすことができる。請求項に現われる参照符号があったとしても、その範囲を限定するものと理解されるものではない。

さらに、本開示を実施する当業者によって、開示される実施形態に対する変形が理解され、実施されることができる。請求項において、「有する／含む」の語は他の要素またはステップを排除するものではなく、単数形の表現は複数を排除するものではない。ある種の施策が互いに異なる従属請求項に記載されているというだけの事実がこれらの施策の組み合わせが有利に使用できないことを示すものではない。

上記で開示されたシステムおよび方法は、ソフトウェア、ファームウェア、ハードウェアまたはそれらの組み合わせとして実装されうる。ハードウェア実装では、上記の記述で言及された機能ユニットの間でのタスクの分割は必ずしも物理的なユニットへの分割に対応しない。むしろ、一つの物理的コンポーネントが複数の機能を有していてもよく、一つのタスクが協働していくつかの物理的コンポーネントによって実行されてもよい。ある種のコンポーネントまたはすべてのコンポーネントは、デジタル信号プロセッサまたはマイクロプロセッサによって実行されるソフトウェアとして実装されてもよく、あるいはハードウェアとしてまたは特定用途向け集積回路として実装されてもよい。そのようなソフトウェアは、コンピュータ記憶媒体（または非一時的な媒体）および通信媒体（または一時的な媒体）を含みうるコンピュータ可読媒体上で頒布されてもよい。当業者にはよく知られているように、コンピュータ記憶媒体という用語は、コンピュータ可読命令、データ構造、プログラム・モジュールまたは他のデータのような情報の記憶のための任意の方法または技術において実装される揮発性および不揮発性、リムーバブルおよび非リムーバブル媒体を含む。コンピュータ記憶媒体は、これに限られないが、RAM、ROM、EEPROM、フラッシュメモリまたは他のメモリ技術、CD-ROM、デジタル多用途ディスク（DVD）または他の光ディスク記憶、磁気カセット、磁気テープ、磁気ディスク記憶または他の磁気記憶デバイスまたは、所望される情報を記憶するために使用されることができ、コンピュータによってアクセスされることができる他の任意の媒体を含む。さらに、通信媒体が典型的にはコンピュータ可読命令、データ構造、プログラム・モジュールまたは他のデータを、搬送波または他の転送機構のような変調されたデータ信号において具現し、任意の情報送達媒体を含むことは当業者にはよく知られている。

Claims (23)

1. 二つのオーディオ信号をデコードするデコード方法であって、
   前記二つのオーディオ信号のある時間フレームに対応する第一の信号および第二の信号を受領する段階であって、前記第一の信号は、第一のクロスオーバー周波数までの周波数に対応するスペクトル・データを含む第一の波形符号化された信号と、前記第一のクロスオーバー周波数より上の周波数に対応するスペクトル・データを含む波形符号化されたダウンミックス信号とを含み、前記第二の信号は、前記第一のクロスオーバー周波数までの周波数に対応するスペクトル・データを含む第二の波形符号化された信号を含む、段階と；
   前記第一および第二の波形符号化された信号が前記第一のクロスオーバー周波数までのすべての周波数について和差形式であるのでなければ、前記第一および第二の波形符号化された信号を和差形式に変換し、それにより、前記第一の信号は、前記第一のクロスオーバー周波数までの周波数に対応するスペクトル・データを含む波形符号化された和信号と、前記第一のクロスオーバー周波数より上の周波数に対応するスペクトル・データを含む前記波形符号化されたダウンミックス信号との組み合わせになり、前記第二の信号は、前記第一のクロスオーバー周波数までの周波数に対応するスペクトル・データを含む波形符号化された差信号を含むようになる、段階と；
   前記第一および第二の信号をアップミックスしてステレオ信号の左および右のチャネルを生成する段階であって、前記第一のクロスオーバー周波数より下の周波数については該アップミックスは前記第一および第二の信号の逆和差変換を実行することを含み、前記第一のクロスオーバー周波数より上の周波数については前記アップミックスは前記第一の信号の前記ダウンミックス信号のパラメトリックなアップミックスを実行することを含む、段階とを含む、
   デコード方法。
2. 前記第一および第二の波形符号化された信号を和差形式に変換する前記段階は、重複窓掛け変換領域において実行される、請求項１記載のデコード方法。
3. 前記重複窓掛け変換領域は修正離散コサイン変換（MDCT）領域である、請求項２記載のデコード方法。
4. 前記第一および第二の信号をアップミックスして左右のステレオ信号を生成する前記段階が、直交ミラー・フィルタ（QMF）領域において実行される、請求項１ないし３のうちいずれか一項記載のデコード方法。
5. 前記波形符号化されたダウンミックス信号は、前記第一のクロスオーバー周波数と第二のクロスオーバー周波数との間の周波数に対応するスペクトル・データを含み、当該方法がさらに、
   高周波数再構成パラメータを受領する段階と；
   前記高周波数再構成パラメータを使って高周波数再構成を実行することにより前記第一の信号の前記ダウンミックス信号を前記第二のクロスオーバー周波数より上の周波数範囲に拡張する段階とを含む、
   請求項１ないし４のうちいずれか一項記載のデコード方法。
6. 高周波数再構成を実行することにより前記第一の信号の前記ダウンミックス信号を前記第二のクロスオーバー周波数より上の周波数範囲に拡張する前記段階が、スペクトル帯域複製（SBR）を実行することを含む、請求項５記載のデコード方法。
7. 前記第一の信号の前記ダウンミックス信号を前記第二のクロスオーバー周波数より上の周波数範囲に拡張する前記段階が、前記第一および第二の信号をアップミックスするより前に実行される、請求項５または６記載のデコード方法。
8. 前記第一の信号の前記ダウンミックス信号を前記第二のクロスオーバー周波数より上の周波数範囲に拡張する前記段階が、前記第一および第二の波形符号化された信号を和差形式に変換したあとに実行される、請求項５ないし７のうちいずれか一項記載のデコード方法。
9. 前記第一の信号の前記ダウンミックス信号のパラメトリックなアップミックスの処理が：
   アップミックス・パラメータを受領し；
   前記ダウンミックス信号の脱相関されたバージョンを生成し；
   前記ダウンミックス信号および前記ダウンミックス信号の前記脱相関されたバージョンを行列演算にかけることを含み、前記行列演算のパラメータは前記アップミックス・パラメータによって与えられる、
   請求項１ないし８のうちいずれか一項記載のデコード方法。
10. 受領された前記第一および第二の波形符号化された信号は、左右形式、和差形式および／またはダウンミックス相補形式で波形符号化されており、相補信号は、信号適応的である重み付けパラメータaに依存する、請求項１ないし９のうちいずれか一項記載のデコード方法。
11. 前記重み付けパラメータaが実数値である、請求項１０記載のデコード方法。
12. 受領された前記第一および第二の波形符号化された信号は和差形式で波形符号化され、前記第一および第二の信号が、それぞれ前記第一および第二の信号について独立な窓掛けをもつ重複窓掛け変換を使って符号化される、請求項１０記載のデコード方法。
13. 請求項１ないし１２のうちいずれか一項記載の方法を実行するための命令をもつコンピュータ可読媒体を有するコンピュータ・プログラム・プロダクト。
14. 二つのオーディオ信号をデコードするデコーダであって、
    前記二つのオーディオ信号のある時間フレームに対応する第一の信号および第二の信号を受領するよう構成された受領段であって、前記第一の信号は、第一のクロスオーバー周波数までの周波数に対応するスペクトル・データを含む第一の波形符号化された信号と、前記第一のクロスオーバー周波数より上の周波数に対応するスペクトル・データを含む波形符号化されたダウンミックス信号とを含み、前記第二の信号は、前記第一のクロスオーバー周波数までの周波数に対応するスペクトル・データを含む第二の波形符号化された信号を含む、受領段と；
    前記受領段の下流の混合段であって、前記第一および第二の信号波形符号化された信号が前記第一のクロスオーバー周波数までのすべての周波数について和差形式であるかどうかを検査し、そうでなければ、前記第一および第二の波形符号化された信号を和差形式に変換し、それにより、前記第一の信号は、前記第一のクロスオーバー周波数までの周波数に対応するスペクトル・データを含む波形符号化された和信号と、前記第一のクロスオーバー周波数より上の周波数に対応するスペクトル・データを含む前記波形符号化されたダウンミックス信号との組み合わせであり、前記第二の信号は、前記第一のクロスオーバー周波数までの周波数に対応するスペクトル・データを含む波形符号化された差信号を含むようにするよう構成されている混合段と；
    前記第一および第二の信号をアップミックスしてステレオ信号の左および右のチャネルを生成するよう構成されている、前記混合段の下流のアップミックス段であって、前記第一のクロスオーバー周波数より下の周波数については該アップミックス段は前記第一および第二の信号の逆和差変換を実行するよう構成されており、前記第一のクロスオーバー周波数より上の周波数については前記アップミックス段は前記第一の信号の前記ダウンミックス信号のパラメトリックなアップミックスを実行するよう構成されている、アップミックス段とを有する
    デコーダ。
15. 二つのオーディオ信号をエンコードするエンコード方法であって：
    エンコードされるべき、前記二つの信号のある時間フレームに対応する第一の信号および第二の信号を受領する段階と；
    前記第一および第二の信号を和信号である第一の変換された信号および差信号である第二の変換された信号に変換する段階と；
    前記第一および第二の変換された信号を波形符号化してそれぞれ第一および第二の波形符号化された信号にする段階であって、第一のクロスオーバー周波数より上の周波数については、前記波形符号化は前記第一の変換された信号を波形符号化することを含み、前記第一のクロスオーバー周波数までの周波数については、前記波形符号化は前記第一および第二の変換された信号を波形符号化することを含む、段階と；
    前記第一のクロスオーバー周波数より上の周波数について前記第一および第二の信号のスペクトル・データの再構成を可能にするパラメトリック・ステレオ・パラメータを抽出するために、前記第一および第二の信号をパラメトリック・ステレオ・エンコードにかける段階と；
    前記第一および第二の波形符号化された信号と、前記パラメトリック・ステレオ・パラメータとを含むビットストリームを生成する段階とを含む、
    エンコード方法。
16. 前記第一および第二の信号の変換は時間領域で実行される、請求項１５記載のエンコード方法。
17. 前記第一のクロスオーバー周波数より下の周波数の少なくとも部分集合について、逆和差変換を実行することによって、前記第一および第二の波形符号化された信号を左右形式に変換する段階をさらに含む、請求項１５または１６記載のエンコード方法。
18. 前記第一のクロスオーバー周波数より下の周波数の少なくとも部分集合について、前記第一および第二の波形符号化された信号に対して行列演算を実行することによって、前記第一および第二の波形符号化された信号をダウンミックス／相補形式に変換する段階であって、前記行列演算は重み付けパラメータaに依存する、段階と；
    前記重み付けパラメータaを前記ビットストリームに含める段階とをさらに含む、
    請求項１５ないし１７のうちいずれか一項記載のエンコード方法。
19. 前記第一のクロスオーバー周波数より上の周波数について、前記第一および第二の変換された信号を波形符号化する処理は、前記第一のクロスオーバー周波数と第二のクロスオーバー周波数との間の周波数について前記第一の変換された信号を波形符号化し、前記第二のクロスオーバー周波数より上では前記第一の波形符号化された信号を0に設定することを含み、
    当該方法はさらに、
    前記第一の信号および前記第二の信号のダウンミックス信号を、前記ダウンミックス信号の高周波数再構成を可能にする高周波数再構成パラメータを生成するために、高周波数再構成エンコードにかける段階と；
    前記高周波数再構成パラメータを前記ビットストリームに含める段階とを含む、
    請求項１５ないし１８のうちいずれか一項記載のエンコード方法。
20. 前記ダウンミックス信号を前記第一および第二の信号に基づいて計算する段階をさらに含む、請求項１９記載のエンコード方法。
21. 前記第一および第二の信号を前記パラメトリック・ステレオ・エンコードにかける処理は、まず前記第一および第二の信号を和信号である第一の変換された信号および差信号である第二の変換された信号に変換する前記の処理を実行し、次いで、前記第一および第二の変換された信号をパラメトリック・ステレオ・エンコードにかけることによって実行され、高周波数再構成エンコードにかけられる前記ダウンミックス信号は、前記第一の変換された信号である、請求項１９記載のエンコード方法。
22. 請求項１５ないし２１のうちいずれか一項記載の方法を実行するための命令をもつコンピュータ可読媒体を有するコンピュータ・プログラム・プロダクト。
23. 二つのオーディオ信号をエンコードするエンコーダであって：
    エンコードされるべき、前記二つの信号のある時間フレームに対応する第一の信号および第二の信号を受領するよう構成されている受領段と；
    前記第一および第二の信号を前記受領段から受領し、それらの信号を和信号である第一の変換された信号および差信号である第二の変換された信号に変換するよう構成されている変換段と；
    前記第一および第二の変換された信号を前記変換段から受領し、それらの信号を波形符号化してそれぞれ第一および第二の波形符号化された信号にするよう構成されている波形符号化段であって、第一のクロスオーバー周波数より上の周波数については、前記波形符号化段は前記第一の変換された信号を波形符号化するよう構成されており、前記第一のクロスオーバー周波数までの周波数については、前記波形符号化段は前記第一および第二の変換された信号を波形符号化するよう構成されている、波形符号化段と；
    前記第一および第二の信号を前記受領段から受領し、前記第一のクロスオーバー周波数より上の周波数について前記第一および第二の信号のスペクトル・データの再構成を可能にするパラメトリック・ステレオ・パラメータを抽出するために、前記第一および第二の信号をパラメトリック・ステレオ・エンコードにかけるよう構成されているパラメトリック・ステレオ・エンコード段と；
    前記波形符号化段からの前記第一および第二の波形符号化された信号と、前記パラメトリック・ステレオ・エンコード段からの前記パラメトリック・ステレオ・パラメータとを受領し、前記第一および第二の波形符号化された信号および前記パラメトリック・ステレオ・パラメータを含むビットストリームを生成するよう構成されているビットストリーム生成段とを有する、
    エンコーダ。

Images