JP2019502296A - 信号処理方法および仮想スピーカアレイにオーディオをレンダリングするシステム - Google Patents

Abstract

オーディオレンダリングの技術は、平衡実現状態の空間モデルを各頭部伝達関数（ＨＲＴＦ）に適用することで、有効なＦＩＲまたはさらには無限インパルス応答（ＩＩＲ）フィルタの次数を低減することを含む。この線に沿って、各ＨＲＴＦ Ｇ（ｚ）は、例えばｚ変換を介して頭部インパルス応答フィルタ（ＨＲＩＲ）から算出される。ＨＲＩＲのデータは、ＨＲＴＦの第１状態空間表現［Ａ，Ｂ，Ｃ，Ｄ］を、Ｇ（ｚ）＝Ｃ（ｚＩ−Ａ）−１Ｂ＋Ｄの関係を介して構築するために使用されてよい。この第１状態空間表現は特異なものではないので、ＦＩＲフィルタに対して、ＣおよびＤはＨＲＩＲデータを含む一方で、ＡおよびＢは、単純な、２値アレイに設定されてよい。この表現は、その固有ベクトルが、ハンケルノルムにより測定されるシステム利得を最大化するシステム状態を提供する、グラム行列Ｑの単純な形式に通じる。さらに、Ｑの因数分解は、グラム行列がＱの固有値の対角行列と等しい平衡状態空間への変換を提供する。ある閾値を越える固有値に関連する状態のみを考慮することにより、ＨＲＴＦの平衡状態空間表現は、求められる計算量の９０パーセントを削減しながら元のＨＲＴＦに非常によく近似する近似ＨＲＴＦを提供するために、切り捨てられてよい。

Description

本願は、一般に信号処理方法および仮想スピーカアレイにオーディオをレンダリングするシステムに関する。

リスナーを囲むスピーカの仮想アレイは、ヘッドフォンに配信されるオーディオ用の仮想の空間音響環境の生成において、一般的に使用される。このスピーカアレイにより生成される音場は、ユーザに対して音源が移動する効果をもたらすように、または、ユーザが頭を動かす場合、その音源を固定の空間位置に不動とするように操作が可能である。これらは、仮想現実（ＶＲ）システムにおけるヘッドフォンを通じてのオーディオ配信にとって、非常に重要な処理である。

仮想スピーカへの配信のために処理されるマルチチャンネルオーディオは、左右のヘッドフォンスピーカに信号のペアを提供するために組み合わされる。マルチチャンネルオーディオを組み合わせるこの処理は、バイノーラルレンダリングとして知られている。一般に受容されている、このレンダリングの実装に最も有効な方法は、頭部伝達関数（ＨＲＴＦ）を実装するマルチチャンネルフィルタリングシステムを使用することである。例えばＭ（ただしＭは任意の数）個の仮想スピーカに基づいたシステムにおいて、バイノーラルレンダラは、スピーカとユーザの左右の耳との間の伝達関数をモデル化するのに１つのスピーカにつき１つのペアが使用されるため、２Ｍ個のＨＲＴＦフィルタを有する必要がある。

バイノーラルレンダリングを実行する従来の手法は、多量の計算資源を必要とする。この手法により、ＨＲＴＦがｎ次の有限インパルス応答（ＦＩＲ）フィルタとして表現される場合、各バイノーラル出力は、１つのチャンネルにつき２Ｍｎ個の乗加算演算を必要とする。そのような演算は、バイノーラルレンダリングに対して割り当てられた限られた資源、例えば仮想現実アプリケーションに対して負担をかけ得る。

多量の計算資源を必要とするバイノーラルレンダリングを実行する従来の手法とは対照的に、改善された技術は、平衡実現状態の空間モデルを各ＨＲＴＦに適用することで、有効なＦＩＲまたはさらには無限インパルス応答（ＩＩＲ）フィルタの次数を低減することを含む。この線に沿って、各ＨＲＴＦ Ｇ（ｚ）は、例えばｚ変換を介して頭部インパルス応答フィルタ（ＨＲＩＲ）から算出される。ＨＲＩＲのデータは、ＨＲＴＦの第１状態空間表現［Ａ，Ｂ，Ｃ，Ｄ］を、Ｇ（ｚ）＝Ｃ（ｚＩ−Ａ）^−１Ｂ＋Ｄの関係を介して構築するために使用されてよい。この第１状態空間表現はユニークなものではないので、ＦＩＲフィルタに対して、ＡおよびＢは、単純な２値アレイに設定されてよい一方、ＣおよびＤはＨＲＩＲデータを含む。この表現によって、その固有ベクトルが、ハンケルノルムにより測定されるシステム利得を最大化するシステム状態を提供する、単純な形式のグラム行列Ｑが導かれる。さらに、Ｑの因数分解は、グラム行列がＱの固有値の対角行列と等しい平衡状態空間への変換を提供する。ある閾値を越える固有値に関連する状態のみを考慮することにより、ＨＲＴＦの平衡状態空間表現は、求められる計算量の９０パーセントを削減しながらも、元のＨＲＴＦを非常によく近似する近似ＨＲＴＦを提供するように切り捨てられることができる。

改善された技術の１つの一般的な態様は、人間のリスナーの左耳および右耳に音場をレンダリングする方法を含み、音場は、複数の仮想スピーカによって生成される。方法は、人間のリスナーの頭の左耳および右耳に音場をレンダリングするよう構成されたサウンドレンダリングコンピュータの処理回路が、複数の頭部インパルス応答（ＨＲＩＲ）を取得する工程であって、複数のＨＲＩＲの各々は、複数の仮想スピーカのうちの１つの仮想スピーカと人間のリスナーの一方の耳とに関連付けられており、複数のＨＲＩＲの各々は、１つの仮想スピーカにより生成されるオーディオインパルスに応じて生成される、特定のサンプリングレートで生成される左耳または右耳における音場のサンプルを含む工程を含んでよい。方法は、複数のＨＲＩＲの各々の第１状態空間表現を生成する工程であって、第１状態空間表現は、行列、列ベクトル、および行ベクトルを含み、第１状態空間表現の行列、列ベクトル、および行ベクトルの各々は、第１サイズを有する工程をまた含んでよい。方法は、状態空間削減演算を実行することで、複数のＨＲＩＲの各々の第２状態空間表現を生成する工程であって、第２空間表現は、行列、列ベクトル、および行ベクトルを含み、第２状態空間表現の行列、列ベクトル、および行ベクトルの各々は、第１サイズよりも小さい第２サイズを有する、状態空間削減演算実行工程をさらに含んでよい。方法は、第２状態表現に基づいて複数の頭部伝達関数（ＨＲＴＦ）を生成する工程であって、複数のＨＲＴＦの各々は、複数のＨＲＩＲのそれぞれのＨＲＩＲに対応しており、それぞれのＨＲＩＲに対応しているＨＲＴＦは、該ＨＲＩＲが関連付けられている仮想スピーカにより生成される周波数領域音場が乗算されると、人間のリスナーの一方の耳にレンダリングされる音場の成分を生成する工程をさらに含んでよい。

状態空間削減演算実行工程は、複数のＨＲＩＲの各ＨＲＩＲに対して、該ＨＲＩＲの第１状態空間表現に基づき、それぞれのグラム行列を生成する工程であって、グラム行列は、大きさ順に並べられた複数の固有値を有する工程と、グラム行列および複数の固有値に基づき、該ＨＲＩＲの第２状態空間表現を生成する工程であって、第２サイズは、複数の固有値のうち、特定の閾値を超える固有値の数に等しい、工程と、を含んでよい。

複数のＨＲＩＲの各ＨＲＩＲの第２状態空間表現を生成する工程は、該ＨＲＩＲの第１状態空間表現に基づくグラム行列に適用された場合に対角行列を生成する変換行列を形成する工程であって、対角行列の各対角要素は、複数の固有値のそれぞれの固有値に等しい工程を含んでよい。

方法は、複数のＨＲＩＲの各々に対して、該ＨＲＩＲのケプストラムを生成する工程であって、ケプストラムは、正の時間に取得された因果的サンプルおよび負の時間に取得された非因果的サンプルを有する工程と、ケプストラムの非因果的サンプルの各々に対して、負の時間に取得された該非因果的サンプルを、該負の時間の反対の時間に取得されたケプストラムの因果的サンプルに加算することで、位相最小化演算を実行する工程と、ケプストラムの非因果的サンプルの各々に対する位相最小化演算の実行後に、ケプストラムの非因果的サンプルの各々をゼロに設定することで、最小位相ＨＲＩＲを生成する工程と、をさらに含んでよい。

方法は、ＭＩＭＯ（ｍｕｌｔｉｐｌｅ ｉｎｐｕｔ， ｍｕｌｔｉｐｌｅ ｏｕｔｐｕｔ）状態空間表現を生成する工程であって、ＭＩＭＯ状態空間表現は、合成行列、列ベクトル行列、および行ベクトル行列を含み、ＭＩＭＯ状態空間表現の合成行列は、複数のＨＲＩＲの各々の第１表現の行列を含み、ＭＩＭＯ状態空間表現の列ベクトル行列は、複数のＨＲＩＲの各々の第１表現の列ベクトルを含み、ＭＩＭＯ状態空間表現の行ベクトル行列は、複数のＨＲＩＲの各々の第１表現の行ベクトルを含む、ＭＩＭＯ状態空間表現生成工程と、をさらに含んでよい。この場合、状態空間削減演算実行工程は、削減合成行列、削減列ベクトル行列、および削減行ベクトル行列を生成する工程であって、削減合成行列、削減列ベクトル行列、および削減行ベクトル行列の各々は、合成行列、列ベクトル行列、および行ベクトル行列のサイズよりそれぞれ小さいサイズを有する工程を含む。

ＭＩＭＯ状態空間表現生成工程は、ＭＩＭＯ状態空間表現の合成行列として第１ブロック行列を形成する工程であって、第１ブロック行列は、複数の仮想スピーカのうちの１つの仮想スピーカに関連付けられているＨＲＩＲの第１状態空間表現の行列を、第１ブロック行列の対角要素として有し、同様の仮想スピーカに関連付けられているＨＲＩＲの第１状態空間表現の行列は、第１ブロック行列の隣接する対角要素に存在する工程を含んでよい。ＭＩＭＯ状態空間表現生成工程は、ＭＩＭＯ状態空間表現の列ベクトル行列として第２ブロック行列を形成する工程であって、第２ブロック行列は、複数の仮想スピーカのうちの１つの仮想スピーカに関連付けられているＨＲＩＲの第１状態空間表現の列ベクトルを、第２ブロック行列の対角要素として有し、同様の仮想スピーカに関連付けられているＨＲＩＲの第１状態空間表現の列ベクトルは、第２ブロック行列の隣接する対角要素に存在する工程をまた含んでよい。ＭＩＭＯ状態空間表現生成工程は、ＭＩＭＯ状態空間表現の行ベクトル行列として第３ブロック行列を形成する工程であって、第３ブロック行列は、複数の仮想スピーカのうちの１つの仮想スピーカに関連付けられているＨＲＩＲの第１状態空間表現の行ベクトルを、第３ブロック行列の要素として有し、左耳における音をレンダリングするＨＲＩＲの第１状態空間表現の行ベクトルは、第３ブロック行列の第１行の奇数番目の要素に存在しており、右耳における音をレンダリングするＨＲＩＲの第１状態空間表現の行ベクトルは、第３ブロック行列の第２行の偶数番目の要素に存在している工程と、をさらに含んでよい。

方法は、ＭＩＭＯ状態空間表現生成工程の前に、複数のＨＲＩＲの各ＨＲＩＲに対して、ＳＩＳＯ（ｓｉｎｇｌｅ ｉｎｐｕｔ ｓｉｎｇｌｅ ｏｕｔｐｕｔ）状態空間削減演算を実行することで、該ＨＲＩＲの第１状態空間表現として、該ＨＲＩＲのＳＩＳＯ状態空間表現を生成する工程をさらに含んでよい。

方法に関して、複数の仮想スピーカの各々に対して、該仮想スピーカに関連付けられている複数のＨＲＩＲに左ＨＲＩＲおよび右ＨＲＩＲが存在しており、左ＨＲＩＲは、該仮想スピーカにより生成される周波数領域音場が乗算されると、人間のリスナーの左耳にレンダリングされる音場の成分を生成し、右ＨＲＩＲは、該仮想スピーカにより生成される周波数領域音場が乗算されると、人間のリスナーの右耳にレンダリングされる音場の成分を生成する。さらに、複数の仮想スピーカの各々に対して、該仮想スピーカに関連付けられている左ＨＲＩＲと該仮想スピーカに関連付けられている右ＨＲＩＲとの間の両耳間時間差（ＩＴＤ）が存在しており、ＩＴＤは、ゼロ値を有する左ＨＲＩＲの音場の初期サンプルの数と、ゼロ値を有する右ＨＲＩＲの音場の初期サンプルの数との間の差により、左ＨＲＩＲおよび右ＨＲＩＲにおいて顕著になる。この場合、方法は、複数の仮想スピーカの各々に関連付けられている左ＨＲＩＲと右ＨＲＩＲとの間のＩＴＤに基づいてＩＴＤユニットサブシステム行列を生成する工程と、複数のＨＲＴＦにＩＴＤユニットサブシステム行列を乗算することで、複数の遅延ＨＲＴＦを生成する工程と、をさらに含んでよい。

方法に関して、複数のＨＲＴＦの各々は、有限インパルスフィルタ（ＦＩＲ）で表されてよい。この場合、方法は、複数のＨＲＴＦの各々に対して変換演算を実行することで、各々が無限インパルス応答フィルタ（ＩＩＲ）で表される別の複数のＨＲＴＦを生成する工程をさらに含んでよい。

方法に関して、複数の仮想スピーカの各々に対して、スピーカに最も近い頭部の側面の耳に対応した該仮想スピーカに関連するＨＲＩＲが存在する。これは同側ＨＲＩＲと呼ばれる。該仮想スピーカに関連する他のＨＲＩＲは、反対側ＨＲＩＲと呼ばれる。複数のＨＲＴＦは２つのグループに分けられてよい。１つのグループは、全ての同側ＨＲＴＦを含み、他のグループは、全ての反対側ＨＲＴＦを含む。この場合、方法は、各グループに別個に適用されてよく、これによって、そのグループに適切な近似の度合いを生成する。

本明細書に記載される１つまたは複数の実施形態による、頭部追跡、アンビソニック符号化仮想スピーカに基づくバイノーラルオーディオに対する例示的なシステムを説明するブロック図。 本明細書に記載される１つまたは複数の実施形態による、ハンケル特異値を有する例示的な状態空間システムのグラフ表示。 本明細書に記載される１つまたは複数の実施形態による、例示的な状態空間システムに対する、２５次の有限インパルス応答近似および６次の無限インパルス応答近似のインパルス応答を説明するグラフ表示。 本明細書に記載される１つまたは複数の実施形態による、例示的な状態空間システムに対する、２５次の有限インパルス応答近似および３次の無限インパルス応答近似のインパルス応答を説明するグラフ表示。 ユーザに対するスピーカの例示的な配置を説明するブロック図。 例示的なバイノーラルレンダラシステムを説明するブロック図。 本明細書に記載される１つまたは複数の実施形態による、例示的なＭＩＭＯバイノーラルレンダラシステム説明するブロック図。 本明細書に記載される１つまたは複数の実施形態による、例示的なバイノーラルレンダラシステムを説明するブロック図。 本明細書に記載される１つまたは複数の実施形態による、バイノーラルレンダリングのために配置された例示的なコンピューティング装置を説明するブロック図。 本明細書に記載される１つまたは複数の実施形態による、第１左ノードの平衡実現を使用するＳｉｎｇｌｅ−Ｉｎｐｕｔ−Ｓｉｎｇｌｅ−Ｏｕｔｐｕｔ（ＳＩＳＯ）ＩＩＲ近似の例示的な結果を説明するグラフ表示。 本明細書に記載される１つまたは複数の実施形態による、第１右ノードの平衡実現を使用するＳｉｎｇｌｅ−Ｉｎｐｕｔ−Ｓｉｎｇｌｅ−Ｏｕｔｐｕｔ（ＳＩＳＯ）ＩＩＲ近似の例示的な結果を説明するグラフ表示。 本明細書に記載される１つまたは複数の実施形態による、第２左ノードの平衡実現を使用するＳｉｎｇｌｅ−Ｉｎｐｕｔ−Ｓｉｎｇｌｅ−Ｏｕｔｐｕｔ（ＳＩＳＯ）ＩＩＲ近似の例示的な結果を説明するグラフ表示。 本明細書に記載される１つまたは複数の実施形態による、第２右ノードの平衡実現を使用するＳｉｎｇｌｅ−Ｉｎｐｕｔ−Ｓｉｎｇｌｅ−Ｏｕｔｐｕｔ（ＳＩＳＯ）ＩＩＲ近似の例示的な結果を説明するグラフ表示。 本明細書に記載される１つまたは複数の実施形態による、第３左ノードの平衡実現を使用するＳｉｎｇｌｅ−Ｉｎｐｕｔ−Ｓｉｎｇｌｅ−Ｏｕｔｐｕｔ（ＳＩＳＯ）ＩＩＲ近似の例示的な結果を説明するグラフ表示。 本明細書に記載される１つまたは複数の実施形態による、第３右ノードの平衡実現を使用するＳｉｎｇｌｅ−Ｉｎｐｕｔ−Ｓｉｎｇｌｅ−Ｏｕｔｐｕｔ（ＳＩＳＯ）ＩＩＲ近似の例示的な結果を説明するグラフ表示。 本明細書に記載される１つまたは複数の実施形態による、第４左ノードの平衡実現を使用するＳｉｎｇｌｅ−Ｉｎｐｕｔ−Ｓｉｎｇｌｅ−Ｏｕｔｐｕｔ（ＳＩＳＯ）ＩＩＲ近似の例示的な結果を説明するグラフ表示。 本明細書に記載される１つまたは複数の実施形態による、第４右ノードの平衡実現を使用するＳｉｎｇｌｅ−Ｉｎｐｕｔ−Ｓｉｎｇｌｅ−Ｏｕｔｐｕｔ（ＳＩＳＯ）ＩＩＲ近似の例示的な結果を説明するグラフ表示。 本明細書に記載される改善された技術を実行する例示的な方法を説明するフローチャート。

本明細書に与えられた見出しは、便宜上のものに過ぎず、本開示の請求項の範囲および意味に必ずしも影響を及ぼすものではない。
図中、容易な理解および便宜のため、同一の参照記号および任意の略語は、同一または同様な構成もしくは機能を有する要素または作用を識別する。図は以下の詳細な説明において詳細に記載される。

本開示の方法およびシステムの様々な実施例および実施形態が記載される。以下の記載は、これらの実施例の十分な理解および実施可能な開示のために特定の詳細を提供する。当業者は、しかしながら、本明細書に記載される１つまたは複数の実施形態が、これらの詳細の多くの部分なしで実施され得ることを理解するだろう。同様に、当業者はまた、本発明の１つまたは複数の実施形態は、本明細書に詳細が記載されていない他の特徴を含むことが可能であることを理解するだろう。加えて、いくつかの周知の構成または機能は、関連する記載を不必要に目立たなくすることを回避するために、図示されず、また以下に詳細な記述もされていない場合がある。

本開示の方法およびシステムは、上記のバイノーラルレンダリング処理の計算量を扱う。例えば、本開示の１つまたは複数の実施形態は、２Ｍ個のフィルタ関数を実装するために必要な算術演算の数を低減する方法およびシステムに関連する。

はじめに
図１は、空間オーディオプレイヤ（本実施例の目的では、環境影響の処理は全て無視する）の最終段階は、どのようにマルチチャンネル供給を仮想スピーカのアレイに取り入れ、その供給を、ヘッドフォンを通じて再生するための信号のペアに符号化するかを示す、例示的なシステム１００である。示されるように、Ｍチャンネルから２チャンネルへの最終的な変換は、Ｍ個の個別の１対２エンコーダを使用して行われる。ただし、各エンコーダは、左右の耳の頭部伝達関数（ＨＲＴＦ）のペアである。したがって、システム記述においては、演算子Ｇ（ｚ）は次の行列である。

各サブシステムは通常、左右の耳のスピーカ位置から測定されるインパルス応答に関連した伝達関数である。以下により詳細が記載されるように、本開示の方法およびシステムは、有限インパルス応答（ＦＩＲ）から無限インパルス応答（ＩＩＲ）への変換処理の利用を通じて各サブシステムの次数を低減するやり方を提供する。この課題に対する従来の手法は、各サブシステムを、分離されたＳＩＳＯ（Ｓｉｎｇｌｅ Ｉｎｐｕｔ Ｓｉｎｇｌｅ Ｏｕｔｐｕｔ）システムとして捉え、その構造を単純化することである。以下では、この従来の手法を検討し、また全体のシステムを、Ｍ個の入力および２個の出力のＭＩＭＯ（Ｍｕｌｔｉ Ｉｎｐｕｔ Ｍｕｌｔｉ Ｏｕｔｐｕｔ）システムとして動作させることにより、どのくらい高い効率が達成可能かについての研究も行う。

いくつかの従来の技術は、ＨＲＴＦシステムのＭＩＭＯモデルに触れている一方、本開示におけるようなアンビソニック（Ａｍｂｉｓｏｎｉｃ）ベースの仮想スピーカシステムにおける使用を扱うものはない。本開示に記載されるシステム次数低減の原則は、ハンケルノルムとして知られる測定基準に基づいている。この測定基準は広く知られておらず、またよく理解されてもいないので、以下にこの測定基準が測定するものと、音響システム応答にとって実用的な重要性を有する理由とを説明することを試みる。

ＨＲＩＲ／ＨＲＴＦ構造
音源とリスナーの左右の耳との間のインパルス応答は、周波数領域に変換された場合、頭部インパルス応答（ＨＲＩＲ）およびＨＲＴＦと称される。これらの応答関数は、リスナーが音源の場所を知覚するときに必須の、ディレクションキュー（ｄｉｒｅｃｔｉｏｎ ｃｕｅ）を含む。仮想聴覚ディスプレイを生成するための信号処理は、これらの関数を、空間的に正確な音源の合成において、フィルタとして使用する。ＶＲ用途においては、ユーザビュー追跡は、例えば（ｉ）処理資源が限られており、また（ｉｉ）低いレイテンシがしばしば必須条件なので、オーディオ合成ができるだけ効率的に実行されることを必要とする。

ＨＲＩＲ／ＨＲＴＦ、ｇを通じての信号伝送は、入力ｘ［ｋ］および出力ｙ［ｋ］について次のように記述されてよい（容易さのため、以下はｋ＞Ｎの出力を扱う）
ｇ＝［ｇ_０，ｇ_１，ｇ_２，．．，ｇ_Ｎ−１］とすると、

ｚ変換を行うと
Ｙ（ｚ）＝Ｇ（ｚ）Ｘ（ｚ） （２）
Ｇ（ｚ）＝［ｇ_０＋ｇ_１ｚ^−１＋ｇ_２ｚ^−２＋．．＋ｇ_Ｎ−１ｚ^Ｎ−１］ （３）
である。

ここで、左（Ｌ）または右（Ｒ）耳のＮ点ＨＲＩＲはｚ領域の伝達関数として提示される。ＨＲＩＲの第１ｎ_Ｌ／Ｒサンプル値は、音源位置からＬ／Ｒ耳までの伝達遅れのため、ほぼゼロである。ｎ_Ｌ−ｎ_Ｒ差は、音源の方向についての重要なバイノーラルキュー（ｂｉｎａｕｒａｌ ｃｕｅ）である、両耳間時間差（ＩＴＤ）を成す。この点から、Ｇ（ｚ）はいずれかのＨＲＴＦを参照する。下付きのＬおよびＲは、異なる性質を記述する場合にのみ使用される。

低次ＩＩＲ構造によるＦＩＲの近似
ハンケルノルム概論
以下の記載では、Ｇ（ｚ）を代替システム

で置き換える。代替システムは、例えば低い計算負荷等の利点を提供する。それはまた、ｙ＝Ｇｘおよび

を有する測定基準

で測定されるように、Ｇ（ｚ）の「良好な」近似である。この差の有効な測定基準は、以下の式で定義される誤差システムのＨ_∞ノルムである。

このエネルギー比は、ノルムとして、システムを駆動する信号の最小エネルギーについての、上記の差における最大のエネルギーを与える。したがって、近似誤差を小さくするためには、入力ｘから出力ｙまで最小のエネルギーを伝達するモードを削除することが提案される。誤差のＨ_∞ノルムが以下の式に等しい実用的な関連性を有すると考えるのは有益である。

これは、Ｈ_∞ノルムが誤差のボードゲイン線図のピークであることを示す。
しかしながら、課題は、このノルムとシステムのモードとの関係性を同定することが困難であることである。代わりに、以下では誤差についてハンケルノルムの使用を検討するが、その理由は、これがシステムの特性と有効な関係性を有しており、またＨ_∞ノルムに関して上限を与えることが容易に示されるためである。

システムのハンケルノルムは、畳み込みのような関係性により定義される、ハンケル演算子Φ_Ｇと呼ばれる演算子のためのシステムの誘導ゲインである。

ｋ＝０を「現在」時とすることにより、この演算子Φ_Ｇが、−∞からｋ＝−１まで適用された入力系列ｘ［ｋ］がその後どのようにシステムの出力に現れるかを決定することに留意されたい。

Φ_Ｇによって誘導されるハンケルノルムは、以下のように定義される。

ハンケルノルムは、システムへの過去のエネルギー入力を最小化する一方で、システム出力において回収可能な将来のエネルギーの最大化を表すこともまた理解されるべきである。または、別な言い方では、任意の入力に起因する将来の出力エネルギーは、将来の入力がゼロだと仮定すれば、高々ハンケルノルムに入力のエネルギーを掛けたものである。

状態空間システム表現およびハンケルノルム
上記の記載から分かるように、ハンケルノルムは、システムを通じたエネルギー伝達の有効な尺度を提供する。しかしながら、ノルムがシステム次数およびその低減にどのように関連するかを理解するには、状態空間表現によってモデル化したシステムの内部力学を同定する必要がある。線型シフト不変（ＬＳＩ）システムの状態空間モデルとその伝達関数との間の表現的関連は周知である。ｎ次のＳＩＳＯ（Ｓｉｎｇｌｅ−Ｉｎｐｕｔ−Ｓｉｎｇｌｅ−Ｏｕｔｐｕｔ）システムを以下の伝達関数で記述すると、

ｗ［ｋ］εＲ^ｎ−１に関して、ＡεＲ^{（ｎ−１）ｘ（ｎ−１）}，ＢεＲ^{（ｎ−１）ｘ１}，ＣεＲ^{１ｘ（ｎ−１）}，およびＤεＲによって、このシステムは、以下の状態空間モデルＳ：［Ａ，Ｂ，Ｃ，Ｄ］によって記述され得る。
ｗ［ｋ＋１］＝Ａｗ［ｋ］＋Ｂｘ［ｋ］
ｙ［ｋ］＝Ｃｗ［ｋ］＋Ｄｘ［ｋ］ （９）
このシステムのＺ変換は
ｚＷ（ｚ）＝ＡＷ（ｚ）＋ＢＸ（ｚ）
Ｙ（ｚ）＝ＣＷ（ｚ）＋ＤＸ（ｚ）
であり、以下を与える。
Ｙ（ｚ）＝［Ｃ（ｚＩ−Ａ）^−１Ｂ＋Ｄ］Ｘ（ｚ）＝Ｇ（ｚ）Ｘ（ｚ） （１０）
システム行列［Ａ，Ｂ，Ｃ，Ｄ］はユニークではなく、代替の状態空間モデルが、例えば、ｖ［ｋ］に関して以下の相似変換を通じて取得され得ることに留意すべきである。可逆行例ＴεＲ^{（ｎ−１）ｘ（ｎ−１）}，Ｔｖ＝ｗに対して、以下を与える。

状態空間モデル

は、同一の伝達関数Ｇ（ｚ）を有する。
本実施例の目的では、Ｇ（ｚ）は安定したシステムである、すなわち、Ｓは安定していると仮定され、これは、Ａ＝λ（Ａ）の固有値が全て単位円板｜λ｜＜１上に存在することを意味すると理解されるべきである。

Ｇ（ｚ）のハンケルノルムは、−∞＜ｋ≦−１に対する入力系列ｘ［ｋ］の結果としてｗ［０］に蓄えられたエネルギーと、その後このエネルギーのうちのどのくらいがｋ≧０に対する出力ｙ［ｋ］に送られるかに関して記述されてよい。

Ｓの内部エネルギーを記述するためには、次の２つのシステム特性を導入する必要がある。
（ｉ）到達可能性（可制御性）グラム行列

および
（ｉｉ）可観測性グラム行列

Ａは安定しているので、上記２つの総和は収束する。また、ペア（Ａ，Ｂ）が制御可能な場合（このことは、ｗ［０］から始まり、系列ｘ［ｋ］，ｋ＞０はシステムをあらゆる任意の状態ｗ^＊にすることが可能であることを意味する）、かつその場合に限り、Ｐは対称的および正定値であると示すことは容易である。また、ペア（Ａ，Ｃ）が観測可能な場合（このことは、任意の時間ｊにおけるシステムの状態は、ｋ＞ｊに対するシステム出力ｙ［ｋ］から決定可能であることを意味する）、その場合に限り、Ｑは対称的および正定値である。

ＰおよびＱが以下のリアプノフ方程式の解として得られ得ると示すことは容易である。
ＡＰＡ^Ｔ＋ＢＢ^Ｔ−Ｐ＝０
および
Ａ^ＴＱＡ＋Ｃ^ＴＣ−Ｑ＝０
状態の観測エネルギーは、ｋ≧０に対するｗ［０］＝Ｗ０およびｘ［ｋ］＝０によって、軌道ｙ［ｋ］≧０のエネルギーである。以下の式を示すことは容易である。

最小制御エネルギー問題は、以下の最小エネルギーのものとして定義される

これは、最適制御における標準問題であり、

の場合に、以下の解を有する
ｋ＜０について、ｘ_ｏｐｔ［ｋ］＝Ｂ^Ｔ（Ａ^Ｔ）^{−（１＋ｋ）}Ｐ^−１Ｗ_０
上記を鑑みると、システムＧ（ｚ）のハンケルノルムまたは同等にＳ：［Ａ，Ｂ，Ｃ，Ｄ］を、ＱおよびＰグラム行列に以下のように明確に関連付けることが可能である。

平衡状態空間システム表現
ＨＲＴＦシステムにとって、適切な相似変換Ｔを計算することで以下のシステム実現

を取得して、そのシステム実現が以下の対角行列である等しい到達可能性および可観測性グラム行列を与えることは可能であることが理解されるべきである。

本開示の１つ以上の実施形態によれば、平衡状態空間システム表現の取得は、以下を含んでよい。
（ｉ） Ｇ（ｚ）から開始して、状態空間システムＳ：［Ａ，Ｂ，Ｃ，Ｄ］であると決定する（例えば認識する）。
（ｉｉ） Ｓに対して、グラム行列が解かれてＰおよびＱを得る。
（ｉｉｉ） 線形代数が用いられ、以下の式を与える。

（ｉｖ） Ｗを単位とする因数分解Ｐ＝Ｍ^ＴＭおよびＭＱＭ^Ｔ＝Ｗ^Ｔ２Ｗにより、

である

となるよう、ＭおよびＷが与えられる。
（ｖ） （ｉｖ）からのＴは、以下のようなシステムの新たな表現を取得するために使用されてよい。

（ｖｉ） （ｖ）で取得した表現において、平衡状態が存在する。換言すると、システムを、１が位置ｉにある（０，０，．．，１，０，．．０）^Ｔ状態にする最小のエネルギーは

であり、システムがこの状態でリリースされると、その後、出力で回収されるエネルギーは_ｉである。
（ｖｉｉ） この平衡モデルでは、信号入力から出力までのエネルギー伝達の重要度に関して状態が順序付けられている。したがって、この構造では、状態の切捨ておよびＧ（ｚ）の次数の低減は同等に、エネルギー伝達の重要度に関して状態を取り除く。

平衡状態空間システムに基づいた次数低減の実施例
以下に、ＦＩＲ構造の状態空間モデルの生成および、上記の平衡システム表現を使用する次数低減を検討する。

本実施例は、伝達関数Ｇ（ｚ）＝［ｇ_０＋ｇ_１ｚ^−１＋…ｇ_２５ｚ^−２５］を有する以下の２６点ＦＩＲフィルタｇ［ｋ］を検討することから始まる。

以下により、２５次の状態空間モデルが生成される。

図２に図示されるように、システムＳ：［Ａ，Ｂ，Ｃ，Ｄ］は、ハンケル特異値（ＳＶ）を有する。
Ｓは

に変換される。ハンケルＳＶの構造（例えば図２に図示される）から、Ｓの６次の近似値が取得されてよい。システムは、したがって以下のように分割される。

次数が低減されたシステムは、

であり、これは、以下の次数が低減された伝達関数を与える。

比較のため、元のＦＩＲ Ｇ（ｚ）と６次のＩＩＲ近似のインパルス応答が図３に図示される。図３に示すプロットにより、ほぼ損失のない整合であることが明らかになった。
また、比較のため、元のＦＩＲ Ｇ（ｚ）と３次のＩＩＲ近似のインパルス応答が図４に図示される。

ＨＲＩＲの平衡近似
仮想スピーカアレイおよびＨＲＩＲセット
以下に、ＣＩＰＩＣセットの被験者１５のＨＲＩＲを使用して出力がバイノーラルにミックスダウンされた、図５に図示されるような、スピーカのシンプルな正方形の配置に基づいた例示的なシナリオを記載する。これらは、４４．１ｋＨｚで抽出された２００点のＨＲＩＲであり、該セットは、ＨＲＩＲの各ペア間の両耳間時間差（ＩＴＤ）の測定値を含む関連データの範囲を含む。ＨＲＩＲの伝達関数Ｇ（ｚ）（例えば上記方程式（３））は、ゼロおよび各応答における開始遅延である複数の首位係数［ｇ_０，．．．，ｇ_ｍ］を有し、以下の方程式（１２）に示されるようなＧ（ｚ）を与える。ＨＲＩＲのペアの左右の開始時間の差は、ＨＲＩＲのＩＴＤへの寄与を主に決定する。典型的な左ＨＲＴＦの形式は、方程式（１２）において与えられ、右ＨＲＴＦは、同様な形式を有する。

ＩＴＤはＩＴＤ＝｜ｍ_Ｌ−ｍ_Ｒ｜により与えられ、これがＣＩＰＩＣデータベースにおける各ＨＲＩＲペアに提供される。開始遅延に関連した過剰位相は、各Ｇ（ｚ）が非最小位相であることを意味しており、ＨＲＴＦの主要部分

は、非最小位相であることも示された。しかし、リスナーは、

のフィルタ効果を、Ｈ（ｚ）で表されるその最小位相のバージョンと区別できないことも示された。したがって、ＦＩＲからＩＩＲの近似の本実施例では、元のＦＩＲのＧ（ｚ）は、それらのＦＩＲの最小位相では、Ｈ（ｚ）、すなわち、各ＨＲＩＲから開始遅延を取り除くアクションと同等である。

平衡実現を使用するＳｉｎｇｌｅ−Ｉｎｐｕｔ−Ｓｉｎｇｌｅ−Ｏｕｔｐｕｔ ＩＩＲ近似
１つ以上の実施形態によれば、平衡実現を使用するＳＩＳＯ（ｓｉｎｇｌｅ−ｉｎｐｕｔ−ｓｉｎｇｌｅ−ｏｕｔｐｕｔ）ＩＩＲ近似は、例えば以下を含む容易な処理である。
（ｉ） 各ノードにＨＲＩＲ（ｌ／ｒ，１：２００）を読み込む。
（ｉｉ） ケプストラムを使用して最小位相相当を取得し、ＨＨＲＩＲ（ｌ／ｒ，１：２００）を与える。
（ｉｉｉ） ＨＨＲＩＲ（ｌ／ｒ，１：２００）のＳＩＳＯ状態空間表現を、Ｓ：［Ａ，Ｂ，Ｃ，Ｄ］として構築する。これは１９９次元の状態空間である。
（ｉｖ） 上記の平衡低減方法を使用し、次元ｒｒのＳの次数が低減されたバージョンを取得する。例えば、Ｓ_ｒｒ：［Ａ_ｒｒ，Ｂ_ｒｒ，Ｃ_ｒｒ，Ｄ_ｒｒ］である。

そのＨＲＩＲのケプストラムは、正の時間に取得された因果的サンプルおよび負の時間に取得された非因果的サンプルを有してよい。従って、ケプストラムの非因果的サンプルの各々に対して、負の時間に取得されたその非因果的サンプルを、その負の時間の反対の時間に取得されたケプストラムの因果的サンプルに加算することで、位相最小化演算が実行されてよい。ケプストラムの非因果的サンプルの各々に対する位相最小化演算の実行後にケプストラムの非因果的サンプルの各々をゼロに設定することで、最小位相ＨＲＩＲは生成されてよい。

各ノードに対する１２次（例えばｒｒ＝１２に対する）による左右のＨＲＩＲの近似からの例示的な結果は、図１０乃至図１７に示すプロットにおいて表現されている。
図１０乃至図１７は、［＋／−４５度，＋／−１３５度］、Ｆｓ＝４４１００Ｈｚ、元のＦＩＲは２００点、ＩＩＲ近似値が１２次の場合の、ＣＩＰＩＣのＳｕｂｊｅｃｔ １５の周波数応答を説明するグラフ表示である。

図１０乃至図１７にプロットされた結果は、１２次のＩＲ近似は、元のＨＲＴＦの大きさおよび位相の両方について、周波数応答に非常に近い整合を与えることを示す。これは、８ｘ２００Ｐｔ ＦＩＲを実行する代わりに、ＨＲＩＲ計算が８ｘ［｛６双二次｝ＩＩＲ部分＋ ＩＴＤ遅延線］として実行され得ることを意味する。

平衡実現を使用するＭｕｌｔｉ−Ｉｎｐｕｔ−Ｍｕｌｔｉ−Ｏｕｔｐｕｔ ＩＩＲ近似
１つ以上の実施形態によれば、平衡実現を使用するＭＩＭＯ（ｍｕｌｔｉ−ｉｎｐｕｔ−ｍｕｌｔｉ−ｏｕｔｐｕｔ）ＩＩＲ近似は、上記ＳＩＳＯと同様に開始されてよい処理である。例えば、処理は以下を含んでよい。
（ｉ） 各ノードにＨＲＩＲ（ｌ／ｒ，１：２００）を読み込む。
（ｉｉ） 上記のようにケプストラムを使用して最小位相相当を取得し、各ノードにＨＨＲＩＲ（ｌ／ｒ，１：２００）を与える。
（ｉｉｉ） 各ＨＨＲＩＲ（ｌ／ｒ，１：２００）のＳＩＳＯ状態空間表現を、Ｓ_ｉｊ：［Ａ_ｉｊ，Ｂ_ｉｊ，Ｃ_ｉｊ，Ｄ_ｉｊ］ ｆｏｒ ｉ＝１，２ ≡ｌｅｆｔ／ｒｉｇｈｔ ａｎｄ ｊ＝１，２，３，４ ≡Ｎｏｄｅ １，２，３，４として構築する。各Ｓ_ｉｊは、１９９次元の状態空間システムである。ここで、Ａ_ｉｊ∈Ｒ^{１９９ｘ１９９}， Ｂ_ｉｊ∈Ｒ^{１９９ｘ１}， Ｃ_ｉｊ∈Ｒ^{１ｘ１９９}，およびＤ_ｉｊ∈Ｒ^１ｘ１である。
（ｉｖ） 例えば、４ｘ１９９＝７９６次元の内部状態空間と、４入力および２出力とを有する合成ＭＩＭＯシステムを構築する。このシステムは、Ｓ：［Ａ，Ｂ，Ｃ，Ｄ］であり、ただし、Ａ，Ｂ，Ｃ，Ｄは以下のように構造化される。

この７９６次元のシステムは、本開示の１つまたは複数の実施形態にしたがって記載された、平衡低減方法を使用して低減されてよい。
少なくとも上記の例示的な実装においては、Ｓ_ｉｊの各々は、Ｓの生成の前に３０次ＳＩＳＯシステムに低減される。この工程で、Ｓは４ｘ３０＝１２０次元のシステムになる。これは、その後、図６に図示されるものと同様、例えばｎ＝１２次、４入力、２出力のシステムに低減されてよい。

以下にさらに詳細に記載されるように、本開示の方法およびシステムは、バイノーラルレンダリング処理の計算量を扱う。例えば、本開示の１つまたは複数の実施形態は、２Ｍ個のフィルタ関数を実装するために必要な算術演算の数を低減する方法およびシステムに関連する。

従来のバイノーラルレンダリングシステムは、ＨＲＴＦフィルタ関数を組み込んでいる。これらの関数は、無限インパルス応答（ＩＩＲ）フィルタ構造を使用した実装と共に有限インパルス応答（ＦＩＲ）フィルタ構造を使用して実装される。ＦＩＲ手法は、各耳に１つの出力サンプルを配信するために、長さｎのフィルタを使用し、各ＨＲＴＦに対してｎ個の乗加算（ＭＡ）演算（例えば４００回）を必要とする。つまり、各バイノーラル出力は、ｎｘ２Ｍ個のＭＡ演算を必要とする。例えば、典型的なバイノーラルレンダリングシステムでは、ｎ＝４００が使用され得る。本開示に記載されたＩＩＲ手法は、ｍ次の再帰構造を使用する（ｍは典型的には例えば１２−２５（１５等）の範囲）。

ＩＩＲの計算負荷をＦＩＲの計算負荷と比較するためには、分子および分母を考慮しなければならないことが理解されるべきである。各次数がｍの２Ｍ個のＳＩＳＯ ＩＩＲに対しては、ほぼ２ｍ×２Ｍ個のＭＡ（つまり１つ乗算が少ない）である。ＭＩＭＯ構造に対しては、［（ｍ−１）ｘ２Ｍ＋２ｍ］ＭＡであり、ただし｛＋２ｍ｝は共通の再帰部分である。ＭＩＭＯにおけるｍはＳＩＳＯにおけるｍより当然大きい。

従来の手法と異なり、本開示の方法およびシステムにおいては、例えば全ての左耳のＨＲＴＦに共通な再帰部（それぞれの右耳のＨＲＴＦ）、または全ての同側の耳のＨＲＴＦ等他の構造上の構成に共通な再帰部（それぞれの反対側の耳のＨＲＴＦ）が存在する。

本開示の方法およびシステムは、アンビソニックオーディオシステムにおけるバイノーラルオーディオのレンダリングにとって、特に重要になり得る。これは、アンビソニックスは、仮想アレイにおける全てのスピーカを作動させるように、空間オーディオを配信するからである。したがって、Ｍが増加するにつれて、本技術の使用を通じた計算工程の節約は、より重要になる。

Ｍチャンネルから２チャンネルへの最終的なバイノーラルレンダリングは、従来はｍ個の個別の１対２エンコーダを使用して行われる。ただし、各エンコーダは、左右の耳の頭部伝達関数（ＨＲＴＦ）のペアである。したがって、システム記述は以下のＨＲＴＦ演算子である。
Ｙ（ｚ）＝Ｇ（ｚ）Ｘ（ｚ）
ここで、Ｇ（ｚ）は以下の行列で与えられる。

ＦＩＲフィルタによって、各サブシステムは、以下の形式を有する。

（非最小位相

の場合、首位ｋ^ｉｊ係数はゼロに等しい）
本開示の１つまたは複数の実施形態によれば、Ｇ（ｚ）は、ｎ次のＭＩＭＯ状態空間システム

によって近似されてよい。これにより、図７に図示される例示的なＭＩＭＯバイノーラルレンダラ（例えばミキサ）システムが与えられる（１つ以上の実施形態によれば、３Ｄオーディオに使用されてよい。）
図７においては、ＩＴＤユニットサブシステムは、遅延線のペアのセットであり、入力チャンネル毎に、１つのペアのみが遅延となり、他は一致する。したがって、ｚ領域において、以下のような入力／出力表現が存在する。

各ペア（_１ｋ，_２ｋ）は（，）形式を有し、左耳が音源と同側である場合、＝０であり、β＞０がＩＴＤ遅延であり、右耳が音源と同側である場合、反対に＝０であり、α＞０がＩＴＤ遅延である。

平衡低減方法を使用してｎ次に低減された、Ｍ入力から２出力のＭＩＭＯシステム

は、ＨＲＴＦセットを取得するために使用されてよい。そのＨＲＴＦセットは、以下のように記述され得る。

ここで、「．」はアダマール積を表す。この伝達関数行列は、各サブシステムが今度は同じ分母を有するため、上記のＧ（ｚ）とは異なるこのサブシステムは、仮想スピーカｊから左右の耳［ｉ＝１≡ｌｅｆｔ ｉ＝２≡ｒｉｇｈｔ］に対するＨＲＴＦのＩＩＲ形式であり、以下の形式を有する。

したがって、元のＮ点ＦＩＲ ＨＲＴＦを取得してそれらをｎ次｛例えばｎ＝Ｎ／１０｝で近似するために、（上記のような）ＭＩＭＯ手法への平衡低減が使用される場合は、バイノーラルレンダリングが図８に図示されるシステムとして実装されてよい。

１つ以上の実施形態によれば、図８に示される最終的なＩＩＲ部分は、空間効果フィルタリングと組み合わされてよいことに留意すべきである。
加えて、共通ＩＩＲ部分を持つカスケードにおける個々の角度依存ＦＩＲ部分へのこの因数分解が、実験的な研究結果と一致することが留意される。そのような実験は、ＨＲＩＲが近似の因数分解にいかに適しているかを示した。

図９は、本明細書に記載された１つまたは複数の実施形態による、（例えば２Ｍ個の）フィルタ関数を実装するために必要な算術演算の数を低減することでバイノーラルレンダリングを行うために配置された例示的なコンピューティング装置（９００）のハイレベルブロック図である。ごく基本的な構成（９０１）においては、コンピューティング装置（９００）は、典型的には１つまたは複数のプロセッサ（９１０）およびシステムメモリ（９２０）を含む。メモリバス（９３０）は、プロセッサ（９１０）とシステムメモリ（９２０）との間の通信に使用されてよい。

所望の構成によって、プロセッサ（９１０）は任意の種類でよく、マイクロプロセッサ（μＰ）、マイクロコントローラ（μＣ）、デジタルシグナルプロセッサ（ＤＳＰ）等、またはそれらの任意の組み合わせを含むがそれに限定されない。プロセッサ（９１０）は、レベル１キャッシュ（９１１）およびレベル２キャッシュ（９１２）等の１つまたは複数のレベルのキャッシングと、プロセッサコア（９１３）と、レジスタ（９１４）とを含んでよい。プロセッサコア（９１３）は、演算論理ユニット（ＡＬＵ）、浮動小数点ユニット（ＦＰＵ）、デジタル信号処理コア（ＤＳＰ Ｃｏｒｅ）等、またはそれらの任意の組み合わせを含んでよい。メモリコントローラ（９１５）は、プロセッサ（９１０）と共に使用されてよい。またはいくつかの実装では、メモリコントローラ（９１５）は、プロセッサ（９１０）の内部にあってよい。

所望の構成によって、システムメモリ（９２０）は任意の種類でよく、揮発性メモリ（ＲＡＭ等）、不揮発性メモリ（ＲＯＭ、フラッシュメモリ等）、またはそれらの任意の組み合わせを含むがそれに限定されない。システムメモリ（９２０）は、典型的にはオペレーティングシステム（９２１）と、１つまたは複数のアプリケーション（９２２）と、プログラムデータ（９２４）とを含む。アプリケーション（９２２）は、バイノーラルレンダリングのためのシステム（９２３）を含んでよい。本開示の１つ以上の実施形態によれば、バイノーラルレンダリングのためのシステム（９２３）は、バイノーラルレンダリング処理の計算量を低減するよう設計される。例えば、バイノーラルレンダリングのためのシステム（９２３）は、上記２Ｍ個のフィルタ関数を実装するために必要な算術演算の数を低減することが可能である。

プログラムデータ（９２４）は、１つまたは複数の演算装置に実行されると、システム（９２３）およびバイノーラルレンダリングの方法を実装する、記憶された命令を含んでよい。加えて、１つ以上の実施形態によれば、プログラムデータ（９２４）は、例えば、１つまたは複数の仮想スピーカからのマルチチャンネルオーディオ信号データに関連してよいオーディオデータ（９２５）を含んでよい。少なくともいくつかの実施形態によれば、アプリケーション（９２２）は、オペレーティングシステム（９２１）上でプログラムデータ（９２４）と動作するよう構成されてよい。

コンピューティング装置（９００）は、追加の特徴または機能と、基本構成（９０１）と任意の必要な装置およびインターフェースとの間の通信を行う追加のインターフェースとを有してよい。

システムメモリ（９２０）はコンピュータストレージメディアの一例である。コンピュータストレージメディアは、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、もしくは他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）、もしくは他の光学記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置、もしくは他の磁気記憶装置、または所望の情報を記憶するために使用可能およびコンピューティング装置（９００）によりアクセス可能な任意の他の媒体を含むがそれに限定されない。任意のそのようなコンピュータ記憶媒体は、コンピューティング装置（９００）の一部でよい。

コンピューティング装置（９００）は、携帯電話、スマートフォン、携帯情報端末（ＰＤＡ）、パーソナルメディアプレイヤー装置、タブレットコンピュータ（タブレット）、無線ウェブ閲覧装置、パーソナルヘッドセット装置、特定用途向け装置、または上記の機能のいずれかを含むハイブリッド装置等のスモール・フォーム・ファクター・ポータブル（またはモバイル）電子装置の一部として実装されてよい。加えて、コンピューティング装置（９００）はまた、ラップトップコンピュータ構成および非ラップトップコンピュータ構成の両方、１つまたは複数のサーバ、モノのインターネットシステム等を含むパーソナルコンピュータとして実装されてもよい。

図１８は、バイノーラルレンダリングを実行する例示的方法１８００を説明する。方法１８００は、図９に関連して記載されたソフトウェア構成により実行されてよい。ソフトウェア構成は、コンピューティング装置９００のメモリ９２０に常駐し、プロセッサ９１０により実行される。

１８０２において、コンピューティング装置９００は、複数の仮想スピーカのうちの１つの仮想スピーカと人間のリスナーの耳とに関連した複数のＨＲＩＲの各々を取得する。複数のＨＲＩＲの各々は、その仮想スピーカにより生成されるオーディオインパルスに応じて決定される、左または右耳における特定のサンプリングレートで生成される音場のサンプルを含む。

１８０４において、コンピューティング装置９００は、複数のＨＲＩＲの各々の第１状態空間表現を生成する。第１状態空間表現は、行列、列ベクトル、および行ベクトルを含む。第１状態空間表現の行列、列ベクトル、および行ベクトルの各々は、第１サイズを有する。

１８０６において、コンピューティング装置９００は、状態空間削減演算を実行することで、複数のＨＲＩＲの各々の第２状態空間表現を生成する。第２空間表現は、行列、列ベクトル、および行ベクトルを含む。第２状態空間表現の行列、列ベクトル、および行ベクトルの各々は、第１サイズよりも小さい第２サイズを有する。

１８０８において、コンピューティング装置９００は、第２状態表現に基づいて複数の頭部伝達関数（ＨＲＴＦ）を生成する。複数のＨＲＴＦの各々は、複数のＨＲＩＲのそれぞれのＨＲＩＲに対応する。それぞれのＨＲＩＲに対応するＨＲＴＦは、それぞれのＨＲＩＲが関連する仮想スピーカにより生成される周波数領域音場が乗算されると、人間のリスナーの耳にレンダリングされる音場の成分を生成する。

前述の詳細な記載は、ブロック図、フローチャート、および／または実施例の使用を通じて装置および／または処理の様々な実施形態を説明してきた。そのようなブロック図、フローチャート、および／または実施例が１つまたは複数の機能および／または演算を含む限り、広い範囲のハードウェア、ソフトウェア、ファームウェア、または仮想的にそれらの任意の組み合わせによって、そのようなブロック図、フローチャート、または実施例内の各機能および／または演算は、個別および／または集合的に、実装可能であることが当業者に理解されるであろう。１つ以上の実施形態によれば、本明細書に記載された本主題の複数の部分は、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、デジタル信号処理装置（ＤＳＰ）、または他の集積形式を介して実装されてよい。しかしながら、当業者は、本明細書に開示された実施形態のいくつかの態様は、全体的にまたは部分的に、１つまたは複数のコンピュータ上で動作する１つまたは複数のコンピュータプログラムとして、１つまたは複数のプロセッサ上で動作する１つまたは複数のプログラムとしてファームウェアとして、または仮想的にそれらの任意の組み合わせとして集積回路において同等に実装可能であること、また回路の設計および／またはソフトウェアおよび／またはファームウェアに対するコードの記述は、本開示に照らして、十分に当業者の能力の範囲内であることを認識するであろう。

加えて、当業者は、本明細書に記載された本主題の機構は、プログラム製品として様々な形式で配布可能であること、また本明細書に記載された本主題の例示の実施形態は、配布を実際に行うために使用される非一時的な信号保持媒体の特定の型式に関わらずに、適用されることを理解するであろう。非一時的な信号保持媒体の例は、例えばフロッピー（登録商標）ディスク、ハードディスクドライブ、コンパクトディスク（ＣＤ）、デジタルビデオディスク（ＤＶＤ）、デジタルテープ、コンピュータメモリ等の記録可能型媒体と、デジタルおよび／またはアナログ通信媒体（例えば、光ファイバーケーブル、導波管、有線通信リンク、無線通信リンク等）等の透過型媒体とを含むがそれに限定されない。

本明細書の実質的にいかなる複数形および／または単数形の用語の使用に関しても、当業者は、文脈および／または適用に適切なように、複数形から単数形に、および／または単数形から複数形に解釈してよい。様々な単数／複数の順番が、本明細書において、明確性のために明示的に述べられてよい。

このように、本主題の特定の実施形態が記載されてきた。他の実施形態は、以下の請求項の範囲内である。いくつかの場合では、請求項に記載された動作は異なる順番で実行されてよく、それでも所望の結果を達成する。加えて、添付の図面に記載された処理は、所望の結果を達成するにあたり、示された特定の順、および順番を必ずしも必要としない。ある実装では、マルチタスキングおよび平行処理は有利であり得る。

Claims (20)

1. 人間のリスナーの左耳および右耳に音場をレンダリングする方法であって、前記音場は、複数の仮想スピーカによって生成され、前記方法は、
   前記人間のリスナーの頭の前記左耳および前記右耳に前記音場をレンダリングするよう構成されたサウンドレンダリングコンピュータの処理回路が、複数の頭部インパルス応答（ＨＲＩＲ）を取得する工程であって、前記複数のＨＲＩＲの各々は、前記複数の仮想スピーカのうちの１つの仮想スピーカと前記人間のリスナーの一方の耳とに関連付けられており、前記複数のＨＲＩＲの各々は、前記１つの仮想スピーカにより生成されるオーディオインパルスに応じて生成される、特定のサンプリングレートで生成される左耳または右耳における音場のサンプルを含む工程と、
   前記複数のＨＲＩＲの各々の第１状態空間表現を生成する工程であって、前記第１状態空間表現は、行列、列ベクトル、および行ベクトルを含み、前記第１状態空間表現の前記行列、前記列ベクトル、および前記行ベクトルの各々は、第１サイズを有する工程と、
   状態空間削減演算を実行することで、前記複数のＨＲＩＲの各々の第２状態空間表現を生成する工程であって、前記第２空間表現は、行列、列ベクトル、および行ベクトルを含み、前記第２状態空間表現の前記行列、前記列ベクトル、および前記行ベクトルの各々は、第１サイズよりも小さい第２サイズを有する、状態空間削減演算実行工程と、
   前記第２状態表現に基づいて複数の頭部伝達関数（ＨＲＴＦ）を生成する工程であって、前記複数のＨＲＴＦの各々は、前記複数のＨＲＩＲのそれぞれのＨＲＩＲに対応しており、それぞれのＨＲＩＲに対応しているＨＲＴＦは、該ＨＲＩＲが関連付けられている前記仮想スピーカにより生成される周波数領域音場が乗算されると、前記人間のリスナーの一方の耳にレンダリングされる音場の成分を生成する工程と、を備える方法。
2. 前記状態空間削減演算実行工程は、前記複数のＨＲＩＲの各ＨＲＩＲに対して、
   該ＨＲＩＲの前記第１状態空間表現に基づき、それぞれのグラム行列を生成する工程であって、前記グラム行列は、大きさ順に並べられた複数の固有値を有する工程と、
   前記グラム行列および前記複数の固有値に基づき、該ＨＲＩＲの前記第２状態空間表現を生成する工程であって、前記第２サイズは、前記複数の固有値のうち、特定の閾値を超える固有値の数に等しい、工程と、を含む請求項１に記載の方法。
3. 前記複数のＨＲＩＲの各ＨＲＩＲの前記第２状態空間表現を生成する工程は、該ＨＲＩＲの前記第１状態空間表現に基づく前記グラム行列に適用された場合に対角行列を生成する変換行列を形成する工程であって、前記対角行列の各対角要素は、前記複数の固有値のそれぞれの固有値に等しい工程を含む請求項２に記載の方法。
4. 前記複数のＨＲＩＲの各々に対して、
   該ＨＲＩＲのケプストラムを生成する工程であって、前記ケプストラムは、正の時間に取得された因果的サンプルおよび負の時間に取得された非因果的サンプルを有する工程と、
   前記ケプストラムの前記非因果的サンプルの各々に対して、負の時間に取得された該非因果的サンプルを、該負の時間の反対の時間に取得された前記ケプストラムの因果的サンプルに加算することで、位相最小化演算を実行する工程と、
   前記ケプストラムの前記非因果的サンプルの各々に対する前記位相最小化演算の実行後に、前記ケプストラムの前記非因果的サンプルの各々をゼロに設定することで、最小位相ＨＲＩＲを生成する工程と、をさらに備える請求項１に記載の方法。
5. ＭＩＭＯ（ｍｕｌｔｉｐｌｅ ｉｎｐｕｔ， ｍｕｌｔｉｐｌｅ ｏｕｔｐｕｔ）状態空間表現を生成する工程であって、前記ＭＩＭＯ状態空間表現は、合成行列、列ベクトル行列、および行ベクトル行列を含み、前記ＭＩＭＯ状態空間表現の前記合成行列は、前記複数のＨＲＩＲの各々の第１表現の前記行列を含み、前記ＭＩＭＯ状態空間表現の前記列ベクトル行列は、前記複数のＨＲＩＲの各々の第１表現の前記列ベクトルを含み、前記ＭＩＭＯ状態空間表現の前記行ベクトル行列は、前記複数のＨＲＩＲの各々の第１表現の前記行ベクトルを含む、ＭＩＭＯ状態空間表現生成工程と、をさらに備え、
   前記状態空間削減演算実行工程は、削減合成行列、削減列ベクトル行列、および削減行ベクトル行列を生成する工程であって、前記削減合成行列、削減列ベクトル行列、および削減行ベクトル行列の各々は、前記合成行列、前記列ベクトル行列、および前記行ベクトル行列のサイズよりそれぞれ小さいサイズを有する工程を含む請求項１に記載の方法。
6. 前記ＭＩＭＯ状態空間表現生成工程は、
   前記ＭＩＭＯ状態空間表現の前記合成行列として第１ブロック行列を形成する工程であって、前記第１ブロック行列は、前記複数の仮想スピーカのうちの１つの仮想スピーカに関連付けられているＨＲＩＲの前記第１状態空間表現の行列を、前記第１ブロック行列の対角要素として有し、同様の仮想スピーカに関連付けられているＨＲＩＲの前記第１状態空間表現の行列は、前記第１ブロック行列の隣接する対角要素に存在する工程と、
   前記ＭＩＭＯ状態空間表現の前記列ベクトル行列として第２ブロック行列を形成する工程であって、前記第２ブロック行列は、前記複数の仮想スピーカのうちの１つの仮想スピーカに関連付けられているＨＲＩＲの前記第１状態空間表現の列ベクトルを、前記第２ブロック行列の対角要素として有し、同様の仮想スピーカに関連付けられているＨＲＩＲの前記第１状態空間表現の列ベクトルは、前記第２ブロック行列の隣接する対角要素に存在する工程と、
   前記ＭＩＭＯ状態空間表現の前記行ベクトル行列として第３ブロック行列を形成する工程であって、前記第３ブロック行列は、前記複数の仮想スピーカのうちの１つの仮想スピーカに関連付けられているＨＲＩＲの前記第１状態空間表現の行ベクトルを、前記第３ブロック行列の要素として有し、前記左耳における音をレンダリングするＨＲＩＲの前記第１状態空間表現の行ベクトルは、前記第３ブロック行列の第１行の奇数番目の要素に存在しており、前記右耳における音をレンダリングするＨＲＩＲの前記第１状態空間表現の行ベクトルは、前記第３ブロック行列の第２行の偶数番目の要素に存在している工程と、を含む請求項５に記載の方法。
7. 前記ＭＩＭＯ状態空間表現生成工程の前に、前記複数のＨＲＩＲの各ＨＲＩＲに対して、ＳＩＳＯ（ｓｉｎｇｌｅ ｉｎｐｕｔ ｓｉｎｇｌｅ ｏｕｔｐｕｔ）状態空間削減演算を実行することで、該ＨＲＩＲの前記第１状態空間表現として、該ＨＲＩＲのＳＩＳＯ状態空間表現を生成する工程をさらに備える請求項５に記載の方法。
8. 前記複数の仮想スピーカの各々に対して、該仮想スピーカに関連付けられている前記複数のＨＲＩＲに左ＨＲＩＲおよび右ＨＲＩＲが存在しており、前記左ＨＲＩＲは、該仮想スピーカにより生成される前記周波数領域音場が乗算されると、前記人間のリスナーの前記左耳にレンダリングされる前記音場の前記成分を生成し、前記右ＨＲＩＲは、該仮想スピーカにより生成される前記周波数領域音場が乗算されると、前記人間のリスナーの前記右耳にレンダリングされる前記音場の前記成分を生成し、
   前記複数の仮想スピーカの各々に対して、該仮想スピーカに関連付けられている前記左ＨＲＩＲと該仮想スピーカに関連付けられている前記右ＨＲＩＲとの間の両耳間時間差（ＩＴＤ）が存在しており、前記ＩＴＤは、ゼロ値を有する前記左ＨＲＩＲの前記音場の初期サンプルの数と、ゼロ値を有する前記右ＨＲＩＲの前記音場の初期サンプルの数との間の差により、前記左ＨＲＩＲおよび前記右ＨＲＩＲにおいて顕著になる請求項１に記載の方法。
9. 前記複数の仮想スピーカの各々に関連付けられている左ＨＲＩＲと右ＨＲＩＲとの間の前記ＩＴＤに基づいてＩＴＤユニットサブシステム行列を生成する工程と、
   前記複数のＨＲＴＦに前記ＩＴＤユニットサブシステム行列を乗算することで、複数の遅延ＨＲＴＦを生成する工程と、をさらに備える請求項８に記載の方法。
10. 前記複数のＨＲＴＦの各々は、有限インパルスフィルタ（ＦＩＲ）で表され、
    前記方法は、前記複数のＨＲＴＦの各々に対して変換演算を実行することで、別の複数のＨＲＴＦを生成する工程であって、前記別の複数のＨＲＴＦの各々が無限インパルス応答フィルタ（ＩＩＲ）で表される工程をさらに備える請求項１に記載の方法。
11. 非一時的な記憶媒体を備えるコンピュータプログラム製品であって、前記コンピュータプログラム製品は、人間のリスナーの左耳および右耳に音場をレンダリングするよう構成されたサウンドレンダリングコンピュータの処理回路により実行された場合、前記処理回路に方法を実行させるコードを含み、前記方法は、
    複数の頭部インパルス応答（ＨＲＩＲ）を取得する工程であって、前記複数のＨＲＩＲの各々は、複数の仮想スピーカのうちの１つの仮想スピーカと前記人間のリスナーの一方の耳とに関連付けられており、前記複数のＨＲＩＲの各々は、前記１つの仮想スピーカにより生成されるオーディオインパルスに応じて生成される、特定のサンプリングレートで生成される左耳または右耳における音場のサンプルを含む工程と、
    前記複数のＨＲＩＲの各々の第１状態空間表現を生成する工程であって、前記第１状態空間表現は、行列、列ベクトル、および行ベクトルを含み、前記第１状態空間表現の前記行列、前記列ベクトル、および前記行ベクトルの各々は、第１サイズを有する工程と、
    状態空間削減演算を実行することで、前記複数のＨＲＩＲの各々の第２状態空間表現を生成する工程であって、前記第２空間表現は、行列、列ベクトル、および行ベクトルを含み、前記第２状態空間表現の前記行列、前記列ベクトル、および前記行ベクトルの各々は、第１サイズよりも小さい第２サイズを有する、状態空間削減演算実行工程と、
    前記第２状態表現に基づいて複数の頭部伝達関数（ＨＲＴＦ）を生成する工程であって、前記複数のＨＲＴＦの各々は、前記複数のＨＲＩＲのそれぞれのＨＲＩＲに対応しており、それぞれのＨＲＩＲに対応しているＨＲＴＦは、該ＨＲＩＲが関連付けられている前記仮想スピーカにより生成される周波数領域音場が乗算されると、前記人間のリスナーの一方の耳にレンダリングされる音場の成分を生成する工程と、を備えるコンピュータプログラム製品。
12. 前記状態空間削減演算実行工程は、前記複数のＨＲＩＲの各ＨＲＩＲに対して、
    該ＨＲＩＲの前記第１状態空間表現に基づき、それぞれのグラム行列を生成する工程であって、前記グラム行列は、大きさ順に並べられた複数の固有値を有する工程と、
    前記グラム行列および前記複数の固有値に基づき、該ＨＲＩＲの前記第２状態空間表現を生成する工程であって、前記第２サイズは、前記複数の固有値のうち、特定の閾値を超える固有値の数に等しい、工程と、を含む請求項１１に記載のコンピュータプログラム製品。
13. 前記複数のＨＲＩＲの各ＨＲＩＲの前記第２状態空間表現を生成する工程は、該ＨＲＩＲの前記第１状態空間表現に基づく前記グラム行列に適用された場合に対角行列を生成する変換行列を形成する工程であって、前記対角行列の各対角要素は、前記複数の固有値のそれぞれの固有値に等しい工程を含む請求項１２に記載のコンピュータプログラム製品。
14. 前記方法は、前記複数のＨＲＩＲの各々に対して、
    該ＨＲＩＲのケプストラムを生成する工程であって、前記ケプストラムは、正の時間に取得された因果的サンプルおよび負の時間に取得された非因果的サンプルを有する工程と、
    前記ケプストラムの前記非因果的サンプルの各々に対して、負の時間に取得された該非因果的サンプルを、該負の時間の反対の時間に取得された前記ケプストラムの因果的サンプルに加算することで、位相最小化演算を実行する工程と、
    前記ケプストラムの前記非因果的サンプルの各々に対する前記位相最小化演算の実行後に、前記ケプストラムの前記非因果的サンプルの各々をゼロに設定することで、最小位相ＨＲＩＲを生成する工程と、をさらに備える請求項１１に記載のコンピュータプログラム製品。
15. 前記方法は、ＭＩＭＯ（ｍｕｌｔｉｐｌｅ ｉｎｐｕｔ， ｍｕｌｔｉｐｌｅ ｏｕｔｐｕｔ）状態空間表現を生成する工程であって、前記ＭＩＭＯ状態空間表現は、合成行列、列ベクトル行列、および行ベクトル行列を含み、前記ＭＩＭＯ状態空間表現の前記合成行列は、前記複数のＨＲＩＲの各々の第１表現の前記行列を含み、前記ＭＩＭＯ状態空間表現の前記列ベクトル行列は、前記複数のＨＲＩＲの各々の第１表現の前記列ベクトルを含み、前記ＭＩＭＯ状態空間表現の前記行ベクトル行列は、前記複数のＨＲＩＲの各々の第１表現の前記行ベクトルを含む、ＭＩＭＯ状態空間表現生成工程と、をさらに備え、
    前記状態空間削減演算実行工程は、削減合成行列、削減列ベクトル行列、および削減行ベクトル行列を生成する工程であって、前記削減合成行列、削減列ベクトル行列、および削減行ベクトル行列の各々は、前記合成行列、前記列ベクトル行列、および前記行ベクトル行列のサイズよりそれぞれ小さいサイズを有する工程を含む請求項１に記載のコンピュータプログラム製品。
16. 前記ＭＩＭＯ状態空間表現生成工程は、
    前記ＭＩＭＯ状態空間表現の前記合成行列として第１ブロック行列を形成する工程であって、前記第１ブロック行列は、前記複数の仮想スピーカのうちの１つの仮想スピーカに関連付けられているＨＲＩＲの前記第１状態空間表現の行列を、前記第１ブロック行列の対角要素として有し、同様の仮想スピーカに関連付けられているＨＲＩＲの前記第１状態空間表現の行列は、前記第１ブロック行列の隣接する対角要素に存在する工程と、
    前記ＭＩＭＯ状態空間表現の前記列ベクトル行列として第２ブロック行列を形成する工程であって、前記第２ブロック行列は、前記複数の仮想スピーカのうちの１つの仮想スピーカに関連付けられているＨＲＩＲの前記第１状態空間表現の列ベクトルを、前記第２ブロック行列の対角要素として有し、同様の仮想スピーカに関連付けられているＨＲＩＲの前記第１状態空間表現の列ベクトルは、前記第２ブロック行列の隣接する対角要素に存在する工程と、
    前記ＭＩＭＯ状態空間表現の前記行ベクトル行列として第３ブロック行列を形成する工程であって、前記第３ブロック行列は、前記複数の仮想スピーカのうちの１つの仮想スピーカに関連付けられているＨＲＩＲの前記第１状態空間表現の行ベクトルを、前記第３ブロック行列の要素として有し、前記左耳における音をレンダリングするＨＲＩＲの前記第１状態空間表現の行ベクトルは、前記第３ブロック行列の第１行の奇数番目の要素に存在しており、前記右耳における音をレンダリングするＨＲＩＲの前記第１状態空間表現の行ベクトルは、前記第３ブロック行列の第２行の偶数番目の要素に存在している工程と、を含む請求項１５に記載のコンピュータプログラム製品。
17. 前記複数の仮想スピーカの各々に対して、該仮想スピーカに関連付けられている前記複数のＨＲＩＲに左ＨＲＩＲおよび右ＨＲＩＲが存在しており、前記左ＨＲＩＲは、該仮想スピーカにより生成される前記周波数領域音場が乗算されると、前記人間のリスナーの前記左耳にレンダリングされる前記音場の前記成分を生成し、前記右ＨＲＩＲは、該仮想スピーカにより生成される前記周波数領域音場が乗算されると、前記人間のリスナーの前記右耳にレンダリングされる前記音場の前記成分を生成し、
    前記複数の仮想スピーカの各々に対して、該仮想スピーカに関連付けられている前記左ＨＲＩＲと該仮想スピーカに関連付けられている前記右ＨＲＩＲとの間の両耳間時間差（ＩＴＤ）が存在しており、前記ＩＴＤは、ゼロ値を有する前記左ＨＲＩＲの前記音場の初期サンプルの数と、ゼロ値を有する前記右ＨＲＩＲの前記音場の初期サンプルの数との間の差により、前記左ＨＲＩＲおよび前記右ＨＲＩＲにおいて顕著になる請求項１１に記載のコンピュータプログラム製品。
18. 前記方法は、
    前記複数の仮想スピーカの各々に関連付けられている左ＨＲＩＲと右ＨＲＩＲとの間の前記ＩＴＤに基づいてＩＴＤユニットサブシステム行列を生成する工程と、
    前記複数のＨＲＴＦに前記ＩＴＤユニットサブシステム行列を乗算することで、複数の遅延ＨＲＴＦを生成する工程と、をさらに備える請求項１７に記載のコンピュータプログラム製品。
19. 前記複数のＨＲＴＦの各々は、有限インパルスフィルタ（ＦＩＲ）で表され、
    前記方法は、前記複数のＨＲＴＦの各々に対して変換演算を実行することで、別の複数のＨＲＴＦを生成する工程であって、前記別の複数のＨＲＴＦの各々が無限インパルス応答フィルタ（ＩＩＲ）で表される工程をさらに備える請求項１１記載のコンピュータプログラム製品。
20. 人間のリスナーの左耳および右耳に音場をレンダリングするよう構成された電子装置であって、前記電子装置は、
    メモリと、
    メモリに接続された制御回路と、を備え、前記制御回路は、
    複数の頭部インパルス応答（ＨＲＩＲ）を取得する工程であって、前記複数のＨＲＩＲの各々は、複数の仮想スピーカのうちの１つの仮想スピーカと前記人間のリスナーの一方の耳とに関連付けられており、前記複数のＨＲＩＲの各々は、前記１つの仮想スピーカにより生成されるオーディオインパルスに応じて生成される、特定のサンプリングレートで生成される左耳または右耳における音場のサンプルを含む工程と、
    前記複数のＨＲＩＲの各々の第１状態空間表現を生成する工程であって、前記第１状態空間表現は、行列、列ベクトル、および行ベクトルを含み、前記第１状態空間表現の前記行列、前記列ベクトル、および前記行ベクトルの各々は、第１サイズを有する工程と、
    状態空間削減演算を実行することで、前記複数のＨＲＩＲの各々の第２状態空間表現を生成する工程であって、前記第２空間表現は、行列、列ベクトル、および行ベクトルを含み、前記第２状態空間表現の前記行列、前記列ベクトル、および前記行ベクトルの各々は、第１サイズよりも小さい第２サイズを有する工程と、
    前記第２状態表現に基づいて複数の頭部伝達関数（ＨＲＴＦ）を生成する工程であって、前記複数のＨＲＴＦの各々は、前記複数のＨＲＩＲのそれぞれのＨＲＩＲに対応しており、それぞれのＨＲＩＲに対応しているＨＲＴＦは、該ＨＲＩＲが関連付けられている前記仮想スピーカにより生成される周波数領域音場が乗算されると、前記人間のリスナーの一方の耳にレンダリングされる音場の成分を生成する工程と、を実行するよう構成される電子装置。