JP2009526467A - オブジェクトベースオーディオ信号の符号化及び復号化方法とその装置 - Google Patents

Abstract

【課題】オブジェクトベースオーディオ信号の符号化及び復号化方法とその装置を提供する。
【解決手段】このオーディオ信号復号化方法は、入力オーディオ信号からオブジェクトベースダウンミックス信号とオブジェクトベースパラメータ情報とを抽出し、オブジェクトベースダウンミックス信号とオブジェクトベースパラメータ情報とを用いてオブジェクトオーディオ信号を生成する。そして、インデックスデータに対応して３Ｄ情報をオブジェクトオーディオ信号に適用して３Ｄ効果の適用されたオブジェクトオーディオ信号を生成する。これにより、オブジェクトオーディオ信号別に音像を定位でき、オブジェクトオーディオ信号の再生の際により精巧な現実感を提供することができる。

Description

本発明は、オーディオ信号の符号化及び復号化方法とその装置に関し、より詳細には、オブジェクトオーディオ信号別に音像を所望の空間位置に定位させることができるように符号化及び復号化するオーディオ信号の符号化及び復号化方法とその装置に関する。

一般に、オブジェクトベースオーディオ符号化方法において、オブジェクトエンコーダは、複数のオブジェクトオーディオ信号をダウンミックスすることによってダウンミックス信号を生成し、オブジェクトオーディオ信号から抽出した複数の情報を含むパラメータ情報を生成する。典型的なオブジェクトベースオーディオ復号化方法において、オブジェクトデコーダは、受信したダウンミックス信号をオブジェクトベースパラメータ情報を用いて復号化することによって複数のオブジェクトオーディオ信号を復元し、レンダラーは、復元されたオブジェクト信号の位置を指定するのに必要な制御データに基づいて、オブジェクトオーディオ信号を２チャンネル信号又はマルチチャンネル信号に合成する。

しかしながら、制御データは単なるレベル間情報であり、レベル情報を用いて単なる音像正位を行うことによって３Ｄ効果を具現するのに限界があった。

したがって、本発明の目的は、オブジェクトオーディオ信号別に音像を所望の空間位置に定位できるようにオーディオ信号を符号化及び復号化するオーディオ信号符号化及び復号化方法とその装置を提供することにある。

上記の目的を達成するための本発明によるオーディオ信号復号化方法は、入力オーディオ信号からダウンミックス信号とオブジェクトベースパラメータ情報とを抽出する段階と、前記ダウンミックス信号と前記オブジェクトベースパラメータ情報とを用いてオブジェクトオーディオ信号を生成する段階と、３次元（３Ｄ）効果の適用されたオブジェクトオーディオ信号を、前記オブジェクトオーディオ信号に３Ｄ情報を用いて生成する段階と、を含む。

また、上記の目的を達成するための本発明によるオーディオ信号の復号化方法は、入力オーディオ信号からダウンミックス信号とオブジェクトベースパラメータ情報とを抽出する段階と、前記オブジェクトベースパラメータ情報を変換してチャンネルベースパラメータ情報を生成する段階と、前記ダウンミックス信号と前記チャンネルベースパラメータ情報とを用いてオーディオ信号を生成し、該オーディオ信号に３Ｄ情報を用いて３Ｄ効果の適用されたオーディオ信号を生成する段階と、を含む。

一方、本発明によるオーディオ信号復号化装置は、入力オーディオ信号からオブジェクトベースダウンミックス信号とオブジェクトベースパラメータ情報とを抽出するデマルチプレクサと、前記オブジェクトベースダウンミックス信号と前記オブジェクトベースパラメータ情報とを用いてオブジェクトオーディオ信号を生成するオブジェクトデコーダと、前記オブジェクトオーディオ信号に３Ｄ情報を用いて３Ｄ効果の適用されたオブジェクトオーディオ信号を生成するレンダラーと、を含む。

また、本発明によるオーディオ信号復号化装置は、入力オーディオ信号からダウンミックス信号とオブジェクトベースパラメータ情報とを抽出するデマルチプレクサと、インデックスデータを用いて３Ｄ情報を引き出すとともに前記３Ｄ情報を出力するレンダラーと、前記オブジェクトベースパラメータ情報をチャンネルベースパラメータ情報に変換し、前記３Ｄ情報をチャンネルベース３Ｄ情報に変換し、これらをそれぞれ出力するトランスコーダと、前記ダウンミックス信号と前記チャンネルベースパラメータ情報とを用いてオーディオ信号を生成し、該オーディオ信号に前記チャンネルベース３Ｄ情報を用いて３Ｄ効果の適用されたオーディオ信号を生成するマルチチャンネルデコーダと、を含む。

本発明によれば、入力オーディオ信号からダウンミックス信号とオブジェクトベースパラメータ情報を抽出するデマルチプレクサと、入力インデックスデータを用いて３Ｄ情報を引き出すとともに３Ｄ情報を出力するレンダラーと、前記オブジェクトベースパラメータ情報をチャンネルベースパラメータ情報に変換し、前記３Ｄ情報をチャンネルベース３Ｄ情報に変換し、これらをそれぞれ出力するトランスコーダと、前記ダウンミックス信号と前記チャンネルベースパラメータ情報とを用いてオーディオ信号を生成し、前記オーディオ信号に前記チャンネルベース３Ｄ情報を用いて３Ｄ効果の適用されたオーディオ信号を生成するマルチチャンネルデコーダと、を含むオーディオ信号復号化装置が提供される。

また、上記目的を達成するための本発明によるオーディオ信号符号化方法は、オブジェクトオーディオ信号をダウンミックスすることによってダウンミックス信号を生成する段階と、前記オブジェクトオーディオ信号に関する情報を抽出し、オブジェクトベースパラメータ情報を生成する段階と、前記オブジェクトオーディオ信号に対する３Ｄ効果具現時に用いられる３Ｄ情報の検索のためのインデックスデータを、前記オブジェクトベースパラメータ情報に挿入する段階と、を含む。

前記目的を達成するために本発明では、前記方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読取り可能な記録媒体を提供する。

以上説明の如く、本発明によれば、オブジェクトベースオーディオ信号の符号化及び復号化の長所を最大限に活用しながら、各オブジェクトオーディオ信号に音像を定位できるので、オブジェクトオーディオ信号の再生時により生き生きとした現実感を提供することが可能になる。また、本発明は、ゲームプレーヤーによりネットワークを通じて操作されるゲームキャラクターの位置情報が頻繁に変化するインタラクティブゲームに有用となり、精巧な現実感を提供することができる。

以下、添付の図面を参照しつつ本発明についてより詳細に説明する。

本発明によるオーディオ信号の符号化及び復号化方法とその装置は、基本的に、オブジェクトベースオーディオ信号の符号化及び復号化過程に適用されるが、必ずしもこれに限定されるわけではなく、本発明による条件を満たす他の信号の処理過程にも適用可能である。また、本発明によるオーディオ信号の符号化及び復号化方法とその装置は、オブジェクトオーディオ信号に頭部伝達関数（ＨＲＴＦ）などの３Ｄ情報を適用するもので、これにより、それぞれのオブジェクトオーディオ信号の音像を所望の空間位置に定位させることができる。

図１は、一般的なオブジェクトベースオーディオ符号化装置を示すブロック図である。図１を参照すると、オブジェクトベースオーディオ信号符号化装置は、オブジェクトエンコーダ１１０及びビットストリーム生成部１２０を含む。

オブジェクトエンコーダ１１０は、Ｎ個のオブジェクトオーディオ信号を受信し、オブジェクトベースダウンミックス信号と、Ｎ個のオブジェクトオーディオ信号から抽出した情報が含まれるオブジェクトベースパラメータ情報と、を生成する。この時、各オブジェクトオーディオ信号から抽出した情報は、エネルギー差の値及び相関値などに基づくものである。

ビットストリーム生成部１２０は、オブジェクトエンコーダ１１０で生成したオブジェクトベースダウンミックス信号とパラメータ情報とを結合したビットストリームを生成する。ここで、ビットストリーム生成部１２０で生成したビットストリームには、復号化装置のデフォルト設定のためにデフォルトミキシングパラメータを含めることができ、デフォルトミキシングパラメータには、３Ｄ効果具現時に適用されるＨＲＴＦのような３Ｄ情報の検索に使われるインデックスデータを含めることができる。

図２は、本発明の第１実施例によるオーディオ信号復号化装置を示すブロック図である。本実施例によるオーディオ信号復号化装置は、一般的なオブジェクトベース符号化方法にＨＲＴＦベース３Ｄバイノーラル定位（ｂｉｎａｕｒａｌ ｌｏｃａｌｉｓａｔｉｏｎ）概念を加えたものである。ＨＲＴＦは、任意の位置を持つ音源から出る音波と耳の鼓膜に到達する音波間の伝達関数を意味し、前記音源の方位と高度によってその値が異なる。指向性のない信号をＨＲＴＦでフィルタリングすると、人にとってはあたかも特定方向から音が聞こえるかのよう感じられる。

図２を参照すると、本実施例によるオーディオ信号復号化装置は、デマルチプレクサ１３０、オブジェクトデコーダ１４０、レンダラー１５０、及び３Ｄ情報データベース１６０を含む。

デマルチプレクサ１３０は、入力ビットストリームからダウンミックス信号とオブジェクトベースパラメータ情報を抽出する。オブジェクトデコーダ１４０は、ダウンミックス信号とオブジェクトベースパラメータ情報とを用いてオブジェクトオーディオ信号を生成する。３Ｄ情報データベース１６０は、ＨＲＴＦなどのような３Ｄ情報を保存するデータベースであり、入力インデックスデータに対応する３Ｄ情報を検索して出力する。そして、レンダラー１５０は、オブジェクトデコーダ１４０によって生成されたオブジェクトオーディオ信号と、３Ｄ情報データベース１６０から出力された３Ｄ情報とを用いて、３Ｄ信号を生成する。

図３は、本発明の第１実施例によるオーディオ信号復号化装置の動作方法を説明するためのフローチャートである。図２及び図３を参照すると、オーディオ信号復号化装置は、符号化装置などから伝達されるビットストリームを受信すると（Ｓ１７０）、デマルチプレクサ１３０が、ビットストリームからダウンミックス信号とオブジェクトベースパラメータ情報とを抽出する（Ｓ１７２）。オブジェクトデコーダ１４０は、デマルチプレクサ１３０で抽出されたダウンミックス信号とオブジェクトベースパラメータ情報とを用いてオブジェクトオーディオ信号を生成する（Ｓ１７４）。

レンダラー１５０は、オブジェクトオーディオ信号の位置を指定するのに必要な制御データに含まれたインデックスデータを用いて３Ｄ情報データベース１６０から３Ｄ情報を引き出す（Ｓ１７６）。続いて、レンダラー１５０は、オブジェクトデコーダ１１０から出力されるオブジェクトオーディオ信号と３Ｄ情報データベース１６０から引き出した３Ｄ情報とを用いて３Ｄレンダリングを行うことによって、３Ｄ効果を奏する３Ｄベースの信号を生成する（Ｓ１７８）。

レンダラー１５０によって生成された３Ｄ信号は、３以上の指向性を持つ２チャンネルの信号とすることができ、ヘッドホンのような２チャンネルスピーカーを通じて３次元立体音響として再生できる。すなわち、レンダラー１５０によって生成された３Ｄ信号を２チャンネルのスピーカーを通じて再生すると、３Ｄダウンミックス信号は３チャンネル以上の音源から再生されるかのようにユーザーが感じることができる。音源の方向は、両耳に入ってくる音の強度差、二つの音の間の時間差、二つの音の位相差のうち少なくとも一つによって決定されるので、レンダラー１５０は、人間が聴覚で音源の３次元上の位置を把握するメカニズムを用いて３Ｄ信号を生成できる。

オーディオ信号符号化装置は、デフォルト設定のためにデフォルトミキシングパラメータ情報に３Ｄ情報引出しに必要なインデックスデータを含むことができる。この場合、レンダラー１５０は、デフォルトミキシングパラメータ情報に含まれたインデックスデータを用いて３Ｄ情報データベース１６０から３Ｄ情報を引き出すことができる。

オーディオ信号符号化装置は、オブジェクト信号に対して３Ｄ効果具現時に適用されるＨＲＴＦのような３Ｄ情報の検索に必要なインデックスデータを制御データに含むことができる。すなわち、本実施例によるオーディオ信号の符号化装置に使われる制御データに含まれるミキシングパラメータは、レベル情報の外に、３Ｄ情報の検索のためのインデックスデータをさらに含むことができる。そして、制御データに含まれるミキシングパラメータには、レベル情報とインデックスデータの外に、チャンネル間の時間差情報のような時間情報、位置情報、及びレベル情報と時間情報との組合せとすることができる。

複数のオブジェクトオーディオ信号及び複数のオブジェクトオーディオ信号の一つ以上に加えることを必要とする３Ｄ効果が存在する場合、所定のインデックス情報に対応する３Ｄ情報が、検索され、３Ｄ効果を加えるオブジェクトオーディオ信号のターゲット位置を特定する３Ｄ情報を格納する３Ｄ情報データベース１６０から引き出される。レンダラー１５０は、引き出された３Ｄ情報を用いて３Ｄレンダリング処理を行い、３Ｄ効果を奏することができる。全てのオブジェクト信号に関する３Ｄ情報を、ミキシングパラメータ情報として使用することができる。３Ｄ情報を少数のオブジェクト信号のみに適用する場合、少数のオブジェクト信号以外のオブジェクト信号に関するレベル情報及び時間情報を、ミキシングパラメータ情報として使用することができる。

図４は、本発明の第２実施例によるオーディオ信号復号化装置を示すブロック図である。本実施例では、オブジェクトデコーダの代わりにマルチチャンネルデコーダ２７０を使用する。

図４を参照すると、本実施例によるオーディオ信号復号化装置は、デマルチプレクサ２３０、トランスコーダ２４０、レンダラー２５０、３Ｄ情報データベース２６０、及びマルチチャンネルデコーダ２７０を含む。

デマルチプレクサ２３０は、入力ビットストリームからダウンミックス信号とオブジェクトベースパラメータ情報とを抽出する。レンダラー２５０は、制御データに含まれたインデックスデータに対応する３Ｄ情報を用いて、各オブジェクト信号に対して３Ｄ位置を指定する。トランスコーダ２３０は、オブジェクトベースパラメータ情報と、レンダラー２４０によって３Ｄ情報が適用された各オブジェクトオーディオ信号に対する３Ｄ位置情報とを合成し、チャンネルベースパラメータ情報を生成する。マルチチャンネルデコーダ２７０は、ダウンミックス信号とチャンネルベースパラメータ情報とを用いて、３Ｄ信号を生成する。

図５は、本発明の第２実施例によるオーディオ信号復号化装置の動作方法を説明するためのフローチャートである。図４及び図５を参照すると、オーディオ信号復号化装置がビットストリームを受信すると（Ｓ２８０）、デマルチプレクサ２３０は、受信したビットストリームからオブジェクトベースダウンミックス信号とオブジェクトベースパラメータ情報とを抽出する（Ｓ２８２）。

レンダラー２５０は、オブジェクトオーディオ信号の位置を指定するのに使用する制御データに含まれたインデックスデータを抽出し、抽出したインデックスデータを用いて３Ｄ情報データベース２６０から３Ｄ情報を引き出す（Ｓ２８４）。一次的にデフォルトミキシングパラメータにより指定されたオブジェクトオーディオ信号の位置は、ミキシング制御データを用いてオブジェクトオーディオ信号の所望の位置に対応する３Ｄ情報を指定することによって変更することができる。

トランスコーダ２３０は、オーディオ信号符号化装置によって転送されたＮ個のオブジェクト信号に関するオブジェクトベースパラメータ情報と、レンダラー２５０によりＨＲＴＦのような３Ｄ情報を用いて得られた各オブジェクト信号に関する３Ｄ位置情報とを合成し、Ｍ個チャンネルに対するチャンネルベースパラメータ情報を生成する（Ｓ２８６）。

マルチチャンネルデコーダ２７０は、デマルチプレクサ２３０から供給されるダウンミックス信号とトランスコーダ２３０から供給されるチャンネルベースパラメータ情報とを用いてオーディオ信号を生成し、チャンネルベースパラメータ情報に含まれた３Ｄ情報を用いて３Ｄレンダリングを行い、３Ｄベースのマルチチャンネル信号を生成する（Ｓ２９０）。

図６は、本発明の第３実施例によるオーディオ信号復号化装置を示すブロック図である。図６を参照すると、本実施例によるオーディオ信号の復号化装置は、トランスコーダ４４０がマルチチャンネルデコーダ４７０にチャンネルベースパラメータ情報及び３Ｄ情報を個別に転送するという点が、前述した実施例と異なる。すなわち、第２実施例によるトランスコーダのように、３Ｄ情報を含むチャンネルベースパラメータ情報を転送するのではなく、本実施例ではトランスコーダ４４０が、Ｎ個のオブジェクト信号に対するオブジェクトベースパラメータ情報を用いることによって得られたＭ個チャンネルに対するチャンネルベースパラメータ情報をマルチチャンネルデコーダ４７０に転送する。

図７に示すように、チャンネルベースパラメータ情報と３Ｄ情報は、それ自体のフレームインデックスを含む。したがって、マルチチャンネルデコーダ４７０は、チャンネルベースパラメータ情報と３Ｄ情報のフレームインデックスを用いてチャンネルベースパラメータ情報と３Ｄ情報との同期をとることによって、ビットストリームの特定フレームに３Ｄ情報を適用することができる。例えば、図７を参照すると、インデックス２に対応する３Ｄ情報を、インデックス２を持つフレーム２の始点に適用される。

３Ｄ情報が時間の経過につれて更新される場合でも、チャンネルベースパラメータ情報において３Ｄ情報をどの位置に適用する必要があるかを３Ｄ情報のフレームインデックスを参照することによって決定することができる。すなわち、マルチチャンネルデコーダ４７０がチャンネルベースパラメータ情報と３Ｄ情報とを一時的に同期をとるために、トランスコーダ４４０は、チャンネルベースパラメータ情報と３Ｄ情報にフレームインデックス情報を挿入することができる。

図８は、本発明の第４実施例によるオーディオ信号復号化装置を示すブロック図である。図８を参照すると、本実施例によるオーディオ信号復号化装置は、プリプロセッサ５４３とエフェクトプロセッサ５８０とをさらに含み、レンダラー５５０内に３Ｄ情報データベース５６０が備えられるという点が、前述した実施例と異なる。

すなわち、デマルチプレクサ５３０、トランスコーダ５４７、レンダラー５６０、３Ｄ情報データベース５６０、及びマルチチャンネルデコーダ５７０の機能及び構成は、図６に示す実施例におけると同様である。図８を参照すると、エフェクトプロセッサ５８０がダウンミックス信号に所定の効果を加えることができる。プリプロセッサ５４３は、例えばステレオダウンミックス信号に前処理過程を行うことができ、その結果、ステレオダウンミックス信号の位置を調整することができる。レンダラー５５０内に３Ｄ情報データベース５６０を含むことができる。

図９は、本発明の第５実施例によるオーディオ信号復号化装置を示すブロック図である。図９を参照すると、本実施例によるオーディオ信号復号化装置は、３Ｄ信号を生成する部分６８０がマルチチャンネルデコーダ６７０とメモリー６７５とから構成されるという点が、前述した実施例と異なる。この場合、マルチチャンネルデコーダ６７０は、マルチチャンネルデコーダ６７０の使用されていないメモリーに保存された３Ｄ情報をメモリー６７５に複写し、メモリー６７５に複写された３Ｄ情報を用いて３Ｄレンダリングを行う。したがって、トランスコーダ６４７から出力される３Ｄ情報が、メモリー６７５に保存された３Ｄ情報を直接更新するように構成すると、マルチチャネルデコーダ６７０の構成変更なしで所望の３Ｄ情報を用いて３Ｄベースの信号を生成することができる。

一方、本発明は、コンピュータが読取りできる記録媒体にコンピュータが読取りできるコードとして具現することが可能である。コンピュータが読取りできる記録媒体は、コンピュータにより読み取られうるデータが保存される全ての種類の記録装置を含む。コンピュータが読取りできる記録媒体の例には、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フレキシブルディスク、光データ記憶装置などがあり、また、インターネットを介した転送などのような搬送波の形態で具現されるものも含む。また、コンピュータが読取りできる記録媒体を、ネットワークで連結されたシステムに分散し、分散方式でコンピュータが読取りできるコードが保存し、実行することができる。本発明を実現するのに必要な機能プログラム、コード及びコードセグメントを、当業者によって容易に構成することができる。

また、以上では本発明を好適な実施例に挙げて説明してきたが、本発明は、上記した特定の実施例に限定されず、特許請求の範囲で請求する本発明の要旨を逸脱しない限度内で、当該技術分野における通常の知識を持つ者によって様々な変形実施が可能であることは勿論であり、それらの変形実施も本発明の技術的思想に含まれるものとして理解されるべきである。

本発明は、オブジェクトベースのオーディオ信号の復号化過程などに適用され、オブジェクトオーディオ信号別に音像を定位し、より精巧な現実感を提供することができる。

一般的なオブジェクトベースのオーディオ信号符号化装置を示すブロック図である。 本発明の第１実施例によるオーディオ信号復号化装置を示すブロック図である。 本発明の第１実施例によるオーディオ信号復号化装置の動作方法を説明するためのフローチャートである。 本発明の第２実施例によるオーディオ信号復号化装置を示すブロック図である。 本発明の第２実施例によるオーディオ信号復号化装置の動作方法を説明するためのフローチャートである。 本発明の第３実施例によるオーディオ信号復号化装置を示すブロック図である。 図６に示すオーディオ信号復号化装置によりフレームに３Ｄ情報を適用する例を示す図である。 本発明の第４実施例によるオーディオ信号復号化装置を示すブロック図である。 本発明の第５実施例によるオーディオ信号復号化装置を示すブロック図である。

Claims (35)

1. 入力オーディオ信号からダウンミックス信号とオブジェクトベースパラメータ情報とを抽出する段階と、
   前記ダウンミックス信号と前記オブジェクトベースパラメータ情報とを用いてオブジェクトオーディオ信号を生成する段階と、
   前記オブジェクトオーディオ信号に３Ｄ情報を用いて、３Ｄ効果の適用されたオブジェクトオーディオ信号を生成する段階と、
   を含むことを特徴とするオーディオ信号復号化方法。
2. 前記３Ｄ情報は、頭部伝達関数（ＨＲＴＦ）情報であることを特徴とする、請求項１に記載のオーディオ信号復号化方法。
3. 前記３Ｄ情報がデータベース化して保存される段階をさらに含むことを特徴とする、請求項１に記載のオーディオ信号復号化方法。
4. 前記３Ｄ情報は、前記オブジェクトオーディオ信号のレンダリングに用いられる制御データに含まれたインデックスデータに対応する情報であることを特徴とする、請求項１に記載のオーディオ信号復号化方法。
5. 前記制御データは、チャンネル間レベル情報、チャンネル間時間情報、位置情報、及び前記レベル情報と前記時間情報とを組み合わせた情報のうち、少なくとも一つを含むことを特徴とする、請求項４に記載のオーディオ信号復号化方法。
6. 前記制御データに基づいて前記オブジェクトオーディオ信号をレンダリングする段階をさらに含むことを特徴とする、請求項４に記載のオーディオ信号復号化方法。
7. 前記インデックスデータは、前記オブジェクトベースパラメータ情報に含まれたデフォルトミキシングパラメータに含まれることを特徴とする、請求項１に記載のオーディオ信号復号化方法。
8. 入力オーディオ信号からオブジェクトベースダウンミックス信号とオブジェクトベースパラメータ情報とを抽出するデマルチプレクサと、
   前記オブジェクトベースダウンミックス信号と前記オブジェクトベースパラメータ情報とを用いてオブジェクトオーディオ信号を生成するオブジェクトデコーダと、
   前記オブジェクトオーディオ信号に３Ｄ情報を用いて３Ｄ効果の適用されたオブジェクトオーディオ信号を生成するレンダラーと、
   を含むことを特徴とするオーディオ信号復号化装置。
9. 前記３Ｄ情報がデータベース化して保存される３Ｄ情報データベースをさらに含むことを特徴とする、請求項８に記載のオーディオ信号の復号化装置。
10. 前記３Ｄ情報は、頭部伝達関数（ＨＲＴＦ）情報であることを特徴とする、請求項８に記載のオーディオ信号復号化装置。
11. 前記３Ｄ情報は、前記オブジェクトオーディオ信号のレンダリングに用いられる制御データに含まれたインデックスデータに対応する情報であることを特徴とする、請求項８に記載のオーディオ信号復号化装置。
12. 前記制御データは、チャンネル間レベル情報、チャンネル間時間情報、位置情報、及び前記レベル情報と前記時間情報とを組み合わせた情報のうち、少なくとも一つを含むことを特徴とする、請求項１１に記載のオーディオ信号復号化装置。
13. 入力オーディオ信号からダウンミックス信号とオブジェクトベースパラメータ情報とを抽出する段階と、
    前記オブジェクトベースパラメータ情報を変換してチャンネルベースパラメータ情報を生成する段階と、
    前記ダウンミックス信号と前記チャンネルベースパラメータ情報とを用いてオーディオ信号を生成し、前記オーディオ信号に３Ｄ情報を用いて３Ｄ効果の適用されたオーディオ信号を生成する段階と、
    を含むことを特徴とするオーディオ信号復号化方法。
14. 前記３Ｄ情報がデータベース化して保存される段階をさらに含むことを特徴とする、請求項１３に記載のオーディオ信号の復号化方法。
15. 前記３Ｄ情報は、ＨＲＴＦ情報であることを特徴とする、請求項１３に記載のオーディオ信号復号化方法。
16. 前記３Ｄ情報は、前記オブジェクトオーディオ信号のレンダリングに用いられるミキシング制御データに含まれることを特徴とする、請求項１３に記載のオーディオ信号復号化方法。
17. 前記ミキシング制御データは、チャンネル間レベル情報、チャンネル間時間情報、位置情報及び前記レベル情報と前記時間情報とを組み合わせた情報のうち、少なくとも一つを含むことを特徴とする、請求項１６に記載のオーディオ信号復号化方法。
18. 前記制御データに基づいて前記オブジェクトオーディオ信号をレンダリングする段階をさらに含むことを特徴とする、請求項１６に記載のオーディオ信号復号化方法。
19. 前記ダウンミックス信号に予め決定された効果を加える段階をさらに含むことを特徴とする、請求項１３に記載のオーディオ信号復号化方法。
20. 入力オーディオ信号からダウンミックス信号とオブジェクトベースパラメータ情報とを抽出するデマルチプレクサと、
    インデックスデータを用いて３Ｄ情報を引き出すとともに前記３Ｄ情報を出力するレンダラーと、
    前記オブジェクトベースパラメータ情報と前記３Ｄ情報とを用いてチャンネルベースパラメータ情報を生成するトランスコーダと、
    前記ダウンミックス信号と前記チャンネルベースパラメータ情報とを用いてオーディオ信号を生成し、前記オーディオ信号に前記チャンネルベースパラメータ情報に含まれた３Ｄ情報を用いて３Ｄ効果の適用されたオーディオ信号を生成するマルチチャンネルデコーダと、
    を含むことを特徴とするオーディオ信号復号化装置。
21. 前記インデックスデータに対応する３Ｄ情報がデータベース化して保存される３Ｄ情報データベースをさらに含むことを特徴とする、請求項２０に記載のオーディオ信号復号化装置。
22. 前記３Ｄ情報データベースは、前記レンダラーに備えられることを特徴とする、請求項２０に記載のオーディオ信号復号化装置。
23. 前記ダウンミックス信号に予め決定された効果を加えるエフェクトプロセッサをさらに含むことを特徴とする、請求項２０に記載のオーディオ信号復号化装置。
24. 前記インデックスデータは、前記オブジェクトオーディオ信号のレンダリングに用いられる制御データに含まれることを特徴とする、請求項２０に記載のオーディオ信号復号化装置。
25. 前記制御データは、チャンネル間レベル情報、チャンネル間時間情報、位置情報、及び前記レベル情報と前記時間情報とを組み合わせた情報のうち、少なくとも一つを含むことを特徴とする、請求項２４に記載のオーディオ信号復号化装置。
26. 入力オーディオ信号からダウンミックス信号とオブジェクトベースパラメータ情報を抽出するデマルチプレクサと、
    入力インデックスデータを用いて３Ｄ情報を引き出すとともに前記３Ｄ情報を出力するレンダラーと、
    前記オブジェクトベースパラメータ情報をチャンネルベースパラメータ情報に変換し、前記３Ｄ情報をチャンネルベース３Ｄ情報に変換し、これらをそれぞれ出力するトランスコーダと、
    前記ダウンミックス信号と前記チャンネルベースパラメータ情報とを用いてオーディオ信号を生成し、前記オーディオ信号に前記チャンネルベース３Ｄ情報を用いて３Ｄ効果の適用されたオーディオ信号を生成するマルチチャンネルデコーダと、
    を含むことを特徴とするオーディオ信号復号化装置。
27. 前記マルチチャンネルデコーダは、前記３Ｄ効果を奏するオーディオ信号の生成に常用される３Ｄ情報が保存されるメモリーを含むことを特徴とする、請求項２６に記載のオーディオ信号復号化装置。
28. 前記メモリーに保存された３Ｄ情報は、前記トランスコーダから出力される前記チャンネルベース３Ｄ情報によって更新されることを特徴とする、請求項２７に記載のオーディオ信号復号化装置。
29. 前記インデックスデータは、前記オブジェクトオーディオ信号のレンダリングに用いられるミキシング制御データに含まれることを特徴とする、請求項２６に記載のオーディオ信号復号化装置。
30. 前記チャンネルベースパラメータ情報と前記チャンネルベース３Ｄ情報は、前記チャンネルベースパラメータ情報が前記チャンネルベース３Ｄ情報に同期化をとるためのインデックス情報を含むことを特徴とする、請求項２６に記載のオーディオ信号復号化装置。
31. オブジェクトオーディオ信号をダウンミックスしたダウンミックス信号を生成する段階と、
    前記オブジェクトオーディオ信号に関する情報を抽出し、オブジェクトベースパラメータ情報を生成する段階と、
    前記オブジェクトオーディオ信号に対する３Ｄ効果の具現時に用いられる３Ｄ情報の検索のためのインデックスデータを前記オブジェクトベースパラメータ情報に挿入する段階と、
    含むことを特徴とするオーディオ信号符号化方法。
32. 前記オブジェクトベースダウンミックス信号と、前記インデックスデータの挿入されたオブジェクトベースパラメータ情報とを結合することによって、ビットストリームを生成する段階をさらに含むことを特徴とする、請求項３１に記載のオーディオ信号符号化方法。
33. 前記３Ｄ情報は、ＨＲＴＦ情報であることを特徴とする、請求項３１に記載のオーディオ信号符号化方法。
34. 請求項１〜７のいずれか１項による方法をコンピュータで実行させるためのプログラムを記録した、コンピュータで読取り可能な記録媒体。
35. 請求項１〜７のいずれか１項による方法をコンピュータで実行させるためのプログラムを記録した、コンピュータで読取り可能な記録媒体。

Images