JP5118022B2

JP5118022B2 - オーディオ信号の符号化／復号化方法及び符号化／復号化装置

Info

Publication number: JP5118022B2
Application number: JP2008513382A
Authority: JP
Inventors: オオー，ヒェン; ウォンジュン，ヤン; スクパン，ヒー; スーキム，ドン; ヒュンリム，ジェ
Original assignee: LG Electronics Inc
Current assignee: LG Electronics Inc
Priority date: 2005-05-26
Filing date: 2006-05-26
Publication date: 2013-01-16
Anticipated expiration: 2026-05-26
Also published as: US8090586B2; WO2006126856A3; US8214220B2; US8150701B2; WO2006126858A3; JP5461835B2; WO2006126856A2; JP2008542817A; EP1897084A2; US20090119110A1; US8170883B2; WO2006126857A3; US20090055196A1; JP2008542819A; WO2006126858A2; US20090234656A1; EP1899959A2; JP2008542818A; EP1905004A2; US20090216541A1

Description

本発明は、オーディオ信号の符号化（ｅｎｃｏｄｉｎｇ）及び復号化（ｄｅｃｏｄｉｎｇ）方法に関する。

近年、デジタルオーディオ信号に対する様々なコーディング技術及び方法が開発されており、これと関連した製品も生産されている。また、マルチチャネルオーディオ信号の空間情報を用いてモノまたはステレオオーディオ信号をマルチチャネルに変えるコーディング方法が開発されてきている。

しかしながら、オーディオ信号を保存する場合、空間情報を保存できる補助データ領域が存在しない記録媒体がある。したがって、このような場合には、モノまたはステレオオーディオ信号のみを保存または転送することによって、モノまたはステレオオーディオ信号にしか再生されず、音質が単調になる問題点があった。また、空間情報を別個に保存する、または、別個に転送する場合には、一般のモノまたはステレオオーディオ信号の再生器との互換性において問題があった。

本発明は、上記の問題点を解決するためのもので、その目的は、オーディオ信号のコーディングにおいて、一般のモノまたはステレオオーディオ信号の再生器と互換性を持つとともに、補助データ領域が存在しない場合にもマルチチャネルオーディオ信号に対する空間情報を保存または転送できるようにした符号化及び復号化方法を提供することにある。

上記の目的を達成するために、本発明は、オーディオ信号にフレーム単位に付加情報が埋め込まれているものの、該フレームの長さがフレーム毎に定義される場合、または、オーディオ信号にフレーム単位に付加情報がアタッチされた場合のいずれかの場合に、前記付加情報を読み出す段階と、前記読み出された付加情報を用いて前記オーディオ信号をデコーディングする段階と、を含むことを特徴とする、オーディオ信号のデコーディング方法を提供する。

また、上記の目的を達成するために、本発明は、オーディオ信号及び該オーディオ信号成分のうち非知覚的成分に、フレーム毎に定義された長さのフレーム単位に埋め込まれた付加情報、または、前記オーディオ信号の復号化に使用されない領域にフレーム単位にアタッチされた付加情報のいずれかを持つデータ構造を提供する。

また、上記の目的を達成するために、本発明は、オーディオ信号にフレーム毎に定義されたフレーム長で付加情報が埋め込まれた場合、または、オーディオ信号にフレーム毎に付加情報がアタッチされた場合のいずれかの場合に、前記付加情報を読み出す付加情報読み出し部と、前記付加情報を用いて前記オーディオ信号をデコーディングするマルチチャネル生成部と、を含むことを特徴とする、オーディオ信号のデコーディング装置を提供する。

本発明は、マルチチャネル信号をコーディングする際に、空間情報をダウンミックス信号に埋め込むことによって、補助データ領域が存在しないストレージ媒体（例えば、ステレオＣＤ）や、補助データ領域が存在しないオーディオデータフォーマットにマルチチャネルオーディオ信号を保存し再生できるようにする方法及び装置を提供することができる。

また、本発明は、空間情報をダウンミックス信号に様々なフレーム長または一定のフレーム長で埋め込む方法及び装置を提供し、該空間情報を少なくとも１チャンネルを持つダウンミックス信号に埋め込む方法及び装置を提供することによって、エンコーディング及びデコーディング効率を向上させることができる。

以下、上記の目的を具体的に実現できる本発明の実施例を、添付の図面を参照しつつ説明する。本発明は、オーディオ信号（ａｕｄｉｏｓｉｇｎａｌ）をデコーディングするのに必要な付加情報（ｓｉｄｅｉｎｆｏｒｍａｔｉｏｎ）を、前記オーディオ信号に埋め込む（ｅｍｂｅｄ）方法及び装置に関する。ただし、便宜上、本明細書では前記オーディオ信号及び付加情報をそれぞれ、ダウンミックス信号（ｄｏｗｎｍｉｘｓｉｇｎａｌ）及び空間情報（ｓｐａｔｉａｌｉｎｆｏｒｍａｔｉｏｎ）として記述するが、本発明がこれに限定されることはない。また、該オーディオ信号は、ＰＣＭ信号を含む。

図１は、本発明によるオーディオ信号（ａｕｄｉｏｓｉｇｎａｌ）に対する空間情報（ｓｐａｔｉａｌｉｎｆｏｒｍａｔｉｏｎ）を人間が認識する方法を示す。マルチチャネルオーディオ信号に対するコーディング方法は、人間がオーディオ信号を３次元的空間として認知するという事実から、複数のパラメータセット（ｐａｒａｍｅｔｅｒｓｅｔｓ）を用いて前記オーディオ信号を３次元的空間情報として表現できるということを利用する。マルチチャネルオーディオ信号の空間情報を表示するための“空間パラメータ（ｓｐａｔｉａｌｐａｒａｍｅｔｅｒ）”には、ＣＬＤ（Ｃｈａｎｎｅｌｌｅｖｅｌｄｉｆｆｅｒｅｎｃｅｓ）、ＩＣＣ（ＩｎｔｅｒＣｈａｎｎｅｌＣｏｈｅｒｅｎｃｅｓ）及びＣＴＤ（ＣｈａｎｎｅｌＴｉｍｅＤｉｆｆｅｒｅｎｃｅ）等がある。ＣＬＤは、２チャンネル間のエネルギー差を表し、ＩＣＣは、２チャンネル間の相関関係（ｃｏｒｒｅｌａｔｉｏｎ）を表し、ＣＴＤは、２チャンネル間の時間差を表す。

人間がオーディオ信号をどのように空間的に認識し、空間パラメータの概念がどのように生成されるかについて、図１に示す。遠距離にある音源（ｓｏｕｎｄｓｏｕｒｃｅ）１０１からの直接的な一つの音波（ｄｉｒｅｃｔｓｏｕｎｄｗａｖｅ）１０３が人間の左耳１０７に到達し、他の直接的な音波１０２は頭の周囲で回折（ｄｉｆｆｒａｃｔ）して右耳１０６に到達する。これらの２つの音波１０２及び１０３は、到達時間及びエネルギーレベルでズレがあり、このようなズレによってＣＴＤ及びＣＬＤパラメータが生成されるわけである。また、もし反射された音波１０４及び１０５が両耳に到達する、または、音源１０１が分散されていると、互いに相関関係を持たない音波が両耳に到達し、これによってＩＣＣパラメータが生成される。上記のような原理から生成された空間パラメータを用いて、マルチチャネルオーディオ信号をモノまたはステレオ信号として転送した後、再びマルチチャネルとして出力することができる。本発明は、前記空間情報、すなわち、空間パラメータを前記モノまたはステレオオーディオ信号に埋め込んで転送した後、再びマルチチャネルオーディオ信号に再生できる方法を提供する。本発明は、マルチチャネルオーディオ信号に限定されるわけではないが、本明細書では便宜上、マルチチャネルオーディオ信号について述べるものとする。

図２は、本発明によるエンコーディング装置（ｅｎｃｏｄｉｎｇａｐｐａｒａｔｕｓ）を示すブロック図である。同図で、まず、エンコーディング装置は、マルチチャネルオーディオ信号（ｍｕｌｔｉ−ｃｈａｎｎｅｌａｕｄｉｏｓｉｇｎａｌ）２０１を受信する。ここで、Ｎは、入力チャンネル（ｉｎｐｕｔｃｈａｎｎｅｌ）の数を表す。該マルチチャネルオーディオ信号２０１は、オーディオ信号生成部（ａｕｄｉｏｓｉｎｇｎａｌｇｅｎｅｒａｔｉｎｇｐａｒｔ）２０３でダウンミックス信号Ｌｏ／Ｒｏ（２０５）になる。該ダウンミックス信号２０５は、モノ（ｍｏｎｏ）またはステレオ（ｓｔｅｒｅｏ）オーディオ信号を含み、また、マルチチャネルオーディオ信号になりうる。本明細書では、便宜上、ステレオオーディオ信号について説明するが、本発明がこれに限定されることはない。そして、前記マルチチャネルオーディオ信号の空間情報、すなわち、空間パラメータが付加情報生成部（ｓｉｄｅｉｎｆｏｒｍａｔｉｏｎｇｅｎｅｒａｔｉｎｇｐａｒｔ）２０４で前記マルチチャネルオーディオ信号２０１から生成される。ここで、空間情報（ｓｐａｔｉａｌｉｎｆｏｒｍａｔｉｏｎ）とは、マルチチャネル（例えば、Ｌｅｆｔ、Ｒｉｇｈｔ、Ｃｅｎｔｅｒ、Ｌｅｆｔｓｕｒｒｏｕｎｄ、Ｒｉｇｈｔｓｕｒｒｏｕｎｄ等）オーディオ信号をダウンミックスして生成されたダウンミックス信号２０５を転送し、該転送されたダウンミックス信号を再びマルチチャネルオーディオ信号にアップミックス（ｕｐｍｉｘ）する時に用いられるオーディオ信号チャンネルに対する情報のことをいう。選択的に、ダウンミックス信号２０５は、外部から直接提供されるダウンミックス信号、例えば、アーティスティックダウンミックス信号（Ａｒｔｉｓｔｉｃｄｏｗｎ−ｍｉｘｓｉｇｎａｌ）２０２を用いて生成されても良い。

付加情報生成部２０４で生成された空間情報は、付加情報エンコーディング部（ｓｉｄｅｉｎｆｏｒｍａｔｉｏｎｅｎｃｏｄｉｎｇｐａｒｔ）２０６で、転送（ｔｒａｎｓｍｉｓｓｉｏｎ）及び保存（ｓｔｏｒａｇｅ）のための空間情報ビットストリーム（ｓｐａｔｉａｌｉｎｆｏｒｍａｔｉｏｎｂｉｔｓｔｒｅａｍ）に符号化（ｅｎｃｏｄｉｎｇ）される過程を経る。該空間情報ビットストリームは、適当に再構成（ｒｅｓｈａｐｉｎｇ）された後、埋め込み部（ｅｍｂｅｄｄｉｎｇｐａｒｔ）２０７から転送する信号、すなわち、ダウンミックス信号２０５に直接挿入されるが、この時、“デジタルオーディオ埋め込み技法（ＤｉｇｉｔａｌＡｕｄｉｏＥｍｂｅｄｄｅｄＭｅｔｈｏｄ）”を用いれば良い。例えば、ダウンミックス信号２０５が、空間情報を保存し難いストレージ媒体（ｓｔｏｒａｇｅｍｅｄｉａ）（例えば、ステレオコンパクトディスク（ｓｔｅｒｅｏＣＤ））に保存される、または、ＳＰＤＩＦ（Ｓｏｎｙ／ＰｈｉｌｉｐｓＤｉｇｉｔａｌＩｎｔｅｒｆａｃｅ）のような方式で転送する元（ｒａｗ）ＰＣＭオーディオ信号である場合、ＡＡＣなどで圧縮符号化（ｃｏｍｐｒｅｓｓｉｏｎｅｎｃｏｄｉｎｇ）される場合とは違い、前記空間情報を保存できる補助データ領域（ＡｎｃｉｌｌａｒｙＤａｔａＦｉｅｌｄ）が存在しない。この場合、前記“デジタルオーディオ埋め込み技法”を用いると、前記元ＰＣＭオーディオ信号に音質歪み（ｓｏｕｎｄｑｕａｌｉｔｙｄｉｓｔｏｒｔｉｏｎ）が生じることなく前記空間情報を埋め込むことができ、該空間情報が埋め込まれたオーディオ信号は、一般的なデコーダ側では元信号と区別されない。すなわち、空間情報が埋め込まれている出力信号（ｏｕｔｐｕｔｓｉｇｎａｌ）Ｌｏ'／Ｒｏ'（２０８）は、一般的なＰＣＭデコーダから見るとでは入力信号Ｌｏ／Ｒｏ（２０５）と同じ信号とみなされる。

上記“デジタルオーディオ埋め込み技法”には、ビット置換符号化方法（ＢｉｔＲｅｐｌａｃｅｍｅｎｔＣｏｄｉｎｇＭｅｔｈｏｄ）、反響挿入方法（ＥｃｈｏＨｉｄｉｎｇＭｅｔｈｏｄ）、帯域拡散通信法（Ｓｐｒｅａｄ−Ｓｐｅｃｔｒｕｍ −ｂａｓｅｄＭｅｔｈｏｄ）などがある。ビット置換符号化方法は、量子化されたオーディオサンプルの下位ビット（ｌｏｗｅｒｂｉｔ）を変形して所望の情報を挿入する方法で、オーディオ信号において下位ビットの変形（ｍｏｄｉｆｉｃａｔｉｏｎ）がオーディオ信号の品質にほとんど影響を与えないという特性に基づく方法である。反響挿入方法は、人の耳に聞こえないような小さい大きさの反響（ｅｃｈｏ）をオーディオ信号に挿入する方法である。帯域拡散通信法は、離散コサイン変換（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）、離散フーリエ変換（ＤｉｓｃｒｅｔｅＦｏｕｒｉｅｒＴｒａｎｓｆｏｒｍ）等を用いてオーディオ信号を周波数領域に変換した後に、２進数からなる所望の情報をＰＮ（ＰｓｅｕｄｏＮｏｉｓｅ）シーケンス（ｓｅｑｕｅｎｃｅ）に帯域拡散（ｓｐｒｅａｄｓｐｅｃｔｒｕｍ）し、周波数領域（ｆｒｅｑｕｅｎｃｙｄｏｍａｉｎ）に変換されたオーディオ信号に添加する方法である。本発明では、上記の埋め込み方法のうち、ビット置換符号化方法について説明するが、本発明がこのビット置換符号化方法に限定されることはない。

図３は、本発明による埋め込み部２０７を示す詳細ブロック図である。上記のビット置換符号化方法によって空間情報をダウンミックス信号成分のうち非知覚的成分に埋め込む時、該空間情報を埋め込み可能な挿入ビット長（ｉｎｓｅｒｔｉｏｎｂｉｔｓｌｅｎｇｔｈ）（以下、Ｋ値という。）は、下位１ビットのみを使用するのではなく、定められた方法（ｐｒｅ−ｄｅｃｉｄｅｄｍｅｔｈｏｄ）によってＫ（Ｋ＞０）ビットを使用することができる。このＫビットは、ダウンミックス信号の下位ビット値を使用することができるが、下位ビット値に限定されることはない。ここで、定められた方法とは、例えば、心理音響モデル（ＰｓｙｃｈｏａｃｏｕｓｔｉｃＭｏｄｅｌ）によるマスキング限界値（ＭａｓｋｉｎｇＴｈｒｅｓｈｏｌｄ）を求め、該マスキング限界値によって適当なビットを割り当てる（ａｌｌｏｃａｔｉｎｇ）ことをいう。図示の如く、ダウンミックス信号Ｌｏ／Ｒｏ（３０１）は、埋め込み部内のバッファ（ｂｕｆｆｅｒ）３０３を経てオーディオ信号エンコーディング部３０６に転送される。マスキング限界値計算部（ｍａｓｋｉｎｇｔｈｒｅｓｈｏｌｄｃｏｍｐｕｔｉｎｇｐａｒｔ）３０４は、入力されたオーディオ信号を一定の区間（ｓｅｃｔｉｏｎ）（例えば、ブロック（ｂｌｏｃｋ））に分け、該当の区間に対するマスキング限界値を求める。また、マスキング限界値計算部３０４は、マスキング限界値によって、聴覚的な歪み（ａｕｒａｌｄｉｓｔｏｒｔｉｏｎ）が生じることなく変更（ｍｏｄｉｆｙ）可能なダウンミックス信号の挿入ビット長、すなわち、Ｋ値を求める。すなわち、前記空間情報を前記ダウンミックス信号に埋め込むのに使用可能なビット数を、ブロック別に割り当てる。本明細書で、ブロックとは、フレーム（ｆｒａｍｅ）内に存在する一つの挿入ビット長（すなわち、Ｋ値）を用いて挿入されたデータ単位のことをいう。一つのフレームには、１個以上のブロックが存在でき、したがって、フレーム長が固定されていると、ブロック長は、ブロックの個数が増加するにつれて減少する。前記Ｋ値が決定されると、該Ｋ値を空間情報ビットストリームに含めることができる。すなわち、ビットストリーム再構成部（ｂｉｔｓｔｒｅａｍｒｅｓｈａｐｉｎｇｐａｒｔ）３０５は、前記Ｋ値を含むように前記空間情報ビットストリームを再構成できる。この場合、前記空間情報ビットストリームにはシンクワード（ｓｙｎｃｗｏｒｄ）、誤り検出コード（ｅｒｒｏｒｄｅｔｅｃｔｉｏｎｃｏｄｅ）または誤り訂正コード（ｅｒｒｏｒｃｏｒｒｅｃｔｉｏｎｃｏｄｅ）などを含めることができる。

再構成された空間情報ビットストリームは、埋め込み可能な形態に再整列（ｒｅａｒｒａｎｇｅ）されることができる。再整列された前記空間情報ビットストリームは、オーディオ信号エンコーディング部３０６で前記ダウンミックス信号に埋め込まれ、前記空間情報ビットストリームが埋め込まれたオーディオ信号Ｌｏ’／Ｒｏ’（３０７）として出力される。このとき、前記空間情報ビットストリームは、前記ダウンミックス信号のＫビット内に埋め込まれることができる。前記Ｋ値は、ブロック内で固定された一つの値を持つことができる。いずれの場合においても、前記Ｋ値は前記空間情報ビットストリームの再構成過程または再整列過程で付加情報として挿入されて、デコーディング装置に転送され、デコーディング装置では、前記付加情報を用いて空間情報データを復元することができる。

前述の如く、前記空間情報ビットストリームは、ブロック別に前記ダウンミックス信号に埋め込まれる過程を経る。この過程には、様々な方法が用いられることができる。第１の方法は、単純に前記ダウンミックス信号の下位Ｋビットのみを０に入れ替えた（ｓｕｂｓｔｉｔｕｄｅ）後、再整列（ｒｅａｒｒａｎｇｅ）された前記空間情報ビットストリームデータを加える方法である。例えば、Ｋ値が３で、ダウンミックス信号のあるサンプルデータが１１１０１１０１で、埋め込むべき空間情報ビットストリームデータが１１１である場合、前記１１１０１１０１の下位３ビットを０に入れ替えて１１１０１０００にした後、前記空間情報ビットストリームデータ１１１を加えて１１１０１１１１にする。

第２の方法は、ディザリング（ｄｉｔｈｅｒｉｎｇ）方法を利用するもので、まず、再整列された空間情報ビットストリームデータを前記ダウンミックス信号の挿入領域から引いた後に、前記ダウンミックス信号を前記Ｋ値に基づいて再量子化し、再量子化された前記ダウンミックス信号に、前記再整列された空間情報ビットストリームデータを加える方法である。例えば、Ｋ値が３で、ダウンミックス信号のあるサンプルデータが１１１０１１０１で、埋め込むべき空間情報ビットストリームデータが１１１である場合、前記１１１０１１０１から１１１を引いて１１１００１１０にした後、下位３ビットに対して再量子化を行って１１１０１０００（四捨五入を適用）にし、次に、１１１を加えて１１１０１１１１にする。

前記ダウンミックス信号に埋め込まれる空間情報ビットストリームは任意のビットストリームであるがために白色雑音的な特性を持たないことがある。ダウンミックス信号に白色雑音形態の信号が加えられることが、音質特性の上で有利なため、前記空間情報ビットストリームを白色化（ｗｈｉｔｅｎｉｎｇ）する過程を行なってから前記ダウンミックス信号に加えると良い。前記白色化は、シンクワード以外の空間情報ビットストリームに適用されることができる。本発明で白色化とは、オーディオ信号の音量が全ての周波数領域で同一であるか、略同一な大きさを持つランダム信号にすることをいう。また、空間情報ビットストリームをダウンミックス信号に埋め込む過程で、前記空間情報ビットストリームにノイズシェーピング（Ｎｏｉｓｅｓｈａｐｉｎｇ）技法を適用して聴覚的歪みを最小化することができる。本発明でノイズシェーピングとは、量子化過程で生成される量子化ノイズのエネルギーが可聴周波数帯域以上の高周波数帯域へ移動するようにノイズ特性を変形させる、または、該当のオーディオ信号からマスキング限界値を求め、該マスキング限界値に対応する時変（ｔｉｍｅ−ｖａｒｉｎｇ）フィルタを生成し、該フィルタによって量子化過程で発生するノイズの特性を変形させる過程のことをいう。

図４は、本発明による空間情報ビットストリームを再整列する第１の方法を示す。上述のように、前記空間情報ビットストリームは、前記Ｋ値を用いて埋め込まれることができる形態に再整列できる。このとき、前記空間情報ビットストリームは様々な方式で再整列されて、前記ダウンミックス信号に埋め込まれることができるが、図４は、上記の方式のうち、サンプルプレーン順に前記空間情報を埋め込む方式を示す。該第１の方法は、Ｋビット単位に該当のブロックに対する前記空間情報ビットストリームを分散し、これを順次に埋め込むことができるように前記空間情報ビットストリームを再整列することである。図示したように、Ｋ値が４で、１つのブロック４０５がＮ個のサンプル４０３で構成された場合、空間情報ビットストリーム４０１は、各サンプルの下位４ビットに順次に埋め込まれることができるように再整列できる。前述の如く、本発明は、各サンプルの下位４ビットにのみ空間情報ビットストリームを埋め込むことに限定されることはない。そして、各サンプルの下位Ｋビット内では、図示の如く、前記空間情報ビットストリームが最上位ビットから埋め込まれる（ＭＳＢ（ＭｏｓｔＳｉｇｎｉｆｉｃａｎｔＢｉｔ）ｆｉｒｓｔ）、または、最下位ビットから埋め込まれる（ＬＳＢ（ＬｅａｓｔＳｉｇｎｉｆｉｃａｎｔＢｉｔ）ｆｉｒｓｔ））。

図４で、矢印４０４は埋め込まれる方向を表し、括弧中の数字はデータ再整列順序を表す。また、ビットプレーン４０２は、複数のビットで構成される一定のビット階層をいう。前記空間情報ビットストリームが埋め込まれる挿入領域で、埋め込み可能なビット数よりも埋め込むべき空間情報ビットストリームのビット数が小さい場合には、残りのビットを０で埋める（４０６）、ランダム信号（Ｒａｎｄｏｍｓｉｇｎａｌ）を入れる、または、元のダウンミックス信号に置換することができる。例えば、ブロックを構成するサンプル数（Ｎ）が１００で、Ｋ値が４である場合、前記ブロックに埋め込み可能なビット数（Ｗ）は、Ｗ＝Ｎ＊Ｋ＝１００＊４＝４００ビットとなる。もし埋め込むべき空間情報ビットストリームのビット数（Ｖ）が３９０ビットである場合（すなわち、Ｖ＜Ｗである場合）、残りの１０ビットは０で埋める、ランダム信号を入れる、元のダウンミックス信号に置き換える、データの終わりを知らせるテールビット列（ｔａｉｌｓｅｑｕｅｎｃｅ）で埋める、または、これらを組みわせて埋めれば良い。前記テールビット列は、該当のブロックで空間情報ビットストリームの終わりを知らせるビット列を意味する。たとえ図４ではブロック毎に残りのビットを埋めているが、上記のような方法で、挿入フレーム毎に残りのビットを埋めても良い。

図５は、本発明による空間情報ビットストリームを再整列する第２の方法を示す。該第２の方法は、空間情報ビットストリーム５０１をビットプレーン（ＢｉｔＰｌａｎｅ）５０２の順に再整列する。この場合、前記空間情報ビットストリームは、ブロック毎に前記ダウンミックス信号の下位ビットから順次に埋め込まれることができるが、本発明はこれに限定されない。例えば、ブロックを構成するサンプル数（Ｎ）が１００で、Ｋ値が４である場合、まず、ビットプレーン０（５０２）を構成する最下位１００ビットをまず埋め、続いてビットプレーン１（５０２）を構成する１００ビットを埋める。

図５で、矢印５０５は、埋め込まれる方向を表し、括弧中の数字は、データ再整列順序を表す。この第２の方法は、特に、任意の位置でシンクワード（ＳｙｎｃＷｏｒｄ）を抽出するのに有利である。上記のようにして再整列及び符号化された信号から、挿入された空間情報ビットストリームのシンクワードを探す時には、ＬＳＢのみを抽出してシンクワードを検索すれば良い。また、この第２の方法は、埋め込むべき空間情報ビットストリームのビット数（Ｖ）によって、最小のＬＳＢのみを使用する効果が期待できる。この時にも同様に、前記空間情報ビットストリームが埋め込まれる挿入領域で、埋め込み可能なビット数（Ｗ）よりも埋め込むべき空間情報ビットストリームのビット数（Ｖ）が小さい場合には、上記のように残りのビットを０で埋める（５０６）、ランダム信号を入れる、元ダウンミックス信号に変える、データの終わりを知らせるテールビット列で埋める、または、これらを組み合わせて埋めれば良い。特に、上記方法のうち、前記ダウンミックス信号をそのまま利用することが有利である。図５ではブロック毎に残りのビットを埋めているが、上記のような方法で挿入フレーム毎に残りのビットを埋めても良い。

図６Ａは、本発明によるダウンミックス信号に空間情報ビットストリームを埋め込むためのビットストリーム構造を示す。前述の如く、空間情報ビットストリーム６０７は、ビットストリーム再構成部３０５で、該空間情報ビットストリームに対するシンクワード（ＳｙｎｃＷｏｒｄ）６０３とＫ値６０４を含むように再構成できる。また、再構成過程で、空間情報ビットストリーム６０７が転送または保存の際に損傷したか否かを判断できる少なくとも一つの誤り検出コードまたは誤り訂正コード６０６，６０８（以下、誤り検出コードと略す。）が、前記再構成された空間情報ビットストリームに含まれることができる。該誤り検出コードは、ＣＲＣ（ＣｙｃｌｉｃＲｅｄｕｎｄａｎｃｙＣｈｅｃｋ）を含む。前記誤り検出コードは、２段階に分けて含めることができるが、Ｋ値が含まれたヘッダ６０１に対する誤り検出コード１（６０６）と、空間情報ビットストリームのフレームデータ６０２に対する誤り検出コード２（６０８）が、前記空間情報ビットストリームに個別に含めることができる。その他情報６０５が個別に、前記埋め込みのための空間情報ビットストリームに含めることができる。このその他情報６０５には、空間情報ビットストリームの再整列方法に関する識別情報などが含めることができる。

図６Ｂは、図６Ａの空間情報ビットストリームを示す詳細図である。図示のように、図６Ｂは、空間情報ビットストリーム６１０の１フレームが２個のブロックで構成された実施例を示しているが、本発明はこの実施例に限定されない。図６Ｂの空間情報ビットストリームも、シンクワード６１２、Ｋ値（Ｋ₁，Ｋ₂，Ｋ₃及びＫ₄）６１３，６１４，６１５及び６１６、その他情報６１７、誤り検出コード６１８及び６２３を含んでなることができる。空間情報ビットストリーム６１０は、２ブロックで構成されているが、ステレオ信号の場合、ブロック１は左（ｌｅｆｔ）チャンネルと右（Ｒｉｇｈｔ）チャンネルに対するブロック６１９及び６２０で構成され、ブロック２も、左チャンネルと右チャンネルに対するブロック６２１及び６２２で構成されることができる。図６Ｂは、ステレオ信号について示しているが、本発明がこのステレオ信号に限定されることはない。これらのブロックに対する挿入ビット長（Ｋ値）は、ヘッダ部分に含まれる。Ｋ₁６１３は、ブロック１の左チャンネルに対する挿入ビット長、Ｋ₂６１４はブロック１の右チャンネルに対する挿入ビット長、Ｋ₃６１５はブロック２の左チャンネルに対する挿入ビット長、Ｋ₄６１６はブロック２の右チャンネルに対する挿入ビット長に該当する。また、前記誤り検出コードは２段階に分けて含まれることができるが、Ｋ値の含まれたヘッダ６０９に対する誤り検出コード１（６１８）と、前記空間情報ビットストリームのフレームデータ６１１に対する誤り検出コード２（６２３）が別個に含まれることができる。

図７は、本発明によるデコーディング装置を示すブロック図である。同図に示すように、本発明によるデコーディング装置は、空間情報ビットストリームの埋め込まれたオーディオ信号Ｌｏ’／Ｒｏ’（７０１）を受信する。該空間情報ビットストリームが埋め込まれたオーディオ信号は、モノ、ステレオ、またはマルチチャネル信号になり得、便宜上、ここではステレオ信号に基づいて説明するが、本発明はこれに限定されない。なお、埋め込み信号デコーディング部７０２は、オーディオ信号７０１から空間情報ビットストリームを抽出できる。埋め込み信号デコーディング部７０２で抽出された空間情報ビットストリームは、符号化された空間情報ビットストリームであり、該符号化された空間情報ビットストリームは、空間情報デコーディング部７０３への入力信号になりうる。空間情報デコーディング部７０３は、前記符号化された空間情報ビットストリームを復号化してマルチチャネル生成部７０４に出力する。マルチチャネル生成部７０４は、ダウンミックス信号７０１及び復号化より得られた空間情報を入力として受信しマルチチャネルオーディオ信号７０５として出力できる。

図８は、本発明によるデコーディング装置を構成する埋め込み信号デコーディング部７０２の詳細を示す。この埋め込み信号デコーディング部７０２には、空間情報の埋め込まれたオーディオ信号Ｌｏ’／Ｒｏ'（８０１）が入力され、シンクワード探索部８０２は、該入力されたオーディオ信号８０１からシンクワード（ＳｙｎｃＷｏｒｄ）を検出する。該シンクワードは、前記オーディオ信号の一チャンネルから検出することができる。該シンクワードが検出された後に、ヘッダデコーディング部８０３は、ヘッダ領域をデコーディングする。このとき、該ヘッダ領域からあらかじめ指定された大きさの情報を読み出し、データ逆変形部８０４は、読み出された情報のうち、シンクワード以外のヘッダ領域情報に逆白色化技法を適用することができる。次に、この逆白色化技法の適用されたヘッダ領域情報から前記ヘッダ領域の大きさ情報などを得ることができる。また、データ逆変形部８０４は、残りの空間情報ビットストリームに対しても逆白色化技法を適用できる。このヘッダデコーディングによってＫ値などの付加情報を得、該付加情報を用いて、再整列された空間情報ビットストリームを再び整列することによって本来の空間情報ビットストリーム８０５を得ることができる。また、ダウンミックス信号と空間情報ビットストリームのフレームを整列するためのシンク位置（ＳｙｎｃＰｏｓｉｔｉｏｎ）情報、すなわち、フレーム整列情報８０６を得ることができる。

図９は、本発明によるオーディオ信号を一般のＰＣＭデコーディング装置で再生する様子を示す。すなわち、図９は、空間情報ビットストリームの埋め込まれたオーディオ信号Ｌｏ’／Ｒｏ’（９０１）が、一般のＰＣＭデコーディング装置の入力として印加される場合を示す。この場合、一般のＰＣＭデコーディング装置は、前記空間情報ビットストリームの埋め込まれたオーディオ信号Ｌｏ’／Ｒｏ’（９０１）を、正常なステレオオーディオ信号と認識して音声を再生する。該再生された音声は、音質の点では、空間情報の埋め込まれる前のオーディオ信号９０２と区別されない。したがって、本発明による空間情報が埋め込まれたオーディオ信号は、一般のＰＣＭデコーディング装置において正常なステレオ信号を再生する互換性を有し、マルチチャネルに復号化可能なデコーダでマルチチャネルオーディオ信号を提供できる長所を有する。

図１０は、本発明によるダウンミックス信号に空間情報ビットストリームを埋め込むエンコーディング方法を示すフローチャートである。まず、マルチチャネルオーディオ信号（１００１）からオーディオ信号をダウンミックス（１００２）する。このダウンミックス信号は、モノ、ステレオまたはマルチチャネル信号のうちの１つとすることができる。また、マルチチャネルオーディオ信号（１００１）から空間情報を抽出（１００３）し、該空間情報を用いて空間情報ビットストリームを生成（１００４）する。その後、前記空間情報ビットストリームを前記ダウンミックス信号に埋め込み（１００５）、前記空間情報ビットストリームの埋め込まれたダウンミックス信号を含む全体ビットストリームを転送（１００６）する。ここで、本発明は、前記ダウンミックス信号を用いて、前記空間情報ビットストリームが埋め込まれる挿入領域の挿入ビット長（すなわち、Ｋ値）を求め、前記挿入領域に空間情報ビットストリームを埋め込むことができる。

図１１は、本発明によるダウンミックス信号に埋め込まれた空間情報ビットストリームをデコーディングする方法を示すフローチャートである。まず、デコーディング装置は、空間情報ビットストリームが埋め込まれたダウンミックス信号を含む全体ビットストリームを受信（１１０１）し、該ビットストリームからダウンミックス信号を検出（１１０２）する。また、前記全体ビットストリームから空間情報ビットストリームを検出及びデコーディング（１１０３）する。このデコーディングによって空間情報を抽出（１１０４）し、抽出された空間情報を用いてダウンミックス信号をデコーディング（１１０５）する。前記ダウンミックス信号は、２チャンネルにデコーディングするか、または、マルチチャネルにデコーディングすることができる。ここで、本発明は、前記全体ビットストリームから前記空間情報ビットストリームの埋め込み方法及びＫ値に関する情報を読み出し、該読み出された埋め込み方法及びＫ値を用いて前記空間情報ビットストリームをデコーディングすることができる。

図１２は、本発明によるダウンミックス信号に埋め込まれる空間情報ビットストリームのフレーム長を示す。本発明で“フレーム”とは、一つのヘッダを持つ一定の長さの独立した復号化が可能な単位のことをいい、本明細書では通常、“フレーム”が、次に説明する“挿入フレーム”を意味する。本発明で“挿入フレーム”とは、ダウンミックス信号に空間情報ビットストリームを埋め込む単位のことをいう。この挿入フレーム長は、フレーム毎に定義されるか、または、あらかじめ指定された長さを使用することができる。例えば、図示のように、前記挿入フレーム長は、空間情報を復号化して適用する単位に該当する空間情報ビットストリームのフレーム長（Ｓ）（以下、“復号化フレーム長”と略す。）と同一大きさを持つようにする（図１２の（ａ）の場合）、Ｓの倍数になるようにする（図１２の（ｂ）の場合）、または、ＳがＮの倍数になるようにする（図１２の（ｃ）場合）方法がある。図１２の（ａ）に示すように、Ｎ＝Ｓの場合には、復号化フレーム長（Ｓ）１２０１と前記挿入フレーム長（Ｎ）１２０２が一致するので、復号化過程が容易になる。これに対し、図１２の（ｂ）に示すように、Ｎ＞Ｓの場合では、複数の復号化フレーム１２０３を纏めて一つの挿入フレーム大きさ（Ｎ）１２０４として転送し、これにより、ヘッダや誤り検出コード（例えば、ＣＲＣ）などによって付加されるビット数を低減することができる。図１２の（ｃ）に示すように、Ｎ＜Ｓの場合では、数個の挿入フレーム（Ｎ）１２０６を纏めて一つの復号化フレーム長（Ｓ）１２０５にすることができる。前記挿入フレームヘッダ内には、空間情報が埋め込まれる挿入ビット長に関する情報、前記挿入フレーム長（Ｎ）に関する情報、または、前記挿入フレーム内に含まれるサブフレーム個数に関する情報などが付加情報として挿入されることができる。

図１３は、本発明によるダウンミックス信号に挿入フレーム単位で埋め込まれる空間情報ビットストリームを示す。図１２の（ａ）、（ｂ）及び（ｃ）に示す場合はいずれも、前記挿入フレームと前記復号化フレームが互いに整数倍になるように構成される。場合によっては、固定された長さのビットストリーム、例えば、トランスポートストリーム（ＴｒａｎｓｐｏｒｔＳｔｒｅａｍ：ＴＳ）１３０３と同じ形態の上位パケット（ｐａｃｋｅｔ）を構成して転送しても良い。すなわち、空間情報ビットストリームの復号化フレーム１３０１の長さによらず、前記空間情報ビットストリーム１３０１を一定長のパケット単位に纏め、該パケットにＴＳヘッダ１３０２などの情報を入れて転送することができる。前記挿入フレーム長は、フレーム毎に定義されても良く、フレーム内で定義せずにあらかじめ指定された長さを使用しても良い。

この方法は、ダウンミックス信号の特性によって、ブロック毎にマスキング限界値が異なり、これにより、前記ダウンミックス信号の音質劣化無しに割り当てうる最大ビット数（Ｋ＿ｍａｘ）が異なってくる点から、空間情報ビットストリームのデータ転送速度を可変させるために必要である。例えば、前記Ｋ＿ｍａｘが該当のブロックで必要とする空間情報ビットストリームを全て表現するに不足している場合には、Ｋ＿ｍａｘまでデータを転送し、残りは以降の他のブロックで転送すれば良い。Ｋ＿ｍａｘで十分な場合には、次のブロックに対する空間情報ビットストリームをあらかじめ取り込める。この場合、各ＴＳパケットは独立したヘッダを持ち、該ヘッダ内には、シンクワード（ＳｙｎｃＷｏｒｄ）、ＴＳパケット長情報、ＴＳパケット内に含まれるサブフレーム数情報またはパケット内で割り当てられた挿入ビット長（Ｋ）情報などを含めることができる。

図１４Ａは、挿入フレーム単位に埋め込まれる空間情報ビットストリームの時間軸整列（ｔｉｍｅａｌｉｇｎ）問題を解決するための第１の方法を示す。前記挿入フレームの長さはフレーム毎に定義される、または、あらかじめ指定された長さを使用することができる。前記挿入フレーム単位に埋め込む方法は、埋め込まれた空間情報ビットストリームの挿入フレーム開始位置とダウンミックス信号との時間軸整列（ｔｉｍｅａｌｉｇｎ）が合わないという問題がありうる。したがって、この時間軸整列の問題を解決する方法が必要である。図１４Ａに示す第１の方法は、空間情報の復号化フレーム１４０３に対するヘッダ１４０２（以下、“復号化フレームヘッダ”という。）を別個に置く方法である。復号化フレームヘッダ１４０２内には、前記空間情報が適用されるオーディオ信号の位置情報が存在しているか否かに関する識別情報を含めることができる。

ＴＳパケット１４０４及び１４０５について説明すると、ＴＳパケットヘッダ１４０４内には、現在のパケット内に復号化フレームヘッダ１４０２の存在の有無を知らせる識別情報１４０８（例えば、フラグ）を含めることができる。

もし識別情報１４０８が１であれば（すなわち、復号化フレームヘッダ１４０２が存在すれば）、該復号化フレームヘッダから、前記空間情報ビットストリームが適用されるダウンミックス信号の位置情報が存在しているか否かに関する識別情報を読み出すことができる。次に、該読み出された識別情報によって、前記復号化フレームヘッダ１４０２から、前記空間情報ビットストリームが整列されるべきダウンミックス信号に対する位置情報１４０９（例えば、遅延（ｄｅｌａｙ）情報）を読み出すことができる。もし、識別情報１４１１が０であれば、ＴＳパケットのヘッダ内に前記位置情報を含めない。一般に、空間情報ビットストリーム１４０３は、対応するダウンミックス信号１４０１よりも先に来ることが好ましいので、位置情報１４０９は、主として遅延（ｄｅｌａｙ）に対するサンプル値となりうる。一方、遅延が過大なため、サンプル値を表現するのに必要な情報量が過大になる問題を防止すべく、サンプル単位ではなく、一定サンプルを纏めて表現するサンプル群単位（例えば、グラニュール（ｇｒａｎｕｌｅ）単位）などを定義し、該サンプル群単位に前記位置情報を表現しても良い。前述したように、前記ＴＳヘッダ内には、ＴＳシンクワード１４０６、挿入ビット長１４０７、前記復号化フレームヘッダの存在の有無に関する識別情報及びその他情報１４０９を含めることができる。

図１４ｂは、フレーム毎に定義された長さの挿入フレームに埋め込まれる空間情報ビットストリームの時間軸整列（ｔｉｍｅａｌｉｇｎ）問題を解決するための第２の方法を示す。ＴＳパケットで構成される場合について説明すると、第２の方法は、復号化フレームの始点１４１３、ＴＳパケットの始点、及び対応するダウンミックス信号１４１２の始点を一致させる方法である。このように一致する部分に対して、上記３つの始点が整列されたことを知らせる識別情報１４２０または１４２２（例えば、フラグ）を、前記ＴＳパケットのヘッダ１４１５内に含めることができる。図１４Ｂでは、ダウンミックス信号のｎ番目のフレーム１４１２で上記３つの識別情報が一致している。この場合、識別情報１４２２は１の値を持つ。もし上記３つの識別情報が一致しないと、識別情報１４２０は０の値を持つことができる。これら３つの始点を一致させるために、以前のＴＳパケットに続く一定部分１４１７（ｆｉｌｌ部分）は、０で埋められるか、ランダム信号を入れるか、元来のダウンミックスされたオーディオ信号に変えるか、または、これらを組み合わせて埋めることができる。前述したように、ＴＳヘッダ１４１５内には、ＴＳシンクワード１４１８、挿入ビット値１４１９及びその他情報１４２１を含めることができる。

図１５は、本発明によるダウンミックス信号に空間情報ビットストリームがアタッチ（ａｔｔａｃｈ）されるように生成する方法を示す。前記空間情報ビットストリームがアタッチされるフレーム（以下、“結合フレーム”という。）の長さは、フレーム毎に定義された長さ単位である、または、フレーム毎に定義されるのではなくあらかじめ指定された一定の長さ単位となりうる。例えば、前記挿入フレーム長は、図示のように、前記空間情報の復号化フレーム１５０４の長さと互いに整数倍になる、または、固定された長さ単位とすることができる。もし、復号化フレーム長さ１５０４と前記挿入フレーム長さが異なると、前記空間情報ビットストリームを任意に切って前記挿入フレームには埋め合わせるのではなく、前記空間情報ビットストリームを分離せずに、例えば、復号化フレーム１５０４と同じ長さ単位に前記挿入フレームを生成すれば良い。このとき、前記空間情報ビットストリームはダウンミックス信号に埋め込まれるように構成することができ、また、前記ダウンミックス信号に埋め込まれずに前記ダウンミックス信号にアタッチされるように構成することができる。ＰＣＭ信号のようにアナログ信号をデジタル信号に変換した信号（以下、“第１のオーディオ信号”という。）では、前記空間情報ビットストリームが前記第１のオーディオ信号に埋め込まれるように構成することができる。ＭＰ３のようにより圧縮されたデジタル信号（以下、“第２のオーディオ信号”という。）では、前記空間情報ビットストリームが前記第２のオーディオ信号にアタッチされるように構成することができる。前記第２のオーディオ信号に対する、例えば前記ダウンミックス信号も、圧縮された形態のビットストリームで表現することができる。したがって、図示のように、圧縮された形態のダウンミックス信号ビットストリーム１５０２が存在し、このダウンミックス信号ビットストリーム１５０２に、空間情報に対する復号化フレーム１５０４長でアタッチすることができる。したがって、本発明では、前記空間情報ビットストリームを一度に集中的（ｂｕｒｓｔ）に転送することができる。前記復号化フレームにはヘッダ１５０３が存在でき、前記ヘッダ１５０３には、空間情報が適用されるダウンミックス信号の位置情報を含めることができる。

また、本発明では、前記空間情報ビットストリームを圧縮された形態の結合フレーム（例えば、ＴＳビットストリーム１５０６）にし、前記圧縮された形態のダウンミックス信号ビットストリーム１５０２にアタッチすることができる。この場合、ＴＳビットストリーム１５０６に対するＴＳヘッダ１５０５が存在できる。前記結合フレームのヘッダ（すなわち、ＴＳヘッダ１５０５）には、結合フレームシンク情報１５０７、前記結合フレーム内に復号化フレームのヘッダが存在するか否かに関する識別情報１５０８、前記結合フレームに含まれるサブフレーム数情報またはその他情報１５０９のうち一つ以上を含めることができる。また、前記結合フレーム内には、前記結合フレームの始点及び前記復号化フレームの始点が一致しているか否かに関する識別情報を含めることができる。もし前記結合フレーム内に前記復号化フレームヘッダが存在すると、前記復号化フレームヘッダから、前記空間情報が適用されるダウンミックス信号の位置情報が存在しているか否かに関する識別情報を読み出す。次に、前記識別情報によって、前記空間情報が適用されるダウンミックス信号の位置情報を読み出すことができる。

図１６は、本発明によるダウンミックス信号に様々な大きさの挿入フレームで埋め込まれる空間情報ビットストリームをエンコーディングする方法を示すフローチャートである。まず、マルチチャネルオーディオ信号（１６０１）からオーディオ信号をダウンミックス（１６０２）する。該ダウンミックス信号はモノまたはステレオ信号を含むことができる。また、マルチチャネルオーディオ信号（１６０１）から空間情報を抽出（１６０３）し、該空間情報を用いて空間情報ビットストリームを生成（１６０４）する。生成された空間情報ビットストリームはフレーム毎に、復号化フレームと互いに整数倍に該当する長さの挿入フレーム単位に前記ダウンミックス信号に埋め込むことができる。もし、復号化フレーム長（Ｓ）が挿入フレーム長（Ｎ）よりも大きいと（１６０５）、前記挿入フレーム長（Ｎ）は、複数のＮを纏めて一つのＳと同一になるように形成（１６０７）する。もし復号化フレームの長さ（Ｓ）が、挿入フレーム長さ（Ｎ）よりも小さいと（１６０６）、前記挿入フレーム長（Ｎ）を、複数のＳを纏めて一つのＮと同一になるように形成（１６０８）する。もしＮとＳが同一であれば、前記挿入フレーム長さ（Ｎ）を、復号化フレーム長さ（Ｓ）と同一に形成（１６０９）する。このような方式で形成された空間情報ビットストリームは、前記ダウンミックス信号に埋め込まれ（１６１０）、次に、前記空間情報ビットストリームの埋め込まれた前記ダウンミックス信号を含む全体ビットストリームを転送（１６１１）する。ここで、本発明は、前記空間情報ビットストリームの挿入フレームの長さに対する情報を、全体ビットストリーム内に埋め込むことができる。

図１７は、本発明によるダウンミックス信号に一定の長さで埋め込まれる空間情報ビットストリームをエンコーディングする方法を示すフローチャートである。まず、マルチチャネルオーディオ信号（１７０１）からオーディオ信号をダウンミックス（１７０２）する。前記ダウンミックス信号はモノまたはステレオ信号を含むことができる。また、前記マルチチャネルオーディオ信号（１７０１）から空間情報を抽出（１７０３）し、前記空間情報を用いて空間情報ビットストリームを生成（１７０４）する。前記空間情報ビットストリームを一定の大きさ（パケット単位）のビットストリーム、例えば、トランスポートストリーム（ＴＳ）に纏めた後（１７０５）、前記一定の大きさの空間情報ビットストリームを前記ダウンミックス信号に埋め込む（１７０６）。次に、前記空間情報ビットストリームの埋め込まれた前記ダウンミックス信号を含む全体ビットストリームを転送（１７０７）する。ここで、本発明は、前記ダウンミックス信号を用いて、前記空間情報ビットストリームが埋め込まれる挿入領域の挿入ビット長さ（すなわち、Ｋ値）を求め、前記挿入領域に前記空間情報ビットストリームを埋め込むことができる。

図１８は、本発明による少なくとも１チャンネルにダウンミックスされたオーディオ信号に空間情報を埋め込む第１の方法を示す。ダウンミックス信号が少なくとも１チャンネルで構成された場合、空間情報は、該少なくとも１チャンネルに共通するデータとされる。したがって、前記空間情報を少なくとも１チャンネルに分けて埋め込む方法が必要である。図１８は、前記空間情報を、少なくとも１チャンネルを持つダウンミックス信号のうち、１チャンネルにのみ埋め込む方法を示す。図示のように、前記空間情報はダウンミックス信号のＫビットに埋め込まれるが、一つのチャンネルにのみ埋め込まれ、他のチャンネルには埋め込まない。該Ｋ値は、ブロック別にまたはチャンネル毎に異なってくる。前述の如く、前記Ｋ値に該当するビットはダウンミックス信号の下位ビットに該当することができるが、本発明はこれに限定されない。ここで、前記空間情報ビットストリームは、１チャンネルにＬＳＢからビットプレーン（ＢｉｔＰｌａｎｅ）順に入れるか、または、サンプル順に入れることができる。

図１９は、本発明による少なくとも１チャンネルを持つダウンミックス信号に空間情報を埋め込む第２の方法を示す。図１９では、便宜上、２チャンネルを持つダウンミックス信号について説明するが、本発明がこれに限定されることはない。図示のように、第２の方法は、空間情報を１チャンネル（ここでは、左チャンネル）のブロックｎにまず埋め込んだ後、他のチャンネル（ここでは、右チャンネル）のブロックｎに埋め込み、続いて元チャンネル（左チャンネル）のブロックｎ+１に再び埋め込む方式で行われる。この場合、シンク情報は一つのチャンネルにのみ埋め込まれることができる。ブロック毎に前記空間情報ビットストリームが前記ダウンミックス信号に埋め込まれることができるが、復号化過程ではブロック毎またはフレーム毎に前記空間情報ビットストリームを抽出することができる。前記ダウンミックス信号の２チャンネルの信号特性が異なるので、各チャンネルでのマスキング限界値を個別に求め、Ｋ値を各チャンネルにそれぞれ割り当てることができる。すなわち、図示のように、一つのチャンネルにはＫ₁を、他のチャンネルにはＫ₂を割り当てることができる。また、前記Ｋ値は各ブロック毎に異なっても良い。この場合にも同様に、前記空間情報は各チャンネルに、ＬＳＢからビットプレーン（ＢｉｔＰｌａｎｅ）順に埋め込まれる、または、サンプル順に埋め込まれることができる。

図２０は、本発明による少なくとも１チャンネルを持つダウンミックス信号に空間情報を埋め込む第３の方法を示す。図２０では、２チャンネルを持つダウンミックス信号について説明しているが、本発明はこれに限定されない。図示のように、第３の方法は、空間情報を２チャンネルに分けて埋め込むものの、これをサンプル単位に２チャンネルに交互に埋め込む方式で行われる。なお、２チャンネルの信号特性が異なるので、各チャンネルにおけるマスキング限界値を個別に求め、各Ｋ値を各チャンネルにそれぞれ割り当てることができる。すなわち、図示のように、一つのチャンネルにはＫ₁を、他のチャンネルにはＫ₂を割り当てることができる。また、前記Ｋ値は、ブロック毎に異なっても良い。例えば、前記空間情報をまず一つのチャンネル（ここでは、左チャンネル）のサンプル１の下位Ｋ１ビットにまず埋め、他のチャンネル（ここでは、右チャンネル）のサンプル１の下位Ｋ２ビットに埋める。次に、元チャンネル（左チャンネル）のサンプル２の下位Ｋ１ビットを再び埋め、他のチャンネル（右チャンネル）のサンプル２の下位Ｋ２ビットを埋める。同図で、ブロック内の数字は、空間情報ビットストリームを埋め込む順序を表す。図２０では、ＭＳＢから埋めるとしたが、ＬＳＢから埋めても良い。

図２１は、本発明による少なくとも１チャンネルを持つダウンミックス信号に空間情報を埋め込む第４の方法を示す。図２１では、２チャンネルを持つダウンミックス信号について説明するが、本発明はこれに限定されない。図示のように、第４の方法は、空間情報を少なくとも１チャンネルに分けて埋め込むものの、それをＬＳＢからビットプレーン単位に２チャンネルに交互に埋め込む方式で行う。なお、２チャンネルの信号特性が異なるので、各チャンネルでのマスキング限界値を個別に求め、Ｋ（Ｋ₁及びＫ₂）値を各チャンネルにそれぞれ割り当てることができる。すなわち、図示のように一つのチャンネルにはＫ₁を、他のチャンネルにはＫ₂を割り当てることができる。

また、前記Ｋ値は各ブロック毎に異なっても良い。例えば、まず一つのチャンネル（ここでは、左チャンネル）のサンプル１の最下位１ビットを埋め、他のチャンネル（ここでは、右チャンネル）のサンプル１の最下位１ビットを埋める。次に、元チャンネル（左チャンネル）のサンプル２の最下位１ビットを再び埋め、他のチャンネル（右チャンネル）のサンプル２の最下位１ビットを再び埋める。同図で、ブロック内の数字は、空間情報を埋める順序を表す。

オーディオ信号が補助データ領域がないストレージ媒体（例えば、ステレオＣＤ）に保存されるか、ＳＰＤＩＦのような方式で転送される場合、Ｌ／Ｒチャンネルがサンプル単位にインタリービング（ｉｎｔｅｒｌｅａｖｉｎｇ）されるため、上記第３の方法、第４の方法で保存されている方が、デコーダの立場では受信する順に処理できるので有利である。また、上記第４の方法は、空間情報ビットストリームを再整列する過程でビットプレーン単位に再整列して保存する場合に適用できる。上述のように、２チャンネルに空間情報ビットストリームを分けて埋め込む場合に、Ｋ値を各チャンネルに異ならせて割り当てることが可能であるが、この場合、ビットストリーム内に各チャンネル別にＫ値を個別に転送することが可能である。また、前記Ｋ値を複数にして転送する場合、前記Ｋ値を符号化する時にディファレンシャル（ｄｉｆｆｅｒｅｎｔｉａｌ）符号化方法を利用すれば良い。

図２２は、本発明による少なくとも１チャンネルを持つダウンミックス信号に空間情報を埋め込む第５の方法を示す。図２２では、２チャンネルを持つダウンミックス信号について説明しているが、本発明はこれに限定されない。図示のように、第５の方法は、前記空間情報を２チャンネルに分けて埋め込むものの、これら２チャンネルに同じ値を繰り返し挿入する方式で行われる。このとき、前記少なくとも２チャンネルに同じ符号の値を挿入するか、または、符号を反対にして挿入する。例えば、２チャンネルに１の値を挿入するか、または、１と−１の値を交互に挿入することができる。この第５の方法は、少なくとも１チャンネルの最下位挿入ビット（例えば、Ｋビット）を比較することによって、転送誤りを容易に確認できる長所を持つ。特に、モノオーディオ信号をＣＤのようなステレオ媒体に転送する場合、ダウンミックス信号のＬ（ｌｅｆｔ）チャンネルとＲ（ｒｉｇｈｔ）チャンネルが同一なため、挿入される空間情報も同一にすることによってロバスト性(ｒｏｂｕｓｔ)の向上などを図ることができる。ここでも同様に、前記空間情報は各チャンネルにＬＳＢからビットプレーン順に埋め込まれても良く、サンプル順に埋め込まれても良い。

図２３は、本発明による少なくとも１チャンネルを持つダウンミックス信号に空間情報を埋め込む第６の方法を示す。第６の方法は、各チャンネルのフレームが複数のブロック（長さＢ）で構成された場合に、前記空間情報を少なくとも１チャンネルを持つダウンミックス信号に挿入する方法に関する。図示のように、前記挿入ビット長（すなわち、Ｋ値）は、各チャンネル毎及びブロック毎にそれぞれ異なる値を持つか、または、同じ値を持つことができる。これらの挿入ビット長（例えば、Ｋ₁，Ｋ₂，Ｋ₃及びＫ₄）は、フレーム全体に対して１回転送されるフレームヘッダ内に保存されることができ、該フレームヘッダはＬＳＢに位置することができる。この場合に、前記ヘッダはビットプレーン単位に挿入することができ、空間情報データはサンプル単位に交互に挿入されるか、または、ブロック単位に交互に挿入することができる。図２３は、フレーム内ブロック数が２である場合を示しており、したがって、前記ブロックの大きさ（Ｂ）は、Ｎ／２となる。この場合、前記フレームに挿入されたビット数は、（Ｋ₁＋Ｋ₂＋Ｋ₃＋Ｋ₄）＊Ｂとなる。

図２４は、本発明による少なくとも１チャンネルを持つダウンミックス信号に空間情報を埋め込む第７の方法を示す。図２４では、２チャンネルを持つダウンミックス信号について説明しているが、本発明はこれに限定されない。図示のように、第７の方法は、前記空間情報を少なくとも２チャンネルに分けて埋め込むものの、それをＬＳＢ（または、ＭＳＢ）からビットプレーン順に２チャンネルに交互に挿入する方法と、サンプル単位に交互に挿入する方法とを混合したものである。この方法は、フレーム単位に行われる、または、図示のようにブロック単位に行われることができる。図２４に図示のように、１〜Ｃ（ハッチング部分）はヘッダに対応する部分で、挿入フレームシンクワードの探索を容易にするためにＬＳＢ（または、ＭＳＢ）にビットプレーン順に挿入することができる。Ｃ＋１以上（非ハッチング部分）はヘッダ以外の部分で、空間情報データの読み出しを容易にするためにサンプル単位に２チャンネルに交互に挿入することができる。挿入ビット長（例えば、Ｋ値）は、各チャンネル及びブロック毎に異なる値を持つか、または、同じ値を持つことができる。前記挿入ビット長はいずれも、ヘッダ内に含まれることができる。

図２５は、本発明による少なくとも１チャンネルを持つダウンミックス信号に埋め込まれる空間情報をエンコーディングする方法を示すフローチャートである。まず、マルチチャネルオーディオ信号（２５０１）からオーディオ信号を少なくとも１チャンネルにダウンミックス（２５０２）する。また、前記マルチチャネルオーディオ信号（２５０１）から空間情報を抽出（２５０３）し、該空間情報を用いて空間情報ビットストリームを生成（２５０４）する。前記少なくとも１チャンネルを持つダウンミックス信号に前記空間情報ビットストリームを埋め込む（２５０５）。このとき、空間情報ビットストリームを少なくとも１チャンネルに埋め込む上記の７つの方法のうち、一つ以上の方法が用いられることができる。次に、前記空間情報ビットストリームの埋め込まれた前記ダウンミックス信号を含む全体ビットストリームを転送（２５０６）する。ここで、本発明は、前記ダウンミックス信号を用いてＫ値を求め、該Ｋビットに前記空間情報ビットストリームを埋め込むことができる。

図２６は、本発明による少なくとも１チャンネルを持つダウンミックス信号に埋め込まれた空間情報ビットストリームをデコーディングする方法を示すフローチャートである。まず、空間デコーダは、空間情報ビットストリームの埋め込まれたダウンミックス信号を含むビットストリームを受信（２６０１）し、該ビットストリームからダウンミックス信号を検出（２６０２）する。また、前記受信されたビットストリームから、少なくとも１チャンネルを持つダウンミックス信号に埋め込まれた空間情報ビットストリームを抽出し且つデコーディング（２６０３）する。続いて、前記デコーディングから得られた空間情報を用いて、前記ダウンミックス信号をマルチチャネル信号に変換（２６０４）する。ここで、本発明は、前記空間情報ビットストリームが埋め込まれた順序に対する識別情報を抽出し、該識別情報を用いて前記空間情報ビットストリームを抽出及びデコーディングすることができる。なお、本発明は、前記ビットストリームからＫ値に対する情報を読み出し、該Ｋ値を用いて前記空間情報ビットストリームをデコーディングすることができる。

以上では具体的な実施例に挙げて本発明を説明してきたが、これらの実施例は、本発明を理解するための説明のために提示されたもので、本発明の範囲を制限するためのものではない。本発明の技術的思想の範囲内で本発明の様々な変形が可能であるということは、当該技術分野における通常の知識を持つ者にとっては明らかであり、したがって、本発明の範囲は、添付した特許請求の範囲によって定められるべきである。

本発明によるオーディオ信号に対する空間情報を人間が認識する方法を示す図である。本発明による空間エンコーダを示すブロック図である。本発明による図２の空間エンコーダを構成する埋め込み部を示す詳細ブロック図である。本発明による空間情報ビットストリームを再整列する第１の方法を示す図である。本発明による空間情報ビットストリームを再整列する第２の方法を示す図である。本発明による空間情報ビットストリームを再構成した形態を示す図である。図６Ａの空間情報ビットストリームの構成形態を示す詳細図である。本発明による空間デコーダを示すブロック図である。本発明による空間デコーダに含まれる埋め込み信号デコーダを示す詳細ブロック図である。本発明によるオーディオ信号を一般的なＰＣＭデコーダで再生する様子を示す図である。本発明によるダウンミックス信号に空間情報を埋め込むエンコーディング方法を示すフローチャートである。本発明によるダウンミックス信号に埋め込まれた空間情報をデコーディングする方法を示すフローチャートである。本発明によるダウンミックス信号に埋め込まれる空間情報ビットストリームのフレーム大きさを示す図である。本発明によるダウンミックス信号に一定の大きさで埋め込まれる空間情報ビットストリームを示す図である。一定の大きさで埋め込まれる空間情報ビットストリームの時間軸整列（ｔｉｍｅａｌｉｇｎ）問題を解決するための第１の方法を示す図である。一定の大きさで埋め込まれる空間情報ビットストリームの時間軸整列問題を解決するための第２の方法を示す図である。本発明によるダウンミックス信号に空間情報ビットストリームがアタッチ（ａｔｔａｃｈ）されるように生成される方法を示す図である。本発明によるダウンミックス信号に様々な大きさで埋め込まれる空間情報ビットストリームをエンコーディングする方法を示すフローチャートである。本発明によるダウンミックス信号に一定の大きさで埋め込まれる空間情報ビットストリームをエンコーディングする方法を示すフローチャートである。本発明による少なくとも２チャンネルにダウンミックスされたオーディオ信号に空間情報ビットストリームを埋め込む第１の方法を示す図である。本発明による少なくとも２チャンネルにダウンミックスされたオーディオ信号に空間情報ビットストリームを埋め込む第２の方法を示す図である。本発明による少なくとも２チャンネルにダウンミックスされたオーディオ信号に空間情報ビットストリームを埋め込む第３の方法を示す図である。本発明による少なくとも２チャンネルにダウンミックスされたオーディオ信号に空間情報ビットストリームを埋め込む第４の方法を示す図である。本発明による少なくとも２チャンネルにダウンミックスされたオーディオ信号に空間情報ビットストリームを埋め込む第５の方法を示す図である。本発明による少なくとも２チャンネルにダウンミックスされたオーディオ信号に空間情報ビットストリームを埋め込む第６の方法を示す図である。本発明による少なくとも２チャンネルにダウンミックスされたオーディオ信号に空間情報ビットストリームを埋め込む第７の方法を示す図である。本発明による２チャンネルのダウンミックス信号に埋め込まれる空間情報ビットストリームをエンコーディングする方法を示すフローチャートである。本発明による２チャンネルのダウンミックス信号に埋め込まれた空間情報ビットストリームをデコーディングする方法を示すフローチャートである。

Claims

オーディオ信号をデコードする方法であって、
ダウンミックス信号と、該ダウンミックス信号に結合フレームとして付加された空間情報フレームを受信するステップであって、前記空間情報フレームは、マルチチャンネルオーディオ信号を生成するために前記ダウンミックス信号に適用されるパラメータを含む、ステップと、
前記空間情報フレームのヘッダが前記結合フレームに含まれているかどうかを示す識別情報を抽出するステップであって、前記識別情報は前記結合フレームのヘッダから抽出される、ステップと、
前記識別情報に基づいて前記空間情報フレームのヘッダから前記ヘッダデータを抽出するステップと、
前記空間情報フレームのヘッダデータに基づいて、前記空間情報フレームから前記パラメータを抽出するステップと、
前記パラメータを前記ダウンミックス信号に適用することによって、前記マルチチャンネルオーディオ信号を生成するステップと、
を有する方法。
前記結合フレームのヘッダは、該結合フレームのヘッダの始点を識別する同期ビットを含む、請求項１に記載の方法。
オーディオ信号をデコードする装置であって、
ダウンミックス信号と、該ダウンミックス信号に結合フレームとして付加された空間情報フレームを受信する手段であって、前記空間情報フレームは、マルチチャンネルオーディオ信号を生成するために前記ダウンミックス信号に適用されるパラメータを含む、手段と、
前記空間情報フレームのヘッダが前記結合フレームに含まれているかどうかを示す識別情報を抽出する手段であって、前記識別情報は前記結合フレームのヘッダから抽出される、手段と、
前記識別情報に基づいて前記空間情報フレームのヘッダから前記ヘッダデータを抽出する手段と、
前記空間情報フレームのヘッダデータに基づいて、前記空間情報フレームから前記パラメータを抽出する手段と、
前記パラメータを前記ダウンミックス信号に適用することによって、前記マルチチャンネルオーディオ信号を生成する手段と、
を備える装置。
前記結合フレームのヘッダは、該結合フレームのヘッダの始点を識別する同期ビットを含む、請求項３に記載の装置。
オーディオ信号をエンコードする方法であって、
マルチチャンネルオーディオ信号をダウンミックスすることによって、ダウンミックス信号を生成するステップと、
前記ダウンミックス信号をデコードするための空間情報フレームを生成するステップであって、前記空間情報フレームは、前記マルチチャンネルオーディオ信号を生成するために前記ダウンミックス信号に適用されるパラメータを含む、ステップと、
前記ダウンミックス信号に前記空間情報フレームを結合フレームとして付加するステップと、を有し、
前記結合フレームは該結合フレームのヘッダを含み、該結合フレームのヘッダは、前記空間情報フレームのヘッダが前記結合フレームに含まれるかどうかを指示する識別情報を含む、方法。
オーディオ信号をエンコードする装置であって、
マルチチャンネルオーディオ信号をダウンミックスすることによって、ダウンミックス信号を生成する手段と、
前記ダウンミックス信号をデコードするための空間情報フレームを生成する手段であって、前記空間情報フレームは、前記マルチチャンネルオーディオ信号を生成するために前記ダウンミックス信号に適用されるパラメータを含む、手段と、
前記ダウンミックス信号に前記空間情報フレームを結合フレームとして付加する手段と、を備え、
前記結合フレームは該結合フレームのヘッダを含み、該結合フレームのヘッダは、前記空間情報フレームのヘッダが前記結合フレームに含まれるかどうかを指示する識別情報を含む、装置。