JP5227794B2 - オーディオ信号をエンコーディング及びデコーディングするための装置とその方法 - Google Patents

Description

本発明はオーディオ信号をエンコーディング及び／またはデコーディングするための方法及び／または装置に関する。

本発明は、マルチチャンネルオーディオ信号の空間情報に対するエンコーディング及び／またはデコーディングに関するものである。近年、デジタルオーディオ信号に対するコーディング技術及び方法が種々開発されてきており、これと関連する種々の製品も生産されている。

ところが、マルチチャンネルオーディオ信号がモノまたはステレオオーディオ信号の形でダウンミックスされる場合、オーディオ信号のサウンドレベル損失という問題点が存在することがある。特に、コーディング済みの信号は、例えば、１６ビットなどといったようにサイズが限られるため、コアコーデックエンコーディング後にもサウンドレベル損失の現象が現れる。かようなオーディオ信号のサウンドレベル損失の現象はオーディオ信号の出力特性に影響を及ぼし、サウンド品質の劣化を来たす結果となる。

本発明は上記事情に鑑みてなされたものであり、その目的は、マルチチャンネルオーディオ信号のダウンミックス信号にダウンミックス利得を適用することにより、マルチチャンネルオーディオ信号のサウンドレベル損失の問題点を解消するところにある。

本発明の他の目的は、マルチチャンネルオーディオ信号のダウンミックス信号に任意のダウンミックス利得を適用することにより、マルチチャンネルオーディオ信号のサウンドレベル損失の問題点を解消するところにある。

本発明のさらに他の目的は、マルチチャンネルオーディオ信号の特定のチャンネルに特定のチャンネル利得を適用することにより、マルチチャンネルオーディオ信号のサウンドレベル損失の問題点を解消するところにある。

本発明のさらに他の目的は、少なくとも２つのダウンミックス利得、すなわち、任意のダウンミックス利得と特定のチャンネル利得を用いることにより、マルチチャンネルオーディオ信号のサウンドレベル損失の問題点を解消するところにある。

前記目的を達成するための本発明によるオーディオ信号のデコーディング方法は、オーディオ信号のビットストリームからダウンミックス信号を分離するステップと、ＡＤＧ(ａｒｂｉｔｒａｒｙ ｄｏｗｎｍｉｘ ｇａｉｎ)をダウンミックス信号に適用してダウンミックス信号を修正するステップと、を含む。

また、本発明によるオーディオ信号のエンコーディングド方法は、第１のダウンミックス信号及び第２のダウンミックス信号の中で少なくとも一つを多重チャンネルのオーディオ信号から受信するステップと、ＡＤＧを受信されたダウンミックス信号に適用して受信されたダウンミックス信号を修正するステップと、を含む。

また、本発明によるデータ構造は、多重チャンネルのオーディオ信号から生成されたダウンミックス信号を含むビットストリームと、ダウンミックス信号に適用されたＡＤＧに関する情報と、を含む。

また、本発明によるオーディオ信号のデコーディング装置は、ダウンミックス信号及び空間情報信号をオーディオ信号のビットストリームから分離するデマルチプレクサと、ＡＤＧに関する情報を空間情報信号から抽出するＡＤＧ抽出部と、ＡＤＧをダウンミックス信号に適用するＡＤＧ適用部と、を含む。

また、本発明によるオーディオ信号のエンコーディング装置は、多重チャンネルのオーディオ信号から空間情報を抽出する空間情報生成部と、多重チャンネルのオーディオ信号から生成された第１のダウンミックス信号または外部から提供される第２のダウンミックス信号にＡＤＧを適用するＡＤＧ適用部と、ＡＤＧ適用ダウンミックス信号及び空間情報を含むビットストリームを生成するマルチフレクサと、を含む。

以下、添付図面に基づき、本発明の好適な実施形態を詳述する。

本発明のさらなる理解を提供するために添付された図面は本発明の一部として一体化及び構成されて、本発明の実施形態を例示し、説明とともに本発明の原理を説明するのに寄与する。

図１は、オーディオ信号の空間情報を人間に視認させる方法を示す。

マルチチャンネルオーディオ信号のコーディングは、人間がオーディオ信号を３次元的に認識するため、オーディオ信号は複数のパラメータ組を用いて３次元空間情報の形で表現可能であるということを用いる。

マルチチャンネルオーディオ信号の空間情報を示すための「空間パラメータ」は、チャンネルレベル差分（ＣＬＤ；Ｃｈａｎｎｅｌ Ｌｅｖｅｌ Ｄｉｆｆｅｒｅｎｃｅ）と、チャンネル間一貫性（ＩＣＣ；Ｉｎｔｅｒ Ｃｈａｎｎｅｌ Ｃｏｈｅｒｅｎｃｅ）と、チャンネル時間差分（ＣＴＤ；Ｃｈａｎｎｅｌ Ｔｉｍｅ Ｄｉｆｆｅｒｅｎｃｅ）と、を含む。ＣＬＤとは、２チャンネル間のエネルギー差分のことを言う。ＩＣＣとは、２チャンネル間相関のことを言う。ＣＴＤとは、２チャンネル間の時間差分のことを言う。

図１は、人間がどのようにしてオーディオ信号を空間的に認識するかと、空間パラメータの概念がどのようにして生成されるかを示している。

図１を参照すれば、遠距離サウンドソース１０１から一方のダイレクトサウンド波１０３が人間の左側耳１０７に達し、他方のダイレクトサウンド波１０２は人間の頭の周りにおいて回折された後に人間の右側耳１０６に達する。

両方のサウンド波１０２及び１０３の間には到達時間とエネルギーレベルにおいて差分がある。この差分により、上述したＣＴＤパラメータとＣＬＤパラメータが生成される。

一方、反射されたサウンド波１０４及び１０５が人間の両耳に達するか、あるいは、サウンドソース１０１が分散型サウンドソースを含む場合に、相関のあるサウンド波が人間の両耳に達する。その結果、上述したＩＣＣパラメータが生成される。

上述した原理により生成される空間パラメータを用いることにより、マルチチャンネルオーディオ信号をモノまたはステレオ信号の形で送信することが可能であり、しかも、送信されたモノまたはステレオ信号をマルチチャンネルオーディオ信号の形で出力することも可能になる。

本発明は、ダウンミックス信号がマルチチャンネルオーディオ信号に変換されるとき、上述した空間情報を用いてダウンミックス信号を変更する方法を提供する。

図２は、オーディオ信号のエンコーディング中に生成されるオーディオ信号のサウンドレベル損失を示す。オーディオ信号のサウンドレベル損失は、主として、２種類の要因により発生する。第一は、元の信号のサウンドレベルが高い場合に、このようなサウンドレベル損失が発生する。第二には、ダウンミックスの対象となる入力チャンネルの数が多い場合にもこのようなサウンドレベル損失が発生する。例えば、３本のチャンネルが１本のチャンネルにダウンミックスされる場合に比べて、７本のチャンネルが１本のチャンネルにダウンミックスされる場合に、サウンドレベル損失がなお一層頻繁に発生する。図２におけるサウンドレベル損失は、５本のチャンネルが１本のチャンネルにダウンミックスされる場合に対応している。しかしながら、本発明はこのような場合に何ら制限されるものではない。このようなサウンドレベル損失は、例えば、クリッピングなどの種々の要因により発生可能である。

図２（ａ）は、５本のチャンネルからなる元の信号のサウンドレベルを示す。元の信号の各チャンネルは、限られたサイズ、例えば、１６ビットのほぼ全範囲を用いることもある。図２（ｂ）は、５本のチャンネルのダウンミックスにより生成されるダウンミックス信号を示す。図２（ｂ）に示すように、ダウンミックス信号は、限られたサイズを超える多数のピークを有することもある。図２（ｃ）は、コアコーデック、例えば、ＡＡＣコーデックを用いてダウンミックス信号のエンコーディング／デコーディングを行った後に生成されるオーディオ信号を示す。コアコーデックのエンコーディング／デコーディング動作により生成されるこのようなオーディオ信号の場合にも、オーディオ信号が限られたサイズ、例えば、１６ビット内において表現されるため、サウンドレベル損失が依然として存在するであろう。このようなサウンドレベル損失は、マルチチャンネルオーディオ信号の出力特性に影響を及ぼし、サウンド品質における劣化を招く。

図３は、本発明の第１の実施形態によりダウンミックス信号を変更するために、ダウンミックス信号にダウンミックス利得が適用される第１のエンコーディング装置を示す。第１のエンコーディング装置は、ダウンミックス部３０２と、空間情報生成部３０３と、ダウンミックス利得適用部３０６と、マルチプレクサー３０８と、を備える。

図３を参照すれば、ダウンミックス部３０２は、マルチチャンネルオーディオ信号３０１をダウンミックスして、ダウンミックス信号３０４を生成する。図３中、「ｎ」は、入力チャンネルの数を意味する。ダウンミックス信号３０４は、モノ、ステレオ、またはマルチチャンネルオーディオ信号であってもよい。

空間情報生成部３０３は、マルチチャンネルオーディオ信号３０１から空間情報を抽出する。ここで、「空間情報」とは、マルチチャンネルオーディオ信号のダウンミックスにより生成されたダウンミックス信号をマルチチャンネルオーディオ信号にアップミックスするのに用いられるオーディオ信号チャンネルに関する情報のことを言う。

ダウンミックス利得適用部３０６は、ダウンミックス信号３０４にダウンミックス利得を適用して、ダウンミックス信号３０４のサウンドレベルを下げる。ここで、「ダウンミックス利得」とは、ダウンミックス信号またはマルチチャンネルオーディオ信号に適用されて当該信号のサウンドレベルを変更する値のことを言う。エンコーディング装置において、ダウンミックス信号に対するこのようなダウンミックス利得の適用は、主としてダウンミックス信号のサウンドレベルを下げるために用いられる。例えば、１よりも大きなダウンミックス利得が用いられる場合、ダウンミックス信号にはダウンミックス利得の逆数が乗算されて、ダウンミックス信号の全体のサウンドレベルを下げる。

例えば、低周波利得またはサラウンド利得などの特定のチャンネル利得が、マルチチャンネルオーディオ信号３０１のうち少なくとも１つに適用可能である。ダウンミックス部３０２は、上述したように、マルチチャンネルオーディオ信号３０１のうち少なくとも１つに特定のチャンネル利得が適用された条件下で、マルチチャンネルオーディオ信号３０１と関連するダウンミックス信号３０４を生成することができる。その後、ダウンミックス信号３０４に対するダウンミックス利得の適用が行われる。もちろん、ダウンミックス利得適用部３０６がマルチチャンネルオーディオ信号３０１からダウンミックス信号３０４を生成する過程でダウンミックス利得の適用を行うこともできる。

マルチプレクサー３０８は、ダウンミックス利得の適用されたダウンミックス信号３０７と空間情報信号３０５を含むビットストリーム３０９を生成する。空間情報信号３０５は、空間情報生成部３０３により抽出された空間情報からなる。ビットストリーム３０９は、デコーディング装置に送信される。ビットストリーム３０９は、ダウンミックス利得に関する情報、すなわち、ダウンミックス利得情報を含んでいてもよい。

図４は、本発明の一実施形態によりダウンミックス信号を変更するために、ダウンミックス信号にダウンミックス利得が適用される第１のデコーディング装置を示す。第１のデコーディング装置は、デマルチプレクサー４０２と、ダウンミックス信号デコーディング部４０５と、空間情報信号デコーディング部４０６と、ダウンミックス利得適用部４０９と、マルチチャンネル生成部４１１と、を備える。

図４を参照すれば、デマルチプレクサー４０２は、オーディオ信号のビットストリーム４０１を受信し、ビットストリーム４０１からエンコーディングされたダウンミックス信号４０３とエンコーディングされた空間情報信号４０４を分離する。

ダウンミックス信号デコーディング部４０５は、エンコーディングされたダウンミックス信号４０３をデコーディングし、デコーディングされた信号をダウンミックス信号４０７として出力する。空間情報信号デコーディング部４０６は、エンコーディングされた空間情報信号４０４をデコーディングし、デコーディングされた信号を空間情報４０８として出力する。

ダウンミックス利得適用部４０９は、ダウンミックス信号４０７にダウンミックス利得を適用し、これにより、元のサウンドレベルを有するダウンミックス信号４１０を出力する。例えば、ダウンミックス利得が１よりも大きな場合、ダウンミックス信号にはダウンミックス利得が乗算されて、ダウンミックス信号のサウンドレベルが高くなる。一方、ダウンミックス利得適用部４０９は、ダウンミックス信号をマルチチャンネルオーディオ信号に変換する過程でダウンミックス利得の適用を行う。

マルチチャンネル生成部４１１は、空間情報４０８を用い、マルチチャンネルオーディオ信号ｏｕｔ２としてダウンミックス利得の適用されたダウンミックス信号４１０を出力する。

図５は、本発明の一実施形態によりマルチチャンネルオーディオ信号を変更するために、マルチチャンネルオーディオ信号にダウンミックス利得が適用される第２のエンコーディング装置を示す。第１のエンコーディング装置と同様に、第２のエンコーディング装置は、ダウンミックス部５０４と、空間情報生成部５０５と、ダウンミックス利得適用部５０２と、マルチプレクサー５０８と、を備える。

図５を参照すれば、第２のエンコーディング装置は、第１のエンコーディング装置とほとんど同様である。第２のエンコーディング装置は、ダウンミックス利得適用部５０２の位置において第１のエンコーディング装置と相違点がある。すなわち、第１のエンコーディング装置においてはダウンミックス信号にダウンミックス利得が適用されるが、第２のエンコーディング装置においてはマルチチャンネルオーディオ信号にダウンミックス利得が適用されるのである。

具体的に、ダウンミックス利得適用部５０２は、マルチチャンネルオーディオ信号５０１にダウンミックス利得を適用し、これにより、ダウンミックス利得の適用されたマルチチャンネルオーディオ信号５０３を生成する。ダウンミックス部５０４は、マルチチャンネルオーディオ信号５０３をダウンミックスし、これにより、ダウンミックス信号５０６を生成する。空間情報生成部５０５は、ダウンミックス利得の適用されたマルチチャンネルオーディオ信号５０３から空間情報を抽出する。マルチプレクサー５０８は、ダウンミックス信号５０６と空間情報信号５０７を含むビットストリーム５０９を生成する。

図６は、本発明の一実施形態によりマルチチャンネルオーディオ信号を変更するために、マルチチャンネルオーディオ信号にダウンミックス利得が適用される第２のデコーディング装置を示す。第１のデコーディング装置と同様に、第２のデコーディング装置は、デマルチプレクサー６０２と、ダウンミックス信号デコーディング部６０５と、マルチチャンネル生成部６０９と、ダウンミックス利得適用部６１１と、を備える。

デマルチプレクサー６０２と、ダウンミックス信号デコーディング部６０５及び空間情報信号デコーディング部６０６は、図４を参照して説明した第１のデコーディング装置のものと同一または類似するため、これについての詳細な説明は省く。

マルチチャンネル生成部６０９は、空間情報６０８を用いてダウンミックス信号６０７をマルチチャンネルオーディオ信号６１０に変換する。

ダウンミックス利得適用部６１１は、マルチチャンネルオーディオ信号６１０にダウンミックス利得を適用してから、ダウンミックス利得の適用されたマルチチャンネルオーディオ信号ｏｕｔ２を出力する。デコーディング装置が空間情報を用いてマルチチャンネルオーディオ信号を出力することができない場合、ダウンミックス信号６０７は、ダウンミックス信号デコーディング部６０５から直接的に出力可能である（ｏｕｔ１）。

図７は、本発明の第１の実施形態によりダウンミックス信号を変更するために、ダウンミックス信号にダウンミックス利得が適用される第３のエンコーディング装置を示す。第３のエンコーディング装置は、ダウンミックス部７０２と、空間情報生成部７０３と、ダウンミックス利得決定部７０６と、ダウンミックス利得適用部７０８と、マルチプレクサー７１０と、を備える。

図７を参照すれば、第３のエンコーディング装置は。第１のエンコーディング装置とほとんど同様である。第３のエンコーディング装置は、ダウンミックス利得決定部７０６を備えるという点で、第１のエンコーディング装置とは相違点がある。ダウンミックス部７０２と、空間情報生成部７０３と、ダウンミックス利得適用部７０８及びマルチプレクサー７１０は、図３を参照して説明した第１のエンコーディング装置のものとほとんど同様であるため、これについての詳細な説明は省く。

ダウンミックス利得決定部７０６は、ダウンミックス信号に適用されるダウンミックス利得を決める。ダウンミックス利得決定部７０６は、マルチチャンネルオーディオ信号７０１がダウンミックスされてダウンミックス信号７０４を生成するときに発生するサウンドレベル損失の頻度と度合いのうち少なくとも一方を測定することにより、ダウンミックス利得を決めることができる。

「ｘ_kｎ」ｋ＝１、２、３、…、Ｎがマルチチャンネルオーディオ信号の各チャンネル信号を示し、ダウンミックス信号は「

」により生成され、ダウンミックス利得の最大値は「

」に決められる。例えば、

の場合、ダウンミックス利得の最大値は４．７３に決められるであろう。ダウンミックス利得の最大値が小数点以下の切り捨てを取る場合、４に決められる。

図８は、本発明の一実施形態によりダウンミックス信号を変更するために、ダウンミックス信号にダウンミックス利得が適用される第３のデコーディング装置を示す。第３のデコーディング装置は、デマルチプレクサー８０２と、ダウンミックス信号デコーディング部８０５と、空間情報信号デコーディング部８０７と、ダウンミックス利得抽出部８０８と、ダウンミックス利得適用部８０９と、マルチチャンネル生成部８１２と、を備える。

図８を参照すれば、第３のデコーディング装置は、第１のデコーディング装置とほとんど同様である。第３のデコーディング装置は、ダウンミックス利得抽出部８０８において第１のデコーディング装置と相違点がある。

デマルチプレクサー８０２と、ダウンミックス信号デコーディング部８０５と、空間情報信号デコーディング部８０７と、ダウンミックス利得適用部８０９及びマルチチャンネル生成部８１２は、図４を参照して説明した第１のデコーディング装置と同一または類似するため、これについての説明は省く。

ダウンミックス利得抽出部８０８は、デコーディングされた空間情報信号８０４またはデコーディングされたダウンミックス信号８０３からダウンミックス利得情報を抽出することができる。

図９は、本発明のそれぞれの実施形態のによりダウンミックス利得情報を含むビットストリームを示す。図９（ａ）に示すように、ダウンミックス信号９０１と空間情報信号９０２を含むビットストリームの空間情報信号９０２には、ダウンミックス利得情報がフレームごとに挿入可能である。

図９（ｂ）に示すように、ビットストリームのダウンミックス信号９０３にダウンミックス利得情報がフレームごとに挿入可能である。また、ビットストリームにダウンミックス利得情報が複数のフレームごとに挿入可能である。ダウンミックス利得は、ビットストリームの全フレームに対して定数値を有したり、フレームごとにあるいは複数のフレームごとに可変値を有したりすることができる。

本発明によれば、フレームごとにまたは複数のフレームごとに空間情報信号がヘッダー、すなわち、構成情報領域を有し、ヘッダーはダウンミックス利得情報を含んでいる方法が実現可能である。空間情報信号がフレームごとにヘッダーを有する場合、デコーディング装置は、ヘッダーからダウンミックス利得情報を抽出して当該フレームにダウンミックス利得を適用する。一方、空間情報信号が複数のフレームごとにヘッダーを有する場合、デコーディング装置は、ヘッダーを有するフレームからダウンミックス利得情報を抽出する。そして、デコーディング装置は、ヘッダーを有するフレームにダウンミックス利得を適用し、以前のヘッダーから抽出されたダウンミックス利得を余剰ヘッダーを有さないフレームに適用する。ヘッダーは、空間情報信号のフレームに周期的にまたは非周期的に含まれる。

図９（ｃ）に示すように、ダウンミックス利得情報は、ビットストリームのヘッダー９０４に挿入可能である。ヘッダー９０４は、構成情報などを含む。この場合、ダウンミックス利得情報は、独立値の形でヘッダーに挿入されてもよく、特定のチャンネル利得など他の値とグループ分けされた後、グループ分けされた値の形でヘッダーに挿入されてもよい。

本発明によれば、さらなるビットを用いることなく、ビットストリームの予約されたフィールドにダウンミックス利得情報が挿入される他の方法が実現可能である。

また、本発明によれば、図９（ａ）、図９（ｂ）及び図９（ｃ）に示す方法を組み合わせた別の方法が実現可能である。例えば、ダウンミックス利得は、図９（ｃ）に示すように、ヘッダーに挿入され、これと同時に、図９（ａ）に示すように、空間情報信号にも挿入可能である。また、ダウンミックス利得は、ビットストリームに直接的に挿入されるか、あるいは、ダウンミックス利得が用いられる必要があるかどうかに関する識別情報に基づいてビットストリームに選択的に挿入可能である。例えば、ビットストリームのヘッダーは、ダウンミックス利得が用いられる必要があるかどうかに関する第１の識別情報を有することができる。第１の識別情報に基づいて、ダウンミックス利得が用いられる必要があると判定された場合、ビットストリームの各フレームは、ダウンミックス利得が用いられる必要があるかどうかに関する第２の識別情報を有する。フレームにおいて、ダウンミックス利得が用いられる必要があると判定された場合、当該フレームにはダウンミックス利得が含まれる。

図１０Ａ及び１０Ｂは、本発明の一実施形態よる種々のタイプのダウンミックス利得を示す。ダウンミックス利得は種々の値を有することができる。例えば、図１０Ａ及び１０Ｂに示すように、表は、特定のチャンネル利得、例えば、サラウンド利得及びＬＦＥ利得とダウンミックス利得から構成可能である。表１を参照すれば、サラウンド利得とＬＦＥ利得のそれぞれに対して「１／ｓｑｒｔ（２）」と「１／ｓｑｒｔ（１０）」が使用可能である。ダウンミックス利得に対して「１」または「１／２」が使用可能である。

表２を参照すれば、サラウンド利得とＬＦＥ利得のそれぞれに対して「１／ｓｑｒｔ（２）」と「１／ｓｑｒｔ（１０）」が使用可能である。ダウンミックス利得に対して「１」、「１／２」または「１／４」が使用可能である。

表３を参照すれば、サラウンド利得とＬＦＥ利得のそれぞれに対して「１／ｓｑｒｔ（２）」と「１／ｓｑｒｔ（１０）」が使用可能である。ダウンミックス利得に対して「１」、「１／ｓｑｒｔ（２）」または「１／２」が使用可能である。

表４を参照すれば、サラウンド利得とＬＦＥ利得のそれぞれに対して「１／ｓｑｒｔ（２）」と「１／ｓｑｒｔ（１０）」が使用可能である。ダウンミックス利得に対して「１」、「１／ｓｑｒｔ（２）」、「１／２」または「１／２ｘｓｑｒｔ（２）」が使用可能である。

表５を参照すれば、サラウンド利得とＬＦＥ利得のそれぞれに対して「１／ｓｑｒｔ（２）」と「１／ｓｑｒｔ（１０）」が使用可能である。ダウンミックス利得に対して「１」、「３／４」、「２／３」または「１／２」が使用可能である。

表６を参照すれば、サラウンド利得とＬＦＥ利得のそれぞれに対して「１／ｓｑｒｔ（２）」と「１／ｓｑｒｔ（１０）」が使用可能である。ダウンミックス利得に対して「１」、「３／４」、「２／４」または「１／４」が使用可能である。

図１０Ａ及び図１０Ｂにおいては、サラウンド利得とＬＦＥ利得が特定の値、例えば、それぞれ「１／ｓｑｒｔ（２）」と「１／ｓｑｒｔ（１０）」に固定されると説明されているが、本発明はこれに制限されるものではない。本発明によれば、サラウンド利得とＬＦＥ利得は、ダウンミックス利得でのように、複数の特定の値から選択可能である。本発明によれば、前記サラウンド利得とＬＦＥ利得に加えて、特定のチャンネル利得が使用可能である。

図１１は、本発明によるダウンミックス利得の適用によりサウンド品質劣化が招かれるフレームの周りのサウンド品質劣化を防ぐ方法を示す。ダウンミックス利得の適用によりサウンドレベルにおける変動が発生する場合、ダウンミックス利得の値がいきなり変動するフレーム周りにおいてサウンド品質劣化が発生することがある。これは、ダウンミックス利得の値がいきなり変動するフレーム周りにおいて急激なサウンドレベル変動が発生するためである。この理由から、ダウンミックス利得における変動から招かれる効果を緩やかに発現させるためには、遷移周期を設定する必要がある。この点、スムージング処理は以下の式を用いて行うことができる。

ＤＧｎ＝ａｎＤＧ_t-1ｎ−１＋１−ａｎＤＧ_tｎ、
ここで、ｎ＝０、１、２、…、Ｎである。

式中、「ａｎ」は１次線形関数であっても、通常のｎ次多項関数であってもよい。また、「ａｎ」は、ダウンミックス利得ＤＧが発生する場合、円滑な変動を示す関数、例えば、ガウス関数、ハニング関数またはハミング関数などでありうる。

一方、上述したスムージング処理が行われるとしても、急激なダウンミックス利得変動から招かれる逆効果は依然として残存することがある。このため、急激なダウンミックス利得変動を防ぐために、エンコーディング手続きに制限が伴われる。もちろん、エンコーディング装置が急激な利得変動を防げる構成を含んでいない場合には、急激なダウンミックス利得変動を防ぐための分析がデコーディング装置において行われることもある。例えば、値が漸増または漸減するダウンミックス利得が用いられる場合、連続するフレーム間においてダウンミックス利得変動が１増加分または減少分以内になるように制御するか、あるいは、所定数のフレームｎフレームごとに１増加分または減少分になるように制御することにより、急激なダウンミックス利得変動を防ぐことができる。

図１２は、本発明の一実施形態によりダウンミックス信号にダウンミックス利得を適用するオーディオ信号のエンコーディング方法を示すフローチャートである。図１２を参照すれば、このオーディオ信号のエンコーディング方法が行われるエンコーディング装置がマルチチャンネルオーディオ信号を受信する（Ｓ１２０１）。マルチチャンネルオーディオ信号は、エンコーディング装置のダウンミックス部によりダウンミックスされてダウンミックス信号が生成される（Ｓ１２０２）。上述したように、マルチチャンネルオーディオ信号のダウンミックスによりダウンミックス信号が取得されるが、エンコーディング装置の外部から直接的に入力されるダウンミックス信号、例えば、任意のダウンミックス信号が使用可能である。エンコーディング装置の空間情報生成部によりマルチチャンネルオーディオ信号から空間情報信号が生成される（Ｓ１２０２）。

その後、エンコーディング装置のダウンミックス利得適用部によりダウンミックス信号にダウンミックス利得が適用される（Ｓ１２０３）。例えば、ダウンミックス利得が１よりも大きな場合、ダウンミックス信号にはダウンミックス利得の逆数が乗算されて、ダウンミックス信号のサウンドレベルを下げる。これに対し、ダウンミックス利得が１よりも小さな場合、ダウンミックス信号にはダウンミックス利得が乗算されて、ダウンミックス信号のサウンドレベルを下げる。

そして、エンコーディング装置の乗算器によれば、ダウンミックス利得の適用されたダウンミックス信号と空間情報信号を含むビットストリームが生成される（Ｓ１２０４）。

ビットストリームの全フレームのダウンミックス信号にダウンミックス利得が適用可能である。この方法は、サウンドレベルの大きなダウンミックス信号フレームに対しては好適に適用可能であるが、信号対雑音比（ＳＮＲ）の劣化が発生するため、サウンドレベルの小さなダウンミックス信号フレームに適用される場合に欠点が発生する。このため、所定の時間間隔で異なるダウンミックス利得値が使用可能である。

ダウンミックス利得適用シンタックスは、ビットストリームのフレームごとに定義可能である。この場合、ダウンミックス利得は、ダウンミックス利得適用シンタックスに応じてフレームごとに選択的に適用可能である。例えば、ダウンミックス信号へのダウンミックス利得の適用は、以下のようにして行うことができる。

第一に、ビットストリームのヘッダーにダウンミックス利得が設定される。この場合、ダウンミックス利得はヘッダーに影響されるダウンミックス信号の全フレームに適用される。

第二に、別途に定義されたシンタックスに応じてフレームごとにダウンミックス信号に独立したダウンミックス利得が適用される。

第三に、第１の方法と第２の方法を組み合わせた方法が使用可能である。すなわち、ダウンミックス信号の全フレームに適用されるダウンミックス利得（以下、「第１のダウンミックス利得」と称する。）が設定される。第１のダウンミックス利得は、全体の周期中に、または、例えば、１秒から２秒範囲の長い周期中に用いられる。第１の周期とは別途に、第１のダウンミックス利得によりカバーされない周期中に利得制御を行わせるために、ダウンミックス信号には、フレームごとにもう一つの利得（以下、「第２のダウンミックス利得」と称する。）が適用される。

上述したように、ダウンミックス利得の適用されたダウンミックス信号のデコーディングは、デコーディングされたダウンミックス信号がモノまたはステレオ信号の形で再生される場合、ダウンミックス信号に適用されたダウンミックス利得を考慮することなく、直接的に行うことができる。しかしながら、ダウンミックス信号がマルチチャンネルオーディオ信号の形で再生される必要がある場合、以下の方法が採用可能である。

第一の方法は、関連オーディオ信号のサウンドレベルを復元するために、ダウンミックス信号の全体の範囲にダウンミックス利得を適用するか、あるいは、ヘッダーが適用されるダウンミックス信号の範囲にダウンミックス利得を適用することである。

第二の方法は、フレームごとにダウンミックス信号にダウンミックス利得を適用するか、あるいは、ヘッダーが適用される範囲よりも短い複数フレームのダウンミックス信号にダウンミックス利得を適用することである。

第三の方法は、 第一の方法と第二の方法を組み合わせた方法を用いることである。すなわち、フレームごとにまたは複数のフレームごとにダウンミックス信号に一つのダウンミックス利得が適用され、ダウンミックス信号の全体の範囲にはもう一つのダウンミックス利得が適用される。

図１３は、本発明の一実施形態によりダウンミックス信号にダウンミックス利得が適用されるオーディオ信号のデコーディング方法を示すフローチャートである。図１３を参照すれば、このオーディオ信号のデコーディング方法が行われるデコーディング装置は、オーディオ信号のビットストリームを受信する（Ｓ１３０１）。ビットストリームは、エンコーディングされたダウンミックス信号とエンコーディングされた空間情報信号を含む。

デコーディング装置のデマルチプレクサーは、受信されたビットストリームからエンコーディングされたダウンミックス信号とエンコーディングされた空間情報信号を分離する（Ｓ１３０２）。デコーディング装置のダウンミックス信号デコーディング部は、エンコーディングされたダウンミックス信号をデコーディングして、デコーディングされたダウンミックス信号を出力する（Ｓ１３０３）。

デコーディング装置が空間情報を用いてマルチチャンネルオーディオ信号を出力することができない場合（Ｓ１３０４）、デコーディング装置は、ダウンミックス信号デコーディング部によりデコーディングされたダウンミックス信号を直接的に出力することができる（Ｓ１３０８）。一方、デコーディング装置がマルチチャンネルオーディオ信号を出力することができる場合（Ｓ１３０４）、以下の手続きが行われる。

すなわち、デコーディング装置の空間情報信号デコーディング部は、分離された空間情報をデコーディングして空間情報を生成する。デコーディング装置のダウンミックス利得抽出部は、空間情報信号またはダウンミックス信号からダウンミックス利得情報を抽出する（Ｓ１３０５）。ダウンミックス利得は、抽出されたダウンミックス利得情報に基づいて決定可能である。デコーディング装置のダウンミックス利得適用部は、前記決められたダウンミックス利得をダウンミックス信号に適用する（Ｓ１３０６）。デコーディング装置のマルチチャンネル生成部は、空間情報を用いて、ダウンミックス利得の適用されたダウンミックス信号をマルチチャンネルオーディオ信号に変換する（Ｓ１３０７）。

図１４は、本発明の一実施形態によりダウンミックス信号を変更するために、ダウンミックス信号に任意のダウンミックス利得ＡＤＧが適用されるエンコーディング装置を示す。エンコーディング装置は、ダウンミックス部１４０２と、空間情報生成部１４０３と、ＡＤＧ生成部１４０７と、ＡＤＧ適用部１４０９と、マルチプレクサー１４１１と、を備える。

図１４を参照すれば、ダウンミックス部１４０２は、マルチチャンネルオーディオ信号１４０１をダウンミックスして、ダウンミックス信号１４０４を生成する。図１４中、「ｎ」は、入力チャンネルの数を意味する。空間情報生成部１４０３は、マルチチャンネルオーディオ信号１４０１から空間情報を抽出する。

ＡＤＧ生成部１４０７は、ダウンミックス部１４０２により生成されるダウンミックス信号１４０４（以下、「第１のダウンミックス信号」と称する。）をエンコーディング装置の外部から直接的に入力されるダウンミックス信号１４０５（以下、「第２のダウンミックス信号」と称する。）と比較して、ＡＤＧを決める。例えば、第１のダウンミックス信号１４０４と第２のダウンミックス信号１４０５との差分を示す情報、すなわち、差分情報に基づいてＡＤＧが生成される。ここで、「ＡＤＧ」とは、第１のダウンミックス信号からの第２のダウンミックス信号の差分を低減させるための情報のことを言う。本発明においては、ダウンミックス信号を変更するために、「ＡＤＧ」が第２のダウンミックス信号または第１のダウンミックス信号にも適用可能である。

ＡＤＧ適用部１４０９は、ＡＤＧ生成部１４０７により生成されたＡＤＧをダウンミックス信号１４０８に適用する。ダウンミックス信号１４０８が第２のダウンミックス信号１４０５である場合、ＡＤＧは、第１のダウンミックス信号１４０４からの第２のダウンミックス信号１４０５の差分を低減させるために用いられるだけではなく、例えば、ダウンミックス信号１４０８のサウンドレベルを下げる目的で、ダウンミックス信号１４０８を変更するためにも用いられる。この場合、ダウンミックス信号１４０８へのＡＤＧの適用はフレームごとに行うことができる。

マルチプレクサー１４１１は、ＡＤＧの適用されたダウンミックス信号１４０８と空間情報信号１４０６を含むビットストリーム１４１２を生成する。空間情報信号１４０６は、空間情報生成部１４０３により抽出された空間情報から構成される。ビットストリーム１４１２は、デコーディング装置に送信される。また、ビットストリーム１４１２は、ＡＤＧに関する情報を含むこともある。

図１５は、本発明の一実施形態によりダウンミックス信号を変更するために、ダウンミックス信号にＡＤＧが適用されるデコーディング装置を示す。デコーディング装置は、デマルチプレクサー１５０２と、ダウンミックス信号デコーディング部１５０５と、空間情報信号デコーディング部１５０７と、ＡＤＧ抽出部１５０８と、ＡＤＧ適用部１５０９と、マルチチャンネル生成部１５１２と、を備える。

図１５を参照すれば、デマルチプレクサー１５０２は、ビットストリーム１５０１からエンコーディングされたダウンミックス信号１５０３とエンコーディングされた空間情報信号１５０４を分離する。

ダウンミックス信号デコーディング部１５０５は、エンコーディングされたダウンミックス信号１５０３をデコーディングし、デコーディングされた信号をモノ、ステレオ、またはマルチチャンネルオーディオ信号のダウンミックス信号１５０６として出力する。ダウンミックス信号デコーディング部１５０５は、コアコーデックデコーダを用いることができる。デコーディング装置がダウンミックス信号１５０６を処理してマルチチャンネルオーディオ信号を出力することができない場合、ダウンミックス信号１５０６は、デコーディング装置から直接的に出力される（ｏｕｔ１）。

空間情報信号デコーディング部１５０７は、エンコーディングされた空間情報信号１５０４をデコーディングし、デコーディングされた信号を空間情報１５１１として出力する。

ＡＤＧ抽出部１５０８は、空間情報信号１５０４からＡＤＧに関する情報、すなわち、ＡＤＧ情報を抽出する。ＡＤＧ抽出部１５０８がダウンミックス信号１５０６からＡＤＧ情報を抽出してもよい。

ＡＤＧ適用部１５０９は、ＡＤＧ抽出部１５０８により抽出されたＡＤＧ情報に基づいて決められるＡＤＧをダウンミックス信号１５０６に適用する。マルチチャンネル生成部１５１２は、空間情報１５０８を用いて、ＡＤＧの適用されたダウンミックス信号１５１０をマルチチャンネルオーディオ信号に変換して、マルチチャンネルオーディオ信号を出力する（ｏｕｔ２）。

図１６は、本発明の一実施形態によりダウンミックス信号にダウンミックス利得とＡＤＧが適用されるエンコーディング装置を示す。エンコーディング装置は、ダウンミックス部１６０２と、空間情報生成部１６０３と、ダウンミックス利得適用部１６０６と、ＡＤＧ適用部１６０８と、マルチプレクサー１６１０と、を備える。

図１６を参照すれば、ダウンミックス部１６０２と、空間情報生成部１６０３及びマルチプレクサー１６１０は、図１４に示すものと同一または類似するため、これについての詳細な説明を省く。

図１６に示すエンコーディング装置は、ダウンミックス利得とＡＤＧの両方の適用を実現するために、ダウンミックス利得適用部１６０６とＡＤＧ適用部１６０８の両方を備える点で、図１４のエンコーディング装置と相違点がある。図１６には図示しないが、図１６に示すエンコーディング装置がダウンミックス利得生成部とＡＤＧ生成部を備えてもよい。

具体的に、ダウンミックス利得適用部１６０６は、ダウンミックス信号１６０４にダウンミックス利得を適用する。ダウンミックス利得は、ダウンミックス信号１６０４の全体の範囲に均一に適用可能である。また、ダウンミックス利得の適用は、ダウンミックス部１６０２においてマルチチャンネルオーディオ信号１６０１をダウンミックスして、ダウンミックス信号１６０４を生成する過程中に行われてもよい。

ＡＤＧ適用部１６０８は、ダウンミックス利得の適用されたダウンミックス信号１６０７にＡＤＧを適用する。上述したように、ダウンミックス信号１６０７へのＡＤＧの適用は、フレームごとに行うことができる。ＡＤＧの適用により、ＡＤＧの適用されたダウンミックス信号の波形は、動的範囲制御（ＤＲＣ；Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｃｏｎｔｒｏｌ）が適用されるときに現れる効果とほとんど同様の効果を有することになる。ＡＤＧは、周波数ドメインにおいて、なお一層詳しくは、バイブリッドドメインにおいてダウンミックス信号に適用可能である。本発明によれば、エンコーディング装置の外部から入力されるダウンミックス信号（図示せず）にダウンミックス利得とＡＤＧを適用することもできる。

マルチプレクサー１６１０は、ＡＤＧの適用されたダウンミックス信号１６０９と空間情報信号１６０５を含むビットストリーム１６１１を生成する。

図１７は、本発明の一実施形態によりダウンミックス信号にダウンミックス利得とＡＤＧが適用されるデコーディング装置を示す。デコーディング装置は、デマルチプレクサー１７０２と、ダウンミックス信号デコーディング部１７０５と、空間情報信号デコーディング部１７０７と、ダウンミックス利得及びＡＤＧ抽出部１７０８と、ＡＤＧ適用部１７０９と、ダウンミックス利得適用部１７１１と、マルチチャンネル生成部１７１４と、を備える。

図１７を参照すれば、デマルチプレクサー１７０２と、ダウンミックス信号デコーディング部１７０５と、空間情報信号デコーディング部１７０７及びマルチチャンネル生成部１７１４は、図１５に示すマルチプレクサー１５０２と、ダウンミックス信号デコーディング部１５０５と、空間情報信号デコーディング部１５０７及びマルチチャンネル生成部１５１２と同一または類似する機能を有する。このため、これらの構成要素についての詳細な説明を省く。

図１７に示すデコーディング装置は、ダウンミックス利得とＡＤＧの両方の適用を実現するために、ダウンミックス利得及びＡＤＧ抽出部１７０８と、ＡＤＧ適用部１７０９及びダウンミックス利得適用部１７１１を備える点で、図１５に示すデコーディング装置と相違点がある。

ダウンミックス利得及びＡＤＧ抽出部１７０８は、空間情報信号１７０４からダウンミックス利得情報とＡＤＧ情報を抽出する。ダウンミックス利得情報とＡＤＧ情報は同じ構成要素により抽出されてもよい。あるいは、ダウンミックス利得情報とＡＤＧ情報がそれぞれ別々の構成要素（図示せず）により抽出されてもよい。また、ダウンミックス利得情報とＡＤＧ情報がダウンミックス信号１７０６から抽出されてもよい。

ＡＤＧ適用部１７０９は、ダウンミックス信号デコーディング部１７０５のデコーディング動作により生成されるダウンミックス信号１７０６に前記抽出されたＡＤＧ情報に基づいて生成されるＡＤＧを適用する。

ダウンミックス利得適用部１７１１は、ＡＤＧの適用されたダウンミックス信号１７１０にダウンミックス利得情報に基づいて生成されるダウンミックス利得を適用する。マルチチャンネル生成部１７１４は、空間情報１７１３を用いて、ＡＤＧとダウンミックス利得の適用されたダウンミックス信号１７１２をマルチチャンネルオーディオ信号として出力する（ｏｕｔ２）。デコーディング装置がこのようなマルチチャンネルオーディオ信号を出力することができない場合には、ダウンミックス信号デコーディング部１７０５のデコーディング動作により生成されるダウンミックス信号１７０６を直接的に出力することができる（ｏｕｔ１）。

図１８は、本発明の一実施形態によりＡＤＧが適用される複数の周波数帯域を示す。オーディオ信号の周波数帯域にＡＤＧを適用するに当たって、ＡＤＧは、オーディオ信号のチャンネルレベル差分ＣＬＤと同じ値であってもよい。例えば、ＡＤＧは、ＣＬＤと同数のパラメータ帯域を有することができる。このため、デコーディング装置においてＡＤＧの適用が実現される場合、図１８に示すように、「ｂｓＦｒｅｑＲｅｓＳｔｒｉｄｅｘｘｘ」の値に基づいて、全体の周波数帯域が分割されるグループの数を決めることができる。

「ｐｂＳｔｒｉｄｅ」が１である場合、全体の周波数帯域に対してグループ分けが行われない。この場合、各周波数帯域ごとにＡＤＧの読み込みが行われ、当該周波数帯域に前記読み込まれたＡＤＧが適用される。「ｐｂＳｔｒｉｄｅ」が５である場合、各５個の周波数帯域ごとにＡＤＧの読み込みが行われ、当該５個の周波数帯域に前記読み込まれたＡＤＧが適用される。一方、「ｐｂＳｔｒｉｄｅ」が２８である場合、ＡＤＧの読み込みが行われ、全体の周波数帯域に前記読み込まれたＡＤＧが適用される。このため、「ｐｂＳｔｒｉｄｅ」が２８である場合、全体の帯域利得制御が行われるのに対し、「ｐｂＳｔｒｉｄｅ」が２８以外の値である場合、マルチ帯域利得制御が行われる。

また、ＡＤＧに基づく利得制御は、ダウンミックス信号の各チャンネルに対して行われてもよい。

また、ＡＤＧ適用は、タイムスロットを基に行われてもよい。ここで、「タイムスロット」とは、オーディオ信号がタイムドメインにおいて同等に分割される時間間隔のことを言う。このため、特定の時間位置においてサウンドレベルが大きな音の方に急激に変動する場合、前記特定の時間位置に前記サウンドレベルの大きな音に対する利得制御を行うことができる。ＡＤＧ値が変動する場合、当該ＡＤＧに対して主な補間が行われる。そうでなければ、ＡＤＧ値が保持される。このため、全体の帯域利得制御の場合、全体の周波数帯域のためにタイムスロットごとに一つのＡＤＧが存在する。これに対し、マルチ帯域利得制御の場合、マルチ周波数帯域のためにタイムスロットごとに一つのＡＤＧが存在する。

図１９は、本発明の一実施形態によりダウンミックス信号を変更するために、ダウンミックス信号にＡＤＧが適用されるオーディオ信号のエンコーディング方法を示すフローチャートである。このオーディオ信号のエンコーディング方法が行われるエンコーディング装置は、先ず、マルチチャンネルオーディオ信号を受信する（Ｓ１９０１）。

そして、ダウンミックス部は、マルチチャンネルオーディオ信号をダウンミックスして、第１のダウンミックス信号を生成する（Ｓ１９０２）。

エンコーディング装置の空間情報生成部は、マルチチャンネルオーディオ信号から空間情報信号を生成する（Ｓ１９０２）。

その後、エンコーディング装置のＡＤＧ生成部は、第１のダウンミックス信号をエンコーディング装置の外部から直接的に入力されるダウンミックス信号、すなわち、第２のダウンミックス信号と比較する。比較の結果に基づいて、ＡＤＧ生成部はＡＤＧを生成する（Ｓ１９０３）。そして、エンコーディング装置のＡＤＧ適用部は、前記生成されたＡＤＧを第１のダウンミックス信号または第２のダウンミックス信号に適用する（Ｓ１９０４）。続けて、エンコーディング装置のマルチプレクサーは、ＡＤＧの適用されたダウンミックス信号と空間情報信号を含むビットストリームを生成する（Ｓ１９０５）。生成されたビットストリームは、デコーディング装置に送信される（Ｓ１９０５）。

本発明によれば、ダウンミックス信号を変更するために、ダウンミックス信号にダウンミックス利得とＡＤＧの両方が適用されるもう一つのオーディオ信号のエンコーディング方法が実現される。このエンコーディング方法は、図１９に示すエンコーディング方法とほとんど同様である。このエンコーディング方法は、図１９に示すように、ダウンミックス信号と空間情報信号を生成した後、ダウンミックス信号にダウンミックス利得を適用することをさらに含むという点で、図１９に示すエンコーディング方法と相違点がある。このエンコーディング方法においては、その後、ダウンミックス利得の適用されたダウンミックス信号にＡＤＧが適用されるであろう。

本発明によれば、ＡＤＧの低周波部分は、利得として生成されるのではなく、第１のダウンミックス信号の低周波成分に対して余剰コーディングを行うことにより生成され、ＡＤＧの高周波部分は、従来の方法でのように利得として生成されて、前記生成されたＡＤＧに向上した性能を発現させるような方式でＡＤＧが生成される。ここで、「余剰コーディング」は、ダウンミックス信号の一部を直接的にコーディングすることを意味する。

上述した方法において、ＡＤＧの低周波部分は、第１のダウンミックス信号の低周波成分に対して直接的に余剰コーディングを行うことにより生成される。しかしながら、ＡＤＧの低周波部分が第１のダウンミックス信号と第２のダウンミックス信号との差分に対して余剰コーディングを行うことにより生成されてもよい。

利得として生成されたＡＤＧと第１のダウンミックス信号の低周波成分の余剰コーディングにより生成されたＡＤＧは、ダウンミックス信号を変更するためにダウンミックス信号に適用される。本発明によれば、ダウンミックス信号のサウンドレベル損失が発生した個所と関連する復元情報がＡＤＧに追加されるか、あるいは、ＡＤＧとともに送信されて、復元情報のあるＡＤＧがデコーディング装置においてダウンミックス信号の変更のために用いられるようにできる。

本発明によれば、ダウンミックス信号を変更するための情報、例えば、ダウンミックス信号の振幅を変動させるための情報と、第２のダウンミックス信号を復元して第２のダウンミックス信号と第１のダウンミックス信号との差分を低減させるための情報が、ＡＤＧに含まれていてもよい。上述した方式により生成されたＡＤＧは、空間情報信号に含まれた状態で送信されてもよい。

図２０は、本発明の一実施形態によりダウンミックス信号を変更するために、ダウンミックス信号にＡＤＧが適用されるオーディオ信号のデコーディング方法を示すフローチャートである。図２０を参照すれば、このオーディオ信号のデコーディング方法が行われるデコーディング装置がオーディオ信号のビットストリームを受信する（Ｓ２００１）。ビットストリームは、エンコーディングされたダウンミックス信号とエンコーディングされた空間情報信号を含む。

デコーディング装置のデマルチプレクサーは、前記受信されたビットストリームからエンコーディングされたダウンミックス信号とエンコーディングされた空間情報信号を分離する（Ｓ２００２）。デコーディング装置のダウンミックス信号デコーディング部は、前記分離されたダウンミックス信号をデコーディングする（Ｓ２００３）。

デコーディング装置が空間情報を用いてダウンミックス信号をマルチチャンネルオーディオ信号として出力することができない場合（Ｓ２００４）、デコーディング装置はダウンミックス信号デコーディング部がデコーディングしたダウンミックス信号を直接的に出力することができる（Ｓ２００８）。一方、デコーディング装置がダウンミックス信号をマルチチャンネルオーディオ信号として出力することができる場合（Ｓ２００４）、以下の処理が行われる。

すなわち、デコーディング装置の空間情報信号デコーディング部が前記分離された空間情報信号をデコーディングして、空間情報信号が生成される。デコーディング装置のＡＤＧ抽出部は、前記空間情報信号またはダウンミックス信号からＡＤＧ情報を抽出する（Ｓ２００５）。ＡＤＧは、前記抽出されたＡＤＧ情報に基づいて決定可能である。デコーディング装置のＡＤＧ適用部は、前記決定されたＡＤＧをダウンミックス信号に適用する（Ｓ２００６）。デコーディング装置のマルチチャンネル生成部は、空間情報に基づいて、前記ＡＤＧの適用されたダウンミックス信号をマルチチャンネルオーディオ信号に変換し、デコーディング装置は前記マルチチャンネルオーディオ信号を出力する（Ｓ２００７）。

本発明によれば、ダウンミックス信号を変更するために、ダウンミックス信号にダウンミックス利得とＡＤＧが適用されるもう一つのデコーディング方法が実現可能である。このデコーディング方法は、図２０に示す方法とほとんど同様である。このデコーディング方法は、ダウンミックス信号にＡＤＧを適用する前に、ダウンミックス信号にダウンミックス利得を適用することをさらに含むという点で、図２０に示す方法と相違点がある（Ｓ２００６）。以下、このデコーディング方法をより具体的に説明する。

ダウンミックス利得及びＡＤＧ抽出部（図示せず）は、空間情報信号またはダウンミックス信号からダウンミックス利得情報とＡＤ情報を抽出する。そして、前記抽出されたダウンミックス利得情報に基づいて生成されるダウンミックス利得がダウンミックス信号に適用される。ダウンミックス利得は、ダウンミックス信号の全体の範囲に適用可能である。その後、前記抽出されたＡＤＧ情報に基づいて生成されるＡＤＧがダウンミックス信号に適用される。ダウンミックス信号にＡＤＧを適用することはフレームごとに行うことができる。

図２１は、本発明の一実施形態により特定のチャンネルのエネルギーレベルを変更するためのエンコーディング装置を示すブロック図である。このエンコーディング装置は、特定チャンネルレベル処理部２１０２と、ダウンミックス部２１０４と、空間情報生成部２１０５及びマルチプレクサー２１０８を備える。

図２１を参照すれば、特定チャンネルレベル処理部２１０２は、マルチチャンネルオーディオ信号２１０１を受信し、受信されたマルチチャンネルオーディオ信号２１０１の特定のチャンネルのエネルギーレベルを変更して、変更されたマルチチャンネルオーディオ信号２１０３を出力する。ここで、「エネルギーレベル」とは、関連信号の振幅と比例する値のことをいい、サウンドレベルを含む。特定のチャンネルのエネルギーレベルの変更有無及びその方法は測定または算出により決定可能である。エネルギーレベルの変動が発生した信号に特定のチャンネル利得を適用することによりエネルギーレベル変更がなされることが好ましい。例えば、エネルギーレベル変更は、サウンドチャンネルまたはＬＦＥチャンネルにサラウンド利得またはＬＦＥ利得を適用することにより行われてもよい。ダウンミックス部２０１４は、エネルギーレベルの変更されたマルチチャンネルオーディオ信号２１０３をダウンミックスして、ダウンミックス信号２１０６を生成する。また、空間情報生成部２１０５は、マルチチャンネルオーディオ信号２１０３から空間情報を抽出する。

マルチプレクサー２１０８は、ダウンミックス信号２１０６と空間情報信号２１０７を含むビットストリーム２１０９を生成する。空間情報信号２１０７は、空間情報生成部２１０５により抽出された空間情報から構成される。ビットストリーム２１０９は、デコーディング装置に送信される。また、ビットストリーム２１０９は、特定のチャンネル利得情報を含んでなる。

図２２は、本発明の一実施形態により特定のチャンネルのエネルギーレベルを変更するためのデコーディング装置を示すブロック図である。このデコーディング装置は、デマルチプレクサー２２０２と、ダウンミックス信号デコーディング部２２０５と、空間情報信号デコーディング部２２０６と、マルチチャンネル生成部２２１０及び特定チャンネルレベル処理部２２１２を備える。

図２２を参照すれば、デマルチプレクサー２２０２は、オーディオ信号のビットストリーム２２０１を受信し、エンコーディングされたダウンミックス信号２２０３とエンコーディングされた空間情報信号２２０４を前記ビットストリーム２２０１から分離する。

ダウンミックス信号デコーディング部２２０５は、前記エンコーディングされたダウンミックス信号２２０３をデコーディングし、デコーディングされたダウンミックス信号２２０８を出力する。また、ダウンミックス信号デコーディング部２２０５は、前記エンコーディングされたダウンミックス信号２２０３をデコーディングすることによりパルスコード変調（ＰＣＭ）を有するダウンミックス信号２２０９を生成することもできる。

空間情報信号デコーディング部２２０６は、空間情報信号２２０４をデコーディングし、その結果として空間情報２２０７を出力する。マルチチャンネル生成部２２１０は、前記ダウンミックス信号２２０９をマルチチャンネルオーディオ信号２２１１に変換する。

特定チャンネルレベル処理部２２１２は、マルチチャンネルオーディオ信号２２１１と、空間情報２２０７及びダウンミックス信号２２０８を受信し、前記受信した信号に基づいて、チャンネルごとにエネルギーレベル変更を行う。

特定チャンネルレベル処理部２２１２は、チャンネルレベル検出部２２１３と、変更識別部２２１４及びチャンネルレベル変更部２２１５を備える。チャンネルレベル検出部２２１３は、前記マルチチャンネルオーディオ信号２２１１がチャンネルごとに変動されるかどうか及びその方法を検出する。変更識別部２２１４は、前記チャンネルレベル検出部２２１３において行われる検出の結果に基づいて、エネルギーレベル変更がチャンネルごとに行われる必要があるかどうかを識別する。チャンネルレベル変更部２２１５は、前記変更識別部２２１４において行われる識別の結果に基づいて、特定のチャンネルのエネルギーレベルを変更する。

デコーディング装置がマルチチャンネルオーディオ信号を出力することができない場合、デコーディング装置は、ダウンミックス信号デコーディング部２００５のデコーディング動作により生成されるダウンミックス信号２００８を直接的に出力することができる（ｏｕｔ１）。一方、デコーディング装置がマルチチャンネルオーディオ信号を出力することができる場合、デコーディング装置は、チャンネルごとにマルチチャンネルオーディオ信号のエネルギーレベルを変更した後、マルチチャンネルオーディオ信号を出力する（ｏｕｔ２）。

図２２に示すデコーディング装置は、エンコーディング装置から送られてきた特定のチャンネルに関するレベル変更情報が存在しないとしても、特定のチャンネルのレベルを自ら変更することができる。このデコーディング装置は、マルチチャンネル生成部２２１０とは独立して特定チャンネルレベル処理部２２１２が設けられるという点に特徴がある。特定チャンネルレベル処理部２２１２に含まれるチャンネルレベル検出部２２１３は、空間情報及びダウンミックス信号２２１８に含まれるＣＬＤに基づいて、元のオーディオ信号のエネルギーレベルを算出することができる。このようにして算出されたエネルギーレベルは、マルチチャンネル生成部２２１０から入力されるマルチチャンネルオーディオ信号２２１１のエネルギーレベルと比較される。

比較の結果、レベル差が存在すると判定されれば、チャンネルレベル変更部２２１５においてエネルギーレベル変更が行われる。すなわち、チャンネルレベル変更部２２１５は、マルチチャンネルオーディオ信号２２１１のエネルギーレベルに所定の特定のチャンネル利得を乗算して、マルチチャンネルオーディオ信号２２１１のエネルギーレベルを変更する。この場合、変更識別部２２１４は、エネルギーレベル差があるとき、チャンネルレベル変更を行う必要があると決めるであろう。あるいは、変更識別部２２１４は、所定の制限を超えるエネルギーレベル差があるときに限って、チャンネルレベル変更を行う必要があると決めてもよい。

本発明によれば、図２２に示すデコーディング装置とほとんど同様であるが、マルチチャンネル生成部にチャンネルレベル検出部と変更識別部が含まれ、チャンネルレベル変更部が独立して設けられる点で、図２２に示すデコーディング装置と相違点がある。

本発明によれば、図２２に示すデコーディング装置とほとんど同様であるが、マルチチャンネル生成部にチャンネルレベル検出部と、変更識別部と、チャンネルレベル変更部が含まれるという点で、図２２に示すデコーディング装置と相違点があるもう一つのデコーディング装置が実現可能である。この場合、マルチチャンネル生成部の内部機能を用いて、チャンネルごとにエネルギーレベル変更を行うことが可能である。内部機能を用いるこのエネルギーレベル変更方法は、直交ミラーフィルター（ＱＭＦｓ）またはハイブリッドフィルターなどのフィルターが用いられる場合にフィルターの利得を調節する方法と、全体の利得を調節する方法と、プレマトリックスまたはポストマトリックス値を調節する方法と、サブバンドエンベロープアプリケーションツールまたはタイムエンベロープアプリケーションツールと関連する機能を調節する方法と、信号が加算される場合に非相関信号と元の信号の利得を制御する方法、または、上述した方法の代わりに特定のモジュールを用いる方法を含むことができる。サブバンドエンベロープアプリケーションツールまたはタイムエンベロープアプリケーションツールを用いてデコーディングが達成される場合、実在効果を与える最終信号をユーザーに生成させることが可能である。

図２３は、本発明の一実施形態により特定のチャンネルのレベルを変更するデコーディング装置を示すブロック図である。このデコーディング装置は、図２２に示すデコーディング装置と構成がほとんど同様である。このため、デマルチプレクサー２３０２と、ダウンミックス信号デコーディング部２３０５及び空間情報信号デコーディング部２３０３を備える類似構成についての説明は省く。図２３に示すデコーディング装置は、特定チャンネルレベル処理部２３０８の位置が図２２に示すデコーディング装置と異なる点で相違点がある。

図２３を参照すれば、特定チャンネルレベル処理部２３０８は、チャンネルレベル検出部２３０９と、変更識別部２３１０及びチャンネルレベル変更部２３１１を備える。特定チャンネルレベル処理部２３０８は、ＰＣＭデータフォーマットを有するダウンミックス信号２３０７のエネルギーレベルをチャンネルごとに変更することができる。

具体的に、元の信号のエネルギーレベルと再生された信号のエネルギーレベルとの比較により元の信号と再生された信号のエネルギーレベルを検出することができる場合、チャンネルレベル変更部２３１１は、チャンネルを基にダウンミックス信号２３０７のエネルギーレベルを変更する。

特定チャンネルレベル処理部２３０８は、マルチチャンネル生成部２３１３にダウンミックス信号２３１２を送信する。マルチチャンネル生成部２３１３は、空間情報信号に対する空間情報信号デコーディング部２３０３のデコーディング動作により空間情報が生成される空間情報信号２３０４を用いて、前記ダウンミックス信号２３１２をマルチチャンネルオーディオ信号２３１４として出力することができる（ｏｕｔ２）。

一方、本発明によれば、関連オーディオ信号のビットストリームを用いて特定のチャンネルのエネルギーレベルの変更が実現可能である。具体的に、エンコーディング装置が特定のチャンネルのエネルギーレベルを変更し、前記変更情報がビットストリームに含まれた状態で変更に関する情報を送信する場合、前記ビットストリームを受信するデコーディング装置は、ビットストリームから変更情報を抽出することができ、前記抽出された変更情報に基づいて、特定のチャンネルのエネルギーレベルを復元することができる。例えば、エンコーディング装置は、種々の値を有するサラウンド利得を設定し、前記サラウンド利得のうちいずれかをサラウンドチャンネルに適用し、前記適用された利得に関する情報、すなわち、サラウンド利得情報をビットストリームに含める。この場合、サラウンド利得情報は、ビットストリームの空間情報信号に含めることができる。デコーディング装置は、ビットストリームからサラウンド利得情報を抽出する。前記抽出された利得情報を用いて、デコーディング装置は、サラウンドチャンネルのエネルギーレベルを元のエネルギーレベルに復元することができる。以下、ビットストリームに変更情報を挿入する方法について詳述する。

先ず、空間情報信号は、フレームごとにまたは複数のフレームごとにヘッダーを有するようにフォーマットされる。特定のチャンネルに関する変更情報、例えば、サラウンド利得情報がヘッダーに含まれる。空間情報信号が複数のフレームごとにヘッダーを有する場合、ヘッダーは、複数のフレームごとに空間情報信号に周期的にまたは非周期的に含むことができる。

また、ビットストリームは、「どのチャンネルが増幅または減衰される必要があるかと、当該チャンネルがどのように増幅または減衰される必要があるか（ｄＢ）」を示すビット情報を含むことができる。この場合、ビットストリームは、特定のチャンネルのエネルギーレベルが変更される必要があるかどうかと、変更が行われる場合に以前のデータが継続して用いられる必要があるかどうかに関する情報を含むことができる。また、ビットストリームは、どのチャンネルが変更される必要があるかに関する情報を含むことができる。また、ビットストリームは、変更される必要のあるチャンネルの減衰または増幅レベル（ｄＢ）に関する情報を含むことができる。

本発明によれば、特定のチャンネル利得の調節がグループごとに行われるように特定のチャンネルがグループ分けされる方法が実現可能である。すなわち、エンコーディング装置は、異なるグループの特定のチャンネルにそれぞれ異なるチャンネル利得を適用する。ダウンミックス動作後、エンコーディング装置は、ダウンミックス動作により生成されるビットストリームに特定のチャンネル利得情報が含まれた状態で特定のチャンネル利得情報を送信する。デコーディング装置は、エンコーディング装置においてグループごとにマルチチャンネルオーディオ信号に用いられたチャンネル利得の逆数を適用することにより、マルチチャンネルオーディオ信号のエネルギーレベルを元のエネルギーレベルに復元する。

例えば、オーディオ信号のチャンネルは、３つのグループ、すなわち、中央チャンネルと、前方左側チャンネル及び前方右側チャンネルを含む第１のグループと、後方左側チャンネルと後方右側チャンネルを含む第２のグループと、ＬＦＥチャンネルを含む第３のグループにグループ分け可能である。この場合、各チャンネルへの特定のチャンネル利得の適用がグループごとに行われ、その結果としてのチャンネルが加算されてモノダウンミックス信号を生成する第１の特定のチャンネル利得調節方法が採用可能である。デコーディング装置においては、前記モノダウンミックス信号が多数のチャンネルに変換され、前記多数のチャンネルのそれぞれにはグループごとに関連する特定のチャンネル利得が乗算されて、元のレベルに復元されてから出力される。特定のチャンネル利得の乗算は、前記変換処理後にまたは前記変換処理中に行うことができる。

また、第２の特定のチャンネルの利得調節方法が採用可能である。第２の方法によれば、グループごとに各チャンネルに特定のチャンネル利得が適用される。その後、前方左側チャンネルと後方左側チャンネルが加算されて左側チャンネルを生成し、前方右側チャンネルと後方右側チャンネルが加算されて右側チャンネルを生成する。中央チャンネルとＬＦＥチャンネルのそれぞれには特定のチャンネル利得、すなわち、１／２＾１／２が乗算される。その結果としてのチャンネルは、それぞれ左側チャンネルと右側チャンネルに加算されてステレオダウンミックス信号を生成する。このようにして生成されたステレオダウンミックス信号がデコーディングされて最終信号を生成する場合、特定のチャンネル利得の適用はチャンネルごとに行われる。具体的に、ダウンミックス信号の左側チャンネルと右側チャンネルから抽出された信号には２＾１／２が乗算されて、中央チャンネルとＬＦＥチャンネルに加算される。以上、モノまたはステレオダウンミックス信号と関連する実施形態が説明されているが、本発明はこれに何ら制限されるものではない。

本発明によれば、グループごとに各チャンネルに特定のチャンネル利得を適用した後にダウンミックス信号が生成され、前記生成されたダウンミックス信号に対してダウンミックス利得を適用するもう一つの方法が実現可能である。

当業者にとっては、本発明の思想または範囲から逸脱することなく、本発明に対する種々の変更及び変更が可能であることが理解できるであろう。よって、本発明は特許請求の範囲とその等価物に含まれる本発明の変更及び変形をいずれかカバーするものとして考慮さるべきである。

上述したように、本発明によれば、マルチチャンネルオーディオ信号のダウンミックスにより生成されるダウンミックス信号にダウンミックス利得を適用することにより、または、マルチチャンネルオーディオ信号にダウンミックス利得を適用した後、マルチチャンネルオーディオ信号をダウンミックスすることにより、マルチチャンネルオーディオ信号のサウンドレベル損失を効率よく防ぐことができる。

また、マルチチャンネルオーディオ信号のダウンミックスにより生成されるダウンミックス信号にＡＤＧを適用することにより、または、ダウンミックス信号にダウンミックス利得を適用した後、ダウンミックス信号にＡＤＧを適用することにより、マルチチャンネルオーディオ信号のサウンドレベル損失の問題点を防ぐことができる。

さらに、マルチチャンネルオーディオ信号の特定のチャンネルのエネルギーレベルを変更し、変更されたマルチチャンネルオーディオ信号をダウンミックスしてダウンミックス信号を生成することにより、マルチチャンネルオーディオ信号のサウンド損失の問題点を防ぐことができる。

オーディオ信号に含まれている空間情報を人間に視認させる方法を示す概略図である。 オーディオ信号をエンコーディングするプロセスにおいて発生するオーディオ信号のサウンドレベル損失現象を示す波形図である。 本発明の一実施形態によりダウンミックス信号を変更するために、ダウンミックス信号にダウンミックス利得が適用される第１のエンコーディング装置を示すブロック図である。 本発明の一実施形態によりダウンミックス信号を変更するために、ダウンミックス信号にダウンミックス利得が適用される第１のデコーディング装置を示すブロック図である。 本発明の一実施形態によりマルチチャンネルオーディオ信号を変更するために、マルチチャンネルオーディオ信号にダウンミックス利得が適用される第２のエンコーディング装置を示すブロック図である。 本発明の一実施形態によりマルチチャンネルオーディオ信号を変更するために、マルチチャンネルオーディオ信号にダウンミックス利得が適用される第２のデコーディング装置を示すブロック図である。 本発明の一実施形態によりダウンミックス信号を変更するために、ダウンミックス信号にダウンミックス利得が適用される第３のエンコーディング装置を示すブロック図である。 本発明の一実施形態によりダウンミックス信号を変更するために、ダウンミックス信号にダウンミックス利得が適用される第３のデコーディング装置を示すブロック図である。 本発明の実施形態のそれぞれによりダウンミックス利得情報を含むビットストリームを示す図である。 本発明の一実施形態による種々のタイプのダウンミックス利得を示す表である。 本発明の一実施形態による種々のタイプのダウンミックス利得を示す表である。 本発明によりダウンミックス利得を適用することにより、フレーム寄りにより招かれるサウンド品質劣化を防ぐ方法を示すグラフである。 本発明の一実施形態によりダウンミックス信号にダウンミックス利得が適用されるオーディオ信号のエンコーディング方法を示すフローチャートである。 本発明の一実施形態によりダウンミックス信号にダウンミックス利得が適用されるオーディオ信号のデコーディング方法を示すフローチャートである。 本発明の一実施形態によりダウンミックス信号を変更するために、ダウンミックス信号に任意のダウンミックス利得（以下、「ＡＤＧ」と称する。）が適用されるエンコーディング装置を示すブロック図である。 本発明の一実施形態によりダウンミックス信号を変更するために、ダウンミックス信号にＡＤＧが適用されるデコーディング装置を示すブロック図である。 本発明の一実施形態によりダウンミックス信号を変更するために、ダウンミックス信号にダウンミックス利得とＡＤＧが適用されるエンコーディング装置を示すブロック図である。 本発明の一実施形態によりダウンミックス信号を変更するために、ダウンミックス信号にダウンミックス利得とＡＤＧが適用されるデコーディング装置を示すブロック図である。 本発明の一実施形態によりＡＤＧが適用される複数の周波数帯域を示す表である。 本発明の一実施形態によりダウンミックス信号を変更するために、ダウンミックス信号にＡＤＧが適用されるオーディオ信号のエンコーディング方法を示すフローチャートである。 本発明の一実施形態によりダウンミックス信号を変更するために、ダウンミックス信号にＡＤＧが適用されるオーディオ信号のデコーディング方法を示すフローチャートである。 本発明の一実施形態により特定のチャンネルのサウンドレベルを変更するためのエンコーディング装置を示すブロック図である。 本発明の一実施形態により特定のチャンネルのサウンドレベルを変更するためのデコーディング装置を示すブロック図である。 本発明の一実施形態により特定のチャンネルのサウンドレベルを変更するためのデコーディング装置を示すブロック図である。

Claims (10)

1. オーディオ信号をデコードする方法であって、
   第１ダウンミックス信号をアップミックスするための空間情報及び少なくとも１チャンネルを有する第２ダウンミックス信号を受信するステップと、
   前記空間情報からダウンミックス利得及び任意ダウンミックス利得を抽出するステップと、
   前記任意ダウンミックス利得及び前記ダウンミックス利得に基づいて前記第２ダウンミックス信号のエネルギーレベルを変更することによって前記第２ダウンミックス信号を補償するステップであって、前記第２ダウンミックス信号の前記変更されたエネルギーレベルは前記第１ダウンミックス信号のエネルギーレベルと同一であり、前記任意ダウンミックス利得は前記第２ダウンミックス信号に適用され、前記ダウンミックス利得は前記任意ダウンミックス利得が適用された第２ダウンミックス信号に適用される、ステップと、
   前記空間情報を前記補償された第２ダウンミックス信号に適用してマルチチャンネルオーディオ信号を生成するステップと、を有し、
   前記任意ダウンミックス利得は、フレームごとに前記任意ダウンミックス利得が適用された第２ダウンミックス信号に適用される、方法。
2. 前記任意ダウンミックス利得は、タイムスロットごとに前記ダウンミックス信号に適用される、請求項１に記載の方法。
3. 前記ダウンミックス利得は、パラメータ帯域ストライド情報に基づいて、周波数帯域のグループごとに前記第２ダウンミックス信号に独立して適用される、請求項１に記載の方法。
4. 前記任意ダウンミックス利得は、前記第１ダウンミックス信号と前記第２ダウンミックス信号との比較結果を表す、請求項１に記載の方法。
5. 前記第１ダウンミックス信号はエンコーディング装置においてエンコードされ、前記第２ダウンミックス信号は前記エンコーディング装置以外の装置によって供給される、請求項１に記載の方法。
6. エンコーディング装置から受信されたオーディオ信号をデコードするデコーディング装置であって、
   第１ダウンミックス信号をアップミックスするための空間情報と、少なくとも１チャンネルを含む第２ダウンミックス信号とを受信するデマルチプレクサーと、
   前記空間情報からダウンミックス利得及び任意ダウンミックス利得を抽出するダウンミックス利得・任意ダウンミックス利得抽出部であって、前記任意ダウンミックス利得はフレームごとに抽出される、抽出部と、
   前記任意ダウンミックス利得及び前記ダウンミックス利得に基づいて前記第２ダウンミックス信号のエネルギーレベルを変更することによって前記第２ダウンミックス信号を補償するダウンミックス利得・任意ダウンミックス利得適用部であって、前記任意ダウンミックス利得は前記第２ダウンミックス信号に適用され、前記ダウンミックス利得は前記の任意ダウンミックス利得が適用された第２ダウンミックス信号に適用され、前記第２ダウンミックス信号の前記変更されたエネルギーレベルは前記第１ダウンミックス信号のエネルギーレベルと同一である、適用部と、
   前記補償された第２ダウンミックス信号及び前記空間情報に基づいて、マルチチャンネルオーディオ信号を出力するマルチチャンネル生成部と、
   を備えるデコーディング装置。
7. 前記ダウンミックス利得は、パラメータ帯域ストライド情報に基づいて、周波数帯域のグループごとに前記第２ダウンミックス信号に独立して適用される、請求項６に記載のデコーディング装置。
8. 前記任意ダウンミックス利得は、タイムスロットごとに前記ダウンミックス信号に適用される、請求項６に記載のデコーディング装置。
9. 前記第１ダウンミックス信号はエンコーディング装置においてエンコードされ、前記第２ダウンミックス信号は前記エンコーディング装置以外の装置によって供給される、請求項６に記載のデコーディング装置。
10. 前記任意ダウンミックス利得は、前記第１ダウンミックス信号と前記第２ダウンミックス信号との比較結果を表す、請求項６に記載のデコーディング装置。

Images