CN101356572B - 解码音频信号的方法和装置 - Google Patents
解码音频信号的方法和装置 Download PDFInfo
- Publication number
- CN101356572B CN101356572B CN2006800420711A CN200680042071A CN101356572B CN 101356572 B CN101356572 B CN 101356572B CN 2006800420711 A CN2006800420711 A CN 2006800420711A CN 200680042071 A CN200680042071 A CN 200680042071A CN 101356572 B CN101356572 B CN 101356572B
- Authority
- CN
- China
- Prior art keywords
- channel
- audio signal
- spatial information
- spatial
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 217
- 238000000034 method Methods 0.000 title claims abstract description 82
- 230000003190 augmentative effect Effects 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000011965 cell line development Methods 0.000 description 138
- 101001062093 Homo sapiens RNA-binding protein 15 Proteins 0.000 description 81
- 102100029244 RNA-binding protein 15 Human genes 0.000 description 81
- 238000010586 diagram Methods 0.000 description 33
- 230000000694 effects Effects 0.000 description 16
- 239000000203 mixture Substances 0.000 description 13
- 101100355601 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) RAD53 gene Proteins 0.000 description 9
- 101150087667 spk1 gene Proteins 0.000 description 9
- 101001130554 Homo sapiens Putative RNA-binding protein 15B Proteins 0.000 description 6
- 102100031409 Putative RNA-binding protein 15B Human genes 0.000 description 6
- 238000009795 derivation Methods 0.000 description 4
- 210000005069 ears Anatomy 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000013213 extrapolation Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- OVSKIKFHRZPJSS-UHFFFAOYSA-N 2,4-D Chemical compound OC(=O)COC1=CC=C(Cl)C=C1Cl OVSKIKFHRZPJSS-UHFFFAOYSA-N 0.000 description 2
- 101100043388 Arabidopsis thaliana SRK2D gene Proteins 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 239000004576 sand Substances 0.000 description 2
- 239000003607 modifier Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Stereophonic System (AREA)
Abstract
揭示了一种解码音频信号的装置及其方法。本发明包括接收音频信号和空间信息,识别经修改空间信息的类型,使用空间信息生成经修改空间信息,及使用经修改空间信息解码音频信号,其中经修改空间信息的类型至少包括部分空间信息、组合空间信息、以及扩展空间信息中的至少一种。因此,音频信号可以解码成与编码装置所决定的配置不同的配置。即使扬声器数少于或者多于在执行声道缩减混音之前的多声道的数目,也能够从声道缩减混音音频信号生成与扬声器数相等数目的输出声道。
Description
技术领域
本发明涉及音频信号处理,尤其涉及解码音频信号的装置及其方法。虽然本发明适用于广泛的应用范围,但是它尤其适于解码音频信号。
背景技术
一般而言,编码器在编码音频信号时,如果要编码的音频信号是一个多声道音频信号,那么该多声道音频信号被声道缩减混音成两个声道或一个声道以生成声道缩减混音的音频信号,且从该多声道音频信号中抽取出空间信息。空间信息是可用于从声道缩减混音音频信号中声道扩展混音出多声道音频信号的信息。同时,编码器根据一个预定的树状配置来声道缩减混音多声道音频信号。在这种情况下,预定的树状配置可以是在音频信号解码器与音频信号编码器之间达成一致的结构。特别地,如果存在指示诸预定树状配置之一的类型的识别信息,则解码器就能够知道已经被声道扩展混音的音频信号的结构,例如,声道的数目,每个声道的位置等。
因此,如果编码器根据预定树状配置来声道缩减混音一个多声道音频信号,则在这个过程中抽取出的空间信息也依赖于该结构。所以,如果解码器使用依赖于该结构的空间信息来对已声道缩减混音的音频信号进行声道扩展混音处理,就生成了根据该结构的多声道音频信号。即,如果解码器按照原样使用由编码器生成的空间信息,那么声道扩展混音仅仅是根据在编码器与解码器之间达成一致的结构来执行的。所以,无法生成不遵循所达成一致的结构的输出声道音频信号。例如,无法将一个信号声道扩展混音成一个声道数与根据达成一致的结构所决定的声道数不同(少一些或多一些)的音频信号。
发明内容
因此,本发明涉及一种基本上避免了由于相关技术的限制和缺点而引起的问题中的一个或多个的解码音频信号的装置及其方法。
本发明的一个目标是提供一种解码音频信号的装置及其方法,音频信号藉此可以被解码成具有与编码器所决定的结构不同的结构。
本发明的另一个目标是提供一种解码音频信号的装置及其方法,音频信号藉此可以使用通过修改由编码处理生成的先前的空间信息而生成的空间信息来解码。
本发明的其它特征和优点将在以下说明中陈述,并且部分地将从说明中明了,或者可以通过本发明的实践来掌握。本发明的目标以及其它的优点将通过在此书面说明和所附权利要求书以及附图中所特别指出的结构来实现和获得。
为了实现这些及其它的优点,且根据本发明的目标,如具体表达和广泛描述的,根据本发明的一种解码音频信号的方法包括:接收音频信号及空间信息,识别经修改空间信息的类型,使用所述空间信息生成经修改空间信息,以及使用经修改空间信息来解码音频信号,其中经修改空间信息的类型包括部分空间信息、组合空间信息、以及扩展空间信息中的至少一种。
为进一步实现这些及其它的优点,且根据本发明的目标,一种解码音频信号的方法包括:接收空间信息,使用该空间信息生成组合空间信息,以及使用该组合空间信息解码音频信号,其中该组合空间信息是通过将包含于该空间信息中的空间参数组合来生成的。
为进一步实现这些及其它的优点,且根据本发明的目标,一种解码音频信号的方法包括:接收包含至少一个空间信息的空间信息以及包含至少一个滤波器参数的空间滤波器信息;通过将该空间参数与该滤波器参数组合来生成具有环绕效果的组合空间信息;以及使用该组合空间信息将音频信号转换成虚拟环绕信号。
为进一步实现这些及其它的优点,且根据本发明的目标,一种解码音频信号的方法包括:接收音频信号,接收包含树状配置信息和空间参数的空间信息,通过向该空间信息添加扩充空间信息生成经修改空间信息,以及使用该经修改空间信息对音频信息进行声道扩展混音处理,对音频信号进行声道扩展混音处理包括基于空间信息将音频信号转换成初级声道扩展混音音频信号、并且基于扩充空间信息将初级声道扩展混音音频信号转换成次级声道扩展混音音频信号。
应当理解,以上一般描述以及以下详细描述都是示例性和解释性的,皆意在提供对主张权利的本发明的进一步解释。
附图简要说明
包括于此以提供对本发明的进一步理解、并被结合在本说明书中且构成其一部分的附图示出本发明的实施方式,其与说明书一起可用来解释本发明的原理。
在附图中:
图1是根据本发明的音频信号编码装置和音频信号解码装置的框图;
图2是应用部分空间信息的一个实施例的示意图;
图3是应用部分空间信息的另一个实施例的示意图;
图4是应用部分空间信息的再一个实施例的示意图;
图5是应用组合空间信息的一个实施例的示意图;
图6是应用组合空间信息的另一个实施例的示意图;
图7是从扬声器到听者的声径的示图,其中示出了各扬声器的位置;
图8是解释为环绕效果从每个扬声器位置输出的信号的示图;
图9是解释使用5声道信号来生成3声道信号的方法的概念图;
图10是基于扩充声道配置信息配置扩充声道的实施例的示图;
图11是解释图10所示的扩充声道配置及其与扩充空间参数的关系的示图;
图12是5.1声道的多声道音频信号与6.1声道的输出声道音频信号的位置图;
图13是解释虚拟声源位置与两个声道之间的声级差之间的关系的图;
图14是解释两个后置声道的声级与一个后中置声道声级的图;
图15是解释5.1声道的多声道音频信号的位置以及7.1声道的输出声道音频信号的位置的图;
图16是解释两个左声道的声级以及一个左前侧声道(Lfs)的声级的图;以及
图17是解释三个前置声道的声级以及一个左前侧声道(Lfs)的声级的图。
实施发明的最佳方式
下面将详细参考本发明的较佳实施方式,其具体示例图示于附图中。
当前且普遍使用的通用术语被选作本发明中使用的术语。并且,还有申请人为特殊情况任意性选择的术语,其详细的含义在本发明的较佳实施例的描述中详细解释。因此,不应从术语的字面来理解本发明,而应以术语的含义来理解。
首先,本发明使用空间信息生成经修改空间信息,然后用所生成的经修改空间信息来解码音频信号。在这种情况下,空间信息是在根据预定树状配置进行声道缩减混音的过程中抽取出的空间信息,而经修改空间信息是用该空间信息新生成的空间信息。
将结合图1对本发明进行如下详细解释。
图1是根据本发明的实施方式的音频信号编码装置和音频信号解码装置的框图。
参考图1,编码音频信号的装置(下文简称编码装置)100包括声道缩减混音单元110以及空间信息抽取单元120。而解码音频信号的装置(下文简称解码装置)200包括一个输出声道生成单元210以及一个经修改空间信息生成单元220。
编码装置100的声道缩减混音单元110通过对多声道音频信号IN_M作声道缩减混音生成声道缩减混音音频信号d。声道缩减混音音频信号d可以是由声道缩减混音单元110通过声道缩减混音该多声道音频信号IN_M而生成的信号或者是由用户任意性地声道缩减混音该多声道音频信号IN_M而生成的任意性声道缩减混音音频信号。
编码装置100的空间信息抽取单元120从多声道音频信号IN_M中抽取空间信息s。在这种情况下,空间信息是将声道缩减混音音频信号d声道扩展混音成多声道音频信号IN_M所需要的信息。
同时,该空间信息可以是在根据预定树状配置对多声道音频信号IN_M进行声道缩减混音处理的过程中抽取的信息。在这种情况下,树状配置可对应于在音频信号解码装置与音频信号编码装置之间达成一致的(一个或多个)树状配置,本发明对此没有限制。
并且,空间信息能够包括树状配置信息、指示符、空间参数等等。树状配置信息是关于树状配置类型的信息。所以,多声道的数目、每声道的声道缩减混音顺序等等根据树状配置的类型而改变。指示符是指示扩充空间信息是否存在等的信息。并且空间参数可包括在将至少两个声道进行声道缩减混音成为至多两个声道的过程中的声道声级差(以下简称CLD)、声道间相关性或相干性(下文简称ICC)、声道预测系数(下文简称CPC)等。
同时,除空间信息外,空间信息抽取单元120还能够进一步抽取扩充空间信息。在这种情况下,扩充空间信息是对已经用空间参数进行了声道扩展混音处理的声道缩减混音音频信号d进行额外扩充所需要的信息。此外,扩充空间信息可包括扩充声道配置信息和扩充空间参数。扩充空间信息不局限于由空间信息抽取单元120抽取的扩充空间信息,下文将会对它进行解释。
除此之外,编码装置100能够进一步包括通过将声道缩减混音音频信号d解码来生成声道缩减混音音频比特流的核心编解码器编码单元(未在附图中示出)、通过编码空间信息s来生成空间信息比特流的空间信息编码单元(未在附图中示出)、以及通过将声道缩减混音音频比特流与空间信息比特流多路复用来生成音频信号比特流的多路复用单元(未在附图中示出),在这方面本发明未作限制。
并且,解码装置200能够进一步包括将音频信号比特流分离成声道缩减混音音频比特流和空间信息比特流的多路分解单元(未在附图中示出)、对声道缩减混音音频比特流进行解码的核心编解码器解码单元(未在附图中示出)、以及对空间信息比特流进行解码的空间信息解码单元(未在附图中示出),在这方面本发明未作限制。
解码装置200中的经修改空间信息生成单元220使用空间信息识别经修改空间信息的类型,然后基于空间信息生成所识别出的类型的经修改空间信息s′。在这种情况下,空间信息可以是从编码装置100传达来的空间信息s。并且,经修改空间信息是使用该空间信息新生成的信息。
同时,可能存在各种类型的经修改空间信息。并且,各种类型的经修改空间信息可包括a)、b)和c)中的至少一个:a)部分空间信息,b)组合空间信息,c)扩充空间信息,本发明在这方面未作限制。
部分空间信息包括部分的空间参数,组合空间信息通过组合空间参数来生成,而扩展空间信息使用该空间信息和扩充空间信息来生成。
经修改空间信息生成单元220生成经修改空间信息的方式可根据经修改空间信息的类型而不同。并且,按照经修改空间信息的类型生成经修改空间信息的方法在下文中会有详细的解释。
同时,决定经修改空间信息的类型的基准可对应于空间信息中的树状配置信息、空间信息中的指示符、输出声道信息等。树状配置信息以及指示符可以被包含在来自编码装置的空间信息s中。输出声道信息是关于互连至解码装置200的扬声器的信息,且可以包括输出声道数、关于每个输出声道的位置信息等。输出声道信息可以由制造商预先输入或由用户输入。
使用这些信息来决定经修改空间信息的类型的方法将在稍后进行详细解释。
解码装置200的输出声道生成单元210使用经修改空间信息s′从声道缩减混音音频信号d生成输出声道音频信号OUT_N。
空间滤波器信息230是关于声径的信息,并且被提供给经修改空间信息生成单元220。如果经修改空间信息生成单元220生成具有环绕效果的组合空间信息,则可以使用空间滤波器信息。
在下文中,通过按照经修改空间信息的类型生成经修改空间信息来解码音频信号的方法按下述次序来如下解释:(1)部分空间信息,(2)组合空间信息,(3)扩展空间信息。
(1)部分空间信息
因为空间参数是在根据预定树状配置对多声道音频信号进行声道缩减混音处理的过程中计算出来的,所以如果声道缩减混音音频信号是按原样使用空间参数来解码的,则可以重构出进行声道缩减混音处理之前的原始多声道音频信号。如果试图使输出声道音频信号的声道数N小于多声道音频信号的声道数M,那么可以通过部分地应用空间参数来解码声道缩减混音音频信号。
这种方法可以根据在编码装置中将多声道音频信号进行声道缩减混音的顺序和方法即树状配置的类型而改变。并且,树状配置类型可以使用空间信息的树状配置信息来查询。而且这种方法可根据输出声道的数目而改变。此外,可以使用输出声道信息来查询输出声道的数目。
下文中,在输出声道音频信号的声道数比多声道音频信号的声道数少的情况下,在以下的说明中,以各种树状配置为例,对一种通过应用部分地包括空间参数的部分空间信息来解码音频信号的方法加以解释。
(1)-1.树状配置的第一实施例(5-2-5树状配置)
图2是应用部分空间信息的一个实施例的示意图。
参考图2的左半部分,示出了将声道数为6(左前置声道L、左环绕声道Ls、中置声道C、低频声道LFE、右前置声道R、右环绕声道Rs)的多声道音频信号声道缩减混音成立体声声道缩减混音声道Lo和Ro的顺序以及多声道音频信号与空间参数之间的关系。
首先,执行左声道L与左环绕声道Ls之间的声道缩减混音、中置声道C与低频声道LFE之间的声道缩减混音、以及右声道R与右环绕声道Rs之间的声道缩减混音。在此初级声道缩减混音过程中,生成了左总声道Lt、中置总声道Ct以及右总声道Rt。并且在此初级声道缩减混音过程中计算出的空间参数包括CLD2(含ICC2)、CLD1(含ICC1)、CLD0(含ICC0)等。
在此初级声道缩减混音过程之后的次级过程中,左总声道Lt、中置总声道Ct与右总声道Rt被声道缩减混音在一起以生成左声道L0以及右声道R0。在次级声道缩减混音过程中计算的空间参数包括CLDTTT、CPCTTT、ICCTTT等。
换言之,总计六个声道的多声道音频信号按照上述顺序声道缩减混音,以生成立体声声道缩减混音声道Lo和Ro。
如果原封不动地使用以上述顺序方式计算出的空间参数(CLD2、CLD1、CLD0、CLDTTT等),则它们按照与声道缩减混音的次序相反的顺序进行声道扩展混音以生成声道数为6(左前置声道L、左环绕声道Ls、中置声道C、低频声道LFE、右前置声道R、右环绕声道Rs)的多声道音频信号。
参考图2的右半部分,如果部分空间信息对应于空间参数(CLD2、CLD1、CLD0、CLDTTT等)中的CLDTTT,则其被声道扩展混音成左总声道Lt、中置总声道Ct以及右总声道Rt。如果左总声道Lt和右总声道Rt被选择为输出声道音频信号,则能够生成有Lt和Rt两个声道的输出声道音频信号。如果左总声道Lt、中置总声道Ct和右总声道Rt被选择为输出声道音频信号,则能够生成有Lt、Ct和Rt三个声道的输出声道音频信号。在额外地用了CLD1进行声道扩展混音后,如果左总声道Lt、右总声道Rt、中置声道C以及低频声道LFE被选择,则能够生成有四个声道(Lt、Rt、C和LFE)的输出声道音频信号。
(1)-2.树状配置的第二实施例(5-1-5树状配置)
图3是应用部分空间信息的另一个实施例的示意图。
参考图3的左半部分,示出了将声道数为6(左前置声道L、左环绕声道Ls、中置声道C、低频声道LFE、右前置声道R、右环绕声道Rs)的多声道音频信号声道缩减混音成单声道的声道缩减混音音频信号M的顺序以及多声道音频信号与空间参数之间的关系。
首先,与第一实施例相似,执行左声道L与左环绕声道Ls之间的声道缩减混音、中置声道C与低频声道LFE之间的声道缩减混音、以及右声道R与右环绕声道Rs之间的声道缩减混音。在此初级声道缩减混音过程中,生成了左总声道Lt、中置总声道Ct以及右总声道Rt。并且,在此初级声道缩减混音过程中计算出的空间参数包括CLD3(含ICC3)、CLD4(含ICC4)、CLD5(含ICC5)等。(在本例中,CLDX和ICCX区别于第一实施例中的先前的CLDX)。
在此初级声道缩减混音过程之后的次级过程中,左总声道Lt和右总声道Rt一起被声道缩减混音以生成左中置声道LC,而中置总声道Ct与右总声道Rt一起被声道缩减混音以生成一个右中置声道RC。并且,在此次级声道缩减混音过程中计算出的空间参数可包括CLD2(含ICC2)、CLD1(含ICC1)等。
然后,在三级声道缩减混音过程中,左中置声道LC和右中置声道Rt被声道缩减混音以生成单声道的声道缩减混音信号M。并且,在此三级声道缩减混音过程中计算出的空间参数包括CLD0(含ICC0)等。
参考图3的右半部分,如果部分空间信息对应于空间参数(CLD3、CLD4、CLD5、CLD1、CLD2、CLD0等)中的CLD0,则生成左中置声道LC以及右中置声道RC。如果左中置声道LC和右中置声道RC被选择为输出声道音频信号,则能够生成有LC和RC两个声道的输出声道音频信号。
同时,如果部分空间信息对应于空间参数(CLD3、CLD4、CLD5、CLD1、CLD2、CLD0等)中的CLD0、CLD1和CLD2,则生成左总声道Lt、中置总声道Ct以及右总声道Rt。
如果左总声道Lt和右总声道Rt被选择为输出声道音频信号,则能够生成有Lt和Rt两个声道的输出声道音频信号。如果左总声道Lt、中置总声道Ct和右总声道Rt被选择为输出声道音频信号,则能够生成有Lt、Ct和Rt三个声道的输出声道音频信号。
在部分空间信息还额外包括CLD4的情况下,在声道扩展混音被执行至中置声道及低频声道LEF后,如果左总声道Lt、右总声道Rt、中置声道C和低频声道LEF被选择为输出声道音频信号,则能够生成四个声道(Lt、Rt、C和LFE)的输出声道音频信号。
(1)-3.树状配置的第三实施例(5-1-5树状配置)
图4是应用部分空间信息的又一个实施例的示意图。
参考图4的左半部分,示出了将声道数为6(左前置声道L、左环绕声道Ls、中置声道C、低频声道LFE、右前置声道R、右环绕声道Rs)的多声道音频信号声道缩减混音成单声道的声道缩减混音音频信号M的顺序以及多声道音频信号与空间参数之间的关系。
首先,与第一实施例或第二实施例相似,执行左声道L和左环绕声道Ls之间的声道缩减混音、中置声道C与低频声道LFE之间的声道缩减混音、以及右声道R与右环绕声道Rs之间的声道缩减混音。在此初级声道缩减混音过程中,生成了左总声道Lt、中置总声道Ct以及右总声道Rt。并且,在此初级声道缩减混音过程中计算出的空间参数包括CLD1(含ICC1)、CLD2(含ICC2)、CLD3(含ICC3)等(在本例中,CLDX和ICCX区别于第一或第二实施例中先前的CLDX和ICCX)。
在此初级声道缩减混音过程之后的次级过程中,左总声道Lt、中置总声道Ct以及右总声道Rt一起被声道缩减混音以生成左中置声道LC以及右声道R。并且空间参数CLDTTT(含ICCTTT)被计算出来。
然后,在三级声道缩减混音过程中,左中置声道LC与右声道R被声道缩减混音以生成单声道声道缩减混音信号M。并且空间参数CLD0(含ICC0)被计算出来。
参考图4的右半部分,如果部分空间信息对应于空间参数(CLD1、CLD2、CLD3、CLDTTT、CLD0等)中的CLD0和CLDTTT,则生成左总声道Lt、中置总声道Ct以及右总声道Rt。
如果左总声道Lt和右总声道Rt被选择为输出声道音频信号,则能够生成有Lt和Rt两个声道的输出声道音频信号。
如果左总声道Lt、中置总声道Ct和右总声道Rt被选择为输出声道音频信号,则能够生成有Lt、Ct和Rt三个声道的输出声道音频信号。
在部分空间信息还额外包含CLD2的情况下,在声道扩展混音已被执行至中置声道C及低频声道LEF后,如果左总声道Lt、右总声道Rt、中置声道C和低频声道LEF被选择为输出声道音频信号,则能够生成四个声道(Lt、Rt、C和LFE)的输出声道音频信号。
在以上描述中,以这三种树状配置类型为例,对仅部分地应用空间参数来生成输出声道音频信号的过程进行了解释。而且,除了部分空间信息之外,还可以额外地应用组合空间信息或扩充空间信息。因此,可以应对将经修改空间信息分级地、或集体地且综合地应用于音频信号的过程。
(2)组合空间信息
因为空间信息是在根据预定的树状配置来声道缩减混音一多声道音频信号的过程中计算出来的,所以如果照原样使用空间信息的空间参数对声道缩减混音音频信号进行解码,则可重构出声道缩减混音之前的原始多声道音频信号。如果多声道音频信号的声道数M不同于输出声道音频信号的声道数N,则通过组合空间信息生成新的组合空间信息,然后就能够使用所生成的信息对声道缩减混音音频信号进行声道扩展混音处理。特别地,通过将空间参数应用于转换公式,就能够生成组合空间参数。
此方法可以根据在编码装置中声道缩减混音一多声道音频信号的顺序和方法而改变。并且能够使用空间信息中的树状配置信息来查询声道缩减混音的顺序和方法。而且此方法根据输出声道的数目而改变。此外,可以使用输出声道信息来查询输出声道的数目等。
接下来,在下文的描述中将解释修改空间信息的方法的详细实施方式和给出虚拟3-D效果的实施方式。
(2)-1.通用组合空间信息
提供了一种通过组合空间信息的空间参数来生成组合空间参数的方法,用于根据与声道缩减混音过程中的树状配置不同的树状配置进行声道扩展混音。因此,这种方法能应用于所有种类的声道缩减混音音频信号,而不论根据树状配置信息的树状配置是什么。
如果多声道音频信号是5.1声道的,并且声道缩减混音音频信号是1声道(单声道)的,一种生成两个声道的输出声道音频信号的方法参考两种实施例解释如下。
(2)-1-1.树状配置的第四实施例(5-1-51树状配置)
图5是应用组合空间信息的实施例的示意图。
参考图5的左半部分,CLD0到CLD4以及ICC0到ICC4(未在附图中显示)可以被称为可在对5.1声道的多声道音频信号进行声道缩减混音的过程中计算出的空间参数。例如,在空间参数中,左声道信号L与右声道信号R之间的声道间声级差是CLD3,L与R之间的声道间相关性是ICC3。并且左环绕声道Ls与右环绕声道Rs之间的声道间声级差是CLD2,Ls与Rs之间的声道间相关性是ICC2。
另一方面,参考图5的右半部分,如果通过将组合空间参数CLDα和ICCα应用于单声道的声道缩减混音音频信号m而生成左声道信号Lt和右声道信号Rt,则能够从单声道音频信号m直接生成立体声输出声道音频信号Lt和Rt。在这种情况下,组合空间参数CLDα和ICCα可以通过将CLD0至CLD4以及ICC0至ICC4组合来计算。
下文首先解释通过将CLD0至CLD4组合在一起来计算组合空间参数中的CLDα的过程,然后解释通过将CLD0至CLD4以及ICC0至ICC4组合来计算组合空间参数中的ICCα的过程如下。
(2)-1-1-a.CLDα的推导
首先,由于CLDα是左输出信号Lt与右输出信号Rt之间的声级差,因此将左输出信号Lt以及右输出信号Rt代入到CLD的定义公式得到的结果如下所示。
[公式1]
CLDα=10*log10(PLt/PRt),
其中,PLt是Lt的功率,PRt是Rt的功率。
[公式2]
CLDα=10*log10(PLt+a/PRt+a),
其中,PLt是Lt的功率,PRt是Rt的功率,并且`a′是一个非常小的常数。
因此,CLDα由公式1或者公式2定义。
同时,为了使用空间参数CLD0到CLD4来表示PLt和PRt,需要输出声道音频信号的左输出信号Lt、输出声道音频信号的右输出信号Rt、与多声道信号L、Ls、R、Rs、C以及LFE之间的关系公式。并且,相对应的关系公式可以定义如下。
[公式3]
Lt=L+Ls+C/√2+LFE/√2
Rt=R+Rs+C/√2+LFE/√2
因为如公式3这样的关系公式可以根据如何定义输出声道音频信号而改变,故其可以用不同于公式3的公式的方式来定义。例如,C/√2或LFE/√2中的′1/√2′可以是′0′或′1′。
公式3可以引出如下公式4。
[公式4]
PLt=PL+PLs+PC/2+PLFE/2
PRt=PR+PRs+PC/2+PLFE/2
可以使用PLt和PRt根据公式1或者公式2表示CLDα。并且,`PLt和PRt′可以使用PL、PLs、Pc、PLFE、PR和PRs根据公式4表示。所以,需要找出使得能用空间参数CLD0到CLD4来表示PL、PLs、PC、PLFE、PR和PRs的关系公式。
同时,如果树状配置如图5所示,那么多声道音频信号(L、R、C、LFE、Ls、Rs)与单声道的声道缩减混音声道信号m之间的关系如下所示。
[公式5]
其中,
并且公式5引出如下公式6。
[公式6]
其中,
特别地,通过把公式6代入公式4、并把公式4代入公式1或者公式2,就能够以将空间参数CLD0至CLD4组合的方式表示组合空间参数CLDα。
同时,通过把公式6代入到公式4中的Pc/2+PLFE/2结果所得的展开在公式7中示出。
[公式7]
PC/2+PLFE/2=[(c1,OTT4)2+(c2,OTT4)2]*(c2,OTT1*c1,OTT0)2*m2/2,
在这种情况下,根据c1和c2的定义(参见公式5),因为(c1,x)2+(c2,x)2=1,故(c1,OTT4)2+(c2,OTT4)2=1。
所以,公式7可以简单地归纳如下。
[公式8]
PC/2+PLFE/2=(c2,OTT1*c1,OTT0)2*m2/2
因此,通过把公式8和公式6代入公式4、并且把公式4代入公式1,就能够以将空间参数CLD0至CLD4组合的方式来表示组合空间参数CLDα。
(2)-1-1-b.ICCα的推导
首先,因为ICCα是左输出信号Lt与右输出信号Rt之间的相关性,所以将左输出信号Lt和右输出信号Rt代入到相对应的定义公式得到的结果如下所示。
[公式9]
在公式9中,PLt和PRt可以使用CLD0至CLD4在公式4、公式6、公式8中表示。并且,PLtPRt能以公式10的方式展开。
[公式10]
PLtRt=PLR+PLsRs+PC/2+PLFE/2
在公式10中,`PC/2+PLFE/2′可根据公式6表示成CLD0到CLD4。并且,PLR和PLsRs可以根据ICC定义展开如下。
[公式11]
ICC3=PLR/√(PLPR)
ICC2=PLsRs/√(PLsPRs)
在公式11中,如果将√(PLPR)或者√(PLsPRs)进行移项,就可以获得公式12。
[公式12]
PLR=ICC3*√(PLPR)
PLsRs=ICC2*√(PLsPRs)
在公式12中,PL、PR、PLs和PRs可以根据公式6表示成CLD0至CLD4。将公式6代入公式12结果得到的公式对应于公式13。
[公式13]
PLR=ICC3*c1,OTT3*c2,OTT3*(c1,OTT1*c1,OTT0)2*m2
PLsRs=ICC2*c1,OTT2*c2,OTT2*(c2,OTT0)2*m2
归纳起来,通过把公式6和公式13代入公式10、并把公式10和公式4代入公式9,就能够把组合空间参数ICCα用空间参数CLD0到CLD3、ICC2和ICC3来表示。
(2)-1-2.树状配置的第五实施方式(5-1-52树状配置)
图6是应用组合空间信息的另一个实施例的示意图。
参考图6的左半部分,CLD0到CLD4以及ICC0到ICC4(未在附图中显示)可以被称为可在对5.1声道的多声道音频信号进行声道缩减混音的过程中计算出的空间参数。
在空间参数中,左声道信号L与左环绕声道信号Ls之间的声道间声级差是CLD3,并且L与Ls之间的声道间相关性是ICC3。并且,右声道R与右环绕声道Rs之间的声道间声级差是CLD4,R与Rs之间的声道间相关性是ICC4。
另一方面,参考图6的右半部分,如果通过将组合空间参数CLDβ和ICCβ应用于单声道的声道缩减混音音频信号m生成左声道信号Lt和右声道信号Rt,则能够从单声道音频信号m直接生成立体声输出声道音频信号Lt和Rt。在这种情况下,组合空间参数CLDβ和ICCβ可以通过将空间参数CLD0至CLD4以及ICC0至ICC4组合来计算。
下文首先解释通过将CLD0至CLD4组合在一起计算组合空间参数中的CLDβ的过程,然后解释通过将CLD0至CLD4以及ICC0至ICC4组合在一起来计算组合空间参数中的ICCβ的过程如下。
(2)-1-2-a.CLDβ的推导
首先,因为CLDβ是左输出信号Lt与右输出信号Rt之间的声道间声级差,将左输出信号Lt以及右输出信号Rt代入CLD的定义公式的结果如下所示。
[公式14]
CLDβ=10*log10(PLt/PRt),
其中,PLt是Lt的功率,PRt是Rt的功率。
[公式15]
CLDβ=10*log10(PLt+a/PRt+a),
其中,PLt是Lt的功率,PRt是Rt的功率,并且`a′是一个非常小的数。
因此,CLDβ如公式14或公式15地来定义。
同时,为了使用空间参数CLD0到CLD4来表示PLt和PRt,需要输出声道音频信号的左输出信号Lt、输出声道音频信号的右输出信号Rt、与多声道信号L、Ls、R、Rs、C以及LFE之间的关系公式。并且,相对应的关系公式可以定义如下。
[公式16]
Lt=L+Ls+C/√2+LFE/√2
Rt=R+Rs+C/√2+LFE/√2
因为如公式16那样的关系公式可以根据如何定义输出声道音频信号而改变,故其可以用不同于公式16的公式的方式来定义。例如,C/√2或LFE/√2中的′1/√2′可以是′0′或′1′。
公式16可以引出如下公式17。
[公式17]
PLt=PL+PLs+PC/2+PLFE/2
PRt=PR+PRs+PC/2+PLFE/2
可以使用PLt和PRt根据公式14或者公式15表示CLDβ。并且,`PLt和PRt′可以使用PL、PLs、Pc、PLFE、PR和PRs根据公式15来表示。所以,需要找出使得能用空间参数CLD0到CLD4来表示PL、PLs、PC、PLFE、PR和PRs的关系公式。
同时,如果树状配置如图6所示,那么多声道音频信号(L、R、C、LFE、Ls、Rs)与单声道的声道缩减混音声道信号m之间的关系如下所示。
[公式18]
其中,
并且,公式18引出如下公式19。
[公式19]
其中,
特别地,通过把公式19代入公式17、并把公式17代入公式14或者公式15,就能够以将空间参数CLD0到CLD4组合的方式来表示组合空间参数CLDβ。
同时,把公式19代入到公式17中的PL+PLs结果得到的展开公式表示在公式20中。
[公式20]
PL+PLs=[(c1,OTT3)2+(c2,OTT3)2](c1,OTT1*c1,OTT0)2*m2
在这种情况下,根据c1和c2的定义(参见公式5),因为(c1,x)2+(c2,x)2=1,故(c1,OTT3)2+(c2,OTT3)2=1。
所以,公式20可以简单地归纳如下。
[公式21]
PL_=PL+PLs=(c1,OTT1*c1,OTT0)2*m2
另一方面,把公式19代入到公式17中的PR+PRs结果得到的展开公式表示在公式22中。
[公式22]
PR+PRs=[(c1,OTT4)2+(c2,OTT4)2](c1,OTT1*c1,OTT0)2*m2
在这种情况下,根据c1和c2的定义(参见公式5),因为(c1,x)2+(c2,x)2=1,故(c1,OTT4)2+(c2,OTT4)2=1。
所以,公式22可以简单地归纳如下。
[公式23]
PR_=PR+PRs=(c2,OTT1*c1,OTT0)2*m2
另一方面,把公式19代入到公式17中的PC/2+PLFE/2结果得到的展开公式表示在公式24中。
[公式24]
PC/2+PLFE/2=[(c1,OTT2)2+(c2,OTT2)2](c2,OTT0)2*m2/2
在这种情况下,根据c1和c2的定义(参见公式5),因为(c1,x)2+(c2,x)2=1,故(c1,OTT2)2+(c2,OTT2)2=1。
所以,公式24可以简单地归纳如下。
[公式25]
PC/2+PLFE/2=(c2,OTT0)2*m2/2
因此,通过把公式21、公式23和公式25代入公式17、并把公式17代入公式14或者公式15,就能够以将空间参数CLD0到CLD4组合的方式来表示组合空间参数CLDβ。
(2)-1-2-b.ICCβ的推导
首先,因为ICCβ是左输出信号Lt与右输出信号Rt之间的相关性,所以将左输出信号Lt和右输出信号Rt代入到相对应的定义公式得到的结果如下所示。
[公式26]
在公式26中,PLt和PRt可以根据公式19使用CLD0到CLD4来表示。并且,PLtPRt可以按公式27的方式展开。
[公式27]
PLtRt=PL_R_+PC/2+PLFE/2
在公式27中,`Pc/2+PLFE/2′可以根据公式19用CLD0到CLD4来表示。并且,PL_R_可以根据如下ICC定义来展开。
[公式28]
ICC1=PL_R_/√(PL_PR_)
如果将√(PL_PR_)移项,可以获得公式29。
[公式29]
PL_R_=ICC1*√(PL_PR_)
在公式29中,PL_和PR_和可以根据公式21和公式23用CLD0到CLD4来表示。将公式21和公式23代入公式29得到的公式对应于公式30。
[公式30]
PL_R_=ICC1*c1,OTT1*c1,OTT0*c2,OTT1*c1,OTT0*m2
归纳起来,通过把公式30代入公式27、并把公式27和公式17代入公式26,就能够把组合空间参数ICCβ用空间参数CLD0到CLD4以及ICC1来表示。
以上解释的空间参数修改方法只是一个实施方式。并且,在寻找Px或Pxy时,显然通过考虑相应各声道之间的相关性(例如ICC0等)、并以及额外考虑信号能量,以上解释的公式即能够以各种形式来改变。
(2)-2.具有环绕效果的组合空间信息
首先,如果考虑声径来通过将空间信息进行组合生成组合空间信息,就能够产生虚拟环绕效果。
虚拟环绕效果或曰虚拟3D效果能够在没有环绕声道扬声器的情况下生成实质上存在环绕声道扬声器的效果。例如,5.1-声道音频信号是通过两个立体声扬声器输出的。
声径可对应于空间滤波器信息。空间滤波器信息能够使用称为HRTF(头部相关传递函数)的函数,本发明对此不作限制。空间滤波器信息能够包含滤波器参数。通过将滤波器参数和空间参数代入到一个转换公式中,就能够生成组合空间参数。并且,所生成的组合空间参数可以包含滤波器系数。
接下来,假设多声道音频信号是5声道的,且生成的是三声道的输出声道音频信号,考虑声径以生成具有环绕效果的组合空间信息的方法将解释如下。
图7是从扬声器到听者的声径的示图,其中示出了各扬声器的位置。
参考图7,三个扬声器SPK1、SPK2和SPK3的位置分别是左前置L、中置C以及右R。并且虚拟环绕声道的位置分别是左环绕Ls和右环绕Rs。
分别示出了从三个扬声器的位置L、C和R以及虚拟环绕声道位置Ls和Rs到听者的右耳和左耳位置r和l的声径。标记`Gx_y′指示从位置x到位置y的声径。例如,标记`GL_r′指示从左前置L到听者的右耳r的声径。
如果在五个位置上存在扬声器(即在左环绕Ls和右环绕Rs处也存在扬声器),并且如果听者存在于图7所示位置,那么送入听者左耳的信号L0和送入听者右耳的信号R0用公式31来表示。
[公式31]
L0=L*GL_l+C*GC_l+R*GR_l+Ls*GLs_l+Rs*GRs_l
R0=L*GL_r+C*GC_r+R*GR_r+Ls*GLs_r+Rs*GRs_r,
其中,L、C、R、Ls和Rs分别是各位置处的声道,Gx_y表示从位置x到位置y的声径,并且`*′表示卷积。
然而,如以上描述所述,如果扬声器只存在于三个位置L、C、和R,那么送入听者左耳的信号L0_real和送入听者右耳的信号R0_real表示如下。
[公式32]
L0_real=L*GL_l+C*GC_l+R*GR_l
R0_real=L*GL_r+C*GC_r+R*GR_r
因为在公式32中表示的信号没有考虑环绕声道信号Ls和Rs,故不能产生虚拟环绕效果。为了产生虚拟环绕效果,要使得从扬声器位置Ls到达听者位置(l,r)的Ls信号等于与从不同于原始位置Ls的三个位置L、C和R中的每一个处的扬声器到达听者位置(l,r)的Ls信号。并且,这也等同地适用于右环绕声道信号Rs。
审视左环绕声道信号Ls,如果左环绕声道信号Ls是从在作为原始位置的左环绕位置Ls的扬声器输出的,那么到达听者的左、右耳l和r的信号表示如下。
[公式33]
`Ls*GLs_l′、`Ls*GLs_r′
并且,如果右环绕声道信号Rs是从在作为原始位置的右环绕位置Rs的扬声器输出的,那么到达听者的左、右耳l和r的信号表示如下。
[公式34]
`Rs*GRs_l′、`Rs*GRs_r′
如果到达听者的左、右耳l和r信号等于公式33和公式34的分量,那么即使它们是通过任何位置的扬声器(例如,通过在左前置位置的扬声器SPK1)来输出的,听者也能够拥有宛如扬声器分别存在于左环绕位置Ls和右环绕位置Rs的感觉。
同时,如果公式33中的分量是从位于左环绕位置Ls的扬声器输出的,它们分别是到达听者的左耳l和右耳r的信号。所以,如果公式33所示的分量是从位于左前置位置的扬声器SPK1原封不动地输出的,那么到达听者的左耳l和右耳r的信号可以表示如下。
[公式35]
`Ls*GLs_l*GL_l′、`Ls*GLs_r*GL_r′
审视公式35,添加了对应于从左前置位置L到听者左耳l(或右耳r)的声径的分量`GL_l′(或`GL_r′)。
然而,到达听者的左耳l和右耳r的信号应当是公式33而不是公式35中所示的分量。如果从位于左前置位置L的扬声器输出的声音到达听者,要添加分量`GL_l′(或`GL_r′)。因此,如果公式33中所示的分量是从位于左前置位置的扬声器SPK1输出的,那么对于声径而言,应当考虑`GL_l′(或`GL_r′)的反函数`GL_l -1′(或`GL_r -1′)。换言之,如果对应于公式33的分量是从位于左前置位置L上的扬声器SPK1输出的,那么这些分量必须按下面的公式修改。
[公式36]
`Ls*GLs_l*GL_l -1′、`Ls*GLs_r*GL_r -1′
如果对应于公式34的分量是由位于左前置位置L上的扬声器SPK1输出的,那么这些分量必须修改成下面的公式。
[公式37]
`Rs*GRs_l*GL_l -1′、`Rs*GRs_r*GL_l -1′
所以,从位于左前置位置L上的扬声器SPK1输出的信号L′归纳如下。
[公式38]
L′=L+Ls*GLs_l*GL_l -1+Rs*GRs_l*GL_l -1
(分量Ls*GLs_r*GL_r -1和Rs*GRs_r*GL_l -1被省去)
如果公式38所示的要从位于左前置位置L上的扬声器SPK1输出的信号到达听者左耳位置L,则添加声径因子`GL_l′。所以,公式38中的各`GL_l′项被抵消,籍此公式33和公式34所示的因子最终保留。
图8是解释从每个扬声器位置输出以实现虚拟环绕效果的信号的图。
参考图8,如果通过考虑声径,令从环绕位置Ls和Rs输出的信号Ls和Rs被包含在从每个扬声器位置SPK1输出的信号L′中,那么它们对应于公式38。
在公式38中,GLs_l*GL_l -1被简写为HLs_L,如下所示。
[公式39]
L′=L+Ls*HLs_L+Rs*HRs_L
例如,从位于中置位置C的扬声器SPK2输出的信号C’被归纳如下。
[公式40]
C′=C+Ls*HLs_C+Rs*HRs_C
再例如,从位于右前置位置R的扬声器SPK3输出的信号R’被归纳如下。
[公式41]
R′=R+Ls*HLs_R+Rs*HRs_R
图9是解释如公式38,公式39或公式40那样使用5声道信号生成3声道信号的方法的概念图。
如果使用5声道信号生成2声道信号R’和L’,或者如果在中置声道信号C’中不包含环绕声道信号Ls或Rs,则HLs_C或者HRs_C变成0。
为了方便实现,Hx_y可以用使Hx_y被Gx_y替代或者通过考虑串话(cross-talk)来使用Hx_y的方式进行各种修改。
以上详细解释涉及具有环绕效果的组合空间信息的一个实施例。并且显然,它可以根据应用空间滤波器信息的方法以各种形式改变。如以上叙述所述,根据以上过程通过扬声器(在上例中,是左前置声道L’、右前置声道R’和中置声道C’)输出的信号可以使用组合空间信息——更具体地是使用组合空间参数——从声道缩减混音音频信号生成。
(3)扩展空间信息
首先,通过将扩充空间信息添加到空间信息,就能够生成扩展空间信息。且能够使用该扩充空间信息对音频信号进行声道扩展混音。在对应的扩展混音过程中,音频信号基于空间信息被转换为初级声道扩展混音音频信号,然后该初级声道扩展混音音频信号基于扩充空间信息被转换为次级声道扩展混音音频信号。
在这种情况下,扩充空间信息能够包含扩充声道配置信息、扩充声道映射信息和扩充空间参数。
扩充声道配置信息是关于可配置声道以及可用空间信息的树状配置信息来配置的声道的信息。扩充声道配置信息可包含分割标识符和不分割标识符中的至少一个,这在下面会详细解释。扩充声道映射信息是配置扩充声道的每个声道的位置信息。且,扩充空间参数可以用来将一个声道进行声道扩展混音成至少两个声道。扩充空间参数可包含声道间声级差。
以上解释的扩充空间信息可以在(i)由编码装置生成或(ii)由解码装置自身生成后被包含在空间信息中。如果扩充空间信息系由编码装置生成,则扩充空间信息的存在与否可以基于空间信息指示符来判定。如果扩充空间信息由解码装置自身生成,则扩充空间信息的扩充空间参数可通过使用空间信息的空间参数进行计算来得到。
同时,使用在空间信息和扩充空间信息的基础上生成的扩展空间信息对音频信号进行声道扩展混音的过程可以顺序地且分级地执行或者集体地且综合地执行。如果扩展空间信息可以作为基于空间信息和扩充空间信息的一个矩阵来计算,则能够使用该矩阵来集体且直接地将声道缩减混音音频信号声道扩展混音成多声道音频信号。在这种情况下,配置该矩阵的因子可以根据空间参数和扩充空间参数来定义。
下文中,在解释完使用由编码装置生成的扩充空间信息的例子之后,将解释由解码装置自身生成扩充空间信息的例子。
(3)-1:使用由编码装置生成的扩充空间信息的例子:任意性树状配置
首先,扩展空间信息由编码装置通过将扩充空间信息添加到空间信息来生成的方式生成。且,将解释解码装置接收该扩充空间信息的例子。除此之外,扩充空间信息可以是在编码装置对多声道音频信号进行声道缩减混音的过程中抽取的信息。
如以上说明所述,扩充空间信息包含扩充声道配置信息、扩充声道映射信息以及扩充空间参数。在这种情况下,扩充声道配置信息可包含分割标识符和不分割标识符中的至少一个。接下来,将对基于分割和不分割标识符阵列配置扩充声道的过程详细解释如下。
图10是基于扩充声道配置信息来配置扩充声道的实施例的图。
参考图10的下半部分,0和1被重复地编排成一个序列。在这种情况下,`0′表示不分割标识符,而`1′代表分割标识符。不分割标识符0存在于第一阶(1)上,与第一阶的不分割标识符0相匹配的声道是存在于最上端的左声道L。因此,与此不分割标识符0相匹配的左声道L被选择为输出声道而不是被分割。在第二阶(2)上存在分割标识符1。与分割标识符相匹配的声道是左声道L旁的左环绕声道Ls。因此,与此分割标识符1相匹配的左环绕声道Ls被分割成两个声道。
因为在第三阶(3)和第四阶(4)存在不分割标识符0,所以从左环绕声道Ls分割出的两个声道被原封不动地选择为输出声道而不被分割。一旦以上过程被重复至最后一阶(10),就能够配置出完整的扩充声道。
此声道分割过程被重复的次数与分割标识符1的数目相同,并且选择声道作为输出声道的过程被重复的次数与不分割标识符0的数目相同。因此,声道分割单元AT0和AT1的数目等于分割标识符1的数目(2),并且扩充声道(L、Lfs、Ls、R、Rfs、Rs、C和LFE)的数目等于不分割标识符0的数目(8)。
同时,在配置出了扩充声道后,可以使用扩充声道映射信息来映射每个输出声道的位置。在图10的情形中,映射按照左前置声道L、左前侧声道Lfs、左环绕声道Ls、右前置声道R、右前侧声道Rfs、右环绕声道Rs、中置声道C以及低频声道LFE的顺序执行。
如以上说明所述,扩充声道可基于扩充声道配置信息进行配置。为此,将一个声道分割成至少两个声道的声道分割单元是必需的。在将一个声道分割成至少两个声道时,该声道分割单元能够使用扩充空间参数。因为扩充空间参数的数目等于声道分割单元的数目,所以它也等于分割标识符数。因此,可以抽取数目与分割标识符数一样多的扩充空间参数。
图11是解释图10所示的扩充声道的配置及其与扩充空间参数关系的图。
参考图11,图中有两个声道分割单元AT0和AT1,且示出了分别应用于它们的扩充空间参数ATD0和ATD1。
如果扩充空间参数是声道间声级差,则声道分割单元能够使用扩充空间参数决定两个分割所得声道的声级差。
因此,在通过添加扩充空间信息来执行声道扩展混音操作时,扩充空间参数可以不是完全地,而是部分地应用。
(3)-2.生成扩充空间信息的例子:内插/外推
首先,能够通过将扩充空间信息添加到空间信息生成扩展空间信息。将在下面的说明中对使用空间信息生成扩充空间信息的例子进行解释。特别地,能够使用空间信息的空间参数生成扩充空间信息。在这种情形中,可以使用内插法、外推法等等。
(3)-2-1.扩充至6.1声道
如果多声道音频信号是5.1声道,生成6.1声道的输出声道音频信号的例子参考以下示例来解释。
图12是5.1声道的多声道音频信号的位置及6.1声道的输出声道音频信号的位置的图。
参考图12(a),可以看到5.1声道的多声道音频信号的声道位置分别是左前置声道L、右前置声道R、中置声道C、低频声道(未在附图中示出)LFE、左环绕声道Ls和右环绕声道Rs。
在5.1声道的多声道音频信号是声道缩减混音音频信号的情形中,如果将空间参数应用于声道缩减混音音频信号,那么该声道缩减混音音频信号再次被声道扩展混音成5.1声道的多声道音频信号。
然而,应该进一步生成如附图12(b)中所示的后中置RC声道信号,以将声道缩减混音音频信号作声道扩展混音处理成6.1声道的多声道音频信号。
后中置RC的声道信号可以使用与两个后置声道(左环绕声道Ls和右环绕声道Rs)相关联的空间参数来生成。特别地,空间参数中的声道间声级差(CLD)指示两个声道之间的声级差。因此,通过调节两个声道之间的声级差,即能够改变存在于这两个声道之间的虚拟声源的位置。
虚拟声音源的位置根据两个声道之间的声级差而变化的原理解释如下。
图13是解释虚拟声音源位置与两个声道间声级差之间的关系的图,图中左、右环绕声道Ls和Rs的声级分别是`a′和`b′。
参考图13(a),如果左环绕声道Ls的声级a比右环绕声道Rs的声级b大,那么可以看到,虚拟声音源VS的位置相比于右环绕声道Rs的位置更靠近左环绕声道Ls的位置。
如果音频信号从两个声道输出,则听者感觉虚拟声源实质上存在于这两个声道之间。在这种情况下,虚拟声源的位置更靠近声级比另一个声道的声级高的声道的位置。
在图13(b)的情况下,因为左环绕声道Ls的声级与右环绕声道Rs的声级几乎相等,所以听者感觉虚拟声源的位置存在于左环绕声道Ls和右环绕声道Rs之间的中心处。
因此,可以使用上述原理决定后中置的声级。
图14是解释两个后置声道的声级与一个后中置声道的声级的图。
参考图14,通过在左环绕声道Ls的声级a与右环绕声道Rs的声级b之间内插出一差值,就能够计算出后中置声道RC的声级c。在这种情况下,此计算既可以使用非线性内插法,也可以使用线性内插法。
存在于两个声道(例如,Ls和Rs)之间的新声道(例如,后中置声道RC)的声级c可以通过以下公式根据线性内插法进行计算。
[公式40]
c=a*k+b*(1-k),
其中`a′和`b′分别是两个声道的声级,并且`k′是声级-a声道、声级-b声道和声级-c声道之间的相对位置。
如果声级-c的声道(例如,后中置声道RC)定位于声级-a的声道(例如,Ls)与声级-b的声道Rs之间的中心处,那么`k′是0.5。如果`k′是0.5,那么公式40得到公式41。
[公式41]
c=(a+b)/2
根据公式41,如果声级-c的声道(例如,后中置声道RC)位于声级-a的声道(例如,Ls)与声级-b的声道Rs之间的中心处,那么新声道的声级-c对应于之前声道的声级a和b的平均值。除此之外,公式40和公式41仅仅是示例性的。因此,也可重新调整声级-c的决定及声级-a和声级-b的值。
(3)-2-2.扩充至7.1声道
当多声道音频信号是5.1声道时,试图生成7.1声道的输出声道音频信号的例子解释如下。
图15是解释5.1声道的多声道音频信号的位置及7.1声道的输出声道音频信号的位置的图。
参考图15(a),如同图12(a),可以看到5.1声道的多声道音频信号的声道位置分别是左前置声道L、右前置声道R、中置声道C、低频声道(未在附图中示出)LFE、左环绕声道Ls和右环绕声道Rs。
在5.1声道的多声道音频信号是声道缩减混音音频信号的情形中,如果将空间参数应用于声道缩减混音音频信号,那么该声道缩减混音音频信号再次被声道扩展混音成5.1声道的多声道音频信号。
然而,应当进一步生成如图15(b)所示的左前侧声道Lfs和右前侧声道Rfs以将多声道缩减混音音频信号作扩展混音处理成7.1声道的多声道音频信号。
因为左前侧声道Lfs定位于左前置声道L与左环绕声道Ls之间,所以可以通过使用左前置声道L的声级和左环绕声道Ls的声级藉由内插法来决定该左前侧声道Lfs的声级。
图16是解释两个左声道声级以及一个左前侧声道(Lfs)声级的图。
参考图16,可以看到,左前侧声道Lfs的声级c是基于左前置声道L的声级a和左环绕声道Ls的声级b的线性内插值。
同时,虽然左前侧声道Lfs是定位于左前置声道L与左环绕声道Ls之间,但是它可以定位于左前置声道L、中置声道C和右前置声道R之外。因此,可以通过使用左前置声道L、中置声道C和右前置声道R的声级藉由外推法来决定左前侧声道Lfs的声级。
图17是解释三个前置声道声级及一个左前侧声道的声级的图。
参考图17,可以看到,左前侧声道Lfs的声级d是基于左前置声道L的声级a、中置声道C的声级c及右前置声道的声级b的线性外推值。
在以上描述中,已经参考两个示例对将扩充空间信息添加到空间信息来生成输出声道音频信号的过程进行了解释。如以上说明所述,在添加扩充空间信息的声道扩展混音过程中,扩充空间参数可以不是完全地,而是部分地应用。因此,将空间参数应用于音频信号的过程可以顺序地且分级地执行,或者集体地且综合地执行。
工业适用性
因此,本发明提供以下效果。
首先,本发明能够生成具有与预定树状配置不同的配置的音频信号,由此能够生成各种配置的音频信号。
第二,因为能够生成具有与预定树状配置不同的配置的音频信号,所以即使执行声道缩减混音之前多声道的数目多于或少于扬声器数,也能够从声道缩减混音音频信号中生成数目与扬声器数相等的输出声道。
第三,如果生成了数目比多声道的数目少的输出声道,那么因为多声道音频信号是直接从声道缩减混音音频信号生成的,而不是对来自从声道扩展混音处理一声道缩减混音音频信号所生成的多声道音频信号的输出声道音频信号进行声道缩减混音处理来生成的,所以能够显著地减轻解码音频信号所需要的操作负荷。
第四,因为在生成组合空间信息时考虑了声径,所以本发明在环绕声道输出不可用时提供伪环绕效果。
尽管本文参考本发明的优选实施例描述和例示说明了本发明,但本领域的技术人员将清楚可在本发明中作出各种修改和变形而不会脱离本发明的精神和范围。因此,本发明旨在涵盖落入所附权利要求及其等效技术方案范围内的本发明的修改和变形。
Claims (14)
1.一种解码音频信号的方法,其包括:
接收所述音频信号;
接收空间信息和扩充空间信息,所述空间信息包括树状配置信息和空间参数,所述扩充空间信息包括扩充声道配置信息、扩充声道映射信息和扩充空间参数,以扩展由所述树状配置信息所识别的声道数;
通过向所述空间信息添加扩充空间信息来生成经修改空间信息;以及
使用所述经修改空间信息对音频信号进行声道扩展混音,其包括:
基于所述空间信息将所述音频信号转换成初级声道扩展混音音频信号;以及
基于所述扩充空间信息将所述初级声道扩展混音音频信号转换成次级声道扩展混音音频信号,其中,
所述扩充声道配置信息包括分割标识符和不分割标识符中的至少一者;
所述扩充声道映射信息表示配置所述次级声道扩展混音音频信号的每个声道的位置。
2.如权利要求1所述的方法,其特征在于,所述音频信号是通过将多声道音频信号声道缩减混音而生成的声道缩减混音音频信号,并且所述空间信息是在根据预定树状配置将所述多声道音频信号声道缩减混音期间决定的。
3.如权利要求1所述的方法,其特征在于,所述经修改空间信息是基于所述空间信息和所述扩充空间信息计算出的矩阵,并且配置所述矩阵的因子由所述空间参数和所述扩充空间信息的扩充空间参数来定义的。
4.如权利要求1所述的方法,其特征在于,所述扩充空间参数包括声道间声级差。
5.如权利要求1所述的方法,其特征在于,所述扩充空间参数与所述分割标识符的总数一样多地被抽取。
6.如权利要求1所述的方法,其特征在于,所述声道扩展混音还包括利用与所述分割标识符匹配的所述扩充空间参数将与所述分割标识符匹配的声道分割成至少两个声道,其中所述分割被重复与所述分割标识符的总数一样多的次数。
7.如权利要求1所述的方法,其特征在于,所述声道扩展混音还包括选择与所述不分割标识符匹配的声道作为输出声道,其中所述选择被重复与所述不分割标识符的总数一样多的次数。
8.如权利要求1所述的方法,其特征在于,所述方法还包括在所述声道扩展混音之后利用所述扩充声道映射信息来重新映射输出声道音频信号。
9.一种用于解码音频信号的装置,其包括:
接收所述音频信号的装置;
接收空间信息和扩充空间信息的装置,所述空间信息包括树状配置信息和空间参数,所述扩充空间信息包括扩充声道配置信息、扩充声道映射信息和扩充空间参数,以扩展由所述树状配置信息所识别的声道数;
通过向所述空间信息添加扩充空间信息来生成经修改空间信息的装置;以及
使用所述经修改空间信息对音频信号进行声道扩展混音的装置,其包括:
基于所述空间信息将所述音频信号转换成初级声道扩展混音音频信号;以及
基于所述扩充空间信息将所述初级声道扩展混音音频信号转换成次级声道扩展混音音频信号,其中,
所述扩充声道配置信息包括分割标识符和不分割标识符中的至少一者;
所述扩充声道映射信息表示配置所述次级声道扩展混音音频信号的每个声道的位置。
10.如权利要求9所述的装置,其特征在于,所述音频信号是通过将多声道音频信号声道缩减混音而生成的声道缩减混音音频信号,并且所述空间信息是在根据预定树状配置将所述多声道音频信号声道缩减混音期间决定的。
11.如权利要求9所述的装置,其特征在于,所述经修改空间信息是基于所述空间信息和所述扩充空间信息计算出的矩阵,并且配置所述矩阵的因子由所述空间参数和所述扩充空间信息的扩充空间参数来定义的。
12.如权利要求9所述的装置,其特征在于,所述扩充空间参数包括声道间声级差。
13.如权利要求9所述的装置,其特征在于,所述扩充空间参数与所述分割标识符的总数一样多地被抽取。
14.如权利要求9所述的装置,其特征在于,还包括在所述声道扩展混音之后利用所述扩充声道映射信息来重新映射输出声道音频信号的装置。
Applications Claiming Priority (18)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US71652405P | 2005-09-14 | 2005-09-14 | |
US60/716,524 | 2005-09-14 | ||
US75998006P | 2006-01-19 | 2006-01-19 | |
US60/759,980 | 2006-01-19 | ||
US76036006P | 2006-01-20 | 2006-01-20 | |
US60/760,360 | 2006-01-20 | ||
US77366906P | 2006-02-16 | 2006-02-16 | |
US60/773,669 | 2006-02-16 | ||
US77672406P | 2006-02-27 | 2006-02-27 | |
US60/776,724 | 2006-02-27 | ||
US78751606P | 2006-03-31 | 2006-03-31 | |
US60/787,516 | 2006-03-31 | ||
US81602206P | 2006-06-22 | 2006-06-22 | |
US60/816,022 | 2006-06-22 | ||
KR1020060078300 | 2006-08-18 | ||
KR10-2006-0078300 | 2006-08-18 | ||
KR20060078300 | 2006-08-18 | ||
PCT/KR2006/003661 WO2007032647A1 (en) | 2005-09-14 | 2006-09-14 | Method and apparatus for decoding an audio signal |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101356572A CN101356572A (zh) | 2009-01-28 |
CN101356572B true CN101356572B (zh) | 2013-02-13 |
Family
ID=40214817
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2006800421752A Active CN101454828B (zh) | 2005-09-14 | 2006-09-14 | 解码音频信号的方法和装置 |
CN2006800420618A Active CN101351839B (zh) | 2005-09-14 | 2006-09-14 | 解码音频信号的方法和装置 |
CN2006800421983A Active CN101341533B (zh) | 2005-09-14 | 2006-09-14 | 解码音频信号的方法和装置 |
CN2006800420711A Active CN101356572B (zh) | 2005-09-14 | 2006-09-14 | 解码音频信号的方法和装置 |
Family Applications Before (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2006800421752A Active CN101454828B (zh) | 2005-09-14 | 2006-09-14 | 解码音频信号的方法和装置 |
CN2006800420618A Active CN101351839B (zh) | 2005-09-14 | 2006-09-14 | 解码音频信号的方法和装置 |
CN2006800421983A Active CN101341533B (zh) | 2005-09-14 | 2006-09-14 | 解码音频信号的方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (4) | CN101454828B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2741286A4 (en) | 2012-07-02 | 2015-04-08 | Sony Corp | DECODING DEVICE AND METHOD, CODING DEVICE AND METHOD AND PROGRAM |
JP6331094B2 (ja) | 2012-07-02 | 2018-05-30 | ソニー株式会社 | 復号装置および方法、符号化装置および方法、並びにプログラム |
US10140995B2 (en) | 2012-07-02 | 2018-11-27 | Sony Corporation | Decoding device, decoding method, encoding device, encoding method, and program |
TWI517142B (zh) | 2012-07-02 | 2016-01-11 | Sony Corp | Audio decoding apparatus and method, audio coding apparatus and method, and program |
CN104540084A (zh) * | 2014-12-16 | 2015-04-22 | 广东欧珀移动通信有限公司 | 一种立体声语音通信方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5632005A (en) * | 1991-01-08 | 1997-05-20 | Ray Milton Dolby | Encoder/decoder for multidimensional sound fields |
US6711266B1 (en) * | 1997-02-07 | 2004-03-23 | Bose Corporation | Surround sound channel encoding and decoding |
CN1647155A (zh) * | 2002-04-22 | 2005-07-27 | 皇家飞利浦电子股份有限公司 | 空间声频的参数表示 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100206333B1 (ko) * | 1996-10-08 | 1999-07-01 | 윤종용 | 두개의 스피커를 이용한 멀티채널 오디오 재생장치및 방법 |
EP1054575A3 (en) * | 1999-05-17 | 2002-09-18 | Bose Corporation | Directional decoding |
US7583805B2 (en) * | 2004-02-12 | 2009-09-01 | Agere Systems Inc. | Late reverberation-based synthesis of auditory scenes |
CN1219414C (zh) * | 2002-07-23 | 2005-09-14 | 华南理工大学 | 两扬声器虚拟5.1通路环绕声的信号处理方法 |
-
2006
- 2006-09-14 CN CN2006800421752A patent/CN101454828B/zh active Active
- 2006-09-14 CN CN2006800420618A patent/CN101351839B/zh active Active
- 2006-09-14 CN CN2006800421983A patent/CN101341533B/zh active Active
- 2006-09-14 CN CN2006800420711A patent/CN101356572B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5632005A (en) * | 1991-01-08 | 1997-05-20 | Ray Milton Dolby | Encoder/decoder for multidimensional sound fields |
US6711266B1 (en) * | 1997-02-07 | 2004-03-23 | Bose Corporation | Surround sound channel encoding and decoding |
CN1647155A (zh) * | 2002-04-22 | 2005-07-27 | 皇家飞利浦电子股份有限公司 | 空间声频的参数表示 |
Also Published As
Publication number | Publication date |
---|---|
CN101341533B (zh) | 2012-04-18 |
CN101351839B (zh) | 2012-07-04 |
CN101454828B (zh) | 2011-12-28 |
CN101356572A (zh) | 2009-01-28 |
CN101454828A (zh) | 2009-06-10 |
CN101351839A (zh) | 2009-01-21 |
CN101341533A (zh) | 2009-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9747905B2 (en) | Method and apparatus for decoding an audio signal | |
JP5563647B2 (ja) | マルチチャンネル復号化方法及びマルチチャンネル復号化装置 | |
US20080235006A1 (en) | Method and Apparatus for Decoding an Audio Signal | |
JP4728398B2 (ja) | オーディオ信号のデコーディング方法及び装置 | |
US20080221907A1 (en) | Method and Apparatus for Decoding an Audio Signal | |
CN101356572B (zh) | 解码音频信号的方法和装置 | |
RU2380767C2 (ru) | Способ и устройство для декодирования аудиосигнала |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |