CN102483921A - 用于对多声道音频信号进行编码的方法和设备以及用于对多声道音频信号进行解码的方法和设备 - Google Patents
用于对多声道音频信号进行编码的方法和设备以及用于对多声道音频信号进行解码的方法和设备 Download PDFInfo
- Publication number
- CN102483921A CN102483921A CN2010800371069A CN201080037106A CN102483921A CN 102483921 A CN102483921 A CN 102483921A CN 2010800371069 A CN2010800371069 A CN 2010800371069A CN 201080037106 A CN201080037106 A CN 201080037106A CN 102483921 A CN102483921 A CN 102483921A
- Authority
- CN
- China
- Prior art keywords
- audio signal
- sound
- channel
- signal
- channel audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 620
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000011084 recovery Methods 0.000 claims description 70
- 238000012937 correction Methods 0.000 claims description 29
- 239000000203 mixture Substances 0.000 claims description 18
- 238000005070 sampling Methods 0.000 claims description 11
- 230000010363 phase shift Effects 0.000 claims description 5
- 230000008676 import Effects 0.000 claims description 4
- 238000013461 design Methods 0.000 description 33
- 238000010586 diagram Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 4
- 238000007620 mathematical function Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Stereophonic System (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
Abstract
一种对多声道音频信号进行编码的方法和设备以及一种对多声道音频信号进行解码的方法和设备。当进行编码时,下混合的音频信号、用于从下混合的音频信号恢复多声道音频信号的第一附加信息以及表示残差信号的特征的第二附加信息被复用。当解码时,使用第二附加信息对恢复的具有预定相位差的多声道音频信号进行组合,并且为了提高恢复的音频信号的质量,每个声道的音频信号被校正。
Description
技术领域
本发明总体构思的多个方面涉及对多声道音频信号进行编码和解码,更具体地讲,本发明总体构思涉及一种对多声道音频信号进行编码的方法和设备,以及一种通过使用已编码的可在恢复多声道音频信号时提高每个声道的声音质量的残差信号对已编码的多声道音频信号进行解码的方法和设备,其中,在所述多声道音频信号中,所述可在恢复多声道音频信号时提高每个声道的声音质量的残差信号被用作预定的参量信息。
背景技术
通常,对多声道音频信号进行编码的方法可被大致分类为波形音频编码和参量音频编码。波形编码的示例包括运动图像专家组(MPEG)-2多声道(MC)音频编码、高级音频编码(ACC)MC音频编码、比特分片算术编码(BSAC)/音频视频标准(AVS)MC音频编码等。
在参量音频编码中,音频信号在频域中被划分为频率分量和幅度分量,关于这样的频率分量和幅度分量的信息被参量化,以通过使用这样的参数对音频信号进行编码。例如,当使用参量音频编码对立体声音频信号进行编码时,立体声音频信号的左声道音频信号和右声道音频信号被下混合,以产生单声道音频信号,随后所述单声道音频信号被编码。另外,针对每个频段对诸如声道间强度差(IID)、声道间相关性(ID)、整体相位差(OPD)和声道间相位差(IPD)的参数进行编码。在此,IID和ID参数被用于在解码时确定立体声音频信号的左声道音频信号和右声道音频信号的强度。另外,OPD和IPD参数被用于在解码时确定立体声音频信号的左声道音频信号和右声道音频信号的相位。
在这样的参量音频编码中,在被编码之后被解码的音频信号可能与初始输入的音频信号不同。通常,在被编码之后恢复的音频信号与输入的音频信号之间的差值被定义为残差信号。这种残差信号表示编码误差的种类。为了在对音频信号进行解码时提高每个声道的声音质量,不得不对残差信号进行解码以在对音频信号进行解码时进行使用。
发明内容
技术问题
在参量音频编码中,需要对残差信号信息进行有效编码以提高音频信号的声音质量。
技术方案
本发明总体构思的多个方面提供了一种对多声道音频信号进行编码的方法和设备,其中,在所述多声道音频信号中,关于在被编码之后被解码的多声道音频信号与输入多声道音频信号之间的差值的残差信号信息被有效编码,从而使残差信号最小化。本发明总体构思的多个方面还提供了一种通过使用已编码的残差信号信息对多声道音频信号进行解码以提高每个声道的声音质量的方法和设备。
有益效果
根据本发明总体构思的多个方面,当对多声道音频信号进行编码时对最少量的残差信号信息进行有效编码,并使用残差信号对已编码的多声道音频信号进行解码,从而提高每个声道的音频信号的声音质量。
附图说明
图1是根据本发明构思的示例性实施例的对多声道音频信号进行编码的设备的框图;
图2是根据本发明构思的示例性实施例的图1的多声道编码单元110的框图;
图3A是用于描述根据本发明构思的示例性实施例的产生关于第一声道输入音频信号和第二声道输入音频信号的强度的信息的方法的示图;
图3B是用于描述根据本发明构思的另一示例性实施例的产生关于第一声道输入音频信号和第二声道输入音频信号的强度的信息的方法的示图;
图4是根据本发明构思的示例性实施例的图1的残差信号产生单元的框图;
图5是根据本发明构思的示例性实施例的图1的恢复单元的框图;
图6是根据本发明构思的示例性实施例的对多声道音频信号进行编码的方法的流程图;
图7是根据本发明构思的示例性实施例的对多声道音频信号进行解码的设备的框图;
图8是具有90度的相位差的音频信号的曲线图;
图9是根据本发明构思的另一示例性实施例的对多声道音频信号进行解码的方法的流程图。
最优实施方式
根据本发明构思的一方面,提供了一种对多声道音频信号进行编码的方法,所述方法包括:对输入多声道音频信号执行参量编码以产生下混合的音频信号和第一附加信息;使用下混合的音频信号和第一附加信息来从下混合的音频信号恢复所述多声道音频信号;产生残差信号,其中,所述残差信号与输入多声道音频信号中的每一个和相应恢复的多声道音频信号之间的差值相应;产生表示所述残差信号的特征的第二附加信息;对下混合的音频信号、第一附加信息和第二附加信息进行复用。
根据本发明构思的另一方面,提供了一种用于对多声道音频信号进行编码的设备,所述设备包括:多声道编码单元,对输入多声道音频信号执行编码以产生下混合的音频信号和用于从下混合的音频信号恢复所述多声道音频信号的第一附加信息;残差信号产生单元,使用下混合的音频信号和第一附加信息来从下混合的音频信号恢复所述多声道音频信号并产生残差信号,其中,所述残差信号与输入多声道音频信号中的每一个和相应恢复的多声道音频信号之间的差值相应;残差信号编码单元,产生表示所述残差信号的特征的第二附加信息;复用单元,对下混合的音频信号、第一附加信息和第二附加信息进行复用。
根据本发明构思的另一方面,提供了一种对多声道音频信号进行解码的方法,所述方法包括:从已编码的音频数据提取下混合的音频信号、用于从下混合的音频信号恢复多声道音频信号的第一附加信息以及表示残差信号的特征的第二附加信息,其中,所述残差信号与编码之前的输入多声道音频信号中的每一个和编码之后的相应恢复的多声道音频信号之间的差值相应;通过使用下混合的音频信号和第一附加信息来恢复第一多声道音频信号;通过使用下混合的音频信号和第一附加信息来产生相对于恢复的第一多声道音频信号具有预定相位差的第二多声道音频信号;通过使用第二附加信息将恢复的第一多声道音频信号和产生的第二多声道音频信号进行组合,来产生最终恢复的音频信号。
根据本发明构思的另一方面,提供了一种用于对多声道音频信号进行解码的设备,所述设备包括:解复用单元,从已编码的音频数据提取下混合的音频信号、用于从下混合的音频信号恢复多声道音频信号的第一附加信息以及表示残差信号的特征的第二附加信息,其中,所述残差信号与编码之前的输入多声道音频信号中的每一个和编码之后的相应恢复的多声道音频信号之间的差值相应;多声道解码单元,通过使用下混合的音频信号和第一附加信息来恢复第一多声道音频信号;相移单元,通过使用下混合的音频信号和第一附加信息来产生相对于恢复的第一多声道音频信号具有预定相位差的第二多声道音频信号;组合单元,通过使用第二附加信息将恢复的第一多声道音频信号和产生的第二多声道音频信号进行组合,以产生最终恢复的音频信号。
根据本发明构思的另一方面,提供了一种对多声道音频信号进行编码的方法,其中,所述方法包括:对输入多声道音频信号执行参量编码以产生下混合的音频信号;从下混合的音频信号恢复所述多声道音频信号;产生残差信号,其中,所述残差信号与输入多声道音频信号中的每一个和相应恢复的多声道音频信号之间的差值相应;产生表示所述残差信号的特征的第二附加信息;对下混合的音频信号和附加信息进行复用。
根据本发明构思的另一方面,提供了一种从下混合的音频信号产生最终恢复的多声道音频信号的方法,所述方法包括:从已编码的音频数据提取下混合的音频信号和表示残差信号的特征的附加信息,其中,所述残差信号与编码为下混合的音频信号之前的输入多声道音频信号中的每一个和编码之后的相应恢复的多声道音频信号之间的差值相应;从下混合的音频信号恢复所述多声道音频信号;通过使用所述附加信息从所述相应恢复的多声道音频信号产生最终恢复的多声道音频信号。
具体实施方式
现在将参照附图更充分地描述本发明总体构思的多个方面,在附图中,本发明的示例性实施例被示出。
图1是根据本发明构思的示例性实施例的对多声道音频信号进行编码的设备100的框图。参照图1,对多声道音频信号进行编码的设备100包括多声道编码单元110、残差信号产生单元120、残差信号编码单元130和复用单元140。如果输入的多声道音频信号Ch1至Chn(其中,n是正整数)不是数字信号,则设备100还可包括对输入的n个多声道音频信号进行采样和量化以将输入的n个多声道音频信号转换为数字信号的模数转换器(ADC,未示出)。
多声道编码单元110对输入的n个多声道音频信号执行参量编码,以产生下混合的音频信号以及用于从下混合的音频信号恢复所述多声道音频信号的第一附加信息。具体地讲,多声道编码单元110将输入的n个多声道音频信号下混合为少于n个的多个音频信号,并产生用于从下混合的音频信号恢复所述n个多声道音频信号的第一附加信息。例如,如果输入信号是5.1-声道音频信号(即,如果左(L)声道、环绕左(Ls)声道、中心(C)声道、重低音(Sw)声道、右(R)声道和环绕右(Rs)声道的六个多声道音频信号)被输入到多声道编码单元110,则多声道编码单元110将5.1-声道音频信号下混合为L声道和R声道的双声道立体声信号,并对所述双声道立体声信号进行编码以产生音频比特流。另外,多声道编码单元110产生用于从所述双声道立体声信号恢复5.1-声道音频信号的第一附加信息。第一附加信息可包括用于确定将被下混合的音频信号的强度的信息以及关于将被下混合的音频信号之间的相位差的信息。在下文中,将更详细地描述由多声道编码单元110执行的下混合处理(downmixing process)和产生第一附加信息的处理。
图2是根据本发明构思的示例性实施例的图1的多声道编码单元110的框图。参照图2,多声道编码单元110包括多个下混合单元111至118以及立体声信号编码单元119。
多声道编码单元110接收输入的n个多声道音频信号Ch1至Chn,并对输入的n个多声道音频信号的每对进行组合以产生下混合的输出信号。多声道编码单元110对每对下混合的输出信号重复执行下混合,以输出下混合的音频信号。例如,下混合单元111将第一声道输入音频信号Ch1和第二声道输入音频信号Ch2进行组合以产生下混合的输出信号BM1。相似地,下混合单元112将第三声道输入音频信号Ch3和第四声道输入音频信号Ch4进行组合以产生下混合的输出信号BM2。由下混合单元113对从两个下混合单元111和112输出的两个下混合的输出信号BM1和BM2进行下混合,并且所述两个下混合的输出信号BM1和BM2被输出为下混合的输出信号TM1。这样的下混合处理可被重复,直到L声道和R声道的双声道立体声音频信号被产生(如图2中所示),或者直到通过对L声道和R声道的双声道立体声音频信号进行进一步的下混合而获得的下混合的单声道音频信号被输出。
立体声信号编码单元119对从下混合单元111至118输出的下混合的立体声音频信号进行编码,以产生音频比特流。立体声信号编码单元119可使用诸如MPEG音频层3(MP3)或高级音频编解码器(AAC)的一般音频编解码器。
下混合单元111至118可在对两个音频信号进行组合时将两个音频信号的相位设置为彼此相同。例如,当对第一声道输入音频信号Ch1和第二声道输入音频信号Ch2进行组合时,下混合单元111可将第二声道输入音频信号Ch2的相位设置为与第一声道输入音频信号Ch1的相位相同,然后将相位被调整的第二声道输入音频信号Ch2和第一声道输入音频信号Ch1相加,以对第一声道输入音频信号Ch1和第二声道输入音频信号Ch2进行下混合。稍后将对此进行详细描述。
另外,当通过对每对音频信号进行下混合来产生下混合的输出信号时,下混合单元111至118可产生用于从下混合的输出信号中的每一个恢复例如两个音频信号的第一附加信息。如上所述,第一附加信息可包括用于确定将被下混合的音频信号的强度的信息和关于将被下混合的音频信号之间的相位差的信息。当将立体声音频信号下混合为单声道音频信号的传统设备被用作下混合单元111至118时,可针对下混合的输出信号中的每一个对诸如声道间强度差(ILD)、声道间相关性(ID)、整体相位差(OPD)和声道间相位差(IPD)的参数进行编码。在这种情况下,ILD和ID参数可被用于从相应的已下混合的输出信号确定将被下混合的两个原始输入音频信号的强度。另外,OPD和IPD参数可被用于从已下混合的输出信号确定将被下混合的两个原始输入音频信号的相位。
具体地,下混合单元111至118可基于在预定矢量空间中两个输入音频信号与已下混合的信号的关系来产生第一附加信息,其中,第一附加信息包括用于确定将被下混合的两个输入音频信号的强度和相位的信息,稍后将更详细地对此进行描述。
在下文中,将参照图3A和图3B描述由图2的多声道编码单元110执行的产生第一附加信息的方法。为了方便解释,将参照从多个下混合单元111至118中选择出的下混合单元111从接收的第一声道输入音频信号Ch1和第二声道输入音频信号Ch2产生下混合的输出信号BM1时描述产生第一附加信息的方法。由下混合单元111执行的产生第一附加信息的处理可被应用于多声道编码单元110的其他下混合单元112至118。在下文中,将单独描述产生用于确定第一声道输入音频信号Ch1和第二声道输入音频信号Ch2的强度的信息的方法和产生用于确定第一声道输入音频信号Ch1和第二声道输入音频信号Ch2的相位的信息的方法。
(1)用于确定输入音频信号的强度的信息
在参量音频编码中,多声道音频信号被变换到频域,并且关于多声道音频信号中的每一个的强度和相位的信息在频域中被编码。当通过快速傅里叶变换对音频信号进行变换时,可由频域中的离散值表示所述音频信号。也就是说,所述音频信号可被表示为多个正弦波之和。在参量音频编码中,当音频信号被变换到频域时,所述频域被划分为多个子频段,并针对每个子频段对用于确定第一声道输入音频信号Ch1和第二声道输入音频信号Ch2的强度的信息和用于确定第一声道输入音频信号Ch1和第二声道输入音频信号Ch2的相位的信息进行编码。具体地,在关于子频段k中的第一声道输入音频信号Ch1和第二声道输入音频信号Ch2的强度和相位的附加信息被编码之后,关于子频段k+1中的第一声道输入音频信号Ch1和第二声道输入音频信号Ch2的强度和相位的附加信息被编码。在参量音频编码中,按照上述方式将整个频段划分为多个子频段,并针对每个子频段对关于立体声音频信号的附加信息进行编码。
在下文中,关于对N个声道的立体声音频信号的编码和解码,对关于预定频段中(即,在子频段k中)的第一声道输入音频信号Ch1和第二声道输入音频信号Ch2的附加信息进行编码的处理将被描述为示例。
如上所述,在传统的参量音频编码中,当关于立体声音频信号的附加信息被编码时,关于声道间强度差(IID)和声道间相关性(IC)的信息被编码为用于确定子频段k中的第一声道输入音频信号Ch1和第二声道输入音频信号Ch2的强度的信息。具体地讲,子频段k中的第一声道输入音频信号Ch1和第二声道输入音频信号Ch2的强度被分别计算,并且第一声道输入音频信号Ch1和第二声道输入音频信号Ch2的强度之间的比被编码为关于IID的信息。然而,不能通过仅使用第一声道输入音频信号Ch1和第二声道输入音频信号Ch2的强度之间的比在解码侧确定第一声道输入音频信号Ch1和第二声道输入音频信号Ch2的强度。因此,关于IC的信息与IID一起被编码,并被插入比特流作为附加信息。
在根据本发明构思的示例性实施例的对多声道音频信号进行编码的方法中,为了使将被编码为用于确定子频段k中的第一声道输入音频信号Ch1和第二声道输入音频信号Ch2的强度的信息的附加信息的数量最小化,使用表示子频段k中的第一声道输入音频信号Ch1和第二声道输入音频信号Ch2的强度的各矢量。这里,在变换的频域的频谱中的频率f1、f2、...、fn处的第一声道输入音频信号Ch1的强度的平均与子频段k中的第一声道输入音频信号Ch1的强度相应,并还与稍后将参照图3A和图3B描述的矢量的幅度相应。
同样,在变换的频域的频谱中的频率f1、f2、...、fn处的第二声道输入音频信号Ch2的强度的平均与子频段k中的第二声道输入音频信号Ch2的强度相应,并还与以下将参照图3A和图3B描述的矢量的幅度相应。
图3A是用于描述根据本发明构思的示例性实施例的产生关于第一声道输入音频信号和第二声道输入音频信号的强度的信息的方法的示图。参照图3A,下混合单元111创建二维矢量空间(诸如矢量和矢量)以形成预定角度,其中,矢量和矢量分别与子频段k中的第一声道输入音频信号Ch1和第二声道输入音频信号Ch2的强度相应。如果第一声道输入音频信号Ch1和第二声道输入音频信号Ch2分别是左声道音频信号和右声道音频信号,则通常在用户在左声源的方向和右声源的方向形成60度的角度的位置监听立体声音频信号的假设下,立体声音频信号被编码。因此,在2维矢量空间中,矢量和矢量之间的角度0可被设置为60度,但应该理解,本发明构思的多个方面不限于此。例如,在其他实施例中,矢量和矢量之间的角度0可具有任意值。
在图3A中,示出了与输出信号BM1的强度相应的作为矢量和矢量之和的矢量在这种情况下,如果如上所述第一声道输入音频信号Ch1和第二声道输入音频信号Ch2分别是左声道音频信号和右声道音频信号,则用户可在左声源的方向和右声源的方向形成60度的角度的位置监听具有与矢量的幅度相应的强度的单声道音频信号。
下混合单元111可将关于矢量与矢量之间的角度q的信息或关于矢量与矢量之间的角度p的信息产生为用于确定子频段k中的第一声道输入音频信号Ch1和第二声道输入音频信号Ch2的强度的信息,而不是将关于IID的信息和关于IC的信息产生为用于确定子频段k中的第一声道输入音频信号Ch1和第二声道输入音频信号Ch2的强度的信息。可选择地,下混合单元111可产生矢量与矢量之间的角度θq的余弦值(cosθq),或产生矢量与矢量之间的角度θp的余弦值(cosθp),而不是仅产生角度θq或θp。这是为了在关于角度θq或θp的信息被编码时使量化中的损失最小化。因此,三角函数的值(诸如余弦值或正弦值)可被用于产生关于角度θq或θp的信息。
图3B是用于描述根据本发明构思的另一示例性实施例的产生关于第一声道输入音频信号和第二声道输入音频信号的强度的信息的方法的示图。具体地讲,图3B是用于描述对在图3A中示出的矢量角度进行归一化的示图。
参照图3B,当关于矢量BM1与矢量之间的角度θp的信息被归一化时(即,当角度θ0被归一化到90度时),角度θp被随之归一化为θm=(θp*90)/θ0。下混合单元111可将未归一化的角度θp或归一化的角度θm产生作为用于确定第一声道输入音频信号Ch1和第二声道输入音频信号Ch2的强度的信息。可选择地,下混合单元111可将角度θp的余弦值(cosθp)或归一化的角度θm的余弦值(cosθm)产生作为用于确定第一声道输入音频信号Ch1和第二声道输入音频信号Ch2的强度的信息,而不是仅仅将未归一化的角度θp或归一化的角度θm产生作为用于确定第一声道输入音频信号Ch1和第二声道输入音频信号Ch2的强度的信息。
(2)用于确定输入音频信号的相位的信息
如上所述,在传统的参量音频编码中,关于整体相位差(OPD)的信息和关于声道间相位差(IPD)的信息被编码为用于确定子频段k中的第一声道输入音频信号Ch1和第二声道输入音频信号Ch2的相位的信息。换句话说,传统地,通过计算第一单声道音频信号BM1与子频段k中的第一声道输入音频信号Ch1之间的相位差来产生关于OPD的信息,其中,通过将子频段k中的第一声道输入音频信号Ch1和第二声道输入音频信号Ch2进行组合来产生第一单声道音频信号BM1。另外,通过计算子频段k中的第一声道输入音频信号Ch1和第二声道输入音频信号Ch2之间的相位差来产生关于IPD的信息。这样的相位差可被计算作为在子频段k中所包括的频率f1、f2、...、fn分别计算的相位差的平均。
根据本发明构思的多个方面,下混合单元111可专有地将关于子频段k中的第一声道输入音频信号Ch1和第二声道输入音频信号Ch2之间的相位差的信息产生为用于确定第一声道输入音频信号Ch1和第二声道输入音频信号Ch2的相位的信息。
在本发明构思的当前示例性实施例中,下混合单元111将第二声道输入音频信号Ch2的相位调整为与第一声道输入音频信号Ch1的相位相同,并将相位被调整的第二声道输入音频信号Ch2与第一声道输入音频信号Ch1进行组合。因此,可仅使用关于第一声道输入音频信号Ch1和第二声道输入音频信号Ch2之间的相位差的信息来计算第一声道输入音频信号Ch1和第二声道输入音频信号Ch2的相位。
例如,对于子频段k中的音频信号,在子频段k中包括的频率f1、f2、...、fn处的第二声道输入音频信号Ch2的相位被单独调整为分别与所述频率f1、f2、...、fn处的第一声道输入音频信号Ch2的相位相同。例如,当在频率f1处的第一声道输入音频信号Ch1的相位被调整时,如果在频率f1处的第一声道输入音频信号Ch1和第二声道输入音频信号Ch2被分别表示为|Ch1|ei(2πf1t+θ1)和|Ch2|ei(2πf1t+θ2),则在频率f1处的相位已被调整的第二声道输入音频信号Ch2’被表示为|Ch2|ei(2πf1t+θ1),其中,θ1表示在频率f1处第一声道输入音频信号Ch1的相位,θ2表示在频率f1处第二声道输入音频信号Ch2的相位。对在子频段k中包括的其他频率f2、f3、...、fn处的第二声道输入音频信号Ch2重复执行这样的相位调整,以在子频段k中产生相位被调整的第二声道输入音频信号Ch2。
子频段k中的相位被调整的第二声道输入音频信号Ch2具有与第一声道输入音频信号Ch1的相位相同的相位,因此,在第一声道输入音频信号Ch1和第二声道输入音频信号Ch2之间的相位差被编码的情况下,可在解码侧计算第二声道输入音频信号Ch2的相位。另外,由于第一声道输入音频信号Ch1的相位与通过下混合单元111产生的输出信号BM1的相位相同,因此不必要对关于第一声道输入音频信号Ch1的相位的信息单独进行编码。
因此,在关于第一声道输入音频信号Ch1和第二声道输入音频信号Ch2之间的相位差的信息被编码的情况下,可在解码侧仅使用已编码的关于所述相位差的信息来计算第一声道输入音频信号Ch1和第二声道输入音频信号Ch2的相位。
同时,对用于通过使用表示子频段k中的第一声道输入音频信号Ch1和第二声道输入音频信号Ch2的强度的矢量来确定第一声道输入音频信号Ch1和第二声道输入音频信号Ch2的强度的信息进行编码的方法(如以上参照图3A和图3B所述),以及对用于通过相位调整来确定第一声道输入音频信号Ch1和第二声道输入音频信号Ch2的相位的信息进行编码的方法可被单独地使用或被组合使用。例如,根据本发明构思的多个方面,可使用矢量来对用于确定第一声道输入音频信号Ch1和第二声道输入音频信号Ch2的强度的信息进行编码,而按照传统技术,可使用关于OPD的信息和关于IPD的信息来对用于确定第一声道输入音频信号Ch1和第二声道输入音频信号Ch2的相位的信息进行编码。相反,根据传统技术,可使用关于IID的信息和关于IC的信息来对用于确定第一声道输入音频信号Ch1和第二声道输入音频信号Ch2的强度的信息进行编码,而根据如上所述的本发明构思的多个方面,可通过相位调整来专有地对用于确定第一声道输入音频信号Ch1和第二声道输入音频信号Ch2的相位的信息进行编码。
当产生用于从下混合的音频信号恢复两个输入音频信号的第一附加信息时,产生第一附加信息的上述处理还可被平等地应用,其中,上述下混合的音频信号从图2中示出的下混合单元111至118中的每一个被输出。
另外,多声道编码单元110不限于上述示例性实施例,多声道编码单元110可被应用于任何参量编码单元,所述参量编码单元对多声道音频信号进行编码以输出下混合的音频信号,并产生用于从下混合的音频信号恢复出所述多声道音频信号的附加信息。
再参照图1,由多声道编码单元110产生的下混合的音频信号和第一附加信息被输入到残差信号产生单元120。
残差信号产生单元120通过使用下混合的音频信号和第一附加信息来恢复多声道音频信号,并产生作为接收的多声道音频信号中的每一个与相应恢复的多声道音频信号之间的差值的残差信号。
图4是根据本发明构思的示例性实施例的图1的残差信号产生单元120的框图。参照图4,残差信号产生单元120包括恢复单元410和子跟踪单元420。
恢复单元410通过使用从多声道编码单元110输出的下混合的音频信号和第一附加信息来恢复多声道音频信号。具体地讲,为了恢复输入到多声道编码单元110的多声道音频信号,恢复单元410通过使用第一附加信息重复地对上混合的输出信号中的每一个进行上混合(upmix),以从下混合的音频信号产生两个上混合的输出信号。
减法单元420计算恢复的多声道音频信号中的每一个与相应的输入音频信号之间的差值,以产生用于各个声道的残差信号Res1至Resn。
图5是作为图4的恢复单元410的示例性实施例的恢复单元510的框图。参照图5,恢复单元510通过使用第一附加信息从下混合的音频信号恢复两个音频信号,并重复通过使用相应的第一附加信息从恢复的两个音频信号中的每个恢复两个音频信号,以产生n个恢复的多声道音频信号,其中,n是等于输入多声道音频信号的数量的正整数。恢复单元510包括多个上混合单元511至517。上混合单元511至517通过使用第一附加信息来对一个下混合的音频信号进行上混合,以恢复两个上混合的音频信号,并对上混合的音频信号中的每一个重复执行这样的上混合,直到恢复出与输入多声道音频信号的数量相等的多个多声道音频信号。
现在将详细描述上混合单元511至517的操作。为了方便描述,将描述上混合单元514(作为从图5中示出的上混合单元511至517中选择的示例)的操作,其中,上混合单元514对下混合的音频信号TRj进行上混合以输出第一声道输入音频信号Ch1和第二声道输入音频信号Ch2。上混合单元514的操作可被平等地应用于图5中示出的其他上混合单元511至513和515至517。
参照图3A和图5,上混合单元514使用关于表示下混合的音频信号TRj的强度的矢量与表示第一声道输入音频信号Ch1的强度的矢量之间的角度θq,或表示下混合的音频信号TRj的强度的矢量与表示第二声道输入音频信号Ch2的强度的矢量之间的角度θp的信息,以确定子频段k中的第一声道输入音频信号Ch1和第二声道输入音频信号Ch2的强度。可选择的(或另外的),可使用关于矢量与矢量之间的角度θq的余弦值(cosθq)的信息或关于矢量与矢量之间的角度θp的余弦值(cosθp)的信息。
参照图3B和图5,如果矢量与矢量之间的角度θ0为60度,假设矢量与矢量之间的角度为15度(π/12)则可使用以下等式: 来计算第一声道输入音频信号Ch1的强度(即,矢量Ch1的幅度),其中,表示下混合的音频信号(TRj)的强度(即,矢量BM1的幅度)。同样,如果矢量与矢量之间的角度θ0为60度,假设矢量与矢量之间的角度为15度(π/12),则可使用以下等式: 来计算第二声道输入音频信号Ch2的强度(即,矢量的幅度)。
上混合单元514可使用关于子频段k中的第一声道输入音频信号Ch1和第二声道输入音频信号Ch2之间的相位差的信息来确定子频段k中的第一声道输入音频信号Ch1和第二声道输入音频信号Ch2的相位。如果根据本发明构思的多个方面,当对下混合的音频信号TRj进行编码时第二声道输入音频信号Ch2的相位被调整为与第一声道输入音频信号Ch1的相位相同,则上混合单元514可通过仅使用关于第一声道输入音频信号Ch1和第二声道输入音频信号Ch2之间的相位差的信息,来计算第一声道输入音频信号Ch1和第二声道输入音频信号Ch2的相位。
同时,以上描述的对用于使用矢量来确定子频段k中的第一声道输入音频信号Ch1和第二声道输入音频信号Ch2的强度的信息进行解码的方法,以及对用于通过相位调整来确定子频段k中的第一声道输入音频信号Ch1和第二声道输入音频信号Ch2的相位的信息进行解码的方法可被单独使用或被组合使用。
再参照图1,一旦残差信号产生单元120已产生了与恢复的多声道音频信号中的每一个和相应的输入多声道音频信号之间的差值相应的残差信号,则残差信号编码单元130产生表示所述残差信号的特征的第二附加信息。第二附加信息与增强分级信息的排序相应,其中,所述增强分级信息被用于将已在解码侧使用下混合的音频信号和第一附加信息恢复的多声道音频信号校正为尽量与输入音频信号的特征相等。如稍后将描述的,第二附加信息可被用于对在解码侧恢复的多声道音频信号进行校正。
复用单元140对从多声道编码单元110输出的下混合的音频信号和第一附加信息以及从残差信号编码单元130输出的第二附加信息进行复用,以产生复用的音频比特流。
在下文中,将更详细地描述由残差信号编码单元130执行的产生第二附加信息的处理。第二附加信息可包括表示两个不同声道的多声道音频信号之间的相关性的声道间相关(ICC)参数。具体地讲,假设N是表示输入的多声道的数量的正整数,Φi,i+1表示表现第i声道和第i+1声道的音频信号之间的相关性的ICC参数,其中,i是从1至N-1中的整数,k表示采样索引,xi(k)表示以采样索引k采样的第i声道的输入音频信号的值,d表示延迟值,所述延迟值是预定整数,l表示采样间隔的长度,残差信号编码单元130可使用以下的等式1来计算由第i声道和第i+1声道之间的Φi,i+1表示的ICC参数:
数学计算1
[数学函数1]
例如,如果输入信号是5.1-声道音频信号,并且分别从1至6对左(L)声道、环绕左(Ls)声道、中心(C)声道、超低音(Sw)声道、右(R)声道和环绕右(Rs)声道标索引,则残差信号编码单元130计算Φ1,2、Φ2,3、Φ3,4、Φ4,5、Φ5,6和Φ1,6中选择的至少一个ICC参数。如稍后将描述的,当通过将在解码侧恢复的第一声道输入音频信号Ch1和第二声道输入音频信号Ch2进行组合来产生最终恢复的音频信号时,这样的ICC参数可被用于确定用于第一声道输入音频信号Ch1和第二声道输入音频信号Ch2的权重(即,第一声道输入音频信号Ch1和第二声道输入音频信号Ch2的组合比),其中,第二声道输入音频信号Ch2相对于第一声道输入音频信号Ch1具有预定相位差。
除上述ICC参数之外,残差信号编码单元130还可产生表示中心声道的输入音频信号与中心声道的恢复的音频信号之间的能量比的中心声道校正参数,以及表示在所有声道的输入音频信号与所有声道的恢复的音频信号之间的能量比的总体声道(entire-channel)校正参数。
具体地讲,假设k表示采样索引,xc(k)表示以采样索引k采样的中心声道的输入音频信号的值,x′c(k)表示以采样索引k采样的中心声道的恢复的音频信号的值,l表示采样间隔的长度,残差信号编码单元130可使用以下的等式2来产生中心声道校正参数(κ):
数学计算2
[数学函数2]
参照等式2,中心声道校正参数(κ)表示在中心声道的输入音频信号与中心声道的恢复的音频信号之间的能量比,并如稍后将描述的,中心声道校正参数(κ)在解码侧被用于对中心声道的恢复的音频信号进行校正。单独产生用于对中心声道的音频信号进行校正的中心声道校正参数(κ)的一个原因在于:对可能在参量音频编码中发生的中心声道的音频信号的恶化进行补偿。
另外,假设N是表示输入的多声道的数量的正整数,k表示采样索引,xi(k)表示以采样索引k采样的第i声道的输入音频信号的值,x′i(k)表示以采样索引k采样的第i声道的恢复的音频信号的值,l表示采样间隔的长度,残差信号编码单元130可使用以下的等式3来计算总体声道校正参数(δ):
数学计算3
[数学函数3]
参照等式3,总体声道校正参数(δ)表示在所有声道的输入音频信号与所有声道的恢复的音频信号之间的能量比,并如稍后将描述的,总体声道校正参数(δ)在解码侧被用于对所有声道的恢复的音频信号进行校正。
图6是根据本发明构思的示例性实施例的对多声道音频信号进行编码的方法的流程图。参照图6,在操作610,对输入的多声道音频信号执行参量编码以产生下混合的音频信号以及用于从下混合的音频信号恢复出所述多声道音频信号的第一附加信息。如上所述,多声道编码单元110将输入多声道音频信号下混合为下混合的音频信号(可以是立体声或单声道的),并产生用于从下混合的音频信号恢复出所述多声道音频信号的第一附加信息。第一附加信息可包括用于确定将被下混合的音频信号的强度的信息和/或关于将被下混合的音频信号之间的相位差的信息。
在操作620,残差信号被产生,其中,残差信号与输入多声道音频信号中的每一个和使用下混合的音频信号和第一附加信息恢复出的相应的恢复的多声道音频信号之间的差值相应。以上如参照图5所述,产生恢复的多声道音频信号的处理可包括通过对下混合的音频信号进行上混合来产生两个上混合的输出信号,并对上混合的输出信号中的每一个进行递归上混合。
在操作630,表示残差信号的特征的第二附加信息被产生。第二附加信息被用于在解码侧对恢复的多声道音频信号进行校正,并可包括表示至少两个不同声道的输入多声道音频信号之间的相关性的ICC参数。可选地,第二附加信息还可包括表示中心声道的输入音频信号与中心声道的恢复的音频信号之间的能量比的中心声道校正参数,以及表示在所有声道的输入音频信号与所有声道的恢复的音频信号之间的能量比的总体声道校正参数。
在操作640,下混合的音频信号、第一附加信息和第二附加信息被复用。
图7是根据本发明构思的示例性实施例的对多声道音频信号进行解码的设备700的框图。参照图7,对多声道音频信号进行解码的设备700包括解复用单元710、多声道解码单元720、相移单元730和组合单元740。
解复用单元710对已编码的比特流进行解析以提取下混合的音频信号、用于从下混合的音频信号恢复出多声道音频信号的第一附加信息以及表示残差信号的特征的第二附加信息。
多声道解码单元720基于第一附加信息从下混合的音频信号恢复第一多声道音频信号。与上述图1的恢复单元510相似,多声道解码单元720通过使用第一附加信息从下混合的音频信号产生两个上混合的输出信号,并对上混合的音频信号中的每一个进行重复上混合,以从下混合的音频信号恢复多声道音频信号。恢复的多声道音频信号被定义为第一多声道音频信号。
相移单元730产生第二多声道音频信号,每个第二多声道音频信号相对于相应的第一多声道音频信号具有预定相位差。换句话说,相移单元730产生相位被移动的第二多声道音频信号以满足关系tn′=tn*exp(i*θd),其中,tn表示多个声道的第n声道的第一多声道音频信号,tn′表示第n声道的第二多声道音频信号,θd表示第n声道的第一多声道音频信号与第二多声道音频信号之间的预定相位差。例如,如图8中示出的信号V1和V2,第n声道的第一多声道音频信号和第二多声道音频信号可具有90度的相位差。
用于产生相对于第一多声道音频信号具有预定相位差的第二多声道音频信号的一个原因在于:由于第一多声道音频信号和第二多声道音频信号被组合,因此对当对多声道音频信号进行编码时发生的相位损失进行补偿。在以上参照图1描述的根据本发明构思的示例性实施例的对多声道音频信号进行编码的设备100中,即使在对多声道音频信号进行下混合时通过上混合来恢复已被下混合为音频信号的每对输入音频信号,但初始输入的音频信号的相位被平均,因此初始输入的音频信号之间的相位差丢失。此外,即使关于两个输入音频信号之间的相位差的信息被提供作为第一附加信息,但基于第一附加信息恢复的多声道音频信号之间的相位差与输入音频信号之间的初始相位差不同,因此妨碍了解码的多声道音频信号的声音质量提高。
组合单元740通过使用第二附加信息将第一多声道音频信号和第二多声道音频信号进行组合以产生最终恢复的音频信号。具体地讲,组合单元740将每个声道的第一多声道音频信号和第二多声道音频信号分别与预定权重相乘。然后,组合单元740将单独相乘的第一多声道音频信号和第二多声道音频信号进行组合以产生每个声道的组合音频信号。例如,假设α表示与第n声道的第一多声道音频信号(tn)相乘的权重,β表示与第n声道的第二多声道音频信号(tn′)相乘的权重,则第n声道的组合音频信号un可由等式un=αtn+βtn′表示。
组合单元740通过使用两个不同声道的组合音频信号间的相关性与包括在第二附加信息中的ICC参数之间的关系来计算所述预定权重,其中,所述ICC参数表示所述两个不同声道的输入多声道音频信号之间的相关性。假设N是表示输入的多声道的数量的正整数,Φi,i+1表示表现第i声道和第i+1声道的音频信号之间的相关性的ICC参数,其中,i是从1到N-1的一个整数,k表示采样索引,xi(k)表示以采样索引k采样的第i声道的输入音频信号的值,d表示延迟值,所述延迟值是预定整数,l表示采样间隔的长度,满足以下等式4的权重α和β被计算:
数学计算4
[数学函数4]
α2+β2=1,并且
在使用等式4计算权重α和β之后,组合单元740将使用un=αtn+βtn′计算的第n声道的组合音频信号确定为第n声道的最终恢复的音频信号。组合单元740对所有的声道递归地执行上述操作以产生所有声道的最终恢复的音频信号。
在如上所述使用ICC参数产生了最终恢复的音频信号之后,组合单元740可通过使用中心声道校正参数和总体声道校正参数来对最终恢复的音频信号进行校正,其中,中心声道校正参数表示中心声道的输入音频信号与中心声道的恢复的音频信号之间的能量比,总体声道校正参数表示所有声道的输入音频信号与所有声道的恢复的音频信号之间的能量比。
具体地讲,组合单元740通过使用总体声道校正参数(δ)来对所有声道的最终恢复的音频信号进行校正。例如,组合单元740通过将第n声道的最终恢复的音频信号un乘以总体声道校正参数(δ)来对第n声道的最终恢复的音频信号un进行校正。对所有声道递归执行该处理。另外,组合单元740可通过将最终恢复的音频信号乘以总体声道校正参数(δ)和中心声道校正参数(κ)来对中心声道的最终恢复的音频信号进行校正。
如上所述,对多声道音频信号进行解码的设备700可通过使用ICC参数来将第一多声道音频信号和具有相位差的第二多声道音频信号进行组合,并通过使用总体声道校正参数(δ)和中心声道校正参数(κ)来对所有声道的音频信号和中心声道音频信号进行校正,来提高恢复的多声道音频信号的质量。
图9是根据本发明构思的另一示例性实施例的对多声道音频信号进行解码的方法的流程图。参照图9,在操作910,从已编码的音频数据信号提取下混合的音频信号、用于从下混合的音频信号恢复多声道音频信号的第一附加信息以及表示残差信号的特征的第二附加信息。如上所述,残差信号与编码之前的输入多声道音频信号的每一个和编码之后的相应恢复的多声道音频信号之间的差值相应。
在操作920,使用下混合的音频信号和第一附加信息来恢复第一多声道音频信号。如上所述,通过使用第一附加信息来从下混合的音频信号产生两个上混合的输出信号并对上混合的输出信号的每一个进行重复上混合,来恢复第一多声道音频信号。
在操作930,产生相对于恢复的第一多声道音频信号具有预定相位差的第二多声道音频信号。所述预定相位差可以是90度。
在操作940,通过使用第二附加信息对第一多声道音频信号和第二多声道音频信号进行组合,来产生最终恢复的音频信号。具体地讲,组合单元740使用两个不同声道的组合音频信号间的相关性与ICC参数之间的关系来计算将与第一多声道音频信号和第二多声道音频信号分别相乘的权重,其中,所述ICC参数包括在第二附加信息中并表示所述两个不同声道的输入多声道音频信号之间的相关性。组合单元740通过使用计算的权重来计算第一多声道音频信号和第二多声道音频信号的权重和,来产生最终恢复的音频信号。可选地,组合单元740可通过使用总体声道校正参数(δ)和中心声道校正参数(κ)来对所有声道的恢复的音频信号和中心声道的恢复的音频信号进行校正,以提高恢复的多声道音频信号的声音质量。
根据本发明总体构思的多个方面,当对多声道音频信号进行编码时,最少量的残差信号信息被有效编码,并且使用残差信号对已编码的多声道音频信号进行解码,从而提高每个声道的音频信号的声音质量。
本总体发明构思的示例性实施例可被编写为计算机程序并可在通用数字计算机中被实现,所述通用数字计算机通过使用计算机可读记录介质来执行所述程序。计算机可读记录介质的示例包括:磁存储介质(例如,ROM、软盘、硬盘等)和光学记录介质(例如,CD-ROM或DVD)。此外,尽管不是在所有方面需要,但是对多声道音频信号进行编码的设备100和/或对多声道音频信号进行解码的设备700中的一个或多个单元可包括执行存储在计算机可读介质中的计算机程序的处理器或微处理器。另外,本发明构思的示例性实施例可被编写为计算机程序,所述计算机程序通过计算机可读传输介质(诸如载波)被发送,并在执行所述程序的通用数字计算机中被接收和实现。
尽管已经参照本发明构思的示例性实施例具体显示和描述了本发明构思,但是本领域的普通技术人员将理解,在不脱离由权利要求所限定的本发明的精神和范围的情况下,可以对其进行形式和细节上的各种改变。示例性实施例应仅以描述性的含义考虑,而不是为了限制的目的。因此,本发明的范围不由本发明构思的详细描述所限定,而是由权利要求所限定,所述范围内的所有差别将被解释为包括在本发明中。
Claims (15)
1.一种对多声道音频信号进行解码的方法,所述方法包括:
从已编码的音频数据提取下混合的音频信号、用于从下混合的音频信号恢复多声道音频信号的第一附加信息以及表示残差信号的特征的第二附加信息,其中,所述残差信号与编码为下混合的音频信号之前的输入多声道音频信号中的每一个和编码之后的相应恢复的多声道音频信号之间的差值相应;
通过使用下混合的音频信号和第一附加信息来恢复第一多声道音频信号;
通过使用下混合的音频信号和第一附加信息来产生相对于恢复的第一多声道音频信号具有预定相位差的第二多声道音频信号;
通过使用第二附加信息将恢复的第一多声道音频信号和产生的第二多声道音频信号进行组合,来产生最终恢复的音频信号。
2.如权利要求1所述的方法,其中,恢复第一多声道音频信号的步骤包括:
通过使用第一附加信息和下混合的音频信号来从下混合的音频信号产生两个上混合的输出信号;
对上混合的输出信号的每一个进行递归上混合,以恢复第一多声道音频信号。
3.如权利要求2所述的方法,其中,第一附加信息包括关于与下混合的音频信号的强度相应的第三矢量的幅度的信息以及关于矢量空间中第三矢量与第一矢量和第二矢量之一之间的角度的信息,第三矢量是矢量空间中的第一矢量和第二矢量之和,其中,所述矢量空间被创建用于在第一矢量和第二矢量之间形成预定角度,其中,第一矢量与所述两个上混合的输出信号的第一信号的强度相应,第二矢量与所述两个上混合的输出信号的第二信号的强度相应,
恢复第一多声道音频信号的步骤包括:通过使用关于与下混合的音频信号的强度相应的第三矢量的幅度的信息以及关于所述矢量空间中第三矢量与第一矢量和第二矢量之一之间的角度的信息,从下混合的音频信号产生与第一矢量和第二矢量分别相应的两个上混合的输出信号。
4.如权利要求1所述的方法,其中,第一多声道音频信号和第二多声道音频信号具有90度的相位差。
5.如权利要求1所述的方法,其中,第二附加信息包括表示两个不同声道的输入多声道音频信号之间的相关性的声道间相关(ICC)参数,
产生最终恢复的音频信号的步骤包括:
将每个声道的第一多声道音频信号和第二多声道音频信号分别与预定权重相乘,并将被单独相乘之后的第一多声道音频信号和第二多声道音频信号进行组合,以产生每个声道的组合音频信号;
通过使用所述两个不同声道的组合音频信号间的相关性与ICC参数之间关系来计算所述预定权重,其中,所述ICC参数包括在第二附加信息中,表示两个不同声道的输入多声道音频信号之间的相关性;
通过使用计算的预定权重将第一多声道音频信号与第二多声道音频信号进行组合,以产生最终恢复的音频信号。
6.如权利要求5所述的方法,其中,假设N表示输入的多声道的数量,其中,N是正整数,Φi,i+1表示ICC参数,所述ICC参数表示第i声道和第i+1声道的音频信号之间的相关性,其中,i是从1至N-1中的一个整数,k表示采样索引,xi(k)表示以采样索引k采样的第i声道的输入音频信号的值,d表示延迟值,所述延迟值是预定整数,l表示采样间隔的长度,tn表示第n声道的第一多声道音频信号,tn′表示第n声道的第二多声道音频信号,α表示与第一多声道音频信号相乘的权重,β表示与第二多声道音频信号相乘的权重,第n声道的组合音频信号un为un=αtn+βtn′,并且根据如下等式计算预定权重α和β:
α2+β2=1,并且
7.如权利要求5所述的方法,其中:
第二附加信息还包括:
中心声道校正参数(κ),表示中心声道的输入音频信号与中心声道的恢复的音频信号之间的能量比;
总体声道校正参数(δ),表示所有声道的输入音频信号与所有声道的恢复的音频信号之间的能量比;
产生最终恢复的音频信号的步骤还包括:
通过使用总体声道校正参数(δ)对所有声道的最终恢复的音频信号进行校正,并且
还使用中心声道校正参数(κ)对所有声道的最终恢复的音频信号之中的中心声道的最终恢复的音频信号进行校正。
8.如权利要求7所述的方法,其中,假设k表示采样索引,xc(k)表示以采样索引k采样的中心声道的输入音频信号的值,x′c(k)表示以采样索引k采样的中心声道的恢复的音频信号的值,l表示采样间隔的长度,其中,l是整数,
使用以下等式计算中心声道校正参数(κ):
9.如权利要求7所述的方法,其中,假设N表示输入的多声道的数量,其中,N是正整数,k表示采样索引,xi(k)表示以采样索引k采样的第i声道的输入音频信号的值,x′i(k)表示以采样索引k采样的第i声道的恢复的音频信号的值,l表示采样间隔的长度,
使用以下等式来计算总体声道校正参数(δ):
10.一种用于对多声道音频信号进行解码的设备,所述设备包括:
解复用单元,从已编码的音频数据提取下混合的音频信号、用于从下混合的音频信号恢复多声道音频信号的第一附加信息以及表示残差信号的特征的第二附加信息,其中,所述残差信号与编码之前的输入多声道音频信号中的每一个和编码之后的相应恢复的多声道音频信号之间的差值相应;
多声道解码单元,通过使用下混合的音频信号和第一附加信息来恢复第一多声道音频信号;
相移单元,产生相对于恢复的第一多声道音频信号具有预定相位差的第二多声道音频信号;
组合单元,通过使用第二附加信息将第一多声道音频信号和第二多声道音频信号进行组合,以产生最终恢复的音频信号。
11.如权利要求10所述的设备,其中,所述多声道解码单元通过使用第一附加信息来从下混合的音频信号产生两个上混合的输出信号,并对上混合的输出信号的每一个进行重复上混合,来恢复所述多声道音频信号。
12.如权利要求11所述的设备,其中,第一附加信息包括关于与下混合的音频信号的强度相应的第三矢量的幅度的信息以及关于矢量空间中第三矢量与第一矢量和第二矢量之一之间的角度的信息,第三矢量是矢量空间中的第一矢量和第二矢量之和,其中,所述矢量空间被创建用于在第一矢量和第二矢量之间形成预定角度,其中,第一矢量与所述两个上混合的输出信号的第一信号的强度相应,第二矢量与所述两个上混合的输出信号的第二信号的强度相应,
多声道解码单元通过使用关于与下混合的音频信号的强度相应的第三矢量的幅度的信息以及关于所述矢量空间中第三矢量与第一矢量和第二矢量之一之间的角度的信息,从下混合的音频信号产生与第一矢量和第二矢量分别相应的两个上混合的输出信号。
13.如权利要求11所述的设备,其中,第二附加信息包括表示两个不同声道的输入多声道音频信号之间的相关性的声道间相关(ICC)参数,
组合单元通过将第一多声道音频信号和第二多声道音频信号分别与预定权重相乘,并将被相乘的第一多声道音频信号和被相乘的第二多声道音频信号相加,来将每个声道的组合音频信号产生为每个声道的最终恢复的音频信号,其中,组合单元通过使用所述两个不同声道的组合音频信号间的相关性与ICC参数之间的关系来计算所述预定权重。
14.一种对多声道音频信号进行编码的方法,所述方法包括:
对输入多声道音频信号进行参量编码,以产生下混合的音频信号和用于从下混合的音频信号恢复所述多声道音频信号的第一附加信息;
产生残差信号,其中,所述残差信号与输入多声道音频信号中的每一个和使用下混合的音频信号及第一附加信息恢复的相应恢复的多声道音频信号之间的差值相应;
产生表示所述残差信号的特征的第二附加信息;
对下混合的音频信号、第一附加信息和第二附加信息进行复用。
15.一种用于对多声道音频信号进行编码的设备,所述设备包括:
多声道编码单元,对输入多声道音频信号执行编码,以产生下混合的音频信号和用于从下混合的音频信号恢复所述多声道音频信号的第一附加信息;
残差信号产生单元,产生残差信号,其中,所述残差信号与输入多声道音频信号中的每一个和使用下混合的音频信号及第一附加信息恢复的相应恢复的多声道音频信号之间的差值相应;
残差信号编码单元,产生表示所述残差信号的特征的第二附加信息;
复用单元,对下混合的音频信号、第一附加信息和第二附加信息进行复用。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2009-0076338 | 2009-08-18 | ||
KR1020090076338A KR101613975B1 (ko) | 2009-08-18 | 2009-08-18 | 멀티 채널 오디오 신호의 부호화 방법 및 장치, 그 복호화 방법 및 장치 |
PCT/KR2010/005449 WO2011021845A2 (en) | 2009-08-18 | 2010-08-18 | Method and apparatus for encoding multi-channel audio signal and method and apparatus for decoding multi-channel audio signal |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102483921A true CN102483921A (zh) | 2012-05-30 |
CN102483921B CN102483921B (zh) | 2014-07-30 |
Family
ID=43606051
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201080037106.9A Expired - Fee Related CN102483921B (zh) | 2009-08-18 | 2010-08-18 | 用于对多声道音频信号进行编码和解码的方法和设备 |
Country Status (6)
Country | Link |
---|---|
US (1) | US8798276B2 (zh) |
EP (1) | EP2467850B1 (zh) |
JP (1) | JP5815526B2 (zh) |
KR (1) | KR101613975B1 (zh) |
CN (1) | CN102483921B (zh) |
WO (1) | WO2011021845A2 (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105556596A (zh) * | 2013-07-22 | 2016-05-04 | 弗朗霍夫应用科学研究促进协会 | 使用基于残差信号调整解相关信号贡献的多声道音频解码器、多声道音频编码器、方法和计算机程序 |
CN105593931A (zh) * | 2013-07-22 | 2016-05-18 | 弗劳恩霍夫应用研究促进协会 | 使用联合编码残余信号的音频编码器、音频解码器、方法及计算机程序 |
CN106463126A (zh) * | 2014-03-20 | 2017-02-22 | Dts(英属维尔京群岛)有限公司 | 基于对象的音频系统中的残差编码 |
CN106575510A (zh) * | 2014-07-01 | 2017-04-19 | 弗劳恩霍夫应用研究促进协会 | 用于确定用于音频信号的相位校正数据的计算器及方法 |
CN111182444A (zh) * | 2020-01-03 | 2020-05-19 | 天域全感音科技有限公司 | 一种单双声道音频信号的转换装置及方法 |
CN116913328A (zh) * | 2023-09-11 | 2023-10-20 | 荣耀终端有限公司 | 音频处理方法、电子设备及存储介质 |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101692394B1 (ko) * | 2009-08-27 | 2017-01-04 | 삼성전자주식회사 | 스테레오 오디오의 부호화, 복호화 방법 및 장치 |
US8762158B2 (en) * | 2010-08-06 | 2014-06-24 | Samsung Electronics Co., Ltd. | Decoding method and decoding apparatus therefor |
EP3182409B1 (en) * | 2011-02-03 | 2018-03-14 | Telefonaktiebolaget LM Ericsson (publ) | Determining the inter-channel time difference of a multi-channel audio signal |
PL2673776T3 (pl) | 2012-01-20 | 2015-12-31 | Fraunhofer Ges Forschung | Urządzenie i sposób kodowania i dekodowania audio z zastosowaniem zastępowania sinusoidalnego |
KR101662682B1 (ko) | 2012-04-05 | 2016-10-05 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 채널간 차이 추정 방법 및 공간적 오디오 코딩 장치 |
JP5949270B2 (ja) * | 2012-07-24 | 2016-07-06 | 富士通株式会社 | オーディオ復号装置、オーディオ復号方法、オーディオ復号用コンピュータプログラム |
KR20140016780A (ko) * | 2012-07-31 | 2014-02-10 | 인텔렉추얼디스커버리 주식회사 | 오디오 신호 처리 방법 및 장치 |
BR112015002367B1 (pt) * | 2012-08-03 | 2021-12-14 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung Ev | Decodificador e método para codificação de objeto de áudio espacial multi-instância empregando um conceito paramétrico para caixas multicanal de downmix/upmix |
JP6113282B2 (ja) * | 2012-08-10 | 2017-04-12 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | パラメトリックオーディオオブジェクトコーディングのための残差コンセプトを採用するエンコーダ、デコーダ、システム、および方法 |
US9336791B2 (en) * | 2013-01-24 | 2016-05-10 | Google Inc. | Rearrangement and rate allocation for compressing multichannel audio |
WO2014168439A1 (ko) * | 2013-04-10 | 2014-10-16 | 한국전자통신연구원 | 다채널 신호를 위한 인코더 및 인코딩 방법, 다채널 신호를 위한 디코더 및 디코딩 방법 |
US9679571B2 (en) | 2013-04-10 | 2017-06-13 | Electronics And Telecommunications Research Institute | Encoder and encoding method for multi-channel signal, and decoder and decoding method for multi-channel signal |
EP2973551B1 (en) * | 2013-05-24 | 2017-05-03 | Dolby International AB | Reconstruction of audio scenes from a downmix |
JP6303435B2 (ja) * | 2013-11-22 | 2018-04-04 | 富士通株式会社 | オーディオ符号化装置、オーディオ符号化方法、オーディオ符号化用プログラム、オーディオ復号装置 |
KR101536855B1 (ko) * | 2014-01-23 | 2015-07-14 | 재단법인 다차원 스마트 아이티 융합시스템 연구단 | 레지듀얼 코딩을 이용하는 인코딩 장치 및 방법 |
KR101641645B1 (ko) * | 2014-06-11 | 2016-07-22 | 전자부품연구원 | 오디오 소스 분리 방법 및 이를 적용한 오디오 시스템 |
CN110970041B (zh) * | 2014-07-01 | 2023-10-20 | 韩国电子通信研究院 | 处理多信道音频信号的方法和装置 |
EP4243014A4 (en) | 2021-01-25 | 2024-07-17 | Samsung Electronics Co., Ltd. | DEVICE AND METHOD FOR PROCESSING A MULTI-CHANNEL AUDIO SIGNAL |
KR102770762B1 (ko) * | 2021-07-30 | 2025-02-24 | 한국전자통신연구원 | 벡터 양자화된 잔여오차 특징을 사용한 오디오 부호화/복호화 장치 및 그 방법 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080002842A1 (en) * | 2005-04-15 | 2008-01-03 | Fraunhofer-Geselschaft zur Forderung der angewandten Forschung e.V. | Apparatus and method for generating multi-channel synthesizer control signal and apparatus and method for multi-channel synthesizing |
CN101223598A (zh) * | 2005-07-19 | 2008-07-16 | 韩国电子通信研究院 | 基于虚拟源位置信息的通道等级差量化和解量化方法 |
WO2009038512A1 (en) * | 2007-09-19 | 2009-03-26 | Telefonaktiebolaget Lm Ericsson (Publ) | Joint enhancement of multi-channel audio |
WO2009054665A1 (en) * | 2007-10-22 | 2009-04-30 | Electronics And Telecommunications Research Institute | Multi-object audio encoding and decoding method and apparatus thereof |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7573912B2 (en) * | 2005-02-22 | 2009-08-11 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschunng E.V. | Near-transparent or transparent multi-channel encoder/decoder scheme |
US9626973B2 (en) | 2005-02-23 | 2017-04-18 | Telefonaktiebolaget L M Ericsson (Publ) | Adaptive bit allocation for multi-channel audio encoding |
DE602006014809D1 (de) * | 2005-03-30 | 2010-07-22 | Koninkl Philips Electronics Nv | Skalierbare mehrkanal-audiokodierung |
US7751572B2 (en) * | 2005-04-15 | 2010-07-06 | Dolby International Ab | Adaptive residual audio coding |
WO2007011157A1 (en) | 2005-07-19 | 2007-01-25 | Electronics And Telecommunications Research Institute | Virtual source location information based channel level difference quantization and dequantization method |
KR100803212B1 (ko) * | 2006-01-11 | 2008-02-14 | 삼성전자주식회사 | 스케일러블 채널 복호화 방법 및 장치 |
WO2007091848A1 (en) * | 2006-02-07 | 2007-08-16 | Lg Electronics Inc. | Apparatus and method for encoding/decoding signal |
JPWO2009050896A1 (ja) * | 2007-10-16 | 2011-02-24 | パナソニック株式会社 | ストリーム合成装置、復号装置、方法 |
EP2232485A4 (en) | 2008-01-01 | 2012-09-26 | Lg Electronics Inc | METHOD AND APPARATUS FOR SIGNAL PROCESSING |
-
2009
- 2009-08-18 KR KR1020090076338A patent/KR101613975B1/ko active Active
-
2010
- 2010-04-15 US US12/761,070 patent/US8798276B2/en active Active
- 2010-08-18 WO PCT/KR2010/005449 patent/WO2011021845A2/en active Application Filing
- 2010-08-18 CN CN201080037106.9A patent/CN102483921B/zh not_active Expired - Fee Related
- 2010-08-18 EP EP10810153.6A patent/EP2467850B1/en active Active
- 2010-08-18 JP JP2012525482A patent/JP5815526B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080002842A1 (en) * | 2005-04-15 | 2008-01-03 | Fraunhofer-Geselschaft zur Forderung der angewandten Forschung e.V. | Apparatus and method for generating multi-channel synthesizer control signal and apparatus and method for multi-channel synthesizing |
CN101223598A (zh) * | 2005-07-19 | 2008-07-16 | 韩国电子通信研究院 | 基于虚拟源位置信息的通道等级差量化和解量化方法 |
WO2009038512A1 (en) * | 2007-09-19 | 2009-03-26 | Telefonaktiebolaget Lm Ericsson (Publ) | Joint enhancement of multi-channel audio |
WO2009054665A1 (en) * | 2007-10-22 | 2009-04-30 | Electronics And Telecommunications Research Institute | Multi-object audio encoding and decoding method and apparatus thereof |
Non-Patent Citations (1)
Title |
---|
J. BREEBAART等: "MPEG Spatial Audio Coding/MPEG Surround:Overview and Current Status", 《AUDIO ENGINEERING SOCIETY CONVENTION PAPER》 * |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10755720B2 (en) | 2013-07-22 | 2020-08-25 | Fraunhofer-Gesellschaft Zur Foerderung Der Angwandten Forschung E.V. | Multi-channel audio decoder, multi-channel audio encoder, methods and computer program using a residual-signal-based adjustment of a contribution of a decorrelated signal |
CN110895944A (zh) * | 2013-07-22 | 2020-03-20 | 弗朗霍夫应用科学研究促进协会 | 提供音频信号的音频解码器、音频编码器、方法和程序 |
US10839812B2 (en) | 2013-07-22 | 2020-11-17 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Multi-channel audio decoder, multi-channel audio encoder, methods and computer program using a residual-signal-based adjustment of a contribution of a decorrelated signal |
CN105556596A (zh) * | 2013-07-22 | 2016-05-04 | 弗朗霍夫应用科学研究促进协会 | 使用基于残差信号调整解相关信号贡献的多声道音频解码器、多声道音频编码器、方法和计算机程序 |
US10354661B2 (en) | 2013-07-22 | 2019-07-16 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Multi-channel audio decoder, multi-channel audio encoder, methods and computer program using a residual-signal-based adjustment of a contribution of a decorrelated signal |
CN105556596B (zh) * | 2013-07-22 | 2019-12-13 | 弗朗霍夫应用科学研究促进协会 | 使用基于残差信号调整解相关信号贡献的多声道音频解码器、多声道音频编码器、方法和数据载体 |
CN105593931A (zh) * | 2013-07-22 | 2016-05-18 | 弗劳恩霍夫应用研究促进协会 | 使用联合编码残余信号的音频编码器、音频解码器、方法及计算机程序 |
CN106463126B (zh) * | 2014-03-20 | 2020-04-14 | Dts(英属维尔京群岛)有限公司 | 基于对象的音频系统中的残差编码 |
CN106463126A (zh) * | 2014-03-20 | 2017-02-22 | Dts(英属维尔京群岛)有限公司 | 基于对象的音频系统中的残差编码 |
US10770083B2 (en) | 2014-07-01 | 2020-09-08 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Audio processor and method for processing an audio signal using vertical phase correction |
CN106575510A (zh) * | 2014-07-01 | 2017-04-19 | 弗劳恩霍夫应用研究促进协会 | 用于确定用于音频信号的相位校正数据的计算器及方法 |
US10930292B2 (en) | 2014-07-01 | 2021-02-23 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Audio processor and method for processing an audio signal using horizontal phase correction |
CN111182444A (zh) * | 2020-01-03 | 2020-05-19 | 天域全感音科技有限公司 | 一种单双声道音频信号的转换装置及方法 |
CN116913328A (zh) * | 2023-09-11 | 2023-10-20 | 荣耀终端有限公司 | 音频处理方法、电子设备及存储介质 |
CN116913328B (zh) * | 2023-09-11 | 2023-11-28 | 荣耀终端有限公司 | 音频处理方法、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
US8798276B2 (en) | 2014-08-05 |
EP2467850B1 (en) | 2016-06-01 |
JP2013502608A (ja) | 2013-01-24 |
EP2467850A2 (en) | 2012-06-27 |
KR101613975B1 (ko) | 2016-05-02 |
EP2467850A4 (en) | 2013-10-30 |
US20110046964A1 (en) | 2011-02-24 |
WO2011021845A3 (en) | 2011-06-03 |
WO2011021845A2 (en) | 2011-02-24 |
CN102483921B (zh) | 2014-07-30 |
KR20110018728A (ko) | 2011-02-24 |
JP5815526B2 (ja) | 2015-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102483921B (zh) | 用于对多声道音频信号进行编码和解码的方法和设备 | |
EP1999747B1 (en) | Audio decoding | |
CN101401305B (zh) | 利用复调制滤波器组的滤波器、抽头产生器及滤波方法 | |
RU2367033C2 (ru) | Многоканальное иерархическое аудиокодирование с компактной дополнительной информацией | |
JP5311597B2 (ja) | マルチチャンネル・エンコーダ | |
CN101002261B (zh) | 使用虚拟源位置信息编码和解码多声道音频信号的方法和装置 | |
CN101410890A (zh) | 减小数目的声道解码 | |
KR20050095896A (ko) | 오디오 코딩 | |
CN101821799A (zh) | 使用上混合的音频编码 | |
JP4794448B2 (ja) | オーディオエンコーダ | |
US20110051938A1 (en) | Method and apparatus for encoding and decoding stereo audio | |
US9478223B2 (en) | Method and apparatus for down-mixing multi-channel audio | |
US8744089B2 (en) | Method and apparatus for encoding and decoding stereo audio | |
US8781134B2 (en) | Method and apparatus for encoding and decoding stereo audio | |
JP2006323314A (ja) | マルチチャネル音声信号をバイノーラルキュー符号化する装置 | |
KR100891668B1 (ko) | 믹스 신호 처리 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20140730 |
|
CF01 | Termination of patent right due to non-payment of annual fee |