CN101821799B - 使用上混合的音频编码 - Google Patents

Abstract

一种用于对多音频对象信号进行解码的方法，所述多音频对象信号中编码有第一类型音频信号和第二类型音频信号，所述多音频对象信号由下混合信号(112)和辅助信息组成，所述辅助信息包括第一预定时间/频率分辨率(42)下第一类型音频信号和第二类型音频信号的声级信息(60)，所述方法包括：基于所述声级信息(OLD)来计算预测系数矩阵C；以及基于所述预测系数和残差信号来对所述下混合信号(56)进行上混合，以获得与第一类型音频信号近似的第一上混合音频信号和/或与第二类型音频信号近似的第二上混合音频信号的装置，其中，上混合根据以下公式表示的计算，由下混合信号d产生第一上混合信号S₁和/或第二上混合信号S₂：

其中，根据d的声道数目，“1”表示标量或单位矩阵，D^-1是由下混合规则唯一确定的矩阵，第一类型音频信号和第二类型音频信号是根据所述下混合规则被下混合为下混合信号的，所述辅助信息中也包括所述下混合规则，H是独立于d的项。

Description

使用上混合的音频编码

技术领域

本发明涉及使用信号上混合(up-mixing)的音频编码。

背景技术

已经提出了许多音频编码算法，以对一声道(即单声道)音频信号的音频数据进行有效的编码和压缩。利用心理声学，可以对音频采样进行适当地缩放、量化或甚至将其设置为零，以从例如PCM编码的音频信号中去除不相关性。并执行冗余删除。

进一步地，利用了立体声音频信号中的左和右声道之间的相似性，以对立体声音频信号进行有效的编码/压缩。

然而，即将来临的应用对音频编码算法提出了更多要求。例如，在电话会议、计算机游戏、音乐表演等中，必须并行传送部分或甚至完全不相关的若干音频信号。为了使用于对这些音频信号进行编码的必要比特率保持足够低，以与低比特率传送应用兼容，近来已经提出了将多个输入音频信号下混合为下混合信号(如立体声或甚至单声道下混合信号)的音频编解码器。例如，MPEG环绕标准以该标准所规定的方式，将输入声道下混合为下混合信号。下混合是使用所谓的OTT^-1和TTT^-1盒(box)予以实现的，OTT^-1和TTT^-1盒分别将两个信号下混合为一个信号和将三个信号下混合为两个信号。为了对四个以上的信号进行下混合，使用这些盒的分级结构。除了单声道下混合信号之外，每个OTT^-1盒输出两个输入声道之间的声道声级差、以及表示两个输入声道之间的相干或互相关的声道间相干/互相关参数。在MPEG环绕数据流中，这些参数与MPEG环绕编码器的下混合信号一起输出。类似地，每个TTT^-1盒发送声道预测系数，该声道预测系数使得能够从所产生的立体声下混合信号恢复3个输入声道。在MPEG环绕数据流中，还将该声道预测系数作为辅助信息来传送。MPEG环绕解码器使用所传送的辅助信息对下混合信号进行上混合，并恢复输入至MPEG环绕编码器的原始声道。

然而，不幸的是，MPEG环绕不能满足许多应用所提出的全部要求。例如，MPEG环绕解码器专门用于对MPEG环绕编码器的下混合信号进行上混合，以将MPEG环绕编码器的输入声道恢复原样。换言之，MPEG环绕数据流专门用于通过使用已用于编码的扬声器配置来进行回放。

然而，根据一些暗示，如果可以在解码器侧改变扬声器配置将是十分有利的。

为了满足后者的需要，目前已设计了空间音频对象编码(SAOC)标准。每个声道被视为单独的对象，并将所有对象下混合为下混合信号。然而，此外，各独立对象也可以包括独立声源，如乐器或声乐音带。然而，与MPEG环绕解码器不同，SAOC解码器能够自由地对下混合信号进行单独的上混合，以将各独立对象重放至任何扬声器配置。为了使SAOC解码器能够恢复已被编码为SAOC数据流的各独立对象，在SAOC比特流中，将对象声级差，以及针对一起形成立体声(或多声道)信号的对象的对象间互相关参数作为辅助信息。此外，向SAOC解码器/变码器提供了启示各独立对象如何被下混合为下混合信号的信息。因此，在解码器侧，可以恢复各独立SAOC声道，并利用由用户控制的呈现信息来将这些信号呈现至任何扬声器配置。

然而，虽然SAOC编解码器被设计用于单独地处理音频对象，但是一些应用的要求甚至更高。例如，卡拉OK应用要求背景音频信号与前景音频信号的完全分离。反之，在独唱(solo)模式下，必须将前景对象与背景对象分离。然而，由于同等地对待各独立音频对象，因此不可能分别从下混合信号中完全去除背景对象或前景对象。

发明内容

因此，本发明的目的是提供一种分别使用音频信号的下混合和上混合的音频编解码器，以更好地在例如卡拉OK/独唱模式应用中分离各独立对象。

这个目的是通过根据权利要求19所述的解码方法和根据权利要求20所述的程序来实现的。

附图说明

参照附图，更详细地描述本申请的优选实施例。附图中：

图1示出了可以在其中实现本发明的实施例的SAOC编码器/解码器配置的框图；

图2示出了单声道音频信号的频谱表示的示意和说明图；

图3示出了根据本发明的实施例的音频解码器的框图；

图4示出了根据本发明的实施例的音频编码器的框图；

图5示出了作为对比实施例的用于卡拉OK/独唱模式应用的音频编码器/解码器配置的框图；

图6示出了根据一实施例的用于卡拉OK/独唱模式应用的音频编码器/解码器配置的框图；

图7a示出了根据对比实施例的用于卡拉OK/独唱模式应用的音频编码器的框图；

图7b示出了根据一实施例的用于卡拉OK/独唱模式应用的音频编码器的框图；

图8a和b示出了质量测量结果图；

图9示出了供对比用的用于卡拉OK/独唱模式应用的音频编码器/解码器配置的框图；

图10示出了根据一实施例的用于卡拉OK/独唱模式应用的音频编码器/解码器配置的框图；

图11示出了根据另一实施例的用于卡拉OK/独唱模式应用的音频编码器/解码器配置的框图；

图12示出了根据另一实施例的用于卡拉OK/独唱模式应用的音频编码器/解码器配置的框图；

图13a至h示出了反映根据本发明一实施例的用于SAOC比特流的可能语法的表格；

图14示出了根据一实施例的用于卡拉OK/独唱模式应用的音频解码器的框图；以及

图15示出了反映用于以信号告知传送残差信号所耗费的数据量的可能语法的表格。

具体实施方式

在以下更具体地描述本发明的实施例之前，为了更容易理解以下更详细地概述的具体实施例，先对SAOC编解码器和SAOC比特流中传送的SAOC参数加以介绍。

图1示出了SAOC编码器10和SAOC解码器12的总体配置。SAOC编码器10接收N个对象(即音频信号14₁至14_N)作为输入。具体地，编码器10包括下混合器16，下混合器16接收音频信号14₁至14_N，并将其下混合为下混合信号18。在图1中，将下混合信号示例性地示为立体声下混合信号。然而，单声道下混合信号也是可能的。将立体声下混合信号18的声道表示为L0和R0，在单声道下混合的情况下，声道仅表示为L0。为了使SAOC解码器12能够恢复各独立对象14₁至14_N，下混合器16向SAOC解码器12提供了包括SAOC参数的辅助信息，该SAOC参数包括：对象声级差(OLD)、对象间互相关参数(IOC)、下混合增益值(DMG)、和下混合声道声级差(DCLD)。包括SAOC参数以及下混合信号18的辅助信息20形成了SAOC解码器12所接收的SAOC输出数据流。

SAOC解码器12包括上混合器22，上混合器22接收下混合信号18以及辅助信息20，以恢复音频信号14₁至14_N，并将其呈现至任何用户选择的声道集合24₁至24_M，其中，输入至SAOC解码器12的呈现信息26规定了呈现方式。

音频信号14₁至14_N可以在任何编码域(例如时域或频谱域)被输入下混合器16。在音频信号14₁至14_N在时域被馈入下混合器16的情况下(如经PCM编码)，下混合器16就使用滤波器组(如混合QMF组，即一组具有针对最低频带的奈奎斯特滤波器扩展，以提高其中的频率分辨率的复指数调制滤波器)，以特定滤波器组分辨率将信号转移至频谱域，在频域域中，在与不同频谱部分相关的若干子带中表示音频信号。如果音频信号14₁至14_N已经是下混合器16所期望的表示形式，则下混合器16不必执行频谱分解。

图2示出了刚刚提及的频域中的音频信号，可以看到，音频信号被表示为多个子带信号。子带信号30₁至30_P分别由小框32所表示的子带值的序列构成。可以看到，子带信号30₁至30_P的子带值32在时间上相互同步，使得对于各个连续的滤波器组时隙34，每个子带30₁至30_P包括正好一个子带值32。如频率轴36所示，子带信号30₁至30_P与不同的频率区域相关联，如时间轴38所示，滤波器组时隙34在时间上连续排列。

如上所述，下混合器16根据输入音频信号14₁至14_N来计算SAOC参数。下混合器16以某一时间/频率分辨率执行该计算，所述时间/频率分辨率与由滤波器组时隙34和子带分解所确定的原始时间/频率分辨率相比，可以降低某一特定量，该特定量是通过相应的语法元素bsFrameLength和bsFreqRes在辅助信息20中以信号告知给解码器侧的。例如，若干由连续滤波器组时隙34构成的组可以形成帧40。换言之，可以将音频信号划分成例如在时间上重叠或在时间上紧邻的帧。在这种情况下，bsFrameLength可以定义参数时隙41(即在SAOC帧40中用以计算SAOC参数(如OLD和IOC)的时间单元)的数目，bsFreqRes可以定义对其计算SAOC参数的处理频带的数目。通过这种方式，每个帧被划分为图2中以虚线42进行示例的时间/频率片(time/frequencytile)。

下混合器16根据以下公式来计算SAOC参数。具体地，下混合器16针对每个对象i计算对象声级差：

${\mathrm{OLD}}_i=\frac{\underset{n}{\mathrm{\Σ}}\underset{k\∈m}{\mathrm{\Σ}}{x}_i^{n,k}{x}_i^{n,k^{*}}}{\underset{j}{\max }\left(\underset{n}{\mathrm{\Σ}}\underset{k\∈m}{\mathrm{\Σ}}{x}_j^{n,k}{x}_j^{n,k^{*}}\right)},$

其中，求和以及索引n和k分别遍历所有滤波器组时隙34，以及属于特定时间/频率片42的所有滤波器组子带30。因此，对音频信号或对象i的所有子带值x_i的能量进行求和，并将求和结果对所有对象或音频信号中能量值最大的片进行归一化。

此外，SAOC下混合器16能够计算不同输入对象14₁至14_N对的对应时间/频率片的相似性度量。尽管SAOC下混合器16可以计算所有输入对象14₁至14_N对之间的相似性度量，但是，下混合器16也可以抑制对相似性度量的信号告知，或限制对形成公共立体声声道的左或右声道的音频对象14₁至14_N的相似性度量的计算。不管怎样，将该相似性度量称为对象间互相关参数IOC_i，j。按以下公式进行计算：

${\mathrm{IOC}}_{i,j}={\mathrm{IOC}}_{j,i}=\mathrm{Re}\left\{\frac{\underset{n}{\mathrm{\Σ}}\underset{k\∈m}{\mathrm{\Σ}}{x}_i^{n,k}{x}_j^{{n,k}^{*}}}{\sqrt{\underset{n}{\mathrm{\Σ}}\underset{k\∈m}{\mathrm{\Σ}}{x}_i^{n,k}{x}_i^{{n,k}^{*}}\underset{n}{\mathrm{\Σ}}\underset{k\∈m}{\mathrm{\Σ}}{x}_j^{n,k}{x}_j^{{n,k}^{*}}}}\right\},$

其中，索引n和k再次遍历属于特定时间/频率片42的所有子带值，i和j表示音频对象14₁至14_N的特定对。

下混合器16通过使用应用于每个对象14₁至14_N的增益因子，对对象14₁至14_N进行下混合。也就是说，对对象i应用增益因子D_i，然后将所有这样加权的对象14₁至14_N求和，以获得单声道下混合信号。在图1进行示例的立体声下混合信号的情况下，对对象i应用增益因子D_1，i，然后将所有这样增益放大的对象求和，以获得左下混合声道L0，对对象i应用增益因子D_2，i，然后将所有这样增益放大的对象求和以获得右下混合声道R0。

通过下混合增益DMG_i(在立体声下混合信号的情况下，通过下混合声道声级差DCLD_i)将该下混合规则以信号告知给解码器侧。

根据以下公式来计算下混合增益：

DMG_i＝20log₁₀(D_i+ε)，(单声道下混合)，

${\mathrm{DMG}}_i=10\mathrm{lo}{g}_{10}(D_{1,i}^2+D_{2,i}^2+\mathrm{\ϵ}),$ (立体声下混合)，

其中ε是很小的数，如10^-9。

对于DCLD_s适用以下公式：

${\mathrm{DCLD}}_i=20{\log }_{10}\left(\frac{D_{1,i}}{D_{2,i}+\mathrm{\ϵ}}\right).$

在正常模式下，下混合器16根据以下对应公式来产生下混合信号

对于单声道下混合：

$\left(L0\right)=\left(D_i\right)\left(\begin{array}{c}{\mathrm{Obj}}_1\\ .\\ .\\ .\\ {\mathrm{Obj}}_N\end{array}\right)$

或对于立体声下混合：

$\left(\begin{array}{c}L0\\ R0\end{array}\right)=\left(\begin{array}{c}{D}_{1,i}\\ D_{2,i}\end{array}\right)\left(\begin{array}{c}{\mathrm{Obj}}_1\\ .\\ .\\ .\\ {\mathrm{Obj}}_N\end{array}\right)$

因此，在上述公式中，参数OLD和IOC是音频信号的函数，参数DMG和DCLD是D的函数。顺带一提的是，注意D可以随时间变化。

因此，在正常模式下，下混合器16无侧重地对所有对象14₁至14_N进行混合，即均等地对待所有对象14₁至14_N。

上混合器22执行下混合器过程的逆过程，并在一计算步骤，即

$\left(\begin{array}{c}{\mathrm{Ch}}_1\\ .\\ .\\ .\\ {\mathrm{Ch}}_M\end{array}\right)={\mathrm{AED}}^{-1}{\left({\mathrm{DED}}^{-1}\right)}^{-1}\left(\begin{array}{c}0L\\ R0\end{array}\right)$

中实现由矩阵A所表示的“呈现信息”，其中矩阵E是参数OLD和IOC的函数。

换言之，在正常模式下，不将对象14₁至14_N分类为BGO(即背景对象)或FGO(即前景对象)。由呈现矩阵A来提供关于应在上混合器22的输出表示哪个对象的信息。例如，如果具有索引1的对象是立体声背景对象的左声道，具有索引2的对象是其右声道，具有索引3的对象是前景对象，则呈现矩阵A可以是：

$\left(\begin{array}{c}{\mathrm{Obj}}_1\\ {\mathrm{Obj}}_2\\ {\mathrm{Obj}}_3\end{array}\right)\≡\left(\begin{array}{c}{\mathrm{BGO}}_L\\ {\mathrm{BGO}}_R\\ \mathrm{FGO}\end{array}\right)\→A=\left(\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\end{array}\right)$

以产生卡拉OK类型的输出信号。

然而，如上所述，通过使用SAOC编解码器的这种正常模式来传送BGO和FGO无法实现令人满意的结果。

图3和4描述了本发明的实施例，该实施例克服了刚刚描述的不足。这些图中所描述的解码器和编码器及其相关功能可以表示图1的SAOC编解码器可切换至的附加模式，如“增强模式”。以下将介绍后一可能性的示例。

图3示出了解码器50。解码器50包括用于计算预测系数的装置52和用于对下混合信号进行上混合的装置54。

图3的音频解码器50专门用于对多音频对象信号进行解码，所述多音频对象信号中编码有第一类型音频信号和第二类型音频信号。第一类型音频信号和第二类型音频信号可以分别是单声道或立体声音频信号。例如，第一类型音频信号是背景对象而第二类型音频信号是前景对象。也就是说，图3和图4的实施例未必局限于卡拉OK/独唱模式应用。相反，图3的解码器和图4的编码器可以有利地用于别处。

多音频对象信号由下混合信号56和辅助信息58组成。辅助信息58包括声级信息60，例如用于以第一预定时间/频率分辨率(例如时间/频率分辨率42)来描述第一类型音频信号和第二类型音频信号的频谱能量。具体地，声级信息60可以包括：针对每对象和时间/频率片的归一化频谱能量标量值。该归一化可以与在相应时间/频率片中第一和第二类型音频信号中的最高频谱能量值相关。后一可能性产生了用于表示声级信息的OLD，这里也称为声级差信息。虽然以下的实施例使用OLD，但是，尽管这里没有明确说明，但实施例可以使用其他归一化的频谱能量表示。

辅助信息58可选地包括残差信息62，残差信息62以第二预定时间/频率分辨率指定了残差声级值，该第二预定时间/频率分辨率可以等于或不同于第一预定时间/频率分辨率。

用于计算预测系数的装置52被配置为基于声级信息60来计算预测系数。此外，装置52还可以基于辅助信息58中也包括的互相关信息来计算预测系数。甚至，装置52还可以使用辅助信息58中包括的时变下混合规则信息来计算预测系数。装置52所计算的预测系数对于从下混合声道56中恢复或上混合得到原始音频对象或音频信号是必需的。

相应地，用于上混合的装置54被配置为，基于从装置52接收的预测系数64和(可选的)残差信号62来对下混合信号56进行上混合。当使用残差62时，解码器50能够更好地抑制从一种类型的音频信号到另一种类型的音频信号的串扰(cross talk)。装置54也可以使用时变下混合规则来对下混合信号进行上混合。此外，用于上混合的装置54可以使用用户输入66，以决定在输出68端实际输出由下混合信号56恢复的音频信号中的哪一个或以何种程度输出。作为第一极端情况，用户输入66可以指示装置54仅输出与第一类型音频信号近似的第一上混合信号。根据第二极端情况，相反地，装置54仅输出与第二类型音频信号近似的第二上混合信号。折中情况也是可能的，根据折中情况，在输出68呈现两种上混合信号的混合。

图4示出了适于产生由图3的解码器解码的多音频对象信号的音频编码器的实施例。图4的编码器由参考标记80指示，该编码器可以包括用于在要编码的音频信号84不在频谱域中的情况下进行频谱分解的装置82。在音频信号84中，依次存在至少一个第一类型音频信号和至少一个第二类型音频信号。用于频谱分解的装置82被配置为，在频谱上将每个这些信号84分解为例如如图2所示的表示。也就是说，用于频谱分解的装置82以预定时间/音频分辨率对音频信号84进行频谱分解。装置82可以包括滤波器组，如混合QMF组。

音频编码器80还包括：用于计算声级信息的装置86、用于下混合的装置88、以及(可选的)用于计算预测系数的装置90和用于设置残差信号的装置92。此外，音频编码器80可以包括用于计算互相关信息的装置，即装置94。装置86根据由装置82可选地输出的音频信号，计算以第一预定时间/频率分辨率描述第一类型音频信号和第二类型音频信号的声级的声级信息。类似地，装置88对音频信号进行下混合。因此，装置88输出下混合信号56。装置86也输出声级信息60。用于计算预测系数的装置90的操作与装置52类似。即装置90根据声级信息60来计算预测系数，并将预测系数64输出至装置92。装置92接着基于下混合信号56、预测系数64、和第二预定时间/频率分辨率下的原始音频信号来设置残差信号62，使得基于预测系数64和残差信号62对下混合信号56进行的上混合产生与第一类型音频信号近似的第一上混合音频信号和与第二类型音频信号近似的第二上混合音频信号，所述近似与不使用所述残差信号62的情况相比有所改进。

辅助信息58包括残差信号62(如果存在)和声级信息60，辅助信息58与下混合信号56一起形成了图3解码器所要解码的多音频对象信号。

如图4所示，与图3的描述类似，装置90(如果存在)可以另外使用装置94输出的互相关信息和/或装置88输出的时变下混合规则来计算预测系数64。此外，用于设置残差信号62的装置92(如果存在)可以另外地使用装置88输出的时变下混合规则来适当地设置残差信号62。

还应注意，第一类型音频信号可以是单声道或立体声音频信号。对于第二类似的音频信号也是如此。残差信号62是可选的。然而如果存在残差信号62，则在辅助信息中，可以以与用于计算例如声级信息的参数时间/频率分辨率相同的时间/频率分辨率，或可以使用不同的时间/频率分辨率，来以信号通知残差信号62。此外，可以将残差信号的信号告知限于以信号告知了其声级信息的时间/频率片42所占的频谱范围的子部分。例如，可以在辅助信息58中，使用语法元素bsResidualBands和bsResidualFramesPerSAOCFrame来指示以信号告知残差信号所使用的时间/频率分辨率。这两个语法元素可以定义与形成片42的子划分不同的另一个将帧划分为时间/频率片的子划分。

顺带一提的是，注意，残差信号62可以也可以不反映由潜在使用的核心编码器96所导致的信息损失，音频编码器80可选地使用该核心编码器96来对下混合信号56进行编码。如图4所示，装置92可以基于可由核心编码器96的输出或由输入至核心编码器96’的版本进行重构的下混合信号版本来执行残差信号62的设置。类似地，音频解码器50可以包括核心解码器98，以对下混合信号56进行解码或解压缩。

在多音频对象信号中，将用于残差信号62的时间/频率分辨率设置为与用于计算声级信息60的时间/频率分辨率不同的时间/频率分辨率的能力使得能够实现音频质量和多音频对象信号的压缩比之间的良好折衷。无论如何，残差信号62使得能够更好地根据用户输入66抑制要在输出68输出的第一和第二上混合信号中一音频信号到另一音频信号的串扰。

根据以下实施例，显而易见，在对多于一个前景对象或第二类型音频信号进行编码的情况下，可以在辅助信息中传送两个以上的残差信号62。辅助信息可以允许单独决定是否针对特定的第二类型音频信号传送残差信号62。因此，残差信号62的数目可以从一变化，最多为第二类型音频信号的数目。

在图3的音频解码器中，用于计算的装置54可以被配置为，基于声级信息(OLD)来计算由预测系数组成的预测系数矩阵C，装置56可以被配置为，根据可由以下公式表示的计算，根据下混合信号d产生第一上混合信号S₁和/或第二上混合信号S₂：

$\left(\begin{array}{c}{S}_1\\ S_2\end{array}\right)=D^{-1}\{\left(\begin{array}{c}1\\ C\end{array}\right)d+H\},$

其中，根据d的声道数目，“1”表示标量或单位矩阵，D^-1是由下混合规则唯一确定的矩阵，第一类型音频信号和第二类型音频信号是根据该下混合规则被下混合为下混合信号的，辅助信息中也包括了该下混合规则，H是独立于d但依赖于残差信号的项(如果后者存在)。

如以上所述以及以下要进一步描述的那样，在辅助信息中，下混合规则可以随时间变化和/或可在频谱上变化。如果第一类型音频信号是具有第一(L)和第二输入声道(R)的立体声音频信号，则声级信息可以例如以时间/频率分辨率42分别描述了第一输入声道(L)、第二输入声道(R)、以及第二类型音频信号的归一化频谱能量。

上述计算(用于上混合的装置56根据该计算来进行上混合)甚至可表示为：

$\left(\begin{array}{c}\hat{L}\\ \hat{R}\\ S_2\end{array}\right)=D^{-1}\{\left(\begin{array}{c}1\\ C\end{array}\right)d+H\},$

其中

是与L近似的第一上混合信号的第一声道，

是与R近似的第一上混合信号的第二声道，“1”在d为单声道的情况下是标量，在d为立体声的情况下是2×2单位矩阵。如果下混合信号56是具有第一(L0)和第二输出声道(R0)的立体声音频信号，用于上混合的装置56可以根据可由以下公式表示的计算来进行上混合：

$\left(\begin{array}{c}\hat{L}\\ \hat{R}\\ S_2\end{array}\right)=D^{-1}\{\left(\begin{array}{c}1\\ C\end{array}\right)\left(\begin{array}{c}L0\\ R0\end{array}\right)+H\}.$

就依赖于残差信号res的项H而言，用于上混合的装置56可以根据可由以下公式表示的计算来进行上混合：

$\left(\begin{array}{c}{S}_1\\ S_2\end{array}\right)=D^{-1}\left(\begin{array}{cc}1& 0\\ C& 1\end{array}\right)\left(\begin{array}{c}d\\ \mathrm{res}\end{array}\right).$

多音频对象信号甚至可以包括多个第二类型音频信号，对每个第二类型音频信号，辅助信息可以包括一个残差信号。在辅助信息中可以存在残差分辨率参数，该参数定义了频谱范围，辅助信息中在该频谱范围上传送残差信号。它甚至可以定义频谱范围的下限和上限。

此外，多音频对象信号也可以包括空间呈现信息，用于在空间上将第一类型音频信号呈现至预定扬声器配置。换言之，第一类型音频信号可以是被下混合至立体声的多声道(多于两个声道)MPEG环绕信号。

以下，将描述的实施例利用了上述残差信号信号通知。然而，注意术语“对象”通常用于双重意义。有时，对象表示单独的单声道音频信号。因此，立体声对象可以具有形成立体声信号的一个声道的单声道音频信号。然而，在其他情况下，立体声对象实际上可以表示两个对象，即关于立体声对象的右声道的对象和关于左声道的另一个对象。根据上下文，其实际意义将是显而易见的。

在描述下一实施例之前，首先其动力是2007年被选为参考模型0(RM0)的SAOC标准的基准技术的不足。RM0允许以摇动位置和放大/衰减的形式单独操作多个声音对象。在“卡拉OK”类型的应用环境中表示了一种特殊场景。在这种情况下：

●单声道、立体声、或环绕背景情景(以下称为背景对象BGO)从特定SAOC对象集合传递而来，背景对象BGO可以无改变地进行再现，即通过具有未改变声级的相同的输出声道再现每个输入声道信号，以及

●有改变地再现感兴趣的特定对象(以下称为前景对象FGO)(通常是主唱)(典型地，FGO位于声阶的中部，可以将其消音，即严重衰减来允许跟唱)。

从主观评价过程可以看到，并且从其下的技术原理可以预期到，对象位置的操作产生高质量的结果，而对象声级的操作一般地更加具有挑战性。典型地，附加的信号放大/衰减越强，潜在的噪声越多。就此而言，由于需要对FGO进行极端(理想地：完全)衰减，因此，卡拉OK场景的要求极高。

对偶的使用情形是仅再现FGO而不再现背景/MBO的能力，以下称为独唱模式。

然而，应注意，如果包括了环绕背景情景，则被称为多声道背景对象(MBO)。图5中示出的如下对于MBO的处理：

●使用常规5-2-5MPEG环绕树(surround tree)102来对MBO进行编码。这导致产生立体声MBO下混合信号104和MBO MPS辅助信息流106。

●接着，下级SAOC编码器108将MBO下混合信号编码为立体声对象(即两对象声级差加声道间相关)以及所述(或多个)FGO 110。这导致产生公共的下混合信号112和SAOC辅助信息流114。

在变码器116中，对下混合信号112进行预处理，将SAOC和MPS辅助信息流106、114转换为单个MPS输出侧信息流118。目前，这是以不连续的方式发生的，即或者仅支持完全抑制FGO或仅支持完全抑制MBO。

最终，由MPEG环绕解码器122来呈现所产生的下混合信号120和MPS辅助信息118。

在图5中，将MBO下混合信号104和可控对象信号110组合为单个立体声下混合信号112。可控对象110对下混合信号的这种“污染”导致难以恢复去除了可控对象110的、具有足够高音频质量的卡拉OK版本。以下的建议旨在解决这一问题。

假定一个FGO(例如一个主唱)，以下图6的实施例所使用的关键事实在于，SAOC下混合信号是BGO和FGO信号的组合，即对3个音频信号进行下混合并通过2个下混合声道来传送。理想地，这些信号应当在变码器中再次分离，以产生纯净的卡拉OK信号(即去除FGO信号)，或产生纯净的独唱信号(即去除BGO信号)。根据图6的实施例，这是通过使用SAOC编码器108中的“2至3”(TTT)编码器元件124(正如在MPEG环绕规范中那样被称为TTT^-1)，在SAOC编码器中将BGO和FGO组合为单个SAOC下混合信号来实现的。这里FGO馈送了TTT^-1盒124的“中央”信号输入，BGO 104馈送了“左/右”TTT^-1输入L.R.。然后，变码器116通过使用TTT解码器元件126(正如在MPEG环绕中那样被称为TTT)来产生BGO 104的近似，即“左/右”TTT输出L、R承载BGO的近似，而“中央”TTT输出C承载FGO 110的近似。

当将图6的实施例与图3和4中的编码器和解码器的实施例进行比较时，参考标记104与音频信号84中的第一类型音频信号相对应，MPS编码器102包括装置82；参考标记110与音频信号84中的第二类型音频信号相对应，TTT^-1盒124承担了装置88至92的功能职责，SAOC编码器108实现了装置86和94的功能；参考标记112与参考标记56相对应；参考标记114与辅助信息58减去残差信号62相对应；TTT盒126承担了装置52和54的功能职责，其中装置54也包括混合盒128的功能。最后，信号120与在输出68输出的信号相对应。此外，应注意，图6还示出了用于将下混合信号112从SAOC编码器108传送至SAOC变码器116的核心编码器/解码器路径131。该核心编码器/解码器路径131与可选的核心编码器96和核心解码器98相对应。如图6所示，该核心编码器/解码器路径131也可以对从编码器108传送至变码器116的辅助信息进行编码/压缩。

根据以下描述，引入图6的TTT盒所产生的优点将变得显而易见。例如，通过：

●简单地将“左/右”TTT输出L.R.馈入MPS下混合信号120(并将所传送的MBO MPS比特流106传递至流118)，最终的MPS解码器仅再现MBO。这与卡拉OK模式相对应。

●简单地将“中央”TTT输出C.馈入左和右MPS下混合信号120(并产生微小的MPS比特流118，将FGO 110呈现在期望的位置并呈现为期望的声级)，最终的MPS解码器122仅再现FGO 110。这与独唱模式相对应。

在SAOC变码器的“混合”盒128中执行对3个输出信号L.R.C.的处理。

与图5相比，图6的处理结构提供了多种特别的优点：

●该框架提供了背景(MBO)100和FGO信号110的纯净的结构分离。

●TTT元件126的结构尝试基于波形近可能好地重构3个信号L.R.C.。因此，最终的MPS输出信号130不仅由下混合信号的能量加权(和解相关)形成，也由于TTT处理而在波形上更为接近。

●与MPEG环绕TTT盒126一起产生的是使用残差编码来增强重构精度的可能性。按照这种方式，由于TTT^-1124输出的、并由用于上混合的TTT盒所使用的残差信号132的残差带宽和残差比特率增大，因此可以实现重构质量的显著增强。理想地(即，在残差编码和下混合信号的编码中量化无限细化)，可以消除背景(MBO)和FGO信号之间的干扰。

图6的处理结构具有多种特性：

●双重卡拉OK/独唱模式：图6的方法通过使用相同的技术装置，提供了卡拉OK和独唱的功能。也就是，重用(reuse)了例如SAOC参数。

●可改进性：通过控制TTT盒中使用的残差编码的信息量，可以根据需要来改进卡拉OK/独唱信号的质量。例如，可以使用参数bsResidualSamplingFrequencyIndex、bsResidualBands以及bsResidualFramesPerSAOCFrame。

●下混合中FGO的定位：当使用如MPEG环绕规范中指定的TTT盒时，总是将FGO混入左右下混合声道之间的中央位置。为了实现更灵活的定位，采用了一般化TTT编码盒，其遵照相同的原理，但是允许非对称地定位与“中央”输入/输出相关的信号。

●多FGO：在所述的配置中，描述了仅使用一个FGO(这可以与最主要的应用情况相对应)。然而，通过使用以下措施之一或其组合，所提出的概念也能够提供多个FGO：

○分组FGO：与图6所示的类似，与TTT盒的中央输入/输出连接的信号实际上可以是若干FGO信号之和而不仅是单个FGO信号。在多声道输出信号130中，可以对这些FGO进行独立的定位/控制(然而，当以相同的方式对其进行缩放/定位时，能够实现最大的质量优势)。它们在立体声下混合信号112中共享公共位置，并且只有一个残差信号132。不管怎样，都可以消除背景(MBO)与可控对象之间的干扰(尽管不是可控对象间的干扰)。

○级联FGO：通过扩展图6，可以克服关于下混合信号112中公共FGO位置的限制。通过对所述TTT结构进行多级级联(每个级与一个FGO相对应并产生残差编码流)，可以提供多个FGO。按照这种方式，理想地，也可以消除每个FGO之间的干扰。当然，这种选项需要比使用分组FGO方法更高的比特率。稍后将对示例予以描述。

●SAOC辅助信息：在MPEG环绕中，与TTT盒相关的辅助信息是声道预测系数(CPC)对。相反，SAOC参数化和MBO/卡拉OK场景传送每个对象信号的对象能量，以及MBO下混合的两个声道之间的信号间相关(即“立体声对象”的参数化)。为了最小化相对于不带增强型卡拉OK/独唱模式的情况的参数化变化的数目，从而最小化比特流格式的改变，可以根据下混合信号(MBO下混合和FGO)的能量和MBO下混合立体声对象的信号间相关来计算CPC。因此，不需要改变或增加所传送的参数化，并且可以从所传送的SAOC变码器116中的SAOC参数化来计算CPC。按照这种方式，当忽略残差数据时，也可以使用常规模式的解码器(不带残差编码)来对使用增强型卡拉OK/独唱模式的比特流进行解码。概括而言，图6的实施例旨在对特定的选定对象(或不带这些对象的情景)进行增强型再现，并以以下方式，使用立体声下混合扩展当前的SAOC编码方法：

●在正常模式下，对每个对象信号，使用其在下混合矩阵中的条目来对其进行加权(分别针对其对左右下混合声道的贡献)。然后，对所有对左右下混合声道的加权贡献进行求和，来形成左和右下混合声道。

●对于增强型卡拉OK/独唱性能，即在增强模式下，将所有对象贡献分为形成前景对象(FGO)的对象贡献集合和剩余对象贡献(BGO)。对FGO贡献求和形成单声道下混合信号，对剩余背景贡献求和形成立体声下混合，使用一般化TTT编码器元件对两者进行求和以形成公共的SAOC立体声下混合。

因此，使用“TTT求和”(当需要时可以级联)代替了常规的求和。

为了强调SAOC编码器的正常模式和增强模式之间的刚刚提及的差别，参见图7a和7b，其中图7a关于正常模式，而图7b关于增强模式。可以看到，在正常模式下，SAOC编码器108使用前述DMX参数D_ij来加权对象j，并将加权后的对象j添加至SAOC声道i(即L0或R0)。在图6的增强模式的情况下，仅需要DMX参数向量D_i，即DMX参数D_i指示了如何形成FGO 110的加权和，从而获得TTT^-1盒124的中央声道C，并且DMX参数D_i指示TTT^-1盒如何将中央信号C分别分配给左MBO声道和右MBO声道，从而分别获得L_DMX或R_DMX。

问题在于，对于非波形保持编解码器(HE-AAC/SBR)，根据图6的处理不能很好地工作。该问题的解决方案可以是一种针对HE-AAC和高频的基于能量的一般化TTT模式。稍后，将描述解决该问题的实施例。

用于具有级联TTT的可能的比特流格式如下：

以下是需要能够在被认为是“常规解码模式”的情况下，被跳过的向SAOC比特流执行的添加：

numTTTs  int

for(ttt＝0；ttt＜numTTTs；ttt++)

{no_TTT_obj[ttt]  int

 TTT_bandwidth[ttt]；

   TTT_residual_stream[ttt]

}

对于复杂度和存储器要求，可以作出以下说明。从之前的说明可以看到，通过在编码器和解码器/变码器中分别添加概念元件级(即一般化的TTT^-1和TTT编码器元件)来实现图6的增强型卡拉OK/独唱模式。两个元件在复杂度方面与常规的“居中”TTT对应物相同(系数值的改变不影响复杂度)。对于所设想的主要应用(一个FGO作为主唱)，单个TTT就足够了。

通过观察整个MPEG环绕解码器的结构(对于相关立体声下混合的情况(5-2-5配置)，由一个TTT元件和2个OTT元件组成)，可以理解该附加结构与MPEG环绕系统的复杂度的关系。这已表明，所添加的功能在计算复杂度和存储器消耗方面带来了适度的代价(注意，使用残差编码的概念元件在平均意义上不比作为替代的包括解相关器在内的对应物更为复杂)。

图6对MPEG SAOC参考模型的扩展为特殊的独唱或消音/卡拉OK类型的应用提供了音频质量的改进。再次应注意的是，与图5、6和7相对应的描述所指的MBO是背景情景或BGO，一般地，MBO不局限于这种类型的对象，而也可以是单声道或立体声对象。

主观评价过程解释了在卡拉OK或独唱应用的输出信号的音频质量方面的改进。评价条件是：

●RM0

●增强模式(res 0)(＝不使用残差编码)

●增强模式(res 6)(＝在最低的6个混合QMF频带使用残差编码)

●增强模式(res 12)(＝在最低的12个混合QMF频带使用残差编码)

●增强模式(res 24)(＝在最低的24个混合QMF频带使用残差编码)

●隐藏参考

●较低的参考(3.5kHz频带受限版本的参考)

如果使用时不采用残差编码，则所提出的增强模式的比特率类似于RM0。所有其他增强模式对每6个残差编码频带需要约10kbit/s。

图8a示出了对10个收听主体进行的消音/卡拉OK测试结果。所提出的方案的平均MUSHRA分数总是高于RM0，并随每级附加残差编码逐级增加。对于具有6个或更多频带残差编码的模式，可以清晰地观察到相对RM0的性能在统计上的明显改进。

图8b中对9个主体的独唱测试的结果示出了所提出的方案的类似优点。当添加越来越多的残差编码时，平均MUSHRA分数明显增加。不使用和使用24个频带的残差编码的增强模式之间的增益几乎为MUSHRA的50分。

总体上，对于卡拉OK应用，可以比RM0高约10kbit/s的比特率实现良好的质量。当在RM0的最高比特率之上添加约40kbit/s时，可以实现优秀的质量。在给定最大固定比特率的实际应用场景中，所提出的增强模式很好地支持用“无用比特率”来进行残差编码，直到达到允许的最大比特率。因此，实现了尽可能好的总体音频质量。由于更智能地使用残差比特率的缘故，对所提出的实验结果的进一步改进是可能的：虽然所介绍的设置从直流到特定上界频率始终使用残差编码，但是，增强型实现可以仅将比特用在与用于分离FGO和背景对象相关的频率范围上。

在之前的描述中，已经描述了针对卡拉OK型应用的SAOC技术的增强。以下将介绍用于MPEG SAOC的多声道FGO音频情景处理的增强型卡拉OK/独唱模式的应用的另外的详细实施例。

与有所改变(alteration)地进行再现的FGO相反，必须无改变地再现MBO信号，即通过相同的输出声道，以未改变的声级再现每个输入声道信号。

由此，已提出了由MPEG环绕编码器执行的对MBO信号的预处理，该预处理产生立体声下混合信号，用作要输入至随后的卡拉OK/独唱模式处理级的(立体声)背景对象(BGO)，所述处理级包括：SAOC编码器、MBO变码器、和MPS解码器。图9再次示出了总体结构图。

可以看到，根据卡拉OK/独唱模式编码器结构，输入对象被分为立体声背景对象(BGO)104和前景对象(FGO)110。

尽管在RM0中，由SAOC编码器/变码器系统来执行对这些应用场景的处理，但是，图6的增强还利用了MPEG环绕结构的基本构成模块。当需要对特定音频对象进行较强的增大/衰减时，在编码器中集成3至2(TTT^-1)模块并在变码器中集成对应的2至3(TTT)互补模块改进了性能。扩展结构的两个主要特性是：

-由于利用了残差信号，实现了更好的(与RM0相比)信号分离，

-通过一般化被表示为TTT^-1盒中央输入(即FGO)的信号的混合规则，对该信号进行灵活定位。

由于TTT构成模块的直接实现涉及编码器侧的3个输入信号，因此，图6集中关注对作为如图10所示的(下混合)单声道信号的FGO的处理。也已经说明了对多声道FGO信号的处理，但是，在以下章节中将对其进行更详细地解释。

从图10可以看到，在图6的增强模式中，将所有FGO的组合馈入TTT^-1盒的中央声道。

在如图6和图10的FGO单声道下混合的情况下，编码器侧的TTT^-1盒的配置包括：被馈送至中央输入的FGO、和提供左右输入的BGO。

以下公式给出了基本的对称矩阵：

$D=\left(\begin{array}{ccc}1& 0& m_1\\ 0& 1& m_2\\ m_1& m_2& -1\end{array}\right),$

该公式提供了下混合(L0 R0)^T和信号F0：

$\left(\begin{array}{c}L0\\ R0\\ F0\end{array}\right)=D\left(\begin{array}{c}L\\ R\\ F\end{array}\right).$

通过该线性系统获得的第三信号被丢弃，但可以在集成了两个预测系数c₁和c₂(CPC)的变码器侧，根据以下公式来对其进行重构：

$\hat{F}=c_{1}L0+c_{2}R0.$

在变码器中的逆过程由以下公式给出：

$D^{-1}C=\frac{1}{1+m_1^2+m_2^2}\left(\begin{array}{cc}1+m_2^2+\mathrm{\α}{m}_1& -m_1{m}_2+\mathrm{\β}{m}_1\\ -m_1{m}_2+\mathrm{\α}{m}_2& 1+m_1^2+\mathrm{\β}{m}_2\\ m_1-c_1& m_2-c_2\end{array}\right).$

参数m₁和m₂对应于：

m₁＝cos(μ)以及m₂＝sin(μ)

μ负责摇动FGO在公共TTT下混合(L0 R0)^T中的位置。可以使用所传送的SAOC参数(即所有输入音频对象的对象音级差(OLD)和BGO下混合(MBO)信号的对象间相关(IOC))来估计变码器侧的TTT上混合单元所需的预测系数c₁和c₂。假定FGO和BGO信号统计独立，对CPC估计，以下关系成立：

$c_1=\frac{P_{\mathrm{LoFo}}{P}_{\mathrm{Ro}}-P_{\mathrm{RoFo}}{P}_{\mathrm{LoRo}}}{P_{\mathrm{Lo}}{P}_{\mathrm{Ro}}-P_{\mathrm{LoRo}}^2},$ $c_2=\frac{P_{\mathrm{RoFo}}{P}_{\mathrm{Lo}}-P_{\mathrm{LoFo}}{P}_{\mathrm{LoRo}}}{P_{\mathrm{Lo}}{P}_{\mathrm{Ro}}-P_{\mathrm{LoRo}}^2}.$

变量P_Lo、P_Ro、P_LoRo、P_LoFo和P_RoFo可以按如下方式进行估计，其中参数OLD_L、OLD_R和IOC_LR与BGO相对应，OLD_F是FGO参数：

$P_{\mathrm{Lo}}={\mathrm{OLD}}_L+m_1^2{\mathrm{OLD}}_F$

$P_{\mathrm{Ro}}={\mathrm{OLD}}_R+m_2^2{\mathrm{OLD}}_F$

P_LoRo＝IOC_LR+m₁m₂OLD_F

P_LoFo＝m₁(OLD_L-OLD_F)+m₂IOC_LR

P_RoFo＝m₂(OLD_R-OLD_F)+m₁IOC_LR

此外，可以在比特流内传送的残差信号132表示了CPC的推导所引入的误差，因此：

$\mathrm{res}=F0-\hat{F}0$

在某些应用场景中，对所有FGO中的单个单声道下混合进行限制是不合适的，因此需要克服该问题。例如，可以将FGO划分为在所传送的立体声下混合中位于不同位置和/或具有独立衰减的两个以上独立的组。因此，图11所示的级联结构暗示了两个以上连续的TTT^-1元件，在编码器侧产生了所有FGO组F₁、F₂的逐步的下混合，直至获得所需的立体声下混合112为止。每个(或至少一些)TTT^-1盒124a、b(图11中每个TTT^-1盒)设置与TTT^-1盒124a、b的各级分别对应的残差信号132a、132b。相反，变码器通过使用各顺序应用的TTT盒126a、b(如有可能，集成对应的CPC和残差信号)来执行顺序上混合。FGO处理的顺序是由编码器指定的，在变码器侧必须考虑。

以下描述图11所示的两级级联所涉及的详细的数学原理。

为了简化说明又不失一般性，以下的解释基于如图11所示的由两个TTT元件组成的级联。两个对称矩阵与FGO单声道下混合类似，但是必须恰当地应用于各自的信号：

$D_1=\left(\begin{array}{ccc}1& 0& m_{11}\\ 0& 1& m_{21}\\ m_{11}& m_{21}& -1\end{array}\right)$ 以及 $D_2=\left(\begin{array}{ccc}1& 0& m_{12}\\ 0& 1& m_{22}\\ m_{12}& m_{22}& -1\end{array}\right)$

这里，两个CPC集合产生了以下信号重构：

$\hat{F}{0}_1=c_{11}{L0}_1+c_{12}{R0}_1$ 以及 $\hat{F}{0}_2=c_{21}{L0}_2+c_{22}{R0}_2.$

逆过程可表示为：

$D_1^{-1}=\frac{1}{1+m_{11}^2+m_{21}^2}\left(\begin{array}{cc}1+m_{21}^2+c_{11}{m}_{11}& -m_{11}{m}_{21}+c_{12}{m}_{11}\\ -m_{11}{m}_{21}+c_{11}{m}_{21}& 1+m_{11}^2+c_{12}{m}_{21}\\ m_{11}-c_{11}& m_{21}-c_{12}\end{array}\right),$ 以及

$D_2^{-1}=\frac{1}{1+m_{12}^2+m_{22}^2}\left(\begin{array}{cc}1+m_{22}^2+c_{21}{m}_{12}& -m_{12}{m}_{22}+c_{22}{m}_{12}\\ -m_{12}{m}_{22}+c_{21}{m}_{22}& 1+m_{12}^2+c_{22}{m}_{22}\\ m_{12}-c_{21}& m_{22}-m_{22}\end{array}\right).$

两级级联的一种特殊情况包括一立体声FGO，其左和右声道被适当地求和为BGO的对应声道，使μ₁＝0，

$D_L=\left(\begin{array}{ccc}1& 0& 1\\ 0& 1& 0\\ 1& 0& -1\end{array}\right)$ 以及 $D_R=\left(\begin{array}{ccc}1& 0& 0\\ 0& 1& 1\\ 0& 1& -1\end{array}\right)$

对于这种特别的摇动风格，通过忽略对象间相关(OLD_LR＝0)，两个CPC集合的估计可简化为：

$c_{L1}=\frac{{\mathrm{OLD}}_L-{\mathrm{OLD}}_{\mathrm{FL}}}{{\mathrm{OLD}}_L+{\mathrm{OLD}}_{\mathrm{FL}}},$ c_L2＝0，

c_R1＝0， $c_{R2}=\frac{{\mathrm{OLD}}_R-{\mathrm{OLD}}_{\mathrm{FR}}}{{\mathrm{OLD}}_R+{\mathrm{OLD}}_{\mathrm{FR}}},$

其中，OLD_FL和OLD_FR分别表示左右FGO信号的OLD。

一般的N级级联情况是指依照以下公式的多声道FGO下混合：

$D_1=\left(\begin{array}{ccc}1& 0& m_{11}\\ 0& 1& m_{21}\\ m_{11}& m_{21}& -1\end{array}\right),$ $D_2=\left(\begin{array}{ccc}1& 0& m_{12}\\ 0& 1& m_{22}\\ m_{12}& m_{22}& -1\end{array}\right),...,$

$D_N=\left(\begin{array}{ccc}1& 0& m_{1N}\\ 0& 1& m_{2N}\\ m_{1N}& m_{2N}& -1\end{array}\right).$

其中，每一级确定其自身的CPC和残差信号的特征。

在变码器侧，逆级联步骤由以下公式给出：

$D_1^{-1}=\frac{1}{1+m_{11}^2+m_{21}^2}\left(\begin{array}{cc}1+m_{21}^2+c_{11}{m}_{11}& -m_{11}{m}_{21}+c_{12}{m}_{11}\\ -m_{11}{m}_{21}+c_{11}{m}_{21}& 1+m_{11}^2+c_{12}{m}_{21}\\ m_{11}-c_{11}& m_{21}-c_{12}\end{array}\right),...,$

$D_N^{-1}=\frac{1}{1+m_{1N}^2+m_{2N}^2}\left(\begin{array}{cc}1+m_{2N}^2+c_{N1}{m}_{1N}& -m_{1N}{m}_{2N}+c_{N2}{m}_{1N}\\ -m_{1N}{m}_{2N}+c_{N1}{m}_{2N}& 1+m_{1N}^2+c_{N2}{m}_{2N}\\ m_{1N}-c_{N1}& m_{2N}-m_{N2}\end{array}\right).$

为了消除保持TTT元件的顺序的必要性，通过将N个矩阵重新排列为单一对称TTN矩阵的方式，可以将级联结构容易地转换为等效的平行结构，从而产生一般的TTN矩阵：

其中，矩阵的前两行表示要发送的立体声下混合。另一方面，术语TTN(2至N)指变码器侧的上混合处理。

使用这种描述，进行了特定摇动的立体声FGO的特殊情况将矩阵简化为：

$D=\left(\begin{array}{cccc}1& 0& 1& 0\\ 0& 1& 0& 1\\ 1& 0& -1& 0\\ 0& 1& 0& -1\end{array}\right).$

相应地，该单元可以被称为2至4元件或TTF。

也可以产生重用SAOC立体声预处理模块的TTF结构。

对于N＝4的限制，对现有SAOC系统的某些部分进行重用的2至4(TTF)结构的实现成为可能。以下段落中将描述该处理。

SAOC标准文本描述了针对“立体声至立体声代码转换模式”的立体声下混合预处理。准确地说，根据以下公式，由输入立体声信号X以及解相关信号X_d来计算输出立体声信号Y：

Y＝G_ModX+P₂X_d

解相关分量X_d是原始呈现信号中已在编码过程中被丢弃掉的部分的合成表示。根据图12，使用合适的针对特定频率范围的由编码器产生的残差信号132来替换该解相关信号。

命名按如下方式定义：

●D是2×N下混合矩阵

●A是2×N呈现矩阵

●E是输入对象S的N×N协方差模型

●G_Mod(与图12中的G相对应)是预测2×2上混合矩阵

注意，G_Mod是D、A和E的函数。

为了计算残差信号X_Res，必须在编码器中模仿解码器处理，即确定G_Mod。一般地，场景A是未知的，但是，在卡拉OK场景的特殊情况下(例如具有一个立体声背景和一个立体声前景对象，N＝4)，假定：

$A=\left(\begin{array}{cccc}0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right)$

这意味着仅呈现BGO。

为了估计前景对象，从下混合信号X中减去重构的背景对象。在“混合”处理模块中执行该最终呈现。以下将介绍具体的细节。

呈现矩阵A被设置为：

$A_{\mathrm{BGO}}=\left(\begin{array}{cccc}0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right)$

其中，假定头2列表示FGO的两个声道，后2列表示BGO的两个声道。

根据以下公式来计算BGO和FGO的立体声输出。

Y_BGO＝G_ModX+X_Res

由于下混合权值矩阵D被定义为：

D＝(D_FGO|D_BGO)

其中

$D_{\mathrm{BGO}}=\left(\begin{array}{cc}{d}_{11}& d_{12}\\ d_{21}& d_{22}\end{array}\right)$

以及

$Y_{\mathrm{BGO}}=\left(\begin{array}{c}{y}_{\mathrm{BGO}}^1\\ y_{\mathrm{BGO}}^r\end{array}\right)$

因此，FGO对象可以被设置为：

$Y_{\mathrm{FGO}}=D_{\mathrm{BGO}}^{-1}\·[X-\left(\begin{array}{c}{d}_{11}\·y_{\mathrm{BGO}}^1+d_{12}\·y_{\mathrm{BGO}}^r\\ d_{21}\·y_{\mathrm{BGO}}^1+d_{22}\·y_{\mathrm{BGO}}^r\end{array}\right)]$

作为示例，对于下混合矩阵

$D=\left(\begin{array}{cccc}1& 0& 1& 0\\ 0& 1& 0& 1\end{array}\right)$

将其简化为：

Y_FGO＝X-Y_BGO

X_Res是按上述方式得到的残差信号。请注意，未添加解相关信号。

最终输出Y由下式给出：

$Y=A\·\left(\begin{array}{c}{Y}_{\mathrm{FGO}}\\ Y_{\mathrm{BGO}}\end{array}\right)$

上述实施例也可以适用于使用单声道FGO来替代立体声FGO的情况。在这种情况下，根据以下内容来改变处理。

呈现矩阵A被设置为：

$A_{\mathrm{FGO}}=\left(\begin{array}{ccc}1& 0& 0\\ 0& 0& 0\end{array}\right)$

其中，假定第一列表示单声道FGO，随后的列表表示BGO的两个声道。

根据以下公式来计算BGO和FGO的立体声输出。

Y_FGO＝G_ModX+X_Res

由于下混合权值矩阵D被定义为：

D＝(D_FGO|D_BGO)

其中

$D_{\mathrm{FGO}}=\left(\begin{array}{c}{d}_{\mathrm{FGO}}^1\\ d_{\mathrm{FGO}}^r\end{array}\right)$

以及

$Y_{\mathrm{FGO}}=\left(\begin{array}{c}{y}_{\mathrm{FGO}}\\ 0\end{array}\right)$

因此，BGO对象可以被设置为：

$Y_{\mathrm{BGO}}=D_{\mathrm{BGO}}^{-1}\·[X-\left(\begin{array}{c}{d}_{\mathrm{FGO}}^1\·y_{\mathrm{FGO}}\\ d_{\mathrm{FGO}}^r\·y_{\mathrm{FGO}}\end{array}\right)]$

作为示例，对于下混合矩阵

$D=\left(\begin{array}{ccc}1& 1& 0\\ 1& 0& 1\end{array}\right)$

将其简化为：

$Y_{\mathrm{BGO}}=X-\left(\begin{array}{c}{y}_{\mathrm{FGO}}\\ y_{\mathrm{FGO}}\end{array}\right)$

X_Res是按上述方式获得的残差信号。请注意，未添加解相关信号。最终输出Y由以下公式给出：

$Y=A\·\left(\begin{array}{c}{Y}_{\mathrm{FGO}}\\ Y_{\mathrm{BGO}}\end{array}\right)$

对于5个以上FGO对象的处理，可以通过重组刚刚描述的处理步骤的并行级来扩展上述实施例。

以上刚刚描述的实施例提供了针对多声道FGO音频情景的情况的增强型卡拉OK/独唱模式的详细描述。这样的一般化旨在扩大卡拉OK应用场景的种类，对于卡拉OK应用场景，可以通过应用增强型卡拉OK/独唱模式来进一步改进MPEG SAOC参考模型的声音质量。这种改进是通过将一般NTT结构引入SAOC编码器的下混合部分，并将相应的对应物引入SAOCtoMPS变码器来实现的。残差信号的使用提高了质量结果。

图13a至13h示出了根据本发明的实施例的SAOC侧信息比特流的可能语法。

在描述了与SAOC编解码器的增强模式相关的一些实施例之后，应注意，这些实施例中的一些涉及输入至SAOC编码器的音频输入不仅包含常规单声道或立体声声源，而且包含多声道对象的应用场景。图5至7b显式地描述了这一点。这样的多声道背景对象MBO可以被看作包括较大且通常数目未知的声源的复杂声音情景，对于该情景不需要可控呈现功能。个别地，SAOC编码器/解码器架构不能有效处理这些音频源。因此，可以考虑扩展SAOC架构的概念，以处理这些复杂输入信号(即MBO声道)以及典型的SAOC音频对象。因此，在刚刚提及的图5至7b的实施例中，考虑将MPEG环绕编码器包含于SAOC编码器，如将SAOC编码器108和MPS编码器100圈住的虚线所示。所产生的下混合104用作输入SAOC编码器108的立体声输入对象，以可控SAOC对象110一起产生要发送至变码器侧的组合立体声下混合112。在参数域中，将MPS比特流106和SAOC比特流104馈入SAOC变码器116，SAOC变码器116根据特定的MBO应用场景，为MPEG环绕解码器122提供合适的MPS比特流118。使用呈现信息或呈现矩阵并采用一些下混合预处理来执行该任务，采用下混合预处理是为了将下混合信号112变换为用于MPS解码器122的下混合信号120。

以下描述用于增强型卡拉OK/独唱模式的另一个实施例。该实施例允许对多个音频对象，在其声级放大/衰减方面执行独立操作，而不会明显降低结果声音质量。一种特殊的“卡拉OK类型”应用场景需要完全抑制指定对象(通常是主唱，以下称为前景对象FGO)，同时保持背景声音情景的感知质量不受损害。它同时需要单独再现特定FGO信号而不再现静态背景音频情景(以下称为背景对象BGO)的能力，该背景对象不需要摇动方面的用户可控性。这种场景被称为“独唱”模式。一种典型的应用情况包含立体声BGO和多达4个FGO信号，例如，这4个FGO信号可以表示两个独立的立体声对象。

根据本实施例和图14，增强型卡拉OK/独唱模式变码器150使用“2至N”(TTN)或“1至N”(OTN)元件152，TTN和OTN元件152均表示从MPEG环绕规范获知的TTT盒的一般化和增强型修改。合适元件的选择取决于所传送的下混合声道的数目，即TTN盒专门用于立体声下混合信号，而OTN盒适用单声道下混合信号。在SAOC编码器中，对应的TTN^-1或OTN^-1盒将BGO和FGO信号组合为公共的SAOC立体声或单声道下混合112，并产生比特流114。任一元件，即TTN或OTN 152支持下混合信号112中所有独立FGO的任意预定义定位。在变码器侧，TTN或OTN盒152仅使用SAOC辅助信息114，并可选地结合残差信号，根据下混合112恢复BGO 154或FGO信号156的任何组合(取决于从外部应用的工作模式158)。使用所恢复的音频对象154/156和呈现信息160来产生MPEG环绕比特流162和对应的经预处理的下混合信号164。混合单元166对下混合信号112执行处理，以获得MPS输入下混合164，MPS变码器168负责将SAOC参数114转换为SAOC参数162。TTN/OTN盒152和混合单元166一起执行与图3的装置52和54相对应的增强型卡拉OK/独唱模式处理170，其中，装置54包括混合单元的功能。

可以与上述相同的方式来对待MBO，即使用MPEG环绕编码器对其进行预处理，产生单声道或立体声下混合信号，用作要输入至随后的增强型SAOC编码器的BGO。在这种情况下，变码器必须与SAOC比特流相邻的附加MPEG环绕比特流一起提供。

接下来解释由TTN(OTN)元件执行的计算。以第一预定时间/频率分辨率42表达的TTN/OTN矩阵M是两个矩阵的积：

M＝D^-1C

其中，D^-1包括下混合信息，C含有每个FGO声道的声道预测系数(CPC)。C由装置52和盒152分别计算，装置54和盒152分别计算D^-1，并将其与C一起应用于SAOC下混合。根据以下公式来执行该计算：

对于TTN元件，即立体声下混合：

对于OTN元件，及单声道下混合：

从所传送的SAOC参数(即OLD、IOC、DMG和DCLD)导出CPC。对于一个特定FGO声道j，可以使用以下公式来估计CPC：

$c_{j1}=\frac{P_{\mathrm{LoFo},j}{P}_{\mathrm{Ro}}-P_{\mathrm{RoFo},j}{P}_{\mathrm{LoRo}}}{P_{\mathrm{Lo}}{P}_{\mathrm{Ro}}-P_{\mathrm{LoRo}}^2}$ 以及 $c_{l2}=\frac{P_{\mathrm{RoFo},j}{P}_{\mathrm{Lo}}-P_{\mathrm{LoFo},j}{P}_{\mathrm{LoRo}}}{P_{\mathrm{Lo}}{P}_{\mathrm{Ro}}-P_{\mathrm{LoRo}}^2}$

$P_{\mathrm{Lo}}={\mathrm{OLD}}_L+\underset{i}{\mathrm{\Σ}}{m}_i^2{\mathrm{OLD}}_i+2\underset{j}{\mathrm{\Σ}}{m}_j\underset{k=j+1}{\mathrm{\Σ}}{m}_k{\mathrm{IOC}}_{\mathrm{jk}}\sqrt{{\mathrm{OLD}}_j{\mathrm{OLD}}_k},$

$P_{\mathrm{Ro}}={\mathrm{OLD}}_R+\underset{i}{\mathrm{\Σ}}{n}_i^2{\mathrm{OLD}}_i+2\underset{j}{\mathrm{\Σ}}{n}_j\underset{k=j+1}{\mathrm{\Σ}}{n}_k{\mathrm{IOC}}_{\mathrm{jk}}\sqrt{{\mathrm{OLD}}_j{\mathrm{OLD}}_k},$

$P_{\mathrm{LoRo}}={\mathrm{IOC}}_{\mathrm{LR}}\sqrt{{\mathrm{OLD}}_L{\mathrm{OLD}}_R}+\underset{i}{\mathrm{\Σ}}{m}_i{n}_i{\mathrm{OLD}}_i+2\underset{j}{\mathrm{\Σ}}\underset{k=j+1}{\mathrm{\Σ}}(m_j{n}_k+m_k{n}_j){\mathrm{IOC}}_{\mathrm{jk}}\sqrt{{\mathrm{OLD}}_{\mathrm{jk}}{\mathrm{OLD}}_k},$

$P_{\mathrm{LoFo},j}=m_j{\mathrm{OLD}}_L+n_j{\mathrm{IOC}}_{\mathrm{LR}}\sqrt{{\mathrm{OLD}}_L{\mathrm{OLD}}_R}-m_j{\mathrm{OLD}}_j-\underset{i\≠l}{\mathrm{\Σ}}{m}_i{\mathrm{IOC}}_{\mathrm{ji}}\sqrt{{\mathrm{OLD}}_j{\mathrm{OLD}}_i},$

$P_{\mathrm{RoFo},j}=n_j{\mathrm{OLD}}_R+m_j{\mathrm{IOC}}_{\mathrm{LR}}\sqrt{{\mathrm{OLD}}_L{\mathrm{OLD}}_R}-n_j{\mathrm{OLD}}_j-\underset{i\≠j}{\mathrm{\Σ}}{n}_j{\mathrm{IOC}}_{\mathrm{ji}}\sqrt{{\mathrm{OLD}}_j{\mathrm{OLD}}_i},$

参数OLD_L、OLD_R和IOC_LR与BGO相对应，其余是FGO值。

系数m_j和n_j表示针对右和左下混合声道的每个FGO j的下混合值，并由下混合增益DMG和下混合声道声级差DCLD导出：

$m_i={10}^{0.05\mathrm{DM}{G}_j}\sqrt{\frac{{10}^{0.1\mathrm{DCL}{D}_j}}{1+{10}^{0.1\mathrm{DCL}{D}_j}}}$ 以及 $n_j={10}^{0.05\mathrm{DM}{G}_j}\sqrt{\frac{1}{1+{10}^{0.1\mathrm{DCL}{D}_j}}}.$

对于OTN元件，第二CPC值c_j2的计算是多余的。

为了重构两个对象组BGO和FGO，下混合矩阵D的求逆利用了下混合信息，所述下混合矩阵D被扩展为进一步规定信号F0₁至F0_N的线性组合，即：

$\left(\begin{array}{c}L0\\ R0\\ {F0}_1\\ .\\ .\\ .\\ {F0}_N\end{array}\right)=D\begin{array}{c}\left(\begin{array}{c}L\\ R\\ F_1\\ .\\ .\\ .\\ F_N\end{array}\right)\end{array}.$

以下，阐述编码器侧的下混合：

在TTN^-1元件中，扩展下混合矩阵为：

对立体声BGO：

对单声道BGO：

对于OTN^-1元件，有：

对立体声BGO：

对单声道BGO：

TTN/OTN元件的输出对立体声BGO和立体声下混合产生：

$\left(\begin{array}{c}\hat{L}\\ \hat{R}\\ ---\\ {\hat{F}}_1\\ .\\ .\\ .\\ {\hat{F}}_N\end{array}\right)=M\left(\begin{array}{c}L0\\ R0\\ ---\\ {\mathrm{res}}_1\\ .\\ .\\ .\\ {\mathrm{res}}_N\end{array}\right)$

在BGO和/或下混合为单声道信号的情况下，线性方程组相应地发生改变。

残差信号res_i(如果存在)与FGO对象i相对应，如果没有被SAOC流传送(例如由于其位于残差频率范围之外，或以信号告知完全没有对FGO对象i传送残差信号)，则res_i被推定为零。

是与FGO对象i近似的重构/上混合信号。在计算之后，可以将

通过合成滤波器组，以获得FGO对象i的时域(如PCM编码)版本。应回顾到，L0和R0表示SAOC下混合信号的声道，并能够以比基本索引(n，k)的参数分辨率更高的时间/频率分辨率加以使用/进行信号告知。

和

是与BGO对象的左和右声道近似的重构/上混合信号。它可以与MPS辅助比特流一起呈现在原始数目的声道上。

根据一实施例，在能量模式下使用以下TTN矩阵。

基于能量的编码/解码过程被设计用于对下混合信号进行非波形保持编码。因此，针对对应能量模型的TTN上混合矩阵不依赖于具体波形，而是仅描述了输入音频对象的相对能量分布。根据以下公式，从对应OLD获得该矩阵M_Energy的元素：

对立体声BGO：

$M_{\mathrm{Energy}}={\left(\begin{array}{cc}\frac{{\mathrm{OLD}}_L}{{\mathrm{OLD}}_L+\underset{i}{\mathrm{\Σ}}{m}_i^2{\mathrm{OLD}}_i}& 0\\ 0& \frac{{\mathrm{OLD}}_R}{{\mathrm{OLD}}_R+\underset{i}{\mathrm{\Σ}}{n}_i^2{\mathrm{OLD}}_i}\\ \frac{m_1^2{\mathrm{OLD}}_1}{{\mathrm{OLD}}_L+\underset{i}{\mathrm{\Σ}}{m}_i^2{\mathrm{OLD}}_i}& \frac{n_1^2{\mathrm{OLD}}_1}{{\mathrm{OLD}}_R+\underset{i}{\mathrm{\Σ}}{n}_i^2{\mathrm{OLD}}_i}\\ .& .\\ .& .\\ .& .\\ \frac{m_N^2{\mathrm{OLD}}_N}{{\mathrm{OLD}}_L+\underset{i}{\mathrm{\Σ}}{m}_i^2{\mathrm{OLD}}_i}& \frac{n_N^2{\mathrm{OLD}}_N}{{\mathrm{OLD}}_R+\underset{i}{\mathrm{\Σ}}{n}_i^2{\mathrm{OLD}}_i}\end{array}\right)}^{\frac{1}{2}},$

以及对于单声道BGO：

$M_{\mathrm{Energy}}={\left(\begin{array}{cc}\frac{{\mathrm{OLD}}_L}{{\mathrm{OLD}}_L+\underset{i}{\mathrm{\Σ}}{m}_i^2{\mathrm{OLD}}_i}& \frac{{\mathrm{OLD}}_L}{{\mathrm{OLD}}_L+\underset{i}{\mathrm{\Σ}}{n}_i^2{\mathrm{OLD}}_i}\\ \frac{m_1^2{\mathrm{OLD}}_1}{{\mathrm{OLD}}_L+\underset{i}{\mathrm{\Σ}}{m}_i^2{\mathrm{OLD}}_i}& \frac{n_1^2{\mathrm{OLD}}_1}{{\mathrm{OLD}}_L+\underset{i}{\mathrm{\Σ}}{n}_i^2{\mathrm{OLD}}_i}\\ .& .\\ .& .\\ .& .\\ \frac{m_N^2{\mathrm{OLD}}_N}{{\mathrm{OLD}}_L+\underset{i}{\mathrm{\Σ}}{m}_i^2{\mathrm{OLD}}_i}& \frac{n_N^2{\mathrm{OLD}}_N}{{\mathrm{OLD}}_L+\underset{i}{\mathrm{\Σ}}{n}_i^2{\mathrm{OLD}}_i}\end{array}\right)}^{\frac{1}{2}},$

使得TTN元件的输出分别产生：

$\left(\begin{array}{c}\hat{L}\\ \hat{R}\\ ---\\ {\hat{F}}_1\\ .\\ .\\ .\\ {\hat{F}}_N\end{array}\right)=M_{\mathrm{Energy}}\left(\begin{array}{c}L0\\ R0\end{array}\right),$ 或 $\left(\begin{array}{c}\hat{L}\\ ---\\ {\hat{F}}_1\\ .\\ .\\ .\\ {\hat{F}}_N\end{array}\right)=M_{\mathrm{Energy}}\left(\begin{array}{c}L0\\ R0\end{array}\right)$

相应地，对于单声道下混合，基于能量的上混合矩阵M_Energy变为：

对立体声BGO：

$M_{\mathrm{Energy}}=\left(\begin{array}{c}\sqrt{{\mathrm{OLD}}_L}\\ \sqrt{{\mathrm{OLD}}_R}\\ \sqrt{m_1^2{\mathrm{OLD}}_1}+\sqrt{n_1^2{\mathrm{OLD}}_1}\\ .\\ .\\ .\\ \sqrt{m_N^2{\mathrm{OLD}}_N}+\sqrt{n_N^2{\mathrm{OLD}}_N}\end{array}\right)(\frac{1}{\sqrt{{\mathrm{OLD}}_L+\underset{i}{\mathrm{\Σ}}{m}_i^2{\mathrm{OLD}}_i}}+\frac{1}{\sqrt{{\mathrm{OLD}}_R+\underset{i}{\mathrm{\Σ}}{n}_i^2{\mathrm{OLD}}_i}}$

以及对于单声道BGO：

$M_{\mathrm{Energy}}=\left(\begin{array}{c}\sqrt{{\mathrm{OLD}}_L}\\ \sqrt{m_1^2{\mathrm{OLD}}_1}\\ .\\ .\\ .\\ \sqrt{m_N^2{\mathrm{OLD}}_N}\end{array}\right)\left(\frac{1}{\sqrt{{\mathrm{OLD}}_L+\underset{i}{\mathrm{\Σ}}{m}_i^2{\mathrm{OLD}}_i}}\right)$

使得OTN元件的输出分别产生：

$\left(\begin{array}{c}\hat{L}\\ \hat{R}\\ ---\\ {\hat{F}}_1\\ .\\ .\\ .\\ {\hat{F}}_N\end{array}\right)=M_{\mathrm{Energy}}\left(L0\right),$ 或 $\left(\begin{array}{c}\hat{L}\\ ---\\ {\hat{F}}_1\\ .\\ .\\ .\\ {\hat{F}}_N\end{array}\right)=M_{\mathrm{Energy}}\left(L0\right)$

因此，根据刚刚提及的实施例，在编码器侧将所有对象(Obj₁...Obj_N)分别分类为BGO和FGO。BGO可以是单声道(L)或立体声

对象。BGO下混合为下混合信号是固定的。对于FGO，其数目在理论上是不受限的。然而，对于多数应用，总计4个FGO对象似乎就足够了。单声道和立体声对象的任何组合都是可行的。通过参数m_i(对左/单声道下混合信号进行加权)和n_i(对右下混合信号进行加权)，FGO下混合在时间上和频率上均可变。由此，下混合信号可以是单声道(L0)或立体声

依旧不向解码器/变码器发送信号(F0₁...F0_N)^T。反之，在解码器侧通过上述CPC来预测该信号。

由此，再次注意，解码器设置甚至可以丢弃残差信号res，或者res甚至可以不存在，即其是可选的。在缺少残差信号的情况下，解码器(例如装置52)根据以下公式，仅基于CPC来预测虚拟信号：

立体声下混合：

$\left(\begin{array}{c}L0\\ R0\\ ---\\ \hat{F}{0}_1\\ .\\ .\\ .\\ \hat{F}{0}_N\end{array}\right)=C\left(\begin{array}{c}L0\\ R0\end{array}\right)=\left(\begin{array}{cc}1& 0\\ 0& 1\\ ---& ---\\ c_{11}& c_{12}\\ .& .\\ .& .\\ .& .\\ c_{N1}& c_{N2}\end{array}\right)\left(\begin{array}{c}L0\\ R0\end{array}\right)$

单声道下混合：

$\left(\begin{array}{c}L0\\ ---\\ \hat{F}{0}_1\\ .\\ .\\ .\\ \hat{F}{0}_N\end{array}\right)=C\left(L0\right)=\left(\begin{array}{c}1\\ --\\ c_{11}\\ .\\ .\\ .\\ c_{N1}\end{array}\right)\left(L0\right)$

然后，例如由装置54通过编码器的4种可能线性组合之一的逆运算来获得BGO和/或FGO，

例如， $\left(\begin{array}{c}\hat{L}\\ \hat{R}\\ --\\ {\hat{F}}_1\\ .\\ .\\ .\\ {\hat{F}}_N\end{array}\right)=D^{-1}\left(\begin{array}{c}L0\\ R0\\ ---\\ \hat{F}{0}_1\\ .\\ .\\ .\\ \hat{F}{0}_N\end{array}\right)$

其中D^-1依然是参数DMG和DCLD的函数。

因此，总而言之，残差忽略TTN(OTN)盒152计算两个刚刚提及的计算步骤，

例如： $\left(\begin{array}{c}\hat{L}\\ \hat{R}\\ --\\ {\hat{F}}_1\\ .\\ .\\ .\\ {\hat{F}}_N\end{array}\right)=D^{-1}C\left(\begin{array}{c}L0\\ R0\end{array}\right)$

注意，当D为二次型时，可以直接获得D的逆。在非二次型矩阵D的情况下，D的逆应为伪逆，即pinv(D)＝D^*(DD^*)^-1或pinv(D)＝(D^*D)^-1D^*。在任一种情况下，D的逆存在。

最后，图15示出了如何在辅助信息中设置用于传送残差数据的数据量的另一可能。根据该语法，辅助信息包括bsResidualSamplingFrequencyIndex，即表格的索引，所述表格将例如频率分辨率与该索引相关联。可选地，可以推定该分辨率为预定分辨率，如滤波器组的分辨率或参数分辨率。此外，辅助信息包括bsResidualFramesPerSAOCFrame，后者定义了传送残差信息所使用的时间分辨率。辅助信息还包括BsNumGroupsFGO，表示FGO的数目。对于每个FGO，传送了语法元素bsResidualPresent，后者表示对于相应的FGO，是否传送了残差信号。如果存在，bsResidualBands表示传送残差值的频谱带的数目。

根据实际实现方式的不同，可以以硬件或软件来实现本发明的编码/解码方法。因此，本发明也涉及计算机程序，所述计算机程序可以存储在诸如CD、盘或任何其他数据载体等计算机可读介质上。因此，本发明还是一种具有程序代码的计算机程序，当在计算机上执行所述程序代码时，执行结合上述附图描述的本发明的编码方法或本发明的解码方法。

Claims (11)

1.一种音频解码器，用于对多音频对象信号进行解码，所述多音频对象信号中编码有第一类型音频信号和第二类型音频信号，所述多音频对象信号由下混合信号(56、112)和辅助信息(58)组成，所述辅助信息(58)包括第一预定时间/频率分辨率(42)下第一类型音频信号和第二类型音频信号的声级信息(60)，所述音频解码器包括：

用于基于所述声级信息(OLD)来计算预测系数的装置(52)；以及

用于基于所述预测系数(64)来对所述下混合信号(56、112)进行上混合，以获得与第一类型音频信号近似的第一上混合音频信号(68)和/或与第二类型音频信号近似的第二上混合音频信号(68)的装置(54)，其中，用于计算预测系数(64)的装置被配置为，针对第一预定时间/频率分辨率的每个时间/频率片(l，m)(32)，以及所述下混合信号的每个输出声道i，按以下公式计算声道预测系数

$c_1^{l,m}=\frac{P_{\mathrm{LoF}}^{l,m}{P}_{\mathrm{Ro}}^{l,m}-P_{\mathrm{RoF}}^{l,m}{P}_{\mathrm{LoRo}}^{l,m}}{p_{\mathrm{Lo}}^{l,m}{P}_{\mathrm{Ro}}^{l,m}-{\left(P_{\mathrm{LoRo}}^{l,m}\right)}^2}$ 以及 $c_2^{l,m}=\frac{P_{\mathrm{RoF}}^{l,m}{P}_{\mathrm{Lo}}^{l,m}-P_{\mathrm{LoF}}^{l,m}{P}_{\mathrm{LoRo}}^{l,m}}{p_{\mathrm{Lo}}^{l,m}{P}_{\mathrm{Ro}}^{l,m}-{\left(P_{\mathrm{LoRo}}^{l,m}\right)}^2}$

其中

$P_{\mathrm{Lo}}={\mathrm{OLD}}_L+m_F^2{\mathrm{OLD}}_F,$

$P_{\mathrm{Ro}}={\mathrm{OLD}}_R+n_F^2{\mathrm{OLD}}_F,$

$P_{\mathrm{LoRo}}={\mathrm{IOC}}_{\mathrm{LR}}\sqrt{{\mathrm{OLD}}_L{\mathrm{OLD}}_R}+m_F{n}_F{\mathrm{OLD}}_F,$

$P_{\mathrm{LoF}}=m_F{\mathrm{OLD}}_L+n_F{\mathrm{IOC}}_{\mathrm{LR}}\sqrt{{\mathrm{OLD}}_L{\mathrm{OLD}}_R}-m_F{\mathrm{OLD}}_F,$

$P_{\mathrm{RoF}}=n_F{\mathrm{OLD}}_R+m_F{\mathrm{IOC}}_{\mathrm{LR}}\sqrt{{\mathrm{OLD}}_L{\mathrm{OLD}}_R}-n_F{\mathrm{OLD}}_F,$

其中，在第一类型音频信号是立体声信号的情况下，OLD_L表示各时间/频率片中第一类型音频信号的第一输入声道的归一化频谱能量，OLD_R表示各时间/频率片中第一类型音频信号的第二输入声道的归一化频谱能量，IOC_LR表示互相关信息，所述互相关信息定义了各时间/频率片内的第一和第二输入声道之间的频谱能量相似性，或者，在第一类型音频信号是单声道信号的情况下，OLD_L表示各时间/频率片内的第一类型音频信号的归一化频谱能量，OLD_R和IOC_LR为0，

其中，OLD_F表示各时间/频率片中第二类型音频信号的归一化频谱能量，

其中

$m_F={10}^{0.05{\mathrm{DMG}}_F}\sqrt{\frac{{10}^{0.1{\mathrm{DCLD}}_F}}{1+{10}^{0.1{\mathrm{DCLD}}_F}}}$ 以及 $n_F={10}^{0.05{\mathrm{DMG}}_F}\sqrt{\frac{1}{1+{10}^{0.1{\mathrm{DCLD}}_F}}}$

其中DCLD_F和DMG_F是下混合规则，

其中，用于上混合的装置(54)被配置为，通过

$\left(\begin{array}{c}{S}_1\\ S_2\end{array}\right)=D^{-1}\left(\begin{array}{cc}1& 0\\ C& 1\end{array}\right)\left(\begin{array}{c}{d}^{n,k}\\ {\mathrm{res}}^{n,k}\end{array}\right)$

根据下混合信号d^n，k和残差信号res^n，k来产生第一上混合信号S₁和/或第二上混合信号S₂，其中，根据d^n，k的声道数目，左上角的“1”表示标量或单位矩阵，根据d^n，k的声道数目，C是或

右下角的“1”是标量，根据d^n，k的声道数目，“0”表示零向量或标量，D^-1是由下混合规则唯一确定的矩阵，第一类型音频信号和第二类型音频信号是根据所述下混合规则被下混合为所述下混合信号的，且所述下混合规则还包含于所述辅助信息，d^n，k和res^n，k分别是第一预定时间/频率分辨率的时间/频率片(n，k)中下混合信号和第二上混合信号S₂的残差信号。

2.如权利要求1所述的音频解码器，其中，所述下混合规则在所述辅助信息中随时间而变化。

3.如权利要求1或2所述的音频解码器，其中，所述第一类型音频信号是具有第一和第二输入声道的立体声音频信号，或仅具有第一输入声道的单声道音频信号，其中，所述声级信息以所述第一预定时间/频率分辨率分别描述所述第一输入声道、所述第二输入声道与第二类型音频信号之间的声级差，其中，所述辅助信息还包括互相关信息，所述互相关信息以第三预定时间/频率分辨率定义了第一和第二输入声道之间的声级相似性，其中，用于计算的装置被配置为，还基于所述互相关信息来执行计算。

4.如权利要求3所述的音频解码器，其中，所述第一和第三时间/频率分辨率是由所述辅助信息中共同的语法元素决定的。

5.如权利要求1或2所述的音频解码器，其中，所述辅助信息还包括：以第二预定时间/频率分辨率指定残差声级值的残差信号，所述第二预定时间/频率分辨率通过所述辅助信息中包含的残差分辨率参数，与所述第一预定时间/频率分辨率相关，其中，所述音频解码器包括：用于从所述辅助信息中导出所述残差分辨率参数的装置。

6.如权利要求5所述的音频解码器，其中，所述残差分辨率参数定义了频谱范围，所述辅助信息中，所述残差信号在所述频谱范围上传送。

7.如权利要求6所述的音频解码器，其中，所述残差分辨率参数定义了所述频谱范围的上限和下限。

8.如权利要求1或2所述的音频解码器，其中，在所述下混合信号为立体声信号且S₁为立体声信号的情况下，D^-1是以下矩阵的逆：

在所述下混合信号为立体声信号且S₁为单声道信号的情况下，D^-1是以下矩阵的逆：

在所述下混合信号为单声道信号且S₁为立体声信号的情况下，D^-1是以下矩阵的逆：

或者

在所述下混合信号为单声道信号且S₁为单声道信号的情况下，D^-1是以下矩阵的逆：

9.如权利要求1或2所述的音频解码器，其中，所述多音频对象信号包括空间呈现信息，用于在空间上将第一类型音频信号呈现至预定的扬声器配置。

10.如权利要求1或2所述的音频解码器，其中，用于上混合的装置被配置为，在空间上将与所述第二上混合音频信号分离的所述第一上混合音频信号呈现至预定扬声器配置，在空间上将与所述第一上混合音频信号分离的所述第二上混合音频信号呈现至预定扬声器配置，或将所述第一上混合音频信号和所述第二上混合音频信号进行混合，并在空间上将其混合后的版本呈现至预定扬声器配置。

11.一种用于对多音频对象信号进行解码的方法，所述多音频对象信号中编码有第一类型音频信号和第二类型音频信号，所述多音频对象信号由下混合信号(56、112)和辅助信息(58)组成，所述辅助信息(58)包括第一预定时间/频率分辨率(42)下第一类型音频信号和第二类型音频信号的声级信息(60)，所述方法包括：

基于所述声级信息(OLD)来计算预测系数(64)；以及

基于所述预测系数(64)来对所述下混合信号(56、112)进行上混合，以获得与第一类型音频信号近似的第一上混合音频信号(68)和/或与第二类型音频信号近似的第二上混合音频信号(68)，

其中，计算预测系数(64)包括：针对第一预定时间/频率分辨率的每个时间/频率片(l，m)(32)，以及所述下混合信号的每个输出声道i，按以下公式计算声道预测系数

$c_1^{l,m}=\frac{P_{\mathrm{LoF}}^{l,m}{P}_{\mathrm{Ro}}^{l,m}-P_{\mathrm{RoF}}^{l,m}{P}_{\mathrm{LoRo}}^{l,m}}{p_{\mathrm{Lo}}^{l,m}{P}_{\mathrm{Ro}}^{l,m}-{\left(P_{\mathrm{LoRo}}^{l,m}\right)}^2}$ 以及 $c_2^{l,m}=\frac{P_{\mathrm{RoF}}^{l,m}{P}_{\mathrm{Lo}}^{l,m}-P_{\mathrm{LoF}}^{l,m}{P}_{\mathrm{LoRo}}^{l,m}}{p_{\mathrm{Lo}}^{l,m}{P}_{\mathrm{Ro}}^{l,m}-{\left(P_{\mathrm{LoRo}}^{l,m}\right)}^2}$

其中

$P_{\mathrm{Lo}}={\mathrm{OLD}}_L+m_F^2{\mathrm{OLD}}_F,$

$P_{\mathrm{Ro}}={\mathrm{OLD}}_R+n_F^2{\mathrm{OLD}}_F,$

$P_{\mathrm{LoRo}}={\mathrm{IOC}}_{\mathrm{LR}}\sqrt{{\mathrm{OLD}}_L{\mathrm{OLD}}_R}+m_F{n}_F{\mathrm{OLD}}_F,$

$P_{\mathrm{LoF}}=m_F{\mathrm{OLD}}_L+n_F{\mathrm{IOC}}_{\mathrm{LR}}\sqrt{{\mathrm{OLD}}_L{\mathrm{OLD}}_R}-m_F{\mathrm{OLD}}_F,$

$P_{\mathrm{RoF}}=n_F{\mathrm{OLD}}_R+m_F{\mathrm{IOC}}_{\mathrm{LR}}\sqrt{{\mathrm{OLD}}_L{\mathrm{OLD}}_R}-n_F{\mathrm{OLD}}_F,$

其中，在第一类型音频信号是立体声信号的情况下，OLD_L表示各时间/频率片中第一类型音频信号的第一输入声道的归一化频谱能量，OLD_R表示各时间/频率片中第一类型音频信号的第二输入声道的归一化频谱能量，IOC_LR表示互相关信息，所述互相关信息定义了各时间/频率片内的第一和第二输入声道之间的频谱能量相似性，或者，在第一类型音频信号是单声道信号的情况下，OLD_L表示各时间/频率片内的第一类型音频信号的归一化频谱能量，OLD_R和IOC_LR为0，

其中，OLD_F表示各时间/频率片中第二类型音频信号的归一化频谱能量，

其中

$m_F={10}^{0.05{\mathrm{DMG}}_F}\sqrt{\frac{{10}^{0.1{\mathrm{DCLD}}_F}}{1+{10}^{0.1{\mathrm{DCLD}}_F}}}$ 以及 $n_F={10}^{0.05{\mathrm{DMG}}_F}\sqrt{\frac{1}{1+{10}^{0.1{\mathrm{DCLD}}_F}}}$

其中DCLD_F和DMG_F是下混合规则，

其中，上混合被执行为，通过

$\left(\begin{array}{c}{S}_1\\ S_2\end{array}\right)=D^{-1}\left(\begin{array}{cc}1& 0\\ C& 1\end{array}\right)\left(\begin{array}{c}{d}^{n,k}\\ {\mathrm{res}}^{n,k}\end{array}\right)$

根据下混合信号d^n，k和残差信号res^n，k来产生第一上混合信号S₁和/或第二上混合信号S₂，其中，根据d^n，k的声道数目，左上角的“1”表示标量或单位矩阵，根据d^n，k的声道数目，C是

或

右下角的“1”是标量，根据d^n，k的声道数目，“0”表示零向量或标量，D^-1是由下混合规则唯一确定的矩阵，第一类型音频信号和第二类型音频信号是根据所述下混合规则被下混合为所述下混合信号的，且所述下混合规则还包含于所述辅助信息，d^n，k和res^n，k分别是第一预定时间/频率分辨率的时间/频率片(n，k)中下混合信号和第二上混合信号S₂的残差信号。

Images