CN107925837B - 对压缩hoa信号逐帧组合解码和渲染的方法以及对压缩hoa信号逐帧组合解码和渲染的装置 - Google Patents

Abstract

高阶高保真度立体声响复制(HOA)信号可以通过分解为主导声音分量和残留环境分量来进行压缩。压缩表示包括主导声音信号、环境分量的系数序列和辅助信息。为了高效地组合HOA解压缩和HOA渲染来获得扩音器信号，压缩HOA信号的组合渲染和解码包括对感知编码部分进行感知解码并且对辅助信息进行解码，而不重构HOA系数序列。为了重构第一类型的分量，不需要系数序列的淡化，而对于第二类型的分量，需要淡化。对于每个第二类型的分量，确定不同的线性运算：一个用于在当前帧中不需要淡化的系数序列，一个用于需要淡入的那些系数序列，一个用于需要淡出的那些系数序列。从每个第二类型的分量的感知解码信号，生成淡入版本和淡出版本，相应的线性运算被应用于这些淡入版本和淡出版本。

Description

对压缩HOA信号逐帧组合解码和渲染的方法以及对压缩HOA信 号逐帧组合解码和渲染的装置

技术领域

本原理涉及一种对压缩HOA信号进行逐帧(frame-wise)组合解码和渲染的方法以及对压缩HOA信号进行逐帧组合解码和渲染的装置。

背景技术

在其他技术(比如波场合成(WFS)或基于声道的方法(比如22.2)) 之中，高阶高保真度立体声响复制(HOA)提供表示3维声音的一种可能性。与基于声道的方法相反，HOA表示提供独立于特定扩音器设置的优点。然而，该灵活性是以在特定的扩音器设置上回放HOA表示所需要的渲染处理为代价的。与其中所需扩音器的数量通常非常大的WFS方法相比，HOA还可以被渲染到仅由几个扩音器组成的设置。 HOA的另外的优点是，被渲染到扩音器的相同的信号表示也可以在对耳机的双耳渲染没有任何修改的情况下被采用。HOA基于如下构思：通过来自所有可能的入射方向的一般平面波的贡献的复合 (composition)来等同地表示声源自由(free)收听区域中的声压。评估所有的一般平面波对收听区域的中心(即，所使用的系统的坐标原点)中的声压的贡献提供时间和方向相关的函数，该函数然后对于每个时刻被展开为所谓的球谐函数的级数(series)。展开的权重(被认为是随着时间变化的函数)被称为HOA系数序列，这些HOA系数序列构成实际的HOA表示。HOA系数序列是常规的时域信号，这些时域信号具有在它们自己之间具有不同的值范围的特性。一般来说，球谐函数的级数包括无限数量的被加数(summand)，得知这些被加数在理论上允许完美地重构所表示的声场。然而，在实践中，为了达成可管理的有限数量的信号，级数被截断，从而得到某个阶次N的表示。这确定了用于展开的被加数的数量O，该数量O由O＝(N+1)²给出。截断影响HOA表示的空间分辨率，HOA表示的空间分辨率显然随着阶次N增长而提高。使用阶次N＝4的典型HOA表示由O＝25个 HOA系数序列组成。

根据这些考虑，给定期望的单声道采样速率f_S和每采样位数N_b，用于传输HOA表示的总位速率由O·fS·N_b确定。因此，以fS＝48kHz 的采样速率传输阶次N＝4的HOA表示并且采用每采样N_b＝16位导致 19.2MBits/s的位速率，该位速率对于许多实际的应用(例如流传输) 是非常高的。因此，HOA表示的压缩是高度期望的。

以前，HOA声场表示的压缩在[2,3,4]中被提出，并且最近被 MPEG-H 3D音频标准[1,第12章和附录C.5]采纳。所使用的压缩技术的主要构思是执行声场分析并且将给定的HOA表示分解为主导声音分量和残留环境分量。最后的压缩表示一方面包括数个量化信号，这些量化信号是由环境HOA分量的相关系数序列和主导声音信号的感知编码得到的。另一方面，它包括与量化信号相关的附加辅助信息 (side information)，该辅助信息对于从HOA表示的压缩版本重构 HOA表示是必需的。

对于在消费者电子设备内要使用的MPEG-H 3D音频标准的所提及的HOA压缩技术(它为软件或硬件的形式)的一个重要的准则是就计算需求而言该技术的实现的效率。具体地说，为了回放压缩HOA 表示，从HOA表示的压缩版本重构HOA表示的HOA解压缩器和从重构的HOA表示创建扩音器信号的HOA渲染器这二者的效率是高度相关的。为了解决该问题，MPEG-H 3D音频标准包含关于如何组合 HOA解压缩器和HOA渲染器来针对不需要中间重构的HOA表示的情况而降低计算需求的信息附录(参见[1,附录G])。然而，在MPEG-H 3D音频标准的当前版本中，描述非常难以理解，并且看起来不是完全正确。此外，在表示基于矢量的信号的空间分布的矢量已经在特殊模式下被编码(即，CodedVVecLength＝1)的情况下，它仅解决某些 HOA编码工具被禁用(即，用于主导声音合成的空间预测[1,第 12.4.2.4.3节]和该基于矢量的信号的HOA表示的计算[1,第12.4.2.4.4 节])的情况。

发明内容

所需的是用于就计算需求而言高效地组合HOA解压缩器和HOA 渲染器、允许使用在MPEG-H 3D音频标准[1]中可用的所有HOA编码工具的解决方案。

本发明解决上述问题中的一个或多个。根据本原理的实施例，一种用于对包括压缩HOA信号的输入信号进行逐帧组合解码和渲染以获得扩音器信号的方法(其中，根据给定的扩音器配置，HOA渲染矩阵被计算并且被使用)包括对于每个帧

将输入信号解复用为感知编码部分和辅助信息部分，并且在感知解码器中对感知编码部分进行感知解码，其中，感知解码信号被获得，这些感知解码信号表示需要用于重构HOA系数序列的线性运算的、至少两种不同类型的两个或更多个分量，其中，没有HOA系数序列被重构，并且其中，对于第一类型的分量，所述重构不需要各个系数序列的淡化(fade)，并且对于第二类型的分量，所述重构需要各个系数序列的淡化。该方法进一步包括：在辅助信息解码器中对辅助信息部分进行解码，其中，解码辅助信息被获得；将单独用于每个帧的线性运算应用于第一类型的分量以生成第一扩音器信号；并且根据辅助信息，单独地对于每个帧，对第二类型的每个分量确定三个不同的线性运算。在这些之中，一个线性运算用于根据辅助信息不需要淡化的系数序列，一个线性运算用于根据辅助信息需要淡入的系数序列，一个线性运算用于根据辅助信息需要淡出的系数序列。

该方法进一步包括根据属于第二类型的每个分量的感知解码信号生成三个版本，其中，第一版本包括未被淡化的相应分量的原始信号，信号的第二版本是通过使相应分量的原始信号淡入而获得的，信号的第三版本是通过使相应分量的原始信号淡出而获得的。最后，该方法包括：将相应的线性运算应用于所述感知解码信号的所述第一版本、第二版本和第三版本中的每个并叠加结果以生成第二扩音器信号，并且将第一扩音器信号和第二扩音器信号相加，其中，已解码输入信号的扩音器信号被获得。

利用该方法的装置在权利要求6中被公开。利用该方法的另一装置在权利要求7中被公开。

在一个实施例中，一种用于对包括压缩HOA信号的输入信号进行逐帧组合解码和渲染的装置包括至少一个硬件组件(比如硬件处理器)和有形地实现至少一个软件组件的非暂时性的、有形的计算机可读存储介质(例如，存储器)，该至少一个软件组件当在至少一个硬件处理器上被执行时使装置执行本文所公开的方法。

在一个实施例中，本发明涉及一种计算机可读介质，该计算机可读介质具有可执行指令，该可执行指令使计算机执行包括本文所描述的方法的步骤的方法。

本发明的有利的实施例在从属权利要求、以下描述和附图中被公开。

附图说明

参照附图来描述本发明的示例性实施例，在以下附图中示出：

图1a)感知和辅助信息源解码器；

图1b)空间HOA解码器；

图2主导声音合成模块；

图3组合空间HOA解码器和渲染器；以及

图4组合空间HOA解码器和渲染器的细节。

具体实施方式

在下面，简要地概括如[1,第12章]中描述的HOA解压缩和渲染单元这二者，以便解释用于组合两个处理单元来降低计算需求的本原理的修改。

1.记法

对于HOA解压缩和HOA渲染，信号被逐帧地重构。在整个本文件中，例如由O个信号和L个采样组成的多信号帧的符号是具有跟在括号中的帧索引k的大写粗体字母，比如例如

然而，具有下标整数索引i的、小写粗体类型的同一个字母(即，

)指示多信号帧内的第i信号的帧。因此，多信号帧C(k)就单个信号帧而言可以用以下表达式来表达：

C(k)＝[(c₁(k))^T (c₂(k))^T … (c_o(k))^T]^T (1)

其中，(·)^T表示矩阵的转置。单个信号帧c_i(k)的第l采样用同一个、不过是非粗体类型的小写字母后面跟着括号中的帧和采样索引(这二者被逗号隔开)来表示，比如例如c_i(k,l)。因此，c_i(k)就其采样而言可以被写为：

c_i(k)＝[c_i(k,1) c_i(k,2) … c_i(k,L)] (2)

2.HOA解压缩器

[1,第12章]中提出的HOA解压缩器的总体架构在图1中被示出。它可以被细分为图1a)中描绘的感知和源解码部分后面跟着图1b)中描绘的空间HOA解码部分。感知和源解码部分包括解复用器10、感知解码器20和辅助信息源解码器30。空间HOA解码部分包括多个逆增益控制块41、42(每个声道一个)、声道再分配模块45、主导声音合成模块51、环境合成模块52以及HOA复合模块53。

在感知和辅助信息源解码器中，首先将位流的第k帧

解复用 10为I个信号的感知编码表示

和编码辅助信息的帧

编码辅助信息描述如何创建该感知编码表示的HOA表示。相继地，执行I个信号的感知解码20和辅助信息的解码30。然后，图1b)的空间HOA解码器根据解码的I个信号

和解码的辅助信息来创建重构的HOA表示的帧

2.1空间HOA解码器

在空间HOA解码器中，首先将感知解码信号帧

i∈{1，...，I}中的每个与相关联的增益校正指数e_i(k)和增益校正例外标志β_i(k)一起输入到逆增益控制处理块41、42。第i逆增益控制处理提供增益校正的信号帧

i∈{1，...，I}。

所有的I个增益校正的信号帧

i∈{1，，..，I}与分配矢量_{vAMB，ASSiGN}(k) 以及元组(tuple)集合

和

一起被传递给声道再分配处理块 45，在声道再分配处理块45中，它们被重新分布以创建所有主导声音信号(即，所有的方向信号和基于矢量的信号)的帧

和环境HOA 分量的中间表示的帧C_IAMB(k)。输入到声道再分配处理块的输入参数的意义如下。对于每个传输声道，分配矢量v_AMB，ASSIGN(k)指示环境HOA分量的可能包含的系数序列的索引。元组集合

由如下元组组成，该元组的第一个元素i表示作用(active)方向的索引，第二个元素Ω_QUANT，i(k)表示相应的量化方向。换句话说，该元组的第一个元素指示增益校正的信号帧

的索引i，假设

表示与由元组的第二个元素给出的量化方向Ω_QUANT，i(k)相关的方向信号。方向总是相对于两个连续帧计算的。由于重叠相加处理，发生特殊情况，即，对于方向信号的作用时间段的最后(last)一帧，实际上不存在方向，这通过将相应的量化方向设置为零而标示。

元组集合

由如下元组组成，该元组的第一个元素i指示增益校正的信号帧的索引，该信号帧表示要由矢量v⁽ⁱ⁾(k)重构的信号，矢量v⁽ⁱ⁾(k)是由元组的第二个元素给出的。矢量v⁽ⁱ⁾(k)表示关于重构的HOA帧

中的作用信号的空间分布(方向、宽度、形状)的信息。假定v⁽ⁱ⁾(k)具有N+1的欧几里德范数。

在主导声音合成处理块51中，从所有主导声音信号的帧

计算主导声音分量的HOA表示的帧

它使用元组集合

和

预测参数的集合

以及环境HOA分量的系数索引的集合

和

这些必须在第k帧中被启用、被禁用并且保持作用。

在环境合成处理块52中，从环境HOA分量的中间表示的帧c_I,AMB(k) 创建环境HOA分量帧

该处理还包括逆向执行编码器中所应用的空间变换以用于使环境HOA分量的头O_MIN个系数去相关的逆空间变换。

最后，在HOA复合处理块53中，叠加环境HOA分量帧

和主导声音HOA分量的帧

以提供解码的HOA帧

在下面，详细描述声道再分配块45、主导声音合成块45、环境合成块52以及HOA复合处理块51，因为这些块将被与HOA渲染器组合来降低计算需求。

2.1.1声道再分配

声道再分配处理块45具有根据增益校正的信号帧

i∈{1,…,I}和分配矢量v_AMB,ASSIGN(k)来创建所有主导声音信号的帧

和环境HOA分量的中间表示的帧c_I,AMB(k)的目的，分配矢量v_AMB,ASSIGN(k)指示用于每个传输声道的、环境HOA分量的可能包含的系数序列的索引。另外，使用集合

和

这两个集合分别包含

和

的所有元组的第一个元素。重要的是，注意这两个集合是互斥的(disjoint)。

对于实际的分配，执行以下步骤。

1.如下计算所有主导声音信号的帧

的采样值：

其中，J＝I-O_MIN。

2.如下获得环境HOA分量的中间表示的帧c_I,AMB(k)的采样值：

(注意：“

”意指“它存在”)

2.1.2环境合成

通过以下方程获得环境HOA分量的帧

的头O_MIN个系数：

其中，

表示[1，附录F.1.5]中定义的阶次N_MIN的模式矩阵。根据以下方程来设置环境HOA分量的其余系数的采样值：

对于O_MIN＜n≤O (8)

2.1.3主导声音合成

主导声音合成51具有使用元组集合

和

预测参数的集合

以及集合

和

来从所有主导声音信号的帧

创建主导声音分量的HOA表示的帧

的目的。该处理可以被细分为四个处理步骤，即，计算作用的方向信号的HOA表示，计算预测的方向信号的HOA表示，计算作用的基于矢量的信号的HOA表示，并且复合主导声音HOA分量。如图2所示，主导声音合成块51可以被细分为四个处理块，即，用于计算预测的方向信号的HOA表示的块511，用于计算作用的方向信号的HOA表示的块512，用于计算作用的基于矢量的信号的HOA表示的块513，以及用于复合主导声音HOA分量的块514。下面对这些进行描述。

2.1.3.1计算作用的方向信号的HOA表示

为了避免由于连续帧之间的方向改变而导致的伪影，从方向信号计算HOA表示的计算基于重叠相加的概念。

因此，作用的方向信号的HOA表示c_DIR(k)被计算为淡出分量和淡入分量的和：

C_DIR(k)＝C_DIR，OUT(k)+C_DIR，IN(k) (9)

为了计算两个单独的分量，在第一步中，通过以下方程限定方向信号索引

和方向信号帧索引k₂的瞬时信号帧：

其中，

表示关于在[1，附录F.1.5]中定义的方向

n＝1，...，900的阶次N的模式矩阵，Ψ^(N，29)|_q表示Ψ^(N，29)的第q列矢量。

然后通过以下方程确定淡出的和淡入的方向HOA分量的采样值：

和

其中，

表示

的其中对应的第二个元素为非零的那些第一个元素的集合。

用两个不同的淡化窗口来实现用于重叠相加运算的瞬时HOA表示的淡化：

w_DIR：＝[w_DIR(1) w_DIR(2) … w_DIR(2L)] (13)

w_VEC：＝[w_VEC(1) w_VEC(2) … w_VEC(2L)] (14)

这两个不同的淡化窗口的元素在[1，第12.4.2.4.2节]中被定义。

2.1.3.2计算预测的方向信号的HOA表示

与空间预测相关的参数集合

由矢量

以及矩阵

和

组成，这些在[1，第 12.4.2.4.3节]中被定义。

另外，以下相依量(dependent quantity)

被引入，该相依量指示预测是将对帧k、还是将对帧(k+1)执行。此外，量化的预测因子p_{Q，F，d，n}(k)，d＝1，...，D_PRED，n＝1，...，O被去量化(dequantize)以提供实际预测因子：

(注意：B_SC在[1]中被定义。原则上，它是用于量化的位数。)

预测的方向信号的计算是基于重叠相加的概念，以便避免由于连续帧之间的预测参数改变而导致的伪影。因此，由X_PD(k)表示的预测的方向信号的第k帧被计算为淡出分量和淡入分量的和：

X_PD(k)＝X_PD，OUT(k)+X_PD，IN(k) (17)

然后通过以下方程计算淡出的和淡入的预测的方向信号的采样值 x_PD,OUT,n(k,l)和x_PD,IN,n(k,l),n＝1,...,O,l＝1,....,L：

在下一步中，通过以下方程将预测的方向信号变换到HOA域：

其中，

表示[1，附录F.1.5]中定义的阶次N的模式矩阵。通过以下方程计算预测的方向信号的最后的输出的HOA表示c_PD(k)的采样：

2.1.3.3计算作用的基于矢量的信号的HOA表示

这里用与[1，第12.4.2.4.4节]中的版本相比不同的记法来描述基于矢量的信号的HOA表示的计算，以便使该记法保持与描述的其余部分一致。尽管如此，这里描述的运算与[1]中的完全相同。

作用的基于矢量的信号的初步HOA表示的帧

被计算为淡出分量和淡入分量的和：

为了计算两个单独的分量，在第一步中，通过以下方程限定基于矢量的信号索引

和基于矢量的信号帧索引k₂的瞬时信号帧：

然后通过以下方程确定淡出的和淡入的基于矢量的HOA分量的采样值

和

其后，通过以下方程计算作用的基于矢量的信号的最后的HOA 表示的帧c_VEC(k)：

对于n＝1,…,O,l＝1,…,L，其中，E＝CodedVVecLength在[1，第12.4.1.10.2节]中被定义。

2.1.3.4复合主导声音HOA分量

按照方向信号的HOA分量的帧c_DIR(k)、预测的方向信号的HOA 分量的帧c_PD(k)以及基于矢量的信号的HOA分量的帧c_VEC(k)的和来获得 514主导声音HOA分量的帧

即：

2.1.4HOA复合

在HOA复合块53中通过以下方程计算解码的HOA帧

3.HOA渲染器

HOA渲染器(参见[1，第12.4.3节])从由空间HOA解码器(参见上面的第2.1节)提供的重构的HOA表示的帧

计算L_S个扩音器信号的帧

注意，图1没有明确地示出渲染器。一般来说，用于HOA渲染的计算是根据以下方程用与渲染矩阵

的乘法来实现的：

其中，如[1,第12.4.3.3节]中所描述的，渲染矩阵是在初始化阶段中根据目标扩音器设置而计算的。

如图3所示，本发明公开了一种用于通过组合空间HOA解码器 (参见上面的第2.1节)和后面的HOA渲染器(参见上面的第3节) 来相当大地降低对于这两个处理模块的计算需求的解决方案。这允许直接输出扩音器信号的帧

而不是重构的HOA系数序列。具体地说，原始的声道再分配块45、主导声音合成块51、环境合成块52、 HOA复合块53以及HOA渲染器被用组合HOA合成和渲染处理块 60替换。

这个新引入的处理块需要另外得知渲染矩阵D，像HOA渲染器的原始实现中那样，渲染矩阵D被假定为是根据[1，第12.4.3.3节]预先计算的。

3.1组合HOA合成和渲染的概述

在一个实施例中，组合HOA合成和渲染在图4中被示出。它从增益校正的信号的帧

渲染矩阵

以及辅助信息的子集Λ(k)直接计算扩音器信号的解码帧

辅助信息的子集Λ(k)由以下方程定义：

正如从图4可以看出的，处理可以被细分为环境HOA分量61的组合合成和渲染以及主导声音HOA分量62的组合合成和渲染，这些组合合成和渲染的输出最后被相加。下面详细地描述这两个处理块。

3.1.1环境HOA分量的组合合成和渲染

所提出的与环境HOA分量相对应的扩音器信号的帧

的计算的一般构思是省略对应的HOA表示C_AMB(k)的中间的显式计算，这不同于[1,App.G.3]中所提出的计算。具体地说，对于头O_MIN个空间变换的系数序列(这些系数序列总是在最后O_MIN个输送信号

i＝I-O_MIN+ 1,…,I内被传输)，将逆空间变换与渲染组合。

第二个方面是，类似于[1,App.G.3]中已经建议的那样，仅对已经实际上在输送信号内被传输的那些系数序列执行渲染，从而省略零系数序列的任何无意义的渲染。

总而言之，根据以下方程来用单个矩阵乘法表达帧

的计算：

其中，矩阵

和

的计算在下面被解释。 A_AMB(k)的列或Y_AMB(k)的行的数量Q_AMB(k)对应于以下集合的元素的数量：

该集合是集合

和

的并集。换句话说，数量Q_AMB(k)是总的传输的环境HOA系数序列或它们的空间变换版本的数量。

矩阵A_AMB(k)由两个分量

和A_AMB,REST(k)组成如下：

A_AMB(k)＝[A_AMB,MIN A_AMB，REST(k)] (33)

通过以下方程计算第一个分量A_AMB,MIN：

其中，

表示由D的头O_MIN个列得到的矩阵。它实现了对于环境HOA分量的总是在最后O_MIN个输送信号内被传输的头O_MIN个空间变换的系数序列的逆空间变换与对应的渲染的实际组合。注意，该矩阵 (A_AMB,MIN以及同样地D_MIN)是帧独立的，并且可以在初始化处理期间被预先计算。

其余的矩阵A_AMB,REST(k)实现了环境HOA分量的除了总是被传输的头O_MIN个空间变换的系数序列之外、在输送信号内还被传输的那些 HOA系数序列的渲染。因此，该矩阵由与这些另外传输的HOA系数序列相对应的原始渲染矩阵D的列组成。列的次序原则上是任意的，不过，必须与分配给信号矩阵Y_AMB(k)的对应的系数序列的次序匹配。具体地说，如果我们采取由下面的双射(bijective)函数限定的任何排序：

则A_AMB,REST(k)的第j列被设置为渲染矩阵D的第

列。

对应地，信号矩阵Y_AMB(k)内的各个信号帧y_AMB,i(k),i＝1,…,Q_AMB(k)必须通过以下方程从增益校正的信号的帧Y(k)提取：

3.1.2主导声音HOA分量的组合合成和渲染

如图4所示，主导声音HOA分量本身的组合合成和渲染可以被细分为三个并行处理块621-623，这些处理块的扩音器信号输出帧

和

最后被相加624、63以获得与主导声音HOA分量相对应的扩音器信号的帧

所有三个块的计算的一般构思是通过省略对应的HOA表示的中间的显式计算来降低计算需求。下面详细地描述所有三个处理块。

3.1.2.1预测的方向信号621的HOA表示的组合合成和渲染

预测的方向信号621的HOA表示的组合合成和渲染在[1,App. G.3]中被认为是不可能的，这是从[1]中排除在高效的组合空间HOA 解码和渲染的情况下的空间预测选项的原因。然而，本发明还公开了一种实现空间预测的方向信号的HOA表示的高效的组合合成和渲染的方法。空间预测的原始的已知构思是，创建O个虚拟扩音器信号，每个来自作用的方向信号的加权和，然后通过使用逆空间变换来创建其HOA表示。然而，从不同的角度来看，类似于对于上面第2.1节中使用的基于矢量的信号那样，上述处理可以被看作对参与空间预测的每个作用的方向信号定义限定其方向分布的矢量。对渲染与HOA合成进行组合于是可以借助于将空间预测中所涉及的所有的作用的方向信号的帧乘以描述它们到扩音器信号的平移(panning)的矩阵来表达。该运算使要被处理的信号的数量从O个减少到空间预测中所涉及的作用的方向信号的数量，从而使HOA合成和渲染的大部分计算需求部分独立于HOA阶次N。

要被解决的另一重要的方面是空间预测的信号的HOA表示(参见方程(21))的某些系数序列的最终淡化。所提出的解决组合HOA 合成和渲染的问题的解决方案是引入三种不同类型的作用的方向信号，即，非淡化的作用的方向信号、淡出的作用的方向信号和淡入的作用的方向信号。然后对于每种类型的所有信号，通过在HOA渲染矩阵和HOA表示中仅涉及具有适当的索引的系数序列来计算特殊的平移矩阵，索引即为以下集合中包含的未被传输的环境HOA系数序列的索引：

以及分别在

和

中包含的淡出的和淡入的环境HOA系数序列的索引。

详细地说，根据以下方程来用单个矩阵乘法表达与预测的方向信号的HOA表示相对应的扩音器信号的帧

的计算：

两个矩阵A_PD(k)和Y_PD(k)各由两个分量组成，即，关于来自上一帧的淡出贡献的一个分量以及关于来自当前帧的淡入贡献的一个分量：

A_PD(k)＝[A_PD，OUT(k) A_PD，IN(k)] (39)

每个子矩阵本身被假定为由如下三个分量组成，这三个分量与三种先前提及的类型的作用的方向信号(即，非淡化的作用的方向信号、淡出的作用的方向信号和淡入的作用的方向信号)相关：

A_PD，OUT(k)＝[A_{PD，OUT，IA}(k) A_PD，OUT，E(k) A_PD，OUT，D(k)] (41)

A_PD，IN(k)＝[A_PD，IN，IA(k) A_PD，IN，E(k) A_PD，IN，D(k)] (42)

具有标记“IA”、“E”和“D”的每个子矩阵分量与集合

和

相关联，并且被假定为在对应集合为空的情况下是不存在的。

为了计算各个子矩阵分量，我们首先引入空间预测中所涉及的所有的作用的方向信号的索引的集合：

该集合的元素的数量用以下方程来表示：

此外，通过以下双射函数对集合

的索引进行排序：

然后我们定义矩阵

该矩阵的第i列由O个元素组成，其中，第n元素限定模式矢量关于方向

的加权，以便重构表示具有索引

的作用的方向信号的方向分布的矢量。通过以下方程计算其元素：

使用矩阵A_WEIGH(k)，我们可以通过以下方程计算矩阵

该矩阵的第i列表示具有索引

的作用的方向信号的方向分布：

V_PD(k)＝Ψ^(N，N)·A_WEIGH(k) (49)

我们进一步用

来表示通过从矩阵A获取具有在集合

中包含的索引(按升序)的行而获得的矩阵。类似地，我们用

来表示通过从矩阵A获取具有在集合

中包含的索引(按升序)的列而获得的矩阵。

最后通过将渲染矩阵D的适当的子矩阵乘以表示作用的方向信号的方向分布的矩阵V_PD(k-1)或V_PD(k)的适当的子矩阵来获得方程(41)和 (42)中的矩阵A_PD,OUT(k)和A_PD,IN(k)的分量，即：

和

如方程(18)和(19)中那样，假设方程(43)和(44)中的信号子矩阵

和

包含分别根据排序函数 f_{PD，ORD，k-1}和f_PD，ORD，k从增益校正的信号的帧

提取的、被适当地淡出或淡入的作用的方向信号。

具体地说，通过以下方程从增益校正的信号的帧

的采样来计算信号矩阵Y_{PD，OUT，IA}(k)的采样y_{PD，OUT，IA，i}(k，l)，1≤j≤Q_PD(k-1)，1≤l≤L：

类似地，通过以下方程从增益校正的信号的帧

的采样来计算信号矩阵Y_PD，IN，IA(k)的采样y_{PD，IN，IA，i}(k，l)，1≤j≤Q_PD(k)，1≤l≤L：

然后通过分别应用附加的淡出和淡入来从Y_{PD，OUT，IA}(k)创建信号子矩阵

和

类似地，通过分别应用附加的淡出和淡入来从Y_PD，IN，IA(k)计算子矩阵

和

详细地说，通过以下方程计算信号子矩阵Y_PD，OUT，E(k)和Y_PD，OUT，D(k)的采样y_{PD，OUT，E，i}(k，l)和y_{PD，OUT，D，i}(k，l)，1≤j≤Q_PD(k-1)：

y_{PD，OUT，E，i}(k，l)＝y_{PD，OUT，IA，i}(k，l)·w_DIR(L+l) (58)

y_{PD，OUT，D，i}(k，l)＝y_{PD，OUT，IA，i}(k，l)·w_DIR(l) (59)

从而，通过以下方程计算信号子矩阵Y_PD，IN，E(k)和Y_PD，IN，D(k)的采样 y_{PD，IN，E，i}(k，l)和y_{PD，IN，D，i}(k，l)，1≤j≤Q_PD(k)：

y_{PD，IN，E，i}(k，l)＝y_{PD，IN，IA，i}(k，l)·w_DIR(L+l) (60)

y_{PD，IN，D，i}(k，l)＝y_{PD，IN，IA，i}(k，l)·w_DIR(l) (61)

3.1.2.1.1用于对模式矢量进行加权的矩阵的示例性计算

因为矩阵A_WEIGH(k)的计算初看起来可能显得复杂并且令人困惑，所以下面提供其计算的例子。为简单起见我们假定N＝2的HOA阶次，并且指定空间预测的矩阵P_IND(k)和P_F(k)由以下方程给出：

这些矩阵的第一列必须被解释为使得从具有索引1和3的方向信号的加权和获得方向

的预测方向信号，其中，加权因子分别由

和

给出。

在该示例性假定下，空间预测中所涉及的所有的作用的方向信号的索引的集合由以下方程给出：

用于对该集合的元素进行排序的可能的双射函数由以下方程给出：

矩阵A_WEIGH(k)在这种情况下由以下方程给出：

其中，第一列包含与具有索引1的方向信号的加权相关的因子，第二列包含与具有索引3的方向信号的加权相关的因子。

3.1.2.2作用的方向信号的HOA表示的组合合成和渲染622

根据以下方程用单个矩阵乘法来表达帧

的计算：

其中，原则上，矩阵

的列描述信号矩阵

中包含的作用的方向信号到扩音器的平移。

两个矩阵A_DIR(k)和Y_DIR(k)各由两个分量组成，即，关于来自上一帧的淡出贡献的一个分量以及关于来自当前帧的淡入贡献的一个分量。

A_DIR(k)＝[A_DIR，PAN(k-1) A_DIR，PAN(k)] (68)

的列的数量Q_DIR(k)等于

的行的数量，并且对应于第2.1节中限定的集合

的元素的数量，即：

对应地，

的行的数量等于Q_DIR(k-1)。通过以下乘积计算矩阵A_DIR,PAN(k)：

A_DIR，PAN(k)＝D·Ψ_DIR(k) (71)

其中，

的列由关于

中的元组的第二个元素中所包含的(有效的非零的)方向的模式矢量组成。模式矢量的次序原则上是任意的，不过，必须与分配给信号矩阵Y_DIR(k)的对应信号的次序匹配。

具体地说，如果我们假定任何排序由以下双射函数限定：

Ψ_DIR(k)的第j列被设置为与由

中的其第一个元素等于

的那个元组表示的方向相对应的模式矢量。因为总共存在900个可能的方向，这些方向的模式矩阵Ψ^(N,29)被假定为在初始化阶段预先计算，所以Ψ_DIR(k)的第j列也可以用以下方程来表达：

信号矩阵Y_DIR,OUT(k)和Y_DIR,OUT(k)包含分别根据排序函数f_DIR,ORD,k-1和 f_DIR,ORD,k从增益校正的信号的帧

提取的、被适当地淡出或淡入的作用的方向信号(如方程(11)和(12)中那样)。

具体地说，通过以下方程从增益校正的信号的帧

的采样来计算信号矩阵Y_DIR,OUT(k)的采样y_DIR,OUT,j(k,l),1≤j≤Q_DIR(k-1),1≤l≤L：

类似地，通过以下方程计算信号矩阵Y_DIR,IN(k)的采样y_DIR,IN,j(k,l), 1≤j≤Q_DIR(k),1≤l≤L：

3.1.2.3作用的基于矢量的信号的HOA表示的组合合成和渲染 623

作用的基于矢量的信号的HOA表示的组合合成和渲染623非常类似于上面在第4.1.2中描述的预测的方向信号的HOA表示的组合合成和渲染。具体地，限定单耳(monaural)信号(被称为基于矢量的信号)的方向分布的矢量在这里是直接给出的，然而它们必须在中间被计算以用于预测的方向信号的HOA表示的组合合成和渲染。

此外，在表示基于矢量的信号的空间分布的矢量已经在特殊模式 (即，CodedVVecLength＝1)下被编码的情况下，对基于矢量的信号的重构的HOA分量的某些系数序列执行淡入或淡出(参见方程(26))。该问题在[1，第12.4.2.4.4节]中未被考虑，即，[1，第12.4.2.4.4节] 中的提议对于所提及的情况无效。

类似于上述用于预测的方向信号的HOA表示的组合合成和渲染的解决方案，提出通过引入三种不同类型的作用的基于矢量的信号(即，非淡化的作用的基于矢量的信号、淡出的作用的基于矢量的信号和淡入的作用的基于矢量的信号)来解决该问题。然后对于每种类型的所有信号，通过在HOA渲染矩阵和HOA表示中仅涉及具有适当的索引 (即，

中包含的未被传输的环境HOA系数序列的索引以及分别在

和

中包含的淡出的或淡入的环境HOA系数序列的索引)的系数序列来计算特殊的平移矩阵。

详细地说，根据以下方程用单个矩阵乘法来表达与预测的方向信号的HOA表示相对应的扩音器信号的帧

的计算：

两个矩阵A_VEC(k)和Y_VEC(k)各由两个分量组成，即，关于来自上一帧的淡出贡献的一个分量以及关于来自当前帧的淡入贡献的一个分量：

A_VEC(k)＝[A_VEC，OUT(k) A_VEC，IN(k)] (77)

每个子矩阵本身被假定为由如下三个分量组成，这三个分量与三种先前提及的类型的作用的基于矢量的信号(即，非淡化的作用的基于矢量的信号、淡出的作用的基于矢量的信号和淡入的作用的基于矢量的信号)相关：

A_VEC，OUT(k)＝[A_{VEC，OUT，IA}(k) A_{VEC，OUT，E}(k) A_{VEC，OUT，D}(k)] (79)

A_VEC，IN(k)＝[A_{VEC，IN，IA}(k) A_VEC，IN，E(k) A_VEC，IN，D(k)] (80)

具有标记“IA”、“E”和“D”的每个子矩阵分量与集合

和

相关联，并且被假定为在对应集合为空的情况下是不存在的。

为了计算各个子矩阵分量，我们首先从

的元组的第二个元素中所包含的

矢量复合矩阵

矢量的次序原则上是任意的，不过，必须与分配给信号矩阵Y_{VEC，IN，IA}(k)的对应信号的次序匹配。具体地说，如果我们假定任何排序由以下双射函数限定：

则V_VEC(k)的第j列被设置为由

中的其第一个元素等于

的那个元组表示的矢量。

最后通过将渲染矩阵D的适当的子矩阵乘以矩阵V_VEC(k-1)或V_VEC(k) 的适当的子矩阵来获得方程(79)和(80)中的矩阵A_VEC，OUT(k)和A_VEC，IN(k)的分量，V_VEC(k-1)或V_VEC(k)的这些适当的子矩阵表示作用的基于矢量的信号的方向分布，即：

和

如方程(24)和(25)中那样，假设方程(81)和(82)中的信号子矩阵

和

包含分别根据排序函数f_{VEC，ORD，k-1}和f_{VEC，ORD，k}从增益校正的信号的帧Y(k)提取的作用的基于矢量的信号，这些基于矢量的信号被适当地淡出或淡入。

具体地说，通过以下方程从增益校正的信号的帧

的采样来计算信号矩阵Y_{VEC，OUT，IA}(k)的采样y_{VEC，OUT，IA，i}(k，l)，1≤j≤Q_VEC(k-1)，1≤l≤L：

类似地，通过以下方程从增益校正的信号的帧

的采样计算信号矩阵Y_{VEC，IN，IA}(k)的采样y_{VEC，IN，IA，i}(k，l)，1≤j≤Q_VEC(k)，1≤l≤L：

然后通过分别应用附加的淡出和淡入来从Y_{VEC，OUT，IA}(k)创建信号子矩阵

和

类似地，通过分别应用附加的淡出和淡入来从Y_{VEC，IN，IA}(k)计算子矩阵

和

详细地说，通过以下方程计算信号子矩阵Y_{VEC，OUT，E}(k)和Y_{VEC，OUT，D}(k)的采样y_{VEC，OUT，E，i}(k，l)和y_{VEC，OUT，D，i}(k，l)，1≤j≤Q_VEC(k-1)：

y_{VEC，OUT，E，i}(k，l)＝y_{VEC，OUT，IA，i}(k，l)·w_DIR(L+l) (92)

y_{VEC，OUT，D，i}(k，l)＝y_{VEC，OUT，IA，i}(k，l)·w_DIR(l) (93)

从而，通过以下方程计算信号子矩阵Y_VEC，IN，E(k)和Y_VEC，IN，D(k)的采样

y_{VEC，IN，E，i}(k，l)和y_{VEC，IN，D，i}(k，l)，1≤j≤Q_VEC(k)：

y_{VEC，IN，E，i}(k，l)＝y_{VEC，IN，IA，i}(k，l)·w_DIR(L+l) (94)

y_{VEC，IN，D，i}(k，l)＝y_{VEC，IN，IA，i}(k，l)·w_DIR(l) (95)

3.1.3示例性实际实现

最后，指出所公开的组合HOA合成和渲染的每个处理块的计算需求最大的部分可以用单个矩阵乘法来表达(参见方程(31)、(38)、 (67)和(76))。因此，对于示例性实际实现，可以使用关于性能被优化的特殊的矩阵乘法函数。在该上下文下还可以如下通过单个矩阵乘法来计算所有处理块的渲染的扩音器信号：

其中，矩阵A_ALL(k)和Y_ALL(k)由以下方程限定：

A_ALL(k):＝[A_AMB(k) A_PD(k) A_DIR(k) A_VEC(k)] (97)

此外，还指出，也可以在线性运算之后应用淡化，即，直接将淡化应用于扩音器信号，而不是在信号的线性处理之前应用淡化。因此，在感知解码信号

表示需要用于重构HOA系数序列的线性运算的至少两种不同类型的分量(其中对于第一类型的分量，重构不需要各个系数序列

c_DIR(k)的淡化，对于第二类型的分量，重构需要各个系数序列c_PD(k)、c_VEC(k)的淡化)的实施例中，通过分别将第一线性运算、第二线性运算和第三线性运算(即，不进行淡化)应用于感知解码信号的第二类型的分量、然后对扩音器信号的第一版本不应用淡化、对扩音器信号的第二版本应用淡入并且对扩音器信号的第三版本应用淡出来创建扩音器信号的三个不同版本。叠加(即，累加)结果以生成第二扩音器信号

在以下效率比较中，我们将对于现有技术的HOA合成与接连的 HOA渲染的计算需求与对于所提出的两个处理块的高效组合的计算需求进行比较。为简单起见，就所需乘法(或组合的乘法和加法)运算来测量计算需求，忽视成本明显较小的纯加法运算。

对于两种种类的处理，每个单独的子处理块的所需乘法数量与表达计算的对应的方程编号一起分别在表1和表2中给出。对于基于矢量的信号的HOA表示的组合合成和渲染，我们已经假定对应的矢量是用选项CodedVVecLength＝1编码的(参见[1，第12.4.1.10.2节])。

表1：对于现有技术的HOA合成与接连的HOA渲染的计算需求

表2：对于所提出的组合HOA合成和渲染的计算需求

对于已知的处理(参见表1)，可以观察到，需求最大的块是其中乘法数量包含作为因子的与HOA系数序列的数量O组合的帧长度 L的那些块，因为L的可能的值(通常为1024或2048)与其他量的值相比大得多。对于预测的方向信号的合成(第2.1.3.2节)，HOA 系数序列的数量O甚至以其平方而被涉及，并且对于HOA渲染器，扩音器的数量L_S作为附加因子出现。

相反，对于所提出的计算(表2)，需求最大的块并不依赖于HOA 系数序列的数量O，而是依赖于扩音器的数量L_S。这意味着对于组合 HOA合成和渲染的总体计算需求仅仅可忽略地依赖于HOA阶次N。

最后，在表3和表4中，我们为两种处理方法提供了如下假定的典型情形的所需每秒百万次(乘法或组合的乘法和加法)运算数量 (MOPS)：

·采样速率为f_S＝48kHz

·O_MIN＝4

·帧长度为L＝1024个采样

·每帧I＝9个输送信号，这些输送信号总共包含环境HOA分量的Q_AMB(k)＝5个系数序列(即，

)、 Q_DIR(k)＝Q_DIR(k-1)＝2个方向信号以及Q_VEC(k)＝Q_VEC(k-1)＝2个基于矢量的信号

·对于每个帧，所有的方向信号在空间预测Q_PD(k)＝Q_PD(k-1)＝ Q_DIR(k)＝2中被涉及

·作为最坏的情况，在每帧中，环境HOA分量的系数序列被淡出和淡入(即，

)，

其中我们改变HOA阶次N和扩音器的数量L_S

表3：对于现有技术的HOA合成与接连的HOA渲染、对于f_s＝48kHz、 o_MIN＝4、Q_AMB(k)＝5、Q_DIR(k)＝Q_DIR(k-1)＝2、Q_VEC(k)＝Q_VEC(k-1)＝2以及不同的HOA阶次N和扩音器的数量L_S的示例性计算需求

表4：对于所提出的组合HOA合成和渲染、对于f_s＝48kHz、o_MIN＝4、 Q_AMB(k)＝5、Q_DIR(k)＝Q_DIR(k-1)＝2、Q_VEC(k)＝Q_VEC(k-1)＝2以及不同的HOA 阶次N和扩音器的数量L_S的示例性计算需求

从表3可以观察到，对于现有技术的HOA合成与接连的HOA渲染的计算需求随着HOA阶次N而明显增长，其中需求最大的处理块是预测的方向信号的合成和HOA渲染器。相反，表4所示的对于所提出的组合HOA合成和渲染的结果确认了其计算需求仅仅可忽略地依赖于HOA阶次N。相反，存在对扩音器的数量L_S的近似成比例的依赖性。特别重要的是，对于所有的示例性情况，对于所提出的方法的计算需求显著低于现有技术方法的计算需求。

注意，上述发明可以在各种实施例中实现，包括方法、设备、存储介质、信号及其他。

具体地说，本发明的各种实施例包括以下各项。

在实施例中，一种用于对包括压缩HOA信号的输入信号进行逐帧组合解码和渲染以获得扩音器信号的方法(其中，根据给定的扩音器配置的HOA渲染矩阵D被计算并且被使用)包括对于每个帧

将输入信号解复用10为感知编码部分和辅助信息部分；

在感知解码器中对感知编码部分进行感知解码20，其中，感知解码信号

被获得，这些感知解码信号表示需要用于重构HOA 系数序列的线性运算的、至少两种不同类型的两个或更多个分量，其中，没有HOA系数序列被重构，并且其中，对于第一类型的分量，所述重构不需要各个系数序列

c_DIR(k)的淡化，并且对于第二类型的分量，所述重构需要各个系数序列c_PD(k)、c_VEC(k)的淡化；

在辅助信息解码器中对辅助信息部分进行解码30，其中，解码辅助信息被获得；

将单独用于每帧的线性运算61、622应用于第一类型的分量(对应于图1、图3中的在中间创建

c_DIR(k)的

的子集)以生成第一扩音器信号

根据辅助信息，单独地对于每帧，对第二类型的每个分量确定三个不同的线性运算，其中，线性运算(A_PD,OUT,IA(k)、A_PD,IN,IA(k)或A_VEC,OUT,IA(k)、 A_VEC,IN,IA(k))用于根据辅助信息不需要淡化的系数序列，线性运算 (A_PD,OUT,D(k)、A_PD,IN,D(k)或A_VEC,OUT,D(k)、A_VEC,IN,D(k))用于根据辅助信息需要淡入的系数序列，线性运算(A_PD,OUT,E(k)、A_PD,IN,E(k)或A_VEC,OUT,E(k)、A_VEC,IN,E(k)) 用于根据辅助信息需要淡出的系数序列；

根据属于第二类型的每个分量(对应于图1、图3中在中间创建 c_PD(k)，c_VEC(k)的、

的子集)的感知解码信号生成三个版本，其中，第一版本(Y_PD,OUT,IA(k)、Y_PD,IN,IA(k)或Y_VEC,OUT,IA(k)、Y_VEC,IN,IA(k))包括未被淡化的相应分量的原始信号，信号的第二版本(Y_PD,OUT,D(k)、Y_PD,IN,D(k)或 Y_VEC,OUT,D(k)、Y_VEC,IN,D(k))是通过使相应分量的原始信号淡入而获得的，并且信号的第三版本(Y_PD,OUT,E(k)、Y_PD,IN,E(k)或Y_VEC,OUT,E(k)、Y_VEC,IN,E(k))是通过使相应分量的原始信号淡出而获得的；

将相应的线性运算(如例如方程38-44中的PD那样)应用于感知解码信号的所述第一版本、第二版本和第三版本中的每个，并且叠加(例如，累加)结果以生成第二扩音器信号

将第一扩音器信号和第二扩音器信号

相加624、63，其中，已解码输入信号的扩音器信号

被获得。

在实施例中，该方法进一步包括对感知解码信号

执行逆增益控制41、42，其中，解码辅助信息的一部分e₁(k),…,e_I(k),β₁(k),…,β_I(k)被使用。

在实施例中，对于感知解码信号的第二类型的分量(对应于在中间创建c_PD(k)、c_VEC(k)的

的子集)，通过分别将所述第一线性运算、第二线性运算和第三线性运算(即，不进行淡化)应用于感知解码信号的第二类型的分量、然后对扩音器信号的第一版本不应用淡化、对扩音器信号的第二版本应用淡入并且对扩音器信号的第三版本应用淡出来创建扩音器信号的三个不同版本，并且其中，叠加(例如，累加)结果以生成第二扩音器信号

在实施例中，应用于第一类型的分量的线性运算61、622是将第一类型的分量变换为HOA系数序列的第一线性运算和根据渲染矩阵 D将HOA系数序列变换为第一扩音器信号的第二线性运算的组合。

在实施例中，一种用于对包括压缩HOA信号的输入信号进行逐帧组合解码和渲染以获得扩音器信号的装置(其中，根据给定的扩音器配置的HOA渲染矩阵D被计算并且被使用)包括处理器和存储器，存储器存储当在处理器上被执行时使装置对于每个帧执行以下操作的指令：

将输入信号解复用10为感知编码部分和辅助信息部分；

在感知解码器中对感知编码部分进行感知解码20，其中，感知解码信号

被获得，这些感知解码信号表示需要用于重构HOA 系数序列的线性运算的、至少两种不同类型的两个或更多个分量，其中，没有HOA系数序列被重构，并且其中，对于第一类型的分量，所述重构不需要各个系数序列

c_DIR(k)的淡化，并且对于第二类型的分量，所述重构需要各个系数序列c_PD(k)、c_VEC(k)的淡化，

在辅助信息解码器中对辅助信息部分进行解码30，其中，解码辅助信息被获得，

将单独用于每帧的线性运算61、622应用于第一类型的分量以生成第一扩音器信号

根据辅助信息，单独地对于每帧，对第二类型的每个分量确定三个不同的线性运算，其中，线性运算A_PD,OUT,IA(k)、A_PD,IN,IA(K)或A_VEC,OUT,IA(k)、 A_VEC,IN,IA(k)用于根据辅助信息不需要淡化的系数序列，线性运算A_PD,OUT,D(k)、 A_PD,IN,D(k)或A_VEC,OUT,D(k)、A_VEC,IN,D(k)用于根据辅助信息需要淡入的系数序列，并且线性运算A_PD,OUT,E(k)、A_PD,IN,E(k)或A_VEC,OUT,E(k)、A_VEC,IN,E(k)用于根据辅助信息需要淡出的系数序列，

根据属于第二类型的每个分量的感知解码信号生成三个版本，其中，第一版本Y_PD,OUT,IA(k)、Y_PD,IN,IA(k)或Y_VEC,OUT,IA(k)、Y_VEC,IN,IA(k)包括未被淡化的相应分量的原始信号，信号的第二版本Y_PD,OUT,D(k)、Y_PD,IN,D(k)或Y_VEC,OUT,D(k)、 Y_VEC,IN,D(k)是通过使相应分量的原始信号淡入而获得的，并且信号的第三版本Y_PD,OUT,E(k)、Y_PD,IN,E(k)或Y_VEC,OUT,E(k)、Y_VEC,IN,E(k)是通过使相应分量的原始信号淡出而获得的，

将相应的线性运算(如例如方程38-44中的PD那样)应用于感知解码信号的所述第一版本、第二版本和第三版本中的每个，并且叠加结果以生成第二扩音器信号

并且将第一扩音器信号和第二扩音器信号

相加624、63，其中，已解码输入信号的扩音器信号

被获得。

还注意，第一扩音器信号和第二扩音器信号的分量

可以按任何组合相加624、63，例如如图4所示那样。

动词“包括”及其变型(conjugation)的使用并不排除除了权利要求中陈述的那些要素或步骤之外的要素或步骤的存在。此外，要素前面“一”、“一个”的使用并不排除多个这样的要素的存在。几个“手段”可以用相同的硬件物品来表示。

虽然已经示出、描述并且指出了本发明的如应用于本发明的优选实施例的基本的新颖特征，但是将理解所描述的装置和方法中的、所公开的设备的形式和细节上的以及它们的操作中的各种省略、替换和改变可以被本领域技术人员在本发明的范围内做出。明确的意图是，以基本上相同的方式执行基本上相同的功能来实现相同结果的那些要素的所有组合都在本发明的范围内。

引用的参考文献

[1]ISO/IEC JTC1/SC29/WG11 23008-3:2015(E).Information technology-Highefficiency coding and media delivery in heterogeneous environments-Part 3:3Daudio,2015年2月.

[2]EP 2800401A

[3]EP 2743922A

[4]EP 2665208A

Claims (13)

1.一种用于对包括压缩HOA信号的输入信号进行逐帧组合解码和渲染以获得扩音器信号的方法，其中，根据给定的扩音器配置的HOA渲染矩阵(D)被计算并且被使用，该方法包括对于每个帧

-将输入信号解复用(10)为感知编码部分和辅助信息部分；

-在感知解码器中对感知编码部分进行感知解码(20)，其中，感知解码信号

被获得，所述感知解码信号表示需要用于重构HOA系数序列的线性运算的、至少两种不同类型的两个或更多个分量，其中，没有HOA系数序列被重构，并且其中，

对于第一类型的分量，所述重构不需要各个系数序列

的淡化，并且

对于第二类型的分量，所述重构需要各个系数序列(C_PD(k)、C_VEC(k))的淡化；

-在辅助信息解码器中对辅助信息部分进行解码(30)，其中，解码的辅助信息被获得；

-将单独用于每个帧的线性运算(61、622)应用于第一类型的分量以生成第一扩音器信号

-根据辅助信息，单独地对于每个帧，对第二类型的每个分量确定三个不同的线性运算，其中，

第一线性运算(A_{PD，OUT，IA}(k)、A_PD，IN，IA(k)、A_{VEC，OUT，IA}(k)、A_{VEC，IN，IA}(k))用于根据辅助信息不需要淡化的系数序列，

第二线性运算(A_PD，OUT，D(k)、A_PD，IN，D(k)、A_{VEC，OUT，D}(k)、A_VEC，IN，D(k))用于根据辅助信息需要淡入的系数序列，以及

第三线性运算(A_PD，OUT，E(k)、A_PD，IN，E(k)、A_{VEC，OUT，E}(k)、A_VEC，IN，E(k))用于根据辅助信息需要淡出的系数序列；

-根据属于第二类型的每个分量的感知解码信号生成三个版本，其中，第一版本(Y_{PD，OUT，IA}(k)、Y_PD，IN，IA(k)、Y_{VEC，OUT，IA}(k)、Y_{VEC，IN，IA}(k))包括未被淡化的相应分量的原始信号，信号的第二版本(Y_PD，OUT，D(k)、Y_PD，IN，D(k)、Y_{VEC，OUT，D}(k)、Y_VEC，IN，D(k))是通过使相应分量的原始信号淡入而获得的，并且信号的第三版本(Y_PD，OUT，E(k)、Y_PD，IN，E(k)、Y_{VEC，OUT，E}(k)、Y_VEC，IN，E(k))是通过使相应分量的原始信号淡出而获得的；

-将相应的线性运算应用于所述感知解码信号的所述第一版本、第二版本和第三版本中的每个，并且叠加结果以生成第二扩音器信号

；并且

-将第一扩音器信号和第二扩音器信号

相加(624、63)，其中，已解码的输入信号的扩音器信号

被获得。

2.根据权利要求1所述的方法，进一步包括对感知解码信号执行逆增益控制(41、42)，其中，解码的辅助信息的一部分(e₁(k)，...，e_I(k)，β₁(k)，...，β_I(k))被使用。

3.根据权利要求1所述的方法，其中，对于感知解码信号的第二类型的分量，通过分别将所述第一线性运算、第二线性运算和第三线性运算应用于感知解码信号的第二类型的分量、然后对扩音器信号的第一版本不应用淡化、对扩音器信号的第二版本应用淡入并且对扩音器信号的第三版本应用淡出来创建扩音器信号的三个不同版本，并且其中，叠加结果以生成第二扩音器信号

4.根据权利要求1所述的方法，其中，应用于第一类型的分量的线性运算(61、622)是将第一类型的分量变换为HOA系数序列的第一线性运算和根据渲染矩阵D将HOA系数序列变换为第一扩音器信号的第二线性运算的组合。

5.根据权利要求1-4中任一项所述的方法，其中，线性运算是单独地对于每个帧根据辅助信息确定的。

6.一种用于对包括压缩HOA信号的输入信号进行逐帧组合解码和渲染的装置，该装置包括：

处理器；以及

存储器，该存储器存储当被执行时使装置执行根据权利要求1-5中任一项所述的方法步骤的指令。

7.一种用于对包括压缩HOA信号的输入信号进行逐帧组合解码和渲染以获得扩音器信号的装置，其中，根据给定的扩音器配置的HOA渲染矩阵(D)被计算并且被使用，该装置包括：处理器

以及

存储器，该存储器存储当被执行时使装置对每个帧执行以下操作的指令：

-将输入信号解复用(10)为感知编码部分和辅助信息部分；

-在感知解码器中对感知编码部分进行感知解码(20)，其中，感知解码信号(z₁(k)，...，z_I(k))被获得，所述感知解码信号表示需要用于重构HOA系数序列的线性运算的、至少两种不同类型的两个或更多个分量，其中，没有HOA系数序列被重构，并且其中

对于第一类型的分量，所述重构不需要各个系数序列

的淡化，并且

对于第二类型的分量，所述重构需要各个系数序列(c_PD(k)、c_VEC(k))的淡化；

-在辅助信息解码器中对辅助信息部分进行解码(30)，其中，解码的辅助信息被获得；

-将单独用于每个帧的线性运算(61、622)应用于第一类型的分量以生成第一扩音器信号

-根据辅助信息，单独地对于每个帧，对第二类型的每个分量确定三个不同的线性运算，其中，

第一线性运算(A_{PD，OUT，IA}(k)、A_PD，IN，IA(k)、A_{VEC，OUT，IA}(k)、A_{VEC，IN，IA}(k))用于根据辅助信息不需要淡化(即，不作用)的系数序列，

第二线性运算(A_PD，OUT，D(k)、A_PD，IN，D(k)、A_{VEC，OUT，D}(k)、A_VEC，IN，D(k))用于根据辅助信息需要淡入的系数序列，以及

第三线性运算(A_PD，OUT，E(k)、A_PD，IN，E(k)、A_{VEC，OUT，E}(k)、A_VEC，IN，E(k))用于根据辅助信息需要淡出的系数序列；

-根据属于第二类型的每个分量的感知解码信号生成三个版本，其中，第一版本(Y_{PD，OUT，IA}(k)、Y_PD，IN，IA(k)、Y_{VEC，OUT，IA}(k)、Y_{VEC，IN，IA}(k))包括未被淡化的相应分量的原始信号，信号的第二版本(Y_PD，OUT，D(k)、Y_PD，IN，D(k)、Y_{VEC，OUT，D}(k)、Y_VEC，IN，D(k))是通过使相应分量的原始信号淡入而获得的，并且信号的第三版本(Y_PD，OUT，E(k)、Y_PD，IN，E(k)、Y_{VEC，OUT，E}(k)、Y_VEC，IN，E(k))是通过使相应分量的原始信号淡出而获得的；

-将相应的线性运算应用于所述感知解码信号的所述第一版本、第二版本和第三版本，并且叠加结果以生成第二扩音器信号

；并且

-将第一扩音器信号和第二扩音器信号

相加(624、63)，其中，已解码的输入信号的扩音器信号

被获得。

8.根据权利要求7所述的装置，进一步包括对感知解码信号执行逆增益控制(41、42)，其中，解码的辅助信息的一部分(e₁(k)，...，e_I(k)，β₁(k)，...，β_I(k))被使用。

9.根据权利要求7所述的装置，其中，对于感知解码信号的第二类型的分量，通过分别将所述第一线性运算、第二线性运算和第三线性运算应用于感知解码信号的第二类型的分量、然后对扩音器信号的第一版本不应用淡化、对扩音器信号的第二版本应用淡入并且对扩音器信号的第三版本应用淡出来创建扩音器信号的三个不同版本，并且其中，叠加结果以生成第二扩音器信号

10.根据权利要求7所述的装置，其中，应用于第一类型的分量的线性运算(61、622)是将第一类型的分量变换为HOA系数序列的第一线性运算和根据渲染矩阵(D)将HOA系数序列变换为第一扩音器信号的第二线性运算的组合。

11.根据权利要求7-10中任一项所述的装置，其中，线性运算是单独地对于每个帧根据辅助信息确定的。

12.一种非暂时性计算机可读介质，包括存储在该非暂时性计算机可读介质上的指令，所述指令当被执行时使得执行如权利要求1-5中任一项所述的方法的步骤。

13.一种用于对包括压缩HOA信号的输入信号进行逐帧组合解码和渲染以获得扩音器信号的装置，包括用于执行如权利要求1-5中任一项所述的方法的步骤的部件。

Images