ES2638391T3 - Codificador, decodificador, sistema y procedimiento que emplea un concepto residual para una codificación paramétrica de un objeto de audio - Google Patents

Abstract

Un decodificador, que comprende una unidad de decodificación paramétrica (110) para generar una pluralidad de primeras señales de objeto de audio estimadas mezclando de forma ascendente tres o más señales de mezcla descendente, en la que las tres o más señales de mezcla descendente codifican una pluralidad de señales de objeto de audio originales, en la que la unidad de decodificación paramétrica (110) se configura para mezclar de forma ascendente las tres o más señales de mezcla descendente en función de las informaciones secundarias paramétricas que indican informaciones sobre la pluralidad de señales de objeto de audio originales, y una unidad de procesamiento residual (120) para generar una pluralidad de segundas señales de objeto de audio estimadas mediante la modificación de una o más de las primeras señales de objeto de audio estimadas, en la que la unidad de procesamiento residual (120) se configura para modificar dichas una o más de las primeras señales de objeto de audio estimadas en función de una o más señales residuales,

Description

DESCRIPCION

Codificador, decodificador, sistema y procedimiento que emplea un concepto residual para una codificacion parametrica de un objeto de audio 5

[0001] La presente invencion se refiere a la codificacion, decodificacion y procesamiento de senal de audio, y,

en particular, a un codificador, un decodificador y un procedimiento que emplean conceptos residuales para la codificacion parametrica de un objeto de audio.

10 [0002] Recientemente se han propuesto tecnicas parametricas para la transmision eficiente de la velocidad

binaria/almacenamiento de escenas de audio que comprenden multiples objetos de audio en el campo de la codificacion de audio (vease, por ejemplo, [BCC], [JSC], [SAOC], [SAOC1] y [SAOC2]) y la separacion de fuentes informada (vease, por ejemplo, [ISS1], [ISS2], [ISS3], [ISS4], [ISS5] e [ISS6]). Estas tecnicas tienen como objetivo la reconstruccion de una escena de audio de salida deseada o un objeto de fuente de audio deseado sobre la base de 15 informaciones secundarias adicionales que describen la escena de audio transmitida y/o almacenada y/o los objetos de fuente de audio en la escena de audio.

[0003] La Fig. 5 representa una vision general del sistema SAOC (SAOC = Codificacion de objetos de audio espaciales) que ilustra el principio de tales sistemas parametricos utilizando el ejemplo de MPEG SAOC (MPEG =

20 Grupo de Expertos en Imagenes en Movimiento) (vease, por ejemplo, [SAOC], [SAOC1] y [SAOC2]).

[0004] El procesamiento general se lleva a cabo de una manera selectiva en tiempo/frecuencia y puede describirse segun se indica:

25 El codificador SAOC 510, en particular, un estimador de informaciones secundarias 530 del codificador SAOC 510, extrae las informaciones secundarias que describen las caracterlsticas de las senales de objeto de audio de entrada 32 maximas s1...s32 (en su forma mas simple, las relaciones de las potencias del objeto de las senales de objeto de audio). Un mezclador 520 del codificador SAOC 510 mezcla de forma descendente las senales de objeto de audio s1...s32 para obtener una mezcla de senal mono o de 2 canales (es decir, una o dos senales de mezcla descendente) 30 utilizando los factores de ganancia de mezcla descendente d1,1 ... d32,2.

[0005] La senal o senales de mezcla descendente y las informaciones secundarias se transmiten o almacenan. Con este fin, la senal o senales de audio de mezcla descendente pueden codificarse utilizando un codificador de audio 540. El codificador de audio 540 puede ser un codificador de audio perceptual bien conocido,

35 por ejemplo, un codificador de audio MPEG-1 Capa II o III (tambien conocido como .mp3), un codificador de audio de codificacion de audio avanzada (AAC) MPEG, etc.

[0006] Del lado del receptor, un decodificador de audio correspondiente 550, por ejemplo, un decodificador de audio perceptual, tal como un decodificador de audio MPEG-1 Capa II o III (tambien conocido como .mp3),

40 decodificador de audio de codificacion de audio avanzada (AAC) MPEG, etc. decodifica la senal o senales de audio de mezcla descendente codificadas.

[0007] Un decodificador SAOC 560 intenta conceptualmente restablecer las senales de objeto (de audio) originales ("separacion de objetos") de una o dos senales de mezcla descendente utilizando las informaciones

45 secundarias transmitidas y/o almacenadas, por ejemplo, mediante el empleo de un separador de objeto virtual 570. Estas senales de objeto (de audio) aproximadas s1,est...s32,est se mezclan a continuation mediante un renderizador 580 del decodificador SAOC 560 en una escena diana representada por un maximo de 6 canales de salida de audio y1,est...y6,est utilizando una matriz de renderizacion (descrita por los coeficientes n,1...r32,6). La salida puede ser una escena diana de un solo canal, un estereo de 2 canales o de multiples canales 5.1 (por ejemplo, una, dos o seis 50 senales de salida de audio).

[0008] Debido a las limitaciones subyacentes de la estimation parametrica de los objetos de audio en el lado de decodificacion; en la mayorla de los casos, la escena de salida diana deseada no puede generarse perfectamente. En los puntos de funcionamiento extremos (por ejemplo, la reproduction en solitario de un objeto de

55 audio), a menudo, el procesamiento ya no puede lograr un sonido subjetivo adecuado. Con este fin, el esquema SAOC se ha extendido mediante la introduction de objetos de audio potenciados (OAP) (vease, por ejemplo, [Dfx], vease, por ejemplo, ademas, [SAOC]). Los objetos de audio que se codifican como OAPs exhiben una capacidad de separacion aumentada de los otros objetos de audio no potenciados (regulares) (OAnPs) codificados en la misma senal de mezcla descendente a expensas de un aumento del Indice de informaciones secundarias. El concepto OAP

considera para cada OAP el error de prediccion (senal residual) del modelo parametrico.

[0009] La Fig. 6 representa la estimacion residual en el lado del codificador, que ilustra esquematicamente el calculo de las senales residuales para cada OAP. En el codificador SAOC, las senales residuales (hasta 4 OAPs) se

5 estiman utilizando las informaciones secundarias parametricas (ISP) extraldas y las senales de fuente originales, la forma de onda codificada e incluida en el flujo de bits SAOC como informaciones secundarias residuales no parametricas (ISR). Con mas detalle, un decodificador SAOC ISP para OAPs 610 genera senales de objeto de audio estimadas sest,OAP a partir de una mezcla descendente X. Una unidad de generacion ISR 620 genera entonces hasta cuatro senales residuales sres,ISR, {i,..., 4} basandose en las senales de objeto de audio estimadas generadas sest,OAP y 10 basandose en las senales de objeto de audio OAP originales si,..., s4.

[0010] La Fig. 7 representa una estructura basica del decodificador SAOC con el soporte OAP, que ilustra una vision general conceptual del esquema de procesamiento de OAP integrado en la cadena de decodificacion/transcodificacion SAOC (transcodificacion = conversion de datos de una codificacion a otra

15 codificacion).

[0011] Los parametros orientados a la senal de mezcla descendente, a saber, los coeficientes de prediccion de canal (CPC) se derivan de las informaciones secundarias parametricas (ISP) por una unidad de estimacion de CPC 710.

20

[0012] Los CPC junto con la senal de mezcla descendente se introducen en dos a N cajas (caja TTN) 720. La caja TTN 720 trata conceptualmente de estimar los OAP (sest,,OAP) a partir de la senal de mezcla descendente transmitida (X) y de proporcionar una mezcla descendente OAnP estimado (Xest, OAnP) que consiste en solo OAnP.

25 [0013] Las senales residuales transmitidas/almacenados (y decodificas) (sres,ISR) se utilizan por una unidad de

procesamiento ISR 730 para potenciar las estimaciones de OAPs (sest,OAP) y la correspondiente mezcla descendente de solo objetos OAnP (XOAnP).

[0014] Segun el estado de la tecnica, en la siguiente etapa, la unidad de procesamiento ISR 730 introduce la 30 senal de mezcla descendente OAnP (XOAnP) en un procesador de mezcla descendente SAOC (una unidad de

decodificacion ISP) 740 para estimar los objetos OAnP Sest, OAnP. La unidad de decodificacion ISP 740 pasa los objetos de audio OAnP estimados sest,OAnP a la unidad de renderizacion 750. Ademas, la unidad de procesamiento ISR introduce directamente los OAP potenciados Sest,oAP en la unidad de renderizacion 750. La unidad de renderizacion 750 genera entonces senales de salida mono o estereo basandose en los objetos de audio OAnP 35 estimados sest,OAnP y basandose en los OAP potenciados sest, oap.

[0015] El estado del sistema de la tecnica tiene los siguientes inconvenientes:

Antes de que las senales residuales se apliquen para calcular los OAP en el decodificador SAOC, los CPC 40 orientados a la mezcla descendente tienen que calcularse a partir de las informaciones secundarias parametricas transmitidas/almacenadas.

[0016] Todas las senales de mezcla descendente tienen que ser procesadas en el concepto residual SAOC independientemente de su utilidad para el procesamiento de OAP.

45

[0017] El concepto residual SAOC solo se puede utilizar con mezclas de senal de uno o dos canales debido a las limitaciones de la caja TTN. El concepto residual OAP no se puede utilizar en combinacion con mezclas de multiples canales (por ejemplo, mezclas de multiples canales 5,1).

50 [0018] Ademas, debido a la correspondiente complejidad computacional de su estimacion, el procesamiento

OAP SAOC establece limitaciones sobre el numero de OAPs (es decir, hasta 4).

[0019] Debido a estas limitaciones, el concepto de manipulation residual de OAP SAOC no se puede aplicar a senales de mezcla descendente de multiples canales (por ejemplo, 5.1) o utilizarse durante mas de 4 OAPs.

55

[0020] Por lo tanto, serla muy apreciado, si se proporcionasen conceptos mejorados para la codificacion de senales de audio, decodificacion de senales de audio y procesamiento de senales de audio.

[0021] Un objeto de la presente invention es proporcionar conceptos mejorados para la codificacion de

senales de audio, decodificacion de senales de audio y procesamiento de senales de audio. El objeto de la presente invention se resuelve por un decodificador segun la reivindicacion 1, por un generador de senales residuales segun la reivindicacion 11, por un codificador segun la reivindicacion 19, por un sistema segun la reivindicacion 21, por una senal codificada segun la reivindicacion 22, por un procedimiento segun la reivindicacion 23, por un procedimiento 5 segun la reivindicacion 24 y por un programa informatico segun la reivindicacion 25.

[0022] Se proporciona un decodificador. El decodificador comprende una unidad de decodificacion parametrica para generar una pluralidad de primeras senales de objeto de audio estimadas por la mezcla ascendente de tres o mas senales de mezcla descendente, en el que las tres o mas senales de mezcla descendente

10 codifican una pluralidad de senales de objeto de audio originales, en el que la unidad de decodificacion parametrica se configura para mezclar de forma ascendente tres o mas senales de mezcla descendente en funcion de las informaciones secundarias parametricas que indican informaciones sobre la pluralidad de senales de objeto de audio originales. Ademas, el decodificador comprende una unidad de procesamiento residual para generar una pluralidad de segundas senales de objeto de audio estimadas mediante la modification de una o mas de las primeras senales

15 de objeto de audio estimadas, en el que la unidad de procesamiento residual se configura para modificar dichas una o mas de las primeras senales de objeto de audio estimadas en funcion de una o mas senales residuales.

[0023] La realization presenta un concepto residual orientado al objeto que mejora la calidad percibida de los OAPs. A diferencia del estado del sistema de la materia, el concepto presentado no queda restringido al numero de

20 senales de mezcla descendente ni al numero de OAPs. Se presentan dos procedimientos para derivar senales residuales relacionadas con el objeto. Un concepto en cascada con el cual la energia de la senal residual se reduce iterativamente al aumentar el numero de OAPs a costa de una mayor complejidad computacional, y un segundo concepto con menos complejidad computacional en el cual todos los residuos se calculan simultaneamente.

25 [0024] Ademas, las realizaciones proporcionan un concepto mejorado de la aplicacion de senales residuales orientadas a un objeto en el lado del decodificador, y conceptos con complejidad reducida disenada para escenarios de aplicacion en los que solo los OAP se manipulan en el lado del decodificador, o la modificacion de los OAnP se restringe a una escala de ganancia.

30 [0025] Segun una realizacion, la unidad de procesamiento residual puede configurarse para modificar dichas una o mas de las primeras senales de objeto de audio estimadas en funcion de al menos tres senales residuales. El decodificador se adapta para generar al menos tres canales de salida de audio basandose en la pluralidad de segundas senales de objeto de audio estimadas.

35 [0026] Segun una realizacion, el decodificador puede comprender ademas una unidad de modificacion de mezcla descendente. La unidad de procesamiento residual puede determinar una o mas senales de objeto de audio de la pluralidad de segundas senales de objeto de audio estimadas. La unidad de modificacion de mezcla descendente puede adaptarse para eliminar una o mas segundas senales de objeto de audio estimadas determinadas de tres o mas senales de mezcla descendente para obtener tres o mas senales de mezcla

40 descendente modificadas. La unidad de decodificacion parametrica puede configurarse para determinar una o mas senales de objeto de audio de las primeras senales de objeto de audio estimadas basandose en las tres o mas senales de mezcla descendente modificadas.

[0027] En una realizacion particular, la unidad de modificacion de mezcla descendente puede, por ejemplo,

45 adaptarse para aplicar la formula

imagen1

[0028] Ademas, el decodificador puede adaptarse para llevar a cabo dos o mas etapas de iteration. Para 50 cada etapa de iteracion, la unidad de decodificacion parametrica puede adaptarse para determinar exactamente una senal de objeto de audio de la pluralidad de primeras senales de objeto de audio estimadas. Ademas, para dicha etapa de iteracion, la unidad de procesamiento residual puede adaptarse para determinar exactamente una senal de objeto de audio de la pluralidad de segundas senales de objeto de audio estimadas modificando dicha senal de objeto de audio de la pluralidad de primeras senales de objeto de audio estimadas. Es mas, para dicha etapa de 55 iteracion, la unidad de modificacion de mezcla descendente puede adaptarse para eliminar dicha senal de objeto de audio de la pluralidad de segundas senales de objeto de audio estimadas de las tres o mas senales de mezcla descendente para modificar las tres o mas senales de mezcla descendente. En la siguiente etapa de iteracion posterior a dicha etapa de iteracion, la unidad de decodificacion parametrica puede adaptarse para determinar

exactamente una senal de objeto de audio de la pluralidad de primeras senales de objeto de audio estimadas basandose en las tres o mas senales de mezcla descendente que se han modificado.

[0029] En una realizacion, cada una de una o mas senales residuales puede indicar una diferencia entre una 5 de la pluralidad de senales de objeto de audio originales y una de una o mas primeras senales de objeto de audio

estimadas.

[0030] Segun una realizacion, en la que la unidad de procesamiento residual puede adaptarse para generar la pluralidad de segundas senales de objeto de audio estimadas mediante la modificacion de cinco o mas de las

10 primeras senales de objeto de audio estimadas, en la que la unidad de procesamiento residual puede configurarse para modificar dichas cinco o mas de las primeras senales de objeto de audio estimadas en funcion de cinco o mas senales residuales.

[0031] En otra realizacion, el decodificador puede configurarse para generar siete o mas canales de salida de 15 audio basandose en la pluralidad de segundas senales de objeto de audio estimadas.

[0032] Segun una realizacion adicional, el decodificador puede adaptarse para no determinar coeficientes de prediction de canal para determinar la pluralidad de segundas senales de objeto de audio estimadas. Las realizaciones proporcionan conceptos de modo que el calculo de los coeficientes de prediccion de canal que han

20 sido hasta ahora necesarios para decodificar SAOC del estado de la tecnica, ya no son necesarios para la decodificacion.

[0033] En una realizacion adicional, el decodificador puede ser un decodificador SAOC.

25 [0034] Ademas, se proporciona un generador de senal residual. El generador de senal residual comprende

una unidad de decodificacion parametrica para generar una pluralidad de senales de objeto de audio estimadas por mezcla ascendente de tres o mas senales de mezcla descendente, en el que las tres o mas senales de mezcla descendente codifican una pluralidad de senales de objeto de audio originales, en la que la unidad de decodificacion parametrica se configura para mezclar de forma ascendente las tres o mas senales de mezcla descendente en 30 funcion de la informaciones secundarias parametricas que indican informaciones sobre la pluralidad de senales de objeto de audio originales. Ademas, el generador de senal residual comprende una unidad de estimation residual para generar una pluralidad de senales residuales basandose en la pluralidad de senales de objeto de audio originales y basandose en la pluralidad de senales de objeto de audio estimadas, de manera tal que cada una de la pluralidad de senales residuales es una senal de diferencia que indica una diferencia entre una de la pluralidad de 35 senales de objeto de audio originales y una de la pluralidad de senales de objeto de audio estimadas.

[0035] En una realizacion, la unidad de estimacion residual puede adaptarse para generar al menos cinco senales residuales basandose en al menos cinco senales de objeto de audio originales de la pluralidad de senales de objeto de audio originales y basandose en al menos cinco senales de objeto de audio estimadas de la pluralidad

40 de senales de objeto de audio estimadas.

[0036] En una realizacion, el generador de senal residual puede comprender ademas una unidad de modificacion de mezcla descendente que se adapta para modificar las tres o mas senales de mezcla descendente para obtener tres o mas senales de mezcla descendente modificadas. La unidad de decodificacion parametrica

45 puede configurarse para determinar una o mas senales de objeto de audio de las primeras senales de objeto de audio estimadas basandose en las tres o mas senales de mezcla descendente modificadas.

[0037] En una realizacion, la unidad de modificacion de mezcla descendente puede, por ejemplo,

configurarse para modificar las tres o mas senales de mezcla descendente originales para obtener las tres o mas

50 senales de mezcla descendente modificadas, mediante la elimination de una o mas de la pluralidad de senales de objeto de audio originales de las tres o mas senales de mezcla descendente originales.

[0038] En otra realizacion, la unidad de modificacion de mezcla descendente puede, por ejemplo,

configurarse para modificar las tres o mas senales de mezcla descendente originales para obtener las tres o mas

55 senales de mezcla descendente modificadas mediante la generation de una o mas senales de objeto de audio modificadas basandose en una o mas de las senales de objeto de audio estimadas y basandose en una o mas de las senales residuales, y mediante la eliminacion de una o mas senales de objeto de audio modificadas de las tres o mas senales de mezcla descendente originales. Por ejemplo, cada una de una o mas senales de objeto de audio modificadas pueden generarse por la unidad de modificacion de mezcla descendente mediante la modificacion de

una de las senales de objeto de audio estimadas, en la que la unidad de modificacion de mezcla descendente puede adaptarse para modificar dicha senal de objeto de audio estimada en funcion de una de una o mas senales residuales.

5 [0039] En las dos realizaciones descritas anteriormente,

x = x-

la unidad de modificacion de mezcla descendente

DZ* S

oap^oap ?

puede, por ejemplo, adaptarse para aplicar la formula en la que X es la mezcla descendente

que se va a modificar, en la que D indica informaciones de mezcla descendente, en la que Soap comprende las

2*

senales de objeto de audio originales a eliminar o las senales de objeto de audio modificadas, en la que con J°ap indica las ubicaciones de las senales a eliminar, y en la que X es la serial de mezcla descendente modificada. Por 10 ejemplo, una ubicacion (posicion) de una senal de objeto de audio corresponde a la ubicacion (posicion) de su objeto de audio en el listado de todos los objetos.

[0040] Segun una realizacion, el generador de senal residual puede adaptarse para llevar a cabo dos o mas

etapas de iteracion. Para cada etapa de iteracion, la unidad de decodificacion parametrica puede adaptarse para 15 determinar exactamente una senal de objeto de audio de la pluralidad de senales de objeto de audio estimadas. Ademas, para dicha etapa de iteracion, la unidad de estimacion residual puede adaptarse para determinar exactamente una senal residual de la pluralidad de senales residuales mediante la modificacion de dicha senal de objeto de audio de la pluralidad de senales de objeto de audio estimadas. Ademas, para dicha etapa de iteracion, la unidad de modificacion de mezcla descendente puede adaptarse para modificar las tres o mas senales de mezcla 20 descendente. En la siguiente etapa de iteracion posterior a dicha etapa de iteracion, la unidad de decodificacion parametrica puede adaptarse para determinar exactamente una senal de objeto de audio de la pluralidad de senales de objeto de audio estimadas basandose en las tres o mas senales de mezcla descendente que se han modificado.

[0041] En una realizacion, se proporciona un codificador para codificar una pluralidad de senales de objeto de

25 audio originales mediante la generacion de tres o mas senales de mezcla descendente, mediante la generacion de informaciones secundarias parametricas y mediante la generacion de una pluralidad de senales residuales. El codificador comprende un generador de mezcla descendente para proporcionar las tres o mas senales de mezcla descendente que indican una mezcla descendente de la pluralidad de senales de objeto de audio originales. Ademas, el codificador comprende un estimador de informaciones secundarias parametricas para generar las 30 informaciones secundarias parametricas que indican las informaciones sobre la pluralidad de senales de objeto de audio originales, para obtener las informaciones secundarias parametricas. Ademas, el codificador comprende un generador de senal residual segun una de las realizaciones descritas anteriormente. La unidad de decodificacion parametrica del generador de senal residual se adapta para generar una pluralidad de senales de objeto de audio estimadas por la mezcla de forma ascendente de las tres o mas senales de mezcla descendente proporcionadas por 35 el generador de mezcla descendente, en el que las senales de mezcla descendente codifican la pluralidad de senales de objeto de audio originales. La unidad de decodificacion parametrica se configura para mezclar de forma ascendente las tres o mas senales de mezcla descendente en funcion de las informaciones secundarias parametricas generadas por el estimador de informaciones secundarias parametricas. La unidad de estimacion residual del generador de senal residual se adapta para generar la pluralidad de senales residuales basandose en la 40 pluralidad de senales de objeto de audio originales y basandose en la pluralidad de senales de objeto de audio estimadas, de manera tal que cada una de la pluralidad de senales residuales indica una diferencia entre una de la pluralidad de senales de objeto de audio originales y una de la pluralidad de senales de objeto de audio estimadas.

[0042] En una realizacion, el codificador puede ser un codificador SAOC.

45

[0043] Ademas, se proporciona un sistema. El sistema comprende un codificador segun una de las realizaciones descritas anteriormente para codificar una pluralidad de senales de objeto de audio originales mediante la generacion de tres o mas senales de mezcla descendente, mediante la generacion de informaciones secundarias parametricas y mediante la generacion de una pluralidad de senales residuales. Ademas, el sistema

50 comprende un decodificador segun una de las realizaciones descritas anteriormente, en el que el decodificador se configura para generar una pluralidad de canales de salida de audio basandose en las tres o mas senales de mezcla descendente que se generan por el codificador, basandose en las informaciones secundarias parametricas que se generan por el codificador y basandose en la pluralidad de senales residuales que se generan por el codificador.

55 [0044] Ademas, se proporciona una senal de audio codificada. La senal de audio codificada comprende tres o

mas senales de mezcla descendente, informaciones secundarias parametricas y una pluralidad de senales residuales. Las tres o mas senales de mezcla descendente son una mezcla descendente de una pluralidad de

senales de objeto de audio originales. Las informaciones secundarias parametricas comprenden parametros que indican informaciones secundarias sobre la pluralidad de senales de objeto de audio originales. Cada una de la pluralidad de senales residuales es una senal de diferencia que indica una diferencia entre una de la pluralidad de senales de audio originales y una de una pluralidad de senales de objeto de audio estimadas.

5

[0045] Ademas, se proporciona un procedimiento. El procedimiento comprende;

- generar una pluralidad de primeras senales de objeto de audio estimadas por mezcla ascendente de tres o mas senales de mezcla descendente, en el que las tres o mas senales de mezcla descendente codifican una pluralidad

10 de senales de objeto de audio originales, en el que generar la pluralidad de primeras senales de objeto de audio estimadas comprende la mezcla ascendente de tres o mas senales de mezcla descendente en funcion de las informaciones secundarias parametricas que indican informaciones sobre la pluralidad de senales de objeto de audio originales. Y:

15 - generar una pluralidad de segundas senales de objeto de audio estimadas mediante la modificacion de una o mas de las primeras senales de objeto de audio estimadas, en el que la generation de una pluralidad de segundas senales de objeto de audio estimadas comprende la modificacion de dicha una o mas de las primeras senales de objeto de audio estimadas en funcion de una o mas senales residuales.

20 [0046] Ademas, se proporciona otro procedimiento. Dicho procedimiento comprende:

- generar una pluralidad de senales de objeto de audio estimadas por mezcla ascendente de tres o mas senales de mezcla descendente, en el que las tres o mas senales de mezcla descendente codifican una pluralidad de senales de objeto de audio originales, en el que generar la pluralidad de senales de objeto de audio estimadas comprende la

25 mezcla ascendente de las tres o mas de senales de mezcla descendente en funcion de las informaciones secundarias parametricas que indican informaciones sobre la pluralidad de senales de objeto de audio originales. Y:

- generar una pluralidad de senales residuales basandose en la pluralidad de senales de objeto de audio originales y basandose en la pluralidad de senales de objeto de audio estimadas, de manera tal que cada una de la pluralidad de

30 senales residuales es una senal de diferencia que indica una diferencia entre una de la pluralidad de senales de objeto de audio originales y una de la pluralidad de senales de objeto de audio estimadas.

[0047] Ademas, se proporciona un programa informatico para implementar uno de los procedimientos descritos anteriormente cuando se ejecuta en un ordenador o en un procesador de senal.

35

[0048] En lo que sigue, las realizaciones de la presente invention se describen con mas detalle con referencia a las figuras, en las que:

La Fig. 1a ilustra un decodificador segun realization,

40

La Fig. 1b ilustra un decodificador segun otra realizacion, en la que el decodificador comprende ademas un renderizador,

La Fig. 2a ilustra un generador de senal residual segun una realizacion,

45

La Fig. 2b ilustra un codificador segun una realizacion,

La Fig. 3 ilustra un sistema segun una realizacion,

50 La Fig. 4 ilustra una senal de audio codificada segun una realizacion,

La Fig. 5 representa una vista general del sistema SAOC que ilustra el principio de tales sistemas parametricos utilizando el ejemplo de MPEG SAOC,

55 La Fig. 6 representa la estimation residual en el lado del codificador, que ilustra esquematicamente el calculo de las senales residuales para cada OAP,

La Fig. 7 representa una estructura basica del decodificador SAOC con soporte OAP, que ilustra una vision general conceptual del esquema de procesamiento de OAP integrado en la cadena de decodificacion/transcodificacion

SAOC,

La Fig. 8 representa una vision general conceptual del esquema de codificacion de objeto de audio basado en parametrico y residual presentado segun una realizacion,

La Fig. 9 representa un concepto para estimar conjuntamente la senal residual para cada senal de OAP en el lado del codificador segun una realizacion,

La Fig. 10 ilustra un concepto de decodificacion residual conjunta en el lado del decodificador segun una realizacion,

10

La Fig. 11 ilustra un generador de senal residual segun una realizacion, en el que el generador de senal residual comprende ademas una unidad de modificacion de mezcla descendente,

La Fig. 12 ilustra un decodificador segun realizacion, en el que el descodificador comprende ademas una unidad de 15 modificacion de mezcla descendente,

La Fig. 13 ilustra un concepto de calculo de los componentes residuales de una manera en cascada en un lado del codificador segun una realizacion,

20 La Fig. 14 ilustra la unidad de "decodificacion de ISR" en cascada empleada en combinacion con el calculo residual en cascada en el lado del decodificador segun una realizacion,

La Fig. 15 ilustra un generador de senal residual segun una realizacion que emplea un concepto en cascada, y 25 La Fig. 16 ilustra un decodificador segun una realizacion, que emplea un concepto en cascada.

[0049] La Fig. 2a ilustra un generador de senal residual 200 segun una realizacion.

[0050] El generador de senal residual 200 comprende una unidad de decodificacion parametrica 230 para

30 generar una pluralidad de senales de objeto de audio estimadas (senal de objeto de audio estimada n.° 1, ... senal

de objeto de audio estimada n.° M) por mezcla ascendente de tres o mas senales de mezcla descendente (senal de mezcla descendente n.° 1, senal de mezcla descendente n.° 2, senal de mezcla descendente n.° 3, ..., senal de mezcla descendente n.° N). Las tres o mas senales de mezcla descendente (senal de mezcla descendente n.° 1, senal de mezcla descendente n.° 2, senal de mezcla descendente n.° 3, ..., senal de mezcla descendente n.° N) 35 codifican una pluralidad de senales de objeto de audio originales (senal de objeto de audio original n.° 1, ..., senal de objeto de audio original n.° M). La unidad de decodificacion parametrica 230 se configura para la mezcla ascendente de las tres o mas senales de mezcla descendente (senal de mezcla descendente n.°], senal de mezcla descendente n.° 2, senal de mezcla descendente n.° 3, ..., senal de mezcla descendente n.° N) en funcion de las informaciones secundarias parametricas que indican informaciones sobre la pluralidad de senales de objeto de audio originales 40 (senal de objeto de audio original n.° 1, ..., senal de objeto de audio original n.° M).

[0051] Ademas, el generador de senal residual 200 comprende una unidad de estimation residual 240 para

generar una pluralidad de senales residuales (senal residual n.° 1, ..., senal residual n.° M) basandose en la

pluralidad de senales de objeto de audio originales (senal de objeto de audio original n.° 1, ..., senal de objeto de

45 audio original n.° M) y basandose en la pluralidad de senales de objeto de audio estimadas (senal de objeto de audio estimada n.° 1, ..., senal de objeto de audio estimada n.° M), de manera tal que cada una de la pluralidad de senales residuales (senal residual n.° 1, ..., senal residual n.° M) es una senal de diferencia que indica una diferencia entre una de la pluralidad de senales de objeto de audio originales (senal de objeto de audio original n.°1, ..., senal de objeto de audio original n.° M) y una de la pluralidad de senales de objeto de audio estimadas (senal de objeto de 50 audio estimada n.° 1, ..., senal de objeto de audio estimada n.° M).

[0052] El codificador segun la realizacion anteriormente descrita supera las restricciones SAOC (vease [SAOC]) del estado de la tecnica.

55 [0053] Los sistemas actuales SAOC llevan a cabo la mezcla descendente empleando una o mas dos a una

cajas o una o mas tres a dos cajas. Entre otras cosas, debido a estas restricciones subyacentes, los sistemas SAOC actuales pueden mezclar de forma descendente senales de objeto de audio como maximo en dos canales de mezcla descendente/dos senales de mezcla descendente.

[0054] Se proporcionan conceptos para generadores de senal residual y para codificadores, que permiten

superar las restricciones de SAOC de modo que la codificacion de objetos de audio resulta ahora ventajosa para los sistemas de transmision que emplean mas de dos canales de transmision.

5 [0055] En una realizacion, la unidad de estimation residual 240 se adapta para generar al menos cinco

senales residuales basandose en al menos cinco senales de objeto de audio originales de la pluralidad de senales de objeto de audio originales y basandose en al menos cinco senales de objeto de audio estimadas de la pluralidad de senales de objeto de audio estimadas.

10 [0056] La Fig. 2b ilustra un codificador segun una realizacion. El codificador de la Fig. 2b comprende un

generador de senal residual 200.

[0057] Ademas, el codificador comprende un generador de mezcla descendente 210 para proporcionar las tres o mas senales de mezcla descendente (senal de mezcla descendente n.° 1, senal de mezcla descendente n.° 2,

15 senal de mezcla descendente n.° 3, ..., senal de mezcla descendente n.° N) que indican una mezcla descendente de la pluralidad de senales de objeto de audio originales (senal de objeto de audio original n.° 1, ..., senal de objeto de audio original n.° M, senal o senales de objeto de audio originales adicionales.

[0058] Con respecto a la senal de objeto de audio original n.° 1, ..., senal de objeto de audio original n.° M, la 20 unidad de estimacion residual 240 genera una senal residual (senal residual n.° 1, ..., senal residual n.° M). De este

modo, senal de objeto de audio original n.° 1, ..., senal de objeto de audio original n.° M se refieren a objetos de audio potenciados (OAPs).

[0059] No obstante, como se puede apreciar en la Fig. 2b, pueden existir opcionalmente senal o senales de 25 objeto de audio originales, que se mezclan de forma descendente, pero para las cuales no se generaran senales

residuales. Esta senal o senales de objeto de audio originales adicionales se refieren de este modo a los objetos de audio no potenciados (OAnP).

[0060] El codificador de la Fig. 2b comprende ademas un estimador de informaciones secundarias 30 parametricas 220 para generar las informaciones secundarias parametricas que indican informaciones sobre la

pluralidad de senales de objeto de audio originales (senal de objeto de audio original n.° 1, ..., senal de objeto de audio original n.° M, senal o senales de objeto de audio originales adicionales, para obtener las informaciones secundarias parametricas. En la realizacion de la Fig. 2b, el estimador de informaciones secundarias parametricas tambien toma senales de objeto de audio originales (senal o senales de objeto de audio originales adicionales que 35 tienen en cuenta los OAnP.

[0061] En una realizacion, el numero de senales de objeto de audio originales puede ser igual al numero de senales residuales, por ejemplo, cuando todas las senales de objeto de audio originales se refieren a OAPs.

40 [0062] En otras realizaciones, sin embargo, el numero de senales residuales puede diferir del numero de

senales de objeto de audio originales y/o puede diferir del numero de senales de objeto de audio estimadas, por ejemplo, cuando las senales de objeto de audio originales se refieren a OAnPs.

[0063] En algunas realizaciones, el codificador es un codificador SAOC.

45

[0064] La Fig. 1 ilustra un decodificador segun una realizacion.

[0065] El descodificador comprende una unidad de decodificacion parametrica 110 para generar una pluralidad de primeras senales de objeto de audio estimadas (1a senal de objeto de audio estimada n.° 1, ... 1a senal

50 de objeto de audio estimada n.° M) por mezcla ascendente de tres o mas senales de mezcla descendente (senal de mezcla descendente n.° 1, senal de mezcla descendente n.° 2, senal de mezcla descendente n.° 3, ..., senal de mezcla descendente n.° N), en el que las tres o mas senales de mezcla descendente (senal de mezcla descendente n.° 1, senal de mezcla descendente n.° 2, senal de mezcla descendente n.° 3, ..., senal de mezcla descendente n.° N) codifican una pluralidad de senales de objeto de audio originales, en el que la unidad de decodificacion 55 parametrica 110 se configura para la mezcla ascendente de las tres o mas senales de mezcla descendente (senal de mezcla descendente n.° 1, senal de mezcla descendente n.° 2, senal de mezcla descendente n.° 3, ..., senal de mezcla descendente n.° N) en funcion de las informaciones secundarias parametricas que indican informaciones sobre la pluralidad de senales de objeto de audio originales.

[0066] Ademas, el descodificador comprende una unidad de procesamiento residual 120 para generar una pluralidad de segundas senales de objeto de audio estimadas (2a senal de objeto de audio estimada n.° 1, ... 2a senal de objeto de audio estimada n.° M) modificando una o mas de las primeras senales de objeto de audio estimadas (1a senal de objeto de audio estimada n.° 1, ... 1a senal de objeto de audio estimada n.° M), en el que la

5 unidad de procesamiento residual 120 se configura para modificar dichas una o mas de las primeras senales de objeto de audio estimadas (1a senal de objeto de audio estimada n.° 1, ... 1a senal de objeto de audio estimada n.° M) en funcion de una o mas senales residuales (senal residual n.° 1, ..., senal residual n.° M).

[0067] El decodificador segun la realizacion anteriormente descrita supera las restricciones de SAOC (vease 10 [SAOC]) del estado de la tecnica.

[0068] Ademas, los actuales sistemas de SAOC llevan a cabo la mezcla ascendente mediante el empleo de una a dos cajas (cajas OTT) o una o mas de dos a tres cajas (cajas TTT). Entre otras cosas, debido a estas restricciones, las senales de objeto de audio codificadas con mas de dos senales de mezcla descendente/canales

15 de mezcla descendente no pueden mezclarse de forma ascendente por los decodificadores SAOC del estado de la tecnica.

[0069] Se proporcionan conceptos para decodificadores, que permiten superar las restricciones de SAOC de modo que la codificacion de objetos de audio resulta ahora ventajosa para los sistemas de transmision que emplean

20 mas de dos canales de transmision.

[0070] La Fig. 1b ilustra un decodificador segun otra realizacion, en el que el descodificador comprende ademas una unidad de renderizacion 130 para generar la pluralidad de canales de salida de audio (canal de salida de audio n.° 1, ..., canal de salida de audio n.° R) a partir de las segundas senales de objeto de audio estimadas (2a

25 senal de objeto de audio estimada n.° 1, ... 2a senal de objeto de audio estimada n.° M) en funcion de las informaciones de renderizacion. Por ejemplo, las informaciones de renderizacion pueden ser una matriz de renderizacion y/o los coeficientes de una matriz de renderizacion y la unidad de renderizacion 130 puede configurarse para aplicar la matriz de renderizacion en las segundas senales de objeto de audio estimadas (2a senal de objeto de audio estimada n.° 1, ... 2a senal de objeto de audio estimada n.° M) para obtener la pluralidad de 30 canales de salida de audio (canal de salida de audio n.° 1, ..., canal de salida de audio n.° R).

[0071] Segun una realizacion, la unidad de procesamiento residual 120 se configura para modificar dichas una o mas de las primeras senales de objeto de audio estimadas en funcion de al menos tres senales residuales. El decodificador se adapta para generar al menos tres canales de salida de audio basandose en la pluralidad de

35 segundas senales de objeto de audio estimadas.

[0072] En otra realizacion, cada una de una o mas senales residuales indica una diferencia entre una de la pluralidad de senales de objeto de audio originales y una de una o mas primeras senales de objeto de audio estimadas.

40

[0073] Segun una realizacion, la unidad de procesamiento residual 120 se adapta para generar la pluralidad de segundas senales de objeto de audio estimadas mediante la modificacion de cinco o mas de las primeras senales de objeto de audio estimadas. La unidad de procesamiento residual 120 se adapta para modificar dichas cinco o mas de las primeras senales de objeto de audio estimadas en funcion de cinco o mas senales residuales.

45

[0074] En otra realizacion, el decodificador se configura para generar siete o mas canales de salida de audio basandose en la pluralidad de segundas senales de objeto de audio estimadas.

[0075] Segun una realizacion adicional, el decodificador se adapta para no determinar coeficientes de 50 prediccion de canal para determinar la pluralidad de segundas senales de objeto de audio estimadas.

[0076] En una realizacion adicional, el decodificador es un decodificador SAOC.

[0077] La Fig. 3 ilustra un sistema segun una realizacion. El sistema comprende un codificador 310 segun 55 una de las realizaciones descritas anteriormente para codificar una pluralidad de senales de objeto de audio

originales (senal de objeto de audio original n.° 1, ..., senal de objeto de audio original n.° M) mediante la generation de tres o mas senales de mezcla descendente, mediante la generacion de informaciones secundarias parametricas y mediante la generacion de una pluralidad de senales residuales. Ademas, el sistema comprende un decodificador 320 segun una de las realizaciones descritas anteriormente, en el que el decodificador 320 se configura para

generar una pluralidad de segundas senales de objeto de audio estimadas basandose en las tres o mas senales de mezcla descendente que se generan por el codificador 310, basandose en las informaciones secundarias parametricas que se generan por el codificador 310 y basandose en la pluralidad de senales residuales que se generan por el codificador 310.

5

[0078] La Fig. 4 ilustra una senal de audio codificada segun una realizacion. La senal de audio codificada

comprende tres o mas senales de mezcla descendente 410, informaciones secundarias parametricas 420 y una pluralidad de senales residuales 430. Las tres o mas senales de mezcla descendente 410 son una mezcla

descendente de una pluralidad de senales de objeto de audio originales. Las informaciones secundarias

10 parametricas 420 comprenden parametros que indican informaciones secundarias sobre la pluralidad de senales de objeto de audio originales. Cada una de la pluralidad de senales residuales 430 es una senal de diferencia que indica una diferencia entre una de la pluralidad de senales de audio originales y una de una pluralidad de senales de objeto de audio estimadas.

15 [0079] En lo que sigue, se proporciona una vision general del concepto segun una realizacion.

[0080] La Fig. 8 representa una vision general conceptual del esquema de codificacion de objeto de audio

basado en parametrica y residual presentado segun una realizacion, en el que el esquema de codificacion exhibe una senal de mezcla descendente avanzada y soporte de OAP avanzado.

20

[0081] En el lado del codificador, un estimador de informaciones secundarias parametricas ("unidad de generacion de ISP") 220 calcula la ISP para la estimacion de las senales de objetos en la fuente de explotacion del decodificador y las caracterlsticas relacionadas con la mezcla descendente. Una unidad de generacion de ISR 245 calcula para cada senal de objetos a potenciar las informaciones residuales mediante el analisis de las diferencias

25 entre las senales de objeto estimadas y originales. La unidad de generacion de ISR 245 puede, por ejemplo, comprender una unidad de decodificacion parametrica 230 y una unidad de estimacion residual 240.

[0082] En el lado del decodificador, una unidad de decodificacion parametrica (unidad de "decodificacion de ISP") 110 estima las senales de objeto a partir de las senales de mezcla descendente con ISP dado. En una

30 segunda etapa, una unidad de procesamiento residual (unidad de "decodificacion de ISR") 120 utiliza ISR para mejorar la calidad de las senales de objeto estimadas a potenciar. Todas las senales de objeto (objetos de audio potenciados y no potenciados) pueden, por ejemplo, pasarse a una unidad de renderizacion 130 para generar la escena de salida diana.

35 [0083] Cabe senalar que no es necesario tomar todas las senales de mezcla descendente en consideracion.

Las senales de mezcla descendente pueden omitirse en el calculo si su contribucion en la estimacion y/o la

estimacion y potenciamiento de las senales de objeto puede ignorarse.

[0084] Para facilitar la comprension, las etapas de procesamiento de la Fig. 8 y las figuras siguientes se 40 visualizan como unidades de procesamiento separadas. En la practica, se pueden combinar de manera eficiente

para reducir la complejidad computacional.

[0085] En lo que sigue, se proporciona un concepto conjunto de codificacion/decodificacion residual.

45 [0086] La Fig. 9 representa un concepto para estimar conjuntamente la senal residual para cada senal de

OAP en el lado del codificador segun una realizacion.

[0087] La unidad de decodificacion parametrica (unidad de "decodificacion de ISP") 230 produce una

estimacion de las senales de objeto de audio (senales de objeto de audio estimadas Sest,ISP, {1, ..., m> dando ISP 50 estimado y la senal o senales de mezcla descendente como entrada. Las senales de objeto de audio estimadas sest, isp {1, ..., m} se comparan con las senales de fuente originales inalteradas s1 , ..., sm en la unidad de estimacion residual ("unidad de estimacion de ISR) 240. La unidad de estimacion residual 240 proporciona un termino de senal residual/de error Sres, isr, {1, ..., m} para cada objeto de audio a potenciar.

55 [0088] La Fig. 10 muestra la unidad de "decodificacion de ISR" que se utiliza en combinacion con el calculo

conjunto residual en el decodificador. En particular, la Fig. 10 ilustra un concepto de decodificacion conjunta residual en el lado del decodificador segun una realizacion.

[0089] Las (primeras) senales de objeto de audio estimadas sest,isp, {1, ... m} de la unidad de decodificacion

parametrica (unidad de "decodificacion de ISP") 110 se introducen junto con las informaciones residuales ("informaciones secundarias residuales") en la unidad de procesamiento residual 120 ("decodificacion de ISR"). La unidad de procesamiento residual 120 calcula a partir de las informaciones (secundarias) residuales y las senales de objeto de audio estimadas sest,isp, {1, ..., m}, las segundas senales de objeto de audio estimadas sest,isR, {1, ..., m}, por 5 ejemplo, las senales de objeto de audio potenciadas y no potenciadas, y proporciona las segundas senales de objeto de audio estimadas sest,isR, {1, ..., m}, por ejemplo, las senales de objeto de audio potenciadas y no potenciadas, como salida de la unidad de procesamiento residual 120.

[0090] Adicionalmente, una reestimacion de los OAnP puede llevarse a cabo (no ilustrados en la Fig. 10). Los

10 OAP se eliminan de la mezcla de senales y los OAnP restantes se vuelven a estimar a partir de esta mezcla. Esto produce una estimacion mejorada de estos objetos en comparacion con la estimacion de la mezcla de senales que comprende todas las senales de objetos. Esta reestimacion se puede omitir, si el objetivo es manipular solamente las senales de objeto potenciadas en la mezcla.

15 [0091] La Fig. 11 ilustra un generador de senal residual segun una realizacion, en la que.

[0092] En la Fig. 11, el generador de senal residual 200 comprende ademas una unidad de modificacion de mezcla descendente 250 que se adapta para modificar las tres o mas senales de mezcla descendente para obtener tres o mas senales de mezcla descendente modificadas.

20

[0093] La unidad de decodificacion parametrica 230 se configura para determinar una o mas senales de objeto de audio de las primeras senales de objeto de audio estimadas basandose en las tres o mas senales de mezcla descendente modificadas.

25 [0094] Entonces, la unidad de estimacion residual 240 puede, por ejemplo, determinar una o mas senales

residuales basandose en dichas una o mas senales de objeto de audio de las primeras senales de objeto de audio estimadas.

[0095] En una realizacion, la unidad de modificacion de mezcla descendente 250 puede, por ejemplo,

30 configurarse para modificar las tres o mas senales de mezcla descendente originales para obtener las tres o mas

senales de mezcla descendente modificadas, mediante la eliminacion de una o mas de la pluralidad de senales de objeto de audio originales de la tres o mas senales de mezcla descendente originales.

[0096] En otra realizacion, la unidad de modificacion de mezcla descendente 250 puede, por ejemplo,

35 configurarse para modificar las tres o mas senales de mezcla descendente originales para obtener las tres o mas

senales de mezcla descendente modificadas mediante la generacion de una o mas senales de objeto de audio modificadas basandose en una o mas de las senales de objeto de audio estimadas y basandose en una o mas de las senales residuales, y mediante la eliminacion de una o mas senales de objeto de audio modificadas a partir de las tres o mas senales de mezcla descendente originales. Por ejemplo cada una de las una o mas senales de objeto 40 de audio modificadas pueden generarse por la unidad de modificacion de mezcla descendente mediante la modificacion de una de las senales de objeto de audio estimadas, en la que la unidad de modificacion de mezcla descendente puede adaptarse para modificar dicha senal de objeto de audio estimada en funcion de una de las una o mas senales residuales.

45 [0097] En ambas realizaciones descritas anteriormente, la unidad de modificacion de mezcla descendente

puede, por ejemplo, adaptarse para aplicar la formula

imagen2

50 en la que X es el mezcla descendente a modificar,

en la que D indica las informaciones de mezcla descendente relacionada,

en la que Soap comprende las senales de objeto de audio originales a eliminar o las senales de objeto de audio 55 modificadas a eliminar,

en la que ^°ap indica las ubicaciones de las senales a eliminar, y

en la que X es la serial de mezcla descendente modificada.

[0098] Por ejemplo, una ubicacion (posicion) de una senal de objeto de audio corresponde a la ubicacion (posicion) de su objeto de audio en el listado de todos los objetos.

5

[0099] La Fig. 12 ilustra un decodificador segun una realizacion.

[0100] En la realizacion de la Fig. 12, el decodificador comprende ademas una unidad de modification de mezcla descendente 140.

10

[0101] La unidad de procesamiento residual 120 determina una o mas senales de objeto de audio de la pluralidad de segundas senales de objeto de audio estimadas.

[0102] La unidad de modificacion de mezcla descendente 140 se adapta para eliminar una o mas segundas 15 senales de objeto de audio estimadas determinadas a partir de las tres o mas senales de mezcla descendente para

obtener tres o mas senales de mezcla descendente modificadas.

[0103] La unidad de decodificacion parametrica 110 se configura para determinar una o mas senales de objeto de audio de las primeras senales de objeto de audio estimadas basandose en las tres o mas senales de

20 mezcla descendente modificadas.

[0104] La unidad de procesamiento residual 120 puede entonces por ejemplo determinar una o mas segundas senales de objeto de audio estimadas adicionales basandose en una o mas senales de objeto de audio determinadas de las primeras senales de objeto de audio estimadas.

25

[0105] En una realizacion particular, la unidad de modificacion de mezcla descendente 130 puede, por ejemplo, adaptarse para aplicar la formula:

Xo^p = X-DZ^, Soa„.

30

para eliminar una o mas senales de objeto de audio de la pluralidad de segundas senales de objeto de audio estimadas determinadas por la unidad de procesamiento residual 120 a partir de las tres o mas senales de mezcla descendente para obtener tres o mas senales de mezcla descendente modificadas, en las que

35 X indica las tres o mas senales de mezcla descendente antes de ser modificadas

XoAnP indica las tres o mas senales de mezcla descendente modificadas

D indica una matriz de mezcla descendente 40

Zoap indica una sub-matriz de mapeo que denota las posiciones (ubicaciones) de OAPs.

[0106] (Para mas detalles sobre variantes particulares de esta realizacion, vease la description a continuation).

45

[0107] En lo siguiente, se presenta un concepto de codificacion/decodificacion residual en cascada.

[0108] La Fig. 13 ilustra un concepto de calculo de los componentes residuales de una manera en cascada en un lado del codificador segun una realizacion. En comparacion con el concepto de calculo conjunto residual, la

50 estrategia en cascada reduce en cada etapa de iteration la energla de la energla residual a costa de una mayor complejidad computacional. En cada etapa, una de las senales de objeto de audio originales (sm) (o, en una realizacion alternativa, una senal de objeto de audio estimada; vease las flechas de llneas discontinuas 2461, 2462) de un objeto de audio potenciado se elimina de la mezcla de senal (mezcla descendente) antes de que la mezcla de senal (mezcla descendente) pase a la siguiente unidad de procesamiento 2452. De esta manera, el numero de 55 senales de objeto en la mezcla de senal (mezcla descendente) disminuye con cada etapa de procesamiento. La estimation de la senal de objeto de audio potenciado (la segunda senal de objeto de audio estimada) en la etapa siguiente mejora por ende, lo que reduce sucesivamente la energla de las senales residuales.

[0109] (Cabe senalar, que en la realizacion alternativa, cuando en cada etapa de iteracion, se elimina una

senal de objeto de audio estimada a partir de la mezcla de senal, las subunidades de modificacion de mezcla descendente 2501, 2502 no necesitan recibir las senales de objeto de audio originales sm.

5 [0110] Por el contrario, en la realizacion, cuando en cada etapa de iteracion, se elimina una senal de objeto

de audio original a partir de la mezcla de senal, las subunidades de modificacion de mezcla descendente 2501, 2502 no necesitan recibir las senales de objeto de audio estimadas).

[0111] Con mas detalle, la Fig. 13 ilustra una pluralidad de subunidades de generacion de ISR 2451, 2452. La 10 pluralidad de subunidades de generacion de ISR 2451,2452 forman en conjunto una unidad de generacion de ISR.

[0112] Cada una de la pluralidad de subunidades de generacion de ISR 2451, 2452 comprende una subunidad de decodificacion parametrica 2301. La pluralidad de subunidades de decodificacion parametrica 2301 forma en conjunto una unidad de decodificacion parametrica. Las subunidades de decodificacion parametrica 2301

15 generan las primeras senales de objeto de audio estimadas sest,ISP, {1, .., m>.

[0113] Cada una de la pluralidad de subunidades de generacion de ISR 2451, 2452 comprende una subunidad de estimation residual 2401. La pluralidad de subunidades de estimation residuales 2401 forma en conjunto una unidad de estimacion residual. Las subunidades de estimacion residuales 2401 generan las segundas

20 senales de objeto de audio estimadas sest,ISR,M, sest,ISR,M-1.

[0114] Ademas, la Fig. 13 ilustra una pluralidad de subunidades de modificacion de mezcla descendente 2501, 2502. Cada una de las subunidades de modificacion de mezcla descendente 2501, 2502 forma en conjunto una unidad de modificacion de mezcla descendente.

25

[0115] La Fig. 14 muestra la unidad de "decodificacion de ISR" en cascada empleada en combination con el calculo residual en cascada en el lado del decodificador segun una realizacion.

[0116] En cada etapa, una de las senales de objeto a potenciar se estima por una subunidad de 30 decodificacion parametrica 1101 ("decodificacion de ISP) (para obtener una de las primeras senales de objeto de

audio estimadas sest,ISP,M), y una de las primeras senales de objeto de audio estimadas sest,ISP,M se procesa junto con las correspondientes senales residuales sres,ISR,M por una subunidad de procesamiento residual 1201 ("procesamiento de ISR"), para producir la version de la senal de objeto potenciado (una de las segundas senales de objeto de audio estimadas) Sest,ISR,M. La senal de objeto potenciado sest,ISR,M se cancela desde la senal de mezcla 35 descendente por una subunidad de modificacion de mezcla descendente 1401 ("modificacion de mezcla descendente") antes de que las senales de mezcla descendente modificadas se introduzcan en la siguiente subunidad de decodificacion residual 1252 ("decodificacion residual").

[0117] Igual al concepto conjunto de codificacion/decodificacion residual, los OAnP pueden, ademas, 40 volverse a estimar.

[0118] Con mas detalle, la Fig. 14 ilustra una pluralidad de subunidades de decodificacion residuales 1251, 1252. La pluralidad de subunidades de decodificacion residuales 1251, 1252 forman en conjunto una unidad de decodificacion residual.

45

[0119] Cada una de la pluralidad de subunidades de decodificacion residuales 1251, 1252 comprende una subunidad de decodificacion parametrica 1101. La pluralidad de subunidades de decodificacion parametrica 1101 forma en conjunto una unidad de decodificacion parametrica. Las subunidades de decodificacion parametrica 1101 generan las primeras senales de objeto de audio estimadas sest,ISP, {1, .., m>.

50

[0120] Cada una de la pluralidad de subunidades de decodificacion residuales 1251, 1252 comprende una subunidad de procesamiento residual 1201. La pluralidad de subunidades de procesamiento residual 1201 forma en conjunto una unidad de procesamiento residual. Las subunidades de procesamiento residual 1201 generan las segundas senales de objeto de audio estimadas sest,ISR,M, sest,ISR,M-1.

55

[0121] Ademas, la Fig. 14 ilustra una pluralidad de subunidades de modificacion de mezcla descendente 1401, 1402. Cada una de las subunidades de modificacion de mezcla descendente 1401, 1402 forma en conjunto una unidad de modificacion de mezcla descendente.

[0122] La Fig. 15 ilustra un generador de senal residual segun una realizacion que emplea un concepto en cascada.

[0123] En la Fig. 15, el generador de senal residual comprende una unidad de modification de mezcla 5 descendente 250.

[0124] El generador de senal residual 200 se adapta para llevar a cabo dos o mas etapas de iteration:

Para cada etapa de iteracion, la unidad de decodificacion parametrica 230 se adapta para determinar exactamente 10 una senal de objeto de audio de la pluralidad de senales de objeto de audio estimadas.

[0125] Ademas, para dicha etapa de iteracion, la unidad de estimation residual 240 se adapta para determinar exactamente una senal residual de la pluralidad de senales residuales mediante la modificacion de dicha senal de objeto de audio de la pluralidad de senales de objeto de audio estimadas.

15

[0126] Ademas, para dicha etapa de iteracion, la unidad de modificacion de mezcla descendente 250 se adapta para modificar las tres o mas senales de mezcla descendente.

[0127] En la siguiente etapa de iteracion posterior a dicha etapa de iteracion, la unidad de decodificacion 20 parametrica 230 se adapta para determinar exactamente una senal de objeto de audio de la pluralidad de senales de

objeto de audio estimadas basandose en las tres o mas senales de mezcla descendente que se han modificado.

[0128] La Fig. 16 ilustra un decodificador segun una realizacion, que emplea un concepto en cascada. En la Fig. 16, el decodificador comprende de nuevo una unidad de modificacion de mezcla descendente 140.

25

[0129] El decodificador de la Fig. 16 se adapta para llevar a cabo dos o mas etapas de iteracion:

Para cada etapa de iteracion, la unidad de decodificacion parametrica 110 se adapta para determinar exactamente una senal de objeto de audio de la pluralidad de primeras senales de objeto de audio estimadas.

30

[0130] Ademas, para dicha etapa de iteracion, la unidad de procesamiento residual 120 se adapta para determinar exactamente una senal de objeto de audio de la pluralidad de segundas senales de objeto de audio estimadas modificando dicha senal de objeto de audio de la pluralidad de primeras senales de objeto de audio estimadas.

35

[0131] Ademas, para dicha etapa de iteracion, la unidad de modificacion de mezcla descendente 140 se adapta para eliminar dicha senal de objeto de audio de la pluralidad de segundas senales de objeto de audio estimadas a partir de las tres o mas senales de mezcla descendente para modificar las tres o mas senales de mezcla descendente.

40

[0132] En la siguiente etapa de iteracion posterior a dicha etapa de iteracion, la unidad de decodificacion parametrica 110 se adapta para determinar exactamente una senal de objeto de audio de la pluralidad de primeras senales de objeto de audio estimadas basandose en las tres o mas senales de mezcla descendente que se han modificado.

45

[0133] En lo que sigue, se describe una derivation matematica en el ejemplo del concepto de codificacion/decodificacion residual conjunto:

La siguiente notation se utiliza en lo siguiente:

50

Dimensiones:

Nobjetos - numero de senales de objeto de audio Ncmd - numero de senales de mezcla descendente 55 Ncmezciaascendente - numero de canales de mezcla ascendente

Nmuestras - numero de datos procesados Noap - numero de OAPs

Terminos:

Z* - la estrella-operador (*) indica la transpuesta conjugada de la matriz dada S - senal de objeto de audio original proporcionada al codificador (tamano Nobjetos x Nmuestras)

5 D - matriz de mezcla descendente (tamano Ncmd x Nobjetos)

R - matriz de renderizacion (tamano Ncmezclaascendente X Nobjetos)

X - senal de audio de mezcla descendente X = DS (tamano Ncmd X Nmuestras)

10

Y - senal de salida de audio ideal Y = RS (tamano Ncmezclaascendente X Nmuestras)

Sest - senal de objeto reconstruida parametricamente de manera aproximada Sest =S definida como Sest = GX (tamano Nobjetos X Nmuestras)

15

Sest - la salida del decodificador que comprende todas las senales de OAnPs (parametricamente estimados) y OAP (parametricamente mas residuales) estima el tamano Nobjetos x Nmuestras

Yest - senal de salida de audio de mezcla ascendente de manera aproximada Yest =Y definida como Yest = 20 RSest (tamano Ncmezclaascendente X Nmuestras)

Zoanp; Zoap - sub-matriz de mapeo que indica las ubicaciones de OAnPs y OAPs en el listado de todos los objetos.

25

Nota

imagen3

(tamano (Nobjetos-NoAP) x Nobjetos, NoAP x Nobjetos).

correspondientes matrices de mapeo Zooap se definen como

El OAnP Zoanp y

imagen4

1 Si el objeto j es i - en caso contrario, y es OAnP,

o,

30

35

imagen5

[0134]

Por ejemplo, para Nobjetos = 5 y los objeto numero 2 y 4 son OAPs, estas matrices son

imagen6

1

0 0 0 0 \

0

0

1 0 0 , Zoap — 0 1 0 0

0

0

0

0

1 J 0 0 0 1 0 J

n — ^

Doanp - sub-matriz de mezcla descendente correspondiente a OAnPs, definida como UoanP —u^oanp (tamano Ncmd X (Nobjetos-NoAP))

J) _ T)'/*

DoaP - sub-matriz de mezcla descendente correspondiente a OAPs, definida como J^oap (tamano Ncmd x

NoAP)

G - matriz de estimacion de fuente parametrica (tamano Nobjetos x Ncmd)

E - matriz de covarianza del objeto (tamano Nobjetos x Nobjetos)

Eoanp - sub-matriz de covarianza correspondiente a OAnPs, definida como

(tamano (Nobjetos-NoAP) x (Nobjetos-NoAP))

5 Soap - senal de OAP que comprende las reconstrucciones de OAPs (tamano Noap x Nmuestras)

Soanp - senal OAnP que comprende las reconstrucciones de OAnPs (tamano (Nobjetos-NoAP) x Nmuestras)

Sres - senales residuales para OAPs (tamano Noap x Nmuestras)

10

Xoanp - senal de mezcla descendente modificada que comprende solo senales de OAnPs; calculada como la diferencia entre la mezcla descendente de SAOC y la mezcla descendente de OAPs reconstruidos (tamano Ncmd x

Nmuestras)

15 [0135] Todas las matrices introducidas son (en general) una variante de tiempo y de frecuencia.

[0136] Ahora, se considera un procedimiento general con una reestimacion de la senal de OAnP en el lado del decodificador:

20 El procedimiento general se puede describir como una estrategia de dos etapas con una primera extraccion de todas las senales de OAP de la senal de mezcla descendente correspondiente, y a continuation una reconstruction de todas las senales de OAnP considerando los OAPs. Las senales de objeto se recuperan de la senal de mezcla descendente (X) utilizando ISP (E, D) y la senal residual incorporada (Sres).

25 [0137] Se considera que la senal de salida renderizada final Yest se da como:

imagen7

imagen8

30

[0138] La senal de objeto de salida del decodificador Sest se puede representar como la siguiente suma:

est

ry rj ry * £■<

^ oap ^ oap- ^ Oanp ^Oanp

[0139] La senal de OAP Soap se calcula a partir de la mezcla descendente X con la ayuda de la matriz de

reconstruccion parametrica de OAP Goap y los residuos correspondientes de OAP Sres segun se indica:

35

G X + S

oap res +

[0140] La senal de OAnP Soanp se calcula a partir de la mezcla descendente modificada %oanP con la ayuda

de la matriz de reconstruccion parametrica de OAnP Goanp segun se indica:

40

JOanp

~ri x

Oanp Oanp

[0141] La serial de mezcla descendente modificada X0anp se determina como la diferencia entre la mezcla

descendente X y la correspondiente mezcla descendente de OAPs reconstruidos segun se indica, cancelando de este modo los OAP de la senal de mezcla descendente X:

45

X,

OAnP

X-DZ^S

oap oap

[0142] En este caso, las matrices de reconstruccion de objeto parametricas para OAPs Goap y OAnPs Goanp

se determinan utilizando ISP (E, D) segun se indica:

Goap = ZoapED*J, J«(DED*)"',

imagen9

imagen10

imagen11

5

10

[0143] En lo que sigue, se describe un procedimiento simplificado "A" sin reestimacion de la senal de OAnP

en el lado del decodificador:

Si solo se manipulan OAPs en la mezcla de la senal, la escena diana puede interpretarse como una combination lineal de las senales de mezcla descendente y las senales de OAP. Por ello, la reestimacion adicional de las senales OAnP puede omitirse. El procedimiento general con la reestimacion de la senal de OAnP se puede simplificar en un procedimiento de una unica etapa:

imagen12

+ x

dlf

[0144] La senal Xdif = f(Sres, D) comprende las senales residuales transmitidas de OAPs y los terminos de

compensation residual de modo que se aplica la siguiente definition:

15

imagen13

[0145] Esta condition es suficiente para hacer cualquier escena acustica, que se restringe a manipular solamente OAPs.

20

[0146] Con DSesf = D(Sesf + Xdif ) = X y DSesf = X, la siguiente restriction para el termino Xdif se tiene que cumplir:

25

imagen14

[0147] El termino Xdif consiste en componentes que se determinan por el codificador (y transmitidos o

almacenados) Se y componentes Xoanp a determinar utilizando esta ecuacion.

[0148]

Utilizando las definiciones de la matriz de mezcla descendente (D = DoapZoap + DoanpZoanp) y el termino

( y —7 S + 7'

on t oap ^res ~ ^

30 de compensacion J

X

Oanp ^Oanp

)

se puede derivar la siguiente ecuacion:

DX- I) Z Z S . r D

X

+ D Z Z

X

+ D

z s.

oap oap oap

oanp oanp oanp oanp

oap oap oanp

oanp

oanp oanp

[0149] Con

35 simplificar a:

Z =1

oanp oanp

la ecuacion se puede

D S 4- T> X - 0

*^oap -Oanp Oanp J

40

[0150]

Resolviendo la ecuacion lineal para Xoanp da:

x0anP =-(D^. D

Oanp

D0anp DoapS

[0151] Despues de resolver este sistema de ecuaciones lineales, la escena diana deseada se puede calcular

como la siguiente suma del termino de prediccion parametrica y el termino de mejora residual como:

imagen15

y

imagen16

[0152] En lo que sigue, se proporciona un procedimiento simplificado "B", sin reestimacion de senal de OAnP en el lado del decodificador:

Considere el termino de compensacion Xdtr como anteriormente (Sest= Sest+ Xdtr) para la prediction de la serial

X ,r = H f Z*

parametrica Sesry representela como la siguiente funcion p p de las senales residuales Sres

que dan lugar a:

S,,= Ser, + HofZoapS,.er

10 [0153] Una formulation alternativa comprende las siguientes tres partes incluyendo la combination apropiada

(H Zja Zoa Sof ),

lineal de las senales de mezcla descendente (HmdX), los objetos potenciados po oap oap po y los objetos no potenciados (HesfSesf) tal como se indica:

15

s«,“ X+Hpo( ZoapZpapSpo( + Hk,S£„ .

[0154] Las matrices son de los tamanos Hmd: Nobjetos x Ncmd, Hpot: Nobjetos x Nobjetos, Spot: Nobjetos x Nmuestras, y

Hest: Nobjetos X Nobjetos

20

oap res ■

[0155] Suponiendo que DSest = X y la definicion de esto se puede escribir como:

S = fH D + H , Z* Z +H )s +H f Z* S

est \ md pot oap oap est j esc pot oap res

25

[0156] Comparando esto, y la definicion anterior de las senales reconstruidas Sest = Sest + HpotZ^aopSes, se

desprende que:

H , D + H tZ* Z +H , = I

md pot oap oap est

[0157]

Se puede derivar el termino Hest como:

30

35

H = I-H D

est ext ext

[0158] Se minimizara el error en la reconstruccion final, cuando se minimice la contribucion de las senales no potenciadas. De este modo, la orientacion de Hest =0 permite resolver el termino Hext de un sistema de ecuaciones lineales:

H =D *(D D T

ext ext \ ext ext J

cuando la matriz de mezcla descendente extendida Dext y la matriz de mezcla ascendente Hext se definan como matrices concatenadas:

40

imagen17

5

[0159] Despues de resolver este sistema de ecuaciones lineales, el termino de correccion deseado Xdf puede obtenerse como:

imagen18

[0160] Que conduce a las salidas finales de Yest = RSest, Sest = Sest + Xdf.

5 [0161] En lo que sigue, se considera un procedimiento simplificado "C":

Si solo los OAP se manipulan de una manera arbitraria, cualquier escena diana puede generarse por una combinacion lineal de las senales de mezcla descendente y los OAP. Tenga en cuenta que en lugar de la mezcla descendente, tambien se puede utilizar la mezcla descendente con los OAP cancelados. La escena diana puede 10 generarse perfectamente si el procesamiento residual restablece perfectamente los OAP. La renderizacion de cualquier escena diana se puede efectuar utilizando la busqueda de las dos matrices de renderizacion de los componentes Rd y Roap para la mezcla descendente y las reconstrucciones de OAP. Las matrices tienen los tamanos Rd: Ncmezciaascendente x Ncmd y Roap/ Ncmezciaascendente x Noap. La matriz de renderizacion diana R puede representarse como un producto de las matrices de renderizacion combinadas y la matriz de mezcla 15 descendente como

imagen19

[0162]

20

A partir de ello, Rext se puede resolver con

imagen20

y las sub-matrices Rd y Roap pueden extraerse de la solucion con

25

imagen21

J Ncmd * Ncmd

R = R , 0 ( Nobjetos+■ Ncmd ““ N A/p

0 Nobjetosx Nobjefos

oap y ext j Noapy N oap

[0163]

La escena diana se puede calcular ahora como:

Y

RDX + RoapSoap ,

30

en el que Soapcomprende las reconstrucciones completas de OAPs y se define (como antes)

oap

G X + S

oap I'

35 [0164] Una ecuacion similar se puede formular para la renderizacion de la diana mediante la mezcla

descendente con OAPs cancelados de la mezcla restando DoapSoap de la mezcla descendente.

[0165] En lo siguiente, se describen otra derivacion matematica y mas detalles sobre el concepto de codificacion/decodificacion residual conjunto, y se proporciona una unificacion entre el procedimiento general y la

40 simplificacion "A".

[0166] De ahora en adelante en la description, se aplica la siguiente notation. Si para algunos elementos, la siguiente notacion es incompatible con la notacion proporcionada anteriormente, a partir de ahora en la descripcion,

solo la siguiente notacion se aplica a estos elementos. Definiciones:

10

5 [0167]

S es la senal de objeto de tamano Nobjetos x Nmuestras E = SS* es la matriz de covarianza del objeto de tamano Nobjetos x Nobjetos D es la matriz de mezcla descendente de tamano Ncmd x Nobjetos X = DS es la senal de mezcla descendente de tamano Ncmd x Nmuestras 15 G = ED*J es la matriz de mezcla ascendente de tamano Nobjetos x Ncmd Mren es la matriz de renderizacion de tamano Ncmezciaascendente x Nobjetos Xres es la senal residual de tamano Noap x Nmuestras

Roap es una matriz de tamano Noapx Nobjetos que denota las posiciones (ubicaciones) de OAPs definidos como

20

25

imagen22

Roanp es una matriz de tamano (Nobjetos - Noap) x Nobjetos que denota las posiciones (ubicaciones) de OAnPs definidos como

imagen23

30 [0168] Las sub-matrices de algunos de los anteriores correspondientes a OAnPs se pueden especificar con la

ayuda de las matrices de seleccion Roanp como:

®Oanp *0 an ■p^R Oanp

D Oanp - DR Oanp

GOanp ~ ^Oanp^Oanp^Oanp ~ ^OanpPoanp(^Oanp^Oanp^Oanp) '

“ Roanp^RoanpRoanpD (D Roanp^-Oarpfi^-Oanp^OanfP )

35 [0169] En lo que sigue, se proporciona otra descripcion matematica detallada sobre el procedimiento general

(con reestimacion de la senal de OAnP en el decodificador):

Las senales de objeto se recuperan de la mezcla descendente utilizando las informaciones secundarias y

senales residuales incorporadas. La salida del decodificadorx se produce segun se indica

X = Mre„R08pX0ap + Mre„R

V

LOanp Oanp

El termino de OAP Xoap de tamano Noap con los OAP se calcula segun se indica

5

Xoap = RoapED JX + Xres ,

en el que el termino de senal residual Xres de tamano Noap comprende las senales residuales para OAPs. 10 [0171] El termino OAnP Xoanp de tamano Nobjetos - Noap que comprende OAnPs se calcula como

X — 17 yx T V

^ Oanp t-'Oanp Oanp ^ Oanp ^ Oanp 5

’Oanp

® Oanp ^ Oanp ^ Oanp

cuando la senal de mezcla descendente modificada Xoanp que comprende solo senales de OAnPs se calcule como la 15 diferencia entre la mezcla descendente de SAOC y la mezcla descendente de OAPs reconstruidos

X

Oanp

X - DRoapXoap .

[0172] La sub-matriz de covarianza Eoanp de tamano (Nobjetos - Noap) x (Nobjetos - Noap) que corresponde a 20 OAnPs se calcula como

F FR*

*^.Oanp Oanp Oanp •

[0173] La sub-matriz de mezcla descendente Doanp de tamano Ncmd x (Nobjetos - Noap) que corresponde a 25 OAnPs se calcula como

D

Oanp

- DR

Oanp

[0174] En lo que sigue, se proporciona otra descripcion matematica detallada en el procedimiento "A"

30 simplificado (sin reestimacion de la senal de OAnP en el decodificador):

Las senales de objeto se recuperan de la mezcla descendente utilizando las informaciones secundarias y las senales residuales incorporadas. La salida final del decodificador X se produce segun se indica

35

X = Mren (ED*JX + Xar)

[0175] El termino Xdif de tamano Nobjetos incorpora senales residuales Noap Xres para OAPs y el termino

previsto Xoanp para OAnPs segun se indica

40

Xrf// - Roapxres + R;anp xGa„p

[0176]

El termino previsto Xoanp se estima segun se indica

k Oanp

{^ Oanp ^ Oanp ] ^ Oanp ^-Fap ^re

[0177]

La sub-matriz de mezcla descendente Doap correspondiente a OAPs y Doanp correspondiente a los

objetos regulares se definen como

D = D R + R D0_

oap oap Oanp Oanp

5 [0178]

En lo siguiente, se considera un caso especial de la matriz de renderizacion 1:

Considere el siguiente caso especial de la matriz de renderizacion similar a la mezcla descendente Md del tamano Ncmd x Nobjetos con modification arbitraria de OAPs y solo una escala uniforme (en comparacion con la mezcla descendente) de OAnPs

10

MD = MRoapRoap + aDR0anp R0anp

[0179]

Ahora, se proporciona una description matematica detallada del procedimiento general:

15

imagen24

[0180]

Ahora, se proporciona una descripcion matematica detallada del procedimiento simplificado "A":

imagen25

[0181] Se puede apreciar que los dos resultados son identicos cuando la asuncion de la matriz de reproduction se aplica.

5

[0182] Ahora se considera un caso especial de la matriz de renderizacion 2:

Incluyendo una restriction adicional en la estructura de la matriz de renderizacion Ms del tamano Ncmd x Nobjetos: todos los OAnPs se modifican solamente por un factor de escala comun en comparacion con la mezcla 10 descendente, y tambien todos los OAPs se modifican solamente por un factor de escala comun b en comparacion con la mezcla descendente:

imagen26

15 [0183] Continuando con los resultados anteriores, la salida del sistema sera

X = ZiDRoapXoap + a(x- DRlpXoap)

= aX + (b-a) DR;apXoap = aX + (b~ a)DKap(RoapED*JX + Xw)

[0184] Aunque algunos aspectos se han descrito en el contexto de un aparato, resulta evidente que estos

20 aspectos tambien representan una description del procedimiento correspondiente, en el que un bloque o dispositivo corresponde a una etapa de procedimiento o a una caracterlstica de una etapa del procedimiento. Analogamente, los aspectos descritos en el contexto de una etapa del procedimiento tambien representan una descripcion de un bloque correspondiente o un elemento o caracterlstica de un aparato correspondiente.

25 [0185] La senal descompuesta de la invention puede almacenarse en un medio de almacenamiento digital o

puede transmitirse sobre un medio de transmision, tal como un medio de transmision inalambrico o un medio de transmision por cable, tal como internet.

[0186] En funcion de ciertos requisitos de implementacion, las realizaciones de la invencion pueden

implementarse en hardware o en software. La implementacion puede realizarse utilizando un medio de almacenamiento digital, por ejemplo un disquete, un DVD, un CD, una ROM, una PROM, una EPROM, una EEPROM o una memoria FLASH, que tengan senales de control legibles electronicamente almacenadas en el mismo, que cooperen (o sean capaces de cooperar) con un sistema informatico programable de manera tal que se 5 lleve a cabo el procedimiento respectivo.

[0187] Algunas realizaciones segun la invencion comprenden un portador de datos no transitorio que tiene senales de control electronicamente legibles, que son capaces de cooperar con un sistema informatico programable, de modo que se lleva a cabo uno de los procedimientos descritos en esta invencion.

10

[0188] Generalmente, las realizaciones de la presente invencion pueden implementarse como un producto de programa informatico con un codigo de programa, el codigo de programa es operativo para realizar uno de los procedimientos cuando el producto de programa informatico se ejecuta en un ordenador. El codigo de programa puede almacenarse en un portador legible en maquina, por ejemplo.

15

[0189] Otras realizaciones comprenden el programa informatico para realizar uno de los procedimientos descritos en esta invencion, almacenado en un portador legible en maquina.

[0190] En otras palabras, una realizacion del procedimiento segun la invencion es, por lo tanto, un programa 20 informatico que tiene un codigo de programa para realizar uno de los procedimientos descritos en esta invencion,

cuando el programa informatico se ejecuta en un ordenador.

[0191] Una realizacion adicional de los procedimientos de la invencion es, por lo tanto, un portador de datos (o un medio de almacenamiento digital, o un medio legible por ordenador) que comprende, registrado en el mismo,

25 el programa informatico para realizar uno de los procedimientos descritos en esta invencion.

[0192] Una realizacion adicional del procedimiento de la invencion es, por lo tanto, un flujo de datos o una secuencia de senales que representan el programa informatico para realizar uno de los procedimientos descritos en esta invencion. El flujo de datos o la secuencia de senales puede por ejemplo configurarse para transferirse por

30 medio de una conexion de comunicacion de datos, por ejemplo a traves de internet.

[0193] Una realizacion adicional comprende un medio de procesamiento, por ejemplo un ordenador, o un dispositivo logico programable, configurado o adaptado para realizar uno de los procedimientos descritos en esta invencion.

35

[0194] Una realizacion adicional comprende un ordenador que tiene instalado en el mismo el programa informatico para realizar uno de los procedimientos descritos en esta invencion.

[0195] En algunas realizaciones, se puede utilizar un dispositivo logico programable (por ejemplo una matriz 40 de puertas programables en campo) para realizar algunas o todas las funcionalidades de los procedimientos

descritos en esta invencion. En algunas realizaciones, una matriz de puertas programables en campo podra cooperar con un microprocesador con el fin de realizar uno de los procedimientos descritos en esta invencion. Generalmente, los procedimientos se realizan preferentemente por cualquier aparato de hardware.

45 [0196] Las realizaciones anteriormente descritas son meramente ilustrativas de los principios de la presente

invencion. Se entiende que las modificaciones y variaciones de las disposiciones y los detalles descritos en esta invencion resultaran evidentes para otros expertos en la tecnica. El proposito, por lo tanto, es que se limiten solo por el alcance de las reivindicaciones de patente inminentes y no por los detalles especlficos presentados a modo de descripcion y explication de las realizaciones de esta invencion.

50

REFERENCIAS

[0197]

55 [BCC] C. Faller and F. Baumgarte, "Binaural Cue Coding - Part II: Schemes and applications," IEEE Trans. on Speech and Audio Proc., vol. 11, no. 6, Nov. 2003

[JSC] C. Faller, "Parametric Joint-Coding of Audio Sources", 120th AES Convention, Paris, 2006

5

10

15

20

25

30

[SAOC1] J. Herre, S. Disch, J. Hilpert, O. Hellmuth: "From SAC To SAOC - Recent Developments in Parametric Coding of Spatial Audio", 22nd Regional UK AES Conference, Cambridge, UK, April 2007

[SAOC2] J. Engdegard, B. Resch, C. Falch, O. Hellmuth, J. Hilpert, A. Holzer, L. Terentiev, J. Breebaart, J. Koppens, E. Schuijers and W. Oomen: " Spatial Audio Object Coding (SAOC) - The Upcoming MPEG Standard on Parametric Object Based Audio Coding", 124th AES Convention, Amsterdam 2008

[SAOC] ISO/IEC, "MPEG audio technologies - Part 2: Spatial Audio Object Coding (SAOC)," ISO/IEC JTC1/SC29/WG11 (MPEG) International Standard 23003-2:2010.

[1551] M. Parvaix and L. Girin: "Informed Source Separation of underdetermined instantaneous Stereo Mixtures using Source Index Embedding", IEEE ICASSP, 2010

[1552] M. Parvaix, L. Girin, J.-M. Brossier: "A watermarking-based method for informed source separation of audio signals with a single sensor", IEEE Transactions on Audio, Speech and Language Processing, 2010

[1553] A. Liutkus and J. Pinel and R. Badeau and L. Girin and G. Richard: "Informed source separation through spectrogram coding and data embedding", Signal Processing Journal, 2011

[1554] A. Ozerov, A. Liutkus, R. Badeau, G. Richard: "Informed source separation: source coding meets source separation", IEEE Workshop on Applications of Signal Processing to Audio and Acoustics, 2011

[1555] Shuhua Zhang and Laurent Girin: "An Informed Source Separation System for Speech Signals", INTERSPEECH, 2011

[1556] L. Girin and J. Pinel: "Informed Audio Source Separation from Compressed Linear Stereo Mixtures", AES 42nd International Conference: Semantic Audio, 2011

[Dfx] C. Falch and L. Terentiev and J. Herre: "Spatial Audio Object Coding with Enhanced Audio Object Separation", 10th International Conference on Digital Audio Effects, 2010

Claims (23)

1. REIVINDICACIONES

   1. Un decodificador, que comprende

   5 una unidad de decodificacion parametrica (110) para generar una pluralidad de primeras senales de objeto de audio estimadas mezclando de forma ascendente tres o mas senales de mezcla descendente, en la que las tres o mas senales de mezcla descendente codifican una pluralidad de senales de objeto de audio originales, en la que la unidad de decodificacion parametrica (110) se configura para mezclar de forma ascendente las tres o mas senales de mezcla descendente en funcion de las informaciones secundarias parametricas que indican 10 informaciones sobre la pluralidad de senales de objeto de audio originales, y

   una unidad de procesamiento residual (120) para generar una pluralidad de segundas senales de objeto de audio estimadas mediante la modificacion de una o mas de las primeras senales de objeto de audio estimadas, en la que la unidad de procesamiento residual (120) se configura para modificar dichas una o mas de las primeras senales de objeto de audio estimadas en funcion de una o mas senales residuales,

   15
2. 2. Un decodificador segun la reivindicacion 1,

   en el que el decodificador se adapta para generar al menos tres canales de salida de audio basandose en la pluralidad de segundas senales de objeto de audio estimadas.

   20
3. 3. Un decodificador segun una de las reivindicaciones anteriores,

   en el que el descodificador comprende ademas una unidad de modificacion de mezcla descendente (140) que se adapta para eliminar una o mas senales de objeto de audio de la pluralidad de segundas senales de objeto de audio 25 estimadas determinadas por la unidad de procesamiento residual (120) de las tres o mas senales de mezcla descendente para obtener tres o mas senales de mezcla descendente modificadas, y

   en el que la unidad de decodificacion parametrica (110) se configura para determinar una o mas senales de objeto de audio de las primeras senales de objeto de audio estimadas basandose en las tres o mas senales de mezcla descendente modificadas.

   30
4. 4. Un decodificador segun la reivindicacion 3,

   en el que la unidad de modificacion de mezcla descendente (140) se adapta para aplicar la formula:

   35

   imagen1

   para eliminar una o mas senales de objeto de audio de la pluralidad de segundas senales de objeto de audio estimadas determinadas por la unidad de procesamiento residual (120) de las tres o mas senales de mezcla descendente para obtener tres o mas senales de mezcla descendente modificadas,

   40 en las que

   X indica las tres o mas senales de mezcla descendente antes de ser modificadas %oanp indica las tres o mas senales de mezcla descendente modificadas D indica las informaciones de mezcla descendente

   45 Soap comprende dichas una o mas senales de objeto de audio de la pluralidad de segundas senales de objeto de audio estimadas, y

   z*

   indica las posiciones de dichas una o mas senales de objeto de audio de la pluralidad de segundas senales de objeto de audio estimadas.

   50 5. Un decodificador segun la reivindicacion 4,

   en el que Soap se define segun:

   imagen2

   en el que Goap es una matriz de reconstruccion de objetos de audio potenciados, y

   en el que Sres son una o mas senales residuales que son una o mas senales residuales de objetos de audio

   potenciados.
5. 6. Un decodificador segun la reivindicacion 3 o 4,

   5 en el que el decodificador se adapta para llevar a cabo dos o mas etapas de iteracion, en el que, para cada etapa de iteracion, la unidad de decodificacion parametrica (110) se adapta para determinar exactamente una senal de objeto de audio de la pluralidad de primeras senales de objeto de audio estimadas,

   en el que, para dicha etapa de iteracion, la unidad de procesamiento residual (120) se adapta para determinar exactamente una senal de objeto de audio de la pluralidad de segundas senales de objeto de audio estimadas 10 modificando dicha senal de objeto de audio de la pluralidad de primeras senales de objeto de audio estimadas,

   en el que, para dicha etapa de iteracion, la unidad de modification de mezcla descendente (140) se adapta para eliminar dicha senal de objeto de audio de la pluralidad de segundas senales de objeto de audio estimadas de tres o mas senales de mezcla descendente para modificar las tres o mas senales de mezcla descendente, y en el que, para la siguiente etapa de iteracion posterior a dicha etapa de iteracion, la unidad de decodificacion 15 parametrica (110) se adapta para determinar exactamente una senal de objeto de audio de la pluralidad de primeras senales de objeto de audio estimadas basandose en tres o mas senales de mezcla descendente que se han modificado.
6. 7. Un decodificador segun una de las reivindicaciones 1 a 4 o segun la reivindicacion 6, en el que cada

   20 una de una o mas senales residuales indica una diferencia entre una de la pluralidad de senales de objeto de audio

   originales y una de una o mas primeras senales de objeto de audio estimadas.
7. 8. Un decodificador segun la reivindicacion 1 o 2,

   25 en el que la unidad de procesamiento residual (120) se adapta para generar la pluralidad de segundas senales de objeto de audio estimadas mediante la modificacion de cinco o mas de las primeras senales de objeto de audio estimadas,

   en el que la unidad de procesamiento residual (120) se configura para modificar dichas cinco o mas de las primeras senales de objeto de audio estimadas en funcion de cinco o mas senales residuales.

   30
8. 9. Un decodificador segun la reivindicacion 1 o 2, en el que el decodificador se configura para generar

   siete o mas canales de salida de audio basandose en la pluralidad de segundas senales de objeto de audio

   estimadas.

   35 10. Un decodificador segun una de las reivindicaciones 1 a 4 o segun una de las reivindicaciones 6 a 9, en

   el que el decodificador se adapta para no determinar coeficientes de prediction de canal para determinar la pluralidad de segundas senales de objeto de audio estimadas.
9. 11. Un decodificador segun una de las reivindicaciones 1 a 4 o segun una de las reivindicaciones 6 a 10, 40 en el que el decodificador es un decodificador SAOC de codification de objetos de audio espaciales.
10. 12. Un generador de senal residual (200), que comprende:

    una unidad de decodificacion parametrica (230) para generar una pluralidad de senales de objeto de audio 45 estimadas por mezcla ascendente de tres o mas senales de mezcla descendente, en la que las tres o mas senales de mezcla descendente codifican una pluralidad de senales de objeto de audio originales, en la que la unidad de decodificacion parametrica (230) se configura para mezclar de forma ascendente las tres o mas senales de mezcla descendente en funcion de informaciones secundarias parametricas que indican informaciones sobre la pluralidad de senales de objeto de audio originales, y 50 una unidad de estimation residual (240) para generar una pluralidad de senales residuales basandose en la pluralidad de senales de objeto de audio originales y basandose en la pluralidad de senales de objeto de audio estimadas, de manera tal que cada una de la pluralidad de senales residuales es una senal de diferencia que indica una diferencia entre una de la pluralidad de senales de objeto de audio originales y una de la pluralidad de senales de objeto de audio estimadas.

    55
11. 13. Un generador de senal residual (200) segun la reivindicacion 12,

    en el que el generador de senal residual (200) comprende ademas una unidad de modificacion de mezcla descendente (250) que se adapta para modificar las tres o mas senales de mezcla descendente para obtener tres o

    mas senales de mezcla descendente modificadas, y

    en el que la unidad de decodificacion parametrica (230) se configura para determinar una o mas senales de objeto de audio de las primeras senales de objeto de audio estimadas basandose en las tres o mas senales de mezcla descendente modificadas.

    5
12. 14. Un generador de senal residual (200) segun la reivindicacion 13, en el que la unidad de modification de mezcla descendente (250) se configura para modificar las tres o mas senales de mezcla descendente originales para obtener las tres o mas senales de mezcla descendente modificadas, mediante la elimination de una o mas de la pluralidad de senales de objeto de audio originales de las tres o mas senales de mezcla descendente originales.

    10
13. 15. Un generador de senal residual segun la reivindicacion 14, en el que la unidad de modificacion de mezcla descendente (250) se adapta para aplicar la formula:

    XOAnP = X ~ DZoap Soap .

    15

    para eliminar una o mas de la pluralidad de senales de objeto de audio originales de las tres o mas senales de mezcla descendente para obtener tres o mas senales de mezcla descendente modificadas, en las que

    20 X indica las tres o mas senales de mezcla descendente antes de ser modificadas %0AnP indica las tres o mas senales de mezcla descendente modificadas D indica informaciones de mezcla descendente

    Soap comprende dichas una o mas de la pluralidad de senales de objeto de audio originales, y

    z*

    indica las ubicaciones de dichas una o mas de la pluralidad de senales de objeto de audio originales.

    25
14. 16. Un generador de senal residual (200) segun la reivindicacion 13, en el que la unidad de modificacion de mezcla descendente (250) se configura para modificar las tres o mas senales de mezcla descendente originales para obtener las tres o mas senales de mezcla descendente modificadas mediante la generation de una o mas senales de objeto de audio modificadas basandose en una o mas de las senales de objeto de audio estimadas y

    30 basandose en una o mas de las senales residuales, y mediante la eliminacion de una o mas senales de objeto de audio modificadas de las tres o mas senales de mezcla descendente originales.

    35
15. 17. Un generador de senal residual segun la reivindicacion 16,

    en el que la unidad de modificacion de mezcla descendente (250) se adapta para aplicar la formula:

    imagen3

    para eliminar una o mas de la pluralidad de senales de objeto de audio modificadas de las tres o mas senales de mezcla descendente para obtener tres o mas senales de mezcla descendente modificadas,

    40 en las que

    X indica las tres o mas senales de mezcla descendente antes de ser modificadas %0AnP indica las tres o mas senales de mezcla descendente modificadas D indica informaciones de mezcla descendente 45 Soap comprende dichas una o mas senales de objeto de audio modificadas, y

    z*

    indica las ubicaciones de dichas una o mas de senales de objeto de audio modificadas.

    50
16. 18. Un generador de senal residual segun la reivindicacion 15 o 17,

    en el que Soap se define segun:

    imagen4

    en el que Goap es una matriz de reconstruction de objetos de audio potenciados, y

    en el que Sres son una o mas senales residuales que son una o mas senales residuales de objetos de audio 55 potenciados.
17. 19. Un generador de senal residual (200) segun una de las reivindicaciones 13 a 17,

    en el que el generador de senal residual (200) se adapta para llevar a cabo dos o mas etapas de iteracion,

    5 en el que, para cada etapa de iteracion, la unidad de decodificacion parametrica (230) se adapta para determinar exactamente una senal de objeto de audio de la pluralidad de senales de objeto de audio estimadas, en el que, para dicha etapa de iteracion, la unidad de estimacion residual (240) se adapta para determinar exactamente una senal residual de la pluralidad de senales residuales modificando dicha senal de objeto de audio de la pluralidad de senales de objeto de audio estimadas,

    10 en el que, para dicha etapa de iteracion, la unidad de modificacion de mezcla descendente (250) se adapta para modificar las tres o mas senales de mezcla descendente, y

    en el que, para la siguiente etapa de iteracion posterior a dicha etapa de iteracion, la unidad de decodificacion parametrica (230) se adapta para determinar exactamente una senal de objeto de audio de la pluralidad de senales de objeto de audio estimadas basandose en tres o mas senales de mezcla descendente que se han modificado.

    15
18. 20. Un generador de senal residual (200) segun una de las reivindicaciones 12 a 16 o segun la reivindicacion 18, en el que la unidad de estimacion residual (240) se adapta para generar al menos cinco senales residuales basandose en al menos cinco senales de objeto de audio originales de la pluralidad de senales de objeto de audio originales y basandose en al menos cinco senales de objeto de audio estimadas de la pluralidad de senales

    20 de objeto de audio estimadas.
19. 21. Un codificador para codificar una pluralidad de senales de objeto de audio originales mediante la generacion de tres o mas senales de mezcla descendente, mediante la generacion de informaciones secundarias parametricas y mediante la generacion de una pluralidad de senales residuales, en el que el codificador comprende:

    25

    un generador de mezcla descendente (210) para proporcionar las tres o mas senales de mezcla descendente que indican una mezcla descendente de la pluralidad de senales de objeto de audio originales, un estimador de informaciones secundarias parametricas (220) para generar las informaciones secundarias parametricas que indican informaciones sobre la pluralidad de senales de objeto de audio originales, para 30 obtener las informaciones secundarias parametricas, y

    un generador de senal residual (200) segun una de las realizaciones 12 a 20,

    en el que la unidad de decodificacion parametrica (230) del generador de senal residual (200) se adapta para generar una pluralidad de senales de objeto de audio estimadas por mezcla ascendente de las tres o mas senales de mezcla descendente proporcionadas por el generador de mezcla descendente (210), en el que las 35 senales de mezcla descendente codifican la pluralidad de senales de objeto de audio originales, en el que la unidad de decodificacion parametrica (230) se configura para mezclar de forma ascendente las tres o mas senales de mezcla descendente en funcion de las informaciones secundarias parametricas generadas por el estimador de informaciones secundarias parametricas (220), y

    en el que la unidad de estimacion residual (240) del generador de senal residual (200) se adapta para generar la 40 pluralidad de senales residuales basandose en la pluralidad de senales de objeto de audio originales y basandose en la pluralidad de senales de objeto de audio estimadas, de manera tal que cada una de la pluralidad de senales residuales indica una diferencia entre una de la pluralidad de senales de objeto de audio originales y una de la pluralidad de senales de objeto de audio estimadas.

    45 22. Un codificador segun la reivindicacion 21, en el que el codificador es un codificador SAOC.
20. 23. Un sistema, que comprende:

    un codificador (310) segun la reivindicacion 21 o 22 para codificar una pluralidad de senales de objeto de audio 50 originales mediante la generacion de tres o mas senales de mezcla descendente, mediante la generacion de informaciones secundarias parametricas y mediante la generacion de una pluralidad de senales residuales, y un decodificador (320) segun una de las reivindicaciones 1 a 11, en el que el decodificador (320) se configura para generar una pluralidad de segundas senales de objeto de audio estimadas basandose en las tres o mas senales de mezcla descendente que se generan por el codificador (310), basandose en las informaciones 55 secundarias parametricas que se generan por el codificador (310) y basandose en la pluralidad de senales residuales que se generan por el codificador (310).
21. 24. Una senal de audio codificada, que comprende tres o mas senales de mezcla descendente (410), informaciones secundarias parametricas (420) y una pluralidad de senales residuales (430),

    en la que las tres o mas senales de mezcla descendente (410) son una mezcla descendente de una pluralidad de senales de objeto de audio originales,

    en la que las informaciones secundarias parametricas (420) comprenden parametros que indican informaciones secundarias en la pluralidad de senales de objeto de audio originales,

    5 en la que cada una de la pluralidad de senales residuales (430) es una senal de diferencia que indica una diferencia entre una de la pluralidad de senales de audio originales y una de una pluralidad de senales de objeto de audio estimadas.
22. 25. Un procedimiento, que comprende:

    10

    generar una pluralidad de primeras senales de objeto de audio estimadas por mezcla ascendente de tres o mas senales de mezcla descendente, en el que las tres o mas senales de mezcla descendente codifican una pluralidad de senales de objeto de audio originales, en el que generar la pluralidad de primeras senales de objeto de audio estimadas comprende la mezcla ascendente de las tres o mas de senales de mezcla descendente en 15 funcion de las informaciones secundarias parametricas que indican informaciones sobre la pluralidad de senales de objeto de audio originales, y:

    generar una pluralidad de segundas senales de objeto de audio estimadas modificando una o mas de las primeras senales de objeto de audio estimadas, en el que generar una pluralidad de segundas senales de objeto de audio estimadas comprende modificar dicha una o mas de las primeras senales de objeto de audio estimadas 20 en funcion de una o mas senales residuales.
23. 26. Un procedimiento, que comprende:

    generar una pluralidad de senales de objeto de audio estimadas por mezcla ascendente de tres o mas senales 25 de mezcla descendente, en el que las tres o mas senales de mezcla descendente codifican una pluralidad de senales de objeto de audio originales, en el que generar la pluralidad de senales de objeto de audio estimadas comprende la mezcla ascendente de las tres o mas de senales de mezcla descendente en funcion de las informaciones secundarias parametricas que indican informaciones sobre la pluralidad de senales de objeto de audio originales. y

    30 generar una pluralidad de senales residuales basandose en la pluralidad de senales de objeto de audio originales y basandose en la pluralidad de senales de objeto de audio estimadas, de manera tal que cada una de la

    pluralidad de senales residuales es una senal de diferencia que indica una diferencia entre una de la pluralidad

    de senales de objeto de audio originales y una de la pluralidad de senales de objeto de audio estimadas.

    35 27. Un programa informatico adaptado para implementar el procedimiento de la reivindicacion 25 o 26

    cuando se ejecuta en un ordenador o en un procesador de senal.