RU2389155C2

RU2389155C2 - Elimination of time delays on signal processing channels

Info

Publication number: RU2389155C2
Application number: RU2008120661/09A
Authority: RU
Inventors: Хее Сук ПАНГ (KR); Хее Сук ПАНГ; Донг Соо КИМ (KR); Донг Соо КИМ; Дзае Хиун ЛИМ (KR); Дзае Хиун ЛИМ; Хиен О ОХ (KR); Хиен О ОХ; Йанг Вон ДЗУНГ (KR); Йанг Вон ДЗУНГ
Original assignee: ЭлДжи ЭЛЕКТРОНИКС ИНК.
Priority date: 2005-10-24
Filing date: 2006-10-02
Publication date: 2010-05-10
Also published as: RU2008120661A

Abstract

FIELD: physics.

SUBSTANCE: disclosed embodiments include a method and a device for decoding an audio signal and a computer readable carrier for compensating for one or more signals and/or one or more parametres with regards to time delays on one or more signal processing channels.

EFFECT: improved audio quality due to compensation for difference in timing.

5 cl, 10 dwg

Description

Область техники, к которой относится изобретениеFIELD OF THE INVENTION

Раскрытые варианты осуществления относятся, в целом, к обработке сигнала.The disclosed embodiments relate generally to signal processing.

Уровень техникиState of the art

Многоканальное аудиокодирование (обычно именуемое пространственным аудиокодированием) заключает пространственное изображение многоканального аудиосигнала в компактный набор пространственных параметров, которые можно использовать для синтеза высококачественного многоканального представления из переданного низведенного сигнала (сигнала, полученного путем понижающего микширования).Multi-channel audio coding (commonly referred to as spatial audio coding) encapsulates the spatial image of a multi-channel audio signal in a compact set of spatial parameters that can be used to synthesize high-quality multi-channel representations from the transmitted downmix signal (signal obtained by downmixing).

В многоканальной аудиосистеме, поддерживающей несколько схем кодирования, низведенный сигнал может испытывать задержку по времени относительно других низведенных сигналов и/или соответствующих пространственных параметров вследствие обработки сигнала (например, преобразований из временного измерения в частотное).In a multi-channel audio system supporting several coding schemes, the downmix signal may experience a time delay with respect to other downmix signals and / or corresponding spatial parameters due to signal processing (for example, transformations from a time dimension to a frequency one).

Сущность изобретенияSUMMARY OF THE INVENTION

Цели настоящего изобретения можно добиться, обеспечив способ обработки аудиосигнала, содержащий этапы, на которых: принимают аудиосигнал, включающий в себя низведенный сигнал и пространственную информацию; преобразуют низведенный сигнал из первого измерения во второе измерение для обеспечения первого преобразованного низведенного сигнала; преобразуют первый преобразованный низведенный сигнал из второго измерения в третье измерение для обеспечения второго преобразованного низведенного сигнала; и объединяют второй преобразованный низведенный сигнал и пространственную информацию, в котором объединенная пространственная информация задержана на промежуток времени, который включает в себя истекшее время преобразования.The objectives of the present invention can be achieved by providing a method for processing an audio signal, comprising the steps of: receiving an audio signal including a downmix signal and spatial information; converting a downmix signal from a first measurement to a second dimension to provide a first converted downmix signal; converting the first converted downmix signal from the second dimension to the third dimension to provide a second converted downmix signal; and combining the second converted downmix signal and spatial information in which the combined spatial information is delayed by a period of time that includes the elapsed conversion time.

Краткое описание чертежейBrief Description of the Drawings

В прилагаемых чертежах, которые призваны обеспечивать лучшее понимание изобретения и составляют часть данной заявки, представлен(ы) вариант(ы) осуществления изобретения и, совместно с описанием, служат для пояснения принципов изобретения. На чертежах:In the accompanying drawings, which are intended to provide a better understanding of the invention and form part of this application, embodiment (s) of the invention are presented and, together with the description, serve to explain the principles of the invention. In the drawings:

фиг.1-3 - блок-схемы устройств декодирования аудиосигнала согласно вариантам осуществления настоящего изобретения, соответственно;1-3 are block diagrams of audio decoding devices according to embodiments of the present invention, respectively;

фиг.4 - блок-схема блока многоканального декодирования, показанного на фиг. 1, для пояснения способа обработки сигнала;FIG. 4 is a block diagram of a multi-channel decoding unit shown in FIG. 1, to explain a signal processing method;

фиг.5 - блок-схема блока многоканального декодирования, показанного на фиг.2, для пояснения способа обработки сигнала; и5 is a block diagram of a multi-channel decoding unit shown in FIG. 2, for explaining a signal processing method; and

фиг.6-10 - блок-схемы для пояснения способа декодирования аудиосигнала согласно другому варианту осуществления настоящего изобретения.6-10 are flowcharts for explaining a method for decoding an audio signal according to another embodiment of the present invention.

Предпочтительные варианты осуществления изобретенияPreferred Embodiments

Обратимся к подробному описанию предпочтительных вариантов осуществления настоящего изобретения, примеры которых проиллюстрированы на прилагаемых чертежах. По возможности, одинаковые или сходные детали обозначены на чертежах одинаковыми позициями.Turning to the detailed description of preferred embodiments of the present invention, examples of which are illustrated in the accompanying drawings. If possible, the same or similar parts are indicated in the drawings by the same reference numbers.

Поскольку обработка сигнала для аудиосигнала возможна в нескольких измерениях и, в частности, во временном измерении, аудиосигнал подлежит соответствующей обработке с учетом выравнивания по времени.Since signal processing for an audio signal is possible in several dimensions, and in particular in a time dimension, the audio signal must be appropriately processed taking into account time alignment.

Таким образом, при обработке аудиосигнала можно преобразовывать измерение аудиосигнала. Преобразование измерения аудиосигнала может включать в себя преобразование T/F (временного/частотного) измерения и комплексное преобразование измерения. Преобразование T/F измерения включает в себя, по меньшей мере, одно из преобразования сигнала во временном измерении в сигнал в частотном измерении и преобразования сигнала в частотном измерении в сигнал во временном измерении. Комплексное преобразование измерения означает преобразование измерения согласно сложности операции обработки аудиосигнала. Кроме того, комплексное преобразование измерения включает в себя преобразование сигнала в действительном частотном измерении в сигнал в комплексном частотном измерении, сигнала в комплексном частотном измерении в сигнал в действительном частотном измерении и т.д. Если аудиосигнал обрабатывается без учета выравнивания по времени, качество звучания может ухудшаться. Для выравнивания может осуществляться обработка задержки. Обработка задержки может включать в себя, по меньшей мере, одну из задержки кодирования и задержки декодирования. Задержка кодирования означает, что сигнал задерживается на величину задержки, учитываемую при кодировании сигнала. Задержка декодирования означает задержку в реальном времени, вносимую при декодировании сигнала.Thus, when processing the audio signal, it is possible to convert the measurement of the audio signal. The measurement conversion of the audio signal may include a T / F (time / frequency) measurement conversion and a complex measurement conversion. The T / F conversion of the measurement includes at least one of converting the signal in the time dimension to a signal in the frequency dimension and converting the signal in the frequency dimension to a signal in the time dimension. Comprehensive measurement conversion means measuring conversion according to the complexity of the audio signal processing operation. In addition, the complex conversion of the measurement includes the conversion of the signal in the actual frequency measurement into a signal in the complex frequency measurement, the signal in the complex frequency measurement into a signal in the actual frequency measurement, etc. If the audio signal is processed without timing equalization, the sound quality may deteriorate. For alignment, delay processing may be performed. The delay processing may include at least one of a coding delay and a decoding delay. Encoding delay means that the signal is delayed by the amount of delay taken into account when encoding the signal. Decoding delay means the real-time delay introduced by decoding the signal.

'Входное измерение низведенного сигнала' означает измерение низведенного сигнала, поступающего на блок многоканального декодирования, который генерирует многоканальный аудиосигнал.“Input downmix measurement” means measuring a downmix signal to a multi-channel decoding unit that generates a multi-channel audio signal.

'Входное измерение остаточного сигнала' означает измерение остаточного сигнала, поступающего на блок многоканального декодирования.'Input measurement of the residual signal' means the measurement of the residual signal supplied to the multi-channel decoding unit.

'Данные временного ряда' означают данные, нуждающиеся в синхронизации по времени с многоканальным аудиосигналом или в выравнивании по времени. Некоторые примеры 'данных временного ряда' включает в себя данные движущихся изображений, неподвижных изображений, текста и т.д.'Time series data' means data that needs to be time synchronized with a multi-channel audio signal or time aligned. Some examples of 'time series data' includes data from moving images, still images, text, etc.

'Опережение' означает процесс продвижения сигнала на указанное время.'Lead' means the process of advancing a signal by a specified time.

'Отставание' означает процесс задерживания сигнала на указанное время.'Lag' means the process of delaying a signal for a specified time.

'Пространственная информация' означает информацию для синтеза многоканальных аудиосигналов. Пространственная информация может представлять собой пространственные параметры, включающие в себя, но без ограничения: CLD (разность уровней каналов), указывающую различие в энергии между двумя каналами, ICC (межканальную когерентность), указывающую корреляцию между двумя каналами), CPC (коэффициент прогнозирования канала), который представляет собой коэффициент прогнозирования, используемый при генерации трех каналов из двух каналов, и т.д.'Spatial information' means information for the synthesis of multi-channel audio signals. Spatial information can be spatial parameters, including, but not limited to: CLD (channel level difference), which indicates the difference in energy between the two channels, ICC (inter-channel coherence), which indicates the correlation between the two channels), CPC (channel prediction coefficient) , which is the prediction coefficient used when generating three channels from two channels, etc.

Описанное здесь декодирование аудиосигнала является одним примером обработки сигнала, которую можно осуществлять согласно настоящему изобретению. Настоящее изобретение применимо также к другим типам обработки сигнала (например, обработке видеосигнала). Описанные здесь варианты осуществления можно видоизменить так, чтобы они включали в себя любое количество сигналов, которые можно представить в измерении любого вида, в том числе, но без ограничения: времени, квадратурного зеркального фильтра (QMF), модифицированного дискретного косинусного преобразования (MDCT), сложности и т.д.The audio decoding described herein is one example of signal processing that can be performed according to the present invention. The present invention is also applicable to other types of signal processing (e.g., video signal processing). The embodiments described herein can be modified to include any number of signals that can be represented in any kind of measurement, including, but not limited to: time, quadrature mirror filter (QMF), modified discrete cosine transform (MDCT), difficulties etc.

Способ обработки аудиосигнала согласно одному варианту осуществления настоящего изобретения включает в себя генерацию многоканального аудиосигнала путем объединения низведенного сигнала и пространственной информации. Может существовать совокупность измерений для представления низведенного сигнала (например, временное измерение, QMF, MDCT). Поскольку преобразования между измерениями может вносить задержку по времени на тракте обработки низведенного сигнала, необходим этап компенсации разницы в синхронизации по времени между низведенным сигналом и пространственной информацией, соответствующей низведенному сигналу. Компенсация разницы в синхронизации по времени может включать в себя задерживание, по меньшей мере, одного из низведенного сигнала и пространственной информации. Несколько вариантов осуществления компенсации разницы в синхронизации по времени между двумя сигналами и/или между сигналами и параметрами описано ниже со ссылкой на прилагаемые чертежи.An audio signal processing method according to one embodiment of the present invention includes generating a multi-channel audio signal by combining a downmix signal and spatial information. A set of measurements may exist to represent the downmix signal (e.g., time measurement, QMF, MDCT). Since the conversion between measurements can introduce a time delay on the processing path of the downmix signal, a step is necessary to compensate for the difference in time synchronization between the downmix signal and spatial information corresponding to the downmix signal. Compensation for the difference in time synchronization may include delaying at least one of the downmix signal and spatial information. Several embodiments of compensating for differences in time synchronization between two signals and / or between signals and parameters are described below with reference to the accompanying drawings.

Любое упоминание здесь термина "устройство" не предусматривает ограничения описанного варианта осуществления аппаратной реализацией. Описанные здесь варианты осуществления можно реализовать посредством оборудования, программного обеспечения, программно-аппаратного обеспечения или любой их комбинации.Any reference to the term “device” here does not limit the described embodiment to a hardware implementation. The embodiments described herein may be implemented by hardware, software, firmware or any combination thereof.

Описанные здесь варианты осуществления можно реализовать в виде команд на компьютерно-считываемом носителе, которые при выполнении на процессоре (например, компьютерном процессоре) предписывают процессору осуществлять операции, которые обеспечивают различные аспекты настоящего описанного здесь изобретения. Термин "компьютерно-считываемый носитель" означает любой носитель, который участвует в обеспечении команд для выполнения процессором, в том числе, но без ограничения, энергонезависимые носители (например, оптические или магнитные диски), энергозависимые носители (например, память) и среды связи. Среды связи включает в себя, без ограничения, коаксиальные кабели, медные провода и оптические волокна. Среды связи также могут иметь вид акустических, световых или радиоволн.The embodiments described herein may be implemented as instructions on a computer-readable medium that, when executed on a processor (eg, a computer processor), instructs the processor to perform operations that provide various aspects of the present invention described herein. The term “computer-readable medium” means any medium that is involved in providing instructions for execution by a processor, including but not limited to non-volatile media (eg, optical or magnetic disks), volatile media (eg, memory), and communication media. Communication media includes, without limitation, coaxial cables, copper wires, and optical fibers. Communication media can also be in the form of acoustic, light or radio waves.

На фиг.1 показана схема устройства декодирования аудиосигнала согласно одному варианту осуществления настоящего изобретения.1 is a diagram of an audio decoding apparatus according to one embodiment of the present invention.

Согласно фиг.1, устройство декодирования аудиосигнала согласно одному варианту осуществления настоящего изобретения включает в себя блок 100 низводящего декодирования и блок 200 многоканального декодирования.1, an audio signal decoding apparatus according to one embodiment of the present invention includes a downmix decoding unit 100 and a multi-channel decoding unit 200.

Блок 100 низводящего декодирования включает в себя блок преобразования в другое измерение 110. В показанном примере, блок 100 низводящего декодирования передает низведенный сигнал XQ1, обработанный в измерении QMF, на блок 200 многоканального декодирования без дополнительной обработки. Блок 100 низводящего декодирования также передает низведенный сигнал во временном измерении XT1 на блок 200 многоканального декодирования, который генерируется путем преобразования низведенного сигнала XQ1 из измерения QMF во временное измерение с использованием блока 110 преобразования. Методы преобразования аудиосигнала из измерения QMF во временное измерение общеизвестны и включены в общедоступные стандарты обработки аудиосигнала (например, MPEG).The downmix decoding unit 100 includes a conversion unit to another measurement 110. In the example shown, the downmix decoding unit 100 transmits the downmix signal XQ1 processed in the QMF measurement to the multi-channel decoding unit 200 without further processing. The downmix decoding unit 100 also transmits the downmix signal in the time dimension XT1 to the multi-channel decoding unit 200, which is generated by converting the downmix signal XQ1 from the QMF measurement to the time dimension using the transform unit 110. Methods for converting an audio signal from a QMF measurement to a temporal measurement are well known and are included in generally accepted audio signal processing standards (e.g. MPEG).

Блок 200 многоканального декодирования генерирует многоканальный аудиосигнал XM1 с использованием низведенного сигнала XT1 или XQ1 и пространственной информации SI1 или SI2.The multi-channel decoding unit 200 generates a multi-channel audio signal XM1 using a downmix signal XT1 or XQ1 and spatial information SI1 or SI2.

На фиг.2 показана схема устройства декодирования аудиосигнала согласно другому варианту осуществления настоящего изобретения.2 is a diagram of an audio decoding apparatus according to another embodiment of the present invention.

Согласно фиг.2, устройство декодирования аудиосигнала согласно другому варианту осуществления настоящего изобретения включает в себя блок 100a низводящего декодирования, блок 200a многоканального декодирования и блок 300a преобразования в другое измерение.2, an audio decoding apparatus according to another embodiment of the present invention includes a downmix decoding unit 100a, a multi-channel decoding unit 200a, and a conversion unit 300a to another dimension.

Блок 100a низводящего декодирования включает в себя блок 110a преобразования в другое измерение. В показанном примере блок низводящего декодирования 100a выводит низведенный сигнал Xm, обработанный в измерении MDCT. Блок 100a низводящего декодирования также выводит низведенный сигнал XT2 во временном измерении, который генерируется путем преобразования Xm из измерения MDCT во временное измерение с использованием блока 110a преобразования.The downmix decoding unit 100a includes a conversion unit 110a to another dimension. In the example shown, the downmix decoding unit 100a outputs the downmix signal Xm processed in the MDCT measurement. The downmix decoding unit 100a also outputs the downmix signal XT2 in the time dimension, which is generated by converting Xm from the MDCT measurement into the time dimension using the transform unit 110a.

Низведенный сигнал XT2 во временном измерении передается на блок 200a многоканального декодирования. Низведенный сигнал Xm в измерении MDCT проходит через блок 300a преобразования в другое измерение, где он преобразуется в низведенный сигнал XQ2 в измерении QMF. Преобразованный низведенный сигнал XQ2 затем передается на блок 200a многоканального декодирования.The downmix signal XT2 in the time dimension is transmitted to the multi-channel decoding unit 200a. The downmix signal Xm in the MDCT measurement passes through the conversion unit 300a to another dimension, where it is converted to the downmix signal XQ2 in the QMF measurement. The converted downmix signal XQ2 is then transmitted to the multi-channel decoding unit 200a.

Блок 200a многоканального декодирования генерирует многоканальный аудиосигнал XM2 с использованием переданного низведенного сигнала XT2 или XQ2 и пространственной информации SI3 или SI4.The multi-channel decoding unit 200a generates a multi-channel audio signal XM2 using the transmitted downmix signal XT2 or XQ2 and spatial information SI3 or SI4.

На фиг.3 показана схема устройства декодирования аудиосигнала согласно другому варианту осуществления настоящего изобретения.3 is a diagram of an audio decoding apparatus according to another embodiment of the present invention.

Согласно фиг.3, устройство декодирования аудиосигнала согласно другому варианту осуществления настоящего изобретения включает в себя блок 100b низводящего декодирования, блок 200b многоканального декодирования, блок 400b остаточного декодирования и блок 500b преобразования в другое измерение.3, an audio decoding apparatus according to another embodiment of the present invention includes a downmix decoding unit 100b, a multi-channel decoding unit 200b, a residual decoding unit 400b, and a conversion unit 500b to another dimension.

Блок 100b низводящего декодирования включает в себя блок 110b преобразования в другое измерение. Блок низводящего декодирования 100b передает низведенный сигнал XQ3, обработанный в измерении QMF, на блок 200b многоканального декодирования без дополнительной обработки. Блок 100b низводящего декодирования также передает низведенный сигнал XT3 на блок 200b многоканального декодирования, который генерируется путем преобразования низведенного сигнала XQ3 из измерения QMF во временное измерение с использованием блока 110b преобразования.The downmix decoding unit 100b includes a conversion unit 110b to another dimension. The downmix decoding unit 100b transmits the downmix signal XQ3 processed in the QMF measurement to the multi-channel decoding unit 200b without further processing. The downmix decoding unit 100b also transmits the downmix signal XT3 to a multi-channel decoding unit 200b, which is generated by converting the downmix signal XQ3 from the QMF measurement to a time dimension using the mapper 110b.

В некоторых вариантах осуществления кодированный остаточный сигнал RB поступает в блок 400b остаточного декодирования и затем обрабатывается. В этом случае, обработанный остаточный сигнал RM является сигналом в измерении MDCT. Остаточный сигнал может представлять собой, например, сигнал ошибки прогнозирования, широко используемый в приложениях аудиокодирования (например, MPEG).In some embodiments, the encoded residual signal RB is supplied to the residual decoding unit 400b and then processed. In this case, the processed residual signal RM is a signal in the MDCT measurement. The residual signal may be, for example, a prediction error signal widely used in audio coding applications (e.g., MPEG).

Затем остаточный сигнал RM в измерении MDCT преобразуется в остаточный сигнал RQ в измерении QMF блоком 500b преобразования в другое измерение и затем передается на блок 200b многоканального декодирования.Then, the residual signal RM in the MDCT measurement is converted to the residual signal RQ in the QMF measurement by the conversion to another measurement unit 500b and then transmitted to the multi-channel decoding unit 200b.

Если измерение остаточного сигнала, обработанного и выведенного на блоке 400b остаточного декодирования, является входным измерением остаточного сигнала, обработанный остаточный сигнал может передаваться на блок 200b многоканального декодирования, не подвергаясь процессу преобразования в другое измерение.If the measurement of the residual signal processed and output to the residual decoding unit 400b is an input measurement of the residual signal, the processed residual signal may be transmitted to the multi-channel decoding unit 200b without undergoing a conversion process to another measurement.

На фиг.3 показано, что в некоторых вариантах осуществления блок 500b преобразования в другое измерение преобразует остаточный сигнал RM в измерении MDCT в остаточный сигнал RQ в измерении QMF. В частности, блок 500b преобразования в другое измерение способен преобразовывать остаточный сигнал RM, выводимый из блока 400b остаточного декодирования, в остаточный сигнал RQ в измерении QMF.FIG. 3 shows that in some embodiments, the transform to other measurement unit 500b converts the residual signal RM in the MDCT measurement to the residual signal RQ in the QMF measurement. In particular, the unit 500b converting to another dimension is capable of converting the residual signal RM output from the residual decoding unit 400b to the residual signal RQ in the QMF measurement.

Как отмечено в вышеприведенном описании, может существовать совокупность измерений низведенного сигнала, что может приводить к разнице в синхронизации по времени между низведенным сигналом и пространственной информацией, которую, возможно, потребуется компенсировать. Ниже описаны различные варианты осуществления компенсации разницы в синхронизации по времени.As noted in the above description, there may be a plurality of measurements of the downmix signal, which can lead to a difference in time synchronization between the downmix signal and spatial information, which may need to be compensated. Various embodiments of compensating for differences in time synchronization are described below.

При обработке аудиосигнала согласно одному варианту осуществления настоящего изобретения генерируется многоканальный аудиосигнал путем декодирования кодированного аудиосигнала, включающего в себя низведенный сигнал и пространственную информацию.When processing an audio signal according to one embodiment of the present invention, a multi-channel audio signal is generated by decoding an encoded audio signal including a downmix signal and spatial information.

В ходе декодирования низведенный сигнал и пространственная информация подвергаются различным процессам, которые могут создавать разные задержки по времени.During decoding, the downmix signal and spatial information undergo various processes that can create different time delays.

В ходе кодирования низведенный сигнал и пространственная информация могут кодироваться с синхронизацией по времени.During the encoding, the downmix signal and spatial information can be time synchronized.

В таком случае низведенный сигнал и пространственную информацию можно синхронизировать по времени исходя из того, в каком измерении низведенный сигнал, обработанный на блоке 100, 100a или 100b низводящего декодирования, передается на блок 200, 200a или 200b многоканального декодирования.In this case, the downmix signal and spatial information can be synchronized in time based on the measurement in which the downmix signal processed at the downmix decoding unit 100, 100a or 100b is transmitted to the multi-channel decoding unit 200, 200a or 200b.

В некоторых вариантах осуществления в кодированный аудиосигнал может быть включен идентификатор низводящего кодирования для идентификации измерения, в котором установлена синхронизация по времени между низведенным сигналом и пространственной информацией. В таком случае идентификатор низводящего кодирования может указывать схему декодирования низведенного сигнала.In some embodiments, a downmix coding identifier may be included in the encoded audio signal to identify a measurement in which time synchronization is established between the downmix signal and spatial information. In this case, the downmix coding identifier may indicate a decoding scheme of the downmix signal.

Например, если идентификатор низводящего кодирования указывает схему декодирования «усовершенствованное аудиокодирование» (AAC), то кодированный аудиосигнал можно декодировать AAC-декодером.For example, if the downmix coding identifier indicates an Advanced Audio Coding (AAC) decoding scheme, then the encoded audio signal may be decoded by an AAC decoder.

В некоторых вариантах осуществления идентификатор низводящего кодирования также можно использовать для определения измерения, в котором установлена синхронизация по времени между низведенным сигналом и пространственной информацией.In some embodiments, the downmix coding identifier may also be used to determine a measurement in which time synchronization is established between the downmix signal and spatial information.

В способе обработки аудиосигнала согласно одному варианту осуществления настоящего изобретения низведенный сигнал можно обрабатывать в измерении, отличном от измерения, в котором установлена синхронизация по времени, и затем передавать на блок 200, 200a или 200b многоканального декодирования. В этом случае блок 200, 200a или 200b декодирования компенсирует синхронизацию по времени между низведенным сигналом и пространственной информацией для генерации многоканального аудиосигнала.In the method for processing an audio signal according to one embodiment of the present invention, the downmix signal can be processed in a measurement other than a measurement in which time synchronization is set, and then transmitted to a multi-channel decoding unit 200, 200a or 200b. In this case, the decoding unit 200, 200a or 200b compensates for the time synchronization between the downmix signal and spatial information to generate a multi-channel audio signal.

Способ компенсации разницы в синхронизации по времени между низведенным сигналом и пространственной информацией объяснен ниже со ссылкой на фиг.1 и фиг.4.A method of compensating for the difference in time synchronization between the downmix signal and spatial information is explained below with reference to FIG. 1 and FIG. 4.

На фиг.4 показана блок-схема блока 200 многоканального декодирования, показанного на фиг.1.FIG. 4 shows a block diagram of a multi-channel decoding unit 200 shown in FIG. 1.

Согласно фиг.1 и фиг.4, в способе обработки аудиосигнала согласно одному варианту осуществления настоящего изобретения, низведенный сигнал, обработанный на блоке 100 низводящего декодирования (фиг.1), может передаваться на блок 200 многоканального декодирования в одном из двух видов измерений. Согласно настоящему варианту осуществления предполагается, что низведенный сигнал и пространственная информация согласованы друг с другом посредством синхронизации по времени в измерении QMF. Возможны и другие измерения.According to FIG. 1 and FIG. 4, in an audio signal processing method according to one embodiment of the present invention, a downmix signal processed at the downmix decoding unit 100 (FIG. 1) can be transmitted to the multi-channel decoding unit 200 in one of two types of measurements. According to the present embodiment, it is assumed that the downmix signal and spatial information are consistent with each other by time synchronization in the QMF measurement. Other dimensions are possible.

В примере, показанном на фиг.4, низведенный сигнал XQ1, обработанный в измерении QMF, передается на блок 200 многоканального декодирования для обработки сигнала.In the example shown in FIG. 4, the downmix signal XQ1 processed in the QMF measurement is transmitted to the multi-channel decoding unit 200 for signal processing.

Переданный низведенный сигнал XQ1 объединяется с пространственной информацией SI1 на блоке 230 многоканальной генерации для генерации многоканального аудиосигнала XM1.The transmitted downmix signal XQ1 is combined with spatial information SI1 on the multi-channel generation unit 230 to generate a multi-channel audio signal XM1.

В этом случае пространственная информация SI1 объединяется с низведенным сигналом XQ1 после задержки на время, соответствующее синхронизации по времени при кодировании. Задержка может представлять собой задержку кодирования. Поскольку пространственная информация SI1 и низведенный сигнал XQ1 синхронизированы по времени при кодировании, многоканальный аудиосигнал можно генерировать без особого процесса согласования синхронизации. Таким образом, в этом случае пространственная информация ST1 не испытывает задержку, равную задержке декодирования.In this case, the spatial information SI1 is combined with the downmix signal XQ1 after a time delay corresponding to time synchronization during encoding. The delay may be a coding delay. Since the spatial information SI1 and the downmix signal XQ1 are time synchronized during encoding, a multi-channel audio signal can be generated without a particular synchronization matching process. Thus, in this case, the spatial information ST1 does not experience a delay equal to the decoding delay.

Помимо XQ1, низведенный сигнал XT1, обработанный во временном измерении, передается на блок 200 многоканального декодирования для обработки сигнала. Согласно фиг.1, низведенный сигнал XQ1 в измерении QMF преобразуется в низведенный сигнал XT1 во временном измерении блоком 110 преобразования в другое измерение, и низведенный сигнал XT1 во временном измерении передается на блок 200 многоканального декодирования.In addition to XQ1, the downmix signal XT1 processed in the time dimension is transmitted to the multi-channel decoding unit 200 for signal processing. 1, the downmix signal XQ1 in the QMF measurement is converted to the downmix signal XT1 in the time domain by the transform to other dimension unit 110, and the downmix signal XT1 in the time domain is transmitted to the multi-channel decoding unit 200.

Согласно фиг.4, переданный низведенный сигнал XT1 преобразуется в низведенный сигнал XQ1 в измерении QMF блоком 210 преобразования в другое измерение.According to FIG. 4, the transmitted downmix signal XT1 is converted to the downmix signal XQ1 in the QMF measurement by the conversion unit 210 to another dimension.

При передаче низведенного сигнала XT1 во временном измерении на блок 200 многоканального декодирования, по меньшей мере, один из низведенного сигнала XQ1 и пространственной информации SI2 может передаваться на блок 230 многоканальной генерации по завершении компенсации задержки по времени.When transmitting the downmix signal XT1 in time measurement to the multi-channel decoding unit 200, at least one of the downmix signal XQ1 and spatial information SI2 may be transmitted to the multichannel generation unit 230 upon completion of time delay compensation.

Блок 230 многоканальной генерации может генерировать многоканальный аудиосигнал XM1 путем объединения переданного низведенного сигнала XQ1' и пространственной информации SI2'.The multi-channel generation unit 230 may generate a multi-channel audio signal XM1 by combining the transmitted downmix signal XQ1 ′ and spatial information SI2 ′.

Компенсация задержки по времени должна осуществляться на, по меньшей мере, одном из низведенного сигнала XQ1 и пространственной информации SI2, поскольку синхронизация по времени между пространственной информацией и низведенным сигналом установлена в измерении QMF при кодировании. Преобразованный в другое измерение низведенный сигнал XQ1 может поступать на блок 230 многоканальной генерации после компенсации разницы рассогласования синхронизации по времени на блоке 220 обработки задержки сигнала.The time delay compensation must be performed on at least one of the downmix signal XQ1 and spatial information SI2, since time synchronization between the spatial information and the downmix signal is established in the QMF measurement during encoding. The downmix signal XQ1 converted to another measurement may be supplied to the multi-channel generation unit 230 after compensating for the difference in the time synchronization mismatch at the signal delay processing unit 220.

Способ компенсации разницы в синхронизации по времени предусматривает обеспечение опережения низведенного сигнала XQ1 на величину разницы в синхронизации по времени. В этом случае разница в синхронизации по времени может быть суммой времени задержки, создаваемой блоком 110 преобразования в другое измерение, и времени задержки, создаваемой блоком 210 преобразования в другое измерение.A method of compensating for a difference in time synchronization provides for advancing the reduced signal XQ1 by the amount of the difference in time synchronization. In this case, the difference in time synchronization may be the sum of the delay time created by the conversion unit to another dimension 110 and the delay time created by the conversion unit to another dimension 210.

Разницу в синхронизации по времени также можно компенсировать путем компенсации задержки по времени для пространственной информации SI2. В этом случае на блоке 240 обработки задержки пространственной информации обеспечивается отставание пространственной информации SI2 на величину разницы в синхронизации по времени, после чего эта информация передается на блок 230 многоканальной генерации.The difference in time synchronization can also be compensated by compensating for the time delay for spatial information SI2. In this case, at the spatial information delay processing unit 240, the spatial information SI2 is lagged by the difference in time synchronization, after which this information is transmitted to the multi-channel generation unit 230.

Значение задержки существенно задержанной пространственной информации соответствует сумме рассогласованной разницы в синхронизации по времени и времени задержки, для которого синхронизация по времени была согласована. Таким образом, задержанная пространственная информация задерживается на величину задержки кодирования и задержки декодирования. Эта сумма также соответствует суммарному значению разницы в синхронизации по времени между низведенным сигналом и пространственной информацией, создаваемой на блоке 100 низводящего декодирования (фиг.1), и разницы в синхронизации по времени, создаваемой на блоке 200 многоканального декодирования.The delay value of the substantially delayed spatial information corresponds to the sum of the mismatched difference in time synchronization and time delay, for which time synchronization was agreed. Thus, the delayed spatial information is delayed by the amount of coding delay and decoding delay. This sum also corresponds to the total value of the difference in time synchronization between the downmix signal and spatial information created on the downmix decoding unit 100 (FIG. 1) and the difference in time synchronization created on the multichannel decoding unit 200.

Значение задержки существенно задержанной пространственной информации SI2 можно определить исходя из производительности и задержки фильтра (например, QMF, смешанного блока фильтров).The delay value of the substantially delayed spatial information SI2 can be determined based on the performance and delay of the filter (for example, QMF, mixed filter block).

Например, значение задержки пространственной информации, с учетом производительности и задержки фильтра, может составлять 961 временных выборок. В случае анализа значения задержки пространственной информации разница в синхронизации по времени, создаваемая на блоке 100 низводящего декодирования, составляет 257 временных выборок, и разница в синхронизации по времени, создаваемая на блоке 200 многоканального декодирования, составляет 704 временных выборок. Хотя значение задержки выражается в количестве временных выборок, его также можно выражать в количестве квантов времени.For example, the spatial information delay value, taking into account the performance and filter delay, may be 961 time samples. In the case of analyzing the spatial information delay value, the time synchronization difference created on the downmix decoding unit 100 is 257 time samples, and the time synchronization difference created on the multi-channel decoding unit 200 is 704 time samples. Although the delay value is expressed in the number of time samples, it can also be expressed in the number of time slices.

На фиг.5 показана блок-схема блока 200a многоканального декодирования, показанного на фиг.2.FIG. 5 shows a block diagram of a multi-channel decoding unit 200a shown in FIG. 2.

Согласно фиг.2 и фиг.5, в способе обработки аудиосигнала согласно одному варианту осуществления настоящего изобретения низведенный сигнал, обработанный на блоке 100a низводящего декодирования, может передаваться на блок 200a многоканального декодирования в одном из двух видов измерений. Согласно настоящему варианту осуществления предполагается, что низведенный сигнал и пространственная информация согласованы друг с другом посредством синхронизации по времени в измерении QMF. Возможны и другие измерения. Аудиосигнал, низведенный сигнал и пространственная информация которого согласованы в измерении отличном от временного измерения, можно обрабатывать.Referring to FIG. 2 and FIG. 5, in an audio signal processing method according to one embodiment of the present invention, the downmix signal processed at the downmix decoding unit 100a can be transmitted to the multi-channel decoding unit 200a in one of two types of measurements. According to the present embodiment, it is assumed that the downmix signal and spatial information are consistent with each other by time synchronization in the QMF measurement. Other dimensions are possible. An audio signal whose downmix signal and spatial information are consistent in a measurement other than the time dimension can be processed.

Согласно фиг.2, низведенный сигнал XT2, обработанный во временном измерении, передается на блок 200a многоканального декодирования для обработки сигнала.2, a downmix signal XT2 processed in a time domain is transmitted to a multi-channel decoding unit 200a for signal processing.

Низведенный сигнал Xm в измерении MDCT преобразуется в низведенный сигнал XT2 во временном измерении блоком 110a преобразования в другое измерение.The downmix signal Xm in the MDCT measurement is converted to the downmix signal XT2 in the time dimension by the conversion unit 110a to another dimension.

Затем преобразованный низведенный сигнал XT2 передается на блок 200a многоканального декодирования.Then, the converted downmix signal XT2 is transmitted to the multi-channel decoding unit 200a.

Переданный низведенный сигнал XT2 преобразуется в низведенный сигнал Xq2 в измерении QMF блоком 210a преобразования в другое измерение и затем передается на блок 230a многоканальной генерации.The transmitted downmix signal XT2 is converted to the downmix signal Xq2 in the QMF measurement by the conversion unit 210a to another measurement and then transmitted to the multi-channel generation unit 230a.

Переданный низведенный сигнал Xq2 объединяется с пространственной информацией SI3 на блоке 230a многоканальной генерации для генерации многоканального аудиосигнала XM2.The transmitted downmix signal Xq2 is combined with spatial information SI3 on the multi-channel generation unit 230a to generate the multi-channel audio signal XM2.

В этом случае пространственная информация SI3 объединяется с низведенным сигналом Xq2 после задержки на время, соответствующее синхронизации по времени при кодировании. Задержка может представлять собой задержку кодирования. Поскольку пространственная информация SI3 и низведенный сигнал Xq2 синхронизированы по времени при кодировании, многоканальный аудиосигнал можно генерировать без особого процесса согласования синхронизации. Таким образом, в этом случае пространственная информация SI3 не испытывает задержку, равную задержке декодирования.In this case, the spatial information SI3 is combined with the downmix signal Xq2 after a time delay corresponding to time synchronization during encoding. The delay may be a coding delay. Since the spatial information SI3 and the downmix signal Xq2 are time synchronized during encoding, a multi-channel audio signal can be generated without a particular synchronization matching process. Thus, in this case, the spatial information SI3 does not experience a delay equal to the decoding delay.

В некоторых вариантах осуществления низведенный сигнал XQ2, обработанный в измерении QMF, передается на блок 200a многоканального декодирования для обработки сигнала.In some embodiments, the downmix signal XQ2 processed in the QMF measurement is transmitted to a multi-channel decoding unit 200a for signal processing.

Низведенный сигнал Xm, обработанный в измерении MDCT, выводится из блока 100a низводящего декодирования. Выведенный низведенный сигнал Xm преобразуется в низведенный сигнал XQ2 в измерении QMF блоком 300a преобразования в другое измерение. Преобразованный низведенный сигнал XQ2 затем передается на блок 200a многоканального декодирования.The downmix signal Xm processed in the MDCT measurement is output from the downmix decoding unit 100a. The extracted downmix signal Xm is converted to the downmix signal XQ2 in the QMF measurement by the conversion unit 300a to another measurement. The converted downmix signal XQ2 is then transmitted to the multi-channel decoding unit 200a.

Когда низведенный сигнал XQ2 в измерении QMF передается на блок 200a многоканального декодирования, по меньшей мере, один из низведенного сигнала XQ2 и пространственной информации SI4 может передаваться на блок 230a многоканальной генерации по завершении компенсации задержки по времени.When the downmix signal XQ2 in the QMF measurement is transmitted to the multi-channel decoding unit 200a, at least one of the downmix signal XQ2 and spatial information SI4 may be transmitted to the multi-channel generation unit 230a upon completion of time delay compensation.

Блок 230a многоканальной генерации может генерировать многоканальный аудиосигнал XM2 путем объединения переданного низведенного сигнала XQ2' и пространственной информации SI4'.The multi-channel generation unit 230a may generate a multi-channel audio signal XM2 by combining the transmitted downmix signal XQ2 'and spatial information SI4'.

Компенсация задержки по времени должна осуществляться на, по меньшей мере, одном из низведенного сигнала XQ2 и пространственной информации SI4 потому, что синхронизация по времени между пространственной информацией и низведенным сигналом установлена во временном измерении при кодировании. Преобразованный в другое измерение низведенный сигнал XQ2 может поступать на блок 230a многоканальной генерации после компенсации рассогласованной разницы в синхронизации по времени на блоке 220a обработки задержки сигнала.Compensation of the time delay should be carried out on at least one of the downmix signal XQ2 and spatial information SI4 because time synchronization between the spatial information and the downmix signal is established in the time dimension during encoding. The downmix signal XQ2 converted to another measurement may be supplied to the multi-channel generation unit 230a after compensating for the mismatched time synchronization difference in the signal delay processing unit 220a.

Способ компенсации разницы в синхронизации по времени предусматривает обеспечение отставания низведенного сигнала XQ2 на величину разницы в синхронизации по времени. В этом случае разница в синхронизации по времени может быть разностью между временем задержки, создаваемой блоком 300a преобразования в другое измерение, и суммой времени задержки, создаваемой блоком 110a преобразования в другое измерение, и времени задержки, создаваемой блоком 210a преобразования в другое измерение.The method of compensating for the difference in time synchronization provides for the lag of the reduced signal XQ2 by the amount of the difference in time synchronization. In this case, the difference in time synchronization may be the difference between the delay time created by the conversion unit 300a to another dimension and the sum of the delay time created by the conversion unit 110a to another dimension and the delay time created by the conversion unit 210a to another dimension.

Разницу в синхронизации по времени также можно компенсировать путем компенсации задержки по времени для пространственной информации SI4. В этом случае для пространственной информации SI4 устанавливается опережение на величину разницы в синхронизации по времени на блоке 240a обработки задержки пространственной информации, после чего эта информация передается на блок 230a многоканальной генерации.The difference in time synchronization can also be compensated by compensating for the time delay for spatial information SI4. In this case, the spatial information SI4 is advanced by the amount of time synchronization difference on the spatial information delay processing unit 240a, after which this information is transmitted to the multi-channel generation unit 230a.

Значение задержки существенно задержанной пространственной информации соответствует сумме рассогласованной разницы в синхронизации по времени и времени задержки, для которого синхронизация по времени была согласована. Таким образом, задержанная пространственная информация SI4' задерживается на величину задержки кодирования и задержки декодирования.The delay value of the substantially delayed spatial information corresponds to the sum of the mismatched difference in time synchronization and time delay, for which time synchronization was agreed. Thus, the delayed spatial information SI4 ′ is delayed by the amount of coding delay and decoding delay.

Способ обработки аудиосигнала согласно одному варианту осуществления настоящего изобретения включает в себя кодирование аудиосигнала, для которого синхронизация по времени между низведенным сигналом и пространственной информацией устанавливается согласно конкретной схеме декодирования, и декодирование кодированного аудиосигнала.An audio signal processing method according to one embodiment of the present invention includes encoding an audio signal for which time synchronization between a downmix signal and spatial information is set according to a specific decoding scheme, and decoding the encoded audio signal.

Существует несколько примеров схем декодирования, которые базируются на качестве (например, AAC высокого качества) или базируются на мощности (например, AAC низкой сложности). Схема декодирования с высоким качеством выводит многоканальный аудиосигнал, имеющий более высокое качество звучания, по сравнению с выходным сигналом схемы декодирования с пониженной мощностью. Схема декодирования с пониженной мощностью имеет сравнительно более низкое энергопотребление вследствие своей конфигурации, которая менее сложна по сравнению со схемой декодирования с высоким качеством.There are several examples of decoding schemes that are based on quality (e.g., high quality AAC) or based on power (e.g., low complexity AAC). A high-quality decoding circuit outputs a multi-channel audio signal having a higher sound quality compared to an output signal of a lower power decoding circuit. The low power decoding scheme has a relatively lower power consumption due to its configuration, which is less complicated compared to a high quality decoding scheme.

В нижеследующем описании схемы декодирования с высоким качеством и с низкой мощностью используются в качестве примеров для пояснения настоящего изобретения. Другие схемы декодирования в равной степени применимы к вариантам осуществления настоящего изобретения.In the following description, high quality and low power decoding schemes are used as examples to illustrate the present invention. Other decoding schemes are equally applicable to embodiments of the present invention.

На фиг.6 показана блок-схема для пояснения способа декодирования аудиосигнала согласно другому варианту осуществления настоящего изобретения.6 is a flowchart for explaining a method for decoding an audio signal according to another embodiment of the present invention.

Согласно фиг.6, устройство декодирования, отвечающее настоящему изобретению, включает в себя блок 100c низводящего декодирования и блок 200c многоканального декодирования.6, a decoding apparatus according to the present invention includes a downmix decoding unit 100c and a multi-channel decoding unit 200c.

В некоторых вариантах осуществления низведенный сигнал XT4, обработанный на блоке 100c низводящего декодирования, передается на блок 200c многоканального декодирования, где сигнал объединяется с пространственной информацией SI7 или SI8 для генерации многоканального аудиосигнала M1 или M2. В этом случае обработанный низведенный сигнал XT4 является низведенным сигналом во временном измерении.In some embodiments, the downmix signal XT4 processed at the downmix decoding unit 100c is transmitted to a multi-channel decoding unit 200c, where the signal is combined with spatial information SI7 or SI8 to generate a multi-channel audio signal M1 or M2. In this case, the processed downmix signal XT4 is a downmix signal in the time dimension.

Кодированный низведенный сигнал DB передается на блок 100c низводящего декодирования и обрабатывается. Обработанный низведенный сигнал XT4 передается на блок 200c многоканального декодирования, который генерирует многоканальный аудиосигнал согласно одному из двух видов схем декодирования: схеме декодирования с высоким качеством и схеме декодирования с низкой мощностью.The encoded downmix DB signal is transmitted to the downmix decoding unit 100c and processed. The processed downmix signal XT4 is transmitted to a multi-channel decoding unit 200c that generates a multi-channel audio signal according to one of two types of decoding schemes: a high-quality decoding scheme and a low-power decoding scheme.

В случае, когда обработанный низведенный сигнал XT4 декодируется согласно схеме декодирования с низкой мощностью, низведенный сигнал XT4 передается и декодируется на тракте P2. Обработанный низведенный сигнал XT4 преобразуется в сигнал XRQ в действительном измерении QMF блоком 240c преобразования в другое измерение.In the case where the processed downmix signal XT4 is decoded according to a low power decoding scheme, the downmix signal XT4 is transmitted and decoded on path P2. The processed downmix signal XT4 is converted to the XRQ signal in the actual QMF measurement by another measurement conversion unit 240c.

Преобразованный низведенный сигнал XRQ преобразуется в сигнал XQC2 в комплексном измерении QMF блоком преобразования в другое измерение 250c. Преобразование низведенного сигнала XRQ в низведенный сигнал XQC2 является примером комплексного преобразования измерения.The converted downmix signal XRQ is converted to the signal XQC2 in the complex QMF measurement by the conversion unit to another measurement 250c. Converting a downmix XRQ signal to a downmix XQC2 is an example of a complex measurement conversion.

Затем сигнал XQC2 в комплексном измерении QMF объединяется с пространственной информацией SI8 на блоке 260c многоканальной генерации для генерации многоканального аудиосигнала M2.Then, the XQC2 signal in the complex QMF measurement is combined with spatial information SI8 on the multi-channel generation unit 260c to generate a multi-channel audio signal M2.

Таким образом, при декодировании низведенного сигнала XT4 согласно схеме декодирования с низкой мощностью отдельная процедура обработки задержки не требуется. Причина в том, что синхронизация по времени между низведенным сигналом и пространственной информацией уже согласована согласно схеме декодирования с низкой мощностью при кодировании аудиосигнала. Таким образом, в этом случае низведенный сигнал XRQ не испытывает задержку, равную задержке декодирования.Thus, when decoding the downmix signal XT4 according to the low power decoding scheme, a separate delay processing procedure is not required. The reason is that the time synchronization between the downmix signal and spatial information is already matched according to a low power decoding scheme for encoding an audio signal. Thus, in this case, the downmix XRQ signal does not experience a delay equal to the decoding delay.

В случае, когда обработанный низведенный сигнал XT4 декодируется согласно схеме декодирования с высоким качеством, низведенный сигнал XT4 передается и декодируется на тракте P1. Обработанный низведенный сигнал XT4 преобразуется в сигнал XCQ1 в комплексном измерении QMF блоком 210c преобразования в другое измерение.In the case where the processed downmix signal XT4 is decoded according to a high quality decoding scheme, the downmix signal XT4 is transmitted and decoded on path P1. The processed downmix signal XT4 is converted to the signal XCQ1 in the complex QMF measurement by the conversion to another measurement unit 210c.

Затем преобразованный низведенный сигнал XCQ1 задерживается на величину разницы в задержке по времени между низведенным сигналом XCQ1 и пространственной информацией SI7 на блоке 220c обработки задержки сигнала.Then, the converted downmix signal XCQ1 is delayed by the amount of time delay difference between the downmix signal XCQ1 and spatial information SI7 on the signal delay processing unit 220c.

Затем задержанный низведенный сигнал XCQ1' объединяется с пространственной информацией SI7 на блоке многоканальной генерации 230c, который генерирует многоканальный аудиосигнал M1.Then, the delayed downmix signal XCQ1 ′ is combined with the spatial information SI7 on the multi-channel generation unit 230c, which generates a multi-channel audio signal M1.

Таким образом, низведенный сигнал XCQ1 проходит через блок 220c обработки задержки сигнала. Причина в том, что разница в синхронизации по времени между низведенным сигналом XCQ1 и пространственной информацией SI7 создается вследствие кодирования аудиосигнала исходя из того, что будет использоваться схема декодирования с низкой мощностью.Thus, the downmix signal XCQ1 passes through the signal delay processing unit 220c. The reason is that the difference in time synchronization between the downmix signal XCQ1 and spatial information SI7 is created due to the encoding of the audio signal based on the fact that a low power decoding scheme will be used.

Разница в синхронизации по времени - это разница в задержке по времени, которая зависит от используемой схемы декодирования. Например, разница в задержке по времени появляется потому, что процесс декодирования, например, согласно схеме декодирования с низкой мощностью, отличается от процесса декодирования согласно схеме декодирования с высоким качеством. Разница в задержке по времени учитывается до момента времени объединения низведенного сигнала и пространственной информации, поскольку нет необходимости синхронизировать низведенный сигнал и пространственную информацию после момента времени объединения низведенного сигнала и пространственной информации.The difference in time synchronization is the difference in time delay, which depends on the decoding scheme used. For example, the time delay difference appears because the decoding process, for example, according to the low power decoding scheme, is different from the decoding process according to the high quality decoding scheme. The time delay difference is taken into account until the time of combining the downmix signal and spatial information, since there is no need to synchronize the downmix signal and spatial information after the time of combining the downmix signal and spatial information.

Согласно фиг.6, разница в синхронизации по времени равна разности между первым временем задержки, имеющим место до момента времени объединения низведенного сигнала XCQ2 и пространственной информации SI8, и вторым временем задержки, имеющим место до момента времени объединения низведенного сигнала XCQ1' и пространственной информации SI7. В этом случае временную выборку или квант времени можно использовать в качестве единицы задержки по времени.According to Fig.6, the difference in time synchronization is equal to the difference between the first delay time that occurs before the time of combining the downmix signal XCQ2 and spatial information SI8, and the second delay time that takes place before the time of combining the downmix signal XCQ1 'and spatial information SI7 . In this case, the time sampling or time slice can be used as a unit of time delay.

Если время задержки, имеющее место на блоке преобразования в другое измерение 210c, равно времени задержки, имеющему место на блоке преобразования в другое измерение 240c, блоку 220c обработки задержки сигнала достаточно задержать низведенный сигнал XCQ1 на время задержки, имеющее место на блоке 250c преобразования в другое измерение.If the delay time occurring on the conversion unit to another measurement 210c is equal to the delay time occurring on the conversion unit to another measurement 240c, it is sufficient for the signal delay processing unit 220c to delay the reduced signal XCQ1 by the delay time occurring on the conversion unit 250c measurement.

Согласно варианту осуществления, показанному на фиг.6, две схемы декодирования используются на блоке 200c многоканального декодирования. Альтернативно, одна схема декодирования может использоваться на блоке 200c многоканального декодирования.According to the embodiment shown in FIG. 6, two decoding schemes are used on the multi-channel decoding unit 200c. Alternatively, one decoding scheme may be used on the multi-channel decoding unit 200c.

Согласно вышеописанному варианту осуществления настоящего изобретения синхронизация по времени между низведенным сигналом и пространственной информацией устанавливается в соответствии со схемой декодирования с низкой мощностью. Однако настоящее изобретение дополнительно включает в себя случай, когда синхронизация по времени между низведенным сигналом и пространственной информацией устанавливается в соответствии со схемой декодирования с высоким качеством. В этом случае обеспечивается опережение низведенного сигнала в отличие от случая установления синхронизации по времени согласно схеме декодирования с низкой мощностью.According to the above embodiment, the time synchronization between the downmix signal and spatial information is set in accordance with a low power decoding scheme. However, the present invention further includes a case where time synchronization between a downmix signal and spatial information is established in accordance with a high quality decoding scheme. In this case, an advance of the downmix signal is provided, in contrast to the case of establishing time synchronization according to a low power decoding scheme.

На фиг.7 показана блок-схема для пояснения способа декодирования аудиосигнала согласно другому варианту осуществления настоящего изобретения.7 is a flowchart for explaining a method for decoding an audio signal according to another embodiment of the present invention.

Согласно фиг.7, устройство декодирования, отвечающее настоящему изобретению, включает в себя блок 100d низводящего декодирования и блок 200d многоканального декодирования.7, a decoding apparatus of the present invention includes a downmix decoding unit 100d and a multi-channel decoding unit 200d.

Низведенный сигнал XT4, обработанный на блоке 100d низводящего декодирования, передается на блок многоканального декодирования 200d, где низведенный сигнал объединяется с пространственной информацией SI7' или SI8 для генерации многоканального аудиосигнала M3 или M2. В этом случае обработанный низведенный сигнал XT4 является сигналом во временном измерении.The downmix signal XT4 processed at the downmix decoding unit 100d is transmitted to the multi-channel decoding unit 200d, where the downmix signal is combined with spatial information SI7 'or SI8 to generate a multi-channel audio signal M3 or M2. In this case, the processed downmix signal XT4 is a signal in the time dimension.

Кодированный низведенный сигнал DB передается на блок 100d низводящего декодирования и обрабатывается. Обработанный низведенный сигнал XT4 передается на блок 200d многоканального декодирования, который генерирует многоканальный аудиосигнал согласно одному из двух видов схем декодирования: схеме декодирования с высоким качеством и схеме декодирования с низкой мощностью.The encoded downmix signal DB is transmitted to the downmix decoding unit 100d and processed. The processed downmix signal XT4 is transmitted to a multi-channel decoding unit 200d that generates a multi-channel audio signal according to one of two types of decoding schemes: a high-quality decoding scheme and a low-power decoding scheme.

В случае, когда обработанный низведенный сигнал XT4 декодируется согласно схеме декодирования с низкой мощностью, низведенный сигнал XT4 передается и декодируется на тракте P4. Обработанный низведенный сигнал XT4 преобразуется в сигнал XRQ в действительном измерении QMF блоком 240d преобразования в другое измерение.In the case where the processed downmix signal XT4 is decoded according to a low power decoding scheme, the downmix signal XT4 is transmitted and decoded on path P4. The processed downmix signal XT4 is converted to the XRQ signal in the actual QMF measurement by the conversion to another measurement unit 240d.

Преобразованный низведенный сигнал XRQ преобразуется в сигнал XQC2 в комплексном измерении QMF блоком 250d преобразования в другое измерение. Преобразование низведенного сигнала XRQ в низведенный сигнал XCQ2 является примером комплексного преобразования измерения.The converted downmix signal XRQ is converted to the signal XQC2 in the complex QMF measurement by the conversion unit 250d to another measurement. Converting a downmix XRQ signal to a downmix XCQ2 is an example of a complex measurement conversion.

Затем сигнал XQC2 в комплексном измерении QMF объединяется с пространственной информацией SI8 на блоке 260d многоканальной генерации для генерации многоканального аудиосигнала M2.Then, the XQC2 signal in the complex QMF measurement is combined with spatial information SI8 on the multi-channel generation unit 260d to generate the multi-channel audio signal M2.

Таким образом, при декодировании низведенного сигнала XT4 согласно схеме декодирования с низкой мощностью отдельная процедура обработки задержки не требуется. Причина в том, что синхронизация по времени между низведенным сигналом и пространственной информацией уже согласована согласно схеме декодирования с низкой мощностью при кодировании аудиосигнала. Таким образом, в этом случае пространственная информация SI8 не испытывает задержку, равную задержке декодирования.Thus, when decoding the downmix signal XT4 according to the low power decoding scheme, a separate delay processing procedure is not required. The reason is that the time synchronization between the downmix signal and spatial information is already matched according to a low power decoding scheme for encoding an audio signal. Thus, in this case, the spatial information SI8 does not experience a delay equal to the decoding delay.

В случае, когда обработанный низведенный сигнал XT4 декодируется согласно схеме декодирования с высоким качеством, низведенный сигнал XT4 передается и декодируется на тракте P3. Обработанный низведенный сигнал XT4 преобразуется в сигнал XCQ1 в комплексном измерении QMF блоком 210d преобразования в другое измерение.In the case where the processed downmix signal XT4 is decoded according to a high quality decoding scheme, the downmix signal XT4 is transmitted and decoded on path P3. The processed downmix signal XT4 is converted to the signal XCQ1 in the complex QMF measurement by block 210d converting to another dimension.

Преобразованный низведенный сигнал XCQ1 передается на блок многоканальной генерации 230d, где он объединяется с пространственной информацией SI7' для генерации многоканального аудиосигнала M3. В этом случае пространственная информация SI7' является пространственной информацией, чья задержка по времени компенсируется, когда пространственная информация SI7 проходит через блок обработки 220d задержки пространственной информации.The converted downmix signal XCQ1 is transmitted to the multi-channel generation unit 230d, where it is combined with spatial information SI7 ′ to generate the multi-channel audio signal M3. In this case, the spatial information SI7 ′ is spatial information whose time delay is compensated when the spatial information SI7 passes through the spatial information delay processing unit 220d.

Таким образом, пространственная информация SI7 проходит через блок 220d обработки задержки пространственной информации. Причина в том, что разница в синхронизации по времени между низведенным сигналом XCQ1 и пространственной информацией SI7 возникает вследствие кодирования аудиосигнала исходя из того, что будет использоваться схема декодирования с низкой мощностью.Thus, the spatial information SI7 passes through the spatial information delay processing unit 220d. The reason is that the difference in time synchronization between the downmix signal XCQ1 and spatial information SI7 occurs due to the encoding of the audio signal based on the fact that a low power decoding scheme will be used.

Согласно фиг.7, разница в синхронизации по времени равна разности между первым временем задержки, имеющим место до момента времени объединения низведенного сигнала XCQ2 и пространственной информации SI8, и вторым временем задержки, имеющим место до момента времени объединения низведенного сигнала XCQ1 и пространственной информации SI7'. В этом случае временная выборка или квант времени может использоваться в качестве единицы задержки по времени.7, the difference in time synchronization is equal to the difference between the first delay time that occurs before the time of combining the downmix signal XCQ2 and spatial information SI8, and the second delay time that takes place before the time of combining the downmix signal XCQ1 and spatial information SI7 ' . In this case, the time sampling or time slice can be used as a unit of time delay.

Если время задержки, имеющее место на блоке 210d преобразования в другое измерение, равно времени задержки, имеющему место на блоке 240d преобразования в другое измерение, блоку 220d обработки задержки пространственной информации достаточно обеспечить опережение пространственной информации SI7 на время задержки, имеющее место на блоке 250d преобразования в другое измерение.If the delay time occurring on the block for converting to another dimension 210d is equal to the delay time occurring on the block for converting another dimension 240d, it is sufficient for the spatial information delay processing unit 220d to ensure that the spatial information SI7 is ahead of the delay time occurring on the transform unit 250d into another dimension.

В показанном примере две схемы декодирования используются на блоке 200d многоканального декодирования. Альтернативно, одна схема декодирования может использоваться на блоке 200d многоканального декодирования.In the example shown, two decoding schemes are used on the multi-channel decoding unit 200d. Alternatively, one decoding scheme may be used on the multi-channel decoding unit 200d.

Согласно вышеописанному варианту осуществления настоящего изобретения синхронизация по времени между низведенным сигналом и пространственной информацией устанавливается в соответствии со схемой декодирования с низкой мощностью. Однако настоящее изобретение дополнительно включает в себя случай, когда синхронизация по времени между низведенным сигналом и пространственной информацией устанавливается в соответствии со схемой декодирования с высоким качеством. В этом случае низведенный сигнал задерживается, в отличие от случая установления синхронизации по времени согласно схеме декодирования с низкой мощностью.According to the above embodiment, the time synchronization between the downmix signal and spatial information is set in accordance with a low power decoding scheme. However, the present invention further includes a case where time synchronization between a downmix signal and spatial information is established in accordance with a high quality decoding scheme. In this case, the downmix signal is delayed, in contrast to the case of establishing time synchronization according to the low power decoding scheme.

Хотя на фиг.6 и фиг.7 показано, что один из блока 220c обработки задержки сигнала и блока 220d обработки задержки пространственной информации входит в состав блока 200c или 200d многоканального декодирования, настоящее изобретение включает в себя вариант осуществления, где блок 220d обработки задержки пространственной информации и блок 220c обработки задержки сигнала входят в состав блока 200c или 200d многоканального декодирования. В этом случае сумма времени компенсации задержки на блоке 220d обработки задержки пространственной информации и времени компенсации задержки на блоке 220c обработки задержки сигнала должна быть равна разнице в синхронизации по времени.Although FIGS. 6 and 7 show that one of the signal delay processing unit 220c and the spatial information delay processing unit 220d is part of the multi-channel decoding unit 200c or 200d, the present invention includes an embodiment where the spatial delay processing unit 220d the information and the signal delay processing unit 220c are part of a multi-channel decoding unit 200c or 200d. In this case, the sum of the delay compensation time at the spatial information delay processing unit 220d and the delay compensation time at the signal delay processing unit 220c should be equal to the time synchronization difference.

В вышеприведенном описании объяснены способ компенсации разницы в синхронизации по времени вследствие наличия совокупности входных измерений низведенного сигнала и способ компенсации разницы в синхронизации по времени вследствие наличия совокупности схем декодирования.In the above description, a method for compensating a difference in time synchronization due to the presence of a set of input measurements of a downmix signal and a method for compensating a difference in time synchronization due to a set of decoding schemes are explained.

Далее следует объяснение способа компенсации разницы в синхронизации по времени вследствие наличия совокупности входных измерений низведенного сигнала и наличия совокупности схем декодирования.The following is an explanation of the method of compensating for the difference in time synchronization due to the presence of a set of input measurements of the reduced signal and the presence of a set of decoding schemes.

На фиг.8 показана блок-схема для пояснения способа декодирования аудиосигнала согласно одному варианту осуществления настоящего изобретения.FIG. 8 is a flowchart for explaining a method for decoding an audio signal according to one embodiment of the present invention.

Согласно фиг.8, устройство декодирования, отвечающее настоящему изобретению, включает в себя блок 100e низводящего декодирования и блок 200e многоканального декодирования.8, a decoding apparatus of the present invention includes a downmix decoding unit 100e and a multi-channel decoding unit 200e.

В способе обработки аудиосигнала согласно другому варианту осуществления настоящего изобретения низведенный сигнал, обработанный на блоке 100e низводящего декодирования, может передаваться на блок 200e многоканального декодирования в одном из двух видов измерений. Согласно настоящему варианту осуществления предполагается, что синхронизация по времени между низведенным сигналом и пространственной информацией установлена в измерении QMF согласно схеме декодирования с низкой мощностью. Альтернативно, настоящее изобретение предусматривает различные модификации осуществления.In the audio signal processing method according to another embodiment of the present invention, the downmix signal processed at the downmix decoding unit 100e may be transmitted to the multi-channel decoding unit 200e in one of two types of measurements. According to the present embodiment, it is assumed that time synchronization between the downmix signal and spatial information is set in the QMF measurement according to the low power decoding scheme. Alternatively, the present invention provides various modifications to the implementation.

Перейдем к описанию способа, согласно которому низведенный сигнал XQ5, обработанный в измерении QMF, обрабатывается путем передачи на блок 200e многоканального декодирования. В этом случае низведенный сигнал XQ5 может быть одним из сигнала XCQ5 в комплексном QMF и сигнала XRQ5 в действительном QMF. XCQ5 обрабатывается согласно схеме декодирования с высоким качеством на блоке 100e низводящего декодирования. XRQ5 обрабатывается согласно схеме декодирования с низкой мощностью на блоке 100e низводящего декодирования.Turning to the description of the method according to which the downmix signal XQ5 processed in the QMF measurement is processed by transmitting to the multi-channel decoding unit 200e. In this case, the downmix signal XQ5 may be one of the signal XCQ5 in the complex QMF and the signal XRQ5 in the actual QMF. XCQ5 is processed according to a high quality decoding scheme in a downmix decoding unit 100e. XRQ5 is processed according to a low power decoding scheme in a downmix decoding unit 100e.

Согласно настоящему варианту осуществления предполагается, что сигнал, обработанный согласно схеме декодирования с высоким качеством на блоке 100e низводящего декодирования, поступает на блок 200e многоканального декодирования схемы декодирования с высоким качеством, и сигнал, обработанный согласно схеме декодирования с низкой мощностью на блоке 100e низводящего декодирования, поступает на блок 200e многоканального декодирования схемы декодирования с низкой мощностью. Альтернативно, настоящее изобретение предусматривает различные модификации осуществления.According to the present embodiment, it is assumed that the signal processed according to the high quality decoding circuit on the downmix decoding unit 100e is supplied to the multi-channel decoding section 200e of the high quality decoding circuit, and the signal processed according to the low power decoding circuit on the downmix decoding unit 100e, arrives at the low-power multi-channel decoding unit 200e. Alternatively, the present invention provides various modifications to the implementation.

В случае, когда обработанный низведенный сигнал XQ5 декодируется согласно схеме декодирования с низкой мощностью, низведенный сигнал XQ5 передается и декодируется на тракте P6. В этом случае XQ5 является низведенным сигналом XRQ5 в действительном измерении QMF.In the case where the processed downmix signal XQ5 is decoded according to a low power decoding scheme, the downmix signal XQ5 is transmitted and decoded on path P6. In this case, XQ5 is the downmix signal of XRQ5 in the actual QMF measurement.

Низведенный сигнал XRQ5 объединяется с пространственной информацией SI10 на блоке 231e многоканальной генерации для генерации многоканального аудиосигнала M5.The downmix signal XRQ5 is combined with spatial information SI10 on the multi-channel generation unit 231e to generate the multi-channel audio signal M5.

Таким образом, при декодировании низведенного сигнала XQ5 согласно схеме декодирования с низкой мощностью отдельная процедура обработки задержки не требуется. Причина в том, что синхронизация по времени между низведенным сигналом и пространственной информацией уже согласована согласно схеме декодирования с низкой мощностью при кодировании аудиосигнала.Thus, when decoding the downmix XQ5 signal according to the low power decoding scheme, a separate delay processing procedure is not required. The reason is that the time synchronization between the downmix signal and spatial information is already matched according to a low power decoding scheme for encoding an audio signal.

В случае, когда обработанный низведенный сигнал XQ5 декодируется согласно схеме декодирования с высоким качеством, низведенный сигнал XQ5 передается и декодируется на тракте P5. В этом случае XQ5 является низведенным сигналом XCQ5 в комплексном измерении QMF. Низведенный сигнал XCQ5 объединяется с пространственной информацией SI9 на блоке 230e многоканальной генерации для генерации многоканального аудиосигнала M4.In the case where the processed downmix signal XQ5 is decoded according to a high quality decoding scheme, the downmix signal XQ5 is transmitted and decoded on path P5. In this case, XQ5 is the downmix signal of XCQ5 in the complex QMF measurement. The downmix signal XCQ5 is combined with spatial information SI9 on the multi-channel generation unit 230e to generate the multi-channel audio signal M4.

Теперь рассмотрим случай, когда низведенный сигнал XT5, обработанный во временном измерении, передается на блок 200e многоканального декодирования для обработки сигнала.Now, consider the case where the downmix signal XT5 processed in the time dimension is transmitted to the multi-channel decoding unit 200e for signal processing.

Низведенный сигнал XT5, обработанный на блоке 100e низводящего декодирования, передается на блок 200e многоканального декодирования, где он объединяется с пространственной информацией SI11 или SI12 для генерации многоканального аудиосигнала M6 или M7.The downmix signal XT5 processed at the downmix decoding unit 100e is transmitted to the multi-channel decoding unit 200e, where it is combined with spatial information SI11 or SI12 to generate a multi-channel audio signal M6 or M7.

Низведенный сигнал XT5 передается на блок 200e многоканального декодирования, который генерирует многоканальный аудиосигнал согласно одному из двух видов схем декодирования: схеме декодирования с высоким качеством и схеме декодирования с низкой мощностью.The downmix signal XT5 is transmitted to a multi-channel decoding unit 200e, which generates a multi-channel audio signal according to one of two types of decoding schemes: a high quality decoding scheme and a low power decoding scheme.

В случае, когда обработанный низведенный сигнал XT5 декодируется согласно схеме декодирования с низкой мощностью, низведенный сигнал XT5 передается и декодируется на тракте P8. Обработанный низведенный сигнал XT5 преобразуется в сигнал XR в действительном измерении QMF блоком 241e преобразования в другое измерение.In the case where the processed downmix signal XT5 is decoded according to a low power decoding scheme, the downmix signal XT5 is transmitted and decoded on path P8. The processed downmix signal XT5 is converted to the XR signal in the actual QMF measurement by the conversion to another measurement unit 241e.

Преобразованный низведенный сигнал XR преобразуется в сигнал XC2 в комплексном измерении QMF блоком преобразования в другое измерение 250e. Преобразование низведенного сигнала XR в низведенный сигнал XC2 является примером комплексного преобразования измерения.The converted downmix signal XR is converted to the signal XC2 in the complex QMF measurement by the conversion unit to another measurement 250e. Converting the downmix signal XR to the downmix signal XC2 is an example of a complex measurement conversion.

Затем сигнал XC2 в комплексном измерении QMF объединяется с пространственной информацией SI12' на блоке 233e многоканальной генерации, который генерирует многоканальный аудиосигнал M7.Then, the signal XC2 in the complex QMF measurement is combined with the spatial information SI12 ′ on the multi-channel generating unit 233e, which generates the multi-channel audio signal M7.

В этом случае пространственная информация SI12' является пространственной информацией, чья задержка по времени компенсируется, когда пространственная информация SI12 проходит через блок 240e обработки задержки пространственной информации.In this case, the spatial information SI12 ′ is spatial information whose time delay is compensated when the spatial information SI12 passes through the spatial information delay processing unit 240e.

Таким образом, пространственная информация SI12 проходит через блок 240e обработки задержки пространственной информации. Причина в том, что разница в синхронизации по времени между низведенным сигналом XC2 и пространственной информацией SI12 генерируется вследствие кодирования аудиосигнала, осуществляемого согласно схеме декодирования с низкой мощностью, исходя из того, что измерение, в котором установлена синхронизация по времени между низведенным сигналом и пространственной информацией, является измерением QMF. При этом задержанная пространственная информация SI12' задерживается на величину задержки кодирования и задержки декодирования.Thus, the spatial information SI12 passes through the spatial information delay processing unit 240e. The reason is that the difference in time synchronization between the downmix signal XC2 and spatial information SI12 is generated due to the encoding of the audio signal performed according to the low power decoding scheme, based on the fact that a measurement in which time synchronization is established between the downmix signal and spatial information , is a QMF measurement. In this case, the delayed spatial information SI12 'is delayed by the amount of coding delay and decoding delay.

В случае, когда обработанный низведенный сигнал XT5 декодируется согласно схеме декодирования с высоким качеством, низведенный сигнал XT5 передается и декодируется на тракте P7. Обработанный низведенный сигнал XT5 преобразуется в сигнал XC1 в комплексном измерении QMF блоком 240e преобразования в другое измерение.In the case where the processed downmix signal XT5 is decoded according to a high quality decoding scheme, the downmix signal XT5 is transmitted and decoded on path P7. The processed downmix signal XT5 is converted to the signal XC1 in the complex QMF measurement by the conversion to another measurement unit 240e.

Преобразованный низведенный сигнал XC1 и пространственная информация SI11 компенсируются в отношении задержки по времени на величину разницы в синхронизации по времени между низведенным сигналом XC1 и пространственной информацией SI11 на блоке 250e обработки задержки сигнала и блоке 260e обработки задержки пространственной информации соответственно.The converted downmix signal XC1 and spatial information SI11 are compensated for with respect to time delay by the amount of time synchronization difference between the downmix signal XC1 and spatial information SI11 at the signal delay processing unit 250e and the spatial information delay processing unit 260e, respectively.

Затем низведенный сигнал XC1', скомпенсированный в отношении задержки по времени, объединяется с пространственной информацией, скомпенсированной отношении задержки по времени, SI11' на блоке многоканальной генерации 232e, который генерирует многоканальный аудиосигнал M6.Then, the downmix signal XC1 ′ compensated for the time delay is combined with spatial information compensated for the time delay SI11 ′ on the multi-channel generating unit 232e that generates the multi-channel audio signal M6.

Таким образом, низведенный сигнал XC1 проходит через блок 250e обработки задержки сигнала, и пространственная информация SI11 проходит через блок 260e обработки задержки пространственной информации. Причина в том, что разница в синхронизации по времени между низведенным сигналом XC1 и пространственной информацией SI11 генерируется вследствие кодирования аудиосигнала исходя из того, что его декодирование будет осуществляться согласно схеме декодирования с низкой мощностью, а также исходя из того, что измерение, в котором установлена синхронизация по времени между низведенным сигналом и пространственной информацией, является измерением QMF.Thus, the downmix signal XC1 passes through the signal delay processing unit 250e, and the spatial information SI11 passes through the spatial information delay processing unit 260e. The reason is that the difference in time synchronization between the downmix signal XC1 and spatial information SI11 is generated due to the encoding of the audio signal, based on the fact that it will be decoded according to the low power decoding scheme, and also based on the fact that the measurement in which time synchronization between the downmix signal and spatial information is a QMF measurement.

На фиг.9 показана блок-схема для пояснения способа декодирования аудиосигнала согласно одному варианту осуществления настоящего изобретения.9 is a flowchart for explaining a method for decoding an audio signal according to one embodiment of the present invention.

Согласно фиг.9, устройство декодирования, отвечающее настоящему изобретению, включает в себя блок 100f низводящего декодирования и блок 200f многоканального декодирования.9, a decoding apparatus of the present invention includes a downmix decoding unit 100f and a multi-channel decoding unit 200f.

Кодированный низведенный сигнал DB1 передается на блок 100f низводящего декодирования и затем обрабатывается. Низведенный сигнал DB1 кодируется с учетом двух схем низводящего декодирования, включающих в себя первую схему низводящего декодирования и вторую схему низводящего декодирования.The encoded downmix signal DB1 is transmitted to the downmix decoding unit 100f and then processed. The downmix signal DB1 is encoded taking into account two downmix decoding schemes including a first downmix decoding circuit and a second downmix decoding circuit.

Низведенный сигнал DB1 обрабатывается согласно одной схеме низводящего декодирования на блоке низводящего 100f декодирования. Одна схема низводящего декодирования может быть первой схемой низводящего декодирования.The downmix signal DB1 is processed according to one downmix decoding scheme on the downmix decoding unit 100f. One downmix decoding scheme may be a first downmix decoding scheme.

Обработанный низведенный сигнал XT6 передается на блок 200f многоканального декодирования, который генерирует многоканальный аудиосигнал Mf.The processed downmix signal XT6 is transmitted to a multi-channel decoding unit 200f, which generates a multi-channel audio signal Mf.

Обработанный низведенный сигнал XT6' задерживается на величину задержки декодирования на блоке 210f обработки сигнала. Низведенный сигнал XT6' может задерживаться на величину задержки декодирования. Низведенный сигнал XT6 задерживается потому, что схема низводящего декодирования, предполагаемая при кодировании, отличается от схемы низводящего декодирования, используемой при декодировании.The processed downmix signal XT6 'is delayed by the amount of decoding delay at the signal processing unit 210f. The downmix signal XT6 'may be delayed by the amount of decoding delay. The downmix signal XT6 is delayed because the downmix decoding scheme assumed in encoding is different from the downmix decoding scheme used in decoding.

Поэтому в ряде случаев может потребоваться повышающая дискретизация низведенного сигнала XT6'.Therefore, in some cases, upsampling of the downmix signal XT6 'may be required.

Задержанный низведенный сигнал XT6' подвергается повышающей дискретизации на блоке 220f повышающей дискретизации. Низведенный сигнал XT6' подвергается повышающей дискретизации потому, что количество выборок низведенного сигнала XT6' отличается от количества выборок пространственной информации SI13.The delayed downmix signal XT6 ′ is upsampled at upsampler 220f. The downmix signal XT6 'is subjected to upsampling because the number of samples of the downmix signal XT6' is different from the number of samples of spatial information SI13.

Обработку задержки низведенного сигнала XT6 и обработку повышающей дискретизации низведенного сигнала XT6' можно производить в любом порядке.The processing of the delay of the downmix signal XT6 and the processing of upsampling of the downmix signal XT6 'can be performed in any order.

Измерение низведенного сигнала UXT6 с повышенной дискретизацией преобразуется на блоке 230f обработки измерения. Преобразование низведенного сигнала UXT6 в другое измерение может включать в себя преобразование измерения F/T и комплексное преобразование измерения.The downsampled UXT6 downsampling measurement is converted to the measurement processing unit 230f. Converting the UXT6 downmix signal to another dimension may include F / T measurement conversion and complex measurement conversion.

Затем низведенный сигнал UXTD6, преобразованный в другое измерение, объединяется с пространственной информацией SI13 на блоке 260d многоканальной генерации, который генерирует многоканальный аудиосигнал Mf.Then, the downmix signal UXTD6, converted to another dimension, is combined with spatial information SI13 on the multi-channel generation unit 260d that generates the multi-channel audio signal Mf.

В вышеприведенном описании объяснен способ компенсации разницы в синхронизации по времени, генерируемой между низведенным сигналом и пространственной информацией.In the above description, a method for compensating for a difference in time synchronization generated between a downmix signal and spatial information is explained.

В нижеследующем описании объяснен способ компенсации разницы в синхронизации по времени, генерируемой между данными временного ряда и многоканальным аудиосигналом, сгенерированным одним из вышеописанных способов.In the following description, a method for compensating for a difference in time synchronization generated between time series data and a multi-channel audio signal generated by one of the above methods is explained.

На фиг.10 показана блок-схема устройства декодирования аудиосигнала согласно одному варианту осуществления настоящего изобретения.10 is a block diagram of an audio decoding apparatus according to one embodiment of the present invention.

Согласно фиг.10, устройство декодирования аудиосигнала согласно одному варианту осуществления настоящего изобретения включает в себя блок 10 декодирования данных временного ряда и блок 20 обработки многоканального аудиосигнала.10, an audio signal decoding apparatus according to one embodiment of the present invention includes a time series data decoding unit 10 and a multi-channel audio signal processing unit 20.

Блок 20 обработки многоканального аудиосигнала включает в себя блок 21 низводящего декодирования, блок 22 многоканального декодирования и блок 23 компенсации задержки по времени.The multi-channel audio signal processing unit 20 includes a downmix decoding unit 21, a multi-channel decoding unit 22, and a time delay compensation unit 23.

Низведенный битовый поток IN2, который является примером кодированного низведенного сигнала, поступает на блок 21 низводящего декодирования для декодирования.The downmix bitstream IN2, which is an example of an encoded downmix signal, is input to a downmix decoding unit 21 for decoding.

В этом случае низведенный битовый поток IN2 можно декодировать и выводить в двух видах измерений. Доступные выходные измерения включают в себя временное измерение и измерение QMF. Обозначение '50' указывает низведенный сигнал, декодированный и выведенный во временном измерении, и обозначение '51' указывает низведенный сигнал, декодированный и выведенный в измерении QMF. Согласно настоящему варианту осуществления описаны два вида измерений. Однако настоящее изобретение включает в себя низведенные сигналы, декодированные и выведенные в других видах измерений.In this case, the reduced bitstream IN2 can be decoded and output in two types of measurements. Available output measurements include time measurement and QMF measurement. The designation '50' indicates the downmix signal decoded and output in the time dimension, and the designation '51' indicates the downmix signal decoded and output in the QMF measurement. According to the present embodiment, two kinds of measurements are described. However, the present invention includes downmix signals decoded and output in other types of measurements.

Низведенные сигналы 50 и 51 передаются на блок многоканального декодирования 22 и затем декодируются согласно двум видам схем декодирования 22H и 22L соответственно. В этом случае обозначение '22H' указывает схему декодирования с высоким качеством, и обозначение '22L' указывает схему декодирования с низкой мощностью.The downmix signals 50 and 51 are transmitted to the multi-channel decoding unit 22 and then decoded according to two kinds of decoding schemes 22H and 22L, respectively. In this case, the designation '22H' indicates a high quality decoding scheme, and the designation '22L' indicates a low power decoding scheme.

В этом варианте осуществления настоящего изобретения применяются только два вида схем декодирования. Однако настоящее изобретение допускает применение большего количества схем декодирования.In this embodiment of the present invention, only two kinds of decoding schemes are used. However, the present invention allows the use of more decoding schemes.

Низведенный сигнал 50, декодированный и выведенный во временном измерении, декодируется согласно выбору одного из двух трактов P9 и P10. В этом случае тракт P9 указывает тракт для декодирования согласно схеме декодирования с высоким качеством 22H, и тракт P10 указывает тракт для декодирования согласно схеме декодирования с низкой мощностью 22L.The downmix signal 50, decoded and output in the time domain, is decoded according to the choice of one of the two paths P9 and P10. In this case, the path P9 indicates the path for decoding according to the high quality decoding scheme 22H, and the path P10 indicates the path for decoding according to the low power decoding scheme 22L.

Низведенный сигнал 50, передаваемый на тракте P9, объединяется с пространственной информацией SI согласно схеме декодирования с высоким качеством 22H для генерации многоканального аудиосигнала MHT. Низведенный сигнал 50, передаваемый на тракте P10, объединяется с пространственной информацией SI согласно схеме декодирования с низкой мощностью 22L для генерации многоканального аудиосигнала MLT.The downmix signal 50 transmitted on the path P9 is combined with the spatial information SI according to a high quality decoding scheme 22H to generate a multi-channel MHT audio signal. The downmix signal 50 transmitted on path P10 is combined with the spatial information SI according to a low power decoding scheme 22L to generate a multi-channel MLT audio signal.

Другой низведенный сигнал 51, декодированный и выведенный в измерении QMF, декодируется согласно выбору одного из двух трактов P11 и P12. В этом случае тракт P11 указывает тракт для декодирования согласно схеме декодирования с высоким качеством 22H, и тракт P12 указывает тракт для декодирования согласно схеме декодирования с низкой мощностью 22L.Another downmix signal 51, decoded and output in the QMF measurement, is decoded according to the selection of one of the two paths P11 and P12. In this case, the path P11 indicates the path for decoding according to the high quality decoding scheme 22H, and the path P12 indicates the path for decoding according to the low power decoding scheme 22L.

Низведенный сигнал 51, передаваемый на тракте P11, объединяется с пространственной информацией SI согласно схеме декодирования с высоким качеством 22H для генерации многоканального аудиосигнала MHQ. Низведенный сигнал 51, передаваемый на тракте P12, объединяется с пространственной информацией SI согласно схеме декодирования с низкой мощностью 22L для генерации многоканального аудиосигнала MLQ.The downmix signal 51 transmitted on path P11 is combined with the spatial information SI according to a high-quality decoding scheme 22H to generate a multi-channel MHQ audio signal. The downmix signal 51 transmitted on path P12 is combined with spatial information SI according to a low power decoding scheme 22L to generate a multi-channel MLQ audio signal.

По меньшей мере, один из многоканальных аудиосигналов MHT, MHQ, MLT и MLQ, генерируемых вышеописанными способами, проходит процесс компенсации задержки по времени на блоке 23 компенсации задержки по времени и затем выводится как OUT2, OUT3, OUT4 или OUT5.At least one of the multi-channel audio signals MHT, MHQ, MLT, and MLQ generated by the above methods undergoes a time delay compensation process at the time delay compensation unit 23 and then output as OUT2, OUT3, OUT4 or OUT5.

Согласно настоящему варианту осуществления процесс компенсации задержки по времени способен предотвращать возникновение задержки по времени путем сравнения многоканального аудиосигнала MHQ, MLT или MKQ с нарушенной синхронизацией по времени с многоканальным аудиосигналом MHT, исходя из того, что синхронизация по времени между данными временного ряда OUT1, декодированными и выведенными на блоке 10 декодирования временного ряда, и вышеупомянутым многоканальным аудиосигналом MHT согласована. Конечно, если синхронизация по времени между данными временного ряда OUT1 и одним из многоканальных аудиосигналов MHQ, MLT и MLQ за исключением вышеупомянутого многоканального аудиосигнала MHT согласована, синхронизацию по времени с данными временного ряда OUT1 можно установить путем компенсации задержки по времени для одного из оставшихся многоканальных аудиосигналов, у которых синхронизация по времени нарушена.According to the present embodiment, the time delay compensation process is able to prevent the occurrence of a time delay by comparing the multi-channel audio signal MHQ, MLT, or MKQ with a disturbed time synchronization with the multi-channel audio signal MHT, based on the fact that the time synchronization between time series data OUT1 decoded and outputted to the time series decoding unit 10, and the aforementioned multi-channel audio signal MHT is matched. Of course, if the time synchronization between the time series data OUT1 and one of the multi-channel audio signals MHQ, MLT and MLQ with the exception of the aforementioned multi-channel audio signal MHT is matched, the time synchronization with the time series data OUT1 can be established by compensating for the time delay for one of the remaining multi-channel audio signals for which time synchronization is broken.

Вариант осуществления также может предусматривать процесс компенсации задержки по времени в случае, когда данные временного ряда OUT1 и многоканальный аудиосигнал MHT, MHQ, MLT или MLQ не обрабатываются совместно. Например, задержка по времени многоканального аудиосигнала компенсируется и ее возникновение предотвращается с использованием результата сравнения с многоканальным аудиосигналом MLT. Это можно диверсифицировать по-разному.An embodiment may also include a time delay compensation process in the case where time series data OUT1 and the multi-channel audio signal MHT, MHQ, MLT or MLQ are not processed together. For example, the time delay of the multi-channel audio signal is compensated and its occurrence is prevented using the result of the comparison with the multi-channel audio signal MLT. It can be diversified in many ways.

Специалистам в данной области очевидно, что в настоящем изобретении можно предложить различные модификации и вариации, не отходя от сущности или объема изобретения. Таким образом, предполагается, что настоящее изобретение охватывает модификации и вариации этого изобретения при условии, что они согласуются с объемом прилагаемой формулы изобретения и ее эквивалентов.It will be apparent to those skilled in the art that various modifications and variations can be proposed in the present invention without departing from the spirit or scope of the invention. Thus, it is intended that the present invention cover the modifications and variations of this invention provided they come within the scope of the appended claims and their equivalents.

Промышленное применениеIndustrial application

Соответственно, настоящее изобретение обеспечивает следующие эффекты и преимущество.Accordingly, the present invention provides the following effects and advantage.

Во-первых, если возникает разница в синхронизации по времени между низведенным сигналом и пространственной информацией, настоящее изобретение препятствует ухудшению качества звучания за счет компенсации разницы в синхронизации по времени.Firstly, if there is a difference in time synchronization between the downmix signal and spatial information, the present invention prevents the deterioration of sound quality by compensating for the difference in time synchronization.

Во-вторых, настоящее изобретение позволяет компенсировать разницу в синхронизации по времени между данными временного ряда и многоканальным аудиосигналом, подлежащим обработке совместно с данными временного ряда движущегося изображения, текста, неподвижного изображения и пр.Secondly, the present invention allows to compensate for the difference in time synchronization between time series data and a multi-channel audio signal to be processed together with time series data of a moving image, text, still image, etc.

Claims

1. A method of decoding an audio signal, comprising stages in which:
receiving an audio signal including a downmix signal of a time domain and spatial information, the spatial information being delayed within the audio signal;
first converting the downmix signal of the time domain into the downmix signal of the real region of the quadrature mirror filter (QMF);
performing a second conversion of the downmix signal of the actual QMF into a downmix signal of the complex QMF and
combine the downmix signal of the complex QMF region with spatial information,
in this case, before the step of receiving the audio signal, the spatial information is delayed by a period of time including the time spent on the first and second conversions of the down-mix signal.

2. The method according to claim 1, wherein the spatial information delay time is 961 time samples.

3. An audio signal decoding apparatus comprising:
an audio signal receiving unit that receives an audio signal,
including a downmix signal of a time domain and spatial information, the spatial information being delayed within the audio signal;
a first downmix signal converting unit that converts the downmix signal of the time domain into a downmix signal of the real region of the quadrature mirror filter (QMF);
a second downmix signal converting unit that converts the downmix signal of the actual QMF to a downmix signal of the complex QMF; and
a spatial information combining unit that combines a downmix signal of the complex QMF region with spatial information;
in this case, before receiving the audio signal, the spatial information is delayed by a period of time including the time spent on the first and second conversions of the down-mix signal.

4. Computer-readable media selected from the group consisting of: non-volatile media, volatile media, and combinations thereof, the computer-readable medium stores instructions that, when executed by the processor, instruct the processor to:
receiving an audio signal including a downmix signal of a time domain and spatial information, the spatial information being delayed within the audio signal;
first converting the downmix signal of the time domain into the downmix signal of the real region of the quadrature mirror filter (QMF);
a second conversion of the downmix signal of the actual QMF region into a downmix signal of the complex QMF region and
combining the downmix signal of the complex QMF region with spatial information,
in this case, before receiving the audio signal, the combined spatial information is delayed for a period of time including the time spent on the first and second conversion processes.