RU2406262C2 - Decoding of reduced number of channels - Google Patents
Decoding of reduced number of channels Download PDFInfo
- Publication number
- RU2406262C2 RU2406262C2 RU2008142742/09A RU2008142742A RU2406262C2 RU 2406262 C2 RU2406262 C2 RU 2406262C2 RU 2008142742/09 A RU2008142742/09 A RU 2008142742/09A RU 2008142742 A RU2008142742 A RU 2008142742A RU 2406262 C2 RU2406262 C2 RU 2406262C2
- Authority
- RU
- Russia
- Prior art keywords
- channels
- channel
- parameters
- parameter
- signal
- Prior art date
Links
- 238000004364 calculation method Methods 0.000 claims abstract description 19
- 238000000034 method Methods 0.000 claims description 40
- 238000011084 recovery Methods 0.000 claims description 10
- 230000014509 gene expression Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 239000013078 crystal Substances 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 abstract 1
- 239000000126 substance Substances 0.000 abstract 1
- 239000011159 matrix material Substances 0.000 description 16
- 238000013459 approach Methods 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 5
- 230000008447 perception Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000003321 amplification Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004134 energy conservation Methods 0.000 description 3
- 239000012634 fragment Substances 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000009966 trimming Methods 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013138 pruning Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004061 bleaching Methods 0.000 description 1
- 230000002301 combined effect Effects 0.000 description 1
- 230000021615 conjugation Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Landscapes
- Stereophonic System (AREA)
Abstract
Description
ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕFIELD OF THE INVENTION
Настоящее изобретение относится к области техники декодирования звуковых сигналов, в частности к декодированию сигналов, полученных путем параметрического многоканального микширования первоначального многоканального сигнала с сокращением количества каналов (downmix) до нескольких каналов, количество которых является меньшим, чем количество каналов первоначального многоканального сигнала.The present invention relates to the field of decoding audio signals, in particular to decoding signals obtained by parametric multi-channel mixing of the original multi-channel signal with a reduction in the number of channels (downmix) to several channels, the number of which is less than the number of channels of the original multi-channel signal.
УРОВЕНЬ ТЕХНИКИBACKGROUND
Последние достижения в области кодирования звука обеспечили возможность восстановления многоканального представления звукового сигнала на основании стерео (или моно) сигнала и соответствующих управляющих данных. Эти способы существенно отличаются от прежних решений, основанных на матрицах, например, от системы "Долби Пролоджик" (Dolby Prologic), поскольку производят передачу дополнительных управляющих данных для управления восстановлением каналов объемного звучания на основании переданных моно- или стереоканалов, которое также именуют микшированием с увеличением количества каналов (upmix).Recent advances in audio coding have made it possible to reconstruct a multi-channel representation of an audio signal based on a stereo (or mono) signal and associated control data. These methods differ significantly from previous matrix-based solutions, for example, from the Dolby Prologic system, because they transmit additional control data to control the restoration of surround channels based on transmitted mono or stereo channels, which is also called mixing with increase in the number of channels (upmix).
Следовательно, такое устройство параметрического декодирования многоканального звука, например звука в формате MPEG c объемным звучанием (MPEG Surround), восстанавливает N каналов на основании М переданных каналов, где N>М, и дополнительных управляющих данных. Скорость передачи дополнительных управляющих данных является существенно более низкой, чем скорость передачи всех N каналов, что делает кодирование очень эффективным, одновременно обеспечивая совместимость как с M-канальными устройствами, так и с N-канальными устройствами.Therefore, such a device for parametric decoding of multi-channel audio, for example, MPEG surround sound (MPEG Surround), restores N channels based on M transmitted channels, where N> M, and additional control data. The transmission rate of additional control data is significantly lower than the transmission rate of all N channels, which makes coding very efficient, while ensuring compatibility with both M-channel devices and N-channel devices.
Эти способы параметрического кодирования объемного звука обычно включают в себя параметризацию сигнала объемного звучания на основании разности интенсивности между каналами (IID) и когерентности между каналами (ICC). Эти параметры описывают отношения мощностей и корреляцию между парами каналов в процессе микширования с увеличением количества каналов. На известном уровне техники также используют еще и другие параметры, в том числе параметры прогнозирования, используемые для прогнозирования промежуточных или выходных каналов во время процедуры микширования с увеличением количества каналов.These parametric surround sound encoding methods typically include parameterization of the surround signal based on the difference between the intensity between the channels (IID) and the coherence between the channels (ICC). These parameters describe the power relations and the correlation between the pairs of channels during the mixing process with an increase in the number of channels. Other parameters are also used in the prior art, including prediction parameters used to predict intermediate or output channels during a mixing procedure with an increase in the number of channels.
Двумя известными примера такого многоканального кодирования являются бинауральное кодирование (BCC) и кодирование в формате MPEG c объемным звучанием (MPEG surround). При бинауральном кодировании (BCC) несколько входных звуковых каналов преобразовывают в спектральное представление с использованием преобразования, основанного на дискретном преобразовании Фурье (ДПФ) с перекрывающимися окнами. Затем полученный в результате этого равномерный спектр разделяют на неперекрывающиеся сегменты. Каждый сегмент имеет ширину полосы частот, пропорциональную эквивалентной ширине прямоугольной полосы частот (ERB). Затем производят оценку пространственных параметров, именуемых ICLD (разностью уровней между каналами) и ICTD (разностью по времени между каналами), для каждого сегмента. Параметр ICLD описывает разность уровней между двумя каналами, а параметр ICTD описывает разность по времени (сдвиг фазы) между двумя сигналами различных каналов. Разности уровней и разности по времени являются заданными для каждого канала относительно общего опорного канала. После получения этих параметров выполняют дискретизацию и кодирование параметров для передачи.Two well-known examples of such multi-channel coding are binaural coding (BCC) and MPEG surround coding (MPEG surround). With binaural coding (BCC), several input audio channels are converted to spectral representation using a transform based on a discrete Fourier transform (DFT) with overlapping windows. Then, the resulting uniform spectrum is divided into non-overlapping segments. Each segment has a bandwidth proportional to the equivalent width of a rectangular frequency band (ERB). Then, spatial parameters called ICLD (level difference between channels) and ICTD (time difference between channels) are estimated for each segment. The ICLD parameter describes the level difference between two channels, and the ICTD parameter describes the time difference (phase shift) between two signals of different channels. Level differences and time differences are set for each channel relative to the common reference channel. After receiving these parameters, discretization and coding of parameters for transmission are performed.
При бинауральном кодировании (BCC) оценку отдельных параметров производят относительно одного единственного опорного канала. В других системах параметрического кодирования объемного звука, например в формате MPEG c объемным звучанием (MPEG surround), используют параметризацию с древовидной структурой. Это означает, что оценку параметров больше не производят относительно одного единственного общего опорного канала, а ее производят относительно различных опорных каналов, которыми даже может являться комбинация каналов исходного многоканального сигнала. Например, при наличии в канале сигнала системы 5.1 может быть произведена оценка параметров между комбинацией передних каналов и между комбинацией тыловых каналов.With binaural coding (BCC), individual parameters are evaluated relative to a single reference channel. Other parametric surround sound encoding systems, such as MPEG surround surround sound (MPEG surround), use a tree structure parameterization. This means that the parameters are no longer evaluated relative to one single common reference channel, but rather relative to different reference channels, which may even be a combination of channels of the original multi-channel signal. For example, if there is a 5.1 system signal in the channel, parameters can be estimated between the combination of the front channels and between the combination of the rear channels.
Само собой разумеется, что для схем параметрического кодирования также очень желательно наличие обратной совместимости с уже существующими стандартами звуковоспроизведения. Например, при наличии монофонического сигнала, смикшированного с сокращением количества каналов, желательно также обеспечивать возможность создания стереофонического сигнала с высокой верностью воспроизведения. Это означает, что монофонический сигнал, смикшированный с сокращением количества каналов, должен быть смикширован с увеличением количества каналов в стереофонический сигнал с использованием дополнительно переданных параметров наилучшим возможным способом.It goes without saying that for parametric coding schemes, backward compatibility with already existing sound reproduction standards is also highly desirable. For example, in the presence of a monophonic signal mixed with a reduction in the number of channels, it is also desirable to provide the possibility of creating a stereo signal with high fidelity. This means that a monophonic signal mixed with a reduction in the number of channels must be mixed with an increase in the number of channels in a stereo signal using the additionally transmitted parameters in the best possible way.
Одной общей проблемой при многоканальном кодировании является сохранение энергии при микшировании с увеличением количества каналов, поскольку доминирующим фактором при восприятии человеком положения источника звука в пространстве является громкость сигнала, то есть энергия, содержащаяся в сигнале. Следовательно, при воспроизведении сигнала необходимо проявлять крайнюю тщательность для обеспечения правильной громкости каждого восстановленного канала, например, во избежание введения искажений, сильно ухудшающих качество восприятия восстановленного сигнала. Поскольку во время микширования с сокращением количества каналов обычно выполняют суммирование амплитуд сигналов, то возникает возможность помех, которая описывается параметром корреляции или когерентности.One common problem with multi-channel coding is energy conservation during mixing with an increase in the number of channels, since the dominant factor in a person’s perception of the position of a sound source in space is the volume of the signal, that is, the energy contained in the signal. Therefore, when reproducing the signal, extreme care must be taken to ensure the correct volume of each restored channel, for example, to avoid introducing distortions that greatly degrade the perception quality of the restored signal. Since during mixing, with a reduction in the number of channels, summation of the amplitudes of the signals is usually performed, the possibility of interference arises, which is described by the correlation or coherence parameter.
Когда дело доходит до восстановления уменьшенного количества каналов (нескольких каналов, количество которых является меньшим, чем исходное количество каналов многоканального сигнала), то обработка в схемах, подобных схеме бинаурального кодирования (BCC), является простой, поскольку каждый параметр передают относительно одного и того же одного опорного канала. Следовательно, имея сведения об опорном канале, наиболее существенная информация (мера абсолютной энергии) может легко быть получена для каждого канала, необходимого для микширования с увеличением количества каналов. Таким образом, уменьшенное количество каналов может быть восстановлено без необходимости сначала выполнять восстановление полного многоканального сигнала. Таким образом, вычисления энергии для значений энергии многоканального сигнала являются более простыми в схеме бинаурального кодирования (BCC) с использованием отдельных переменных, а не произведений переменных, но это является только лишь первым этапом. Когда дело доходит до получения значений энергии и корреляций уменьшенного количества каналов, которые должны являться настолько близкими к результатам частичного микширования исходных многоканальных сигналов с сокращением количества каналов, насколько это возможно, уровень сложности при кодировании в формате MPEG c объемным звучанием (MPEG surround) и при бинауральном кодировании (BCC) является сопоставимым.When it comes to recovering a reduced number of channels (several channels whose number is less than the original number of channels of a multi-channel signal), processing in circuits similar to the binaural coding scheme (BCC) is simple because each parameter is transmitted with respect to the same one reference channel. Therefore, having information about the reference channel, the most significant information (a measure of absolute energy) can easily be obtained for each channel necessary for mixing with an increase in the number of channels. Thus, a reduced number of channels can be restored without having to first perform a full multi-channel signal recovery. Thus, energy calculations for energy values of a multi-channel signal are simpler in a binaural coding scheme (BCC) using separate variables rather than products of variables, but this is only the first step. When it comes to obtaining energy values and correlations of a reduced number of channels, which should be as close to partial mixing of the original multi-channel signals with as few channels as possible, the level of complexity when encoding in MPEG format with surround sound (MPEG surround) and when binaural coding (BCC) is comparable.
В отличие от этого, в древовидной структуре, как, например, в формате MPEG c объемным звучанием (MPEG surround), используют параметризацию, в которой соответствующая информация для каждого отдельного канала не содержится в одном параметре. Следовательно, на известном уровне техники для восстановления уменьшенного количества каналов требуется восстановление многоканального сигнала, после чего выполняют микширование с сокращением количества каналов до уменьшенного количества каналов, не нарушая требований относительно сохранения энергии. Это имеет очевидный недостаток, заключающийся в чрезвычайно высокой сложности вычислений.In contrast, in a tree structure, such as in the MPEG surround format (MPEG surround), a parameterization is used in which the corresponding information for each individual channel is not contained in one parameter. Therefore, in the prior art, restoration of a reduced number of channels requires restoration of a multi-channel signal, after which mixing is performed with a reduction in the number of channels to a reduced number of channels, without violating the requirements for energy conservation. This has an obvious disadvantage of extremely high computational complexity.
СУЩНОСТЬ ИЗОБРЕТЕНИЯSUMMARY OF THE INVENTION
Задачей настоящего изобретения является создание концепции более эффективного получения уменьшенного количества каналов из параметрического многоканального сигнала.An object of the present invention is to provide a concept for more efficiently obtaining a reduced number of channels from a parametric multi-channel signal.
Согласно первому объекту настоящего изобретения эта задача достигнута при помощи средства вычисления параметров, предназначенного для получения параметров микширования с увеличением количества каналов для выполнения микширования с увеличением количества каналов сигнала, смикшированного с сокращением количества каналов, в промежуточное представление каналов многоканального сигнала, имеющее большее количество каналов, чем сигнал, смикшированный с сокращением количества каналов, и меньшее количество каналов, чем многоканальный сигнал, причем сигнал, смикшированный с сокращением количества каналов, имеет связанные с ним многоканальные параметры, описывающие пространственные характеристики многоканального сигнала, при этом многоканальный сигнал содержит каналы, не содержащиеся в промежуточном представлении каналов, и многоканальные параметры содержат информацию о каналах, не содержащихся в промежуточном представлении каналов, а средство вычисления параметров, содержит средство перерасчета параметров, предназначенное для получения параметров микширования с увеличением количества каналов из многоканальных параметров c использованием параметров, содержащих информацию о каналах, не содержащихся в промежуточном представлении каналов.According to a first aspect of the present invention, this task is achieved by means of a parameter calculation means for obtaining mixing parameters with an increase in the number of channels for performing mixing with an increase in the number of channels of a signal mixed with a reduction in the number of channels, into an intermediate representation of the channels of a multi-channel signal having a larger number of channels, than a signal mixed with a reduction in the number of channels, and fewer channels than a multi-channel signal nal, and the signal mixed with a reduction in the number of channels has associated multichannel parameters describing the spatial characteristics of the multichannel signal, while the multichannel signal contains channels not contained in the intermediate representation of the channels, and the multichannel parameters contain information about channels not contained in the intermediate the channel representation, and the parameter calculation means, comprises the parameter recalculation tool, intended to obtain mixing parameters with velicheniem number of channels of the multichannel parameters using the parameters c, containing information on the channels not included in the intermediate channel representation.
Согласно второму объекту настоящего изобретения эта задача достигнута при помощи средства восстановления каналов, которое снабжено средством восстановления параметров, содержащим средство вычисления параметров, предназначенное для получения параметров микширования с увеличением количества каналов для микширования с увеличением количества каналов сигнала, смикшированного с сокращением количества каналов, в промежуточное представление каналов многоканального сигнала, имеющее большее количество каналов, чем сигнал, смикшированный с сокращением количества каналов, и меньшее количество каналов, чем многоканальный сигнал, причем сигнал, смикшированный с сокращением количества каналов, имеет связанные с ним многоканальные параметры, описывающие пространственные характеристики многоканального сигнала, при этом многоканальный сигнал содержит каналы, не содержащиеся в промежуточном представлении каналов, и многоканальные параметры содержат информацию о каналах, не содержащихся в промежуточном представлении каналов, а средство вычисления параметров содержит средство перерасчета параметров, предназначенное для получения параметров микширования с увеличением количества каналов из многоканальных параметров с использованием параметров, содержащих информацию о каналах, не содержащихся в промежуточном представлении каналов, и средство микширования с увеличением количества каналов, предназначенное для получения промежуточного представления каналов с использованием параметров микширования с увеличением количества каналов и сигнала, смикшированного с сокращением количества каналов.According to a second aspect of the present invention, this objective is achieved by means of a channel recovery means, which is provided with a parameter recovery means comprising parameter calculating means for obtaining mixing parameters by increasing the number of channels for mixing with increasing the number of channels of a signal mixed with a reduction in the number of channels into an intermediate representation of channels of a multi-channel signal having a larger number of channels than the signal are mixed with a reduction in the number of channels, and a smaller number of channels than a multichannel signal, the signal mixed with a reduction in the number of channels has associated multichannel parameters describing the spatial characteristics of the multichannel signal, while the multichannel signal contains channels not contained in the intermediate representation of the channels, and multichannel parameters contain information about channels not contained in the intermediate representation of the channels, and the means for calculating the parameters contains media parameter recalculation, intended to obtain mixing parameters with increasing the number of channels from multichannel parameters using parameters containing information about channels not contained in the intermediate representation of channels, and mixing means with increasing the number of channels, designed to obtain an intermediate representation of channels using mixing parameters with an increase in the number of channels and a signal mixed with a decrease in the number of channels.
Согласно третьему объекту настоящего изобретения эта задача достигнута при помощи способа генерации параметров микширования с увеличением количества каналов для микширования с увеличением количества каналов сигнала, смикшированного с сокращением количества каналов, в промежуточное представление каналов многоканального сигнала, имеющее большее количество каналов, чем сигнал, смикшированный с сокращением количества каналов, и меньшее количество каналов, чем многоканальный сигнал, причем сигнал, смикшированный с сокращением количества каналов, имеет связанные с ним многоканальные параметры, описывающие пространственные характеристики многоканального сигнала, при этом многоканальный сигнал содержит каналы, не содержащиеся в промежуточном представлении каналов, и многоканальные параметры содержат информацию о каналах, не содержащихся в промежуточном представлении каналов, а способ содержит следующую операцию: получают параметры микширования с увеличением количества каналов из многоканальных параметров с использованием параметров, содержащих информацию о каналах, не содержащихся в промежуточном представлении каналов.According to a third aspect of the present invention, this object is achieved by a method for generating mixing parameters with increasing the number of channels for mixing with increasing the number of channels of a signal mixed with a reduction in the number of channels into an intermediate representation of channels of a multi-channel signal having a larger number of channels than a signal mixed with a reduction the number of channels, and fewer channels than a multi-channel signal, the signal mixed with a reduction in the number each channel has multichannel parameters associated with it that describe the spatial characteristics of the multichannel signal, while the multichannel signal contains channels not contained in the intermediate channel representation, and the multichannel parameters contain information about channels not contained in the intermediate channel representation, and the method comprises the following operation : get mixing parameters with an increase in the number of channels from multichannel parameters using parameters containing channel information alah not contained in the intermediate representation of the channels.
Согласно четвертому объекту настоящего изобретения эта задача достигнута при помощи звукового приемника или устройства воспроизведения звука, при этом приемник или устройство воспроизведения звука содержит средство вычисления параметров, предназначенное для получения параметров микширования с увеличением количества каналов для микширования с увеличением количества каналов сигнала, смикшированного с сокращением количества каналов, в промежуточное представление каналов многоканального сигнала, имеющее большее количество каналов, чем сигнал, смикшированный с сокращением количества каналов, и меньшее количество каналов, чем многоканальный сигнал, причем сигнал, смикшированный с сокращением количества каналов, имеет связанные с ним многоканальные параметры, описывающие пространственные характеристики многоканального сигнала, при этом многоканальный сигнал содержит каналы, не содержащиеся в промежуточном представлении каналов, и многоканальные параметры содержат информацию о каналах, не содержащихся в промежуточном представлении каналов, а средство вычисления параметров содержит средство перерасчета параметров, предназначенное для получения параметров микширования с увеличением количества каналов из многоканальных параметров с использованием параметров, содержащих информацию о каналах, не содержащихся в промежуточном представлении каналов.According to a fourth aspect of the present invention, this objective is achieved with a sound receiver or sound reproducing device, wherein the receiver or sound reproducing apparatus comprises parameter calculating means for obtaining mixing parameters with an increase in the number of channels for mixing with an increase in the number of channels of a signal mixed with a reduction in the number channels, in an intermediate representation of the channels of a multi-channel signal having a larger number of channels than a signal mixed with a reduction in the number of channels, and a smaller number of channels than a multi-channel signal, a signal mixed with a reduction in the number of channels has associated multi-channel parameters describing the spatial characteristics of the multi-channel signal, while the multi-channel signal contains channels not contained in the intermediate channel representation, and multichannel parameters contain information about the channels not contained in the intermediate channel representation, and the tool is calculated I parameters comprises means for allocation of parameters for obtaining the mixing parameters to increase the number of channels of the multichannel parameters using the parameters having information on channels not included in the intermediate channel representation.
Согласно пятому объекту настоящего изобретения эта задача достигнута при помощи способа приема или воспроизведения звука, включающего в себя способ генерации параметров микширования с увеличением количества каналов для микширования с увеличением количества каналов сигнала, смикшированного с сокращением количества каналов, в промежуточное представление каналов многоканального сигнала, имеющее большее количество каналов, чем сигнал, смикшированный с сокращением количества каналов, и меньшее количество каналов, чем многоканальный сигнал, причем сигнал, смикшированный с сокращением количества каналов, имеет связанные с ним многоканальные параметры, описывающие пространственные характеристики многоканального сигнала, при этом многоканальный сигнал содержит каналы, не содержащиеся в промежуточном представлении каналов, и многоканальные параметры содержат информацию о каналах, не содержащихся в промежуточном представлении каналов, а способ содержит следующую операцию: вычисляют параметры микширования с увеличением количества каналов из многоканальных параметров с использованием параметров, содержащих информацию о каналах, не содержащихся в промежуточном представлении каналов.According to a fifth aspect of the present invention, this objective is achieved by a method for receiving or reproducing sound, including a method for generating mixing parameters by increasing the number of channels for mixing with increasing the number of channels of a signal mixed with a reduction in the number of channels into an intermediate representation of channels of a multi-channel signal having a larger the number of channels than a signal mixed with a reduction in the number of channels, and fewer channels than a multi-channel with drove, and the signal mixed with the reduction in the number of channels has associated with it multi-channel parameters describing the spatial characteristics of the multi-channel signal, while the multi-channel signal contains channels not contained in the intermediate representation of the channels, and the multi-channel parameters contain information about channels not contained in the intermediate presentation of channels, and the method comprises the following operation: mixing parameters are calculated with an increase in the number of channels from multi-channel parameter in using the parameters having information on channels not included in the intermediate channel representation.
Настоящее изобретение основано на обнаружении того факта, что промежуточное представление каналов многоканального сигнала может быть восстановлено с высокой эффективностью и с высокой точностью воспроизведения в том случае, когда получены параметры микширования с увеличением количества каналов для микширования переданного сигнала, смикшированного с сокращением количества каналов, с увеличением количества каналов в промежуточное представление каналов, позволяющие выполнять микширование с увеличением количества каналов с использованием тех же самых алгоритмов микширования с увеличением количества каналов, что и в случае восстановления многоканального сигнала. Это может быть достигнуто в том случае, когда для получения параметров микширования с увеличением количества каналов используют средство перерасчета параметров, обеспечивая также учет параметров, содержащих информацию о каналах, не содержащихся в промежуточном представлении каналов.The present invention is based on the discovery of the fact that the intermediate representation of the channels of a multi-channel signal can be restored with high efficiency and high fidelity when mixing parameters are obtained with an increase in the number of channels for mixing the transmitted signal mixed with a decrease in the number of channels with an increase the number of channels in the intermediate representation of channels, allowing mixing with an increase in the number of channels using vaniem same mixing algorithms with an increase in the number of channels in the case of recovery of the multichannel signal. This can be achieved when a parameter recalculation tool is used to obtain mixing parameters with an increase in the number of channels, while also taking into account parameters containing information about channels not contained in the intermediate channel representation.
В одном из вариантов осуществления настоящего изобретения устройство декодирования способно восстанавливать стереофонический выходной сигнал из параметрического микширования с сокращением количества каналов многоканального сигнала с 5 каналами, при этом результат параметрического микширования с сокращением количества каналов содержит монофонический сигнал, смикшированный с сокращением количества каналов, и соответствующие многоканальные параметры. Согласно настоящему изобретению для микширования стереофонического сигнала с увеличением количества каналов пространственные параметры объединяют для получения параметров микширования с увеличением количества каналов, причем при этом объединении также учитывают многоканальные параметры, не связанные с левым передним или с правым передним каналом. Следовательно, могут быть получены абсолютные значения мощности для стереофонических каналов, смикшированных с увеличением количества каналов, и может быть получена мера когерентности между левым и правым каналами, что обеспечивает возможность стереофонического восстановления многоканального сигнала с высокой верностью воспроизведения. Кроме того, получают параметр когерентности между каналами (ICC) и параметр, характеризующий разность уровней между каналами (CLD), что позволяет выполнять микширование с увеличением количества каналов с использованием уже существующих алгоритмов и реализаций. Использование параметров каналов, не связанных с восстановленными стереофоническими каналами, позволяет сохранять энергию в сигнале с более высокой точностью. Это имеет наибольшую важность, поскольку неуправляемые изменения громкости в наибольшей степени нарушают качество воспроизводимого сигнала.In one embodiment of the present invention, a decoding device is capable of recovering a stereo output signal from a parametric mixing with a reduction in the number of channels of a multi-channel signal with 5 channels, wherein the result of a parametric mixing with a reduction in the number of channels comprises a monophonic signal mixed with a reduction in the number of channels and corresponding multi-channel parameters . According to the present invention, to mix a stereo signal with an increase in the number of channels, spatial parameters are combined to obtain mixing parameters with an increase in the number of channels, and this combination also takes into account multichannel parameters not associated with the left front or right front channel. Therefore, absolute power values for stereo channels mixed with increasing number of channels can be obtained, and a measure of coherence between the left and right channels can be obtained, which makes it possible to stereo restore a multi-channel signal with high fidelity. In addition, a coherence between channels (ICC) parameter and a parameter characterizing the level difference between channels (CLD) are obtained, which allows mixing with increasing the number of channels using existing algorithms and implementations. Using channel parameters that are not associated with the restored stereo channels allows you to save energy in the signal with higher accuracy. This is of the greatest importance, since uncontrolled changes in volume to the greatest extent violate the quality of the reproduced signal.
В общем случае применение идеи настоящего изобретения обеспечивает возможность восстановления стереофонического сигнала, смикшированного с увеличением количества каналов, из монофонического сигнала, смикшированного с сокращением количества каналов из многоканального сигнала, без необходимости промежуточного полного восстановления многоканального сигнала, что имеет место в способах из известного уровня техники. Очевидно, что таким образом может быть значительно уменьшена сложность вычислений в устройстве декодирования. К тому же использование многоканальных параметров, связанных с каналами, не содержащимися в сигнале, смикшированном с увеличением количества каналов (то есть в сигнале, имеющем левый передний канал и правый передний канал), обеспечивает возможность такого восстановления, которое не вносит каких-либо дополнительных искажений или изменений громкости, но, наоборот, полностью сохраняет энергию сигнала. В более конкретном изложении отношение энергии между левым и правым восстановленными каналами вычисляют от множества имеющихся многоканальных параметров, при этом также учитывают многоканальные параметры, не связанные с левым передним каналом и с правым передним каналом. Очевидно, что соотношение громкости между левым и правым восстановленными (смикшированными с увеличением количества каналов) каналами является доминирующим фактором для качества прослушивания восстановленного стереофонического сигнала. Без использования идеи настоящего изобретения восстановление каналов, имеющих в точности правильное соотношение энергии, в древовидных структурах, рассмотренных в этом документе, невозможно.In general, the application of the idea of the present invention provides the ability to restore a stereo signal mixed with an increase in the number of channels from a monophonic signal mixed with a decrease in the number of channels from a multi-channel signal, without the need for intermediate full restoration of the multi-channel signal, which is the case with the methods of the prior art. Obviously, in this way, the computational complexity in the decoding apparatus can be significantly reduced. In addition, the use of multichannel parameters associated with channels not contained in a signal mixed with an increase in the number of channels (i.e., in a signal having a left front channel and a right front channel) provides the possibility of such reconstruction, which does not introduce any additional distortions or volume changes, but, on the contrary, completely saves the energy of the signal. In a more specific presentation, the energy ratio between the left and right restored channels is calculated from the many available multichannel parameters, while multichannel parameters not associated with the left front channel and the right front channel are also taken into account. Obviously, the ratio of the volume between the left and right restored (mixed with an increase in the number of channels) channels is the dominant factor for the quality of listening to the restored stereo signal. Without using the idea of the present invention, restoration of channels having exactly the correct energy ratio in the tree structures discussed in this document is impossible.
Следовательно, реализация идеи настоящего изобретения позволяет осуществлять высококачественное стереофоническое воспроизведение многоканального сигнала, смикшированного с сокращением количества каналов, на основании многоканальных параметров, которые не получены для точного воспроизведения стереофонического сигнала.Therefore, the implementation of the idea of the present invention allows for high-quality stereo playback of a multi-channel signal mixed with a reduction in the number of channels, based on multi-channel parameters that are not obtained for accurate reproduction of a stereo signal.
Следует отметить, что идея настоящего изобретения также может быть использована в том случае, когда количество воспроизведенных каналов является иным, чем два, например, когда также необходимо выполнять восстановление центрального канала с высокой точностью, что имеет место в некоторых режимах воспроизведения.It should be noted that the idea of the present invention can also be used when the number of reproduced channels is other than two, for example, when it is also necessary to perform restoration of the central channel with high accuracy, which is the case in some playback modes.
Ниже будет приведен более подробный обзор схем многоканального кодирования (в особенности, основанных на древовидных структурах) из известного уровня техники для краткого изложения большой пользы идеи настоящего изобретения.A more detailed overview of multi-channel coding schemes (in particular, based on tree structures) from the prior art will be given below to summarize the great benefits of the idea of the present invention.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙBRIEF DESCRIPTION OF THE DRAWINGS
Ниже приведено описание предпочтительных вариантов осуществления настоящего изобретения со ссылкой на сопроводительные чертежи, на которых изображено следующее:The following is a description of preferred embodiments of the present invention with reference to the accompanying drawings, which depict the following:
на Фиг. 1 показаны примеры способов параметризации, основанных на древовидной структуре;in FIG. 1 shows examples of parameterization methods based on a tree structure;
на Фиг. 2 показаны примеры схем декодирования с древовидной структурой;in FIG. 2 shows examples of decoding schemes with a tree structure;
на Фиг. 3 показан пример устройства многоканального кодирования из известного уровня техники;in FIG. 3 shows an example of a multi-channel coding apparatus of the prior art;
на Фиг. 4 показаны примеры устройств декодирования из известного уровня техники;in FIG. 4 shows examples of decoding devices of the prior art;
на Фиг. 5 показан пример стереофонического восстановления многоканального сигнала, смикшированного с сокращением количества каналов, из известного уровня техники;in FIG. 5 shows an example of stereo reconstruction of a multi-channel signal mixed with a reduction in the number of channels from the prior art;
на Фиг. 6 показана блок-схема примера средства вычисления параметров, предложенного в настоящем изобретении;in FIG. 6 is a block diagram of an example of a parameter calculating tool provided in the present invention;
на Фиг. 7 показан пример средства восстановления каналов, предложенного в настоящем изобретении; иin FIG. 7 shows an example of a channel recovery tool provided in the present invention; and
на Фиг. 8 показан пример приемника или устройства воспроизведения звука, предложенного в настоящем изобретении.in FIG. 8 shows an example of a receiver or sound reproducing apparatus of the present invention.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯDETAILED DESCRIPTION OF THE INVENTION
Ниже приведено описание идеи настоящего изобретения, в основном, применительно к кодированию в формате MPEG, но она также хорошо применима для других схем, основанных на параметрическом кодировании многоканальных сигналов. То есть описанные ниже варианты осуществления изобретения просто являются иллюстративными примерами принципов настоящего изобретения для декодирования уменьшенного количества каналов для многоканальных систем с древовидной структурой. Понятно, что для специалистов в данной области техники очевидна возможность модификаций и изменений описанных здесь устройств и подробностей. Следовательно, подразумевают, что настоящее изобретение ограничено только лишь объемом приведенной ниже формулы изобретения, а не конкретными подробностями, представленными здесь посредством описания и объяснения вариантов осуществления изобретения.The following is a description of the idea of the present invention, mainly in relation to encoding in MPEG format, but it is also well applicable to other schemes based on parametric encoding of multi-channel signals. That is, the embodiments described below are merely illustrative examples of the principles of the present invention for decoding a reduced number of channels for multi-channel systems with a tree structure. It is understood that for those skilled in the art, the possibility of modifications and changes to the devices and details described herein is obvious. Therefore, it is intended that the present invention be limited only by the scope of the claims below, and not by the specific details presented here by describing and explaining embodiments of the invention.
Как упомянуто выше, в некоторых системах параметрического кодирования объемного звука, например в формате MPEG c объемным звучанием (MPEG surround), используют параметризацию с древовидной структурой. Такая параметризация схематично изображена на чертежах Фиг. 1 и Фиг. 2.As mentioned above, in some parametric surround coding systems, for example in MPEG surround format (MPEG surround), a tree structure parameterization is used. Such parameterization is shown schematically in the drawings of FIG. 1 and FIG. 2.
На Фиг. 1 показаны два способа параметризации сценария стандартных звуковых каналов системы 5.1, имеющей левый передний канал 2, центральный канал 3, правый передний канал 4, левый канал 5 объемного звучания и правый канал 6 объемного звучания. Возможно, но не обязательно, также может присутствовать канал 7 усиления низких частот (LFE) (далее - канал УНЧ).In FIG. 1 shows two ways of parameterizing the scenario of standard sound channels of a 5.1 system having a left
Как правило, отдельные каналы или пары каналов характеризуют относительно друг друга посредством многоканальных параметров, таких как, например параметр когерентности между каналами (ICC) и параметр уровня (параметр, характеризующий разность уровней между каналами, CLD). В следующем абзаце будет приведено краткое объяснение возможных способов параметризации, а затем будут проиллюстрированы результирующие схемы декодирования с древовидной структурой со ссылкой на Фиг. 2.Typically, individual channels or channel pairs are characterized relative to each other by multichannel parameters, such as, for example, the coherence between channels (ICC) parameter and the level parameter (parameter characterizing the level difference between channels, CLD). In the next paragraph, a brief explanation of possible parameterization methods will be given, and then the resulting decoding schemes with a tree structure will be illustrated with reference to FIG. 2.
В примере, показанном в верхней части Фиг. 1 (параметризация типа 5-1-51), многоканальный сигнал описывают параметром, характеризующим разность уровней между каналами (CLD), и параметром когерентности между каналами (ICC), которые описывают соотношение между левым каналом 5 объемного звучания и правым каналом 6 объемного звучания, левым передним каналом 2 и правым передним каналом 4, и между центральным каналом 3 и каналом 7 усиления низких частот. Однако поскольку вся конфигурация должна быть смикширована с сокращением количества каналов в один единственный монофонический канал, то для полного описания набора каналов требуются дополнительные параметры. Следовательно, используют дополнительные параметры (CLD1, ICC1), описывающие связь комбинации громкоговорителя 7 УНЧ и центрального громкоговорителя 3 с комбинацией левого переднего канала 2 и правого переднего канала 4. Кроме того, требуется еще один дополнительный набор параметров (CLD0, ICC0), эти параметры описывают связь между объединенными каналами 5 и 6 объемного звучания и остальными каналами многоканального сигнала.In the example shown at the top of FIG. 1 (parameterization type 5-1-5 1 ), a multi-channel signal is described by a parameter characterizing the level difference between the channels (CLD), and a coherence parameter between the channels (ICC), which describe the relationship between the
При параметризации, показанной в нижней части чертежа (параметризация типа 5-1-52), используют параметры, описывающие связь левого переднего канала 2 с левым каналом 5 объемного звучания, правого переднего канала 4 с правым каналом 6 объемного звучания и центрального канала 3 с каналом 7 усиления низких частот. Дополнительные параметры (CLD1 и ICC1) описывают соотношение между комбинацией левых каналов 2 и 5 и комбинацией правых каналов 4 и 6. Еще один набор параметров (CLD0 и ICC0) описывает соотношение между комбинацией центрального канала 3 и канала 7 УНЧ, и комбинацией остальных каналов.For the parameterization shown at the bottom of the drawing (parameterization of type 5-1-5 2 ), parameters are used that describe the relationship of the left
На Фиг. 2 проиллюстрированы концепции кодирования, лежащие в основе различных способов параметризации из Фиг. 1. На стороне устройства декодирования в древовидной структуре используют так называемые модули OTT ("один к двум", далее - ОКД). Каждый модуль ОКД выполняет микширование монофонического сигнала с увеличением количества каналов, преобразуя его в два выходных сигнала. При декодировании параметры для модулей ОКД следует применять в порядке, обратном их порядку при кодировании. Следовательно, в древовидной структуре типа 5-1-51 модуль 20 ОКД, получающий сигнал 22 (m), смикшированный с сокращением количества каналов, функционирует таким образом, что использует параметры CLD0 и ICC0 для получения двух каналов, один из которых является комбинацией левого канала 5 объемного звучания и правого канала 6 объемного звучания, а другой канал по-прежнему является комбинацией остальных каналов многоканального сигнала.In FIG. 2 illustrates the coding concepts underlying the various parameterization methods of FIG. 1. On the side of the decoding device in the tree structure, the so-called OTT modules ("one to two", hereinafter - OKD) are used. Each OKD module mixes a monophonic signal with an increase in the number of channels, converting it into two output signals. When decoding, parameters for OKD modules should be applied in the reverse order of their encoding. Therefore, in the tree structure of type 5-1-5 1 , the
Соответственно модуль 24 ОКД, используя CLD1 и ICC1, получает первый канал, представляющий собой объединенный канал из центрального канала 3 и низкочастотного канала 7, и второй канал, представляющий собой комбинацию левого переднего канала 2 и правого переднего канала 4. Таким же самым образом модуль 26 ОКД получает левый канал объемного звучания 5 и правый канал объемного звучания 6, используя CLD2 и ICC2. Модуль 27 ОКД получает центральный канал 3 и низкочастотный канал 7, используя CLD4, а модуль 28 ОКД получает левый передний канал 2 и правый передний канал 4, используя CLD3 и ICC3. Наконец, получают восстановление полного набора каналов 30 из одиночного монофонического канала 22, смикшированного с сокращением количества каналов. Для древовидной структуры типа 5-1-52 общая схема размещения модулей ОКД эквивалентна древовидной структуре 5-1-51. Однако одиночные модули ОКД получают иные комбинации каналов, причем эти комбинации каналов соответствуют параметризации, изображенной на Фиг. 1 для случая 5-1-52.Accordingly, the
Из Фиг. 1 и 2 становится очевидным, что древовидная структура различных способов параметризации является только лишь визуализацией для используемой параметризации. Кроме того, важно отметить, что отдельными параметрами являются параметры, описывающие соотношение между различными каналами, в отличие, например, от схемы бинаурального кодирования (BCC), в которой подобные параметры получают относительно одного единственного опорного канала.From FIG. 1 and 2, it becomes apparent that the tree structure of the various parameterization methods is only a visualization for the parameterization used. In addition, it is important to note that individual parameters are parameters that describe the relationship between different channels, in contrast, for example, to a binaural coding scheme (BCC) in which similar parameters are obtained with respect to a single reference channel.
Следовательно, в показанных способах параметризации отдельные каналы не могут быть получены просто с использованием параметров, связанных с модулями ОКД в визуализации, но, кроме того, необходимо учитывать некоторые или все остальные параметры.Therefore, in the shown parametrization methods, individual channels cannot be obtained simply using the parameters associated with the OKD modules in the visualization, but, in addition, some or all other parameters must be taken into account.
Древовидная структура параметризации представляет собой только лишь визуализацию реального потока сигнала или реальной обработки, показанной на Фиг. 3, на которой проиллюстрировано микширование переданного малого количества каналов с увеличением количества каналов, выполняемое путем матричного умножения. На Фиг. 3 показано декодирование на основе принятого канала 40, смикшированного с сокращением количества каналов. Канал 40, смикшированный с сокращением количества каналов, вводят в блок 42 микширования с увеличением количества каналов, получая восстановленный многоканальный сигнал 44, при этом состав каналов является различным в зависимости от используемых способов параметризации. Однако матричные элементы матрицы, используемой блоком 42 восстановления, получены непосредственно из древовидной структуры. Блок 42 восстановления, только лишь для иллюстративных целей, может быть дополнительно разбит на составные части, одной из которых является матрица 46 предварительного декоррелятора, посредством которой получают дополнительные декоррелированные сигналы из переданного канала 40. Их затем вводят в матрицу 48 смешивания, посредством которой получают многоканальные сигналы 44 путем смешивания отдельных входных каналов.The tree structure of the parameterization is only a visualization of the actual signal flow or real processing shown in FIG. 3, which illustrates the mixing of a transmitted small number of channels with an increase in the number of channels, performed by matrix multiplication. In FIG. 3 shows decoding based on a received
Как показано на Фиг. 4, прямолинейный подход к уменьшению количества восстановленных каналов состоит в том, что просто выполняют "обрезку" древовидной структуры модулей "один к двум". На Фиг. 4 пунктирными линиями проиллюстрирована возможная "обрезка" древовидных структур, при этой "обрезке" во время восстановления не используют модули ОКД, расположенные с правой стороны древовидной структуры, уменьшая, таким образом, количество каналов на выходе. Однако при использовании способов параметризации из известного уровня техники, показанных на Фиг. 1 и 2, которые представлены потому, что они обеспечивают кодирование с низкой скоростью в битах с максимально возможным качеством, получение стереофонического выходного сигнала, правильно отображающего каналы левой стороны исходного многоканального сигнала, смикшированные с сокращением количества каналов, и каналы правой стороны исходного многоканального сигнала, смикшированные с сокращением количества каналов, невозможно просто путем "обрезки". На Фиг. 5 показан подход к созданию стереофонического выходного сигнала из описанных выше сигналов согласно известному уровню техники, в котором используют очевидный подход, когда сначала полностью восстанавливают многоканальный сигнал перед выполняемым после этого микшированием сигнала с сокращением количества каналов, преобразуя его в стереофоническое представление с использованием дополнительного микшера 60 с сокращением количества каналов. Очевидно, что этот подход имеет несколько недостатков, например высокую сложность и низкое качество звука.As shown in FIG. 4, a straightforward approach to reducing the number of reconstructed channels is simply to “trim” the tree structure of the one-to-two modules. In FIG. 4 dashed lines illustrate a possible “pruning” of tree structures; during this “pruning”, OKD modules located on the right side of the tree structure are not used during restoration, thus reducing the number of channels at the output. However, when using the parameterization methods of the prior art shown in FIG. 1 and 2, which are presented because they provide low bit rate coding with the highest possible quality, obtaining a stereo output signal that correctly displays the channels of the left side of the original multi-channel signal mixed with a reduction in the number of channels, and the channels of the right side of the original multi-channel signal, mixed with a reduction in the number of channels is not possible simply by “trimming”. In FIG. 5 shows an approach to creating a stereo output signal from the above-described signals according to the prior art, in which an obvious approach is used, when the multi-channel signal is completely restored first before mixing the signal with reduction in the number of channels, converting it into a stereo representation using an
Ниже приведено описание решения вышеупомянутой проблемы получения стереофонического выходного сигнала из монофонического сигнала, смикшированного с сокращением количества каналов, и параметров параметрического объемного звука при параметризации, естественно, не обеспечивающего поддержку "обрезки" до стереофонического выходного сигнала, которое получено для общего случая. После этого приведено описание двух конкретных вариантов осуществления изобретения, демонстрирующих использование идеи настоящего изобретения в описанных выше способах параметризации. Таким образом, обеспечены решения проблемы получения стереофонического выходного сигнала из монофонического сигнала, смикшированного с сокращением количества каналов, и параметров параметрического объемного звука при параметризации, которая не обеспечивает поддержку "обрезки" до стереофонического выходного сигнала.The following is a description of the solution to the aforementioned problem of obtaining a stereo output signal from a monophonic signal mixed with a reduction in the number of channels and parameters of parametric surround sound during parameterization, which naturally does not provide support for “trimming” to a stereo output signal, which is obtained for the general case. Then, two specific embodiments of the invention are described that demonstrate the use of the idea of the present invention in the parameterization methods described above. Thus, solutions to the problem of obtaining a stereo output signal from a monophonic signal mixed with a reduction in the number of channels and parameters of parametric surround sound during parameterization, which does not provide support for “trimming” to a stereo output signal, are provided.
Ниже будет приведено краткое описание общего подхода к перерасчету параметров. В частности, он применим для случая вычисления параметров стереофонического выходного сигнала из произвольного количества каналов многоканального звука, которое равно N. Кроме того, предполагают, что звуковой сигнал описывается его представлением по поддиапазонам, полученным с использованием блока фильтров, которое может быть вещественным или комплексно-модулированным.A brief description of the general approach to parameter recalculation will be given below. In particular, it is applicable for the case of calculating the parameters of a stereo output signal from an arbitrary number of channels of multichannel sound, which is equal to N. In addition, it is assumed that the sound signal is described by its representation over subbands obtained using a filter unit, which can be real or complex modulated.
Пусть все рассматриваемые сигналы являются конечными векторами выборок из поддиапазона, соответствующими частотно-временному фрагменту, определяемому пространственными параметрами, и пусть выборки восстановленного многоканального звукового сигнала в поддиапазоне сформированы из выборок звуковых каналов из поддиапазона и декоррелированных выборок звуковых каналов из поддиапазона в соответствии с операцией матричного микширования с увеличением количества каналов Let all the considered signals be finite vectors of samples from the subband corresponding to the time-frequency fragment determined by spatial parameters, and let the samples of the reconstructed multichannel audio signal in subband are formed from samples of sound channels from sub-band and decorrelated samples of audio channels from a subband in accordance with the operation of matrix mixing with an increase in the number of channels
, ,
Все сигналы считают векторами-строками. Матрица имеет размер и отображает суммарное действие матриц M1 и M2 из Фиг. 3 и, по существу, блока 42 микширования с увеличением количества каналов. Общий способ достижения надлежащих параметров мощности и корреляции версии, смикшированной с сокращением количества каналов до каналов исходных выборок из поддиапазона многоканального звукового сигнала состоит в формировании ковариационной матрицы виртуального микширования с сокращением количества каналов, определяемой матрицей микширования с сокращением количества каналов, которая состоит из элементовAll signals are considered row vectors. Matrix has size and displays the combined effect of the matrices M1 and M2 of FIG. 3 and essentially a mixing
Эта ковариационная матрица может быть вычислена путем умножения на транспонированное комплексно-сопряженное значение следующим образом:This covariance matrix can be calculated by multiplying by the transposed complex conjugate value as follows:
, ,
где внутренняя ковариационная матрица часто является известной из характеристик декорреляторов и переданных параметров.where is the internal covariance matrix often known from the characteristics of decorrelators and transmitted parameters.
Важным особым случаем, где это выполняется, является случай, когда , и в этом случае эта внутренняя ковариационная матрица часто фактически равна единичной матрице размера . Поэтому для стереофонического выходного сигнала, где =2, параметр, характеризующий разность уровней между каналами (CLD), и параметр когерентности между каналами (ICC) могут быть считаны из следующего выражения:An important special case where this is done is when , and in this case this internal covariance matrix is often actually equal to the identity matrix of size . Therefore for stereo output, where = 2, the parameter characterizing the level difference between the channels (CLD), and the coherence parameter between the channels (ICC) can be read from the following expression:
в том смысле, чтоin the sense that
Следует отметить, что здесь и далее применяют приведенную ниже систему обозначений. Для комплексных векторов комплексное скалярное произведение и норма вектора в квадрате определяются следующим выражением:It should be noted that hereinafter, the following notation is used. For complex vectors the complex scalar product and the norm of the vector squared are determined by the following expression:
где знак "звездочка" обозначает комплексное сопряжение.where the asterisk indicates complex conjugation.
Ниже должны быть получены два варианта осуществления настоящего изобретения для различных способов параметризации (5-1-51 и 5-1-52), показанных на Фиг. 1 и 2. В вариантах осуществления настоящего изобретения идея состоит в следующем: для того, чтобы осуществить вывод стереофонических сигналов на основании монофонических сигналов, смикшированных с сокращением количества каналов, и соответствующих параметров формата MPEG c объемным звучанием (MPEG surround) (многоканальных параметров), необходимо выполнить перерасчет параметров микширования с увеличением количества каналов в одиночный набор параметров, состоящий из параметра, характеризующего разность уровней между каналами (CLD), и параметра когерентности между каналами (ICC), которые могут использоваться для непосредственного получения стереофонического сигнала из монофонического сигнала путем микширования с увеличением количества каналов.Two embodiments of the present invention should be obtained below for the various parameterization methods (5-1-5 1 and 5-1-5 2 ) shown in FIG. 1 and 2. In embodiments of the present invention, the idea is as follows: in order to output stereo signals based on monophonic signals mixed with a reduction in the number of channels and the corresponding parameters of the MPEG format with surround sound (MPEG surround) (multi-channel parameters), it is necessary to recalculate the mixing parameters with an increase in the number of channels into a single set of parameters consisting of a parameter characterizing the level difference between the channels (CLD) and the parameter erentnosti between channels (ICC), which can be used for directly receiving a stereo signal from the mono downmix signal by increasing the number of channels.
Кроме того, предполагают, что обработку отдельных звуковых каналов выполняют покадровым способом, то есть в дискретных отрезках времени. Таким образом, говоря о значениях мощности или энергии, содержащихся в одном канале, термин "мощность" или "энергия" следует понимать как энергию или мощность, содержащуюся в одном кадре одного конкретного канала.In addition, it is assumed that the processing of individual audio channels is performed frame-by-frame, that is, in discrete time intervals. Thus, speaking of the values of power or energy contained in one channel, the term “power” or “energy” should be understood as energy or power contained in one frame of one particular channel.
Как правило, такие параметры, как, например, параметр, характеризующий разность уровней между каналами (CLD), и параметр когерентности между каналами (ICC) также применимы и для одного единственного кадра. В кадре с значениями выборок энергия E в кадре может быть представлена, например, посредством суммы квадратов значений выборок из поддиапазона в кадреTypically, parameters such as, for example, a parameter characterizing the level difference between channels (CLD), and the coherence parameter between channels (ICC) are also applicable for one single frame. In frame with the values of the samples, the energy E in the frame can be represented, for example, by the sum of the squares of the values of the samples from the subband in the frame
Значения разности уровней между каналами (CLD), переданные и используемые для вычисления параметров микширования с увеличением количества каналов для микширования с увеличением количества каналов сигнала М, смикшированного с сокращением количества каналов, в промежуточное (стереофоническое) представление каналов из многоканального сигнала, определены следующим образом:The values of the level difference between the channels (CLD) transmitted and used to calculate the mixing parameters with an increase in the number of channels for mixing with an increase in the number of channels of a signal M mixed with a decrease in the number of channels into an intermediate (stereo) representation of channels from a multi-channel signal are determined as follows:
где и обозначают мощность рассматриваемых сигналов в кадре, для которого должен быть получен параметр, характеризующий разность уровней между каналами (CLD).Where and denote the power of the considered signals in the frame, for which a parameter characterizing the level difference between the channels (CLD) should be obtained.
Следовательно, для случая 5-1-51 для получения значений мощности канала, нормированных на мощность монофонического канала m, смикшированного с сокращением количества каналов, могут быть использованы четыре параметра, характеризующих разность уровней между каналами (CLD):, где =0,1,2,3.Therefore, for case 5-1-5 1, to obtain the channel power values normalized to the power of a monophonic channel m mixed with a reduction in the number of channels, four parameters characterizing the level difference between the channels (CLD) can be used: where = 0,1,2,3.
. .
Коэффициенты усиления каналов определяются следующими выражениями:Channel gains are determined by the following expressions:
Конечная цель состоит в получении оптимальных стереофонических каналов и в смысле поиска надлежащих оценочных значений нормированных значений мощности и корреляции стереофонических каналов (промежуточного представления каналов), сформированных следующим образом:The ultimate goal is to get optimal stereo channels. and in the sense of searching for appropriate estimated values of normalized power values and correlation of stereo channels (intermediate representation of channels) formed as follows:
где весовой коэффициент микширования центрального канала с сокращением количества каналов равен where the weighting factor of the mixing of the Central channel with a reduction in the number of channels is
. .
Вычисление значений мощности, исходя из этого предположения, дает следующий результат:The calculation of power values based on this assumption gives the following result:
Оказывается, что вместо попытки включения информации о корреляции, носителями которой являются параметры , где =0,1 самым целесообразным вариантом является следующий: предполагают, что оба канала: объединенный левый канал и объединенный правый канал , являются некоррелированными с центральным каналом . Следовательно, оценку нормированных значений мощности выходных стереофонических каналов производят следующим образом: It turns out that instead of trying to include correlation information, the media of which are the parameters where = 0.1, the most appropriate option is the following: assume that both channels: the combined left channel and united right channel are uncorrelated with the central channel . Therefore, the normalized power values of the output stereo channels are estimated as follows:
После того, как получены значения мощности выходных каналов, может легко быть вычислен желательный параметр, характеризующий разность уровней между каналами (CLD), с использованием приведенного выше определения параметра, характеризующего разность уровней между каналами (CLD).After the output channel power values are obtained, the desired parameter characterizing the level difference between the channels (CLD) can be easily calculated using the above definition of the parameter characterizing the level difference between the channels (CLD).
Согласно идее настоящего изобретения получают параметр когерентности между каналами (ICC), обеспечивающий возможность стереофонического микширования с увеличением количества каналов. Корреляция между двумя выходными каналами сигнала определяется следующим выражением:According to the idea of the present invention, an inter-channel coherence parameter (ICC) is obtained, enabling stereo mixing with an increase in the number of channels. The correlation between the two output channels of the signal is determined by the following expression:
Привлекательный набор упрощающих предположений здесь вновь состоит в том, что объединенный левый канал и объединенный правый канал являются некоррелированными с центральным каналом , и, кроме того, в том, что каналы объемного звучания являются некоррелированными с передними каналами. Эти предположения могут быть выражены следующим образом:An attractive set of simplifying assumptions here again is that the combined left channel and united right channel are uncorrelated with the central channel , and moreover, that the surround channels are uncorrelated with the front channels. These assumptions can be expressed as follows:
Результирующее оценочное значение для зависит от двух параметров когерентности между каналами (ICC), которыми являются параметры , где =2,3, описывающие нормированные значения корреляции между левыми/правыми каналами, и имеет следующий вид:The resulting estimated value for depends on two parameters of coherence between channels (ICC), which are the parameters where = 2,3, which describe the normalized correlation between the left / right channels, and has the following form:
а это выражение может быть записано следующим образом:and this expression can be written as follows:
Таким образом, конечное значение корреляции зависит от многочисленных параметров многоканальной параметризации, что позволяет выполнять восстановление сигнала с высокой верностью воспроизведения. Наконец, получают параметр когерентности между каналами (ICC) с использованием следующей формулы:Thus, the final correlation value depends on numerous parameters of multichannel parameterization, which allows signal reconstruction with high fidelity of reproduction. Finally, an inter-channel coherence parameter (ICC) is obtained using the following formula:
Согласно идее настоящего изобретения распределение мощности между восстановленными каналами восстанавливают с высокой точностью. Однако может возникнуть дополнительная необходимость в глобальном масштабировании мощности, примененном к обоим каналам, для обеспечения сохранения общей энергии. Поскольку относительное распределение энергии между каналами является существенным для пространственного восприятия восстановленного сигнала, то глобальное масштабирование может ухудшить качество восприятия восстановленного сигнала. Необходимо подчеркнуть, что глобальное масштабирование является глобальным только внутри частотно-временного фрагмента, определяемого параметром. Это означает, что неправильное масштабирование окажет локальное влияние на сигнал в масштабе фрагментов, определяемых параметром. Другими словами, применяют коэффициенты усиления, зависящие как от частоты, так и от времени, которые приводят как к искажениям из-за спектрального "расцвечивания", так и к искажениям из-за модуляции во времени. Для гарантии сохранения мощности монофонического канала , смикшированного с сокращением количества каналов, в процессе стереофонического микширования с увеличением количества каналов, необходим коэффициент регулировки усиления для глобального масштабирования.According to the idea of the present invention, the power distribution between the restored channels is restored with high accuracy. However, there may be an additional need for global power scaling applied to both channels to ensure total energy conservation. Since the relative distribution of energy between the channels is essential for the spatial perception of the reconstructed signal, global scaling can degrade the perception quality of the reconstructed signal. It must be emphasized that global scaling is global only within the time-frequency fragment determined by the parameter. This means that improper scaling will have a local effect on the signal at the scale of fragments determined by the parameter. In other words, gain factors are applied that depend on both frequency and time, which lead to both distortions due to spectral “bleaching” and distortions due to time modulation. To guarantee the preservation of monophonic channel power , mixed with a reduction in the number of channels, in the process of stereo mixing with an increase in the number of channels, a gain adjustment factor is necessary for global scaling.
Однако этот коэффициент, определяемый выражением , равен =1 для конфигурации 5-1-51, так как However, this coefficient defined by the expression is equal = 1 for the configuration 5-1-5 1 , since
В качестве еще одного варианта осуществления изобретения в приведенных ниже абзацах приведено краткое описание применения идеи настоящего изобретения к древовидной структуре типа 5-1-52. Для создания стереофонического сигнала с высокой точностью воспроизведения рассматривают два первых набора параметров, состоящих из параметра, характеризующего разность уровней между каналами (CLD), и параметра когерентности между каналами (ICC), которые соответствуют верхним ветвям древовидной структуры.As another embodiment of the invention, the following paragraphs provide a brief description of the application of the idea of the present invention to a tree structure of type 5-1-5 2 . To create a stereo signal with high fidelity, the first two sets of parameters are considered, consisting of a parameter characterizing the level difference between the channels (CLD) and a coherence parameter between the channels (ICC), which correspond to the upper branches of the tree structure.
Сначала используют два параметра, характеризующие разность уровней между каналами (CLD), которые обозначают как , где =0,1, для получения нормированных значений мощности объединенных левого и правого каналов, и центрального каналаFirst, two parameters are used that characterize the level difference between the channels (CLD), which are denoted as where = 0.1, to obtain normalized power values of the combined left and right channels, and the central channel
, ,
где коэффициенты усиления каналов определяются следующими выражениями:where the channel gains are determined by the following expressions:
Задача состоит в получении значений мощности и корреляции каналов, смикшированных с сокращением количества каналов, The task is to obtain the values of power and correlation of channels mixed with a reduction in the number of channels,
, ,
, ,
где весовой коэффициент микширования центрального канала с сокращением количества каналов равен where the weighting factor of the mixing of the Central channel with a reduction in the number of channels is
. .
Вычисление значений мощности, исходя из этого предположения, дает следующий результат:The calculation of power values based on this assumption gives the following result:
, ,
. .
Целесообразное предположение здесь состоит в том, что оба параметра когерентности (ICC) между каналами и и между каналами и являются теми же самыми, что и заданный параметр между каналами и . Это предположение приводит к следующим оценочным значениям:A reasonable assumption here is that both coherence parameters (ICC) between channels and and between channels and are the same as the given parameter between channels and . This assumption leads to the following estimates:
поэтому оценочные нормированные значения мощности становятся равнымиtherefore, the estimated normalized power values become equal
Как и в предыдущем варианте осуществления изобретения, зная значения мощности и , может быть получен желательный параметр, характеризующий разность уровней между каналами (CLD)As in the previous embodiment, knowing the power values and , the desired parameter characterizing the level difference between the channels (CLD) can be obtained
Вычисление корреляции и, наконец, параметра когерентности между каналами (ICC), начинают с общего определения значения корреляцииThe calculation of the correlation and, finally, the coherence parameter between the channels (ICC), begin with a general definition of the correlation value
Вся необходимая информация является доступной из параметров древовидной структуры типа 5-1-52, так какAll the necessary information is available from the parameters of the tree structure of type 5-1-5 2 , since
Конечные результаты могут быть записаны в следующем виде:The final results can be written as follows:
Требуемый коэффициент регулировки усиления определяется следующим выражением:Ratio Required gain control is determined by the following expression:
Можно отметить, что сгенерированные параметры: параметр, характеризующий разность уровней между каналами (CLD), и параметр когерентности между каналами (ICC) могут быть дополнительно дискретизированы для обеспечения возможности использования в устройстве декодирования справочных таблиц для создания матрицы микширования с увеличением количества каналов вместо выполнения сложных вычислений. Это дополнительно повышает эффективность способа микширования с увеличением количества каналов.It can be noted that the generated parameters: the parameter characterizing the level difference between the channels (CLD) and the coherence parameter between the channels (ICC) can be additionally discretized to provide the possibility of using lookup tables in the decoding device to create a mixing matrix with an increase in the number of channels instead of performing complex computing. This further increases the efficiency of the mixing method with an increase in the number of channels.
Как правило, микширование с увеличением количества каналов возможно с использованием уже существующих модулей ОКД. Это имеет преимущество, заключающееся в том, что идея настоящего изобретения может быть легко реализована в уже существующих сценариях декодирования.As a rule, mixing with an increase in the number of channels is possible using the existing OKD modules. This has the advantage that the idea of the present invention can be easily implemented in existing decoding scenarios.
Матрица микширования с увеличением количества каналов обычно может быть описана следующим образом:The mixing matrix with increasing number of channels can usually be described as follows:
где Where
и гдеand where
Следовательно, получив параметр разности уровней между каналами (CLD) и параметр когерентности между каналами (ICC) согласно настоящему изобретению может быть выполнено микширование с увеличением количества каналов, обеспечивающее преобразование переданного сигнала, смикшированного с сокращением количества каналов, в стереофонический сигнал с высокой верностью воспроизведения с использованием стандартных модулей микширования с увеличением количества каналов.Therefore, having obtained the level difference between channels (CLD) parameter and the coherence between channels (ICC) parameter according to the present invention, mixing with increasing the number of channels can be performed, which converts the transmitted signal mixed with a reduction in the number of channels into a stereo signal with high fidelity with using standard mixing modules with an increase in the number of channels.
В еще одном варианте осуществления изобретения предложенное в настоящем изобретении средство восстановления каналов содержит средство вычисления параметров, предназначенное для получения параметров микширования с увеличением количества каналов, и средство микширования с увеличением количества каналов, предназначенное для получения промежуточного представления каналов с использованием параметров микширования с увеличением количества каналов и переданного сигнала, смикшированного с сокращением количества каналов.In yet another embodiment of the invention, the channel recovery tool of the present invention comprises parameter calculating means for obtaining mixing parameters with increasing the number of channels, and mixing means with increasing the number of channels, intended for obtaining an intermediate representation of channels using mixing parameters with increasing the number of channels and a transmitted signal mixed with a reduction in the number of channels.
Идея настоящего изобретения вновь схематично проиллюстрирована на Фиг. 6, на которой показано предложенное в настоящем изобретении средство 502 вычисления параметров, получающее множество параметров 504 когерентности между каналами (ICC) и множество параметров 506, характеризующих разность уровней между каналами (CLD). Согласно одному из вариантов осуществления настоящего изобретения предложенное в настоящем изобретении средство 502 вычисления параметров получает один параметр 508, характеризующий разность уровней между каналами (CLD), и один параметр 510 когерентности между каналами (ICC) для восстановления стереофонического сигнала с использованием также и многоканальных параметров (ICC и CLD), содержащих информацию о каналах, которые не содержатся в каналах стереофонического микширования с увеличением количества каналов, или которые не связаны с этими каналами.The idea of the present invention is again schematically illustrated in FIG. 6, which shows a
Можно отметить, что идея настоящего изобретения может быть легко приспособлена для сценариев микширования с увеличением количества каналов, включающих в себя более двух каналов. Термин "микширование с увеличением количества каналов" в этом смысле обычно определяют как промежуточное представление каналов многоканального сигнала, где промежуточное представление каналов имеет большее количество каналов, чем сигнал, смикшированный с сокращением количества каналов, и меньшее количество каналов, чем многоканальный сигнал. Одним обычным сценарием является конфигурация, в которой восстанавливают дополнительный центральный канал.It can be noted that the idea of the present invention can be easily adapted for mixing scenarios with an increase in the number of channels including more than two channels. The term "mixing with an increase in the number of channels" in this sense is usually defined as an intermediate representation of the channels of a multi-channel signal, where the intermediate representation of the channels has more channels than a signal mixed with a reduction in the number of channels and fewer channels than a multi-channel signal. One common scenario is a configuration in which an additional center channel is restored.
Применение идеи настоящего изобретения вновь схематично изображено на Фиг. 7, на которой показано предложенное в настоящем изобретении средство 502 вычисления параметров и блок 520 "один к двум" (ОКД). В блок 520 ОКД в качестве входного сигнала поступает переданный монофонический сигнал 522, как уже было подробно показано на Фиг. 6. В предложенное в настоящем изобретении средство 502 вычисления параметров поступает несколько значений 504 когерентности между каналами (ICC) и несколько значений 506 разности уровней между каналами (CLD) для получения одного параметра 508, характеризующего разность уровней между каналами (CLD), и одного параметра 510 когерентности между каналами (ICC).Application of the idea of the present invention is again schematically depicted in FIG. 7, which shows a
Одиночные параметры, которыми являются параметр 508, характеризующий разность уровней между каналами (CLD), и параметр 510 когерентности между каналами (ICC), вводят в модуль 520 ОКД для управления микшированием с увеличением количества каналов монофонического сигнала 522, смикшированного с сокращением количества каналов. Таким образом, на выходе модуля 520 ОКД может быть получен стереофонический сигнал 524 в виде промежуточного представления каналов многоканального сигнала.The single parameters, which are
На Фиг. 8 показан предложенный в настоящем изобретении приемник или предложенное в настоящем изобретении устройство 600 воспроизведения звука, содержащее предложенное в настоящем изобретении устройство 601 декодирования звука, вход 602 для ввода потока битов и выход 604 для вывода звука.In FIG. 8 illustrates a receiver proposed in the present invention or a
Поток битов может быть подан на вход 602 приемника/устройства 600 воспроизведения звука, предложенного в настоящем изобретении. Затем устройство 601 декодирования декодирует поток битов, и декодированный сигнал выводят через выход 604 приемника/устройства 600 воспроизведения звука, предложенного в настоящем изобретении, или воспроизводят на этом выходе.A bitstream may be provided to an
Несмотря на то, что идея настоящего изобретения была изложена, в основном, применительно к кодированию в формате MPEG c объемным звучанием (MPEG surround), само собой разумеется, что она ни в коем случае не ограничена применением для конкретного сценария параметрического кодирования. Вследствие высокой приспособляемости идеи настоящего изобретения, она также может быть легко применена для других схем кодирования, например, для конфигураций каналов типа 7.1 или 7.2 или для схем бинаурального кодирования (BCC).Despite the fact that the idea of the present invention has been set forth mainly in relation to MPEG surround coding (MPEG surround), it goes without saying that it is by no means limited to the use of parametric coding for a particular scenario. Due to the high adaptability of the idea of the present invention, it can also be easily applied to other coding schemes, for example, channel configurations of type 7.1 or 7.2 or to binaural coding schemes (BCC).
Несмотря на то, что в вариантах осуществления настоящего изобретения, связанных с MPEG-кодированием, введены некоторые упрощающие предположения для генерации общего параметра, характеризующего разность уровней между каналами (CLD), и параметра когерентности между каналами (ICC), наличие этих предположений не является обязательным условием. Само собой разумеется, что также возможно не вводить эти упрощения.Although MPEG encoding embodiments of the present invention have introduced some simplifying assumptions for generating a common parameter between the level differences between channels (CLD) and a coherence parameter between channels (ICC), these assumptions are not required condition. It goes without saying that it is also possible not to introduce these simplifications.
В зависимости от определенных требований к реализации способов, предложенных в настоящем изобретении, способы из настоящего изобретения могут быть реализованы аппаратными средствами или в виде программного обеспечения. Они могут быть реализованы с использованием цифрового носителя информации, в частности диска, которым является универсальный цифровой диск (DVD) или компакт-диск (CD), содержащего хранящиеся на нем управляющие сигналы, считываемые посредством электронных средств, которые взаимодействуют с программируемой компьютерной системой таким образом, что обеспечивают выполнение способов, предложенных в настоящем изобретении. Следовательно, настоящее изобретение обычно представляет собой компьютерный программный продукт с программным кодом, хранящимся на машинно-считываемом носителе, при этом программный код функционирует таким образом, что обеспечивает реализацию способов, предложенных в настоящем изобретении, при выполнении компьютерного программного продукта на компьютере. Другими словами, предложенные в настоящем изобретении способы, следовательно, реализованы посредством компьютерной программы, содержащей программный код для выполнения, по меньшей мере, одного из предложенных в настоящем изобретении способов, когда эту компьютерную программу выполняют в компьютере.Depending on the specific requirements for implementing the methods proposed in the present invention, the methods of the present invention can be implemented in hardware or in the form of software. They can be implemented using a digital storage medium, in particular a disk, which is a universal digital disk (DVD) or compact disc (CD), containing control signals stored on it, read by electronic means that interact with a programmable computer system in this way that ensure the implementation of the methods proposed in the present invention. Therefore, the present invention is typically a computer program product with program code stored on a machine-readable medium, and the program code operates in such a way as to implement the methods of the present invention when the computer program product is executed on a computer. In other words, the methods proposed in the present invention are therefore implemented by means of a computer program comprising program code for executing at least one of the methods proposed in the present invention when the computer program is executed on a computer.
Несмотря на то, что вышеизложенное было подробно продемонстрировано и описано со ссылкой на конкретные варианты осуществления этого изобретения, для специалистов в данной области техники понятно, что могут быть сделаны различные другие изменения в форме и в подробностях, не выходя за пределы его сущности и объема. Следует понимать, что при адаптации к различным вариантам осуществления изобретения могут быть сделаны различные изменения, не выходящие за пределы более широких концепций, которые раскрыты здесь и которые охвачены приведенной ниже формулой изобретения.Although the foregoing has been demonstrated and described in detail with reference to specific embodiments of this invention, it will be understood by those skilled in the art that various other changes can be made in form and detail without departing from its spirit and scope. It should be understood that when adapting to various embodiments of the invention, various changes can be made without departing from the broader concepts that are disclosed herein and which are covered by the claims below.
Claims (23)
средство (502) перерасчета параметров, предназначенное для вычисления параметров (508, 510) микширования с увеличением количества каналов, включающих в себя параметр (508), характеризующий разность уровней между каналами (CLD), и параметр (510) когерентности между каналами (ICC), из многоканальных параметров (504, 506) с использованием параметров, содержащих информацию о каналах, не содержащихся в стереофоническом представлении, при этом параметр (508), характеризующий разность уровней между каналами (CLD), содержит информацию об энергии для левого и правого каналов стереофонического представления, а параметр (510) когерентности между каналами (ICC) содержит информацию о корреляции между левым каналом и правым каналом.1. The means of calculating the parameters, designed to calculate the parameters (508, 510) of the mixing with an increase in the number of channels to perform mixing with an increase in the number of channels of a signal (522), mixed with a reduction in the number of channels, in a stereo representation (524) of a multi-channel signal having a larger number channels than the signal (522), mixed with a reduction in the number of channels, and fewer channels than the multichannel signal, and the stereo representation (524) is a res the ultat of the left-side mixing of a multi-channel signal with a reduction in the number of channels and the right-side mixing (522) of a multi-channel signal with a reduction in the number of channels, and a signal mixed with a reduction in the number of channels has associated multi-channel parameters (504, 506) describing the spatial characteristics of the multi-channel signal, at this multi-channel signal contains channels that are not contained in the stereo representation (524), and multi-channel parameters contain information about channels that are not neighing in a stereo representation (524), the parameter calculation means comprises:
means (502) of recalculation of parameters, designed to calculate the parameters (508, 510) of mixing with an increase in the number of channels, including parameter (508) characterizing the level difference between channels (CLD), and parameter (510) of coherence between channels (ICC) , from multichannel parameters (504, 506) using parameters containing information about channels not contained in the stereo representation, while parameter (508), which characterizes the level difference between channels (CLD), contains energy information for left and right anal stereo representation and the parameter (510) of the coherence between channels (ICC) contains information on the correlation between the left channel and the right channel.
первого параметра, характеризующего разность уровней между каналами (CLD) (CLD0), который содержит информацию об энергии для комбинации левого канала (5) объемного звука (LS), правого канала (6) объемного звука (RS) и комбинации остальных каналов многоканального сигнала;
второго параметра, характеризующего разность уровней между каналами (CLD) (CLD1), который содержит информацию об энергии для комбинации левого переднего канала (LF) (2), правого переднего канала (RF) (4) и центрального канала (С) (3);
третьего параметра, характеризующего разность уровней между каналами (CLD) (CLD2), который содержит информацию об энергии для левого канала (5) объемного звука (LS) и правого канала (6) объемного звука (RS); и
четвертого параметра, характеризующего разность уровней между каналами (CLD) (CLD3), который содержит информацию об энергии для левого переднего канала (LF) (2) и правого переднего канала (RF) (4).6. The means for calculating the parameters according to claim 5, in which the means (502) for recalculating the parameters operates in such a way that it calculates a parameter (508) characterizing the level difference between the channels (CLD), using:
the first parameter characterizing the level difference between the channels (CLD) (CLD0), which contains energy information for the combination of the left channel (5) surround sound (LS), the right channel (6) surround sound (RS) and a combination of the remaining channels of the multi-channel signal;
the second parameter characterizing the level difference between the channels (CLD) (CLD1), which contains energy information for the combination of the left front channel (LF) (2), right front channel (RF) (4) and center channel (C) (3) ;
the third parameter characterizing the level difference between the channels (CLD) (CLD2), which contains information about the energy for the left channel (5) surround sound (LS) and the right channel (6) surround sound (RS); and
the fourth parameter characterizing the level difference between the channels (CLD) (CLD3), which contains energy information for the left front channel (LF) (2) and the right front channel (RF) (4).
где L0 и R0 - нормированные значения мощности выходных стереофонических каналов L (левого) и R (правого) (524), вычисленные по следующим формулам:
,
,
где значения мощности многоканальных сигналов получены из параметров, характеризующих разность уровней между каналами (CLD), следующим образом:
,
,
,
7. The means for calculating the parameters according to claim 6, in which the means (502) recalculation of parameters operates in such a way that calculates a parameter characterizing the level difference between the channels (CLD), according to the following formula:
where L 0 and R 0 are the normalized power values of the stereo output channels L (left) and R (right) (524) calculated by the following formulas:
,
,
where the power values of multichannel signals are obtained from parameters characterizing the level difference between channels (CLD), as follows:
,
,
,
первого параметра, характеризующего разность уровней между каналами (CLD) (CLD0), который содержит информацию об энергии для комбинации левого канала (5) объемного звука (LS), правого канала (6) объемного звука (RS) и комбинации остальных каналов многоканального сигнала;
второго параметра, характеризующего разность уровней между каналами (CLD) (CLD1), который содержит информацию об энергии для комбинации левого переднего канала (LF) (2), правого переднего канала (RF) (4) и центрального канала (С) (3);
третьего параметра, характеризующего разность уровней между каналами (CLD) (CLD2), который содержит информацию об энергии для левого канала (5) объемного звука (LS) и правого канала (6) объемного звука (RS); и
четвертого параметра, характеризующего разность уровней между каналами (CLD) (CLD3), который содержит информацию об энергии для левого переднего канала (LF) (2) и правого переднего канала (RF) (4);
первого параметра когерентности между каналами (ICC) (ICC2), который содержит информацию о корреляции между левым каналом (5) объемного звука (LS) и правым каналом (6) объемного звука (RS); и
второго параметра когерентности между каналами (ICC) (ICC3), который содержит информацию о корреляции между левым передним каналом (LF) (2) и правым передним каналом (RF) (4).8. The parameter calculating means according to claim 5, wherein the parameter recalculating means (502) operates in such a way that it calculates the coherence between channels (ICC) parameter (510) using:
the first parameter characterizing the level difference between the channels (CLD) (CLD0), which contains energy information for the combination of the left channel (5) surround sound (LS), the right channel (6) surround sound (RS) and a combination of the remaining channels of the multi-channel signal;
the second parameter characterizing the level difference between the channels (CLD) (CLD1), which contains energy information for the combination of the left front channel (LF) (2), right front channel (RF) (4) and center channel (C) (3) ;
the third parameter characterizing the level difference between the channels (CLD) (CLD2), which contains information about the energy for the left channel (5) surround sound (LS) and the right channel (6) surround sound (RS); and
a fourth parameter characterizing the level difference between the channels (CLD) (CLD3), which contains energy information for the left front channel (LF) (2) and the right front channel (RF) (4);
the first coherence parameter between channels (ICC) (ICC2), which contains information about the correlation between the left channel (5) of surround sound (LS) and the right channel (6) of surround sound (RS); and
a second channel-to-channel coherence parameter (ICC) (ICC3), which contains correlation information between the left front channel (LF) (2) and the right front channel (RF) (4).
где оценочное значение p корреляции определяется следующим выражением:
где и 9. The parameter computing means of claim 8, wherein the inter-channel coherence parameter (5C) (ICC) is calculated according to the following formula:
where the estimated value of p correlation is determined by the following expression:
Where and
первого параметра, характеризующего разность уровней между каналами (CLD) (CLD0), который содержит информацию об энергии для центрального канала (С) (3) и комбинации остальных каналов многоканального сигнала;
второго параметра, характеризующего разность уровней между каналами (CLD) (CLD1), который содержит информацию об энергии для комбинации левого переднего канала (LF) (2) и левого канала (5) объемного звука (LS), и для комбинации правого переднего канала (RF) (4) и правого канала (6) объемного звука (RS);
параметра когерентности между каналами (ICC) (ICC0), который содержит информацию о корреляции между центральным каналом (С) (3) и комбинацией остальных каналов многоканального сигнала.10. The means for calculating the parameters according to claim 5, in which the means for recalculating the parameters operates in such a way that it calculates a parameter (508) characterizing the level difference between the channels (CLD), using:
the first parameter characterizing the level difference between the channels (CLD) (CLD0), which contains information about the energy for the central channel (C) (3) and a combination of the remaining channels of the multi-channel signal;
the second parameter characterizing the level difference between the channels (CLD) (CLD1), which contains information about the energy for the combination of the left front channel (LF) (2) and the left channel (5) surround sound (LS), and for the combination of the right front channel ( RF) (4) and right channel (6) surround sound (RS);
channel coherence parameter (ICC) (ICC0), which contains information about the correlation between the central channel (C) (3) and the combination of the remaining channels of the multi-channel signal.
где L0 и R0 - нормированные значения мощности выходных стереофонических каналов L (левого) и R (правого), вычисленные по следующим формулам:
,
,
где
и
и 11. The means of computing the parameters of claim 10, in which the parameter (508), characterizing the level difference between the channels (CLD), is calculated according to the following formula:
where L 0 and R 0 are the normalized power values of the output stereo channels L (left) and R (right), calculated by the following formulas:
,
,
Where
and
and
первого параметра, характеризующего разность уровней между каналами (CLD) (CLD0), который содержит информацию об энергии для центрального канала (С) (3) и комбинации остальных каналов многоканального сигнала;
второго параметра, характеризующего разность уровней между каналами (CLD) (CLD1), который содержит информацию об энергии для комбинации левого переднего канала (LF) (2) и левого канала (5) объемного звука (LS), и для комбинации правого переднего канала (RF) (4) и правого канала (6) объемного звука (RS);
первого параметра когерентности между каналами (ICC) (ICC0), который содержит информацию о корреляции между центральным каналом (С) (3) и комбинацией остальных каналов многоканального сигнала;
второго параметра когерентности между каналами (ICC) (ICC1), который содержит информацию о корреляции между комбинацией левого переднего канала (LF) (2) и левого канала (5) объемного звука (LS), и комбинацией правого переднего канала (RF) (4) и правого канала (6) объемного звука (RS).12. The means for computing parameters according to claim 5, in which means (502) recalculation of parameters operates in such a way that calculates the parameter (510) coherence between channels (ICC) using:
the first parameter characterizing the level difference between the channels (CLD) (CLD0), which contains information about the energy for the central channel (C) (3) and a combination of the remaining channels of the multi-channel signal;
the second parameter characterizing the level difference between the channels (CLD) (CLD1), which contains information about the energy for the combination of the left front channel (LF) (2) and the left channel (5) surround sound (LS), and for the combination of the right front channel ( RF) (4) and right channel (6) surround sound (RS);
the first coherence parameter between channels (ICC) (ICC0), which contains information about the correlation between the central channel (C) (3) and a combination of the remaining channels of the multi-channel signal;
the second channel coherence parameter (ICC) (ICC1), which contains information about the correlation between the combination of the left front channel (LF) (2) and the left channel (5) surround sound (LS), and the combination of the right front channel (RF) (4 ) and the right channel (6) of surround sound (RS).
где меру p корреляции вычисляют согласно следующей формуле:
где и 13. The means for computing parameters according to item 12, in which means (502) recalculation of parameters operates in such a way that calculates the value of coherence between channels (ICC) using the following formula:
where measure p of correlation is calculated according to the following formula:
Where and
средство вычисления параметров по п.1; и
средство (520) микширования с увеличением количества каналов, предназначенное для получения стереофонического представления (524) с использованием параметров (508, 510) микширования с увеличением количества каналов и сигнала (522), смикшированного с сокращением количества каналов.16. A channel recovery tool having a parameter recovery means, which comprises:
means for calculating the parameters according to claim 1; and
means for mixing (520) with increasing the number of channels, intended to obtain a stereo representation (524) using the parameters (508, 510) mixing with increasing the number of channels and signal (522), mixed with a reduction in the number of channels.
вычисление параметров (508, 510) микширования с увеличением количества каналов, включающие в себя параметр (508), характеризующий разность уровней между каналами (CLD), и параметр (510) когерентности между каналами (ICC), из многоканальных параметров с использованием параметров, содержащих информацию о каналах, не содержащихся в стереофоническом представлении (524), при этом параметр (508), характеризующий разность уровней между каналами (CLD), содержит информацию об энергии для левого и правого каналов стереофонического представления, а параметр (510) когерентности между каналами (ICC) содержит информацию о корреляции между левым каналом и правым каналом.17. A method for generating mixing parameters (508, 510) with an increase in the number of channels to perform mixing with an increase in the number of channels of a signal (522) mixed with a reduction in the number of channels into a stereo representation (524) of a multi-channel signal having a larger number of channels than the signal, mixed with a reduction in the number of channels, and fewer channels than a multi-channel signal, the stereo representation being the result of left-side mixing of a multi-channel a signal with a reduction in the number of channels and right-side mixing of a multi-channel signal with a reduction in the number of channels, and a signal mixed with a decrease in the number of channels has associated multi-channel parameters (504, 506) describing the spatial characteristics of the multi-channel signal, while the multi-channel signal contains channels, not contained in the stereo representation, and multichannel parameters (504, 506) contain information about channels not contained in the stereo representation, the method of holds:
calculation of mixing parameters (508, 510) with an increase in the number of channels, including parameter (508) characterizing the level difference between channels (CLD) and coherence between channels (ICC) parameter (510) from multichannel parameters using parameters containing information on channels not contained in the stereo representation (524), while parameter (508), which characterizes the level difference between the channels (CLD), contains energy information for the left and right channels of the stereo representation, and parameter (510) Channel Interconnection Ratio (ICC) contains correlation information between the left channel and the right channel.
средство перерасчета параметров, предназначенное для вычисления параметров микширования с увеличением количества каналов, включающих в себя параметр, характеризующий разность уровней между каналами (CLD), и параметр когерентности между каналами (ICC), из многоканальных параметров с использованием параметров, содержащих информацию о каналах, не содержащихся в стереофоническом представлении, при этом параметр, характеризующий разность уровней между каналами (CLD), содержит информацию об энергии для левого и правого каналов стереофонического представления, а параметр когерентности между каналами (ICC) содержит информацию о корреляции между левым каналом и правым каналом.18. An audio receiver (600) of sound containing means (601) for calculating parameters for computing mixing parameters with an increase in the number of channels to perform mixing with an increase in the number of channels of a signal mixed with a reduction in the number of channels into a stereo representation of a multi-channel signal having a larger number channels than a signal mixed with a reduction in the number of channels and a smaller number of channels than a multi-channel signal, and stereo representation e is the result of left-side mixing of a multi-channel signal with a reduction in the number of channels and right-side mixing of a multi-channel signal with a reduction in the number of channels, and a signal mixed with a reduction in the number of channels has associated multi-channel parameters describing the spatial characteristics of the multi-channel signal, while the multi-channel signal contains channels not contained in the stereo representation and multichannel parameters contain information about the channel crystals are not contained in the stereo representation parameters calculation means comprises:
means of parameter recalculation, designed to calculate the mixing parameters with an increase in the number of channels, including a parameter characterizing the level difference between channels (CLD), and coherence between channels (ICC), from multi-channel parameters using parameters containing channel information, not contained in the stereo representation, the parameter characterizing the level difference between the channels (CLD) contains information about the energy for the left and right channels of the stereo about representation, and the coherence between channels (ICC) parameter contains information about the correlation between the left channel and the right channel.
вычисление параметров микширования с увеличением количества каналов, включающих в себя параметр, характеризующий разность уровней между каналами (CLD), и параметр когерентности между каналами (ICC), из многоканальных параметров с использованием параметров, содержащих информацию о каналах, не содержащихся в стереофоническом представлении, при этом параметр, характеризующий разность уровней между каналами (CLD), содержит информацию об энергии для левого и правого каналов стереофонического представления, а параметр когерентности между каналами (ICC) содержит информацию о корреляции между левым каналом и правым каналом.19. A method of receiving sound, including a method for generating mixing parameters with an increase in the number of channels for mixing with an increase in the number of channels of a signal mixed with a reduction in the number of channels, into a stereo representation of a multi-channel signal having a larger number of channels than a signal mixed with a reduction in the number of channels , and fewer channels than a multi-channel signal, and the stereo representation is the result of left-side mixing of many a channel signal with a reduction in the number of channels and right-side mixing of a multi-channel signal with a decrease in the number of channels, and a signal mixed with a decrease in the number of channels has associated multi-channel parameters describing the spatial characteristics of the multi-channel signal, while the multi-channel signal contains channels not contained in the stereo representation , and multichannel parameters contain information about channels not contained in the stereo representation, the method contains the following operation:
calculation of mixing parameters with an increase in the number of channels, including a parameter characterizing the level difference between channels (CLD), and coherence between channels (ICC), from multichannel parameters using parameters containing information about channels not contained in the stereo representation, when In this parameter, characterizing the level difference between the channels (CLD), contains information about the energy for the left and right channels of the stereo representation, and the coherence parameter between the channel E (ICC) contains information on the correlation between the left channel and the right channel.
вычисление параметров микширования с увеличением количества каналов, включающих в себя параметр, характеризующий разность уровней между каналами (CLD), и параметр когерентности между каналами (ICC), из многоканальных параметров с использованием параметров, содержащих информацию о каналах, не содержащихся в стереофоническом представлении, при этом параметр, характеризующий разность уровней между каналами (CLD), содержит информацию об энергии для левого и правого каналов стереофонического представления, а параметр когерентности между каналами (ICC) содержит информацию о корреляции между левым каналом и правым каналом.20. A computer-readable digital storage medium having a computer program stored thereon containing program code, which, when executed on a computer, provides a method for generating mixing parameters with increasing the number of channels for mixing with increasing the number of channels of a signal mixed with a reduction in the number of channels into stereo representation of a multi-channel signal having a larger number of channels than a signal mixed with a reduction in the number of channels, and fewer channels than a multi-channel signal, and the stereo representation is the result of left-side mixing of a multi-channel signal with a reduction in the number of channels and right-side mixing of a multi-channel signal with a reduction in the number of channels, and a signal mixed with a reduction in the number of channels has associated multi-channel parameters describing spatial characteristics of a multi-channel signal, while the multi-channel signal contains channels that do not contain I stereo presentation, and multi-channel parameters include information on the channels not included in the stereo representation, the method comprising the step of:
calculation of mixing parameters with an increase in the number of channels, including a parameter characterizing the level difference between channels (CLD), and coherence between channels (ICC), from multichannel parameters using parameters containing information about channels not contained in the stereo representation, when In this parameter, characterizing the level difference between the channels (CLD), contains information about the energy for the left and right channels of the stereo representation, and the coherence parameter between the channel E (ICC) contains information on the correlation between the left channel and the right channel.
вычисление параметров микширования с увеличением количества каналов, включающие в себя параметр, характеризующий разность уровней между каналами (CLD), и параметр когерентности между каналами (ICC), из многоканальных параметров с использованием параметров, содержащих информацию о каналах, не содержащихся в стереофоническом представлении, при этом параметр, характеризующий разность уровней между каналами (CLD), содержит информацию об энергии для левого и правого каналов стереофонического представления, а параметр когерентности между каналами (ICC) содержит информацию о корреляции между левым каналом и правым каналом.21. A computer-readable digital storage medium having a computer program stored thereon containing program code, which, when executed on a computer, provides an implementation of a method for receiving or reproducing sound, including a method for generating mixing parameters with an increase in the number of channels for mixing with an increase in the number of signal channels mixed with a reduction in the number of channels into a stereo representation of a multi-channel signal having a larger number of channels than a channel mixed with a reduction in the number of channels and a smaller number of channels than a multi-channel signal, the stereo representation being the result of a left-side mixing of a multi-channel signal with a reduction in the number of channels and a right-side mixing of a multi-channel signal with a reduction in the number of channels, and a signal mixed with a reduction in the number of channels has multi-channel parameters associated with it, describing the spatial characteristics of a multi-channel signal, at this multi-channel signal contains channels not contained in the stereo representation, and multi-channel parameters contain information about channels not contained in the stereo representation, the method comprises the following operation:
calculation of mixing parameters with an increase in the number of channels, including a parameter characterizing the level difference between channels (CLD), and coherency between channels (ICC), from multichannel parameters using parameters containing information about channels not contained in the stereo representation, when In this parameter, characterizing the level difference between the channels (CLD), contains information about the energy for the left and right channels of the stereo representation, and the coherence parameter between the channel E (ICC) contains information on the correlation between the left channel and the right channel.
средство перерасчета параметров, предназначенное для вычисления параметров микширования с увеличением количества каналов, включающих в себя параметр, характеризующий разность уровней между каналами (CLD), и параметр когерентности между каналами (ICC), из многоканальных параметров с использованием параметров, содержащих информацию о каналах, не содержащихся в стереофоническом представлении, при этом параметр, характеризующий разность уровней между каналами (CLD), содержит информацию об энергии для левого и правого каналов стереофонического представления, а параметр когерентности между каналами (ICC) содержит информацию о корреляции между левым и правым каналом.22. A sound reproducing apparatus (600) comprising parameter calculating means (601) for calculating mixing parameters with an increase in the number of channels for performing mixing with an increase in the number of channels of a signal mixed with a reduction in the number of channels into a stereo representation of a multi-channel signal having a larger number channels than a signal mixed with a reduction in the number of channels, and a smaller number of channels than a multi-channel signal, and the stereo the representation is the result of left-side mixing of a multi-channel signal with a reduction in the number of channels and right-side mixing of a multi-channel signal with a reduction in the number of channels, and a signal mixed with a reduction in the number of channels has associated multi-channel parameters describing the spatial characteristics of the multi-channel signal, while the multi-channel signal contains channels not contained in the stereo representation and multichannel parameters contain inform tion of channels not contained in the stereo representation parameters calculation means comprises:
means of parameter recalculation, designed to calculate the mixing parameters with an increase in the number of channels, including a parameter characterizing the level difference between channels (CLD), and coherence between channels (ICC), from multi-channel parameters using parameters containing channel information, not contained in the stereo representation, the parameter characterizing the level difference between the channels (CLD) contains information about the energy for the left and right channels of the stereo about representation, and the coherence between channels (ICC) parameter contains information about the correlation between the left and right channels.
вычисление параметров микширования с увеличением количества каналов, включающих в себя параметр, характеризующий разность уровней между каналами (CLD), и параметр когерентности между каналами (ICC), из многоканальных параметров с использованием параметров, содержащих информацию о каналах, не содержащихся в стереофоническом представлении, при этом параметр, характеризующий разность уровней между каналами (CLD), содержит информацию об энергии для левого и правого каналов стереофонического представления, а параметр когерентности между каналами (ICC) содержит информацию о корреляции между левым каналом и правым каналом. 23. A method for reproducing sound, including a method for generating mixing parameters with an increase in the number of channels for mixing with an increase in the number of channels of a signal mixed with a reduction in the number of channels, into a stereo representation of a multi-channel signal having more channels than a signal mixed with a reduction in the number of channels , and fewer channels than a multi-channel signal, and the stereo representation is the result of a left-handed mix a multichannel signal with a reduced number of channels and right-side mixing of a multichannel signal with a reduced number of channels, and a signal mixed with a reduced number of channels has associated multichannel parameters describing the spatial characteristics of the multichannel signal, while the multichannel signal contains channels not contained in stereo presentation, and multichannel parameters contain information about channels not contained in the stereo presentation ii, the method comprises the following operation:
calculation of mixing parameters with an increase in the number of channels, including a parameter characterizing the level difference between channels (CLD), and coherence between channels (ICC), from multichannel parameters using parameters containing information about channels not contained in the stereo representation, when In this parameter, characterizing the level difference between the channels (CLD), contains information about the energy for the left and right channels of the stereo representation, and the coherence parameter between the channel E (ICC) contains information on the correlation between the left channel and the right channel.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| SE0600713 | 2006-03-29 | ||
| SE0600713-2 | 2006-03-29 | ||
| US78891106P | 2006-04-03 | 2006-04-03 | |
| US60/788,911 | 2006-04-03 | ||
| US11/464,149 | 2006-08-11 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2008142742A RU2008142742A (en) | 2010-05-10 |
| RU2406262C2 true RU2406262C2 (en) | 2010-12-10 |
Family
ID=42673373
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2008142742/09A RU2406262C2 (en) | 2006-03-29 | 2006-08-18 | Decoding of reduced number of channels |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2406262C2 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2129336C1 (en) * | 1992-11-02 | 1999-04-20 | Фраунхофер Гезелльшафт цур Фердерунг дер Ангевандтен Форшунг Е.Фау | Method for transmission and/or storage of digital signals of more than one channel |
| EP1376538A1 (en) * | 2002-06-24 | 2004-01-02 | Agere Systems Inc. | Hybrid multi-channel/cue coding/decoding of audio signals |
| WO2005101370A1 (en) * | 2004-04-16 | 2005-10-27 | Coding Technologies Ab | Apparatus and method for generating a level parameter and apparatus and method for generating a multi-channel representation |
-
2006
- 2006-08-18 RU RU2008142742/09A patent/RU2406262C2/en active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2129336C1 (en) * | 1992-11-02 | 1999-04-20 | Фраунхофер Гезелльшафт цур Фердерунг дер Ангевандтен Форшунг Е.Фау | Method for transmission and/or storage of digital signals of more than one channel |
| EP1376538A1 (en) * | 2002-06-24 | 2004-01-02 | Agere Systems Inc. | Hybrid multi-channel/cue coding/decoding of audio signals |
| WO2005101370A1 (en) * | 2004-04-16 | 2005-10-27 | Coding Technologies Ab | Apparatus and method for generating a level parameter and apparatus and method for generating a multi-channel representation |
Also Published As
| Publication number | Publication date |
|---|---|
| RU2008142742A (en) | 2010-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1999744B1 (en) | Reduced number of channels decoding | |
| CN1910655B (en) | Device and method for constructing multi-channel output signal or generating downmix signal | |
| RU2409912C2 (en) | Decoding binaural audio signals | |
| RU2327304C2 (en) | Compatible multichannel coding/decoding | |
| JP5698189B2 (en) | Audio encoding | |
| KR101215872B1 (en) | Parametric coding of spatial audio with cues based on transmitted channels | |
| US20070223708A1 (en) | Generation of spatial downmixes from parametric representations of multi channel signals | |
| JP7652849B2 (en) | Binaural dialogue improvement | |
| US11037578B2 (en) | Encoder and encoding method for multi-channel signal, and decoder and decoding method for multi-channel signal | |
| RU2406262C2 (en) | Decoding of reduced number of channels | |
| HK1122127B (en) | Reduced number of channels decoding | |
| HK1129535A (en) | Decoding of binaural audio signals | |
| MX2008012280A (en) | Reduced number of channels decoding. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PD4A | Correction of name of patent owner |













