RU2800676C1 - Improved harmonic transformation based on a block of sub-bands - Google Patents
Improved harmonic transformation based on a block of sub-bands Download PDFInfo
- Publication number
- RU2800676C1 RU2800676C1 RU2023101863A RU2023101863A RU2800676C1 RU 2800676 C1 RU2800676 C1 RU 2800676C1 RU 2023101863 A RU2023101863 A RU 2023101863A RU 2023101863 A RU2023101863 A RU 2023101863A RU 2800676 C1 RU2800676 C1 RU 2800676C1
- Authority
- RU
- Russia
- Prior art keywords
- input
- subband
- signal
- frame
- amplitude
- Prior art date
Links
- 230000009466 transformation Effects 0.000 title claims description 41
- 238000012545 processing Methods 0.000 claims abstract description 173
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 91
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 91
- 238000000034 method Methods 0.000 claims abstract description 49
- 230000005236 sound signal Effects 0.000 claims description 21
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 9
- 238000011144 upstream manufacturing Methods 0.000 claims description 5
- 238000000844 transformation Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims 2
- YBJHBAHKTGYVGT-ZKWXMUAHSA-N (+)-Biotin Chemical compound N1C(=O)N[C@@H]2[C@H](CCCCC(=O)O)SC[C@@H]21 YBJHBAHKTGYVGT-ZKWXMUAHSA-N 0.000 abstract description 15
- FEPMHVLSLDOMQC-UHFFFAOYSA-N virginiamycin-S1 Natural products CC1OC(=O)C(C=2C=CC=CC=2)NC(=O)C2CC(=O)CCN2C(=O)C(CC=2C=CC=CC=2)N(C)C(=O)C2CCCN2C(=O)C(CC)NC(=O)C1NC(=O)C1=NC=CC=C1O FEPMHVLSLDOMQC-UHFFFAOYSA-N 0.000 abstract description 15
- 230000002194 synthesizing effect Effects 0.000 abstract description 8
- 230000003595 spectral effect Effects 0.000 abstract description 5
- 230000000694 effects Effects 0.000 abstract description 4
- 230000009467 reduction Effects 0.000 abstract description 3
- 230000001629 suppression Effects 0.000 abstract description 3
- 239000000126 substance Substances 0.000 abstract 1
- 238000011426 transformation method Methods 0.000 abstract 1
- 230000000737 periodic effect Effects 0.000 description 24
- 230000001052 transient effect Effects 0.000 description 15
- 230000004048 modification Effects 0.000 description 14
- 238000012986 modification Methods 0.000 description 14
- 230000004044 response Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 10
- 230000010363 phase shift Effects 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 230000036962 time dependent Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 238000012952 Resampling Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- RVRCFVVLDHTFFA-UHFFFAOYSA-N heptasodium;tungsten;nonatriacontahydrate Chemical compound O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.[Na+].[Na+].[Na+].[Na+].[Na+].[Na+].[Na+].[W].[W].[W].[W].[W].[W].[W].[W].[W].[W].[W] RVRCFVVLDHTFFA-UHFFFAOYSA-N 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Abstract
Description
ОБЛАСТЬ ТЕХНИЧЕСКОГО ПРИМЕНЕНИЯTECHNICAL APPLICATION
Настоящий документ относится к системам кодирования исходного звукового сигнала, которые используют способ гармонического преобразования для высокочастотной реконструкции (HFR), а также к процессорам цифровых эффектов, например, эксайтерам, в которых генерирование гармонического искажения добавляет яркость в обрабатываемый сигнал, и к временным расширителям, в которых длительность сигнала увеличивается при сохранении спектрального состава. This document relates to source audio coding systems that use a harmonic transformation technique for high frequency reconstruction (HFR), as well as to digital effects processors such as exciters, in which the generation of harmonic distortion adds brightness to the processed signal, and to time expanders, in which the signal duration increases while maintaining the spectral composition.
ПРЕДПОСЫЛКИ ИЗОБРЕТЕНИЯBACKGROUND OF THE INVENTION
В документе WO 98/57436 была создана концепция преобразования как способа воссоздания высокочастотной полосы из полосы звукового сигнала с менее высокой частотой. Путем использования этой концепции для кодирования звукового сигнала может быть достигнута значительная экономия битовой скорости передачи данных. В системе кодирования звукового сигнала на основе HFR сигнал с низкочастотной полосой пропускания передается в базовый кодер формы сигнала, и высокие частоты регенерируются с использованием преобразования и с чрезвычайно низкой битовой скоростью передачи данных дополнительной информации, описывающей целевую форму спектра на стороне декодера. Для низких битовых скоростей передачи данных, когда полоса пропускания базового кодированного сигнала является узкой, воссоздание высокочастотной полосы с приятными для восприятия характеристиками приобретает все более возрастающую важность. Гармоническое преобразование, определяемое в документе WO 98/57436, хорошо выполняется для сложного музыкального материала в ситуации с низкой частотой перехода. Документ WO 98/57436 ссылкой включается в настоящее описание. Принцип гармонического преобразования заключается в том, что синусоида с частотой отображается в синусоиду с частотой , где - целое число, определяющее порядок преобразования. В отличие от этого, HFR на основе модуляции с одной боковой полосой (SSB) отображает синусоиду с частотой в синусоиду с частотой , где - фиксированный сдвиг частоты. Для данного сигнала с низкочастотной полосой пропускания в результате SSB-преобразования, как правило, появляется артефакт диссонирующего «звона». По причине указанных артефактов HFR на основе гармонического преобразования, в общем, более предпочтительно, чем HFR на основе SSB.WO 98/57436 created the concept of transform as a way of recreating a high frequency band from a lower frequency band of an audio signal. By using this concept for audio coding, significant bit rate savings can be achieved. In an HFR-based audio coding system, a low-bandwidth signal is passed to the core waveform encoder, and high frequencies are regenerated using a transform and at an extremely low bit rate of side information describing the target spectrum shape at the decoder side. For low bit rates, when the bandwidth of the underlying encoded signal is narrow, recreating the high frequency band with pleasant characteristics becomes increasingly important. The harmonic transformation defined in WO 98/57436 performs well for complex musical material in a low crossover frequency situation. Document WO 98/57436 is incorporated herein by reference. The principle of harmonic transformation is that a sinusoid with a frequency mapped to a sinusoid with a frequency , Where is an integer specifying the conversion order. In contrast, single-sideband (SSB) modulation-based HFR displays a sinusoid with a frequency into a sinusoid with a frequency , Where - fixed frequency shift. For a given low-bandwidth signal, the SSB conversion typically results in a dissonant “ringing” artifact. Because of these artifacts, harmonic transform-based HFR is generally preferred over SSB-based HFR.
Для того чтобы добиться улучшенного качества звукового сигнала, способы HFR на основе высококачественного гармонического преобразования, как правило, используют для достижения требуемого качества звукового сигнала сложные блоки комплексных модулированных фильтров с высокой разрешающей способностью по частоте и высокой степенью передискретизации. Высокая разрешающая способность по частоте обычно используется во избежание нежелательного интермодуляционного искажения, возникающего при нелинейной обработке или обработке различных сигналов поддиапазонов, которые могут рассматриваться как суммы ряда синусоид. Для достаточно узких поддиапазонов, т.е. при достаточно высокой разрешающей способности по частоте, способы HFR на основе высококачественного гармонического преобразования стремятся к тому, чтобы в каждом поддиапазоне содержалось не более одной синусоиды. В результате можно избежать интермодуляционного искажения, вызванного нелинейной обработкой. С другой стороны, высокая степень передискретизации по времени может быть полезной для того, чтобы избежать искажения, обусловленного наложением спектров, которое может быть вызвано блоками фильтров и нелинейной обработкой. Кроме того, определенная степень передискретизации по частоте может быть необходима для кратковременных непериодических сигналов во избежание опережающего эха, вызванного нелинейной обработкой сигналов поддиапазонов.In order to achieve improved audio quality, high quality harmonic transform-based HFR methods typically use complex, high frequency resolution, high oversampling, complex modulated filter banks to achieve the desired audio quality. High frequency resolution is typically used to avoid unwanted intermodulation distortion that occurs when processing non-linear or processing different subband signals that can be viewed as the sum of a series of sinusoids. For sufficiently narrow subranges, i.e. with sufficiently high frequency resolution, high-quality harmonic transform-based HFR methods tend to have no more than one sinusoid in each subband. As a result, intermodulation distortion caused by non-linear processing can be avoided. On the other hand, a high degree of time oversampling can be useful in order to avoid aliasing distortion that can be caused by filter banks and non-linear processing. In addition, a certain degree of frequency oversampling may be necessary for short-term non-periodic signals to avoid pre-echo caused by non-linear processing of subband signals.
Кроме того, способы HFR на основе гармонического преобразования, в общем, используют обработку на основе двух групп блоков фильтров. Первая часть HFR на основе гармонического преобразования, как правило, использует для генерирования высокочастотной составляющей сигнала из низкочастотной составляющей сигнала блок анализирующих/синтезирующих фильтров с высокой разрешающей способностью по частоте и по времени и/или частотной передискретизацией. Вторая часть HFR на основе гармонического преобразования, как правило, использует блок фильтров с относительно низкой разрешающей способностью по частоте, например блок QMF-фильтров, который используется для применения дополнительной спектральной информации или информации HFR к высокочастотной составляющей, т.е. для выполнения т.н. HFR-обработки, с целью генерирования высокочастотной составляющей, обладающей требуемой формой спектра. Вторая часть блоков фильтров также используется для объединения низкочастотной составляющей сигнала с модифицированной высокочастотной составляющей сигнала с целью создания декодированного звукового сигнала.In addition, harmonic transform-based HFR methods generally use processing based on two groups of filter banks. The first part of HFR based on harmonic transformation typically uses a high frequency and time resolution analysis/synthesis filter bank and/or frequency oversampling to generate a high frequency signal component from a low frequency signal component. The second part of HFR based on harmonic transformation typically uses a filter bank with a relatively low frequency resolution, such as a QMF filter bank, which is used to apply additional spectral information or HFR information to the high frequency component, i.e. to perform the so-called. HFR processing, in order to generate a high-frequency component with the desired spectrum shape. The second part of the filter banks is also used to combine the low frequency signal component with the modified high frequency signal component to create a decoded audio signal.
В результате использования последовательности из двух групп блоков фильтров и использования блоков анализирующих/синтезирующих фильтров с высокой разрешающей способностью по частоте и по времени и/или частотной передискретизацией, вычислительная сложность HFR на основе гармонического преобразования может быть относительно высокой. Соответственно, существует потребность в обеспечении способов HFR на основе гармонического преобразования сниженной вычислительной сложностью, которая, в то же время, обеспечивала бы хорошее качество звукового сигнала для различных типов звуковых сигналов (например, для коротких непериодических и стационарных звуковых сигналов).As a result of using a sequence of two groups of filter banks and using high frequency and time resolution analysis/synthesis filter banks and/or frequency oversampling, the computational complexity of a harmonic transform-based HFR can be relatively high. Accordingly, there is a need to provide harmonic transform-based HFR methods with reduced computational complexity, while at the same time providing good audio signal quality for various types of audio signals (eg, short non-periodic and stationary audio signals).
КРАТКОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯBRIEF DESCRIPTION OF THE INVENTION
Согласно одной из особенностей, т.н. гармоническое преобразование на основе блока поддиапазонов может использоваться для подавления комбинационных составляющих, вызванных нелинейной обработкой сигналов поддиапазонов, т.е. комбинационные составляющие в поддиапазонах могут быть подавлены или снижены путем выполнения нелинейной обработки на блочной основе сигналов поддиапазонов гармонического преобразователя. В результате может применяться гармоническое преобразование, которое использует блок анализирующих/синтезирующих фильтров с относительно низкой разрешающей способностью по частоте и/или с относительно низкой степенью передискретизации. Например, может применяться блок QMF-фильтров.According to one of the features, the so-called. subband block-based harmonic transformation can be used to suppress combinational products caused by non-linear processing of subband signals, i.e. the combinational components in the subbands can be suppressed or reduced by performing block-based non-linear processing of the harmonic transducer subband signals. As a result, a harmonic transform can be applied that uses an analysis/synthesis filter bank with a relatively low frequency resolution and/or a relatively low degree of oversampling. For example, a QMF filter bank may be used.
Нелинейная обработка на блочной основе системы гармонического преобразования на основе блока поддиапазонов включает обработку временнóго блока комплексных дискретных значений поддиапазонов. Обработка блока комплексных дискретных значений поддиапазонов может включать общеизвестную модификацию фазы комплексных дискретных значений поддиапазонов и суперпозицию нескольких модифицированных дискретных значений для формирования выходного дискретного значения поддиапазона. Такая обработка на блочной основе дает результирующий эффект подавления или снижения комбинационных составляющих, которые в противном случае возникали бы в случае входных сигналов поддиапазонов, включающих несколько синусоид.The block-based non-linear processing of the sub-band block-based harmonic transformation system includes processing a time block of complex sub-band samples. The processing of a block of complex subband samples may include a well-known phase modification of the complex subband samples and a superposition of several modified samples to form a subband output sample. Such block-based processing has the net effect of suppressing or reducing combinational products that would otherwise occur with subband input signals comprising multiple sinusoids.
Ввиду того, что для гармонического преобразования на основе блока поддиапазонов могут использоваться блоки анализирующих/синтезирующих фильтров с относительно низкой разрешающей способностью по частоте, а также ввиду того, что может требоваться менее высокая степень передискретизации, гармоническое преобразование, базирующееся на обработке поддиапазонов на блочной основе, может обладать менее высокой вычислительной сложностью по сравнению с высококачественными гармоническими преобразователями, т.е. с гармоническими преобразователями, имеющими высокую разрешающую способность по частоте и использующими обработку на основе дискретного значения. В то же время, экспериментально было показано, что для многих типов звуковых сигналов качество звукового сигнала, которого можно добиться, используя гармоническое преобразование на основе блока поддиапазонов, является почти таким же, как и при использовании гармонического преобразования на основе дискретного значения. Тем не менее, наблюдалось, что качество звукового сигнала, полученного для кратковременных непериодических звуковых сигналов, в общем, снижается по сравнению с качеством звукового сигнала, которое может быть достигнуто высококачественными гармоническими преобразователями, т.е. гармоническими преобразователями, использующими высокую разрешающую способность по частоте. Было установлено, что пониженное качество для кратковременных непериодических сигналов может быть связано с размыванием времени, вызванным обработкой блоков.In view of the fact that analyzer/synthesizing filter banks with relatively low frequency resolution can be used for subband block-based harmonic transform, and because a lower degree of oversampling may be required, harmonic transform based on block-based subband processing, may have less high computational complexity compared to high quality harmonic converters, i.e. with harmonic converters having high frequency resolution and using discrete value processing. At the same time, it has been experimentally shown that for many types of audio signals, the quality of the audio signal that can be achieved using a block-based harmonic transformation is almost the same as using a sample-based harmonic transformation. However, it has been observed that the audio quality obtained for short duration non-periodic audio signals is generally reduced compared to the audio quality that can be achieved with high quality harmonic transducers, i.e. harmonic converters using high frequency resolution. It was found that the reduced quality for short-term non-periodic signals may be due to the blurring of time caused by block processing.
В дополнение к поднятым выше вопросам качества, сложность гармонического преобразования на основе блоков поддиапазонов по-прежнему остается более высокой, чем сложность простейших способов HFR на основе SSB. Это так, поскольку для синтеза требуемой полосы пропускания обычно требуется несколько сигналов с различными порядками преобразования. Как правило, каждый порядок преобразования гармонического преобразования на блочной основе требует отличающейся структуры блоков анализирующих и синтезирующих фильтров.In addition to the quality issues raised above, the complexity of the subband block-based harmonic transform still remains higher than the complexity of the simplest SSB-based HFR methods. This is true because synthesizing the required bandwidth usually requires multiple signals with different orders. transformations. Generally, each order block-based harmonic transformation transformations require a different structure of analysis and synthesis filter banks.
Ввиду проведенного выше анализа, существует особенная необходимость в улучшении качества гармонического преобразования на основе блока поддиапазонов для кратковременных непериодических и голосовых сигналов при условии сохранения качества стационарных сигналов. Как будет описываться ниже, улучшение качества может быть достигнуто путем фиксированной, или адаптирующейся к сигналу, модификации нелинейной обработки блоков. Кроме того, существует потребность в дополнительном снижении сложности гармонического преобразования на основе блока поддиапазонов. Как будет описываться ниже, снижение вычислительной сложности может быть достигнуто путем эффективной реализации преобразования нескольких порядков на основе блока поддиапазонов в рамках единственной пары блоков анализирующих и синтезирующих фильтров. В результате для гармонического преобразования нескольких порядков может использоваться один блок анализирующих/синтезирующих фильтров, например, блок QMF-фильтров. Кроме того, для гармонического преобразования (т.е. для первой части HFR на основе гармонического преобразования) и для HFR-обработки (т.е. для второй части HFR на основе гармонического преобразования) может применяться одна и та же пара блоков анализирующих/синтезирующих фильтров, и, таким образом, полная HFR на основе гармонического преобразования может возлагаться на один единственный блок анализирующих/синтезирующих фильтров. Иными словами, на стороне ввода для генерирования ряда сигналов анализируемых поддиапазонов, которые затем поддаются обработке посредством гармонического преобразования и HFR-обработке, может использоваться лишь один единственный блок анализирующих фильтров. В конечном итоге, для генерирования декодированного сигнала на стороне вывода может использоваться лишь один единственный блок синтезирующих фильтров.In view of the above analysis, there is a particular need to improve the quality of the subband block-based harmonic transform for short-term non-periodic and voice signals while maintaining the quality of stationary signals. As will be described below, quality improvement can be achieved by fixed, or signal adaptive, modification of the non-linear block processing. In addition, there is a need to further reduce the complexity of the harmonic transform based on the block of subbands. As will be described below, a reduction in computational complexity can be achieved by efficiently implementing a multi-order subband block-based transform within a single pair of analysis and synthesis filter banks. As a result, for the harmonic transformation multiple orders, a single analysis/synthesizing filter bank, such as a QMF filter bank, may be used. In addition, for harmonic transformation (i.e., for the first part of HFR based on harmonic transformation) and for HFR processing (i.e., for the second part of HFR based on harmonic transformation), the same pair of analyzers/synthesizers can be used. filters, and thus a complete HFR based on harmonic transformation can be assigned to one single analysis/synthesis filter bank. In other words, on the input side, only one single analysis filter bank can be used to generate a number of analyzed subband signals, which are then amenable to harmonic transformation and HFR processing. Ultimately, only one single synthesis filter bank can be used to generate the decoded signal at the output side.
Согласно одной из особенностей, описывается система, сконфигурированная для генерирования растянутого во времени и/или преобразованного по частоте сигнала из входного сигнала. Система может включать блок анализирующих фильтров, сконфигурированный для создания сигнала анализируемого поддиапазона из входного сигнала. Анализируемый поддиапазон может быть связан с одной из частотных полос входного сигнала. Сигнал анализируемого поддиапазона может включать ряд комплекснозначных анализируемых дискретных значений, каждое из которых имеет фазу и амплитуду. Блок анализирующих фильтров может представлять собой блок квадратурных зеркальных фильтров, оконное дискретное преобразование Фурье или вейвлетное преобразование. В частности, блок анализирующих фильтров может представлять собой 64-точечный блок квадратурных зеркальных фильтров. Таким образом, блок анализирующих фильтров может иметь низкую разрешающую способность по частоте.In one aspect, a system is described that is configured to generate a time-stretched and/or frequency-converted signal from an input signal. The system may include an analysis filter bank configured to generate an analysis subband signal from an input signal. The analyzed subband may be associated with one of the frequency bands of the input signal. The analyzed subband signal may include a number of complex-valued analyzed samples, each of which has a phase and amplitude. The analysis filter bank may be a quadrature mirror filter bank, a windowed discrete Fourier transform, or a wavelet transform. In particular, the analysis filter bank may be a 64-point quadrature mirror filter bank. Thus, the analysis filter bank may have a low frequency resolution.
Блок анализирующих фильтров может применять к входному сигналу шаг анализа по времени, и/или блок анализирующих фильтров может иметь разнос анализируемых частот так, чтобы полоса частот, связанная с сигналом анализируемого поддиапазона имела номинальную ширину , и/или блок анализирующих фильтров мог содержать количество N анализируемых поддиапазонов, N>1, где n - индекс анализируемого поддиапазона, . Следует отметить, что из-за наложения смежных частотных полос фактическая спектральная ширина анализируемого поддиапазона может быть больше . Однако разнос частот между смежными анализируемыми поддиапазонами, как правило, имеет вид разноса анализируемых частот.The analysis filter block can apply a step to the input signal analysis over time, and/or the analysis filter bank may have a spacing analyzed frequencies so that the bandwidth associated with the analyzed subband signal has a nominal width , and/or the analysis filter bank could contain the number N of analyzed subbands, N >1, where n is the index of the analyzed subband, . It should be noted that due to the overlap of adjacent frequency bands, the actual spectral width of the analyzed subband may be greater than . However, the frequency spacing between adjacent analyzed subbands, as a rule, has the form separation of the analyzed frequencies.
Система может включать модуль обработки поддиапазонов, сконфигурированный для определения сигнала синтезируемого поддиапазона из сигнала анализируемого поддиапазона с использованием коэффициента преобразования поддиапазона и коэффициента S растягивания поддиапазона. По меньшей мере, один из коэффициентов, Q или S, может быть больше единицы. Модуль обработки поддиапазонов может включать экстрактор блоков, сконфигурированный для извлечения кадра, состоящего из L входных дискретных значений, из ряда комплекснозначных анализируемых дискретных значений. Длина L кадра может быть больше единицы, однако, в некоторых вариантах осуществления изобретения длина L кадра может быть равна единице. В альтернативном варианте или в дополнение, экстрактор блоков может быть сконфигурирован для применения величины скачка блока из р дискретных значений к ряду анализируемых дискретных значений перед извлечением следующего кадра, состоящего из L входных дискретных значений. В результате многократного применения величины скачка блока к ряду анализируемых дискретных значений может генерироваться набор кадров, состоящих из входных дискретных значений.The system may include a subband processing module configured to determine a synthesis subband signal from an analyzed subband signal using a coefficient a subband transform; and a subband stretch factor S. At least one of the coefficients, Q or S , may be greater than one. The subband processing module may include a block extractor configured to extract a frame of L input samples from a set of complex valued samples to be analyzed. The frame length L may be greater than one, however, in some embodiments of the invention, the frame length L may be equal to one. Alternatively, or in addition, the block extractor may be configured to apply a block jump value of p samples to the set of analyzed samples before extracting the next frame of L input samples. As a result of multiple application of the block jump value to a number of analyzed discrete values, a set of frames consisting of input discrete values can be generated.
Следует отметить, что длина L кадра и/или величина скачка блока р могут представлять собой произвольно выбранные числа и необязательно являются целыми числами. В этом или других случаях, экстрактор блоков может конфигурироваться для интерполяции двух или большего количества анализируемых дискретных значений для получения входного дискретного значения кадра, состоящего из L входных дискретных значений. Например, если длина кадра и/или величина скачка блока являются дробными числами, входное дискретное значение кадра, состоящего из входных дискретных значений, может быть получено путем интерполяции двух или большего количества смежных анализируемых дискретных значений.It should be noted that the frame length L and/or the block hop amount p can be arbitrary numbers and are not necessarily integers. In this or other cases, the block extractor may be configured to interpolate two or more parsed samples to obtain a frame input sample consisting of L input samples. For example, if the frame length and/or block hop amount are fractional numbers, the input sample of a frame consisting of the input samples can be obtained by interpolating two or more contiguous analyzed samples.
В альтернативном варианте или в дополнение, экстрактор блоков может конфигурироваться для понижающей дискретизации ряда анализируемых дискретных значений для получения входного дискретного значения кадра, состоящего из L входных дискретных значений. В частности, экстрактор блоков может конфигурироваться для понижающей дискретизации ряда анализируемых дискретных значений с коэффициентом Q преобразования поддиапазона. Таким образом, экстрактор блоков может вносить вклад в гармоническое преобразование и/или растягивание во времени путем выполнения операции понижающей дискретизации.Alternatively, or in addition, the block extractor may be configured to downsample the number of parsed samples to obtain a frame input sample consisting of L input samples. In particular, the block extractor may be configured to downsample the number of analyzed samples with a subband transform factor Q. Thus, the block extractor can contribute to harmonic transformation and/or time stretching by performing a downsampling operation.
Система, и, в частности, модуль обработки поддиапазонов, может включать модуль нелинейной обработки кадров, сконфигурированный для определения кадра, состоящего из обрабатываемых дискретных значений, на основе кадра, состоящего из входных дискретных значений. Определение может повторяться для набора кадров, состоящих из входных дискретных значений, и, таким образом, генерируется набор кадров, состоящих из обрабатываемых дискретных значений. Определение может выполняться путем определения для каждого обрабатываемого дискретного значения кадра фазы обрабатываемого дискретного значения - путем сдвига фазы соответствующего входного дискретного значения. В частности, блок нелинейной обработки кадров может конфигурироваться для определения фазы обрабатываемого дискретного значения путем сдвига фазы соответствующего входного дискретного значения на величину сдвига фазы, которая основывается на предварительно определяемом входном дискретном значении из кадра, состоящего из входных дискретных значений, коэффициенте Q преобразования и коэффициенте S растягивания поддиапазона. Величина сдвига фазы может основываться на предварительно определяемом входном дискретном значении, умноженном на . В частности, величина сдвига фазы может задаваться предварительно определяемым входным дискретным значением, умноженным на , плюс параметр коррекции фазы. Параметр коррекции фазы может определяться экспериментально для ряда входных сигналов, имеющих конкретные акустические свойства.The system, and in particular the subband processing module, may include a non-linear frame processing module configured to determine a frame of processed samples based on a frame of input samples. The determination may be repeated for a set of frames consisting of input samples, and thus a set of frames consisting of processed samples is generated. The determination can be performed by determining for each processed sample value of the frame the phase of the processed sample value - by shifting the phase of the corresponding input sample value. In particular, the non-linear frame processor may be configured to determine the phase of the processed sample by shifting the phase of the corresponding input sample by a phase shift amount that is based on a predetermined input sample from a frame of input samples, a transform factor Q , and a factor S subrange stretching. The amount of phase shift can be based on a predefined input sample value multiplied by . In particular, the amount of phase shift may be given by a predetermined input sample value multiplied by , plus the parameter phase correction. Parameter phase correction can be determined experimentally for a number of input signals having specific acoustic properties.
В одном из предпочтительных вариантов осуществления изобретения предварительно определяемое входное дискретное значение одинаково для каждого обрабатываемого дискретного значения кадра. В частности, предварительно определяемым входным дискретным значением может являться центральное дискретное значение кадра, состоящего из входных дискретных значений.In one of the preferred embodiments of the invention, the predetermined input sample is the same for each processed frame sample. In particular, the predetermined input sample may be the center sample of a frame of input samples.
В альтернативном варианте или в дополнение, определение может выполняться путем определения для каждого обрабатываемого дискретного значения кадра амплитуды обрабатываемого дискретного значения на основе амплитуды соответствующего входного дискретного значения и амплитуды предварительно определяемого входного дискретного значения. В частности, блок нелинейной обработки кадров может конфигурироваться для определения амплитуды обрабатываемого дискретного значения как среднего значения амплитуды соответствующего входного дискретного значения и амплитуды предварительно определяемого входного дискретного значения. Амплитуда обрабатываемого дискретного значения может определяться как геометрическое среднее значение амплитуды соответствующего входного дискретного значения и амплитуды предварительно определяемого входного дискретного значения. Конкретнее, геометрическое среднее значение может определяться как амплитуда соответствующего входного дискретного значения, возведенная в степень , умноженная на амплитуду предварительно определяемого входного дискретного значения, возведенную в степень . Как правило, параметром геометрического взвешивания амплитуды является . Кроме того, параметр геометрического взвешивания амплитуды может являться функцией коэффициента Q преобразования поддиапазона и коэффициента S растягивания поддиапазона. В частности, параметром геометрического взвешивания амплитуды может являться , что в результате приводит к снижению вычислительной сложности.Alternatively or in addition, the determination may be performed by determining, for each frame sample to be processed, the amplitude of the processed sample based on the amplitude of the corresponding input sample and the amplitude of the predetermined input sample. In particular, the non-linear frame processor may be configured to determine the amplitude of the processed sample as the average of the amplitude of the corresponding input sample and the amplitude of the predetermined input sample. The amplitude of the sample to be processed may be defined as the geometric mean of the amplitude of the corresponding input sample and the amplitude of the predetermined input sample. More specifically, the geometric mean may be defined as the amplitude of the corresponding input sample value raised to the power multiplied by the amplitude of the predetermined input discrete value raised to the power . Typically, the amplitude geometric weighting parameter is . In addition, the amplitude geometric weighting parameter may be a function of the subband transform factor Q and the subband stretch factor S. In particular, the amplitude geometric weighting parameter can be , resulting in a reduction in computational complexity.
Следует отметить, что предварительно определяемое входное дискретное значение, используемое для определения амплитуды обрабатываемого дискретного значения, может отличаться от предварительно определяемого входного дискретного значения, используемого для определения фазы обрабатываемого дискретного значения. Однако в предпочтительном варианте осуществления изобретения оба предварительно определяемых входных дискретных значения одинаковы.It should be noted that the predetermined input sample used to determine the amplitude of the processed sample may be different from the predetermined input sample used to determine the phase of the processed sample. However, in the preferred embodiment of the invention, both predetermined input discrete values are the same.
В целом, модуль нелинейной обработки кадров может использоваться в системе для управления степенью гармонического преобразования и/или растягивания во времени. Можно показать, что в результате определения амплитуды обрабатываемого дискретного значения из амплитуды соответствующего входного дискретного значения и амплитуды предварительно определяемого входного дискретного значения, может быть улучшена эффективность системы в отношении кратковременных непериодических и/или голосовых сигналов.In general, a non-linear frame processing module may be used in the system to control the degree of harmonic transformation and/or time stretching. It can be shown that by determining the amplitude of the processed sample from the amplitude of the corresponding input sample and the amplitude of the predetermined input sample, the performance of the system with respect to short-term non-periodic and/or voice signals can be improved.
Система, и, в частности модуль нелинейной обработки поддиапазонов, может включать модуль наложения и сложения, сконфигурированный для определения сигнала синтезируемого поддиапазона путем наложения и сложения дискретных значений из набора кадров обрабатываемых дискретных значений. Блок наложения и сложения может применять величину скачка к последовательным кадрам обрабатываемых дискретных значений. Указанная величина скачка может быть равна величине р скачка блока, умноженной на коэффициент S растягивания поддиапазона. Таким образом, модуль наложения и сложения может использоваться в системе для управления степенью растягивания во времени и/или гармонического преобразования.The system, and in particular the non-linear subband processing module, may include an overlay and add module configured to determine a synthesized subband signal by overlaying and adding samples from a set of frames of processed samples. The overlay and add block may apply the jump amount to successive frames of processed samples. This hop amount may be equal to the block hop amount p multiplied by the subband stretch factor S. Thus, the overlay and add module can be used in the system to control the amount of time stretching and/or harmonic transformation.
Система, и, в частности, модуль обработки поддиапазонов, может включать модуль обработки методом окна, расположенный в восходящем направлении относительно модуля наложения и сложения. Модуль обработки методом окна может конфигурироваться для применения оконной функции к кадру, состоящему из обрабатываемых дискретных значений. Таким образом, оконная функция может применяться к набору кадров, состоящих из обрабатываемых дискретных значений, перед операцией наложения и сложения. Оконная функция может иметь длину, которая соответствует длине L кадра. Оконная функция может представлять собой окно Гаусса, косинусное окно, окно вида приподнятый косинус, окно Хэмминга, окно Ханна, прямоугольное окно, окно Бартлетта и/или окно Блекмана. Как правило, оконная функция включает ряд дискретных значений оконной функции, и наложенные и сложенные дискретные значения оконной функции из ряда оконных функций, сдвинутых на величину скачка, могут предусматривать набор дискретных значений, имеющих, в значительной мере, постоянную величину К.The system, and in particular the subband processing module, may include a windowing module located upstream of the overlay and add module. The windowing module may be configured to apply a windowing function to a frame consisting of processed samples. Thus, the window function can be applied to a set of frames consisting of processed discrete values before the overlay and add operation. The window function may have a length that corresponds to the frame length L. The window function may be a Gaussian window, a cosine window, a raised cosine window, a Hamming window, a Hann window, a rectangular window, a Bartlett window, and/or a Blackman window. Typically, a window function includes a set of window function samples, and superimposed and added window function samples from the set of window functions shifted by the amount jump, may provide for a set of discrete values, having, to a large extent, a constant value K .
Система может включать блок синтезирующих фильтров, сконфигурированный для генерирования растянутого во времени и/или преобразованного по частоте сигнала из сигнала синтезируемого поддиапазона. Синтезируемый поддиапазон может быть связан с полосой частот растянутого во времени и/или преобразованного по частоте сигнала. Блок синтезирующих фильтров может представлять собой соответствующий блок фильтров, или преобразование, обратное блоку фильтров, или преобразованию, блока анализирующих фильтров. В частности, блок синтезирующих фильтров может представлять собой 64-точечный блок обратных квадратурных зеркальных фильтров. В одном из вариантов осуществления изобретения блок синтезирующих фильтров применяет к сигналу синтезируемого поддиапазона шаг синтеза по времени, и/или блок синтезирующих фильтров имеет разнос синтезируемых частот, и/или блок синтезирующих фильтров содержит количество М синтезируемых поддиапазонов, , где m - индекс синтезируемого поддиапазона, .The system may include a synthesis filter bank configured to generate a time-stretched and/or frequency-transformed signal from the synthesis subband signal. The synthesized subband may be associated with a frequency band of the time-stretched and/or frequency-converted signal. The synthesis filter bank may be the corresponding filter bank, or the inverse of the filter bank, or the transform, of the analysis filter bank. In particular, the synthesis filter bank may be a 64-point inverse quadrature mirror filter bank. In one embodiment of the invention, the synthesis filter bank applies a step to the synthesis subband signal time synthesis, and/or the synthesis filter bank has a spacing synthesized frequencies, and/or the block of synthesizing filters contains the number M of synthesized subbands, , where m is the index of the synthesized subband, .
Следует отметить, что, как правило, блок анализирующих фильтров конфигурируется для генерирования ряда сигналов анализируемых поддиапазонов; модуль обработки поддиапазонов конфигурируется для определения ряда сигналов синтезируемых поддиапазонов из ряда сигналов анализируемых поддиапазонов; и блок синтезирующих фильтров конфигурируется для генерирования растянутого во времени и/или преобразованного по частоте сигнала из ряда сигналов синтезируемых поддиапазонов.It should be noted that typically the analysis filter bank is configured to generate a number of analysis subband signals; the subband processing module is configured to determine a plurality of synthesis subband signals from the plurality of analyzed subband signals; and the synthesis filter bank is configured to generate a time-stretched and/or frequency-transformed signal from the plurality of synthesis subband signals.
В одном из вариантов осуществления изобретения система может конфигурироваться для генерирования сигнала, который является растянутым во времени с коэффициентом физического растягивания во времени и/или преобразованным по частоте с коэффициентом физического преобразования по частоте. В этом случае коэффициент растягивания поддиапазона может иметь вид , коэффициент преобразования поддиапазона может иметь вид ; и/или индекс n анализируемого поддиапазона, связанный с сигналом анализируемого поддиапазона, и индекс m синтезируемого поддиапазона, связанный с сигналом синтезируемого поддиапазона, могут быть связаны соотношением . Если выражение не является целым числом, n может выбираться как ближайшее, т.е. ближайшее меньшее или большее, целое число к члену .In one embodiment of the invention, the system may be configured to generate a signal that is spread out in time by a factor physical stretching in time and / or converted in frequency with a coefficient physical frequency conversion. In this case, the subband stretch factor can be of the form , the subrange conversion coefficient can be of the form ; and/or the analysis subband index n associated with the analysis subband signal and the synthesis subband index m associated with the synthesis subband signal may be related by . If the expression is not an integer, n can be chosen as the closest, i.e. nearest lesser or greater integer to the member .
Система может включать модуль приема управляющих данных, сконфигурированный для приема управляющих данных, отражающих мгновенные акустические свойства входного сигнала. Указанные мгновенные акустически свойства могут, например, отражаться классификацией входного сигнала по различным классам акустических свойств. Указанные классы могут включать класс переходных свойств для кратковременного непериодического сигнала, и/или класс стационарных свойств - для стационарного сигнала. Система может включать классификатор сигналов или может принимать управляющие данные из классификатора сигналов. Классификатор сигналов может конфигурироваться для анализа мгновенных акустических свойств входного сигнала и/или конфигурироваться для задания управляющих данных, отражающих мгновенные акустические свойства.The system may include a control data receiving module configured to receive control data indicative of instantaneous acoustic properties of the input signal. Said instantaneous acoustic properties can, for example, be reflected by classifying the input signal into different acoustic property classes. These classes may include a class of transient properties for a short-term non-periodic signal, and/or a class of stationary properties for a stationary signal. The system may include a signal classifier or may receive control data from a signal classifier. The signal classifier may be configured to analyze the instantaneous acoustic properties of the input signal and/or configured to provide control data indicative of the instantaneous acoustic properties.
Модуль обработки поддиапазонов может конфигурироваться для определения сигнала синтезируемого поддиапазона с учетом управляющих данных. В частности, экстрактор блоков может конфигурироваться для задания длины L кадра в соответствии с управляющими данными. В одном из вариантов осуществления изобретения малая длина L кадра устанавливается, если управляющие данные отражают кратковременный непериодический сигнал; и/или большая длина L кадра устанавливается, если управляющие данные отражают стационарный сигнал. Иными словами, длина L кадра может уменьшаться для коротких непериодических частей сигнала по сравнению с длиной L кадра, используемой для стационарных частей сигнала. Таким образом, в модуле обработки поддиапазонов могут учитываться мгновенные акустические свойства входного сигнала. В результате может быть увеличена эффективность системы в отношении коротких непериодических и/или голосовых сигналов.The subband processing module may be configured to determine the synthesis subband signal given the control data. In particular, the block extractor may be configured to set the frame length L in accordance with the control data. In one of the embodiments of the invention, a small frame length L is set if the control data reflects a short-term non-periodic signal; and/or a large frame length L is set if the control data reflects a stationary signal. In other words, the frame length L may be reduced for short non-periodic signal parts compared to the frame length L used for stationary signal parts. Thus, the instantaneous acoustic properties of the input signal can be taken into account in the subband processing module. As a result, the efficiency of the system in relation to short non-periodic and/or voice signals can be increased.
Как описывалось выше, блок анализирующих фильтров, как правило, конфигурируется для создания ряда сигналов анализируемых поддиапазонов. В частности, блок анализирующих фильтров может конфигурироваться для создания второго сигнала анализируемого поддиапазона из входного сигнала. Указанный второй сигнал анализируемого поддиапазона, как правило, связан с иной частотной полосой входного сигнала, чем сигнал анализируемого поддиапазона. Сигнал второго анализируемого поддиапазона может включать ряд комплекснозначных вторых анализируемых дискретных значений.As described above, the analysis filter bank is typically configured to generate a number of analysis subband signals. In particular, the analysis filter bank may be configured to generate a second analysis subband signal from the input signal. Said second analysis subband signal is typically associated with a different frequency band of the input signal than the analysis subband signal. The second analysis subband signal may include a number of complex-valued second analysis samples.
Модуль обработки поддиапазонов может включать второй экстрактор блоков, сконфигурированный для извлечения набора вторых входных дискретных значений путем применения величины р скачка блока к ряду вторых анализируемых дискретных значений, т.е. в одном из предпочтительных вариантов осуществления изобретения второй экстрактор блоков применяет длину L=1 кадра. Как правило, каждое второе входное дискретное значение соответствует кадру, состоящему из входных дискретных значений. Это соответствие может относиться к особенностям распределения во времени и/или дискретизации. В частности, второе входное дискретное значение и соответствующий кадр, состоящий из входных дискретных значений, могут относиться к одним и тем же моментам времени входного сигнала.The subband processing module may include a second block extractor configured to extract a set of second input samples by applying a block jump value p to a set of second samples to be analyzed, i. in one of the preferred embodiments of the invention, the second block extractor uses a length L =1 frame. Typically, every second input sample corresponds to a frame consisting of input samples. This correspondence may be related to timing and/or sampling features. In particular, the second input sample and the corresponding frame consisting of the input samples may refer to the same time points of the input signal.
Модуль обработки поддиапазонов может включать второй модуль нелинейной обработки кадров, сконфигурированный для определения кадра, состоящего из вторых обрабатываемых дискретных значений, из кадра, состоящего из входных дискретных значений, и соответствующего второго входного дискретного значения. Определение кадра, состоящего из вторых обрабатываемых дискретных значений, может выполняться путем определения для каждого второго обрабатываемого дискретного значения кадра фазы второго обрабатываемого дискретного значения путем сдвига фазы соответствующего входного дискретного значения на величину сдвига фазы, которая основывается на соответствующем втором входном дискретном значении, коэффициенте Q преобразования и коэффициенте S растягивания поддиапазона. В частности, сдвиг фазы может выполняться так, как это описывается в настоящем документе, где второе обрабатываемое дискретное значение берется вместо предварительно определяемого входного дискретного значения. Кроме того, определение кадра, состоящего из вторых обрабатываемых дискретных значений, может выполняться путем определения для каждого второго обрабатываемого дискретного значения кадра амплитуды второго обрабатываемого дискретного значения на основе амплитуды соответствующего входного дискретного значения и амплитуды соответствующего второго входного дискретного значения. В частности, амплитуда может определяться так, как это описывается в настоящем документе, где второе обрабатываемое дискретное значение берется вместо предварительно определяемого входного дискретного значения.The subband processing module may include a second non-linear frame processing module configured to determine a frame of second processing samples from a frame of input samples and a corresponding second input sample. Determination of a frame consisting of the second processing samples may be performed by determining, for each second processing sample of the frame, the phase of the second processing sample by shifting the phase of the corresponding input sample by a phase shift amount that is based on the corresponding second input sample, the conversion factor Q and a subband stretch factor S. In particular, the phase shift may be performed as described herein, where the second processed sample is taken in place of a predetermined input sample. In addition, determination of a frame consisting of the second processing samples can be performed by determining, for each second processing sample of the frame, the amplitude of the second processing sample based on the amplitude of the corresponding input sample and the amplitude of the corresponding second input sample. In particular, the amplitude may be determined as described herein, where the second processed sample is taken in place of the predetermined input sample.
Таким образом, для извлечения кадра, или набора кадров, состоящих из обрабатываемых дискретных значений, из кадров, взятых из двух различных сигналов анализируемых поддиапазонов, может использоваться второй модуль нелинейной обработки кадров. Иными словами, отдельный сигнал синтезируемого поддиапазона может быть выведен из двух или большего количества различных сигналов анализируемых поддиапазонов. Как описывается в настоящем документе, это может быть полезно в случае, когда для ряда порядков гармонического преобразования и/или степеней растягивания во времени используется единственная пара блоков анализирующих и синтезирующих фильтров.Thus, a second non-linear frame processing module can be used to extract a frame, or set of frames, consisting of processed samples from frames taken from two different analyzed subband signals. In other words, a single synthesis subband signal may be derived from two or more different analyzed subband signals. As described herein, this can be useful when a single pair of analysis and synthesis filterbanks are used for a number of harmonic transposition orders and/or time stretching degrees.
С целью определения одного или двух анализируемых поддиапазонов, которые должны вносить вклад в синтезируемый поддиапазон с индексом m, можно учесть соотношение между разрешающей способности по частоте для блоков анализирующих и синтезирующих фильтров. В частности, можно оговорить, что если член является целым числом n, то сигнал синтезируемого поддиапазона может определяться на основе кадра, состоящего из обрабатываемых дискретных значений, т.е. сигнал синтезируемого поддиапазона может определяться из единичного сигнала анализируемого поддиапазона, соответствующего целочисленному индексу n. В альтернативном варианте или в дополнение, можно оговорить, что если член не является целым числом, где n является ближайшим целым числом, то сигнал синтезируемого поддиапазона может определяться на основе кадра, состоящего из вторых обрабатываемых дискретных значений, т.е. сигнал синтезируемого поддиапазона может определяться из двух сигналов анализируемых поддиапазонов, соответствующих ближайшему целочисленному значению индекса n и смежному целочисленному значению индекса. В частности, сигнал второго анализируемого поддиапазона может соответствовать индексу анализируемого поддиапазона n+1 или n-1.In order to determine one or two analysis subbands that should contribute to the synthesis subband with index m , the ratio between the frequency resolution of the analysis and synthesis filterbanks can be taken into account. In particular, it can be stipulated that if a member is an integer n , then the synthesis subband signal may be determined based on the frame consisting of processed samples, i.e. the synthesis subband signal may be determined from a unit analysis subband signal corresponding to an integer index n . Alternatively, or in addition, it may be stipulated that if a member is not an integer, where n is the nearest integer, then the synthesis subband signal may be determined based on the frame consisting of the second processed samples, i. the synthesis subband signal may be determined from the two analyzed subband signals corresponding to the nearest integer index value n and the adjacent integer index value. In particular, the second analysis subband signal may correspond to an analysis subband index n +1 or n -1.
Согласно следующей особенности, описана система, сконфигурированная для генерирования растянутого во времени и/или преобразованного по частоте сигнала из входного сигнала. Эта система особо адаптирована для генерирования растянутого во времени и/или преобразованного по частоте сигнала под действием управляющего сигнала и, таким образом, для учета мгновенных акустических свойств входного сигнала. Это может особенно хорошо подходить для улучшения переходной характеристики системы.According to the following feature, a system configured to generate a time-stretched and/or frequency-converted signal from an input signal is described. This system is particularly adapted to generate a time-stretched and/or frequency-transformed signal under the action of a control signal and thus to take into account the instantaneous acoustic properties of the input signal. This may be particularly well suited to improve the transient response of the system.
Система может включать модуль приема управляющих данных, сконфигурированный для приема управляющих данных, отражающих мгновенные акустические свойства входного сигнала. Кроме того, система может включать блок анализирующих фильтров, сконфигурированный для создания сигнала анализируемого поддиапазона из входного сигнала; где сигнал анализируемого поддиапазона включает ряд комплекснозначных анализируемых дискретных значений, каждое из которых имеет фазу и амплитуду. Кроме того, система может включать модуль обработки поддиапазонов, сконфигурированный для определения сигнала синтезируемого поддиапазона из сигнала анализируемого поддиапазона с использованием коэффициента Q преобразования поддиапазона, коэффициента S растягивания поддиапазона и управляющих данных. Как правило, по меньшей мере, один из коэффициентов, Q или S, больше единицы.The system may include a control data receiving module configured to receive control data indicative of instantaneous acoustic properties of the input signal. In addition, the system may include an analysis filter bank configured to generate an analysis subband signal from an input signal; where the analyzed sub-band signal includes a number of complex-valued analyzed discrete values, each of which has a phase and amplitude. In addition, the system may include a subband processing module configured to determine the synthesis subband signal from the analyzed subband signal using the subband transform coefficient Q , the subband stretch coefficient S , and control data. Typically, at least one of the coefficients, Q or S , is greater than one.
Модуль обработки поддиапазонов может включать экстрактор блоков, сконфигурированный для извлечения кадра, содержащего L входных дискретных значений, из ряда комплекснозначных анализируемых дискретных значений. Длина L кадра может быть больше единицы. Кроме того, экстрактор блоков может конфигурироваться для задания длины L кадра в соответствии с управляющими данными. Экстрактор блоков также может конфигурироваться для применения величины скачка блока из р дискретных значений к ряду анализируемых дискретных значений перед извлечением следующего кадра, состоящего из L входных дискретных значений; таким образом, генерируется набор кадров, состоящих входных дискретных значений.The subband processing module may include a block extractor configured to extract a frame containing L input samples from a set of complex-valued analyzed samples. The frame length L may be greater than one. In addition, the block extractor may be configured to set the frame length L in accordance with the control data. The block extractor may also be configured to apply a block jump value of p samples to the set of analyzed samples before extracting the next frame of L input samples; thus, a set of frames consisting of input discrete values is generated.
Как описано выше, модуль обработки поддиапазонов может включать модуль нелинейной обработки кадров, сконфигурированный для определения кадра, состоящего из обрабатываемых дискретных значений, из кадра, состоящего из входных дискретных значений. Это может выполняться путем определения для каждого обрабатываемого дискретного значения кадра фазы обрабатываемого дискретного значения путем сдвига фазы соответствующего входного дискретного значения; и путем определения для каждого обрабатываемого дискретного значения кадра амплитуды обрабатываемого дискретного значения на основе амплитуды соответствующего входного дискретного значения.As described above, the subband processing module may include a non-linear frame processing module configured to determine a frame of processed samples from a frame of input samples. This can be done by determining, for each processed sample of the frame, the phase of the processed sample by shifting the phase of the corresponding input sample; and by determining, for each frame sample to be processed, the amplitude of the processed sample based on the amplitude of the corresponding input sample.
Кроме того, как описывалось выше, система может включать модуль наложения и сложения, сконфигурированный для определения сигнала синтезируемого поддиапазона путем наложения и сложения дискретных значений из набора кадров, состоящих из обрабатываемых дискретных значений; и блок синтезирующих фильтров, сконфигурированный для генерирования растянутого во времени и/или преобразованного по частоте сигнала из сигнала синтезируемого поддиапазона.In addition, as described above, the system may include an overlay and add module configured to determine a synthesis subband signal by overlaying and adding samples from a set of frames consisting of processed samples; and a synthesis filter bank configured to generate a time-stretched and/or frequency-transformed signal from the synthesis subband signal.
Согласно другой особенности, описана система, сконфигурированная для генерирования растянутого во времени и/или преобразованного по частоте сигнала из входного сигнала. Система может быть особенно хорошо адаптированной для выполнения ряда операций растягивания во времени и/или преобразования по частоте в единственной паре блоков анализирующих и синтезирующих фильтров. Система может включать блок анализирующих фильтров, сконфигурированный для создания первого и второго сигналов анализируемых поддиапазонов из входного сигнала, где каждый из сигналов поддиапазонов, первого и второго, включает ряд комплекснозначных анализируемых дискретных значений, именуемых, соответственно, первым и вторым анализируемыми дискретными значениями, и каждое анализируемое дискретное значение имеет фазу и амплитуду. Как правило, первый и второй сигналы анализируемых поддиапазонов соответствуют различным полосам частот входного сигнала.In another aspect, a system configured to generate a time-stretched and/or frequency-converted signal from an input signal is described. The system may be particularly well adapted to perform a number of time stretching and/or frequency transform operations in a single pair of analysis and synthesis filter banks. The system may include an analysis filter bank configured to create first and second analysis subband signals from an input signal, where each of the first and second subband signals includes a number of complex-valued analysis samples, referred to as the first and second analysis samples, respectively, and each the analyzed discrete value has a phase and an amplitude. Typically, the first and second signals of the analyzed subbands correspond to different frequency bands of the input signal.
Система также может включать модуль обработки поддиапазонов, сконфигурированный для определения сигнала синтезируемого поддиапазона из первого и второго сигналов анализируемых поддиапазонов с использованием коэффициента Q преобразования поддиапазона и коэффициента S растягивания поддиапазона. Как правило, по меньшей мере, один из коэффициентов, Q или S, больше единицы. Модуль обработки поддиапазонов может включать первый экстрактор блоков, сконфигурированный для извлечения кадра, состоящего из L первых входных дискретных значений, из ряда первых анализируемых дискретных значений; длина кадра L больше единицы. Первый экстрактор блоков может конфигурироваться для применения величины скачка блока из р дискретных значений к ряду первых анализируемых дискретных значений перед извлечением следующего кадра, состоящего из L первых входных дискретных значений; и, таким образом, генерируется набор кадров, состоящих из L первых входных дискретных значений. Кроме того, модуль обработки поддиапазонов может включать второй экстрактор блоков, сконфигурированный для извлечения набора вторых входных дискретных значений путем применения величины скачка блока р к ряду вторых анализируемых дискретных значений; где каждое второе входное дискретное значение соответствует кадру, состоящему из первых входных дискретных значений. Первый и второй экстракторы блоков могут обладать любым из их характерных признаков, описываемых в настоящем документе.The system may also include a subband processing module configured to determine a synthesis subband signal from the first and second analyzed subband signals using the subband transform factor Q and the subband stretch factor S. Typically, at least one of the coefficients, Q or S , is greater than one. The subband processing module may include a first block extractor configured to extract a frame consisting of L first input samples from a set of first analyzed samples; frame length L is greater than one. The first block extractor may be configured to apply a block hop amount of p samples to a set of first parsed samples before extracting the next frame of the L first input samples; and thus a set of frames consisting of the L first input samples is generated. Further, the subband processing module may include a second block extractor configured to extract a set of second input samples by applying a block jump value p to a set of second analyzed samples; where every second input sample corresponds to a frame consisting of the first input samples. The first and second block extractors may have any of the features described herein.
Модуль обработки поддиапазонов может включать модуль нелинейной обработки кадров, сконфигурированный для определения кадра, состоящего из обрабатываемых дискретных значений, из кадра, состоящего из первых входных дискретных значений, и из соответствующего второго входного дискретного значения. Это может выполняться путем определения для каждого обрабатываемого дискретного значения кадра фазы обрабатываемого дискретного значения - путем сдвига фазы соответствующего первого входного дискретного значения; и/или определения для каждого обрабатываемого дискретного значения кадра амплитуды обрабатываемого дискретного значения на основе амплитуды соответствующего первого входного дискретного значения и амплитуды соответствующего второго входного дискретного значения. В частности, модуль нелинейной обработки кадров может конфигурироваться для определения фазы обрабатываемого дискретного значения путем сдвига фазы соответствующего первого входного дискретного значения на величину сдвига фазы, которая основывается на соответствующем втором входном дискретном значении, коэффициенте Q преобразования и коэффициенте S растягивания поддиапазона.The subband processing module may include a non-linear frame processing module configured to determine a frame of processed samples from a frame of first input samples and a corresponding second input sample. This can be done by determining for each processed sample of the frame the phase of the processed sample - by shifting the phase of the corresponding first input sample; and/or determining, for each frame sample to be processed, the amplitude of the processed sample based on the amplitude of the corresponding first input sample and the amplitude of the corresponding second input sample. In particular, the non-linear frame processing module may be configured to determine the phase of the processed sample by shifting the phase of the corresponding first input sample by a phase shift amount that is based on the corresponding second input sample, the transform factor Q , and the subband stretch factor S.
Кроме того, модуль обработки поддиапазонов может включать модуль наложения и сложения, сконфигурированный для определения сигнала синтезируемого поддиапазона путем наложения и сложения дискретных значений из набора кадров, состоящих из обрабатываемых дискретных значений, где модуль наложения и сложения может применять величину скачка к последовательным кадрам, состоящим из обрабатываемых дискретных значений. Величина скачка может быть равна величине скачка блока р, умноженной на коэффициент растягивания поддиапазона S. Наконец, система может включать блок синтезирующих фильтров, сконфигурированный для генерирования растянутого во времени и/или преобразованного по частоте сигнала из сигнала синтезируемого поддиапазона.In addition, the subband processing module may include an overlay and add module configured to determine a synthesis subband signal by overlaying and adding samples from a set of frames consisting of processed samples, where the overlay and addition module may apply a hop amount to successive frames consisting of processed discrete values. The hop amount may be equal to the block hop amount p times the subband stretch factor S. Finally, the system may include a synthesis filter bank configured to generate a time-stretched and/or frequency-transformed signal from the synthesis subband signal.
Следует отметить, что различные компоненты систем, описываемых в настоящем документе, могут включать любой или все характерные признаки, описываемые в настоящем документе в отношении этих компонентов. Это, в частности, применимо к блокам анализирующих и синтезирующих фильтров, модулю обработки поддиапазонов, модулю нелинейной обработки, экстракторам блоков, модулю наложения и сложения и/или к модулю обработки методом окна, описываемым в различных частях настоящего документа.It should be noted that the various components of the systems described herein may include any or all of the features described herein in relation to those components. This applies in particular to the analysis and synthesis filter banks, the subband processor, the non-linear processor, the block extractors, the overlay and add module, and/or the windowing module described in various parts of this document.
Системы, описываемые в настоящем документе, могут включать ряд модулей обработки поддиапазонов. Каждый модуль обработки поддиапазонов может быть сконфигурирован для определения промежуточного сигнала синтезируемого поддиапазона с использования различных коэффициентов Q преобразования поддиапазона и/или различных коэффициентов S растягивания поддиапазона. Системы также могут включать, в нисходящем направлении относительно ряда модулей обработки поддиапазонов и в восходящем направлении относительно блока синтезирующих фильтров, модуль слияния, сконфигурированный для слияния соответствующих промежуточных сигналов синтезируемых поддиапазонов в сигнал синтезируемого поддиапазона. Таким образом, системы могут использоваться для выполнения ряда операций растягивания во времени и/или гармонического преобразования, несмотря на использование лишь единственной пары блоков анализирующих и синтезирующих фильтров.The systems described herein may include a number of subband processing modules. Each subband processing module may be configured to determine an intermediate synthesis subband signal using different subband transform coefficients Q and/or different subband spread coefficients S. The systems may also include, downstream of the plurality of subband processing modules and upstream of the synthesis filter bank, a fusion module configured to merge respective intermediate synthesis subband signals into a synthesis subband signal. Thus, the systems can be used to perform a number of time stretching and/or harmonic transform operations despite using only a single pair of analysis and synthesis filter banks.
Системы могут включать, в восходящем направлении относительно блока анализирующих фильтров, базовый декодер, сконфигурированный для декодирования битового потока во входной сигнал. Системы также могут включать модуль HFR-обработки в нисходящем направлении относительно модуля слияния (если этот модуль слияния присутствует) и в восходящем направлении относительно блока синтезирующих фильтров. Модуль HFR-обработки может конфигурироваться для применения к сигналу синтезируемого поддиапазона информации спектральных полос, извлекаемой из битового потока.The systems may include, upstream of the analysis filter bank, a core decoder configured to decode the bitstream into an input signal. The systems may also include an HFR processing module downstream of the fusion module (if the fusion module is present) and upstream of the synthesis filter bank. The HFR processing unit may be configured to apply spectral band information extracted from the bitstream to the synthesis subband signal.
Согласно другой особенности, описано внешнее устройство, предназначенное для декодирования принимаемого сигнала, включающего, по меньшей мере, низкочастотную составляющую звукового сигнала. Внешнее устройство может включать систему согласно любым особенностям и характерным признакам, описанным в настоящем документе, для генерирования высокочастотной составляющей звукового сигнала из низкочастотной составляющей звукового сигнала.According to another aspect, an external device is described for decoding a received signal including at least a low frequency component of an audio signal. The external device may include a system according to any of the features and characteristics described herein for generating a high frequency audio signal component from a low frequency audio signal component.
Согласно следующей особенности, описан способ генерирования растянутого во времени и/или преобразованного по частоте сигнала из входного сигнала. Данный способ особенно хорошо адаптирован к улучшению переходной характеристики операций растягивания во времени и/или преобразования частоты. Способ может включать этап создания сигнала анализируемого поддиапазона из входного сигнала, где сигнал анализируемого поддиапазона включает ряд комплекснозначных анализируемых дискретных значений, каждое из которых имеет фазу и амплитуду.According to the following feature, a method for generating a time-stretched and/or frequency-converted signal from an input signal is described. This method is particularly well adapted to improve the transient response of time stretching and/or frequency conversion operations. The method may include the step of generating an analysis subband signal from an input signal, where the analysis subband signal includes a number of complex valued analysis samples, each having phase and amplitude.
Способ в целом может включать этап определения сигнала синтезируемого поддиапазона из сигнала анализируемого поддиапазона с использованием коэффициента Q преобразования и коэффициента S растягивания поддиапазона. Как правило, по меньшей мере, один из коэффициентов, Q или S, больше единицы. В частности, способ может включать этап извлечения кадра, состоящего из L входных дискретных значений, из ряда комплекснозначных анализируемых дискретных значений, где длина кадра L, как правило, больше единицы. Кроме того, к ряду анализируемых дискретных значений перед извлечением следующего кадра, содержащего L входных дискретных значений, может применяться величина скачка блока из р дискретных значений; таким образом, генерируется набор кадров, состоящих из входных дискретных значений. Кроме того, способ может включать этап определения кадра, состоящего из обрабатываемых дискретных значений, из кадра, состоящего из входных дискретных значений. Это может выполняться путем определения для каждого последовательного дискретного значения кадра фазы обрабатываемого дискретного значения путем сдвига фазы соответствующего входного дискретного значения.The method may generally include the step of determining a synthesis subband signal from an analyzed subband signal using a transform factor Q and a subband stretch factor S. Typically, at least one of the coefficients, Q or S , is greater than one. In particular, the method may include the step of extracting a frame consisting of L input samples from a set of complex-valued analyzed samples, where the frame length L is typically greater than one. In addition, a block jump value of p samples may be applied to the set of analyzed samples before retrieving the next frame containing L input samples; thus, a set of frames consisting of input discrete values is generated. Further, the method may include the step of determining a frame of processed samples from a frame of input samples. This can be done by determining, for each successive frame sample, the phase of the processed sample by shifting the phase of the corresponding input sample.
В альтернативном варианте или в дополнение, для каждого обрабатываемого дискретного значения кадра амплитуда обрабатываемого дискретного значения может определяться на основе амплитуды соответствующего входного дискретного значения и амплитуды предварительно определяемого входного дискретного значения.Alternatively, or in addition, for each frame sample to be processed, the amplitude of the processed sample may be determined based on the amplitude of the corresponding input sample and the amplitude of the predetermined input sample.
Способ также может включать этап определения сигнала синтезируемого поддиапазона путем наложения и сложения дискретных значений из набора кадров, состоящий из их обрабатываемых дискретных значений.The method may also include the step of determining the synthesis subband signal by overlaying and adding the samples from the set of frames, consisting of their processed samples.
В конечном итоге, из сигнала синтезируемого поддиапазона может генерироваться растянутый во времени и/или преобразованный по частоте сигнал.Ultimately, a time-stretched and/or frequency-converted signal can be generated from the synthesis subband signal.
Согласно другой особенности, описан способ генерирования растянутого во времени и/или преобразованного по частоте сигнала из входного сигнала. Этот способ особенно хорошо адаптирован для улучшения эффективности операций растягивания во времени и/или преобразования по частоте в сочетании с кратковременными непериодическими входными сигналами. Способ может включать этап приема управляющих данных, отражающих мгновенные акустические свойства входного сигнала. Способ может также включать этап создания сигнала анализируемого поддиапазона из входного сигнала, где сигнал анализируемого поддиапазона включает ряд комплекснозначных анализируемых дискретных значений, каждое из которых имеет фазу и амплитуду.In another aspect, a method for generating a time-stretched and/or frequency-converted signal from an input signal is described. This technique is particularly well adapted to improve the efficiency of time stretch and/or frequency transform operations in combination with short-term non-periodic input signals. The method may include the step of receiving control data indicative of instantaneous acoustic properties of the input signal. The method may also include the step of generating an analysis subband signal from an input signal, where the analysis subband signal includes a number of complex valued analysis samples, each having phase and amplitude.
На следующем этапе из сигнала анализируемого поддиапазона с использованием коэффициента Q преобразования поддиапазона, коэффициента S растягивания поддиапазона и управляющих данных может определяться сигнал синтезируемого поддиапазона. Как правило, по меньшей мере, один из коэффициентов, Q или S, больше единицы. В частности, способ может включать этап извлечения кадра, состоящего из L входных дискретных значений, из ряда комплекснозначных анализируемых дискретных значений, где длина L кадра, как правило, больше единицы, и где длина L кадра устанавливается в соответствии с управляющими данными. Кроме того, способ может включать этап применения величины скачка блока из р дискретных значений к ряду анализируемых поддиапазонов перед извлечением следующего кадра, состоящего из L входных дискретных значений, с целью генерирования таким образом набора кадров, состоящих из входных дискретных значений. Затем из кадра, состоящего из входных дискретных значений, может определяться кадр, состоящий из обрабатываемых дискретных значений, путем определения для каждого обрабатываемого дискретного значения кадра фазы обрабатываемого дискретного значения путем сдвига фазы соответствующего входного дискретного значения, и амплитуды обрабатываемого дискретного значения - на основе амплитуды соответствующего входного дискретного значения.In the next step, a synthesis subband signal can be determined from the analyzed subband signal using the subband transform factor Q , the subband stretch factor S , and control data. Typically, at least one of the coefficients, Q or S , is greater than one. In particular, the method may include the step of extracting a frame consisting of L input samples from a set of complex-valued parsed samples, where the length L of the frame is typically greater than one, and where the length L of the frame is set in accordance with the control data. In addition, the method may include the step of applying a block jump value of p samples to a number of parsed subbands before extracting the next frame of L input samples, thereby generating a set of frames of input samples. Then, from a frame consisting of input discrete values, a frame consisting of processed discrete values can be determined by determining, for each processed discrete value of the frame, the phase of the processed discrete value by shifting the phase of the corresponding input discrete value, and the amplitude of the processed discrete value - based on the amplitude of the corresponding input discrete value.
Сигнал синтезируемого поддиапазона может определяться путем наложения и сложения дискретных значений из набора кадров, состоящих из обрабатываемых дискретных значений, и из сигнала синтезируемого поддиапазона может генерироваться растянутый во времени и/или преобразованный по частоте сигнал.The synthesis subband signal may be determined by superimposing and adding samples from a set of frames consisting of processed samples, and a time-stretched and/or frequency-converted signal may be generated from the synthesis subband signal.
Согласно следующей особенности, описан способ генерирования растянутого во времени и/или преобразованного по частоте сигнала из входного сигнала. Данный метод может являться особенно хорошо адаптированным для выполнения ряда операций растягивания во времени и/или преобразования частоты с использованием единственной пары блоков анализирующих/синтезирующих фильтров. В то же время, способ хорошо адаптирован для обработки кратковременных непериодических входных сигналов. Способ может включать этап создания первого и второго сигналов анализируемых поддиапазонов из входного сигнала, где каждый из сигналов анализируемых поддиапазонов, первый и второй, включает ряд комплекснозначных анализируемых дискретных значений, именуемых, соответственно, первым и вторым анализируемыми дискретными значениями, где каждое анализируемое дискретное значение имеет фазу и амплитуду.According to the following feature, a method for generating a time-stretched and/or frequency-converted signal from an input signal is described. The technique may be particularly well adapted to perform a series of time stretching and/or frequency transform operations using a single pair of analysis/synthesis filter banks. At the same time, the method is well adapted to the processing of short-term non-periodic input signals. The method may include the step of creating first and second analysis subband signals from an input signal, where each of the analysis subband signals, the first and second, includes a number of complex-valued analysis samples, referred to as the first and second analysis samples, respectively, where each analysis sample has phase and amplitude.
Кроме того, способ может включать этап определения сигнала синтезируемого поддиапазона из первого и второго сигналов анализируемых поддиапазонов с использованием коэффициента Q преобразования поддиапазона и коэффициента S растягивания поддиапазона, где, по меньшей мере, один из коэффициентов, Q или S, как правило, больше единицы. В частности способ может включать этап извлечения кадра, состоящего из L первых входных дискретных значений, из ряда первых анализируемых дискретных значений, где длина кадра L, как правило, больше единицы. К ряду первых анализируемых дискретных значений перед извлечением следующего кадра, состоящего из L первых входных дискретных значений, может применяться величина скачка блока из р дискретных значений с целью генерирования таким образом набора кадров, состоящих из первых входных дискретных значений. Способ может также включать этап извлечения набора вторых входных дискретных значений путем применения величины скачка блока р к ряду вторых анализируемых дискретных значений, где каждое второе исходное дискретное значение соответствует кадру, состоящему из первых входных дискретных значений.In addition, the method may include the step of determining a synthesis subband signal from the first and second analyzed subband signals using a subband transform coefficient Q and a subband stretch coefficient S , where at least one of the coefficients, Q or S , is typically greater than one. In particular, the method may include the step of extracting a frame consisting of L first input samples from a set of first analyzed samples, where the frame length L is typically greater than one. A block jump value of p samples may be applied to the set of first parsed samples before extracting the next frame of the L first input samples, to thereby generate a set of frames of the first input samples. The method may also include the step of extracting a set of second input samples by applying a block jump value p to a set of second analyzed samples, where each second source sample corresponds to a frame consisting of the first input samples.
Способ продолжается определением кадра, состоящего из обрабатываемых дискретных значений, из кадра, состоящего из первых входных дискретных значений, и из соответствующего второго входного дискретного значения. Это может выполняться путем определения для каждого обрабатываемого дискретного значения кадра фазы обрабатываемого дискретного значения - путем сдвига фазы соответствующего первого входного дискретного значения, и амплитуды обрабатываемого дискретного значения - на основе амплитуды соответствующего первого входного дискретного значения и амплитуды соответствующего второго входного дискретного значения.The method continues by determining a frame consisting of the processed samples, from a frame consisting of the first input samples, and from the corresponding second input sample. This can be done by determining, for each processed sample of the frame, the phase of the processed sample - by shifting the phase of the corresponding first input sample, and the amplitude of the processed discrete value - based on the amplitude of the corresponding first input discrete value and the amplitude of the corresponding second input discrete value.
Затем путем наложения и сложения дискретных значений из набора кадров, состоящих из обрабатываемых дискретных значений, может определяться сигнал синтезируемого поддиапазона. В конечном итоге, из сигнала синтезируемого поддиапазона может генерироваться растянутый во времени и/или преобразованный по частоте сигнал.Then, by superimposing and adding the samples from the set of frames consisting of the processed samples, the synthesis subband signal can be determined. Ultimately, a time-stretched and/or frequency-converted signal can be generated from the synthesis subband signal.
Согласно другой особенности, описана программа, реализованная программно. Программа, реализованная программно, может быть адаптирована для исполнения на процессоре и для выполнения этапов способа и/или реализации особенностей и характерных признаков, описываемых в настоящем документе, при осуществлении на вычислительном устройстве.According to another aspect, a program implemented in software is described. A program implemented in software may be adapted to execute on a processor and to perform the method steps and/or implement the features and characteristics described herein when implemented on a computing device.
Согласно другой особенности, описан носитель данных. Носитель данных может включать программу, реализованную программно, адаптированную для исполнения на процессоре и для выполнения этапов способа и/или реализации особенностей и характерных признаков, описываемых в настоящем документе, при осуществлении на вычислительном устройстве.According to another aspect, a storage medium has been described. The storage medium may include a program implemented in software adapted to execute on a processor and to perform the method steps and/or implement the features and characteristics described herein when implemented on a computing device.
Согласно другой особенности, описан компьютерный программный продукт. Компьютерный программный продукт может включать исполняемые команды для выполнения этапов способа и/или для реализации особенностей и характерных признаков, описываемых в настоящем документе, при исполнении на компьютере.According to another aspect, a computer program product is described. The computer program product may include executable instructions for performing the steps of the method and/or for implementing the features and characteristics described herein when executed on a computer.
Следует отметить, что способы и системы, включая предпочтительные варианты их осуществления, в том виде, как они описаны в настоящей патентной заявке, могут использоваться по отдельности или в сочетании с другими способами и системами, раскрытыми в данном документе. Кроме того, все особенности способов и систем, описанных в настоящей патентной заявке, могут произвольно комбинироваться. В частности, характерные признаки формулы изобретения могут произвольным образом комбинироваться друг с другом.It should be noted that the methods and systems, including their preferred embodiments, as described in this patent application, can be used alone or in combination with other methods and systems disclosed herein. In addition, all features of the methods and systems described in this patent application can be arbitrarily combined. In particular, the characteristic features of the claims can be freely combined with each other.
КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВBRIEF DESCRIPTION OF GRAPHICS
Настоящее изобретение будет описано ниже посредством иллюстративных примеров, не ограничивающих объем или дух изобретения, с отсылкой к сопроводительным графическим материалам, где:The present invention will be described below by way of illustrative examples, without limiting the scope or spirit of the invention, with reference to the accompanying drawings, where:
фиг. 1 иллюстрирует принцип примера гармонического преобразования на основе блока поддиапазонов;fig. 1 illustrates the principle of an example of harmonic transformation based on a block of subbands;
фиг. 2 иллюстрирует принцип работы примера нелинейной обработки блока поддиапазонов с одним входным поддиапазоном;fig. 2 illustrates the principle of operation of an example of non-linear processing of a block of subbands with a single input subband;
фиг. 3 иллюстрирует принцип работы примера нелинейной обработки блока поддиапазонов с двумя входными поддиапазонами;fig. 3 illustrates the principle of operation of an example of non-linear processing of a block of subbands with two input subbands;
фиг. 4 иллюстрирует пример сценария применения преобразования на основе блока поддиапазонов с использованием нескольких порядков преобразования в аудиокодеке, усиленном HFR;fig. 4 illustrates an example scenario for applying a subband block transform using multiple transform orders in an HFR enhanced audio codec;
фиг. 5 иллюстрирует пример сценария работы преобразования нескольких порядков на основе блока поддиапазонов, применяющего отдельный блок анализирующих фильтров для каждого порядка преобразования;fig. 5 illustrates an exemplary subband block multiorder transform operation scenario applying a separate analysis filter bank for each transform order;
фиг. 6 иллюстрирует пример сценария эффективной работы преобразования нескольких порядков на основе блока поддиапазонов, применяющего единственный 64-полосный блок QMF-фильтров; иfig. 6 illustrates an example scenario for efficient operation of a multi-order subband block transform using a single 64-band QMF filter bank; And
фиг. 7 иллюстрирует переходную характеристику для растягивания примера звукового сигнала во времени в два раза на основе блока поддиапазонов.fig. 7 illustrates the step response for stretching an example audio signal over time by a factor of two based on a block of subbands.
ОПИСАНИЕ ПРЕДПОЧТИТЕЛЬНЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯDESCRIPTION OF THE PREFERRED EMBODIMENTS
Описываемые ниже варианты осуществления изобретения являются единственно иллюстрациями принципов настоящего изобретения для улучшенного гармонического преобразования на основе блока поддиапазонов. Следует понимать, что модификации и изменения расположений и деталей, описанных в настоящем документе, будут понятны специалистам в данной области. Поэтому намерение заключается в том, чтобы ограничиваться только объемом предстоящей формулы изобретения, а не конкретными деталями, представленными в настоящем документе с целью описания и разъяснения вариантов осуществления изобретения.The embodiments of the invention described below are merely illustrative of the principles of the present invention for enhanced harmonic transform based on a block of subbands. It should be understood that modifications and changes to the arrangements and details described herein will be understood by those skilled in the art. Therefore, the intention is to be limited only by the scope of the following claims and not by the specific details provided herein for the purpose of describing and explaining embodiments of the invention.
Фиг. 1 иллюстрирует принцип примера преобразования, растягивания во времени или комбинации преобразования и растягивания во времени на основе блока поддиапазонов. Входной сигнал во временной области подается в блок 101 анализирующих фильтров, который создает несколько, или ряд, комплекснозначных сигналов поддиапазонов. Указанный ряд сигналов поддиапазонов подается в блок 102 обработки поддиапазонов, на работу которого оказывают влияние управляющие данные 104. Каждый выходной поддиапазон блока 102 обработки поддиапазонов может быть получен как путем обработки одного, так и путем обработки двух входных поддиапазонов, или даже путем суперпозиции результата для нескольких указанных обрабатываемых поддиапазонов. Несколько, или ряд, комплекснозначных выходных поддиапазонов подается в блок 103 синтезирующих фильтров, который, в свою очередь, выводит модифицированный сигнал во временной области. Управляющие данные 104 способствуют улучшению качества модифицированного сигнала во временной области для некоторых типов сигналов. Управляющие данные 104 могут быть связаны с сигналом во временной области. В частности, управляющие данные 104 могут быть связаны с типом сигнала во временной области, или зависеть от типа сигнала во временной области, подаваемого в блок 101 анализирующих фильтров. Например, управляющие данные 104 могут указывать на то, является ли сигнал во временной области, или мгновенный отрывок сигнала во временной области, стационарным сигналом, или сигнал во временной области представляет собой кратковременный непериодический сигнал.Fig. 1 illustrates the principle of an example of transform, time stretch, or combination of transform and time stretch based on a block of subbands. The input signal in the time domain is applied to the
Фиг. 2 иллюстрирует принцип работы примера нелинейной обработки 102 блока поддиапазонов с одним входным поддиапазоном. При заданных целевых значениях физического растягивания во времени и/или преобразования, и физических параметрах блоков 101 и 103 анализирующих и синтезирующих фильтров, можно вывести время растягивания поддиапазона и параметры преобразования, а также индекс исходного поддиапазона, который также может именоваться индексом анализируемого поддиапазона, для каждого индекса целевого поддиапазона, который также может именоваться индексом синтезируемого поддиапазона. Целью обработки блока поддиапазонов является реализация соответствующего преобразования, растягивания во времени или комбинации преобразования и растягивания во времени комплекснозначного сигнала исходного поддиапазона с целью генерирования сигнала целевого поддиапазона.Fig. 2 illustrates the operation of an example of non-linear
При нелинейной обработке 102 блока поддиапазонов экстрактор 201 блока дискретизирует состоящий из дискретных значений кадр конечного размера из комплекснозначного входного сигнала. Кадр может определяться положением входного указателя и коэффициентом преобразования поддиапазона. Указанный кадр подвергается нелинейной обработке в модуле 202 нелинейной обработки, а затем обрабатывается методом окна конечной длины в модуле 203. Окно 203 может представлять собой окно Гаусса, косинусное окно, окно Хэмминга, окно Ханна, прямоугольное окно, окно Бартлетта, окно Блекмана и т.д. Результирующие дискретные значения складываются с предыдущими выходными дискретными значениями в модуле 204 наложения и сложения, где положение выходного кадра может определяться положением выходного указателя. Входной указатель имеет фиксированную величину приращения, также называемую величиной скачка блока, и выходной указатель имеет приращение, равное приращению исходного указателя, с коэффициентом, соответствующим коэффициенту растягивания поддиапазона, т.е. величина скачка блока умножается на коэффициент растягивания поддиапазона. Повторение этой цепочки операций будет генерировать выходной сигнал с длительностью, равной длительности входного сигнала поддиапазона, с коэффициентом, соответствующим коэффициенту растягивания поддиапазона (вплоть до длины окна синтеза), и с комплексными частотами, преобразованными с коэффициентом преобразования поддиапазона.In the non-linear
Управляющие данные 104 могут оказывать воздействие на нелинейную обработку 102 на блочной основе любого из обрабатываемых блоков 201, 202, 203, 204. В частности, управляющие данные 104 могут управлять длиной блоков, извлекаемых экстрактором 201 блоков. В одном из вариантов осуществления изобретения длина блока уменьшается, если управляющие данные 104 указывают на то, что сигнал во временной области представляет собой кратковременный непериодический сигнал, в то время как длина блока увеличивается или поддерживается на более высоком уровне, если управляющие данные 104 указывают на то, что сигнал во временной области является стационарным сигналом. В альтернативном варианте или в дополнение, управляющие данные 104 могут воздействовать на модуль 202 нелинейной обработки, например, на параметры, используемые в модуле 202 нелинейной обработки, и/или на модуль 203 обработки методом окна, например, на окно, используемое блоком 203 обработки методом окна.The
Фиг. 3 иллюстрирует принцип работы примера нелинейной обработки 102 блока поддиапазонов с двумя входными поддиапазонами. При заданных целевых значениях физического растягивания во времени и преобразования, и физических параметрах блоков 102 и 103 анализирующих и синтезирующих фильтров выводятся параметры растягивания во времени и преобразования поддиапазона, а также два индекса исходных поддиапазонов - для каждого индекса целевого поддиапазона. Целью обработки блока поддиапазонов является реализация соответствующего преобразования, растягивания во времени или сочетания преобразования и растягивания во времени для комбинации двух комплекснозначных сигналов исходных поддиапазонов с целью генерирования сигнала целевого поддиапазона. Экстрактор 301-1 блоков дискретизирует кадр конечного размера, состоящий из дискретных значений из первого комплекснозначного исходного поддиапазона, и экстрактор 301-2 блоков дискретизирует кадр конечного размера, состоящий из дискретных значений из второго комплекснозначного исходного поддиапазона. В одном из вариантов осуществления изобретения один из экстракторов 301-1 и 301-2 блоков может генерировать единственное дискретное значение поддиапазона, т.е. один из экстракторов 301-1 и 301-2 блоков может применять длину блока, равную одному дискретному значению. Кадры могут определяться общим положением входного указателя и коэффициентом преобразования поддиапазона. Два кадра, извлекаемые, соответственно, экстракторами 301-1 и 301-2 блоков подвергаются нелинейной обработке в модуле 302. Модуль 302 нелинейной обработки, как правило, генерирует из двух входных кадров единственный выходной кадр. Затем выходной кадр обрабатывается методом окна конечной длины в модуле 203. Описанный выше процесс повторяется для набора кадров, которые генерируются из набора кадров, извлекаемых из двух сигналов поддиапазонов с использованием величины скачка блока. Набор выходных кадров накладывается и складывается в модуле 204 наложения и сложения. Повторение этой цепочки операций будет генерировать выходной сигнал с длительностью, которая равна длительности самого длинного из двух сигналов входных поддиапазонов с коэффициентом растягивания поддиапазона (вплоть до длины окна синтеза). В случае если два сигнала входных поддиапазонов несут одинаковые частоты, выходной сигнал будет иметь комплексные частоты, преобразованные c коэффициентом преобразования поддиапазона.Fig. 3 illustrates the operation of an example of non-linear
Как описывалось в контексте фиг. 2, управляющие данные 104 могут использоваться для модификации работы различных блоков нелинейной обработки 102, например, работы экстракторов 301-1 и 301-2 блоков. Кроме того, следует отметить, что описанные выше операции, как правило, выполняются для всех сигналов анализируемых поддиапазонов, создаваемых блоком 101 анализирующих фильтров, и для всех сигналов синтезируемых поддиапазонов, которые являются входными в блок 103 синтезирующих фильтров.As described in the context of FIG. 2, the
В нижеследующем описании с отсылками к фиг. 1 - 3 и путем добавления соответствующей математической терминологии будет дано описание принципов растягивания во времени и преобразования на основе блока поддиапазонов.In the following description with reference to FIG. 1 to 3, and by adding appropriate mathematical terminology, a description will be given of the principles of time stretching and transformation based on a block of subbands.
Двумя главными параметрами конфигурации гармонического преобразователя и/или устройства растягивания во времени в целом являются:The two main configuration parameters for the harmonic converter and/or time stretcher in general are:
• - требуемый коэффициент физического растягивания во времени; и• - the required coefficient of physical stretching in time; And
• - требуемый коэффициент физического преобразования.• is the required physical conversion factor.
Блоки фильтров 101 и 103 могут относиться к любому модулированному типу с комплексной экспонентой, такому как, например, QMF или оконное DFT, или вейвлетное преобразование. Блок 101 анализирующих фильтров и блок 103 синтезирующих фильтров в модуляции могут быть скомпонованы равномерно или неравномерно и могут определяться из широкого диапазона фильтров-прототипов и/или окон. Несмотря на то, что все указанные вторые порядки выбора оказывают влияние на такие детали последующего проектирования, как коррекции фаз и управление отображением поддиапазонов, главные параметры проектирования системы для обработки поддиапазонов, как правило, могут быть выведены из знания двух отношений - и - для приводимых ниже четырех параметров блока фильтров, каждый из которых измеряется в физических единицах измерения. В приведенных выше отношениях:The
• - шаг по времени дискретного значения поддиапазона, или шаг по времени блока 101 анализирующих фильтров (например, измеряемый в секундах [c]);• - the time step of the discrete value of the subband, or the time step of the analysis filter bank 101 (for example, measured in seconds [s]);
• - разнос частот поддиапазонов блока 101 анализирующих фильтров (например, измеряемый в Герцах [1/c]);• - the frequency spacing of the subbands of the
• - шаг по времени дискретного значения поддиапазона, или шаг по времени блока 103 синтезирующих фильтров (например, измеряемый в секундах [c]); и• - the time step of the discrete subband value, or the time step of the
• - разнос частот поддиапазонов блока 103 синтезирующих фильтров (например, измеряемый в Герцах [1/c]).• - the frequency spacing of the subbands of the
Для конфигурирования модуля 102 обработки поддиапазонов необходимо вычислить следующие параметры:To configure the
• S - коэффициент растягивания поддиапазона, т.е. коэффициент растягивания, который применяется в модуле 102 обработки поддиапазонов с целью достижение общего физического растягивания во времени сигнала во временной области с коэффициентом ;• S - subband stretch factor, ie. a stretch factor that is applied in
• Q - коэффициент преобразования поддиапазона, т.е. коэффициент преобразования, который применяется в модуле 102 обработки поддиапазонов с целью достижения общего физического преобразования сигнала во временной области с коэффициентом ; и• Q - subband conversion factor, ie. a transform factor that is applied in
• соответствие между индексами исходных и целевых поддиапазонов, где n обозначает индекс анализируемого поддиапазона, входящего в модуль 102 обработки поддиапазонов, и m обозначает соответствующий синтезируемый поддиапазон на выходе модуля 102 обработки поддиапазонов.• a correspondence between the source and target subband indices, where n denotes the index of the analyzed subband included in the
При определении коэффициента S растягивания поддиапазонов наблюдалось, что входной сигнал в блок 101 синтезирующих фильтров с физической длительностью D соответствует количеству дискретных значений анализируемых поддиапазонов на входе в модуль 102 обработки поддиапазонов. Эти дискретных значений будут растягиваться в дискретных значений модулем 102 обработки поддиапазонов, который применяет коэффициент S растягивания поддиапазона. На выходе блока 102 синтезирующих фильтров эти дискретных значений приводят к выходному сигналу, имеющему физическую длительность . Поскольку последняя указанная длительность должна совпадать с заданной величиной , т.е. поскольку длительность выходного сигнала во временной области должна быть растянута во времени по сравнению с входным сигналом во временной области c коэффициентом физического растягивания во времени , получается следующее правило проектирования:In determining the subband stretch factor S, it was observed that the input signal to the
Для того чтобы определить коэффициент преобразования поддиапазона Q, который применяется в модуле 102 обработки поддиапазонов с целью достижения физического преобразования , наблюдается, что входная синусоида в блок 101 анализирующих фильтров с физической частотой будет приводить к комплексному сигналу анализируемого поддиапазона с зависящей от дискретного времени частотой , и главный вклад вносится в анализируемый поддиапазон с индексом . Выходная синусоида на выходе блока 103 синтезирующих фильтров с требуемой преобразованной физической частотой будет генерироваться путем снабжения синтезируемого поддиапазона индексом c комплексным сигналом поддиапазона с дискретной частотой . В данном контексте следует проявлять осторожность во избежание синтеза ступенчатых выходных частот, отличающихся от . Как правило, этого можно избежать путем создания соответствующих вторых порядков выбора так, как это обсуждалось выше, например, путем выбора соответствующих блоков анализирующих/синтезирующих фильтров. Дискретная частота на выходе модуля 102 обработки поддиапазонов должна соответствовать зависящей от дискретного времени частоте на входе модуля 102 обработки поддиапазонов, умноженной на коэффициент Q преобразования поддиапазона. Т.е. путем приравнивания и можно определить соотношение между коэффициентом физического преобразования и коэффициентом Q преобразования поддиапазона:In order to determine the subband transform coefficient Q that is applied in the
Аналогично, соответствующий индекс исходного, или анализируемого, поддиапазона n модуля 102 обработки поддиапазонов для индекса заданного целевого, или синтезируемого, поддиапазона m должен подчиняться соотношению:Likewise, the corresponding source or analysis subband index n of the
В одном из вариантов осуществления изобретения принимается, что , т.е. разнос частот блока 103 синтезирующих фильтров соответствует разносу частот блока 101 анализирующих фильтров, умноженному на коэффициент физического преобразования, и может применяться взаимно однозначное отображение индекса анализируемого поддиапазона в индекс синтезируемого поддиапазона, n=m. В других вариантах осуществления изобретения отображение индекса поддиапазона может зависеть от деталей параметров блока фильтров. В частности, если отношение разносов частот блока 103 синтезирующих фильтров и блока 101 анализирующих фильтров отличается от коэффициента физического преобразования, для данного целевого поддиапазона могут быть заданы один или два исходных поддиапазона. В случае двух исходных поддиапазонов может оказаться более предпочтительным использование двух смежных исходных поддиапазонов, соответственно, с индексами n и n+1. То есть первый и второй исходные поддиапазоны задаются как , или .In one embodiment of the invention, it is assumed that , i.e. the frequency spacing of the
Обработка поддиапазонов по фиг. 2 с единичным исходным поддиапазоном будет описана ниже как функция параметров обработки поддиапазона S и Q. Пусть - входной сигнал в экстрактор 201, блоков и пусть р - входной шаг блока. Т.е. - это комплекснозначный сигнал поддиапазона для анализируемого поддиапазона с индексом n. Блок, извлекаемый экстрактором 201 блоков, можно без потери общности рассматривать как определяемый L=2R+1 дискретных значений:The subband processing of FIG. 2 with a single source subband will be described below as a function of the subband processing parameters S and Q . Let is the input signal to the
где целое число l - счетный индекс блока, L - длина блока, и R - целое число, R>0. Отметим, что при блок извлекается из последовательных дискретных значений, а при понижающая дискретизация выполняется так, чтобы входные адреса растягивались с коэффициентом Q. Если Q - целое число, эта операция, как правило, является простой для выполнения, в то время как для нецелочисленных значений Q может потребоваться интерполяция. Данное утверждение также справедливо и для нецелочисленных значений приращения р, т.е. входного шага блока. В одном из вариантов осуществления изобретения к комплекснозначному сигналу поддиапазона могут применяться короткие интерполирующие фильтры, например, фильтры, содержащие два отвода фильтра. Например, если требуется дискретное значение с дробным временным индексом k+0,5, к достаточному качеству может приводить интерполяция с двумя отводами в форме .where the integer l is the block count index, L is the block length, and R is an integer, R >0. Note that when the block is extracted from successive discrete values, and when downsampling is done so that the input addresses are stretched by a factor Q . If Q is an integer, this operation is usually simple to perform, while interpolation may be required for non-integer values of Q. This statement is also true for non-integer values of the increment p , i.e. block input step. In one embodiment of the invention, short interpolation filters, such as filters comprising two filter taps, may be applied to the complex-valued subband signal. For example, if a discrete value with a fractional time index k +0.5 is required, two-tap interpolation of the form .
Интересным частным случаем формулы (4) является случай R=0, где извлекаемый блок состоит из единственного дискретного значения, т.е. длина блока L=1.An interesting special case of formula (4) is the case R = 0, where the extracted block consists of a single discrete value, i.e. block length L =1.
В полярном представлении комплексного числа , где - амплитуда комплексного числа, и - фаза комплексного числа, блок 202 нелинейной обработки, генерирующий выходной кадр из входного кадра , преимущественно определяется с коэффициентом модификации фазы черезIn the polar representation of a complex number , Where is the amplitude of the complex number, and - complex number phase,
где - параметр геометрического взвешивания амплитуды. Случай соответствует чистой модификации фазы извлеченного блока. Параметр коррекции фазы зависит от деталей блока фильтров и индексов исходного и целевого поддиапазонов. В одном из вариантов осуществления изобретения параметр коррекции фазы может определяться экспериментально путем развертки набора входных синусоид. Кроме того, параметр коррекции фазы может быть выведен путем изучения разности фаз смежных комплексных синусоид целевых поддиапазонов или путем оптимизации эффективности для входного сигнала, относящегося к типу импульса Дирака. Коэффициент Т модификации фазы должен быть целым числом так, чтобы коэффициенты Т-1 и 1 в линейной комбинации фаз в первой строке формулы (5) были целыми числами. При таком допущении, т.е. при допущении того, что коэффициент Т модификации фазы является целым числом, результат нелинейной модификации хорошо определяется даже тогда, кода фазы являются неоднозначными за счет добавления произвольных целочисленных множителей .Where - parameter of geometric weighting of the amplitude. Happening corresponds to the net phase modification of the extracted block. Parameter phase correction depends on the details of the filter bank and the indices of the source and target subbands. In one of the embodiments of the invention, the parameter phase correction can be determined experimentally by sweeping a set of input sinusoids. In addition, the parameter The phase correction can be derived by examining the phase difference of adjacent target subband complex sinusoids, or by optimizing the efficiency for an input signal related to the Dirac pulse type. The phase modification coefficient T must be an integer so that the coefficients T -1 and 1 in the linear combination of phases in the first row of formula (5) are integers. With this assumption, i.e. assuming that the phase modification factor T is an integer, the result of the non-linear modification is well defined even when the phase codes are ambiguous by adding arbitrary integer factors .
Таким образом, формула (5) определяет, что фаза дискретного значения выходного кадра определяется путем сдвига фазы соответствующего дискретного значения входного кадра на постоянную величину сдвига. Эта постоянная величина сдвига может зависеть от коэффициента Т модификации, который, в свою очередь, зависит от коэффициента растягивания поддиапазона и/или коэффициента преобразования поддиапазона.Thus, formula (5) determines that the phase of the output frame sample is determined by shifting the phase of the corresponding input frame sample by a constant shift amount. This shift constant may depend on the modification factor T , which in turn depends on the subband stretch factor and/or the subband transform factor.
Кроме того, постоянная величина сдвига может зависеть от фазы особого дискретного значения входного кадра из входного кадра. Данное особое дискретное значение входного кадра поддерживается фиксированным для определения фазы всех дискретных значений выходного кадра данного блока. В случае формулы (5) в качестве фазы особого дискретного значения входного кадра используется фаза центрального дискретного значения входного кадра. Кроме того, постоянная величина сдвига может зависеть от параметра коррекции фазы, который может определяться экспериментально.In addition, the constant amount of the shift may depend on the phase of the particular sample of the input frame from the input frame. This particular input frame sample is held fixed to determine the phase of all output frame samples of that block. In the case of formula (5), the phase of the central discrete value of the input frame is used as the phase of the special discrete value of the input frame. In addition, the constant value of the shift may depend on the parameter phase correction, which can be determined experimentally.
Вторая строка формулы (5) определяет, что амплитуда дискретного значения выходного кадра может зависеть от амплитуды соответствующего дискретного значения входного кадра. Кроме того, амплитуда дискретного значения выходного кадра может зависеть от амплитуды особого дискретного значения входного кадра. Данное особое дискретное значение входного кадра может использоваться при определении амплитуды для всех выходных дискретных значений кадра. В случае формулы (5) в качестве особого дискретного значения входного кадра используется центральное дискретное значение входного кадра. В одном из вариантов осуществления изобретения амплитуда дискретного значения выходного кадра может соответствовать геометрическому среднему амплитуд соответствующего дискретного значения входного кадра и особого дискретного значения входного кадра.The second line of formula (5) specifies that the amplitude of the output frame sample may depend on the amplitude of the corresponding input frame sample. In addition, the amplitude of an output frame sample may depend on the amplitude of a specific sample of the input frame. This particular input frame sample can be used to determine the amplitude for all frame output samples. In the case of formula (5), the central discrete value of the input frame is used as a special discrete value of the input frame. In one embodiment of the invention, the output frame sample amplitude may correspond to the geometric mean of the amplitudes of the corresponding input frame sample and the particular input frame sample.
В модуле 203 обработки методом окна к выходному кадру применяется окно длиной L, приводя к выходному кадру, обработанному методом окна:In the
Наконец, предполагается, что кадры продолжаются нулями, и операция наложения и сложения определяется уравнением:Finally, frames are assumed to continue with zeros, and the overlay and addition operation is given by the equation:
где следует отметить, что модуль 204 наложения и сложения применяет шаг блока Sp, т.е. шаг по времени, который в S раз больше, чем входной шаг блока р. По причине указанной разности в шагах по времени в формулах (4) и (7) длительность выходного сигнала в S раз больше длительности входного сигнала , т.е. сигнал синтезируемого поддиапазона является растянутым с коэффициентом S растягивания поддиапазона по сравнению с сигналом анализируемого поддиапазона. Следует отметить, что данное наблюдение, как правило, предполагает, что длина L окна пренебрежимо мала по сравнению с длительностью сигнала.where it should be noted that the overlay and add
В случае, когда в качестве входного сигнала в обработку 102 поддиапазонов используется комплексная синусоида, т.е. сигнал анализируемого поддиапазона соответствует комплексной синусоидеIn the case where a complex sine wave is used as input to the
путем применения формул (4) - (7) можно определить, что выходной сигнал обработки 102 поддиапазонов, т.е. соответствующий сигнал синтезируемого поддиапазона, имеет вид:by applying formulas (4) - (7) it can be determined that the output signal of the
Таким образом, комплексная синусоида с зависящей от дискретного времени частотой будет трансформироваться в комплексную синусоиду с зависящей от дискретного времени частотой при условии, что сдвиги окна с шагом Sp суммируются в одну и ту же постоянную величину K для всех k:Thus, a complex sinusoid with a discrete time-dependent frequency will be transformed into a complex sinusoid with a discrete time-dependent frequency provided that the window shifts with step Sp sum to the same constant value K for all k :
Для иллюстрации можно рассмотреть частный случай чистого преобразования, где и . Если входной шаг блока р=1 и R=0, все вышеприведенное, т.е., в особенности, формула (5), сокращается до точечного правила модификации фазы, или правила модификации фазы на основе дискретного значения:To illustrate, consider a special case of a pure transformation, where And . If the block input step p = 1 and R = 0, all of the above, i.e., especially formula (5), is reduced to a point phase modification rule, or a phase modification rule based on a discrete value:
Преимущество использования размера блока становится очевидным, когда в пределах сигнала анализируемого поддиапазона рассматривается сумма синусоид. Трудность, связанная с точечным правилом (11) для суммы синусоид с частотами заключается в том, что в выходном сигнале обработки 102, т.е. в сигнале синтезируемого поддиапазона, будут присутствовать не только желательные частоты , но и частоты комбинационных составляющих в форме . Использование блока и удовлетворяющей окну формулы (10), как правило, приводит к подавлению этих комбинационных составляющих. С другой стороны, длинный блок будет приводить к большей степени нежелательного размывания времени для кратковременных непериодических сигналов. Кроме того, для сигналов в форме последовательности импульсов, например, человеческого голоса в случае гласных звуков или однотонного инструмента, с относительно низким основным тоном, комбинационные составляющие могут оказаться желательными, как это описано в документе WO 2002/052545. Данный документ ссылкой включен в настоящее описание.Advantage of using block size becomes apparent when within the signal of the analyzed subrange, the sum of the sinusoids is considered. The difficulty associated with the point rule (11) for the sum of sinusoids with frequencies lies in the fact that in the output signal of the
Для решения проблемы относительно низкой эффективности обработки 102 на основе блока поддиапазонов для кратковременных непериодических сигналов предлагается использовать в формуле (5) ненулевое значение параметра геометрического взвешивания амплитуды . Наблюдалось (см., например, фиг. 7), что выбор параметра геометрического взвешивания амплитуды улучшает переходную характеристику обработки 102 на основе блока поддиапазонов по сравнению с использованием чистой модификации фазы с , в то же время, c сохранением достаточной мощности подавления интермодуляционного искажения для стационарных сигналов. Наиболее привлекательно значение параметра взвешивания амплитуды , для которого формула (5) нелинейной обработки сокращается до следующих этапов вычислений:To solve the problem of relatively
Указанные этапы вычислений представляют объем вычислительной сложности, эквивалентный по сравнению с работой чистой модуляции фазы в случае в формуле (5). Иными словами, определение амплитуды дискретных значений выходного кадра на основе формулы (5) геометрических средних с использованием параметра взвешивания амплитуды может реализовываться без каких-либо дополнительных затрат на вычислительную сложность. В то же время, эффективность гармонического преобразователя для кратковременных непериодических сигналов увеличивается при сохранении эффективности для стационарных сигналов.These computational steps represent an amount of computational complexity that is equivalent compared to the work of pure phase modulation in the case in formula (5). In other words, determining the amplitude of discrete values of the output frame based on the formula (5) of geometric averages using the amplitude weighting parameter can be implemented without any additional cost in computational complexity. At the same time, the efficiency of the harmonic converter for short-term non-periodic signals increases while maintaining the efficiency for stationary signals.
Как было описано в контексте фиг. 1, 2 и 3, обработка 102 поддиапазонов может быть дополнительно усовершенствована путем применения управляющих данных 104. В одном из вариантов осуществления изобретения для реализации обработки поддиапазонов, адаптирующейся к сигналу, могут использоваться две конфигурации обработки 102 поддиапазонов, которые совместно используют одну и ту же величину К в формуле (11) и могут задействовать различные длины блоков. Концептуальным отправным пунктом в проектировании модуля обработки поддиапазонов с адаптирующимся к сигналу переключением конфигурации может быть представление о двух конфигурациях, запускаемых параллельно, с селекторным переключателем на их выходах, где положение селекторного переключателя зависит от управляющих данных 104. Совместное использование величины К будет гарантировать то, что переключение будет происходить без резких переходов в случае единственной выходной комплексной синусоиды. Для обобщенных сигналов жесткое переключение на уровне сигнала поддиапазона будет автоматически обрабатываться методом окна окружающей конструкцией 101, 103 блоков фильтров так, чтобы в конечные выходные сигналы не вносились какие-либо артефакты переключения. Можно показать, что, когда размеры блоков значительно различаются, и скорость обновления управляющих данных не очень высока, в результате процесса наложения и сложения по формуле (7) может воспроизводиться выходной сигнал, аналогичный сигналу вышеописанной концептуальной переключаемой системы, при вычислительных затратах системы, имеющей конфигурацию с наиболее длинным блоком. Таким образом, проигрыш в вычислительной сложности, связанной с работой адаптации к сигналу, отсутствует. Согласно приведенному выше обсуждению, конфигурация с меньшей длиной блока больше подходит для кратковременных непериодических сигналов и периодических сигналов с низким основным тоном, в то время как конфигурация с большей длиной блоков больше подходит для стационарных сигналов. Таким образом, для классификации отрывков звукового сигнала на класс кратковременных непериодических сигналов и класс непереходных сигналов и прохождения этой информации классификации качестве управляющих данных 104 в модуль 102 обработки поддиапазонов с адаптирующимся к сигналу переключением конфигурации может использоваться классификатор сигналов. Модуль 102 обработки поддиапазонов может использовать управляющие данные 104 для задания определенных параметров обработки, например, длины блока в экстракторах блоков.As has been described in the context of FIG. 1, 2, and 3,
Ниже описание обработки поддиапазонов будет распространено на случай по фиг. 3 с двумя входными сигналами поддиапазонов. Описаны будут только изменения, внесенные в случай единичного входного сигнала. Иными словами, делается отсылка к предоставленной выше информации. Пусть - входной сигнал поддиапазона в первый экстрактор 301-1 блоков, и пусть - входной сигнал поддиапазона во второй экстрактор 301-2 блоков. Блок, извлекаемый экстрактором 301-1 блоков определяется формулой (4), и блок, извлекаемый экстрактором 301-2 состоит из единственного дискретного значения:Below, the description of subband processing will be extended to the case of FIG. 3 with two subband inputs. Only the changes made to the single input case will be described. In other words, reference is made to the information provided above. Let is the subband input to the first block extractor 301-1, and let - subband input signal to the second block extractor 301-2. The block extracted by the block extractor 301-1 is determined by formula (4), and the block extracted by the extractor 301-2 consists of a single discrete value:
Т.е. в описываемом варианте осуществления изобретения первый экстрактор 301-1 блоков использует длину блока L, в то время как второй экстрактор 301-2 блоков использует блок длиной 1. В этом случае нелинейная обработка 302 генерирует выходной кадр , который может определяться формулойThose. in the described embodiment, the first block extractor 301-1 uses a block length L while the second block extractor 301-2 uses a block length 1. In this case, the
и остальная обработка в модулях 203 и 204 аналогична обработке, описанной в контексте случая единственного входного сигнала. Иными словами, предлагается заменить особое дискретное значение кадра в формуле (5) единичным дискретным значением поддиапазона, извлекаемым из соответствующего второго сигнала анализируемого поддиапазона.and the rest of the processing in
В одном из вариантов осуществления изобретения, где отношение разноса частот блока 103 синтезирующих фильтров к разносу частот блока 101 анализирующих фильтров отличается от требуемого коэффициента физического преобразования, может оказаться полезным определение дискретных значений синтезируемого поддиапазона с индексом m из двух анализируемых поддиапазонов, соответственно, с индексами n и n+1. При заданном индексе m соответствующий индекс n может даваться целочисленным значением, полученным путем усечения индекса анализируемого поддиапазона, заданного формулой (3). Один из сигналов анализируемых поддиапазонов, например, сигнал анализируемого поддиапазона, соответствующий индексу n, подается в первый экстрактор 301-1 блоков, и второй сигнал анализируемого поддиапазона, например, сигнал, соответствующий индексу n+1, подается во второй экстрактор 301-2 блоков. На основе этих двух сигналов анализируемых поддиапазонов в соответствии с описанной выше обработкой определяется сигнал синтезируемого поддиапазона, соответствующий индексу m. Направление смежных сигналов анализируемых поддиапазонов в два экстрактора 301-1 и 302-1 блоков может основываться на остатке, получаемом при усечении значения индекса по формуле (3), т.е. на разности точного значения индекса, данного по формуле (3), и усеченного целочисленного значения n, полученного из формулы (3). Если остаток больше 0,5, то сигнал анализируемого поддиапазона, соответствующий индексу n, может направляться во второй экстрактор 301-2 блоков, в противном случае этот сигнал анализируемого поддиапазона может направляться в первый 301-1 экстрактор блоков.In one embodiment of the invention, where the frequency
Фиг. 4 иллюстрирует пример сценария для применения преобразования на основе блока поддиапазонов с использованием нескольких порядков преобразования в аудиокодеке, усиленном HFR. Передаваемый битовый поток принимается базовым декодером 401, который создает декодированный базовый сигнал с низкой полосой пропускания с частотой дискретизации . Этот базовый сигнал с низкой полосой пропускания также может именоваться низкочастотной составляющей звукового сигнала. Сигнал с низкой частотой дискретизации может подвергаться повторной дискретизации до выходной частоты дискретизации посредством 32-полосного блока 402 комплексных модулированных QMF-фильтров, а затем - 64-полосного блока 405 синтезирующих QMF-фильтров (обратных QMF-фильтров). Оба блока 402 и 405 фильтров имеют одинаковые физические параметры и , и блок 404 HFR-обработки, как правило, пропускает немодифицированные более низкие поддиапазоны, соответствующие базовому сигналу с низкочастотной полосой пропускания. Высокочастотное информационное наполнение выходного сигнала получается путем снабжения более высоких поддиапазонов 64-полосного блока 405 синтезирующих QMF-фильтров выходными полосами из модуля 403 многократного преобразователя, подвергнутыми формированию и модификации спектра, выполняемыми модулем 404 HFR-обработки. Многократный преобразователь 403 в качестве входного сигнала принимает декодированный базовый сигнал и выводит множество сигналов поддиапазонов, которые представляют 64-полосный анализ суперпозиции, или комбинации, нескольких преобразованных составляющих сигнала. Иными словами, сигнал на выходе многократного преобразователя 403 должен соответствовать преобразованным сигналам синтезируемых поддиапазонов, которые могут подаваться в блок 103 синтезирующих фильтров, который в случае фиг. 4 представлен блоком 405 обратных QMF-фильтров.Fig. 4 illustrates an example scenario for applying a subband block based transform using multiple transform orders in an HFR enhanced audio codec. The transmitted bitstream is received by the
Возможные реализации многократного преобразователя 403 описываются в контексте фиг. 5 и 6. Цель многократного преобразователя 403 заключается в том, чтобы, если HFR-обработка 404 обходится, каждая составляющая соответствовала целочисленному физическому преобразованию без растягивания во времени базового сигнала (, и ). Для кратковременных непериодических составляющих базового сигнала HFR-обработка иногда может компенсировать плохую переходную характеристику многократного преобразователя 403, но последовательно высокое качество, как правило, может достигаться только в том случае, если является удовлетворительной переходная характеристика самого многократного преобразователя. Как описывается в настоящем документе, управляющий сигнал 104 преобразователя может влиять на работу многократного преобразователя 403 и, таким образом, обеспечивать удовлетворительную переходную характеристику многократного преобразователя 403. В альтернативном варианте или в дополнение, приведенная выше схема геометрического взвешивания (см., например, формулу (5) и/или формулу (4)) может вносить вклад в улучшение переходной характеристики гармонического преобразователя 403.Possible implementations of multiple converter 403 are described in the context of FIG. 5 and 6. The purpose of multiple transform 403 is that, if
Фиг. 5 иллюстрирует пример сценария работы модуля 403 преобразования нескольких порядков на основе блока поддиапазонов, применяющего отдельный блок 502-2, 502-3, 502-4 фильтров для каждого порядка преобразования. В иллюстрируемом примере в области 64-полосного блока QMF-фильтров, функционирующего на выходной частоте дискретизации , генерируются и доставляются три порядка преобразования . Модуль 504 слияния выбирает и комбинирует соответствующие поддиапазоны из каждой ветви коэффициентов преобразования в единое множество QMF-поддиапазонов, подаваемых в модуль HFR-обработки.Fig. 5 illustrates an example scenario for a multi-order subband block transform module 403 applying a separate filter block 502-2, 502-3, 502-4 for each transform order. In the illustrated example, in the region of a 64-band QMF filter bank operating at the output sample rate , three orders of transformation are generated and delivered .
Рассмотрим первый случай . Цель непосредственно заключается в том, чтобы последовательность обработки из 64-полосного QMF-анализа 502-2, модуля 503-2 обработки поддипазонов и 64-полосного QMF-синтеза 405 приводила к физическому преобразованию с и (т.е. без растягивания). При идентификации указанных трех блоков как модулей 101, 102 и 103 по фиг. 1, обнаруживается, что и , таким образом, формулы (1) - (3) приводят к следующим техническим условиям для модуля 503-2 обработки поддиапазонов. Модуль 503-2 обработки поддиапазонов должен выполнить растягивание поддиапазона до , преобразование поддиапазона до (т.е. отсутствует) и обеспечить соответствие между исходными поддиапазонами с индексом n и целевыми поддиапазонами с индексом m, имеющее вид n=m (см. формулу (3)).Consider the first case . The goal is directly that the processing sequence from the 64-band QMF analysis 502-2, the sub-band processing module 503-2, and the 64-band QMF synthesis 405 results in a physical transformation with And (i.e. without stretching). By identifying these three blocks as
Для случая пример системы включает преобразователь 501-3 частоты дискретизации, который понижает входную частоту дискретизации с коэффициентом 3/2 - от до . Цель непосредственно заключается в том, чтобы последовательность обработки, состоящей из 64-полосного QMF-анализа 502-3, модуля 503-3 обработки поддипазонов и 64-полосного QMF-синтеза 405, приводила к физическому преобразованию с и (т.е. без растягивания). При идентификации приведенных выше трех блоков, соответственно, как модулей 101, 102 и 103 по фиг. 1, обнаруживается, что из-за повторной дискретизации и , таким образом, формулы (1) - (3) приводят к следующим техническим условиям для модуля 503-3 обработки поддиапазонов. Модуль 503-3 обработки поддиапазонов должен выполнить растягивание поддиапазона до , преобразование поддиапазона до (т.е. не выполнять) и обеспечить соответствие между исходными поддиапазонами с индексом n и целевыми поддиапазонами с индексом m, имеющее вид n=m (см. формулу (3)).For the case an example system includes a 501-3 sample rate converter that downsamples the input sample rate by a factor of 3/2 - from before . The goal is directly that the sequence of processing consisting of 64-band QMF analysis 502-3, sub-band processing module 503-3, and 64-band QMF synthesis 405 results in a physical transformation with And (i.e. without stretching). By identifying the above three blocks, respectively, as
Для случая пример системы включает преобразователь 501-4 частоты дискретизации, который понижает входную частоту дискретизации в два раза - от до . Цель непосредственно заключается в том, чтобы последовательность обработки, состоящей из 64-полосного QMF-анализа 502-4, модуля 503-4 обработки поддипазонов и 64-полосного QMF-синтеза 405, приводила к физическому преобразованию с и (т.е. без растягивания). При идентификации приведенных выше трех блоков, соответственно, как модулей 101, 102 и 103 по фиг. 1, обнаруживается, что из-за повторной дискретизации и , формулы (1) - (3) приводят к следующим техническим условиям для модуля 503-4 обработки поддиапазонов. Модуль 503-4 обработки поддиапазонов должен выполнить растягивание поддиапазона до S=4, преобразование поддиапазона до (т.е. не выполнять) и обеспечить соответствие между исходными поддиапазонами с индексом n и целевыми поддиапазонами с индексом m, имеющее вид условия n=m.For the case an example system includes a 501-4 sample rate converter that downsamples the input sample rate by a factor of two - from before . The goal is directly that the processing sequence consisting of the 64-band QMF analysis 502-4, the sub-band processing module 503-4, and the 64-band QMF synthesis 405 results in a physical transformation with And (i.e. without stretching). By identifying the above three blocks, respectively, as
В качестве заключения для примера сценария по фиг. 5, все модули от 504-2 до 503-4 выполняют чистые растягивания сигналов поддиапазонов и задействуют единую нелинейную обработку входных блоков поддиапазонов, описанную в контексте фиг. 2. Управляющий сигнал 104, в случае его присутствия, может одновременно влиять на работу всех трех модулей обработки поддиапазонов. В частности, управляющий сигнал 104 может использоваться для одновременного переключения между обработкой длинных блоков и обработкой коротких блоков в зависимости от типа (кратковременный непериодический или непереходной) отрывка входного сигнала. В альтернативном варианте или в дополнение, если три модуля 504-2-504-4 используют ненулевой параметр геометрического взвешивания амплитуды , то переходная характеристика многократного преобразователя будет улучшена по сравнению со случаем .As a conclusion to the example scenario of FIG. 5, modules 504-2 through 503-4 all perform pure subband signal stretches and employ the single non-linear subband input block processing described in the context of FIG. 2.
Фиг. 6 иллюстрирует пример сценария для эффективной работы преобразования нескольких порядков на основе блока поддиапазонов, применяющего единственный 64-полосный блок анализирующих QMF-фильтров. На самом деле, использование трех отдельных блоков QMF-анализа и двух преобразователей частоты дискретизации по фиг. 5 приводит к довольно высокой вычислительной сложности, а также к некоторым неудобствам реализации обработки на основе кадра из-за преобразования частоты дискретизации в модуле 501-3, т.е. из-за дробного преобразования частоты дискретизации. Поэтому предлагается заменить две ветви преобразования, включающие модули 501-3→502-3→503-3 и 501-4→502-4→503-4, модулями 603-3 и 603-4 соответственно, тогда как ветвь 502-2→503-2 в сравнении с фиг. 5 остается неизменной. Все три порядка преобразования выполняются в области блока фильтров с отсылкой к фиг. 1, где и . Иными словами, используется только один блок 502-2 анализирующих фильтров и один блок 405 синтезирующих фильтров, что, таким образом, снижает общую вычислительную сложность многократного преобразователя.Fig. 6 illustrates an example scenario for efficient operation of a multi-order subband block transform employing a single 64-band QMF analysis filter bank. In fact, the use of three separate QMF analysis blocks and two sample rate converters of FIG. 5 results in a rather high computational complexity as well as some inconvenience in implementing frame-based processing due to the sampling rate conversion in module 501-3, i. e. due to fractional sample rate conversion. Therefore, it is proposed to replace the two transformation branches, including modules 501-3→502-3→503-3 and 501-4→502-4→503-4, with modules 603-3 and 603-4, respectively, while the branch 502-2→ 503-2 compared to FIG. 5 remains unchanged. All three transform orders are performed in the filter bank area with reference to FIG. 1, where And . In other words, only one analysis filter bank 502-2 and one synthesis filter bank 405 are used, thus reducing the overall computational complexity of the multiple transducer.
В случае технические условия для модуля 603-3 обработки поддиапазонов, имеющие вид формул (1) - (3), заключаются в том, что модуль 603-3 обработки поддиапазонов должен выполнять растягивание поддиапазона с S=2 и преобразование поддиапазона с Q=3/2, так, чтобы соответствие между исходными поддиапазонами с индексом n и целевыми поддиапазонами с индексом m имело вид . Для случая технические условия для модуля 603-4 обработки поддиапазонов, имеющие вид формул (1) - (3), заключаются в том, что модуль 603-4 обработки поддиапазонов должен выполнять растягивание поддиапазона с S=2 и преобразование поддиапазона с Q=2, так, чтобы соответствие между исходными диапазонами с индексом n целевыми поддиапазонами с индексом m имело вид .When the specification for the subband processing module 603-3, which is in the form of formulas (1) to (3), is that the subband processing module 603-3 must perform subband stretching with S =2 and subband transformation with Q =3/2, so that the correspondence between source subranges with index n and target subranges with index m has the form . For the case the specification for the subband processing module 603-4, which is in the form of formulas (1) to (3), is that the subband processing module 603-4 must perform subband stretching with S =2 and subband transformation with Q =2, so, so that the correspondence between the source ranges with index n and the target subranges with index m has the form .
Как видно, формула (3) необязательно предусматривает целочисленный индекс n для целевого поддиапазона с индексом m. Поэтому для удобства при определении целевого поддиапазона можно рассматривать два смежных исходных поддиапазона, как описано выше (с использованием формулы (14)). В частности, это может быть удобно для целевых поддиапазонов с индексом m, для которых формула (3) предусматривает нецелочисленное значение n. С другой стороны, целевые поддиапазоны с индексом m, для которых формула (3) предусматривает целочисленное значение индекса n, могут определяться из единичного исходного поддиапазона с индексом n (с использованием формулы (5)). Иными словами, предлагается, чтобы можно было добиваться достаточно высокого качества гармонического преобразования путем использования модулей 603-3 и 603-4 обработки поддиапазонов, которые оба используют нелинейную обработку блока поддиапазонов с двумя входными поддиапазонами, как это описано в контексте фиг. 3. Кроме того, управляющий сигнал 104, в случае его присутствия, может одновременно влиять на работу всех трех модулей обработки поддиапазонов. В альтернативном варианте или в дополнение, если все три модуля 503-2, 603-3, 603-4 используют ненулевой параметр геометрического взвешивания амплитуды , то переходная характеристика многократного преобразователя может быть улучшена по сравнению со случаем .As can be seen, formula (3) does not necessarily provide an integer index n for the target subrange with index m . Therefore, for convenience, when determining the target subrange, two adjacent source subranges can be considered as described above (using formula (14)). In particular, this may be convenient for target subranges with index m for which formula (3) provides for a non-integer value of n . On the other hand, target subbands with index m for which formula (3) provides for an integer value of index n can be determined from a single source subband with index n (using formula (5)). In other words, it is proposed that sufficiently high quality harmonic transformation can be achieved by using subband processing modules 603-3 and 603-4, which both use non-linear subband block processing with two input subbands, as described in the context of FIG. 3. In addition,
Фиг. 7 иллюстрирует пример переходной характеристики для растягивания во времени в два раза на основе блока поддиапазонов. Верхняя панель изображает входной сигнал, который представляет собой атаку кастаньет, дискретизированную на частоте 16 кГц. Система на основе конструкции по фиг. 1 спроектирована с 64-полосным блоком 101 анализирующих QMF-фильтров и 64-полосным блоком 103 синтезирующих QMF-фильтров. Модуль 102 обработки поддиапазонов сконфигурирован для реализации растягивания поддиапазонов с коэффициентом S=2, без преобразования поддиапазонов (Q=1) и с прямым взаимно однозначным отображением исходных поддиапазонов в целевые поддиапазоны. Шаг анализа блоков р=1, и радиус размера блоков R=7, то есть длина блока L=15 дискретных значений поддиапазонов, что соответствует 15∙64=960 дискретных значений в области сигнала (временной области). Окно w представляет собой степенное косинусное окно, т.е. косинус, возведенный во вторую степень. Средняя панель фиг. 7 изображает выходной сигнал растягивания во времени тогда, когда модулем 102 применяется чистая модификация фазы, т.е. для нелинейной обработки блоков по формуле (5) используется параметр взвешивания . Нижняя панель изображает выходной сигнал растягивания во времени тогда, когда для нелинейной обработки блоков по формуле (5) используется параметр геометрического взвешивания амплитуды . Как видно, переходная характеристика в последнем случае значительно улучшена. В частности, видно, что обработка поддиапазонов с использованием параметра взвешивания приводит к артефактам 701, которые существенно уменьшаются (см. ссылочную позицию 702) при обработке поддиапазонов с использованием параметра взвешивания .Fig. 7 illustrates an example step response for time stretching by a factor of two based on a block of subbands. The top panel shows the input signal, which is the attack of the castanets sampled at 16 kHz. The system based on the design of FIG. 1 is designed with a 64-band QMF
В настоящем документе описаны способ и система для HFR на основе гармонического преобразования и/или растягивания во времени. Способ и система могут реализовываться со значительно сниженной вычислительной сложностью по сравнению с традиционной HFR на основе гармонического преобразования, но при этом они обеспечивают высококачественное гармоническое преобразование как для стационарных, так и для кратковременных непериодических сигналов. Описанная HFR на основе гармонического преобразования использует нелинейную обработку поддиапазонов на блочной основе. Для адаптации нелинейной обработки поддиапазонов к типу сигнала, например, к кратковременному непериодическому или непереходному сигналу, предлагается использование зависящих от сигнала управляющих данных. Кроме того, с целью улучшения переходной характеристики гармонического преобразования с использованием нелинейной обработки поддиапазонов на блочной основе предлагается использование параметра геометрического взвешивания. Наконец, для HFR на основе гармонического преобразования описаны способ и система с низкой сложностью, которые используют для гармонического преобразования и HFR-обработки единственную пару блоков анализирующих/синтезирующих фильтров. Описанные способы и системы могут использоваться в различных декодирующих устройствах, например, мультимедийных приемниках, внешних видео-/аудиоустройствах, мобильных устройствах, аудиопроигрывателях, видеопроигрывателях и т. д.This document describes a method and system for HFR based on harmonic transformation and/or time stretch. The method and system can be implemented with significantly reduced computational complexity compared to conventional harmonic transform-based HFR, yet provide high quality harmonic transform for both stationary and short-term non-periodic signals. The described harmonic transform-based HFR uses non-linear block-based subband processing. To adapt the non-linear subband processing to the type of signal, such as a short-term non-periodic or non-transient signal, the use of signal-dependent control data is proposed. In addition, in order to improve the transient response of the harmonic transformation using block-based non-linear subband processing, the use of a geometric weighting parameter is proposed. Finally, for harmonic transform-based HFR, a low complexity method and system is described that uses a single pair of analysis/synthesis filter banks for harmonic transform and HFR processing. The described methods and systems can be used in various decoding devices, such as multimedia receivers, external video/audio devices, mobile devices, audio players, video players, etc.
Способы и системы для преобразования и/или высокочастотной реконструкции, и/или растягивания во времени, описанные в настоящем документе, могут реализовываться как программное обеспечение, встроенное программное обеспечение и/или аппаратное обеспечение. Некоторые компоненты могут быть реализованы, например, как программное обеспечение, запускаемое в процессоре цифровой обработки сигналов или микропроцессоре. Другие компоненты могут быть реализованы, например, как аппаратное обеспечение или как интегральные микросхемы специального назначения. Сигналы, встречающиеся в описанных способах и системах, могут храниться на носителях, таких как память с произвольным доступом или оптические носители данных. Они могут передаваться по сетям, таким как радиосети, спутниковые сети, беспроводные сети или проводные сети, например, интернет. Типичными устройствами, использующими способы и системы, описанные в настоящем документе, являются переносные электронные устройства или другая бытовая аппаратура, которая используется для хранения в памяти и/или воспроизведения звуковых сигналов. Способы и система также могут использоваться в компьютерных системах, например, для веб-серверов интернет, которые хранят в памяти и предоставляют для скачивания звуковые сигналы, например, музыкальные сигналы.The methods and systems for transformation and/or high frequency reconstruction and/or time stretching described herein may be implemented as software, firmware and/or hardware. Some components may be implemented, for example, as software running on a digital signal processor or microprocessor. Other components may be implemented, for example, as hardware or as application-specific integrated circuits. The signals encountered in the described methods and systems may be stored on media such as random access memory or optical storage media. They may be transmitted over networks such as radio networks, satellite networks, wireless networks, or wired networks such as the Internet. Typical devices using the methods and systems described herein are portable electronic devices or other consumer equipment that is used to store and/or reproduce audio signals. The methods and system can also be used in computer systems, such as Internet web servers, that store and make available for download audio signals, such as music signals.
Claims (39)
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
USUS/61/296,241 | 2010-01-19 | ||
USUS/61/331,545 | 2010-05-05 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2022113076A Division RU2789688C1 (en) | 2010-01-19 | 2022-05-16 | Improved harmonic transformation based on a block of sub-bands |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2023119211A Division RU2813317C1 (en) | 2023-07-20 | Improved harmonic transformation based on block of sub-bands |
Publications (1)
Publication Number | Publication Date |
---|---|
RU2800676C1 true RU2800676C1 (en) | 2023-07-26 |
Family
ID=
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1998057436A2 (en) * | 1997-06-10 | 1998-12-17 | Lars Gustaf Liljeryd | Source coding enhancement using spectral-band replication |
JP2004053895A (en) * | 2002-07-19 | 2004-02-19 | Nec Corp | Device and method for audio decoding, and program |
RU2224302C2 (en) * | 1997-04-02 | 2004-02-20 | Самсунг Электроникс Ко., Лтд. | Method and device for scalable audio-signal coding/decoding |
RU2256293C2 (en) * | 1997-06-10 | 2005-07-10 | Коудинг Технолоджиз Аб | Improving initial coding using duplicating band |
RU2007116941A (en) * | 2004-11-05 | 2008-11-20 | Мацусита Электрик Индастриал Ко., Лтд. (Jp) | CODER, DECODER, CODING METHOD AND DECODING METHOD |
WO2009095169A1 (en) * | 2008-01-31 | 2009-08-06 | Frauenhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Device and method for a bandwidth extension of an audio signal |
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2224302C2 (en) * | 1997-04-02 | 2004-02-20 | Самсунг Электроникс Ко., Лтд. | Method and device for scalable audio-signal coding/decoding |
WO1998057436A2 (en) * | 1997-06-10 | 1998-12-17 | Lars Gustaf Liljeryd | Source coding enhancement using spectral-band replication |
RU2256293C2 (en) * | 1997-06-10 | 2005-07-10 | Коудинг Технолоджиз Аб | Improving initial coding using duplicating band |
JP2004053895A (en) * | 2002-07-19 | 2004-02-19 | Nec Corp | Device and method for audio decoding, and program |
RU2007116941A (en) * | 2004-11-05 | 2008-11-20 | Мацусита Электрик Индастриал Ко., Лтд. (Jp) | CODER, DECODER, CODING METHOD AND DECODING METHOD |
WO2009095169A1 (en) * | 2008-01-31 | 2009-08-06 | Frauenhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Device and method for a bandwidth extension of an audio signal |
Non-Patent Citations (1)
Title |
---|
FREDERIK NAGEL, SASCHA DISCH. A harmonic bandwidth extension method for audio codecs // International conference on acoustics, speech and signal processing 2009, 19.04.2009, Taipei. P. 145-148. * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2665298C1 (en) | Improved harmonic transformation based on block of the sub-band | |
RU2800676C1 (en) | Improved harmonic transformation based on a block of sub-bands | |
RU2789688C1 (en) | Improved harmonic transformation based on a block of sub-bands | |
RU2772356C2 (en) | Improved harmonic conversion based on subrange block | |
RU2813317C1 (en) | Improved harmonic transformation based on block of sub-bands | |
AU2023202547B2 (en) | Improved Subband Block Based Harmonic Transposition | |
AU2019240701B2 (en) | Improved Subband Block Based Harmonic Transposition | |
AU2025201819A1 (en) | Improved Subband Block Based Harmonic Transposition |