RU2586851C2 - Устройство для формирования улучшенного сигнала микширования с понижением, способ формирования улучшенного сигнала микширования с понижением и компьютерная программа - Google Patents

Abstract

Изобретение относится к технике связи. Технический результат - обеспечение формирования улучшенного сигнала микширования с понижением. Устройство для формирования улучшенного сигнала микширования с понижением на основе многоканального микрофонного сигнала включает пространственный анализатор, выполненный с возможностью вычислить ряд пространственных параметров звука, включающих информацию о направлении, описывающую направление прибытия прямого звука, информацию о мощности прямого звука и информацию о мощности диффузного звука на основе многоканального микрофонного сигнала. Устройство также включает калькулятор фильтра для того, чтобы вычислить параметры фильтра расширения в зависимости от информации о направлении, описывающей направление прибытия прямого звука, информации о мощности прямого звука и информации о мощности диффузного звука. Устройство также включает фильтр для того, чтобы фильтровать микрофонный сигнал или сигнал, полученный из микрофонного сигнала, используя параметры фильтра расширения, чтобы получить улучшенный сигнал микширования с понижением. 6 н. и 12 з.п. ф-лы, 7 ил.

Description

Решения согласно изобретению связаны с устройством для формирования улучшенного сигнала микширования с понижением, способом формирования улучшенного сигнала микширования с понижением и компьютерной программой формирования улучшенного сигнала микширования с понижением.

Решение согласно изобретению связано с вычислением улучшенного сигнала микширования с понижением для аудио микрофонов, расположенных в пространстве.

Запись звука окружения с небольшой конфигурацией микрофонов остается проблемой. Одной из таких наиболее широко известных конфигураций является микрофон «Звуковое поле» и соответствующие декодеры окружения (см., например, ссылку [3]), которые фильтруют и объединяют эти четыре почти совпадающие точечные микрофонные сигналы для формирования выходных каналов звука окружения. Слабость этого подхода заключается в ограниченном разделении каналов, связанном с ограниченной направленностью микрофонных направленных откликов первого порядка, в то время как высокая точность одноканального сигнала сохраняется.

В качестве альтернативы могут быть применены способы, основанные на параметрическом представлении наблюдаемой звуковой области. В [2] был предложен способ, использующий обычные одинаковые пары стерео микрофонов, чтобы сделать запись звука окружения. Было показано, как оценить пространственные параметры звука прямозвуковые-диффузнозвуковые-отношения и направления-прибытия звука от этих направленных микрофонов, и как использовать эту информацию, чтобы заставить пространственный кодирующий аудио синтез сформировать звук окружения. В [2] было также обсуждено, как параметрическая информация, то есть направление-прибытия звука (DOA) и диффузионно-звуковое-отношение (DSR) звуковой области может быть использовано, чтобы непосредственно рассчитать определенные пространственные параметры, которые используются в кодирующей схеме MPEG окружения (MPS) (см., например, ссылку [6]).

MPEG окружение является параметрическим представлением многоканальных аудио сигналов, представляя эффективный подход к высококачественному пространственному аудио кодированию. В MPS используется тот факт, что с перцепционной точки зрения многоканальные аудио сигналы содержат существенную избыточность в отношении различных каналов громкоговорителей. Кодирующее устройство MPS получает в качестве входных множество сигналов громкоговорителей, где соответствующая пространственная конфигурация громкоговорителей должна быть известна заранее. Основанное на этих входных сигналах кодирующее MPS устройство вычисляет пространственные параметры в частотных подгруппах, таких как: различия в уровне канала между двумя каналами (CLD) и межканальная корреляция между двумя каналами (ICC). Тогда фактическая MPS информация о стороне получается из этих пространственных параметров. Кроме того, кодирующее устройство вычисляет микшированный сигнал с понижением, который может состоять из одного или более аудио каналов.

Было обнаружено, что стерео входные сигналы микрофона хорошо подходят, чтобы оценить пространственные параметры звука. Однако было также обнаружено, что необработанный входной сигнал стерео микрофона вообще плохо подходит, чтобы непосредственно использоваться в качестве соответствующего сигнала микширования с понижением MPEG окружения. Было найдено, что во многих случаях перекрестная связь между левым и правым каналами слишком велика, что приводит к плохому разделению каналов в декодированных сигналах MPEG окружения.

Ввиду этой ситуации есть потребность в концепции формирования улучшенного сигнала микширования с понижением на основе многоканального микрофонного сигнала, такого, что улучшенный сигнал микширования с понижением приводит к достаточно хорошему пространственному качеству звука и свойству локализации после декодирования MPEG окружения.

Эта цель достигается предлагаемым устройством для того, чтобы сформировать улучшенный сигнал микширования с понижением, предлагаемым способом для того, чтобы сформировать улучшенный сигнал микширования с понижением, и предлагаемой компьютерной программой для того, чтобы сформировать улучшенный сигнал микширования с понижением.

Решение согласно изобретению создает устройство для того, чтобы сформировать улучшенный сигнал микширования с понижением на основе многоканального микрофонного сигнала. Устройство включает пространственный анализатор, выполненный с возможностью вычислить на базе многоканального микрофонного сигнала ряд пространственных параметров звука, включающих информацию о направлении, описывающую направление прибытия прямого звука, информацию о мощности прямого звука и информацию о мощности диффузного звука. Устройство также включает калькулятор фильтра для того, чтобы вычислить параметры фильтра расширения в зависимости от информации о мощности прямого звука и информации о диффузионной мощности звука. Устройство также включает фильтр для того, чтобы фильтровать микрофонный сигнал, или сигнал, полученный из микрофонного, используя параметры фильтра расширения, чтобы получить улучшенный сигнал микширования с понижением.

Это решение согласно изобретению основано на открытии того, что улучшенный сигнал микширования с понижением, который подходит лучше, чем входной многоканальный микрофонный сигнал, может быть получен из входного многоканального микрофонного сигнала операцией фильтрования, и что параметры фильтра для такой операции фильтрования, улучшающей сигнал, могут быть эффективно получены из пространственных параметров звука.

Соответственно для вычисления улучшенных параметров фильтра можно снова использовать ту же самую информацию, а именно, пространственные параметры звука, которые являются также подходящими для получения параметров MPEG окружения. Соответственно, может быть создана чрезвычайно эффективная система, используя вышеописанную концепцию.

Более того, возможно получить сигнал микширования с понижением, который учитывает хорошее разделение каналов при обработке декодером MPEG окружения, даже если сигналы канала многоканального микрофонного сигнала включают только низкое пространственное разделение. Соответственно, улучшенный сигнал микширования с понижением может привести к значительно улучшенному пространственному качеству звука и свойству локализации после декодирования MPEG окружения по сравнению с обычными системами.

Чтобы подвести итог, вышеописанное решение согласно изобретению позволяет обеспечивать улучшенный сигнал микширования с понижением, имеющий хорошие пространственные свойства разделения при умеренной вычислительной сложности.

В предпочтительном решении калькулятор фильтра выполнен с возможностью вычислить параметры фильтра расширения, таким образом, что улучшенный сигнал микширования с понижением приближается к желаемому сигналу микширования с понижением. Используя этот подход можно обеспечить, чтобы параметры фильтра расширения были хорошо приспособлены к желаемому результату фильтрования. Например, параметры фильтра расширения могут быть вычислены таким образом, чтобы одно или более статистических свойств улучшенного сигнала микширования с понижением аппроксимировали желаемые статистические свойства сигнала микширования с понижением. Соответственно может быть достигнуто, чтобы улучшенный сигнал микширования с понижением был хорошо приспособлен к ожиданиям, где ожидания могут быть определены в цифровой форме с точки зрения желаемых величин корреляции.

В предпочтительном решении калькулятор фильтра выполнен с возможностью вычислить желаемые величины корреляции между многоканальным микрофонным сигналом (или, более точно, сигналами этих каналов) и желаемыми сигналами канала микширования с понижением в зависимости от пространственных параметров звука. В этом случае калькулятор фильтра предпочтительно выполнен с возможностью вычислить параметры фильтра расширения в зависимости от желаемых величин взаимной корреляции. Было найдено, что указанные величины взаимной корреляции являются хорошей мерой того, показывают ли сигналы канала микширования с понижением достаточно хорошие характеристики разделения канала. Кроме того, было найдено, что желаемые величины корреляции могут быть вычислены при умеренной вычислительной сложности на основе пространственных параметров звука.

В предпочтительном решении калькулятор фильтра выполнен с возможностью вычисления желаемых величин взаимной корреляции в зависимости от зависимых от направления коэффициентов передачи, которые описывают желаемые вклады компонентов прямого звука многоканального микрофонного сигнала во множество сигналов громкоговорителя, и в зависимости от одной или более величин матрицы микширования с понижением, которые описывают желаемые вклады множества аудио каналов (например, сигналов громкоговорителя) в один или более каналов улучшенного сигнала микширования с понижением. Было найдено, что зависимые от направления коэффициенты передачи и величины матрицы микширования с понижением хорошо подходят для того, чтобы вычислить желаемые величины взаимной корреляции, и упомянутые зависимые от направления коэффициенты передачи и упомянутые величины матрицы микширования с понижением легко доступны. Более того было найдено, что желаемые величины взаимной корреляции легко доступны на основе данной информации.

В предпочтительном решении калькулятор фильтра выполнен с возможностью отобразить информацию о направлении на набор зависимых от направления коэффициентов передачи. Было обнаружено, что может использоваться закон о многоканальном амплитудном панорамировании, чтобы определить коэффициенты передачи с умеренной сложностью вычисления в зависимости от информации о направлении. Было обнаружено, что информация о направлении прибытия подходит для того, чтобы определить зависимые от направления коэффициенты передачи, которые могут описать, например, какие громкоговорители должны создать прямой звуковой компонент. Легко понять, что прямой звуковой компонент распределен между различными сигналами громкоговорителя в зависимости от информации о направлении прибытия (кратко определяемой как информация о направлении), и что относительно просто определить коэффициенты передачи, которые описывают, какой из громкоговорителей должен отдать прямой звуковой компонент. Например, правило отображения, которое используется для того, чтобы отобразить информацию о направлении на набор зависимых от направления коэффициентов передачи, может просто определить, что те громкоговорители, которые связаны с направлением прибытия могут отдать (или в основном отдать), прямой звуковой компонент, в то время как другие громкоговорители, которые связаны с другими указаниями, должны отдать только небольшую часть прямого звукового компонента или должны даже подавить прямой звуковой компонент.

В привилегированном решении калькулятор фильтра выполнен с возможностью использовать информацию о мощности прямого звука и информацию о мощности диффузного звука, чтобы вычислить желаемые величины взаимной корреляции. Было найдено, что рассмотрение полномочий обоих из названных звуковых компонентов (прямой звуковой компонент и диффузный звуковой компонент) приводит к особенно хорошему впечатлению слушания, потому что и прямой звуковой компонент и диффузный звуковой компонент могут быть должным образом назначены сигналам канала микширования с понижением (обычно многоканального).

В предпочтительном решении калькулятор фильтра выполнен с возможностью применить весовой коэффициент к информации о мощности прямого звука в зависимости от информации о направлении, и применить предопределенную надбавку, которая независима от информации о направлении к информации о мощности диффузного звука, чтобы вычислить желаемые величины взаимной корреляции. Соответственно они могут быть различны между прямыми звуковыми компонентами и диффузными звуковыми компонентами, что приводит к особенно реалистической оценке желаемых величин взаимной корреляции.

В предпочтительном решении калькулятор фильтра выполнен с возможностью решения уравнения Винера-Хопфа, чтобы получить параметры фильтра расширения. В этом случае уравнение Винера-Хопфа описывает отношения между величинами корреляции, описывающими корреляцию между различными парами каналов многоканального микрофонного сигнала, улучшенными параметрами фильтра и желаемыми величинами взаимной корреляции между сигналами канала многоканального микрофонного сигнала и желаемыми сигналами канала сигнала микширования с понижением. Было обнаружено, что решение такого уравнения Винера-Хопфа приводит к улучшенным параметрам фильтра, которые хорошо приспособлены к желаемым характеристикам корреляции сигналов канала сигнала микширования с понижением.

В предпочтительном решении калькулятор фильтра выполнен с возможностью вычисления улучшенных параметров фильтра в зависимости от модели желаемых каналов микширования с понижением. Моделируя желаемые каналы микширования с понижением, параметры фильтра расширения могут быть вычислены таким образом, что они приводят к сигналу микширования с понижением, который учитывает хорошую реконструкцию желаемых многоканальных сигналов громкоговорителя в многоканальном декодере.

В некоторых решениях модель желаемых каналов микширования с понижением, может включать модель идеального микширования с понижением, которое было бы выполнено, если бы сигналы канала (например, сигналы громкоговорителя) были бы доступны индивидуально. Более того, моделирование может включать модель того, как отдельные сигналы канала могут быть получены из многоканального микрофонного сигнала, даже если многоканальный микрофонный сигнал включает сигналы канала, имеющие только ограниченное пространственное разделение. Соответственно, полная модель желаемого канала микширования с понижением может быть получена, например, путем объединения моделей получения отдельных сигналов канала (например, сигналов громкоговорителя) и моделей получения желаемых каналов микширования с понижением из указанных отдельных сигналов капала. Таким образом, это достаточно хороший способ для вычисления улучшенных параметров фильтра, при относительно небольшой вычислительной сложности.

В предпочтительном решении калькулятор фильтра выполнен с возможностью выборочно выполнить одноканальное фильтрование, где первый канал сигнала микширования с понижением получен фильтрованием первого канала многоканального микрофонного сигнала, и где второй канал сигнала микширования с понижением получен фильтрованием второго канала многоканального микрофонного сигнала, избегая взаимного влияния первого канала многоканального микрофонного сигнала на второй канал сигнала микширования с понижением и второго канала многоканального микрофонного сигнала на первый канал сигнала микширования с понижением, или двухканальное фильтрование, где первый канал сигнала микширования с понижением получен путем фильтрации первого и второго каналов многоканального микрофонного сигнала, и где второй канал сигнала микширования с понижением получен путем фильтрации первого и второго каналов многоканального микрофонного сигнала.

Выбор одноканального фильтрования и двухканального фильтрования зависит от величины корреляции, описывающей корреляцию между первым каналом многоканального микрофонного сигнала и вторым каналом многоканального микрофонного сигнала. Выбирая между одноканальным фильтрованием и двухканальным фильтрованием, можно избежать численных ошибок, которые могут иногда появляться, если двухканальное фильтрование используется в ситуации, в которой левый и правый каналы сильно коррелированны. Соответственно, хорошее качество сигнала микширования с понижением может быть получено независимо от того, коррелированны ли сигналы канала многоканального микрофонного сигнала сильно или нет.

Другое решение согласно изобретению создает способ для того, чтобы создать улучшенный сигнал микширования с понижением.

Другое решение согласно изобретению создает компьютерную программу для того, чтобы выполнить способ формирования улучшенного сигнала микширования с понижением.

Способ и компьютерная программа основаны на тех же самых результатах, что и устройство и к ним могут быть добавлены любая из особенностей и функциональностей, обсужденных относительно устройства.

Краткое описание иллюстраций

Решения согласно данному изобретению будут описаны впоследствии со ссылками на иллюстрации, где:

на фиг.1 показана блок-схема устройства для того, чтобы сформировать улучшенный сигнал микширования с понижением, согласно решению изобретения;

на фиг.2 показана графическая иллюстрация пространственной аудио обработки микрофонного сигнала, согласно решению изобретения;

На фиг.3 показана графическая иллюстрация вычисления улучшенного микширования с понижением, согласно решению изобретения;

на фиг.4 показана графическая иллюстрация отображения канала для вычисления желаемых сигналов микширования с понижением Y₁ и Y₂, которые могут использоваться в решениях согласно изобретению;

на фиг.5 показана графическая иллюстрация вычисления улучшенного микширования с понижением, основанного на предварительно обработанных микрофонных сигналах, согласно решению изобретения;

на фиг.6 показано схематическое представление вычислений для того, чтобы получить параметры фильтра расширения из многоканального микрофонного сигнала, согласно решению изобретения; и

на фиг.7 показано схематическое представление вычислений для того, чтобы получить параметры фильтра расширения из многоканального микрофонного сигнала, согласно другому решению изобретения.

Подробное описание решений

1. Устройство для формирования улучшенного сигнала микширования с понижением согласно фиг.1

На фиг.1 показана блок-схема устройства 100 для того, чтобы сформировать улучшенный сигнал микширования с понижением на основе многоканального микрофонного сигнала. Устройство 100 выполнено с возможностью получить многоканальный микрофонный сигнал 110 и обеспечить на его основе улучшенный сигнал микширования с понижением 112. Устройство 100 включает пространственный анализатор 120 выполненный с возможностью вычислить ряд пространственных параметров звука 122 на основе многоканального микрофонного сигнала 110. Пространственные параметры звука, как правило, включают информацию о направлении, описывающую направление прибытия прямого звука (который включен в многоканальный микрофонный сигнал), информацию о мощности прямого звука и о мощности диффузного звука. Устройство 100 также включает калькулятор фильтра 130 для того, чтобы вычислить параметры фильтра расширения 132 в зависимости от пространственных параметров звука 122, то есть в зависимости от информации о направлении, описывающей направление прибытия прямого звука, в зависимости от информации о мощности прямого звука и в зависимости информации о мощности диффузного звука. Устройство 100 также включает фильтр 140 для того, чтобы фильтровать микрофонный сигнал 110, или сигнал 110', полученный из микрофонного сигнала, используя параметры фильтра расширения 132, чтобы получить улучшенный сигнал микширования с понижением 112. Сигнал 110' может быть получен из многоканального микрофонного сигнала 110, используя дополнительную предварительную обработку 150.

Относительно функциональности устройства 100 можно отметить, что по сравнению с многоканальным микрофонным сигналом 110 улучшенный сигнал микширования с понижением 112, как правило, обеспечивается таким образом, что улучшенный сигнал микширования с понижением 112, учитывает улучшенное пространственное качество звука после декодирования MPEG окружения, потому что для достижения этой цели параметры фильтра расширения 132, как правило, обеспечиваются калькулятором фильтра 130. Предоставление улучшенных параметров фильтра 130 основано на пространственных параметрах звука 122 обеспеченных пространственным анализатором так, что параметры фильтра расширения 130 формируются в соответствии с пространственной особенностью многоканального микрофонного сигнала 110, и чтобы подчеркнуть пространственную особенность многоканального микрофонного сигнала 110. Соответственно, фильтрование, выполненное фильтром 140, учитывает адаптивное к сигналу улучшение пространственной особенности улучшенного сигнала микширования с понижением 112 при сравнении с входным многоканальным микрофонным сигналом 110.

Детали относительно пространственного анализа, выполненного пространственным анализатором 120, относительно вычисления параметра фильтра, выполненного калькулятором фильтра 130 и относительно фильтрования, выполненного фильтром 140, будут описаны более подробно далее.

2. Устройство для формирования улучшенного сигнала микширования с понижением согласно фиг.2.

На фиг.2 показан блок-схема устройства 200 для того, чтобы сформировать улучшенный сигнал микширования с понижением (который может принять форму двухканального аудио сигнала), и ряд пространственных звуков, связанных с сигналом микширования с повышением, имеющим более двух каналов. Устройство 200 включает микрофонное устройство 205, выполненное с возможностью обеспечить двухканальный сигнал микрофона, включающий сигнал первого канала 210а и сигнал второго канала 210b.

Устройство 200 далее включает процессор 216 для того, чтобы обработать ряд пространственных звуков, связанных с сигналом микширования с повышением, имеющим более двух каналов на базе микрофонного сигнала с двумя каналами. Процессор 216 также выполнен с возможностью сформировать параметры фильтра расширения 232. Процессор 216 выполнен с возможностью получить в качестве входных сигнал первого канала 210а и сигнал второго канала 210b, обеспеченный микрофонным устройством 205. Устройство 216 выполнено с возможностью сформировать параметры фильтра расширения 232 и также предоставить пространственную информацию о звуке 262. Устройство 200 далее включает поставщика двухканального аудио сигнала 240, который выполнен с возможностью получить сигнал первого канала 210а и сигнал второго канала 210b, обеспеченный микрофонным устройством 205 и сформировать обработанные версии сигнала микрофона первого канала 210а и сигнала микрофона второго канала 210b в виде двухканального аудио сигнала 212, включающего сигналы каналов 212а, 212b.

Микрофонное устройство 205 включает первый направленный микрофон 206 и второй направленный микрофон 208. Первый направленный микрофон 206 и второй направленный микрофон 208 предпочтительно располагаются на расстоянии не больше чем 30 см. Соответственно сигналы, полученные первым направленным микрофоном 206 и вторым направленным микрофоном 208, сильно коррелированны, что, как было обнаружено, выгодно для вычисления анализатором сигнала 220 составляющей информации об энергии (или составляющей информации о мощности) 122а и информации о направлении 122b. Однако первый направленный микрофон 206 и второй направленный микрофон 208 ориентируются таким образом, что направленная характеристика 209 второго направленного микрофона 208 является повернутой версией направленной характеристики 207 первого направленного микрофона 206. Соответственно, сигнал микрофона первого канала 210а и сигнал микрофона второго канала 210b сильно коррелированны (из-за пространственной близости микрофонов 206, 208), но все же отличаются (из-за различных направленных характеристик 207, 209 направленных микрофонов 206, 208). В частности в случае направленного сигнала с приблизительно постоянного направления на микрофонное устройство 205 вызываются сильно коррелированные компонент сигнала микрофона первого канала 210а и сигнала микрофона второго канала 210b, имеющего постоянное во времени зависимое от направления отношение амплитуд (или отношение интенсивностей). В случае падения на микрофонное устройство 205 окружающего аудио сигнала с переменных во времени направлений приводит к существенной корреляции компонент сигнала микрофона первого канала 210а и сигнала микрофона второго канала 210, но к флуктуирующему во времени отношению амплитуд (или отношению интенсивностей). Соответственно, микрофонное устройство 205 обеспечивает двухканальный микрофонный сигнал 210а, 210b, который позволяет анализатору сигнала 220 из процессора 216 различить прямой звук и диффузный звук даже при условии, что микрофоны 206, 208 расположены близко. Таким образом, устройство 200 состоит из поставщика аудио сигнала, который может быть реализован в пространственно компактной форме, и который, однако, способен к обеспечению пространственных звуков, связанных с сигналом микширования с повышением, имеющим более двух каналов.

С использованием пространственного аудио декодера пространственные звука 262 могут использоваться в сочетании с сформированным двухканальным аудио сигналом 212а, 212b, чтобы обеспечить выходной сигнал звукового окружения ("звука вокруг").

Далее будут даны некоторые дальнейшие объяснения относительно устройства 200. Устройство 200 может включать микрофонное устройство 205, которое обеспечивает сигнал первого канала 210а и сигнал второго канала 210b. Сигнал первого канала 210а также определяется с x₁(t), и сигнал второго канала 210b определяется с x₂(t). Нужно также отметить, что сигнал первого канала 210а и сигнал второго канала 210b могут представлять многоканальный микрофонный сигнал 110, который поступает в устройство 100 согласно фиг.1.

Поставщик двухканального аудио сигнала 240 получает сигнал первого канала 210а и сигнал второго канала 210b, и, как правило, также получает информацию об улучшенном параметре фильтра 232. Поставщик двухканального аудио сигнала 240 может, например, выполнить функцию дополнительной предварительной обработки 150 и фильтра 140, чтобы обеспечить двухканальный аудио сигнал 212, который представлен сигналом первого канала 212а и сигналом второго канала 212b. Двухканальный аудио сигнал 212 может быть эквивалентным улучшенному сигналу микширования с понижением 112, созданному устройством 100 на фиг.1.

Анализатор сигнала 220 может быть выполнен с возможностью получить сигнал первого канала 210а и сигнал второго канала 210b. Кроме того, анализатор сигнала 220 может быть выполнен с возможностью получить компоненты информации об энергии 122а и информации о направлении 122b на основе двухканального микрофонного сигнала 210, то есть на основе сигнала первого канала 210а и сигнала второго канала 210b. Предпочтительно, анализатор сигнала 220 выполнен с возможностью получить компоненты информации о энергии 122а и информации о направлении 122b таким образом, что компонента информации о энергии 122а описывает оценку энергий (или, эквивалентно, мощностей) прямой компоненты звукового двухканального микрофонного сигнала и диффузной компоненты звукового микрофонного двухканального сигнала, и таким образом, что информация о направлении 122 описывает оценку направления, из которого исходит прямой звуковой компонент двухканального микрофонного сигнала 210а, 210b. Соответственно, анализатор сигнала 220 может иметь функцию пространственного анализатора 120, и компоненты информации об энергии 122а и информации о направлении 122b, могут быть эквивалентны пространственным параметрам звука 122. Компонента информации об энергии 122а может быть эквивалентна информации о мощности прямого звука и информации о мощности диффузного звука. Процессор 216 также включает генератор пространственной информации о стороне 260, который получает компоненты информации об энергии 122а и информации о направлении 122b от анализатора сигнала 220. Генератор пространственной информации о стороне 260 выполнен с возможностью обеспечить, на основе этого, пространственную информацию о звуке 262. Предпочтительно, генератор пространственной информации о стороне 260 выполнен с возможностью отобразить компоненту информации об энергии 122а двухканального микрофонного сигнала 210а, 210b и информацию о направлении 122b двухканального микрофонного сигнала 210а, 210b на пространственную информацию о звуке 262. Соответственно, пространственная информация о стороне 262 получена таким образом, что пространственная информация о звуке 262 описывает ряд пространственных звуков, связанных с аудио сигналом микшированным с повышением, имеющим более двух каналов.

Процессор 216 имеет в вычислительном отношении очень эффективное вычисление пространственной информации о звуке 262, которое связано с аудио сигналом микшированным с повышением, имеющим более двух каналов, на основе двухканального микрофонного сигнала 210а, 210b. Анализатор сигнала 220 способен к извлечению большого количества информации из двухканального микрофонного сигнала, а именно, компонента информации об энергии 122а, описывающего как оценку энергий прямой компоненты звукового двухканального микрофонного сигнала, так и диффузной компоненты звукового микрофонного двухканального сигнала, и информации о направлении 122b, описывающей оценки направления, из которого исходит прямой звуковой компонент микрофонного двухканального сигнала. Было обнаружено, что эта информация, которая может быть получена анализатором сигнала 220 на основе двухканального микрофонного сигнала 210а, 210b, достаточна, чтобы получить пространственную информацию о звуке 262 даже для микшированного с повышением аудио сигнала, имеющего более двух каналов. Важно, что было установлено, что компоненты информации об энергии 122а и информации о направлении 122b достаточны для непосредственного определения пространственной информации о звуке 262, без фактического использования микширования аудио каналов с повышением в качестве промежуточных данных.

Кроме того процессор 216 включает калькулятор фильтра 230, который выполнен с возможностью получить компоненты информации об энергии 122а и информации о направлении 122b и обеспечить на их основе информацию об улучшенном параметре фильтра 232. Соответственно, калькулятор фильтра 230 может иметь функцию калькулятора фильтра 130.

Суммируя сказанное, устройство 200 способно эффективным способом определить как улучшенный сигнал микширования с понижением 212, так и пространственную информацию о звуке 262, используя в обоих случаях ту же самую промежуточную информацию 122а, 122b. Кроме того, нужно отметить, что устройство 200 выполнено с возможностью использования пространственно небольшого микрофонного устройства 205, чтобы получить и (улучшенный) микшированный с понижением сигнал 212, и пространственную информацию о звуке 262. Из-за вычисления улучшенных параметров фильтра 232 калькулятором фильтра 230, микшированный с понижением сигнал 212 включает особенно хорошую пространственную характеристику разделения, несмотря на использование маленького микрофонного устройства 205 (которое может быть частью устройства 200 или которое может быть внешним к устройству 200, но связано с устройством 200). Соответственно, взятый в сочетании с пространственной информацией о звуке 262, (улучшенный) микшированный с понижением сигнал 212 может быть подходящим для пространственного представления (например, при использовании декодера MPEG окружения).

Подводя итог, на фиг.2 показана блок-схема пространственного микрофонного аудио подхода. Как видно, входные сигналы стерео микрофона 210а (также определяемый как x₁(t)), и 210b (также определяемый как Х₂(t)) используются в блоке 216, чтобы вычислить набор пространственной информации о звуке 262 связанный с многоканальным сигналом микширования с повышением (например, двухканальный аудио сигнал 212). Кроме того, обеспечивается двухканальный сигнал микширования с понижением 212.

В следующих разделах будут описаны необходимые шаги для определения пространственной информации о звуке 262 на базе анализа микрофонных стерео сигналов. Здесь, будет сделана ссылка на презентацию [2].

3. Анализ стерео сигнала.

Далее будет описан анализ стерео сигнала, который может быть выполнен пространственным анализатором 120 или анализатором сигнала 220. Следует отметить, что в некоторых решениях, в которых есть больше, чем два используемых микрофона, и в котором есть больше, чем два сигнала канала многоканального микрофонного сигнала, может использоваться расширенный анализ сигнала.

Описанный здесь анализ стерео сигнала, может использоваться, чтобы обеспечить пространственные параметры звука 122, которые могут принять форму компонент информации об энергии 122а и информации о направлении 122b. Следует отметить, что анализ стерео сигнала может быть выполнен в частотно временной области. Соответственно, сигналы каналов 210а, 210b многоканального микрофонного сигнала 110, 210 могут быть преобразованы в представление в частотно временной области с целью дальнейшего анализа.

Частотно временным представлением микрофонных сигналов x₁(t) и x₂(t) являются X₁(k, i) и X₂(k, i), где k и i - частотно временные индексы. Предполагается, что X₁ (k, i) и X₂ (k, i) могут быть моделироваться как

X₁(k, i)=S(k, i)+N₁(k,i)

X₂(k, i)=a(k,i)S(k,i)+N₂(k,i).

где a(k, i) коэффициент передачи, S (k, i) прямой звук в левом канале, и N₁ (k, i) и N₂(k, i) представляют диффузный звук.

Пространственное аудио кодирование (SAC) микширует с понижением сигнал 112, 212, и информация о стороне 262 вычисляется функция a, E{SS^∗}, E{N₁N₁ ^∗}, и E{N₂N₂ ^∗}, где Е{.} - операция по усреднению на коротком временном интервале, и где ^∗ обозначает сопряженное комплексное число. Эти величины получаются следующим образом.

Из (1) следует, что

$$\begin{array}{l}E\left\{X_1{X}_1^{\ast }\right\}=E\left\{S{S}^{\ast }\right\}+E\left\{N_1{N}_1^{\ast }\right\}\\ E\left\{X_2{X}_2^{\ast }\right\}=a^2\left\{S{S}^{\ast }\right\}+E\left\{N_2{N}_2^{\ast }\right\}\\ E\left\{X_1{X}_2^{\ast }\right\}=aE\left\{S{S}^{\ast }\right\}+E\left\{N_1{N}_2^{\ast }\right\}\text{. }\left(\text{2}\right)\end{array}$$

$$$$

Нужно отметить здесь, что E{SS^∗} можно рассматривать как прямую звуковую информацию о мощности или, эквивалентно, прямую звуковую информацию об энергии, и что Е{N1N1^∗} и Е {N2N2^∗} можно рассматривать как диффузную звуковую информацию о мощности или диффузную звуковую информацию об энергии. Е{SS^∗} и E{N1N1^∗} можно рассматривать как составляющую информации об энергии, «а» может быть рассмотрена как информация о направлении.

Предполагается, что количество диффузного звука в обоих сигналах микрофона одинаковое, то есть E{N₁N₁ ^∗}=E{N₂N₂ ^∗}=E{NN^∗}, и что Ф_diff - нормализованный коэффициент взаимной корреляции между N₁ и N₂, то есть

$${Ф}_{diff}=\frac{E\left\{N_1{N}_2^{\ast }\right\}}{\sqrt{E\left\{N_1{N}_1^{\ast }\right\}E\left\{N_2{N}_2^{\ast }\right\}}}\left(\text{3}\right)$$

Ф_diff может, например, принимать предопределенное значение, или может быть вычислен в соответствии с некоторым алгоритмом.

Принимая эти предположения, (2) можно записать как

$$\begin{array}{l}E\left\{X_1{X}_1^{\ast }\right\}=E\left\{S{S}^{\ast }\right\}+E\left\{N{N}^{\ast }\right\}\\ E\left\{X_2{X}_2^{\ast }\right\}=a^2\left\{S{S}^{\ast }\right\}+E\left\{N{N}^{\ast }\right\}\\ E\left\{X_1{X}_2^{\ast }\right\}=aE\left\{S{S}^{\ast }\right\}+{Ф}_{diff}\left\{N{N}^{\ast }\right\}.\left(\text{4}\right)\end{array}$$

$$$$

Пренебрежение величиной Е{SS^∗} и «а» в (2) приводит к квадратному уравнению

$$AE{\left\{N{N}^{\ast }\right\}}^2+BE\left\{N{N}^{\ast }\right\}+C=0\left(\text{5}\right)$$

где

$$\begin{array}{l}A=1-{Ф}_{diff}^2.\\ B=2{Ф}_{diff}E\left\{X_1{X}_2^{\ast }\right\}-E\left\{X_1{X}_1^{\ast }\right\}-E\left\{X_2{X}_2^{\ast }\right\}.\\ C=E\left\{X_1{X}_1^{\ast }\right\}E\left\{X_2{X}_2^{\ast }\right\}-E{\left\{X_1-X_2^{\ast }\right\}}^2.\left(\text{6}\right)\end{array}$$

Тогда Е{NN^∗} одно физически возможное из двух решений (5), т.е.,

$$E\left\{N{N}^{\ast }\right\}=\frac{-B\sqrt{B^2-4AC}}{2A}.\left(\text{7}\right)$$

Другое решение (5) приводит к тому, что мощность диффузного звука больше, чем мощность микрофонного сигнала, что физически невозможно.

Из (7) нетрудно вычислить «а» и Е{SS^∗}:

$$\begin{array}{l}a=\sqrt{\frac{E\left\{X_2{X}_2^{\ast }\right\}-E\left\{N{N}^{\ast }\right\}}{E\left\{X_1{X}_1^{\ast }\right\}-E\left\{N{N}^{\ast }\right\}}}\\ E\left\{S{S}^{\ast }\right\}=E\left\{X_1{X}_1^{\ast }\right\}-E\left\{N{N}^{\ast }\right\}\\ a^{2}E\left\{S{S}^{\ast }\right\}=\left\{X_2{X}_2^{\ast }\right\}-E\left\{N{N}^{\ast }\right\}.\left(\text{8}\right)\end{array}$$

Как обсуждалось в [2], направление прибытия прямого звука α(k, i) может быть вычислено как функция вычисленного амплитудного отношения а (k, i),

$$a\left(k,i\right)=f(a(k,i)\text{) }\left(\text{9}\right)$$

Специальное отображение, зависящее от характеристик направленности микрофонов, используется для записи звука.

4. Генерация пространственной информации о стороне

Далее будет описана генерация пространственной информации о звуке 262, которая может быть обеспечена пространственным генератором информации о стороне 260. Нужно отметить, что генерация пространственной информации о стороне в форме пространственной информации о звуке 262 не является необходимой особенностью решений данного изобретения. Соответственно, нужно отметить, что генерация пространственной информации о стороне может быть опущена в некоторых решениях. Кроме того, нужно отметить, что могут использоваться различные способы для того, чтобы получить пространственную информацию о звуке 262 или любую другую пространственную информацию о стороне.

Нужно также отметить, что обсужденную генерацию пространственной информации о стороне можно рассматривать как предпочтительную концепцию для того, чтобы сформировать пространственную информацию о звуке.

Учитывая аналитические результаты стерео сигнала 122а, 122b, то есть параметры соответственно α согласно уравнению (9), Е{SS^∗} и Е{NN^∗}, пространственные параметры совместимые с SAC декодированием генерируются, например, пространственным генератором информации о стороне 260. Было обнаружено, что один из эффективных способов это сделать состоит в том, чтобы рассмотреть многоканальную модель сигнала. Как пример, мы рассматриваем конфигурацию громкоговорителя, как показано на фиг.4, далее полагая:

$$\begin{array}{l}L\left(k,i\right)=g_1\left(k,i\right)\tilde{S}\left(k,i\right)+h_1(k,i){\tilde{N}}_1\left(k,i\right)\\ R\left(k,i\right)=g_2\left(k,i\right)\tilde{S}\left(k,i\right)+h_2(k,i){\tilde{N}}_2\left(k,i\right)\\ C\left(k,i\right)=g_3\left(k,i\right)\tilde{S}\left(k,i\right)+h_3(k,i){\tilde{N}}_3\left(k,i\right)\\ L_s\left(k,i\right)=g_4\left(k,i\right)\tilde{S}\left(k,i\right)+h_4(k,i){\tilde{N}}_4\left(k,i\right)\\ R_s\left(k,i\right)=g_5\left(k,i\right)\tilde{S}\left(k,i\right)+h_5(k,i){\tilde{N}}_5\left(k,i\right).\left(\text{10}\right)\end{array}$$

где $$\tilde{S}\left(k,i\right)$$

- прямой звуковой сигнал и от $${\tilde{N}}_1$$

, до $${\tilde{N}}_5$$

- диффузные (межканально независимые) сигналы. $$\tilde{S}$$

соответствует полной скомпенсированной по усилению величине прямого звука микрофонного сигнала, т.е.

$$\tilde{S}\left(k,i\right)=10\frac{g(a)}{20}\sqrt{1+a^2}S\left(k,i\right).\left(\text{11}\right)$$

и диффузионные звуковые сигналы от $${\tilde{N}}_1$$

до $${\tilde{N}}_5$$

, имеют одинаковую мощность равную E{NN^∗}. Надо заметить, что определение этой мощности диффузного звука произвольное, поскольку окончательно определяют количество диффузионного звука коэффициенты передачи h₁-h₅.

Нужно отметить, что L(k, i), R(k, i), С(k, i), Ls(k, i) и RS(k, i) могут, например, быть желаемыми сигналами канала или желаемыми сигналами громкоговорителя.

На первом шаге, в качестве функции направления прибытия прямого звука α(k, i), применен многоканальный закон амплитудного панорамирования (см., например, [7] и [4]), чтобы определить коэффициенты передачи от g₁ до g₅. Затем используется эвристическая процедура, чтобы определить коэффициенты передачи диффузного звука от h₁ до h₅. Постоянные величины h₁=1.0, h₂=1.0, h₃=0, h₄=1.0, и h₅=1.0 являются рациональным выбором, то есть окружение равномерно распределено к фронту и задней части, в то время как центральный канал создан как чистый сигнал. Однако, возможен различный выбор величин от h₁ до h₅.

Прямой звук от стороны и задней части уменьшен относительно звука, прибывающего по прямым направлениям. Прямой звук, содержащийся в сигналах микрофона, является предпочтительно компенсированным с коэффициентом передачи g(α), который зависит от диаграммы направленности микрофонов.

Чтобы получить пространственные звука для MPEG окружения, в данной модели сигнала окружения (10) к модели сигнала применен пространственный анализ звука определенного используемого SAC.

Спектры мощности сигналов, определенных в (10),

$$\begin{array}{l}{P}_L\left(k,i\right)=g_1^{2}E\left\{\tilde{S}{\tilde{S}}^{\ast }\right\}+h_1^{2}E\left\{N{N}^{\ast }\right\}\\ P_R\left(k,i\right)=g_2^{2}E\left\{\tilde{S}{\tilde{S}}^{\ast }\right\}+h_2^{2}E\left\{N{N}^{\ast }\right\}\\ P_C\left(k,i\right)=g_3^{2}E\left\{\tilde{S}{\tilde{S}}^{\ast }\right\}+h_3^{2}E\left\{N{N}^{\ast }\right\}\\ P_C\left(k,i\right)=g_3^{2}E\left\{\tilde{S}{\tilde{S}}^{\ast }\right\}+h_3^{2}E\left\{N{N}^{\ast }\right\}\\ P_{Rs}\left(k,i\right)=g_5^{2}E\left\{\tilde{S}{\tilde{S}}^{\ast }\right\}+h_5^{2}E\left\{N{N}^{\ast }\right\}.\left(\text{12}\right)\end{array}$$

где

$$E\left\{\tilde{S}{\tilde{S}}^{\ast }\right\}=10\frac{g\left(a\right)}{10}\left(1+a^2\right)E\left\{S{S}^{\ast }\right\}.\left(\text{13}\right)$$

Взаимные спектры, используемые далее, выражаются как

$$\begin{array}{l}{P}_{LLs}\left(k,i\right)=g_1{g}_{4}10\frac{g\left(a\right)}{10}\left(1+a^2\right)E\left\{S{S}^{\ast }\right\}\\ P_{RRs}\left(k,i\right)=g_2{g}_{5}10\frac{g\left(a\right)}{10}\left(1+a^2\right)E\left\{S{S}^{\ast }\right\}.\left(\text{14}\right)\end{array}$$

В MPEG окружении используется усиление - $$3\text{ dB}\left({\text{g}}_{\text{s}}1/\sqrt{2}\right)$$

в каналах окружения перед их дальнейшей обработкой. Это может рассматриваться для формирования подходящего микширования с понижением и пространственной информации о стороне.

В первом блоке два к одному (ТТО) MPEG окружения используются различие на межканальном уровне (ICLD) и межканальная когерентность (ICC) между L и L_s. Основываясь на (10) и компенсируя для предварительного масштабирования каналы окружения, эти звука выражаются как

$$\begin{array}{l}ICL{D}_{LLs}=10{\log }_{10}\frac{P_L\left(k,i\right)}{g_8^2{P}_{Ls}\left(k,i\right)}\\ ICL{D}_{LLs}=\frac{P_{LLs}\left(k,i\right)}{\sqrt{P_L\left(k,i\right)P_{Ls}(k,i)}}.\left(\text{15}\right)\end{array}$$

Аналогично ICLD и ICC второго блока ТТО для R и R_s вычисляются как:

$$\begin{array}{l}ICL{D}_{RRs}=10{\log }_{10}\frac{P_R\left(k,i\right)}{g_8^2{P}_{Rs}\left(k,i\right)}\\ ICL{D}_{RRs}=\frac{P_{RRs}\left(k,i\right)}{\sqrt{P_R\left(k,i\right)P_{Rs}(k,i)}}.\left(\text{16}\right)\end{array}$$

$$$$

Блок три к двум (ТТТ) MPEG окружения работает in "энергетическом режиме", см., например, [1]. Note that the ТТТ box масштабирует с понижением центральный канал в $$\sqrt{1/2}$$

перед вычислением микширования с понижением и пространственной информации о стороне. Рассматривая предварительное масштабирование каналов окружения, двумя ICLD параметрами, используемыми блоком ТТТ являются

$$\begin{array}{l}ICL{D}_1=10{\log }_{10}\frac{P_L+g_s^2{P}_{Ls}+P_R+g_8^2{P}_{R_s}}{\frac{1}{2}{P}_c}\\ ICL{D}_2=10{\log }_{10}\frac{P_L+g_s^2{P}_{Ls}}{P_R+g_8^2{P}_{Rs}}.\left(\text{17}\right)\end{array}$$

Заметим, что индексы I и k могут быть опять отброшены для краткости описания.

Соответственно, пространственная информация о звуке, включающая звука ICLD_LLs, ICC_LLs, ICLD_RRs, ICC_RRs, ICLD₁ and ICLD₂, формируется генератором пространственной информации о стороне 260 на основе пространственных параметров звука 122, 122а, 122b, т.е., на основе компоненты информации об энергии 122а и информации о направлении 122b.

5. Декодирование MPEG окружения

Далее будет описано возможное декодирование MPEG окружения, которое может использоваться, чтобы получить множество канальных сигналов, например, множество сигналов громкоговорителя, из сигнала микширования с понижением (например, улучшенного сигнала микширования с понижением 112, или улучшенного сигнала микширования с понижением 212), используя пространственную информацию о звуке 262 (или любую другую информацию, соответствующую пространственной информации о звуке).

В декодере MPEG окружения полученные сигналы микширования с понижением 112, 212 расширяются более чем до двух каналов, используя полученную пространственную информацию о стороне 262. Это микширование с повышением выполнено подходящим каскадированием соответствующих, так называемых блоков обратного один к двум (R-OTT) и обратного три к двум (R-TTT) (см., например, ссылку [6]). В то время как на выходе блока R-OTT формируются два аудио канала, основанные на моно звуковом входном сигнале и информации о стороне, блок R-TTT определяет три аудио канала, основанные на двухканальном входном звуковом сигнале и связанной информации о стороне. Другими словами, обратные блоки выполняют обратную обработку по сравнению с описанными выше соответствующими блоками ТТТ и ОТТ.

Аналогично многоканальной модели сигнала в кодирующем устройстве, декодер предполагает, что определенная конфигурация громкоговорителей правильно воспроизводит оригинальное звуковое окружение ("звук вокруг"). Дополнительно, декодер предполагает, что кодирующее MPS устройство (устройство, кодирующее MPEG окружение) выступает, определенное смешивание множества входных каналов, чтобы вычислить правильный сигнал смешения с понижением.

Вычисление стерео сигнала микширования с понижением MPEG окружения представлено Далее разделе.

6. Формирование стерео сигнала микширования с понижением MPEG окружения.

Далее это будет описано, формируется стерео сигнал микширования с понижением в MPEG окружении.

В предпочтительных решениях микширование с понижением определено таким образом, что нет никакой перекрестной связи между каналами громкоговорителей, соответствующими левому и правому полушарию. Это имеет преимущество в том, что нет никакой нежеланной утечки звуковой энергии от левого к правому полушарию, что значительно увеличивает разделение лево/право после расшифровки потока MPEG окружения. Кроме того, аналогичные рассуждения применяются для утечки сигнала с правых в левые каналы.

Когда MPEG окружение, используется для того, чтобы закодировать обычные 5.1, аудио сигналы окружения, используемое стерео микширование с понижением выражается как

$${\left[Y_1{Y}_2\right]}^T=M{\left[L{\text{ R C L}}_{\text{s}}{R}_s\right]}^T.\left(\text{18}\right)$$

где матрица микширования с понижением

$$M=\left[\begin{array}{ccccc}1& 0& \sqrt{\frac{1}{2}}& g_s& 0\\ 0& 1& \sqrt{\frac{1}{2}}& 0& g_s\end{array}\right].\left(\text{19}\right)$$

где g_s - ранее упомянутые предварительные передачи, используемые в каналах окружения.

Вычисление микширования с понижением согласно (18), (19) можно рассмотреть как отображение областей воспроизведения, созданных соответствующей конфигурацией громкоговорителей, на эти два сокращенных канала. Это отображение иллюстрировано на фиг.4 для конкретного случая вычисления обычного микширования с понижением (18), (19).

7. Вычисление улучшенного микширования с понижением

7.1 Краткий обзор улучшенного микширования с понижением

Далее будут описаны детали относительно вычисления улучшенного микширования с понижением. Чтобы облегчить понимание преимуществ данного понятия, здесь будет дано сравнение с некоторыми обычными системами.

В случае пространственного аудио микрофонного сигнала, как описано в разделе 2, сигнал микширования с понижением в основном соответствовал бы записанным стерео микрофонным сигналам (например, микрофонное устройство 205) в отсутствие описанного далее вычисления улучшенного микширования с понижением. Было обнаружено, что практические стерео микрофоны не обеспечивают желаемое разделение левых и правых компонентов сигнала из-за их определенных диаграмм направленности. Как следствие было также обнаружено, что перекрестное влияние между левыми и правыми каналами (например, канальными сигналами 210а и 210b) слишком высоко, что приводит к плохому разделению каналов в декодированном сигнале MPEG окружения.

Решения согласно изобретению создают подход к вычислению улучшенного сигнала микширования с понижением 112, 212, который приближается к желаемым SAC сигналам микширования с понижением (например, сигналам Y₁, Y₂), то есть этот подход показывает желаемый уровень взаимной связи между различными каналами, которая отличается от уровня взаимной связи в оригинальном входном стерео сигнале 110, 210. Это приводит к улучшенному качеству звука после пространственного декодирования аудио с использованием связанной пространственной информации о стороне 262.

Блок-схемы, показанные на фиг.1, 2, 3 и 5 иллюстрируют предложенный подход. Как видно, оригинальные микрофонные сигналы 110, 210, 310 обработаны в блоке улучшенного микширования с понижением 140, 240, 340, чтобы получить каналы улучшенного микширования с понижением 112, 212, 312. Модификацией микрофонных сигналов 110, 210, 310 управляет блок управления 120, 130, 216, 316. В блоке управления учитывается многоканальная модель сигнала воспроизведения громкоговорителями и вычисляются пространственные параметры звука 122, 122а, 122b, 322. Из этой информации блок управления определяет цель улучшения, то есть модель желаемого сигнала микширования с понижением (например, сигналы микширования с понижением Y₁, Y₂). Детали изобретения будут обсуждены далее.

7.2 Модель желаемого стерео сигнала микширования с понижением.

В этом разделе мы обсуждаем модель желаемого стерео сигнала микширования с понижением, который также представляет цель вычисления предложенного улучшенного микширования с понижением.

Если мы применяем уравнения (18), и (19) к нашей принятой модели сигнала окружения согласно уравнению (10), мы получаем модель желаемого сигнала микширования с понижением согласно выражению

$$\begin{array}{l}{Y}_1=\left(g_1+\frac{1}{\sqrt{2}}{g}_3+g_s{g}_4\right)\tilde{S}+{\tilde{N}}_1\\ Y_2=\left(g_2+\frac{1}{\sqrt{2}}{g}_3+g_s{g}_5\right)\tilde{S}+{\tilde{N}}_2.\left(\text{20}\right)\end{array}$$

где двумя диффузными звуковыми сигналами $${\overline{N}}_1$$

и $${\overline{N}}_2$$

являются

$$\begin{array}{l}{\overline{N}}_1=h_1{\tilde{N}}_1+\frac{1}{\sqrt{2}}{\tilde{N}}_3+g_s{h}_4{\tilde{N}}_4\\ {\overline{N}}_2=h_2{\tilde{N}}_2+\frac{1}{\sqrt{2}}{\tilde{N}}_3+g_s{h}_5{\tilde{N}}_5.\left(\text{21}\right)\end{array}$$

Диффузный звук в левом и правом микрофонных сигналах обозначен N_i и N₂. Таким образом, микширование с понижением должно основываться на диффузном звуке, обозначенном N₁ и N₂. Поскольку, как определялось раньше, мощности N₁, N₂, и $${\tilde{N}}_1$$

- $${\tilde{N}}_5$$

аналогичны, диффузные сигналы, основанные на N₁ и N₂ с аналогичными мощностями $$\overline{N}1$$

и $$\overline{N}2$$

(21) выражаются следующим образом

$$\begin{array}{l}{\tilde{N}}_1=\sqrt{h\frac{2}{1}+\frac{1}{2}{h}_3^2+g_s^2{h}_4^2{N}_1}\\ {\tilde{N}}_2=\sqrt{h\frac{2}{2}+\frac{1}{2}{h}_3^2+g_s^2{h}_5^2{N}_2}.\left(\text{22}\right)\end{array}$$

Соответственно, модель желаемого стерео сигнала микширования с понижением, позволяет выражать сигналы Y₁, Y₂ канала желаемого стерео сигнала микширования с понижением как функцию величин передачи g₁, g₂, g₃, g₄, g₅, g_s, h₁, h₂, h₃, h₄, h₅ и также в зависимости от общей величины скомпенсированного по усилению $$\tilde{S}$$

прямого звука в микрофонном стерео сигнале и диффузном сигнале N₁, N₂.

7.3 Одноканальное фильтрование

Далее будет описан подход, в котором первый капал сигнала улучшенного микширования с понижением, получен из первого сигнала канала многоканального микрофонного сигнала и в котором второй канал сигнала улучшенного микширования с понижением, получен из второго сигнала канала многоканального микрофонного сигнала. Нужно отметить, что фильтрование, описанное далее, может быть выполнено фильтром 140 или формирователем двухканального аудио сигнала 240 или улучшенным микшированием с понижением 340. Нужно также отметить, что параметры фильтра расширения H₁, H₂ могут быть обеспечены калькулятором фильтра 130 калькулятором фильтра 230 или блоком управления 316.

Один возможный подход для определения желаемых сигналов микширования с понижением Y₁(k, i) и Y₂(k, i) согласно (20) - это применение фильтров расширения к оригинальному микрофонному стерео входному сигналу X1(k, i) и Х2(k, i), то есть

$$\begin{array}{l}{\stackrel{\wedge }{Y}}_1\left(k,i\right)=H_1\left(k,i\right)X_1\left(k,i\right)\\ {\stackrel{\wedge }{Y}}_2\left(k,i\right)=H_2\left(k,i\right)X_2\left(k,i\right).\left(\text{23}\right)\end{array}$$

Эти фильтры выбраны таким образом, что $$\stackrel{\wedge }{Y}1(k,i)$$

и $$\stackrel{\wedge }{Y}2(k,i)$$

(то есть фактически сигналы микширования с понижением, полученные путем фильтрации сигналов канала многоканального микрофонного сигнала), приближаются соответственно к желаемым сигналам микширования с понижением Y₁(k, i) и Y₂(k, i). Подходящее приближение состоит в том, что $$\stackrel{\wedge }{Y}1(k,i)$$

и $$\stackrel{\wedge }{Y}2(k,i)$$

разделяют одно то же энергетическое распределение относительно энергий многоканальной модели сигнала громкоговорителя, как это имеет место в целевом сигнале микширования с понижением Y₁(k, i) и Y₂(k, i), соответственно. Другими словами, фильтры выбраны таким образом, что фактические сигналы микширования с понижением, полученные путем фильтрации сигналов канала многоканального микрофонного сигнала, приближаются к желаемым сигналам микширования с понижением относительно некоторых статистических свойств как, например, энергетические характеристики или характеристики взаимной корреляции.

В случае, если это, фильтры расширения соответствуют фильтрам Винера (см., например, [5]), H₁(k, i) и H₂(k, i) могут быть определены согласно

$$\begin{array}{l}{H}_1=\frac{E\left\{X_1{Y}_1^{\ast }\right\}}{E\left\{X_1{X}_1^{\ast }\right\}}\\ H_2=\frac{E\left\{X_2{Y}_2^{\ast }\right\}}{E\left\{X_2{X}_2^{\ast }\right\}}.\left(\text{24}\right)\end{array}$$

Подставляя (20) с (22) в (24), получаем

$$\begin{array}{l}{H}_1=\frac{w_{1}E\left\{S{S}^{\ast }\right\}+w_{3}E\left\{N{N}^{\ast }\right\}}{E\left\{S{S}^{\ast }\right\}+E\left\{N{N}^{\ast }\right\}}\\ H_2=\frac{w_{2}E\left\{S{S}^{\ast }\right\}+w_{4}E\left\{N{N}^{\ast }\right\}}{a^{2}E\left\{S{S}^{\ast }\right\}+E\left\{N{N}^{\ast }\right\}}.\left(\text{25}\right)\end{array}$$

где

$$w_1=10\frac{g\left(a\right)}{20}\sqrt{1+a^2}(g_1+\frac{1}{\sqrt{2}}{g}_3+g_8{g}_4\left(\text{26}\right)$$

$$w_2=10\frac{g\left(a\right)}{20}a\sqrt{1+a^2}(g_1+\frac{1}{\sqrt{2}}{g}_3+g_8{g}_5\left(\text{27}\right)$$

$$$$

$$w_4=\sqrt{h_2^2+\frac{1}{2}{h}_3^2+g_8^2{h}_5^2}\text{. }\left(\text{29}\right)$$

$$$$

Как может быть замечено, фильтры расширения непосредственно зависят от различных компонентов многоканальной модели сигнала (10). Так как эти компоненты вычислены на базе пространственных параметров звука, мы можем прийти к заключению, что фильтры H₁(k, i) и Н₂(k, i) для вычисления улучшенного микширования с понижением также зависят от этих пространственных параметров звука. Другими словами, вычисления фильтров расширения могут управляться вычисленными пространственными параметрами звука, что также иллюстрировано на фиг.3.

7.4 Двухканальное фильтрование

В этом разделе мы представляем альтернативный способ одноканальному подходу, обсужденному в разделе, названном "одноканальное фильтрование". В этом случае каждый сигнал каналов улучшенного микширования с понижением $$\hat{Y}1$$

, $$\hat{Y}2$$

определен из фильтрованных версий обоих входных микрофонных сигналов X1, Х2. Поскольку этот подход в состоянии объединить оба микрофонных канала оптимальным способом, может ожидаться улучшенная работа по сравнению со способом одноканального фильтрования.

Фактический сигнал микширования с понижением может быть получен согласно

$${\stackrel{\wedge }{Y}}_1\left(k,i\right)=\left[\begin{array}{cc}{H}_{1.1}& H_{1.2}\end{array}\right]\left[\begin{array}{l}{X}_1\left(k,i\right)\\ X_2\left(k,i\right)\end{array}\right]\left(\text{30}\right)$$

$${\stackrel{\wedge }{Y}}_2\left(k,i\right)=\left[\begin{array}{cc}{H}_{2.1}& H_{\text{2}.2}\end{array}\right]\left[\begin{array}{l}{X}_1\left(k,i\right)\\ X_2\left(k,i\right)\end{array}\right]\left(\text{31}\right)$$

Далее мы приведем пример вычислений фильтра расширения, основанных на двухканальных фильтрах Винера. Для простоты представления, мы далее опускаем индексы (k, i). Уравнениями Винера-Хопфа для первого канала микширования с понижением) $$\stackrel{\wedge }{Y_1\left(k,i\right)}$$

являются:

$$\left[\begin{array}{cc}E\left\{X_1{X}_1^{\ast }\right\}& E\left\{X_1{X}_2^{\ast }\right\}\\ E\left\{X_2{X}_1^{\ast }\right\}& E\left\{X_1{X}_2^{\ast }\right\}\end{array}\right]\left[\begin{array}{c}{H}_{1.1}\\ H_{1.2}\end{array}\right]=\left[\begin{array}{c}E\left\{X_1{Y}_1^{\ast }\right\}\\ E\left\{X_2{Y}_1^{\ast }\right\}\end{array}\right]\left(\text{32}\right)$$

Эти фильтры, таким образом, получаются как

$$$$

$$\begin{array}{l}\left[\begin{array}{c}{H}_{1.1}\\ H_{1.2}\end{array}\right]=\frac{1}{d}\left[\begin{array}{cc}E\left\{X_2{X}_2^{\ast }\right\}& -E\left\{X_1{X}_2^{\ast }\right\}\\ -E\left\{X_2{X}_1^{\ast }\right\}& E\left\{X_1{X}_1^{\ast }\right\}\end{array}\right]\left[\begin{array}{c}E\left\{X_1{Y}_1^{\ast }\right\}\\ E\left\{X_2{Y}_1^{\ast }\right\}\end{array}\right]\\ \left[\begin{array}{c}{H}_{2.1}\\ H_{2.2}\end{array}\right]=\frac{1}{d}\left[\begin{array}{cc}E\left\{X_2{X}_2^{\ast }\right\}& -E\left\{X_1{X}_2^{\ast }\right\}\\ -E\left\{X_2{X}_1^{\ast }\right\}& E\left\{X_1{X}_1^{\ast }\right\}\end{array}\right]\left[\begin{array}{c}E\left\{X_1{Y}_2^{\ast }\right\}\\ E\left\{X_2{Y}_2^{\ast }\right\}\end{array}\right]\left(\text{33}\right)\end{array}$$

где

$$d=E\left\{X_1{X}_1^{\ast }\right\}E\left\{X_2{X}_1^{\ast }\right\}-E\left\{X_1{X}_2^{\ast }\right\}E\left\{X_2{X}_1^{\ast }\right\}\text{. }\left(34\right)$$

Взаимная корреляция между входными микрофонными сигналами X₁, X₂ и требуемыми каналами микширования с понижением Y₁, Y₂ может быть выражена как

$$\begin{array}{l}\text{E}\left\{{\text{X}}_{\text{1}}{\text{Y}}_{\text{1}}^{\ast }\right\}={\text{ω}}_{\text{1}}\text{E}\left\{{\text{SS}}^{\ast }\right\}+{\text{ω}}_{\text{3}}\text{E}\left\{{\text{NN}}^{\ast }\right\}\\ \text{E}\left\{{\text{X}}_{\text{2}}{\text{Y}}_{\text{1}}^{\ast }\right\}={\text{aω}}_{\text{1}}\text{E}\left\{{\text{SS}}^{\ast }\right\}+{\text{ω}}_{\text{3}}{\text{Ф}}_{\text{diff}}\text{E}\left\{{\text{NN}}^{\ast }\right\}\left(\text{35}\right)\\ \text{E}\left\{{\text{X}}_{\text{1}}{\text{Y}}_{\text{2}}^{\ast }\right\}=\frac{{\text{ω}}_{\text{2}}}{\text{a}}\text{E}\left\{{\text{SS}}^{\ast }\right\}+{\text{ω}}_{\text{4}}{\text{Ф}}_{\text{diff}}\text{E}\left\{{\text{NN}}^{\ast }\right\}\\ \text{E}\left\{{\text{X}}_{\text{2}}{\text{Y}}_{\text{2}}^{\ast }\right\}={\text{ω}}_{\text{2}}\text{E}\left\{{\text{SS}}^{\ast }\right\}+{\text{ω}}_{\text{4}}\text{E}\left\{{\text{NN}}^{\ast }\right\}\end{array}$$

где весовые коэффициенты w_i были введены в (26)-(29).

7.5 Выбор между одноканальным фильтрованием и двухканальным фильтрованием

Далее будет описана концепция, которая учитывает адаптивный к сигналу выбор между одноканальным фильтрованием и двухканальным фильтрованием.

Как было описано, у двухканального фильтрования есть проблема, которая на практике иногда (или даже часто) приводит к фильтрам, которые вводят аудио артифакты (искажения). Всякий раз, когда левый и правый канал чрезвычайно коррелированны, матрица ковариации в уравнении Винера-Хопфа сильно обусловлена. Получающаяся вычислительная чувствительность приводит тогда к фильтрам, которые неадекватны и вызывают аудио артифакты. Чтобы предотвратить это, всякий раз, когда эти два канала превышают определенную степень корреляции, используется одноканальное фильтрование. Это может быть осуществлено, вычислением фильтров как

$$\begin{array}{l}{H}_{1.1}=H_1\\ H_{1.2}=0\\ H_{2.1}=0\\ H_{2.2}=H_2.\left(\text{36}\right)\end{array}$$

когда выполняется

$$\frac{\left|E\left\{X_1{X}_2^{\ast }\right\}\right|}{\sqrt{E\left\{X_1{X}_1^{\ast }\right\}E\left\{X_2{X}_2^{\ast }\right\}}}>T.\left(\text{37}\right)$$

где порог когерентности/корреляции T определяет, при каком уровне корреляции используется одноканальное фильтрование. Величина T=0.9 дает хорошие результаты.

Другими словами, можно выборочно переключаться между одноканальным фильтрованием и двухканальным фильтрованием в зависимости от степени корреляции между любыми сигналами канала многоканального микрофонного сигнала. Если корреляция больше, чем предопределенная величина корреляции, может использоваться одноканальное фильтрование вместо двухканального фильтрования.

7.6 Общий многоканальный случай

Далее мы обобщим процедуру вычисления стерео сигнала микширования с понижением MPEG окружения, основанную на многоканальной модели сигнала согласно (10), на более общие конфигурации каналов. Аналогично (10), обобщенная многоканальная модель сигнала с K каналами громкоговорителя, дается выражением

$$Z_l\left(k,i\right)=g_l\left(k,i\right)\tilde{S}\left(k,i\right)+h_l\left(k,i\right){\tilde{N}}_1\left(k,i\right).\left(\text{38}\right)$$

где 1=1, 2…, К. Коэффициенты передачи g_l(k, i) зависят от DOA прямого звука и положения l-ого громкоговорителя в конфигурации системы воспроизведения. Коэффициенты передачи h_l могут быть предопределены и использоваться, как описано выше. Z_l представляет требуемые канальные сигналы множества каналов, где l=1, 2, …К.

Вычисление сигнала Y_j(k, i) требуемого канала микширования с понижением j осуществляется путем соответствующей операции микширования в соответствии с выражением

$$Y_j\left(k,i\right)={\displaystyle \sum }_{l=o}^{K-1}{m}_{j,l}{Z}_l\left(k,i\right).\left(\text{39}\right)$$

Весовые коэффициенты смешения m_j,l представляют определенное пространственное разделение или отображение областей воспроизведения, которые связаны с положением l-ого громкоговорителя, на j-ый канал микширования с понижением.

Например: В случае, если канал l громкоговорителя, то есть определенная область воспроизводства, не должен вносить вклад в j-й, сигнал микширования с понижением, соответствующий весовой коэффициент смешивания m_j,l устанавливается в ноль.

Аналогично (23), (30), и (31), соответственно, оригинальные входные микрофонные каналы X_j(k, i) модифицируются соответственно выбранными фильтрами расширения, чтобы аппроксимировать требуемые каналы микширования с понижением Y_j(k, i).

В случае одноканального фильтра мы имеем

$$\stackrel{\wedge }{Y_j}\left(k,i\right)=H_l\left(k,i\right)X_j\left(k,i\right).\left(\text{40}\right)$$

где $${\stackrel{\wedge }{Y}}_j$$

определяют фактические сигналы канала многоканального сигнала микширования с понижением.

Отметим, что выражение (40) может также быть применено в случае более двух доступных входных микрофонных сигналов. Получающиеся фильтры также зависят от предполагаемых пространственных параметров звука. Здесь, однако, мы не обсуждаем оценку пространственных параметров звука, основанную более, чем на двух входных микрофонных каналах, поскольку это не основная часть изобретения.

Возможно вывести необходимые уравнения для обобщенных многоканальных микширования с понижением фильтров расширения аналогично уравнениям (30), (31). Предполагая наличие М микрофонных входных сигналов, желаемый j-й канал микширования с понижением Y_j(k, i) аппроксимируется применением М фильтров расширения к соответствующему микрофону сигналу Х_m(k, i):

$$\stackrel{\wedge }{Y_j}\left(k,i\right)=H_j^T\left(k,i\right)X\left(k,i\right).\left(\text{41}\right)$$

$$X\left(k,i\right)={\left[X_1\left(k,i\right),X_2\left(k,i\right),\dots X_M\left(k,i\right)\right]}^T.\left(\text{42}\right)$$

$$H_j\left(k,i\right)={\left[H_{j.1}\left(k,i\right),H_{j.2}\left(k,i\right),\dots H_{j.M}\left(k,i\right)\right]}^T.\left(\text{43}\right)$$

Соответствующий требуемый канал микширования с понижением Y_j(k, i) может быть получен из (39), используя обобщенную модель сигнала (38).

Элементы многоканальной матрицы расширения H_j(k, i) могут быть получены решением соответствующего уравнения Винера-Хопфа

$$E\left\{X\left(k,i\right)X^H\left(k,i\right)\right\}{H}_j\left(k,i\right)=E\left\{X\left(k,i\right)Y^{\ast }\left(k,i\right)\right\}.\left(\text{44}\right)$$

где H обозначает Эрмитово сопряжение операнда.

Необходимо отметить, что описанный выше способ можно рассматривать как обобщенный подавитель взаимной связи микрофонов, основанный на пространственной информации о звуке, если число громкоговорителей K в многоканальной модели сигнала (38) выбрано большое. В этом случае положение громкоговорителя можно непосредственно рассматривать в качестве соответствующего DOA прямого звука. Используя изобретение, может быть создан гибкий подавитель взаимной связи с использованием одного или более фильтров подавления.

8. Предварительная обработка микрофонных сигналов

До сих пор мы рассмотрели только случай, когда сигналы X_j(k, i) представляют выходные микрофонные сигналы. Вместо этого, предложенная новая концепция или способ может также быть альтернативно применен к предварительно обработанным микрофонным сигналам. Соответствующий подход иллюстрирован на фиг.5.

Предварительная обработка может быть осуществлена применением инвариантного во времени формирования луча (beamforming) (см., например, [8]), основанного на оригинальных входных микрофонных сигналах. В результате предварительной обработки некоторая часть нежеланной утечки сигнала к определенным микрофонным сигналам может быть смягчена, прежде, чем применить фильтры расширения.

Фильтры расширения, основанные на предварительно обработанных входных каналах, могут быть получены аналогично фильтрам, обсужденным выше путем замены X_j(k, i) на выходные сигналы стадии предварительной обработки X_j,mod(k, i).

9. Устройство согласно фиг.3

На фиг.3 показан блок-схема устройства 300 для того, чтобы сформировать улучшенный сигнал микширования с понижением на основе многоканального микрофонного сигнала, согласно другому решению изобретения.

Устройство 300 включает два микрофона 306, 308, которые обеспечивают двухканальный микрофонный сигнал 310, включая сигнал первого канала, который представлен в частотно временной области X₁(k, i), и сигнал второго канала, который представлен в частотно временной области X₂(k, i). Устройство 300 также включает пространственный анализатор 320, который получает двухканальный микрофонный сигнал 310 и обеспечивает на его основе пространственные параметры звука 322. Пространственный анализатор 320 может иметь функциональность пространственного анализатора 120 или анализатора сигнала 220 так, что пространственные параметры звука 322 могут быть эквивалентными пространственным параметрам звука 122 или составной информации об энергии 122а и информации о направлении 122b. Устройство 300 также включает управляющее устройство 316, которое получает пространственные параметры звука 322 и которое также получает двухканальный микрофонный сигнал 310. Блок управления 316 также получает многоканальную модель сигнала 318 или параметры этой многоканальной модели сигнала 318. Блок управления 316 обеспечивает параметры фильтра расширения 332 для устройства улучшенного микширования с понижением 340. Блок управления 316 может, например, иметь функциональность калькулятора фильтра 130 или калькулятора фильтра 230, так, что параметры фильтра расширения 332 могут быть эквивалентными параметрам фильтра расширения 132 или параметрам фильтра расширения 232. Устройство улучшенного микширования с понижением 340 получает двухканальный микрофонный сигнал 310 и также параметры фильтра расширения 332 и обеспечивает на их основе, (фактический) многоканальный сигнал улучшенного микширования с понижением 312. Первый сигнал канала улучшенного микширования с понижением 312, представлен в частотно временной области $${\stackrel{\wedge }{Y}}_1\left(k,i\right)$$

и второй сигнал канала улучшенного микширования с понижением 312, представлен в частотно временной области $${\stackrel{\wedge }{Y}}_2\left(k,i\right)$$

. Нужно отметить, что устройство улучшенного микширования с понижением 340 может иметь функциональность фильтра 140 или поставщика двухканального аудио сигнала 240.

10. Устройство согласно фиг.5

На фиг.5 показана блок-схема устройства 500 для того, чтобы сформировать улучшенный сигнал микширования с понижением на основе многоканального микрофонного сигнала. Устройство 500 на фиг.5 очень похоже на устройство 300 на фиг.3, так что идентичные средства и сигналы определяются одинаковыми цифрами, и не будут объясняться снова. Однако, в дополнение к функциональным блокам устройства 300, устройство 500 также включает блок предварительной обработки 580, который получает многоканальный микрофонный сигнал 310 и обеспечивает на его основе, предварительно обработанную версию 310' многоканального микрофонного сигнала. В этом случае устройство улучшенного микширования с понижением 340 получает обработанную версию 310' многоканального микрофонного сигнала 210, а не сам многоканальный микрофонный сигнал 310. Кроме того, блок управления 316 получает обработанную версию 310' многоканального микрофонного сигнала, а не сам многоканальный микрофонный сигнал 310. Однако, функциональность устройства улучшенного микширования с понижением 340 и блока управления 316 существенно не затронута этой модификацией.

11. Распределение сигналов канала на сигналы микширования с понижением согласно фиг.4.

Как обсуждено выше, моделирование микширования с понижением, которое используется, чтобы получить требуемые каналы микширования с понижением Y₁, Y₂, или их некоторые статистические особенности, включает отображение прямого звукового компонента (например,

и диффузных звуковых компонентов (например, $${\tilde{N}}_1(k,i))$$

на сигналы канала (например, L(k, i), R(k, i), С(k, i), L_s(k, i), R_s(k, i) или Z_l(k, i)) и отображение сигналов канала громкоговорителя на сигналы канала микширования с понижением.

Относительно первого отображения прямого звукового компонента и диффузного звукового компонента на сигналы канала громкоговорителя, может использоваться отображение, зависящее от направления, которое описывается коэффициентами передачи g_l. Однако, относительно отображения сигналов канала громкоговорителя на сигналы канала микширования с понижением могут использоваться установленные предположения, которые могут быть описаны матрицей микширования с понижением. Как иллюстрировано на фиг.4, можно предположить, что только сигналы C, L и L_s канала громкоговорителя должны создавать вклад в сигнал первого канала микширования с понижением Y₁, и что только сигналы C, R и R_s канала громкоговорителя должны создавать вклад в сигнал второго канала микширования с понижением Y₂.

Это иллюстрировано на фиг.4.

12. Поток обработки сигнала согласно фиг.6

Далее будет описан поток обработки сигнала в решении согласно изобретению, в соответствии с фиг.6. На фиг.6 показано схематическое представление потока обработки сигнала для того, чтобы получить параметры фильтра расширения Н из многоканального микрофонного сигнала, например, с использованием частотно-временных представлений X₁ и X₂ .

Поток обработки 600 включает, например, в качестве первого шага, пространственный анализ 610, который может иметь функциональность вычисления пространственного параметра звука. Соответственно, информация о мощности прямого звука (или информация об энергии прямого звука) Е{SS^∗}, информация о мощности диффузного звука (или информация об энергии диффузного звука) Е{NN^∗} и информация о направлении α, могут быть получены на основе многоканальных микрофонных сигналов. Детали относительно происхождения информации о мощности прямого звука (или информации об энергии прямого звука) информации о мощности диффузного звука (или информации об энергии диффузного звука) и информации о направлении были обсуждены выше.

Поток обработки 600 также включает отображение коэффициентов передачи 620, где информация о направлении отображается на множество коэффициентов передачи (например, коэффициентов передачи от g₁ до g₅). Отображение коэффициентов передачи 620, может, например, быть выполнено с использованием закона многоканального амплитудного панорамирования, как описано выше.

Поток обработки 600 также включает вычисление параметра фильтра 630, где параметры фильтра расширения Н получены из информации о мощности прямого звука, информации о мощности диффузного звука, информации о направлении и коэффициентов передачи. Вычисление параметра фильтра 630 может дополнительно использовать одно или более описание постоянных параметров, например, желаемое отображение каналов громкоговорителя сигналы канала микширования с понижением. Кроме того, могут быть применены предопределенные параметры, описывающие отображение диффузного звукового компонента на сигналы громкоговорителя.

Вычисление параметра фильтра включает, например, w-отображение 632. В w-отображении, которое может быть выполнено в соответствии с уравнениями 26 - 29, может быть получены величины от w₁ до w₄, которые могут служить промежуточными параметрами. Вычисление параметра фильтра 630 далее включает Н-отображение 634, которое может, например, быть выполнено согласно уравнению 25. В Н-отображении 634, могут быть определены параметры фильтра расширения Н. Для H-отображения может использоваться желаемая величина взаимной корреляции $$E\left\{X_1,Y_1^{\ast }\right\}$$

, $$E\left\{X_2{Y}_2^{\ast }\right\}$$

между каналами микрофонного сигнала и каналами сигнала микширования с понижением. Эти желаемые величины взаимной корреляции могут быть получены на основе информации о мощности прямого звука Е{SS^∗} и Е{NN^∗}, как видно из уравнений (25), которые идентичны (24).

В завершение, представленный на фиг.6 поток обработки может быть применен, чтобы получить параметры фильтра расширения Н из многоканального микрофонного сигнала, представленного канальными сигналами X₁, X₂.

13. Поток обработки сигнала согласно фиг.7

На фиг.7 показано схематическое представление потока обработки сигнала 700, согласно другому решению изобретения. Поток обработки сигнала 700 может использоваться, чтобы получить параметры фильтра расширения Н из многоканального микрофонного сигнала.

Поток обработки сигнала 700 включает пространственный анализ 710, который может быть идентичным пространственному анализатору 610. Кроме того, поток обработки сигнала 700 включает отображение коэффициентов передачи 720, которое может быть идентичным отображению коэффициентов передачи 620.

Поток обработки сигнала 700 также включает вычисление параметра фильтра 730. Вычисление параметра фильтра 730 может включать w-отображение 732, которое в некоторых случаях может быть идентичным w-отображению 632. Однако, если потребуется, могут использоваться различные w-отображения.

Вычисление параметра фильтра 730 также включает вычисление желаемой взаимной корреляции 734, в ходе которого вычисляются желаемая взаимная корреляция между каналами многоканального микрофонного сигнала и каналами (желаемого) сигнала микширования с понижением. Это вычисление может, например, быть выполнено в соответствии с уравнением 35. Нужно отметить, что модель желаемого сигнала микширования с понижением, может быть применена в вычислении желаемой взаимной корреляции 734. Например, предположения на том, как прямой звуковой компонент многоканального микрофонного сигнала должен быть отображен на множество сигналов громкоговорителя в зависимости от информации о направлении, могут быть применены в вычислении желаемой взаимной корреляции 734. Кроме того, предположения о том, как диффузные звуковые компоненты многоканального микрофонного сигнала должны быть отражены в сигналах громкоговорителя, могут также быть использованы при вычислении желаемой взаимной корреляции 734. Кроме того, предположения относительно желаемого отображения множества каналов громкоговорителя на сигнал микшированный с понижением могут также быть использованы в вычислении желаемой взаимной корреляции 734. Соответственно, желаемая взаимная корреляция $$E\left\{XiY{j}^{\ast }\right\}$$

между каналами микрофонного сигнала и каналами (желаемого) сигнала микширования с понижением может быть получена на основе информации о мощности прямого звука, информации о мощности диффузного звука, информации о направлении и зависимых от направления коэффициентов передачи (где последняя информация может быть объединена, чтобы получить промежуточные величины w).

Вычисление параметра фильтра 730 также включает решение уравнения Винера-Хопфа 736, которое может, например, быть выполнено в соответствии с уравнениями 33 и 34. С этой целью уравнение Винера-Хопфа может быть настроено в зависимости от информации о мощности прямого звука, информации о мощности диффузного звука и желаемой взаимной корреляции между каналами многоканального микрофонного сигнала, и каналами (желаемого) сигнала микширования с понижением. В качестве решения уравнения Винера-Хопфа (например, уравнения 32) получены параметры фильтра расширения Н.

Суммируя вышеупомянутое, в некоторых решениях определение параметров фильтра расширения H может включить отдельные шаги вычисления желаемой взаимной корреляции, настройки и решения уравнения Винера-Хопфа (шаг 736).

14. Выводы

Суммируя сказанное, решения согласно изобретению создают расширенную концепцию и способ вычисления на базе входных микрофонных сигналов желаемого сигнала микширования с понижением параметрических пространственных аудио кодеров. Важный пример дан преобразованием микрофонного стерео сигнала в микширование с понижением MPEG окружения, соответствующим вычислению MPS параметров. Улучшенный сигнал микширования с понижением приводит к значительно улучшенному пространственному качеству звука и свойству локализации после MPS декодирования, по сравнению с существующим в настоящее время решением, предложенным в [2]. Простое решение согласно изобретению включает следующие шаги 1-4:

1. получение микрофонных входных сигналов;

2. вычисление пространственных параметров звука;

3. определение фильтров расширения микширования с понижением, основанных на модели желаемых каналов микширования с понижением, многоканальной модели сигнала громкоговорителя для выходного сигнала декодера и пространственных параметрах звука; и

4. применение фильтров расширения ко входным микрофонным сигналам, чтобы получить улучшенный сигнал микширования с понижением для использования с пространственными аудио микрофонами.

Другое простое решение согласно изобретению создает устройство, способ или компьютерную программу для того, чтобы сформировать сигнал микширования с понижением, устройство, способ или компьютерную программу, включающую калькулятор фильтра для того, чтобы вычислить параметры фильтра расширения, основанные на информации о микрофонном сигнале, или основанные на информации о заданных установках воспроизведения, и устройство, способ или компьютерную программу, включающую устройство фильтрации (или шаг фильтрации), для того чтобы фильтровать микрофонные сигналы, используя параметры фильтра расширения, чтобы получить улучшенный сигнал микширования с понижением.

Это устройство, способ или компьютерная программа могут быть улучшены, если калькулятор фильтра выполнен с возможностью вычислить, параметры фильтра расширения, основанные на модели желаемых каналов микширования с понижением, многоканальной модели сигнала громкоговорителя для выходного сигнала декодера или пространственных параметров звука.

15. Альтернативы применения

Хотя некоторые аспекты были описаны в контексте устройства, ясно, что эти аспекты также представляют описание соответствующего способа, где блок или устройство соответствуют шагу способа или особенности шага способа. Аналогично, аспекты, описанные в контексте шага способа также, представляют описание соответствующего блока или пункта или особенности соответствующего устройства. Некоторые или все шаги способа могут быть выполнены (или использованы) аппаратурными средствами, как, например, микропроцессор, программируемый компьютер или электронная схема. В некоторых решениях один или более самых важных шагов способа могут быть выполнены такими устройствами.

Полученный согласно изобретению закодированный аудио сигнал может быть сохранен на цифровом носителе данных или может быть передан в среде передачи, такой как беспроводная среда передачи или проводная среда передачи, такая как Интернет.

В зависимости от определенных требований внедрения решения изобретения могут быть осуществлены в виде аппаратурных средств или в виде программного обеспечения. Внедрение может быть выполнено с использованием цифрового носителя данных, например, дискеты, DVD, Blue-Ray, CD, ROM, PROM, EPROM, EEPROM или FLASH памяти, имеющих читаемые в электронном виде записанные на них управляющие сигналы, которые выполняются (или могут выполняться) программируемой компьютерной системой, таким образом, что выполняется соответствующий способ. Поэтому, цифровой носитель данных может быть читаемым с использованием компьютера.

Некоторые решения согласно изобретению включают носитель информации, имеющий в электронном виде удобочитаемые управляющие сигналы, которые могут быть выполнены программируемой компьютерной системой, так, что выполняется один из описанных здесь способов.

Вообще, решения данного изобретения могут быть осуществлены в виде компьютерной программы с кодом программы, кодом программы, служащим для того, чтобы выполнить один из способов, когда компьютерная программа выполняется на компьютере. Код программы может, например, быть сохранен на машиночитаемом носителе.

Другие решения включают компьютерную программу для того, чтобы выполнить один из описанных здесь способов, сохраненных на машиночитаемом носителе.

Другими словами, решением изобретенного способа является компьютерная программа, имеющая код программы для того, чтобы выполнить один из описанных здесь способов при выполнении компьютерной программы на компьютере.

Поэтому дальнейшим решением изобретенных способов является носитель информации (или цифровой носитель данных или удобочитаемая компьютером среда), включающая записанную на ней компьютерную программу для того, чтобы выполнить один из описанных здесь способов. Носитель информации, цифровой носитель данных или записанная среда материальны и/или не являются промежуточными.

Дальнейшим решением изобретенного способа является поток данных или последовательность сигналов, представляющих компьютерную программу для того, чтобы выполнить один из описанных здесь способов. Поток данных или последовательность сигналов могут быть выполнены с возможностью, например, быть переданными через линию передачи данных, например через Интернет.

Дальнейшее решение включает средство обработки, например компьютер или программируемое логическое устройство, выполненное с возможностью выполнить один из описанных здесь способов.

Дальнейшее решение включает компьютер с установленной на нем компьютерной программой для того, чтобы выполнить один из описанных здесь способов.

Дальнейшее решение согласно изобретению включает устройство или систему, выполненную с возможностью передать к приемнику (например, в электронном виде или оптически) компьютерную программу для того, чтобы выполнить один из описанных здесь способов. Приемник может быть, например, компьютером, мобильным устройством, устройством памяти и т.п. Устройство или система могут, например, включать файловый сервер для того, чтобы передать компьютерную программу приемнику.

В некоторых решениях может использоваться программируемое логическое устройство (например, программируемая логическая интегральная схема), чтобы выполнить некоторые или все описанные здесь способы. В некоторых решениях может использоваться программируемая логическая интегральная схема вместе с микропроцессором, чтобы выполнить один из описанных здесь способов. Вообще, способы предпочтительно выполняются аппаратурными средствами.

Вышеупомянутые описанные здесь решения просто иллюстрируют принципы данного изобретения. Подразумевается, что модификации и изменения, описанных здесь конфигураций и деталей, будут очевидны для людей квалифицированных в технике. Поэтому, намерением является ограничиться только областью формулы изобретения, а не определенными деталями, представленными посредством описания и объяснения представленных здесь решений.

Использованная литература

[1] ISO/IEC 23003-1:2007. Information technology - MPEG Audio technologies - Part 1: MPEG Surround. International Standards Organization, Geneva, Switzerland, 2007.

[2] С. Faller. Microphone front-ends for spatial audio coders. In 125th AES Convention, Paper 7508, San Francisco, Oct. 2008.

[3] M.A. Gerzon. Periphony: Width-Height Sound Reproduction. J. Aud. Eng. Soc., 21(l):2-10, 1973.

[4] D. Griesinger. Stereo and surround panning in practice. In Preprint 112th Conv. Aud. Eng. Soc., May 2002.

[5] S. Haykin. Adaptive Filter Theory (third edition). Prentice Hall, 1996.

[6] J. Herre, K. Kj"orling, J. Breebaart, C. Faller, S. Disch, H. Purnhagen, J. Koppens, J. Hilpert, J. R^"od'en, W. Oomen, K. Linzmeier, and K.S. Chong. Mpeg surround - the iso/mpeg standard for efficient and compatible multi-channel audio coding. In Preprint 122th Conv. Aud. Eng. Soc., May 2007.

[7] V. Pulkki. Virtual sound source positioning using Vector Base Amplitude Panning. J. Audio Eng. Soc., 45:456-466, June 1997.

[8] В.D. Van Veen and К.М. Buckley. Beamforming: A versatile approach to spatial filtering. IEEE ASSP Magazine, 5(2):4-24, April 1988.

Claims (18)

1. Устройство (100; 200; 300; 500) для формирования улучшенного сигнала микширования с понижением (112; 212; 312) на основе многоканального микрофонного сигнала (110; 210; 310), включающее:
пространственный анализатор (120; 220; 320), выполненный с возможностью вычислить на основе многоканального микрофонного сигнала ряд пространственных параметров звука (Е{NN^∗}, E{SS^∗}, а, α), включающих информацию о направлении (а, α), описывающую направления прибытия прямого звука, информацию о мощности прямого звука (Е{SS^∗}) и информацию о мощности диффузного звука (Е{NN^∗});
калькулятор фильтра (130; 230; 316) для вычисления параметров фильтра расширения (132; 232; 332) в зависимости от информации о направлении (а, α), описывающей направление прибытия прямого звука, в зависимости от информации о мощности прямого звука (E{SS^∗}) и в зависимости от информации о мощности диффузного звука (E{NN^∗}); и
фильтр (140; 240; 340) для того, чтобы фильтровать микрофонный сигнал (110; 210; 310), или сигнал, сформированный из микрофонного сигнала с использованием параметров фильтра расширения (132; 232; 332), чтобы получить улучшенный сигнал микширования с расширением (112; 212; 312),
где калькулятор фильтра выполнен с возможностью вычислить параметры фильтра расширения (H₁, H₂; H₁,₁ H₁,₂ H_2.1, Н₂,₂) в зависимости от зависящих от направления коэффициентов передачи (g₁, g₂, g₃, g₄, g₅), которые описывают требуемые вклады компоненты прямого звука (S) многоканального микрофонного сигнала во множество сигналов громкоговорителя (L, R, С, L_s, R_s; Z_l) в зависимости от одной или более величин матрицы микширования с понижением (g_s; m_j,l), которые описывают требуемые вклады множества аудиоканалов (L, R, С, L_s, R_s; Z_l) в один или более каналов улучшенного сигнала микширования с понижением.

2. Устройство по п. 1, в котором калькулятор фильтра (130; 230; 316) выполнен с возможностью вычислить параметры фильтра расширения (132; 232; 332; H₁, H₂, H_1.1, H_1.2, H_2.1, H_2.1) таким образом, что улучшенный сигнал микширования с понижением (112; 212; 312; $$\stackrel{\wedge }{Y_1}$$

, $$\stackrel{\wedge }{Y_2}$$

) приближается к желаемому сигналу микширования с понижением,(Y₁, Y₂).

3. Устройство по п. 1, в котором калькулятор фильтра (130; 230; 316) выполнен с возможностью вычислить желаемые величины взаимной корреляции ( $$E\left\{X_1{Y}_1^{\ast }\right\}$$

, $$E\left\{X_2{Y}_1^{\ast }\right\}$$

, $$E\left\{X_1,Y_2^{\ast }\right\}$$

, $$E\left\{X_2{Y}_2^{\ast }\right\}$$

) $$$$

между канальными сигналами (Х₁, X₂) многоканального микрофонного сигнала (110; 210; 310) и желаемые канальные сигналы (Y₁, Y₂) сигнала микширования с понижением в зависимости от пространственных параметров звука, и
в котором калькулятор фильтра выполнен с возможностью вычислить параметры фильтра расширения (H₁, H₂; H_1.1, Н_1.2, H_2.1, H_2.2) в зависимости от желаемых значений взаимной корреляции.

4. Устройство по п. 3, в котором калькулятор фильтра выполнен с возможностью вычислить желаемые величины взаимной корреляции в зависимости от зависящих от направления коэффициентов передачи (g₁, g₂, g₃, g₄, g₅), которые описывают желаемые вклады прямого звукового компонента (S) многоканального микрофонного сигнала во множество сигналов громкоговорителя (L, R, С, L_s, R_s; Z_l).

5. Устройство согласно п. 4, в котором калькулятор фильтра (130; 230; 316) выполнен с возможностью отобразить информацию о направлении (а, α) на ряд зависимых от направления коэффициентов передачи (g₁, g₂, g₃, g₄, g₅).

6. Устройство по п. 3, в котором калькулятор фильтра (130; 230; 316) выполнен с возможностью использовать информацию о мощности прямого звука (Е{SS^∗}) и информацию о мощности диффузного звука (Е{NN^∗}) для вычисления желаемых величин взаимной корреляции $$(E\left\{X_1{Y}_1^{\ast }\right\}$$

, $$E\left\{X_2{Y}_1{}^{\ast }\right\}$$

, $$E\left\{X_1,Y_2^{\ast }\right\}$$

, $$E\left\{X_2{Y}_2^{\ast }\right\})$$

.

7. Устройство по п. 6, в котором калькулятор фильтра (130; 230; 316) выполнен с возможностью использовать весовые коэффициенты для информации о мощности прямого звука (Е{SS^∗}) в зависимости от информации о направлении (а, α) и применить предопределенную надбавку, которая независима от информации о направлении, к информации о мощности диффузного звука (Е{NN^∗}), чтобы вычислить желаемые величины взаимной корреляции $$(E\left\{X_1{Y}_1^{\ast }\right\}$$

, $$E\left\{X_2{Y}_1^{\ast }\right\}$$

, $$E\left\{X_1,Y_2^{\ast }\right\}$$

, $$\text{E}\left\{{\text{X}}_{\text{2}}{\text{Y}}_{\text{2}}^{\ast }\right\})$$

.

8. Устройство согласно п. 1, в котором калькулятор фильтра (130; 230; 316) выполнен с возможностью вычислить коэффициенты фильтра H₁, Н₂ согласно выражению
$$\begin{array}{l}{H}_1=\frac{w_{1}E\left\{S{S}^{\ast }\right\}+w_{3}E\left\{N{N}^{\ast }\right\}}{E\left\{S{S}^{\ast }\right\}+E\left\{N{N}^{\ast }\right\}}\\ H_2=\frac{w_{2}E\left\{S{S}^{\ast }\right\}+w_{4}E\left\{N{N}^{\ast }\right\}}{a^{2}E\left\{S{S}^{\ast }\right\}+E\left\{N{N}^{\ast }\right\}}.\end{array}$$

где Е{SS^∗} - информация о мощности прямого звука,
где Е{NN^∗} - информация о мощности диффузного звука,
где w₁ и w₂ - коэффициенты, которые зависят от информации о направлении (а, α), и
где w₃ и w₄ - коэффициенты, определенные коэффициентами передачи диффузного звука (h₁, h₂, h₃, h₄, h₅); и
где фильтр (140; 240; 340) выполнен с возможностью определить первый канальный сигнал $$\stackrel{\wedge }{Y_1}\left(k,i\right)$$

и второй канальный сигнал $$\stackrel{\wedge }{Y_2}\left(k,i\right)$$

улучшенного сигнала микширования с понижением (112; 212; 312) в зависимости от первого канального сигнала X₁(k, i) и второго канального сигнала Х₂(k, i) многоканального микрофонного сигнала в соответствии с выражением
$$\begin{array}{l}{\stackrel{\wedge }{Y}}_1\left(k,i\right)=H_1\left(k,i\right)X_1\left(k,i\right)\\ {\stackrel{\wedge }{Y}}_2\left(k,i\right)=H_2\left(k,i\right)X_2\left(k,i\right)\end{array}$$

9. Устройство по п. 1, в котором калькулятор фильтра (130; 230; 316) выполнен с возможностью вычислить параметры фильтра (H₁, H_1.2, H_2.1 H_2.2) в соответствии с выражением
$$\begin{array}{l}\left[\begin{array}{c}{H}_{1.1}\\ H_{1.2}\end{array}\right]=\frac{1}{d}\left[\begin{array}{cc}E\left\{X_2{X}_2^{\ast }\right\}& -E\left\{X_1{X}_2^{\ast }\right\}\\ -E\left\{X_2{X}_1^{\ast }\right\}& E\left\{X_1{X}_1^{\ast }\right\}\end{array}\right]\left[\begin{array}{c}E\left\{X_1{Y}_1^{\ast }\right\}\\ E\left\{X_2{Y}_1^{\ast }\right\}\end{array}\right]\\ \left[\begin{array}{c}{H}_{2.1}\\ H_{2.2}\end{array}\right]=\frac{1}{d}\left[\begin{array}{cc}E\left\{X_2{X}_2^{\ast }\right\}& -E\left\{X_1{X}_2^{\ast }\right\}\\ -E\left\{X_2{X}_1^{\ast }\right\}& E\left\{X_1{X}_1^{\ast }\right\}\end{array}\right]\left[\begin{array}{c}E\left\{X_1{Y}_2^{\ast }\right\}\\ E\left\{X_2{Y}_2^{\ast }\right\}\end{array}\right]\end{array}$$

где
$$d=E\left\{X_1{X}_1^{\ast }\right\}E\left\{X_2{X}_2^{\ast }\right\}-E\left\{X_1{X}_2^{\ast }\right\}E\left\{X_2{X}_1^{\ast }\right\}$$

X₁ обозначает первый канальный сигнал многоканального микрофонного сигнала,
X₂ обозначает второй канальный сигнал многоканального микрофонного сигнала,
Е{.} обозначает операцию усреднения на коротком временном промежутке,
∗ обозначает операцию комплексного сопряжения,
$$E\left\{X_1{Y}_1^{\ast }\right\}$$

, $$E\left\{X_2{Y}_1^{\ast }\right\}$$

, $$E\left\{X_1{Y}_2^{\ast }\right\}$$

и $$E\left\{X_2{Y}_2^{\ast }\right\}$$

обозначают величины взаимной корреляции между канальными сигналами X₁, X₂ многоканального микрофонного сигнала и желаемыми канальными сигналами Y₁, Y₂ улучшенного сигнала микшированного с понижением.

10. Устройство по п. 1, в котором калькулятор фильтра (130; 230; 316) выполнен с возможностью вычислить параметры фильтра расширения от H_j.l(k.i) до H_j,M(k,i) таким образом, что канальные сигналы улучшенного сигнала микширования с понижением (112; 212; 312) получены путем фильтрации канальных сигналов (X₁, Х₂) многоканального микрофонного сигнала в соответствии с аппроксимацией параметров фильтра расширения с использованием статистической меры подобия желаемых канальных сигналов Y_j(k, i), определенных как
$$Y_j\left(k,i\right)={\displaystyle \sum }_{l=o}^{K-1}{m}_{j,l}{Z}_l\left(k,i\right).$$

где $$Z_l\left(k,i\right)=g_l\left(k,i\right)\tilde{S}\left(k,i\right)+h_l\left(k,i\right){\tilde{N}}_1\left(k,i\right)$$

,
где g₁ - коэффициенты передачи, которые зависят от информации о направлении (а, α) и которые представляют желаемые вклады прямого звукового компонента $$\left(\tilde{S}\right)$$

многоканального микрофонного сигнала (110; 210; 310) во множество сигналов громкоговорителя (Z_l);
где h_l предопределенные величины, описывающие требуемые вклады диффузного звукового компонента $$\left(\tilde{N}\right)$$

многоканального микрофонного сигнала (110; 210; 310) во множество сигналов громкоговорителя.

11. Устройство по одному из пп. 1-10, в котором калькулятор фильтра (130; 230; 316) выполнен с возможностью решить уравнение Винера-Хопфа, чтобы получить параметры фильтра расширения (132; 232; 332; H₁, H₂, H_1,1,H_1,2, H_2,1, H_2,2),
где уравнение Винера-Хопфа описывает отношения между величинами корреляции $$E\left\{X_1{X}_1^{\ast }\right\}$$

, $$E\left\{X_1{X}_2^{\ast }\right\}$$

, $$E\left\{X_2{X}_1^{\ast }\right\}$$

, $$E\left\{X_2{X}_2^{\ast }\right\}$$

, которые описывают отношения между различными парами каналов многоканального микрофонного сигнала, параметрами фильтра расширения (H_1,1, H_1,2, H_2,1, H_2,2) и желаемыми величинами взаимной корреляции, $$$$

$$(E\left\{X_1{Y}_1^{\ast }\right\}$$

, $$E\left\{X_2{Y}_1^{\ast }\right\}$$

, $$E\left\{X_1{Y}_2^{\ast }\right\}$$

, $$E\left\{X_2{Y}_2^{\ast }\right\})$$

$$$$

между канальными сигналами (X₁, X₂) многоканального микрофонного сигнала (110; 210; 310) и желаемыми канальными сигналами (Y₁, Y₂) сигнала микширования с понижением.

12. Устройство по п. 1, в котором калькулятор фильтра (130; 230; 316) выполнен с возможностью вычислить параметры фильтра расширения (132; 232; 332) в зависимости от модели желаемых каналов микширования с понижением.

13. Устройство по п. 1, в котором калькулятор фильтра (130; 230; 316) выполнен с возможностью выборочно выполнить одноканальное фильтрование, где первый канал $$(\stackrel{\wedge }{Y_1})$$

улучшенного сигнала микширования с понижением (112; 212; 312) получен фильтрованием первого канала (Х₁) многоканального микрофонного сигнала (110; 210; 310) и где второй канал $$(\stackrel{\wedge }{Y_2})$$

улучшенного сигнала микширования с понижением получен фильтрованием второго канала (X₂) многоканального микрофонного сигнала, избегая взаимного влияния первого канала многоканального микрофонного сигнала на второй канал улучшенного сигнала микширования с понижением и второго канала многоканального микрофонного сигнала на первый канал улучшенного сигнала микширования с понижением,
или двухканальное фильтрование, где первый канал $$(\stackrel{\wedge }{Y_1})$$

улучшенного сигнала микширования с понижением получен путем фильтрации первого и второго каналов (X₁, Х₂) многоканального микрофонного сигнала и где второй канал $$(\stackrel{\wedge }{Y_2})$$

улучшенного сигнала микширования с понижением получен путем фильтрации первого и второго каналов (X₁, X₂) многоканального микрофонного сигнала,
в зависимости от величины корреляции, описывающей корреляцию между первым каналом (X₁) многоканального микрофонного сигнала и вторым каналом (X₂) многоканального микрофонного сигнала.

14. Способ формирования улучшенного сигнала микширования с понижением на основе многоканального микрофонного сигнала, включающий:
вычисление ряда пространственных параметров звука, включающих информацию о направлении, описывающую направление прибытия прямого звука, информацию о мощности прямого звука и информацию о мощности диффузного звука на основе многоканального микрофонного сигнала;
вычисление параметров фильтра расширения в зависимости от информации о направлении, описывающей направление прибытия прямого звука, в зависимости от информации о мощности прямого звука и в зависимости от информации о мощности диффузного звука; и
фильтрование микрофонного сигнала или сигнала, полученного из микрофонного, с использованием параметров фильтра расширения, чтобы получить улучшенный сигнал микширования с понижением,
где параметры фильтра расширения (H₁, Н₂ H_1.1, H_1.2, H_2.1, Н_2.2) вычисляются в зависимости от зависящих от направления коэффициентов передачи (g₁, g₂, g₃, g₄, g₅), которые описывают требуемые вклады компоненты прямого звука (S) многоканального микрофонного сигнала во множество сигналов громкоговорителя (L, R, С, L_s, R_s; Z_l) и в зависимости от одного или более элементов матрицы микширования с понижением (g_s; m_j.l), которые описывают желаемые вклады множества аудиоканалов (L, R, С, L_s, R_s; Z_l) в один или более канал улучшенного сигнала микширования с понижением.

15. Устройство (100; 200; 300; 500) для сформирования улучшенного сигнала микширования с понижением (112; 212; 312) на основе многоканального микрофонного сигнала (110; 210; 310), включающее:
пространственный анализатор (120; 220; 320), выполненный с возможностью вычислить на основе многоканального микрофонного сигнала ряд пространственных параметров звука (Е{NN^∗}, E{SS^∗}, а, α), включающих информацию о направлении (а, α), описывающую направления прибытия прямого звука, информацию о мощности прямого звука (Е{SS^∗}) и информацию о мощности диффузного звука (Е{NN^∗});
калькулятор фильтра (130; 230; 316) для того, чтобы вычислить параметры фильтра расширения (132; 232; 332) в зависимости от информации о направлении (а, α), описывающей направление прибытия прямого звука, в зависимости от информации о мощности прямого звука (E{SS^∗}) и в зависимости от информации о мощности диффузного звука (E{NN∗}); и
фильтр (140; 240; 340) для того, чтобы фильтровать микрофонный сигнал (110; 210; 310) или сигнал, сформированный из микрофонного сигнала с использованием параметров фильтра расширения (132; 232; 332), чтобы получить улучшенный сигнал микширования с расширением (112; 212; 312), где калькулятор фильтра выполнен с возможностью выполнить
одноканальное фильтрование, где первый канал $$(\stackrel{\wedge }{Y_1})$$

$$$$

улучшенного сигнала микширования с понижением (112; 212; 312) получен фильтрованием первого капала (X₁) многоканального микрофонного сигнала (110; 210; 310) и где второй канал $$(\stackrel{\wedge }{Y_2})$$

улучшенного сигнала микширования с понижением получен фильтрованием второго канала (Х₂) многоканального микрофонного сигнала, избегая взаимного влияния первого канала многоканального микрофонного сигнала на второй канал улучшенного сигнала микширования с понижением и второго канала многоканального микрофонного сигнала на первый канал улучшенного сигнала микширования с понижением,
или двухканальное фильтрование, где первый канал $$(\stackrel{\wedge }{Y_1})$$

улучшенного сигнала микширования с понижением получен путем фильтрации первого и второго каналов (X₁, Х₂) многоканального микрофонного сигнала и где второй канал $$(\stackrel{\wedge }{Y_2})$$

улучшенного сигнала микширования с понижением получен путем фильтрации первого и второго каналов (X₁, X₂) многоканального микрофонного сигнала,
в зависимости от величины корреляции, описывающей корреляцию между первым каналом (X₁) многоканального микрофонного сигнала и вторым каналом (X₂) многоканального микрофонного сигнала.

16. Способ сформирования улучшенного сигнала микширования с понижением на основе многоканального микрофонного сигнала, включающий:
вычисление ряда пространственных параметров звука, включающих информацию о направлении, описывающую направление прибытия прямого звука, информацию о мощности прямого звука и информацию о мощности диффузного звука на основе многоканального микрофонного сигнала;
вычисление параметров фильтра расширения в зависимости от информации о направлении, описывающей направление прибытия прямого звука, в зависимости от информации о мощности прямого звука и в зависимости от информации о мощности диффузного звука; и
фильтрование микрофонного сигнала или сигнала, полученного из микрофонного, с использованием параметров фильтра расширения, чтобы получить улучшенный сигнал микширования с понижением,
при этом способ включает выборочное выполнение одноканального фильтрования, где первый канал

улучшенного сигнала микширования с понижением (112; 212; 312) получен фильтрованием первого канала (X₁) многоканального микрофонного сигнала (110; 210; 310) и где второй канал

улучшенного сигнала микширования с понижением получен фильтрованием второго канала (Х₂) многоканального микрофонного сигнала, избегая взаимного влияния первого канала многоканального микрофонного сигнала на второй канал улучшенного сигнала микширования с понижением и второго канала многоканального микрофонного сигнала на первый канал улучшенного сигнала микширования с понижением,
или двухканальное фильтрование, где первый канал

улучшенного сигнала микширования с понижением получен путем фильтрации первого и второго каналов (Х₁, Х₂) многоканального микрофонного сигнала и где второй канал

улучшенного сигнала микширования с понижением получен путем фильтрации первого и второго каналов (X₁, Х₂) многоканального микрофонного сигнала,
в зависимости от величины корреляции, описывающей корреляцию между первым каналом (X₁) многоканального микрофонного сигнала и вторым каналом (Х₂) многоканального микрофонного сигнала.

17. Машиночитаемый носитель, содержащий компьютерную программу, предназначенную для осуществления способа по п. 14 при условии ее выполнения на компьютере.

18. Машиночитаемый носитель, содержащий компьютерную программу, предназначенную для осуществления способа по п. 16 при условии ее выполнения на компьютере.

Images