[go: up one dir, main page]

EA011601B1 - Способ и система для направленного захвата аудиосигнала - Google Patents

Способ и система для направленного захвата аудиосигнала Download PDF

Info

Publication number
EA011601B1
EA011601B1 EA200800965A EA200800965A EA011601B1 EA 011601 B1 EA011601 B1 EA 011601B1 EA 200800965 A EA200800965 A EA 200800965A EA 200800965 A EA200800965 A EA 200800965A EA 011601 B1 EA011601 B1 EA 011601B1
Authority
EA
Eurasian Patent Office
Prior art keywords
audio signal
signal
signal processing
signals
module
Prior art date
Application number
EA200800965A
Other languages
English (en)
Other versions
EA200800965A1 (ru
Inventor
Морган Кьёлербаккен
Вибеке Йар
Инес Хафицович
Original Assignee
Скуэрхэд Текнолоджи Ас
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from NO20054527A external-priority patent/NO323434B1/no
Application filed by Скуэрхэд Текнолоджи Ас filed Critical Скуэрхэд Текнолоджи Ас
Publication of EA200800965A1 publication Critical patent/EA200800965A1/ru
Publication of EA011601B1 publication Critical patent/EA011601B1/ru

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/4012D or 3D arrays of transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/405Non-uniform arrays of transducers or a plurality of uniform arrays with different transducer spacing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

Способ и система для цифрового направленного фокусирования и управления направлением дискретизированного аудиосигнала в целевой области для получения избирательного выхода аудиосигнала, сопровождающего видеосигнал. В предпочтительном варианте осуществления способ и система отличаются тем, что получают данные расположения и фокусировки от одной или более камер, снимающих событие, и используют эти вводимые данные для формирования соответствующего выхода аудиосигнала совместно с изображением.

Description

Область техники, к которой относится изобретение
Настоящее изобретение относится к направленному захвату аудиосигнала, и в частности к способу и системе для формирования избирательного аудиосигнала и видеопродукции, предоставляя тем самым возможность трансляции с функциональными возможностями управляемого направления и приближения.
Система пригодна для захвата аудиосигнала в условиях шума, когда необходима пространственная фильтрация, например захват аудиосигналов от спортсменов, судей и тренеров на спортивных событиях для осуществления трансляций.
Система содержит одну или более микрофонных решеток, один или более модулей дискретизации и модуль управления и обработки сигнала со средствами ввода для приема данных местоположения.
Предшествующий уровень техники
Микрофонная решетка является многоканальной акустической приемной установкой, содержащей два или более датчиков звукового давления, расположенных в разных местах в пространстве для получения пространственного распределения звукового давления от одного или нескольких источников. Методы обработки сигналов могут быть использованы для управления или, более конкретно, управления направлением микрофонной решетки по направлению к любому интересующему источнику. Используемые методы могут быть следующими: задержка сигналов, фильтрация, взвешивание и добавление сигналов от микрофонных элементов для достижения требуемой пространственной избирательности. Это известно как формирование диаграммы направленности. Микрофоны в управляемой микрофонной решетке должны быть хорошо согласованы по амплитуде и фазе. Если это не так, то должны быть известны их разности для осуществления коррекции ошибок в программном обеспечении и/или аппаратном обеспечении. Принципы управления направлением решетки хорошо известны из соответствующей литературы по обработке сигналов. Микрофонные решетки могут быть прямоугольными, круглыми или трехмерными.
Существует несколько известных систем, содержащих микрофонные решетки. В основной своей массе они сфокусированы на обработке сигналов для оптимизации записанных сигналов и/или определения местоположения объектов или элементов картины.
Наиболее значимый уровень техники описывается в следующих документах.
Документ И85490118 раскрывает систему и способ для управления направлением направленных микрофонов. Система предназначена для использования в конференц-залах с находящимися в них участниками конференции. Она содержит оптические средства ввода, то есть камеры, имеющие средства для определения, который из участников конференции говорит, и средства для активации звуковых средств по направлению к источнику звука.
В документе ϋ86469732 описывается устройство и способ, используемые в системе видеоконференции для осуществления точного определения местоположения говорящего участника.
Документ ΙΡ2004180197 раскрывает микрофонную решетку, которая может управляться цифровым способом по отношению к акустической фокусировке.
Сущность изобретения
Настоящее изобретение предлагает способ и систему управляемой фокусировки и управления направлением аудиосигнала, представляемого совместно с видеосигналом. Изобретение отличается от решений уровня техники гибкостью и простотой использования.
В предпочтительном варианте изобретение предлагает способ и систему для получения данных местоположения и фокусировки от одной или более камер, снимающих ход событий, и использования этих вводимых данных для формирования соответствующего аудиосигнала, выходящего совместно с видеосигналом.
В другом варианте пользователь может вводить требуемое местоположение для получения из него аудиосигнала, и средства обработки аудиосигнала будут использовать его для осуществления необходимой обработки сигнала.
Еще в одном варианте данные местоположения для получения из него аудиосигнала могут посылаться от системы, содержащей антенну (антенны), получающую(ие) радиосигналы от радиопередатчика (радиопередатчиков), размещенного(ых) на или в объекте, который необходимо отслеживать, совместно со средствами для определения местоположения и посылки этой информации в систему согласно настоящему изобретению. Радиопередатчик может быть размещен, например, в футбольном мяче, обеспечивая возможность записи системой звука из местоположения мяча, а также управления одной или более камерами таким образом, что как видеосигнал, так и аудиосигнал будут сфокусированы на местоположении мяча.
Задачей изобретения является предоставление избирательного выхода аудиосигнала по отношению к соответствующей целевой области (областям).
Задача изобретения решается с помощью системы цифровой направленной фокусировки и управления направлением дискретизированного аудиосигнала в целевой области для получения избирательного выхода аудиосигнала. Система содержит одну или более широкополосных решеток микрофонов, один или более модулей аналого-цифрового преобразования сигнала, модуль управления со средствами ввода, средства вывода, средства хранения и один или более модулей обработки сигналов.
Система отличается тем, что модуль управления содержит средства ввода для получения цифровых
- 1 011601 сигналов захваченного аудиосигнала от всех микрофонов, имеющихся в системе, и средства ввода для получения указаний, содержащих данные выбранного местоположения.
Система дополнительно отличается тем, что модуль управления содержит средства обработки сигналов для выбора сигналов от набора соответствующих микрофонов в решетке (решетках) для дополнительной обработки, для выполнения обработки сигналов от набора соответствующих микрофонов для фокусировки и управления направлением аудиосигнала согласно принятым указаниям и для формирования избирательного выхода аудиосигнала в соответствии с выполненной обработкой.
Задача изобретения дополнительно решается с помощью способа цифровой направленной фокусировки и управления направлением дискретизированного аудиосигнала в целевой области для получения избирательного выхода аудиосигнала, причем способ предусматривает использование одной или более широкополосных решеток микрофонов, модуля аналого-цифрового преобразования сигналов и модуля управления со средствами ввода, средств вывода, средств хранения и одного или более модулей обработки сигналов.
Способ отличается тем, что содержит следующие шаги, выполняемые модулем управления:
прием цифровых сигналов захваченного аудиосигнала от всех микрофонов, имеющихся в системе;
прием указаний, содержащих данные выбранного местоположения, через средства ввода модуля управления;
выбор сигналов от набора соответствующих микрофонов в широкополосной решетке (решетках) для дальнейшей обработки, причем набор определяется на основе спектрального анализа сигналов;
выполнение обработки сигналов от набора соответствующих микрофонов для фокусировки и управления направлением аудиосигнала согласно полученным указаниям;
формирование одного или более избирательных выходов аудиосигнала в соответствии с выполненной обработкой.
Одно из главных свойств изобретения заключается в том, что данные выбранного местоположения могут предоставляться в режиме реального времени или в процессе последующей обработки записанного аудиосигнала. Область (области) фокусировки для получения аудиосигнала может (могут) определяться конечным пользователем путем ввода указаний области (областей) или местоположением и фокусировкой одной или более камер.
Задачи изобретения решаются с помощью средств и способа, охарактеризованного в формуле изобретения.
Перечень фигур чертежей
Далее изобретение описывается более детально со ссылкой на чертежи, на которых на фиг. 1 показано общее представление различных компонентов системы, встроенных в камеры;
на фиг. 2 показана установка, которая может предоставлять аудиосигнал из различных местоположений окружающим системам в зависимости от используемых камер;
на фиг. 3 показаны примеры частотной оптимизации с пространственными фильтрами в конструкции решетки.
Сведения, подтверждающие возможность осуществления изобретения
На фиг. 1 показано общее представление различных компонентов системы, встроенных в камеры.
На чертеже показаны следующие компоненты: широкополосные решетки 100, 110 микрофонов, расположенные по направлению записываемого аудиосигнала. Аналоговые сигналы от каждого микрофона преобразуются в цифровые сигналы в аналого-цифровом преобразователе 210, содержащемся в аналого-цифровом модуле 200, который также может иметь средства 220 памяти для хранения цифровых сигналов и средства 230 передачи для передачи сигналов в модуль 300 управления.
Модуль 300 управления может быть расположен в удаленном месте и получает цифровые сигналы захваченного аудиосигнала по проводной или беспроводной сети, например по кабелю или через спутник, что позволяет конечному пользователю делать всю обработку сигналов по фокусировке и управлению направлением на месте. Модуль 300 управления содержит приемник 310 данных для получения цифровых аудиосигналов от аналого-цифрового модуля 200. Дополнительно содержатся средства 320 хранения данных для хранения полученных сигналов, средства 330 обработки сигналов для обработки в режиме реального времени или последующей обработки и средства 340 формирования аудиосигнала для формирования избирательного выхода аудиосигнала. Перед сохранением сигналов в хранилище данных сигнал может быть преобразован в сжатый формат для сохранения места.
Модуль 300 управления дополнительно содержит средства 350 ввода для получения указаний, содержащих данные выбранного местоположения. Эти указания обычно являются координатами, определяющими положение и точку фокусировки одной или более камер, снимающих событие, происходящее в конкретном местоположении (местоположениях) в целевой области.
В первом варианте осуществления координаты источника звука могут предоставляться точкой фокусировки камеры (камер) 150, 160 и из азимута и высоты штатива (штативов) камер. Путем подключения системы к одной или более телевизионным камерам и получения координат местоположения в двух или трех измерениях (азимут, высота и дистанция) можно управлять направлением и фокусировкой аудиосигнала согласно точке фокусировки объективов камер.
- 2 011601
Во втором варианте осуществления координаты и, таким образом, местоположение источника звука могут предоставляться оператором, управляющим графическим интерфейсом (интерфейсами) пользователя (Ουί, дтарЫса1 икег йИсгГаес). показывающим обзор целевой области, клавиатуру, модуль смешения аудиосигнала и одну или более ручек управления (джойстиков). Ουί обеспечивает оператора информацией о направлении и приближении.
ΟϋΙ может показывать видеосигнал прямой трансляции от одной или более подключенных камер (множество каналов). В предпочтительном варианте осуществления в Ουί вводится дополнительная графика для указания, куда направлять систему. Это упрощает работу системы и дает оператору полное управление функциями приближения и управления направлением.
В третьем варианте осуществления система может использовать алгоритмы для нахождения предопределенных источников звука. Например, система может быть настроена для слушания свистка судьи и последующего направления и фокусировки аудиосигнала и видеосигнала в это местоположение.
Еще в одном варианте местоположение или координаты могут предоставляться системой, отслеживающей местоположение объекта, например футбольного мяча, которым играют на игровом поле.
Комбинация вышеупомянутых вариантов осуществления также является возможной альтернативой.
В целях синхронизации аудиосигнала и области фокусировки камеры (камер) система должна иметь общую систему координат. Координаты от камер будут калиброваться относительно опорной точки, общей для системы и камер.
Система может захватывать аудиосигнал из нескольких различных местоположений одновременно (многоканальная функциональность) и предоставлять аудиосигнал окружающим системам. Местоположения могут предопределяться для каждой камеры или динамически изменяться в режиме реального времени в соответствии с положением, фокусировкой и углом камер.
Избирательный выход аудиосигнала получают путем комбинирования цифровых аудиосигналов и данных местоположения и осуществлением необходимой обработки сигналов в сигнальном процессоре.
Дискретизация сигналов от микрофонов может осуществляться одновременно для всех микрофонов или мультиплексированием сигналов от микрофонов перед аналого-цифровым преобразованием.
Обработка сигналов содержит пространственное и спектральное формирование диаграммы направленности и вычисление временной задержки вследствие мультиплексированной дискретизации для осуществления корректировок в программном обеспечении и аппаратном обеспечении.
Обработка сигналов дополнительно содержит вычисление задержки звукового давления от звукового целевого объекта до решетки микрофонов с целью осуществления синхронизации сигнала с предопределенной временной задержкой.
Обработка сигналов содержит регулирование частоты дискретизации на выбранных микрофонных элементах для получения оптимальной дискретизации и обработки сигналов.
Обработка сигналов обеспечивает динамически избирательный выход аудиосигнала с панорамированием, наклоном и приближением аудиосигнала для одного или более местоположений одновременно, а также для предоставления аудиосигнала для одного или нескольких каналов, включая окружающие системы.
Обработка сигналов также предоставляет переменную частоту дискретизации (Ек). Частота Ек для микрофонных элементов, активных при высоких частотах, выше, чем для элементов, активных на низких частотах. Частота Ек, основанная на спектре сигнала и критерии Релея (частота дискретизации по меньшей мере в 2 раза выше, чем частота сигнала), дает оптимальную дискретизацию и обработку сигналов и выдает меньшее количество данных для хранения и обработки.
Обработка сигналов содержит изменение апертуры микрофонной решетки для получения заданной частотной характеристики и уменьшения числа активных элементов в микрофонной решетке.
Точка (точки) фокусировки определяют, какие пространственные взвешивающие функции нужно использовать для регулировки порядка формирования пространственной диаграммы направленности с фокусировкой и управлением направлением с задержкой и суммированием образующих диаграммы направленности и изменения уровня боковых лепестков и ширины диаграммы направленности.
Формирование пространственных диаграмм направленности осуществляется путем выбора взвешивающей функции среди косинусных, Кайзера, Хэмминга, Хэннинга, Блэкмана-Харриса и вытянутых сфероидальных функций согласно выбранной ширине диаграммы направленности главного лепестка.
Система осуществляет дискретизацию акустического звукового давления от всех элементов или набора элементов во всех решетках и сохраняет данные в модуле хранения. Дискретизация может осуществляться одновременно для всех каналов или мультиплексировано. Поскольку дискретизируется и сохраняется все звуковое поле, в дополнение к обработке в режиме реального времени может быть осуществлена вся обработка сигнала по управлению направлением и приближению как последующая обработка (возврат во времени и извлечение аудиосигнала из любого местоположения). Последующая обработка (постобработка) сохраненных данных дает такие же выполняемые функции, что и обработка в режиме реального времени, и оператор может получать аудиосигнал из любого требуемого местоположения, которое покрывает система.
Поскольку очень важно обеспечить синхронизацию с внешним аудио- и видеооборудованием, сис
- 3 011601 тема имеет возможность оценки и компенсации задержки аудиосигнала вследствие времени распространения сигнала от источника звука для микрофонной решетки (решеток). Оператор будет устанавливать максимальный требуемый диапазон, который требуется покрывать системой, и будет автоматически рассчитываться максимальная временная задержка. Это является выходной задержкой системы, и все выходы аудиосигнала системы будут иметь эту задержку.
Путем встраивания различных датчиков система может корректировать ошибки распространения звука вследствие температурных градиентов, влажности среды (воздуха) и движения среды, вызываемого ветром и сменой теплого и холодного воздуха.
На фиг. 2 показана установка, которая может предоставлять аудиосигнал из различных местоположений окружающим системам в зависимости от используемых камер. На фигуре показано игровое поле 400 с решеткой микрофонов 100, расположенной в середине над игровым полем 400. На фигуре дополнительно показаны одна камера 150, покрывающая короткую сторону игрового поля 400, и другая камера 160, покрывающая длинную сторону игрового поля 400.
С использованием этой установки настоящее изобретение может предоставлять соответствующий аудиосигнал от множества каналов (СН1-СН4) для участков, покрываемых каждой камерой.
Путем приема информации о местоположении от системы, содержащей радиопередатчик, размещенный в мяче, которым играют на игровом поле, и антенну (антенны) для приема радиосигналов, можно получить систему, всегда принимающую аудиосигнал оттуда, где происходят действия, и, например, разрешить этому аудиосигналу представлять центральный канал в окружающих системах.
На фиг. 3 показаны примеры изменения апертуры для частотной оптимизации с пространственными фильтрами в конструкции решетки.
Системы могут динамически изменять апертуры решеток для получения оптимизированной диаграммы направленности согласно требуемой ширине диаграммы направленности, частотной характеристике и усилению решетки. Это может быть осуществлено только обработкой данных от выбранных элементов решетки, и, таким образом, система может снизить требуемый объем обработки сигналов.
Черные точки отмечают активные микрофонные элементы, а белые точки отмечают пассивные микрофонные элементы.
На фиг. ЗА показана микрофонная решетка со всеми активными микрофонными элементами. Эта конфигурация будет давать наилучшие характеристику и направленность для диапазонов, покрываемых антенной.
На фиг. ЗВ показана высокочастотная оптимизированная разреженная решетка, которая может быть использована, когда отсутствует аудиосигнал низкой частоты или когда для низких частот не требуется пространственная фильтрация.
На фиг. ЗС показана среднечастотная оптимизированная разреженная решетка, которая может быть использована, когда отсутствует аудиосигнал низкой и высокой частоты или когда для низких и высоких частот не требуется пространственная фильтрация, например когда имеется только нормальная речь.
На фиг. 3Ό показана низкочастотная оптимизированная разреженная решетка, которая может быть использована, когда отсутствует аудиосигнал высокой частоты или когда для высокой частоты не требуется пространственной фильтрации.
Возможны несколько видоизменений системы, обеспечивающих, тем самым, различные способы использования системы. Обработка сигналов и, таким образом, окончательный выход аудиосигнала могут осуществляться на месте или в удаленном расположении.
При обеспечении обработки сигналов в удаленном расположении для каждого пользователя, смотрящего, например, спортивное событие по телевидению, можно управлять тем, из каких местоположений принимается аудиосигнал. Средства обработки сигналов могут быть расположены у конечного пользователя, и пользователь может вводить то местоположение, из которого он или она желает получать аудиосигнал. Устройством ввода для введения местоположений может быть, например, манипулятор мышь или джойстик, управляющий курсором на экране, на котором показывается спортивное событие. Средства 300 обработки сигналов со средствами вывода 340 и ввода 350 могут быть осуществлены в приставке интерактивного телевидения (1ор-5с1 Ьох).
В качестве альтернативы конечный пользователь может посылать данные местоположения средствам обработки сигналов, расположенных в месте, отличающемся от такового у конечного пользователя, и получать обратно обработанный и направленный аудиосигнал из соответствующего местоположения (местоположений).

Claims (26)

1. Система цифрового направленного фокусирования и управления направлением дискретизированного аудиосигнала в целевой области (400) для получения избирательного выхода аудиосигнала, содержащая одну или более широкополосных решеток микрофонов (100, 110), модуль (200) аналого-цифрового преобразования сигнала, модуль (300) управления, отличающаяся тем, что модуль (300) управления содержит
- 4 011601 средства (310) приема для приема цифровых сигналов захваченного аудиосигнала от всех микрофонов, имеющихся в системе;
средства (350) ввода для получения указаний, содержащих данные выбранного местоположения в форме координат, причем координаты для определения точки или точек фокусировки имеются в двух или трех измерениях;
средства (330) обработки сигнала для выбора сигналов от набора соответствующих микрофонов в решетке или решетках (100, 110) для дальнейшей обработки, причем набор определяется на основе спектрального анализа сигнала;
средства (330) обработки сигнала для выполнения обработки сигналов от набора соответствующих микрофонов для фокусировки и управления направлением аудиосигнала согласно полученным указаниям;
средства (330) обработки сигнала для формирования одного или более избирательных выходов аудиосигнала в соответствии с полученными указаниями и выполненной обработкой сигналов.
2. Система по п.1, отличающаяся тем, что модуль (300) управления размещен в удаленном месте и содержит средства (310) приема цифровых сигналов захваченного аудиосигнала по проводной или беспроводной сети.
3. Система по п.1, отличающаяся тем, что средства (350) ввода в модуле (300) управления содержат средства для получения данных выбранного местоположения по проводной или беспроводной сети.
4. Система по п.1, отличающаяся тем, что модуль (300) управления дополнительно содержит средства (320) хранения данных для хранения принятых цифровых сигналов захваченного аудиосигнала.
5. Система по п.1, отличающаяся тем, что модуль (300) управления осуществляет обработку сигналов в нескольких каналах на основе одних или нескольких различных вводимых координат.
6. Система по п.1, отличающаяся тем, что модуль (300) управления содержит средства для изменения апертуры микрофонной решетки или решеток (100, 110) на основе частотных составляющих входящего аудиосигнала.
7. Система по п.4, отличающаяся тем, что модуль (300) управления дополнительно содержит средства для преобразования принятых сигналов в сжатый формат перед их сохранением в средствах (320) хранения.
8. Система по п.1, отличающаяся тем, что модуль (300) управления дополнительно содержит средства для управления и фокусировки одной или более камер на основе полученных указаний, содержащих данные выбранного местоположения.
9. Способ цифрового направленного фокусирования и управления направлением дискретизированного аудиосигнала в целевой области (400) для получения избирательного выхода аудиосигнала, причем способ предусматривает использование одной или более широкополосных решеток микрофонов (100, 110), модуля (200) аналого-цифрового преобразования сигнала и модуля (300) управления, отличающийся тем, что содержит следующие шаги, выполняемые модулем (300) управления:
прием цифровых сигналов захваченного аудиосигнала от всех микрофонов, имеющихся в системе;
получение указаний, содержащих данные выбранного местоположения в форме координат, через средства (350) ввода в модуле (300) управления, причем координаты для определения точки или точек фокусировки имеются в двух или трех измерениях;
выбор сигналов от набора соответствующих микрофонов в решетке или решетках (100, 110) для дальнейшей обработки, причем набор определяется на основе спектрального анализа сигналов;
выполнение обработки сигналов от набора соответствующих микрофонов для фокусировки и управления направлением аудиосигнала согласно полученным указаниям;
формирование одного или более избирательных выходов аудиосигнала в соответствии с полученными указаниями и выполненной обработкой.
10. Способ по п.9, отличающийся тем, что принятые цифровые сигналы имеют сжатый формат.
11. Способ по п.9, отличающийся тем, что принятые цифровые сигналы захваченного аудиосигнала от всех микрофонов в решетке или решетках (100, 110) сохраняют в хранилище (320) данных.
12. Способ по п.9, отличающийся тем, что модуль (300) обработки сигналов выполняет обработку сигналов в режиме реального времени.
13. Способ по п.9 или 11, отличающийся тем, что модуль (300) обработки сигналов выполняет обработку сигналов в процессе последующей обработки с использованием сохраненных сигналов захваченного аудиосигнала.
14. Способ по п.9, отличающийся тем, что обработка сигналов содержит пространственное и спектральное формирование диаграммы направленности.
15. Способ по п.9, отличающийся тем, что обработка сигналов содержит мультиплексированную дискретизацию и вычисление задержки сигнала вследствие мультиплексирования для выполнения корректировок в программном обеспечении или аппаратном обеспечении.
16. Способ по п.9, отличающийся тем, что обработка сигналов содержит вычисление задержки звукового давления от целевого звукового объекта до решетки микрофонов с целью осуществления синхронизации сигнала с преопределенной временной задержкой.
- 5 011601
17. Способ по п.9, отличающийся тем, что обработка сигналов динамически обеспечивает избирательный выход аудиосигнала с приближением и панорамированием аудиосигнала для одного или более местоположений одновременно, а также для предоставления аудиосигнала для одного или нескольких каналов, включающих в себя окружающие системы.
18. Способ по п.9, отличающийся тем, что обработка сигналов содержит регулирование частоты дискретизации для выделенных микрофонных элементов с целью получения оптимальной дискретизации и обработки сигналов.
19. Способ по п.9, отличающийся тем, что изменяют апертуры микрофонной решетки для получения заданной частотной характеристики и снижения числа активных элементов в микрофонной решетке.
20. Способ по п.19, отличающийся тем, что принятые данные выбранного местоположения получают от системы, отслеживающей один или более объектов.
21. Способ по п.14 или 19, отличающийся тем, что данные местоположения определяют, какие пространственные взвешивающие функции подлежат использованию для регулировки порядка пространственного формирования диаграммы направленности с фокусировкой и управлением направлением с задержкой и суммированием образующих диаграммы направленности, и изменения уровня боковых лепестков и ширины диаграммы направленности.
22. Способ по п.21, отличающийся тем, что пространственное формирование диаграммы направленности осуществляют путем выбора взвешивающих функций среди косинусных, Кайзера, Хэмминга, Хэннинга, Блэкмана-Харриса и вытянутых сфероидальных функций согласно выбранной ширине диаграммы направленности главного лепестка.
23. Способ по п.19, отличающийся тем, что координаты определены расположением и точкой или точками фокусировки одной или более камер, снимающих событие, проходящее в конкретном местоположении или местоположениях внутри целевой области.
24. Способ по п.19, отличающийся тем, что координаты определены пользователем, управляющим пользовательским интерфейсом, содержащим один или более экранов, показывающих общий вид целевой области, клавиатуру, модуль смешения аудиосигналов и один или более джойстиков.
25. Способ по п.19, отличающийся тем, что координаты используют для управления и фокусировки одной или более камер.
26. Способ по п.17, отличающийся тем, что динамический избирательный выход аудиосигнала в окружающей системе является когерентным с одной или более камерами.
EA200800965A 2005-09-30 2006-09-29 Способ и система для направленного захвата аудиосигнала EA011601B1 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US72199905P 2005-09-30 2005-09-30
NO20054527A NO323434B1 (no) 2005-09-30 2005-09-30 System og metode for a produsere et selektivt lydutgangssignal
PCT/NO2006/000334 WO2007037700A1 (en) 2005-09-30 2006-09-29 Directional audio capturing

Publications (2)

Publication Number Publication Date
EA200800965A1 EA200800965A1 (ru) 2008-10-30
EA011601B1 true EA011601B1 (ru) 2009-04-28

Family

ID=37491800

Family Applications (1)

Application Number Title Priority Date Filing Date
EA200800965A EA011601B1 (ru) 2005-09-30 2006-09-29 Способ и система для направленного захвата аудиосигнала

Country Status (4)

Country Link
US (1) US20080247567A1 (ru)
EP (1) EP1946606B1 (ru)
EA (1) EA011601B1 (ru)
WO (1) WO2007037700A1 (ru)

Families Citing this family (93)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100123785A1 (en) * 2008-11-17 2010-05-20 Apple Inc. Graphic Control for Directional Audio Input
US20100254543A1 (en) * 2009-02-03 2010-10-07 Squarehead Technology As Conference microphone system
IT1395894B1 (it) * 2009-09-18 2012-10-26 Rai Radiotelevisione Italiana Metodo per acquisire segnali audio e relativo sistema di acquisizione audio
ES2359902B1 (es) * 2009-11-18 2012-04-16 Universidad Carlos Iii De Madrid Sistema y procedimiento de producción sonora multimicrofónica con seguimiento y localización de puntos de interés en un escenario.
CN102630385B (zh) * 2009-11-30 2015-05-27 诺基亚公司 音频场景内的音频缩放处理的方法、装置及系统
US9210503B2 (en) * 2009-12-02 2015-12-08 Audience, Inc. Audio zoom
US9838784B2 (en) 2009-12-02 2017-12-05 Knowles Electronics, Llc Directional audio capture
WO2011090386A1 (en) * 2010-01-19 2011-07-28 Squarehead Technology As Location dependent feedback cancellation
WO2011101708A1 (en) * 2010-02-17 2011-08-25 Nokia Corporation Processing of multi-device audio capture
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US8482859B2 (en) 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
US9223134B2 (en) 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US8472120B2 (en) 2010-02-28 2013-06-25 Osterhout Group, Inc. See-through near-eye display glasses with a small scale image source
KR20130000401A (ko) 2010-02-28 2013-01-02 오스터하우트 그룹 인코포레이티드 대화형 머리­장착식 아이피스 상의 지역 광고 컨텐츠
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US8488246B2 (en) 2010-02-28 2013-07-16 Osterhout Group, Inc. See-through near-eye display glasses including a curved polarizing film in the image source, a partially reflective, partially transmitting optical element and an optically flat film
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US8477425B2 (en) 2010-02-28 2013-07-02 Osterhout Group, Inc. See-through near-eye display glasses including a partially reflective, partially transmitting optical element
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US8798290B1 (en) 2010-04-21 2014-08-05 Audience, Inc. Systems and methods for adaptive signal equalization
US9558755B1 (en) 2010-05-20 2017-01-31 Knowles Electronics, Llc Noise suppression assisted automatic speech recognition
US8300845B2 (en) 2010-06-23 2012-10-30 Motorola Mobility Llc Electronic apparatus having microphones with controllable front-side gain and rear-side gain
US20120038827A1 (en) * 2010-08-11 2012-02-16 Charles Davis System and methods for dual view viewing with targeted sound projection
EP2421182A1 (en) 2010-08-20 2012-02-22 Mediaproducción, S.L. Method and device for automatically controlling audio digital mixers
US9973848B2 (en) * 2011-06-21 2018-05-15 Amazon Technologies, Inc. Signal-enhancing beamforming in an augmented reality environment
US8175297B1 (en) 2011-07-06 2012-05-08 Google Inc. Ad hoc sensor arrays
EP2766904A4 (en) * 2011-10-14 2015-07-29 Nokia Corp DEVICE FOR ASSIGNING AUDIO SCENES
RU2611563C2 (ru) * 2012-01-17 2017-02-28 Конинклейке Филипс Н.В. Оценка положения источника звука
US20130315404A1 (en) * 2012-05-25 2013-11-28 Bruce Goldfeder Optimum broadcast audio capturing apparatus, method and system
JP6216169B2 (ja) * 2012-09-26 2017-10-18 キヤノン株式会社 情報処理装置、情報処理方法
JP2014143678A (ja) * 2012-12-27 2014-08-07 Panasonic Corp 音声処理システム及び音声処理方法
CN103916723B (zh) * 2013-01-08 2018-08-10 联想(北京)有限公司 一种声音采集方法以及一种电子设备
US9274606B2 (en) 2013-03-14 2016-03-01 Microsoft Technology Licensing, Llc NUI video conference controls
US9536540B2 (en) 2013-07-19 2017-01-03 Knowles Electronics, Llc Speech signal separation and synthesis based on auditory scene analysis and speech modeling
US20150281832A1 (en) * 2014-03-28 2015-10-01 Panasonic Intellectual Property Management Co., Ltd. Sound processing apparatus, sound processing system and sound processing method
US9516412B2 (en) * 2014-03-28 2016-12-06 Panasonic Intellectual Property Management Co., Ltd. Directivity control apparatus, directivity control method, storage medium and directivity control system
US10182280B2 (en) 2014-04-23 2019-01-15 Panasonic Intellectual Property Management Co., Ltd. Sound processing apparatus, sound processing system and sound processing method
US9414153B2 (en) 2014-05-08 2016-08-09 Panasonic Intellectual Property Management Co., Ltd. Directivity control apparatus, directivity control method, storage medium and directivity control system
CN107112025A (zh) 2014-09-12 2017-08-29 美商楼氏电子有限公司 用于恢复语音分量的系统和方法
WO2016123560A1 (en) 2015-01-30 2016-08-04 Knowles Electronics, Llc Contextual switching of microphones
EP3281416B1 (en) * 2015-04-10 2021-12-08 Dolby Laboratories Licensing Corporation Action sound capture using subsurface microphones
US9565493B2 (en) 2015-04-30 2017-02-07 Shure Acquisition Holdings, Inc. Array microphone system and method of assembling the same
US9554207B2 (en) 2015-04-30 2017-01-24 Shure Acquisition Holdings, Inc. Offset cartridge microphones
EP3151534A1 (en) * 2015-09-29 2017-04-05 Thomson Licensing Method of refocusing images captured by a plenoptic camera and audio based refocusing image system
US9894434B2 (en) 2015-12-04 2018-02-13 Sennheiser Electronic Gmbh & Co. Kg Conference system with a microphone array system and a method of speech acquisition in a conference system
US11064291B2 (en) 2015-12-04 2021-07-13 Sennheiser Electronic Gmbh & Co. Kg Microphone array system
US9820042B1 (en) 2016-05-02 2017-11-14 Knowles Electronics, Llc Stereo separation and directional suppression with omni-directional microphones
EP3340614A1 (en) * 2016-12-21 2018-06-27 Thomson Licensing Method and device for synchronizing audio and video when recording using a zoom function
US10367948B2 (en) 2017-01-13 2019-07-30 Shure Acquisition Holdings, Inc. Post-mixing acoustic echo cancellation systems and methods
US11096004B2 (en) 2017-01-23 2021-08-17 Nokia Technologies Oy Spatial audio rendering point extension
US10531219B2 (en) 2017-03-20 2020-01-07 Nokia Technologies Oy Smooth rendering of overlapping audio-object interactions
US11074036B2 (en) 2017-05-05 2021-07-27 Nokia Technologies Oy Metadata-free audio-object interactions
US10165386B2 (en) 2017-05-16 2018-12-25 Nokia Technologies Oy VR audio superzoom
US10178490B1 (en) * 2017-06-30 2019-01-08 Apple Inc. Intelligent audio rendering for video recording
US11395087B2 (en) 2017-09-29 2022-07-19 Nokia Technologies Oy Level-based audio-object interactions
CN107889001B (zh) * 2017-09-29 2020-02-18 恒玄科技(上海)股份有限公司 可扩展麦克风阵列及其建立方法
US10778900B2 (en) 2018-03-06 2020-09-15 Eikon Technologies LLC Method and system for dynamically adjusting camera shots
US11245840B2 (en) 2018-03-06 2022-02-08 Eikon Technologies LLC Method and system for dynamically adjusting camera shots
US10542368B2 (en) 2018-03-27 2020-01-21 Nokia Technologies Oy Audio content modification for playback audio
US11523212B2 (en) 2018-06-01 2022-12-06 Shure Acquisition Holdings, Inc. Pattern-forming microphone array
US11297423B2 (en) 2018-06-15 2022-04-05 Shure Acquisition Holdings, Inc. Endfire linear array microphone
EP3854108A1 (en) 2018-09-20 2021-07-28 Shure Acquisition Holdings, Inc. Adjustable lobe shape for array microphones
US10972835B2 (en) 2018-11-01 2021-04-06 Sennheiser Electronic Gmbh & Co. Kg Conference system with a microphone array system and a method of speech acquisition in a conference system
CN112703748B (zh) * 2019-02-15 2024-06-04 松下电器(美国)知识产权公司 信息处理装置、信息处理方法以及程序记录介质
EP3942845A1 (en) 2019-03-21 2022-01-26 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition functionality
US11558693B2 (en) 2019-03-21 2023-01-17 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality
WO2020191354A1 (en) 2019-03-21 2020-09-24 Shure Acquisition Holdings, Inc. Housings and associated design features for ceiling array microphones
US11445294B2 (en) 2019-05-23 2022-09-13 Shure Acquisition Holdings, Inc. Steerable speaker array, system, and method for the same
EP3977449B1 (en) 2019-05-31 2024-12-11 Shure Acquisition Holdings, Inc. Low latency automixer integrated with voice and noise activity detection
EP3783923A1 (en) * 2019-08-22 2021-02-24 Nokia Technologies Oy Setting a parameter value
US11297426B2 (en) 2019-08-23 2022-04-05 Shure Acquisition Holdings, Inc. One-dimensional array microphone with improved directivity
US12028678B2 (en) 2019-11-01 2024-07-02 Shure Acquisition Holdings, Inc. Proximity microphone
DE102019134541A1 (de) * 2019-12-16 2021-06-17 Sennheiser Electronic Gmbh & Co. Kg Verfahren zur Steuerung eines Mikrofonarrays und Vorrichtung zur Steuerung eines Mikrofonarrays
US11765494B2 (en) 2019-12-31 2023-09-19 Zipline International Inc. Acoustic probe array for aircraft
US11552611B2 (en) 2020-02-07 2023-01-10 Shure Acquisition Holdings, Inc. System and method for automatic adjustment of reference gain
USD944776S1 (en) 2020-05-05 2022-03-01 Shure Acquisition Holdings, Inc. Audio device
US11706562B2 (en) 2020-05-29 2023-07-18 Shure Acquisition Holdings, Inc. Transducer steering and configuration systems and methods using a local positioning system
CN116918351A (zh) 2021-01-28 2023-10-20 舒尔获得控股公司 混合音频波束成形系统
EP4460983A1 (en) 2022-01-07 2024-11-13 Shure Acquisition Holdings, Inc. Audio beamforming with nulling control system and methods
WO2024006935A1 (en) * 2022-07-01 2024-01-04 Shure Acquisition Holdings, Inc. Multi-lobe digital microphone enabled audio capture and spatialization for generating an immersive arena based audio experience
CN115327313B (zh) * 2022-08-09 2025-03-25 国网河南省电力公司南阳供电公司 一种对噪点进行声压捕捉的电气设备局放电排查装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030072461A1 (en) * 2001-07-31 2003-04-17 Moorer James A. Ultra-directional microphones
US6788337B1 (en) * 1998-03-02 2004-09-07 Nec Corporation Television voice control system capable of obtaining lively voice matching with a television scene

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5514408B2 (ru) * 1972-08-29 1980-04-16
FR2762467B1 (fr) * 1997-04-16 1999-07-02 France Telecom Procede d'annulation d'echo acoustique multi-voies et annuleur d'echo acoustique multi-voies
US5940118A (en) * 1997-12-22 1999-08-17 Nortel Networks Corporation System and method for steering directional microphones
US6469732B1 (en) * 1998-11-06 2002-10-22 Vtel Corporation Acoustic source location using a microphone array
JP3789685B2 (ja) * 1999-07-02 2006-06-28 富士通株式会社 マイクロホンアレイ装置
US6889384B1 (en) * 2000-11-08 2005-05-03 The Directv Group, Inc. Simplified interactive user interface for multi-video channel navigation
JP4445705B2 (ja) * 2001-03-27 2010-04-07 1...リミテッド 音場を作り出す方法および装置
DK176894B1 (da) * 2004-01-29 2010-03-08 Dpa Microphones As Mikrofonstruktur med retningsvirkning

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6788337B1 (en) * 1998-03-02 2004-09-07 Nec Corporation Television voice control system capable of obtaining lively voice matching with a television scene
US20030072461A1 (en) * 2001-07-31 2003-04-17 Moorer James A. Ultra-directional microphones

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CE WANG ET AL.: "Robust automatic video-conferencing with multiple cameras and microphones", 30 July 2000 (2000-07-30), MULTIMEDIA AND EXPO, 2000. ICME 2000. 2000 IEEE INTERNATIONAL CONFERENCE ON NEW YORK, NY, USA 30 JULY-2 AUG. 2000, PISCATAWAY, NJ, USA, IEEE, US, PAGE(S) 1585-1588, XP010512810, ISBN: 0-7803-6536-4, page 1585 *
CHOU T.: "Frequency-independent beamformer with low response error", 9 May 1995 (1995-05-09), ACOUSTICS, SPEECH, AND SIGNAL PROCESSING, 1995. ICASSP-95, 1995 INTERNATIONAL CONFERENCE ON DETROIT, MI, USA 9-12 MAY 1995, NEW YORK, NY, USA, IEEE, US, PAGE(S) 2995-2998, XP010151974, ISBN: 0-7803-2431-5, page 2995 - page 2996 *

Also Published As

Publication number Publication date
WO2007037700A1 (en) 2007-04-05
EP1946606B1 (en) 2010-11-03
EP1946606A1 (en) 2008-07-23
US20080247567A1 (en) 2008-10-09
EA200800965A1 (ru) 2008-10-30

Similar Documents

Publication Publication Date Title
EA011601B1 (ru) Способ и система для направленного захвата аудиосигнала
CN101278596B (zh) 定向音频捕获
Hafizovic et al. Design and implementation of a MEMS microphone array system for real-time speech acquisition
US10972835B2 (en) Conference system with a microphone array system and a method of speech acquisition in a conference system
CN1956601B (zh) 音频再现设备与音频再现方法
EP2011366B1 (en) Sound pickup device and voice conference apparatus
KR20190125987A (ko) 공간 오디오 처리를 위한 2-스테이지 오디오 포커스
EP1865510A2 (en) An audio recording system
US20080219485A1 (en) Apparatus, System and Method for Acoustic Signals
JP2003510924A (ja) 音響指向方法および装置
US10873727B2 (en) Surveillance system
CA3112697A1 (en) Microphone arrays
US10547961B2 (en) Signal processing apparatus, signal processing method, and storage medium
JPH0955925A (ja) 画像システム
EP2478715B1 (en) Method for acquiring audio signals, and audio acquisition system thereof
CN113225646B (zh) 音视频监控方法、装置、电子设备及存储介质
US11418871B2 (en) Microphone array
JP5949398B2 (ja) 映像音声記録再生装置
US12022267B2 (en) Apparatus, method and computer-readable storage medium for mixing collected sound signals of microphones
JP3575775B2 (ja) パラメータ設定のためのビデオ装置を備える音響ピックアップシステムと、その設定方法
CN113707165B (zh) 音频处理方法、装置及电子设备和存储介质
JP2004180197A (ja) 情報処理装置、情報処理方法および記録媒体
CN115134499A (zh) 一种音视频监控方法及系统
Pellegrini et al. Object-audio capture system for sports broadcasting
Baxter The Art and Science of Microphones and Other Transducers