RU2583755C2

RU2583755C2 - Method of capturing and displaying entertaining activities and user interface for realising said method

Info

Publication number: RU2583755C2
Application number: RU2014116929/08A
Authority: RU
Inventors: Святослав Иванович Буняев
Original assignee: Общество с ограниченной ответственностью "Сетевизор"
Priority date: 2014-04-16
Filing date: 2014-04-16
Publication date: 2016-05-10
Also published as: RU2014116929A

Abstract

FIELD: information technology.

SUBSTANCE: invention relates to user devices for processing of video images. Method of capturing and display entertainment event with participation of characters in amount required for its implementation, and user interface for implementing method comprise displaying each of characters or a group of related characters on a separate section of screen of user playback device. Audio-visual data are received by at least one user device for reproducing audio and visual data with division of audio-visual information into components corresponding to source, which provides said obtaining of video and sound and formation of at least two fields of audio-visual series on screen of said user playback device, each of which displays audio-visual information received from a corresponding source, with possibility of user correction of parameters of audio-visual series. User a playback device can be a mobile communication terminal type of iPhone or iPad type.

EFFECT: technical result consists in high-quality transmission of video data received from several sources via unstable channels due to synchronisation of said video images.

11 cl, 1 dwg

Description

Предлагаемое изобретение относится к мобильным терминалам связи, а также к иным домашним пользовательским устройствам, обеспечивающим отображение транслируемого аудиовизуального ряда.The present invention relates to mobile communication terminals, as well as to other home user devices that display a broadcast audio-visual series.

В настоящее время известны и достаточно широко используются пользовательские устройства воспроизведения, обеспечивающие отображение на экране нескольких визуальных полей, каждое из которых обеспечивает отображение какой-либо самостоятельной информации или же информации из одного и того же источника в различных ракурсах. Таким образом, пользователь может видеть на экране трансляции событий из различных мест, трансляцию событий с текстовыми или визуальными комментариями и т.п. Пример подобного решения приведен в заявке в патентное ведомство Японии JP 2004228699, опубликованной 12.08.2004 и выбранной в качестве ближайшего аналога предлагаемого способа и реализующего способ пользовательского устройства воспроизведения. В заявке JP 2004228699 на стороне сервера осуществляется объединение нескольких потоков видеоинформации и соответственно объединение одной или нескольких аудиодорожек, что обеспечивает пользователя описанной выше трансляцией, отображенной на нескольких полях экрана пользователя. Однако при осуществлении описанной в JP 2004228699 трансляции не предусмотрена синхронизация изображений в канале передачи друг относительно друга, задача синхронизации изображений перекладывается на пользовательское устройство, то есть очевидна вероятность сбоев при трансляции разнородных потоков информации в особенности при нестабильных параметрах канала передачи или изменения параметров трансляции со стороны пользователя. В итоге, описанные выше недостатки не позволяют использовать известную из JP 2004228699 технологию, при трансляциях зрелищных мероприятий с установленным сценарием, то есть спектаклей и т.п. Дополнительно следует отметить, в случае же использования решения по заявке JP 2004228699 для получения изображений на дисплеях мобильных терминалов связи из-за небольшого размера дисплея невозможно осуществить эффективное переключение с одного ракурса на другой. В свою очередь предлагаемые способ и пользовательский интерфейс позволят устранить упомянутые недостатки.Currently, user-defined playback devices are known and widely used, which provide displaying several visual fields on the screen, each of which provides the display of some independent information or information from the same source from different angles. Thus, the user can see the broadcast of events from various places on the screen, the broadcast of events with text or visual comments, etc. An example of such a solution is given in the application to the Japan Patent Office JP 2004228699, published on 08/12/2004 and selected as the closest analogue of the proposed method and implementing the method of a user playback device. In the application JP 2004228699 on the server side, several streams of video information are combined and, accordingly, one or more audio tracks are combined, which provides the user with the broadcast described above displayed on several fields of the user screen. However, when performing the translation described in JP 2004228699, synchronization of the images in the transmission channel with respect to each other is not provided, the task of synchronizing the images is transferred to the user device, that is, the probability of failures when broadcasting heterogeneous information streams is obvious, especially with unstable transmission channel parameters or changing broadcast parameters from the side user. As a result, the disadvantages described above do not allow the use of technology known from JP 2004228699 when broadcasting entertainment events with an established script, that is, performances, etc. In addition, it should be noted that in the case of using the solution according to the application JP 2004228699 for obtaining images on the displays of mobile communication terminals, due to the small size of the display, it is impossible to carry out effective switching from one perspective to another. In turn, the proposed method and user interface will eliminate the aforementioned disadvantages.

Технический результат заявленного изобретения заключается в обеспечении качественной передачи информации по нестабильным каналам за счет синхронизации нескольких видеоизображений, относящихся к зрелищному мероприятию с заданным сценарием, при этом полоса пропускания для нескольких видеоизображений и звука будет меньше, чем для информации передаваемой раздельно. Ожидаемый технический результат будет достигнут при использовании предложенного способа съемки и отображения зрелищного мероприятия, а также при использовании пользовательского интерфейса для осуществления способа.The technical result of the claimed invention is to ensure high-quality transmission of information over unstable channels due to the synchronization of several video images related to the entertainment event with a given scenario, while the bandwidth for several video images and sound will be less than for information transmitted separately. The expected technical result will be achieved using the proposed method of shooting and displaying a spectacular event, as well as using the user interface for implementing the method.

Предложен способ съемки и отображения зрелищного мероприятия. То есть предложен способ съемки и отображения мероприятия: спектакля либо иного сценического произведения, массового театрального действа, кинопостановки и т.п., осуществляемого по заданному сценарию с участием персонажей (групп персонажей), согласно данному сценарию (то есть с персонажами в количестве необходимом для его осуществления зрелищного мероприятия). При осуществлении способа одновременно получают аудиовизуальную информацию от, по меньшей мере, двух источников (видеокамер), обеспечивающих получение видеоизображения и звука, относящихся к, по меньшей мере, одному зрелищному мероприятию. Полученную аудиовизуальную информацию передают от указанных источников на пользовательское устройство воспроизведения в едином потоке с обеспечением ее синхронизации и объединением кадров исходных изображений зрелищного мероприятия. Организуют прием аудиовизуальной информации, по меньшей мере, одним пользовательским устройством воспроизведения с разделением аудиовизуальной информации на составляющие, соответствующие источнику, обеспечившему упомянутое получение видеоизображения и звука. Формируют, по меньшей мере, два поля аудиовизуального ряда на экране указанного пользовательского устройства воспроизведения, каждое из которых отображает аудиовизуальную информацию, полученную от соответствующего источника, с одновременной возможностью пользовательской корректировки параметров аудиовизуального ряда. При этом отображают каждого из персонажей, по меньшей мере, одного зрелищного мероприятия на отдельном участке экрана пользовательского устройства воспроизведения, то есть каждому из персонажей зрелищного мероприятия выделяется «свой», «персональный» экран. Помимо самостоятельных одиночных персонажей на отдельном экране может быть отображена группа взаимосвязанных друг с другом персонажей.A method for shooting and displaying a spectacular event is proposed. That is, a method for shooting and displaying an event: a performance or other stage work, mass theater, film production, etc., carried out according to a given scenario with the participation of characters (groups of characters), according to this scenario (that is, with characters in the amount necessary for its implementation of a spectacular event). When implementing the method at the same time receive audiovisual information from at least two sources (cameras) that provide video and sound related to at least one entertainment event. The resulting audiovisual information is transmitted from these sources to a user playback device in a single stream, ensuring its synchronization and combining the frames of the original images of the entertainment event. Organize the reception of audiovisual information by at least one user playback device with the separation of audiovisual information into components corresponding to the source that provided the above-mentioned receipt of video and sound. At least two fields of the audiovisual series are formed on the screen of the specified user playback device, each of which displays the audiovisual information received from the corresponding source, while the user can adjust the parameters of the audiovisual series. At the same time, each of the characters of at least one entertainment event is displayed on a separate section of the screen of the user’s playback device, that is, each of the characters of the entertainment event is allocated a “personal”, “personal” screen. In addition to independent single characters, a group of characters interconnected with each other can be displayed on a separate screen.

Зритель может просматривать все участки экрана одновременно. Также зритель может просматривать выбранный участок экрана, открытый во весь растр, при отображении в поле зрения зрителя прочих участков экрана в уменьшенных размерах. Предпочтительно, что количество участков экрана пользовательского устройства воспроизведения меньше или равно девяти. Предложенный способ может быть реализован при прямой трансляции, например при телевизионной трансляции на домашнее пользовательское устройство. В другом случае предложенный способ реализуется при записи на материальный носитель с последующей трансляцией с данного материального носителя. Также предложенный способ может быть реализован при трансляции на мобильный терминал связи. При трансляции на мобильный терминал на его экране может быть сформировано поле аудиовизуального ряда, отображающего для пользователя аудиовизуальную информацию, полученную от, по меньшей мере, одного из источников такой информации. Одновременно формируют, по меньшей мере, одно поле аудиовизуального ряда, закрытое от взгляда пользователя маской графических примитивов. Пользователь (зритель) выполняет необходимую смену аудиовизуального ряда, доступного взгляду, при воздействии пользователя на интерфейс мобильного терминала связи.The viewer can view all parts of the screen at the same time. Also, the viewer can view the selected portion of the screen, open in full raster, when displayed in the field of view of the viewer other sections of the screen in reduced sizes. Preferably, the number of screen portions of the user playback device is less than or equal to nine. The proposed method can be implemented with a live broadcast, for example, with a television broadcast to a home user device. In another case, the proposed method is implemented when recording on a tangible medium, followed by translation from this tangible medium. Also, the proposed method can be implemented when broadcasting to a mobile communication terminal. When broadcasting to a mobile terminal, a field of an audiovisual series may be generated on its screen, displaying for the user audiovisual information received from at least one of the sources of such information. At the same time, at least one field of the audiovisual series is formed, which is closed from the view of the user by a mask of graphic primitives. The user (viewer) performs the necessary change of the audiovisual series, accessible to the eye, when the user acts on the interface of the mobile communication terminal.

Пользовательский интерфейс обеспечивает трансляцию зрителю зрелищного мероприятия, согласно описанному выше способу и, предпочтительно, будет представлять собой интерфейс мобильного терминала связи, например, типа iPhоnе или iPad.The user interface allows the viewer to broadcast a spectacular event according to the method described above and, preferably, will be an interface of a mobile communication terminal, for example, an iPhone or iPad.

Таким образом, предложен комплекс технических средств, обеспечивающих проведение полиэкранного видеоспектакля (видеопостановки, видеофильма) либо аналогичного зрелищного мероприятия, осуществляемого в соответствии с заданным сценарием (правилами), при котором каждый персонаж или группа персонажей представлены на отдельном участке экрана («персональном» экране). Всего таких экранов одновременно может быть представлено до девяти (в оптимальном варианте). Как и пояснено выше, зритель может смотреть все персональные экраны персонажей одновременно или выбирать любой из них, и тогда выбранный экран открывается во весь растр, а остальные экраны присутствуют в поле зрения смотрящего в уменьшенных размерах. Предложенный способ может быть использован как при прямой трансляции, так и при тиражировании на материальных носителях, интерфейс которых позволяет производить выбор определенного экрана для просмотра.Thus, a complex of technical means has been proposed to ensure a multi-screen video performance (video production, video film) or a similar spectacular event, carried out in accordance with a given scenario (rules), in which each character or group of characters is presented on a separate section of the screen (“personal” screen) . In total, up to nine of these screens can be presented at the same time (in the best case). As explained above, the viewer can watch all the personal screens of the characters at the same time or select any of them, and then the selected screen opens in the entire raster, and the remaining screens are present in the viewer's field of view in reduced sizes. The proposed method can be used both for live broadcasting and for replication on tangible media, the interface of which allows you to select a specific screen for viewing.

Описанное выше техническое решение может быть осуществлено следующим образом (с использованием следующего неисключительного {открытого} перечня вариантов технических средств).The technical solution described above can be implemented as follows (using the following non-exclusive {open} list of options for technical means).

Вариант 1 (домашнее пользовательское устройство воспроизведения)Option 1 (Home User Playback Device)

Пользовательское устройство воспроизведения 1: настольный или переносной персональный компьютер, программируемый терминал мобильной связи, подключаемый к проводной или же беспроводной сети, а также различные бытовые или специализированные мультимедийные устройства (телевизоры, мультимедийные приставки и т.п.) обеспечивают прием аудиовизуальной информации от нескольких источников 2₁…2_n. Такими источниками в подавляющем большинстве случаев будут видеокамеры, отображающие персонажей зрелищного мероприятия, а также дополнительные устройства, обеспечивающие получение фотографических изображений, текстовой информации, независимой звуковой информации и т.п. Источники 2₁…2_n аудиовизуальной информации и пользовательское устройство воспроизведения 1 связаны друг с другом через канал двусторонней связи 3. В канале связи 3 выделяется отдельный модуль по объединению видеоизображений. Полученная итоговая последовательность сформированных кадров представляет собой видеоизображение, которое в дальнейшем сжимается с помощью стандартных видеокодеков и передается по каналу двусторонней связи. За счет объединения кадров исходных видеоизображений и использования особенностей кодирования видеоизображений стандартными алгоритмами достигается экономия требуемой полосы пропускания, а также самосинхронизация изображений друг относительно друга на этапе формирования видеоизображения, до попадания в передающий тракт. Для приема аудиовизуальной информации в пользовательском устройстве 1 выделен соответствующий компонент 1 ч, в качестве которого может быть использован модем, декодер и т.п. Компонент 12 пользовательского устройства 1 обеспечивает разделение аудиовизуальной информации на составляющие, соответствующие своему источнику 2₁…2_n. В качестве этого компонента 1₃ может быть использован участок памяти, выделенный под соответствующее программное обеспечение, встроенный энергонезависимый блок. Компонент 1₃пользовательского устройства 1 обеспечивает формирование на дисплее 4 пользовательского устройства 1 нескольких полей 4₁…4_n аудиовизуального ряда, каждое из которых отображает аудиовизуальную информацию, полученную от соответствующего источника 2₁…2_n. Интерфейс 1 обеспечивает пользовательскую корректировку параметров полей аудиовизуального ряда 4₁…4_n.User playback device 1: a desktop or laptop personal computer, a programmable mobile communication terminal connected to a wired or wireless network, as well as various home or specialized multimedia devices (televisions, multimedia set-top boxes, etc.) receive audio-visual information from several sources 2 ₁ ... 2 _n . Such sources in the vast majority of cases will be video cameras displaying the characters of a spectacular event, as well as additional devices that provide photographic images, text information, independent audio information, etc. Sources 2 ₁ ... 2 _{n of} audiovisual information and the user playback device 1 are connected to each other via the two-way communication channel 3. In communication channel 3, a separate module for combining video images is allocated. The resulting final sequence of generated frames is a video image, which is further compressed using standard video codecs and transmitted via a two-way communication channel. By combining the frames of the original video images and using the encoding features of standard images with standard algorithms, the required bandwidth is saved, as well as self-synchronization of the images relative to each other at the stage of video image formation, before it enters the transmitting path. To receive audiovisual information in the user device 1, the corresponding component is allocated for 1 h, which can be used as a modem, decoder, etc. Component 12 of the user device 1 provides for the separation of audiovisual information into components corresponding to its source 2 ₁ ... 2 _n . As this component 1 ₃ can be used the memory allocated for the corresponding software, built-in non-volatile unit. Component 1 _{3 of} user device 1 provides the formation on the display 4 of user device 1 of several fields 4 ₁ ... 4 _{n of the} audiovisual series, each of which displays audiovisual information received from the corresponding source 2 ₁ ... 2 _n . Interface 1 provides custom adjustment of the parameters of the fields of the audiovisual series 4 ₁ ... 4 _n .

Решение может быть использовано при съемке зрелищного мероприятия, несколькими видеокамерами 2₁…2_n, от источников - видеокамер 2₁…2_n получают свой ракурс снимаемого события (с выделением и отслеживанием {например при движении камеры} персонажей для отображения на «персональном» экране), который, как может представлять интерес для зрителя, так может оказаться непривлекательным из-за неудачных условий съемки и т.п. Полученная аудиовизуальная информация от источников 2₁…2_n через двусторонний канал связи 3 передается на пользовательское устройство воспроизведение 1 или же на нужное число пользовательских устройств воспроизведения с обеспечением объединения изображений в соответствующем модуле и синхронизации информации, что обеспечивает качественную передачу информации по нестабильным каналам без занятия излишней полосы пропускания.The solution can be used when shooting entertainment events, several cameras 2 ₁ ... 2 _n, from the source - camera 2 ₁ ... 2 _n receive their angle shoot the events (with allocation and tracking {e.g. when the camera motion} characters for display on the "personal" display ), which, as may be of interest to the viewer, it may turn out to be unattractive due to poor shooting conditions, etc. Received audiovisual information from sources 2 ₁ ... 2 _n through a two-way communication channel 3 is transmitted to a user device 1 or to the desired number of user devices with the combination of images in the corresponding module and synchronization of information, which ensures high-quality information transfer through unstable channels without occupation excessive bandwidth.

Формирование объединенного изображения осуществляется выделением каждого кадра из исходных видеоизображений и объединения их в один кадр путем пристыковки кадров исходных изображений друг к другу в определенном порядке. При этом выполняется выравнивание частоты смены кадров в исходных изображениях путем повтора кадров для источников с низкой кадровой частотой. В качестве исходного материала для формирования кадров нового видеоизображения могут быть статические или периодически обновляемые изображения (рисунки, графики). Также следует отметить, что в предложенном решении синхронизация изображений друг относительно друга выполняется до попадания в вещательный тракт, в отличие от известных средств, в которых синхронизация звука и видео осуществляется по меткам аудио/видео пакетов на стороне воспроизводящего устройства. Синхронизация со звуком осуществляется стандартным способом (по меткам). Если задержка в передающем тракте все-таки возникает, она одинаково распространяется сразу на все изображения, что не приводит к их рассинхронизации и не требует специальных мер по ее восстановлению - обратной синхронизации. Дополнительно следует отметить, что известные в настоящее время технологии обеспечивают самостоятельное кодирование нескольких видеоизображений, с дальнейшим их объединением в мультиплекс в виде отдельных потоков; существующие способы, обеспечивающие снижение требуемой полосы пропускания за счет взаимного учета параметров кодирования нескольких видеоизображений через обратную связь видеокодеров, эффективны только при кодировании несвязанных между собой и не требующих синхронизации друг относительно друга изображений, и не могут обеспечить требуемое качество передачи нескольких видеоизображений одного события.The formation of the combined image is carried out by selecting each frame from the source video images and combining them into one frame by docking frames of the source images to each other in a specific order. In this case, the frame rate is equalized in the source images by repeating frames for sources with a low frame rate. As the source material for the formation of frames of a new video image, there can be static or periodically updated images (drawings, graphs). It should also be noted that in the proposed solution, the synchronization of images relative to each other is performed before they enter the broadcast path, in contrast to the known means in which the synchronization of sound and video is carried out according to the labels of the audio / video packets on the side of the reproducing device. Synchronization with sound is carried out in a standard way (by tags). If the delay in the transmitting path does occur, it equally applies immediately to all images, which does not lead to their desynchronization and does not require special measures to restore it - reverse synchronization. In addition, it should be noted that currently known technologies provide independent coding of several video images, with their further combination into a multiplex in the form of separate streams; existing methods that reduce the required bandwidth due to the mutual consideration of the encoding parameters of several video images through the feedback of video encoders are effective only when encoding images that are unrelated and do not require synchronization with respect to each other, and cannot provide the required transmission quality of several video images of one event.

Компонент 1₁ пользовательского устройства воспроизведения 1 обеспечивает прием аудиовизуальной информации. Компонент 1₂ обеспечивает разделение аудиовизуальной информации на составляющие, соответствующие источнику их получения. Таким образом, полученное из тракта видеоизображение преобразуется к формату, удобному для восприятия его пользователем, каждый кадр полученного видеоизображения разделяется на части в соответствии со способом объединения исходных кадров с источников. Порядок следования и количество объединяемых кадров может меняться от канала к каналу (от события к событию), но всегда одинаково на стороне формирования и стороне приема, что определяется форматом канала (события). Компонент 1₃ пользовательского устройства 1 обеспечивает формирование на его экране 4 нескольких полей 4₁…4_n аудиовизуального ряда, каждое из которых отображает аудиовизуальную информацию, полученную от соответствующего источника. Таким образом, полученные части кадра объединяются в отдельные видеоизображения, каждая часть в свой поток, которые в дальнейшем воспроизводятся (4₁…4_n). Типовыми средствами пользовательского интерфейса 1₄ обеспечивается пользовательская корректировка параметров аудиовизуального ряда, пользователь может выбирать интересный для себя видеоряд, скрывая остальные, масштабировать видеоряды в соответствии со своими предпочтениями, ну и, конечно, осуществлять подстройку громкости звука.Component 1 _{1 of the} user playback device 1 provides reception of audiovisual information. Component 1 ₂ provides the separation of audiovisual information into components corresponding to the source of their receipt. Thus, the video image obtained from the path is converted to a format convenient for the user to perceive it, each frame of the received video image is divided into parts in accordance with the method of combining the source frames from the sources. The sequence and the number of combined frames can vary from channel to channel (from event to event), but always the same on the formation side and the receiving side, which is determined by the format of the channel (event). Component 1 _{3 of the} user device 1 provides the formation on its screen 4 of several fields 4 ₁ ... 4 _{n of the} audiovisual series, each of which displays the audiovisual information received from the corresponding source. Thus, the obtained parts of the frame are combined into separate video images, each part in its own stream, which is then reproduced (4 ₁ ... 4 _n ). Typical user interface means April ₁ provides user adjustment parameters of the audio-visual series, the user can choose for themselves an interesting video, hiding the rest, zoom video sequences according to their preferences, and, of course, to carry out adjustment of the volume.

Вариант 2 (мобильный терминал связи)Option 2 (mobile communication terminal)

Под пользовательским устройством воспроизведения - мобильным терминалом связи 1 подразумевается программируемый терминал мобильной связи типа iPhone или iPad, подключаемый к сети связи и обеспечивающий прием аудиовизуальной информации от нескольких источников 2₁…2_n. Такими источниками в подавляющем большинстве случаев будут видеокамеры, отображающие зрелищное мероприятие в различных ракурсах (с выделением и отслеживанием {например при движении камеры} персонажей для отображения на «персональном» экране), а также дополнительные устройства, обеспечивающие получение фотографических изображений, текстовой информации, независимой звуковой информации и т.п. Источники 2₁…2_n аудиовизуальной информации и мобильный терминал связи 1 связаны друг с другом через канал двусторонней связи 3. В канале связи 3 выделяется отдельный модуль по объединению видеоизображений. Полученная итоговая последовательность сформированных кадров представляет собой видеоизображение, которое в дальнейшем сжимается с помощью стандартных видеокодеков и передается по каналу двусторонней связи. За счет объединения кадров исходных видеоизображений и использования особенностей кодирования видеоизображений стандартными алгоритмами достигается экономия требуемой полосы пропускания, а также самосинхронизация изображений друг относительно друга на этапе формирования видеоизображения, до попадания в передающий тракт. Для приема аудиовизуальной информации в пользовательском устройстве 1 выделен соответствующий компонент 1₁, в качестве которого может быть использован модем, декодер и т.п. Компонент 1₂ пользовательского устройства 1 обеспечивает формирование на его экране 4, по меньшей мере одного поля 4₁…4_n аудиовизуального ряда, каждое из которых отображает аудиовизуальную информацию, полученную от соответствующего источника 2₁…2_n. В свою очередь не интересующие пользователя аудиовизуальные ряды закрываются маской графических примитивов, то есть маской, расположенной поверх потоков аудиовизуальной информации. Интерфейс 1₃ обеспечивает пользовательскую корректировку параметров полей аудиовизуального ряда 4₁…4_n, то есть переключение с одного интересующего пользователя поля на другое.By a user playback device — a mobile communication terminal 1 — is meant a programmable mobile communication terminal, such as an iPhone or iPad, connected to a communication network and capable of receiving audio-visual information from several sources 2 ₁ ... 2 _n . Such sources in the vast majority of cases will be video cameras displaying a spectacular event from various angles (with the selection and tracking {for example, when the camera is moving} of characters to be displayed on a "personal" screen), as well as additional devices that provide photographic images, text information, independent sound information, etc. Sources 2 ₁ ... 2 _{n of} audiovisual information and the mobile communication terminal 1 are connected to each other via the two-way communication channel 3. In the communication channel 3, a separate module for combining video images is allocated. The resulting final sequence of generated frames is a video image, which is further compressed using standard video codecs and transmitted via a two-way communication channel. By combining the frames of the original video images and using the encoding features of standard images with standard algorithms, the required bandwidth is saved, as well as self-synchronization of the images relative to each other at the stage of video image formation, before it enters the transmitting path. For receiving audiovisual information in the user device 1 is selected corresponding component 1 _1, for which the modem can be used, a decoder, etc. Component 1 _{2 of} user device 1 provides the formation on its screen 4 of at least one field 4 ₁ ... 4 _{n of the} audiovisual series, each of which displays audiovisual information received from the corresponding source 2 ₁ ... 2 _n . In turn, the audiovisual series that are not of interest to the user are closed by a mask of graphic primitives, that is, a mask located on top of the streams of audiovisual information. The interface 1 ₃ provides user adjustment of the field parameters of the audiovisual series 4 ₁ ... 4 _n , that is, switching from one field of interest to another user.

При съемке какого-либо зрелищного действия или мероприятия от каждого источника - видеокамеры 2₁…2_n получают свой ракурс снимаемого события, который, как может представлять интерес для зрителя, так может оказаться непривлекательным из-за неудачных условий съемки и т.п. Полученная аудиовизуальная информация от источников 2₁…2_n через двусторонний канал связи 3 передается на пользовательское устройство воспроизведение - мобильный терминал связи 1 или же на нужное число терминалов 1 с обеспечением объединения изображений в соответствующем модуле и синхронизации информации. Таким образом, обеспечивается качественная передача информации по нестабильным каналам без занятия излишней полосы пропускания.When shooting any spectacular action or event from each source, the video cameras 2 ₁ ... 2 _n get their perspective on the event, which, as it may be of interest to the viewer, may turn out to be unattractive due to unsuccessful shooting conditions, etc. Received audiovisual information from sources 2 ₁ ... 2 _n through a two-way communication channel 3 is transmitted to the user device playback - a mobile communication terminal 1 or to the desired number of terminals 1 with the combination of images in the corresponding module and synchronization of information. Thus, high-quality transmission of information through unstable channels is ensured without occupying excessive bandwidth.

Как и пояснено выше, формирование объединенного изображения осуществляется выделением каждого кадра из исходных видеоизображений и объединения их в один кадр путем пристыковки кадров исходных изображений друг к другу в определенном порядке. При этом выполняется выравнивание частоты смены кадров в исходных изображениях путем повтора кадров для источников с низкой кадровой частотой. В качестве исходного материала для формирования кадров нового видеоизображения могут быть статические или периодически обновляемые изображения (рисунки, графики). Также следует отметить, что в предложенном решении синхронизация изображений друг относительно друга выполняется до попадания в вещательный тракт, в отличие от известных средств, в которых синхронизация звука и видео осуществляется по меткам аудио/видео пакетов на стороне воспроизводящего устройства. Синхронизация со звуком осуществляется стандартным способом (по меткам). Если задержка в передающем тракте все-таки возникает, она одинаково распространяется сразу на все изображения, что не приводит к их рассинхронизации и не требует специальных мер по ее восстановлению - обратной синхронизации. Известные в настоящее время технологии обеспечивают самостоятельное кодирование нескольких видеоизображений, с дальнейшим их объединением в мультиплекс в виде отдельных потоков; существующие способы, обеспечивающие снижение требуемой полосы пропускания за счет взаимного учета параметров кодирования нескольких видеоизображений через обратную связь видеокодеров, эффективны только при кодировании несвязанных между собой и не требующих синхронизации друг относительно друга изображений, и не могут обеспечить требуемое качество передачи нескольких видеоизображений одного события.As explained above, the formation of the combined image is carried out by extracting each frame from the source video images and combining them into one frame by docking frames of the source images to each other in a certain order. In this case, the frame rate is equalized in the source images by repeating frames for sources with a low frame rate. As the source material for the formation of frames of a new video image, there can be static or periodically updated images (drawings, graphs). It should also be noted that in the proposed solution, the synchronization of images relative to each other is performed before they enter the broadcast path, in contrast to the known means in which the synchronization of sound and video is carried out according to the labels of the audio / video packets on the side of the reproducing device. Synchronization with sound is carried out in a standard way (by tags). If the delay in the transmitting path does occur, it equally applies immediately to all images, which does not lead to their desynchronization and does not require special measures to restore it - reverse synchronization. Currently known technologies provide independent coding of several video images, with their further combination into a multiplex in the form of separate streams; existing methods that reduce the required bandwidth due to the mutual consideration of the encoding parameters of several video images through the feedback of video encoders are effective only when encoding images that are unrelated and do not require synchronization with respect to each other, and cannot provide the required transmission quality of several video images of one event.

Компонент 1₁ пользовательского устройства воспроизведения 1 обеспечивает прием аудиовизуальной информации. Порядок следования и количество объединяемых кадров может меняться от канала к каналу (от события к событию), но всегда одинаково на стороне формирования и стороне приема, что определяется форматом канала (события). Компонент 1₂ пользовательского устройства 1 обеспечивает формирование на его экране 4, по меньшей мере одного поля 4₁…4_n аудиовизуального ряда, каждое из которых отображает аудиовизуальную информацию, полученную от соответствующего источника. При этом, по меньшей мере один, доступный взгляду пользователя аудиовизуальный ряд, интересующий пользователя, отображается на соответствующем ему поле, например поле, занимающем большую часть дисплея. В свою очередь, не интересующие пользователя аудиовизуальные ряды закрываются маской графических примитивов, то есть маской расположенной поверх потоков аудиовизуальной информации. Типовыми средствами пользовательского интерфейса 1_i обеспечивается пользовательская корректировка параметров аудиовизуального ряда, пользователь может выбирать интересный для себя видеоряд, скрывая остальные, масштабировать видеоряды в соответствии со своими предпочтениями, ну и, конечно, осуществлять подстройку громкости звука. Также производится смена положения и/или размера полей 4₁…4_n. Таким образом, обеспечивается переключение с одного ракурса на другой.Component 1 _{1 of the} user playback device 1 provides reception of audiovisual information. The sequence and the number of combined frames can vary from channel to channel (from event to event), but always the same on the formation side and the receiving side, which is determined by the format of the channel (event). Component 1 _{2 of the} user device 1 provides the formation on its screen 4 of at least one field 4 ₁ ... 4 _{n of the} audiovisual series, each of which displays audiovisual information received from the corresponding source. At the same time, at least one audiovisual series of interest to the user, which is of interest to the user, is displayed on the corresponding field, for example, the field occupying most of the display. In turn, the audiovisual series that are not of interest to the user are closed by a mask of graphic primitives, that is, a mask located on top of the streams of audiovisual information. Using the typical means of the user interface 1 _i , user adjustment of the parameters of the audio-visual series is provided, the user can choose a video sequence that is interesting for himself, hiding the rest, scale the video sequences in accordance with his preferences, and, of course, adjust the sound volume. Also, the position and / or size of the fields 4 ₁ ... 4 _{n is} changed. This ensures switching from one perspective to another.

Claims

1. The method of shooting and displaying a spectacular event with the participation of characters in the quantity necessary for its implementation, comprising:
the simultaneous receipt of audiovisual information from at least two sources, which are video cameras that provide video and sound related to at least one spectacular event, while the video cameras reflect the event from different angles when moving the camera with the selection and tracking of characters ,
transmitting the received audiovisual information from these sources to a user playback device in a single stream, ensuring its synchronization and combining the frames of the original images of the entertainment event,
receiving audiovisual information by at least one user playback device with dividing the audiovisual information into components corresponding to a source providing said video and sound acquisition,
the formation of at least two fields of the audiovisual series on the screen of the specified user playback device, each of which displays audiovisual information received from the corresponding source, with the simultaneous ability to customize the parameters of the audiovisual series,
with the display of each of the characters of at least one spectacular event on a separate section of the screen of the user’s playback device.

2. The method according to p. 1, characterized in that on a separate screen display a group of interconnected characters.

3. The method according to p. 1, characterized in that the viewer views all parts of the screen at the same time.
4 The method according to p. 1, characterized in that the viewer views the selected portion of the screen, open in full raster, when displayed in the field of view of the viewer other sections of the screen in reduced sizes.

5. The method according to p. 1, characterized in that the number of screen sections of the user playback device is less than or equal to nine.

6. The method according to p. 1, characterized in that it is realized during a live broadcast, for example, during a television broadcast to a home user device.

7. The method according to p. 1, characterized in that it is implemented when broadcasting to a mobile communication terminal.

8. The method according to p. 7, characterized in that on the screen of the mobile communication terminal form a field of audiovisual series that displays for the user audiovisual information received from at least one of the sources of such information,
while forming at least one field of the audiovisual series, closed from the view of the user by a mask of graphic primitives,
with the necessary change in the audiovisual range, accessible to the eye, when the user acts on the interface of the mobile communication terminal.

9. The method according to p. 1, characterized in that it is implemented when recording on a material medium with subsequent broadcasting from this material medium.

10. A user interface, characterized in that it provides the viewer with a broadcast of a spectacular event according to any one of paragraphs. 1 ÷ 10.

11. The user interface according to claim 10, characterized in that it is an interface of a mobile communication terminal, for example, such as an iPhone or iPad.