[go: up one dir, main page]

WO2019092590A1 - User interaction in a communication system with the aid of multiple live streaming of augmented reality data - Google Patents

User interaction in a communication system with the aid of multiple live streaming of augmented reality data Download PDF

Info

Publication number
WO2019092590A1
WO2019092590A1 PCT/IB2018/058699 IB2018058699W WO2019092590A1 WO 2019092590 A1 WO2019092590 A1 WO 2019092590A1 IB 2018058699 W IB2018058699 W IB 2018058699W WO 2019092590 A1 WO2019092590 A1 WO 2019092590A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual object
user device
screen
displayed
data
Prior art date
Application number
PCT/IB2018/058699
Other languages
French (fr)
Russian (ru)
Inventor
Михаил Павлович СУТОВСКИЙ
Original Assignee
ГИОРГАДЗЕ, Анико Тенгизовна
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ГИОРГАДЗЕ, Анико Тенгизовна filed Critical ГИОРГАДЗЕ, Анико Тенгизовна
Publication of WO2019092590A1 publication Critical patent/WO2019092590A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display

Definitions

  • the invention relates to the field of communication technologies, in particular to a method of multiple streaming of data related to data on virtual objects of augmented reality, in real time.
  • the idea of the present invention is that the sender in real-time streaming data related to the location data captured by the camera of the user's device of the sender and displayed on the screen of the user's device of the sender, and to data about the sender-controlled primary virtual object displayed on the screen user device of the sender with reference to the specified location as an object of augmented reality sender.
  • the sender in real-time streaming data related to the location data captured by the camera of the user's device of the sender and displayed on the screen of the user's device of the sender, and to data about the sender-controlled primary virtual object displayed on the screen user device of the sender with reference to the specified location as an object of augmented reality sender.
  • At least one of the specified recipients can join the streaming of the sender’s data by performing its own streaming broadcast of data related to the other main virtual object.
  • this primary virtual object binds the recipient to a specified location, data about which is transmitted by streaming the sender's data and displayed on the screen of the recipient’s user device, after which the specified primary virtual object is displayed on the screens of user devices of both the sender and the recipient and is determined as an object of augmented reality sender.
  • the sender and receiver control only the actions of their virtual objects.
  • the remaining recipients of the streaming data of the sender, not participating in the joint, multi-streaming data see on the screens of their user devices virtual objects controlled by the sender and the receiver and displayed with reference to the specified locations of the location captured by the camera of the user device the sender and the data about which are transmitted by streaming the sender data.
  • FIG. 1 is a block diagram of an exemplary embodiment of a method for user interaction in a communication system according to one of the preferred embodiments of the present invention
  • FIG. 2a is a schematic diagram illustrating the screen of the user's device of the sender at the stage of selecting the main virtual object
  • FIG. 2b is a schematic diagram illustrating the screen of the user device of the sender, which displays the step of defining the location of the main virtual object
  • FIG. 1 is a block diagram of an exemplary embodiment of a method for user interaction in a communication system according to one of the preferred embodiments of the present invention
  • FIG. 2a is a schematic diagram illustrating the screen of the user's device of the sender at the stage of selecting the main virtual object
  • FIG. 2b is a schematic diagram illustrating the screen of the user device of the sender, which displays the step of defining the location of the main virtual object
  • FIG. 1 is a block diagram of an exemplary embodiment of a method for user interaction in a communication system according to one of the preferred embodiment
  • FIG. 2c is a schematic diagram illustrating the screen of the user's sender's device, on which a 3d animated virtual object is displayed as an object of augmented reality at a given location;
  • FIG. 2d is a schematic diagram illustrating the screen of the user's device of the sender at the stage of initiating the streaming of data;
  • FIG. 2e is a schematic diagram illustrating the screen of the recipient's user device at the stage of initiating receipt of the sender's streaming data;
  • FIG. 2f is a schematic diagram illustrating the screen of the recipient's user device displaying the sender's streaming data;
  • FIG. 2g is a schematic diagram illustrating the screen. the recipient's user device at the stage of initiating the start of streaming the recipient data;
  • FIG. 2h is a schematic diagram illustrating the screen of the user device of the recipient at the stage of selecting the main virtual object
  • FIG. 2i is a schematic diagram illustrating the recipient's user device screen, which displays the step of defining the location of the main virtual object
  • FIG. 2j is a schematic diagram illustrating the screen of the recipient user device at the stage of streaming the recipient data
  • FIG. 2k is a schematic diagram illustrating the screen of the user's sender device at the stage of streaming the recipient data
  • FIG. 3 is a schematic representation of an embodiment of a user device according to one of the preferred embodiments of the present invention
  • FIG. 4 is a schematic representation of an embodiment of a communication system in accordance with one of the preferred embodiments of the present invention.
  • the present invention relates to a method of user interaction in a communication system, a user device for organizing user interaction in a communication system, a communication system allowing to implement this method, and a computer-readable medium on which program instructions are stored, initiating aspects of a user interaction method according to the present invention.
  • a method for user interaction in a communication system including real-time streaming of sender data relating to location data displayed on a user's sender device screen using an image capture device of a sender user device, as well as data on at least one primary virtual object controlled by the sender and displayed on the screen
  • the user device of the sender with reference to the specified location displayed on the screen of the user device of the sender as an object of augmented reality, displaying in real time the streaming data of the sender on the screen of the user device at least one receiver, real-time streaming of data by at least at least one recipient relating to data about at least one primary virtual object controlled by the recipient m and displayed on the screen of the recipient user devices with reference to a specific location displayed on the screen of the recipient user device, as an object of augmented reality, together with the streaming data of the sender.
  • a user device for organizing user interaction in a communication system including an image capture device, at least one processor, a machine-readable medium connected to at least one processor and containing program instructions for user interaction in the communication system, which, when executed by at least one processor, ensures that real-time streaming of data related to location data displayed on the screen of the user device using the image capture device of the user device, as well as data on at least one monitored main virtual object displayed on the screen of the user device with reference to specified location displayed on the screen of the user device as an object of augmented reality, providing the ability to display in Real-time streaming data on the screen of the user device, enabling real-time streaming of data related to data on at least one controlled primary virtual object displayed on the screen of the user device with reference to the specified location displayed on the screen user device, as an object of augmented reality, together with streaming data that is displayed.
  • a communication system that allows user devices and a server to communicate with each other, containing software instructions located on a machine-readable media of a user device, which, when executed by at least one processor of the user device, ensures that Real-time streaming of data related to location data and displayed on the screen of the user device using the device capturing the image of the user device, as well as data on at least one controlled main virtual object displayed on the screen of the user device with reference to the specified location displayed on the screen of the user device as an object of augmented reality , providing the ability to display real-time streaming data on the screen of a user device;
  • a computer-readable media contains software instructions for user interaction in a communication system, which, when executed by at least one processor of a user device, provides the possibility of real-time streaming of data related to data about the location displayed on the screen of the user device using an image capture device user device, as well as data on at least one controlled primary virtual object displayed on the user device screen with reference to a specified location displayed on the user device screen, as an augmented reality object, providing the ability to display live streaming data on user device screen, enabling real-time streaming of data, relating to hsya to data about at least one controlled main virtual object displayed on the screen of the user device with reference to the specified location displayed on the screen of the user device as an object of augmented reality, together with streaming data that is displayed.
  • the sender has the ability to real-time streaming of data related to data on its location captured by the camera of its user device, and to data on the main virtual object displayed on the screen of its user device with reference to the specified location as an object augmented the sender's reality.
  • the latter is connected to the streaming of the sender’s data by streaming the data related to another main virtual object.
  • This primary recipient virtual object is displayed on the user device screens of both the sender and the recipient and is defined as the sender's augmented reality object.
  • the sender and receiver control only the actions of their primary virtual objects.
  • the above features provide the user with a new type and format of communication, affect the emotional atmosphere that is created between users, increase the interest of users in the implementation of this interaction.
  • User devices and a server in a communication system are communicated via a network through which connections between the server and user devices are established to enable user interaction in the communication system according to the described method, including without limitation the Internet, wireless communication networks, networks using standard communication technologies and / or protocols.
  • the described communication system can function on any suitable user devices, regardless of the operating systems installed on them.
  • User access to the communication system can be carried out using the appropriate application installed on the user device via the network.
  • An application is a program installed on the user's device and intended for user interaction in the communication system.
  • a user device for example, a smartphone, tablet computer, augmented reality glasses, or any other device that contains an image capture device capable of displaying the world around the user (for example, a camera), a display component capable of providing the user with the ability to see the displayed an image capturing world around you (for example, a user device screen) and a network component that allows you to communicate with at least at least one other user device.
  • an image capture device capable of displaying the world around the user (for example, a camera)
  • a display component capable of providing the user with the ability to see the displayed an image capturing world around you (for example, a user device screen)
  • a network component that allows you to communicate with at least at least one other user device.
  • Such devices must have a computing capacity and components sufficient to run and execution of applications based on the current location, as well as for streaming data.
  • the sender should be understood as a user of a communication system that streams data in real time, and as a receiver — a user who receives streaming data in real time.
  • the sender's streaming data contains data about the sender's real-world objects displayed on the screen of the sender's user device using the image capture device of the sender's user device, as well as data on at least one virtual object controlled by the sender and displayed on the screen of the user's sender as augmented object the sender's reality. It is obvious that the recipient, who decides to stream the recipient data together with the streaming data of the sender, automatically becomes the sender.
  • the recipient should be understood as the recipient who becomes the "matchmaker".
  • the streaming data of such a recipient which streams the data together with the sender, contains data about at least one primary virtual object controlled by the recipient and displayed on the screen of the recipient's user device as the sender's augmented reality object.
  • the recipient may receive a notification to his user device about the sender’s streaming the data and the ability to receive the specified data.
  • Such notification may also be a publication in the message stream of interacting users with the possibility of the recipient to open the publication with the further implementation of the steps of the method according to the present invention.
  • the sender and the at least one recipient prior to streaming, perform at least one of the selection of the primary virtual object among the available virtual objects through the user interface on the screen of the user device and the placement of the main virtual object on the screen of the user device with reference to the specified location, displayed on the screen of the user device, with its display as an object of augmented reality tpravitelya.
  • the sender and the at least one recipient perform at least one of combining the displayed primary virtual object with the additional virtual entity, setting a new location on the screen of the user device, and then moving the displayed primary virtual object on the screen of the user device at a given location, replacements are displayed the primary virtual object on the user device screen to another primary virtual object available for selection of the main virtual objects via the user interface on the user device screen.
  • both the sender and the recipient during the real-time streaming of data control their own primary virtual objects independently of each other.
  • This control includes a replacement. the displayed primary virtual object to another primary virtual object from the list of primary virtual objects available for replacement, as well as changing the location of the primary virtual object on the screen of the user device.
  • each of the users streaming data can combine their main virtual object with additional virtual objects.
  • At least one of the 2d static or animated virtual object, 3d static or animated virtual object is used as the primary virtual object.
  • a primary virtual object with an additional one can be implemented as allowing the sender and / or receiver to attach an additional virtual object to the primary virtual object.
  • the additional virtual object can be attached to the main virtual object at any time: at the initial specified location of the primary virtual object on the screen of the user's sender device, when the main virtual object moves, at the new specified location of the primary virtual object.
  • Additional virtual objects are also displayed on the screens of user devices of the sender and receiver as objects of augmented reality of the sender.
  • the additional virtual objects are mapped to the main virtual objects.
  • the location setting is provided by binding the main virtual object to a geographic location displayed by the image capturing device of the user's sender device, for example, by binding the specified object to the table surface displayed on the screen of the user device by the camera of the user's sender device. This applies to both the setting of the location by the sender and the setting of the location by the recipient.
  • the main virtual object is displayed, and subsequent movements of the main virtual object, which is, for example, a 3d animated virtual object, are made from the specified target location.
  • At least one of the interacting users both the one that streams the data and the one that receives the streaming data without streaming the data, is allowed to perform at least one of the following operations: sending a text message, sending a voice message, sending a video message, sending a multimedia message Ia, a video call.
  • the sender and / or at least one recipient of the main virtual object can be displayed on the screens of user devices from different angles and from different viewpoints. This means that after displaying at least one primary virtual object on the screens of user devices of the sender and / or recipient, the user can view the primary virtual object using an image capture device. your user device from different viewpoints, for example, from the top, side, or go around it.
  • FIG. 1 illustrates a block diagram of an exemplary embodiment of a method for user interaction in a communication system according to one of the preferred embodiments of the present invention. The steps of the method illustrated in the flowchart will be further described in more detail with reference to FIG. 2a - 2k.
  • the sender’s real-world objects 204 are displayed on the screen 200 of the user device 202 of the sender using the image capture device of the sender’s user device 202 and the panel 206 with basic virtual objects available for selection, as illustrated in FIG. 2a
  • the sender selects the primary virtual object 208 of the basic virtual objects available for selection. This step is described in block 100 of the flowchart shown in FIG. one.
  • the sender places the selected primary virtual object 208 on the screen 200 of the user device 202 of the sender. For this, the sender sets the location 210 of the primary virtual object 208, as illustrated in FIG. 2b.
  • the specified location 210 is displayed by the image capturing device of the user device 202 of the sender on the screen 200 of the user device 202 of the sender.
  • the sender can specify the location of an object, for example, by touching a specific location on the touchscreen 200 or dragging the selected primary virtual object 208 on the touchscreen 200 to a specific location, after which the specified object 208 is attached to a given geographical location displayed by the user’s device sender device 202, and is displayed as an augmented reality object, as illustrated in FIG. 2c. Those.
  • both the primary virtual object 208 and the objects 204 in the real world of the sender are displayed, which the image capture device of the user device 202 of the sender is facing.
  • the sender can inspect the displayed primary virtual object 208 from different sides through the screen 200 of the user device 202 of the sender, changing the viewing angle using the image capturing device of the user device 202 of the sender.
  • the primary virtual object 208 is a 3d animated virtual object. This stage of placing the main virtual object 208 is described in block 102 of the flowchart shown in FIG. one
  • the sender may in any sequence, for example, combine the displayed primary virtual object 208 with an additional virtual object (for example, text, 2d or 3d virtual object, audio or video); set a new location on the screen 200 of the user device 202 of the sender, as described above, and then moving the displayed primary virtual object 208 on the screen 200 of the user device 202 of the sender to a new specified location; replace the displayed primary virtual object 208 on the screen 200 of the user device 202 of the sender with another primary virtual object available for selection of the basic virtual objects through the user interface on the screen 200 of the user device 202 sender, etc.
  • an additional virtual object for example, text, 2d or 3d virtual object, audio or video
  • Combining the primary virtual object 208 with additional virtual objects can be accomplished, for example, by selecting the appropriate additional virtual object from files stored on the sender's user device 202, for example, from photos, or by selecting from selectable examples that drop down after touching with the finger of the corresponding window that says “Click to add an additional virtual object”.
  • the sender can perform any available actions on his displayed primary virtual object (primary virtual object 208 or a new primary virtual object with which the primary virtual object 208 can be replaced), i.e. manage your primary virtual object.
  • real-time data will be streamed relating to the data about the sender’s real-world objects 204, displayed using the image capture device of the sender’s user device 202, and data relating to the sender’s virtual objects data displayed on the screen 200 devices 202, as objects of the augmented reality of the sender (the main and additional virtual objects of the sender), i.e., for example, data related to finding the of the virtual object 208 at a predetermined location, displaying additional virtual objects in association with the main virtual object 208, with the movement of the ground 208 of the virtual object.
  • objects of the augmented reality of the sender the main and additional virtual objects of the sender
  • the recipient is provided with the option of receiving the sender's streaming data via the corresponding icon 214, as illustrated in FIG. 2e, the touch of which initiates the display of the streaming data of the sender on the screen 216 of the recipient's user device 218.
  • the sender's streaming data is displayed relating to the sender’s real-world objects 204 and to the sender’s main virtual object 208, as illustrated in FIG. 2f. This step of displaying streaming data is described in block 106 of the flowchart shown in FIG.
  • the recipient can observe what is happening on the screen. 216 user device 218 of the recipient and at a certain point in time to decide that he wants to stream data (receiver data) together with streaming data of the sender.
  • the recipient is provided with the option of implementing their own streaming of data through the corresponding icon 220, as illustrated in FIG. 2g, the touch of which initiates the start of streaming the sender's data.
  • the recipient selects the primary virtual object 222 on the screen 216 of the recipient's user device 218, as illustrated in FIG. 2h.
  • the location 224 is set on the screen 216 of the recipient user device 218 displaying the streaming data of the sender, as illustrated in FIG. 2i, for further attaching the recipient primary virtual object 222, as illustrated in FIG. 2j.
  • the recipient's actions performed to set the location of the primary virtual recipient object on the screen of the recipient's user device are similar to the actions of the sender when he sets the location of the primary virtual object of the sender.
  • the selected primary virtual recipient object 222 is displayed as the sender's augmented reality object. This step of streaming the recipient data is described in block 108 of the flowchart shown in FIG. one.
  • the recipient and the sender now display the data of multiple streaming, related to the streaming data of the recipient (primary virtual object 222 of the recipient) and to the streaming data of the sender (primary virtual object 208 of the sender and objects 204 of the real world of the sender), as illustrated in FIG. 2j and 2k respectively.
  • the recipient can perform any available actions on their primary virtual object similar to the available actions of the sender in relation to their primary virtual object.
  • Each of the users streaming real-time data controls its own primary virtual object independently of the other user.
  • Both the sender and the recipient can view the displayed main virtual objects 208 and 222 from different sides through the screens of their own user devices, changing the viewing angle using the image capturing device of the user device.
  • FIG. 3 is a schematic representation of an embodiment of a user device according to one embodiment of the present invention.
  • the specified user device can be both the user device of the sender and the user device of the recipient and contains the processor 300 and its associated screen 302, computer-readable media 304, network component 306 and image pickup device 308.
  • FIG. 4 shows a schematic representation of an example implementation of a communication system in accordance with one embodiment of the present invention.
  • the specified communication system contains the server 400 and its associated sender and recipient user devices 402 and 404, respectively.
  • the streaming of data from the sender's user device is carried out by the server 400.
  • the user interaction method in the communication system, the user device for organizing user interaction in the communication system, the communication system allowing to implement this method, and computer-readable media on which program instructions are stored that initiate the execution of aspects of the user interaction method according to the present invention is not limited to the specific features or steps described above. On the contrary, the specific features and steps described above are disclosed as examples implementing the present invention, and other equivalent features and steps may be covered by the scope of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Information Transfer Between Computers (AREA)
  • Processing Or Creating Images (AREA)

Abstract

What is claimed is: a method for user interaction in a communication system, comprising carrying out real-time live streaming of data from a sender relating to data about a location shown on the screen of the sender's user device with the aid of an image capture device of the sender's user device, and also to data about at least one main virtual object which can be controlled by the sender and shown on the screen of the sender's user device such as to be associated with the specific location shown on the screen of the sender's user device, said object being shown as an augmented reality object, and showing, in real time, live streaming data from the sender on the screen of a user device of at least one receiver, and carrying out real-time live streaming of data from at least one receiver relating to data about at least one main virtual object which can be controlled by the receiver and shown on the receiver's user device such as to be associated with a specific location shown on the screen of the receiver's user device, said object being shown as an augmented reality object, together with live streaming of data from the sender.

Description

ВЗАИМОДЕЙСТВИЕ ПОЛЬЗОВАТЕЛЕЙ В КОММУНИКАЦИОННОЙ СИСТЕМЕ ПРИ ПОМОЩИ МНОЖЕСТВЕННОГО ПОТОКОВОГО ВЕЩАНИЯ ДАННЫХ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ  INTERACTION OF USERS IN THE COMMUNICATION SYSTEM WITH THE HELP OF MULTIPLE FLOW BROADCASTING OF DATA OF ADDED REALITY
ОБЛАСТЬ ТЕХНИКИ TECHNICAL FIELD
Изобретение относится к области коммуникационных технологий, в частности - к способу множественного потокового вещания данных, относящихся к данным о виртуальных объектах дополненной реальности, в режиме реального времени. The invention relates to the field of communication technologies, in particular to a method of multiple streaming of data related to data on virtual objects of augmented reality, in real time.
УРОВЕНЬ ТЕХНИКИ BACKGROUND
С развитием технологий дополненной реальности появляются все новые и новые способы осуществления потокового вещания данных в коммуникационных системах, предоставляющие пользователям возможность осуществлять потоковое вещание данных или онлайн-трансляции в режиме реального времени, используя виртуальные объекты дополненной реальности. Как правило, один из пользователей осуществляет онлайн-трансляцию, а другие пользователи могут присоединиться к ней в качестве зрителей. С целью выявления большей заинтересованности у зрителей существует возможность улучшения известных способов осуществления потокового вещания данных путем расширения и дополнения их функциональных возможностей. With the development of augmented reality technologies, more and more new ways of streaming data in communication systems appear, giving users the ability to stream data or broadcast online in real time using virtual objects of augmented reality. As a rule, one of the users broadcasts online, and other users can join it as viewers. In order to identify greater interest among viewers, there is the possibility of improving the known methods for streaming data by expanding and supplementing their functionality.
КРАТКОЕ ИЗЛОЖЕНИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ SUMMARY OF THE INVENTION
Идея настоящего изобретения заключается в том, что отправитель в режиме реального времени осуществляет потоковое вещание данных, относящихся к данным о местоположении, захватываемом камерой пользовательского устройства отправителя и отображаемом на экране пользовательского устройства отправителя, и к данным о контролируемом отправителем основном виртуальном объекте, отображаемом на экране пользовательского устройства отправителя с привязкой к заданному местоположению как объект дополненной реальности отправителя. Для дальнейшего осуществления множественного потокового вещания данных во время отображения данных потокового вещания отправителя на экранах пользовательских устройств получателей по меньшей мере один из указанных получателей может присоединиться к потоковому вещанию данных отправителя путем осуществления собственного потокового вещания данных, относящихся к другому основному виртуальному объекту. Для этого данный основной виртуальный объект получатель привязывает к заданному местоположению, данные о котором передаются посредством потокового вещания данных отправителя и отображаются на экране пользовательского устройства получателя, после чего указанный основной виртуальный объект отображается на экранах пользовательских устройств как отправителя, так и получателя и определяется при этом как объект дополненной реальности отправителя. Отправитель и получатель контролируют действия только своих виртуальных объектов. Остальные получатели потокового вещания данных отправителя, не принимающие участия в совместном, множественном, потоковом вещании данных, наблюдают на экранах своих пользовательских устройств виртуальные объекты, контролируемые как отправителем, так и получателем и отображаемые с привязкой к заданным местоположениям того местоположения, которое захватывается камерой пользовательского устройства отправителя и данные о котором передаются посредством потокового вещания данных отправителя. The idea of the present invention is that the sender in real-time streaming data related to the location data captured by the camera of the user's device of the sender and displayed on the screen of the user's device of the sender, and to data about the sender-controlled primary virtual object displayed on the screen user device of the sender with reference to the specified location as an object of augmented reality sender. To further carry out multiple streaming of data while displaying the streaming data of the sender on the screens of the recipient user devices, at least one of the specified recipients can join the streaming of the sender’s data by performing its own streaming broadcast of data related to the other main virtual object. To do this, this primary virtual object binds the recipient to a specified location, data about which is transmitted by streaming the sender's data and displayed on the screen of the recipient’s user device, after which the specified primary virtual object is displayed on the screens of user devices of both the sender and the recipient and is determined as an object of augmented reality sender. The sender and receiver control only the actions of their virtual objects. The remaining recipients of the streaming data of the sender, not participating in the joint, multi-streaming data, see on the screens of their user devices virtual objects controlled by the sender and the receiver and displayed with reference to the specified locations of the location captured by the camera of the user device the sender and the data about which are transmitted by streaming the sender data.
Это краткое изложение сущности изобретения предоставлено для ознакомления с идеей изобретения в упрощенной форме, которая дополнительно раскрыта ниже в Подробном описании изобретения. Данное Краткое изложение сущности изобретения не является направленным на определение существенных признаков заявленных объектов изобретения, а также не является направленным на использование с целью ограничения объема изобретения. This summary of the invention is provided to introduce the idea of the invention in a simplified form, which is further disclosed below in the Detailed Description of the invention. This Summary of the invention is not intended to identify the essential features of the claimed objects of the invention, nor is it intended to be used for the purpose of limiting the scope of the invention.
КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ Заявляемое изобретение поясняется с помощью следующих фигур, являющихся неограничивающими примерами реализации настоящего изобретения: фиг. 1 - блок-схема примера осуществления способа взаимодействия пользователей в коммуникационной системе согласно одному из предпочтительных вариантов осуществления настоящего изобретения; фиг. 2а - схематическое изображение, иллюстрирующее экран пользовательского устройства отправителя на этапе выбора основного виртуального объекта; фиг. 2Ь - схематическое изображение, иллюстрирующее экран пользовательского устройства отправителя, на котором отображен этап задания местоположения основного виртуального объекта; фиг. 2с - схематическое изображение, иллюстрирующее экран пользовательского устройства отправителя, на котором отображен 3d анимированный виртуальный объект как объект дополненной реальности в заданном местоположении; фиг. 2d - схематическое изображение, иллюстрирующее экран пользовательского устройства отправителя на этапе инициирования потокового вещания данных; фиг. 2е - схематическое изображение, иллюстрирующее экран пользовательского устройства получателя на этапе инициирования получения данных потокового вещания отправителя; фиг. 2f - схематическое изображение, иллюстрирующее экран пользовательского устройства получателя, на котором отображены данные потокового вещания отправителя; фиг. 2g - схематическое изображение, иллюстрирующее экран пользовательского устройства получателя на этапе инициирования начала потокового вещания данных получателя; фиг. 2h - схематическое изображение, иллюстрирующее экран пользовательского устройства получателя на этапе выбора основного виртуального объекта; фиг. 2i - схематическое изображение, иллюстрирующее экран пользовательского устройства получателя, на котором отображен этап задания местоположения основного виртуального объекта; фиг. 2j - схематическое изображение, иллюстрирующее экран пользовательского устройства получателя на этапе осуществления потокового вещания данных получателя; фиг. 2к - схематическое изображение, иллюстрирующее экран пользовательского устройства отправителя на этапе осуществления потокового вещания данных получателя; фиг. 3 - схематическое изображение примера осуществления пользовательского устройства согласно одному из предпочтительных вариантов осуществления настоящего изобретения; фиг. 4 - схематическое изображение примера осуществления коммуникационной системы согласно одному из предпочтительных вариантов осуществления настоящего изобретения. BRIEF DESCRIPTION OF GRAPHIC MATERIALS The invention is illustrated by the following figures, which are non-limiting examples of the implementation of the present invention: FIG. 1 is a block diagram of an exemplary embodiment of a method for user interaction in a communication system according to one of the preferred embodiments of the present invention; FIG. 2a is a schematic diagram illustrating the screen of the user's device of the sender at the stage of selecting the main virtual object; FIG. 2b is a schematic diagram illustrating the screen of the user device of the sender, which displays the step of defining the location of the main virtual object; FIG. 2c is a schematic diagram illustrating the screen of the user's sender's device, on which a 3d animated virtual object is displayed as an object of augmented reality at a given location; FIG. 2d is a schematic diagram illustrating the screen of the user's device of the sender at the stage of initiating the streaming of data; FIG. 2e is a schematic diagram illustrating the screen of the recipient's user device at the stage of initiating receipt of the sender's streaming data; FIG. 2f is a schematic diagram illustrating the screen of the recipient's user device displaying the sender's streaming data; FIG. 2g is a schematic diagram illustrating the screen. the recipient's user device at the stage of initiating the start of streaming the recipient data; FIG. 2h is a schematic diagram illustrating the screen of the user device of the recipient at the stage of selecting the main virtual object; FIG. 2i is a schematic diagram illustrating the recipient's user device screen, which displays the step of defining the location of the main virtual object; FIG. 2j is a schematic diagram illustrating the screen of the recipient user device at the stage of streaming the recipient data; FIG. 2k is a schematic diagram illustrating the screen of the user's sender device at the stage of streaming the recipient data; FIG. 3 is a schematic representation of an embodiment of a user device according to one of the preferred embodiments of the present invention; FIG. 4 is a schematic representation of an embodiment of a communication system in accordance with one of the preferred embodiments of the present invention.
ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ DETAILED DESCRIPTION OF THE INVENTION
Настоящее изобретение относится к способу взаимодействия пользователей в коммуникационной системе, пользовательскому устройству для организации взаимодействия пользователей в коммуникационной системе, коммуникационной системе, позволяющей реализовать указанный способ, и машиночитаемому носителю, на котором сохранены программные инструкции, инициирующие выполнение аспектов способа взаимодействия пользователей согласно настоящему изобретению. The present invention relates to a method of user interaction in a communication system, a user device for organizing user interaction in a communication system, a communication system allowing to implement this method, and a computer-readable medium on which program instructions are stored, initiating aspects of a user interaction method according to the present invention.
В соответствии с первым аспектом настоящего изобретения предложен способ взаимодействия пользователей в коммуникационной системе, включающий осуществление в режиме реального времени потокового вещания данных отправителя, относящихся к данным о местоположении, отображаемом на экране пользовательского устройства отправителя при помощи устройства захвата изображения пользовательского устройства отправителя, а также к данным о по меньшей мере одном основном виртуальном объекте, контролируемом отправителем и отображаемом на экране пользовательского устройства отправителя с привязкой к заданному местоположению, отображаемому на экране пользовательского устройства отправителя, как объект дополненной реальности, отображение в режиме реального времени данных потокового вещания отправителя на экране пользовательского устройства по меньшей мере одного получателя, осуществление в режиме реального времени потокового вещания данных по меньшей мере одного получателя, относящихся к данным о по меньшей мере одном основном виртуальном объекте, контролируемом получателем и отображаемом на экране пользовательского устройства получателя с привязкой к заданному местоположению, отображаемому на экране пользовательского устройства получателя, как объект дополненной реальности, совместно с потоковым вещанием данных отправителя. В соответствии со вторым аспектом настоящего изобретения предложено пользовательское устройство для организации взаимодействия пользователей в коммуникационной системе, включающее устройство захвата изображения, по меньшей мере один процессор, машиночитаемый носитель, соединенный с по меньшей мере одним процессором и содержащий программные инструкции для взаимодействия пользователей в коммуникационной системе, которые при приведении их в исполнение по меньшей мере одним процессором обеспечивают предоставление возможности осуществления в режиме реального времени потокового вещания данных, относящихся к данным о местоположении, отображаемом на экране пользовательского устройства при помощи устройства захвата изображения пользовательского устройства, а также к данным о по меньшей мере одном контролируемом основном виртуальном объекте, отображаемом на экране пользовательского устройства с привязкой к заданному местоположению, отображаемому на экране пользовательского устройства, как объект дополненной реальности, предоставление возможности отображения в режиме реального времени данных потокового вещания на экране пользовательского устройства, предоставление возможности осуществления в режиме реального времени потокового вещания данных, относящихся к данным о по меньшей мере одном контролируемом основном виртуальном объекте, отображаемом на экране пользовательского устройства с привязкой к заданному местоположению, отображаемому на экране пользовательского устройства, как объект дополненной реальности, совместно с потоковым вещанием данных, которые отображаются. In accordance with the first aspect of the present invention, a method for user interaction in a communication system is proposed, including real-time streaming of sender data relating to location data displayed on a user's sender device screen using an image capture device of a sender user device, as well as data on at least one primary virtual object controlled by the sender and displayed on the screen The user device of the sender with reference to the specified location displayed on the screen of the user device of the sender as an object of augmented reality, displaying in real time the streaming data of the sender on the screen of the user device at least one receiver, real-time streaming of data by at least at least one recipient relating to data about at least one primary virtual object controlled by the recipient m and displayed on the screen of the recipient user devices with reference to a specific location displayed on the screen of the recipient user device, as an object of augmented reality, together with the streaming data of the sender. In accordance with the second aspect of the present invention, there is provided a user device for organizing user interaction in a communication system, including an image capture device, at least one processor, a machine-readable medium connected to at least one processor and containing program instructions for user interaction in the communication system, which, when executed by at least one processor, ensures that real-time streaming of data related to location data displayed on the screen of the user device using the image capture device of the user device, as well as data on at least one monitored main virtual object displayed on the screen of the user device with reference to specified location displayed on the screen of the user device as an object of augmented reality, providing the ability to display in Real-time streaming data on the screen of the user device, enabling real-time streaming of data related to data on at least one controlled primary virtual object displayed on the screen of the user device with reference to the specified location displayed on the screen user device, as an object of augmented reality, together with streaming data that is displayed.
В соответствии с третьим аспектом настоящего изобретения предложена коммуникационная система, которая обеспечивает взаимодействие пользовательских устройств и сервера межу собой, содержащая программные инструкции, расположенные на машиночитаемом носителе пользовательского устройства, которые при приведении их в исполнение по меньшей мере одним процессором пользовательского устройства обеспечивают предоставление возможности осуществления в режиме реального времени потокового вещания данных, относящихся к данным о местоположении, отображаемом на экране пользовательского устройства при помощи устройства захвата изображения пользовательского устройства, а также к данным о по меньшей мере одном контролируемом основном виртуальном объекте, отображаемом на экране пользовательского устройства с привязкой к заданному местоположению, отображаемому на экране пользовательского устройства, как объект дополненной реальности, предоставление возможности отображения в режиме реального времени данных потокового вещания на экране пользовательского устройства, предоставление возможности осуществления в режиме реального времени потокового вещания данных, относящихся к данным о по меньшей мере одном контролируемом основном виртуальном объекте, отображаемом на экране пользовательского устройства с привязкой к заданному местоположению, отображаемому на экране пользовательского устройства, как объект дополненной реальности, совместно с потоковым вещанием данных, которые отображаются; и программные инструкции, расположенные на машиночитаемом носителе сервера, которые при приведении их в исполнение по меньшей мере одним процессором сервера обеспечивают получение сервером данных потокового вещания от пользовательского устройства отправителя и передачу полученных данных потокового вещания от сервера на пользовательское устройство по меньшей мере одного получателя. In accordance with the third aspect of the present invention, a communication system is proposed that allows user devices and a server to communicate with each other, containing software instructions located on a machine-readable media of a user device, which, when executed by at least one processor of the user device, ensures that Real-time streaming of data related to location data and displayed on the screen of the user device using the device capturing the image of the user device, as well as data on at least one controlled main virtual object displayed on the screen of the user device with reference to the specified location displayed on the screen of the user device as an object of augmented reality , providing the ability to display real-time streaming data on the screen of a user device; The pressure capabilities of real-time data streaming broadcasting mode related to data on the at least one controlled mainly virtual object displayed on the screen of the user device with reference to a specific location displayed on the screen of the user device, as an object of augmented reality, in conjunction with streaming the data that is displayed; and software instructions located on the server's machine-readable media, which, when executed by at least one server processor, ensure that the server receives streaming data from the sender’s user device and transfers the streaming data received from the server to the user’s device at least one recipient.
В соответствии с четвертым аспектом настоящего изобретения предложен машиночитаемый носитель, содержащий программные инструкции для взаимодействия пользователей в коммуникационной системе, которые при приведении их в исполнение по меньшей мере одним процессором пользовательского устройства обеспечивают предоставление возможности осуществления в режиме реального времени потокового вещания данных, относящихся к данным о местоположении, отображаемом на экране пользовательского устройства при помощи устройства захвата изображения пользовательского устройства, а также к данным о по меньшей мере одном контролируемом основном виртуальном объекте, отображаемом на экране пользовательского устройства с привязкой к заданному местоположению, отображаемому на экране пользовательского устройства, как объект дополненной реальности, предоставление возможности отображения в режиме реального времени данных потокового вещания на экране пользовательского устройства, предоставление возможности осуществления в режиме реального времени потокового вещания данных, относящихся к данным о по меньшей мере одном контролируемом основном виртуальном объекте, отображаемом на экране пользовательского устройства с привязкой к заданному местоположению, отображаемому на экране пользовательского устройства, как объект дополненной реальности, совместно с потоковым вещанием данных, которые отображаются. In accordance with the fourth aspect of the present invention, a computer-readable media is proposed that contains software instructions for user interaction in a communication system, which, when executed by at least one processor of a user device, provides the possibility of real-time streaming of data related to data about the location displayed on the screen of the user device using an image capture device user device, as well as data on at least one controlled primary virtual object displayed on the user device screen with reference to a specified location displayed on the user device screen, as an augmented reality object, providing the ability to display live streaming data on user device screen, enabling real-time streaming of data, relating to hsya to data about at least one controlled main virtual object displayed on the screen of the user device with reference to the specified location displayed on the screen of the user device as an object of augmented reality, together with streaming data that is displayed.
Таким образом, отправитель имеет возможность в режиме реального времени осуществлять потоковое вещание данных, относящихся к данным о его местоположении, захватываемом камерой его пользовательского устройства, и к данным об основном виртуальном объекте, отображаемом на экране его пользовательского устройства с привязкой к заданному местоположению как объект дополненной реальности отправителя. Для дальнейшего осуществления множественного потокового вещания данных во время отображения данных потокового вещания отправителя на экране пользовательского устройства получателя последний присоединяется к потоковому вещанию данных отправителя путем осуществления своего потокового вещания данных, относящихся к другому основному виртуальному объекту. Данный основной виртуальный объект получателя отображается на экранах пользовательских устройств как отправителя, так и получателя и определяется при этом как объект дополненной реальности отправителя. Отправитель и получатель контролируют действия только своих основных виртуальных объектов. Остальные получатели данных потокового вещания отправителя, не принимающие участия в совместном, множественном вещании, наблюдают на экранах своих пользовательских устройств оба основных виртуальных объекта, контролируемые отправителем и получателем независимо друг от друга и отображаемые с привязкой к данным о местоположении отправителя. Thus, the sender has the ability to real-time streaming of data related to data on its location captured by the camera of its user device, and to data on the main virtual object displayed on the screen of its user device with reference to the specified location as an object augmented the sender's reality. For the further implementation of multiple streaming of data while displaying the streaming data of the sender on the screen of the recipient’s user device, the latter is connected to the streaming of the sender’s data by streaming the data related to another main virtual object. This primary recipient virtual object is displayed on the user device screens of both the sender and the recipient and is defined as the sender's augmented reality object. The sender and receiver control only the actions of their primary virtual objects. The remaining recipients of the streaming data of the sender who are not participating in the joint, multiple broadcasting, observe on the screens of their user devices both main virtual objects controlled by the sender and receiver independently of each other and displayed with reference to the sender's location data.
Вышеописанные возможности предоставляют пользователю новый вид и формат общения, влияют на эмоциональную атмосферу, которая создается между пользователями, увеличивают заинтересованность пользователей в осуществлении подобного взаимодействия. The above features provide the user with a new type and format of communication, affect the emotional atmosphere that is created between users, increase the interest of users in the implementation of this interaction.
Пользовательские устройства и сервер в коммуникационной системе сообщены через сеть, при помощи которой устанавливают соединения между сервером и пользовательскими устройствами для осуществления взаимодействия пользователей в коммуникационной системе согласно описанному способу, включающую без ограничения сеть интернет, беспроводные коммуникационные сети, сети, использующие стандартные коммуникационные технологии и/или протоколы. User devices and a server in a communication system are communicated via a network through which connections between the server and user devices are established to enable user interaction in the communication system according to the described method, including without limitation the Internet, wireless communication networks, networks using standard communication technologies and / or protocols.
Описанная коммуникационная система может функционировать на любых подходящих пользовательских устройствах вне зависимости от установленных на них операционных систем. The described communication system can function on any suitable user devices, regardless of the operating systems installed on them.
Доступ пользователя к коммуникационной системе может осуществляться при помощи соответствующего приложения, установленного на пользовательском устройстве, посредством сети. User access to the communication system can be carried out using the appropriate application installed on the user device via the network.
Под приложением понимают программу, установленную на пользовательском устройстве пользователя и предназначенную для взаимодействия пользователей в коммуникационной системе. An application is a program installed on the user's device and intended for user interaction in the communication system.
В качестве пользовательского устройства может быть использован, например, смартфон, планшетный компьютер, очки дополненной реальности или же любое другое устройство, которое содержит устройство захвата изображения, способное отображать окружающий пользователя мир (например, камера), компонент отображения, способный обеспечивать пользователя возможностью видеть отображаемый устройством захвата изображения окружающий мир (например, экран пользовательского устройства) и сетевой компонент, позволяющий устанавливать связь с по меньшей мере одним другим пользовательским устройством. Такие устройства должны иметь вычислительную способность и компоненты, достаточные для запуска и исполнения приложений с учетом текущего местоположения, а также для осуществления потокового вещания данных. As a user device, for example, a smartphone, tablet computer, augmented reality glasses, or any other device that contains an image capture device capable of displaying the world around the user (for example, a camera), a display component capable of providing the user with the ability to see the displayed an image capturing world around you (for example, a user device screen) and a network component that allows you to communicate with at least at least one other user device. Such devices must have a computing capacity and components sufficient to run and execution of applications based on the current location, as well as for streaming data.
В контексте настоящего описания под взаимодействующими пользователями следует понимать отправителя и получателя. При этом под отправителем следует понимать пользователя коммуникационной системы, осуществляющего потоковое вещание данных в режиме реального времени, а под получателем - пользователя, принимающего данные потокового вещания в режиме реального времени. Данные потокового вещания отправителя содержат данные об объектах реального мира отправителя, отображаемых на экране пользовательского устройства отправителя при помощи устройства захвата изображения пользовательского устройства отправителя, а также данные о по меньшей мере одном виртуальном объекте, контролируемом отправителем и отображаемом на экране пользовательского устройства отправителя как объект дополненной реальности отправителя. Очевидно, что получатель, который принимает решение осуществлять потоковое вещание данных получателя совместно с потоковым вещанием данных отправителя, автоматически становится отправителем. Далее в контексте данной заявки под получателем следует понимать получателя, который становится «соотправителем». Данные потокового вещания такого получателя, который осуществляет потоковое вещание данных совместно с отправителем, содержат данные о по меньшей мере одном основном виртуальном объекте, контролируемом получателем и отображаемом на экране пользовательского устройства получателя, как объект дополненной реальности отправителя. In the context of the present description, interacting users should understand the sender and recipient. In this case, the sender should be understood as a user of a communication system that streams data in real time, and as a receiver — a user who receives streaming data in real time. The sender's streaming data contains data about the sender's real-world objects displayed on the screen of the sender's user device using the image capture device of the sender's user device, as well as data on at least one virtual object controlled by the sender and displayed on the screen of the user's sender as augmented object the sender's reality. It is obvious that the recipient, who decides to stream the recipient data together with the streaming data of the sender, automatically becomes the sender. Further, in the context of this application, the recipient should be understood as the recipient who becomes the "matchmaker". The streaming data of such a recipient, which streams the data together with the sender, contains data about at least one primary virtual object controlled by the recipient and displayed on the screen of the recipient's user device as the sender's augmented reality object.
Получатель может получить уведомление на свое пользовательское устройство об осуществлении отправителем потокового вещания данных и возможности принять указанные данные. Такое уведомление также может представлять собой публикацию в ленту сообщений взаимодействующих пользователей с возможностью получателем открыть публикацию с дальнейшим осуществлением этапов способа согласно настоящему изобретению. Предпочтительно перед осуществлением потокового вещания отправитель и по меньшей мере один получатель осуществляют по меньшей мере одно из выбора основного виртуального объекта из доступных к выбору виртуальных объектов посредством пользовательского интерфейса на экране пользовательского устройства и размещения основного виртуального объекта на экране пользовательского устройства с привязкой к заданному местоположению, отображаемому на экране пользовательского устройства, с его отображением как объекта дополненной реальности отправителя. The recipient may receive a notification to his user device about the sender’s streaming the data and the ability to receive the specified data. Such notification may also be a publication in the message stream of interacting users with the possibility of the recipient to open the publication with the further implementation of the steps of the method according to the present invention. Preferably, prior to streaming, the sender and the at least one recipient perform at least one of the selection of the primary virtual object among the available virtual objects through the user interface on the screen of the user device and the placement of the main virtual object on the screen of the user device with reference to the specified location, displayed on the screen of the user device, with its display as an object of augmented reality tpravitelya.
В одном из наиболее предпочтительных вариантов осуществления настоящего изобретения во время осуществления потокового вещания отправитель и по меньшей мере один получатель осуществляют по меньшей мере одно из объединения отображаемого основного виртуального объекта с дополнительным виртуальным объектом, задания нового местоположения на экране пользовательского устройства с последующим передвижением отображаемого основного виртуального объекта на экране пользовательского устройства в заданное местоположение, замены отображаемого основного виртуального объекта на экране пользовательского устройства на другой основной виртуальный объект из доступных к выбору основных виртуальных объектов посредством пользовательского интерфейса на экране пользовательского устройства. In one of the most preferred embodiments of the present invention, during streaming, the sender and the at least one recipient perform at least one of combining the displayed primary virtual object with the additional virtual entity, setting a new location on the screen of the user device, and then moving the displayed primary virtual object on the screen of the user device at a given location, replacements are displayed the primary virtual object on the user device screen to another primary virtual object available for selection of the main virtual objects via the user interface on the user device screen.
Таким образом, как отправитель, так и получатель во время осуществления в режиме реального времени потокового вещания данных управляют своими собственными основными виртуальными объектами независимо друг от друга. Это управление включает в себя замену отображаемого основного виртуального объекта на другой основной виртуальный объект из списка доступных к замене основных виртуальных объектов, а также изменение местоположения основного виртуального объекта на экране пользовательского устройства. Также каждому из пользователей, осуществляющих потоковое вещание данных, доступно объединение своего основного виртуального объекта с дополнительными виртуальными объектами. Thus, both the sender and the recipient during the real-time streaming of data control their own primary virtual objects independently of each other. This control includes a replacement. the displayed primary virtual object to another primary virtual object from the list of primary virtual objects available for replacement, as well as changing the location of the primary virtual object on the screen of the user device. Also, each of the users streaming data can combine their main virtual object with additional virtual objects.
Предпочтительно в качестве основного виртуального объекта используют по меньшей мере один из 2d статичного или анимированного виртуального объекта, 3d статичного или анимированного виртуального объекта. Preferably, at least one of the 2d static or animated virtual object, 3d static or animated virtual object is used as the primary virtual object.
Также предпочтительно в качестве дополнительного виртуального объекта используют по меньшей мере один из 2d статичного (например, картинка, фотография) или анимированного виртуального объекта, 3d статичного (например, 3d рисунок) или анимированного виртуального объекта, текста, аудио (например, музыка, аудиоэффект, запись голоса пользователя) или видео. Объединение основного виртуального объекта с дополнительным может быть реализовано в качестве предоставления возможности отправителю и/или получателю прикрепить к основному виртуальному объекту дополнительный виртуальный объект. Предпочтительно дополнительный виртуальный объект может быть прикреплен к основному виртуальному объекту в любой момент времени: в начальном заданном местоположении основного виртуального объекта на экране пользовательского устройства отправителя, при осуществлении основным виртуальным объектом передвижения, в новом заданном местоположении основного виртуального объекта. Дополнительные виртуальные объекты также отображаются на экранах пользовательских устройств отправителя и получателя как объекты дополненной реальности отправителя. В предпочтительном варианте осуществления дополнительные виртуальные объекты отображаются с привязкой к основным виртуальным объектам. В одном из наиболее предпочтительных вариантов осуществления настоящего изобретения задание местоположения обеспечивают посредством привязки основного виртуального объекта к географическому местоположению, отображаемому устройством захвата изображения пользовательского устройства отправителя, например, посредством привязки указанного объекта к поверхности стола, отображаемой на экране пользовательского устройства камерой пользовательского устройства отправителя. Это относится как к заданию местоположения отправителем, так и к заданию местоположения получателем. Таким образом, в заданном местоположении отображается основной виртуальный объект, и последующие передвижения основного виртуального объекта, представляющего собой, например, 3d анимированный виртуальный объект, осуществляются уже из указанного заданного местоположения. It is also preferable to use at least one of 2d static (for example, a picture, photo) or animated virtual object, 3d static (for example, 3d drawing) or animated virtual object, text, audio (for example, music, audio effect, voice recording) or video. Combining a primary virtual object with an additional one can be implemented as allowing the sender and / or receiver to attach an additional virtual object to the primary virtual object. Preferably, the additional virtual object can be attached to the main virtual object at any time: at the initial specified location of the primary virtual object on the screen of the user's sender device, when the main virtual object moves, at the new specified location of the primary virtual object. Additional virtual objects are also displayed on the screens of user devices of the sender and receiver as objects of augmented reality of the sender. In a preferred embodiment, the additional virtual objects are mapped to the main virtual objects. In one of the most preferred embodiments of the present invention, the location setting is provided by binding the main virtual object to a geographic location displayed by the image capturing device of the user's sender device, for example, by binding the specified object to the table surface displayed on the screen of the user device by the camera of the user's sender device. This applies to both the setting of the location by the sender and the setting of the location by the recipient. Thus, at the specified location, the main virtual object is displayed, and subsequent movements of the main virtual object, which is, for example, a 3d animated virtual object, are made from the specified target location.
Предпочтительно во время отображения основного виртуального объекта на экранах пользовательских устройств по меньшей мере одному из взаимодействующих пользователей, как тому, который осуществляет потоковое вещание данных, так и тому, который принимает данные потокового вещания без осуществления своего потокового вещания данных, предоставляют возможность осуществления по меньшей мере одной из следующих операций: передачи текстового сообщения, передачи голосового сообщения, передачи видео сообщения, передачи мультимедийного сообщения, видео звонка. Preferably, during the display of the main virtual object on the screens of user devices, at least one of the interacting users, both the one that streams the data and the one that receives the streaming data without streaming the data, is allowed to perform at least one of the following operations: sending a text message, sending a voice message, sending a video message, sending a multimedia message Ia, a video call.
В одном из предпочтительных вариантов осуществления настоящего изобретения обеспечивают возможность отображения на экранах пользовательских устройств отправителя и/или по меньшей мере одного получателя основного виртуального объекта под разными углами и с разных точек обзора. Это означает, что после отображения по меньшей мере одного основного виртуального объекта на экранах пользовательских устройств отправителя и/или получателя пользователь имеет возможность рассмотреть основной виртуальный объект при помощи устройства захвата изображения своего пользовательского устройства с разных точек обзора, например, сверху, сбоку или обойти его кругом. In one of the preferred embodiments of the present invention, the sender and / or at least one recipient of the main virtual object can be displayed on the screens of user devices from different angles and from different viewpoints. This means that after displaying at least one primary virtual object on the screens of user devices of the sender and / or recipient, the user can view the primary virtual object using an image capture device. your user device from different viewpoints, for example, from the top, side, or go around it.
Описанные выше варианты реализации настоящего изобретения в равной степени относятся ко всем заявленным его аспектам, а именно к способу взаимодействия пользователей в коммуникационной системе, пользовательскому устройству для организации взаимодействия пользователей в коммуникационной системе, машиночитаемому носителю, коммуникационной системе, обеспечивающей взаимодействие пользовательских устройств и сервера между собой. The embodiments of the present invention described above equally apply to all declared aspects thereof, namely, the method of user interaction in a communication system, a user device for organizing user interaction in a communication system, computer-readable media, a communication system that provides interaction between user devices and a server .
Аспекты настоящего изобретения далее раскрыты в данном описании со ссылками на графические материалы, которые являются неограничивающими примерами реализации настоящего изобретения. Aspects of the present invention are further disclosed herein with reference to graphic materials that are non-limiting examples of the implementation of the present invention.
Фиг. 1 иллюстрирует блок-схему примера осуществления способа взаимодействия пользователей в коммуникационной системе согласно одному из предпочтительных вариантов осуществления настоящего изобретения. Этапы проиллюстрированного блок-схемой способа будут далее более подробно раскрыты со ссылками на фиг. 2а - 2к. FIG. 1 illustrates a block diagram of an exemplary embodiment of a method for user interaction in a communication system according to one of the preferred embodiments of the present invention. The steps of the method illustrated in the flowchart will be further described in more detail with reference to FIG. 2a - 2k.
При инициировании потокового вещания данных в режиме реального времени на экране 200 пользовательского устройства 202 отправителя отображают объекты 204 реального мира отправителя при помощи устройства захвата изображения пользовательского устройства 202 отправителя, а также панель 206 с доступными к выбору основными виртуальными объектами, как проиллюстрировано на фиг. 2а. Отправитель осуществляет выбор основного виртуального объекта 208 из доступных к выбору основных виртуальных объектов. Указанный этап описан в блоке 100 блок-схемы, приведенной на фиг. 1. When real-time streaming is initiated, the sender’s real-world objects 204 are displayed on the screen 200 of the user device 202 of the sender using the image capture device of the sender’s user device 202 and the panel 206 with basic virtual objects available for selection, as illustrated in FIG. 2a The sender selects the primary virtual object 208 of the basic virtual objects available for selection. This step is described in block 100 of the flowchart shown in FIG. one.
Далее отправитель осуществляет размещение выбранного основного виртуального объекта 208 на экране 200 пользовательского устройства 202 отправителя. Для этого отправитель задает местоположение 210 основного виртуального объекта 208, как проиллюстрировано на фиг. 2Ь. Заданное местоположение 210 отображается устройством захвата изображения пользовательского устройства 202 отправителя на экране 200 пользовательского устройства 202 отправителя. Отправитель может задавать местоположение объекта, например, посредством касания пальцем определенного места сенсорного экрана 200 или «перетаскивания» пальцем выбранного основного виртуального объекта 208 по сенсорному экрану 200 до определенного местоположения, после чего указанный объект 208 привязывается к заданному географическому местоположению, отображаемому устройством захвата изображения пользовательского устройства 202 отправителя, и отображается как объект дополненной реальности, как проиллюстрировано на фиг. 2с. Т.е. на экране 200 пользовательского устройства 202 отправителя отображается как основной виртуальный объект 208, так и объекты 204 реального мира отправителя, к которым обращено устройство захвата изображения пользовательского устройства 202 отправителя. Отправитель может осмотреть отображаемый основной виртуальный объект 208 с разных сторон через экран 200 пользовательского устройства 202 отправителя, меняя угол обзора, при помощи устройства захвата изображения пользовательского устройства 202 отправителя. В наиболее предпочтительном варианте исполнения изобретения основной виртуальный объект 208 представляет собой 3d анимированный виртуальный объект. Указанный этап размещения основного виртуального объекта 208 описан в блоке 102 блок-схемы, приведенной на фиг. 1 Next, the sender places the selected primary virtual object 208 on the screen 200 of the user device 202 of the sender. For this, the sender sets the location 210 of the primary virtual object 208, as illustrated in FIG. 2b. The specified location 210 is displayed by the image capturing device of the user device 202 of the sender on the screen 200 of the user device 202 of the sender. The sender can specify the location of an object, for example, by touching a specific location on the touchscreen 200 or dragging the selected primary virtual object 208 on the touchscreen 200 to a specific location, after which the specified object 208 is attached to a given geographical location displayed by the user’s device sender device 202, and is displayed as an augmented reality object, as illustrated in FIG. 2c. Those. On the screen 200 of the user device 202 of the sender, both the primary virtual object 208 and the objects 204 in the real world of the sender are displayed, which the image capture device of the user device 202 of the sender is facing. The sender can inspect the displayed primary virtual object 208 from different sides through the screen 200 of the user device 202 of the sender, changing the viewing angle using the image capturing device of the user device 202 of the sender. In the most preferred embodiment of the invention, the primary virtual object 208 is a 3d animated virtual object. This stage of placing the main virtual object 208 is described in block 102 of the flowchart shown in FIG. one
После размещения основного виртуального объекта 208 на экране 200 пользовательского устройства 202 отправителя последнему посредством пользовательского интерфейса на экране 200 пользовательского устройства 202 предоставляется возможность начать осуществление в режиме реального времени потокового вещания данных, относящихся к данным об объектах 204 реального мира отправителя, отображаемых на экране 200 пользовательского устройства 202 отправителя, а также к данным об основном виртуальном объекте 208 отправителя. При этом на экране 200 пользовательского устройства 202 отправителя может быть, к примеру, отображена иконка 212 с надписью «Начать потоковое вещание данных», как проиллюстрировано на фиг. 2с, при касании которой, как отображено на фиг. 2d, начинается осуществление потокового вещания данных отправителя в режиме реального времени. Указанный этап описан в блоке 104 блок-схемы, приведенной на фиг. 1 After placing the primary virtual object 208 on the screen 200 of the user device 202 of the sender to the latter through the user interface on the screen 200 of the user device 202, it is possible to start real-time streaming of data related to the data on objects 204 the real world of the sender, displayed on the screen 200 of the user device 202 of the sender, as well as the data on the primary virtual object 208 of the sender. At the same time, on screen 200 of the user device 202 of the sender, for example, an icon 212 with the inscription “Start streaming data” is displayed, as illustrated in FIG. 2c, when touched as shown in FIG. 2d, streaming real-time sender data begins. This step is described in block 104 of the flowchart shown in FIG. one
После касания указанной иконки 212 отправитель может в любой последовательности, например, объединять отображаемый основной виртуальный объект 208 с дополнительным виртуальным объектом (например, текстом, 2d или 3d виртуальным объектом, аудио или видео); задавать новое местоположение на экране 200 пользовательского устройства 202 отправителя, как это описано выше, с последующим передвижением отображаемого основного виртуального объекта 208 на экране 200 пользовательского устройства 202 отправителя в новое заданное местоположение; заменять отображаемый основной виртуальный объект 208 на экране 200 пользовательского устройства 202 отправителя на другой основной виртуальный объект из доступных к выбору основных виртуальных объектов посредством пользовательского интерфейса на экране 200 пользовательского устройства 202 отправителя и т.д. Объединение основного виртуального объекта 208 с дополнительными виртуальными объектами может быть осуществлено, например, посредством выбора соответствующего дополнительного виртуального объекта из файлов, хранящихся на пользовательском устройстве 202 отправителя, например, из фотографий, или посредством выбора из доступных к выбору примеров, «выпадающих» после касания пальцем соответствующего окна с надписью «Нажмите для добавления дополнительного виртуального объекта». Таким образом, отправитель может осуществлять любые доступные действия над своим отображаемым основным виртуальным объектом (основным виртуальным объектом 208 или новым основным виртуальным объектом, которым может быть заменен основной виртуальный объект 208), т.е. осуществлять управление своим основным виртуальным объектом. При этом в режиме реального времени будет осуществляться потоковое вещание данных, относящихся к данным об объектах 204 реального мира отправителя, отображаемых при помощи устройства захвата изображения пользовательского устройства 202 отправителя, и данных, относящихся к данным о виртуальных объектах отправителя, отображаемых на экране 200 пользовательского его устройства 202, как объекты дополненной реальности отправителя (основные и дополнительные виртуальные объекты отправителя), т.е., к примеру, данных, связанных с нахождением основного виртуального объекта 208 в заданном местоположении, с отображением дополнительных виртуальных объектов в объединении с основным виртуальным объектом 208, с передвижением основного виртуального объекта 208. After touching the specified icon 212, the sender may in any sequence, for example, combine the displayed primary virtual object 208 with an additional virtual object (for example, text, 2d or 3d virtual object, audio or video); set a new location on the screen 200 of the user device 202 of the sender, as described above, and then moving the displayed primary virtual object 208 on the screen 200 of the user device 202 of the sender to a new specified location; replace the displayed primary virtual object 208 on the screen 200 of the user device 202 of the sender with another primary virtual object available for selection of the basic virtual objects through the user interface on the screen 200 of the user device 202 sender, etc. Combining the primary virtual object 208 with additional virtual objects can be accomplished, for example, by selecting the appropriate additional virtual object from files stored on the sender's user device 202, for example, from photos, or by selecting from selectable examples that drop down after touching with the finger of the corresponding window that says “Click to add an additional virtual object”. Thus, the sender can perform any available actions on his displayed primary virtual object (primary virtual object 208 or a new primary virtual object with which the primary virtual object 208 can be replaced), i.e. manage your primary virtual object. At the same time, real-time data will be streamed relating to the data about the sender’s real-world objects 204, displayed using the image capture device of the sender’s user device 202, and data relating to the sender’s virtual objects data displayed on the screen 200 devices 202, as objects of the augmented reality of the sender (the main and additional virtual objects of the sender), i.e., for example, data related to finding the of the virtual object 208 at a predetermined location, displaying additional virtual objects in association with the main virtual object 208, with the movement of the ground 208 of the virtual object.
Предпочтительно получателю предоставляют возможность получения данных потокового вещания отправителя посредством соответствующей иконки 214, как проиллюстрировано на фиг. 2е, касание которой инициирует отображение данных потокового вещания отправителя на экране 216 пользовательского устройства 218 получателя. Preferably, the recipient is provided with the option of receiving the sender's streaming data via the corresponding icon 214, as illustrated in FIG. 2e, the touch of which initiates the display of the streaming data of the sender on the screen 216 of the recipient's user device 218.
После касания указанной иконки 214 на экране 216 пользовательского устройства получателя отображаются данные потокового вещания отправителя, относящиеся к объектам 204 реального мира отправителя и к основному виртуальному объекту 208 отправителя, как проиллюстрировано на фиг. 2f. Указанный этап отображения данных потокового вещания описан в блоке 106 блок-схемы, приведенной на фиг.1. After tapping the specified icon 214 on the screen 216 of the recipient's user device, the sender's streaming data is displayed relating to the sender’s real-world objects 204 and to the sender’s main virtual object 208, as illustrated in FIG. 2f. This step of displaying streaming data is described in block 106 of the flowchart shown in FIG.
Далее получатель может наблюдать за происходящим на экране 216 пользовательского устройства 218 получателя и в определенный момент времени решить, что он хочет осуществлять потоковое вещание данных (данных получателя) совместно с потоковым вещанием данных отправителя. Further, the recipient can observe what is happening on the screen. 216 user device 218 of the recipient and at a certain point in time to decide that he wants to stream data (receiver data) together with streaming data of the sender.
Предпочтительно получателю предоставляют возможность осуществления своего собственного потокового вещания данных посредством соответствующей иконки 220, как проиллюстрировано на фиг. 2g, касание которой инициирует начало потокового вещания данных отправителя. Предпочтительно после получения согласия отправителя на присоединение к своему потоковому вещанию данных получатель осуществляет выбор основного виртуального объекта 222 на экране 216 пользовательского устройства 218 получателя, как проиллюстрировано на фиг. 2h. Preferably, the recipient is provided with the option of implementing their own streaming of data through the corresponding icon 220, as illustrated in FIG. 2g, the touch of which initiates the start of streaming the sender's data. Preferably, after obtaining the consent of the sender to attach data to its streaming broadcast, the recipient selects the primary virtual object 222 on the screen 216 of the recipient's user device 218, as illustrated in FIG. 2h.
Предпочтительно перед отображением основного виртуального объекта 222 получателя на экране 216 пользовательского устройства 218 получателя, отображающем данные потокового вещания отправителя, задают местоположение 224, как проиллюстрировано на фиг. 2i, для дальнейшего прикрепления основного виртуального объекта 222 получателя, как проиллюстрировано на фиг. 2j. Preferably, before displaying the primary virtual recipient object 222, the location 224 is set on the screen 216 of the recipient user device 218 displaying the streaming data of the sender, as illustrated in FIG. 2i, for further attaching the recipient primary virtual object 222, as illustrated in FIG. 2j.
Предпочтительно действия получателя, осуществляемые для задания местоположения основного виртуального объекта получателя на экране пользовательского устройства получателя, аналогичны действиям отправителя при задании им местоположения основного виртуального объекта отправителя. После задания получателем местоположения на экране 216 пользовательского устройства 218 получателя отображается выбранный основной виртуальный объект 222 получателя как объект дополненной реальности отправителя. Указанный этап осуществления потокового вещания данных получателя описан в блоке 108 блок-схемы, приведенной на фиг. 1. Preferably, the recipient's actions performed to set the location of the primary virtual recipient object on the screen of the recipient's user device are similar to the actions of the sender when he sets the location of the primary virtual object of the sender. After the recipient has specified a location on the screen 216 of the user device 218 of the recipient, the selected primary virtual recipient object 222 is displayed as the sender's augmented reality object. This step of streaming the recipient data is described in block 108 of the flowchart shown in FIG. one.
Таким образом, на экранах пользовательских устройств получателя и отправителя теперь отображаются данные множественного потокового вещания, относящиеся к данным потокового вещания получателя (основной виртуальный объект 222 получателя) и к данным потокового вещания отправителя (основной виртуальный объект 208 отправителя и объекты 204 реального мира отправителя), как проиллюстрировано на фиг. 2j и 2к соответственно. Thus, on the screens of user devices, the recipient and the sender now display the data of multiple streaming, related to the streaming data of the recipient (primary virtual object 222 of the recipient) and to the streaming data of the sender (primary virtual object 208 of the sender and objects 204 of the real world of the sender), as illustrated in FIG. 2j and 2k respectively.
Получатель может осуществлять любые доступные действия над своим основным виртуальным объектом аналогичные доступным действиям отправителя в отношении своего основного виртуального объекта. Каждый из пользователей, осуществляющих потоковое вещание данных в режиме реального времени, контролирует свой собственный основной виртуальный объект независимо от другого пользователя. The recipient can perform any available actions on their primary virtual object similar to the available actions of the sender in relation to their primary virtual object. Each of the users streaming real-time data controls its own primary virtual object independently of the other user.
Как отправитель, так и получатель могут осмотреть отображаемые основные виртуальные объекты 208 и 222 с разных сторон через экраны своих собственных пользовательских устройств, меняя угол обзора, при помощи устройства захвата изображения пользовательского устройства. Both the sender and the recipient can view the displayed main virtual objects 208 and 222 from different sides through the screens of their own user devices, changing the viewing angle using the image capturing device of the user device.
На фиг. 3 приведено схематическое изображение примера осуществления пользовательского устройства согласно одному из вариантов осуществления настоящего изобретения. Указанное пользовательское устройство может быть как пользовательским устройством отправителя, так и пользовательским устройством получателя и содержит процессор 300 и связанные с ним экран 302, машиночитаемый носитель 304, сетевой компонент 306 и устройство 308 захвата изображения. FIG. 3 is a schematic representation of an embodiment of a user device according to one embodiment of the present invention. The specified user device can be both the user device of the sender and the user device of the recipient and contains the processor 300 and its associated screen 302, computer-readable media 304, network component 306 and image pickup device 308.
На фиг. 4 приведено схематическое изображение примера осуществления коммуникационной системы согласно одному из вариантов осуществления настоящего изобретения. Указанная коммуникационная система содержит сервер 400 и связанные с ним пользовательские устройства 402 и 404 отправителя и получателя соответственно. Как видно из рассматриваемой фигуры, потоковое вещание данных от пользовательского устройства отправителя осуществляется посредством сервера 400. Следует принять во внимание, что способ взаимодействия пользователей в коммуникационной системе, пользовательское устройство для организации взаимодействия пользователей в коммуникационной системе, коммуникационная система, позволяющая реализовать указанный способ, и машиночитаемый носитель, на котором сохранены программные инструкции, инициирующие выполнение аспектов способа взаимодействия пользователей согласно настоящему изобретению, не ограничены конкретными признаками или этапами, описанными выше. Напротив, конкретные признаки и этапы, описанные выше, раскрыты в качестве примеров, реализующих настоящее изобретение, и другие эквивалентные признаки и этапы могут быть охвачены объемом настоящего изобретения. FIG. 4 shows a schematic representation of an example implementation of a communication system in accordance with one embodiment of the present invention. The specified communication system contains the server 400 and its associated sender and recipient user devices 402 and 404, respectively. As can be seen from the figure, the streaming of data from the sender's user device is carried out by the server 400. It is necessary to take into account that the user interaction method in the communication system, the user device for organizing user interaction in the communication system, the communication system allowing to implement this method, and computer-readable media on which program instructions are stored that initiate the execution of aspects of the user interaction method according to the present invention is not limited to the specific features or steps described above. On the contrary, the specific features and steps described above are disclosed as examples implementing the present invention, and other equivalent features and steps may be covered by the scope of the present invention.

Claims

Формула изобретения Claim
1. Способ взаимодействия пользователей в коммуникационной системе, включающий осуществление в режиме реального времени потокового вещания данных отправителя, относящихся к данным о местоположении, отображаемом на экране пользовательского устройства отправителя при помощи устройства захвата изображения пользовательского устройства отправителя, а также к данным о по меньшей мере одном основном виртуальном объекте, контролируемом отправителем и отображаемом на экране пользовательского устройства отправителя с привязкой к заданному местоположению, отображаемому на экране пользовательского устройства отправителя, как объект дополненной реальности, отображение в режиме реального времени данных потокового вещания отправителя на экране пользовательского устройства по меньшей мере одного получателя, осуществление в режиме реального времени потокового вещания данных по меньшей мере одного получателя, относящихся к данным о по меньшей мере одном основном виртуальном объекте, контролируемом получателем и отображаемом на экране пользовательского устройства получателя с привязкой к заданному местоположению, отображаемому на экране пользовательского устройства получателя, как объект дополненной реальности, совместно с потоковым вещанием данных отправителя. 1. The way in which users interact in a communication system, including real-time streaming of sender data related to location data displayed on the screen of the user's sender device using the sender's user's device, as well as data on at least one the main virtual object controlled by the sender and displayed on the screen of the user's device of the sender with reference to the specified the location displayed on the screen of the user device of the sender as an object of augmented reality, the real-time display of the streaming data of the sender on the screen of the user device of at least one recipient, the real-time streaming of data of at least one recipient relating to data about at least one primary virtual object controlled by the recipient and displayed on the screen of the user device will receive A bound to a specific location displayed on the screen of the recipient user devices, as an object of augmented reality, together with the streaming data of the sender.
2. Способ по п. 1, отличающийся тем, что перед осуществлением потокового вещания данных осуществляют по меньшей мере одно из выбора основного виртуального объекта из доступных к выбору виртуальных объектов посредством пользовательского интерфейса на экране пользовательского устройства, размещения основного виртуального объекта на экране пользовательского устройства с привязкой к заданному местоположению, отображаемому на экране пользовательского устройства, с его отображением как объекта дополненной реальности. 2. The method according to p. 1, characterized in that before implementation Streaming data is carried out at least one of the choice of the main virtual object from the available virtual objects through the user interface on the screen of the user device, placing the main virtual object on the screen of the user device with reference to the specified location displayed on the screen of the user device, with its display as an object of augmented reality.
3. Способ по п. 1, отличающийся тем, что во время осуществления потокового вещания данных осуществляют по меньшей мере одно из объединения отображаемого основного виртуального объекта с дополнительным виртуальным объектом, задания нового местоположения на экране пользовательского устройства с последующим передвижением отображаемого основного виртуального объекта на экране пользовательского устройства в заданное местоположение, замены отображаемого основного виртуального объекта на экране пользовательского устройства на другой основной виртуальный объект из доступных к выбору основных виртуальных объектов посредством пользовательского интерфейса на экране пользовательского устройства. 3. The method according to p. 1, characterized in that during the implementation of streaming data broadcasting at least one of the combination of the displayed primary virtual object with an additional virtual object, setting a new location on the screen of the user device and then moving the displayed primary virtual object on the screen user device to the specified location, replacing the displayed primary virtual object on the user device screen with another ovnoy virtual object to the selection of the available basic virtual objects via the user interface on the screen of the user device.
4. Способ по п. 1, отличающийся тем, что в качестве основного виртуального объекта используют по меньшей мере один из 2d статичного или анимированного виртуального объекта, 3d статичного или анимированного виртуального объекта. 4. The method according to claim 1, characterized in that at least one of the 2d static or animated virtual object, 3d static or animated virtual object is used as the main virtual object.
5. Способ по п. 3, отличающийся тем, что в качестве дополнительного виртуального объекта используют по меньшей мере один из 2d статичного или анимированного виртуального объекта, 3d статичного или анимированного виртуального объекта, текста, аудио или видео. 5. The method according to p. 3, characterized in that at least one of the 2d static or animated virtual object, 3d static or animated, is used as an additional virtual object virtual object, text, audio or video.
6. Способ по п. 1, отличающийся тем, что задание местоположения обеспечивают посредством привязки основного виртуального объекта к географическому местоположению, отображаемому устройством захвата изображения пользовательского устройства отправителя. 6. The method according to claim 1, wherein setting the position is provided by binding the main virtual object to the geographical location displayed by the image capturing device of the user device of the sender.
7. Способ по п. 1, отличающийся тем, что во время отображения по меньшей мере одного основного виртуального объекта на экранах пользовательских устройств по меньшей мере одному из взаимодействующих пользователей предоставляют возможность осуществления по меньшей мере одной из следующих операций: передачи текстового сообщения, передачи голосового сообщения, передачи видео сообщения, передачи мультимедийного сообщения, видео звонка. 7. A method according to claim 1, characterized in that during the display of at least one primary virtual object on the screens of user devices, at least one of the interacting users is provided with the possibility of performing at least one of the following operations: sending a text message, sending a voice message messaging, video messaging, multimedia messaging, video call.
8. Способ по п. 1, отличающийся тем, что обеспечивают возможность отображения на экранах пользовательских устройств взаимодействующих пользователей по меньшей мере одного основного виртуального объекта под разными углами и с разных точек обзора. 8. The method according to p. 1, characterized in that they provide the ability to display on the screens of user devices of interacting users at least one primary virtual object from different angles and from different points of view.
9. Пользовательское устройство для организации взаимодействия пользователей в коммуникационной системе, включающее устройство захвата изображения, по меньшей мере один процессор, машиночитаемый носитель, соединенный с по меньшей мере одним процессором и содержащий программные инструкции для взаимодействия пользователей в коммуникационной системе, которые при приведении их в исполнение по меньшей мере одним процессором обеспечивают предоставление возможности осуществления в режиме реального времени потокового вещания данных, относящихся к данным о местоположении, отображаемом на экране пользовательского устройства при помощи устройства захвата изображения пользовательского устройства, а также к данным о по меньшей мере одном контролируемом основном виртуальном объекте, отображаемом на экране пользовательского устройства с привязкой к заданному местоположению, отображаемому на экране пользовательского устройства, как объект дополненной реальности, предоставление возможности отображения в режиме реального времени данных потокового вещания на экране пользовательского устройства, предоставление возможности осуществления в режиме реального времени потокового вещания данных, относящихся к данным о по меньшей мере одном контролируемом основном виртуальном объекте, отображаемом на экране пользовательского устройства с привязкой к заданному местоположению, отображаемому на экране пользовательского устройства, как объект дополненной реальности, совместно с потоковым вещанием данных, которые отображаются. 9. A user device for organizing user interaction in a communication system, including an image capture device, at least one processor, a machine-readable medium connected to at least one processor and containing program instructions for user interaction in the communication system, which when executed at least one processor provides for providing the possibility of real-time streaming of data relative to sleeping to the location data displayed on the user device screen using the user device’s image capture device, as well as data on at least one controlled primary virtual object displayed on the user device screen with reference to the specified location displayed on the user device screen, as an augmented reality object, providing the ability to display real-time streaming data on the screen of users which device, the possibility of real-time streaming of data related to data on at least one controlled primary virtual object displayed on the screen of the user device with reference to a specified location displayed on the screen of the user device as an object of augmented reality with streaming data that is displayed.
10. Устройство по п. 9, отличающееся тем, что программные инструкции содержат инструкции, которые перед осуществлением потокового вещания данных обеспечивают предоставление возможности осуществления по меньшей мере одного из выбора основного виртуального объекта из доступных к выбору виртуальных объектов посредством пользовательского интерфейса на экране пользовательского устройства, размещения основного виртуального объекта на экране пользовательского устройства с привязкой к заданному местоположению, отображаемому на экране пользовательского устройства, с его отображением как объекта дополненной реальности. 10. The device according to claim 9, characterized in that the program instructions contain instructions that, before streaming data, enable the implementation of at least one of the choice of the main virtual object of the virtual objects available to the choice through the user interface on the screen of the user device, placing the main virtual object on the user screen devices with reference to the specified location displayed on the screen of the user device, with its display as an object of augmented reality.
11. Устройство по п. 9, отличающееся тем, что программные инструкции содержат инструкции, которые во время осуществления потокового вещания данных обеспечивают предоставление возможности осуществления по меньшей мере одного из объединения отображаемого основного виртуального объекта с дополнительным виртуальным объектом, задания нового местоположения на экране пользовательского устройства с последующим передвижением отображаемого основного виртуального объекта на экране пользовательского устройства в заданное местоположение, замены отображаемого основного виртуального объекта на экране пользовательского устройства на другой основной виртуальный объект из доступных к выбору основных виртуальных объектов посредством пользовательского интерфейса на экране пользовательского устройства. 11. The device according to claim 9, wherein the program instructions contain instructions that during the streaming of data provide the opportunity to implement at least one of the combined display of the main virtual object with an additional virtual object, setting a new location on the screen of the user device with the subsequent movement of the displayed primary virtual object on the screen of the user device to the specified location, deputy The displayed primary virtual object is displayed on the user device screen to another primary virtual object available for selection of the main virtual objects through the user interface on the user device screen.
12. Устройство по п. 9, отличающееся тем, что в качестве основного виртуального объекта используют по меньшей мере один из 2d статичного или анимированного виртуального объекта, 3d статичного или анимированного виртуального объекта. 12. The device according to claim 9, characterized in that at least one of the 2d static or animated virtual object, 3d static or animated virtual object is used as the main virtual object.
13. Устройство по п. 11, отличающееся тем, что в качестве дополнительного виртуального объекта используют по меньшей мере один из 2d статичного или анимированного виртуального объекта, 3d статичного или анимированного виртуального объекта, текста, аудио или видео. 13. The device according to claim 11, characterized in that at least one of the 2d static or animated virtual object, 3d static or animated virtual object, text, audio or video is used as an additional virtual object.
14. Устройство по п. 9, отличающееся тем, что программные инструкции содержат инструкции, которые обеспечивают предоставление возможности задания местоположения посредством привязки основного виртуального объекта к географическому местоположению, отображаемому устройством захвата изображения пользовательского устройства. 14. The device according to p. 9, characterized in that the software instructions contain instructions that provide the opportunity specifying a location by binding the primary virtual object to a geographic location displayed by the image capturing device of the user device.
15. Устройство по п. 9, отличающееся тем, что программные инструкции содержат инструкции, которые во время отображения по меньшей мере одного основного виртуального объекта на экране пользовательского устройства обеспечивают предоставление возможности осуществления по меньшей мере одной из следующих операций: передачи текстового сообщения, передачи голосового сообщения, передачи видео сообщения, передачи мультимедийного сообщения, видео звонка. 15. The device according to claim 9, characterized in that the program instructions contain instructions that during the display of at least one primary virtual object on the screen of the user device provide the possibility of performing at least one of the following operations: sending a text message, sending a voice message messaging, video messaging, multimedia messaging, video call.
16. Устройство по п. 9, отличающееся тем, что программные инструкции содержат инструкции, которые обеспечивают предоставление возможности отображения по меньшей мере одного основного виртуального объекта на экране пользовательского устройства под разными углами и с разных точек обзора. 16. The device according to claim 9, wherein the program instructions contain instructions that provide the ability to display at least one primary virtual object on the screen of the user device from different angles and from different points of view.
17. Коммуникационная система, которая обеспечивает взаимодействие пользовательских устройств и сервера межу собой, содержащая программные инструкции, расположенные на машиночитаемом носителе пользовательского устройства, которые при приведении их в исполнение по меньшей мере одним процессором пользовательского устройства обеспечивают предоставление возможности осуществления в режиме реального времени потокового вещания данных, относящихся к данным о местоположении, отображаемом на экране пользовательского устройства при помощи устройства захвата изображения пользовательского устройства, а также к данным о по меньшей мере одном контролируемом основном виртуальном объекте, отображаемом на экране пользовательского устройства с привязкой к заданному местоположению, отображаемому на экране пользовательского устройства, как объект дополненной реальности, предоставление возможности отображения в режиме реального времени данных потокового вещания на экране пользовательского устройства, предоставление возможности осуществления в режиме реального времени потокового вещания данных, относящихся к данным о по меньшей мере одном контролируемом основном виртуальном объекте, отображаемом на экране пользовательского устройства с привязкой к заданному местоположению, отображаемому на экране пользовательского устройства, как объект дополненной реальности, совместно с потоковым вещанием данных, которые отображаются; и программные инструкции, расположенные на машиночитаемом носителе сервера, которые при приведении их в исполнение по меньшей мере одним процессором сервера обеспечивают получение сервером данных потокового вещания от пользовательского устройства отправителя и передачу полученных данных потокового вещания от сервера на пользовательское устройство по меньшей мере одного получателя. 17. A communication system that interoperates user devices and a server, containing program instructions located on the machine-readable media of the user device, which, when executed by the at least one processor of the user device, ensures that data can be streamed in real time related to the location data displayed on the screen of the user device using devices to capture the image of the user device, as well as data on at least one controlled the main virtual object displayed on the user's device screen with reference to a specified location, displayed on the user's device screen as an augmented reality object, providing the ability to display live streaming data on the user's device screen, enabling real-time streaming data related to data on at least one controlled primary virtual object, from azhaemom on the screen of the user device with reference to a specific location displayed on the screen of the user device, as an object of augmented reality, together with the streaming data are displayed; and software instructions located on the server's machine-readable media, which, when executed by at least one server processor, ensure that the server receives streaming data from the sender’s user device and transfers the streaming data received from the server to the user’s device at least one recipient.
18. Система по п. 17, отличающаяся тем, что программные инструкции, расположенные на машиночитаемом носителе пользовательского устройства, содержат инструкции, которые перед осуществлением потокового вещания данных обеспечивают предоставление возможности осуществления по меньшей мере одного из выбора основного виртуального объекта из доступных к выбору виртуальных объектов посредством пользовательского интерфейса на экране пользовательского устройства, размещения основного виртуального объекта на экране пользовательского устройства с привязкой к заданному местоположению, отображаемому на экране пользовательского устройства, с его отображением как объекта дополненной реальности. 18. The system of claim 17, wherein the program instructions located on the computer-readable media of the user device contain instructions that, before streaming data, enable the implementation of at least one of the main virtual object selections available for selection virtual objects through the user interface on the screen of the user device, placing the main virtual object on the screen of the user device with reference to the specified location displayed on the screen of the user device, with its display as an object of augmented reality.
19. Система по п. 17, отличающаяся тем, что программные инструкции, расположенные на машиночитаемом носителе пользовательского устройства, содержат инструкции, которые во время осуществления потокового вещания данных обеспечивают предоставление возможности осуществления по меньшей мере одного из объединения отображаемого основного виртуального объекта с дополнительным виртуальным объектом, задания нового местоположения на экране пользовательского устройства с последующим передвижением отображаемого основного виртуального объекта на экране пользовательского устройства в заданное местоположение, замены отображаемого основного виртуального объекта на экране пользовательского устройства на другой основной виртуальный объект из доступных к выбору основных виртуальных объектов посредством пользовательского интерфейса на экране пользовательского устройства. 19. The system of claim 17, wherein the program instructions located on the computer-readable media of the user device contain instructions that, during the streaming of data, enable at least one of the combination of the displayed virtual primary object to be combined with the additional virtual object , setting a new location on the user device screen and then moving the displayed primary virtual object on the user device screen to the specified location, replace the displayed primary virtual object on the user device screen with another primary virtual object available to select the basic virtual objects by means of the user interface on the user device screen.
20. Система по п. 17, отличающаяся тем, что в качестве основного виртуального объекта используют по меньшей мере один из 2d статичного или анимированного виртуального объекта, 3d статичного или анимированного виртуального объекта. 20. The system of claim 17, wherein at least one of the 2d static or animated virtual object, 3d static or animated virtual object is used as the primary virtual object.
21. Система по п. 19, отличающаяся тем, что в качестве дополнительного виртуального объекта используют по меньшей мере один из 2d статичного или анимированного виртуального объекта, 3d статичного или анимированного виртуального объекта, текста, аудио или видео. 21. The system of claim. 19, characterized in that at least one of 2d static or animated virtual object, 3d static or animated virtual object, text, audio or video.
22. Система по п. 17, отличающаяся тем, что программные инструкции, расположенные на машиночитаемом носителе пользовательского устройства, содержат инструкции, которые обеспечивают предоставление возможности задания местоположения посредством привязки основного виртуального объекта к географическому местоположению, отображаемому устройством захвата изображения пользовательского устройства. 22. The system of claim 17, wherein the program instructions located on the computer-readable media of the user device contain instructions that provide the ability to set the location by binding the main virtual object to the geographic location displayed by the image capture device of the user device.
23. Система по п. 17, отличающаяся тем, что программные инструкции, расположенные на машиночитаемом носителе пользовательского устройства, содержат инструкции, которые во время отображения по меньшей мере одного основного виртуального объекта на экране пользовательского устройства обеспечивают предоставление возможности осуществления по меньшей мере одной из следующих операций: передачи текстового сообщения, передачи голосового сообщения, передачи видео сообщения, передачи мультимедийного сообщения, видео звонка. 23. The system of claim 17, wherein the program instructions located on the computer-readable media of the user device contain instructions that, when at least one primary virtual object is displayed on the screen of the user device, provide the ability to implement at least one of the following operations: sending a text message, sending a voice message, sending a video message, sending a multimedia message, video call.
24. Система по п. 17, отличающаяся тем, что программные инструкции, расположенные на машиночитаемом носителе пользовательского устройства, содержат инструкции, которые обеспечивают предоставление возможности отображения по меньшей мере одного основного виртуального объекта на экране пользовательского устройства под разными углами и с разных точек обзора. 24. The system of claim 17, wherein the program instructions located on the computer-readable media of the user device contain instructions that provide the ability to display at least one primary virtual object on the screen of the user device from different angles and from different viewpoints.
25. Машиночитаемый носитель, содержащий программные инструкции для взаимодействия пользователей в коммуникационной системе, которые при приведении их в исполнение по меньшей мере одним процессором пользовательского устройства обеспечивают предоставление возможности осуществления в режиме реального времени потокового вещания данных, относящихся к данным о местоположении, отображаемом на экране пользовательского устройства при помощи устройства захвата изображения пользовательского устройства, а также к данным о по меньшей мере одном контролируемом основном виртуальном объекте, отображаемом на экране пользовательского устройства с привязкой к заданному местоположению, отображаемому на экране пользовательского устройства, как объект дополненной реальности, предоставление возможности отображения в режиме реального времени данных потокового вещания на экране пользовательского устройства, предоставление возможности осуществления в режиме реального времени потокового вещания данных, относящихся к данным о по меньшей мере одном контролируемом основном виртуальном объекте, отображаемом на экране пользовательского устройства с привязкой к заданному местоположению, отображаемому на экране пользовательского устройства, как объект дополненной реальности, совместно с потоковым вещанием данных, которые отображаются. 25. Machine-readable media containing software instructions for user interaction in a communication system, which, when executed by at least one processor of a user device, provides the possibility of real-time implementation streaming data related to location data displayed on the user device screen using the user device’s image capture device, as well as data on at least one monitored main virtual object displayed on the user device screen with reference to the specified location displayed on user device screen as an object of augmented reality, providing the ability to display real-time sweat data broadcast on the screen of the user device, providing the possibility of real-time streaming of data related to data on at least one controlled primary virtual object displayed on the screen of the user device with reference to a specified location displayed on the screen of the user device as an object Augmented Reality, in conjunction with streaming the data that is displayed.
26. Носитель по п. 25, отличающийся тем, что программные инструкции содержат инструкции, которые перед осуществлением потокового вещания данных обеспечивают предоставление возможности осуществления по меньшей мере одного из выбора основного виртуального объекта из доступных к выбору виртуальных объектов посредством пользовательского интерфейса на экране пользовательского устройства, размещения основного виртуального объекта на экране пользовательского устройства с привязкой к заданному местоположению, отображаемому на экране пользовательского устройства, с его отображением как объекта дополненной реальности. 26. The carrier according to claim 25, wherein the program instructions contain instructions that, before streaming data, provide the opportunity to implement at least one of the primary virtual object selection among the virtual objects available for selection via the user interface on the screen of the user device, placing the main virtual object on the user device screen with reference to the specified location displayed on the user device screen, with its display as an object of augmented reality.
27. Носитель по п. 25, отличающийся тем, что программные инструкции содержат инструкции, которые во время осуществления потокового вещания данных обеспечивают предоставление возможности осуществления по меньшей мере одного из объединения отображаемого основного виртуального объекта с дополнительным виртуальным объектом, задания нового местоположения на экране пользовательского устройства с последующим передвижением отображаемого основного виртуального объекта на экране пользовательского устройства в заданное местоположение, замены отображаемого основного виртуального объекта на экране пользовательского устройства на другой основной виртуальный объект из доступных к выбору основных виртуальных объектов посредством пользовательского интерфейса на экране пользовательского устройства. 27. The carrier according to claim 25, wherein the program instructions contain instructions that during the streaming of data provide the opportunity to implement at least one of the combined display of the main virtual object with an additional virtual object, set a new location on the screen of the user device with the subsequent movement of the displayed primary virtual object on the screen of the user device to the specified location, replacing s virtual object displayed on the main screen of the user device to another primary virtual object to the selection of the available basic virtual objects via the user interface on the screen of the user device.
28. Носитель по п. 25, отличающийся тем, что в качестве основного виртуального объекта используют по меньшей мере один из 2d статичного или анимированного виртуального объекта, 3d статичного или анимированного виртуального объекта. 28. The carrier according to claim 25, wherein at least one of the 2d static or animated virtual object, the 3d static or animated virtual object is used as the primary virtual object.
29. Носитель по п. 27, отличающийся тем, что в качестве дополнительного виртуального объекта используют по меньшей мере один из 2d статичного или анимированного виртуального объекта, 3d статичного или анимированного виртуального объекта, текста, аудио или видео. 29. The carrier as claimed in claim 27, wherein at least one of the 2d static or animated virtual object, 3d static or animated virtual object, text, audio or video is used as an additional virtual object.
30. Носитель по п. 25, отличающийся тем, что программные инструкции содержат инструкции, которые обеспечивают предоставление возможности задания местоположения посредством привязки основного виртуального объекта к географическому местоположению, отображаемому устройством захвата изображения пользовательского устройства. 30. The carrier according to claim. 25, characterized in that the program instructions. contain instructions that provide the ability to specify a location by binding the primary virtual object to a geographic location displayed by the image capturing device of the user device.
31. Носитель по п. 25, отличающийся тем, что программные инструкции содержат инструкции, которые во время отображения по меньшей мере одного основного виртуального объекта на экране пользовательского устройства обеспечивают предоставление возможности осуществления по меньшей мере одной из следующих операций: передачи текстового сообщения, передачи голосового сообщения, передачи видео сообщения, передачи мультимедийного сообщения, видео звонка. 31. The carrier according to claim 25, wherein the program instructions contain instructions that, during the display of at least one primary virtual object on the screen of the user device, provide the possibility of performing at least one of the following operations: sending a text message, sending a voice message messaging, video messaging, multimedia messaging, video call.
32. Носитель по п. 25, отличающийся тем, что программные инструкции содержат инструкции, которые обеспечивают предоставление возможности отображения по меньшей мере одного основного виртуального объекта на экране пользовательского устройства под разными углами и с разных точек обзора. 32. The carrier according to claim 25, wherein the program instructions contain instructions that provide the ability to display at least one primary virtual object on the screen of the user device from different angles and from different viewpoints.
PCT/IB2018/058699 2017-11-09 2018-11-06 User interaction in a communication system with the aid of multiple live streaming of augmented reality data WO2019092590A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762583506P 2017-11-09 2017-11-09
US62/583,506 2017-11-09

Publications (1)

Publication Number Publication Date
WO2019092590A1 true WO2019092590A1 (en) 2019-05-16

Family

ID=66438310

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/IB2018/058699 WO2019092590A1 (en) 2017-11-09 2018-11-06 User interaction in a communication system with the aid of multiple live streaming of augmented reality data

Country Status (1)

Country Link
WO (1) WO2019092590A1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110149332A (en) * 2019-05-22 2019-08-20 北京达佳互联信息技术有限公司 Live broadcasting method, device, equipment and storage medium
CN113423017A (en) * 2021-06-21 2021-09-21 腾讯科技（深圳）有限公司 Live broadcast picture display method and device, computer equipment and storage medium
WO2022121592A1 (en) * 2020-12-11 2022-06-16 北京字跳网络技术有限公司 Livestreaming interaction method and apparatus
CN115243096A (en) * 2022-07-27 2022-10-25 北京字跳网络技术有限公司 Live room display method, device, electronic device and storage medium
US20240331319A1 (en) * 2018-12-13 2024-10-03 Maxell, Ltd. Display terminal, display control system and display control method

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130293584A1 (en) * 2011-12-20 2013-11-07 Glen J. Anderson User-to-user communication enhancement with augmented reality
US20140002442A1 (en) * 2012-06-29 2014-01-02 Mathew J. Lamb Mechanism to give holographic objects saliency in multiple spaces
US20140282162A1 (en) * 2013-03-15 2014-09-18 Elwha Llc Cross-reality select, drag, and drop for augmented reality systems
US20140306866A1 (en) * 2013-03-11 2014-10-16 Magic Leap, Inc. System and method for augmented and virtual reality
US20160307374A1 (en) * 2013-12-19 2016-10-20 Metaio Gmbh Method and system for providing information associated with a view of a real environment superimposed with a virtual object
US20170178272A1 (en) * 2015-12-16 2017-06-22 WorldViz LLC Multi-user virtual reality processing

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130293584A1 (en) * 2011-12-20 2013-11-07 Glen J. Anderson User-to-user communication enhancement with augmented reality
US20140002442A1 (en) * 2012-06-29 2014-01-02 Mathew J. Lamb Mechanism to give holographic objects saliency in multiple spaces
US20140306866A1 (en) * 2013-03-11 2014-10-16 Magic Leap, Inc. System and method for augmented and virtual reality
US20140282162A1 (en) * 2013-03-15 2014-09-18 Elwha Llc Cross-reality select, drag, and drop for augmented reality systems
US20160307374A1 (en) * 2013-12-19 2016-10-20 Metaio Gmbh Method and system for providing information associated with a view of a real environment superimposed with a virtual object
US20170178272A1 (en) * 2015-12-16 2017-06-22 WorldViz LLC Multi-user virtual reality processing

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240331319A1 (en) * 2018-12-13 2024-10-03 Maxell, Ltd. Display terminal, display control system and display control method
US12236544B2 (en) 2018-12-13 2025-02-25 Maxell, Ltd. Display terminal, display control system and display control method
US12361654B2 (en) * 2018-12-13 2025-07-15 Maxell, Ltd. Display terminal, display control system and display control method
CN110149332A (en) * 2019-05-22 2019-08-20 北京达佳互联信息技术有限公司 Live broadcasting method, device, equipment and storage medium
CN110149332B (en) * 2019-05-22 2022-04-22 北京达佳互联信息技术有限公司 Live broadcast method, device, equipment and storage medium
WO2022121592A1 (en) * 2020-12-11 2022-06-16 北京字跳网络技术有限公司 Livestreaming interaction method and apparatus
CN113423017A (en) * 2021-06-21 2021-09-21 腾讯科技（深圳）有限公司 Live broadcast picture display method and device, computer equipment and storage medium
CN115243096A (en) * 2022-07-27 2022-10-25 北京字跳网络技术有限公司 Live room display method, device, electronic device and storage medium

Similar Documents

Publication Publication Date Title
US20210306595A1 (en) System and Method for Interactive Video Conferencing
US10033967B2 (en) System and method for interactive video conferencing
WO2019092590A1 (en) User interaction in a communication system with the aid of multiple live streaming of augmented reality data
US9615058B2 (en) Apparatus and method for sharing content items among a plurality of mobile devices
EP3881170B1 (en) Interactive viewing system
US10986301B1 (en) Participant overlay and audio placement collaboration system platform and method for overlaying representations of participants collaborating by way of a user interface and representational placement of distinct audio sources as isolated participants
US20160227115A1 (en) System for digital media capture
CN103051865B (en) The method that picture controls and terminal, video conference device
EP2685715A1 (en) Method and device for managing video resources in video conference
US20200201512A1 (en) Interactive editing system
WO2019082050A1 (en) User interaction in communication systems, using an augmented reality story message
WO2017035368A1 (en) System and method for interactive video conferencing
HK1203010A1 (en) Processing of video files, server and client thereof
US10942633B2 (en) Interactive viewing and editing system
WO2019056001A1 (en) System and method for interactive video conferencing
US20220122037A1 (en) Meeting and collaborative canvas with image pointer
WO2019087014A1 (en) User interaction by means of live streaming of augmented reality data
US12200025B2 (en) Remote realtime interactive network conferencing
US20230113024A1 (en) Configuring broadcast media quality within a virtual conferencing system
WO2023177597A2 (en) Remote realtime interactive network conferencing
KR102787530B1 (en) System for providing user centric multiview and method thereof
WO2019064160A1 (en) User interaction in a communication system, using augmented reality objects
CN116648696A (en) Collaborative information display control method, electronic device, and storage medium
WO2019106558A1 (en) User interaction in a communication system using augmented reality objects
WO2019155311A1 (en) Communication system with automatically appearing augmented reality effects

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18876651

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18876651

Country of ref document: EP

Kind code of ref document: A1