[go: up one dir, main page]

CN112135158B - 基于混合现实的直播方法及相关设备 - Google Patents

基于混合现实的直播方法及相关设备 Download PDF

Info

Publication number
CN112135158B
CN112135158B CN202010981861.8A CN202010981861A CN112135158B CN 112135158 B CN112135158 B CN 112135158B CN 202010981861 A CN202010981861 A CN 202010981861A CN 112135158 B CN112135158 B CN 112135158B
Authority
CN
China
Prior art keywords
virtual
information
client
target
mixed reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010981861.8A
Other languages
English (en)
Other versions
CN112135158A (zh
Inventor
周鑫
李锐
陶澍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Ivreal Technology Co ltd
Original Assignee
Chongqing Ivreal Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Ivreal Technology Co ltd filed Critical Chongqing Ivreal Technology Co ltd
Priority to CN202010981861.8A priority Critical patent/CN112135158B/zh
Publication of CN112135158A publication Critical patent/CN112135158A/zh
Application granted granted Critical
Publication of CN112135158B publication Critical patent/CN112135158B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种基于混合现实的直播方法及相关设备。所述基于混合现实的直播方法配置虚拟背景，虚拟背景包括虚拟对象；从第一客户端获取第一对象的第一声音信息和真实的第一图像信息；从第二客户端获取第二对象的第二声音信息和交互信息；根据第一图像信息将第一对象渲染至虚拟背景中，根据交互信息控制虚拟对象执行与交互信息匹配的动作；基于虚拟背景及第一对象和虚拟对象构建虚拟场景，并在虚拟场景中新建第一虚拟摄像机，通过第一虚拟摄像机采集虚拟交互视频；向第三客户端输出虚拟交互视频，以实现对虚拟交互视频进行直播。本发明提升用户观看视频直播的视觉体验。

Description

基于混合现实的直播方法及相关设备
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于混合现实的直播方法、装置、计算机设备及计算机可读存储介质。
背景技术
当多个对象带着VR/MR眼镜在虚拟场景中进行沟通、交互时，虚拟场景外的第三方对象看不到虚拟场景中的沟通、交互过程。不利于VR/MR技术的推广，不利于第三方对象对沟通、交互过程的监督和欣赏。
如何使第三方对象可以看到多个对象的全景图像和交互过程，提升第三方对象观看视频直播的视觉体验，成为待解决的问题。
发明内容
鉴于以上内容，有必要提出一种基于混合现实的直播方法、装置、计算机设备及计算机可读存储介质，其可以对虚拟场景进行直播，使用户可以看到多个对象的全景图像和交互过程，提升用户观看视频直播的视觉体验。
本申请的第一方面提供一种基于混合现实的直播方法，所述基于混合现实的直播方法包括：
配置虚拟背景，所述虚拟背景包括虚拟对象；
从第一客户端获取第一对象的第一声音信息和真实的第一图像信息；
从第二客户端获取第二对象的第二声音信息和交互信息；
根据所述第一图像信息将所述第一对象渲染至所述虚拟背景中，根据所述交互信息控制所述虚拟对象执行与所述交互信息匹配的动作；
基于所述虚拟背景及所述第一对象和所述虚拟对象构建虚拟场景，并在所述虚拟场景中新建第一虚拟摄像机，通过所述第一虚拟摄像机采集虚拟交互视频；
向第三客户端输出所述虚拟交互视频，以实现对所述虚拟交互视频进行直播。
另一种可能的实现方式中，在所述从第一客户端获取第一对象的第一声音信息和真实的第一图像信息之后，所述基于混合现实的直播方法还包括：
将所述第一声音信息和所述第一图像信息传输给所述第二客户端，使得所述第二对象通过所述第二客户端获取所述第一声音信息和所述第一图像信息，并通过所述第二客户端与所述第一对象进行交互。
另一种可能的实现方式中，所述根据所述交互信息控制所述虚拟对象执行与所述交互信息匹配的动作包括：
通过VR头部设备或MR头部设备获取所述交互信息中的头部信息，控制所述虚拟对象的头部执行与所述交互信息中的头部信息匹配的头部动作；
通过VR手柄获取所述交互信息中的手部信息，控制所述虚拟对象的手部执行与所述交互信息中的手部信息匹配的手部动作。
另一种可能的实现方式中，所述基于混合现实的直播方法还包括：
在所述虚拟场景中的第一对象的位置处新建第二虚拟摄像机；
通过所述第二虚拟摄像机采集第二图像信息，将所述第二声音信息和所述第二图像信息传输给所述第一客户端，使得所述第一对象通过所述第一客户端获取所述第二声音信息和所述第二图像信息，并通过所述第一客户端与所述第二对象进行交互。
另一种可能的实现方式中，所述通过所述第一虚拟摄像机采集虚拟交互视频包括：
将所述第一虚拟摄像机与渲染目标绑定，将所述第一虚拟摄像机获取的每帧图像更新至所述渲染目标；
根据所述渲染目标生成目标纹理；
将所述目标纹理映射至预设处理器显存，并生成虚拟交互视频。
另一种可能的实现方式中，所述根据所述渲染目标生成目标纹理包括：
新建目标窗口，所述目标窗口包括所述渲染目标中的图像；
通过所述目标窗口的窗口句柄将所述目标窗口中的图像绑定至独立上下文的第一中间目标纹理；
将所述第一中间目标纹理进行格式预处理和尺寸预处理，得到所述目标纹理。
另一种可能的实现方式中，所述根据所述渲染目标生成目标纹理包括：
根据所述渲染目标新建一个目标独立上下文，在所述目标独立上下文中新建共享的第二中间目标纹理；
将所述目标独立上下文的BGRA通道的渲染目标复制至所述第二中间目标纹理；
将所述第二中间目标纹理的RB通道转换成BGRA通道后，对BGRA通道的第二中间目标纹理进行格式预处理和尺寸预处理，得到所述目标纹理。
本申请的第二方面提供一种基于混合现实的直播装置，所述基于混合现实的直播装置包括：
配置模块，用于配置虚拟背景，所述虚拟背景包括虚拟对象；
第一获取模块，用于从第一客户端获取第一对象的第一声音信息和真实的第一图像信息；
第二获取模块，用于从第二客户端获取第二对象的第二声音信息和交互信息；
控制模块，用于根据所述第一图像信息将所述第一对象渲染至所述虚拟背景中，根据所述交互信息控制所述虚拟对象执行与所述交互信息匹配的动作；
采集模块，用于基于所述虚拟背景及所述第一对象和所述虚拟对象构建虚拟场景，并在所述虚拟场景中新建第一虚拟摄像机，通过所述第一虚拟摄像机采集虚拟交互视频；
输出模块，用于向第三客户端输出所述虚拟交互视频，以实现对所述虚拟交互视频进行直播。
本申请的第三方面提供一种计算机设备，所述计算机设备包括处理器，所述处理器用于执行存储器中存储的计算机可读指令时实现所述基于混合现实的直播方法。
本申请的第四方面提供一种计算机可读存储介质，其上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现所述基于混合现实的直播方法。
本发明对虚拟场景进行直播，使用户可以看到多个对象的全景图像和交互过程，提升用户观看视频直播的视觉体验。
附图说明
图1是本发明实施例提供的基于混合现实的直播方法的流程图。
图2是本发明实施例提供的虚拟交互视频示意图。
图3是本发明实施例提供的基于混合现实的直播装置的结构图。
图4是本发明实施例提供的计算机设备的示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施例对本发明进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
优选地，本发明的基于混合现实的直播方法应用在一个或者多个计算机设备中。所述计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
实施例一
图1是本发明实施例一提供的基于混合现实的直播方法的流程图。所述基于混合现实的直播方法应用于计算机设备，用于对虚拟场景进行直播，使用户可以看到多个对象的全景图像和交互过程，提升用户观看视频直播的视觉体验。
如图1所示，所述基于混合现实的直播方法包括：
101，配置虚拟背景，所述虚拟背景包括虚拟对象。
所述虚拟背景可以包括多个不同风格和形式的教学场景、互动场景，如教室、会议室、实验室等。可以通过配置不同的虚拟背景得到不同的虚拟感受。
将虚拟背景配置为教室时，教室可以包括老师的讲台位置和学生的座位，每个学生的座位可以对应一个虚拟对象(本例的虚拟对象可以为虚拟学生形象)。
在另一实施例中，将虚拟背景配置为实验室时，所述虚拟对象可以包括虚拟人物、虚拟实验物品等。
在另一实施例中，可以通过全景摄像设备拍摄全景影像获取所述虚拟背景。
102，从第一客户端获取第一对象的第一声音信息和真实的第一图像信息。
在一具体实施例中，可以通过所述第一客户端的录音装置获取第一对象的第一声音信息；通过所述第一客户端的摄影装置获取所述第一对象的图像信息，从所述第一对象的图像信息中提取所述第一对象的真实影像，得到所述第一图像信息。所述第一图像信息为拍摄的真实影像。
所述从所述第一对象的图像信息中提取所述第一对象的真实影像可以包括：
基于色键抠像技术从所述第一对象的图像信息中提取所述第一对象的真实影像；
基于生物体识别技术从所述第一对象的图像信息中提取所述第一对象所在的图像部分。
将虚拟背景配置为教室时，所述第一对象可以包括教师。将虚拟背景配置为实验室时，所述第一对象可以包括教师和/或学生。
103，从第二客户端获取第二对象的第二声音信息和交互信息。
在一具体实施例中，可以通过所述第二客户端的录音装置获取所述第二对象的第二声音信息；通过所述第二客户端的VR(Virtual Reality，虚拟实境)或MR(MixedReality，混合实境)头部设备获取所述交互信息中的头部信息，通过所述第二客户端的VR手柄获取所述交互信息中的手部信息。
在另一实施例中，从所述第二客户端获取所述交互信息可以包括：
通过所述第二客户端采集所述第二对象的图像信息；获取训练好的基于图片骨骼卷积神经网络算法的神经网络模型；以所述第二对象的图像信息为输入通过所述神经网络模型计算所述第二对象的骨骼信息，基于所述第二对象的骨骼信息识别并追踪所述第二对象的动作交互信息。所述骨骼信息包括人体头部、手部、脚部、躯干等各处的信息。
将虚拟背景配置为教室时，所述第二对象可以包括学生。将虚拟背景配置为实验室时，所述第一对象可以包括学生和/或真实实验物品。
当所述第二对象包括多个学生时，虚拟对象包括多个虚拟人物。多个学生与多个虚拟人物一一对应。所述多个虚拟人物的人物形象可以相同。每个虚拟人物的人物形象也可以与对应的学生的学生形象相同。
在另一实施例中，在所述从第一客户端获取第一对象的第一声音信息和真实的第一图像信息之后，所述基于混合现实的直播方法还包括：
将所述第一声音信息和所述第一图像信息传输给所述第二客户端，使得所述第二对象通过所述第二客户端获取所述第一声音信息和所述第一图像信息，并通过所述第二客户端与所述第一对象进行交互。
在另一实施例中，所述基于混合现实的直播方法还包括：
将所述第一对象的真实影像和所述虚拟背景进行融合得到虚拟融合图像信息；
将所述第一声音信息合成到所述虚拟融合图像信息中，得到第一视频；
将所述第一视频传输给所述第二客户端，使所述第二对象可以通过所述第二客户端的虚拟显示装置播放所述第一视频。所述第二对象可以通过所述第二客户端看到所述第一对象，使所述第一对象能够向所述第二对象进行交互。
104，根据所述第一图像信息将所述第一对象渲染至所述虚拟背景中，根据所述交互信息控制所述虚拟对象执行与所述交互信息匹配的动作。
在一具体实施例中，所述根据所述第一图像信息将所述第一对象渲染至所述虚拟背景中包括：
从所述第一对象的图像信息中提取所述第一对象的真实影像；
将所述第一对象的真实影像渲染至所述虚拟背景；或
将所述第一对象的真实影像与所述虚拟背景进行融合。
在一具体实施例中，所述根据所述交互信息控制所述虚拟对象执行与所述交互信息匹配的动作包括：
通过VR头部设备或MR头部设备获取所述交互信息中的头部信息，控制所述虚拟对象的头部执行与所述交互信息中的头部信息匹配的头部动作；
通过VR手柄获取所述交互信息中的手部信息，控制所述虚拟对象的手部执行与所述交互信息中的手部信息匹配的手部动作。
在另一实施例中，所述基于混合现实的直播方法还包括：
在所述虚拟场景中的第一对象的位置处新建第二虚拟摄像机；
通过所述第二虚拟摄像机采集第二图像信息，将所述第二声音信息和所述第二图像信息传输给所述第一客户端，使得所述第一对象通过所述第一客户端获取所述第二声音信息和所述第二图像信息，并通过所述第一客户端与所述第二对象进行交互。
在另一实施例中，所述基于混合现实的直播方法还包括：
将所述第二声音信息合成到所述第二图像信息中，得到第二视频；
将所述第二视频传输给所述第一客户端，使所述第一对象可以通过所述第一客户端的虚拟显示装置播放所述第二视频。所述第一对象可以通过所述第一客户端看到所述第二对象，使所述第二对象能够向所述第一对象进行交互。
105，基于所述虚拟背景及所述第一对象和所述虚拟对象构建虚拟场景，并在所述虚拟场景中新建第一虚拟摄像机，通过所述第一虚拟摄像机采集虚拟交互视频。
在一具体实施例中，所述在所述虚拟场景中新建第一虚拟摄像机包括：
在所述虚拟场景中的目标位置处新建第一虚拟摄像机，使所述第一虚拟摄像机能够拍摄到包括所述第一对象和所述虚拟对象在内的虚拟场景的全景。
具体地，所述虚拟对象可以位于所述第一对象与所述第一虚拟摄像机的中间。
在一具体实施例中，所述通过所述第一虚拟摄像机采集虚拟交互视频包括：
将所述第一虚拟摄像机与渲染目标绑定，将所述第一虚拟摄像机获取的每帧图像更新至所述渲染目标；
根据所述渲染目标生成目标纹理；
将所述目标纹理映射至预设处理器显存，并生成虚拟交互视频。
在一具体实施例中，所述根据所述渲染目标生成目标纹理包括：
新建目标窗口，所述目标窗口包括所述渲染目标中的图像；
通过所述目标窗口的窗口句柄将所述目标窗口中的图像绑定至独立上下文的第一中间目标纹理；
将所述第一中间目标纹理进行格式预处理和尺寸预处理，得到所述目标纹理。
具体地，所述将所述第一中间目标纹理进行格式预处理和尺寸预处理包括：
将所述第一中间目标纹理转换为预设尺寸并转换为YUV420P格式。
在一具体实施例中，所述根据所述渲染目标生成目标纹理包括：
根据所述渲染目标新建一个目标独立上下文，在所述目标独立上下文中新建共享的第二中间目标纹理；
将所述目标独立上下文的BGRA通道的渲染目标复制至所述第二中间目标纹理，将所述第二中间目标纹理的RB通道转换成BGRA通道后，对BGRA通道的第二中间目标纹理进行格式预处理和尺寸预处理，得到所述目标纹理。
106，向第三客户端输出所述虚拟交互视频，以实现对所述虚拟交互视频进行直播。
在一具体实施例中，所述向第三客户端输出所述虚拟交互视频包括：
将所述虚拟交互视频推流至内容分发网络，通过所述内容分发网络将所述混合信息分发至所述第三客户端。
所述虚拟交互视频包括通过所述第一虚拟摄像机采集的所述虚拟场景的第三图像信息、所述第一声音信息和所述第二声音信息。
所述第三客户端可以播放所述虚拟交互视频，用户可以通过所述第三客户端看到和听到所述第一对象和所述第二对象的全景图像和交互过程，提升用户观看视频直播的视觉体验。
所述第一客户端、所述第二客户端和所述第三客户端可以在不同的地理位置，所述第一客户端、所述第二客户端和所述第三客户端可以是计算机设备。所述第一客户端、所述第二客户端至少包括一摄像装置(如RGB高清镜头、IR红外镜头以及TOF深度镜头等)、录音装置、虚拟显示装置等。所述第三客户端至少包括虚拟显示装置(如电脑显示装置、移动端显示装置、虚拟头显设备(如VR一体机、MR一体机等)等)。
在另一实施例中，所述基于混合现实的直播方法还包括；
录制所述虚拟场景的直播视频；
通过社交工具传播所述直播视频。
实施例一的基于混合现实的直播方法对虚拟场景进行直播，使用户可以看到多个对象的全景图像和交互过程，提升用户观看视频直播的视觉体验。
在上述的多个实施方式中，可以利用虚拟摄像机(例如：所述的第一虚拟摄像机)拍摄真实老师影像(所述的第一对象)与虚拟学生(所述的第二对象对应的虚拟对象)在虚拟场景中的交互画面，获取包括老师声音和课件声音的第一声音信息和包括学生声音的第二声音信息，将老师声音、课件声音和学生声音混合后推送至内容分发网络，同时将交互画面推送至内容分发网络。通过内容分发网络将混合声音和交互画面整合形成完整的音视频流，并分发至第三客户端。第三客户端通过广播平展示交互画面，同时播放混合声音，使位于第三客户端的家长能够看到交互画面，听到混合声音。可以录制虚拟场景的直播视频；使家长可以通过微信等社交工具传播直播视频。所述第一虚拟摄像机新建于老师端(所述的第一客户端)的虚拟场景中，虚拟场景中不包括老师端UI。通过GPU对上述的图像进行处理，减少占用CPU。如图2所示的虚拟交互视频示意图，在虚拟场景中呈现了真实的老师影像与虚拟学生的结合。配置包括三个虚拟学生的虚拟场景，从老师端获取真实的老师影像，并将老师影像渲染至虚拟场景。从学生端获取交互信息，根据交互信息控制虚拟学生执行与交互信息匹配的动作。虚拟学生的头部上方的声音标识展示了对应学生的声音播放状态。
实施例二
图3是本发明实施例二提供的基于混合现实的直播装置的结构图。所述基于混合现实的直播装置20应用于计算机设备。所述基于混合现实的直播装置20用于对虚拟场景进行直播，使用户可以看到多个对象的全景图像和交互过程，提升用户观看视频直播的视觉体验。
如图3所示，所述基于混合现实的直播装置20可以包括配置模块201、第一获取模块202、第二获取模块203、控制模块204、采集模块205、输出模块206。
配置模块201，用于配置虚拟背景，所述虚拟背景包括虚拟对象。
所述虚拟背景可以包括多个不同风格和形式的教学场景、互动场景，如教室、会议室、实验室等。可以通过配置不同的虚拟背景得到不同的虚拟感受。
将虚拟背景配置为教室时，教室可以包括老师的讲台位置和学生的座位，每个学生的座位可以对应一个虚拟对象(本例的虚拟对象可以为虚拟学生形象)。
在另一实施例中，将虚拟背景配置为实验室时，所述虚拟对象可以包括虚拟人物、虚拟实验物品等。
在另一实施例中，可以通过全景摄像设备拍摄全景影像获取所述虚拟背景。
第一获取模块202，用于从第一客户端获取第一对象的第一声音信息和真实的第一图像信息。
在一具体实施例中，可以通过所述第一客户端的录音装置获取第一对象的第一声音信息；通过所述第一客户端的摄影装置获取所述第一对象的图像信息，从所述第一对象的图像信息中提取所述第一对象的真实影像，得到所述第一图像信息。所述第一图像信息为拍摄的真实影像。
所述从所述第一对象的图像信息中提取所述第一对象的真实影像可以包括：
基于色键抠像技术从所述第一对象的图像信息中提取所述第一对象的真实影像；
基于生物体识别技术从所述第一对象的图像信息中提取所述第一对象所在的图像部分。
将虚拟背景配置为教室时，所述第一对象可以包括教师。将虚拟背景配置为实验室时，所述第一对象可以包括教师和/或学生。
第二获取模块203，用于从第二客户端获取第二对象的第二声音信息和交互信息。
在一具体实施例中，可以通过所述第二客户端的录音装置获取所述第二对象的第二声音信息；通过所述第二客户端的VR(Virtual Reality，虚拟实境)或MR(MixedReality，混合实境)头部设备获取所述交互信息中的头部信息，通过所述第二客户端的VR手柄获取所述交互信息中的手部信息。
在另一实施例中，从所述第二客户端获取所述交互信息可以包括：
通过所述第二客户端采集所述第二对象的图像信息；获取训练好的基于图片骨骼卷积神经网络算法的神经网络模型；以所述第二对象的图像信息为输入通过所述神经网络模型计算所述第二对象的骨骼信息，基于所述第二对象的骨骼信息识别并追踪所述第二对象的动作交互信息。所述骨骼信息包括人体头部、手部、脚部、躯干等各处的信息。
将虚拟背景配置为教室时，所述第二对象可以包括学生。将虚拟背景配置为实验室时，所述第一对象可以包括学生和/或真实实验物品。
当所述第二对象包括多个学生时，虚拟对象包括多个虚拟人物。多个学生与多个虚拟人物一一对应。所述多个虚拟人物的人物形象可以相同。每个虚拟人物的人物形象也可以与对应的学生的学生形象相同。
在另一实施例中，在所述从第一客户端获取第一对象的第一声音信息和真实的第一图像信息之后，所述基于混合现实的直播装置还包括传输模块，用于将所述第一声音信息和所述第一图像信息传输给所述第二客户端，使得所述第二对象通过所述第二客户端获取所述第一声音信息和所述第一图像信息，并通过所述第二客户端与所述第一对象进行交互。
在另一实施例中，所述传输模块还用于将所述第一对象的真实影像和所述虚拟背景进行融合得到虚拟融合图像信息；
将所述第一声音信息合成到所述虚拟融合图像信息中，得到第一视频；
将所述第一视频传输给所述第二客户端，使所述第二对象可以通过所述第二客户端的虚拟显示装置播放所述第一视频。所述第二对象可以通过所述第二客户端看到所述第一对象，使所述第一对象能够向所述第二对象进行交互。
控制模块204，用于根据所述第一图像信息将所述第一对象渲染至所述虚拟背景中，根据所述交互信息控制所述虚拟对象执行与所述交互信息匹配的动作。
在一具体实施例中，所述根据所述第一图像信息将所述第一对象渲染至所述虚拟背景中包括：
从所述第一对象的图像信息中提取所述第一对象的真实影像；
将所述第一对象的真实影像渲染至所述虚拟背景；或
将所述第一对象的真实影像与所述虚拟背景进行融合。
在一具体实施例中，所述根据所述交互信息控制所述虚拟对象执行与所述交互信息匹配的动作包括：
通过VR头部设备或MR头部设备获取所述交互信息中的头部信息，控制所述虚拟对象的头部执行与所述交互信息中的头部信息匹配的头部动作；
通过VR手柄获取所述交互信息中的手部信息，控制所述虚拟对象的手部执行与所述交互信息中的手部信息匹配的手部动作。
在另一实施例中，所述传输模块还用于在所述虚拟场景中的第一对象的位置处新建第二虚拟摄像机；
通过所述第二虚拟摄像机采集第二图像信息，将所述第二声音信息和所述第二图像信息传输给所述第一客户端，使得所述第一对象通过所述第一客户端获取所述第二声音信息和所述第二图像信息，并通过所述第一客户端与所述第二对象进行交互。
在另一实施例中，所述传输模块还用于将所述第二声音信息合成到所述第二图像信息中，得到第二视频；
将所述第二视频传输给所述第一客户端，使所述第一对象可以通过所述第一客户端的虚拟显示装置播放所述第二视频。所述第一对象可以通过所述第一客户端看到所述第二对象，使所述第二对象能够向所述第一对象进行交互。
采集模块205，用于基于所述虚拟背景及所述第一对象和所述虚拟对象构建虚拟场景，并在所述虚拟场景中新建第一虚拟摄像机，通过所述第一虚拟摄像机采集虚拟交互视频。
在一具体实施例中，所述在所述虚拟场景中新建第一虚拟摄像机包括：
在所述虚拟场景中的目标位置处新建第一虚拟摄像机，使所述第一虚拟摄像机能够拍摄到包括所述第一对象和所述虚拟对象在内的虚拟场景的全景。
具体地，所述虚拟对象可以位于所述第一对象与所述第一虚拟摄像机的中间。
在一具体实施例中，所述通过所述第一虚拟摄像机采集虚拟交互视频包括：
将所述第一虚拟摄像机与渲染目标绑定，将所述第一虚拟摄像机获取的每帧图像更新至所述渲染目标；
根据所述渲染目标生成目标纹理；
将所述目标纹理映射至预设处理器显存，并生成虚拟交互视频。
在一具体实施例中，所述根据所述渲染目标生成目标纹理包括：
新建目标窗口，所述目标窗口包括所述渲染目标中的图像；
通过所述目标窗口的窗口句柄将所述目标窗口中的图像绑定至独立上下文的第一中间目标纹理；
将所述第一中间目标纹理进行格式预处理和尺寸预处理，得到所述目标纹理。
具体地，所述将所述第一中间目标纹理进行格式预处理和尺寸预处理包括：
将所述第一中间目标纹理转换为预设尺寸并转换为YUV420P格式。
在一具体实施例中，所述根据所述渲染目标生成目标纹理包括：
根据所述渲染目标新建一个目标独立上下文，在所述目标独立上下文中新建共享的第二中间目标纹理；
将所述目标独立上下文的BGRA通道的渲染目标复制至所述第二中间目标纹理，将所述第二中间目标纹理的RB通道转换成BGRA通道后，对BGRA通道的第二中间目标纹理进行格式预处理和尺寸预处理，得到所述目标纹理。
输出模块206，用于向第三客户端输出所述虚拟交互视频，以实现对所述虚拟交互视频进行直播。
在一具体实施例中，所述向第三客户端输出所述虚拟交互视频包括：
将所述虚拟交互视频推流至内容分发网络，通过所述内容分发网络将所述混合信息分发至所述第三客户端。
所述虚拟交互视频包括通过所述第一虚拟摄像机采集的所述虚拟场景的第三图像信息、所述第一声音信息和所述第二声音信息。
所述第三客户端可以播放所述虚拟交互视频，用户可以通过所述第三客户端看到和听到所述第一对象和所述第二对象的全景图像和交互过程，提升用户观看视频直播的视觉体验。
所述第一客户端、所述第二客户端和所述第三客户端可以在不同的地理位置，所述第一客户端、所述第二客户端和所述第三客户端可以是计算机设备。所述第一客户端、所述第二客户端至少包括一摄像装置(如RGB高清镜头、IR红外镜头以及TOF深度镜头等)、录音装置、虚拟显示装置等。所述第三客户端至少包括虚拟显示装置(如电脑显示装置、移动端显示装置、虚拟头显设备(如VR一体机、MR一体机等)等)。
在另一实施例中，所述基于混合现实的直播装置还包括传播模块，用于录制所述虚拟场景的直播视频；
通过社交工具传播所述直播视频。
实施例二的基于混合现实的直播装置20对虚拟场景进行直播，使用户可以看到多个对象的全景图像和交互过程，提升用户观看视频直播的视觉体验。
实施例三
本实施例提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机可读指令，该计算机可读指令被处理器执行时实现上述基于混合现实的直播方法实施例中的步骤，例如图1所示的步骤101-106：
101，配置虚拟背景，所述虚拟背景包括虚拟对象；
102，从第一客户端获取第一对象的第一声音信息和真实的第一图像信息；
103，从第二客户端获取第二对象的第二声音信息和交互信息；
104，根据所述第一图像信息将所述第一对象渲染至所述虚拟背景中，根据所述交互信息控制所述虚拟对象执行与所述交互信息匹配的动作；
105，基于所述虚拟背景及所述第一对象和所述虚拟对象构建虚拟场景，并在所述虚拟场景中新建第一虚拟摄像机，通过所述第一虚拟摄像机采集虚拟交互视频；
106，向第三客户端输出所述虚拟交互视频，以实现对所述虚拟交互视频进行直播。
或者，该计算机可读指令被处理器执行时实现上述装置实施例中各模块的功能，例如图3中的模块201-206：
配置模块201，用于配置虚拟背景，所述虚拟背景包括虚拟对象；
第一获取模块202，用于从第一客户端获取第一对象的第一声音信息和真实的第一图像信息；
第二获取模块203，用于从第二客户端获取第二对象的第二声音信息和交互信息；
控制模块204，用于根据所述第一图像信息将所述第一对象渲染至所述虚拟背景中，根据所述交互信息控制所述虚拟对象执行与所述交互信息匹配的动作；
采集模块205，用于基于所述虚拟背景及所述第一对象和所述虚拟对象构建虚拟场景，并在所述虚拟场景中新建第一虚拟摄像机，通过所述第一虚拟摄像机采集虚拟交互视频；
输出模块206，用于向第三客户端输出所述虚拟交互视频，以实现对所述虚拟交互视频进行直播。
实施例四
图4为本发明实施例三提供的计算机设备的示意图。所述计算机设备30包括存储器301、处理器302以及存储在所述存储器301中并可在所述处理器302上运行的计算机可读指令303，例如基于混合现实的直播程序。所述处理器302执行所述计算机可读指令303时实现上述基于混合现实的直播方法实施例中的步骤，例如图1所示的101-106：
101，配置虚拟背景，所述虚拟背景包括虚拟对象；
102，从第一客户端获取第一对象的第一声音信息和真实的第一图像信息；
103，从第二客户端获取第二对象的第二声音信息和交互信息；
104，根据所述第一图像信息将所述第一对象渲染至所述虚拟背景中，根据所述交互信息控制所述虚拟对象执行与所述交互信息匹配的动作；
105，基于所述虚拟背景及所述第一对象和所述虚拟对象构建虚拟场景，并在所述虚拟场景中新建第一虚拟摄像机，通过所述第一虚拟摄像机采集虚拟交互视频；
106，向第三客户端输出所述虚拟交互视频，以实现对所述虚拟交互视频进行直播。
或者，该计算机可读指令被处理器执行时实现上述装置实施例中各模块的功能，例如图3中的模块201-206：
配置模块201，用于配置虚拟背景，所述虚拟背景包括虚拟对象；
第一获取模块202，用于从第一客户端获取第一对象的第一声音信息和真实的第一图像信息；
第二获取模块203，用于从第二客户端获取第二对象的第二声音信息和交互信息；
控制模块204，用于根据所述第一图像信息将所述第一对象渲染至所述虚拟背景中，根据所述交互信息控制所述虚拟对象执行与所述交互信息匹配的动作；
采集模块205，用于基于所述虚拟背景及所述第一对象和所述虚拟对象构建虚拟场景，并在所述虚拟场景中新建第一虚拟摄像机，通过所述第一虚拟摄像机采集虚拟交互视频；
输出模块206，用于向第三客户端输出所述虚拟交互视频，以实现对所述虚拟交互视频进行直播。
示例性的，所述计算机可读指令303可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器301中，并由所述处理器302执行，以完成本方法。所述一个或多个模块可以是能够完成特定功能的一系列计算机可读指令段，该指令段用于描述所述计算机可读指令303在所述计算机设备30中的执行过程。例如，所述计算机可读指令303可以被分割成图3中的配置模块201、第一获取模块202、第二获取模块203、控制模块204、采集模块205、输出模块206，各模块具体功能参见实施例二。
本领域技术人员可以理解，所述示意图4仅仅是计算机设备30的示例，并不构成对计算机设备30的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述计算机设备30还可以包括输入输出设备、网络接入设备、总线等。
所称处理器302可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器302也可以是任何常规的处理器等，所述处理器302是所述计算机设备30的控制中心，利用各种接口和线路连接整个计算机设备30的各个部分。
所述存储器301可用于存储所述计算机可读指令303，所述处理器302通过运行或执行存储在所述存储器301内的计算机可读指令或模块，以及调用存储在存储器301内的数据，实现所述计算机设备30的各种功能。所述存储器301可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机设备30的使用所创建的数据等。此外，存储器301可以包括硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)或其他非易失性/易失性存储器件。
所述计算机设备30集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机可读指令来指令相关的硬件来完成，所述的计算机可读指令可存储于一计算机可读存储介质中，该计算机可读指令在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机可读指令包括计算机可读指令代码，所述计算机可读指令代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机可读指令代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM)、随机存取存储器(RAM)。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述基于混合现实的直播方法的部分步骤。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他模块或步骤，单数不排除复数。系统权利要求中陈述的多个模块或装置也可以由一个模块或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (8)

1.一种基于混合现实的直播方法，其特征在于，所述基于混合现实的直播方法包括：
配置虚拟背景，所述虚拟背景包括虚拟对象；
从第一客户端获取第一对象的第一声音信息和真实的第一图像信息；
从第二客户端获取第二对象的第二声音信息和交互信息；
根据所述第一图像信息将所述第一对象渲染至所述虚拟背景中，根据所述交互信息控制所述虚拟对象执行与所述交互信息匹配的动作；
基于所述虚拟背景及所述第一对象和所述虚拟对象构建虚拟场景，并在所述虚拟场景中新建第一虚拟摄像机，通过所述第一虚拟摄像机采集虚拟交互视频，包括：将所述第一虚拟摄像机与渲染目标绑定，将所述第一虚拟摄像机获取的每帧图像更新至所述渲染目标；根据所述渲染目标生成目标纹理；将所述目标纹理映射至预设处理器显存，并生成虚拟交互视频；
在所述虚拟场景中的第一对象的位置处新建第二虚拟摄像机；通过所述第二虚拟摄像机采集第二图像信息，将所述第二声音信息和所述第二图像信息传输给所述第一客户端，使得所述第一对象通过所述第一客户端获取所述第二声音信息和所述第二图像信息，并通过所述第一客户端与所述第二对象进行交互；
向第三客户端输出所述虚拟交互视频，以实现对所述虚拟交互视频进行直播。
2.如权利要求1所述的基于混合现实的直播方法，其特征在于，在所述从第一客户端获取第一对象的第一声音信息和真实的第一图像信息之后，所述基于混合现实的直播方法还包括：
将所述第一声音信息和所述第一图像信息传输给所述第二客户端，使得所述第二对象通过所述第二客户端获取所述第一声音信息和所述第一图像信息，并通过所述第二客户端与所述第一对象进行交互。
3.如权利要求1所述的基于混合现实的直播方法，其特征在于，所述根据所述交互信息控制所述虚拟对象执行与所述交互信息匹配的动作包括：
通过VR头部设备或MR头部设备获取所述交互信息中的头部信息，控制所述虚拟对象的头部执行与所述交互信息中的头部信息匹配的头部动作；
通过VR手柄获取所述交互信息中的手部信息，控制所述虚拟对象的手部执行与所述交互信息中的手部信息匹配的手部动作。
4.如权利要求1所述的基于混合现实的直播方法，其特征在于，所述根据所述渲染目标生成目标纹理包括：
新建目标窗口，所述目标窗口包括所述渲染目标中的图像；
通过所述目标窗口的窗口句柄将所述目标窗口中的图像绑定至独立上下文的第一中间目标纹理；
将所述第一中间目标纹理进行格式预处理和尺寸预处理，得到所述目标纹理。
5.如权利要求1所述的基于混合现实的直播方法，其特征在于，所述根据所述渲染目标生成目标纹理包括：
根据所述渲染目标新建一个目标独立上下文，在所述目标独立上下文中新建共享的第二中间目标纹理；
将所述目标独立上下文的BGRA通道的渲染目标复制至所述第二中间目标纹理；
将所述第二中间目标纹理的RB通道转换成BGRA通道后，对BGRA通道的第二中间目标纹理进行格式预处理和尺寸预处理，得到所述目标纹理。
6.一种基于混合现实的直播装置，其特征在于，所述基于混合现实的直播装置包括：
配置模块，用于配置虚拟背景，所述虚拟背景包括虚拟对象；
第一获取模块，用于从第一客户端获取第一对象的第一声音信息和真实的第一图像信息；
第二获取模块，用于从第二客户端获取第二对象的第二声音信息和交互信息；
控制模块，用于根据所述第一图像信息将所述第一对象渲染至所述虚拟背景中，根据所述交互信息控制所述虚拟对象执行与所述交互信息匹配的动作；
采集模块，用于基于所述虚拟背景及所述第一对象和所述虚拟对象构建虚拟场景，并在所述虚拟场景中新建第一虚拟摄像机，通过所述第一虚拟摄像机采集虚拟交互视频，包括：将所述第一虚拟摄像机与渲染目标绑定，将所述第一虚拟摄像机获取的每帧图像更新至所述渲染目标；根据所述渲染目标生成目标纹理；将所述目标纹理映射至预设处理器显存，并生成虚拟交互视频；
所述采集模块，还用于在所述虚拟场景中的第一对象的位置处新建第二虚拟摄像机；通过所述第二虚拟摄像机采集第二图像信息，将所述第二声音信息和所述第二图像信息传输给所述第一客户端，使得所述第一对象通过所述第一客户端获取所述第二声音信息和所述第二图像信息，并通过所述第一客户端与所述第二对象进行交互；
输出模块，用于向第三客户端输出所述虚拟交互视频，以实现对所述虚拟交互视频进行直播。
7.一种计算机设备，其特征在于，所述计算机设备包括处理器，所述处理器用于执行存储器中存储的计算机可读指令以实现如权利要求1至5中任一项所述基于混合现实的直播方法。
8.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，其特征在于，所述计算机可读指令被处理器执行时实现如权利要求1至5中任一项所述基于混合现实的直播方法。
CN202010981861.8A 2020-09-17 2020-09-17 基于混合现实的直播方法及相关设备 Active CN112135158B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010981861.8A CN112135158B (zh) 2020-09-17 2020-09-17 基于混合现实的直播方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010981861.8A CN112135158B (zh) 2020-09-17 2020-09-17 基于混合现实的直播方法及相关设备

Publications (2)

Publication Number Publication Date
CN112135158A CN112135158A (zh) 2020-12-25
CN112135158B true CN112135158B (zh) 2022-10-25

Family

ID=73846039

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010981861.8A Active CN112135158B (zh) 2020-09-17 2020-09-17 基于混合现实的直播方法及相关设备

Country Status (1)

Country Link
CN (1) CN112135158B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113110733A (zh) * 2021-03-03 2021-07-13 卓才互能(广州)科技股份有限公司 一种基于远程双工的虚拟现场交互方法及系统
CN116107472A (zh) * 2021-11-10 2023-05-12 北京字节跳动网络技术有限公司 显示方法、装置、电子设备和存储介质
CN113996062A (zh) * 2021-11-15 2022-02-01 网易（杭州）网络有限公司 画面显示的方法、装置和电子设备
CN114401415B (zh) * 2022-01-14 2024-04-12 北京字跳网络技术有限公司 直播控制方法、装置、计算机设备及存储介质
CN114627266A (zh) * 2022-01-24 2022-06-14 深圳市大富网络技术有限公司 一种模拟式视频制作方法、系统、装置及存储介质
CN114630173A (zh) * 2022-03-03 2022-06-14 北京字跳网络技术有限公司 虚拟对象的驱动方法、装置、电子设备及可读存储介质
CN114661150A (zh) * 2022-03-04 2022-06-24 国网河北省电力有限公司石家庄供电分公司 基于混合现实技术的视频通信方法、终端及存储介质
CN115209172B (zh) * 2022-07-13 2023-07-07 成都索贝数码科技股份有限公司 一种基于xr的异地互动演出的方法
CN115278364B (zh) * 2022-07-29 2024-05-17 苏州创意云网络科技有限公司 一种视频流合成方法及装置
CN116110080B (zh) * 2023-04-04 2023-07-04 成都新希望金融信息有限公司 一种真人面签和虚拟人面签的切换方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8072470B2 (en) * 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
CN103164227B (zh) * 2013-03-28 2016-06-22 北京视博云科技有限公司 一种窗口图像的采集方法及装置
CN108459717A (zh) * 2018-03-13 2018-08-28 重庆虚拟实境科技有限公司 虚拟教育方法、装置、计算机装置及存储介质
CN111476903A (zh) * 2019-01-23 2020-07-31 北京奇虎科技有限公司 虚拟交互实现控制方法、装置、计算机设备及存储介质
CN110427107A (zh) * 2019-07-23 2019-11-08 德普信(天津)软件技术有限责任公司 虚拟与现实互动教学方法及系统、服务器、存储介质
CN111417014B (zh) * 2020-03-20 2022-12-13 深圳市企鹅网络科技有限公司 基于在线教育的视频生成方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN112135158A (zh) 2020-12-25

Similar Documents

Publication Publication Date Title
CN112135158B (zh) 基于混合现实的直播方法及相关设备
CN113240782B (zh) 基于虚拟角色的流媒体生成方法及装置
WO2019019403A1 (zh) 一种用于k12阶段的互动情景教学系统
JP6683864B1 (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
Abu-Arqoub et al. Interactive multimedia-based educational system for children using interactive book with augmented reality
CN114463470A (zh) 虚拟空间浏览方法、装置、电子设备和可读存储介质
CN114846808A (zh) 内容发布系统、内容发布方法以及内容发布程序
CN108268139B (zh) 虚拟场景交互方法及装置、计算机装置及可读存储介质
CN116823390A (zh) 一种虚拟体验系统、方法、计算机设备及存储介质
WO2022255262A1 (ja) コンテンツ提供システム、コンテンツ提供方法、及びコンテンツ提供プログラム
Giannini et al. The Arts and Computational Culture: Real and Virtual Worlds
Pope et al. The latest in immersive telepresence to support shared engineering education
Serubugo et al. Comparison of wearable optical see-through and handheld devices as platform for an augmented reality museum guide
Pybus New tools for cultural heritage tourism: Accessible virtual reality for Milan’s basilica Sant’Ambrogio
JP7465736B2 (ja) コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
CN110139030A (zh) 混合现实处理系统、方法、服务器及其存储介质
KR20160136833A (ko) 영상콘텐츠를 활용한 의료교육 시스템
CN117579885A (zh) 一种直播间的特效展示方法及系统
CN114402277B (zh) 内容控制系统、内容控制方法以及记录介质
CN210072615U (zh) 一种沉浸式教练系统及可穿戴设备
Ariffin et al. Enhancing tourism experiences via mobile augmented reality by superimposing virtual information on artefacts
CN114245193A (zh) 显示控制方法、装置和电子设备
CN108805951B (zh) 一种投影图像处理方法、装置、终端和存储介质
Glahn et al. The Future is Present: Art, Technology, and the Work of Mobile Image
KR20110107707A (ko) 증강현실을 이용한 온라인 학습 장치 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant