[go: up one dir, main page]

CN101370114A - 视频及音频处理方法、多点控制单元和视频会议系统 - Google Patents

视频及音频处理方法、多点控制单元和视频会议系统 Download PDF

Info

Publication number
CN101370114A
CN101370114A CNA2008102238108A CN200810223810A CN101370114A CN 101370114 A CN101370114 A CN 101370114A CN A2008102238108 A CNA2008102238108 A CN A2008102238108A CN 200810223810 A CN200810223810 A CN 200810223810A CN 101370114 A CN101370114 A CN 101370114A
Authority
CN
China
Prior art keywords
video
paths
audio
streams
stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008102238108A
Other languages
English (en)
Other versions
CN101370114B (zh
Inventor
王向炯
龙彦波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Device Co Ltd
Huawei Device Shenzhen Co Ltd
Original Assignee
Shenzhen Huawei Communication Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Huawei Communication Technologies Co Ltd filed Critical Shenzhen Huawei Communication Technologies Co Ltd
Priority to CN2008102238108A priority Critical patent/CN101370114B/zh
Publication of CN101370114A publication Critical patent/CN101370114A/zh
Priority to EP09815623A priority patent/EP2334068A4/en
Priority to PCT/CN2009/074228 priority patent/WO2010034254A1/zh
Application granted granted Critical
Publication of CN101370114B publication Critical patent/CN101370114B/zh
Priority to US13/073,068 priority patent/US20110261151A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1827—Network arrangements for conference optimisation or adaptation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23608—Remultiplexing multiplex streams, e.g. involving modifying time stamps or remapping the packet identifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4385—Multiplex stream processing, e.g. multiplex stream decrypting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明公开了一种视频及音频处理方法、多点控制单元和视频会议系统，尤其是一种视频处理方法、音频处理方法、视频处理装置、音频处理装置、多点控制单元和视频会议系统。该视频处理方法包括获取第一会议终端发送的N路视频流；确定与所述第一会议终端进行交互的第二会议终端，所述第二会议终端支持与N不同的L路视频流；将所述N路视频流中携带的N路视频信息，携带在L路视频流中；将所述L路视频流传输给所述第二会议终端。通过本发明实施例可以实现支持不同媒体流路数的会场之间的互通，实现远程呈现会场、双流会场、单流会场之间的融合，有利于降低整网建设成本。

Description

视频及音频处理方法、多点控制单元和视频会议系统
技术领域
本发明涉及音视频技术，尤其涉及一种视频处理方法、音频处理方法、视频处理装置、音频处理装置、多点控制单元和视频会议系统。
背景技术
最初的视频会议系统中，每个会场只能发送一路视频图像，一般为摄像机采集的会议室场景，给与会者提供类似面对面的效果。随着视频会议技术的不断进步，又出现了双流标准，允许与会者发送两路视频图像，主流发送摄像机采集的会议室场景，辅流可以发送笔记本电脑上的胶片图像，提高了与会者之间的数据共享。再进一步的又出现了远程呈现系统，该系统可以同时传送多个摄像机图像，并且多个摄像机图像可以拼接在一起构成一个视角更大的完整会议室场景，给与会者提供高临场感视频沟通体验。
虽然双流或多流的会议模式给用户带来了极大的方便和体验，但是要求同一个会议的所有会场都要同时支持双流或多流，不能与现有的单流兼容。单流会场的用户如果需要参加双流或多流会议，就必须将单流设备替换为双流或多流设备，而双流或多流设备的成本比较高，因此需要一种方案来支持单流会场、双流会场、多流会场之间的混合组网，以尽量减低整体建设成本。现有技术中存在一种方案可以解决单流会场和双流会场的混合会议，其采用的方案是将双流会场的主视频流转发给单流会场，而丢弃双流会场的辅视频流。
发明人在实现本发明的过程中发现现有技术至少存在如下问题：现有技术在实现双流会场和单流会场的混合组网时，由于丢弃了双流会场的辅视频流，造成单流会场只能看到双流会场发送的主流图像，而看不到辅流图像，影响会议效果。同时，现有技术中还没有给出远程呈现会场与单流会场及双流会场及路数不同的远程呈现会场之间的混合组网方案。
发明内容
本发明是提供一种视频处理方法、音频处理方法、视频处理装置、音频处理装置、多点控制单元和视频会议系统，解决支持不同音视频会场的混合组网问题。
本发明实施例提供了一种视频处理方法，包括：
获取第一会议终端发送的N路视频流；
确定与所述第一会议终端进行交互的第二会议终端，所述第二会议终端支持与N不同的L路视频流；
将所述N路视频流中携带的N路视频信息，携带在L路视频流中；
将所述L路视频流传输给所述第二会议终端。
本发明实施例提供了一种音频处理方法，包括：
获取各会议终端的音频流，所述会议终端至少包括一个远程呈现会场的终端；
对各会议终端的音频流进行混音处理；
将混音后的音频流发送给各会议终端。
本发明实施例提供了一种视频处理装置，包括：
视频获取模块，用于获取第一会议终端发送的N路视频流；
确定模块，用于确定与所述第一会议终端进行交互的第二会议终端，所述第二会议终端支持与N不同的L路视频流；
处理模块，用于将所述N路视频流中携带的N路视频信息，携带在L路视频流中；
传输模块，用于将所述L路视频流传输给所述第二会议终端。
本发明实施例提供了一种音频处理装置，包括：
音频获取模块，用于获取各会议终端的音频流，所述会议终端至少包括一个远程呈现会场的终端；
混音模块，用于对各会议终端的音频流进行混音处理；
发送模块，用于将混音后的音频流发送给各会议终端。
本发明实施例提供了一种多点控制单元，包括：
第一接入模块，用于接入第一会议终端，与所述第一会议终端传输第一媒体流，所述第一媒体流包括N路视频流和N路音频流；
第二接入模块，用于接入第二会议终端，与所述第二会议终端传输第二媒体流，所述第二媒体流包括L路视频流和L路音频流，L与N不相同；
媒体交换模块，用于将第一媒体流中的信息传输给第二会议终端，将第二媒体流中的信息传输给第一会议终端。
本发明实施例提供了一种视频会议系统，包括：
至少两个会议终端，所述会议终端至少支持两种媒体流路数；
多点控制单元，用于交换所述至少两个会议终端的媒体流中携带的信息。
由上述技术方案可知，本发明实施例通过对接入的音视频流进行处理，使处理后的音视频路数与接收会场的路数相同，实现各个不同路数会场之间的互通，即实现远程呈现会场、单流会场、双流会场之间的互通融合，使这些不同路数的会场可以混合组网，降低整网建设成本。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的视频会议系统的结构示意图；
图2为本发明实施例一提供的视频处理方法的流程示意图；
图3为本发明实施例二提供的多点控制单元的结构示意图；
图4为本发明实施例二提供的视频处理方法的实施例一的流程示意图；
图5为本发明实施例二提供的视频处理方法的实施例二的流程示意图；
图6为本发明实施例三提供的多点控制单元的结构示意图；
图7为本发明实施例四提供的多点控制单元的结构示意图；
图8为本发明实施例四提供的音频处理方法的流程示意图；
图9为本发明视频处理装置实施例的结构示意图；
图10为本发明音频处理装置实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的视频会议系统的结构示意图，包括第一会议终端、与第一会议路数不同的第二会议终端和用于进行第一会议终端与第二会议终端媒体流交互的多点控制单元(Multipoint Control Unit，MCU)13。第一会议终端和第二会议终端至少为一个，其中，图1所示的第一会议终端为路数为三路的第一远程呈现会场111、第二远程呈现会场112，传输的分别为A、B、C及D、E、F三路媒体流；第二会议终端为第一单流会场121、第二单流会场122、第三单流会场123，分别传输的为G、H、I一路媒体流；MCU13负责各个会场(包括单流会场、双流会场、多流会场)之间的核心交换、混音、分屏处理等。第一远程呈现会场111、第二远程呈现会场112与第一单流会场121、第二单流会场122、第三单流会场123通过E1或IP或ISDN等传输网络接入MCU13，媒体流(包括视频流和音频流)在MCU13上汇聚，MCU13对各个会场接入的媒体流统一进行控制、交换，以实现各个会场之间的媒体流交换。
参见图1，第二远程呈现会场112可以接收到第一单流会场121、第二单流会场122、第三单流会场123的媒体信息(G、H、I)，第一单流会场121可以接收到第二远程呈现会场112的媒体信息(D、E、F)，因此，实现了远程呈现会场和单流会场之间的交互，解决了现有技术中不同路数会场之间不能融合的问题。同时，同现有技术一样，远程呈现会场之间、单流会场之间也可以交互，例如，第一远程呈现会场111可以接收到第二远程呈现会场112的媒体信息，第二单流会场122、第三单流会场123分别接收到第一单流会场111、第二单流会场112的媒体信息，因此，可以同现有技术兼容。
本实施例还可以进一步包括业务管理台14，业务管理台14用于对系统的各种参数进行预定义，之后将预定义的各参数传输给MCU13，使MCU13根据预定义的各参数进行统一控制管理。具体的MCU的结构及实现方式可以参见下述的实施例。
本实施例中，MCU进行不同媒体流路数的会场之间的交互，可以实现不同路数会场之间的混合组网，可以根据网络中各用户的情况配置相应的远程呈现会场终端、单流会场终端、双流会场终端，而不必整网配置性能较高的设备，因此，可以降低整网的建设成本，避免之前使用的设备的资源浪费。
图2为本发明实施例一提供的视频处理方法的流程示意图，包括：
步骤21：MCU获取第一会议终端发送的N路视频流。例如，MCU接收远程呈现会场的三路视频流。
步骤22：MCU确定与所述第一会议终端进行交互的第二会议终端，所述第二会议终端支持L路视频流，L与N不同。例如，第二会议终端为单流会场，支持一路视频流。
步骤23：MCU将所述N路视频流中携带的N路视频信息，携带在L路视频流中。例如，参照图1，第一单流会场121支持的视频流为一路，与MCU接入的第二远程呈现会场112支持的三路视频流的路数不相同，因此，MCU需要对三路视频流进行处理，使三路视频流中的信息携带在一路视频流中，如该一路视频流中包括信息D、E、F)。相比于现有会议电视系统中要求各会场支持的路数相同，本实施例可以支持各不同路数的会场之间的互通；相比于现有双流会场只将主视频流传输给单流会场造成的信息丢失问题，本实施例在处理后得到的第二媒体流中保留了原有的第一媒体流中全部信息，避免信息丢失的问题。上述将远程呈现会场的三路视频信息进行合成，还可以将三路视频信息分时地以一路视频流的方式发送给单流会场，具体的可参见下述实施例。
步骤24：MCU将所述L路视频流传输给所述第二会议终端。例如，将携带三流视频信息的一路视频流发送给单流会场。
本实施例通过对来自各会场的视频流进行处理，使接入的视频流与输出的视频流的路数不相同，实现各不同路数的会场之间的融合；并且实现输出的视频流保留输入视频流的全部信息，避免信息丢失。
图3为本发明实施例二提供的多点控制单元的结构示意图，本实施例是针对视频的MCU的结构示意图，包括第一接入模块31、第二接入模块32、视频合成模块33和媒体交换模块34。第一接入模块31与第一会议终端连接，用于接入第一会议终端的N路视频流，例如，接入图1中的远程呈现会场的三路视频流；第二接入模块32与第二会议终端连接，用于接入第二会议终端的与N不同的L路视频流，例如，接入图1中的单流会场的一路视频流；视频合成模块33与第一接入模块31相连，用于将N路视频流合成为L路视频流，例如，将图1的远程呈现会场的三路视频流合成一路视频流；媒体交换模块34与视频合成模块33相连，用于将N路视频流合成得到的L路视频流转发给第二会议终端，例如，将图1的三路视频流合成为一路视频流后发送给单流会场。同时，视频合成模块33还可以用于将接入的未合成的N路视频流直接转发给媒体交换模块34，再传输给相应的支持多路的会场，例如，图1的第二远程呈现会场112将多路视频流通过媒体交换模块34直接转发给第一远程呈现会场111。
其中，视频合成模块具体用于将若干个N路视频信息合成为L路视频信息，如将L个N路视频信息合成为L路视频信息，每个N路视频信息合成为一路视频信息；或者所述视频合成模块具体用于将一个N路视频信息合成为L路视频信息，如将一个N路视频信息中的(L-1)路视频信息保持不变，将N-(L-1)路的视频信息合成为一路视频信息。本实施例还可以进一步包括协议转换/速率适配模块35，协议转换/速率适配模块35分别位于视频合成模块与媒体交换模块之间，及位于第二接入模块与媒体交换模块之间，用于对不同的协议和速率进行转换和适配，即把源视频流格式转换为目的视频格式，或把源视频带宽转换为目的视频带宽。如果会场之间的协议或速率不需要转换和适配，就不需要经过此模块。进一步的，本实施例还可以包括会议控制模块，会议控制模块与MCU内部的各模块连接，用于根据业务管理台输入的各种参数，管理、控制MCU内部包括接入模块、视频合成模块、协议转换/速率适配模块、媒体交换模块共同动作，实现用户对会议的管理，例如，控制接入模块将接入的视频流送入协议转换/速率适配模块，还是直接送入视频合成模块；控制视频合成模块是进行视频流合成还是直接进行视频流转发；控制媒体交换模块将处理后的视频流送入哪个会场；并且还可以控制这些模块统一工作等。
本实施例通过视频合成模块实现多路视频流的合成，达到路数少会场可以支持的路数，因此可以实现将路数多会场的视频信息传输给路数少会场，而无需将支持较少路数的会场升级成支持较多路数的会场，节省设备成本。
图4为本发明实施例二提供的视频处理方法的实施例一的流程示意图。本实施例以远程呈现会场为输入侧，单流会场及远程呈现会场为输出侧的情形为例，第一接入模块接入的为远程呈现会场输入的多路视频流。该实施例包括：
步骤41：通过标准协议(H.323或SIP或H.320)的呼叫、能力协商过程，远程呈现会场与MCU中的第一接入模块建立媒体通道，MCU中的第一接入模块获取远程呈现会场的多路视频流。
步骤42：第一接入模块将多路视频流发送给视频合成模块。视频合成模块对接收到的多路视频流进行图像解码，解码出来的原始图像进行缩放、组合成一幅新的图像，然后对该新的图像进行编码，根据会议控制模块的控制获知需要传输给单流会场，因此视频合成模块将编码得到一路视频流，并将编码后的图像一路视频流发送给媒体交换模块。同时，因为远程呈现会场之间交换的是多路视频流，所以，视频合成模块除了可以将合成后的一路视频流发送给媒体交换模块之外，还可以将接入模块接入的多路视频流直接转发给媒体交换模块，用于在远程呈现会场之间进行交换。具体的是要合成还是直接转发可以由会议控制模块进行控制。
步骤43：视频合成模块将合成后的视频流发送给媒体交换模块。媒体交换模块根据会议控制模块的指令，将视频流在各个会场之间进行转发。
步骤44：视频合成模块将多路视频流直接转发给媒体交换模块。
步骤45：媒体交换模块将合成后的视频流发送给单流会场。通过视频合成模块的处理，将多路视频流合成一路视频流，并且，经过媒体交换模块的转发，单流会场便可以收看到远程呈现会场的多路信息。参见图1，经过路数合成，第一单流会场121可以收看到第二远程呈现会场112的包括三路视频信息(D、E、F)的视频图像。
步骤46：媒体交换模块将多路视频流发送给远程呈现会场。参照图1，将第二远程呈现会场112的信息传输给第一远程呈现会场111。
本实施例以多路转换成一路为例，应用该码流合成原理可以实现任意的N流会场与L流会场之间的混和组网，假设N>L。具体的做法可以包括下述两种方式：
方式一：将若干个N路视频信息合成为L路视频信息，即对若干个N流会场进行分别合成，得到L路视频流。具体可以为将N流会场的N路视频码流组合成包括N个画面的一路视频流，再把该一路视频流发送给L流会场的一个视频通道中，L流会场的其余L-1个视频通道可以用于接收其他会场的视频流信息。例如，对两个三流会场进行处理，将每个三流会场的三路视频流合成为一路视频流，最终形成两路视频流，之后可以发送给双流会场。因此，通过该方式可以使L流会场接收到L个会场的组合画面。
方式二：将一个N路视频信息合成为L路视频信息，即对一个N流会场进行合成得到L路视频流。具体可以为将N流会场中的L-1路视频流分别发送给L流会场的L-1个视频通道中，N流会场的其余的N-(L-1)路的视频流组合成包括N-(L-1)个画面的一路视频流，将该包括多画面的一路视频流发送给L流会场的剩下的一个视频通道中。例如，将一个三流会场的一路保持不变，另两路合成为一路，最终形成两路视频流，之后可以发送给双流会场。因此，通过该方式可以保证L流会场尽可能看到最多的大画面。
本实施例通过将路数多会场的视频流进行合成，解决了路数少会场收看路数多会场的视频互通问题。
图5为本发明实施例二提供的视频处理方法的实施例二的流程示意图，本实施例是以单流会场为输入侧，远程呈现会场为输出侧的情形为例，包括：
步骤51-53：单流会场将单路视频流分别通过第二接入模块发送给媒体交换模块。例如，参照图1，第一单流会场121、第二单流会场122、第三单流会场123分别将各自的一路视频流(分别为G、H、I)发送给媒体交换中心。
步骤54：媒体交换模块将多个单流会场的单路视频流合并成多路视频流。例如，将上述的三个单路视频流合并成三路视频流。
步骤55-56；媒体交换模块将多路视频流转发给远程呈现会场。例如，参照图1，将三路视频流(G、H、I)发送给第二远程呈现会场112。
本实施例以一路转换成三路为例，应用该会场合成原理可以实现任意的L流会场与N流会场之间的混和组网，假设N>L。具体的做法可以为：在若干个L流会场中任意选择共N路的视频码流发送给N流会场。例如，将2个双流会场的视频流合并成4路视频流后，输出给一个路数为四的远程呈现会场。
本实施例通过将若干个路数少会场的视频码流进行合成，解决了路数多会场收看路数少会场的视频互通问题。
图6为本发明实施例三提供的多点控制单元的结构示意图，本实施例是针对视频的MCU的结构示意图，包括第一接入模块61、第二接入模块62和媒体交换模块63。第一接入模块61用于接入第一会议终端的N路视频流，例如，接入远程呈现会场的视频流。第二接入模块62用于接入第二会议终端的与N不同的L路视频流，例如，接入单流会场的视频流。
以N大于L为例，第一会议终端为输入侧，第二会议终端为输出侧的情况下，与实施例二提供的MCU不同的是，本实施例中不包括视频合成单元，本实施例中的媒体交换模块63根据预设的条件或者视频流的条件分时地在N路视频流中选择L路视频流，得到分时的若干个L路视频流；之后，将该若干个L路视频流分时传输给第二会议终端。如设置第一时刻选择图1中的第二远程呈现会场112的包含D信息的这一路(如可以根据视频流的源地址确定是否为需要选择的视频流)，第二时刻选择包含E信息的这一路，第三时刻选择包含F信息的这一路，之后分别传输给图1中的第一单流会场121，这样第一单流会场121便会分时地看到第二远程呈现会场112的全部内容。其中，某一时刻在N路视频流中选择L路视频流具体可以为：
方式一：根据预设的控制规则，如用户可以将自身需要的视频流的信息设置为相应的控制规则，在N路视频流中选择L路视频流。方式二：根据预设的优先级，在N路视频流中按照优先级从高到低排列选择L路传输给L流会场。
方式三：MCU通过分析接入的N路视频流对应的音频流，按照音频流的音量从高到低排列选择L路音频流对应的视频流传输给L流会场。
方式四：N流会场在视频流中携带一个表明优先级高低的标志，MCU根据优先级从高到低排列选择L路视频流传输给L流会场。
本实施例还可以进一步包括协议转换/速率适配模块64和会议控制模块。这两个模块的作用于实施例二相同，如，协议转换/速率适配模块64用于协议及速率之间的转换和适配，会议控制模块对各模块进行控制。
图7为本发明实施例四提供的多点控制单元的结构示意图，本实施例是针对音频的MCU的结构示意图，包括第一接入模块71、第二接入模块72、音频码流选择/合成模块73、媒体交换模块74和混音模块75。第一接入模块71用于接入N路音频流。第二接入模块72用于接入与N不同的L路音频流。音频码流选择/合成模块73与接入非单路音频流的接入模块对应连接，例如，N不为1，L为1，则音频码流选择/合成模块与第一接入模块连接；若N及L均不为1，则存在两个音频码流选择/合成模块，分别与第一接入模块和第二接入模块连接。音频码流选择/合成模块用于对第一接入模块或/和第二接入模块接入的多路音频流进行选择或者合成，即可以根据各音频流的音量选择一路音量最大的音频流，或者将至少两路的音频流合成为一路音频流。混音模块75用于对各个会场的音频流进行集中混音，集中混音的输入方为远程呈现会场的选择或合成的一路音频码流，及单流会场的直接的一路音频码流。混音可以具体为将各个会场的音频码流进行解码，然后根据音量大小，选择其中几路会场的语音进行数字合成，合成后的语音数据重新进行编码，编码后的码流经过媒体交换模块发送给各个会场。其中，编码可以根据不同会场的具体协议或速率等分别编码，以满足不同会场的协议或速率等要求。媒体交换模块74对各会场集中混音后的音频流进行交换。
本实施例还可以进一步包括会议控制模块，与上述各个模块(第一接入模块、第二接入模块、混音模块、媒体交换模块)连接，对各个模块进行控制。
本实施例中，混音模块用于对各会场的音频流进行混音处理，可以使各会场听到其它会场的声音，实现不同会场之间的音频互通。
图8为本发明实施例四提供的音频处理方法的流程示意图，包括：
步骤81：远程呈现会场通过呼叫、能力协商过程建立与第一接入模块之间的媒体通道。
步骤82：第一接入模块将远程呈现会场的多路音频流发送给音频码流选择/合成模块。音频码流选择/合成模块根据会议控制模块的指定选择某一路音频流或自动根据音频流的音量选择一路音频流，或者，音频码流选择/合成模块将多路音频流合成为一路包括多路语音信息的音频码流。可以根据需要设定是选择出一路还是组合成一路。
步骤83：音频码流选择/合成模块将选择或合成后的音频流发送给媒体交换模块。
步骤84：媒体交换模块将合成后的音频流发送给混音模块。
步骤85-86：混音模块将混音后的音频流通过第二接入模块发送给单流会场，及通过第一接入模块发送给远程呈现会场。
本实施例将各个会场的音频流集中到混音模块进行混音，再通过媒体交换模块分发给各个会场，使各个会场都能够听到会议的声音，实现会场的音频互通。同时，混音模块在混音处理时根据不同音频协议进行编码，可以实现不同音频协议的会场之间的音频互通。
上述实施例针对视频和音频分别对MCU进行了描述，其中图3、图6是针对视频的，图7是针对音频的。由于MCU需要对视频和音频都进行处理，因此MCU可以结合图3及图7，或者结合图6及图7。即MCU包括第一接入模块、第二接入模块和媒体交换模块；第一接入模块用于接入第一会议终端，与所述第一会议终端传输第一媒体流，所述第一媒体流包括N路视频流和N路音频流；第二接入模块用于接入第二会议终端，与所述第二会议终端传输第二媒体流，所述第二媒体流包括L路视频流和L路音频流，L与N不相同；媒体交换模块用于将第一媒体流中的信息传输给第二会议终端，将第二媒体流中的信息传输给第一会议终端。
更为具体的，以N大于L为例，MCU包括上述的第一接入模块、第二接入模块和媒体交换模块，还包括视频合成模块、音频码流选择/合成模块和混音模块。视频合成模块与第一接入模块相连，用于将N路视频流合成为L路视频流，通过所述媒体交换模块转发给第二会议终端；所述媒体交换模块还用于将多个所述L路视频流合并为N路视频流，转发给第二会议终端；音频码流选择/合成模块，与第一接入模块和/或第二接入模块相连，用于当N大于1时，将N路音频流合成为一路音频流或者根据音量在N路音频流中选择一路音频流，得到一路的第一音频流，当L大于1时，将L路音频流合成为一路音频流或者根据音量在L路音频流中选择一路音频流，得到一路的第二音频流；混音模块，用于对音频码流选择/合成模块得到的一路的第一音频流或者第一接入模块接入的一路音频流，及音频码流选择/合成模块得到的一路的第二音频流或者第二接入模块接入的一路音频流，进行混音处理，并将混音处理后的音频流通过媒体交换模块发送给第一会议终端和第二会议终端。其中，视频合成模块具体用于将若干个N路视频信息合成为L路视频信息，如将L个N路视频信息合成为L路视频信息，每个N路视频信息合成为一路视频信息；或者所述视频合成模块具体用于将一个N路视频信息合成为L路视频信息，如将一个N路视频信息中的(L-1)路视频信息保持不变，将N-(L-1)路的视频信息合成为一路视频信息。
或者，MCU包括上述的第一接入模块、第二接入模块和媒体交换模块，还包括音频码流选择/合成模块和混音模块；所述媒体交换模块还用于分时地在所述N路视频流中选择L路视频流，得到分时的若干个L路视频流，并将所述若干个L路视频流分时传输给所述第二会议终端；音频码流选择/合成模块，与第一接入模块和/或第二接入模块相连，用于当N大于1时，将N路音频流合成为一路音频流或者根据音量在N路音频流中选择一路音频流，得到一路的第一音频流，当L大于1时，将L路音频流合成为一路音频流或者根据音量在L路音频流中选择一路音频流，得到一路的第二音频流；混音模块，用于对音频码流选择/合成模块得到的一路的第一音频流或者第一接入模块接入的一路音频流，及音频码流选择/合成模块得到的一路的第二音频流或者第二接入模块接入的一路音频流，进行混音处理，并将混音处理后的音频流通过媒体交换模块发送给第一会议终端和第二会议终端。其中，媒体交换模块用于根据预设的控制规则，在所述N路视频流中选择预设的控制规则指定的L路视频流；或者媒体交换模块用于根据预设的优先级，在所述N路视频流中选择L路视频流；或者媒体交换模块用于根据与各视频流对应的音频流，按照音频流的音量大小选择L路视频流；或者媒体交换模块用于根据各视频流中携带的优先级，选择L路视频流。
或者，MCU进一步包括协议转换/速率适配模块，协议转换/速率适配模块与第一接入模块和第二接入模块相连，用于对N路视频流和L路视频流进行协议转换或速率适配处理。
图9为本发明视频处理装置实施例的结构示意图，包括视频获取模块91、确定模块92、处理模块93和传输模块94。视频获取模块91用于获取第一会议终端发送的N路视频流；确定模块92用于确定与视频获取模块91接入的第一会议终端进行交互的第二会议终端，所述第二会议终端支持与N不同的L路视频流；处理模块93用于将视频获取模块91获取的所述N路视频流中携带的N路视频信息，携带在确定模块92确定的第二会议终端支持的L路视频流中；传输模块94用于将处理模块93得到的所述L路视频流传输给所述第二会议终端。
其中，若N大于L，所述处理模块具体用于将所述N路视频信息合成为L路视频信息，将所述L路视频信息分别携带在L路视频流中。
若N小于L，所述处理模块具体用于将多个所述N路视频信息合并为L路信息，将所述L路视频信息分别携带在L路视频流中。
若N大于L，所述处理模块还可以具体用于分时地在所述N路视频流中选择L路视频流，得到分时的若干个L路视频流；所述传输模块具体用于将所述L路视频流传输给所述第二会议终端包括：将所述若干个L路视频流分时传输给所述第二会议终端。
本实施例还可以进一步包括协议转换/速率适配模块，该协议转换/速率适配模块用于对所述N路视频流和L路视频流进行协议转换或/和速率适配。
本实施例对视频流进行合成或合并或选择处理，可以实现不同路数的会议终端之间的视频互通。
图10为本发明音频处理装置实施例的结构示意图，包括音频获取模块101、混音模块102和发送模块103。音频获取模块101用于获取各会议终端的音频流，所述会议终端至少包括一个远程呈现会场的终端；混音模块102用于对音频获取模块101获取各会议终端的音频流进行混音处理；发送模块103用于将混音模块102混音后的音频流发送给各会议终端。
本实施例还可以进一步包括音频合成/选择模块，与音频获取模块连接，用于分别将各会议终端的音频流合成为一路音频流或者根据音量选择一路音频流，并将合成的或者选择的一路音频流分别发送给所述混音模块。
本实施例通过混音处理，实现不同路数的会场之间的音频互通。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。

Claims (29)

1.一种视频处理方法，其特征在于，包括：
获取第一会议终端发送的N路视频流；
确定与所述第一会议终端进行交互的第二会议终端，所述第二会议终端支持与N不同的L路视频流；
将所述N路视频流中携带的N路视频信息，携带在L路视频流中；
将所述L路视频流传输给所述第二会议终端。
2.根据权利要求1所述的视频处理方法，若N大于L，其特征在于，所述将所述N路视频流中携带的N路视频信息，携带在L路视频流中包括：将所述N路视频信息合成为L路视频信息，将所述L路视频信息分别携带在L路视频流中。
3.根据权利要求1所述的视频处理方法，若N小于L，其特征在于，所述将所述N路视频流中携带的N路视频信息，携带在L路视频流中包括：将多个所述N路视频信息合并为L路视频信息，将所述L路视频信息分别携带在L路视频流中。
4.根据权利要求1所述的视频处理方法，若N大于L，其特征在于：
所述将所述N路视频流中携带的N路视频信息，携带在L路视频流中包括：分时地在所述N路视频流中选择L路视频流，得到分时的若干个L路视频流；
所述将所述L路视频流传输给所述第二会议终端包括：将所述若干个L路视频流分时传输给所述第二会议终端。
5.根据权利要求2所述的视频处理方法，其特征在于，所述将所述N路视频信息合成为L路视频信息包括：
将若干个N路视频信息合成为L路视频信息；或者
将一个N路视频信息合成为L路视频信息。
6.根据权利要求5所述的视频处理方法，其特征在于：
所述将若干个N路视频信息合成为L路视频信息包括：将L个N路视频信息合成为L路视频信息，每个N路视频信息合成为一路视频信息；或者，
所述将一个N路视频信息合成为L路视频信息包括：将N路视频信息中的(L-1)路视频信息保持不变，将N-(L-1)路的视频信息合成为一路视频信息。
7.根据权利要求4所述的视频处理方法，其特征在于，所述在所述N路视频流中选择L路视频流包括：
根据预设的控制规则，在所述N路视频流中选择预设的控制规则指定的L路视频流；或者
根据预设的优先级，在所述N路视频流中选择L路视频流；或者
根据与各视频流对应的音频流，按照音频流的音量大小选择L路视频流；或者
根据各视频流中携带的优先级，选择L路视频流。
8.根据权利要求1所述的视频处理方法，其特征在于，还包括：
对所述N路视频流和L路视频流进行协议转换或/和速率适配。
9.一种音频处理方法，其特征在于，包括：
获取各会议终端的音频流，所述会议终端至少包括一个远程呈现会场的终端；
对各会议终端的音频流进行混音处理；
将混音后的音频流发送给各会议终端。
10.根据权利要求9所述的音频处理方法，其特征在于，所述对各会议终端的音频流进行混音处理包括：将各非单流会议终端的音频流合成为一路音频流或者将各非单流会议终端的音频流根据音量选择一路音频流后，进行混音处理。
11.一种视频处理装置，其特征在于，包括：
视频获取模块，用于获取第一会议终端发送的N路视频流；
确定模块，用于确定与所述第一会议终端进行交互的第二会议终端，所述第二会议终端支持与N不同的L路视频流；
处理模块，用于将所述N路视频流中携带的N路视频信息，携带在L路视频流中；
传输模块，用于将所述L路视频流传输给所述第二会议终端。
12.根据权利要求11所述的视频处理装置，若N大于L，其特征在于：所述处理模块具体用于将所述N路视频信息合成为L路视频信息，将所述L路视频信息分别携带在L路视频流中。
13.根据权利要求11所述的视频处理装置，若N小于L，其特征在于：所述处理模块具体用于将多个所述N路视频信息合并为L路信息，将所述L路视频信息分别携带在L路视频流中。
14.根据权利要求11所述的视频处理装置，若N大于L，其特征在于：
所述处理模块具体用于分时地在所述N路视频流中选择L路视频流，得到分时的若干个L路视频流；
所述传输模块具体用于将所述L路视频流传输给所述第二会议终端包括：将所述若干个L路视频流分时传输给所述第二会议终端。
15.根据权利要求12所述的视频处理装置，其特征在于：所述处理模块进一步具体用于将若干个N路视频信息合成为L路视频信息；或者所述处理模块进一步地具体用于将一个N路视频信息合成为L路视频信息。
16.根据权利要求15所述的视频处理装置，其特征在于：所述处理模块进一步具体用于将L个N路视频信息合成为L路视频信息，每个N路视频信息合成为一路视频信息；或者所述处理模块进一步地具体用于将一个N路视频信息中的(L-1)路视频信息保持不变，将N-(L-1)路的视频信息合成为一路视频信息。
17.根据权利要求14所述的视频处理装置，其特征在于：
所述处理模块用于根据预设的控制规则，在所述N路视频流中选择预设的控制规则指定的L路视频流；或者
所述处理模块用于根据预设的优先级，在所述N路视频流中选择L路视频流；或者
所述处理模块用于根据与各视频流对应的音频流，按照音频流的音量大小选择L路视频流；或者
所述处理模块用于根据各视频流中携带的优先级，选择L路视频流。
18.根据权利要求11所述的视频处理装置，其特征在于，还包括：
协议转换/速率适配模块，用于对所述N路视频流和L路视频流进行协议转换或/和速率适配。
19.一种音频处理装置，其特征在于，包括：
音频获取模块，用于获取各会议终端的音频流，所述会议终端至少包括一个远程呈现会场的终端；
混音模块，用于对各会议终端的音频流进行混音处理；
发送模块，用于将混音后的音频流发送给各会议终端。
20.根据权利要求19所述的音频处理装置，其特征在于，还包括：
音频合成/选择模块，与所述音频获取模块连接，用于分别将各会议终端的音频流合成为一路音频流或者根据音量选择一路音频流，并将合成的或者选择的一路音频流分别发送给所述混音模块。
21.一种多点控制单元，其特征在于，包括：
第一接入模块，用于接入第一会议终端，与所述第一会议终端传输第一媒体流，所述第一媒体流包括N路视频流和N路音频流；
第二接入模块，用于接入第二会议终端，与所述第二会议终端传输第二媒体流，所述第二媒体流包括L路视频流和L路音频流，L与N不相同；
媒体交换模块，用于将第一媒体流中的信息传输给第二会议终端，将第二媒体流中的信息传输给第一会议终端。
22.根据权利要求21所述的多点控制单元，若N大于L，其特征在于，还包括：
视频合成模块，与第一接入模块相连，用于将N路视频流合成为L路视频流，通过所述媒体交换模块转发给第二会议终端；
所述媒体交换模块还用于将多个所述L路视频流合并为N路视频流，转发给第二会议终端；
音频码流选择/合成模块，与第一接入模块和/或第二接入模块相连，用于当N大于1时，将N路音频流合成为一路音频流或者根据音量在N路音频流中选择一路音频流，得到一路的第一音频流，当L大于1时，将L路音频流合成为一路音频流或者根据音量在L路音频流中选择一路音频流，得到一路的第二音频流；
混音模块，用于对音频码流选择/合成模块得到的一路的第一音频流或者第一接入模块接入的一路音频流，及音频码流选择/合成模块得到的一路的第二音频流或者第二接入模块接入的一路音频流，进行混音处理，并将混音处理后的音频流通过媒体交换模块发送给第一会议终端和第二会议终端。
23.根据权利要求22所述的多点控制单元，其特征在于：所述视频合成模块具体用于将若干个N路视频信息合成为L路视频信息；或者所述视频合成模块具体用于将一个N路视频信息合成为L路视频信息。
24.根据权利要求23所述的多点控制单元，其特征在于：所述视频合成模块进一步具体用于将L个N路视频信息合成为L路视频信息，每个N路视频信息合成为一路视频信息；或者所述视频合成模块进一步地具体用于将一个N路视频信息中的(L-1)路视频信息保持不变，将N-(L-1)路的视频信息合成为一路视频信息。
25.根据权利要求21所述的多点控制单元，若N大于L，其特征在于：所述媒体交换模块还用于分时地在所述N路视频流中选择L路视频流，得到分时的若干个L路视频流，并将所述若干个L路视频流分时传输给所述第二会议终端；
该多点控制单元还包括：
音频码流选择/合成模块，与第一接入模块和第二接入模块相连，用于将N路音频流合成为一路音频流或者根据音量在N路音频流中选择一路音频流，得到一路的第一音频流，将L路音频流合成为一路音频流或者根据音量在L路音频流中选择一路音频流，得到一路的第二音频流；
混音模块，用于第一音频流和第二音频流进行混音处理，并将混音处理后的音频流通过媒体交换模块发送给第一会议终端和第二会议终端。
26.根据权利要求25所述的多点控制单元，其特征在于：
所述媒体交换模块用于根据预设的控制规则，在所述N路视频流中选择预设的控制规则指定的L路视频流；或者
所述媒体交换模块用于根据预设的优先级，在所述N路视频流中选择L路视频流；或者
所述媒体交换模块用于根据与各视频流对应的音频流，按照音频流的音量大小选择L路视频流；或者
所述媒体交换模块用于根据各视频流中携带的优先级，选择L路视频流。
27.根据权利要求21至26任一权利要求所述的多点控制单元，其特征在于，还包括：协议转换/速率适配模块，与第一接入模块和第二接入模块相连，用于对N路视频流和L路视频流进行协议转换或速率适配处理。
28.一种视频会议系统，其特征在于，包括：
至少两个会议终端，所述会议终端至少支持两种媒体流路数；
多点控制单元，用于交换所述至少两个会议终端的媒体流中携带的信息。
29.根据权利要求28所述的视频会议系统，其特征在于：所述多点控制单元为权利要求21至26任一权利要求所述的多点控制单元。
CN2008102238108A 2008-09-28 2008-09-28 视频及音频处理方法、多点控制单元和视频会议系统 Active CN101370114B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN2008102238108A CN101370114B (zh) 2008-09-28 2008-09-28 视频及音频处理方法、多点控制单元和视频会议系统
EP09815623A EP2334068A4 (en) 2008-09-28 2009-09-25 VIDEO AND AUDIOVER PROCESSING, MULTI-POINT CONTROL UNIT AND VIDEO CONFERENCE SYSTEM
PCT/CN2009/074228 WO2010034254A1 (zh) 2008-09-28 2009-09-25 视频及音频处理方法、多点控制单元和视频会议系统
US13/073,068 US20110261151A1 (en) 2008-09-28 2011-03-28 Video and audio processing method, multipoint control unit and videoconference system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2008102238108A CN101370114B (zh) 2008-09-28 2008-09-28 视频及音频处理方法、多点控制单元和视频会议系统

Publications (2)

Publication Number Publication Date
CN101370114A true CN101370114A (zh) 2009-02-18
CN101370114B CN101370114B (zh) 2011-02-02

Family

ID=40413705

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008102238108A Active CN101370114B (zh) 2008-09-28 2008-09-28 视频及音频处理方法、多点控制单元和视频会议系统

Country Status (4)

Country Link
US (1) US20110261151A1 (zh)
EP (1) EP2334068A4 (zh)
CN (1) CN101370114B (zh)
WO (1) WO2010034254A1 (zh)

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010034254A1 (zh) * 2008-09-28 2010-04-01 华为终端有限公司 视频及音频处理方法、多点控制单元和视频会议系统
CN101820524A (zh) * 2010-03-22 2010-09-01 中兴通讯股份有限公司 用于电视会议的视频播放方法
WO2010135979A1 (zh) * 2009-05-27 2010-12-02 华为终端有限公司 视频会议控制方法、系统、视频会议网络设备和会场
CN101931783A (zh) * 2010-09-21 2010-12-29 天地阳光通信科技（北京）有限公司 一种视频会议双流发送系统及方法
CN102143346A (zh) * 2010-01-29 2011-08-03 广州市启天科技股份有限公司 一种巡航拍摄存储方法及系统
CN102474424A (zh) * 2009-07-24 2012-05-23 思杰系统有限公司 用于在电话会议期间在计算机和演讲者之间转换音频传输的系统和方法
EP2403242A4 (en) * 2009-02-27 2012-06-13 Huawei Device Co Ltd METHOD FOR IDENTIFYING REMOTE USER SIGNALS, REMOTE CONFERENCE PROCESSING METHOD, APPARATUS, AND SYSTEM
CN102498716A (zh) * 2009-04-29 2012-06-13 思科系统国际公司 用于创建同时进入的电路交换呼叫的方法和设备
CN102868880A (zh) * 2011-07-08 2013-01-09 中兴通讯股份有限公司 一种基于远程呈现的媒体传输方法及系统
CN103051864A (zh) * 2012-12-26 2013-04-17 浙江元亨通信技术股份有限公司 移动视频会议方法及其系统
CN103096022A (zh) * 2011-11-04 2013-05-08 广达电脑股份有限公司 视讯会议系统及视讯会议方法
CN103248882A (zh) * 2012-02-02 2013-08-14 腾讯科技（深圳）有限公司 多媒体数据传输的方法、多媒体数据传输装置及系统
CN103634562A (zh) * 2012-08-24 2014-03-12 中国电信股份有限公司 用于视频会议的数据传送方法和系统
CN103841462A (zh) * 2013-12-03 2014-06-04 深圳市九洲电器有限公司 数字机顶盒多屏幕播放节目的方法及装置
CN103905776A (zh) * 2012-12-26 2014-07-02 华为技术有限公司 码流处理方法和系统、多点控制单元
CN104469261A (zh) * 2014-12-26 2015-03-25 北京网视通联科技有限公司 一种基于cdn网络的视频会议系统及方法
CN104580991A (zh) * 2013-10-15 2015-04-29 宝利通公司 用于会议系统对会议会话的当前条件的实时适应的系统和方法
CN105141884A (zh) * 2015-08-26 2015-12-09 苏州科达科技股份有限公司 混合会议中广播音视频码流的控制方法、装置及系统
CN106791583A (zh) * 2017-01-23 2017-05-31 北京思特奇信息技术股份有限公司 一种视频会议系统及实现方法
CN107241598A (zh) * 2017-06-29 2017-10-10 贵州电网有限责任公司 一种针对多路h.264视频会议的GPU解码方法
CN107396032A (zh) * 2017-07-26 2017-11-24 安徽四创电子股份有限公司 一种基于x86架构的多点控制单元及其工作方法
CN108781272A (zh) * 2016-03-15 2018-11-09 微软技术许可有限责任公司 包括三个或更多指定视频流的多联画屏视图
CN108810443A (zh) * 2017-04-28 2018-11-13 南宁富桂精密工业有限公司 视频画面合成方法及多点控制单元
CN108881794A (zh) * 2017-12-08 2018-11-23 北京视联动力国际信息技术有限公司 一种基于视联网终端的网络会议通信方法和装置
CN109688365A (zh) * 2018-12-27 2019-04-26 北京真视通科技股份有限公司 视频会议的处理方法和计算机可读存储介质
CN110418099A (zh) * 2018-08-30 2019-11-05 腾讯科技（深圳）有限公司 一种音视频处理方法、装置及存储介质
CN111182258A (zh) * 2020-02-11 2020-05-19 视联动力信息技术股份有限公司 一种网络会议的数据传输方法和装置
WO2020125281A1 (zh) * 2018-12-20 2020-06-25 中兴通讯股份有限公司 信令服务器、媒体服务器、视频会议系统及方法
CN111787269A (zh) * 2020-07-20 2020-10-16 南京百家云科技有限公司 一种多媒体信息的生成方法、装置、电子设备及存储介质
CN113271425A (zh) * 2021-04-19 2021-08-17 瑞芯微电子股份有限公司 一种基于虚拟设备的互动系统和方法
CN114500914A (zh) * 2020-11-11 2022-05-13 中兴通讯股份有限公司 音视频转发方法、装置、终端与系统
CN115314666A (zh) * 2022-08-08 2022-11-08 深圳明弘电子科技有限公司 一种视频会议数据协同方法及系统
CN115695705A (zh) * 2021-07-26 2023-02-03 Oppo广东移动通信有限公司 实时通信方法、计算机可读存储介质和终端设备
CN115695704A (zh) * 2021-07-26 2023-02-03 Oppo广东移动通信有限公司 实时通信方法、计算机可读存储介质和电子设备

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010028865A1 (de) * 2010-05-11 2011-11-17 Stephan Overkott Holografisches Live-Präsentationssystem und Verfahren zur Liveübertragung einer holografischen Präsentation
CN102256099A (zh) * 2011-06-20 2011-11-23 中兴通讯股份有限公司 参数控制方法及装置
CN102883131B (zh) * 2011-07-15 2017-02-08 中兴通讯股份有限公司 基于远程呈现系统的信令交互方法及装置
CN103634697B (zh) * 2012-08-24 2017-09-26 中兴通讯股份有限公司 网真技术的实现方法和网真设备
CN102843542B (zh) 2012-09-07 2015-12-02 华为技术有限公司 多流会议的媒体协商方法、设备和系统
CN104349117B (zh) 2013-08-09 2019-01-25 华为技术有限公司 多内容媒体通信方法、装置及系统
CN105227895B (zh) * 2014-06-30 2020-12-18 宝利通公司 Mcu堆叠中的视频布局及处理的方法
KR101861561B1 (ko) * 2017-07-24 2018-05-29 (주)유프리즘 복수 개의 영상회의용 단말을 이용하여 멀티 스크린 영상회의를 제공할 수 있는 영상회의 서버 및 그 방법
CN108040218A (zh) * 2017-12-20 2018-05-15 苏州科达科技股份有限公司 一种视频会议的通讯方法及通讯设备
CN109660751A (zh) * 2018-12-28 2019-04-19 中兴通讯股份有限公司 一种视频会议实现方法及装置、视频会议系统、存储介质
JP2020202531A (ja) * 2019-06-13 2020-12-17 パナソニックＩｐマネジメント株式会社 会議システム、ビデオ会議装置及び映像処理方法
JP2022089616A (ja) 2020-12-04 2022-06-16 パナソニックＩｐマネジメント株式会社 会議システム、ビデオ会議装置および映像処理方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5446491A (en) * 1993-12-21 1995-08-29 Hitachi, Ltd. Multi-point video conference system wherein each terminal comprises a shared frame memory to store information from other terminals
CN1223190C (zh) * 2002-04-09 2005-10-12 华为技术有限公司 会议电视终端的双视传送系统
US8081205B2 (en) * 2003-10-08 2011-12-20 Cisco Technology, Inc. Dynamically switched and static multiple video streams for a multimedia conference
CN101098244A (zh) * 2006-06-26 2008-01-02 华为技术有限公司 一种多点会议中媒体处理的方法和系统
US9065667B2 (en) * 2006-09-05 2015-06-23 Codian Limited Viewing data as part of a video conference
US8208004B2 (en) * 2007-05-08 2012-06-26 Radvision Ltd. Device, methods, and media for providing multi-point video conferencing unit functions
CN101068345B (zh) * 2007-05-24 2010-06-23 杭州华三通信技术有限公司 视频监控方法和系统以及网络传输设备
CN101370114B (zh) * 2008-09-28 2011-02-02 华为终端有限公司 视频及音频处理方法、多点控制单元和视频会议系统

Cited By (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010034254A1 (zh) * 2008-09-28 2010-04-01 华为终端有限公司 视频及音频处理方法、多点控制单元和视频会议系统
EP2403242A4 (en) * 2009-02-27 2012-06-13 Huawei Device Co Ltd METHOD FOR IDENTIFYING REMOTE USER SIGNALS, REMOTE CONFERENCE PROCESSING METHOD, APPARATUS, AND SYSTEM
CN102498716A (zh) * 2009-04-29 2012-06-13 思科系统国际公司 用于创建同时进入的电路交换呼叫的方法和设备
CN102498716B (zh) * 2009-04-29 2014-10-22 思科系统国际公司 用于创建同时进入的电路交换呼叫的方法和设备
WO2010135979A1 (zh) * 2009-05-27 2010-12-02 华为终端有限公司 视频会议控制方法、系统、视频会议网络设备和会场
CN101583011B (zh) * 2009-05-27 2012-04-04 华为终端有限公司 视频会议控制方法、系统、视频会议网络设备和会场
CN102474424A (zh) * 2009-07-24 2012-05-23 思杰系统有限公司 用于在电话会议期间在计算机和演讲者之间转换音频传输的系统和方法
CN102143346A (zh) * 2010-01-29 2011-08-03 广州市启天科技股份有限公司 一种巡航拍摄存储方法及系统
CN102143346B (zh) * 2010-01-29 2013-02-13 广州市启天科技股份有限公司 一种巡航拍摄存储方法及系统
CN101820524A (zh) * 2010-03-22 2010-09-01 中兴通讯股份有限公司 用于电视会议的视频播放方法
CN101931783A (zh) * 2010-09-21 2010-12-29 天地阳光通信科技（北京）有限公司 一种视频会议双流发送系统及方法
CN102868880A (zh) * 2011-07-08 2013-01-09 中兴通讯股份有限公司 一种基于远程呈现的媒体传输方法及系统
CN102868880B (zh) * 2011-07-08 2017-09-05 中兴通讯股份有限公司 一种基于远程呈现的媒体传输方法及系统
CN103096022A (zh) * 2011-11-04 2013-05-08 广达电脑股份有限公司 视讯会议系统及视讯会议方法
CN103096022B (zh) * 2011-11-04 2015-10-28 广达电脑股份有限公司 视讯会议系统及视讯会议方法
CN103248882A (zh) * 2012-02-02 2013-08-14 腾讯科技（深圳）有限公司 多媒体数据传输的方法、多媒体数据传输装置及系统
US9578179B2 (en) 2012-02-02 2017-02-21 Tencent Technology (Shenzhen) Company Limited Method, apparatus and system for transmitting multimedia data
CN103634562B (zh) * 2012-08-24 2017-08-29 中国电信股份有限公司 用于视频会议的数据传送方法和系统
CN103634562A (zh) * 2012-08-24 2014-03-12 中国电信股份有限公司 用于视频会议的数据传送方法和系统
CN103905776A (zh) * 2012-12-26 2014-07-02 华为技术有限公司 码流处理方法和系统、多点控制单元
CN103051864B (zh) * 2012-12-26 2016-08-17 浙江元亨通信技术股份有限公司 移动视频会议方法
CN103051864A (zh) * 2012-12-26 2013-04-17 浙江元亨通信技术股份有限公司 移动视频会议方法及其系统
CN103905776B (zh) * 2012-12-26 2018-01-16 华为技术有限公司 码流处理方法和系统、多点控制单元
CN104580991A (zh) * 2013-10-15 2015-04-29 宝利通公司 用于会议系统对会议会话的当前条件的实时适应的系统和方法
CN104580991B (zh) * 2013-10-15 2018-07-10 宝利通公司 用于会议系统对会议会话的当前条件的实时适应的系统和方法
CN103841462A (zh) * 2013-12-03 2014-06-04 深圳市九洲电器有限公司 数字机顶盒多屏幕播放节目的方法及装置
CN103841462B (zh) * 2013-12-03 2018-01-26 深圳市九洲电器有限公司 数字机顶盒多屏幕播放节目的方法及装置
CN104469261B (zh) * 2014-12-26 2017-12-05 北京网视通联科技有限公司 一种基于cdn网络的视频会议系统及方法
CN104469261A (zh) * 2014-12-26 2015-03-25 北京网视通联科技有限公司 一种基于cdn网络的视频会议系统及方法
CN105141884A (zh) * 2015-08-26 2015-12-09 苏州科达科技股份有限公司 混合会议中广播音视频码流的控制方法、装置及系统
CN108781272A (zh) * 2016-03-15 2018-11-09 微软技术许可有限责任公司 包括三个或更多指定视频流的多联画屏视图
CN106791583A (zh) * 2017-01-23 2017-05-31 北京思特奇信息技术股份有限公司 一种视频会议系统及实现方法
CN108810443A (zh) * 2017-04-28 2018-11-13 南宁富桂精密工业有限公司 视频画面合成方法及多点控制单元
CN107241598B (zh) * 2017-06-29 2020-03-24 贵州电网有限责任公司 一种针对多路h.264视频会议的GPU解码方法
CN107241598A (zh) * 2017-06-29 2017-10-10 贵州电网有限责任公司 一种针对多路h.264视频会议的GPU解码方法
CN107396032A (zh) * 2017-07-26 2017-11-24 安徽四创电子股份有限公司 一种基于x86架构的多点控制单元及其工作方法
CN108881794A (zh) * 2017-12-08 2018-11-23 北京视联动力国际信息技术有限公司 一种基于视联网终端的网络会议通信方法和装置
CN108881794B (zh) * 2017-12-08 2019-11-19 视联动力信息技术股份有限公司 一种基于视联网终端的网络会议通信方法和装置
CN110418099A (zh) * 2018-08-30 2019-11-05 腾讯科技（深圳）有限公司 一种音视频处理方法、装置及存储介质
WO2020125281A1 (zh) * 2018-12-20 2020-06-25 中兴通讯股份有限公司 信令服务器、媒体服务器、视频会议系统及方法
CN109688365A (zh) * 2018-12-27 2019-04-26 北京真视通科技股份有限公司 视频会议的处理方法和计算机可读存储介质
CN109688365B (zh) * 2018-12-27 2021-02-19 北京真视通科技股份有限公司 视频会议的处理方法和计算机可读存储介质
CN111182258A (zh) * 2020-02-11 2020-05-19 视联动力信息技术股份有限公司 一种网络会议的数据传输方法和装置
CN111182258B (zh) * 2020-02-11 2022-12-23 视联动力信息技术股份有限公司 一种网络会议的数据传输方法和装置
CN111787269A (zh) * 2020-07-20 2020-10-16 南京百家云科技有限公司 一种多媒体信息的生成方法、装置、电子设备及存储介质
CN111787269B (zh) * 2020-07-20 2021-10-26 南京百家云科技有限公司 一种多媒体信息的生成方法、装置、电子设备及存储介质
CN114500914A (zh) * 2020-11-11 2022-05-13 中兴通讯股份有限公司 音视频转发方法、装置、终端与系统
CN113271425A (zh) * 2021-04-19 2021-08-17 瑞芯微电子股份有限公司 一种基于虚拟设备的互动系统和方法
CN115695705A (zh) * 2021-07-26 2023-02-03 Oppo广东移动通信有限公司 实时通信方法、计算机可读存储介质和终端设备
CN115695704A (zh) * 2021-07-26 2023-02-03 Oppo广东移动通信有限公司 实时通信方法、计算机可读存储介质和电子设备
CN115314666A (zh) * 2022-08-08 2022-11-08 深圳明弘电子科技有限公司 一种视频会议数据协同方法及系统

Also Published As

Publication number Publication date
WO2010034254A1 (zh) 2010-04-01
US20110261151A1 (en) 2011-10-27
EP2334068A1 (en) 2011-06-15
CN101370114B (zh) 2011-02-02
EP2334068A4 (en) 2011-11-30

Similar Documents

Publication Publication Date Title
CN101370114A (zh) 视频及音频处理方法、多点控制单元和视频会议系统
KR100880150B1 (ko) 멀티 포인트 화상회의 시스템 및 해당 미디어 프로세싱방법
US9462228B2 (en) Distributed real-time media composer
EP2214410B1 (en) Method and system for conducting continuous presence conferences
US8649300B2 (en) Audio processing method, system, and control server
CN100583985C (zh) 一种在视频业务中实现画面切换的方法、装置及系统
CN100579196C (zh) 用于视频音频信号传输的装置、网络设备及方法
WO2011140812A1 (zh) 多画面合成方法、系统及媒体处理装置
US8836753B2 (en) Method, apparatus, and system for processing cascade conference sites in cascade conference
WO2011057511A1 (zh) 实现混音的方法、装置和系统
CN101656863A (zh) 一种会议控制的方法、装置和系统
CN102572367B (zh) 多路辅流控制方法、装置及网络系统
EP3734967A1 (en) Video conference transmission method and apparatus, and mcu
EP0677962B1 (en) Peripheral unit for satellite multi-videoconferencing
JP2823571B2 (ja) 分散多地点通信会議装置
CN112839197B (zh) 图像码流处理方法、装置、系统及存储介质
JPH05153583A (ja) 多地点間ビデオ通信方式
JPH08294102A (ja) 動画像通信会議システム及びその通信方法
CN118301274A (zh) 视频会议接入方法、装置、终端及计算机可读存储介质
JPH08163529A (ja) 画像多地点通信制御システム
HK1141381A (zh) 用於處理持續呈現會議的方法和系統
JP2006174020A (ja) テレビ会議制御システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 518129 Building 2, B District, Bantian HUAWEI base, Longgang District, Shenzhen, Guangdong.

Patentee after: Huawei terminal (Shenzhen) Co.,Ltd.

Address before: 518129 Building 2, B District, Bantian HUAWEI base, Longgang District, Shenzhen, Guangdong.

Patentee before: HUAWEI DEVICE Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20181219

Address after: 523808 Southern Factory Building (Phase I) Project B2 Production Plant-5, New Town Avenue, Songshan Lake High-tech Industrial Development Zone, Dongguan City, Guangdong Province

Patentee after: HUAWEI DEVICE Co.,Ltd.

Address before: 518129 Building 2, B District, Bantian HUAWEI base, Longgang District, Shenzhen, Guangdong.

Patentee before: Huawei terminal (Shenzhen) Co.,Ltd.