[go: up one dir, main page]

CN108156413A - 视频会议的传输方法及装置、mcu - Google Patents

视频会议的传输方法及装置、mcu Download PDF

Info

Publication number
CN108156413A
CN108156413A CN201711458953.2A CN201711458953A CN108156413A CN 108156413 A CN108156413 A CN 108156413A CN 201711458953 A CN201711458953 A CN 201711458953A CN 108156413 A CN108156413 A CN 108156413A
Authority
CN
China
Prior art keywords
terminal
video
conference
sent
video conference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711458953.2A
Other languages
English (en)
Other versions
CN108156413B (zh
Inventor
孟军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201711458953.2A priority Critical patent/CN108156413B/zh
Publication of CN108156413A publication Critical patent/CN108156413A/zh
Priority to PCT/CN2018/101956 priority patent/WO2019128266A1/zh
Priority to US16/958,780 priority patent/US20200329083A1/en
Priority to EP18895218.8A priority patent/EP3734967A4/en
Application granted granted Critical
Publication of CN108156413B publication Critical patent/CN108156413B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/152Multipoint control units therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1822Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1083In-session procedures
    • H04L65/1089In-session procedures by adding media; by removing media
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/402Support for services or applications wherein the services involve a main real-time session and one or more additional parallel non-real time sessions, e.g. downloading a file in a parallel FTP session, initiating an email or combinational services
    • H04L65/4025Support for services or applications wherein the services involve a main real-time session and one or more additional parallel non-real time sessions, e.g. downloading a file in a parallel FTP session, initiating an email or combinational services where none of the additional parallel sessions is real time or time sensitive, e.g. downloading a file in a parallel FTP session, initiating an email or combinational services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/403Arrangements for multi-party communication, e.g. for conferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/765Media network packet handling intermediate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/155Conference systems involving storage of or access to video conference sessions

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供了一种视频会议的传输方法及装置、MCU,其中,该方法包括:指示加入视频会议的第一终端的视频数据发送到视频会议的组播地址,音频数据发送到多点控制单元MCU;指示会议终端将音频数据发送至MCU,其中,会议终端为视频会议中除第一终端之外的终端。通过本发明,解决了相关技术中的视频会议占用网络资源过多的技术问题。

Description

视频会议的传输方法及装置、MCU
技术领域
本发明涉及通信领域,具体而言,涉及一种视频会议的传输方法及装置、MCU。
背景技术
相关技术中的视频会议系统是支持声音、视频双向传送的远程通信系统。通过该系统,身处异地的用户能完成实时的近似面对面效果的声音、视频沟通。
从设备层面划分,视频会议系统必须具备视频会议终端和多点控制单元(Multipoint Control Unit,缩写为MCU)。终端是用户使用的设备,终端采集用户的声音、视频数据,经由网络发送给远端,同时从网络接收远端的声音、视频数据播放给用户。MCU负责多方会议管理、会议终端声音、视频数据的交换和混合。
相关技术中的视频会议多以IP网络进行视频会议的数据传输,对于实时性高要求的视频会议来说,带宽越高越能传输更多的数据,从而提供更好的服务质量。对于局域网,带宽一般都能按需满足,但是对于互联网或者租借的专线网络,带宽资源非常有限,带宽越高则用户需要付出的使用成本越高。通常视频会议的组网方式为每个视频终端都与MCU建立连接,终端上传自己的音视频数据到MCU,MCU下传会议音视频数据到终端,每一台终端都需要占用上下行对称带宽,比如会议中有100台会议终端,会议带宽为2M,则MCU上下行带宽各为200M。随着信息化建设,远程教育、企业大会、政府工作会议通过视频会议举行的需求也越来越多。如此高的带宽要求对于非局域网的用户来说需要付出昂贵的代价,如果是常年处于户外移动的用户,如海上、勘探、军队则需要使用卫星或无线网络,如此高的带宽基本是不可能达到。
针对相关技术中存在的上述问题,目前尚未发现有效的解决方案。
发明内容
本发明实施例提供了一种视频会议的传输方法及装置、MCU。
根据本发明的一个实施例,提供了一种视频会议的传输方法,包括:指示加入视频会议的第一终端的视频数据发送到所述视频会议的组播地址,音频数据发送到多点控制单元MCU;指示会议终端将音频数据发送至所述MCU,其中,所述会议终端为所述视频会议中除所述第一终端之外的终端。
根据本发明的一个实施例,提供了另一种视频会议的传输方法,包括:接收视频会议中所有参会终端的音频数据,以及第一终端的视频数据;将所述音频数据发送至所有参会终端,以及将所述视频数据发送至所述视频会议中除所述第一终端之外的终端。
根据本发明的另一个实施例,提供了一种多点控制单元MCU,包括:第一指示模块,用于指示加入视频会议的第一终端的视频数据发送到所述视频会议的组播地址,音频数据发送到多点控制单元MCU;第二指示模块,用于指示会议终端将音频数据发送至所述MCU,其中,所述会议终端为所述视频会议中除所述第一终端之外的终端。
根据本发明的另一个实施例,提供了另一种视频会议的传输装置,包括:接收模块,用于接收视频会议中所有参会终端的音频数据,以及第一终端的视频数据;发送模块,用于将所述音频数据发送至所有参会终端,以及将所述视频数据发送至所述视频会议中除所述第一终端之外的终端。
根据本发明的又一个实施例,还提供了一种存储介质,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例,还提供了一种电子装置,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明,通过仅发送视频会议的第一终端上的视频数据到组播地址,从而节省了视频会议中部分终端发送视频数据所使用的网络资源,解决了相关技术中的视频会议占用网络资源过多的技术问题,降低了网络带宽的占用,减少了网络拥堵,提高了网络资源的利用率。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是本发明实施例的网络构架图;
图2是根据本发明实施例的一种视频会议的传输方法的流程图;
图3是根据本发明实施例的另一种视频会议的传输方法的流程图;
图4是根据本发明实施例的多点控制单元MCU的结构框图;
图5是根据本发明实施例的视频会议的传输装置的结构框图;
图6为本实施例所述视频会议系统结构示意图;
图7为本实施例所述低带宽条件下视频会议召开流程图;
图8是本实施例所述低带宽视频会议数据流向示意图;
图9是本实施例所述低带宽视频会议打开一个发送方向的组播媒体通道工作流程图;
图10是本实施例所述视频会议变更广播源时工作流程图;
图11是本实施例所述视频会议变更广播源所观看的终端时工作流程图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
实施例1
本申请实施例可以运行于图1所示的网络架构上,如图1所示,图1是本发明实施例的网络构架图,该网络架构包括:MCU、一个或多个终端,在召开视频会议时,终端间通过MCU进行音视频的实时交互。
在本实施例中提供了一种运行于上述网络架构的视频会议的传输方法,图2是根据本发明实施例的一种视频会议的传输方法的流程图,如图2所示,该流程包括如下步骤:
步骤S202,指示加入视频会议的第一终端的视频数据发送到视频会议的组播地址,音频数据发送到多点控制单元MCU;
步骤S204,指示会议终端将音频数据发送至MCU,其中,会议终端为视频会议中除第一终端之外的终端。
通过上述步骤,通过仅发送视频会议的第一终端上的视频数据到组播地址,从而节省了视频会议中部分终端发送视频数据所使用的网络资源,解决了相关技术中的视频会议占用网络资源过多的技术问题,降低了网络带宽的占用,减少了网络拥堵,提高了网络资源的利用率。
可选地,上述步骤的执行主体可以为视频会议的管理设备,控制设备,MCU,服务器等,但不限于此。
可选地,步骤S202和步骤S204的执行顺序是可以互换的,即可以先执行步骤S204,然后再执行S202。
可选的,本实施例的方案还包括:控制会议终端拒绝发送上行视频数据。可以通过控制上行带宽为0,不分配上行带宽,或者控制会议终端不发送上行视频数据来实现。
可选的,本实施例的方案还包括:将加入视频会议的第二终端的视频数据发送至第一终端。第二终端可以是视频会议中除第一终端外的任一员,可以通过策略来指定或随机指派。具体的,将加入视频会议的第二终端的视频数据发送至第一终端包括:将加入视频会议的第二终端的视频数据发送至MCU,通过MCU发送至第一终端。当然也可以是第二终端将视频数据直接发送至第一终端。
可选的,第一终端的视频数据包括:第一终端采集的视频数据,第一终端接收的第二终端的视频数据。采集的视频数据可以是通过摄像头采集的第一终端本地的视频数据,与第一终端的用户对应,接收的第二终端的视频数据是外来的视频数据,统一通过第一终端来广播到其他终端,可以减少传输带宽。
可选的,在指示会议终端将音频数据发送至MCU之后,方法还包括:将MCU接收的音频数据发送至第一终端和会议终端,以及将组播地址接收的视频数据发送给会议终端。
可选的,将MCU接收的音频数据发送至第一终端和会议终端包括:将MCU接收的所有音频数据进行混音处理,将混音处理后的音频数据发送至第一终端和会议终端。
可选的,在指示加入视频会议的第一终端的视频数据发送到视频会议的组播地址之后,方法还包括:确定视频会议中的指定终端,将指定终端的视频数据发送至组播地址,其中,指定终端为视频会议中当前发言的终端。该指定终端在视频会议开始时默认为上述第一终端,在视频会议开始后,根据视频会议的会议情况切换至需要显示画面的用户所对应的终端,如当前发言的终端,主席台对应的终端等。可选的,在确定视频会议中的指定终端之后,方法还包括:控制第一终端拒绝发送上行视频数据。
可选的,在指示加入视频会议的第一终端的视频数据发送到视频会议的组播地址,音频数据发送到多点控制单元MCU,之前,方法还把包括:创建视频会议,并配置视频会议的组播地址。
可选的,在指示加入视频会议的第一终端的视频数据发送到视频会议的组播地址之前,方法还包括:设置一个或多个第一终端,其中,每个第一终端对应不同的位置区域。可以应用在分布式的网络中。
可选的,将MCU接收的视频数据通过组播地址发送给会议终端包括:将MCU接收的视频数据进行编码处理得到一种或多种格式的视频数据,其中,不同格式的视频数据对应的传输带宽不同;将编码处理后的视频数据通过一个或多个组播地址发送给会议终端。可以应用在多能力终端的场景中,各个会议终端的接收带宽和观看需求不同,可以通过发送不同分辨率的视频数据来实现。
在本实施例中提供了一种运行于上述网络架构的视频会议的传输方法,图3是根据本发明实施例的另一种视频会议的传输方法的流程图,如图3所示,该流程包括如下步骤:
步骤S302,接收视频会议中所有参会终端的音频数据,以及第一终端的视频数据;
步骤S304,将音频数据发送至所有参会终端,以及将视频数据发送至视频会议中除第一终端之外的终端。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
实施例2
在本实施例中还提供了一种视频会议的传输装置,用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图4是根据本发明实施例的多点控制单元MCU的结构框图,如图4所示,该装置包括:
第一指示模块40,用于指示加入视频会议的第一终端的视频数据发送到视频会议的组播地址,音频数据发送到多点控制单元MCU;
第二指示模块42,用于指示会议终端将音频数据发送至MCU,其中,会议终端为视频会议中除第一终端之外的终端。
图5是根据本发明实施例的视频会议的传输装置的结构框图,如图5所示,还包括:
接收模块50,用于接收视频会议中所有参会终端的音频数据,以及第一终端的视频数据;
发送模块52,用于将音频数据发送至所有参会终端,以及将视频数据发送至视频会议中除第一终端之外的终端。
上述实施例1中的方法步骤可以通过对应的功能模块实现在本实施例的装置中,在此不再赘述。
需要说明的是,上述各个模块是可以通过软件或硬件来实现的,对于后者,可以通过以下方式实现,但不限于此:上述模块均位于同一处理器中;或者,上述各个模块以任意组合的形式分别位于不同的处理器中。
实施例3
本实施例结合场景对本申请的方案做进一步的阐述。
本实施例具体提供一种多方视频会议中实现低带宽条件下大规模组网的方法及装置。从而实现低带宽条件下大规模多方视频会议组网,克服现有视频会议组网中存在的不能在极其有限的带宽资源下不能召开大规模多方视频会议的问题和缺陷。
本实施例所述视频会议的装置包括:视频会议MCU、视频会议业务管理系统、会议终端(其中,会议终端可以包括会议室型硬件终端、PC软终端、web RTC(网页实时通信WebReal-Time Communication)终端和移动设备软终端等),视频会议低带宽控制模块。
本实施例采用网络组播、网络单播、流量控制三种技术,从会议创建、会议召开、会议终端接入会议、视频源控制、带宽控制几方面进行控制以实现大规模低带宽组网。
本实施例的一种实现低带宽条件下大规模多方视频会议组网的方法包括:
第一步,用户在视频会议业务管理系统创建会议,选择会议终端,并指定会议为低带宽会议模式,此处“低带宽会议”可以有不同的描述方式,核心内容是节约带宽资源,与常规会议不同;
第二步,配置低带宽会议参数,包括组播地址、主视频组播端口、辅视频组播端口;
第三步,视频会议业务管理系统发送会议信息给MCU,MCU呼叫各参会终端加入会议,呼叫终端过程中通过信令指示终端对上行视频进行流控;
第四步,视频会议低带宽控制模块将第一个加入会议的终端置(对应上述实施例中的第一终端)为广播源,指示该终端的视频媒体数据发送到设定的组播地址,音频数据发送到MCU,设置该终端音视频媒体接收源为MCU;
第五步,视频会议低带宽控制模块将第二个加入会议的终端置为广播源所观看的终端(对应上述实施例中的第二终端),该终端的音视频数据都发送到MCU,视频数据由MCU转发给广播源终端,视频媒体接收地址为组播地址。
第六步,视频会议低带宽控制模块将其他终端的视频媒体接收地址设置为设定的组播地址,音频数据发往MCU,控制这些终端的上行视频数据为0,即这些终端不发送本端的视频数据到MCU,所有终端的音频数据在MCU进行混音处理后发送到每台终端。
第七步,当会议中发言终端改变时,视频会议低带宽控制模块将该终端的视频上行带宽恢复为原始带宽,视频接收地址设置为MCU,同时将原广播源终端上行视频带宽控制为0,视频接收地址设置为组播地址。
第八步,当会议中广播源所看的终端改变时,视频会议低带宽控制模块将该终端的视频上行带宽恢复为原始带宽,同时将原被选看终端上行视频带宽控制为0。
以上会议召开的步骤顺序可以有适当的调整,例如对于广播源和广播源所看终端的初始选择可以有不同的规则,但是会议这两路视频源不能缺少。
采用本是实施例所述方法和装置,召开一个会议所需上行带宽为:两路视频带宽(广播源和广播源所看的终端)+所有终端音频带宽总和,下行带宽为:一路视频带宽(广播源)+所有终端音频带宽总和。
如果召开一个1000个终端参加的会议,会议带宽2M,采用本实施例所述方法和装置,MCU上行视频带宽约为4M,下行视频带宽约为4M。如果用现有技术,则MCU上下行带宽都约为2000M。
与现有技术相比,极大的降低了召开视频会议所需要的带宽资源,并且随着参会终端数的增加,所需带宽只是增加了相应数量的音频带宽。很好的解决了带宽资源紧缺时大规模视频会议组网需求。
与现有组播方式会议相比,本实施例可以灵活实现终端之间的互动,各个会议终端可以根据需要被主会场或所有人观看,也可以随时进行语音交流,同时由于对除广播源和广播源所看的会议终端上行带宽使用流量控制技术进行管理,极大降低了视频会议终端到MCU方向的上行带宽。
对于视频会议终端不支持组播、视频会议终端不支持非对称流量控制指令、视频会议设备运行的网络不支持组播技术的视频会议组网,本实施例不适用。
会议的音频数据也可以与视频数据一样进行控制,以进一步降低带宽,但缺陷是各个会议终端不能随时自行发言,需要会议控制者进行手工控制。本实施例对音频部分处理不作详细说明。
本实施例还包括以下实施实例:
实施示例1
图6为本实施例所述视频会议系统结构示意图,整个系统包括视频会议业务管理系统、视频会议MCU、一定数量的视频会议终端,处于MCU中的视频会议低带宽控制模块为本实施例新增装置。
所述的视频会议业务管理系统为召开视频会议的操作界面,会议召集者用户通过该界面创建和管理会议。
所述的视频会议多点控制单元(MCU,Multi-point Control Unit)是视频会议中的核心设备,主要负责与各视频会议终端或其他MCU之间的信令和码流处理。
所述的会议电视终端采集到声音和视频图像后,经过视频会议编码算法压缩后,经过IP网络发送给远端MCU或者视频会议终端。远端视频会议终端收到码流后,经过解码后播放给用户。
所述的视频会议低带宽控制模块通过视频会议标准协议控制会议中终端的视频数据带宽和传输方向,以降低MCU的上下行带宽,从而实现低带宽条件下的大规模视频会议。
图7为本实施例所述低带宽条件下视频会议召开流程图,包括:
步骤1,会议召集者设定会议名、会议带宽、音视频格式等等会议基本信息和需要参加会议的终端列表;
步骤2,设定与视频会议低带宽控制相关的信息,包括组播地址、主视频组播端口、辅视频组播端口;
步骤3,会议业务管理系统将会议信息发送到MCU上,由MCU召开会议,MCU根据会议信息分配MCU媒体和网络处理资源;
步骤4,MCU创建组播分组,逐个呼叫参加会议的终端接入会议。根据视频会议规则,会议中有两个主要视频源:一个广播源终端,一个广播源终端所观看的终端。广播源终端的视频被会议中其他终端观看,广播源终端观看另外一个终端,定义为广播源所看的终端。会议进行中这两个视频源可以动态切换为别的终端。MCU在呼叫会议中预设的终端加入会议时,第一个成功接入的终端默认为广播源,第二个终端默认为广播源所看的终端,其他终端为普通的会议终端。
步骤5,在第一个终端接入会议时,MCU设置该终端为会议广播源,视频会议低带宽控制模块通知该终端将视频数据发送到MCU,MCU收到广播源终端的视频后转发到组播地址,供组播组中的终端观看。
步骤6,第二个终端接入会议时,MCU设置该终端为会议广播源所看的终端,视频会议低带宽控制模块通知该终端将视频数据发送到MCU,MCU将第二个终端的视频发送到广播源终端,供广播源终端观看。同时视频会议低带宽控制模块将该终端加入到组播组中,该终端接收组播地址转发的视频并播放。
步骤7,其他终端接入会议时,MCU判断会议中已经有广播源和广播源所看的终端,则视频会议低带宽控制模块直接将它们加入组播地址,并控制其视频上行带宽为0,也就是无需这些终端发送视频数据到MCU,这些终端接受会议组播的视频并播放。
MCU呼叫终端过程中,需要指示组播属性,以H.323协议为例(也可以适用其他的通信协议),组播能力集关键参数包括receive Multipoint Capability、transmitMultipoint Capability和receive And Transmit Multipoint Capability三个,根据终端是否为广播源、广播源所看的端或普通终端的属性进行设置,可以通过以下代码来实现:
步骤8,会议中所有终端的音频数据都发送给MCU,由MCU按需处理。每个终端所接收的音频为MCU为每台终端合成的音频数据。
至此,低带宽下的视频会议召开完成。从上述流程可以看出,整个会议无论有多少终端参加会议,上传的MCU的视频数据只有两路,音频数据为所有终端的音频。MCU下发的视频数据也只有两路,音频数据为所有终端的音频。在占用MCU极低带宽的情况下召开大规模视频会议。
图8是本实施例所述低带宽视频会议数据流向示意图,在视频会议低带宽控制模块的控制下,会议中的广播源和广播源所看的终端视频数据发送到MCU,MCU将广播源终端的视频数据发送到组播地址,将广播源所看的终端视频发送到广播源终端。其他会议终端接收的码流为会议组播数据,不需要MCU发送。会议中的音频数据仍然采用传统的单播方式在MCU和视频会议终端之间传送。
图9是本实施例所述低带宽视频会议打开一个发送方向的组播媒体通道工作流程图,包括:
步骤1,MCU的MC层(或协议栈)发起打开逻辑通道的过程;
步骤2,协议栈根据主从决定的结果,来确定是否由本方来分配组播地址。如果是主地位,向上层请求RTCP地址时,要求上层分配组播地址(RTP、RTCP);
步骤3,MC层转发请求消息;
步骤4,应用层检查通道参数,如果支持组播并且RTPAddress,RTCPPort,RTPPort全为0,那么是在请求组播地址,给MC层响应RTP和RTCP地址。RTP和RTCP地址放在本方地址信息字段中。否则,对方已经分配了RTP和RTCP组播地址,组播地址在RTPAddress,RTCPPort,RTPPort字段中给出。给MC层响应时,返回这些组播地址;
步骤5,协议栈发送OpenLogicalChannel请求,RTP和RTCP组播地址在forwardLogicalChannelParameters字段给出;
步骤6,终端的协议适配层向MC请求RTP和RTCP地址,由于MCU分配了组播地址,组播地址在RTPAddress,RTCPPort,RTPPort中报告给MC层;
步骤7,终端的应用层检查参数,如果支持组播并且RTPAddress,RTCPPort,RTPPort全为0,那么是在请求组播地址,给MC层响应RTP和RTCP地址。RTP和RTCP地址放在本方地址信息字段中。否则,对方已经分配了RTP和RTCP组播地址,组播地址在RTPAddress,RTCPPort,RTPPort字段中给出。给MC层响应时,返回这些组播地址;
步骤8,终端的协议栈向MCU发送OpenLogicalChannelAck消息,其RTP和RTCP地址为MCU分配的组播地址;
步骤9,MCU的协议栈向应用层报告通道打开成功;
步骤10,MCU的MC层向应用层指示对方的RTP和RTCP组播地址;
步骤11,MCU的MC层向应用层报告应用层通道已经打开。
图10是本实施例所述视频会议变更广播源时工作流程图,会议进行中发言终端会根据需要进行切换,在发言终端改变时:
MCU将新的发言终端置为广播源;
视频会议低带宽控制模块恢复新广播源终端的上行带宽,该终端开始发送视频到MCU;视频会议低带宽控制模块将当前旧广播源的上行带宽控制为0;MCU将旧广播源终端加入会议组播组,与其他终端一样从组播地址接收视频;MCU将新广播源发来的视频数据发送到组播地址。其他终端看到的将是新的广播源视频;
完成广播源的切换。
图11是本实施例所述视频会议变更广播源所观看的终端时工作流程图,会议进行中广播源所看的终端也会根据需要进行切换,比如与某个终端进行对话互动,在广播源所看的终端改变时,包括:
MCU将新的终端置为新的广播源所看的终端;
视频会议低带宽控制模块恢复新的被观看终端的上行带宽,该终端的视频开发发送到MCU;
视频会议低带宽控制模块将当前旧广播源所看的终端上行带宽控制为0;
MCU将此终端发来的视频数据发送到广播源;
完成广播源所看终端的切换。
除实施示例外,本实施例可以进一步衍生为以下实施方案:
实施示例2:视频会议低带宽多画面会议
多画面会议是指会议中MCU将多个会议终端视频合成为一个画面后发送给其他终端观看。在本实施例的基础上,实现多画面会议只需要视频会议低带宽控制模块将需要合成的终端上行带宽恢复即可,这几台视频会议终端的码流上传到MCU进行合成,合成的画面发送到组播地址即可。在多画面会议模式下,网络上行带宽增加量为被合成的终端带宽和,下行带宽不变。
实施示例3:视频会议低带宽分布式组网
对于跨地域召开的大型会议,视频会议终端所处的物理位置总体分散局部集中,例如召开省市两级会议,这种会议的会议终端分布在省级和各个城市。如果按照常规方式召开会议,每个城市的会议终端都会占用省市之间的网络,极大占用省市之间的线路带宽,并且会导致网络堵塞。召开这种视频会议时,采用本实施例对会议组播增加多个组播源,MCU为每个区域下发一路组播数据,该区域的终端从本区域组播源获取会议视频码流即可,省市之间的下行带宽为一路视频带宽和所有终端音频所占带宽。视频会议低带宽控制模块对会议中的所有终端带宽进行控制,MCU处理视频的下行带宽为一路发送给广播源的带宽和所有发送到每个区域的组播发送带宽总和,上行带宽依然是两路:广播源和广播源所看的端。
当视频会议使用多台MCU级联组网时,MCU之间的级联线路上行和下行均占用一路带宽资源。每台MCU上的会议采用与实施示例1相同的技术进行组网。
实施示例4:视频会议低带宽多能力会议
由于一个视频会议有许多会议终端,终端的性能和带宽不一定都相同,这时则需要召开多能力会议,也就是会议终端以不同的能力加入会议。对于多能力会议,MCU需要为不同能力的会议终端发送与其相同能力的视频,以保证会议终端能正常观看会议。召开多能力低带宽会议时,MCU首先需要将终端按照能力进行分组,比如分辨率1080P的终端为一组、分辨率720P的终端为一组、分辨率CIF(Common Intermediate Format,影像传输格式)的为一组,召开视频会议时,采用本实施例对会议组播增加多个组播源,为每种能力产生一个组播源,MCU对广播源视频分别编码成这几种能力,发送到对应的组播源。视频会议终端也按照各自的能力加入到对应的组播源,获取与自身匹配的视频进行观看。视频会议低带宽控制模块对会议中的所有终端带宽进行控制,MCU处理视频的下行带宽为一路发送给广播源的带宽和所有发送到每个组播源的带宽总和,上行带宽依然是两路:广播源和广播源所看的端。
通过上述实施例可以看到,采用本实施例所述方法和装置能有效降低网络带宽占用,减少网络拥堵,参加会议的终端数量大规模增加也不会明显增加网络开销。
实施例4
本发明的实施例还提供了一种存储介质,该存储介质包括存储的程序,其中,上述程序运行时执行上述任一项所述的方法。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的程序代码:
S1,指示加入视频会议的第一终端的视频数据发送到视频会议的组播地址,音频数据发送到多点控制单元MCU;
S2,指示会议终端将音频数据发送至MCU,其中,会议终端为视频会议中除第一终端之外的终端。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本发明的实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,指示加入视频会议的第一终端的视频数据发送到视频会议的组播地址,音频数据发送到多点控制单元MCU;
S2,指示会议终端将音频数据发送至MCU,其中,会议终端为视频会议中除第一终端之外的终端。
可选地,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (17)

1.一种视频会议的传输方法,其特征在于,包括:
指示加入视频会议的第一终端的视频数据发送到所述视频会议的组播地址,音频数据发送到多点控制单元MCU;
指示会议终端将音频数据发送至所述MCU,其中,所述会议终端为所述视频会议中除所述第一终端之外的终端。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:控制所述会议终端拒绝发送上行视频数据。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将加入所述视频会议的第二终端的视频数据发送至所述第一终端。
4.根据权利要求3所述的方法,其特征在于,将加入所述视频会议的第二终端的视频数据发送至所述第一终端包括:
将加入所述视频会议的第二终端的视频数据发送至所述MCU,通过所述MCU发送至所述第一终端。
5.根据权利要求3或4所述的方法,其特征在于,所述第一终端的视频数据包括:所述第一终端采集的视频数据,所述第一终端接收的所述第二终端的视频数据。
6.根据权利要求1所述的方法,其特征在于,在指示会议终端将音频数据发送至所述MCU之后,所述方法还包括:
将所述MCU接收的音频数据发送至所述第一终端和所述会议终端,以及将所述组播地址接收的视频数据发送给所述会议终端。
7.根据权利要求6所述的方法,其特征在于,将所述MCU接收的音频数据发送至所述第一终端和所述会议终端包括:
将所述MCU接收的所有音频数据进行混音处理,将混音处理后的音频数据发送至所述第一终端和所述会议终端。
8.根据权利要求1所述的方法,其特征在于,在指示加入视频会议的第一终端的视频数据发送到所述视频会议的组播地址之后,所述方法还包括:
确定所述视频会议中的指定终端,将所述指定终端的视频数据发送至所述组播地址,其中,所述指定终端为所述视频会议中当前发言的终端。
9.根据权利要求8所述的方法,其特征在于,在确定所述视频会议中的指定终端之后,所述方法还包括:
控制所述第一终端拒绝发送上行视频数据。
10.根据权利要求1所述的方法,其特征在于,在指示加入视频会议的第一终端的视频数据发送到所述视频会议的组播地址,音频数据发送到多点控制单元MCU,之前,所述方法还把包括:
创建所述视频会议,并配置所述视频会议的所述组播地址。
11.根据权利要求1所述的方法,其特征在于,在指示加入视频会议的第一终端的视频数据发送到所述视频会议的组播地址之前,所述方法还包括:
设置一个或多个所述第一终端,其中,每个所述第一终端对应不同的位置区域。
12.根据权利要求6所述的方法,其特征在于,将所述MCU接收的视频数据通过所述组播地址发送给所述会议终端包括:
将所述MCU接收的视频数据进行编码处理得到一种或多种格式的视频数据,其中,不同格式的视频数据对应的传输带宽不同;
将编码处理后的视频数据通过一个或多个所述组播地址发送给所述会议终端。
13.一种视频会议的传输方法,其特征在于,包括:
接收视频会议中所有参会终端的音频数据,以及第一终端的视频数据;
将所述音频数据发送至所有参会终端,以及将所述视频数据发送至所述视频会议中除所述第一终端之外的终端。
14.一种多点控制单元MCU,其特征在于,包括:
第一指示模块,用于指示加入视频会议的第一终端的视频数据发送到所述视频会议的组播地址,音频数据发送到多点控制单元MCU;
第二指示模块,用于指示会议终端将音频数据发送至所述MCU,其中,所述会议终端为所述视频会议中除所述第一终端之外的终端。
15.一种视频会议的传输装置,其特征在于,包括:
接收模块,用于接收视频会议中所有参会终端的音频数据,以及第一终端的视频数据;
发送模块,用于将所述音频数据发送至所有参会终端,以及将所述视频数据发送至所述视频会议中除所述第一终端之外的终端。
16.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行所述权利要求1至13任一项中所述的方法。
17.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行所述权利要求1至13任一项中所述的方法。
CN201711458953.2A 2017-12-28 2017-12-28 视频会议的传输方法及装置、mcu Active CN108156413B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201711458953.2A CN108156413B (zh) 2017-12-28 2017-12-28 视频会议的传输方法及装置、mcu
PCT/CN2018/101956 WO2019128266A1 (zh) 2017-12-28 2018-08-23 视频会议的传输方法及装置、mcu
US16/958,780 US20200329083A1 (en) 2017-12-28 2018-08-23 Video conference transmission method and apparatus, and mcu
EP18895218.8A EP3734967A4 (en) 2017-12-28 2018-08-23 VIDEOCONFERENCE TRANSMISSION PROCESS AND APPARATUS, AND MCU

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711458953.2A CN108156413B (zh) 2017-12-28 2017-12-28 视频会议的传输方法及装置、mcu

Publications (2)

Publication Number Publication Date
CN108156413A true CN108156413A (zh) 2018-06-12
CN108156413B CN108156413B (zh) 2021-05-11

Family

ID=62462637

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711458953.2A Active CN108156413B (zh) 2017-12-28 2017-12-28 视频会议的传输方法及装置、mcu

Country Status (4)

Country Link
US (1) US20200329083A1 (zh)
EP (1) EP3734967A4 (zh)
CN (1) CN108156413B (zh)
WO (1) WO2019128266A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019128266A1 (zh) * 2017-12-28 2019-07-04 中兴通讯股份有限公司 视频会议的传输方法及装置、mcu
CN110719434A (zh) * 2019-09-29 2020-01-21 视联动力信息技术股份有限公司 一种视频会议的方法和装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114710461B (zh) * 2022-03-31 2024-03-12 中煤科工集团重庆智慧城市科技研究院有限公司 多端音视频即时通讯方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1849824A (zh) * 2003-10-08 2006-10-18 思科技术公司 用于执行分布式视频会议的系统和方法
CN1964475A (zh) * 2006-12-06 2007-05-16 杭州华为三康技术有限公司 视频会议的实现方法、控制设备与用户终端
CN101710959A (zh) * 2009-12-10 2010-05-19 浙江大学 一种应用层组播视频会议系统
US8411129B2 (en) * 2009-12-14 2013-04-02 At&T Intellectual Property I, L.P. Video conference system and method using multicast and unicast transmissions

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5963547A (en) * 1996-09-18 1999-10-05 Videoserver, Inc. Method and apparatus for centralized multipoint conferencing in a packet network
US6775247B1 (en) * 1999-03-22 2004-08-10 Siemens Information And Communication Networks, Inc. Reducing multipoint conferencing bandwidth
CN1272932C (zh) * 2003-04-28 2006-08-30 王生安 基于ip网络的分布式多媒体会议系统
CN100502295C (zh) * 2003-08-28 2009-06-17 北京鼎视通软件技术有限公司 一种基于多点控制单元的终端动态接入方法
CN101404748B (zh) * 2008-10-31 2010-12-08 广东威创视讯科技股份有限公司 用于大规模高清网络视频会议的视频数据传输系统及方法
CN108156413B (zh) * 2017-12-28 2021-05-11 中兴通讯股份有限公司 视频会议的传输方法及装置、mcu

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1849824A (zh) * 2003-10-08 2006-10-18 思科技术公司 用于执行分布式视频会议的系统和方法
CN1964475A (zh) * 2006-12-06 2007-05-16 杭州华为三康技术有限公司 视频会议的实现方法、控制设备与用户终端
CN101710959A (zh) * 2009-12-10 2010-05-19 浙江大学 一种应用层组播视频会议系统
US8411129B2 (en) * 2009-12-14 2013-04-02 At&T Intellectual Property I, L.P. Video conference system and method using multicast and unicast transmissions

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019128266A1 (zh) * 2017-12-28 2019-07-04 中兴通讯股份有限公司 视频会议的传输方法及装置、mcu
CN110719434A (zh) * 2019-09-29 2020-01-21 视联动力信息技术股份有限公司 一种视频会议的方法和装置

Also Published As

Publication number Publication date
WO2019128266A1 (zh) 2019-07-04
US20200329083A1 (en) 2020-10-15
EP3734967A1 (en) 2020-11-04
CN108156413B (zh) 2021-05-11
EP3734967A4 (en) 2021-09-08

Similar Documents

Publication Publication Date Title
CN104580995B (zh) 一种用于视频会议的通讯方法和装置
CA2537944C (en) System and method for performing distributed video conferencing
CN103384235B (zh) 多人会话时数据呈现的方法、服务器及系统
US6989856B2 (en) System and method for performing distributed video conferencing
CN105122791B (zh) 用于优化大规模视频会议的方法和设备
CN108462851A (zh) 数据处理的方法和移动终端、服务器、第二移动终端
CN111131759B (zh) 一种实时多媒体传输系统及其使用方法
DE10256904A1 (de) System und Verfahren für die Bereitstellung einer Elementeinheit für die verteilte Datenverarbeitung in einem Mobiltelekommunikationsnetzwerk
CN105338288A (zh) 一种多人网络视频会话方法及系统
CN104519307A (zh) 会议管理系统、多画面合成设备、分会场设备、视频会议实现方法及系统
CN105611219A (zh) 视频会议的处理方法及装置
CN108156413A (zh) 视频会议的传输方法及装置、mcu
CN104283857A (zh) 多媒体会议的建立方法、装置及系统
CN106941598A (zh) 多画面码流合成方法、多画面码流合成控制方法及装置
CN112422880A (zh) 视频会议方法、终端设备及可读存储介质
CN110636244B (zh) 一种视频会议服务器、系统、控制方法及存储介质
CN105191295B (zh) 用于在视频会议中管理媒体流的方法和设备
CN112004048B (zh) 基于视联网的参会终端码率控制方法、装置、设备及介质
KR100308283B1 (ko) 케이블망을이용한화상회의시스템
CN108012108A (zh) 一种应急指挥平台的多人视频会议系统
CN110521202A (zh) 能够利用多个视频会议用终端提供多屏视频会议的视频会议服务器及其方法
CN106331584A (zh) 一种多会场共同主持会议的方法及其系统
CN115442336A (zh) 一种基于视频会议转码分发系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant