CN101404748B

CN101404748B - 用于大规模高清网络视频会议的视频数据传输系统及方法

Info

Publication number: CN101404748B
Application number: CN 200810218814
Authority: CN
Inventors: 徐蜀中; 朱小华
Original assignee: Vtron Technologies Ltd
Current assignee: Vtron Group Co Ltd
Priority date: 2008-10-31
Filing date: 2008-10-31
Publication date: 2010-12-08
Anticipated expiration: 2028-10-31
Also published as: CN101404748A

Abstract

本发明提供一种用于大规模高清网络视频会议的视频数据传输系统，包括1个MGR和至少2个实体MCU及2个以上用户端，MGR与各实体MCU分别网络连接，各用户端分别与实体MCU网络连接；各用户端均包括依次连接的摄像头、视频编码器、虚拟通道发送管理模块，以及依次连接的虚拟通道接收管理模块、视频解码器、显示设备，各视频解码器两端分别与虚拟通道接收管理模块、显示设备相连接；各实体MCU包括集群管理模块、虚拟通道转发模块、虚拟通道逻辑控制模块。本发明有效地提高了系统资源利用率，减轻了逻辑MCU和每个实体MCU的工作负荷，能在大规模高清网络视频会议中保证视频数据的原始分辨率，大大提高了支持高清视频的能力。

Description

用于大规模高清网络视频会议的视频数据传输系统及方法

技术领域

本发明涉及视频传输领域，具体涉及用于大规模高清网络视频会议的视频数据传输系统及方法。

背景技术

网络视频会议系统是通过网络通信技术来实现虚拟会议，使在地理上分散的用户可以共聚一处，通过图形、声音等多种方式交流信息，支持人们远距离进行实时信息交流与共享、开展协同工作的应用系统。网络视频会议极大地方便了协作成员之间真实、直观地交流，对远程教学和会议有着举足轻重的作用。网络视频会议系统所采用的标准和协议主要是由ITU-T根据需要制定的，包括：H.320协议、H.323协议、MPEG-4标准以及H.264标准，其中H.264标准结合了H.323协议中的H.263协议和MPEG-4标准，解决了目前基于软件视频会议的MPEG-4标准无法与H.323协议的终端兼容问题，使之成为目前最好的视频压缩协议。

如图1所示，在传统的网络视频会议系统中，用户端将各自的视频数据发送给实体多点控制单元(MCU)，由集中对视频数据进行解码、混屏、编码，然后再将视频数据发送给各个用户端，如果各用户端所采用的协议不同，则实体MCU的编解码负荷会很重。在进行大规模视频会议时，目前用户数量较少时一般采用树状级联的方法来扩展MCU，如图2所示；如果参会人员比较多，目前有了更先进的堆叠方式来扩展MCU，如图3所示，其中堆叠方式就是采用多个实体主、从MCU构成1个逻辑MCU的方法，它所能接入的用户个数大大增加，但是依然存在如下缺陷：

(1)堆叠方式扩展MCU使得扩展后的逻辑MCU可以承受更多的用户数量，但是由于系统中的每一个实体MCU都需要承担编码、解码和混屏工作，从而造成其可扩展的规模仍然有限，高清用户的最大扩展规模在300个MCU左右；

(2)在网络视频会议中，用户端承担的工作相对较少，不充分利用就造成了整个系统中的这部分资源的浪费；

(3)在采用堆叠方式扩展MCU的网络视频会议系统中，由于所有的实体MCU堆叠起来在逻辑上是1个MCU，因此它的工作原理和单个实体MCU一样，例如，有4个终端用户参与该会议，每个用户端所发送的视频数据的分辨率大小为4CIF(CIF的分辨率为352×288；4CIF的分辨率为704×576)，由于堆叠的实体MCU必须对此进行混频，即将4个4CIF的视频混频成1个4CIF的视频数据，因此传回用户端时，每个视频数据的分辨率已经变为CIF大小了。因此，堆叠式MCU仍然是以降低分辨率为代价来提高传输视频数据速率的。因此在大规模高清网络视频会议系统中，这种缺陷是难以容忍的。

发明内容

本发明的目的在于克服现有技术的上述缺点和不足，提供一种用于大规模高清网络视频会议的视频数据传输系统，该系统将更多个物理MCU集群成为单一的逻辑MCU，其中该系统中的每一个实体物理MCU和逻辑MCU都不再对视频数据进行解码、混频、编码的工作，实体MCU和实体MCU之间通过组播虚拟通道来转发视频数据，而在实体MCU和用户端之间则将视频数据通过建好的发送虚拟通道经由逻辑MCU转发给目标用户端，最后由目标用户端完成视频数据的解码工作，而无需再次混屏和编码，因此有效地提高了系统资源的利用率，减轻了逻辑MCU和每个实体MCU的工作负荷，保证了单个实体MCU的鲁棒性(Robustness)，同时也保证了整个逻辑MCU的性能，从而能让更多的终端参与视频会议；能在大规模高清网络视频会议中保证视频数据的原始分辨率，从而大大提高了支持高清视频的能力。

本发明的目的还在于提供由上述用于大规模高清网络视频会议的视频数据传输系统实现视频数据传输的方法。

本发明目的通过下述技术方案实现：用于大规模高清网络视频会议的视频数据传输系统包括至少2个实体MCU、2个以上用户端、1个MGR，所述MGR是用于使加入MCU集群中的所有实体MCU在处理与时序有关的任务时如同1个逻辑MCU一样按照时序处理相关任务的信令时序控制模块，所述MGR与各实体MCU分别进行网络连接组成MCU集群，各用户端分别与实体MCU进行网络连接；所述各用户端均包括依次连接的摄像头、视频编码器、虚拟通道发送管理模块，以及依次连接的虚拟通道接收管理模块、视频解码器、显示设备，各视频解码器两端分别与虚拟通道接收管理模块、显示设备相连接。

所述实体MCU至少包括用于和MGR进行同步并使得所有加入MCU集群中的实体MCU合并为1个逻辑MCU以及建立实体MCU之间的组播通道的集群管理模块、用于创建实体MCU与用户端之间的接收虚拟通道和创建实体MCU与用户端之间的发送虚拟通道以及在所述组播通道中创建实体MCU与实体MCU之间的转发虚拟通道的虚拟通道逻辑控制模块、用于转发MCU所收到的视频数据的虚拟通道转发模块。

所述接收虚拟通道，用于将实体MCU已经接收的本地视频数据发送到目标用户端；所述发送虚拟通道，用于将用户端视频数据发送到实体MCU。

所述MGR与各实体MCU的集群管理模块相连接，组成MGR与各实体MCU的集群管理通道。

所述各用户端的视频解码器数量＝用户端的数量-1。

所述各用户端的视频编码器均为H.26X系列编码器。

所述各用户端的视频解码器均为H.26X系列解码器。

所述各用户端的虚拟通道发送管理模块均包括相互连接的编码器、网络发送设备，该编码器主要用于标注视频数据的虚拟通道标识信息，该虚拟通道标识信息至少包括：所采用的视频编码器类型、视频数据的分辨率大小以及虚拟通道号；所述网络发送设备将编码器标注完毕的视频数据发送到MCU。

所述各用户端的虚拟通道接收管理模块均包括相互连接的网络接收设备、解码器；该网络接收设备主要用于接收视频数据；所述解码器主要用于分析视频数据的虚拟通道标识信息：将接收到的视频数据按照不同的通道号整理解码，然后根据解码结果获得视频数据的编码类型选择相应的视频解码器并对其进行初始化，然后将视频数据输入视频解码器解码，最终获得可直接显示的未改变分辨率的视频数据。

利用上述用于大规模高清网络视频会议的视频数据传输系统实现视频数据传输的方法，包括下述步骤：

(1)MGR通过集群管理通道根据指令通知所有实体MCU分别建立1个组播通道用来收发视频数据；

(2)本地用户端的摄像头采集视频数据，并发送给视频编码器；

(3)本地用户端的视频编码器对步骤(2)所述的视频数据进行编码，并发送给虚拟通道发送管理模块；

(4)本地用户端的虚拟通道发送管理模块对接收到的视频数据标注虚拟通道标识信息，然后将本地用户端的视频数据通过发送虚拟通道传输到本地实体MCU；所述的虚拟通道标识信息至少包括编码类型、分辨率和发送虚拟通道号；

(5)本地实体MCU接收到视频数据后，虚拟通道转发模块将视频数据通过组播通道中的转发虚拟通道发送到其它实体MCU；

(6)当其它实体MCU在组播通道中接收到视频数据后，均查看该视频数据目标终端是否是其自身连接的用户端，如果不是则虚拟通道转发模块不对该视频数据进行处理，如果是则虚拟通道转发模块将该视频数据发送到对应用户端的接收虚拟通道中；

(7)对应用户端的虚拟通道接收管理模块通过接收虚拟通道接收视频数据，然后对所接收到的视频数据进行虚拟通道标识信息分析，获得视频数据的编码类型，再根据视频数据的编码类型选择对应的视频解码器，并对该视频解码器进行初始化，最后视频解码器将还原的视频数据发送给显示设备进行显示。

上述方法中，所述发送虚拟通道和接收虚拟通道的大小根据视频数据的大小而调整。

本发明用于大规模高清网络视频会议的视频数据传输系统相对于现有技术具有以下优点：

(1)本发明突破了传统视频会议系统的技术瓶颈，整个系统将不需要进行解码、混屏、编码的高负荷工作，将实体MCU集中承担的解码的工作分散到各个用户端后，这样不仅有效地提高了系统资源的利用率，减轻了实体MCU的工作负荷，保证了单个实体MCU的鲁棒性，能让更多的终端参与视频会议；

(2)本发明突破了传统视频会议系统的实体MCU混屏以降低分辨率来获得传输效率的缺陷，在保证用户传输效率的同时能不降低视频数据的原始分辨率，因此用户端的显示不会因为参加视频会议的用户数量增多而变得模糊，使得本发明支持高清视频能力大大提高；

(3)本发明通过创建独立的虚拟通道来传输视频数据，使得实体MCU大部分工作集中在虚拟通道数据的转发管理，从而保证了数据传输的速度和质量。

附图说明

图1是传统网络视频会议系统的结构示意图；

图2是传统的树状级联扩展MCU的结构示意图；

图3是目前较先进的堆叠方式扩展MCU的结构示意图；

图4是本发明系统的结构示意图；

图5是本发明中的实体MCU形成1个逻辑MCU的结构示意图；

图6是本发明中的单个实体MCU与用户端连接的结构示意图；

图7是本发明系统的工作流程图。

具体实施方式

下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。

实施例

图4所示的本发明用于大规模高清网络视频会议的视频数据传输系统包括1MGR、3个实体MCU(MCU1、MCU2、MCU3)以及12个用户端，所述MGR是用于使加入MCU集群中的所有实体MCU(MCU1、MCU2、MCU3)在处理与时序有关的任务时如同1个逻辑MCU一样按照时序处理相关任务的信令时序控制模块；所述MGR与MCU1、MCU2、MCU3分别进行网络连接组成MCU集群，其中MCU1对应网络连接的用户端包括EP11、EP12、EP13、EP14，MCU2对应网络连接的用户端包括EP21、EP22、EP23、EP24，MCU3对应网络连接的用户端包括EP31、EP32、EP33、EP34。

图5所示为本发明中的实体MCU形成1个逻辑MCU的结构；MCU1、MCU2、MCU3均至少包括用于和MGR进行同步并使得所有加入MCU集群中的实体MCU合并为1个逻辑MCU以及建立实体MCU之间的组播通道的集群管理模块、用于创建实体MCU与用户端之间的接收虚拟通道和创建实体MCU与用户端之间的发送虚拟通道以及在实体MCU之间已经创建的组播通道中创建实体MCU与实体MCU之间的转发虚拟通道的虚拟通道逻辑控制模块、用于转发MCU所收到的视频数据的虚拟通道转发模块。

所述接收虚拟通道，用于将实体MCU已经接收的本地视频数据发送到目标用户端。

所述发送虚拟通道，用于将用户端视频数据发送到实体MCU。

所述MGR与各实体MCU的集群管理模块相连接，组成MGR与各实体MCU的集群管理通道，如图5所示，MGR与MCU1、MCU2、MCU3相连接的集群管理通道分别为集群管理通道1、集群管理通道2、集群管理通道3。

如图5所示，所述虚拟通道逻辑控制模块创建的实体MCU与实体MCU之间的转发虚拟通道。其中MCU1向MCU2、MCU3，MCU2向MCU1、MCU3，MCU3向MCU1、MCU1进行视频数据发送的转发虚拟通道依次为转发虚拟通道1、转发虚拟通道2、转发虚拟通道3。相应地，MCU1进行视频数据接收的转发虚拟通道为转发虚拟通道2、转发虚拟通道3；MCU2进行视频数据接收的转发虚拟通道为转发虚拟通道1、转发虚拟通道3；MCU3进行视频数据接收的转发虚拟通道为转发虚拟通道1、转发虚拟通道2。

如图6所示为本发明中的单个实体MCU与用户端连接的结构，4个用户端(EP1、EP2、EP3、EP4)分别与实体MCU网络连接。

如图6所示，各用户端包括依次连接的摄像头、视频编码器、虚拟通道发送管理模块，还包括依次连接的虚拟通道接收管理模块、3个视频解码器、显示设备。

所述各用户端的虚拟通道发送管理模块均包括相互连接的编码器、网络发送设备，该编码器主要用于标注虚拟通道标识信息，所述虚拟通道标识信息包括所采用的视频编码器类型、视频数据的分辨率大小以及虚拟通道号；所述各用户端的虚拟通道接收管理模块均包括相互连接的网络接收设备、解码器，该解码器主要用于识别视频数据的类型、视频数据的分辨率大小以及虚拟通道号。

如图6所示，本发明系统中H.26X系列的视频解码器的具体类型与用户端所采用的视频编码器的类型相对应。EP1、EP2、EP3、EP4分别采用H.261、H.263、H.264、H.264视频编码器，而EP1所包括的3个视频解码器即H.26X系列的解码器分别为H.263解码器、H.264解码器、H.264解码器，即与EP2、EP3、EP4的视频编码器的类型对应一致；EP2所包括的3个视频解码器即H.26X系列的解码器分别为H.261解码器、H.264解码器、H.264解码器，即与EP1、EP3、EP4的视频编码器的类型对应一致；EP3所包括的3个视频解码器即H.26X系列的解码器分别为H.261解码器、H.263解码器、H.264解码器，即与EP1、EP2、EP4的视频编码器的类型对应一致；EP4所包括的3个视频解码器即H.26X系列的解码器分别为H.261解码器、H.263解码器、H.264解码器，即与EP1、EP2、EP3的视频编码器的类型对应一致。

EP1与MCU的连接通道为RTP通道1，包括4条虚拟通道，分别为发送虚拟通道1，接收虚拟通道2、3、4；EP2与MCU的连接通道为RTP通道2，包括4条虚拟通道，分别为发送虚拟通道2，接收虚拟通道1、3、4；EP3与MCU的连接通道为RTP通道3，包括4条虚拟通道，分别为发送虚拟通道3，接收虚拟通道1、2、4；EP4与MCU的连接通道为RTP通道4，包括4条虚拟通道，分别为发送虚拟通道4，接收虚拟通道1、2、3。

利用上述用于大规模高清网络视频会议的视频数据传输系统实现视频数据传输的方法，如图7所示，包括下述步骤：

(6)当其它实体MCU在组播通道中接受到视频数据后，均查看该视频数据目标终端是否是其自身连接的用户端，如果不是则虚拟通道转发模块不对该视频数据进行处理，如果是则虚拟通道转发模块将该视频数据发送到对应用户端的接收虚拟通道中；

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims

1.用于大规模高清网络视频会议的视频数据传输系统，其特征在于：包括至少2个实体MCU、2个以上用户端、1个M G R，所述M G R是用于使加入M C U集群中的所有实体M C U在处理与时序有关的任务时如同1个逻辑MCU一样按照时序处理相关任务的信令时序控制模块，所述M G R与各实体MCU分别进行网络连接组成MCU集群，各用户端分别与实体MCU进行网络连接；所述各用户端均包括依次连接的摄像头、视频编码器、虚拟通道发送管理模块，以及依次连接的虚拟通道接收管理模块、视频解码器、显示设备，各视频解码器两端分别与虚拟通道接收管理模块、显示设备相连接；

所述实体MCU至少包括：用于和M G R进行同步并使得所有加入MCU集群中的实体MCU合并为1个逻辑MCU以及建立实体M C U之间的组播通道的集群管理模块；用于创建实体MCU与用户端之间的接收虚拟通道、创建实体MCU与用户端之间的发送虚拟通道以及在所述组播通道中创建实体MCU与实体M C U之间的转发虚拟通道的虚拟通道逻辑控制模块；用于转发MCU所收到的视频数据的虚拟通道转发模块；

所述M G R与各实体MCU的集群管理模块相连接，组成M G R与各实体MCU的集群管理通道。

2.根据权利要求1所述用于大规模高清网络视频会议的视频数据传输系统，其特征在于：所述各用户端的视频解码器数量＝用户端的数量-1。

3.根据权利要求1所述用于大规模高清网络视频会议的视频数据传输系统，其特征在于：所述各用户端的视频编码器均为H.26X系列编码器，所述各用户端的视频解码器均为H.26X系列解码器。

4.根据权利要求1所述用于大规模高清网络视频会议的视频数据传输系统，其特征在于：所述各用户端的虚拟通道发送管理模块均包括相互连接的用于标注视频数据的虚拟通道标识信息的编码器、用于将编码器标注完毕的视频数据发送到MCU的网络发送设备；所述各用户端的虚拟通道接收管理模块均包括相互连接的用于接收视频数据的网络接收设备、用于分析视频数据的虚拟通道标识信息的解码器。

5.一种利用权利要求1所述用于大规模高清网络视频会议的视频数据传输系统实现视频数据传输的方法，其特征在于，包括下述步骤：

(4)本地用户端的虚拟通道发送管理模块对接收到的视频数据标注虚拟通道标识信息，然后将本地用户端的视频数据通过发送虚拟通道传输到本地实体MCU；

(6)当其它实体M C U在组播通道中接受到视频数据后，均查看该视频数据目标终端是否是其自身连接的用户端，如果不是则虚拟通道转发模块不对该视频数据进行处理，如果是则虚拟通道转发模块将该视频数据发送到对应用户端的接收虚拟通道中；

6.根据权利要求5所述的用于大规模高清网络视频会议的视频数据传输方法，其特征在于：步骤(4)所述的虚拟通道标识信息至少包括编码类型、分辨率和发送虚拟通道号。

7.根据权利要求6所述的用于大规模高清网络视频会议的视频数据传输方法，其特征在于：所述发送虚拟通道和接收虚拟通道的大小根据视频数据的大小而调整。