CN102695035B - 带宽自适应视频会议 - Google Patents

Abstract

本发明带宽自适应视频会议，通过视频模式动态选择，SVC及P2P技术结合，并能通过互联网服务模式为企业提供虚拟的视频会议室及桌面视频服务，该模式避免了企业对视频会议室的投入，采用租用模式，随时随地召开视频会议。

Description

带宽自适应视频会议

技术领域

本发明涉及计算机和互联网通信领域，具体来讲是适用于互联网上视频会议，相对于传统会议室视频会议，该发明通过云计算模式，在互联网上提供视频会议室的替代或升级的视频会议，通过带宽自适应技术，在有限带宽情况下，保障视频质量。

背景技术

传统的视频会议室技术，通过专线，将各个视频会议室的视频流，传输到一个中心节点，中心节点通过MCU将多路视频混合成一路视频，下发给其它各个视频会议室，并且，由MCU来控制各个节点观看视频的视频模式及视频大小。该方式的缺点是高投入，离开视频会议室就没法召开视频会议，目前越来越多的供应商开始提供酒店视频服务，企业通过租用，避免初期的高投入，但仍然无法支持大规模用户的使用需求，接收客户端过多的情况下，传输带宽要求高，MCU的网络带宽无法支持，一次性投入大，无法根本解决视频会议室问题。

目前，互联网视频服务开始兴起，大有通过桌面视频方式取代传统视频的视频会议室的趋势，但由于互联网带宽的不确定性，视频会议各个参与方的带宽，性能都个不相同，目前的视频会议系统分为两种方式，一种是传统编码方式，各个接收者的视频质量与码流一致，硬件要求高，对于带宽较低的参与者，会丢失数据包，视频质量保障困难。另外一种方式是通过SVC（Scalable Video CODEC）编码，在传输过程中通过截断方式，选择不同的编码，以适应不同的网络和不同的终端。一般来讲，这两种方式都避免使用MCU，降低服务端的计算量，对于多路视频，会不同程度的升高带宽。对于SVC方式，企业内部参与人较多时，需要特殊的传输设备（SVC Proxy），因此也有固定的初期投入。

本发明针对互联网视频服务，通过选择视频模式，SVC及P2P技术联合使用，让不同带宽的参与者看到不同视频，在有效带宽情况下，提升视频会议云服务的品质，让所有与会者都能以有限的带宽参与视频会议。

发明内容

本发明目的是构建云技术的视频会议室服务，让企业在没有固定资产投入的情况下，享受到专业、清晰的视频服务。

本发明是一种互联网视频会议服务系统，通过视频分辨率选择，观看视频路数选择，SVC及P2P传输，让每个参与者都能看到清晰视频。本发明采用的技术方案为：

一种带宽自适应视频会议，包含视频服务器、P2P控制服务器、传输服务器及客户端，其中：

视频服务器包含客户端视频模式改变响应模块，该客户端视频模式改变响应模块接收客户端视频改变信息，并将客户端视频改变信息通知P2P控制服务器及相应客户端；

P2P控制服务器包含SVC数据计算模块，该SVC数据计算模块根据视频服务器通知的客户端视频改变信息，对P2P组的最大下发SVC数据及客户端SVC数据量计算，并将视频数据SVC截断信息发给传输服务器及相应客户端；

传输服务器包含视频流SVC截断模块，该视频流SVC截断模块根据P2P服务器下达的P2P组或客户端的视频数据SVC截断信息，计算SVC截断包的形式，对发送的数据包进行处理，发送给P2P组或客户端；

客户端包含视频数据SVC截断模块，该视频数据SVC截断模块根据P2P控制服务器下发的视频数据SVC截断信息，在视频数据转发时，对转发数据进行调整。

本发明具有如下有益效果：

1、视频模式选择，如同传统MCU，将多路视频混合成一路时，需要选择各路视频的位置，大小。在本发明中，也同样选择视频模式，不同的是，根据选择模式，对每一路视频大小要通知视频源，视频源根据视频显示大小调整分辨率，有效降低传输带宽，比如桌面视频，1大带5小，五个小的视频源，视频采集带宽降低到QCIF（需要带宽~60kbps），大的视频源是CIF（~128kbps），如果是会议室模式，大的视频源是4CIF（~600kbps），小的视频时CIF（~128kbps）。

2、接受者模式选择，传统MCU方式，无论接受者情况如何，都采用统一的接受方式，接受相同视频模式。在本发明中，用户可以根据带宽情况，选择适合自己的模式，如主持人选择1大带5小，这时收看人带宽不够，选择停止观看其中的3小，视频模式成为1大带2小，能够节省约240kbps的带宽，让视频服务更清晰流畅。

3、SVC，对于大视频，如高清源，采用SVC编码，各个观看者，根据自己带宽，通告服务器，调整截断情况，让每个参与者根据自己的带宽，收看不同效果的视频，确保视频清晰流畅。

4、P2P，对于在一个出口的内网，采用P2P方式，减少对网络出口压力，统一根据出口情况选择视频质量。

采用上述技术方案，该发明通过视频模式选择，SVC及P2P技术，有效降低视频会议对带宽的需求，并能通过互联网服务模式为企业提供虚拟的视频会议室及桌面视频服务，该模式避免了企业对视频会议室的投入，采用SaaS模式，随时随地召开视频会议。

附图说明

图1为本发明的系统构架图。

图2：本发明P2P客户端分发第一个包的流程图。

图3：本发明P2P客户端分发第二个包的流程图。

图4为主持人选择显示模式的流程图。

图5为客户端根据网络情况调整显示模式的流程图。

具体实施方式

本发明通过视频模式动态选择，SVC及P2P技术结合，并能通过互联网服务模式为企业提供虚拟的视频会议室及桌面视频服务，该模式避免了企业对视频会议室的投入，采用租用模式，随时随地召开视频会议。

现结合附图具体实现举例描述如下：

一、系统构成

参见图1，本发明由服务器端和客户端组成，服务器端由视频服务器、P2P控制服务器、传输服务器三部分组成，关于P2P控制服务器和传输服务器，以及客户端的P2P功能的描述，在申请人申请号为201010271582.9中详细记录，本发明中仅简单描述其与本发明相关的技术内容。

视频服务器负责管理视频会议、用户及视频模式，下面结合附图及具体实施例对系统各个组成部分及其工作流程分别进行详细介绍：

二、视频服务器

视频服务器负责会议数据的管理、与会者用户数据的管理及视频数据的管理。首先是视频会议记录，记录召开会议的列表，会议数据记录结构如下：

会议数据结构：

数据域名称	类型	说明
			m_ivconfID	32位整型	视频会议的会议号
m_listVideo	视频列表	会议中视频源个数
			m_listUser	用户列表	视频会议中的用户（User）列表
m_model	视频模式数据	会议中指定视频显示模式

视频数据结构，代表用户观看的视频组，会议数据结构中m_listVideo是该结构的列表：

数据域名称	类型	说明
			m_iGroup	32位整型	视频组号，唯一标示一个视频
m_owner	32位整型	视频的发送者用户ID
			m_listUserID	用户ID列表	视频组的接收者ID列表

用户数据结构，代表用户模式，会议数据结构中m_ listUser是该结构的列表：

数据域名称	类型	说明
			m_iUserID	32位整型	用户的唯一标示ID
m_iNetwork	32位整型	用户网络情况
			m_model	视频模式数据	如同会议模式，用户视频显示模式

视频模式数据，会议数据结构及用户数据结构中m_model是该结构，：

数据域名称	类型	说明
			m_iModuleID	32位整型	该显示模型的唯一标识ID
m_listVideoP	视频位置列表	显示视频列表，含视频位置

视频位置数据，视频模式数据中m_listVideoP是该结构的列表，：

数据域名称	类型	说明
			m_iGroup	32位整型	视频组号，唯一标示一个视频
m_iwidth	16位整型	视频的宽度
			m_iheight	16位整型	视频的高度
m_itop	16位整型	视频上方在视频区位置
			m_ileft	16位整型	视频左上角在视频区位置

视频会议开启时，主持人或主讲人根据需要，选择会议初始视频模式，视频服务器将该初始视频模式下发给各个客户端。

视频服务器包含客户端视频模式改变响应模块，其功能是要响应客户端改变视频模式、视频质量及视频大小的要求并将客户端视频改变的信息通知P2P控制服务器及其他相应客户端。

视频服务器响应客户端视频信息改变具有如下几种情形：

第一：用户登录后，根据主讲人或主持人选择视频模式，如2x2四个同样大小视频，根据自己的屏幕分辨率计算显示视频窗口的实际大小，并将大小报告到视频服务器，视频服务器根据视频模式及每个人报告的显示大小，通知P2P控制服务器，P2P控制服务器通知传输服务及相关的客户端SEED，SVC截断包，调节各个客户端的接收数据量，同样使得用户获得跟自己显示相匹配的视频数据。

第二：客户端向定时向服务器报告网络的情况，当用户网络情况变差时，视频服务器通知P2P控制服务器，P2P控制服务器通知传输服务器根据SVC截断包，降低显示质量，保障视频清晰。

第三：当用户网络带宽不足时，用户通过调节收看视频的路数或是各个视频的显示区域大小，并将结果报告给视频服务，视频服务通过同样方式，降低视频流量，保障视频观看的质量。

视频服务器还包含自控模块，该自控模块接收来自客户端的网络情况数据，将结果保存在用户数据的m_iNetwork中，根据用户网络数据的信息，通知P2P控制服务，调整画面质量。如果连续两次收到客户端网络质量差的报告，则降低该客户的视频质量。当连续两次收集的数据表明网络质量好转，通知P2P控制服务，提升该客户视频质量。

视频服务器还包含视频核实模块，该视频核实模块核实一个视频无人观看时，即m_listUserID为空时，视频服务器通知P2P控制服务器，通知该客户端停止发送视频数据。

三、P2P控制服务器

P2P控制服务器包含P2P控制服务，请参阅图1所示，对于企业内部网络，客户端按照组播可及的方式被分为若干P2P广播组，每个P2P广播组之间通过IP包TTL（Time to Live），确定两个组成员距离出口路由的距离，将TTL最小的一个设置成为一级组。对于TTL相同的组，认为是同级组，选取成员最多的一个做一级组，其他均成为它的子组，但标称属性为父组的对等组，能够升级为父组，如果父组的成员退出了，该组可以升级为父组，方便升级。广播组的组织方式，根据客户网络结构，越靠近出口路由的广播组的辈分越高，负责将从上一级广播组获得数据分发给下一级广播组（即：子组），在同一父亲组下的同级组，称为兄弟组。

除上述P2P控制服务外，增加了SVC数据计算模块，根据视频服务器通知的客户端调整视频模式、视频位置和视频大小的信息对P2P组的最大下发SVC数据及客户端SVC数据量计算，并将该视频质量的结果发给传输服务器及各个种子客户端（SEED），实现P2P传输中的SVC截断。

P2P控制服务接收从视频服务器传来的调整用户视频模式及质量的信息，调整视频P2P分发的数据质量。包括提升和降低视频质量。

四、传输服务器

传输服务负责将客户端数据分发给其他客户端，在传输服务器中，维护客户端的连接及心跳，负责客户端的状态维护，并接收从客户端来的多媒体数据，然后分发给其它客户端，其分发的方式是：

1、首先排除数据源所在的P2P组的一级父组，该组数据由数据源所在客户端负责直接P2P分发。

2、对于其他P2P组，根据组成员数对数据包的顺序号取余，根据该余数决定将该数据包发送给该广播组的第几号成员。

3、对于没有加入P2P广播组的客户端，直接分发数据包。

因传输服务器负责数据分发，根据源数据包的顺序号，动态将不同的成员设置成为P2P的种子，让其将数据分发给同一组成员或下一级组成员。

请参见图2和图3所示，其表示种子的分发和跳跃方式。

在上述P2P分发的功能上，传输服务器增加视频流SVC截断功能模块，根据P2P服务器下达的P2P组或是客户端的视频质量，计算SVC截断包的形式，对发送的数据包进行处理，截取需要发送的数据，发送给P2P组或客户端。

五、客户端

客户端包括视频采集模块，SVC编码模块，P2P传输模块，视频显示大小选择模块 视频模式选择模块，视频模式更新模块，视频数据接收模块，视频显示模块及网络测试模块。其中，数据采集模块，可采用成熟的Spirit VVE engine技术，也可采用其他成熟技术，SVC编码模块采用H264. SVC编码及解码技术可对采集的视频编码解码，两者均属于现有成熟技术，在此不需详细描述。

客户端根据其身份的不同，在初始登陆时，由系统授予不同的权限，如主持人、主讲人等身份。主持人登陆后，创建视频会议，初始选择会议的视频模式，并将该初始视频模式发送给视频服务器，视频服务器将由主持人确定的初始视频模式下发给各个客户端。

视频源客户端，根据会议的初始视频模式，计算发送视频SVC数据的数据量，即决定视频的分辨率及质量。如对于2x2四个同样大小视频，每个是一个CIF的大小采样，一般质量或高质量CIF编码。对于1大带五小，一路大视频，采样高质量CIF或4CIF编码，而五小采样QCIF分辨率编码即可，选择依据是视频模式数据中的视频大小。

视频显示大小选择模块，其功能是根据主持人或主讲人确认的初始视频模式，根据自己的屏幕分辨率计算显示视频窗口的实际大小，并将大小报告到视频服务器。

客户端包含网路测试模块，其功能是测试网络自身情况统计网络丢包及延时抖动的数值，加权计算网络的质量（m_iNetwork），将该用户网络数据（m_iNetwork）随心跳发送给视频服务器，为客户端视频质量调节提供数据。该用户网络数据的计算方式是一种成熟技术。

客户端包含视频模式选择模块，客户端提供视频显示模式，如1大2小，1大1画中画，2x2视频，一大5小等，其功能是客户端完成对视频模式的选择。一方面，视频选择模块接收视频服务器下发初始视频模式，根据网络测试模块反馈的用户网络数据决定客户端选择的视频模式。另一方面，视频选择模块根据视频更新模块的提示，选择调整视频模式。视频模式的改变包含视频路数、视频位置和视频大小，并将相应信息反馈给视频服务器。

客户端包含视频模式更新模块，其功能是根据网络测试模块实时测量的用户网络数据提示用户实时更新视频模式、视频大小及视频质量。当网络情况变差时，提示客户端是否需要减少接收视频源的路数、降低视频大小或者视频质量。当网络情况好转时，提示客户端是否要增加接收视频的路数，提升视频大小或者视频质量。并根据客户端确认的视频模式、视频大小或视频质量信息反馈给视频服务器，由视频服务器通知P2P控制服务器和传输服务器实现视频的更新。

P2P传输模块除了负责P2P组成员识别，数据转发功能外，增加了视频数据SVC截断功能模块，根据P2P控制服务器下发的视频数据SVC截断信息，在视频数据转发时，对转发数据进行调整，选择必要数据进行转发，丢弃多余数据，在保障视频质量条件下，有效节省带宽。

视频数据接收模块的功能是接收传输服务器传输的视频数据，并将该视频数据传递至客户端的视频显示模块，经由视频显示模块播放。

客户端提供视频显示模式，如1大2小，1大1画中画，2x2视频，一大5小等，并根据选择模式，视频区大小，将结果发送给视频服务器，视频服务器根据用户模式，将用户加入不同视频，并且通知P2P控制服务，调整接收带宽。

六、系统工作流程

系统工作可以分成以下几个流程：

1、主持人选择显示模式

如图4所示，主持人选择会议的初始视频模式，例如：该初始视频模式为1大5小，主持人将初始视频模式及相应的模式数据发送给视频服务器，视频服务器更新会议视频模式数据（m_model），并下发指令给客户端。客户端接到有关初始视频模式的相关指令后，根据自己的网络情况，屏幕显示尺寸，通过相应的功能模块决定选择视频模式及所有参数，包含每一路视频源，视频位置，大小等。例如：当客户端的网络情况较差，可以放弃其中的2路视频，而选择1大3小，也可以仍然选择1大5小，而降低视频组的显示大小等。选择完成后，由客户端将视频改变的信息传送给视频服务器，视频服务器通知P2P控制服务器调整客户端接收数据情况。当客户端确认视频模式或视频显示大小的改变后，相应的数据由视频服务器传递至P2P控制服务器，该SVC数据计算模块对该客户端所在的P2P组的最大下发SVC数据及客户端最大下发SVC数据进行计算。即：用户SVC改变，当向某个P2P组下发视频数据时，根据计算后的视频质量信息，决定向其下发多大的视频数据。当进入组内传播时，由传输服务器及客户端根据P2P控制服务器传递的用户视频质量，对传送的数据包进行SVC截断，实现P2P SEED SVC改变。这与传统视频会议不同，传统视频会议一般由主持人决定MCU模式，其他人没有选择。

2、客户端根据网络情况调整显示模式

如图5所示，客户端根据自己网络情况，调整自己视频显示的路数、大小，位置等，然后将调整后参数发送给视频服务器，视频服务根据用户选择，通过P2P控制服务，改变传输服务设置，支持该用户自己选择视频显示模式。一般来讲，传统视频会议室，各个分会议室将视频发送给主会议室，主会议室通过MCU选择模式，所有会议室看到的模式是无法选择的。这在带宽有问题是，是无法保证视频质量。当某一路视频的所有观看者不选择该路视频时，视频服务器通知该客户端停止发送数据，这样能有效的降低带宽使用。

七、关于部署

视频服务独立部署，可以支持集群或双机热备，P2P控制服务和传输服务部署在一起，是一个服务器单元，可以支持集群或双机热备。

Claims (8)

1.一种带宽自适应视频会议系统，包含视频服务器、P2P控制服务器、传输服务器及客户端，其特征在于：

视频服务器包含客户端视频模式改变响应模块，该客户端视频模式改变响应模块接收客户端视频改变信息，并将客户端视频改变信息通知P2P控制服务器及相应客户端；

所述客户端视频改变信息包含客户端选择的视频模式信息和视频显示大小信息；

根据选择的视频模式信息，对每一路视频显示大小要通知视频源，视频源根据视频显示大小调整分辨率；

P2P控制服务器包含SVC数据计算模块，该SVC数据计算模块根据视频服务器通知的客户端视频改变信息，对P2P组的最大下发SVC数据及客户端SVC数据量进行计算，并将视频数据SVC截断信息发给传输服务器及相应客户端；

传输服务器包含视频流SVC截断模块，该视频流SVC截断模块根据P2P控制服务器下达的P2P组或客户端的视频数据SVC截断信息，计算SVC截断包的形式，对发送的数据包进行处理，发送给P2P组或客户端；

客户端包含视频数据SVC截断模块，该视频数据SVC截断模块根据P2P控制服务器下发的视频数据SVC截断信息，在视频数据转发时，对转发数据进行调整。

2.如权利要求1所述的带宽自适应视频会议系统，其特征在于：客户端包含视频显示大小选择模块，所述客户端视频改变信息是由该视频显示大小选择模块根据自己的屏幕分辨率计算出的显示视频窗口的实际大小。

3.如权利要求1所述的带宽自适应视频会议系统，其特征在于：客户端包含视频模式选择模块，该视频模式选择模块完成对视频模式的选择，并将客户端选择的视频模式传递至视频服务器；所述客户端视频改变信息是由该视频模式选择模块传递的视频模式信息。

4.如权利要求1所述的带宽自适应视频会议系统，其特征在于：

客户端包含网路测试模块、视频更新模块和视频模式选择模块；

该视频模式选择模块完成对视频模式的选择，并将客户端选择的视频模式传递至视频服务器；

该网路测试模块测试网络自身情况统计网络丢包及延时抖动的数值，加权计算用户网络数据；

该视频更新模块根据网络测试模块计算的用户网络数据，提示客户端实时更新视频模式，并通过视频模式选择模块选择视频模式，并将视频改变信息传递至视频服务器。

5.如权利要求4所述的带宽自适应视频会议系统，其特征在于：所述视频改变信息包含视频路数、视频位置和视频显示大小的信息。

6.如权利要求1所述的带宽自适应视频会议系统，其特征在于：

客户端包含网路测试模块，该网路测试模块测试网络自身情况统计网络丢包及延时抖动的数值，加权计算用户网络数据，并将该用户网络数据随心跳发送给视频服务器；

视频服务器包含自控模块，该自控模块接收来自客户端的网络情况数据，将结果保存视频服务器中，根据用户网络数据的信息，通知P2P控制服务器，调整画面质量。

7.如权利要求1所述的带宽自适应视频会议系统，其特征在于：视频服务器还包含视频核实模块，当一个视频无人观看时，通知P2P控制服务器，通知该客户端停止发送视频数据。

8.如权利要求1所述的带宽自适应视频会议系统，其特征在于：客户端包含视频显示大小选择模块及视频模式选择模块；该视频模式选择模块完成对视频模式的选择，并将客户端选择的视频模式传递至视频服务器；

所述客户端视频改变信息是由该视频显示大小选择模块根据自己的屏幕分辨率计算出的显示视频窗口的实际大小及由该视频模式选择模块传递的视频模式信息。