CN107396032A - 一种基于x86架构的多点控制单元及其工作方法 - Google Patents

Abstract

本发明属于视频会议技术领域，特别涉及一种基于X86架构的多点控制单元及其工作方法。本发明包括第一多媒体处理模块、音频合成模块、视频拼接模块、第二多媒体处理模块以及流媒体服务模块。本发明能够兼容符合标准sip协议的不同厂商的视频会议终端，具有简洁、轻量、高效、兼容性强、成本低廉的特点，本发明可以兼容sip协议的软硬件设备，大大降低了改造现有视频会议系统的成本。本多点控制单元的工作方法用来完成音视频的转发、音频合成以及视频拼接，本多点控制单元集成了流媒体服务器的功能，大大节省了搭建流媒体服务器的成本，极大地提高了数据分发的实时性和效率，给用来提供更好的体验。

Description

一种基于X86架构的多点控制单元及其工作方法

技术领域

本发明属于视频会议技术领域，特别涉及一种基于X86架构的多点控制单元及其工作方法。

背景技术

近年来，随着计算机技术、通信技术和互联网技术的飞速发展，以视频会议系统为代表的多媒体行业正快速发展，应用范围正逐渐从传统的专业领域、大型企业等高端用户向中小企业等普通用户和个人用户拓展。视频会议的价值也得到越来越多用户的认可。

视频会议系统，一般的视频会议系统又称为电视系统，是指位于两个或多个地点的人们，通过通信设备和网络，进行面对面交谈的会议。根据参会地点数目不同，视频会议可分为点对点会议和多点会议。通常，要召开多点视频会议，必须要有多点控制单元(MCU-Multi Control Unit)。多点控制单元是整个视频会议系统的核心组件，完成整个会议的管理、音频混音、视频画面拼接、多媒体码流分发等功能。除了多点控制单元之外，要召开视频会议，还需要视频会议终端、话筒、摄像机、显示器等设备。完整的视频会议系统涉及到的相关技术非常之多，需要很多外部设备的支持。

由于视频会议系统的复杂性，没有统一的行业标准，厂商各自为政，甚至人为的设置技术壁垒，不同厂商之间的视频会议终端是不兼容的，互相之间不能互通，无法进行视频会议。多点控制单元也只能兼容自己品牌的视频会议终端，使得现有视频会议系统的兼容性差、后期维护升级成本高。这样对于一些中小型企业和轻量级用户，现有视频会议产品的性价比就低了很多。

发明内容

本发明为了克服上述现有技术的不足，提供了一种基于X86架构的多点控制单元，本发明多点控制单元可以接入符合标准sip协议的不同厂商的视频会议终端，兼容性强，降低召开多点视频会议的难度，节省成本。

为实现上述目的，本发明采用了以下技术措施：

一种基于X86架构的多点控制单元包括第一多媒体处理模块、音频合成模块、视频拼接模块、第二多媒体处理模块以及流媒体服务模块，其中，

第一多媒体处理模块，用于接收多路音频视频流，并依次对多路音频视频流进行sip协议解析、音频视频解码得到解码后的多路音频以及解码后的多路视频；

音频合成模块，用于获取来自第一多媒体处理模块的解码后的多路音频，并将多路音频合成一路音频；

视频拼接模块，用于获取来自第一多媒体处理模块的解码后的多路视频，并将多路视频合成一路视频；

第二多媒体处理模块，用于接收并对分别来自音频合成模块、视频拼接模块的一路音频、一路视频进行编码，并输出编码后的一路音频和一路视频；

流媒体服务模块，用于接收来自第一多媒体处理模块的多路音频以及多路视频，以及接收来自第二多媒体处理模块的一路音频、一路视频，并输出接收到的音频和视频。

优选的，所述第一多媒体处理模块包括协议解析单元、音频解码单元以及视频解码单元，其中，

协议解析单元，用于接收多路音频视频流，并对多路音频视频流进行sip协议解析，得到多路音频以及多路视频输出至流媒体服务模块；

音频解码单元，用于接收来自协议解析单元的多路音频，并对多路音频进行解码，输出解码后的多路音频至音频合成模块；

视频解码单元，用于接收来自协议解析单元的多路视频，并对多路视频进行解码，输出解码后的多路视频至视频拼接模块。

优选的，所述第二多媒体处理模块包括音频编码单元以及视频编码单元，其中，

音频编码单元，用于接收并对来自音频合成模块的一路音频进行编码，输出编码后的一路音频；

视频编码单元，用于接收并对来自音频合成模块的一路视频进行编码，输出编码后的一路视频。

优选的，所述流媒体服务模块以rtsp服务的形式输出接收到的音频和视频。

优选的，所述第一多媒体处理模块通过rtp协议接收多路音频视频流。

优选的，本多点控制单元是基于x86架构开发搭建，且本多点控制单元运行在x86架构的机器上。

优选的，所述音频解码单元、音频编码单元均支持G711音频编码方式；所述视频解码单元和视频编码单元均支持H.264视频编码方式。

进一步的，所述流媒体服务模块支持通信带宽、帧率、码率的设置。

本发明还提供了一种基于X86架构的多点控制单元的工作方法的工作方法，包括以下步骤：

S1、所述第一多媒体处理模块中的协议解析单元接收多路音频视频流，协议解析单元对多路音频视频流进行sip协议解析，得到多路音频以及多路视频；所述协议解析单元输出多路音频以及多路视频至流媒体服务模块；

S2、所述音频解码单元接收来自协议解析单元的多路音频，并对多路音频进行解码，输出解码后的多路音频至音频合成模块；视频解码单元接收来自协议解析单元的多路视频，并对多路视频进行解码，输出解码后的多路视频至视频拼接模块；

S3、所述音频合成模块将多路音频合成一路音频，并将一路音频发送至音频编码单元；视频拼接模块将多路视频合成一路视频，并将一路视频发送至视频编码单元；

S4、所述音频编码单元对来自音频合成模块的一路音频进行编码，输出编码后的一路音频；视频编码单元对来自音频合成模块的一路视频进行编码，输出编码后的一路视频；音频编码单元和视频编码单元分别输出一路音频、一路视频至流媒体服务模块。

优选的，所述音频合成模块采用混音算法将多路音频合成一路音频，视频拼接模块采用基于二叉树的视频拼接算法将多路视频合成一路视频。

本发明的有益效果在于：

1)、本发明包括第一多媒体处理模块、音频合成模块、视频拼接模块、第二多媒体处理模块以及流媒体服务模块，本发明能够兼容符合标准sip协议的不同厂商的视频会议终端，具有简洁、轻量、高效、兼容性强、成本低廉的特点，本发明可以兼容sip协议的软硬件设备，大大降低了改造现有视频会议系统的成本。

2)、本多点控制单元的工作方法用来完成音视频的转发、音频合成以及视频拼接，本多点控制单元集成了流媒体服务器的功能，大大节省了搭建流媒体服务器的成本，极大地提高了数据分发的实时性和效率，给用来提供更好的体验。

附图说明

图1为本发明的多点控制单元的组成框图。

10—第一多媒体处理模块 11—协议解析单元

12—音频解码单元 13—视频解码单元

20—音频合成模块 30—视频拼接模块

40—第二多媒体处理模块 41—音频编码单元

42—视频编码单元 50—流媒体服务模块

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，一种基于X86架构的多点控制单元包括第一多媒体处理模块10、音频合成模块20、视频拼接模块30、第二多媒体处理模块40以及流媒体服务模块50，所述第一多媒体处理模块10用于接收多路音频视频流，并依次对多路音频视频流进行sip协议解析、音频视频解码得到解码后的多路音频以及解码后的多路视频；所述音频合成模块20用于获取来自第一多媒体处理模块10的解码后的多路音频，并将多路音频合成一路音频；所述视频拼接模块30用于获取来自第一多媒体处理模块10的解码后的多路视频，并将多路视频合成一路视频；所述第二多媒体处理模块40用于接收并对分别来自音频合成模块20、视频拼接模块30的一路音频、一路视频进行编码，并输出编码后的一路音频和一路视频；所述流媒体服务模块50用于接收来自第一多媒体处理模块10的多路音频以及多路视频，以及接收来自第二多媒体处理模块40的一路音频、一路视频，并输出接收到的音频和视频。

所述第二多媒体处理模块40输出一路音频、一路视频到解码器、视频会议终端等可以解码的软硬件设备，通过这些设备的解码后再输出到音箱和显示器等设备。

所述流媒体服务模块50用于转发来自第一多媒体处理模块10的多路音频以及多路视频，以及来自第二多媒体处理模块40的一路音频、一路视频，并输出到可以播放标准rtsp流媒体的软硬件设备中，例如vlc播放器、带rtsp流媒体播放功能的浏览器等。

例如，所述流媒体服务模块50为分发音视频流的服务器，所述服务器用于提供流媒体封装，只是做一层rtsp封装，再将音频视频转发。

多点控制单元是召开多点视频会议的核心设备，在多点视频会议中起到控制、音视频转发、音频合成、视频拼接等功能，本多点控制单元可以兼容标准sip协议的软硬件设备。

所述第一多媒体处理模块10包括协议解析单元11、音频解码单元12以及视频解码单元13，所述协议解析单元11用于接收多路音频视频流，并对多路音频视频流进行sip协议解析，得到多路音频以及多路视频输出至流媒体服务模块50；所述音频解码单元12用于接收来自协议解析单元11的多路音频，并对多路音频进行解码，输出解码后的多路音频至音频合成模块20；所述视频解码单元13用于接收来自协议解析单元11的多路视频，并对多路视频进行解码，输出解码后的多路视频至视频拼接模块30。

所述流媒体服务模块50接收来自协议解析单元11的多路音频以及多路视频。

所述第二多媒体处理模块40包括音频编码单元41以及视频编码单元42，所述音频编码单元41用于接收并对来自音频合成模块20的一路音频进行编码，输出编码后的一路音频；所述视频编码单元42用于接收并对来自音频合成模块20的一路视频进行编码，输出编码后的一路视频。

所述流媒体服务模块50以rtsp服务的形式输出接收到的音频和视频；所述多点控制单元是基于x86架构的；所述多点控制单元支持H.264视频编码方式、G711音频编码方式；所述多点控制单元支持通信带宽、帧率、码率等多媒体参数的设置。

本发明还提供了一种基于X86架构的多点控制单元的工作方法，包括以下步骤：

S1、所述第一多媒体处理模块10中的协议解析单元11接收多路音频视频流，协议解析单元11对多路音频视频流进行sip协议解析，得到多路音频以及多路视频；所述协议解析单元11输出多路音频以及多路视频至流媒体服务模块50；

S2、所述音频解码单元12接收来自协议解析单元11的多路音频，并对多路音频进行解码，输出解码后的多路音频至音频合成模块20；视频解码单元13接收来自协议解析单元11的多路视频，并对多路视频进行解码，输出解码后的多路视频至视频拼接模块30；

S3、所述音频合成模块20将多路音频合成一路音频，并将一路音频发送至音频编码单元41；视频拼接模块30将多路视频合成一路视频，并将一路视频发送至视频编码单元42；

S4、所述音频编码单元41对来自音频合成模块20的一路音频进行编码，输出编码后的一路音频；视频编码单元42对来自音频合成模块20的一路视频进行编码，输出编码后的一路视频；音频编码单元41和视频编码单元42分别输出一路音频、一路视频至流媒体服务模块50。

所述音频合成模块20采用混音算法将多路音频合成一路音频，视频拼接模块30采用基于二叉树的视频拼接算法将多路视频合成一路视频。

本发明可以应用在人防部门中，各个地方建设视频会议系统的时间不同，所用的设备也不同，要召开视频多点视频会议很困难，多点控制单元部署在x86机器上；在要召开多点视频会议之前，多点控制单元可以把符合标准sip协议的设备加入到通信列表；多点控制单元可以发起会议，邀请加入会议、邀请发言、禁止发言、关闭会场等；在召开会议的同时，可以把现场的视频和声音以rtsp服务的形式分发出去。也就说，多点控制单元可以融合符合sip协议的不同视频会议终端，大大降低改造现有视频会议系统的成本，提供了廉价高效的解决方案。

Claims (10)

1.一种基于X86架构的多点控制单元，其特征在于：包括第一多媒体处理模块(10)、音频合成模块(20)、视频拼接模块(30)、第二多媒体处理模块(40)以及流媒体服务模块(50)，其中，

第一多媒体处理模块(10)，用于接收多路音频视频流，并依次对多路音频视频流进行sip协议解析、音频视频解码得到解码后的多路音频以及解码后的多路视频；

音频合成模块(20)，用于获取来自第一多媒体处理模块(10)的解码后的多路音频，并将多路音频合成一路音频；

视频拼接模块(30)，用于获取来自第一多媒体处理模块(10)的解码后的多路视频，并将多路视频合成一路视频；

第二多媒体处理模块(40)，用于接收并对分别来自音频合成模块(20)、视频拼接模块(30)的一路音频、一路视频进行编码，并输出编码后的一路音频和一路视频；

流媒体服务模块(50)，用于接收来自第一多媒体处理模块(10)的多路音频以及多路视频，以及接收来自第二多媒体处理模块(40)的一路音频、一路视频，并输出接收到的音频和视频。

2.如权利要求1所述的一种基于X86架构的多点控制单元，其特征在于：所述第一多媒体处理模块(10)包括协议解析单元(11)、音频解码单元(12)以及视频解码单元(13)，其中，

协议解析单元(11)，用于接收多路音频视频流，并对多路音频视频流进行sip协议解析，得到多路音频以及多路视频输出至流媒体服务模块(50)；

音频解码单元(12)，用于接收来自协议解析单元(11)的多路音频，并对多路音频进行解码，输出解码后的多路音频至音频合成模块(20)；

视频解码单元(13)，用于接收来自协议解析单元(11)的多路视频，并对多路视频进行解码，输出解码后的多路视频至视频拼接模块(30)。

3.如权利要求2所述的一种基于X86架构的多点控制单元，其特征在于：所述第二多媒体处理模块(40)包括音频编码单元(41)以及视频编码单元(42)，其中，

音频编码单元(41)，用于接收并对来自音频合成模块(20)的一路音频进行编码，输出编码后的一路音频；

视频编码单元(42)，用于接收并对来自音频合成模块(20)的一路视频进行编码，输出编码后的一路视频。

4.如权利要求3所述的一种基于X86架构的多点控制单元，其特征在于：所述流媒体服务模块(50)以rtsp服务的形式输出接收到的音频和视频。

5.如权利要求4所述的一种基于X86架构的多点控制单元，其特征在于：所述第一多媒体处理模块(10)通过rtp协议接收多路音频视频流。

6.如权利要求5所述的一种基于X86架构的多点控制单元，其特征在于：本多点控制单元是基于x86架构开发搭建，且本多点控制单元运行在x86架构的机器上。

7.如权利要求6所述的一种基于X86架构的多点控制单元，其特征在于：所述音频解码单元(12)、音频编码单元(41)均支持G711音频编码方式；所述视频解码单元(13)和视频编码单元(42)均支持H.264视频编码方式。

8.如权利要求7所述的一种基于X86架构的多点控制单元，其特征在于：所述流媒体服务模块(50)支持通信带宽、帧率、码率的设置。

9.一种如权利要求3～8任一项所述的基于X86架构的多点控制单元的工作方法，其特征在于，包括以下步骤：

S1、所述第一多媒体处理模块(10)中的协议解析单元(11)接收多路音频视频流，协议解析单元(11)对多路音频视频流进行sip协议解析，得到多路音频以及多路视频；所述协议解析单元(11)输出多路音频以及多路视频至流媒体服务模块(50)；

S2、所述音频解码单元(12)接收来自协议解析单元(11)的多路音频，并对多路音频进行解码，输出解码后的多路音频至音频合成模块(20)；视频解码单元(13)接收来自协议解析单元(11)的多路视频，并对多路视频进行解码，输出解码后的多路视频至视频拼接模块(30)；

S3、所述音频合成模块(20)将多路音频合成一路音频，并将一路音频发送至音频编码单元(41)；视频拼接模块(30)将多路视频合成一路视频，并将一路视频发送至视频编码单元(42)；

S4、所述音频编码单元(41)对来自音频合成模块(20)的一路音频进行编码，输出编码后的一路音频；视频编码单元(42)对来自音频合成模块(20)的一路视频进行编码，输出编码后的一路视频；音频编码单元(41)和视频编码单元(42)分别输出一路音频、一路视频至流媒体服务模块(50)。

10.如权利要求9所述的一种基于X86架构的多点控制单元的工作方法，其特征在于：所述音频合成模块(20)采用混音算法将多路音频合成一路音频，视频拼接模块(30)采用基于二叉树的视频拼接算法将多路视频合成一路视频。