CN112272326B - 一种分布式跨域大屏同步系统 - Google Patents

Abstract

本发明公开了一种分布式跨域大屏同步系统。该系统包括广域网服务器、若干局域网服务器和若干媒体服务网关；每个局域网服务器包括视频信号采集器、编码处理单元、解码处理单元、视频信号输出器和显示屏；视频信号采集器可以采集视频输入信号，通过编码处理单元将采集到的输入信号转换成网络串流，通过广域网服务器统一调度，经由媒体服务网关转发到局域网服务器中的解码处理单元，转换为视频无损码流后传输至视频信号输出器，最终显示到显示屏上；从而将不同地区采集到视频输入信号进行实时共享，通过将这些共享信号输出到拼接屏上，就可以达到跨地域的大屏同步。

Description

一种分布式跨域大屏同步系统

技术领域

本发明涉及分布式图像显示技术领域，特别涉及一种分布式跨域大屏同步系统。

背景技术

拼接大屏广泛应用于社会各个领域，随着指挥大厅的广泛建设，以及分布式系统的普及，基于音视频通讯的协同交互需求日益增加。现有的大屏同步系统，主要为局域网下的大屏互动，无法做到不同地域之间的协同交互。

发明内容

本发明的目的是为跨区域的大屏同步显示提供一种解决方案，使不同区域之间可以达到协同交互。本发明的技术方案具体介绍如下。

一种分布式跨域大屏同步系统，其包括若干局域网服务器、广域网服务器、和若干媒体服务网关；若干局域网服务器之间相互网络隔离，每个局域网服务器包括通过网络交换机连接在一个局域网内的视频信号采集器、视频信号输出器、编码处理单元和解码处理单元，以及视频信号采集器对应的视频输入源与视频信号输出器对应的显示屏；编码处理单元经广域网服务器和一个媒体服务网关相连，媒体服务网关和局域网服务器中的解码处理单元相连；其中：

视频信号采集器，用于采集视频、音频信号；

编码处理单元，用于将接收的视频信号采集器采集到的视频、音频信号，转码为标准协议网络串流，再通过网络协议传输到广域网服务器上，形成共享的网络串流资源；

解码处理单元，用于将媒体服务网关分发下来的网络串流解码成为视频无损码流；

视频信号输出器，用于将接收到的解码处理单元输出的视频无损码流显示到所连接的显示屏上；

局域网服务器，用于共享的网络串流资源的发布与订阅，以及实现对物理设备的控制；

广域网服务器，用于接收管理局域网服务器传输过来的标准网络串流，并将所有标准网络串流分发到不同媒体服务网关中；

媒体服务网关，用于共享的网络串流的复制、调度和转码，以及决定不同地域访问同一共享信号资源所分发的具体的网络串流。

本发明中，局域网服务器与广域网服务器之间，广域网服务器和媒体服务网关之间分别通过路由器进行通讯。

本发明中，局域网服务器通过VPN网络访问广域网服务器，通过广域网服务器的统一调度，来达到不同地域之间的协同交互。

本发明中，网络串流分为ONVIF、RTSP、TS、GB/T28181、SIP、RTMP协议串流。

本发明中，媒体服务网关还用于对空闲网络串流的监测，当被复制的网络串流处于空闲状态下，一段时间后没有被其他服务订阅时，即对该复制网络串流进行销毁。

和现有技术相比，本发明的有益效果在于：

现有技术只是局限于局域网内的大屏互动，当设备处于不同区域时，无法做到大屏的实时互动。本发明利用视频信号采集器可以采集视频输入信号，通过编码处理单元将采集到的输入信号转换成网络串流，通过广域网服务器统一调度，经由媒体服务网关转发到局域网服务器中的解码处理单元，转换为视频无损码流后传输至视频信号输出器，最终显示到显示屏上，将这些共享信号输出到显示屏上，从而将不同地区采集到视频输入信号进行实时共享，通过将这些共享信号输出到拼接屏上，就可以达到跨地域的大屏同步。这样即便设备横跨多个区域也能进行使用，增加了跨域的互动性之外，还减少了部署多个项目的成本。而且本发明由于最终输出到大屏上的内容为标准网络串流重新解码还原后的视频无损码流，会比常用的网络视频流具有更高的流畅度和清晰度。

附图说明

图1为本发明中跨域大屏同步系统的结构示意图。

图2为不同局域网服务与广域网服务之间的网络示意图。

图3为媒体服务网关与广域网服务器的连接关系图。

图4为本发明大屏同步显示的具体流程图。

图5为本发明的典型应用场景示意图。

图中标号：1-视频信号采集器，2-网络交换机，3-编码处理单元，4-广域网服务器，5-解码处理单元，6-视频信号输出器，7-显示屏，8-路由器，9-媒体服务网关，10-局域网服务器。

实施方式

下面结合本发明和实施例中的附图，对本发明中的技术方案进行进一步的说明。

如图1~3所示，一种分布式跨域大屏同步系统，包括若干局域网服务器10、广域网服务器4和若干媒体服务网关9；每个局域网服务器10拥有各自独立的交换网络，各局域网服务器10之间网络隔离。各局域网服务器10可以通过VPN网络访问到广域网服务器4，通过广域网服务器4的统一调度，来达到不同地域之间的协同交互。

每个局域网服务器10包括通过网络交换机2连接在一个局域网内的视频信号采集器1、视频信号输出器6、编码处理单元3和解码处理单元5。视频信号采集器1可以采集电脑、网络摄像头、媒体输入设备等的视频输入信号，通过网络交换机2将采集到的视频信号传输给编码处理单元3，编码处理单元3将该视频输入信号编码成标准网络串流，再通过VPN网络传输到公网服务上。网络串流分为ONVIF、RTSP、TS、GB/T28181、SIP、RTMP协议串流，可以根据不同的特定需求提供不同协议的网络串流资源。

公网服务包括一个广域网服务器4和若干媒体服务网关9，广域网服务器4负责接收管理局域网服务器10传输过来的标准网络串流，并将所有标准网络串流分发到不同媒体服务网关9中。

当局域网服务器10向广域网服务器4申请共享信号资源时，广域网服务器4将根据目标服务与媒体服务网关9的网络情况，选择一条最优的线路，将该线路的媒体服务网关9与局域网服务器10建立连接。这里的共享信号资源，是对视频输入信号与音频的抽象，各局域网服务器通过共享信号资源来确定具体接入其他服务器采集到的哪一路音视频信号。广域网服务器4最终返回给局域网服务器10的网络串流地址，实际为经过媒体服务网关复制后生成的复制流。

广域网服务器4与各局域网服务器10之间的网络线路如图2所示。每个地域的局域网服务器10之间网络隔离，每个局域网服务器10通过路由器8连接至广域网服务器4中，由广域网服务器4进行统一调度管理。

本发明中，基于上述分布式跨域大屏同步系统的大屏同步方法，包括以下部分：

一）视频无损码流与标准网络码流的转换。本发明还涉及一种视频无损码流与标准网络码流的互相转换的抗丢包算法，具体表现为在每个N媒体包发出后，利用该媒体包生成M个冗余包，接受端只要接收到N个数据包(包括媒体包与冗余包)，就可以恢复出N个媒体包中任意一个丢失的媒体包。

二）本地局域网视频信号与共享信号的映射。具体表现为将视频信号采集器1采集到的视频信号调度到编码处理单元3中，将编码处理单元3转换而成的网络串流通过网络协议传输到广域网服务器4上，这样其他地域的局域网服务器10就可以发现该服务所发布的共享信号资源。其次是从广域网服务器4中申请已共享的信号资源，通过解码处理单元5处理转换为视频无损码流后，调度到视频信号输出器6中，从而在视频信号输出器6接入的显示屏7中显示出共享信号资源的具体内容。

三) 共享网络串流的复制与转发。由于网络带宽的限制，仅依靠广域网服务器4来调度各共享信号资源，会有以下几点局限性。一是只能管理数量有限的共享信号资源，可应用的管理规模及其有限，且共享信号资源的视频流畅度和画面清晰度都会随着管理共享信号资源数量的增加而下降；二是无法根据不同地域进行选择不同线路，随着距离广域网服务的距离增加会使视频播放延时增大；三是由于对系统的高性能要求，容易导致系统出现宕机、软件崩溃等现象。

四）媒体服务网关9的调度。广域网服务器4下设有若干个媒体服务网关9，根据不同地域的局域网服务器10请求，为其选择一个延时最低的媒体服务网关9线路。每个媒体服务网关9可以对局域网服务器10共享的网络串流进行复制，其他局域网服务器10实际获取的为媒体服务网关9复制的网络串流。

媒体服务网关9还包括对网络串流的转码。媒体服务网关9可以根据不同终端的需求，将共享的原始网络串流进行转码为其他协议的标准串流，以提供更强的适配性，各局域网服务器10只需提供一种可在广域网传出的标准网络串流即可。

媒体服务网关9还包括对空闲网络串流的监测，当被复制的网络串流处于空闲状态下，媒体服务网关9会对其进行监测，当发现一段时间后仍然没有被其他服务订阅时，会将该复制网络串流进行销毁，减小媒体服务网关9转码的性能开销。

五）各局域网服务器10还需设置用于编码设备和解码设备，根据设定的物理设备服务会自动映射为编码处理单元3与解码处理单元5，一个物理设备可能对应多个编/解码处理单元。每个编码处理单元3只能发布一路视频信号，同理每个解码处理单元5也只能接入一路共享信号资源。

视频无损码流转换为标准网络串流时，可以选择转换码流的视频类型、分辨率、帧率、比特率、音频类型等参数，在具体实施信号资源共享时，可以根据设置不同的编码参数，手动调节编码视频的流畅度与清晰度，充分利用网络带宽资源。

在视频输入信号分辨率非常大时，各编码处理单元3还可以协同工作，具体表现为多个编码处理单元3共同处理视频信号的编码，每个编码处理单元3只负责视频输入信号的一部分画面，在向广域网服务器4传输时再将各编码处理单元3编码的视频块进行合并。

当解码处理单元5处理能力不足以对共享信号资源进行解码时，各解码处理单元5也可以进行协同工作，具体表现为将共享信号资源的流进行拆分后，分给多个解码处理单元5，在传输给视频信号输出器时再将各解码处理单元5解码出的无损码流进行拼接合并。

本发明的具体流程图如图4所示。每个局域网服务器10可以向广域网服务器4发布各种视频信号，发布成功时会在广域网服务器4记录该共享信号的信息，为保证最大化利用网络带宽资源，此时该信号的网络串流并没有进行实际传输，当有其他地域的局域网服务器10对该共享信号发起申请时，再由广域网服务器4通知信号发布方提供网络串流资源。

共享信号的接入具体表现为，每个局域网服务器10需先通过向广域网服务器4提出申请，由广域网服务器4将申请信息转发给被申请方，再选择一个媒体服务网关9接收被申请方传输的标准网络串流，最终将该媒体服务网关9复制生成网络串流地址返回给申请方。当申请方不再使用该共享信号资源时，广域网服务器4会通知信号发布方切断与媒体服务网关9的联系，以做到及时释放资源。

通过视频输入信号的共享，不同地域同时将该共享信号资源传输至视频信号输出器6，通过视频信号输出器6显示到大屏中，就可以做到跨域的实时同屏交互。

图5为本发明的典型应用场景，三个不同地域的指挥大厅开启网络会议，每个会场通过使用视频信号采集器1采集网络摄像头的输入信号，输入信号采集器将采集的视频信号传输至编码处理单元3，由编码处理单元3将视频无损码流进行转码为标准网络串流，通过VPN网络访问广域网服务器4，传输需共享的视频信号信息。

每个会场通过广域网服务器4可以看到其他会场共享的信号信息，向广域网服务器4申请除本地发布的其余所有共享信号，由广域网服务器4综合调度处理，选出不同的媒体服务网关9接收各会场传输的标准网络串流，经转码复制后将网络串流地址传回给各会场。

每个会场就同时拥有了3路视频信号资源，通过将这3路视频信号传输至视频信号输出器上，就可以在显示屏7的任意位置显示出3路视频信号，这样就做到了每个会场的大屏内容是相同的，达成协同交互的最终目的。

Claims (5)

1.一种分布式跨域大屏同步系统，其特征在于，包括若干局域网服务器、广域网服务器、和若干媒体服务网关；若干局域网服务器之间相互网络隔离，每个局域网服务器包括通过网络交换机连接在一个局域网内的视频信号采集器、视频信号输出器、编码处理单元和解码处理单元，以及视频信号采集器对应的视频输入源与视频信号输出器对应的显示屏；编码处理单元经广域网服务器和一个媒体服务网关相连，媒体服务网关和局域网服务器中的解码处理单元相连；其中：

视频信号采集器，用于采集视频、音频信号；

编码处理单元，用于将接收的视频信号采集器采集到的视频、音频信号，转码为标准协议网络串流，再通过网络协议传输到广域网服务器上，形成共享的网络串流资源；

解码处理单元，用于将媒体服务网关分发下来的网络串流解码成为视频无损码流；

视频信号输出器，用于将接收到的解码处理单元输出的视频无损码流显示到所连接的显示屏上；

局域网服务器，用于共享的网络串流资源的发布与订阅，以及实现对物理设备的控制；

广域网服务器，用于接收管理局域网服务器传输过来的标准网络串流，并将所有标准网络串流分发到不同媒体服务网关中；

媒体服务网关，用于共享的网络串流的复制、调度和转码，以及决定不同地域访问同一共享信号资源所分发的具体的网络串流；其中：

媒体服务网关实现共享的网络串流的复制、调度的方式是：每个局域网服务器向广域网服务器发布各种视频信号，发布成功时在广域网服务器记录该共享信号的信息，为保证最大化利用网络带宽资源，此时该信号的网络串流并没有进行实际传输，当有其他地域的局域网服务器对该共享信号发起申请时，再由广域网服务器通知信号发布方提供网络串流资源；每个局域网服务器先通过向广域网服务器提出申请，由广域网服务器将申请信息转发给被申请方，再选择一个媒体服务网关接收被申请方传输的标准网络串流，最终将该媒体服务网关复制生成网络串流地址返回给申请方，当申请方不再使用该共享信号资源时，广域网服务器通知信号发布方切断与媒体服务网关的联系，以做到及时释放资源。

2.如权利要求1 所述的系统，其特征在于，局域网服务器与广域网服务器之间，广域网服务器和媒体服务网关之间分别通过路由器进行通讯。

3.如权利要求1 所述的系统，其特征在于，局域网服务器通过VPN 网络访问广域网服务器，通过广域网服务器的统一调度，来达到不同地域之间的协同交互。

4.如权利要求1 所述的系统，其特征在于，网络串流分为ONVIF 、RTSP 、TS 、GB/T28181、SIP、RTMP 协议串流。

5.如权利要求1 所述的系统，其特征在于，媒体服务网关还用于对空闲网络串流的监测，当被复制的网络串流处于空闲状态下，一段时间后没有被其他服务订阅时，即对该复制网络串流进行销毁。