CN101527732A - 一种媒体数据远程传输服务管理控制方法及系统 - Google Patents

Abstract

本发明属于广电领域媒体数据控制技术，具体涉及一种媒体数据远程传输服务的集中管理控制方法及系统。该系统包括一个用于实现任务集中管理和配置的传输控制管理中心M－Peer，以及多个承担xPeer传输服务的媒体数据传输模块，传输控制管理中心与每个媒体数据传输模块之间设有传输控制模块和传输汇报模块；该方法通过传输控制管理中心集中管理各板块网的xPeer传输服务状态和任务的执行情况，使主干网内的所有传输终端的配置统一化，也大大缩小了配置传输终端的时间，增强了主干网内传输终端管理的有序性和高效性。

Description

一种媒体数据远程传输服务管理控制方法及系统

技术领域

本发明属于广电领域媒体数据控制技术，具体涉及一种媒体数据远程传输服务的集中管理控制方法及系统。

背景技术

当前国内外广电行业的总体发展方向是网络化和信息化。企业媒体总线(Enterprise Media Bus，EMB)是在主干网平台方案中提出的实现媒体文件在主干网平台中的交换传输的设计思路，主要实现能够让媒体文件在电视台内部各个板块间直接进行快速、合理交换，降低劳动成本，提高节目生产效率，保证节目快速、准时、准确的进行播出，提高节目生产播出的安全性。

媒体数据文件主要是视音频数据文件。为了保证制播的高清晰、不失真的需要，文件所占存储空间通常非常巨大。而由于电视台内业务活动的频繁和活跃，电视台内部网络已经逐渐成形，形成了诸如采集收录、新闻制播、综合制作、演播网络、编排备播、媒资管理、播出分发等众多的业务板块。随着板块网的增多，板块间进行互联互通的需求应运而生，主干平台整合台内各板块、流程、设备、媒体影音文件等资源，使这些大的媒体文件以非常高的频率和较高的安全性在网络上共享。因此，在EMB中大量的媒体数据文件在不同的应用系统网络的有限的带宽资源之间高速频繁的流动。为了适应这种高频率、高安全性的网络共享媒体数据文件的需要，主干网内必然会部署相应的媒体数据文件迁移或传输的传输终端，即xPeer传输服务。

xPeer作为传输终端，负责通过网络传输数据媒体文件。将xPeer注册为Windows系统级服务，并对服务的容器进行管理，以实现服务的重启和停止进行管理。xPeer传输模块分为客户端和服务器端。服务端绑定本地端口，监听来自客户端的各种指令。客户端接受任务调度，主动连接服务端，实现登录，文件验证，传输等等功能。客户端同时还对外提供WEB服务模块，以便在传输过程中，接受对任务的暂停中止的操作。

通用的文件传输技术包括文件拷贝、FTP文件传输协议、TCP/IP传输协议等。文件拷贝的方式，通常用于同一子网的开放权限两个传输终端之间的文件传输。而电视台内部的业务板块网通常是各自组建，并且基于网络安全和数据安全的需要，具有较为严格的权限控制策略。因此，文件拷贝的方式，不适合用来打通电视台业务板块之间的数据互通，而且也不具有跨平台性。FTP(File Transfer Protocol)是Internet传统的服务之一，但是如果在系统内部架设FTP服务器，并不具有较好的扩展性，如果专门开发应用程序使用FTP协议进行文件传输在文件完整性校验上也不具备足够的灵活性。TCP/IP协议作为internet/intranet底层的协议之一，可以较为方便的组织、管理和调度文件传输的过程，并能较好的支持MD5等文件数据完整性的校验。常见的数据完整性验证算法包括MD5、SHA-1和CRC32。在传统的数据完整性验证中，是对整个文件进行一次完整性验证编码，一旦验证失败，需要将整个文件重新传输一遍。对于媒体数据这样的大文件的传输来说，这种耗费将是不可接受的。

由于电视台网络化的建设，使得电视台内部板块网越来越多，媒体数据文件在板块网之间的共享越来越频繁，必然带来了数据传输终端的急剧增加。传统的传输终端使用人工进行管理和控制，浪费大量的人力，也不能充分发挥传输终端的性能。

发明内容

本发明的目的在于针对目前广电行业台内业务活动的频繁和活跃，大量的媒体数据文件需要以非常高的频率和较高的安全性在网络上共享这一现实问题，提供一种能够高效有序的管理传输终端的媒体数据远程传输服务管理控制方法及系统。

本发明的技术方案如下：一种媒体数据远程传输服务管理控制方法，包括如下步骤：

(1)启动xPeer传输服务，在传输控制管理中心进行注册，并开始汇报自身状态；

(2)在传输管理控制中心对xPeer传输服务进行远程配置；

(3)将xPeer传输服务加入到指定的传输链路；

(4)在传输管理控制中心对xPeer传输服务的整个过程进行控制。

如上所述的媒体数据远程传输服务管理控制方法，其中，步骤(2)中配置的内容包括：媒体数据传输模块所需的各缓存大小、数据完整性验证方式、传输端口；传输汇报模块的汇报时间间隔；传输控制模块的服务端口、IP选择、虚拟路径映射。

如上所述的媒体数据远程传输服务管理控制方法，其中，步骤(4)中对xPeer传输服务的控制包括：服务的停止、重启，新任务的分配，执行中任务的干扰。

如上所述的媒体数据远程传输服务管理控制方法，其中，媒体文件在传输链路间传输时，对媒体数据文件的数据完整性进行验证，验证方式可选择MD5，SHA-1或CRC32；在进行数据完整性验证时，对文件进行合理的分割，并对每个分决进行一次编码验证，一旦分块验证失败，只对当前数据块重新传输。

如上所述的媒体数据远程传输服务管理控制方法，其中，当传输服务在容器内运行时，在容器内部通知容器外部的容器管理监视线程，当容器外的容器管理监视线程收到信号后，依照信号协议将容器进行相关操作。

如上所述的媒体数据远程传输服务管理控制方法，其中，任务管理监视线程将从传输控制管理中心接到的新任务通知媒体数据传输模块进行媒体数据文件的传输。

如上所述的媒体数据远程传输服务管理控制方法，其中，任务管理监视线程通过任务干扰接口对执行中的任务进行干扰，包括任务的挂起、恢复、暂停、取消。

一种媒体数据远程传输服务管理控制系统，包括一个用于实现任务集中管理和配置的传输控制管理中心M-Peer，以及多个承担xPeer传输服务的媒体数据传输模块，传输控制管理中心与每个媒体数据传输模块之间设有传输控制模块和传输汇报模块。

如上所述的媒体数据远程传输服务管理控制系统，其中，多个媒体数据传输模块之间通过传输控制管理中心集中配置传输链路进行连接，以实现xPeer传输服务。

本发明实现了xPeer传输服务的简单无人化管理，使得媒体数据文件的传输更加高速、安全、稳定，通过传输控制管理中心可以集中监视各板块网的xPeer传输服务状态和任务的执行情况。本发明使主干网内的所有传输终端的配置统一化，也大大缩小了配置传输终端的时间，增强了主干网内传输终端管理的有序性和高效性。

附图说明

图1为本发明所述系统的整体架构示意图。

图2为本发明xPeer传输服务控制的逻辑原理图。

图3为本发明xPeer传输服务控制时序示意图。

图4为本发明xPeer传输服务工作流程图。(不包括状态汇报线程工作，汇报机制，系统运行正常判断方式)

具体实施方式

下面结合附图对本发明进一步进行描述。

本发明主要应用于广电领域电视台主干平台中，提供媒体数据传输服务终端(xPeer传输服务)的集中管理和控制。在各省级以上电视台内容业务系统数字化改造的驱动下，电视台内部网络已经逐渐成形，形成了诸如采集收录、新闻制播、综合制作、演播网络、编排备播、媒资管理、播出分发等众多的业务板块。随着板块网的增多，板块间进行互联互通的需求应运而生，主干平台整合台内各板块、流程、设备、媒体影音文件等资源，使大量的高低码率影音数据文件可以在不同板块之间共享。而在板块逐渐增加的同时，必然使得xPeer传输服务增多，如何高效有序的管理传输终端就是本发明所要解决的问题。

本发明的系统组成架构如图1所示，包括一个用于实现任务集中管理和配置的传输控制管理中心M-Peer，以及多个承担xPeer传输服务的媒体数据传输模块，传输控制管理中心与每个媒体数据传输模块之间设有传输控制模块和传输汇报模块。传输控制模块通过任务管理监视线程接收传输控制管理中心M-Peer的管理指令，并依照管理协议控制媒体数据传输模块工作；传输汇报模块监测媒体数据传输模块的任务状态，并通过状态监视线程将任务状态和系统状态汇报给传输控制管理中心M-Peer。

由于xPeer传输服务众多，并且分布于电视台全台网络的各个板块网中，物理分布比较松散，因此采用对xPeer传输服务进行集中配置的方式。集中配置既可以避免由于xPeer传输服务过多带来的混乱，也可使系统管理人员可以统筹安排xPeer传输服务的传输任务，同时也减小了传输管理人员的工作量，提高了工作效率。xPeer传输服务在启动服务时首先在传输控制管理中心进行注册，并开始汇报自身状态。注册后管理人员可以在传输管理控制中心通过远程配置对该服务进行配置，配置的内容可以包括：媒体数据传输模块所需的各缓存大小、数据完整性验证方式、传输端口等；传输汇报模块的汇报时间间隔；传输控制模块的服务端口、IP选择、虚拟路径映射等。

在xPeer传输服务注册完毕后，须将xPeer传输服务加入到指定传输链路，然后执行传输任务，xPeer传输服务隶属于某条传输链路下。多个媒体数据传输模块之间通过传输控制管理中心集中配置传输链路进行连接，以实现xPeer传输服务。链路配置是指定媒体数据文件的传输方向，M-Peer将依据传输链路寻找沿此传输链路的媒体文件传输任务，并调用该链路上的xPeer传输服务执行该条任务。链路使用某个xPeer传输服务是管理人员通过M-Peer进行配置的，这样可以达到统筹安排xPeer传输服务的目的。

M-Peer在接受xPeer传输服务的注册以后，可对xPeer传输服务进行管理，包括对xPeer传输服务的配置，xPeer传输服务的删除等。

在M-Peer对xPeer进行配置、管理、任务分配等环节需要对xPeer传输服务进行控制，控制的逻辑原理如图2所示。控制内容包括：

●服务的停止，重启

由于服务运行于Jetty容器内部，因此需要在容器内部通知容器外部的容器管理监视线程，当容器外的容器管理监视线程收到信号以后，依照信号协议将容器进行相关操作。采用的方式可以是建立文件的方式。

●新任务的分配

新任务的分配由任务管理监视线程完成，接到新任务后将任务通知媒体传输模块进行媒体数据文件的传输。

●执行中任务的挂起、恢复、暂停、取消

执行中任务的干扰也是有任务管理监视线程完成的，通过任务干扰接口进行任务的干扰。

xPeer传输服务控制时序如图3所示。

控制内容主要包括“任务”、“容器”、“汇报”三部分，时序的开始是由容器向控制管理中心发出注册请求，并汇报xPeer状态，然后控制管理中心对容器进行配置，接下来控制管理中心发起任务，汇报任务状态，并在随后的工作过程中对任务进行控制，并汇报任务的控制情况。

企业媒体总线EMB的使用使得媒体文件数据在主干平台中的快速共享利用成为可能。媒体文件数据在主干平台中的安全传输问题由xPeer传输服务的媒体数据传输模块处理。媒体数据传输模块主要采用自定义的基于TCP/IP的简单文件传输协议(SimpleFTP)，比传统的FTP传输要快2.62倍以上。

SimpleFTP文件传输协议的程序包括：

--命令模块，用于发起文件传输；

--文件查验模块，用于提供文件的数据量信息；

--数据传输模块，用于传输文件的各数据段；

--完整性验证模块，用于验证数据段是否完整；

--错误重传模块，用于重新传输未通过验证的数据段。

基于该文件传输协议的文件传输过程如下：

1)在所述命令模块，发送获取文件信息消息，该消息中携带需要验证的远程文件的文件名；

2)在所述文件查验模块，返回服务应答消息，该应答消息中携带所述远程文件的数据量大小的信息；

3)在所述命令模块，根据文件的数据量大小，将文件分为多个数据段；

4)在所述命令模块，选取一个数据段，发送传送文件消息，该传送文件消息携带所述数据段传输的起始点和结束点；

5)在所述数据传输模块，根据收到的传送文件消息进行数据传输；

6)在所述完整性验证模块，接收完本次传输的数据段后，对该数据段进行完整性验证；如通过完整性验证，则回到步骤4)继续传输下一个数据段，直到所述远程文件传输完毕；

7)在所述错误重传模块，当本次传输的数据段未能通过完整性验证时，客户端重新发送传送文件消息，请求重新传输该数据段。

SimpleFTP协议需要对一些参数进行配置，对协议的配置包括以下几个方面：

--文件读取的配置：读写文件的各类参数；而每次读、写的缓存最好在512KB以上；

--网络传送的配置：网络数据包的大小等等；网络数据包大小(缓存)应该在64KB以上；

--验证算法的配置：验证算法的选择，验证算法包的大小；

--协议自身特性配置：是否支持断点续传，是否在传输之前进行文件验证。

一般情况下，在100Mb环境，以本协议进行文件传输可以达到8MB/sec以上的速度。

另外，在协议中添加对媒体数据文件的数据完整性验证方式，以保证媒体数据文件的安全传输，采用的数据完整性验证方式可选择MD5，SHA-1或CRC32。验证方式的选择由传输管理中心(M-Peer)集中配置管理。在进行数据完整性验证时，对文件进行合理的分割，并对每个分块进行一次编码验证，一旦分块验证失败，只对当前数据块重新传输。完整性验证的方法包括如下步骤：

1)在文件传输的发送端，对待传输的文件进行分块处理，得到多个子文件块；

2)分别提取每个子文件块的校验码，将各子文件块及其校验码传输至接收端；

3)在接收端，提取每个接收到的子文件块的校验码；

4)对于每个子文件块，将步骤3)中提取的该子文件块的校验码与接收到的同一子文件块的校验码进行比对，当两个校验码一致时，该子文件块通过校验；当两个校验码不一致时，重新传输该子文件块。

在上述验证方法中，子文件块的数据量一般为256k的整数倍，且数据量的大小介于1M至10M之间。

本发明的具体实现如下：

●M-Peer的部署

传输控制管理中心M-Peer的部署属于主干网的组成部分，与主干网共享平台。它将提供一个全台网访问的公共Web Services，并具有主动分发的能力。

传输控制管理中心M-Peer使用Web技术，通过Java多线程技术扫描待处理任务，最后通过Web Services技术将任务发送至xPeer传输服务。

●xPeer传输服务的部署

xPeer传输服务隶属于各个板块网络，其传输链路由M-Peer进行配置。部署xPeer传输服务前，应先保证M-Peer运行正常，能正常接受xPeer的注册和汇报。

媒体数据传输模块采用上述自定义的基于TCP/IP的简单文件传输协议(SimpleFTP)，通过Java Socket通讯实现媒体数据文件的网络传输和完整性验证。同时，通过Java多线程技术的高效率实现方式将文件的分割、验证、传输同步进行。

传输控制模块接收传输控制管理中心M-Peer的管理指令，并依据上述方法中所列举的控制内容，对媒体数据传输模块进行控制。

传输汇报模块主要采用Java技术中的Timer定时器，实现均匀时间段汇报的目的。汇报的主要途径是调用M-Peer提供的Web Services对外接口实现。

●系统配置

xPeer传输服务配置：xPeer传输服务注册后，必须在M-Peer传输管理中心进行配置后才能正常执行传输任务。每个xPeer传输服务的配置项包括：媒体数据传输模块所需的各缓存大小、数据完整性验证方式、传输端口；传输汇报模块的汇报时间间隔；传输控制模块的服务端口、IP选择、虚拟路径映射。

传输链路配置：由于传输的任务分配是基于链路的，也就是说xPeer传输服务对隶属于传输链路，所以在使用xPeer传输服务之前必须进行链路配置。例如主干平台中的板块网Actor1和板块网Actor2，在由Actor1→Actor2的路径上需要配置Actor1→Actor2的传输链路，选择主干网中能被Actor1和Actor2使用的xPeer传输服务，并将xPeer传输服务对配置到该条链路下。

本发明的实现需要具备如下技术条件：

●板块网与主干网的互联互通

板块网与主干网的互联互通是系统框架运行的前提和基础，xPeer传输服务的注册和控制是实现框架的前提。

●板块网之间的互联互通

xPeer传输服务需要板块网间的通信和数据交换，板块网之间的互联互通是数据媒体文件交换的基础。

●板块网与存储设备的互通

数据及元数据存储须支持多点访问权限，这里省略策略性控制，对媒体数据文件的访问设置为“完全控制”，以进行读、写、删除等操作。

本发明所述的方法及系统并不限于具体实施方式中所述的实施例，本领域技术人员根据本发明的技术方案得出其他的实施方式，同样属于本发明的技术创新范围。

Claims (10)

1.一种媒体数据远程传输服务管理控制方法，包括如下步骤：

(1)启动xPeer传输服务，在传输控制管理中心进行注册，并开始汇报自身状态；

(2)在传输管理控制中心对xPeer传输服务进行远程配置；

(3)将xPeer传输服务加入到指定的传输链路；

(4)在传输管理控制中心对xPeer传输服务的整个过程进行控制。

2.如权利要求1所述的媒体数据远程传输服务管理控制方法，其特征在于：步骤(2)中配置的内容包括：媒体数据传输模块所需的各缓存大小、数据完整性验证方式、传输端口；传输汇报模块的汇报时间间隔；传输控制模块的服务端口、IP选择、虚拟路径映射。

3.如权利要求1所述的媒体数据远程传输服务管理控制方法，其特征在于：步骤(4)中对xPeer传输服务的控制包括：服务的停止、重启，新任务的分配，执行中任务的干扰。

4.如权利要求1或2或3所述的媒体数据远程传输服务管理控制方法，其特征在于：媒体文件在传输链路间传输时，对媒体数据文件的数据完整性进行验证，验证方式可选择MD5，SHA-1或CRC32。

5.如权利要求4所述的媒体数据远程传输服务管理控制方法，其特征在于：在进行数据完整性验证时，对文件进行合理的分割，并对每个分块进行一次编码验证，一旦分块验证失败，只对当前数据块重新传输。

6.如权利要求1或2或3所述的媒体数据远程传输服务管理控制方法，其特征在于：当传输服务在容器内运行时，在容器内部通知容器外部的容器管理监视线程，当容器外的容器管理监视线程收到信号后，依照信号协议将容器进行相关操作。

7.如权利要求1或2或3所述的媒体数据远程传输服务管理控制方法，其特征在于：任务管理监视线程将从传输控制管理中心接到的新任务通知媒体数据传输模块进行媒体数据文件的传输。

8.如权利要求7所述的媒体数据远程传输服务管理控制方法，其特征在于：任务管理监视线程通过任务干扰接口对执行中的任务进行干扰，包括任务的挂起、恢复、暂停、取消。

9.一种媒体数据远程传输服务管理控制系统，其特征在于：该系统包括一个用于实现任务集中管理和配置的传输控制管理中心M-Peer，以及多个承担xPeer传输服务的媒体数据传输模块，传输控制管理中心与每个媒体数据传输模块之间设有传输控制模块和传输汇报模块。

10.如权利要求9所述的媒体数据远程传输服务管理控制系统，其特征在于：多个媒体数据传输模块之间通过传输控制管理中心集中配置传输链路进行连接，以实现xPeer传输服务。

Images