CN101453393B

CN101453393B - 用于文件传输的企业网络系统

Info

Publication number: CN101453393B
Application number: CN 200710178247
Authority: CN
Inventors: 孙伟; 赵祎; 王弋珵
Original assignee: China Digital Video Beijing Ltd
Current assignee: China Digital Video Beijing Ltd
Priority date: 2007-11-28
Filing date: 2007-11-28
Publication date: 2013-09-18
Anticipated expiration: 2027-11-28
Also published as: CN101453393A

Abstract

本发明提供一种用于文件传输的企业网络系统，包括：通过总线连接的主干网和多个板块网；每个所述板块网包括至少一个xPeer服务器，所述各板块网通过xPeer服务器和总线在板块间进行文件传输；所述主干网包括M-Peer服务器，所述M-Peer服务器对各xPeer服务器的传输任务进行调度。与现有技术相比，本发明能够达到如下技术效果：本发明的网络构架能够让大容量文件在企业内部各个板块之间直接进行快速、合理交换，降低劳动成本，提高节目生产效率。另外，本发明能够通过简单的注册方式增加需要进行文件传输的系统个数，维护方便。

Description

用于文件传输的企业网络系统

技术领域

本发明涉及计算机网络技术领域，具体地说，本发明特别涉及一种用于大容量文件传输的网络系统。

背景技术

目前，大多数企业的经营都涉及到多种性质不同的业务，因此在企业内部的计算机网络中，通常形成多个业务应用子网来分别满足这些业务的需求，而数据需要在各子网之间需要共享或者传输。以广电行业为例，当前国内外广电行业在信息化方面的总体发展方向是：网络化、信息化，根据在电视台的实际业务中涉及多种性质不同的业务需求，电视台内部形成多个业务应用子网来满足电视台“采、编、播、存、管”的整个电视工艺流程。其中，节目素材需要子网之间共享或者传输，因此，对文件传输方式需要设计一种合理可行的模式。因此，对文件传输方式需要设计一种合理可行的模式。

传统的文件传输方式一般是在两个子网不同应用系统之间点对点的通信和传输，一般这种情况下，两个系统都需要提供客户端和服务端程序，当需要进行文件传输的系统个数增加时，增加各个系统负担和运行成本。此种模式下，系统之间关联的数量是[N(N-1)]/2，每当增加一个应用系统时，系统的关联度增加N(参考图1和图2)，并需要在所关联系统上分别提供对新增系统的客户端和服务端程序。

发明内容

本发明的目的是克服现有技术的不足，将总线技术应用于企业内部网络，从而提供一种适合于大容量数据传输的企业网络构架。

为实现上述发明目的，本发明提供的用于文件传输的企业网络系统包括：通过总线连接的主干网和板块网；每个所述板块网包括至少一个xPeer服务器，所述各板块网通过xPeer服务器和总线在板块间进行文件传输；所述主干网包括M-Peer服务器，所述M-Peer服务器对各xPeer服务器的传输任务进行调度。

上述技术方案中，所述主干网还包括消息流服务器(MFS)；所述M-Peer服务器具有对外接口和对内接口，所述对外接口用于与消息流服务器(MFS)进行交互；所述对内接口用于与所述xPeer服务器进行交互。

上述技术方案中，所述M-Peer服务器的对外接口包括任务发起接口、任务暂停接口、任务终止接口和任务优先接口。

上述技术方案中，所述M-Peer服务器的对内接口包括xPeer注册登记接口、xPeer状态汇报接口、xPeer任务进度接口和xPeer任务状态汇报接口。

上述技术方案中，所述主干网还包括Cache盘阵，该Cache盘阵用于缓存在各xPeer服务器之间传输的文件。

与现有技术相比，本发明能够达到如下技术效果：

本发明的网络构架能够让大容量文件(如媒体文件)在企业(如电视台)内部各个板块之间直接进行快速、合理交换，降低劳动成本，提高节目生产效率。另外，本发明能够通过简单的注册方式增加需要进行文件传输的系统个数，维护方便。

附图说明

图1是传统的文件传输网络构架示意图；

图2是传统的文件传输网络构架进行扩展的示意图；

图3是本发明的网络构架示意图；

图4是M-Peer系统流程图；

图5是M-Peer调度流程图；

图6是本发明在各应用系统间进行文件传输的示意图；

图7是本发明在进行应用系统扩展的示意图。

具体实施方式

本发明的基本构思是利用总线形式将企业内部的各板块网相互连接，并将跨板块的文件传输服务封装在各板块网的xPeer服务器内，利用xPeer服务器实现板块间的大容量文件传输。另外，本发明还提供了主干网，主干网内部署M-Peer服务器，对各xPeer服务器的传输任务进行调度。

下面结合附图和具体实施方式对本发明作进一步详细描述：

实施例1

以电视台为例，对企业网络构架的各细节进行详细描述。本实施例中所传输的文件主要是指企业媒体文件。参考图3，本实施例的网络构架包括：通过企业媒体总线(Enterprise Media Bus，EMB)连接的主干网和多个板块网；每个所述板块网包括至少一个xPeer服务器(以下简称xPeer)，所述各板块网通过xPeer和总线在板块间进行文件传输；所述主干网包括M-Peer服务器(以下简称M-Peer)，所述M-Peer对各xPeer的传输任务进行调度。本实施例中将利用M-Peer和xPeer进行文件传输的体系称为Xfer。两外，所述主干网消息流服务器(MFS)。

本实施例中，文件传输任务调度是由M-Peer完成的，M-Peer作为xPeer和传输任务调度的执行部分，除起到Xfer与MFS交互外，同时完成对源到目的的多个xPeer之间和对多个传输任务之间的调度作用。

M-Peer的主要功能包括：

当MFS发起一个任务时，M-Peer回调获取传输任务；

对xPeer端按照策略进行调度，实现文件的传输；

为xPeer提供具体的传输任务，接收xPeer传输信息；

向MFS返回进度状态；

传输任务优先级处理，也就是任务的调度；

对传输任务的干预，如暂停任务、停止任务；

传输任务的监控，初期不会实现管理(比如重试等)功能；

对系统进行配置。

本实施中，调度策略如下：

1、任务调度

当MFS上发起一个任务时调用Xfer上的任务发起接口，Xfer解析任务中预计执行时间(preStartTime)为任务分配不同级别(优先级)。M-Peer根据系统配置中的调度间隔时间去发现Xfer中哪些任务需要被启动，并按照预计执行时间和优先级分别启动任务。首先以执行时间为启动任务的最基本要素，如果在同一执行时间上，以优先级高低为判断基准。

2、任务启动后的xPeer调度

任务启动后，Xfer解析任务中源端和目的端信息，通过任务中包含的源端所在应用系统和目的端所在应用系统，如果源端和目的端不在同一应用系统，分别查询源端和目的端所在应用系统已经在M-Peer注册的xPeer的状态，根据如下策略进行xPeer的任务分配：

判断源端(发送端、服务端)状态为“服务端空闲”或者服务端的连接数小于系统设置的服务端最大连接数，则依次按照服务端空闲、服务端连接数最小、服务端连接数次小的顺序选择作为服务端的xPeer；

判断目的端(接收端、客户端)状态为“客户端空闲”的xPeer做为客户端xPeer，如果出现多个状态为“客户端空闲”的xPeer，查看其作为服务器端时的客户端连接数，按照这个数量的从低到高的顺序依次选择xPeer(减低xPeer压力)，如果出现此数值相等的xPeer，则随机选择其中一个作为客户端xPeer；

选择完做传输的xPeer后，即开始文件传输。

(注：如果源端和目的端所在同一个应用系统，则不采用通过xPeer传输而是采用同一个子网内的文件拷贝模式，提高整个系统架构中文件传输效率)

本实施例中，M-Peer具有对外接口和对内接口。

M-Peer对外接口供MFS回调，主要提供启动传输任务、暂停传输、停止传输、任务优先。下面逐个介绍各对外接口。

任务发起接口(以下代码均是以java风格表示)：

public String startTransfer(String taskInformation)；

功能：MFS上发起一个任务时调用Xfer上的任务发起接口。

参数：taskInformation任务信息，包含该任务在mfs的实例ID、该任务在mfs上被创建的时间、发送方所在应用系统、接受方所在应用系统、源端文件名、源端路径信息、目标端存储路径、预计执行时间

参数taskInformation格式定义(XSD)：

<？xml version＝″1.0″encoding＝″UTF-8″？>

<schema xmlns＝″http://www.w3.org/2001/XMLSchema″

elementFormDefault＝″qualified″>

</sequence>

</complexType>

</element>

</schema>

返回值：返回的内容为一个XML的字符串，任务的信息解析。

任务暂停接口：

public String pauseWorkitems(string itemID)；

功能：暂停Xfer上发起的正在进行的传输任务。

参数：itemID任务ID；

返回值：若返回零长度字符串则表示暂停任务成功，否则返回包含错误消息的XML。

任务终止接口：

public String stopWorkitems(string itemID)；

功能：终止Xfer上发起的传输任务。

参数：itemID任务ID；

返回值：若返回零长度字符串则表示终止任务成功，否则返回包含错误消息的XML。

任务优先接口：

public String prioritizeWorkitems(String itemID，Int priorityLevel)；

功能：通过对任务的优先级别进行更改的方式，优先某传输任务。

参数：itemID任务ID，priorityLevel任务的优先级信息；

返回值：若返回零长度字符串则表示优先任务成功，否则返回包含错误消息的XML。

M-Peer对内接口采用Web Service发布，主要指与xPeer的交互部分；由M-peer提供，xPeer调用，主要有xPeer的注册登记、xPeer状态汇报、xPeer文件传输进度汇报和任务状态汇报。下面逐个介绍各对内接口

xPeer注册登记接口：

public String peerRegister(String hostIP)；

功能：向M-Peer注册xPeer本身状态。

参数：hostIP表示xPeer所在IP。

返回值：若返回零长度字符串则表示注册成功，否则返回包含错误消息的XML。

xPeer状态汇报接口：

public String reportPeerstatus(String hostIP，String peerStatus)；

功能：xPeer向Xfer汇报自身状态信息；

参数：hostIP表示xPeer所在IP地址，peerStatus表示目前xPeer的状态；

返回值：若返回零长度字符串则表示汇报成功，否则返回包含错误消息的XML。

xPeer任务进度接口：

public String postProcess(String itemID)；

功能：xPeer向M-Peer汇报文件传输进度；

参数：itemID表示任务ID；

返回值：返回该Peer上某传输任务的传输进度值。

xPeer任务状态汇报接口：

public String reportTaskStatus(String itemID)；

功能：各个xPeer通过WebService的方式向Xfer汇报文件传输进度。

参数：itemID表示任务ID；

返回值：返回该Peer上某传输任务的状态。

本实施例中，M-Peer的系统流程(参考图4)如下：

1)Xfer启动后，接受传输服务端xPeer的注册和注销；

2)M-Peer即时监听任务，如果任务不被停止，执行任务，并汇报任务状态。

本实施例中，M-Peer的调度流程(参考图5)如下：

1)当M-Peer监听到任务时，根据任务优先级发起传输任务；

2)判断任务xPeer的位置，获取执行该传输任务的xPeer的状态，如果xPeer准备就绪，发送任务到该xPeer；

3)当任务到达xPeer时，判断是否有干预指令，如果有指令(暂停、恢复、停止)执行相关干预动作；若没有干预指令，M-Peer接受xPeer状态和进度汇报，判断有无异常，若有异常，返回异常，结束任务；若无异常，实时接受xPeer汇报状态和进度数据，判断任务是否完成，若完成，结束任务，返回传输结果；若未完成，返回指令错误；

4)如果判断任务xPeer的位置，获取执行该传输任务的xPeer的状态时，xPeer准备未就绪，判断该任务的重试次数，如果超过系统配置的最大重试次数，返回异常，结束任务，如果未达到重试次数，获取任务xPeer状态，继续传输流程。

本实施例的基于总线的文件传输方式采用文件传输命令在Xfer中的封装，对外提供简单接口；传输是由Xfer自己完成，应用系统只需要将相关信息传递给Xfer，Xfer对传输任务和传输端点(xPeer)进行调度，完成传输。如图6所示，该图为Xfer调度应用系统B传输文件到应用系统C。

如果继续增加应用系统，只需应用系统上的传输端向Xfer注册一次，即可完成系统的无缝插入，体现基于总线式的架构模式，其优点是不需要在应用系统内增加客户端和服务端程序；当增加系统应用时不影响其他应用系统的工作，也不会增加整个系统的运行负担和运行成本(如图7所示)。

由于企业媒体数据的数据量较大，因此即使在宽带网络环境下传输，仍然要耗费大量的时间。因此，本实施例中，还可以通过在板块网络中部署多个xPeer的方式，建立板块间的多条传输通道，以满足大数据量传输的需求。

另外，本实施例中的主干网还包括一个内建的小型Cache盘阵。用于支持文件数据的异步传输。即任务发起时，M-Peer的调度模块发现目标系统已经离线，可将企业媒体文件传输到Cache中缓存，当目标网络恢复连线后，再将缓存的企业媒体文件传输到目的端，以减少板块间由于网络故障造成的负载增长。当然，如果源网络和目的网络均为活动状态时，文件数据将直接在两个板块之间进行传输。

当前国内外广电行业在信息化方面的总体发展方向是：网络化、信息化，企业媒体总线(Enterprise Media Bus，EMB)是新奥特公司在全台网络化方案中提出的实现媒体文件在全台网络中的交换传输的设计思路。本实施例采用企业媒体总线，能够让媒体文件在电视台内部各个板块直接能够进行快速、合理交换，降低劳动成本，提高节目生产效率，保证节目快速、准时、准确的进行播出，提高节目生产播出安全性。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims

1.一种用于文件传输的企业网络系统，包括：通过总线连接的主干网和板块网；每个所述板块网包括至少一个xPeer服务器，所述各板块网通过xPeer服务器和总线在板块间进行文件传输；所述主干网包括M-Peer服务器和主干网消息流服务器，所述M-Peer服务器对各xPeer服务器的传输任务进行调度；其调度策略为：当主干网消息流服务器上发起一个任务时调用Xfer上的任务发起接口，Xfer解析任务中预计执行时间为任务分配不同优先级，M-Peer根据所配置的调度间隔时间去发现Xfer中哪些任务需要被启动，并按照预计执行时间和优先级分别启动任务，首先以执行时间为启动任务的最基本要素，如果多个任务在同一执行时间上，则以优先级高低为判断基准；任务启动后，通过任务中包含的源端所在应用系统和目的端所在应用系统，如果源端和目的端不在同一应用系统，分别查询源端和目的端所在应用系统已经在M-Peer注册的xPeer的状态，根据如下策略进行xPeer的任务分配：解析任务中源端和目的端信息，当判断为源端状态为“服务端空闲”或者服务端的连接数小于系统设置的服务端最大连接数时，则依次按照服务端空闲、服务端连接数最小、服务端连接数次小的顺序选择作为服务端的xPeer；判断目的端状态为“客户端空闲”的xPeer作为客户端xPeer，如果出现多个状态为“客户端空闲”的xPeer，查看其作为服务器端时的客户端连接数，按照这个数量的从低到高的顺序依次选择xPeer，如果出现此数值相等的xPeer，则随机选择其中一个作为客户端xPeer；选择完做传输的xPeer后，即开始文件传输；

所述Xfer是利用M-Peer和xPeer进行文件传输的体系。

2.根据权利要求1所述的用于文件传输的企业网络系统，其特征在于，所述M-Peer服务器具有对外接口和对内接口，所述对外接口用于与消息流服务器进行交互；所述对内接口用于与所述xPeer服务器进行交互。

3.根据权利要求2所述的用于文件传输的企业网络系统，其特征在于，所述M-Peer服务器的对外接口包括任务发起接口、任务暂停接口、任务终止接口和任务优先接口。

4.根据权利要求2所述的用于文件传输的企业网络系统，其特征在于，所述M-Peer服务器的对内接口包括xPeer注册登记接口、xPeer状态汇报接口、xPeer任务进度接口和xPeer任务状态汇报接口。

5.根据权利要求1所述的用于文件传输的企业网络系统，其特征在于，所述主干网还包括Cache盘阵，该Cache盘阵用于缓存xPeer服务器之间传输的文件。