CN101409706B - 一种边缘网络中的数据分发方法、数据分发系统及相关设备 - Google Patents

Abstract

本发明实施例提供了一种边缘网络中的数据分发方法、数据分发系统及相关设备。其中所述方法包括：获取客户端的数据下载请求，获取所述下载请求中携带的确定协议下数据的内容标识；查找所述内容标识对应的边缘网络内容标识，所述边缘网络内容标识用于在边缘网络中标记唯一的数据内容，以该边缘网络内容标识为索引获取对应的客户端信息，将包含所述客户端信息的数据源信息反馈给客户端。本发明使得边缘网络内的数据能够实现最大程度的共享，有效减小了对骨干网的冲击。

Description

一种边缘网络中的数据分发方法、数据分发系统及相关设备

技术领域

本发明涉及数据分发技术，尤其是一种边缘网络中数据分发方法、相关设备及系统。

背景技术

随着因特网技术的普及，p2p(peer-to-peer)应用开始在因特网上流行。在p2p系统中，一个终端的p2p程序既是客户端也是服务器。

由于大量因特网用户使用p2p软件来下载和共享文件，并且这些文件以视频文件和软件为主，具有文件长度大的特点，因此p2p文件的下载将导致占据大量的网络带宽；不仅如此，p2p软件在选择伙伴节点时具有一定的盲目性，从而产生了大量的乱序流量，进一步对骨干网造成了很大的冲击。

另一方面，不同的下载协议中很多内容是重复的，这又产生了一部分的重复流量。大量的重复流量造成了网络的拥塞，使得其他网络应用(如web浏览、Email等)的服务质量下降。

为了减少P2P下载对骨干网的冲击，现有技术中使用p2p cache(p2p高速缓冲存储器)技术来控制p2p流量，p2p cache需要对数据包进行深度分析(Deep Packet Inspection)，具体内容包括：对每个数据包进行模式匹配，判断是否有p2p的特征，最终得到该数据包是否为p2p数据包的结论。例如，由于BT协议的数据包通常会有“BitTorrent”标识，因而，通常可判断具有该标识的数据报为BT协议的数据包。P2P cache支持特定的p2p协议(比如电驴、BT、FastTrack、Gnutella等)，其会将传送过的p2p数据包在本地做缓存，如果通过包分析发现有其它用户请求相同的数据包则直接将数据包发送给用户，以减少跨边缘网路的流量。

然而，现有技术的缺陷在于：p2p cache需要对所有经过的数据包进行深度分析，从而一定程度上影响了整个网络的响应速度；并且，目前p2p客户端都使用一些协议加密伪装的技术，使得p2p数据包很难被过滤。因此，现有技术的做法并不能十分有效的降低P2P数据包对骨干网的冲击。

发明内容

本发明实施例要提供一种数据分发方法，能够降低骨干网中P2P数据包的流量。

为解决上述技术问题，本发明所提供的文件数据分发实施例是通过以下技术方案实现的：获取客户端的数据下载请求，获取所述下载请求中携带的确定协议下数据的内容标识；查找所述内容标识对应的边缘网络内容标识，所述边缘网络内容标识用于在边缘网络中标记唯一的数据内容，以该边缘网络内容标识为索引获取对应的客户端信息，将包含所述客户端信息的数据源信息反馈给客户端；若未查找到所述的边缘网络内容标识，则下载所述客户端请求的数据到本地存储设备，计算并保存所述数据的边缘网络内容标识；发送所述边缘网络内容标识及包含所述本地存储设备的数据源信息到客户端。

本发明实施例还提供一种数据分发系统，包括：引导服务器和下载代理服务器，其中：

引导服务器，用于：获取客户端的数据下载请求，所述数据下载请求中包含某协议下客户端请求下载的数据的内容标识；根据已保存的对应关系，查找该协议下内容标识对应的边缘网络内容标识，以该边缘网络内容标识为索引获取对应的客户端信息，将包含所述客户端信息的数据源信息反馈给客户端，若未保存该内容标识对应的边缘网络内容标识，则通知下载代理服务器下载所述数据；

以及，将下载代理服务器返回的边缘网络内容标识以及包含下载代理服务器信息的数据源信息发送到客户端；并保存边缘网络内容标识与所述内容标识之间的对应关系；

下载代理服务器，按照引导服务器的通知执行数据下载，返回边缘网络内容标识。

本发明还提供一种引导服务器，包括：协议映射单元，用于维护某协议下数据的内容标识与边缘网络内容标识的对应关系，根据获取到的第一客户端发送的内容标识查找边缘网络内容标识，若查找到所述边缘网络内容标识，则通知客户端管理单元，否则，通知下载代理交互管理单元；客户端管理单元，以所述边缘网络内容标识为索引，维护下载同一数据的客户端信息；根据协议映射单元查找得到的边缘网络内容标识获取对应的客户端信息，并发送到第一客户端交互管理单元，添加所述边缘网络内容标识与所述第一客户端的对应关系；下载代理交互管理单元，通过第二连接管理单元实现与下载代理服务器进行消息交互，包括：根据协议映射单元的通知向下载代理服务器发送数据下载通知；第一客户端交互管理单元，通过第二连接管理单元实现与第一客户端进行消息交互，包括：发送包含所述客户端信息的数据源信息以及所述边缘网络内容标识到所述第一客户端；第二连接管理单元，用于与外部设备实现消息交互。

本发明还提供一种下载代理服务器，包括：第三连接管理单元，用于与外部设备进行数据交互；第二客户端交互管理单元，通过第三连接管理单元与客户端进行数据交互；第二引导服务器交互管理单元，通过第三连接管理单元与引导服务器进行数据交互，包括：获取引导服务器的数据下载通知，并发送到下载代理单元；发送边缘网络内容标识到引导服务器；下载代理单元，用于按照所述下载通知执行数据下载，计算边缘网络内容标识；存储管理单元，用于对数据内容进行存储管理，所述数据内容包括：所述边缘网络内容标识，以及所述边缘网络内容标识对应的数据。

发明人在对现有技术的研究中发现，不同下载协议请求下载的内容经常是相同的，区别在于不同下载协议的内容标识与校验方式不同。因此，在本发明实施例中，发明人以该特点为基础，将其与边缘网络结合得到本发明技术方案。具体的，依据已保存的数据在不同协议下的内容标识与边缘网络内容标识之间的对应关系，将所述内容标识映射为统一标准的边缘网络内容标识，进而可查找出同一边缘网络内已存储相同数据的设备，将该些设备信息以及所述数据的边缘网络内容标识发送到请求下载该数据的客户端，则所述已存储现同数据的设备可作为数据源为请求下载该数据的客户端提供数据下载。

现有技术中，由于数据内容的某一协议下的内容标识无法被其他下载协议所识别，因此会出现边缘网络中的设备重复通过骨干网下载相同数据内容的现象。然而与现有技术相比，由于本发明在边缘网络中采用了统一的标识对数据内容进行标记，避免现有技术中由于协议不同导致相同数据内容标识不同的现象，网从而使得边缘网络内的数据能够实现最大程度的共享，避免通过骨干网反复下载相同数据内容的情况，因此有效减小了对骨干网的冲击。并且，与现有的p2p cache技术相比，不会降低整个网络的相应速度。

附图说明

图1为本发明实施例数据分发系统结构示意图；

图2为本发明实施例系统第一流程图；

图3为本发明实施例系统第二流程图；

图4为本发明实施例系统第三流程图；

图5为本发明实施例客户端结构示意图；

图6为本发明实施例引导服务器结构示意图；

图7为本发明实施例下载代理服务器结构示意图；

图8为本发明实施例下载代理服务器判断本地是否保存当前下载数据的流程图。

具体实施方式

本发明目的在于降低现有数据下载对骨干网造成的冲击，为此，本发明实施例分别提供一种数据分发方法、数据分发系统以及相关设备，以下分别对本发明的实现方式具体说明。

为实现上述发明目的，参照图1，在边缘网络中设置引导服务器12以及下载代理服务器13，结合本发明实施例提供的客户端11实现客户端11数据的下载。客户端11中存储所支持的确定协议(例如BT协议、电驴协议、ftp/http等)的名称与标识，在进行该协议下载的时候，向引导服务器12发送下载请求，请求中包含该确定协议的标识以及该确定协议中所述数据的内容标识，引导服务器12收到下载请求后，查找该协议对应的映射表，进而将所述数据的内容标识映射为统一标准的边缘网络内容标识，根据所述边缘网络内容标识查找到其他下载/存储同一文件的客户端信息，并返回给所述发起下载请求的客户端。

以下首先结合附图，说明本发明系统实施例的工作过程。

图2所示为正常情况下客户端数据下载流程。如图所示：

21：用户选择下载；

22：触发客户端

23：客户端向引导服务器发送下载请求，请求格式参见客户端实施例部分的说明；

24：引导服务器查找协议映射单元，查看下载内容是否存在(本实施例中假设所述下载内容存在)；

25：引导服务器将客户端信息记录在下载该文件的客户端列表中；

26：引导服务器向下载客户端发送下载请求响应消息，其中包含边缘网络内容标识，下载代理服务器信息以及其他正在下载同一文件的客户端信息，响应消息格式参见客户端实施例部分的说明；

27：客户端向下载代理服务器发送下载请求；

28：客户端向其它正在下载同一文件的客户端发送下载请求；

29：客户端从代理下载服务器下载文件数据；

210：下载客户端从其他客户端下载数据。

上述流程中，步骤24，假设引导服务器查找协议映射单元中能够获得下载内容，如果协议映射单元中不存在映射请求的内容，则所述流程参见图3所示：

31：用户选择下载；

32：触发客户端

33：客户端向引导服务器发送下载请求，请求格式参见客户端实施例部分的说明；

34：引导服务器查找协议映射单元，查看下载内容是否存在(本实施例中假设所述下载内容不存在)；

35：引导服务器向客户端发送下载请求响应消息，通知客户端下载内容在映射单元中不存在；

36：引导服务器向下载代理服务器发送下载通知消息，通知消息中包含所使用的下载协议及内容标识等下载所必须的数据，参见引导服务器实施例中相关内容；

37：按照下载通知消息的指示，基于相应的下载协议执行数据下载；

38：下载文件部分数据，计算边缘网络临时内容标识；

以下提供了获得得到边缘网络临时内容标识的实施例，参照该实施例可知，所述边缘网络临时内容标识是依据当前下载的部分数据内容计算得到的，其方法具体为：

按照预定的规则，下载预置长度的文件头数据，下载预置长度的文件尾数据，并按照如下方法计算得到下载的部分数据的边缘网络临时内容标识：

HASH(预置长度的文件头数据+预置长度的文件尾数据+文件长度)；

除上述方法外，也可以仅根据文件长度等参数计算边缘网络临时内容标识；

39：依据边缘网络临时内容标识判断该数据内容是否已经保存在本地，如果存在则查找对应的边缘网络内容标识，并停止下载(本流程中假设本地已保存当前正在下载的数据内容)

310：下载代理服务器向引导服务器上报该数据的边缘网络内容标识；

311：在协议映射单元中加入该数据内容的信息，包括边缘网络内容标识与内容标识之间的对应关系，其格式参见上文引导服务器中协议映射单元部分相关说明；

312：引导服务器相客户端发送下载通知消息，其中包含边缘网络内容标识、下载代理服务器信息以及其他正在下载同一文件的客户端信息；

313：客户端返回下载通知响应消息；

314：引导服务器的客户端管理单元中，对应于当前下载的数据内容加入此客户端信息；

315：客户端从下载代理服务器及其他正在下载该文件的客户端下载数据，具体步骤参见图2所示流程的27至210。

图3所示的流程中，步骤39中假设下载代理服务器查找到本地已保存当前正在下载的数据内容，如果下载代理服务器本地未存储当前下载的数据内容，则所述流程参见图4：

41：用户选择下载；

42：触发客户端

43：客户端向引导服务器发送下载请求，请求格式参见客户端部分的说明；

44：引导服务器查找协议映射单元，查看下载内容是否存在(本实施例中假设所述下载内容不存在)；

45：引导服务器向客户端发送下载请求响应消息，通知客户端下载内容在映射单元中不存在；

46：引导服务器向下载代理服务器发送下载通知消息，通知消息中包含所使用的下载协议及内容标识等下载所必须的数据，参见引导服务器实施例中相关内容；

47：下载代理服务器按照下载通知消息的指示，基于相应的下载协议执行数据下载；

48：下载文件部分数据，计算边缘网络临时内容标识；

49：依据边缘网络临时内容标识判断该数据内容是否已经保存在本地；本流程中假设本地未保存当前正在下载的数据内容，则下载代理服务器继续下载该文件；

410：向引导服务器上报边缘网络临时内容标识及边缘网络临时内容标识时间戳；

由于所述边缘网络临时内容标识是在数据内容未完成下载的时候计算得到的，并且，按照本文实施例中所采用的生成边缘网络临时内容标识的方法，考虑到可能出现边缘网络临时内容标识相同而文件不同的情况，本方法实施例中还进一步包括了所述边缘网络临时内容标识的时间戳信息；

411：在协议映射单元中加入该文件信息；

412：引导服务器向客户端发送下载通知消息，其中包含边缘网络临时内容标识、下载代理服务器信息以及其他正在下载同一文件的客户端信息；

413：下载通知响应消息；

414：引导服务器的客户端管理单元中，对应于当前下载的数据内容加入此客户端信息；

415：从下载代理服务器及其他正在下载该文件的客户端下载数据；具体步骤参见图2所示流程的27至210；

416：数据下载完成后，下载代理服务器计算边缘网络内容标识，并上报到引导服务器；

417：在客户端管理单元中增加所述边缘网络内容标识信息，具体存储格式参见引导服务器相关部分说明；在协议映射单元中保存的所述边缘网络临时内容标识。

在图4所示的流程中，客户端可以根据所述的边缘网络临时内容标识对下载代理服务器已经下载的部分数据执行下载。然而，本发明实施例并不排除禁止客户端在边缘网络完成从骨干网数据下载之前执行数据内容下载的实现方式，进而，这种实现方式下将不涉及上文所述的边缘网络临时内容标识。退一步，本发明并不排除采用其他算法或者手段得到所述边缘网络内容标识或/和边缘网络临时内容标识的实现方式。

参照上述过程，本发明实施例系统中采用的方法为：

获取客户端的数据下载请求，获取所述下载请求中携带的某协议下数据的内容标识；查找所述内容标识对应的边缘网络内容标识，若查找到，则以该边缘网络内容标识为索引获取对应的客户端信息，将包含所述客户端信息的数据源信息反馈给客户端，否则，下载所述客户端请求的数据到本地存储设备，计算并保存所述数据的边缘网络内容标识；发送所述边缘网络内容标识及包含所述本地存储设备的数据源信息到客户端。

在上述方法中，若未找到所述内容标识对应的边缘网络内容标识，则在完成所述下载数据到本地存储设备之前，进一步按照预置的规则下载部分文件数据并计算得到边缘网络临时内容标识；并且，索引已保存的边缘网络临时内容标识，若查找到匹配的边缘网络临时内容标识，则判断代理服务器上已保存当前执行下载的数据，将该数据的边缘网络标识发送到客户端，否则将所述边缘网络临时内容标识发送到客户端。

在上述方法基础上，获取该匹配的边缘网络临时内容标识所对应数据针对当前所使用下载协议的校验数据，若判断得到与当前下载的数据的校验数据相同，则判断代理服务器上已保存当前执行下载的数据。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中(如：ROM/RAM、磁碟、光盘等)。

以下分别对上述边缘网络系统中的设备进行说明。

参照图5，具体说明本发明实施例提供的客户端设备50。如图所示，包括：用户下载接口51、下载协议管理单元52、第一引导服务器交互管理单元53、下载管理单元54、第一连接管理单元55。其中：

用户下载接口51，为用户提供统一的下载接口，本领域技术人员可根据目前已公开的各种下载协议规范为本发明实施例制定用户下载接口以支持多种下载协议，如BT、电驴、ftp、http等，对基于所述下载协议的用户下载指令进行解析，得到该协议下用户请求下载数据的内容标识。

为了便于数据的分发和共享，现有部分下载协议均根据自有的标记方式对数据内容进行标识。

例如，以BT协议为例，BT种子中主要包含Tracker服务器的URL列表、Name、Piece length、Pieces Length、Path等，其Name为一字符串，在保存文件的时候，作为一个建议值；Piece length为传输是文件片断的长度，一般为256k；Pieces是由若干个20个字节长度的字符串组成，其中每个字符串为相应片断的HASH值；length为文件长度；Path为子目录名称的列表。所述Name、Piece length、Pieces、Length、Path等均为该BT种子对应内容的Info信息，BT中内容标识的方式即对该Info信息做SHA1加密运算得到的20字节的值，

再如，电驴协议中计算文件校验数据的方法为：对文件进行分块，每块大小9.28M(最后一块可能小于9.28M)，对于每块都用MD4算法计算其校验值。电驴协议中内容的标识方法是在MD4算法进一步对上述的校验数据进行MD4加密得到的HASH值。

另外，对于ftp/http协议，其内容标识的计算方法如下：

Hash(url+内容大小+修改时间)；

其中，所述url为统一资源定位器。另外，所述修改时间主要是考虑到同一个url大小相同，然而可能会应为经过修改而导致内容不同，因此再计算内容标识中考虑修改时间这一因素将有助于增加内容标识计算的可靠性。然而，所述修改时间也不一定是计算ftp/http协议下数据内容标识所必须的。

对于BT协议，数据的内容标识可基于种子中的目录标识及相应的文件序号构成。由于BT协议是以目录为单位标识的，一个目录下可能包含多个子目录以及多个文件，因此，本发明实施例中对于种子目录中嵌套多层目录的情况，采用对目录进行深度优先遍历方法得到目录标识及响应的文件序号。然而，本领域技术人员依然可采用常用的目录学方法得到构成所述内容标识的目录标识和响应的文件序号。

下载协议管理单元52，记录下载客户端支持的下载协议，以下提供一个记录格式实施例：

协议编号

协议名称

所述下载协议管理单元为用户下载接口对用户指令的解析提供协议的支持；下载协议管理单元主要是记录客户端所支持的协议，并为每种协议分配一个协议编号，并且这个协议编号与引导服务器上的协议标号是统一的。第一引导服务器交互管理单元会调用下载协议管理单元获取协议编号并将协议编号及对应的内容标识发送至引导服务器，使得引导服务器能够采用与客户端下载协议相一致的协议下载该协议下数据特有内容标识对应的数据。

除图5所示的客户端结构外，在又一客户端实施例中，第一引导服务器交互管理单元与下载协议管理单元之间的相互关系也可取消，直接由用户下载接口提供协议编号。

下载管理单元54，用于从内容源(例如：下载代理服务器、其他下载/保存与本客户端请求下载相同数据的客户端、ftp/http服务器等)下载数据内容，所述数据内容将被保存到存储介质(如磁盘)上。具体的，本发明实施例中，边缘网络中的数据内容以边缘网络内容标识进行标记，因此，所述下载管理单元将以所述边缘网络内容标识为依据从数据源下载所需的数据。

第一引导服务器交互管理单元53，处理与引导服务器的数据/消息交互。包括：向引导服务器发送数据下载请求，其中至少包含所述数据的内容标识，以及，获取引导服务器发送的数据源信息以及下载数据的所述边缘网络内容标识，使得下载管理单元至少根据所述的数据源信息以及边缘网络内容标识实现数据下载。

第一连接管理单元55，用于对外部设备进行数据交互。

如上所述，下载管理单元通过所述第一连接管理单元55实现从内容源下载数据。以下本发明实施例中提供一种客户端与数据源之间的消息接口格式(包括客户端之间，或者请求数据下载客户端与本发明提供的下载代理服务器之间的消息接口)，其中所述消息接口主要包含三种类型：

1)握手及响应消息。所述握手消息格式参见下表：

边缘网络内容标识

边缘网络临时内容标识

边缘网络临时内容标识时间戳

其中，边缘网络内容标识为本发明实施例中边缘网络中共享的完整数据内容统一格式的标识。在握手消息中，所述边缘网络内容标识可以为空，其原因在于：客户端请求下载某数据内容时，边缘网络中当前可能只保存了数据内容的一部分，即不完整的数据内容(出现这种情况的原因通常是因为边缘网络中正在从骨干网上下载该数据内容，并且未完成对该数据内容的下载)，因此，未完成下载的数据内容不存在边缘网络内容标识。

然而，本发明实施例中提供了一种优化的措施，即对于正从骨干网下载(本发明实施例中定义由下载代理服务器执行该功能)的数据内容用边缘网络临时内容标识替代所述边缘网络内容标识对数据内容进行标记，其目的是使得客户端可以不必等到所述数据内容从骨干网上完全下载到边缘网络后才开始下载，而是随着边缘网络(下载代理服务器)下载的进度而执行下载，在该数据内容未完成下载之前，客户端可以先对已经下载到边缘网络(下载代理服务器)中的数据进行下载。

为了实现上述措施，本发明较佳实施例中提供的握手消息中，在所述边缘网络内容标识基上，进一步包含了边缘网络临时内容标识(所述边缘网络内容标识的生成方法参见后文介绍)。

进一步的，由于所述边缘网络临时内容标识是在数据内容未完成下载的时候得到的，并且，按照本文后面所介绍的实施例中所采用的生成边缘网络临时内容标识的方法，考虑到可能出现边缘网络临时内容标识相同而文件不同的情况，本发明实施例中的握手消息中还进一步包括了所述边缘网络临时内容标识的时间戳信息。

然而，本发明实施例并不排除禁止客户端在边缘网络完成从骨干网数据下载之前执行数据内容下载的实现方式，进而，这种实现方式下将不涉及上文所述的边缘网络临时内容标识。退一步，本发明并不排除采用其他算法或者手段得到所述边缘网络内容标识或/和边缘网络临时内容标识的实现方式。。

对应于上文提供的握手消息格式，本实施例中提供的握手相应消息格式参见下表：

响应标识

边缘网络内容标识

边缘网络临时内容标识

边缘网络临时内容标识时间戳

2)数据请求及响应消息。所述数据请求消息格式参见下表：

边缘网络内容标识

边缘网络临时内容标识

边缘网络临时内容标识时间戳

文件片断索引号

所述数据请求响应消息格式参见下表：

边缘网络内容标识

边缘网络临时内容标识

边缘网络临时内容标识时间戳

文件片断索引号

对应文件片断数据

由上表可知，该实施例中，边缘网络内数据共享采用分片下载的方法，然而，应当明确的是，本发明并无意对边缘网络内的数据下载形式进行限定。例如，除上述分片下载的实现方式外，本发明边缘网络内的数据下载亦可采用其他的下载方式。例如客户端间之间的数据共享也可直接采用文件文件头的绝对偏移量的形式来进行，举例：客户端A要客户端B请求从文件头开始2000字节到3000字节的内容。

3)数据校验请求消息及其响应消息。所述数据校验请求消息格式如下表：

响应标识

边缘网络内容标识

边缘网络临时内容标识

边缘网络临时内容标识时间戳

所述数据校验请求响应消息的格式参见下表：

边缘网络内容标识

边缘网络临时内容标识

边缘网络临时内容标识时间戳

文件片断索引号

片断对应的校验数据

通常，数据交互过程中，对交互数据的校验是必要的，因此，本发明实施例中基于提高数据可靠行的一般性要求，提供了数据校验请求消息及其响应消息的格式；并且该消息的格式是基于2)中提供的数据请求消息及其响应消息的格式(即基于分片下载的方式)提出的。

以下，参照图6具体说明本发明实施例提供的引导服务器60。如图所示，所述引导服务器包括：协议映射单元61、客户端管理单元62、下载代理交互管理单元63、第一客户端交互管理单元64、第二连接管理单元65。其中：

协议映射单元61，以文件为单位对数据内容进行标记，包括：维护某协议下数据的内容标识与边缘网络内容标识的对应关系。进而，根据获取到的第一客户端发送的内容标识查找边缘网络内容标识，若查找到，则将其他各种下载协议中内容的标识映射为所述边缘网络内容标识，并通知客户端管理单元，否则，通知下载代理交互管理单元；

其中，协议映射单元中以文件为单位的数据标记格式参见下表，包括协议编号，原有下载协议的内容标识，以及边缘网络内容标识；

协议编号

内容标识

边缘网络内容标识

如果本发明系统中还采用了边缘网络临时内容标识，则协议映射单元中还保存如下的标记格式，包括协议编号，内容标识，边缘网络临时内容标识，边缘网络临时内容标识时间戳。只有当协议映射单元根据内容标识在上表中查找不到对应的边缘网络内容标识(即上表中边缘网络内容标识为空)，才根据下表查找与内容标识对应的边缘网络临时内容标识和边缘网络临时内容标识时间戳。

协议编号

内容标识

边缘网络临时内容标识

边缘网络临时内容标识时间戳

客户端管理单元62，记录下载同一文件的客户端信息。具体的，以所述边缘网络内容标识为索引，维护下载同一数据的客户端信息；根据协议映射单元查找得到的边缘网络内容标识获取对应的客户端信息，并发送到第一客户端交互管理单元；当该客户端同意下载该文件时，进一步记录所述边缘网络内容标识与该客户端的对应关系。

客户端管理单元中信息的记录格式实施例参见下表：

边缘网络内容标识

边缘网络临时内容标识

客户端列表

其中，以下提供一客户端列表格式的实施例：

客户端IP

客户端端口号

是否种子用户

下载代理交互管理单元63，通过第二连接管理单元实现与下载代理服务器进行消息交互，包括：根据协议映射单元的通知向代理服务器发送数据下载请求。

引导服务器与下载代理服务器之间的消息接口主要包括两种消息：

1)下载通知消息及其响应消息。当引导服务器收到下载客户端的下载请求后，如果协议映射单元没有找到相应的记录(即无法通过客户端下载请求消息中包含的内容标识找到相对应的边缘网络内容标识)，则发送下载通知消息给下载代理服务器，其消息格式如下：

协议编号

内容标识

协议相关数据

如上表所示，该请求消息中包括协议编号、内容标识、协议相关数据(如BT种子中的校验数据等)

2)边缘网络内容标识上报消息及其响应消息。下载代理服务器将引导服务器通知下载代理服务器进行数据下载的边缘网络内容标识上报给引导服务器。

在本发明的实施例中，下载代理服务器获取到下载通知消息后，将进一步判断引导服务器通知下载的数据内容是否已经保存到本地。此时，由于引导服务器只能通过下载通知消息将内容标识而不是边缘网络内容标识发送到下载代理服务器，因此下载代理服务器将采用以下流程进行判断：下载代理服务器按照引导服务器的指示对文件数据进行部分下载，根据所述部分数据内容计算得到边缘网络临时内容标识，查找已保存的数据的边缘网络临时内容标识以判断是否已经存在该文件，如存在，则查找到该数据的边缘网络内容标识并上报给引导服务器；如果不存在，则上报所述边缘网络临时内容标识(并可进一步上报所述边缘网络临时内容标识的时间戳)。并且，在完成数据内容的下载后，根据完整的数据内容计算所述边缘网络内容标识，进而将所述边缘网络内容标识以及所述边缘网络临时内容标识、边缘网络临时内容标识时间戳上报给引导服务器。引导服务器收到上报消息后向下载代理服务器发送响应消息。(下载代理服务器的结构及功能参见下文的说明)

明显的，上述判断后的处理方式表明允许客户端在边缘网络完成从骨干网完成数据下载前开始执行数据下载。当系统禁止客户端在边缘网络完成从骨干网完成数据下载前开始执行数据下载时，则当下载代理服务器判断本地并未存储引导服务器通知下载的数据时，继续执行从骨干网的下载任务，不发送边缘网络临时内容标识到引导服务器，知道完成数据下载后，再将边缘网络内容标识、边缘网络临时内容标识以及边缘网络临时内容标识时间戳上报给引导服务器。

第一客户端交互管理单元64，通过第二连接管理单元实现与下载客户端进行消息交互，包括：发送包含所述客户端信息的数据源信息以及所述边缘网络内容标识到所述第一客户端；

客户端与引导服务器之间的消息接口，主要包括两种消息：

1)下载请求消息及其响应消息。客户端向引导服务器发送下载请求消息，引导服务器返回下载请求响应消息。

参照下表，下载请求消息中包含下载数据采用的协议编号，该协议下数据的内容标识以及该协议相关数据(例如BT种子中的校验数据等)。

协议编号

内容标识

协议相关数据

参照下表，所述响应消息中包含响应标识和可选数据。例如，如果响应标识为1，则说明边缘网络中(其他客户端或者下载代理服务器)存在客户端请求下载的数据，则可选数据为数据在边缘网络中的边缘网络内容标识、边缘网络临时内容标识、边缘网络临时内容标识时间戳、代理服务器信息及客户端信息。

其中客户端列表中元素可包括：客户端IP地址、客户端端口号、是否为种子用户等。

2)下载通知消息及其响应消息。当引导服务器收到下载代理服务器上报的边缘网络内容标识后，将通知客户端执行下载，通知消息中包括边缘网络内容标识、边缘网络临时内容标识、边缘网络临时内容标识时间戳。客户端收到下载通知消息后发送响应消息，所述响应消息中包含同意下载数据或者取消下载数据两种情况。

第二连接管理单元65，用于与外部设备实现消息交互。

参照图7，具体说明本发明提供的下载代理服务器70。如图所示，包括：下载代理单元71、存储管理单元72、第二客户端交互管理单元73、第二引导服务器交互管理单元74和第三连接管理单元75。其中：

第三连接管理单元75，用于与外部设备进行数据交互；

第二客户端交互管理单元73，通过第三连接管理单元处理与客户端的数据交互。下载代理服务器与客户端之间的接口格式参见上文客户端与数据源之间的接口格式实施例。

第二引导服务器交互管理单元74，通过第三连接管理单元处理与引导服务器的数据交互，包括：获取引导服务器的数据下载通知，并发送到下载代理单元；发送边缘网络内容标识到引导服务器。下载代理服务器与引导服务器之间的接口格式参见上文引导服务器部分的说明。

下载代理单元71，支持多种下载协议的下载，按照第二引导服务器交互管理单元的下载通知执行数据下载，计算边缘网络内容标识；计算边缘网络临时内容标识，判断本地是否已经存储有引导服务器通知下载的数据。

下载代理服务器进行上述判断的意义在于：引导服务器中保存的是数据在不同协议下的内容标识与统一的边缘网络内容标识之间的对应关系，由于同一数据在不同下载协议下的内容标识不同，因此会出现以下情况，即：边缘网络中(无论是在其他客户端或者下载代理服务器)已经保存了客户端请求的数据以及该数据的边缘网络内容标识，然而却不存在该边缘网络内容标识与当前下载协议内容标识之间的对应关系，因此，引导服务器按照当前下载协议的内容标识无法索引到该数据的边缘网络内容标识。其原因可能在于：边缘网络中首次以当前的下载协议请求下载网络中已保存的数据内容。例如：边缘网络中保存了数据A，其边缘网络标识为a，引导服务器中保存了边缘网络标识a与该数据A在BT协议下的内容标识x之间的对应关系，以及边缘网络标识a与该数据A在电驴协议下的内容标识y之间的对应关系，然而，当边缘网络中的某个客户端首次以ftp协议请求下载数据A时，则引导服务器中尚未建立数据A在ftp协议下内容标识z与边缘网络内容标识a之间的对应关系，因此引导服务器此时并不能有效的发现边缘网络中已有数据A。

基于上述原因，本实施例中下载代理服务器将进一步判断客户端请求的数据是否已保存在边缘网络中，其所采用的判断方法是：按照预定的规则，下载预置长度的文件头数据，下载预置长度的文件尾数据，并按照如下方法计算得到下载的部分数据的边缘网络临时内容标识：

HASH(预置长度的文件头数据+预置长度的文件尾数据+文件长度)；

除上述方法外，也可以仅根据文件长度等参数计算边缘网络临时内容标识。

根据计算得到的边缘网络临时内容标识到存储管理单元中已保存的边缘网络临时内容标识中进行索引，查找是否有与所述计算得到的边缘网络临时内容标识相匹配的边缘网络临时内容标识。

如果有匹配项，则获取该数据的边缘网络内容标识，并通过第二引导服务器交互管理单元74将其上报给引导服务器；如果此时下载代理服务器上只保存有边缘网络临时内容标识而没有边缘网络内容标识，则可认为下载代理服务器正在对该数据内容进行下载过程中，下载代理服务器可将边缘网络临时内容标识上报到引导服务器；

如果没有匹配项，则说明下载代理服务器的存储管理单元中未保存当前下载的数据内容，则通过第二引导服务器交互管理单元74将下载代理单元71计算得到的边缘网络临时内容标识上报给引导服务器，并且存储管理单元保存该数据内容，和该下载的数据与该边缘网络临时内容标识的对应关系。以及，下载代理单元71完成对该数据下载后，根据完整的数据内容计算得到边缘网络内容标识，保存该标识，并通过第二引导服务器交互管理单元发送到引导服务器。

所述根据完整数据内容计算边缘网络内容标识的方法较多，本发明对所采用的方法并不限定，只要能够得到唯一的标识即可，例如：比如MD4(整个文件内容)，MD4(整个文件内容)，SHA1(整个文件内容)。

其中，向引导服务器上报边缘网络临时内容标识将使得客户端在下载代理服务器完成数据下载前开始进行对已下载的部分数据进行下载。

在上述判断方法基础上，下载代理单元71，还可在计算得到所述边缘网络临时内容标识之外，得到当前下载数据在当前下载协议下的校验数据，进而边缘网络临时内容标识与所述协议的校验数据相结合实现判断本地是否已保存了当前下载的数据。

其中，协议的校验数据是指根据某个下载协议中校验数据的计算方法，计算出文件针对该下载协议的校验数据。例如：

在电驴协议中计算文件校验数据的方法为：对文件进行分块，每块数据大小为9.28M(最后一块数据可能小于9.28M)，对于每块数据分别用MD4算法计算其校验值。

在BT协议中计算文件校验数据的方法为：BT协议中以目录为单位对内容进行标识，然后对整个文件进行分块，每块大小256K；对于单个文件先判断其在目录中的位置与第一个完整的文件分片在该文件中的位置，并依次计算该文件对应的完整文件分片的校验值，使用算法为SHA1。假设一个种子中包括三个文件，则计算第二文件校验数据的步骤为：先判断文件二对应的第一个完整文件分块在文件二中的位置，然后依次计算其后数据分块的校验值。

对于其他下载协议，本领域技术人员可参考已公开相关算法实现校验数据的获取。

以下参照图8，说明边缘网络临时内容标识与所述校验数据相结合判断本地是否已保存当前下载的数据的方法。

步骤81：优先下载文件头部与文件尾部数据，计算边缘网络临时内容标识，获取该数据内容校验数据；

步骤82：查看存储管理单元是否存在边缘网络临时内容标识，如果是则执行步骤83，否则执行步骤86

步骤83：从存储管理单元获取边缘网络临时内容标识，以及该数据内容针对当前下载协议的校验数据；

步骤84：比较检验数据是否相同，如果是则步骤85，否则执行步骤86；

步骤55：判断得到代理服务器本地已经存储正在下载的数据；

步骤86：判断得到代理服务器本地没有存储正在下载的数据。

存储管理单元72，对下载代理服务器的数据内容进行存储管理，其存储格式如下：

以上对本发明实施例所提供的文件数据分发方法及相关设备进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的实现方式；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上可能会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (17)

1.一种数据分发的方法，其特征在于：

获取客户端的数据下载请求，获取所述下载请求中携带的确定协议下数据的内容标识；

查找所述内容标识对应的边缘网络内容标识，所述边缘网络内容标识用于在边缘网络中标记唯一的数据内容，以该边缘网络内容标识为索引获取对应的客户端信息，将包含所述客户端信息的数据源信息反馈给客户端；

若未查找到所述的边缘网络内容标识，则下载所述客户端请求的数据到本地存储设备，计算并保存所述数据的边缘网络内容标识；发送所述边缘网络内容标识及包含所述本地存储设备的数据源信息到客户端。

2.如权利要求1所述的方法，其特征在于，若未找到所述内容标识对应的边缘网络内容标识，则在完成所述下载数据到本地存储设备之前，进一步包括，

按照预置的规则下载部分文件数据并计算得到边缘网络临时内容标识；

索引已保存的边缘网络临时内容标识，若查找到匹配的边缘网络临时内容标识，则计算该匹配的边缘网络临时内容标识所对应数据针对当前所使用下载协议的校验数据，若判断得到该校验数据与当前下载的数据的校验数据相同，则将该数据的边缘网络标识发送到客户端；若所述校验数据不同，则将所述计算得到的边缘网络临时内容标识发送到客户端。

3.如权利要求2所述的方法，其特征在于：所述得到边缘网络临时内容标识的计算方法具体为：

对预置长度的文件头数据、预置长度的文件尾数据与文件长度三者的和进行哈希计算。

4.一种数据分发系统，其特征在于，包括：引导服务器和下载代理服务器，其中：

引导服务器，用于：获取客户端的数据下载请求，所述数据下载请求中包含某协议下客户端请求下载的数据的内容标识；根据已保存的对应关系，查找该协议下内容标识对应的边缘网络内容标识，以该边缘网络内容标识为索引获取对应的客户端信息，将包含所述客户端信息的数据源信息反馈给客户端，若未保存该内容标识对应的边缘网络内容标识，则通知下载代理服务器下载所述数据；

以及，将下载代理服务器返回的边缘网络内容标识以及包含下载代理服务器信息的数据源信息发送到客户端；并保存边缘网络内容标识与所述内容标识之间的对应关系；

下载代理服务器，按照引导服务器的通知执行数据下载，返回边缘网络内容标识。

5.如权利要求4所述的系统，其特征在于，下载代理服务器还用于判断是否已保存当前执行下载的数据，若是，则停止数据下载，并发送该数据的边缘网络内容标识到引导服务器。

6.如权利要求5所述的系统，其特征在于：所述下载代理服务器的判断功能具体为：

按照预置的规则下载部分文件数据并计算得到边缘网络临时内容标识，索引下载代理服务器已保存的边缘网络临时内容标识，对于相匹配的边缘网络临时内容标识，计算该匹配的边缘网络临时内容标识对应的数据针对当前下载协议的校验数据，若与当前执行下载的数据的校验数据相同，则判断下载代理服务器上已保存当前执行下载的数据。

7.如权利要求6所述的系统，其特征在于，所述下载代理服务器得到边缘网络临时内容标识的功能为：

对预置长度的文件头数据、预置长度的文件尾数据与文件长度三者的和进行哈希计算。

8.如权利要求6所述的系统，其特征在于：

下载代理服务器，在未保存当前执行下载的数据的情况下，用于按照引导服务器的指示完成数据下载，生成并保存边缘网络内容标识，以及发送所述边缘网络内容标识到引导服务器。

9.如权利要求8所述的系统，其特征在于：

下载代理服务器，在未保存当前执行下载的数据的情况下，用于进一步将所述边缘网络临时内容标识发送到引导服务器；

引导服务器，用于保存所述边缘网络临时内容标识与内容标识之间的对应关系，并发送到客户端；以及，根据下载代理服务器完成数据下载后生成的边缘网络内容标识更新所述边缘网络临时内容标识与内容标识的对应关系。

10.如权利要求9所述的系统，其特征在于，还包括：

客户端，获取基于某一下载协议的数据下载指令，并向引导服务器发送下载请求，包含该协议下客户端请求下载数据的内容标识；

获取边缘网络内容标识/边缘网络临时内容标识，从数据源获取边缘网络内容标识/边缘网络临时内容标识对应的数据；

以及，引导服务器，保存该客户端与所述边缘网络内容标识/临时网络文件标识的对应关系。

11.一种引导服务器，其特征在于，包括：

协议映射单元，用于维护某协议下数据的内容标识与边缘网络内容标识的对应关系，根据获取到的第一客户端发送的内容标识查找边缘网络内容标识，若查找到所述边缘网络内容标识，则通知客户端管理单元，否则，通知下载代理交互管理单元；

客户端管理单元，以所述边缘网络内容标识为索引，维护下载同一数据的客户端信息；根据协议映射单元查找得到的边缘网络内容标识获取对应的客户端信息，并发送到第一客户端交互管理单元，添加所述边缘网络内容标识与所述第一客户端的对应关系；

下载代理交互管理单元，通过第二连接管理单元实现与下载代理服务器进行消息交互，包括：根据协议映射单元的通知向下载代理服务器发送数据下载通知；

第一客户端交互管理单元，通过第二连接管理单元实现与第一客户端进行消息交互，包括：发送包含所述客户端信息的数据源信息以及所述边缘网络内容标识到所述第一客户端；

第二连接管理单元，用于与外部设备实现消息交互。

12.如权利要求11所述的引导服务器，其特征在于，所述客户端管理单元维护的客户端信息包括：

客户端IP地址、客户端端口号、是否为文件下载种子用户。

13.如权利要求11所述的引导服务器，其特征在于：

所述下载代理交互管理单元消息交互还包括：获取来自下载代理服务器的边缘网络内容标识；

客户端管理单元，建立下载代理交互管理单元获取的所述边缘网络内容标识与所述第一客户端的对应关系。

14.如权利要求11所述的引导服务器，其特征在于：

所述数据源信息还包括下载代理服务器信息。

15.一种下载代理服务器，其特征在于，包括：

第三连接管理单元，用于与外部设备进行数据交互；

第二客户端交互管理单元，通过第三连接管理单元与客户端进行数据交互；

第二引导服务器交互管理单元，通过第三连接管理单元与引导服务器进行数据交互，包括：获取引导服务器的数据下载通知，并发送到下载代理单元；发送边缘网络内容标识到引导服务器；

下载代理单元，用于按照所述下载通知执行数据下载，计算边缘网络内容标识；

存储管理单元，用于对数据内容进行存储管理，所述数据内容包括：所述边缘网络内容标识，以及所述边缘网络内容标识对应的数据。

16.如权利要求15所述的下载代理服务器，其特征在于：

所述下载代理单元，还用于按照预置的规则下载部分数据并计算边缘网络临时内容标识，发送到存储管理单元；若存储管理单元判断已保存当前执行下载的数据，则结束数据下载；

存储管理单元，对数据内容进行存储管理，还包括：基于下载代理单元计算得到的边缘网络临时内容标识判断是否已保存当前执行下载的数据，如果是，则通知下载代理单元；否则，保存所述的边缘网络临时内容标识，以及与所述当前执行下载的数据的对应关系；

第二引导服务器交互管理单元，所述数据交互还包括：若存储管理单元判断已保存当前执行下载的数据，则获取并发送存储管理单元中已保存的该数据的边缘网络内容标识；否则，获取并发送所述下载代理单元生成的所述边缘网络临时内容标识。

17.如权利要求16所述的下载代理服务器，其特征在于：

下载代理单元，用于按照所述下载通知完成数据下载后，计算边缘网络内容标识；

存储管理单元，用于保存所述边缘网络内容标识与所述边缘网络临时内容标识以及所述数据的对应关系；

第二引导服务器交互管理单元，用于发送下载代理单元数据下载完成后计算得到的边缘网络内容标识。

Images