[go: up one dir, main page]

CN103731451B - 一种文件上传的方法及系统 - Google Patents

一种文件上传的方法及系统 Download PDF

Info

Publication number
CN103731451B
CN103731451B CN201210387535.XA CN201210387535A CN103731451B CN 103731451 B CN103731451 B CN 103731451B CN 201210387535 A CN201210387535 A CN 201210387535A CN 103731451 B CN103731451 B CN 103731451B
Authority
CN
China
Prior art keywords
file
uploaded
server
upload
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210387535.XA
Other languages
English (en)
Other versions
CN103731451A (zh
Inventor
刘刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Tencent Cloud Computing Beijing Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201210387535.XA priority Critical patent/CN103731451B/zh
Priority to PCT/CN2013/084894 priority patent/WO2014056428A1/zh
Publication of CN103731451A publication Critical patent/CN103731451A/zh
Priority to US14/684,149 priority patent/US10681127B2/en
Application granted granted Critical
Publication of CN103731451B publication Critical patent/CN103731451B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/10—Active monitoring, e.g. heartbeat, ping or trace-route
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种文件上传的方法及系统，涉及通信网络技术领域，可以在上传文件过程中降低网络资源的占用，实现数据的共享，加快上传文件的速度。本发明实施例客户端的上传组件对待上传文件进行分片，获得至少一个文件分片，计算文件分片的校验信息，根据从上传逻辑服务器查询到的存储接口服务器的地址，向存储接口服务器上传文件分片；客户端的上传组件上传文件分片时，上传逻辑服务器向索引接入服务器发送待上传文件的文件标记；根据待上传文件的文件标记，下载客户端将本地保存的待上传文件的文件分片上传到存储接口服务器。本发明实施例提供的方案适合进行文件上传时采用。

Description

一种文件上传的方法及系统
技术领域
本发明涉及通信网络技术领域，尤其涉及一种文件上传的方法及系统。
背景技术
当需要将本地的文件上传到云存储服务器上时，为了加快文件的上传速度，可以采用点对点(Peer to Peer，P2P)技术。即将用户待上传文件的唯一标识HASH和当前正在进行P2P网络的节点关联，这样其他正在下载或者已经下载完成的P2P节点根据待上传文件的HASH可以协助原始上传节点上传对应的文件分片。在下载客户端P2P交互数据分片时，以及在存储接口服务器的统一调度下，下载客户端复制对应的数据分片进行上传，使得加快文件的上传进度。
现有技术可以采用私有客户端和服务器将文件上传到云存储服务器上，通过上传逻辑服务器获取上传文件的接口地址，然后本地扫描文件，对文件进行分片以及计算每个分片的校验信息，同时采用多线程的方式将每个分片根据接口地址上传到存储接口服务器上。校验信息用于在下载时校验获得的数据是否正确。
发明人发现现有技术中至少存在如下问题：由于在国内通常采用非对称数字用户环路(Asymmetric Digital Subscriber Line，ADSL)进行数据传输，ADSL的上传速度并不快，以及存在人为限制上传速度，这导致上传带宽资源缺乏；另外，上传相同文件时，无法直接实现上传过程中数据的共享，导致每个客户端都需要单独传输一部分数据，从而使得上传文件的速度较慢。
发明内容
本发明的实施例提供一种文件上传的方法及系统，可以在上传文件过程中降低网络资源的占用，以及实现数据的共享，加快上传文件的速度。
一方面，本发明的实施例提供一种文件上传的方法，包括：
客户端的上传组件对待上传文件进行分片，获得至少一个文件分片，并计算所述文件分片的校验信息；
所述客户端的上传组件根据从上传逻辑服务器查询到的存储接口服务器的地址，向存储接口服务器上传所述文件分片；
所述客户端的上传组件上传所述文件分片时，所述上传逻辑服务器向索引接入服务器发送所述待上传文件的文件标记，所述待上传文件的文件标记由所述文件分片的校验信息构成；
当下载客户端接收到索引接入服务器发送的上传所述待上传文件的信息时，根据所述待上传文件的文件标记，所述下载客户端将本地保存的所述待上传文件的文件分片上传到所述存储接口服务器。
在本发明另一实施例中，在所述当下载客户端接收到索引接入服务器发送的上传所述待上传文件的信息时，根据所述待上传文件的文件标记，所述下载客户端将本地保存的所述待上传文件的文件分片上传到所述存储接口服务器之前，还包括：
所述下载客户端向所述索引接入服务器发送查询信息，所述查询信息为查询已经下载完成或者正在下载的所述待上传文件的文件分片的任一第一节点；
所述索引接入服务器向索引应用服务器发送所述查询信息；
所述索引应用服务器根据所述查询信息查询到第一节点，并通过索引接入服务器发送给所述下载客户端；
所述下载客户端从所述第一节点上获取所述待上传文件的文件分片。
在本发明另一实施例中，所述下载客户端本地保存的所述待上传文件的文件分片包括从所述第一节点上获取所述待上传文件的文件分片，以及所述下载客户端已经下载的所述待上传文件的文件分片。
在本发明另一实施例中，所述当下载客户端接收到索引接入服务器发送的上传所述待上传文件的信息时，根据所述待上传文件的文件标记，所述下载客户端将本地保存的所述待上传文件的文件分片上传到所述存储接口服务器包括：
当下载客户端查询第一节点时，或者所述下载客户端与所述索引接入服务器心跳上报共享的所述待上传文件的文件标记时，所述索引接入服务器向所述下载客户端发送上传所述待上传文件的信息，以及发送所述存储接口服务器的 地址；
当下载客户端接收到索引接入服务器发送的上传所述待上传文件的信息以及所述存储接口服务器的地址时，根据所述待上传文件的文件标记，所述下载客户端将本地保存的所述待上传文件的文件分片上传到所述存储接口服务器。
在本发明另一实施例中，所述客户端的上传组件根据从上传逻辑服务器查询到的存储接口服务器的地址，向存储接口服务器上传所述文件分片之前，还包括：
所述客户端的上传组件向上传逻辑服务器查询所述待上传文件是否完成上传；
所述上传逻辑服务器通过存储索引服务器查询所述待上传文件是否完成上传；
当所述待上传文件已经完成上传时，则所述存储索引服务器通过所述上传逻辑服务器向所述客户端的上传组件发送所述待上传文件已经上传完成的消息；
当所述待上传文件未上传时，则所述存储索引服务器向所述上传逻辑服务器返回所述待上传文件未上传的消息；所述上传逻辑服务器接收到所述待上传文件未上传完成的消息时，向所述客户端的上传组件发送存储接口服务器的地址。
在本发明另一实施例中，当所述待上传文件完成上传一部分时，所述上传逻辑服务器根据记录的未上传完毕的所述待上传文件的续传信息，继续上传所述待上传文件的文件分片。
在本发明另一实施例中，在所述当下载客户端接收到索引接入服务器发送的上传所述待上传文件的信息时，根据所述待上传文件的文件标记，所述下载客户端将本地保存的所述待上传文件的文件分片上传到所述存储接口服务器之后，还包括：
当所述待上传文件的文件分片完成上传时，所述存储接口服务器校验上传的所述待上传文件的文件分片；
当校验成功时，则将所述待上传文件的文件分片写入云存储服务器；
向所述客户端的上传组件以及所述下载客户端发送所述待上传文件完成上传的消息；
将所述待上传文件的文件标记、所述待上传文件的大小、所述待上传文件的名称写入存储索引服务器，以便供所述上传逻辑服务器进行查询。
在本发明另一实施例中，当校验不成功时，根据所述待上传文件的文件标识，所述客户端的上传组件或者所述下载客户端重新上传所述待上传文件中上传错误的文件分片。
另一方面，本发明实施例还提供一种文件上传的系统，包括：
客户端的上传组件，用于对待上传文件进行分片，获得至少一个文件分片，并计算所述文件分片的校验信息；以及根据从上传逻辑服务器查询到的存储接口服务器的地址，向存储接口服务器上传所述文件分片；
所述上传逻辑服务器，用于在所述客户端的上传组件上传所述文件分片时，向索引接入服务器发送所述待上传文件的文件标记，所述待上传文件的文件标记由所述文件分片的校验信息构成；
索引接入服务器，用于接收所述上传逻辑服务器发送的所述待上传文件的文件标记，以及在下载客户端查询节点时，或者所述下载客户端与所述索引接入服务器心跳上报共享的所述待上传文件的文件标记时向所述下载客户端发送上传所述待上传文件的信息；
所述下载客户端，用于当所述下载客户端接收到索引接入服务器发送的上传所述待上传文件的信息时，根据所述待上传文件的文件标记，将本地保存的所述待上传文件的文件分片上传到所述存储接口服务器；
存储接口服务器，用于接收所述客户端的上传组件和/或所述下载客户端发送的所述待上传文件的文件分片。
在本发明另一实施例中，所述下载客户端，还用于向所述索引接入服务器发送查询信息，所述查询信息为查询已经下载完成或者正在下载的所述待上传文件的文件分片的任一第一节点；
所述索引接入服务器，用于向索引应用服务器发送所述查询信息；
所述索引应用服务器，用于根据所述查询信息查询到第一节点，并通过索 引接入服务器发送给所述下载客户端；
所述下载客户端，还用于从所述第一节点上获取所述待上传文件的文件分片。
在本发明另一实施例中，所述下载客户端本地保存的所述待上传文件的文件分片包括从所述第一节点上获取所述待上传文件的文件分片，以及所述下载客户端已经下载的所述待上传文件的文件分片。
在本发明另一实施例中，所述索引接入服务器，还用于当下载客户端查询第一节点时，或者所述下载客户端与所述索引接入服务器心跳上报共享的所述待上传文件的文件标记时，向所述下载客户端发送上传所述待上传文件的信息，以及发送所述存储接口服务器的地址；
所述下载客户端，用于当下载客户端接收到索引接入服务器发送的上传所述待上传文件的信息以及所述存储接口服务器的地址时，根据所述待上传文件的文件标记，将本地保存的所述待上传文件的文件分片上传到所述存储接口服务器。
在本发明另一实施例中，所述客户端的上传组件，还用于向上传逻辑服务器查询所述待上传文件是否完成上传；
所述上传逻辑服务器，用于通过存储索引服务器查询所述待上传文件是否完成上传；
所述存储索引服务器，用于查询所述待上传文件是否完成上传；以及，当所述待上传文件已经完成上传时，向所述上传逻辑服务器发送所述待上传文件已经上传完成的消息；以及，当所述待上传文件未上传时，向所述上传逻辑服务器发送所述待上传文件未上传的消息；
所述上传逻辑服务器，用于当所述待上传文件已经完成上传时，向所述客户端的上传组件发送所述待上传文件已经上传完成的消息；以及当所述待上传文件未上传时，向所述客户端的上传组件发送存储接口服务器的地址；以及当所述待上传文件完成上传一部分时，根据记录的未上传完毕的所述待上传文件的续传信息，继续上传所述待上传文件的文件分片。
在本发明另一实施例中，所述存储接口服务器，还用于：
当所述待上传文件的文件分片完成上传时，校验上传的所述待上传文件的文件分片；
当校验成功时，则将所述待上传文件的文件分片写入云存储服务器；
向所述客户端的上传组件以及所述下载客户端发送所述待上传文件完成上传的消息；
将所述待上传文件的文件标记、所述待上传文件的大小、所述待上传文件的名称写入存储索引服务器，以便供所述上传逻辑服务器进行查询。
在本发明另一实施例中，所述客户端的上传组件或者所述下载客户端，还用于当校验不成功时，根据所述待上传文件的文件标识，重新上传所述待上传文件中上传错误的文件分片。
本发明实施例提供一种文件上传的方法及系统，通过客户端的上传组件对待上传文件进行分片，获得至少一个文件分片，并计算所述文件分片的校验信息；所述客户端的上传组件根据从上传逻辑服务器查询到的存储接口服务器的地址，向存储接口服务器上传所述文件分片；所述客户端的上传组件上传所述文件分片时，所述上传逻辑服务器向索引接入服务器发送所述待上传文件的文件标记，所述待上传文件的文件标记由所述文件分片的校验信息构成；当下载客户端接收到索引接入服务器发送的上传所述待上传文件的信息时，根据所述待上传文件的文件标记，所述下载客户端将本地保存的所述待上传文件的文件分片上传到所述存储接口服务器。
与现有技术中上传文件时，由于在国内通常采用非对称数字用户环路ADSL进行数据传输，ADSL的上传速度并不快，以及存在人为限制上传速度，这导致上传带宽资源缺乏；另外，上传相同文件时，无法直接实现上传过程中数据的共享，导致每个客户端都需要单独传输一部分数据，从而使得上传文件的速度较慢相比，本发明实施例提供的方案可以将用户上传的文件和P2P下载技术关联起来，在用户上传文件时，使得下载客户端将自己本地保存的待上传文件进行上传，使得降低网络资源的占用，以及实现数据的共享，加快上传文件的速度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1提供的一种文件上传的方法的流程图；
图2为本发明实施例1提供的另一种文件上传的方法的流程图；
图3为本发明实施例1提供的客户端的上传组件从上传逻辑服务器查询到的存储接口服务器的地址的流程图；
图4为本发明实施例2提供的一种文件上传的系统的示意图；
图5为本发明实施例2提供的另一种文件上传的系统的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
本发明实施例提供一种文件上传的方法，如图1所示，该方法包括：
步骤101，客户端的上传组件对待上传文件进行分片，获得至少一个文件分片，并计算所述文件分片的校验信息；
其中，客户端的上传组件可以Axtive控件实现，为安装在浏览器的插件或者扩展，从本地上传文件分片到存储接口服务器，并且支持断点续传文件。断点续传即在上传文件的过程中中断上传，此时仅完成文件的部分上传，之后再上传此文件时，可以继续上传未上传的部分文件。
在本实施例中，客户端的上传组件对待上传文件进行分片，并计算所述文件分片的校验信息，具体包括：按照待上传文件的大小对文件进行分片，比如一个文件大小为T，按照分片大小P(T)，将文件划分为N＝(T+P(T)-1) /P(T)片。其中，分片大小通常和文件大小有关，例如分片后的文件可以是2M，1M，512KB，最小通常是32KB。当待上传文件非常大时，比如超过10G，为了避免分片太多，通常总的分片数目就固定，分片大小就不固定，即按照分片数目对待上传文件进行分片。
每个独立的分片作为一个小文件计算文件内容的唯一标识HASH，这样每个分片对应一组HASH，把这一组HASH称为文件校验信息。在下载过程中，每得到一个完整分片的数据，就可以通过计算HASH和校验HASH比较确定下载的数据是否正确。
步骤102，所述客户端的上传组件根据从上传逻辑服务器查询到的存储接口服务器的地址，向存储接口服务器上传所述文件分片；
其中，上传逻辑服务器，用于与客户端的上传组件通讯，并判断客户端的上传组件上传的文件HASH在存储索引服务器中是否存在，当客户端的上传组件上传的文件HASH在存储索引服务器中不存在时，则向客户端的上传组件返回需要上传文件的存储接口服务器的地址；当客户端的上传组件上传的文件HASH在存储索引服务器中存在时，则所述上传逻辑服务器向所述客户端的上传组件发送所述待上传文件已经上传完成的消息，不再需要重新上传。
步骤103，所述客户端的上传组件上传所述文件分片时，所述上传逻辑服务器向索引接入服务器发送所述待上传文件的文件标记，所述待上传文件的文件标记由所述文件分片的校验信息构成；
在本步骤中，客户端的上传组件上传所述文件分片时，所述上传逻辑服务器向索引接入服务器发送所述待上传文件的文件标记，目的为使得上传逻辑服务器和索引接入服务器之间建立文件上传HASH的同步，使得下载客户端可以通过索引接入服务器了解当前待上传文件的HASH，以便下载客户端可以在存储接口服务器的调度下上传自己本地保存的一部分文件分片，以加快文件上传的速度。
步骤104，当下载客户端接收到索引接入服务器发送的上传所述待上传文件的信息时，根据所述待上传文件的文件标记，所述下载客户端将本地保存的所述待上传文件的文件分片上传到所述存储接口服务器。
进一步的，存储接口服务器接收到客户端的上传组件和/或至少一个下载客户端发送的待上传文件的文件分片时，写入到云存储服务器中。
需要说明的是，由于上传通道的带宽是有限的，通常一个机器上需要连接网络访问的软件不止一个。如果一个软件占用上传通道的带宽过多，会影响其它软件的上传。通过本发明可以将上传文件的一部分工作让其他下载客户端协助完成，相当于降低了客户端的上传组件对网络资源的占用。
本发明实施例提供一种文件上传的方法，通过将用户待上传的文件和P2P下载技术关联起来，在用户上传待上传文件时，下载客户端将自己本地保存的待上传文件进行上传，使得降低网络资源的占用，以及实现数据的共享，加快上传文件的速度。
本发明实施例提供另一种文件上传的方法，如图2所示，该方法包括：
步骤201，客户端的上传组件对待上传文件进行分片，获得至少一个文件分片，并计算所述文件分片的校验信息；
在本实施例中，客户端的上传组件可以Axtive控件实现，为安装在浏览器的插件或者扩展，从本地上传文件分片到存储接口服务器，并且支持断点续传文件。断点续传即在上传文件的过程中中断上传，此时仅完成文件的部分上传，之后再上传此文件时，可以继续上传未上传的部分文件。
在本实施例中，客户端的上传组件对待上传文件进行分片，并计算所述文件分片的校验信息，具体包括：按照待上传文件的大小对文件进行分片，比如一个文件大小为T，按照分片大小P(T)，将文件划分为N＝(T+P(T)-1)/P(T)片。其中，分片大小通常和文件大小有关，例如分片后的文件可以是2M，1M，512KB，最小通常是32KB。当待上传文件非常大时，比如超过10G，为了避免分片太多，通常总的分片数目就固定，分片大小就不固定，即按照分片数目对待上传文件进行分片。
每个独立的分片作为一个小文件计算文件内容的唯一标识HASH，这样每个分片对应一组HASH，把这一组HASH称为文件校验信息。在下载过程中，每得到一个完整分片的数据，就可以通过计算HASH和校验HASH比较确定下载的数据是否正确。
步骤202，所述客户端的上传组件从上传逻辑服务器查询到的存储接口服务器的地址；
本步骤中，客户端的上传组件从上传逻辑服务器查询到的存储接口服务器的地址具体包括以下步骤，如图3所示：
步骤301，所述客户端的上传组件向上传逻辑服务器查询所述待上传文件是否完成上传；
步骤302，所述上传逻辑服务器通过存储索引服务器查询所述待上传文件是否完成上传；
在本步骤中，存储索引服务器，用于接收上传逻辑服务器发送的查询消息，其中，查询消息中用于查询所述待上传文件是否完成上传，所述查询消息中包括所述待上传文件的文件标记，所述待上传文件的文件标记由所述文件分片的校验信息构成。存储索引服务器中保存所有云存储户服务器上存在文件的HASH、各文件的大小、各文件的上传时间以及文件名称等文件信息。其中，存储索引服务器中保存的文件信息由存储接口服务器在将完成上传的文件写入云存储户服务器后发送的。
步骤303，当所述待上传文件已经完成上传时，则所述存储索引服务器通过所述上传逻辑服务器向所述客户端的上传组件发送所述待上传文件已经上传完成的消息；
上传逻辑服务器通过将待上传文件的HASH与其中保存的各个文件的HASH进行比较，当上传逻辑服务器中保存的各个文件的HASH中存在与待上传文件的HASH相同的文件时，则说明待上传文件在之前已经完成上传，此时直接进行秒传输，即上传逻辑服务器向所述客户端的上传组件发送所述待上传文件已经上传完成的消息。
步骤304，当所述待上传文件未上传时，则所述存储索引服务器向所述上传逻辑服务器返回所述待上传文件未上传的消息；
上传逻辑服务器通过将待上传文件的HASH与其中保存的各个文件的HASH进行比较，当上传逻辑服务器中保存的各个文件的HASH中不存在与待上传文件的HASH相同的文件时，则说明待上传文件未完成上传，
步骤305，所述上传逻辑服务器接收到所述待上传文件未上传完成的消息时，向所述客户端的上传组件发送存储接口服务器的地址；
此时上传逻辑服务器向所述客户端的上传组件发送存储接口服务器的地址，以便客户端的上传组件根据存储接口服务器的地址上传待上传文件的文件分片。
需要说明的是，当所述待上传文件完成上传一部分时，所述上传逻辑服务器根据记录的未上传完毕的所述待上传文件的续传信息，继续上传所述待上传文件的文件分片。
客户端的上传组件可以支持断点续传文件，即待上传文件完成上传一部分中断时，在客户端的上传组件重新启动上传之前，会向上传逻辑服务器查询已经上传了多少内容，上传逻辑服务器会记录未上传完毕的所述待上传文件的续传信息，然后，客户端的上传组件根据此续传信息，继续上传所述待上传文件的文件分片。
在客户端的上传组件从上传逻辑服务器查询到的存储接口服务器的地址之后，继续执行后续步骤。
步骤203，所述客户端的上传组件根据从上传逻辑服务器查询到的存储接口服务器的地址，向存储接口服务器上传所述文件分片；
步骤204，所述存储接口服务器接收所述客户端的上传组件上传的文件分片，并将上传成功的文件分片写入到云存储户服务器；
存储接口服务器每接收到一个完整的文件分片，可以计算此文件分片的校验信息，校验上传的文件分片是否正确。当上传的文件分片正确时，将此文件分片写入到云存储户服务器，并且向所述客户端的上传组件以及所述下载客户端发送所述待上传文件完成上传的消息；进一步的，将所述待上传文件的文件标记、所述待上传文件的大小、所述待上传文件的名称写入存储索引服务器，以便供所述上传逻辑服务器进行查询。当校验不成功时，根据所述待上传文件的文件标识，所述客户端的上传组件或者所述下载客户端重新上传所述待上传文件中上传错误的文件分片。其中，校验文件分片可以采用现有技术进行校验，本发明实施例不限制校验文件分片的方式。
需要说明的是，由于上传通道的带宽是有限的，通常一个机器上需要连接网络访问的软件不止一个。如果一个软件占用上传通道的带宽过多，会影响其它软件的上传。通过本发明可以将上传文件的一部分工作让其他下载客户端协助完成，相当于降低了客户端的上传组件对网络资源的占用。
步骤205，所述客户端的上传组件上传所述文件分片时，所述上传逻辑服务器向索引接入服务器发送所述待上传文件的文件标记；
在本步骤中，所述待上传文件的文件标记由所述文件分片的校验信息构成。
客户端的上传组件上传所述文件分片时，所述上传逻辑服务器向索引接入服务器发送所述待上传文件的文件标记的目的为，使得上传逻辑服务器和索引接入服务器之间建立文件上传HASH的同步，使得下载客户端可以通过索引接入服务器了解当前待上传文件的HASH，以便下载客户端可以在存储接口服务器的调度下上传自己本地保存的一部分文件分片，以加快文件上传的速度。
步骤206，所述下载客户端向所述索引接入服务器发送查询信息，所述查询信息为查询已经下载完成或者正在下载的所述待上传文件的文件分片的任一第一节点PEER；
下载客户端可以从多源索引服务器查询希望下载的资源和文件校验信息，即查询多资源统一资源定位符(Uniform/Universal Resource Locator，UR)集合，然后从查询到的URL集合中下载文件分片，需要说明的是，这里的文件分片为下载客户端的用户希望下载的文件的文件分片，当然，此文件分片也可以为下载客户端的用户下载客户端的上传组件待上传的文件的文件分片。
多源索引服务器接收到下载客户端发送的下载查询信息之后，向多源索引数据库查询是否存在下载客户端希望下载的资源。
多源索引服务器用于接收下载客户端通过URL或者URL本身的HASH作为索引的入口查询文件分片HASH或者该文件所在文件集合的唯一标识；以及接收客户端通过URL或者URL本身的HASH作为索引的入口查询下载的多URL资源集合；还用于提供文件分片校验信息或者文件集合的统一分片校验信息，供下载客户端校验下载数据的有效性。多源索引数据库中保存文件分片的校验信息，可以为多源索引服务器提供多资源查询服务。多源索引数据库还用于保存URL到 HASH1，HASH2到URL集合，即URL是一个字符串，也可以作为输入，计算一个HASH1，即通过URI获得一个对应的HASH1；后面的HASH2是文件内容的HASH2，HASH1与HASH2可以一一对应。反过来，一个文件内容的HASH2可能有不同的链接URL，这个为一对多的关系，所以称为HASH2到URL的集合。
在本步骤中，下载客户端向索引接入服务器查询是否存在PEER，PEER为与下载客户端已经下载完成或者正在下载的同一文件的下载客户端。下载客户端与PEER为P2P。
索引接入服务器，用于与下载客户端维持节点上报、心跳、添加、删除文件的通讯。心跳指下载客户端和索引接入服务器的周期性通讯，通过这种方式确保节点在线，如果超于一定时间索引接入服务器没有收到客户端发送的心跳报文，就认为客户端下线了。
步骤207，所述索引接入服务器向索引应用服务器发送所述查询信息；
需要说明的是，索引应用服务器还用于接收索引接入服务器发送的节点信息注册，可以维持某一个文件在线PEER的信息别表。
步骤208，所述索引应用服务器根据所述查询信息查询到第一PEER，并通过索引接入服务器发送给所述下载客户端；
索引应用TrackerApp服务器接收索引接入服务器发送的查询消息，根据查询消息实现具体PEER选择算法和策略，为索引接入服务器提供PEER查询服务。
步骤209，所述下载客户端从所述第一PEER上获取所述待上传文件的文件分片；
下载客户端从所述第一PEER上获取所述待上传文件的文件分片即基于PPP协议进行点与点之间的数据传输。
步骤210，当下载客户端接收到索引接入服务器发送的上传所述待上传文件的信息时，根据所述待上传文件的文件标记，所述下载客户端将本地保存的所述待上传文件的文件分片上传到所述存储接口服务器；
在本步骤中，所述下载客户端本地保存的所述待上传文件的文件分片包括从所述第一PEER上获取所述待上传文件的文件分片，以及所述下载客户端由多源索引服务器以及多源索引数据库中已经下载完成的所述待上传文件的文件分 片。
进一步的，当下载客户端查询第一PEER时，或者所述下载客户端与所述索引接入服务器心跳上报共享的所述待上传文件的文件标记时，所述索引接入服务器向所述下载客户端发送上传所述待上传文件的信息，以及发送所述存储接口服务器的地址；
当下载客户端接收到索引接入服务器发送的上传所述待上传文件的信息以及所述存储接口服务器的地址时，根据所述待上传文件的文件标记，所述下载客户端将本地保存的所述待上传文件的文件分片上传到所述存储接口服务器。
当下载客户端将待上传文件的文件分片上传到存储接口服务器上之后，即继续执行步骤204。
本发明实施例提供一种文件上传的方法，通过在客户端的上传组件上传文件时，其他正在下载或者已经下载完成的P2P的节点可以协助客户端的上传组件上传对应的文件分片，在下载客户端交换文件分片的时候，在存储接口服务器的统一调度下，复制对应的文件分片多上传一份，从而整体效果上突破本地上传物理带宽的限制，在上传文件过程中降低网络资源的占用，以及实现数据的共享，加快上传文件的速度。
实施例2
本发明实施例提供一种文件上传的系统，如图4所示，该系统包括：客户端的上传组件401，上传逻辑服务器402，索引接入服务器403，下载客户端404，存储接口服务器405；
客户端的上传组件401，用于对待上传文件进行分片，获得至少一个文件分片，并计算所述文件分片的校验信息；以及根据从上传逻辑服务器查询到的存储接口服务器的地址，向存储接口服务器上传所述文件分片；
所述上传逻辑服务器402，用于在所述客户端的上传组件上传所述文件分片时，向索引接入服务器发送所述待上传文件的文件标记，所述待上传文件的文件标记由所述文件分片的校验信息构成；
索引接入服务器403，用于接收所述上传逻辑服务器402发送的所述待上传文件的文件标记，以及在下载客户端404查询节点PEER时，或者所述下载客户 端404与所述索引接入服务器403心跳上报共享的所述待上传文件的文件标记时向所述下载客户端404发送上传所述待上传文件的信息；
所述下载客户端404，用于当所述下载客户端接收到索引接入服务器403发送的上传所述待上传文件的信息时，根据所述待上传文件的文件标记，将本地保存的所述待上传文件的文件分片上传到所述存储接口服务器。
存储接口服务器405，用于接收所述客户端的上传组件401和/或所述下载客户端404发送的所述待上传文件的文件分片。
需要说明的是，由于上传通道的带宽是有限的，通常一个机器上需要连接网络访问的软件不止一个。如果一个软件占用上传通道的带宽过多，会影响其它软件的上传。通过本发明可以将上传文件的一部分工作让其他下载客户端协助完成，相当于降低了客户端的上传组件对网络资源的占用。
进一步的，如图5所示，所述系统还包括：存储索引服务器406；
在所述客户端的上传组件401根据从上传逻辑服务器402查询到的存储接口服务器405的地址，向存储接口服务器上传所述文件分片之前，所述客户端的上传组件401，还用于向上传逻辑服务器402查询所述待上传文件是否完成上传；
所述上传逻辑服务器402，用于通过存储索引服务器406查询所述待上传文件是否完成上传；
所述存储索引服务器406，用于查询所述待上传文件是否完成上传；以及，当所述待上传文件已经完成上传时，向所述上传逻辑服务器发送所述待上传文件已经上传完成的消息；以及，当所述待上传文件未上传时，向所述上传逻辑服务器发送所述待上传文件未上传的消息；
当所述待上传文件已经完成上传时，所述上传逻辑服务器402，用于向所述客户端的上传组件401发送所述待上传文件已经上传完成的消息；以及当所述待上传文件未上传时，向所述客户端的上传组件401发送存储接口服务器405的地址；以及当所述待上传文件完成上传一部分时，根据记录的未上传完毕的所述待上传文件的续传信息，继续上传所述待上传文件的文件分片。
进一步的，如图5所示，所述系统还包括索引应用服务器407，多源索引服 务器408，多源索引数据库409；
在所述当所述下载客户端404接收到索引接入服务器403发送的上传所述待上传文件的信息时，根据所述待上传文件的文件标记，所述下载客户端404将本地保存的所述待上传文件的文件分片上传到所述存储接口服务器之前，所述下载客户端404向所述索引接入服务器403发送查询信息，所述查询信息为查询已经下载完成或者正在下载的所述待上传文件的文件分片的任一第一PEER；
所述索引接入服务器403向索引应用服务器407发送所述查询信息；
所述索引应用服务器407根据所述查询信息查询到第一PEER，并通过索引接入服务器403发送给所述下载客户端404；
所述下载客户端404从所述第一PEER上获取所述待上传文件的文件分片。
所述下载客户端404本地保存的所述待上传文件的文件分片包括从所述第一PEER上获取所述待上传文件的文件分片，以及所述下载客户端404已经下载的所述待上传文件的文件分片。其中，所述下载客户端404已经下载的所述待上传文件的文件分片具体为：下载客户端可以从多源索引服务器408查询希望下载的资源和文件校验信息，即查询多资源统一资源定位符(Uniform/Universal Resource Locator，UR)集合，然后从查询到的URL集合中下载文件分片，需要说明的是，这里的文件分片为下载客户端的用户希望下载的文件的文件分片，当然，此文件分片也可以为下载客户端的用户下载客户端的上传组件待上传的文件的文件分片。
多源索引服务器408接收到下载客户端发送的下载查询信息之后，向多源索引数据库409查询是否存在下载客户端希望下载的资源。
多源索引服务器408用于接收下载客户端通过URL或者URL本身的HASH作为索引的入口查询文件分片HASH或者该文件所在文件集合的唯一标识；以及接收客户端通过URL或者URL本身的HASH作为索引的入口查询下载的多URL资源集合；还用于提供文件分片校验信息或者文件集合的统一分片校验信息，供下载客户端校验下载数据的有效性。多源索引数据库409中保存文件分片的校验信息，可以为多源索引服务器408提供多资源查询服务。多源索引数据库409 还用于保存URL到HASH1，HASH2到URL集合，即URL是一个字符串，也可以作为输入，计算一个HASH1，即通过URI获得一个对应的HASH1；后面的HASH2是文件内容的HASH2，HASH1与HASH2可以一一对应。反过来，一个文件内容的HASH2可能有不同的链接URL，这个为一对多的关系，所以称为HASH2到URL的集合。
进一步的，所述下载客户端404，用于当所述下载客户端404接收到索引接入服务器403发送的上传所述待上传文件的信息时，根据所述待上传文件的文件标记，将本地保存的所述待上传文件的文件分片上传到所述存储接口服务器，具体包括：当下载客户端404查询第一PEER时，或者所述下载客户端404与所述索引接入服务器403心跳上报共享的所述待上传文件的文件标记时，所述索引接入服务器403向所述下载客户端404发送上传所述待上传文件的信息，以及发送所述存储接口服务器405的地址；
当下载客户端404接收到索引接入服务器403发送的上传所述待上传文件的信息以及所述存储接口服务器405的地址时，根据所述待上传文件的文件标记，所述下载客户端404将本地保存的所述待上传文件的文件分片上传到所述存储接口服务器405。
进一步的，所述系统还包括：云存储服务器410；
在所述当所述下载客户端404接收到索引接入服务器403发送的上传所述待上传文件的信息时，根据所述待上传文件的文件标记，所述下载客户端404将本地保存的所述待上传文件的文件分片上传到所述存储接口服务器之后，当所述待上传文件的文件分片完成上传时，所述存储接口服务器405校验上传的所述待上传文件的文件分片；
当校验成功时，所述存储接口服务器405则将所述待上传文件的文件分片写入云存储服务器410；
所述存储接口服务器405向所述客户端的上传组件401以及所述下载客户端404发送所述待上传文件完成上传的消息；
所述存储接口服务器405将所述待上传文件的文件标记、所述待上传文件的大小、所述待上传文件的名称写入存储索引服务器406，以便供所述上传逻辑服务器进行查询。
当校验不成功时，根据所述待上传文件的文件标识，所述客户端的上传组件401或者所述下载客户端404重新上传所述待上传文件中上传错误的文件分片。
本发明实施例提供一种文件上传的系统，通过客户端的上传组件向存储接口服务器上传待上传文件的文件分片时，下载客户端将本地保存的所述待上传文件的文件分片上传到所述存储接口服务器，使得在上传文件过程中降低网络资源的占用，以及实现数据的共享，加快上传文件的速度。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (13)

1.一种文件上传的方法，其特征在于，包括：
客户端的上传组件对待上传文件进行分片，获得至少一个文件分片，并计算所述文件分片的校验信息，所述客户端的上传组件按照待上传文件的大小对所述待上传文件进行分片；
所述客户端的上传组件根据从上传逻辑服务器查询到的存储接口服务器的地址，向存储接口服务器上传所述文件分片；
所述客户端的上传组件上传所述文件分片时，所述上传逻辑服务器向索引接入服务器发送所述待上传文件的文件标记，所述待上传文件的文件标记由所述文件分片的校验信息构成；
下载客户端向索引接入服务器发送查询信息，所述查询信息为查询已经下载完成或者正在下载的所述待上传文件的文件分片的任一第一节点；所述索引接入服务器向索引应用服务器发送所述查询信息；
所述索引应用服务器根据所述查询信息查询到第一节点，并通过索引接入服务器发送给所述下载客户端；
所述下载客户端从所述第一节点上获取所述待上传文件的文件分片；
当下载客户端接收到索引接入服务器发送的上传所述待上传文件的信息时，根据所述待上传文件的文件标记，所述下载客户端将本地保存的所述待上传文件的文件分片上传到所述存储接口服务器。
2.根据权利要求1所述的方法，其特征在于，所述下载客户端本地保存的所述待上传文件的文件分片包括从所述第一节点上获取所述待上传文件的文件分片，以及所述下载客户端已经下载的所述待上传文件的文件分片。
3.根据权利要求2所述的方法，其特征在于，所述当下载客户端接收到索引接入服务器发送的上传所述待上传文件的信息时，根据所述待上传文件的文件标记，所述下载客户端将本地保存的所述待上传文件的文件分片上传到所述存储接口服务器包括：
当下载客户端查询第一节点时，或者所述下载客户端与所述索引接入服务器心跳上报共享的所述待上传文件的文件标记时，所述索引接入服务器向所述下载客户端发送上传所述待上传文件的信息，以及发送所述存储接口服务器的地址；
当下载客户端接收到索引接入服务器发送的上传所述待上传文件的信息以及所述存储接口服务器的地址时，根据所述待上传文件的文件标记，所述下载客户端将本地保存的所述待上传文件的文件分片上传到所述存储接口服务器。
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述客户端的上传组件根据从上传逻辑服务器查询到的存储接口服务器的地址，向存储接口服务器上传所述文件分片之前，还包括：
所述客户端的上传组件向上传逻辑服务器查询所述待上传文件是否完成上传；
所述上传逻辑服务器通过存储索引服务器查询所述待上传文件是否完成上传；
当所述待上传文件已经完成上传时，则所述存储索引服务器通过所述上传逻辑服务器向所述客户端的上传组件发送所述待上传文件已经上传完成的消息；
当所述待上传文件未上传时，则所述存储索引服务器向所述上传逻辑服务器返回所述待上传文件未上传的消息；所述上传逻辑服务器接收到所述待上传文件未上传完成的消息时，向所述客户端的上传组件发送存储接口服务器的地址。
5.根据权利要求4所述的方法，其特征在于，当所述待上传文件完成上传一部分时，所述上传逻辑服务器根据记录的未上传完毕的所述待上传文件的续传信息，继续上传所述待上传文件的文件分片。
6.根据权利要求4所述的方法，其特征在于，在所述当下载客户端接收到索引接入服务器发送的上传所述待上传文件的信息时，根据所述待上传文件的文件标记，所述下载客户端将本地保存的所述待上传文件的文件分片上传到所述存储接口服务器之后，还包括：
当所述待上传文件的文件分片完成上传时，所述存储接口服务器校验上传的所述待上传文件的文件分片；
当校验成功时，则将所述待上传文件的文件分片写入云存储服务器；
向所述客户端的上传组件以及所述下载客户端发送所述待上传文件完成上传的消息；
将所述待上传文件的文件标记、所述待上传文件的大小、所述待上传文件的名称写入存储索引服务器，以便供所述上传逻辑服务器进行查询。
7.根据权利要求6所述的方法，其特征在于，
当校验不成功时，根据所述待上传文件的文件标识，所述客户端的上传组件或者所述下载客户端重新上传所述待上传文件中上传错误的文件分片。
8.一种文件上传的系统，其特征在于，包括：
客户端的上传组件，用于对待上传文件进行分片，获得至少一个文件分片，并计算所述文件分片的校验信息，所述客户端的上传组件按照待上传文件的大小对所述待上传文件进行分片；以及根据从上传逻辑服务器查询到的存储接口服务器的地址，向存储接口服务器上传所述文件分片；
所述上传逻辑服务器，用于在所述客户端的上传组件上传所述文件分片时，向索引接入服务器发送所述待上传文件的文件标记，所述待上传文件的文件标记由所述文件分片的校验信息构成；
索引接入服务器，用于接收所述上传逻辑服务器发送的所述待上传文件的文件标记，以及在下载客户端查询节点时，或者所述下载客户端与所述索引接入服务器心跳上报共享的所述待上传文件的文件标记时向所述下载客户端发送上传所述待上传文件的信息；
所述下载客户端，用于向所述索引接入服务器发送查询信息，所述查询信息为查询已经下载完成或者正在下载的所述待上传文件的文件分片的任一第一节点；
所述索引接入服务器，用于向索引应用服务器发送所述查询信息；
所述索引应用服务器，用于根据所述查询信息查询到第一节点，并通过索引接入服务器发送给所述下载客户端；
所述下载客户端，还用于从所述第一节点上获取所述待上传文件的文件分片，当所述下载客户端接收到索引接入服务器发送的上传所述待上传文件的信息时，根据所述待上传文件的文件标记，将本地保存的所述待上传文件的文件分片上传到所述存储接口服务器；
存储接口服务器，用于接收所述客户端的上传组件和/或所述下载客户端发送的所述待上传文件的文件分片。
9.根据权利要求8所述的系统，其特征在于，
所述下载客户端本地保存的所述待上传文件的文件分片包括从所述第一节点上获取所述待上传文件的文件分片，以及所述下载客户端已经下载的所述待上传文件的文件分片。
10.根据权利要求9所述的系统，其特征在于，
所述索引接入服务器，还用于当下载客户端查询第一节点时，或者所述下载客户端与所述索引接入服务器心跳上报共享的所述待上传文件的文件标记时，向所述下载客户端发送上传所述待上传文件的信息，以及发送所述存储接口服务器的地址；
所述下载客户端，用于当下载客户端接收到索引接入服务器发送的上传所述待上传文件的信息以及所述存储接口服务器的地址时，根据所述待上传文件的文件标记，将本地保存的所述待上传文件的文件分片上传到所述存储接口服务器。
11.根据权利要求8-10中任一项所述的系统，其特征在于，
所述客户端的上传组件，还用于向上传逻辑服务器查询所述待上传文件是否完成上传；
所述上传逻辑服务器，用于通过存储索引服务器查询所述待上传文件是否完成上传；
所述存储索引服务器，用于查询所述待上传文件是否完成上传；以及，当所述待上传文件已经完成上传时，向所述上传逻辑服务器发送所述待上传文件已经上传完成的消息；以及，当所述待上传文件未上传时，向所述上传逻辑服务器发送所述待上传文件未上传的消息；
所述上传逻辑服务器，用于当所述待上传文件已经完成上传时，向所述客户端的上传组件发送所述待上传文件已经上传完成的消息；以及当所述待上传文件未上传时，向所述客户端的上传组件发送存储接口服务器的地址；以及当所述待上传文件完成上传一部分时，根据记录的未上传完毕的所述待上传文件的续传信息，继续上传所述待上传文件的文件分片。
12.根据权利要求10所述的系统，其特征在于，所述存储接口服务器，还用于：
当所述待上传文件的文件分片完成上传时，校验上传的所述待上传文件的文件分片；
当校验成功时，则将所述待上传文件的文件分片写入云存储服务器；
向所述客户端的上传组件以及所述下载客户端发送所述待上传文件完成上传的消息；
将所述待上传文件的文件标记、所述待上传文件的大小、所述待上传文件的名称写入存储索引服务器，以便供所述上传逻辑服务器进行查询。
13.根据权利要求12所述的系统，其特征在于，
所述客户端的上传组件或者所述下载客户端，还用于当校验不成功时，根据所述待上传文件的文件标识，重新上传所述待上传文件中上传错误的文件分片。
CN201210387535.XA 2012-10-12 2012-10-12 一种文件上传的方法及系统 Active CN103731451B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201210387535.XA CN103731451B (zh) 2012-10-12 2012-10-12 一种文件上传的方法及系统
PCT/CN2013/084894 WO2014056428A1 (zh) 2012-10-12 2013-10-09 一种文件上传的方法及系统
US14/684,149 US10681127B2 (en) 2012-10-12 2015-04-10 File upload method and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210387535.XA CN103731451B (zh) 2012-10-12 2012-10-12 一种文件上传的方法及系统

Publications (2)

Publication Number Publication Date
CN103731451A CN103731451A (zh) 2014-04-16
CN103731451B true CN103731451B (zh) 2018-10-19

Family

ID=50455378

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210387535.XA Active CN103731451B (zh) 2012-10-12 2012-10-12 一种文件上传的方法及系统

Country Status (3)

Country Link
US (1) US10681127B2 (zh)
CN (1) CN103731451B (zh)
WO (1) WO2014056428A1 (zh)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105282555B (zh) * 2014-06-26 2018-03-30 爱尔达科技股份有限公司 多媒体文件储存系统与相关装置
TWI553489B (zh) * 2014-09-02 2016-10-11 緯創資通股份有限公司 存取雲端儲存空間資料的方法以及使用該方法的裝置
CN104184740B (zh) * 2014-09-04 2019-02-05 中电长城网际系统应用有限公司 可信传输方法、可信第三方和可信传输系统
CN105208135B (zh) * 2015-10-26 2019-06-14 天津书生云科技有限公司 一种文件传输方法和设备
CN106911751A (zh) * 2015-12-23 2017-06-30 北京奇虎科技有限公司 文件获取方法、装置与系统
CN106909591A (zh) * 2015-12-23 2017-06-30 北京奇虎科技有限公司 文件获取方法、装置与系统
CN107426258B (zh) * 2016-05-23 2020-04-28 华为技术有限公司 一种镜像文件的上传和下载方法及装置
CN107656695B (zh) * 2016-07-25 2020-12-25 杭州海康威视数字技术股份有限公司 一种数据存储、删除方法、装置及分布式存储系统
CN107872489B (zh) * 2016-09-28 2020-06-05 杭州海康威视数字技术股份有限公司 一种文件切片上传方法、装置及云存储系统
CN107959695B (zh) * 2016-10-14 2021-01-29 北京国双科技有限公司 一种数据传输方法及装置
CN108234539B (zh) * 2016-12-14 2022-06-03 北京金山云网络技术有限公司 一种文件上传、下载、传输方法及装置
US10616309B2 (en) * 2016-12-30 2020-04-07 Facebook, Inc. Systems and methods for resumable uploading of data in a social networking system
CN107360233A (zh) * 2017-07-14 2017-11-17 世纪龙信息网络有限责任公司 文件上传的方法、装置、设备及可读存储介质
US11190576B2 (en) 2017-09-12 2021-11-30 Wangsu Science & Technology Co., Ltd. File distribution and download method, distribution server, client terminal and system
CN107483627B (zh) * 2017-09-12 2021-06-22 网宿科技股份有限公司 一种文件分发、下载方法、分发服务器、客户端及系统
CN109525624B (zh) * 2017-09-20 2022-01-04 腾讯科技（深圳）有限公司 一种容器登录方法、装置及存储介质
CN107465767B (zh) 2017-09-29 2020-06-23 网宿科技股份有限公司 一种数据同步的方法和系统
CN109729120A (zh) * 2017-10-30 2019-05-07 北京国双科技有限公司 文件上传的方法及装置
CN109144966A (zh) * 2018-07-06 2019-01-04 航天星图科技（北京）有限公司 一种海量时空数据的高效组织与管理方法
CN109658542B (zh) * 2018-11-16 2021-10-22 深圳市元征科技股份有限公司 诊断参数数据校验方法、装置、车辆诊断设备和存储介质
CN111200479B (zh) * 2018-11-19 2022-04-12 福建天泉教育科技有限公司 传输数据的校验方法、存储介质
CN109660639B (zh) * 2018-12-11 2022-02-25 深圳市迅雷网络技术有限公司 一种数据上传方法、设备、系统及介质
CN109714330B (zh) * 2018-12-24 2021-07-23 武汉烽火众智数字技术有限责任公司 一种跨网络的断点续传方法和系统
CN110417890A (zh) * 2019-07-30 2019-11-05 深圳市瑞云科技有限公司 一种提升企业渲染客户端文件秒传校验的方法
CN110401725A (zh) * 2019-08-23 2019-11-01 深圳市鹰硕技术有限公司 文件上传方法、装置、终端、服务器、系统及存储介质
CN111131450B (zh) * 2019-12-23 2022-06-21 北京奇艺世纪科技有限公司 文件上传方法、重组方法及装置
WO2021146896A1 (zh) * 2020-01-21 2021-07-29 华为技术有限公司 文件分享方法、装置及系统
CN111404990B (zh) * 2020-02-14 2023-06-02 Oppo（重庆）智能科技有限公司 文件传输方法、装置、客户端及存储介质
CN111367926A (zh) * 2020-02-27 2020-07-03 星辰天合（北京）数据科技有限公司 分布式系统的数据处理方法和装置
CN113273163A (zh) * 2020-05-26 2021-08-17 深圳元戎启行科技有限公司 文件上传方法、文件下载方法和文件管理装置
CN111770165A (zh) * 2020-06-28 2020-10-13 百度在线网络技术（北京）有限公司 用于上传文件的方法、装置、电子设备及可读存储介质
CN112351111B (zh) * 2020-12-30 2023-01-03 常州微亿智造科技有限公司 一种工业质检文件上传服务器端近实时进度监控方法
CN112860729A (zh) * 2021-03-29 2021-05-28 中信银行股份有限公司 一种运算方法、装置、电子设备和可读存储介质
CN113824760B (zh) * 2021-08-03 2024-01-30 中债金科信息技术有限公司 文件并发分块上传方法、装置、电子设备及存储介质
CN114363321A (zh) * 2021-12-30 2022-04-15 支付宝(杭州)信息技术有限公司 文件传输方法、设备及系统
CN116016549B (zh) * 2022-12-12 2024-10-01 中科南京软件技术研究院 数据文件动态分片上传的方法及其系统
CN116760819B (zh) * 2023-07-14 2024-01-30 中电长城网际系统应用广东有限公司 计算机文件网络传送方法、计算机装置和装置介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1996843A (zh) * 2005-12-26 2007-07-11 北大方正集团有限公司 轻量级分布式文件存储系统及文件上传的方法
CN101079709A (zh) * 2006-06-15 2007-11-28 腾讯科技（深圳）有限公司 单点对多节点并发下载系统和方法
CN101141476A (zh) * 2007-10-09 2008-03-12 创新科存储技术（深圳）有限公司 文件存储、下载方法以及装置
CN101674330A (zh) * 2009-10-09 2010-03-17 中兴通讯股份有限公司 业务交互方法及装置
CN101699822A (zh) * 2009-08-06 2010-04-28 腾讯科技（深圳）有限公司 一种文件上传方法、装置和海量存储系统

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0993163A1 (en) * 1998-10-05 2000-04-12 Backweb Technologies Ltd. Distributed client-based data caching system and method
WO2001071992A2 (en) * 2000-03-22 2001-09-27 Omnipod, Inc. Integrated system and method of providing online access to files and information
US20030154284A1 (en) * 2000-05-31 2003-08-14 James Bernardin Distributed data propagator
CA2439565C (en) * 2001-02-28 2016-05-17 Musicrebellion Com, Inc. Digital online exchange
US7512676B2 (en) * 2001-09-13 2009-03-31 Network Foundation Technologies, Llc Systems for distributing data over a computer network and methods for arranging nodes for distribution of data over a computer network
US8041803B2 (en) * 2001-09-26 2011-10-18 Qurio Holdings, Inc. Method and system for delivering files in digital file marketplace
US7574488B2 (en) * 2002-05-31 2009-08-11 Hitachi, Ltd. Method and apparatus for peer-to-peer file sharing
US7739240B2 (en) * 2002-12-09 2010-06-15 Hewlett-Packard Development Company, L.P. Replication and replica management in a wide area file system
US20050007964A1 (en) * 2003-07-01 2005-01-13 Vincent Falco Peer-to-peer network heartbeat server and associated methods
US7570600B1 (en) * 2003-12-17 2009-08-04 Symantec Operating Corporation Overlay network with efficient routing and recovery
GB0402739D0 (en) * 2004-02-09 2004-03-10 Saviso Group Ltd Methods and apparatus for routing in a network
US7627328B2 (en) * 2004-08-03 2009-12-01 At&T Mobility Ii Llc Auditing of wireless network node databases
CA2486103A1 (en) * 2004-10-26 2006-04-26 Platespin Ltd. System and method for autonomic optimization of physical and virtual resource use in a data center
US20080034394A1 (en) * 2005-04-04 2008-02-07 Jacobs John S System and method for content distribution
DE102006021591B3 (de) * 2006-05-09 2007-04-05 Siemens Ag Verfahren und Anordnung zur Datenübertragung zwischen Peer-to-Peer-Netzwerken
CN101090360A (zh) * 2006-06-12 2007-12-19 朗迅科技公司 可记帐的对等式文件下载系统
US20080133767A1 (en) * 2006-11-22 2008-06-05 Metis Enterprise Technologies Llc Real-time multicast peer-to-peer video streaming platform
US20080222236A1 (en) * 2006-11-27 2008-09-11 Christopher James Nason Method and system for processing data on a plurality of communication devices
US7814146B2 (en) * 2006-12-05 2010-10-12 International Business Machines Corporation File fragment trading based on rarity values in a segmented file sharing system
US8131673B2 (en) * 2006-12-05 2012-03-06 International Business Machines Corporation Background file sharing in a segmented peer-to-peer file sharing network
US7903652B2 (en) * 2006-12-14 2011-03-08 At&T Intellectual Property I, L.P. System and method for peer to peer video streaming
US20080235746A1 (en) * 2007-03-20 2008-09-25 Michael James Peters Methods and apparatus for content delivery and replacement in a network
US20090199250A1 (en) * 2007-08-08 2009-08-06 Harmonic Inc. Methods and System for Data Transfer Over Hybrid Fiber Cable Infrastructure
US9154552B2 (en) * 2007-09-06 2015-10-06 Microsoft Technology Licensing, Llc Method and apparatus for cooperative file distribution with receiver determined quality of services
US20090083132A1 (en) * 2007-09-20 2009-03-26 General Electric Company Method and system for statistical tracking of digital asset infringements and infringers on peer-to-peer networks
US8077602B2 (en) * 2008-02-01 2011-12-13 International Business Machines Corporation Performing dynamic request routing based on broadcast queue depths
TWI476610B (zh) * 2008-04-29 2015-03-11 Maxiscale Inc 同級間冗餘檔案伺服器系統及方法
CN101635737B (zh) * 2008-07-25 2013-09-18 阿里巴巴集团控股有限公司 下载方法、系统、p2p服务器、客户端
EP2335381B1 (fr) * 2008-09-30 2013-01-16 France Télécom Procede de diffusion de donnees par une source multicast avec diffusion d'un identifiant de la strategie de diffusion dans un canal de signalisation multicast
US20100094971A1 (en) * 2008-10-15 2010-04-15 Patentvc Ltd. Termination of fragment delivery services from data centers participating in distributed streaming operations
US20150006895A1 (en) * 2009-06-01 2015-01-01 Maidsafe Foundation Distributed network system
US8204791B2 (en) * 2009-07-13 2012-06-19 International Business Machines Corporation File fragment pricing in a segmented file sharing network
US9231768B2 (en) * 2010-06-22 2016-01-05 International Business Machines Corporation Utilizing a deterministic all or nothing transformation in a dispersed storage network
US20130031211A1 (en) * 2011-01-29 2013-01-31 Dustin Johnson Feedback oriented private overlay network for content distribution
US8510267B2 (en) * 2011-03-08 2013-08-13 Rackspace Us, Inc. Synchronization of structured information repositories
CN102420843B (zh) * 2011-06-24 2015-12-02 北京奇虎科技有限公司 一种基于云压缩链接的压缩和解压缩方法、装置及系统
FR2989241B1 (fr) * 2012-04-05 2018-01-26 Easybroadcast Procede de diffusion d'un contenu dans un reseau informatique.
US9491236B2 (en) * 2012-06-22 2016-11-08 Annai Systems Inc. System and method for secure, high-speed transfer of very large files
US8473585B1 (en) * 2012-06-26 2013-06-25 Citrix Systems, Inc. Multi-threaded optimization for data upload

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1996843A (zh) * 2005-12-26 2007-07-11 北大方正集团有限公司 轻量级分布式文件存储系统及文件上传的方法
CN101079709A (zh) * 2006-06-15 2007-11-28 腾讯科技（深圳）有限公司 单点对多节点并发下载系统和方法
CN101141476A (zh) * 2007-10-09 2008-03-12 创新科存储技术（深圳）有限公司 文件存储、下载方法以及装置
CN101699822A (zh) * 2009-08-06 2010-04-28 腾讯科技（深圳）有限公司 一种文件上传方法、装置和海量存储系统
CN101674330A (zh) * 2009-10-09 2010-03-17 中兴通讯股份有限公司 业务交互方法及装置

Also Published As

Publication number Publication date
WO2014056428A1 (zh) 2014-04-17
CN103731451A (zh) 2014-04-16
US20150215400A1 (en) 2015-07-30
US10681127B2 (en) 2020-06-09

Similar Documents

Publication Publication Date Title
CN103731451B (zh) 一种文件上传的方法及系统
CN106031130B (zh) 具有边缘代理的内容传送网络架构
CN102355426B (zh) 实现离线文件传输的方法和系统
CN101039309B (zh) 链路共享服务装置以及通信方法
CN104836821B (zh) 一种基于路由器设备的网络加速方法、装置和设备
CN101483604B (zh) 资源列表发送方法、装置和系统
CN102739717B (zh) 下载方法、下载代理服务器和网络系统
CN100563214C (zh) 一种提高访问网络资源速度的方法及系统
CN105743945B (zh) 基于切换下载源的文件下载方法及系统
CN1513144A (zh) 用于减少将信息从通信网络投递到用户的时间的系统及方法
CN106850817A (zh) 一种下载管理设备、方法及数据下载系统
CN102882985A (zh) 基于云存储的文件共享方法
CN103888539B (zh) P2p缓存的引导方法、装置及p2p缓存系统
CN103547339B (zh) 一种文件上传方法、客户端和服务端
CN109347968A (zh) 一种下载资源文件的数据块的方法、设备和系统
US20190166223A1 (en) Content delivery network (cdn) for uploading, caching and delivering user content
US20150127837A1 (en) Relay apparatus and data transfer method
CN103001964A (zh) 一种局域网环境下的缓存加速方法
CN103812881B (zh) 离线下载控制方法及装置
CN102404387A (zh) 一种用于与其他节点进行信息同步的方法、装置和设备
US9055113B2 (en) Method and system for monitoring flows in network traffic
JP2010157016A (ja) Ｐ２ｐ配信システム及び配信方法
US8984100B2 (en) Data downloading method, terminal, server, and system
US20150006622A1 (en) Web contents transmission method and apparatus
CN104283955A (zh) 一种浏览器、服务器、下载系统及下载方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190801

Address after: Shenzhen Futian District City, Guangdong province 518044 Zhenxing Road, SEG Science Park 2 East Room 403

Co-patentee after: Tencent cloud computing (Beijing) limited liability company

Patentee after: Tencent Technology (Shenzhen) Co., Ltd.

Address before: 518000 Guangdong city of Shenzhen province Futian District SEG Science Park 2 East Room 403

Patentee before: Tencent Technology (Shenzhen) Co., Ltd.