CN113726838B - 文件传输方法、装置、设备及存储介质 - Google Patents

Abstract

本申请实施例提供一种文件传输方法、装置、设备及存储介质，方法包括：在文件服务器中创建空白文件和文件上传信息表，空白文件作为分片文件流写入的基础文件，文件上传信息表用于记录文件上传信息，向客户端发送空白文件的文件标识；从客户端接收第一文件和文件标识；根据文件标识从文件服务器中获取空白文件；将所述第一文件划分为多个分片数据，并对各分片数据设置用于标识分片数据对应到第一文件中的排列顺序的标签；将多个分片数据以流的依次添加到空白文件中，并调用线程采用定时机制将第一文件添加到所述空白文件的文件上传信息记录在文件上传信息表中，直至第一文件的所有分片数据全部添加到空白文件。本方案能够实现分片数据上传，即实现文件追加。

Description

文件传输方法、装置、设备及存储介质

技术领域

本申请涉及图像识别技术领域，具体涉及一种文件传输方法、装置、设备及存储介质。

背景技术

目前，向文件服务器上传文件时，通常只能针对一份完整的文件进行传输和存储，对于较大的、或者差异更新的文件而言，也只能通过重新整体上传最新的文件，或者上传更新的部分，即便将同一份较大的文件拆分为多个子文件，然后通过多次上传这些多个子文件，也只能在文件服务器中进行分离式存储，并没有直接呈现为一份完整的文件，还需要后台人员进行人工编辑和整合。

由此可见，目前这种文件上传方式的效率一般，且对文件的一致性无法达到实时性，尤其是在对在先文件进行追加或更新的场景。

发明内容

本申请实施例提供一种文件传输方法、装置、设备及存储介质，能够实现分片数据上传，即实现文件追加。

第一方面，本申请实施例提供了一种文件传输方法，所述方法包括：

在文件服务器中创建空白文件和文件上传信息表，其中，所述空白文件作为分片文件流写入的基础文件，所述文件上传信息表用于记录文件上传信息，所述文件上传信息包括文件属性、文件上传大小、上传进度和上传状态；

向客户端发送所述空白文件的文件标识；

从所述客户端接收第一文件和文件标识；

根据所述文件标识从文件服务器中获取所述空白文件；

将所述第一文件划分为多个分片数据，并对各分片数据设置用于标识分片数据对应到所述第一文件中的排列顺序的标签；

将所述多个分片数据以流的依次添加到所述空白文件中，并调用线程采用定时机制将所述第一文件添加到所述空白文件的文件上传信息记录在所述文件上传信息表中，直至所述第一文件的所有分片数据全部添加到所述空白文件。

一些实施例中，所述将所述多个分片数据以流的依次添加到所述空白文件中之后，所述方法还包括：

创建用户文件关联表，所述用户文件关联表用于记录用户与上传文件的唯一关联性信息；

从所述客户端接收第一消息；

响应于所述第一消息，对所述用户文件关联表进行管理。

一些实施例中，所述方法还包括：

通过nginx的拦截机制拦截第二文件的网络地址，

在nginx配置文件中加入第三方防盗链模块的配置信息；

将所述配置信息与所述第一文件的网络地址之间建立匹配关系，以及对所述第三方防盗链模块的安全功能的验证操作。

一些实施例中，所述方法还包括：

创建所述第二文件的网络地址的访问权限校验接口；

从所述客户端接收第二消息，所述第二消息携带所述第二文件的访问地址；

通过nginx拦截所述第二消息中的访问地址并发送至访问权限校验接口中；

在根据所述权限状态信息确定所述客户端具备访问所述第二文件的权限后，向所述客户端发送所述第二文件的访问页面；

将所述第二文件的网络地址以参数形式传入到后端验证权限后，获取所述第二文件并向所述客户端发送所述第二文件。

第二方面，本申请实施例还提供一种文件传输装置，所述文件传输装置包括：

处理模块，用于在文件服务器中创建空白文件和文件上传信息表，其中，所述空白文件作为分片文件流写入的基础文件，所述文件上传信息表用于记录文件上传信息，所述文件上传信息包括文件属性、文件上传大小、上传进度和上传状态；

所述收发模块向客户端发送所述空白文件的文件标识，从所述客户端接收第一文件和文件标识；

所述处理模块还用于根据所述文件标识从文件服务器中获取所述空白文件；将所述第一文件划分为多个分片数据，并对各分片数据设置用于标识分片数据对应到所述第一文件中的排列顺序的标签；将所述多个分片数据以流的依次添加到所述空白文件中，并调用线程采用定时机制将所述第一文件添加到所述空白文件的文件上传信息记录在所述文件上传信息表中，直至所述第一文件的所有分片数据全部添加到所述空白文件。

第三方面，本申请实施例还提供了一种处理设备，包括处理器和存储器，存储器中存储有计算机程序，处理器调用存储器中的计算机程序时执行本申请实施例提供的任一种文件传输方法中的步骤。

第四方面，本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有多条指令，指令适于处理器进行加载，以执行本申请实施例提供的任一种文件传输方法中的步骤。

从以上内容可得出，本申请具有以下的有益效果：

1、能够实现分片数据上传，即实现文件追加。

2、提高文件服务器中文件一致性的实时性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请中文件传输方法的一种流程示意图；

图2是本申请中文件传输装置的一种结构示意图；

图3是本申请处理设备的一种结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在以下的说明中，本申请的具体实施例将参考由一部或多部计算机所执行的步骤及符号来说明，除非另有述明。因此，这些步骤及操作将有数次提到由计算机执行，本文所指的计算机执行包括了由代表了以一结构化型式中的数据的电子信号的计算机处理单元的操作。此操作转换该数据或将其维持在该计算机的内存系统中的位置处，其可重新配置或另外以本领域测试人员所熟知的方式来改变该计算机的运作。该数据所维持的数据结构为该内存的实体位置，其具有由该数据格式所定义的特定特性。但是，本申请原理以上述文字来说明，其并不代表为一种限制，本领域测试人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。

本申请的原理使用许多其它泛用性或特定目的运算、通信环境或组态来进行操作。所熟知的适合用于本申请的运算系统、环境与组态的范例可包括(但不限于)手持电话、个人计算机、服务器、多处理器系统、微电脑为主的系统、主架构型计算机、及分布式运算环境，其中包括了任何的上述系统或装置。

本申请中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。

首先，在介绍本申请实施例之前，先介绍下本申请关于应用背景的相关内容。

1.FastDFS文件接收机制：

FastDFS文件服务器由Storage server和Tracker server两个部分组成；Storageserver负责直接利用OS的文件系统存储上传来的文件(存储)，Tracker server主要负责“负载均衡”和“分配Storage server存储节点”给调用者(如FastDFS的客户端)。

(1)建立连接阶段：FastDFS的客户端首先与Tracker server服务建立远程连接，并向FastDFS客户端返回一个可用的“Storage server”服务连接；随后FastDFS的客户端与“Storage server”服务建立远程长连接。

(2)文件上传和接受阶段：FastDFS的客户端通过远程长连接，指令Storageserver在文件服务器磁盘中创建一个空白的0字节基础文件，并将该空白文件的“fileID”返回FastDFS的客户端，然后FastDFS的客户端通过长连接将上传的文件流和“fileID”发送给Storage server服务，Storage server服务在接受到上传来的文件流和“fileID”后，通过“fileID”找到磁盘中对应的空白文件，并将文件流数据数据写入文件中，写入完成后，Storage server会再次将“fileID”返回给FastDFS的客户端。以此当下次需要接着上传文件流时，只需要将“fileID”和待上传的文件流通过FastDFS的客户端发送给Storageserver，这样即可做到文件的追加。

2.FastDFS文件发送机制：

FastDFS文件服务器的Storage server和Tracker server完成了文件的上传和存储功能，但是不支持文件的HTTP浏览查看下载功能，因此需要为FastDFS文件服务器搭配一个Nginx服务器，并将文件服务器磁盘文件夹路径挂载配置到Nginx服务器中，然后通过http的url地址进行文件的访问。

当nginx服务器拦截到浏览器发送来的文件URL访问地址时，在地址中截取出文件所在path路径，然后nginx将通过path路径找到磁盘中的文件然后返回给浏览器。

本申请提供的文件传输方法的执行主体可以为本申请提供的装置，或者集成了该装置的物理主机、车载终端或者用户设备(User Equipment，UE)等处理设备，其中，装置可以采用硬件或者软件的方式实现，UE具体可以为智能手机、平板电脑、笔记本电脑、掌上电脑、台式电脑或者个人数字助理(Personal Digital Assitant，PDA)等终端设备。

下面，开始介绍本申请提供的文件传输方法。

参阅图1，图1示出了本申请文件传输方法的一种流程示意图，本申请提供的方法，该方法由文件服务器执行，具体可包括如下步骤：

101，在文件服务器中创建空白文件和文件上传信息表。

一些实施方式中，文件服务器以FastDFS为例。

其中，所述空白文件作为分片文件流写入的基础文件，所述文件上传信息表用于记录文件上传信息，所述文件上传信息包括文件属性、文件上传大小、上传进度和上传状态；

102、向客户端发送所述空白文件的文件标识。

103、从所述客户端接收第一文件和文件标识。

其中，第一文件是客户端上传至文件服务器的文件。客户端同时向文件服务器发送第一文件和文件标识，即默认该第一文件为待上传至空白文件的文件，该第一文件与该文件标识对应。

104、根据所述文件标识从文件服务器中获取所述空白文件。

由于文件标识与该空白文件绑定，因此，以该文件标识为索引便可以查询到与该文件标识绑定的空白文件。

105、将所述第一文件划分为多个分片数据，并对各分片数据设置用于标识分片数据对应到所述第一文件中的排列顺序的标签。

106、将所述多个分片数据以流的依次添加到所述空白文件中，并调用线程采用定时机制将所述第一文件添加到所述空白文件的文件上传信息记录在所述文件上传信息表中，直至所述第一文件的所有分片数据全部添加到所述空白文件。

一些实施例中，所述将所述多个分片数据以流的依次添加到所述空白文件中之后，所述方法还包括：

创建用户文件关联表，所述用户文件关联表用于记录用户与上传文件的唯一关联性信息；

从所述客户端接收第一消息；

响应于所述第一消息，对所述用户文件关联表进行管理。

一些实施例中，在文件浏览和下载安全方案中，本申请支持网络地址(例如URL地址)的安全访问限制功能。具体来说，所述方法还包括：

通过nginx的拦截机制拦截第二文件的网络地址，

在nginx配置文件中加入第三方防盗链模块的配置信息；

将所述配置信息与所述第一文件的网络地址之间建立匹配关系，以及对所述第三方防盗链模块的安全功能的验证操作。

一些实施例中，在文件浏览和下载安全方案中，本申请支持文件的网络地址(例如URL地址)的访问权限验证功能。具体来说，所述方法还包括：

创建所述第二文件的网络地址的访问权限校验接口；

从所述客户端接收第二消息，所述第二消息携带所述第二文件的访问地址；

通过nginx拦截所述第二消息中的访问地址并发送至访问权限校验接口中；

在根据所述权限状态信息确定所述客户端具备访问所述第二文件的权限后，向所述客户端发送所述第二文件的访问页面；

将所述第二文件的网络地址以参数形式传入到后端验证权限后，获取所述第二文件并向所述客户端发送所述第二文件。

本申请实施例中，通过在文件服务器中创建空白文件和文件上传信息表，空白文件作为分片文件流写入的基础文件，文件上传信息表用于记录文件上传信息，向客户端发送空白文件的文件标识；从客户端接收第一文件和文件标识；根据文件标识从文件服务器中获取空白文件；将所述第一文件划分为多个分片数据，并对各分片数据设置用于标识分片数据对应到第一文件中的排列顺序的标签；将多个分片数据以流的依次添加到空白文件中，并调用线程采用定时机制将第一文件添加到所述空白文件的文件上传信息记录在文件上传信息表中，直至第一文件的所有分片数据全部添加到空白文件。可见，本方案能够实现分片数据上传，即实现文件追加。此外，还能提高文件服务器中文件一致性的实时性。

为便于更好的实施本申请方法，本申请实施例还提供文件传输装置20。

请参阅图2，图2为本申请中文件传输装置20的一种结构示意图，其中该文件传输装置20具体可包括如下结构：

处理模块201，用于在文件服务器中创建空白文件和文件上传信息表，其中，所述空白文件作为分片文件流写入的基础文件，所述文件上传信息表用于记录文件上传信息，所述文件上传信息包括文件属性、文件上传大小、上传进度和上传状态；

所述收发模块202，用于向客户端发送所述空白文件的文件标识，从所述客户端接收第一文件和文件标识；

所述处理模块201还用于根据所述文件标识从文件服务器中获取所述空白文件；将所述第一文件划分为多个分片数据，并对各分片数据设置用于标识分片数据对应到所述第一文件中的排列顺序的标签；将所述多个分片数据以流的依次添加到所述空白文件中，并调用线程采用定时机制将所述第一文件添加到所述空白文件的文件上传信息记录在所述文件上传信息表中，直至所述第一文件的所有分片数据全部添加到所述空白文件。

一些实施例中，所述处理模块201将所述多个分片数据以流的依次添加到所述空白文件中之后，还用于：

创建用户文件关联表，所述用户文件关联表用于记录用户与上传文件的唯一关联性信息；

通过所述收发模块202从所述客户端接收第一消息；

响应于所述第一消息，对所述用户文件关联表进行管理。

一些实施例中，所述处理模块201还用于：

通过nginx的拦截机制拦截第二文件的网络地址，

在nginx配置文件中加入第三方防盗链模块的配置信息；

将所述配置信息与所述第一文件的网络地址之间建立匹配关系，以及对所述第三方防盗链模块的安全功能的验证操作。

一些实施例中，所述处理模块201还用于：

创建所述第二文件的网络地址的访问权限校验接口；

通过所述收发模块202从所述客户端接收第二消息，所述第二消息携带所述第二文件的访问地址；

通过nginx拦截所述第二消息中的访问地址并通过所述收发模块发送至访问权限校验接口中；

在根据所述权限状态信息确定所述客户端具备访问所述第二文件的权限后，通过所述收发模块202向所述客户端发送所述第二文件的访问页面；

通过所述收发模块202将所述第二文件的网络地址以参数形式传入到后端验证权限后，获取所述第二文件并向所述客户端发送所述第二文件。

本申请还提供了处理设备，参阅图3，图3示出了本申请处理设备的一种结构示意图，具体的，本申请提供的处理设备包括处理器，处理器用于执行存储器中存储的计算机程序时实现如图1对应文件传输方法的各步骤；或者，处理器用于执行存储器中存储的计算机程序时实现如图2对应实施例中各模块的功能。

示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器中，并由处理器执行，以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机装置中的执行过程。

处理设备可包括，但不仅限于处理器、存储器。本领域技术人员可以理解，示意仅仅是处理设备的示例，并不构成对处理设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如处理设备还可以包括输入输出设备、网络接入设备、总线等，处理器、存储器、输入输出设备以及网络接入设备等通过总线相连。

处理器可以是中央处理单元(Central Processlng Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是处理设备的控制中心，利用各种接口和线路连接整个处理设备的各个部分。

存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现计算机装置的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据处理设备的使用所创建的数据(比如音频数据、视频数据等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置、处理设备及其相应模块的具体工作过程，可以参考如图1至图3对应任意实施例文件传输方法的说明，具体在此不再赘述。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请如图1至图3对应任意实施例文件传输方法中的步骤，具体操作可参考如图1至图3对应任意实施例文件传输方法的说明，在此不再赘述。

其中，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该计算机可读存储介质中所存储的指令，可以执行本申请如图1对应文件传输方法中的步骤，因此，可以实现本申请如图1对应文件传输方法所能实现的有益效果，详见前面的说明，在此不再赘述。

以上对本申请提供的一种文件传输方法、装置、处理设备及存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (8)

1.一种文件传输方法，其特征在于，所述方法包括：

在文件服务器中创建空白文件和文件上传信息表，其中，所述空白文件作为分片文件流写入的基础文件，所述文件上传信息表用于记录文件上传信息，所述文件上传信息包括文件属性、文件上传大小、上传进度和上传状态；

向客户端发送所述空白文件的文件标识；

从所述客户端接收第一文件和所述文件标识；

根据所述文件标识从文件服务器中获取所述空白文件；

将所述第一文件划分为多个分片数据，并对各分片数据设置用于标识分片数据对应到所述第一文件中的排列顺序的标签；

将所述多个分片数据以流的形式依次添加到所述空白文件中，并调用线程采用定时机制将所述第一文件添加到所述空白文件的文件上传信息记录在所述文件上传信息表中，直至所述第一文件的所有分片数据全部添加到所述空白文件；

所述将所述多个分片数据以流的形式依次添加到所述空白文件中之后，所述方法还包括：创建用户文件关联表，所述用户文件关联表用于记录用户与上传文件的唯一关联性信息；从所述客户端接收第一消息；响应于所述第一消息，对所述用户文件关联表进行管理。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

通过nginx的拦截机制拦截第二文件的网络地址，

在nginx配置文件中加入第三方防盗链模块的配置信息；

将所述配置信息与所述第一文件的网络地址之间建立匹配关系，以及对所述第三方防盗链模块的安全功能的验证操作。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

创建所述第二文件的网络地址的访问权限校验接口；

从所述客户端接收第二消息，所述第二消息携带所述第二文件的访问地址；

通过nginx拦截所述第二消息中的访问地址并发送至访问权限校验接口中；

在根据权限状态信息确定所述客户端具备访问所述第二文件的权限后，向所述客户端发送所述第二文件的访问页面；

将所述第二文件的网络地址以参数形式传入到后端验证权限后，获取所述第二文件并向所述客户端发送所述第二文件。

4.一种文件传输装置，其特征在于，所述文件传输装置包括：

处理模块，用于在文件服务器中创建空白文件和文件上传信息表，其中，所述空白文件作为分片文件流写入的基础文件，所述文件上传信息表用于记录文件上传信息，所述文件上传信息包括文件属性、文件上传大小、上传进度和上传状态；

收发模块，向客户端发送所述空白文件的文件标识，从所述客户端接收第一文件和所述文件标识；

所述处理模块还用于根据所述文件标识从文件服务器中获取所述空白文件；将所述第一文件划分为多个分片数据，并对各分片数据设置用于标识分片数据对应到所述第一文件中的排列顺序的标签；将所述多个分片数据以流的形式依次添加到所述空白文件中，并调用线程采用定时机制将所述第一文件添加到所述空白文件的文件上传信息记录在所述文件上传信息表中，直至所述第一文件的所有分片数据全部添加到所述空白文件；

所述处理模块将所述多个分片数据以流的形式依次添加到所述空白文件中之后，还用于：创建用户文件关联表，所述用户文件关联表用于记录用户与上传文件的唯一关联性信息；通过所述收发模块从所述客户端接收第一消息；响应于所述第一消息，对所述用户文件关联表进行管理。

5.根据权利要求4所述的装置，其特征在于，所述处理模块还用于：

通过nginx的拦截机制拦截第二文件的网络地址，

在nginx配置文件中加入第三方防盗链模块的配置信息；

将所述配置信息与所述第一文件的网络地址之间建立匹配关系，以及对所述第三方防盗链模块的安全功能的验证操作。

6.根据权利要求5所述的装置，其特征在于，所述处理模块还用于：

创建所述第二文件的网络地址的访问权限校验接口；

通过所述收发模块从所述客户端接收第二消息，所述第二消息携带所述第二文件的访问地址；

通过nginx拦截所述第二消息中的访问地址并通过所述收发模块发送至访问权限校验接口中；

在根据权限状态信息确定所述客户端具备访问所述第二文件的权限后，通过所述收发模块向所述客户端发送所述第二文件的访问页面；

通过所述收发模块将所述第二文件的网络地址以参数形式传入到后端验证权限后，获取所述第二文件并向所述客户端发送所述第二文件。

7.一种处理设备，其特征在于，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行如权利要求1至3任一项所述的方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至3任一项所述的方法。