CN110990359A

CN110990359A - 一种同步构架中对无用数据清理的方法和系统

Info

Publication number: CN110990359A
Application number: CN201911312541.7A
Authority: CN
Inventors: 江丹; 陶小杰
Original assignee: Beijing Huafeng Venture Technology Co Ltd
Current assignee: Beijing Huafeng Venture Technology Co Ltd
Priority date: 2019-12-18
Filing date: 2019-12-18
Publication date: 2020-04-10

Abstract

本发明公开了一种同步构架中进行数据管理的方法和系统，该方法包括：客户端将用户创建的包含有非文本数据的待上传数据存储并生成存储地址；客户端向文件服务器发送所述非文本数据；所述文件服务器接收客户端发送的所述非文本数据，生成所述非文本数据的记录信息；所述记录信息包括所述非文本数据的标识特征；所述文件服务器向所述客户端返回所述标识特征；所述客户端接收所述文件服务器返回的所述的标识特征，根据所述标识特征更新所述待上传数据的存储地址；所述客户端根据更新后的存储地址将所述待上传数据上传到同步服务器。本发明能够快速定位需要删除的文件，提升了查找效率，同时准确清楚需要删除的文件，节省存储空间与成本。

Description

一种同步构架中对无用数据清理的方法和系统

技术领域

本发明涉及数据同步技术领域，特别涉及一种同步构架中对无用数据清理的方法和系统。

背景技术

手机应用app中，用到同步的地方很多。同步功能的作用是：用户在某一台手机设备上，使用应用app上做了数据的改动后，如增加，删除，修改，可以通过同步功能把改动上传(上传是指从设备把数据传到服务器)到同步服务器；当用户用其他设备的使用这个app时，通过同步功能，可以把同步服务器上的最新数据下拉(下拉是把同步服务器的数据下载到设备)下来，以达到不同设备上数据的统一。

举个例子，用户在手机A上打开记事本应用app，写一篇文章，通过同步，可以把这篇文章上传到服务器。当他换另一个手机B的时候，手机B以前是没有这篇记事的，用户可以通过手机B上的记事本应用app，这篇记事从服务器下传到这个手机上。这样，手机A和B上就都有这条及时记录了。这避免了因为手机丢失或者清除数据造成的损失。也就是说，任何手机上安装了这个应用app，在联网的情况下，都可以把存在服务器上的数据拉下来。

同步是以数据库中的每一条数据为单元工作的。例如，同步日程数据，每条数据对应数据库中一条日程，包括这条日程的内容，时间，提醒方式等；同步电话簿，每条数据对应数据库中一条电话号码记录，包括电话号码，联系人姓名，地址等；同步记事本，每条数据对应数据库中的一篇记事记录，这一条数据可能包括记事本中写的文字，插的图片，语音，视频文件等等。所以用户同步每一条数据，都需要把这个记事本中的所有元素，包括文字，图片，语音，视频文件等，都同步到服务器。

虽然数据中可能包括很多类型。不过都可以概括为文本与非文本两种类型。以记事本为例，记事中的文字部分，就是第一种文本类型，其他图片、语音、视频等等，都是第二种非文本类型。非文本类型一般都是以文件的形式出现的。

文本类型同步起来很简单，文本数据相应的字符串上传到同步服务器ServerM的数据库DBNote即可。但是非文本类型的同步则需要先将非文本数据转换成文件流的方式来传输到一个服务器ServerF上，向同步服务器同步中不会有这个非文本数据，只会有非文本数据对应的url网络地址，把这个地址插入到同步的数据记录中，上传到同步服务器ServerM的数据库DBNote中，作为一条数据中的部分展现。

上传图片为例，手机应用客户端把图片文件转换成stream，上传至文件服务器，生成一个url地址，把url地址返回给客户端。客户端在需要用到这个图片的记事本数据中，把url地址存到其所在的位置。

注：url(Uniform Resource Locator,统一资源定位符)，它是WWW的统一资源定位标志，就是指网络地址。输入这个地址，就可以拿到其对应的资源，例如照片。

举个例子，有一条记事数据，同步以前，手机客户端的数据库中这条记录表示为：

其中，imgadd1、imgadd2和imgadd3分别表示图片img1、img2和img3在手机中的存储单元(例如sd卡)中的本地地址。

当文件上传成功后，同步的数据形式是：

同步成功后，同步服务器ServerM上的数据，以及当用户换了一个手机，新同步下来的就都是这样一条记事数据，客户端会把数据中的url1，url2，url3对应的图片下载存起来，在正确位置显示出来。也就是说，数据中存储的是图片的url地址。

现有技术中，可以完成数据同步，可有一个问题，就是对于无用数据的清理问题。

举个例子，有一条记事数据，以前有3张图片img1，img2，img3，相应的，文件服务器上也有三个对应的url地址，url1，url2，url3。这条记事数据是这样：

<text1><url1><text2><url2><text3><url3><text4>…

text1代表一个记事内容，是一个字符串。

当用户删除了p2这个图片，这条记事数据变成：

再上传数据以后，服务器会记录这条数据的状态。

可是，无用的图片文件imgp2还是会存在文件服务器中。

这些文件，图片，视频，音频，一般都比较大，时间长了以后，文件服务器会有很多无用数据，白白占据了宝贵的磁盘空间，硬件成本也会增加。另外，在查找文件的时候，这些无用文件因为也参加了查找，所以也会降低查找的效率。

发明内容

为了解决至少一个上述技术问题，本公开提供了一种同步构架中对无用数据清理的方法和系统。

第一方面，本申请提供了一种同步构架中对无用数据清理的方法，该方法包括：

接收客户端发送的上传数据；

存储所述上传数据并生成所述上传数据的记录信息；所述记录信息包括所述上传数据的标识特征；

向所述客户端返回所述标识特征。

优选的，所述记录信息还包括所述上传数据的网络地址和数据状态，所述数据状态包括正常态和待删除态。

优选地，该方法还包括：

接收客户端发送的已删数据对应的标识特征；

修改所述标识特征对应的数据状态为待删除态。

第二方面，本申请提供了一种同步构架中进行数据管理的方法，该方法包括：

将用户创建的包含有非文本数据的待上传数据存储并生成存储地址；

向文件服务器发送所述待上传数据中的非文本数据；

接收所述文件服务器返回的所述非文本数据的标识特征；

根据所述标识特征更新所述待上传数据的存储地址；

根据更新后的存储地址将所述待上传数据上传到同步服务器。

优选地，当用户修改了所述待上传数据时，判断所述待上传数据是否有非文本数据删除，若否，则向同步服务器发送修改后的待上传数据；若是，则将已删数据对应的标识特征发送给文件服务器。

第三方面，本申请提供了一种同步构架中进行数据管理的方法，该方法包括：

客户端将用户创建的包含有非文本数据的待上传数据存储并生成存储地址；

客户端向文件服务器发送所述待上传数据中的非文本数据；

所述文件服务器接收客户端发送的所述待上传数据中非文本数据，存储所述待上传数据中非文本数据并生成所述待上传数据中非文本数据的记录信息；所述记录信息包括所述待上传数据中非文本数据的标识特征；

所述文件服务器向所述客户端返回所述标识特征；

所述客户端接收所述文件服务器返回的所述的标识特征，根据所述标识特征更新所述待上传数据的存储地址；

所述客户端根据更新后的存储地址将所述待上传数据上传到同步服务器。

优选地，该方法还包括：

当用户修改了所述待上传数据时，客户端判断所述待上传数据是否有非文本数据删除，若否，则向同步服务器发送修改后的待上传数据；若是，则将已删数据对应的标识特征发送给文件服务器；

所述文件服务器修改所述标识特征对应的数据状态为待删除态。

优选地，该方法还包括：

在满足预设条件时，所述文件服务器将数据状态为待删除态的非文本数据删除。

第四方面，本申请提供了一种同步构架中进行数据管理的系统，该系统包括能够实现第一方面、第二方面和第三方面中任一所述方法的客户端、同步服务器和文件服务器。

第五方面，本申请提供了一种可读介质，该可读介质包括执行指令，当电子设备的处理器执行所述执行指令时，所述电子设备执行权利要求1至8中任一所述同步构架中进行数据管理的方法。

第六方面，本申请提供了一种电子设备，该设备包括用于存储计算机程序指令的存储器和用于执行计算机程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发所述设备执行第一方面、第二方面和第三方面中任一所述的方法。

与现有技术相比，本发明至少具有以下有益效果：

本发明中同步服务器与文件服务器解耦，逻辑合理，不仅能够有效同步数据，并且能够快速定位需要删除的文件，提升了查找效率，同时准确清楚需要删除的文件，节省存储空间与成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例提供的一种同步构架中对无用数据清理的方法流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供了一种同步构架中进行数据管理的方法，该方法可以包括以下步骤：

步骤1:客户端创建一条记事，包括文字文本数据，以及图片等非文本数据，同步前，记录中表示图片的是图片的本地地址(在手机上存储卡上的地址)。例如：imgadd1表示img1的本地地址、imgadd2表示img2的本地地址、imgadd3表示img3的本地地址，

步骤2：客户端向文件服务器发送请求，存储imgadd1，imgadd2，imgadd3等非文本数据。

步骤3：文件服务器存储非文本数据，在文件服务器的文件数据库中插一条记录，每条记录需要包括标识特征、网络地址和数据状态，分别可以用fileID，url，status表示。fileID是每个非文本数据在文件服务器上的唯一标志，url是能访问到非文本数据的网络地址，status用语表示数据状态，可以给status赋值表示不同的数据状态，如status＝0表示数据为正常态，status＝1表示数据为为待删除态。

步骤4：文件服务器完成文件存储后，把非文本数据的标识特征fileID返回给客户端。

步骤5：客户端更新这条记事数据为<text1><fileID1><text2><fileID2><text3><fileID 3><text4>，其中，fileID1代表img1的网络地址，fileID2代表img2的网络地址，fileID3代表img3的网络地址。

本申请中用fileID代替了url，文件服务器用了唯一的fileID做定位，可以迅速找出需要删除的文件，节省存储空间与成本，提高效率。

步骤6：客户端把这条记事数据上传到同步服务器。

步骤7：同步服务器将这条记事数据存到同步服务器的数据库中。

本申请中同步服务器只负责同步逻辑，与文件服务器功能解耦，功能分工合理，相互配合工作，实现快速定位，高速同步。

步骤8：同步完成后反馈给客户端，客户端更新此条数据状态为已同步。

在此用户新创建的记事已经上传完成，用户可以在不同的设备下传该记事。

步骤9：用户通过客户端修改了已上传的一条记事中的一些内容。

步骤10：客户端判断是否有图片删除，若是，把已删除图片的标识特征fileID传给文件服务器，并执行步骤11，若否，则执行步骤12。

本申请中是以记事中只包括图片为例进行说明，于是该步骤中只判断了是否有图片删除。而实际情况不仅仅是图片，凡是涉及到非文本数据操作，均应进行判断。并且还判断是否有图片增加，进而向文件服务器上传新增的非文件数据。

步骤11：文件服务器把已删除图片的标识特征fileID对应的数据状态status设成1。

本申请中status＝0表示数据为正常态，status＝1表示数据为为待删除态，则已删除图片的status为1。

步骤12：把修改后的记事数据通过同步服务上传到同步服务器。

如本申请中只删除图片img2无其他修改，则修改后的记事数据为<text1><fileID1><text2><text3><fileID 3><text4>。

步骤13：同步服务器根据客户端上传的数据同步到同步服务器的数据库。

步骤14:需要时做数据清理，把status为1对应的数据删掉。

考虑到用户在客户端上操作需要迅速响应，因此可以在客户端删除非文本数据后只会修改文件服务器上对应数据的status数值，不会立刻删除数据。删除数据可以在预定时间跑脚本即可，不影响线上用户。不过也可以立刻将文件服务器中数据删除。

步骤15：过程结束，等待用户后续操作。

本申请修改了同步架构，引入了fileID的概念，在文件服务器ServerF中新建立一个标记文件状态的数据库表，从而达到迅速清理数据的目的。引入的fileID是文件服务器上的一个唯一ID，每个fileID唯一对应一个文件，也是DBfile中是唯一不可重的的唯一值。

如图1所示，本发明实施例还提供了一种同步构架中进行数据管理的系统，该系统包括能够实现本申请提供任一同步构架中进行数据管理方法的客户端、同步服务器和文件服务器。

上述系统内的客户端、同步服务器和文件服务器之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。

需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个······”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在计算机可读取的存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。

最后需要说明的是：以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims

1.一种同步构架中进行数据管理的方法，其特征在于，该方法包括：

接收客户端发送的上传数据；

向所述客户端返回所述标识特征。

2.根据权利要求1所述同步构架中进行数据管理的方法，其特征在于，所述记录信息还包括所述上传数据的网络地址和数据状态，所述数据状态包括正常态和待删除态。

3.根据权利要求2所述同步构架中进行数据管理的方法，其特征在于，该方法还包括：

接收客户端发送的已删数据对应的标识特征；

修改所述标识特征对应的数据状态为待删除态。

4.一种同步构架中进行数据管理的方法，其特征在于，该方法包括：

向文件服务器发送所述待上传数据中的非文本数据；

接收所述文件服务器返回的所述非文本数据的标识特征；

根据所述标识特征更新所述待上传数据的存储地址；

5.根据权利要求4所述同步构架中进行数据管理的方法，其特征在于，

当用户修改了所述待上传数据时，判断所述待上传数据是否有非文本数据删除，若否，则向同步服务器发送修改后的待上传数据；若是，则将已删数据对应的标识特征发送给文件服务器。

6.一种同步构架中进行数据管理的方法，其特征在于，该方法包括：

客户端向文件服务器发送所述待上传数据中的非文本数据；

所述文件服务器向所述客户端返回所述标识特征；

7.根据权利要求6所述同步构架中进行数据管理的方法，其特征在于，该方法还包括：

8.根据权利要求7所述同步构架中进行数据管理的方法，其特征在于，该方法还包括：

9.一种同步构架中进行数据管理的系统，其特征在于，该系统包括能够实现权利要求1-8任一所述同步构架中进行数据管理的方法的客户端、同步服务器和文件服务器。

10.一种可读介质，其特征在于，该可读介质包括执行指令，当电子设备的处理器执行所述执行指令时，所述电子设备执行权利要求1至8中任一所述同步构架中进行数据管理的方法。