[go: up one dir, main page]

CN118074869B - 重复数据的处理方法、终端设备及计算机可读存储介质 - Google Patents

重复数据的处理方法、终端设备及计算机可读存储介质 Download PDF

Info

Publication number
CN118074869B
CN118074869B CN202410157657.2A CN202410157657A CN118074869B CN 118074869 B CN118074869 B CN 118074869B CN 202410157657 A CN202410157657 A CN 202410157657A CN 118074869 B CN118074869 B CN 118074869B
Authority
CN
China
Prior art keywords
data packet
repeated
identification information
target data
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410157657.2A
Other languages
English (en)
Other versions
CN118074869A (zh
Inventor
王春龙
杨波
杨丰
胡微微
吴威
刘森辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Qixun Xinyou Technology Co ltd
Original Assignee
Shenzhen Qixun Xinyou Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Qixun Xinyou Technology Co ltd filed Critical Shenzhen Qixun Xinyou Technology Co ltd
Priority to CN202410157657.2A priority Critical patent/CN118074869B/zh
Publication of CN118074869A publication Critical patent/CN118074869A/zh
Application granted granted Critical
Publication of CN118074869B publication Critical patent/CN118074869B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/20Arrangements for detecting or preventing errors in the information received using signal quality detector
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/32Flow control; Congestion control by discarding or delaying data units, e.g. packets or frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请公开了一种重复数据的处理方法、终端设备及计算机可读存储介质,涉及数据处理技术领域,本申请重复数据的处理方法应用于服务器,所述服务器和发送终端通信连接,具体包括:接收所述发送终端发动的目标数据包;对所述目标数据包进行拆分以得到所述目标数据包内包含的发送次数标记和第二标识信息;根据所述第二标识信息得到重复验证结果,并根据所述发送次数标记和所述重复验证结果判断所述目标数据包是否为重复发送数据;若判断到所述目标数据包为重复发送数据,则执行数据包丢弃操作。采用本申请达到了令服务器更有效的对重复数据进行处理的技术效果。

Description

重复数据的处理方法、终端设备及计算机可读存储介质
技术领域
本申请涉及数据处理技术领域,尤其涉及一种重复数据的处理方法、终端设备及计算机可读存储介质。
背景技术
随着计算机产业的不断发展,通过远程服务器对数据进行存储成为了越来越多技术人员常用的数据处理方法。
在相关技术中,一旦由于网络环境波动导致服务器在接收到数据包时并未向发送终端发送对应的响应信息时,就会导致发送终端持续向服务器发送重复数据,进而令服务器每接收到发送终端发送的重复数据时都需要对该重复数据进行查找验证。如此,服务器需要对大量无效数据进行处理,从而导致服务器的性能出现瓶颈。
因此,如何令服务器更有效的对重复数据进行处理,也就成为了行业内亟需解决的技术问题。
发明内容
本申请的主要目的在于提供一种重复数据的处理方法、终端设备及计算机可读存储介质,旨在令服务器能够对发送终端发送的重复数据进行数据包丢弃操作,从而减小服务器的数据处理数量,提升服务器的数据处理效率。
为实现上述目的,本申请提供一种重复数据的处理方法,所述重复数据的处理方法应用于服务器,所述服务器和发送终端通信连接,所述重复数据的处理方法包括步骤:
接收所述发送终端发动的目标数据包;
对所述目标数据包进行拆分以得到所述目标数据包内包含的发送次数标记和第二标识信息;
根据所述第二标识信息得到重复验证结果,并根据所述发送次数标记和所述重复验证结果判断所述目标数据包是否为重复发送数据;
若判断到所述目标数据包为重复发送数据,则执行数据包丢弃操作。
进一步地,所述对所述目标数据包进行拆分以得到所述目标数据包内包含的发送次数标记和第二标识信息的步骤,包括:
读取所述目标数据包以确定所述目标数据包内包含的第一拆分标记;
基于所述第一拆分标记对所述目标数据包进行拆分以得到所述目标数据包内包含的发送次数标记和第二标识信息。
进一步地,所述重复验证结果包含:重复验证通过和重复验证不通过,所述根据所述第二标识信息得到重复验证结果的步骤,包括:
根据所述第二标识信息查询所述服务器内的数据缓存区域,并判断所述数据缓存区域内是否存在与所述第二标识信息相同的第一重复标识信息;
若判断到所述数据缓存区域内存在所述第一重复标识信息,则确定所述重复验证结果为所述重复验证不通过;
若判断到所述数据缓存区域内不存在所述重复标识信息,则确定所述重复验证结果为所述重复验证通过;
进一步地,所述根据所述发送次数标记和所述重复验证结果判断所述目标数据包是否为重复发送数据的步骤包括:
根据所述发送次数标记确定所述目标数据包对应的发送次数;
在所述发送次数不为1,且所述重复验证结果为所述重复验证不通过时,确定所述目标数据包为重复发送数据;
在所述发送次数不为1,且所述重复验证结果为所述重复验证通过时,确定所述目标数据包不为重复发送数据;
在所述发送次数为1时,确定所述目标数据包不为重复发送数据。
进一步地,在所述根据所述发送次数标记和所述重复验证结果判断所述目标数据包是否为重复发送数据的步骤之后,所述方法还包括:
若判断到所述目标数据包不为重复发送数据,则读取所述目标数据包内包含的第二拆分标记;
基于所述第一拆分标记和所述第二拆分标记对所述目标数据包进行拆分,以得到所述目标数据包内包含的第一标识信息和目标数据包内容;
根据所述第一标识信息对所述数据缓存区域进行清理,并执行数据存储操作以将所述目标数据包内容写入预设的数据存储文件。
进一步地,所述根据所述第一标识信息对所述数据缓存区域进行清理的步骤,包括:
根据所述第一标识信息对所述数据缓存区域进行筛选,以筛选出所述数据缓存区域内包含的与所述第一标识信息相同的第二重复标识信息;
对所述第二重复标识信息执行数据删除操作。
进一步地,在所述对所述第二重复标识信息执行数据删除操作的步骤之后,所述方法还包括:
将所述第二标识信息写入所述数据缓存区域。
此外,为实现上述目的,本申请还提供一种重复数据的处理方法,所述重复数据的处理方法应用于发送终端,所述发送终端和服务器通信连接,所述重复数据的处理方法包括步骤:
获取预设的第一拆分标记、第二拆分标记及目标数据包内容,并基于所述目标数据包内容生成第二标识信息;
获取数据发送记录,并根据所述数据发送记录生成第一标识信息和发送次数标记;
根据所述发送次数标记、所述第一拆分标记、所述第二拆分标记、所述第一标识信息、所述第二标识信息及所述目标数据包内容生成目标数据包;
将所述目标数据包发送至所述服务器。
此外,为实现上述目的,本申请还提供一种终端设备,所述终端设备包括:存储器、处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如上述的重复数据的处理方法的步骤。
此外,为实现上述目的,本申请还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述的重复数据的处理方法的步骤。
本申请实施例提供的重复数据的处理方法、终端设备及计算机可读存储介质,应用于服务器,所述服务器和发送终端通信连接,通过接收所述发送终端发动的目标数据包;对所述目标数据包进行拆分以得到所述目标数据包内包含的发送次数标记和第二标识信息;根据所述第二标识信息得到重复验证结果,并根据所述发送次数标记和所述重复验证结果判断所述目标数据包是否为重复发送数据;若判断到所述目标数据包为重复发送数据,则执行数据包丢弃操作。
在本实施例中,当服务器运行时,首先接收发送终端发送的目标数据包,之后,服务器对该目标数据包进行拆分,从而确定该目标数据包内携带的发送次数标记和第二标识信息,再之后,服务器基于该第二标识信息进行重复验证操作并得到重复验证结果,服务器进而基于该重复验证结果和该发送次数标记判断该目标数据包是否为发送终端向服务器发送的重复发送数据,最后,服务器若判断到该目标数据包为发送终端向服务器发送的重复发送数据,则执行数据包丢弃操作以避免执行查询验证操作。
如此,本申请解决了相关技术中服务器会因为对大量无效数据进行处理,从而导致服务器的性能出现瓶颈的技术问题,即,本申请通过令服务器对发送终端发送的目标数据包进行拆分,从而拆分出数据包内包含的发送次数标记和标识信息,进而基于该发送次数标记和该标识信息判断到该目标数据包为发送终端发送的重复发送数据时,对该目标数据包执行数据包丢弃操作,达到了令服务器能够对发送终端发送的重复数据进行数据包丢弃操作,从而减小服务器的数据处理数量,提升服务器的数据处理效率的技术效果。
附图说明
图1是本申请实施例方案涉及的硬件运行环境的终端设备的结构示意图;
图2为本申请重复数据的处理方法第一实施例的流程示意图;
图3为本申请重复数据的处理方法一实施例涉及的数据清理流程示意图;
图4为本申请重复数据的处理方法第二实施例的流程示意图;
图5为本申请重复数据的处理方法一实施例涉及的数据包发送顺序示意图;
图6为本申请重复数据的处理方法一实施例涉及的Redis数据缓存区域写入流程示意图;
图7为本申请重复数据的处理方法一实施例涉及的系统交互示意图。
本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
参照图1,图1为本申请实施例方案涉及的硬件运行环境的终端设备结构示意图。
需要说明的是,本申请实施例终端设备可以是执行本申请重复数据的处理方法的设备,该终端设备具体可以是内部配置有Redis数据缓存区域,并能够通过该Redis数据缓存区域存储目标数据包内包含的UUID,和能够识别目标数据包内包含的发送次数标记的服务器。
如图1所示,该终端设备可以包括:处理器1001,例如中央处理器(CentralProcessing Unit,CPU),通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity,WI-FI)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory,RAM)存储器,也可以是稳定的非易失性存储器(Non-Volatile Memory,NVM),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的结构并不构成对终端设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及计算机程序。
在图1所示的终端设备中,网络接口1004主要用于与其他设备进行数据通信;用户接口1003主要用于与用户进行数据交互;本申请终端设备中的处理器1001、存储器1005可以设置在终端设备中,所述终端设备通过处理器1001调用存储器1005中存储的计算机程序,并执行以下操作:
接收所述发送终端发动的目标数据包;
对所述目标数据包进行拆分以得到所述目标数据包内包含的发送次数标记和第二标识信息;
根据所述第二标识信息得到重复验证结果,并根据所述发送次数标记和所述重复验证结果判断所述目标数据包是否为重复发送数据;
若判断到所述目标数据包为重复发送数据,则执行数据包丢弃操作。
进一步地,处理器1001调用存储器1005中存储的计算机程序,还执行以下操作:
读取所述目标数据包以确定所述目标数据包内包含的第一拆分标记;
基于所述第一拆分标记对所述目标数据包进行拆分以得到所述目标数据包内包含的发送次数标记和第二标识信息。
进一步地,处理器1001调用存储器1005中存储的计算机程序,还执行以下操作:
根据所述第二标识信息查询所述服务器内的数据缓存区域,并判断所述数据缓存区域内是否存在与所述第二标识信息相同的第一重复标识信息;
若判断到所述数据缓存区域内存在所述第一重复标识信息,则确定所述重复验证结果为所述重复验证不通过;
若判断到所述数据缓存区域内不存在所述重复标识信息,则确定所述重复验证结果为所述重复验证通过。
进一步地,处理器1001调用存储器1005中存储的计算机程序,还执行以下操作:
根据所述发送次数标记确定所述目标数据包对应的发送次数;
在所述发送次数不为1,且所述重复验证结果为所述重复验证不通过时,确定所述目标数据包为重复发送数据;
在所述发送次数不为1,且所述重复验证结果为所述重复验证通过时,确定所述目标数据包不为重复发送数据;
在所述发送次数为1时,确定所述目标数据包不为重复发送数据。
进一步地,处理器1001调用存储器1005中存储的计算机程序,还执行以下操作:
若判断到所述目标数据包不为重复发送数据,则读取所述目标数据包内包含的第二拆分标记;
基于所述第一拆分标记和所述第二拆分标记对所述目标数据包进行拆分,以得到所述目标数据包内包含的第一标识信息和目标数据包内容;
根据所述第一标识信息对所述数据缓存区域进行清理,并执行数据存储操作以将所述目标数据包内容写入预设的数据存储文件。
进一步地,处理器1001调用存储器1005中存储的计算机程序,还执行以下操作:
根据所述第一标识信息对所述数据缓存区域进行筛选,以筛选出所述数据缓存区域内包含的与所述第一标识信息相同的第二重复标识信息;
对所述第二重复标识信息执行数据删除操作。
进一步地,处理器1001调用存储器1005中存储的计算机程序,还执行以下操作:
将所述第二标识信息写入所述数据缓存区域。
进一步地,处理器1001调用存储器1005中存储的计算机程序,还执行以下操作:
获取预设的第一拆分标记、第二拆分标记及目标数据包内容,并基于所述目标数据包内容生成第二标识信息;
获取数据发送记录,并根据所述数据发送记录生成第一标识信息和发送次数标记;
根据所述发送次数标记、所述第一拆分标记、所述第二拆分标记、所述第一标识信息、所述第二标识信息及所述目标数据包内容生成目标数据包;
将所述目标数据包发送至所述服务器。
基于上述的终端设备,提供本申请重复数据的处理方法的整体构思。
随着计算机产业的不断发展,通过远程服务器对数据进行存储成为了越来越多技术人员常用的数据处理方法。在相关技术中,一旦由于网络环境波动导致服务器在接收到数据包时并未向发送终端发送对应的响应信息时,就会导致发送终端持续向服务器发送重复数据,进而令服务器每接收到发送终端发送的重复数据时都需要对该重复数据进行查找验证。如此,服务器需要对大量无效数据进行处理,从而导致服务器的性能出现瓶颈。
针对上述现象,本申请提出了一种重复数据的处理方法,所述重复数据的处理方法应用于服务器,所述服务器和发送终端通信连接,所述重复数据的处理方法包括步骤:接收所述发送终端发动的目标数据包;对所述目标数据包进行拆分以得到所述目标数据包内包含的发送次数标记和第二标识信息;根据所述第二标识信息得到重复验证结果,并根据所述发送次数标记和所述重复验证结果判断所述目标数据包是否为重复发送数据;若判断到所述目标数据包为重复发送数据,则执行数据包丢弃操作。
如此,本申请解决了相关技术中服务器会因为对大量无效数据进行处理,从而导致服务器的性能出现瓶颈的技术问题,即,本申请通过令服务器对发送终端发送的目标数据包进行拆分,从而拆分出数据包内包含的发送次数标记,进而基于该发送次数标记判断到该目标数据包为发送终端发送的重复发送数据时,对该目标数据包执行数据包丢弃操作,达到了令服务器能够对发送终端发送的重复数据进行数据包丢弃操作,从而减小服务器的数据处理数量,提升服务器的数据处理效率的技术效果。
基于上述的服务器和本申请重复数据的处理方法的整体构思,进一步提出本申请重复数据的处理方法的各个实施例。
请参照图2,图2为本申请重复数据的处理方法第一实施例的流程示意图。
应当理解的是,虽然在流程图中示出了逻辑顺序,但是在某些情况下,本申请重复数据的处理方法当然也可以以不同于此处的顺序执行所示出或描述的步骤。
如图2所示,在本实施例中,本申请重复数据的处理方法应用于服务器,该服务器和发送终端通信连接,本申请重复数据的处理方法可以包括步骤:
步骤S10:接收所述发送终端发动的目标数据包;
步骤S20:对所述目标数据包进行拆分以得到所述目标数据包内包含的发送次数标记和第二标识信息;
步骤S30:根据所述第二标识信息得到重复验证结果,并根据所述发送次数标记和所述重复验证结果判断所述目标数据包是否为重复发送数据;
步骤S40:若判断到所述目标数据包为重复发送数据,则执行数据包丢弃操作。
在本实施例中,当发送终端发送了目标数据包到用于对该目标数据包进行存储的服务器时,服务器首先接收该发送终端发送的目标数据包,之后,服务器读取该目标数据包,并对该目标数据包进行拆分从而得到该目标数据包内包含的发送标记次数和第二标识信息,再之后,服务器基于该第二标识信息进行重复验证操作从而得到重复验证结果,并基于该重复验证结果和该发送标记次数判断该目标数据包是否为发送终端向服务器发送过的重复发送数据,最后,服务器若判断到该目标数据包为发送终端向服务器发送过的重复发送数据,则执行数据包丢弃操作从而不对该目标数据包进行查询验证操作,同时,服务器基于本次的数据包丢弃操作生成和目标数据包对应的第一响应信息,并将该第一响应信息发送至发送终端,以提醒发送终端该目标数据包为重复发送数据,进而令发送终端继续发送新的数据至服务器。
示例性地,例如,请参照图5,图5为本申请重复数据的处理方法一实施例涉及的数据包发送顺序示意图,如图5所示,当发送终端成功获取一个格式为A1::A2::A3#B的历史数据包:
1::b8aa2d6a7e7849849442a4a394750ee0::b8aa2d6a7e7849849442a4a394750ee0#数据包;
并将该历史数据包发送至服务器之后,又再向服务器发送第一数据包:
1::b8aa2d6a7e7849849442a4a394750ee0::26730850f3b4a1a8502db2189f6ee47#目标数据包内容;
服务器接收到该第一数据包,并将该第一数据包内的目标数据包内容存储在存储文件内,同时,服务器将该第一数据包内包含的第二UUID:
26730850f3b4a1a8502db2189f6ee47;
写入自身所配置的Redis数据缓存区域内,此时,若网络环境出现波动,则服务器无法向发送终端发送本次数据存储操作对应的响应信息,而发送终端在没有接收到该响应信息的情况下,会认为本次的数据发送操作为失败,从而基于上述的目标数据包内容再次生成一个新的第二数据包:
2::b8aa2d6a7e7849849442a4a394750ee0::26730850f3b4a1a8502db2189f6ee47#目标数据包内容;
并对该第二数据包进行重复发送操作,此时,发送终端若还没有接收到服务器返回的响应信息,则继续生成目标数据包:
3::b8aa2d6a7e7849849442a4a394750ee0::26730850f3b4a1a8502db2189f6ee47#目标数据包内容;
并将该目标数据包发送至服务器;
此时,服务器首先接收该目标数据包,之后,服务器基于该目标数据包的格式A1::A2::A3#B对该目标数据包进行拆分,从而得到该目标数据包内包含的发送标记次数A1和第二标识信息A3,再之后,服务器基于该第二标识信息A3对自身所配置的Redis数据缓存区域进行查询以执行重复验证操作并得到重复验证结果,服务器进而基于该重复验证结果和该发送标记次数A1的具体数值判断到该目标数据包是否为发送终端向服务器发送过的重复发送数据,最后,服务器若判断到该目标数据包为发送终端向服务器发送过的重复发送数据,则执行数据包丢弃操作,同时,服务器基于本次的数据包丢弃操作生成对应的第一响应信息,并将该第一响应信息发送至发送终端,以提醒发送终端该目标数据包为重复发送数据,进而令发送终端继续发送新的数据至服务器。
需要说明的是,如图5所示,当发送终端和服务器之间的网络环境恢复后,发送终端在发送目标数据包至服务器时,服务器会向发送终端回复对应的响应信息,此时,发送终端确定该服务器成功接收到该目标数据包,从而继续向服务器发送新的第三数据包:
1::26730850ff3b4a1a8502db2189f6ee47::58aadf77c43149ff89187b1d22325626#数据包。
此外,请参照图7,图7为本申请重复数据的处理方法一实施例涉及的系统交互示意图,如图7所示,服务器和发送终端在进行交互的过程中,在网络环境正常的情况下,发送终端和服务器之间进行数据发送时会存在请求信息和对应的响应信息,而当发送终端和服务器之间的网络环境出现异常时,发送终端则会启动重传机制,直至发送终端接收到服务器返回的响应信息之后才会继续发送新的数据包至服务器。
如此,本申请解决了相关技术中服务器会因为对大量无效数据进行处理,从而导致服务器的性能出现瓶颈的技术问题,即,本申请通过令服务器对发送终端发送的目标数据包进行拆分,从而拆分出数据包内包含的发送次数标记,进而基于该发送次数标记判断到该目标数据包为发送终端发送的重复发送数据时,对该目标数据包执行数据包丢弃操作,达到了令服务器能够对发送终端发送的重复数据进行数据包丢弃操作,从而减小服务器的数据处理数量,提升服务器的数据处理效率的技术效果。
进一步地,在一种可行的实施例中,上述步骤S20中“对所述目标数据包进行拆分以得到所述目标数据包内包含的发送次数标记和第二标识信息”的步骤,具体可以包括:
步骤S201:读取所述目标数据包以确定所述目标数据包内包含的第一拆分标记;
步骤S202:基于所述第一拆分标记对所述目标数据包进行拆分以得到所述目标数据包内包含的发送次数标记和第二标识信息。
在本实施例中,服务器在接收到发送终端发送的目标数据包之后,首先获取预设的数据包格式,服务器从而基于该数据包格式读取该目标数据包,以确定该目标数据包内包含的用于拆分出包含发送次数标记和标识信息的第一拆分标记,之后,服务器基于该第一拆分标记对该目标数据包进行拆分,从而在该目标数据包中拆分出发送次数标记和第二标识信息。
示例性地,例如,服务器在接收到发送终端发送的目标数据包:
2::b8aa2d6a7e7849849442a4a394750ee0::26730850f3b4a1a8502db2189f6ee47#目标数据包内容;
之后,服务器首先获取预设的数据包格式为“A1::A2::A3#B”,服务器进而基于该数据包格式确定该目标数据包内包含的用于拆分出包含发送次数标记A1和标识信息A2、A3的第一拆分标记为“::”,服务器进而基于该第一拆分标记为“::”对该目标数据包进行拆分,以在该目标数据包中包含的发送次数标记A1和第二标识信息A3。
如此,服务器能够基于预设的数据包格式对目标数据包进行拆分,从而确定该目标数据包内携带的用于表示数据发送次数的发送次数标记和用于表示目标数据包内容的标识信息。
进一步地,在一种可行的实施例中,所述重复验证结果包含:重复验证通过和重复验证不通过,上述步骤S30中“根据所述第二标识信息得到重复验证结果”的步骤,具体可以包括:
步骤S301:根据所述第二标识信息查询所述服务器内的数据缓存区域,并判断所述数据缓存区域内是否存在与所述第二标识信息相同的第一重复标识信息;
步骤S302:若判断到所述数据缓存区域内存在所述第一重复标识信息,则确定所述重复验证结果为所述重复验证不通过;
步骤S303:若判断到所述数据缓存区域内不存在所述重复标识信息,则确定所述重复验证结果为所述重复验证通过。
在本实施例中,服务器在得到第二标识信息之后,首先基于该第二标识信息查询自身所配置的数据缓存区域,从而判断该数据缓存区域内是否存在和该第二标识信息相同的第一重复标识信息,之后,服务器若判断到该数据缓存区域内存在和该第二标识信息相同的第一重复标识信息,则确定本次的重复验证结果为重复验证不通过;而终端设备若判断到该数据缓存区域内不存在和该第二标识信息相同的第一重复标识信息,则确定本次的重复验证结果为重复验证通过。
示例性地,例如,终端设备在得到目标数据包内包含的第二标识信息A2对应的第二UUID:
26730850f3b4a1a8502db2189f6ee47;
之后,服务器基于该第二UUID对自身所配置的Redis数据缓存区域进行查询,从而判断该Redis数据缓存区域内否存在和该第二UUID相同的第一重复UUID,之后,服务器若判断到该Redis数据缓存区域内存在该第一重复UUID,则确定服务器内已经存储有目标数据包内容,从而确定本次的重复验证结果为重复验证不通过,而服务器若判断到该Redis数据缓存区域内不存在第一重复UUID,则确定服务器内没有存储该目标数据包内容从而确定本次的重复验证结果为重复验证通过。
如此,服务器能够基于拆分出的与目标数据包内容对应的UUID判断在Redis数据缓存区域内是否存在重复UUID,进而基于Redis数据缓存区域内是否存在重复UUID判断服务器内是否已经存储有目标数据包内容。
进一步地,在一种可行的实施例中,上述步骤S30中“根据所述发送次数标记和所述重复验证结果判断所述目标数据包是否为重复发送数据”的步骤,具体可以包括:
步骤S304:根据所述发送次数标记确定所述目标数据包对应的发送次数;
步骤S305:在所述发送次数不为1,且所述重复验证结果为所述重复验证不通过时,确定所述目标数据包为重复发送数据;
步骤S306:在所述发送次数不为1,且所述重复验证结果为所述重复验证通过时,确定所述目标数据包不为重复发送数据;
步骤S307:在所述发送次数为1时,确定所述目标数据包不为重复发送数据。
在本实施例中,服务器在获取发送标记次数和重复验证结果之后,首先基于该发送次数标记确定目标数据包对应的发送次数,服务器进而判断该发送次数是否为1,之后,服务器若判断到该发送次数不为1,且该重复验证结果为重复验证不通过,则确定发送终端在发送该目标数据包之前,已经将包含相同目标数据包内容的数据包发送到了服务器,服务器从而确定该目标数据包为重复发送数据;而若服务器判断到该发送次数不为1,且该重复验证结果为重复验证通过,则确定发送终端在发送该目标数据包之前,发送终端虽然发送过包含相同目标数据包内容的数据包,但服务器并没有对该数据包内的数据包内容进行存储,服务器从而确定该目标数据包不为重复发送数据;而若服务器判断到该发送次数为1,则服务器直接确定该发送终端在发送该目标数据包之前,没有发送过包含该数据包内容的数据包过来,进而确定该目标数据包不为重复发送数据。
示例性地,例如,服务器在拆分出发送标记次数A1并得到重复验证结果之后,首先获取预设的标记次数映射关系,服务器进而基于发送标记次数A1对应的数值查询该标记次数映射关系以确定该目标数据包对应的发送次数,从而确定上述目标数据包中的A1为3时,该目标数据包对应的发送次数为3,之后,服务器若确定该发送次数3大于1,且该重复验证结果为重复验证不通过,则确定发送终端在发送该目标数据包之前,已经发送了包含相同数据包内容额的上述第一数据包至服务器,服务器从而确定该目标数据包为重复发送数据;而若服务器在确定该发送次数2大于1,且该重复验证结果为重复验证过,则确定发送终端之前虽然有发送过包含相同目标数据包内容的数据包,但服务器并没有对该数据包内的数据包内容进行存储,服务器从而确定该目标数据包不为重复发送数据;而若服务器在该目标数据包中拆分出发送次数标记A1对应的具体数值为1时,服务器能够基于该标记次数映射关系目标数据包对应的发送次数为1,此时,服务器若确定发送终端在发送该目标数据包之前,没有发送过包含该数据包内容的数据包过来,服务器从而确定该目标数据包不为重复发送数据。
如此,服务器能够基于预设的数据包格式对目标数据包进行拆分,并根据拆分得到的发送次数标记确定数据包对应的发送次数,服务器进而能够基于该发送次数和重复验证结果判断数据包是否为重复发送数据。
进一步地,在一种可行的实施例中,所述服务器内设置有数据缓存区域,在上述步骤S30之后,本申请重复数据的处理方法还可以包括以下步骤:
步骤A10:若判断到所述目标数据包不为重复发送数据,则读取所述目标数据包内包含的第二拆分标记;
步骤A20:基于所述第一拆分标记和所述第二拆分标记对所述目标数据包进行拆分,以得到所述目标数据包内包含的第一标识信息和目标数据包内容;
步骤A30:根据所述第一标识信息对所述数据缓存区域进行清理,并执行数据存储操作以将所述目标数据包内容写入预设的数据存储文件。
在本实施例中,服务器在判断到该目标数据包对不为重复发送数据,此时,服务器继续基于上述的数据包格式读取该目标数据包,以确定该目标数据包内包含的用于拆分出包含发送次数标记和标识信息的第一拆分标记,和能够拆分出目标数据包内容的第二拆分标记,之后,服务器基于该第一拆分标记在该目标数据包内确定目标数据包携带的与目标数据包内容对应的第一标识信息,同时,服务器基于该第二拆分标记在该目标数据包内确定目标数据包内容,再之后,服务器根据该第一标识信息对自身所配置的数据缓存区域进行清理,同时,服务器执行数据存储操作,从而将该目标数据包内容写入自身所构建的数据存储文件。
示例性地,例如,请参照图3,图3为本申请重复数据的处理方法一实施例涉及的数据存储流程示意图,如图3所示,服务器判断到上述的目标数据包不为重复发送数据时,服务器首先基于上述的数据包格式A1::A2::A3#B确定该目标数据包内包含的用于拆分出包含发送次数标记A1和标识信息A2、A3的第一拆分标记为“::”,和该目标数据包内包含的用于拆分出包目标数据包内容的第二拆分标记为“#”,之后,服务器基于该第一拆分标记为“::”对该目标数据包进行拆分从而确定该目标数据包内携带的第一标识信息A2对应的第一UUID为:
b8aa2d6a7e7849849442a4a394750ee0;
同时,该服务器基于该第二拆分标记为“#”在该目标数据包内拆分出目标数据包内容,再之后,服务器基于该第一UUID对自身所配置的Redis数据缓存区域进行清理,同时,服务器执行数据存储操作,以将该目标数据包内容写入自身所构建的数据存储文件,以对该数据包内容进行存储。
如此,服务器在判断到发送终端发送的目标数据包不为重复发送数据时,能够在该数据包内拆分出目标数据包内容,和发送终端前一次发送第一数据包时,该第一数据包内包含的历史数据包内容对应的第一UUID,服务器进而能够基于该第一UUID对Redis数据缓存区域进行清理,以释放该Redis数据缓存区域的存储容量,进一步提升该Redis数据缓存区域的性能。
进一步地,在一种可行的实施例中,上述步骤A20中“根据所述第一标识信息对所述数据缓存区域进行清理”的步骤,具体可以包括:
步骤A201:根据所述第一标识信息对所述数据缓存区域进行筛选,以筛选出所述数据缓存区域内包含的与所述第一标识信息相同的第二重复标识信息;
步骤A202:对所述第二重复标识信息执行数据删除操作。
在本实施例中,服务器在拆分出第一标识信息之后,服务器首先根据该第一标识信息对自身所配置的数据缓存区域进行筛选,从而在该数据缓存区域内确定与该第一标识信息相同的第二重复标识信息,之后,服务器对该第二重复标识信息进行删除。
示例性地,例如,服务器在拆分出目标数据包内包含的第一标识信息对应的第一UUID“b8aa2d6a7e7849849442a4a394750ee0”之后,服务器首先基于该第一UUID对自身所配置的Redis数据缓存区域进行筛选,从而在该Redis数据缓存区域内找到发送终端在前一次发送数据包时写入Redis数据缓存区域内的与该第一UUID的第二重复UUID:
b8aa2d6a7e7849849442a4a394750ee0;
之后,服务器对该第二重复UUID进行删除,从而释放出该Redis数据缓存区域内的存储空间。
如此,服务器能够在接收到新的UUID时,将Redis数据缓存区域内存储的重复UUID进行删除,从而避免了Redis数据缓存区域内的存储空间过低的情况出现,进而保障了Redis数据缓存区域的运行效率。
进一步地,在一种可行的实施例中,在上述步骤A202之后,本申请重复数据的处理方法,还可以包括以下步骤:
步骤B10:将所述第二标识信息写入所述数据缓存区域。
在本实施例中,服务器在完成对数据缓存区域的清理之后,还可以将目标数据包内携带的上述第二标识信息写入该数据缓存区域内,以通过该数据缓存区域对该第二标识信息进行存储。
示例性地,例如,服务器在完成对Redis数据缓存区域的清理之后,还可以将目标数据包内携带的上述第二标识信息A2对应的第二UUID:
26730850f3b4a1a8502db2189f6ee47;
写入Redis数据缓存区域,从而通过该Redis数据缓存区域对该第二UUID进行存储,以供服务器在接收到新的数据包时,能够基于该第二UUID对新接收到的数据包进行验证。
需要说明的是,请参照图6,图6为本申请重复数据的处理方法一实施例涉及的Redis数据缓存区域写入流程示意图,如图6所示,在本实施例及另一实施例中,服务器在根据上述的重复验证结果判断到Redis数据缓存区域内没有存储目标数据包对应的第二UUID时,服务器也可以在得到重复验证结果之后直接将该第二UUID写入该Redis数据缓存区域进行存储。
基于上述本申请重复数据的处理方法的第一实施例,在此提出本申请重复数据的处理方法第二实施例。
进一步地,在一种可行的实施例中,本申请重复数据的处理方法应用于发送终端,所述发送终端和服务器通信连接,请参照图4,图4为本申请重复数据的处理方法第二实施例的流程示意图,如图4所示,本申请重复数据的处理方法还可以包括以下步骤:
步骤C10:获取预设的第一拆分标记、第二拆分标记及目标数据包内容,并基于所述目标数据包内容生成第二标识信息;
步骤C20:获取数据发送记录,并根据所述数据发送记录生成第一标识信息和发送次数标记;
步骤C30:根据所述发送次数标记、所述第一拆分标记、所述第二拆分标记、所述第一标识信息、所述第二标识信息及所述目标数据包内容生成目标数据包;
步骤C40:将所述目标数据包发送至所述服务器。
在本实施例中,当发送终端在需要向服务器发送目标数据包之前,用户端首先获取技术人员预设的第一拆分标记、第二拆分标记及需要发送的目标数据包内容,同时,发送终端基于该目标数据包内容生成与第二标识信息,之后,发送终端读取数据发送记录,并将该数据发送记录内的最新标识信息确定为第一标识信息,同时,发送终端基于该数据发送记录确定该目标数据包内容对应的发送次数,并基于该发送次数生成发送次数标记,再之后,发送终端按照预设的数据包格式对第一拆分标记、第二拆分标记、第一标识信息、第二标识信息、发送次数标记及数据包内容进行排序从而生成目标数据包,最后,发送终端将该目标数据包发送至上述的服务器,以供服务器对该目标数据包进行识别和处理。
示例性地,例如,当发送终端在需要向服务器发送一个目标数据包之前,发送终端首先获取技术人员预设的第一拆分标记“::”、第二拆分标记“#”及需要发送的目标数据包内容,同时,用户端基于该目标数据包内容生成对应的第二UUID:
26730850f3b4a1a8502db2189f6ee47;
之后,发送终端获取数据发送记录,并将该数据发送记录内包含的发送成功的最近历史数据包内包含的第二UUID确定为与本次要发送的目标数据包内容对应的第一UUID,同时,发送终端基于该发送记录确定该目标数据包内容对应的发送次数,当该目标数据包内容的发送次数为2时,发送终端生成发送次数标记A1的具体数值为2,再之后,发送终端按照预设的数据包格式“A1::A2::A3#B”对第一UUID、第二UUID、第一拆分标记、第二拆分标记、发送次数标记及数据包内容进行拼接从而得到上述的目标数据包:
2::b8aa2d6a7e7849849442a4a394750ee0::26730850f3b4a1a8502db2189f6ee47#目标数据包内容;
最后,发送终端将该目标数据包发送至上述的服务器。
如此,发送终端能够生成与数据包对应的UUID,和基于数据包的发送次数生成发送次数标记,进而基于预设的数据格式对UUID和发送次数标记进行排列从而生成固定格式的数据包,并将该数据包发送至服务器,以供服务器基于该数据格式对该数据包进行拆分并判断数据包是否为重复发送数据。
此外,本申请还提供一种终端设备,该终端设备上有可在处理器上运行的计算机程序,所述终端设备执行所述计算机程序时实现如以上任一项实施例所述的重复数据的处理方法的步骤。
本申请终端设备的具体实施例与上述重复数据的处理方法各实施例基本相同,在此不作赘述。
此外,本申请还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如以上任一项实施例所述重复数据的处理方法的步骤。
本发计算机可读存储介质的具体实施例与上述重复数据的处理方法各实施例基本相同,在此不作赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台服务器(可以是内部配置有Redis数据缓存区域,并能够通过该Redis数据缓存区域存储目标数据包内包含的UUID,和能够识别目标数据包内包含的发送次数标记的服务器)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (7)

1.一种重复数据的处理方法,其特征在于,所述重复数据的处理方法应用于服务器,所述服务器和发送终端通信连接,所述重复数据的处理方法包括步骤:
接收所述发送终端发送的目标数据包;
对所述目标数据包进行拆分以得到所述目标数据包内包含的发送次数标记和第二标识信息;
根据所述第二标识信息得到重复验证结果,并根据所述发送次数标记和所述重复验证结果判断所述目标数据包是否为重复发送数据;
若判断到所述目标数据包不为重复发送数据,则读取所述目标数据包内包含的第二拆分标记;
基于所述第二拆分标记对所述目标数据包进行拆分,以得到所述目标数据包内包含的第一标识信息和目标数据包内容,其中,所述第一标识信息为发送成功的最近历史数据包内包含的第二标识信息;
根据所述第一标识信息对数据缓存区域进行筛选,以筛选出所述数据缓存区域内包含的与所述第一标识信息相同的历史第二标识信息;
对所述历史第二标识信息执行数据删除操作,并执行数据存储操作以将所述目标数据包内容写入预设的数据存储文件,和将所述第二标识信息写入所述数据缓存区域;
若判断到所述目标数据包为重复发送数据,则执行数据包丢弃操作。
2.如权利要求1所述的重复数据的处理方法,其特征在于,所述对所述目标数据包进行拆分以得到所述目标数据包内包含的发送次数标记和第二标识信息的步骤,包括:
读取所述目标数据包以确定所述目标数据包内包含的第一拆分标记;
基于所述第一拆分标记对所述目标数据包进行拆分以得到所述目标数据包内包含的发送次数标记和第二标识信息。
3.如权利要求2所述的重复数据的处理方法,其特征在于,所述重复验证结果包含:重复验证通过和重复验证不通过,所述根据所述第二标识信息得到重复验证结果的步骤,包括:
根据所述第二标识信息查询所述服务器内的数据缓存区域,并判断所述数据缓存区域内是否存在与所述第二标识信息相同的第一重复标识信息;
若判断到所述数据缓存区域内存在所述第一重复标识信息,则确定所述重复验证结果为所述重复验证不通过;
若判断到所述数据缓存区域内不存在所述重复标识信息,则确定所述重复验证结果为所述重复验证通过。
4.如权利要求3所述的重复数据的处理方法,其特征在于,所述根据所述发送次数标记和所述重复验证结果判断所述目标数据包是否为重复发送数据的步骤包括:
根据所述发送次数标记确定所述目标数据包对应的发送次数;
在所述发送次数不为1,且所述重复验证结果为所述重复验证不通过时,确定所述目标数据包为重复发送数据;
在所述发送次数不为1,且所述重复验证结果为所述重复验证通过时,确定所述目标数据包不为重复发送数据;
在所述发送次数为1时,确定所述目标数据包不为重复发送数据。
5.一种重复数据的处理方法,其特征在于,所述重复数据的处理方法应用于发送终端,所述发送终端和服务器通信连接,所述重复数据的处理方法包括步骤:
获取预设的第一拆分标记、第二拆分标记及目标数据包内容,并基于所述目标数据包内容生成第二标识信息;
获取数据发送记录,并根据所述数据发送记录生成第一标识信息和发送次数标记,其中,所述第一标识信息为发送成功的最近历史数据包内包含的第二标识信息;
根据所述发送次数标记、所述第一拆分标记、所述第二拆分标记、所述第一标识信息、所述第二标识信息及所述目标数据包内容生成目标数据包;
将所述目标数据包发送至所述服务器,以供所述服务器接收所述发送终端发送的目标数据包,并在在判断到所述目标数据包不为重复发送数据时,读取所述目标数据包内包含的第二拆分标记,基于所述第二拆分标记对所述目标数据包进行拆分,以得到所述目标数据包内包含的第一标识信息和目标数据包内容,根据所述第一标识信息对数据缓存区域进行筛选,以筛选出所述数据缓存区域内包含的与所述第一标识信息相同的历史第二标识信息,对所述历史第二标识信息执行数据删除操作,并执行数据存储操作以将所述目标数据包内容写入预设的数据存储文件,和将所述第二标识信息写入所述数据缓存区域。
6.一种终端设备,其特征在于,所述终端设备包括:存储器、处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的重复数据的处理方法的步骤。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的重复数据的处理方法的步骤。
CN202410157657.2A 2024-02-04 2024-02-04 重复数据的处理方法、终端设备及计算机可读存储介质 Active CN118074869B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410157657.2A CN118074869B (zh) 2024-02-04 2024-02-04 重复数据的处理方法、终端设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410157657.2A CN118074869B (zh) 2024-02-04 2024-02-04 重复数据的处理方法、终端设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN118074869A CN118074869A (zh) 2024-05-24
CN118074869B true CN118074869B (zh) 2024-10-25

Family

ID=91105078

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410157657.2A Active CN118074869B (zh) 2024-02-04 2024-02-04 重复数据的处理方法、终端设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN118074869B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112422408A (zh) * 2020-10-30 2021-02-26 百果园技术(新加坡)有限公司 消息处理方法、装置、设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109196483B (zh) * 2016-07-27 2023-04-21 株式会社日立制作所 计算机系统和数据保存方法
CN111404872A (zh) * 2019-11-21 2020-07-10 杭州海康威视系统技术有限公司 一种报文处理方法、装置及系统
US11442911B2 (en) * 2020-08-31 2022-09-13 Google Llc Moving window data deduplication in distributed storage
CN113489575A (zh) * 2021-06-25 2021-10-08 阿波罗智联(北京)科技有限公司 一种数据传输方法、装置及电子设备
WO2023070462A1 (zh) * 2021-10-28 2023-05-04 华为技术有限公司 一种文件去重方法、装置和设备

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112422408A (zh) * 2020-10-30 2021-02-26 百果园技术(新加坡)有限公司 消息处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN118074869A (zh) 2024-05-24

Similar Documents

Publication Publication Date Title
KR101054994B1 (ko) 영속성 관리 방법, 장치 및 컴퓨터 판독 가능 매체
CN110888838B (zh) 基于对象存储的请求处理方法、装置、设备及存储介质
US6850994B2 (en) Method for determining status of a computer device and detecting device behavior in response to a status request
US6886164B2 (en) Selection of a resource in a distributed computer system
CN110413650B (zh) 一种业务数据的处理方法、装置、设备和存储介质
CN111046310B (zh) 页面处理方法、装置、服务器及计算机可读存储介质
CN115150464B (zh) 应用代理方法、装置、设备及介质
CN111008087B (zh) 一种消息处理方法及装置
CN108337301A (zh) 应用程序的网络请求处理方法、装置、服务器及存储介质
WO2022033586A1 (zh) 一种消息发送方法及装置
JP2010152838A (ja) 画像形成装置、制御方法、およびプログラム
CN113377376A (zh) 数据包生成方法、数据包生成装置、电子设备及存储介质
CN111431952B (zh) 消息推送方法、装置及系统,计算机存储介质和电子设备
CN118074869B (zh) 重复数据的处理方法、终端设备及计算机可读存储介质
CN118642808A (zh) 应用程序的提示方法、终端设备及可读存储介质
CN111159298B (zh) 业务请求处理方法、装置、电子设备及存储介质
CN113608886A (zh) 一种函数接入缓存方法、装置、电子设备及存储介质
US7882508B1 (en) Tracing information flow using a signature
CN111770054A (zh) 一种针对smb协议读请求的交互加速方法与系统
CN112363980A (zh) 一种分布式系统的数据处理方法及装置
CN110968406A (zh) 处理任务的方法、装置、存储介质和处理器
JP2013186765A (ja) バッチ処理システム、進捗状況確認装置、進捗状況確認方法、及びプログラム
CN110362464B (zh) 软件分析方法及设备
CN111858379A (zh) 应用的测试方法和装置
CN111552586A (zh) 应用程序崩溃处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant