CN109743362B - 一种应用于全格式数据结构的数据存储方法 - Google Patents

Abstract

本发明涉及一种应用于全格式数据结构的数据存储方法，解决的是存储数据重复的技术问题，通过采用步骤一，将待存储数据进行复制，根据复制的数据分别并行进行数据类型判断、数据重复性判断以及数据传输准备；数据重复性判断包括将复制的待存储数据进行数据类型转换，将转换后的数据发往存储有对应数据类型的存储单元中进行数据重复性遍历；步骤二，根据已完成的数据类型判断结果、数据重复性判断结果，触发数据传输执行同时丢弃多余的复制的待存储数据；步骤三，存储单元接收到待存储数据后，判断数据完整性，数据完整则发送确认信息给发送端，同时拆解待存储数据进行数据存储的技术方案，较好的解决了该问题，可用于数据存储中。

Description

一种应用于全格式数据结构的数据存储方法

技术领域

本发明涉及数据存储领域，具体涉及一种应用于全格式数据结构的数据存储方法。

背景技术

数据格式(data format)是数据保存在文件或记录中的编排格式。可为数值、字符或二进制数等形式。由数据类型及数据长度来描述。数据类型是与程序中出现的变量相联系的数据形式。常用的数据类型可分为两大类。简单类型。其数据的结构非常简单，具有相同的数学特性和相同的计算机内部表示法，其数据的逻辑结构特点是只包含一个初等项的结点.通常有五种基本的简单类型：整数类型、实数类型、布尔类型、字符类型和指针类型。复合类型。或称组合类型或结构类型，是由简单类型用某种方式组合而成的。

目前基于不同数据格式、不同数据结构的数据存储是将需要存储的源数据进行转换，然后统一进行存储。存在步骤复杂，成本开销高、存储数据冗余的技术问题。

因此，本发明提供应用于全格式数据结构的数据存储方法，用以解决上述技术问题。

发明内容

本发明所要解决的技术问题是现有技术中存在的存储数据冗余的技术问题。提供一种新的应用于全格式数据结构的数据存储方法，该应用于全格式数据结构的数据存储方法具有存储数据冗余、可靠性高的特点。

为解决上述技术问题，采用的技术方案如下：

一种应用于全格式数据结构的数据存储方法，所述应用于全格式数据结构的数据存储方法包括：

步骤一，将待存储数据进行复制，根据复制的数据分别并行进行数据类型判断、数据重复性判断以及数据传输准备；数据重复性判断包括将复制的待存储数据进行数据类型转换，将转换后的数据发往存储有对应数据类型的存储单元中进行数据重复性遍历；

步骤二，根据已完成的数据类型判断结果、数据重复性判断结果，触发数据传输执行同时丢弃多余的复制的待存储数据：数据类型判断结果决定数据传输的目的存储单元，目的存储单元的数据类型与待存储的数据类型相一致；数据重复性结果决定执行数据传输或是数据丢弃，数据重复则执行数据丢弃，否则执行数据传输；

步骤三，存储单元接收到待存储数据后，判断数据完整性，数据完整则发送确认信息给发送端，同时拆解待存储数据进行数据存储。

本发明的工作原理：本发明通过复制待存储数据进行并行的类型判断、重复性判断同时做传输到与类型对应的存储单元的传输准备，数据传输准备单元在接收到类型判断结果和重复性判断结果后，能够将内容不重复的数据存入对应的存储单元。解决了因为数据格式、数据结构不一致，导致的内容形同的冗余数据的重复存储。同时并行处理也提高了数据存储方法的高效性。基于存储数据的减少，也提高了数据存储的可靠性。

上述方案中，为优化，进一步地，步骤一中的数据类型判断包括：

建立数据类型库，将复制的待存储的数据进行数据类型识别，根据数据类型识别进行数据类型库遍历，遍历匹配成功则在对应的数据类型上数量增加1，遍历匹配失败在数据类型库中增加数据类型，同时定义增加的数据类型的数量特征为1。

进一步地，数据传输包括：

数据传输准备单元对待存储的数据进行属性标记，对数据传输准备单元于目的存储单元之间的网络连接进行网络连接状态标记，同时集合定义属性标记库以及网络连接状态标记库；

数据传输准备单元判断待存储的数据属性，包括检索待存储数据的属性标记，检索结果为匹配则判定待存储数据无变化，检索结果为不匹配则判定待存储数据有变化；存储数据有变化时执行数据加密压缩处理；

数据传输准备单元判断网络连接状态后进行数据发送；

数据传输准备单元侦听目的存储单元的反馈信息，判断目的单元的存储结果，根据存储结果对应执行数据再次传输或数据丢弃，同时将反馈信息加入属性标签库。

进一步地，判断网络连接状态包括根据当前网络连接的网络连接属性标记在网络连接属性标记库中进行检索，检索结果表示网络连接的通畅状态。

进一步地，所述数据存储方法还包括根据历史的待存储数据大小以及发送至目的存储单元的成功率预估本次存储的风险度，预设风险度阀值，预估风险度低于风险度阀值的，数据传输准备单元执行第一次传输后直接丢弃本次带存储数据：

存储风险度为：

其中，n为正整数，i为小于等于n的正整数，P_i为网络状态参数阀值，C_i为各个网络参数阀值的权重度，为根据历史事件计算的网络发生堵塞的概率。

进一步地，数据存储方法还包括时钟校正，时钟校正用于各存储单元与数据准备处之间，包括：

步骤2.1，由存储单元标识数据业务报文中数据时标以及数据时标误差，通信数据包的通信时标以及通信时标误差；

步骤2.2，获取通信数据包中表示通信数据包的开始组包时间、时间误差范围以及误差置信度的通信时标，从数据业务报文中提取表示当前数据开始存储时间，时间误差范围以及误差置信度的数据时标；

步骤2.3，数据传输准备单元中建立通信数据包中的通信时标与数据业务报文中的数据时标之间的相关群，数据传输准备单元解算出表征以数据传输准备单元的时间为基准的数据开始存储时间，时间误差范围以及误差置信度的数据时标；

步骤2.4，将数据时标作为数据可信度中时间可靠值完成时标校正。

本发明的有益效果：本发明打通数据格式不同、数据结构不同的信息孤岛，解决了应用于全格式数据结构的数据存储存在内容相同的冗余数据重复存储。同时通过并行检测类型、重复性及准备存储传输的提高了效率。另外，通过数据加密处理、存储时标校正提高了效率、保密性。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1，实施例1中的数据存储方法的流程示意图。

图2，实施例1中的时钟校正流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

实施例1

本实施例提供一种应用于全格式数据结构的数据存储方法，如图1，所述应用于全格式数据结构的数据存储方法包括：

步骤一，将待存储数据进行复制，根据复制的数据分别并行进行数据类型判断、数据重复性判断以及数据传输准备；数据重复性判断包括将复制的待存储数据进行数据类型转换，将转换后的数据发往存储有对应数据类型的存储单元中进行数据重复性遍历；

步骤二，根据已完成的数据类型判断结果、数据重复性判断结果，触发数据传输执行同时丢弃多余的复制的待存储数据：数据类型判断结果决定数据传输的目的存储单元，目的存储单元的数据类型与待存储的数据类型相一致；数据重复性结果决定执行数据传输或是数据丢弃，数据重复则执行数据丢弃，否则执行数据传输；

步骤三，存储单元接收到待存储数据后，判断数据完整性，数据完整则发送确认信息给发送端，同时拆解待存储数据进行数据存储。

本实施例中，通过复制待存储数据进行并行的类型判断、重复性判断同时做传输到与类型对应的存储单元的传输准备，数据传输准备单元在接收到类型判断结果和重复性判断结果后，能够将内容不重复的数据存入对应的存储单元。解决了因为数据格式、数据结构不一致，导致的内容形同的冗余数据的重复存储。同时并行处理也提高了数据存储方法的高效性。基于存储数据的减少，也提高了数据存储的可靠性。

数据类型判断可采用现有的数据类型判断方法，本实施例提供优选方案，即步骤一中的数据类型判断包括：

建立数据类型库，将复制的待存储的数据进行数据类型识别，根据数据类型识别进行数据类型库遍历，遍历匹配成功则在对应的数据类型上数量增加1，遍历匹配失败在数据类型库中增加数据类型，同时定义增加的数据类型的数量特征为1。

为了提高存储传输的效率，优选地，数据传输包括：

数据传输准备单元对待存储的数据进行属性标记，对数据传输准备单元于目的存储单元之间的网络连接进行网络连接状态标记，同时集合定义属性标记库以及网络连接状态标记库；

数据传输准备单元判断待存储的数据属性，包括检索待存储数据的属性标记，检索结果为匹配则判定待存储数据无变化，检索结果为不匹配则判定待存储数据有变化；存储数据有变化时执行数据加密压缩处理；数据加密压缩处理可采用现有的数据压缩处理方法或算法；

数据传输准备单元判断网络连接状态后进行数据发送；

数据传输准备单元侦听目的存储单元的反馈信息，判断目的单元的存储结果，根据存储结果对应执行数据再次传输或数据丢弃，同时将反馈信息加入属性标签库。

其中，判断网络连接状态包括根据当前网络连接的网络连接属性标记在网络连接属性标记库中进行检索，检索结果表示网络连接的通畅状态。

为了提高存储传输的效率，优选地，所述数据存储方法还包括根据历史的待存储数据大小以及发送至目的存储单元的成功率预估本次存储的风险度，预设风险度阀值，预估风险度低于风险度阀值的，数据传输准备单元执行第一次传输后直接丢弃本次带存储数据：

存储风险度为：

其中，n为正整数，i为小于等于n的正整数，P_i为网络状态参数阀值，C_i为各个网络参数阀值的权重度，为根据历史事件计算的网络发生堵塞的概率。

为了提高数据存储的时间正确性，优选地，数据存储方法还包括时钟校正，时钟校正用于各存储单元与数据准备处之间，如图2，包括：

步骤2.1，由存储单元标识数据业务报文中数据时标以及数据时标误差，通信数据包的通信时标以及通信时标误差；

步骤2.2，获取通信数据包中表示通信数据包的开始组包时间、时间误差范围以及误差置信度的通信时标，从数据业务报文中提取表示当前数据开始存储时间，时间误差范围以及误差置信度的数据时标；

步骤2.3，数据传输准备单元中建立通信数据包中的通信时标与数据业务报文中的数据时标之间的相关群，数据传输准备单元解算出表征以数据传输准备单元的时间为基准的数据开始存储时间，时间误差范围以及误差置信度的数据时标；

步骤2.4，将数据时标作为数据可信度中时间可靠值完成时标校正。

本实施例未赘述和披露的部分均采用的是现有技术的方案。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员能够理解本发明，但是本发明不仅限于具体实施方式的范围，对本技术领域的普通技术人员而言，只要各种变化只要在所附的权利要求限定和确定的本发明精神和范围内，一切利用本发明构思的发明创造均在保护之列。

Claims (5)

1.一种应用于全格式数据结构的数据存储方法，其特征在于：所述应用于全格式数据结构的数据存储方法包括

步骤一，将待存储数据进行复制，根据复制的数据分别并行进行数据类型判断、数据重复性判断以及数据传输准备；数据重复性判断包括将复制的待存储数据进行数据类型转换，将转换后的数据发往存储有对应数据类型的存储单元中进行数据重复性遍历；

步骤二，根据已完成的数据类型判断结果、数据重复性判断结果，触发数据传输执行同时丢弃多余的复制的待存储数据：数据类型判断结果决定数据传输的目的存储单元，目的存储单元的数据类型与待存储的数据类型相一致；数据重复性结果决定执行数据传输或是数据丢弃，数据重复则执行数据丢弃，否则执行数据传输；

步骤三，存储单元接收到待存储数据后，判断数据完整性，数据完整则发送确认信息给发送端，同时拆解待存储数据进行数据存储；

数据传输包括：

数据传输准备单元对待存储的数据进行属性标记，对数据传输准备单元于目的存储单元之间的网络连接进行网络连接状态标记，同时集合定义属性标记库以及网络连接状态标记库；

数据传输准备单元判断待存储的数据属性，包括检索待存储数据的属性标记，检索结果为匹配则判定待存储数据无变化，检索结果为不匹配则判定待存储数据有变化；存储数据有变化时执行数据加密压缩处理；

数据传输准备单元判断网络连接状态后进行数据发送；

数据传输准备单元侦听目的存储单元的反馈信息，判断目的单元的存储结果，根据存储结果对应执行数据再次传输或数据丢弃，同时将反馈信息加入属性标签库。

2.根据权利要求1所述的应用于全格式数据结构的数据存储方法，其特征在于：步骤一中的数据类型判断包括：

建立数据类型库，将复制的待存储的数据进行数据类型识别，根据数据类型识别进行数据类型库遍历，遍历匹配成功则在对应的数据类型上数量增加1，遍历匹配失败在数据类型库中增加数据类型，同时定义增加的数据类型的数量特征为1。

3.根据权利要求2所述的应用于全格式数据结构的数据存储方法，其特征在于：判断网络连接状态包括根据当前网络连接的网络连接属性标记在网络连接属性标记库中进行检索，检索结果表示网络连接的通畅状态。

4.根据权利要求3所述的应用于全格式数据结构的数据存储方法，其特征在于：所述数据存储方法还包括根据历史的待存储数据大小以及发送至目的存储单元的成功率预估本次存储的风险度，预设风险度阀值，预估风险度低于风险度阀值的，数据传输准备单元执行第一次传输后直接丢弃本次带存储数据：

存储风险度为：

其中，n为正整数，i为小于等于n的正整数，P_i为网络状态参数阀值，C_i为各个网络参数阀值的权重度，为根据历史事件计算的网络发生堵塞的概率。

5.根据权利要求3所述的应用于全格式数据结构的数据存储方法，其特征在于：数据存储方法还包括时钟校正，时钟校正用于各存储单元与数据准备处之间，包括：

步骤2.1，由存储单元标识数据业务报文中数据时标以及数据时标误差，通信数据包的通信时标以及通信时标误差；

步骤2.2，获取通信数据包中表示通信数据包的开始组包时间、时间误差范围以及误差置信度的通信时标，从数据业务报文中提取表示当前数据开始存储时间，时间误差范围以及误差置信度的数据时标；

步骤2.3，数据传输准备单元中建立通信数据包中的通信时标与数据业务报文中的数据时标之间的相关群，数据传输准备单元解算出表征以数据传输准备单元的时间为基准的数据开始存储时间，时间误差范围以及误差置信度的数据时标；

步骤2.4，将数据时标作为数据可信度中时间可靠值完成时标校正。