CN113986143A - 一种面向区块链日志存储的高可靠低开销数据存储方法 - Google Patents

Abstract

本发明公开了一种面向区块链日志存储的高可靠低开销数据存储系统及方法，方法包括以下步骤：将待存储的日志文件分为两个存储阶段，所述两个存储阶段包括：准备阶段和提交阶段；将日志文件分阶段存入区块链日志存储系统。本发明通过日志文件的提交分为准备阶段和提交阶段完成日志文件的存储，在不增加额外机器的条件下，通过复用区块链系统所在的物理节点作为链下存储节点，可以有效地降低存储开销、扩展系统的存储容量，同时结合纠删编码提供的冗余能力避免数据被拜占庭节点删除或篡改。

Description

一种面向区块链日志存储的高可靠低开销数据存储方法

技术领域

本发明涉及分布式存储技术领域，更具体地，涉及一种面向区块链日志存储的高可靠低开销数据存储系统及方法。

背景技术

区块链是一种结合分布式共识、加密、时间戳等方法,在不依赖任何第三方中心化机构的情况下,实现点对点交易、协调以及协作的技术。但是区块链存在存储开销过大的问题，成为了区块链应用落地的瓶颈。针对区块链中存储开销过大的问题，存在的解决方案可分为链上存储和链下存储。链上存储将数据存储在区块链上，并不需要额外的链下存储系统，每个节点上只需要按照预先的规则存储对应的数据即可，从而降低了存储开销，链上存储可以分为协作式存储模式和轻节点模式。链下存储将区块体中的数据转移到区块链之外的存储系统中，此时区块链仅存储了指向这些数据的指针等非数据信息，非数据信息所占的存储空间小，因此可以解决区块链存储的可扩展性问题。原始的数据保存在非区块链系统中，同时按照一定的规则生成该数据的唯一标识，并返回给区块链系统；当访问完整的数据时，通过数据的唯一标识在非区块链系统中寻找原始数据。

现有技术公开了一种数据存取的方法、系统及装置，在数据存储时，先确定数据存储指令，之后根据该数据存储指令中携带的身份标识，确定与该身份标识对应的区块链以及密钥对，最后根据该密钥对，将待存储数据存储在该区块链中，在数据查询时，先确定数据查询指令，之后根据该数据查询指令对应的身份标识，确定与该身份标识对应的区块链以及私钥，最后根据该私钥，将该区块链中的数据解密后查询。可见，通过本申请实施例提供的方法，使得存取对应该身份标识的数据时，无需访问多个数据库，仅需通过访问该身份标识对应的该区块链，以及通过密钥对进行数据存储，使得保证数据安全的同时，可以简化操作的复杂性，提高数据存取的效率。该方案将数据以全副本的形式保存在区块链中，当有区块链节点出现故障时可有没有出现故障的任意节点继续工作，并可以通过正常节点来修复出现故障的区块链节点。然而全副本形式的链上存储存在存储开销过大的问题，在一个具有n个节点的系统中，每一份数据将被保存n份，以这种方式保存很少被访问的冷数据(如日志记录等)会造成过多的存储空降浪费。

发明内容

本发明为克服上述现有日志存储方案开销大，容易产生对存储资源浪费的缺陷，提供一种面向区块链日志存储的高可靠低开销数据存储系统及方法。

本发明的首要目的是为解决上述技术问题，本发明的技术方案如下：

本发明第一方面提供了一种面向区块链日志存储的高可靠低开销数据存储系统，包括：日志客户端、日志联盟链节点，所述日志客户端与所述日志联盟链节点通过RPC接口通信连接，其中，日志客户端用于对日志文件进行编码得到编码块，所述日志联盟链节点用于存储编码块和日志文件的元数据。

进一步的，所述日志客户端包括有：纠删码引擎、区块链轻客户端，第一RPC接口，其中所述纠删码引擎用于对日志文件进行纠删码编码，所述区块链轻客户端用于验证交易的存在，所述第一RPC接口用于与日志联盟链节点数据交互。

进一步的，所述纠删码引擎对日志文件进行编码的过程为：

将每一份日志文件切分成n-2f个数据块，通过(n-2f,2f)-RS编码后生成2f个校验块；n-2f个数据块和2f个校验块统称为编码块，随后将n-2f个编码块上传到联盟链节点上，n表示总的节点个数，f表示能容忍的恶意节点个数。

进一步的，所述区块链轻客户端轻中的区块头与全节点保持同步，而区块头中保存了默克尔树根，当轻客户端向全节点查询某一条交易时，全节点将会返回这条交易以及交易的默克尔证明，通过默克尔证明可以验证这条交易的存在。

进一步的，所述日志联盟链节点包括：日志存储层、区块链层、第二RPC接口，所述日志存储层用于存储编码块，所述区块链层用于存储日志的元数据，所述第二RPC接口用于与日志客户端数据交互；其中所述区块链层包括：PBFT共识引擎、交易执行模块、P2P网络，所述PBFT共识引擎用于执行现有的PBFT共识算法，所述交易执行模块用于收集交易、打包交易的模块，所述P2P网络为区块链中分布式的独立的区块链节点组成的对等网络。

本发明第二方面提供了一种面向区块链日志存储的高可靠低开销数据存储方法，所述方法应用于所述的面向区块链日志存储的高可靠低开销数据存储系统，其特征在于，包括以下步骤：

将待存储的日志文件分为两个存储阶段，所述两个存储阶段包括：准备阶段和提交阶段；

将日志文件分阶段存入区块链日志存储系统。

进一步的，在准备阶段区块链协议不工作，区块链服务器作为存储服务器，客户端向服务器发送编码块，并保存服务器返回的签名；

在提交阶段，客户端向区块链发送提交请求，并在请求中附加上准备阶段服务器返回的签名，区块链系统对签名进行验证以确保系统已经保存了足够的编码块。

进一步的，

日志文件在存储的两个阶段中，联盟链节点在两个阶段中扮演了两种不同的角色，在第一阶段，联盟链逻辑上为链下存储节点，运行日志存储层的协议；日志客户端对日志文件进行编码后上传给联盟链节点后，联盟链节点将检查编码块并存储在节点上的KV数据库中，当成功存储后，节点会使用自身的私钥对编码块进行签名，所述签名将会返回并保存在区块链中，以证明节点已经成功保存了此日志编码块。

进一步的，当日志客户端收集到了超过n-f个签名后足够的签名后，表明此时至少有n-2f个非恶意节点已经正常保存了日志编码块，此时日志客户端可以发起交易，将签名和其他日志文件元数据以交易的形式上传到日志联盟链中，区块链节点将检查提交的交易，完成检查后将以打包并添加在区块链中，同时会有一个状态数据库来索引日志文件；

用户通过客户端查询特定日志时首先从任意一个区块链获取到元数据，再通过日志存储层获取到n-2f个正确编码块后在客户端解码恢复日志。

进一步的，客户端日志文件存储过程具体步骤为：

A1：将单个日志文件作为输入参数，利用纠删编码函数对日志文件的数据进行编码得到与集群数量相等个数的编码块，并通过hash运算计算校验和；

A2：联盟链节点Ni按照公钥从1到n进行排序，客户端向联盟链节点Ni发送对应的编码块Ci、日志文件的校验、以及编码块Ci的校验,n表示集群数量；

A3：联盟链节点检查编码块是否与校验一致；并确保未曾提交过编码块对应的日志文件；

A4：定义键值对，将编码块中日志文件的校验作为键，并将编码块存储在节点本地的对象数据上，将与日志文件关联的数据作为值，所述的值包括编码后的块文件的数据本身、校验信息，以及涵盖了客户端信息、日志时间戳、应用程序路径信息的元数据，其中所述元数据的值为空时表示日志文件处于准备阶段，尚未被提交；

A5：联盟链节点返回对日志文件的校验信息和编码后的文件校验信息的签名以表明接收到并保存了编码块，客户端会在下一阶段将签名提交，作为节点正常接收的凭证；

A6：检测客户端是否收集到超过n-2f条联盟链节点返回的准备完毕消息，若是，将唤醒主线程；

A7客户端将日志文件元数据以及联盟链节点返回的签名作为交易提交。

与现有技术相比，本发明技术方案的有益效果是：

本发明通过日志文件的提交分为准备阶段和提交阶段完成日志文件的存储，在不增加额外机器的条件下，通过复用区块链系统所在的物理节点作为链下存储节点，可以有效地降低存储开销、扩展系统的存储容量，同时结合纠删编码提供的冗余能力避免数据被拜占庭节点删除或篡改。

附图说明

图1为本发明一种面向区块链日志存储的高可靠低开销数据存储系统框图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

实施例1

如图1所示，本发明提供了一种面向区块链日志存储的高可靠低开销数据存储系统，包括：日志客户端、日志联盟链节点，所述日志客户端与所述日志联盟链节点通过RPC接口通信连接，其中，日志客户端用于对日志文件进行编码得到编码块，所述日志联盟链节点用于存储编码块和日志文件的元数据。

本发明实施例中，日志文件在客户端编码后得到编码块，并将编码块上传至日志联盟节点中存储；当有足够的节点返回成功存储的消息后再将日志元数据作为交易发送至区块链；在进去数据读取时，客户端向联盟链节点向联盟链节点发送请求读取编码块并在客户端恢复日志文件。

进一步地，所述日志客户端包括有：纠删码引擎、区块链轻客户端，第一RPC接口，其中所述纠删码引擎用于对日志文件进行纠删码编码，所述区块链轻客户端用于验证交易的存在，所述第一RPC接口用于与日志联盟链节点数据交互。

进一步地，所述纠删码引擎对日志文件进行编码的过程为：

将每一份日志文件切分成n-2f个数据块，通过(n-2f,2f)-RS编码后生成2f个校验块；n-2f个数据块和2f个校验块统称为编码块，随后将n-2f个编码块上传到联盟链节点上，n表示总的节点个数，f表示能容忍的恶意节点个数。

需要说明的是，在以交易的形式将日志元数据提交到区块链之前，客户端会将日志文件保存到链下存储。在本发明实施例中，为了增加链下存储的可靠性，将联盟链中的对等节点作为链下存储的节点，并将日志文件以纠删码编码块的形式写入。新型域名解析系统的日志链使用PBFT作为共识协议，使用PBFT的分布式系统能容忍不超过1/3个恶意节点，当总节点数量为n时，如果要容忍f个恶意节点，需要满足n≥3f+1。当读取某一条通过PBFT协议成功提交的数据时，只能保证在n-2f个节点上读取到正确的结果。例如，假设在通过协议提交消息m时，f个恶意节点伪装成正常节点，如果此时系统中恰好有f个非恶意节点发生了故障而宕机，系统仍能完成对消息m的提交并达成一致，此时消息m写入到了n-f个节点中，其中有n-2f个为正常节点、另外f个节点为恶意节点。当读取消息m时，恶意节点可以返回错误消息，因此只能保证可以从n-2f个节点上读取到正确的信息。在本发明中，会在运行前确定并配置最大拜占庭节点数量f，这决定了之后使用的纠删码编码模式，客户端使用(n-2f,2f)-RS对每个日志文件进行编码。具体来说，将每一份日志文件切分成n-2f个数据块，通过(n-2f,2f)-RS编码后生成2f个校验块；n-2f个数据块和2f个校验块统称为编码块，随后将n-2f个编码块上传到联盟链节点上(保存在链下)；在读取时，只需要获取到n-2f个正确的编码块即可恢复日志文件。

进一步地，所述区块链轻客户端轻中的区块头与全节点保持同步，而区块头中保存了默克尔树根，当轻客户端向全节点查询某一条交易时，全节点将会返回这条交易以及交易的默克尔证明，通过默克尔证明可以验证这条交易的存在。

本发明实施例中，日志区块链的客户端中实现了日志的上传和下载。本发明中的客户端通过轻客户端协议与区块链节点交互。与全节点不同，轻客户端不参与到挖矿，也不存储区块体，对计算能力和存储能力的要求低于全节点。轻客户中的区块头与全节点保持同步，而区块头中保存了默克尔树根，当轻客户端向全节点查询某一条交易时，全节点将会返回这条交易以及交易的默克尔证明，通过默克尔证明可以验证这条交易的存在。轻客户端协议使得用户能以很小的代价参与到区块链中，由于其同步时只需要获取到区块头，因此也减少了区块链网络的负载。

本发明中，所述日志联盟链节点包括：日志存储层、区块链层、第二RPC接口，所述日志存储层用于存储编码块，所述区块链层用于存储日志的元数据，所述第二RPC接口用于与日志客户端数据交互。

本发明实施例中，所述区块链层包括：PBFT共识引擎、交易执行模块、P2P网络，所述PBFT共识引擎用于执行现有的PBFT共识算法，所述交易执行模块用于收集交易、打包交易的模块，所述P2P网络为区块链中分布式的独立的区块链节点组成的对等网络。

实施例2

本发明还提供了一种面向区块链日志存储的高可靠低开销数据存储方法，所述方法应用于所述的面向区块链日志存储的高可靠低开销数据存储系统，包括以下步骤：

将待存储的日志文件分为两个存储阶段，所述两个存储阶段包括：准备阶段和提交阶段；

将日志文件分阶段存入区块链日志存储系统。

进一步地，在准备阶段区块链协议不工作，区块链服务器作为存储服务器，客户端向服务器发送编码块，并保存服务器返回的签名；

在提交阶段，客户端向区块链发送提交请求，并在请求中附加上准备阶段服务器返回的签名，区块链系统对签名进行验证以确保系统已经保存了足够的编码块。

进一步地，日志文件在存储的两个阶段中，联盟链节点在两个阶段中扮演了两种不同的角色，在第一阶段，联盟链逻辑上为链下存储节点，运行日志存储层的协议；日志客户端对日志文件进行编码后上传给联盟链节点后，联盟链节点将检查编码块并存储在节点上的KV数据库中，当成功存储后，节点会使用自身的私钥对编码块进行签名，所述签名将会返回并保存在区块链中，以证明节点已经成功保存了此日志编码块。

进一步地，当日志客户端收集到了超过n-f个签名后足够的签名后，表明此时至少有n-2f个非恶意节点已经正常保存了日志编码块，此时日志客户端可以发起交易，将签名和其他日志文件元数据以交易的形式上传到日志联盟链中，区块链节点将检查提交的交易，完成检查后将以打包并添加在区块链中，同时会有一个状态数据库来索引日志文件；

用户通过客户端查询特定日志时首先从任意一个区块链获取到元数据，再通过日志存储层获取到n-2f个正确编码块后在客户端解码恢复日志。

实施例3

本发明中，客户端日志文件存储具体步骤为：

A1：将单个日志文件作为输入参数，利用纠删编码函数对日志文件的数据进行编码得到与集群数量相等个数的编码块，并通过hash运算计算校验和；

A2：联盟链节点Ni按照公钥从1到n进行排序，客户端向联盟链节点Ni发送对应的编码块Ci、日志文件的校验、以及编码块Ci的校验,n表示集群数量；

A3：联盟链节点检查编码块是否与校验一致；并确保未曾提交过编码块对应的日志文件；

A4：定义键值对，将编码块中日志文件的校验作为键，并将编码块存储在节点本地的对象数据上，将与日志文件关联的数据作为值，所述的值包括编码后的块(decoded-chunk)文件的数据本身(记为d)、校验信息(记为dc)、以及涵盖了客户端信息、日志时间戳、应用程序路径信息的元数据(记为meta)，其中所述元数据值为空时表示日志文件处于准备阶段，尚未被提交；

A5：联盟链节点返回对日志文件校验和编码后的文件校验的签名以表明接收到并保存了编码块，客户端会在下一阶段将签名提交，作为节点正常接收的凭证；

A6：检测客户端是否收集到超过n-2f条联盟链节点返回的准备完毕消息，若是，将唤醒主线程；

A7：客户端将日志文件元数据以及联盟链节点返回的签名作为交易提交。

需要说明的是，在提交阶段中，提交消息包括：日志文件元数据、日志文件校验、准备阶段联盟链节点返回的签名，日志元数据包括了客户端信息、日志时间范围、应用程序路径等信息，可以用于检索日志，日志文件校验和以及联盟链节点返回的签名返回的签名可以用于验证日志文件的真实性。更具体地，客户端提交的交易在进入内存池之前会调用check_tx函数，check_tx函数检查了正确签名的个数，确定超过2f个节点暂存编码块之后将返回SUCCESS，交易将进入内存池并通过PBFT协议提交。完成提交后并打包区块后每个区块链节点都将将调用deliver_tx函数。deliver_tx函数用于更新区块链中的状态机，所述更新状态机即写入了日志文件的元数据，元数据的写入是为了方便客户端通过元数据查询到相应的日志文件，同时也表示日志文件正式提交成功。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种面向区块链日志存储的高可靠低开销数据存储系统，其特征在于，包括：日志客户端、日志联盟链节点，所述日志客户端与所述日志联盟链节点通过RPC接口通信连接，其中，日志客户端用于对日志文件进行编码得到编码块，所述日志联盟链节点用于存储编码块和日志文件的元数据。

2.根据权利要求1所述的一种面向区块链日志存储的高可靠低开销数据存储方法，其特征在于，所述日志客户端包括有：纠删码引擎、区块链轻客户端，第一RPC接口，其中所述纠删码引擎用于对日志文件进行纠删码编码，所述区块链轻客户端用于验证交易的存在，所述第一RPC接口用于与日志联盟链节点数据交互。

3.根据权利要求2所述的一种面向区块链日志存储的高可靠低开销数据存储系统，其特征在于，所述纠删码引擎对日志文件进行编码的过程为：

将每一份日志文件切分成n-2f个数据块，通过(n-2f,2f)-RS编码后生成2f个校验块；n-2f个数据块和2f个校验块统称为编码块，随后将n-2f个编码块上传到联盟链节点上，n表示总的节点个数，f表示能容忍的恶意节点个数。

4.根据权利要求3所述的一种面向区块链日志存储的高可靠低开销数据存储系统，其特征在于，所述区块链轻客户端轻中的区块头与全节点保持同步，而区块头中保存了默克尔树根，当轻客户端向全节点查询某一条交易时，全节点将会返回这条交易以及交易的默克尔证明，通过默克尔证明可以验证这条交易的存在。

5.根据权利要求1所述的一种面向区块链日志存储的高可靠低开销数据存储方法，其特征在于，所述日志联盟链节点包括：日志存储层、区块链层、第二RPC接口，所述日志存储层用于存储编码块，所述区块链层用于存储日志的元数据，所述第二RPC接口用于与日志客户端数据交互；其中所述区块链层包括：PBFT共识引擎、交易执行模块、P2P网络，所述PBFT共识引擎用于执行现有的PBFT共识算法，所述交易执行模块用于收集交易、打包交易的模块，所述P2P网络为区块链中分布式的独立的区块链节点组成的对等网络。

6.一种面向区块链日志存储的高可靠低开销数据存储方法，所述方法应用于权利要求1-5任一项所述的面向区块链日志存储的高可靠低开销数据存储系统，其特征在于，包括以下步骤：

将待存储的日志文件分为两个存储阶段，所述两个存储阶段包括：准备阶段和提交阶段；

将日志文件分阶段存入区块链日志存储系统。

7.根据权利要求6所述的一种面向区块链日志存储的高可靠低开销数据存储方法，其特征在于，在准备阶段区块链协议不工作，区块链服务器作为存储服务器，客户端向服务器发送编码块，并保存服务器返回的签名；

在提交阶段，客户端向区块链发送提交请求，并在请求中附加上准备阶段服务器返回的签名，区块链系统对签名进行验证以确保系统已经保存了足够的编码块。

8.根据权利要求7所述的一种面向区块链日志存储的高可靠低开销数据存储方法，其特征在于，

日志文件在存储的两个阶段中，联盟链节点在两个阶段中扮演了两种不同的角色，在第一阶段，联盟链逻辑上为链下存储节点，运行日志存储层的协议；日志客户端对日志文件进行编码后上传给联盟链节点后，联盟链节点将检查编码块并存储在节点上的KV数据库中，当成功存储后，节点会使用自身的私钥对编码块进行签名，所述签名将会返回并保存在区块链中，以证明节点已经成功保存了此日志编码块。

9.根据权利要求8所述的一种面向区块链日志存储的高可靠低开销数据存储方法，其特征在于，当日志客户端收集到了超过n-f个签名后足够的签名后，表明此时至少有n-2f个非恶意节点已经正常保存了日志编码块，此时日志客户端可以发起交易，将签名和其他日志文件元数据以交易的形式上传到日志联盟链中，区块链节点将检查提交的交易，完成检查后将以打包并添加在区块链中，同时会有一个状态数据库来索引日志文件；

用户通过客户端查询特定日志时首先从任意一个区块链获取到元数据，再通过日志存储层获取到n-2f个正确编码块后在客户端解码恢复日志。

10.根据权利要求9所述的一种面向区块链日志存储的高可靠低开销数据存储方法，其特征在于，客户端日志文件存储过程具体步骤为：

A1：将单个日志文件作为输入参数，利用纠删编码函数对日志文件的数据进行编码得到与集群数量相等个数的编码块，并通过hash运算计算校验和；

A2：联盟链节点Ni按照公钥从1到n进行排序，客户端向联盟链节点Ni发送对应的编码块Ci、日志文件的校验、以及编码块Ci的校验,n表示集群数量；

A3：联盟链节点检查编码块是否与校验一致；并确保未曾提交过编码块对应的日志文件；

A4：定义键值对，将编码块中日志文件的校验作为键，并将编码块存储在节点本地的对象数据上，将与日志文件关联的数据作为值，所述的值包括编码后的块文件的数据本身、校验信息，以及涵盖了客户端信息、日志时间戳、应用程序路径信息的元数据，其中所述元数据的值为空时表示日志文件处于准备阶段，尚未被提交；

A5：联盟链节点返回对日志文件的校验信息和编码后的文件校验信息的签名以表明接收到并保存了编码块，客户端会在下一阶段将签名提交，作为节点正常接收的凭证；

A6：检测客户端是否收集到超过n-2f条联盟链节点返回的准备完毕消息，若是，将唤醒主线程；

A7客户端将日志文件元数据以及联盟链节点返回的签名作为交易提交。

Images