CN111355777A - 一种分布式文件系统的管理方法装置及服务器 - Google Patents

Abstract

本发明实施例提供了一种分布式文件系统的管理方法，包括以下步骤：路由器接收待处理信息，待处理信息指要被处理的操作。将待处理信息放入等待队列中。调度器提取待处理信息的特征，作为目标特征，并根据目标特征选择处理待处理信息的方法，得到预设方法。利用预设方法处理待处理信息，得到输出数据。将输出数据存储至配置分发网络中，更新配置分发网络的数据，得到更新数据。除过发送待处理信息的客户端访问更新数据时，配置分发网络输出更新数据。在多个用户必须同时访问同一数据的时候进行同步，以此确保在同一地点的数据的更新和删除会自动映射到其他存储数据的地方。

Description

一种分布式文件系统的管理方法装置及服务器

技术领域

本发明涉及分布式文件系统技术领域，具体涉及一种分布式文件系统的管理方法装置及服务器。

背景技术

在传统文件系统中，存在锁定原语，例如目录上的写锁，或者文件和记录锁，以序列化对同一资源的竞争请求。文件系统的状态实现必须提供类似的功能，实现这一功能的机制是每个柜队列，它隐式地实现资源序列化。

传统的序列化机制包括以下方面：旋转锁、互斥体、冻结锁、分布式锁、心跳机制以及网络法定机制，有多种计算模型，最常见的模型是线程化的，带有资源锁。在分布式计算中，这扩展到分布式锁管理器和心跳网络，后者将单节点概念扩展到跨多台计算机。在分析分布式数据管理系统时，各种常见因素变得显而易见:实现是复杂的，锁定模式限制了性能，锁定模型限制横向扩展，死锁是常见的系统停机，锁定和心跳流量会产生大量开销。

状态表规则和方法中隐含编码了大量逻辑，因此状态表实现的规模很小；根据定义，状态方法没有扇出，因此算法复杂度低数字命理学和配置分发网络(CDN)的并行性，和不使用分布式的锁，都导致几乎线性的横向扩展能力；不使用静态本地结构则有助于实时资源的迁移。

发明内容

本发明实施例的目的在于提供一种分布式文件系统的管理方法，以支持视频云对海量物联网数据的快速读取与管理。具体技术方案如下：

一种分布式文件系统的管理方法，其特征在于：包括以下步骤：

路由器接收目标客户端发送的待处理信息，待处理信息指要被处理的操作。其中，目标客户端为客户端中的任意一个客户端。

将待处理信息放入等待队列中。

调度器提取待处理信息的特征，作为目标特征，并根据目标特征选择处理待处理信息的方法，获取预设方法。

利用预设方法处理待处理信息，得到输出数据。

将输出数据存储至配置分发网络中，更新配置分发网络的数据，得到更新数据。

客户端访问更新数据时，配置分发网络输出更新数据。

与现有技术相比，本本发明的有益效果为：实现了等待队列可同时分别对内部队列和外部队列进行数据更新，通过线程控制，避免出现睡眠，实现了有序更新数据的效果。

进一步优化为，等待队列由线程拥有过程控制，等待队列包括内部队列和外部队列，内部队列用于自动更新待处理信息，外部队列用于接收待处理信息。

采用上述技术方案，确保了数据更新处理能够按照单线程进行，保证数据更新的准确率。

进一步优化为：外部队列受自旋锁保护，自旋锁保护指从外部队列的一个队列元素单线程传递到另一个队列元素。

采用上述技术方案，使的数据能够被逐渐更新，避免出现更新混乱。

进一步优化为：根据目标特征选择处理待处理信息的方法，获取预设方法包括：

创建一个处理方法集合。

将多个处理方法存储在方法集合中，并对每一个处理方法进行特征标注。

根据目标特征，在方法集合中查找与目标特征对应的目标特征标注。

将目标特征标注所代表的处理方法做为预设方法。

采用上述技术方案，能够得到预设方法，达到更新和存储数据的效果。

进一步优化为：待处理信息为：待处理指令或待处理数据。

采用上述技术方案，路由器接收操作等待处理信息的指令，调度器将路由器接收的等待处理的数据进行调度，控制工作器对待处理信息进行更新，当进行访问时，工作器输出数据，实现了对外部队列和内部队列进行更新处理的目的。

进一步优化为：在调度器提取待处理信息的特征，作为目标特征之后，还包括存储目标特征。

采用上述技术方案，完成了对目标特征存储的功能，使目标特征存储在工作器中，为客户端访问数据信息提供便利。

进一步优化为：存储目标特征包括：

给每个目标特征添加一个通用前缀，前缀包括操作码、操作序列号以及数字对象戳。外部队列中的第一节点向第二节点发送消息时，第一节点将自己置于等待队列中。

第二节点发送带有前缀的返回消息，并且相关联的发送者根据前缀从散列队列中访问匹配。

如果第二节点没有响应，将发生超时，调度器调用得到目标特征的方法。

如果第二节点通过反馈相同的前缀，给第一节点反馈确认信息，表示已经收到目标特征。

采用上述技术方案，通过给目标特征添加通用前缀，标记目标特征，实现能够唯一存储目标特征，避免出现重复存储，而且保证了能够在一个地点将待处理信息更新后映射到其他存储的地方，实现了同步更新数据的目的，达到当进行访问时，访问数据都是最新更新的效果。

进一步优化为，客户端访问更新数据的方法包括：

给更新数据添加前缀。

通过前缀得到更新数据的目标柜，更新数据将被放到相应柜队列。

输入访问更新数据信息。

工作器输出更新数据。

采用上述技术方案，客户端通过访问目标柜而达到访问更新数据的目的。

本发明实施的又一方面，还提供了一种分布式文件系统管理方法的装置，包括

接收模块，用于获取待处理信息；

处理模块，用于将待处理信息放入等待队列中，并进行特征标记，得到目标特征，并根据所述目标特征选择处理所述待处理信息的方法，得到预设方法；

输出模块，利用预设方法处理待处理信息，得到输出数据；将所述输出数据存储至配置分发网络中，更新所述配置分发网络的数据，得到更新数据，输出更新数据。

在本发明实施的又一方面，本发明实施例还提供了一种包含指令的计算机程序产品，也就是一种服务器，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-8任一所述的方法步骤。

当其在计算机上运行时，使得计算机执行上述任一所述的服务器。

本发明实施例提供的一种分布式文件系统的管理方法装置及服务器，当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1为实施例一的流程图；

图2为本实施例一获取预设方法的流程图；

图3为本实施例一存储目标特征的流程图；

图4为实施例一中客户端访问更新数据的方法流程图；

图5为实施例一功能模块示意图；

图6为实例一的电子产品示意图；

图7为实施例二的通用消息前缀示意图；

图8为实施例二的序列化示意图；

图9为实施例二的数据输入/输出示意图；

图10为实施例二的交易示意图。

具体实施方式

本发明实施例的目的在于提供一种分布式文件系统的管理方法，以实现操纵控制条件下的维持飞机姿态平稳。具体技术方案如下：

一种分布式文件系统的管理方法，如图1所示，其特征在于：包括以下步骤：

路由器接收目标客户端发送的待处理信息，待处理信息指要被处理的操作。其中，目标客户端为客户端中的任意一个客户端。待处理信息为：待处理指令或待处理数据，路由器接收操作等待处理信息的指令，调度器将路由器接收的等待处理的数据进行调度，控制工作器对待处理信息进行更新，当进行访问时，工作器输出数据，实现了对外部队列和内部队列进行更新处理的目的。

将待处理信息放入等待队列中。等待队列由线程拥有过程控制，等待队列包括内部队列和外部队列，内部队列用于自动更新待处理信息，外部队列用于接收待处理信息，确保了数据更新处理能够按照单线程进行，保证数据更新的准确率。外部队列受自旋锁保护，自旋锁保护指从外部队列的一个队列元素单线程传递到另一个队列元素，使的数据能够被逐渐更新，避免出现更新混乱。

调度器提取待处理信息的特征，作为目标特征，并根据目标特征选择处理待处理信息的方法，获取预设方法。需说明的是，本申请中的预设方法为现有技术，例如处理数据、图片以及视频等信息的处理方法。

在调度器提取待处理信息的特征，作为目标特征之后，还包括存储目标特征，完成了对目标特征存储的功能，使目标特征存储在工作器中，为客户端访问数据信息提供便利。

利用预设方法处理待处理信息，得到输出数据。

将输出数据存储至配置分发网络中，更新配置分发网络的数据，得到更新数据。

客户端访问更新数据时，配置分发网络输出更新数据。

本发明实现了等待队列可同时分别对内部队列和外部队列进行数据更新，通过线程控制，避免出现睡眠，实现了有序更新数据的效果。

根据目标特征选择处理待处理信息的方法，如图2所示，获取预设方法包括：

创建一个处理方法集合。

将多个处理方法存储在方法集合中，并对每一个处理方法进行特征标注。

根据目标特征，在方法集合中查找与目标特征对应的目标特征标注。

将目标特征标注所代表的处理方法做为预设方法。能够得到预设方法，达到更新和存储数据的效果。

存储目标特征包括：

给每个目标特征添加一个通用前缀，前缀包括操作码、操作序列号以及数字对象戳。外部队列中的第一节点向第二节点发送消息时，第一节点将自己置于等待队列中。

第二节点发送带有前缀的返回消息，并且相关联的发送者根据前缀从散列队列中访问匹配。

如果第二节点没有响应，将发生超时，调度器调用得到目标特征的方法。

如果第二节点通过反馈相同的前缀，给第一节点反馈确认信息，表示已经收到目标特征。

通过给目标特征添加通用前缀，标记目标特征，实现能够唯一存储目标特征，避免出现重复存储，而且保证了能够在一个地点将待处理信息更新后映射到其他存储的地方，实现了同步更新数据的目的，达到当进行访问时，访问数据都是最新更新的效果。

如图3所示，客户端访问更新数据的方法包括：

给更新数据添加前缀。

通过前缀得到更新数据的目标柜，更新数据将被放到相应柜队列。

输入访问更新数据信息。

工作器输出更新数据。

这样可以达到客户端通过访问目标柜而达到访问更新数据的目的。

本发明实施的又一方面，还提供了一种分布式文件系统管理方法的装置，如图5所示，包括

接收模块，用于获取待处理信息。

处理模块，用于将待处理信息放入等待队列中，并进行特征标记，得到目标特征，并根据所述目标特征选择处理所述待处理信息的方法，得到预设方法。

输出模块，利用预设方法处理待处理信息，得到输出数据。将所述输出数据存储至配置分发网络中，更新所述配置分发网络的数据，得到更新数据，输出更新数据。

在本发明实施的又一方面，本发明实施例还提供了一种包含指令的计算机程序产品，也就是一种服务器，包括处理器、通信接口、存储器和通信总线，如图6所示，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信。

存储器，用于存放计算机程序。

处理器，用于执行存储器上所存放的程序时，实现权利要求书中1-8任一所述的方法步骤。

当其在计算机上运行时，使得计算机执行上述任一所述的服务器。

本发明实施例提供的一种分布式文件系统的管理方法装置及服务器，当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的基于飞机异常姿态的新能源辅助应急控制方法。

在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的新能源辅助应急动力控制装置。

实施例二

有一种跨越所有数据云资源的通用命理学，并且依赖于单个磁盘数据库。目标是所有资源都可以由外部人工智能/商业智能工具检测和查询，来自不同来源的存储元素可以无缝混合和匹配，而无需访问生成原始数据的应用程序。

有多个服务组件，例如消息接收器、调度器、工作线程队列和更干净的服务。这些服务都提供了一个外部队列，允许外部服务添加请求。外部队列服务处于多线程构造中，因此需要自旋锁序列化。内部队列对每个服务都是私有的，因此不能从外部访问。

如图7所示，数据云中的每条消息都包含一个公共前缀(1.1)，该前缀具有操作码、操作序列号和数字对象戳。如果一个服务节点向另一个服务节点发送消息(1.2)，发送节点将自己置于LRU队列(1.3)中。接收节点发送具有适当操作码和匹配序列号(1.4)的返回消息，并且相关联的发送者从散列队列中匹配(1.5)。如果远程节点没有响应，将发生超时(1.6)，并调用构造的state3方法。

经销商id不是本发明的一部分，但是是0mq路由器/经销商消息的一部分的一个重要方面是，它与每条消息一起发送。数据云中的经销商id就是节点的NID。配置分发网络中的NID同时关联一个IP地址，该地址是任何消息的目的地，而不是发送套接字。这种机制提供入侵保护，因为只要IP地址没有暴露的话，信息传送就是安全的。

如图8所示，在公共消息前缀中包含了戳字段的扩展。每个要处理的操作码(6.2)都有一个CDN读写器分类。公共前缀中的戳(6.6)定义了一个柜，并且访问是在每个柜的基础上序列化的。在事务中，扇区(6.9)的标记哈希到特定的工作线程队列，以强制执行严格的事务排序。

调度程序决定每个操作(6.2)的CDN更新类，然后将其作为读(6.3)或写(6.4)排队。

客户端请求可以竞争同一个柜，例如，摄像机的媒体流。可以创建、打开或删除这些流。公共前缀(6.6)中的标记映射到柜标识(6.8)，并维护每个柜的操作队列(6.9)，作为大多数文件系统实现中常见的传统目录锁以及文件和记录锁的替代。

为了对扇区元数据请求和更新保持严格的消息排序(6.9)，这样的消息通过散列函数(6.10)与单个工作线程相关联，并且工作队列(6.11)隐式管理串行化。

如图9所示，操作构造(7.1)包括工作状态、指向工作操作的指针和返回状态。该操作被添加到工作队列中，以便它可以休眠，并启动该操作，该操作调用磁盘或网络函数。完成后，操作返回到调度器队列进行进一步处理。

操作构造包括状态0(返回状态)、状态4(工作队列状态)和权限4(指向输入/输出操作的结构)。

构造以循环方式排队到工作队列中(7.2)。从构造中的状态4开始，运行一个输入/输出帮助器方法(7.3)。完成后，将在调度器状态0队列(7.4)中重新查询构造。这两个队列必须是线程的自旋锁保护外部队列。当调度程序下一次处理状态0队列时，将执行与构造的状态0相关联的方法。

如图10所示，一个事务总是从丛零开始，无论是元数据扇区还是CDN扇区。还有丛1和丛2，它们将托管在其他节点上。当操作更改文件系统元数据时，它会在扇区事务队列(8.3)中排队，该队列是从前缀标记(8.1)派生的(8.2)。

事务机制创建一个可以跨多个操作的日志(8.4)，并将日志记录发送到丛1和丛2(8.5)，并在这些节点上播放日志(8.6)以更新磁盘结构。当收到来自复制副本的响应时，日志将在丛0(8.7)上播放，然后相关联的操作将被放在state2队列(8.8)上完成。

一个日志记录中可以包含大约60K个日志记录，这可能比随时更新元数据的操作队列更大。

请注意，扇区是数据结构，该数据结构的一部分是过程控制构造，因此扇区本身能够充当事务的控制过程，这是状态引擎独有的属性。事务边界由扇区上的一个简单BUSY标志来表示，该标志带有一个活动的和挂起的队列，该队列保存正在处理的事务和挂起的操作。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种分布式文件系统的管理方法，其特征在于：包括以下步骤：

路由器接收目标客户端发送的待处理信息，所述待处理信息指要被处理的操作；其中，所述目标客户端为客户端中的任意一个客户端；

将所述待处理信息放入等待队列中；

调度器提取所述待处理信息的特征，作为目标特征，并根据所述目标特征选择处理所述待处理信息的方法，获取预设方法；

利用所述预设方法处理所述待处理信息，得到输出数据；

将所述输出数据存储至配置分发网络中，更新所述配置分发网络的数据，得到更新数据；

所述客户端访问所述更新数据时，所述配置分发网络输出所述更新数据。

2.根据权利要求1所述的分布式文件系统的管理方法，其特征在于：所述等待队列由线程拥有过程控制，所述等待队列包括内部队列和外部队列，所述内部队列用于自动更新所述待处理信息，所述外部队列用于接收所述待处理信息。

3.根据权利要求2所述的分布式文件系统的管理方法，其特征在于：所述外部队列受自旋锁保护，所述自旋锁保护指从所述外部队列的一个队列元素单线程传递到另一个队列元素。

4.根据权利要求1所述的分布式文件系统的管理方法，其特征在于：所述根据所述目标特征选择处理所述待处理信息的方法，获取预设方法包括：

创建一个处理方法集合；

将多个处理方法存储在所述方法集合中，并对每一个所述处理方法进行特征标注；

根据所述目标特征，在所述方法集合中查找与所述目标特征对应的目标特征标注；

将所述目标特征标注所代表的处理方法做为所述预设方法。

5.根据权利要求1所述的分布式文件系统的管理方法，其特征在于：所述待处理信息为：待处理指令或待处理数据。

6.根据权利要求1所述的分布式文件系统的管理方法，其特征在于：在调度器提取所述待处理信息的特征，作为目标特征之后，还包括存储所述目标特征。

7.根据权利要求6所述的分布式文件系统的管理方法，其特征在于：所述存储所述目标特征包括：

给每个所述目标特征添加一个通用前缀，所述前缀包括操作码、操作序列号以及数字对象戳；所述外部队列中的第一节点向第二节点发送消息时，所述第一节点将自己置于等待队列中；

所述第二节点发送带有所述前缀的返回消息，并且相关联的发送者根据所述前缀从散列队列中访问匹配；

如果第二节点没有响应，将发生超时，所述调度器调用得到所述目标特征的方法；

如果所述第二节点通过反馈相同的所述前缀，给所述第一节点反馈确认信息，表示已经收到所述目标特征。

8.根据权利要求1所述的分布式文件系统的管理方法，其特征在于：客户端访问所述更新数据的方法包括：

给所述更新数据添加所述前缀；

通过所述前缀得到所述更新数据的目标柜，所述更新数据将被放到相应柜队列；

输入访问所述更新数据信息；

工作器输出所述更新数据。

9.一种分布式文件系统的管理装置，其特征在于：包括：

接收模块，用于获取待处理信息；

处理模块，用于将待处理信息放入等待队列中，并进行特征标记，得到目标特征，并根据所述目标特征选择处理所述待处理信息的方法，得到预设方法；

输出模块，利用预设方法处理待处理信息，得到输出数据；将所述输出数据存储至配置分发网络中，更新所述配置分发网络的数据，得到更新数据，输出更新数据。

10.一种服务器，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

所述存储器，用于存放计算机程序；

所述处理器，用于执行存储器上所存放的程序时，实现权利要求1-8任一所述的方法步骤。

Images