CN116827965A - 基于云平台的煤矿井下离线场景数据存储和同步方法 - Google Patents

Abstract

本公开实施例是关于一种基于云平台的煤矿井下离线场景数据存储和同步方法。本公开实施例一方面，在保存了传感装置生成的第二业务数据的同时，还捕获了所有的操作细节，结合煤矿的上井和下井的场景需求，对数据进行下载、更新、还原以及上传处理，没有过大的开销，同时保证了数据存储和同步的可靠性。另一方面，基于矿井业务并发低的场景，提出全量覆盖数据，使用少量存储降低大量的业务处理复杂度，仅需关注数据结果本身，提高了数据同步效率。

Description

基于云平台的煤矿井下离线场景数据存储和同步方法

技术领域

本公开实施例涉及煤矿工业互联网技术领域，尤其涉及一种基于云平台的煤矿井下离线场景数据存储和同步方法。

背景技术

随着云计算、大数据技术在各行各业的渗透和应用，我国的煤炭生产也在朝着数字化、信息化的趋势发展。通过对大数据技术进行应用，建立智慧型煤炭采集系统，提高数据的存储率以及读取率，是大势所趋的发展方向。随着煤矿生产技术的不断提高，井下作业环境的复杂性和多样性也越来越高，对于井下作业数据的存储和同步也提出了更高的要求。传统的离线场景数据存储方式已经难以满足煤矿井下数据存储的需要，需要寻找一种新的解决方案。因此，研究离线场景数据存储和同步方法，对于提高煤矿生产效率、保障煤矿安全生产具有重要的意义。

当前煤矿井下信息化最大的挑战莫过于离线场景对数据传输和存储的限制，虽然移动终端有解决方案可以在离线场景下进行一系列操作，从而达到井下信息化沟通的目的。但随之而来的问题也显而易见，例如离线场景下数据传输对硬件设备的要求和依赖度较高，造成生产成本较高的问题，同时也伴随着低效率、高延时等数据传输问题。

因此，有必要改善上述相关技术方案中存在的一个或者多个问题。

需要注意的是，本部分旨在为权利要求书中陈述的本公开的技术方案提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

发明内容

本公开实施例的目的在于提供一种基于云平台的煤矿井下离线场景数据存储和同步方法，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。

根据本公开实施例的第一方面，提供一种基于云平台的煤矿井下离线场景数据存储和同步方法，该方法包括：

移动终端从云平台获取待执行任务信息；

根据传感装置判断业务使用场景，若判断所述业务使用场景为离线场景，则用户将所述移动终端切换成下井模式，且所述云平台将所述待执行任务信息所对应的第一业务数据拉取到所述移动终端上；

所述移动终端根据所述待执行任务信息对所述传感装置的第二业务数据所对应的数据变更动作进行拦截处理，以得到变更动作数据；

所述移动终端将所述变更动作数据存储至数据库组中；

上井后，所述用户将所述移动终端切换成上井模式；

所述移动终端根据所述变更动作数据和所述第一业务数据进行还原处理以得到所述第二业务数据，并将所述第二业务数据同步到所述云平台。

本公开的一实施例中，所述传感装置根据所述传感装置中的位置传感器获取所述用户的位置，以判断所述业务使用场景是否为离线场景。

本公开的一实施例中，所述变更动作数据至少包括：

插入操作信息、更新操作信息和删除操作信息。

本公开的一实施例中，所述数据库组包括多个数据库，一个所述用户对应一个所述数据库。

本公开的一实施例中，所述移动终端将所述变更动作数据存储至数据库组的步骤包括：

所述移动终端将所述变更动作数据存储至当前的所述用户对应的所述数据库中。

本公开的一实施例中，所述移动终端将所述变更动作数据存储至当前的所述用户对应的所述数据库中，包括：

利用存储过程或函数对所述变更动作数据进行处理，并将所述变更动作数据以SQL信息的形式存储至所述数据库中。

本公开的一实施例中，所述用户将所述移动终端切换成上井模式的步骤之后，还包括：

根据所述用户的用户标识进行查询，以从对应的所述数据库中提取出所述变更动作数据。

本公开的一实施例中，所述移动终端根据所述变更动作数据和所述第一业务数据进行还原处理以得到所述第二业务数据的步骤之后包括：

对所述第二业务数据进行数据清洗。

本公开的一实施例中，所述将所述第二业务数据同步到所述云平台的步骤包括：

所述移动终端识别所述第二业务数据，并根据所述第二业务数据生成源数据配置文件；

所述移动终端将根据所述源数据配置文件打包成kafka文件，并将所述kafka文件发送至云平台。

根据本公开实施例的第二方面，提供一种电子设备，包括：

处理器；

以及存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一个实施例中所述基于云平台的煤矿井下离线场景数据存储和同步方法的步骤。

本公开的实施例提供的技术方案可以包括以下有益效果：

本公开的实施例中，通过上述基于云平台的煤矿井下离线场景数据存储和同步方法，一方面，在保存了传感装置生成的第二业务数据的同时，还捕获了所有的操作细节，结合煤矿的上井和下井的场景需求，对数据进行下载、更新、还原以及上传处理，没有过大的开销，同时保证了数据存储和同步的可靠性。另一方面，基于矿井业务并发低的场景，提出全量覆盖数据，使用少量存储降低大量的业务处理复杂度，仅需关注数据结果本身，提高了数据同步效率。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出本公开示例性实施例中一种基于云平台的煤矿井下离线场景数据存储和同步方法的步骤图；

图2示出本公开示例性实施例中基于云平台的煤矿井下离线场景数据存储和同步方法的流程示意图；

图3示出本公开示例性实施例中一种电子设备的示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

此外，附图仅为本公开实施例的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。

本示例实施方式中首先提供了一种基于云平台的煤矿井下离线场景数据存储和同步方法。参考图1中所示，该基于云平台的煤矿井下离线场景数据存储和同步方法可以包括：步骤S101~步骤S106。

步骤S101：移动终端从云平台获取待执行任务信息。

步骤S102：根据传感装置判断业务使用场景，若判断所述业务使用场景为离线场景，则用户将所述移动终端切换成下井模式，且所述云平台将所述待执行任务信息所对应的第一业务数据拉取到所述移动终端上。

步骤S103：所述移动终端根据所述待执行任务信息对所述传感装置的第二业务数据所对应的数据变更动作进行拦截处理，以得到变更动作数据。

步骤S104：所述移动终端将所述变更动作数据存储至数据库组中。

步骤S105：上井后，所述用户将所述移动终端切换成上井模式。

步骤S106：所述移动终端根据所述变更动作数据和所述第一业务数据进行还原处理以得到所述第二业务数据，并将所述第二业务数据同步到所述云平台。

通过上述基于云平台的煤矿井下离线场景数据存储和同步方法，一方面，在保存了传感装置生成的第二业务数据的同时，还捕获了所有的操作细节，结合煤矿的上井和下井的场景需求，对数据进行下载、更新、还原以及上传处理，没有过大的开销，同时保证了数据存储和同步的可靠性。另一方面，基于矿井业务并发低的场景，提出全量覆盖数据，使用少量存储降低大量的业务处理复杂度，仅需关注数据结果本身，提高了数据同步效率。

下面，将参考图1至图2对本示例实施方式中的上述基于云平台的煤矿井下离线场景数据存储和同步方法的各个步骤进行更详细的说明。

在步骤S101中，用户在下井之前，先登录移动终端，每个用户都有自己独有的用户标识信息。用户登录之后，从云平台下载下井之后所需要执行的待执行任务信息。

在步骤S102中，业务进行第一轮标准化，要求用户清晰明确自己当前所处的环境是否为“离线模式”，若是则将移动终端切换成下井模式，即在移动终端中点击“下井”操作按钮，对应系统感知到环境切换，此时处于离线场景。

另外，当移动终端感应到“下井”操作被触发时，将云平台需要使用的范围内第一业务数据全量拉取到移动终端本地，直接覆盖过去的数据，即旧的第一业务数据，覆盖完成后用户下井；其中，第一业务数据可以为上一次同步的第一业务数据。

在步骤S103中，下井后，移动终端实现数据库的拦截器，对传感装置产生的即将进入数据库存储的第二业务数据对应的数据变更动作进行拦截，并得到变更动作数据。

在步骤S104中，每个用户都有自己对应的数据库，移动终端拦截了数据变更动作后，将当前用户的变更动作数据存储至该用户对应的数据库中。

在步骤S105中，上井后，用户点击移动终端上的“上井”按钮，当按钮被点击时，移动终端切换成上井模式；对应系统感知到环境切换，此时移动终端处于在线场景。

在步骤S106中，当前所处的环境属于“上井”时，移动终端将保存的变更动作数据与移动终端中的第一业务数据进行还原处理，即将第一业务数据按照变更动作数据中的数据变更动作的顺序重新执行，最后得到最新的第二业务数据，并将第二业务数据上传到云平台。

在一个实施例中，所述传感装置根据所述传感装置中的位置传感器获取所述用户的位置，以判断所述业务使用场景是否为离线场景。

具体的，离线场景的判断，可以根据用户当前所在的位置来判断，例如根据位置传感器获取用户的位置，根据用户的位置判断其所处的深度，若深度达到设定的阈值，则判断满足离线场景的条件。同理，若深度小于此阈值时，为上井模式。

在一个实施例中，所述变更动作数据至少包括：插入操作信息、更新操作信息和删除操作信息。

具体的，对第一业务数据的拦截对象包括了增删改等需要对数据进行变动的处理方式，例如：插入、更新、删除等。在对第一业务数据进行拦截的过程中，在移动终端的数据库中设置相应的拦截器，例如，可以使用SQL（Structured query Language，结构化查询语言）语句过滤器，也可以使用存储过程或函数过滤器；在过滤器中设置条件，例如：按照某个字段进行过滤等；可以根据设置的条件，对符合条件的SQL语句进行拦截和处理。

另外，对于拦截后的SQL语句（即变更动作数据），可以根据需要进行解析和分析，例如：进行数据分析、报警等操作。其中，数据分析包括：分析该变更动作数据中哪些是插入操作信息、更新操作信息和删除操作信息；或者分析该变更动作数据中是否存在错误，若存在，需要进行剔除。数据报警包括：查看变更动作数据中是否存在报警信息，若存在报警信息，则分析原因，并进行报警，以便用户能够及时对该报警进行处理。

进一步的，对于移动终端的拦截器的配置和使用，可以进行定期优化和调整，以适应不同的业务需求和数据库环境。例如，不同的数据库所适用的拦截器不同，因此，可以根据数据库能够适配的拦截器而去择优选择拦截器。

进一步的，对于业务数据的变更操作（即SQL语句），可以记录变更操作的时间、用户等信息，以便后续分析和追溯。

在一个具体的实施例中，在对第二业务数据的数据变动请求进行拦截的过程中，移动终端先检测数据变动请求（即数据变更动作）对应的目标数据（即第一业务数据）；基于目标数据对应的生成信息（生成该数据的设备权重）、数据信息（数据标识对应的权重）和当前网络负载情况，确定数据变动请求对应的权重；基于数据变动请求对应的权重，判断数据变动请求是否为非拦截对象；若是，则将数据变动请求发送至云平台进行处理。

上述过程通过对数据变动请求进行识别和检测，判断数据变动请求的重要程度，若判断得到的数据变动请求比较重要，则表明该数据变动请求若是被拦截可能导致数据出错，因此，将不拦截该数据变动请求，将其上传至云平台处理。上述方式可以保证重要数据实时传输，降低部分重要数据的传输时延，提高数据传输的可靠性。

在一个实施例中，所述数据库组包括多个数据库，一个所述用户对应一个所述数据库。

可选的，移动终端中可以设有多个数据库，可以根据用户名设置，也可以根据数据类型进行设置。例如，一个用户对应一个数据库，若新用户登录时，则建立新的数据库。数据库可以根据用户的用户标识信息来进行匹配。

具体的，本实施例中在针对多个数据库进行存储的过程中，可以根据当前用户的用户标识，将其与各个数据库中的数据标识/>进行匹配，计算两个标识之间的相关参数/>为：

其中，α表示预设的相关因子，k表示标识中的字符数量，i表示标识中的第i个字符，X_i表示用户标识中的第i个用户标识，Y_i表示数据标识中的第i个数据标识。上述过程中通过将当前用户的用户标识与各个数据库中的数据标识进行匹配计算得到相关参数，根据最大相关参数确定当前用户对应的目标数据库。用于将当前用户生成的数据库信息存储至对应的目标数据库中，以保证数据存储的可靠性。

在一个实施例中，所述将所述变更动作数据存储至数据库组的步骤包括：所述移动终端将所述变更动作数据存储至当前的所述用户对应的所述数据库中。

具体的，由于移动终端可能有很多历史用户，在这种情况下，当前用户在登陆该移动终端时，移动终端根据用户的用户标识信息获取该用户对应的数据库的使用权限，用户使用该移动终端拦截了第一业务数据之后，将拦截的第一业务数据存储至该用户对应的数据库中，即根据当前用户的用户标识将第一业务数据关联存储。

除此之外，还可以按照第一业务数据的生成对象对第一业务数据进行分组存储。具体的分组方式为可以按照某个字段进行分组，也可以按照某个分组函数进行分组等等。

在一个实施例中，所述移动终端将所述变更动作数据存储至当前的所述用户对应的所述数据库中，包括：利用存储过程或函数对所述变更动作数据进行处理，并将所述变更动作数据以SQL信息的形式存储至所述数据库中。

具体的，将分组后的SQL语句存储到数据库中，可以使用存储过程或函数将分组后的SQL语句存储到数据库中。

此时产生的效果为井下进行的一系列业务操作被以SQL的形式按顺序记录了下来，用于后续回放。

对存储的SQL语句进行管理，可以查询、更新、删除存储的SQL语句，也可以根据需要进行分组和过滤等操作。

在存储SQL语句时，可以使用缓存机制，避免重复计算和SQL注入等攻击。

在一个实施例中，所述用户将所述移动终端切换成上井模式的步骤之后，还包括：根据所述用户的用户标识进行查询，以从对应的所述数据库中提取出所述变更动作数据。

具体的，当感知到“上井”操作被触发时，开始准备回放，首先将保存的SQL按照当前用户的用户标识进行查询，以得到该用户存储的SQL，同时，将查询的结果通过网络上传到云平台。

移动终端对这些SQL按用户触发的顺序重新执行，即将第一业务数据按照SQL的顺序重新执行，则可得到第二业务数据。执行完成后即可将井下的所有业务操作包括业务内容进行还原，确保云平台和移动终端的数据一致性。

在移动终端还原第二业务数据的过程中，根据存储的数据变更动作，对存储的第一业务数据进行重新执行，触发生成还原数据（即第二业务数据），最后移动终端将还原数据存储至云平台。

在一个实施例中，所述移动终端根据所述变更动作数据和所述第一业务数据进行还原处理以得到第二业务数据的步骤之后包括：对所述第二业务数据进行数据清洗。

具体的，在数据还原得到完整的第二业务数据之后，可以基于第二业务数据的属性对完整的第二业务数据进行数据清洗，以删除冗余数据。

在一个实施例中，所述将所述第二业务数据同步到所述云平台的步骤包括：所述移动终端识别所述第二业务数据，并根据所述第二业务数据生成源数据配置文件；所述移动终端将根据所述源数据配置文件打包成kafka文件，并将所述kafka文件发送至云平台。

具体的，移动终端中自动识别第二业务数据，并根据第二业务数据据信息生成源数据配置文件；移动终端根据源数据配置文件为第二业务数据打包成（kafka）文件，同时将kafka文件发送到云平台。

移动终端需要获取第二业务数据时，移动终端将从云平台获取kafka文件，并发送到（分布式文件）存储系统；移动终端中的目标数据库从分布式文件存储系统加载第二业务数据，以将第二业务数据加载完成。

如图2所示，通过上述基于云平台的煤矿井下离线场景数据存储和同步方法，一方面，在保存了传感装置生成的第二业务数据的同时，还捕获了所有的操作细节，结合煤矿的上井和下井的场景需求，对数据进行下载、更新、还原以及上传处理，没有过大的开销，同时保证了数据存储和同步的可靠性。另一方面，基于矿井业务并发低的场景，提出全量覆盖数据，使用少量存储降低大量的业务处理复杂度，仅需关注数据结果本身，提高了数据同步效率。且运用云平台，使离线数据可以完整存储，确保数据完整性。

在本公开的示例性实施例中，还提供一种电子设备，该电子设备可以包括处理器，以及用于存储所述处理器的可执行指令的存储器。其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一个实施例中所述基于云平台的煤矿井下离线场景数据存储和同步方法的步骤。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式（包括固件、微代码等），或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

下面参照图3来描述根据本发明的这种实施方式的电子设备600。图3显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图3所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同系统组件（包括存储单元620和处理单元610）的总线630、显示单元640等。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书上述基于云平台的煤矿井下离线场景数据存储和同步方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元610可以执行如图1中所示的步骤。

所述存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元（RAM）6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元（ROM）6203。

所述存储单元620还可以包括具有一组（至少一个）程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备600也可以与一个或多个外部设备700（例如键盘、指向设备、蓝牙设备等）通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备（例如路由器、调制解调器等等）通信。这种通信可以通过输入/输出（I/O）接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络（例如局域网（LAN），广域网（WAN）和/或公共网络，例如因特网）通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中或网络上，包括若干指令以使得一台计算设备（可以是个人计算机、服务器或者网络设备等）执行根据本公开实施方式的上述基于云平台的煤矿井下离线场景数据存储和同步方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。

Claims (10)

1.一种基于云平台的煤矿井下离线场景数据存储和同步方法，其特征在于，该方法包括：

移动终端从云平台获取待执行任务信息；

根据传感装置判断业务使用场景，若判断所述业务使用场景为离线场景，则用户将所述移动终端切换成下井模式，且所述云平台将所述待执行任务信息所对应的第一业务数据拉取到所述移动终端上；

所述移动终端根据所述待执行任务信息对所述传感装置的第二业务数据所对应的数据变更动作进行拦截处理，以得到变更动作数据；

所述移动终端将所述变更动作数据存储至数据库组中；

上井后，所述用户将所述移动终端切换成上井模式；

所述移动终端根据所述变更动作数据和所述第一业务数据进行还原处理以得到所述第二业务数据，并将所述第二业务数据同步到所述云平台。

2.根据权利要求1所述基于云平台的煤矿井下离线场景数据存储和同步方法，其特征在于，所述传感装置根据所述传感装置中的位置传感器获取所述用户的位置，以判断所述业务使用场景是否为离线场景。

3.根据权利要求1所述基于云平台的煤矿井下离线场景数据存储和同步方法，其特征在于，所述变更动作数据至少包括：

插入操作信息、更新操作信息和删除操作信息。

4.根据权利要求1所述基于云平台的煤矿井下离线场景数据存储和同步方法，其特征在于，所述数据库组包括多个数据库，一个所述用户对应一个所述数据库。

5.根据权利要求4所述基于云平台的煤矿井下离线场景数据存储和同步方法，其特征在于，所述移动终端将所述变更动作数据存储至数据库组的步骤包括：

所述移动终端将所述变更动作数据存储至当前的所述用户对应的所述数据库中。

6.根据权利要求5所述基于云平台的煤矿井下离线场景数据存储和同步方法，其特征在于，所述移动终端将所述变更动作数据存储至当前的所述用户对应的所述数据库中，包括：

利用存储过程或函数对所述变更动作数据进行处理，并将所述变更动作数据以SQL信息的形式存储至所述数据库中。

7.根据权利要求6所述基于云平台的煤矿井下离线场景数据存储和同步方法，其特征在于，所述用户将所述移动终端切换成上井模式的步骤之后，还包括：

根据所述用户的用户标识进行查询，以从对应的所述数据库中提取出所述变更动作数据。

8.根据权利要求7所述基于云平台的煤矿井下离线场景数据存储和同步方法，其特征在于，所述移动终端根据所述变更动作数据和所述第一业务数据进行还原处理以得到所述第二业务数据的步骤之后包括：

对所述第二业务数据进行数据清洗。

9.根据权利要求7所述基于云平台的煤矿井下离线场景数据存储和同步方法，其特征在于，所述将所述第二业务数据同步到所述云平台的步骤包括：

所述移动终端识别所述第二业务数据，并根据所述第二业务数据生成源数据配置文件；

所述移动终端将根据所述源数据配置文件打包成kafka文件，并将所述kafka文件发送至云平台。

10.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1~9任一项所述基于云平台的煤矿井下离线场景数据存储和同步方法的步骤。