CN113434736A

CN113434736A - 一种面向遥感大数据的多维混合索引方法及系统

Info

Publication number: CN113434736A
Application number: CN202110649835.XA
Authority: CN
Inventors: 朱利鲁; 苏晓露; 台宪青
Original assignee: Suzhou Research Institute Institute Of Electronics Chinese Academy Of Sciences
Current assignee: Suzhou Research Institute Institute Of Electronics Chinese Academy Of Sciences
Priority date: 2021-06-10
Filing date: 2021-06-10
Publication date: 2021-09-24

Abstract

本发明提出了一种面向遥感大数据的多维混合索引系统及方法，多维混合索引构建模块建立基于空间金字塔的遥感数据网格模型，将遥感数据划分成遥感数据网格；使用模糊聚类算法实现基于数据特征的融合，将遥感数据网格划分至不同类别的数据集中；采用递归的八邻域搜索算法完成基于时空特征的目标数据集的补全，形成多维混合索引的结构化模型；多维混合索引编码模块从时间、空间、目标三个维度对遥感数据进行抽象，构建多源遥感数据的立方体模型；引入空间曲线及压缩编码建立索引，利用空间曲线将不同尺度、不同集合的数据连通，实现基于网格编码的混合索引，将不同维度的特征组合检索转化为批量检索的形式。本发明提高了大规模遥感数据的检索效率。

Description

一种面向遥感大数据的多维混合索引方法及系统

技术领域

本发明涉及计算机信息技术领域，具体涉及一种面向遥感大数据的多维混合索引方法及系统。

背景技术

随着对地观测技术的不断发展，遥感数据日益呈现多元化的特点。遥感数据的时间、空间分辨率不断提高，更新周期缩短，数据量也显著增加。这些海量的遥感数据能够对地表进行多粒度、多时相、多方位和多层次的全面反映。如果能够对它们进行统一组织和管理，实现多源遥感数据的融合，能够极大地推动遥感数据在国防、灾害预警、农业等多个领域的广泛应用。然而，遥感大数据本身具有数据量大、分布广泛、多尺度、多时相等特点，且不同传感器所观测到的遥感数据，在数据格式、元数据结构、所需处理方法等均存在较大差异，如何高效且统一的对多源遥感数据进行组织与管理是遥感大数据应用中不可避免的难题。

现如今，在多源遥感数据进行组织与管理方面还存在诸多弊端：首先，已有的遥感数据平台所提供的检索方式较为单一，且未提供统一的组织管理能力，需要用户进行定制化预处理后才可开展后续工作；其次，部分平台利用分布式存储技术实现遥感数据共享，却丢失了数据自身的空间、时间、目标等多维度的属性特征，无法满足除遥感数据可视化以外的其他应用需求；第三，一些基于分布式NoSQL数据库提出的遥感数据索引在一定程度上解决了空间索引的创建或优化问题，但忽略了数据本身对于检索过程的影响，可能存在由于遥感数据的不完整或冗余而降低检索效率的弊端。

因此，亟需一种面向遥感大数据的多维混合索引方案，对多源遥感大数据进行统一组织与管理，结合其在时间、空间、目标等维度的特征，实现高效的遥感数据多维混合查询过程。

发明内容

本发明的目的在于提出一种面向遥感大数据的多维混合索引方法及系统。

实现本发明目的的技术解决方案为：一种面向遥感大数据的多维混合索引系统，主要包括：

多维混合索引构建模块，结合地理空间数据中的网格概念，使用全球无缝多级格网递归剖分方法建立基于空间金字塔的遥感数据网格模型，将遥感数据划分成遥感数据网格，并提取相应的时间、空间、数据特征等信息；使用模糊聚类算法实现基于数据特征的融合，将遥感数据网格划分至不同类别的数据集中；采用递归的八邻域搜索算法完成基于时空特征的目标数据集的补全，提供时空网格下的分类完整性表述，形成多维混合索引的结构化模型。

多维混合索引编码模块，利用时空特征将数据在不同维度展开，从时间、空间、目标三个维度对遥感数据进行抽象，构建多源遥感数据的“立方体”模型；引入空间曲线及压缩编码建立索引，利用空间曲线将不同尺度、不同集合的数据连通，实现一种基于网格编码的混合索引，将不同维度的特征组合检索转化为批量检索的形式，降低数据访问过程的复杂性。

进一步地，多维混合索引模型构建模块，包括多尺度网格划分模块、时空特征聚类模块、邻域搜索优化模块三个部分。其中：

多尺度网格划分模块，通过建立基于空间金字塔的遥感数据网格模型，将数据按照统一规则打散，在不同尺度的数据网格上关联时空信息，以便于后续利用数据时空属性优化数据结构。遥感数据网格模型的构造，是对影像进行分块和分层处理，从而形成多个分辨率层次，然后以遥感数据网格的最小单元为基础，经纬网作为划分标准，根据其所处的分辨率层级、行号、列号进行编码，形成两个深度及结构完全一致的四叉树。

时空特征聚类模块，在多尺度网格划分的基础上，找出遥感数据本体最优的特征组合实现数据的预分类，便于后续对目标数据进行准确快速的检索访问。对遥感数据网格，提取各个网格的数据特征和时空属性，将其量化后封装为向量。考虑到单一特征对数据进行完整描述，我们对不同特征设置不同的特征权重因子，实现对遥感数据的多源特征的融合。将这些设置了权重的特征向量作为输入，采用聚类算法将特征相似度较高的数据划分在同一类中，实现对遥感数据网格的初步划分。确定权重因子时，首先为每个特征设置一个满足约束条件的初始权重值，然后使用该权重进行划分聚类，并将聚类结果的评价指标反馈进行特征的权重调节，可以使用经验学习或机器学习的方法经过多次迭代后得到分类结果最佳时各个特征的比例系数。所述聚类算法，是将一组物理的或抽象的对象，根据它们之间的相似程度，分为若干组。一个聚类就是由彼此相似的一组对象构成的集合，不同聚类中的数据对象通常不相似。

邻域搜索优化模块，为了解决单一数据网格的多语义和特征损失在模糊聚类过程中导致的“断崖”现象和网格错分，而进行聚类优化。选取时空特征聚类中得到的包含某类地物的一个或者多个网格作为种子，使用递归的八邻域搜索算法判定种子数据与其相邻数据的相似度，对相似度满足区域生长准则的网格进行连接，完成边缘网格的划分，从而实现时空网格下的分类完整性表述，形成多维混合索引的结构化模型。所述区域生长准则，是计算两个相邻网格之间在特征空间中的距离是否超过阈值，如果未超过阈值，则认为两个网格相似。所述递归的八邻域搜索算法，是以种子网格为中心，按照一定的顺序依次判断其周围的8个网格与种子网格之间的相似度。若相似，则将以该相邻网格为中心再向四周扩展；若不相似，则停止判断。进行相似度判断时，按照从网格到单元的方式逐级判断，解决了单一数据网格的多语义和特征损失带来的相似度判断不准确的问题。

进一步地，多维混合索引模型编码模块，包括立方体构建模块、混合索引编码模块两个部分。其中：

立方体构建模块，利用时空特征将数据在不同维度展开，从时间、空间、目标三个维度对遥感数据进行抽象，形成立方体结构。将多源遥感数据依据地理范围、空间分辨率、网格数据尺寸等划分为不同的遥感数据集。在空间维度上，基于金字塔结构的网格组织模型，构建统一地理范围、空间分辨率、网格尺寸的空间数据集；在时间维度上，以时间戳形式定义数据集的时间有效范围，构建时间数据集；针对遥感数据在来源、包含的时空目标等方面的差异，可以提取遥感数据的基于时空关联的目标属性特征，建立多源遥感数据的遥感数据组织模型，利用目标影响域在时间和空间维度上划分为若干单元，支持用户基于目标对多源遥感数据进行统一提取和分析。

混合索引编码模块。在立方体结构中，由于不同基准相互孤立，单一的查询条件并不能提供完整的数据检索能力，同时基于不同维度的特征检索又会带来条件组合的复杂性，导致检索效率降低，所以这种结构还不能提供高效的检索支持。为了解决这一问题，混合索引编码模块，引入空间曲线和压缩编码建立分层遥感数据索引。在不同尺度下，分别使用Hilbert曲线对“立方体”模型进行填充，使其能够遍历空间维度上的所有网格；将不同尺度下的空间填充曲线按照层级递增的顺序首尾相接，保证时空金字塔模型上所有的网格都能够被唯一映射为空间填充曲线上的一个点，实现对“立方体”模型进行降维，降低数据访问的复杂性。建立Hilbert曲线的填充结果与遥感数据存储的键之间的映射关系，使得空间位置临近的数据存储在临近的存储空间中，从而保证数据在存储和检索时具有较高的效率。根据空间填充曲线填充的编码结果构建Rowkey，同时在Rowkey中引入数据时间属性、目标属性作为前缀，提供在空间、时间、目标等三种维度上的索引能力，并保证数据在存储时与遥感数据的空间、时间、目标的属性值的排列顺序一致，从而实现遥感数据在多维度上索引的连续性。

一种面向遥感大数据的多维混合索引方法，基于所述的多维混合索引系统，实现面向遥感大数据的多维混合索引。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，基于所述的多维混合索引系统，实现面向遥感大数据的多维混合索引。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，基于所述的多维混合索引系统，实现面向遥感大数据的多维混合索引。

本发明与现有技术相比，其显著优点为：1)建立遥感数据网格作为时空信息的最小承载单位和处理单元，采用模糊聚类算法实现基于数据内容的划分，采用递归的邻域搜索算法完成目标数据基于时空语义的分类优化，提供时空网格下的分类完整性表述，有效地实现了多源异构的大规模遥感数据的统一组织与管理。2)提取时空属性对已分类数据集构建一种面向时间、空间、目标的“立方体”结构，设计连续的空间曲线对不同层次上的网格进行填充，实现一种基于网格编码的混合索引，可以将不同维度的特征组合检索转化为批量检索的形式，降低数据访问过程的复杂性。3)基于以上手段，本发明解决了大规模遥感数据的快速检索、联合检索的效率问题，扩展了数据共享服务模式，具有较高的应用价值。

附图说明

图1是面向遥感大数据的多维混合索引方法的整体结构图。

图2是面向遥感大数据的多维混合索引方法的整体流程图。

图3是多尺度网格划分示意图。

图4是邻域搜索优化示意图。

图5是时空特征聚类与邻域搜索优化流程图。

图6是立方体结构示意图。

图7是混合索引编码示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本发明提出一种面向遥感大数据的多维混合索引方法及系统，基于金字塔模型构建遥感数据网格，提取时空特征信息，通过优化模糊聚类算法进行数据集划分，形成多维混合索引的结构化模型；基于遥感数据的时空及目标属性，构建立方体模型，通过空间填充曲线实现基于网格编码的混合索引，提高遥感大数据的存储与检索效率。

所述面向遥感大数据的多维混合索引系统包括多维混合索引构建模块与多维混合索引编码模块，整体结构如图1所示，处理流程如图2所示。

所述多维混合索引模型构建模块，建立基于空间金字塔的遥感数据网格模型，并采用模糊聚类算法及八邻域搜索算法构建多维混合索引的结构化模型。所述多维混合索引模型构建模块包括多尺度网格划分、时空特征聚类、邻域搜索优化三个部分，具体实施步骤如下：

(1)多尺度网格划分

建立遥感数据的网格模型，在金字塔式的网格层次结构的基础上关联时空信息。首先，根据遥感数据的空间分辨率、地理范围等建立遥感数据与网格模型的对应关系，并以对应关系为依据将遥感数据复制到网格中的相应位置，得到由该遥感数据生成的一张网格。然后，通过重采样算法(如双线性插值算法)对遥感数据进行逐级降采样处理，得到较低分辨率层级下的网格数据，从而得到完整的遥感数据金字塔。最后，将多源遥感数据在统一的遥感数据金字塔层次结构上进行采样处理，形成层级结构，得到全球的遥感数据金字塔，实现对多源遥感数据的统一管理。

(2)时空特征聚类

对遥感数据网格，提取各个网格的数据特征和时空属性，将其量化后封装为向量。考虑到单一特征无法对数据进行完整描述，我们对不同特征设置不同的特征权重因子，实现对遥感数据的多源特征的融合。扩展聚类算法的维度，并将这些设置了权重的特征向量作为聚类算法的输入，将特征相似度较高的数据划分在同一类中，实现对遥感数据网格的初步划分。确定权重因子时，首先为每个特征设置一个满足约束条件的初始权重值，然后使用该权重进行划分聚类，并将聚类结果的评价指标反馈进行特征的权重调节，可以使用经验学习或机器学习的方法经过多次迭代后得到分类结果最佳时各个特征的比例系数。

此处，给出通过模糊C均值聚类算法实现特征划分的过程。模糊C均值聚类(FuzzyC-Means,FCM)算法是一种典型的模糊聚类方法，其基本思想是使用隶属度对每个数据样本属于某个类的程度进行约束，从而完成数据分类。定义模糊C均值聚类算法的目标函数为

其中，v_i为第i类的聚类中心，u_ik在第k个特征上对第i类的隶属度，a_k为第k个特征的权重因子，m为模糊系数。确定权重因子时，首先为每个特征设置一个满足约束条件的初始权重值，然后使用该权重进行划分聚类，并将聚类结果的评价指标反馈进行特征的权重调节，实际操作时可以使用经验判断或机器学习的方法经过多次迭代后得到分类结果最佳时各个特征的比例系数。

(3)邻域搜索优化

将区域分割算法应用到网格金字塔中，将区域相似性判定准则由像素值的差异提升为网格特征值的差异，及将按照聚类的结果选择与聚类中心相似度最高的网格数据作为种子网格，并以该种子与其邻域网格在特征值的相似度作为判断依据，将符合区域生长准则的网格进行连接，实现网格级别的区域生长。将具有多个特征的网格数据看作一组多维特征空间的数据样本，参考欧式距离的定义，定义在网格数据的图像特征空间内任意两个网格的距离为：

Diff(P(x,y),P′(x′,y′))＝a₁(F_1P-F_1P′)²+a₂(F_2P-F_2P′)² (2)

其中，Diff为任意两张网格间的距离，F_1P、F_1P′和F_2P、F_2P′等分别表示任意一张网格和种子网格的两个特征F₁和F₂的取值，a₁、a₂分别标识网格各个特征进行比较时的权重系数。

对于一个网格节点T_c，其八邻域网格节点和邻域网格内的相邻单元以及以其为中心的邻域搜索优化如图4所示。具体步骤为：分别判断位于8个邻域的网格数据与种子网格数据的相似程度，以判断是否应属于同一数据集；若属于同一数据集，则再进行该邻域网格的8邻域网格相似度判断；否则不再继续向周围搜索；需要在邻域搜索的图像特征相似性判断时，需要进行邻域网格内单元从大到小的逐级判断，来确定是否应属于同一数据集。时空特征聚类与邻域搜索优化流程如图5所示。

所述多维混合索引模型编码模块，用于对多维混合索引模型进行降维和编码，提高检索效率。包括立方体模型构建和混合索引编码两个部分。具体实施步骤如下：

(1)立方体构建

立方体构建用于建立多维混合索引与遥感数据存储结构间映射关系。将多源遥感数据依据地理范围、空间分辨率、网格数据尺寸等划分为不同的遥感数据集。在空间维度上，基于金字塔结构的网格组织模型，构建统一地理范围、空间分辨率、网格尺寸的空间数据集；在时间维度上，以时间戳形式定义数据集的时间有效范围，构建时间数据集。使用目标属性描述不同时间维度、空间维度的组合范围，并利用目标影响域在时间和空间维度上划分为若干单元，支持用户基于目标对多源遥感数据进行统一提取和分析。

(2)混合索引编码

引入空间曲线和压缩编码建立分层遥感数据索引，实现遥感数据的高效检索。在不同尺度下，分别使用Hilbert曲线对“立方体”模型进行填充，使其能够遍历空间维度上的所有网格；将不同尺度下的空间填充曲线按照层级递增的顺序首尾相接，保证时空金字塔模型上所有的网格都能够被唯一映射为空间填充曲线上的一个点，实现对“立方体”模型进行降维。将节点所属层级的网格按照空间位置均匀分成不同的区域，并对每个区域按照填充曲线的填充顺序进行编号，计算该区域所对应的网格偏移量；对节点所述的区域按照上述过程不断细分，直到子区域中包含的网格数量为1；将迭代过程中节点所属子区域的相对偏移量累加，然后根据不同分辨率层级上对于空间填充曲线的串联关系，对网格节点的编号进行校正，即增加取值为低于当前层级的所有网格总数的偏移量，得到网格节点在整个网格金字塔中的编码值。根据空间填充曲线填充的编码结果构建Rowkey，同时在Rowkey中引入数据时间属性、目标属性作为前缀，提供在空间、时间、目标等三种维度上的索引能力，并保证数据在存储时与遥感数据的空间、时间、目标的属性值的排列顺序一致，从而实现遥感数据在多维度上索引的连续性。

本发明还提出一种面向遥感大数据的多维混合索引方法，基于所述的多维混合索引系统，实现面向遥感大数据的多维混合索引。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims

1.一种面向遥感大数据的多维混合索引系统，其特征在于，包括：

多维混合索引构建模块，使用全球无缝多级格网递归剖分方法建立基于空间金字塔的遥感数据网格模型，将遥感数据划分成遥感数据网格，并提取相应的时间、空间、数据特征信息；使用模糊聚类算法实现基于数据特征的融合，将遥感数据网格划分至不同类别的数据集中；采用递归的八邻域搜索算法完成基于时空特征的目标数据集的补全，形成多维混合索引的结构化模型；

多维混合索引编码模块，从时间、空间、目标三个维度对遥感数据进行抽象，构建多源遥感数据的“立方体”模型；引入空间曲线及压缩编码建立索引，利用空间曲线将不同尺度、不同集合的数据连通，实现基于网格编码的混合索引。

2.根据权利要求1所述的面向遥感大数据的多维混合索引系统，其特征在于，所述多维混合索引模型构建模块，包括多尺度网格划分模块、时空特征聚类模块、邻域搜索优化模块三个部分，其中：

多尺度网格划分模块，建立基于空间金字塔的遥感数据网格模型，对影像进行分块和分层处理，从而形成多个分辨率层次，以遥感数据网格的最小单元为基础，经纬网作为划分标准，根据其所处的分辨率层级、行号、列号进行编码，形成两个深度及结构完全一致的四叉树，将遥感数据划分成遥感数据网格；

时空特征聚类模块，从遥感数据网格，提取各个网格的数据特征和时空属性，对不同特征设置不同的特征权重因子，将这些设置了权重的特征向量作为输入，采用聚类算法将特征相似度较高的数据划分在同一类中，实现对遥感数据网格的初步划分；

邻域搜索优化，选取时空特征聚类中得到的包含某类地物的一个或者多个网格作为种子，使用递归的八邻域搜索算法判定种子数据与其相邻数据的相似度，对相似度满足区域生长准则的网格进行连接，完成边缘网格的划分，从而实现时空网格下的分类完整性表述，形成多维混合索引的结构化模型。

3.根据权利要求2所述的面向遥感大数据的多维混合索引系统，其特征在于，所述权重因子确定时，首先为每个特征设置一个满足约束条件的初始权重值，然后使用该权重进行划分聚类，并将聚类结果的评价指标反馈进行特征的权重调节，使用经验学习或机器学习的方法经过多次迭代后得到分类结果最佳时各个特征的比例系数。

4.根据权利要求2所述的面向遥感大数据的多维混合索引系统，其特征在于，所述聚类算法，是将一组物理的或抽象的对象，根据它们之间的相似程度，分为若干组，一个聚类就是由彼此相似的一组对象构成的集合，不同聚类中的数据对象通常不相似。

5.根据权利要求2所述的面向遥感大数据的多维混合索引系统，其特征在于，所述区域生长准则，是计算两个相邻网格之间在特征空间中的距离是否超过阈值，如果未超过阈值，则认为两个网格相似，否则，认为两个网格不相似。

6.根据权利要求2所述的面向遥感大数据的多维混合索引系统，其特征在于，所述递归的八邻域搜索算法，是以种子网格为中心，按照一定的顺序依次判断其周围的8个网格与种子网格之间的相似度，若相似，则将以该相邻网格为中心再向四周扩展；若不相似，则停止判断。

7.根据权利要求1所述的面向遥感大数据的多维混合索引系统，其特征在于，所述多维混合索引模型编码模块，包括立方体构建模块、混合索引编码模块两个部分，其中：

立方体构建模块，将多源遥感数据划分为不同的立方体结构的遥感数据集，具体的，在空间维度上，基于金字塔结构的网格组织模型，构建统一地理范围、空间分辨率、网格尺寸的空间数据集；在时间维度上，结合数据的时间戳和时间分辨率定义数据的有效时间范围，构建时间数据集；在目标维度上，提取遥感数据基于时空关联的目标属性特征，然后将目标影响域在时间和空间维度上划分为若干单元，并在这些单元上对多源遥感数据进行统一提取和分析，形成立方体结构；

混合索引编码模块，在不同尺度下，分别使用Hilbert曲线对“立方体”模型进行填充，使其能够遍历空间维度上的所有网格；将不同尺度下的空间填充曲线按照层级递增的顺序首尾相接，保证时空金字塔模型上所有的网格都能够被唯一映射为空间填充曲线上的一个点，实现对“立方体”模型进行降维；建立Hilbert曲线的填充结果与遥感数据存储的键之间的映射关系，使得空间位置临近的数据存储在临近的存储空间中；根据空间填充曲线填充的编码结果构建Rowkey，同时在Rowkey中引入数据时间属性、目标属性作为前缀，提供在空间、时间、目标等三种维度上的索引能力，并保证数据在存储时与遥感数据的空间、时间、目标的属性值的排列顺序一致，从而实现遥感数据在多维度上索引的连续性。

8.一种面向遥感大数据的多维混合索引方法，其特征在于，基于权利要求1-7任一项所述的多维混合索引系统，实现面向遥感大数据的多维混合索引。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，基于权利要求1-7任一项所述的多维混合索引系统，实现面向遥感大数据的多维混合索引。

10.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，基于权利要求1-7任一项所述的多维混合索引系统，实现面向遥感大数据的多维混合索引。