[go: up one dir, main page]

CN111325779B - 点云配准方法和装置、电子设备和存储介质 - Google Patents

点云配准方法和装置、电子设备和存储介质 Download PDF

Info

Publication number
CN111325779B
CN111325779B CN202010082490.XA CN202010082490A CN111325779B CN 111325779 B CN111325779 B CN 111325779B CN 202010082490 A CN202010082490 A CN 202010082490A CN 111325779 B CN111325779 B CN 111325779B
Authority
CN
China
Prior art keywords
information
point cloud
point
cloud information
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010082490.XA
Other languages
English (en)
Other versions
CN111325779A (zh
Inventor
陶宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seashell Housing Beijing Technology Co Ltd
Original Assignee
Seashell Housing Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seashell Housing Beijing Technology Co Ltd filed Critical Seashell Housing Beijing Technology Co Ltd
Priority to CN202010082490.XA priority Critical patent/CN111325779B/zh
Priority to US16/882,368 priority patent/US11354853B2/en
Publication of CN111325779A publication Critical patent/CN111325779A/zh
Application granted granted Critical
Publication of CN111325779B publication Critical patent/CN111325779B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/04—Architectural design, interior design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Optics & Photonics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开实施例公开了一种点云配准方法和装置、电子设备和存储介质，其中，方法包括：获取至少两个视角下针对目标对象采集的至少两个点云信息；所述点云信息包括：对应于所述目标对象上各目标点的三维坐标位置信息；分别获取每个所述点云信息中对应于所述目标对象上各目标点的高度信息和法线信息；分别将每个所述点云信息中所述各目标点的高度信息转换为颜色信息；基于所述至少两个点云信息中各目标点的三维坐标位置信息、颜色信息和法线信息，对所述至少两个点云信息中任意两个相邻点云信息的点云进行配准，以便使用配准后的点云构建三维全景模型。本公开实施例可以提高点云配准结果的准确性。

Description

点云配准方法和装置、电子设备和存储介质
技术领域
本公开涉及三维全景技术，尤其是一种点云配准方法和装置、电子设备和存储介质。
背景技术
三维全景是基于全景图像的真实场景虚拟现实技术，全景(Panorama)是把相机环360度拍摄的一组或多组照片拼接成一个全景图像，通过计算机技术实现全方位互动式观看的真实场景还原展示方式。三维全景模型是将点云采集设备在不同时刻或不同拍摄点位采集的点云数据拼接成的一个全景模型。其中，点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合，在获取物体表面每个采样点的空间坐标后，得到的是点的集合，称之为点云(Point Cloud)。
在实现本公开的过程中，本公开的发明人通过研究发现，由于点云采集设备采集的点云数据包括深度信息和彩色信息，现有点云采集设备都是移动设备，采集的深度信息和彩色信息是分开的两种数据，性能较低，不足以合成准确的彩色信息，如果将其中的彩色信息用于点云配准，会对点云配准结果的准确性起到负作用。
发明内容
本公开实施例提供一种点云配准方法和装置、电子设备和存储介质，以将颜色信息用于点云配准，提高点云配准结果的准确性。
本公开实施例的一个方面，提供一种点云配准方法，包括：
获取至少两个视角下针对目标对象采集的至少两个点云信息；
分别获取每个所述点云信息中对应于所述目标对象上各目标点的高度信息和法线信息；
分别将每个所述点云信息中所述各目标点的高度信息转换为颜色信息；
基于所述至少两个点云信息中各目标点的三维坐标位置信息、颜色信息和法线信息，对所述至少两个点云信息中任意两个相邻点云信息的点云进行配准，以便使用配准后的点云构建三维全景模型。
可选地，在本公开上述任一方法实施例中，所述获取至少两个视角下针对目标对象采集的至少两个点云信息，包括：
获取采集设备在至少两个视角下针对目标对象采集的至少两个深度图；
基于所述至少两个深度图获取所述至少两个点云信息。
可选地，在本公开上述任一方法实施例中，所述分别将每个所述点云信息中所述各目标点的高度信息转换为颜色信息，包括：
按照预设方式，分别将每个所述点云信息中各目标点的高度映射到[0，1]内的数值；
以各目标点的高度映射到的数值作为色相H的取值，以第一预设值作为饱和度S的取值，以第二预设值作为亮度L的取值，得到每个所述点云信息中各目标点在HSL色彩模式下的颜色信息；
根据各目标点的色相H的取值、饱和度S的取值和亮度L的取值，分别将每个所述点云信息中各目标点在HSL色彩模式下的颜色信息转换为RGB色彩模式下的颜色信息。
可选地，在本公开上述任一方法实施例中，所述以第一预设值作为饱和度S的取值，以第二预设值作为亮度L的取值，包括：
以1作为饱和度S的取值，以0.5作为亮度L的取值。
可选地，在本公开上述任一方法实施例中，所述点云信息包括：对应于所述目标对象上各目标点的RGB颜色信息；
所述分别将每个所述点云信息中所述各目标点的高度信息转换为颜色信息之后，还包括：
以转换得到的RGB色彩模式下的颜色信息替换掉所述点云信息中各目标点的RGB颜色信息。
可选地，在本公开上述任一方法实施例中，所述分别获取每个所述点云信息中对应于所述目标对象上各目标点的高度信息和法线信息之前，还包括：
获取采集所述至少两个点云信息的各采集设备的外参矩阵；
分别基于各采集设备的外参矩阵对相应采集设备采集的所述点云信息进行转换处理，获得全局坐标系下的至少两个点云信息；
所述分别获取每个所述点云信息中对应于所述目标对象上各目标点的高度信息和法线信息，包括：
分别获取全局坐标系下的每个所述点云信息中对应于所述目标对象上各目标点的高度信息和法线信息。
可选地，在本公开上述任一方法实施例中，所述基于所述至少两个点云信息中各目标点的三维坐标位置信息、高度信息和法线信息，对所述至少两个点云信息中任意两个相邻点云信息的点云进行配准，包括：
分别基于全局坐标系下的所述至少两个点云信息中各目标点的三维坐标位置信息、高度信息和法线信息，获取全局坐标系下的所述至少两个点云信息中各目标点的特征；
基于全局坐标系下的所述至少两个点云信息中各目标点的特征，对所述至少两个点云信息中任意两个相邻点云信息的点云进行配准，获得相邻两个点云信息之间的变换矩阵。
可选地，在本公开上述任一方法实施例中，所述基于所述至少两个点云信息中各目标点的三维坐标位置信息、高度信息和法线信息，对所述至少两个点云信息中任意两个相邻点云信息的点云进行配准之前，还包括：
分别对所述至少两个点云信息中的目标点进行采样，得到所述至少两个点云信息中的多个采样点；
所述基于所述至少两个点云信息中各目标点的三维坐标位置信息、高度信息和法线信息，对所述至少两个点云信息中任意两个相邻点云信息的点云进行配准，包括：
基于所述至少两个点云信息中各采样点的三维坐标位置信息、高度信息和法线信息，对所述至少两个点云信息中任意两个相邻点云信息的点云进行配准。
可选地，在本公开上述任一方法实施例中，所述使用配准后的点云构建三维全景模型，包括：
基于任意两个相邻点云信息之间的变换矩阵，对全局坐标系下的所述任意两个相邻点云信息的点云进行变换处理后拼接，获得整体点云；
基于所述整体点云构建三维全景模型。
可选地，在本公开上述任一方法实施例中，所述基于所述整体点云构建所述三维全景模型包括：
使用预设的曲面重建算法，基于所述整体点云信息进行三维曲面重建，获得所述三维全景模型；
其中，所述曲面重建算法包括：泊松曲面重建算法；所述三维全景模型包括：多边形网格全景模型。
本公开实施例的一个方面，提供一种点云配准装置，包括：
第一获取模块，用于获取至少两个视角下针对目标对象采集的至少两个点云信息；
第二获取模块，用于分别获取每个所述点云信息中对应于所述目标对象上各目标点的高度信息和法线信息；
第一转换模块，用于分别将每个所述点云信息中所述各目标点的高度信息转换为颜色信息；
配准模块，用于基于所述至少两个点云信息中各目标点的三维坐标位置信息、颜色信息和法线信息，对所述至少两个点云信息中任意两个相邻点云信息的点云进行配准，以便使用配准后的点云构建三维全景模型。
可选地，在本公开上述任一装置实施例中，所述第一获取模块，包括：
第一获取单元，用于获取采集设备在至少两个视角下针对目标对象采集的至少两个深度图；
第二获取单元，用于基于所述至少两个深度图获取所述至少两个点云信息。
可选地，在本公开上述任一装置实施例中，所述第一转换模块，包括：
映射单元，用于按照预设方式，分别将每个所述点云信息中各目标点的高度映射到[0，1]内的数值；
第三获取单元，用于以各目标点的高度映射到的数值作为色相H的取值，以第一预设值作为饱和度S的取值，以第二预设值作为亮度L的取值，得到每个所述点云信息中各目标点在HSL色彩模式下的颜色信息；
转换单元，用于根据各目标点的色相H的取值、饱和度S的取值和亮度L的取值，分别将每个所述点云信息中各目标点在HSL色彩模式下的颜色信息转换为RGB色彩模式下的颜色信息。
可选地，在本公开上述任一装置实施例中，所述以第一预设值作为饱和度S的取值，以第二预设值作为亮度L的取值，包括：
以1作为饱和度S的取值，以0.5作为亮度L的取值。
可选地，在本公开上述任一装置实施例中，所述点云信息包括：对应于所述目标对象上各目标点的RGB颜色信息；
所述装置还包括：
替换模块，用于以转换得到的RGB色彩模式下的颜色信息替换掉所述点云信息中各目标点的RGB颜色信息。
可选地，在本公开上述任一装置实施例中，还包括：
第三获取模块，用于获取采集所述至少两个点云信息的各采集设备的外参矩阵；
第二转换模块，用于分别基于各采集设备的外参矩阵对相应采集设备采集的所述点云信息进行转换处理，获得全局坐标系下的至少两个点云信息；
所述第二获取模块，具体用于：分别获取全局坐标系下的每个所述点云信息中对应于所述目标对象上各目标点的高度信息和法线信息。
可选地，在本公开上述任一装置实施例中，所述配准模块，包括：
第四获取单元，用于分别基于全局坐标系下的所述至少两个点云信息中各目标点的三维坐标位置信息、高度信息和法线信息，获取全局坐标系下的所述至少两个点云信息中各目标点的特征；
配准单元，用于基于全局坐标系下的所述至少两个点云信息中各目标点的特征，对所述至少两个点云信息中任意两个相邻点云信息的点云进行配准，获得相邻两个点云信息之间的变换矩阵。
可选地，在本公开上述任一装置实施例中，还包括：
采样模块，用于分别对所述至少两个点云信息中的目标点进行采样，得到所述至少两个点云信息中的多个采样点；
所述配准模块，具体用于：基于所述至少两个点云信息中各采样点的三维坐标位置信息、高度信息和法线信息，对所述至少两个点云信息中任意两个相邻点云信息的点云进行配准。
可选地，在本公开上述任一装置实施例中，，还包括：用于使用配准后的点云构建三维全景模型的模型构建模块；
所述模型构建模块包括：
拼接单元，用于基于任意两个相邻点云信息之间的变换矩阵，对全局坐标系下的所述任意两个相邻点云信息的点云进行变换处理后拼接，获得整体点云；
构建单元，用于基于所述整体点云构建三维全景模型。
可选地，在本公开上述任一装置实施例中，所述构建单元，具体用于：使用预设的曲面重建算法，基于所述整体点云信息进行三维曲面重建，获得所述三维全景模型；
其中，所述曲面重建算法包括：泊松曲面重建算法；所述三维全景模型包括：多边形网格全景模型。
本公开实施例的又一个方面，提供一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现本公开上述任一实施例所述的方法。
本公开实施例的再一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现本公开上述任一实施例所述的方法。
基于本公开上述实施例提供的点云配准方法和装置、电子设备和存储介质，可以在获取至少两个视角下针对目标对象采集的至少两个点云信息后，分别获取每个所述点云信息中对应于所述目标对象上各目标点的高度信息和法线信息，然后分别将每个所述点云信息中所述各目标点的高度信息转换为颜色信息，之后，基于所述至少两个点云信息中各目标点的三维坐标位置信息、高度信息和法线信息，对所述至少两个点云信息中任意两个相邻点云信息的点云进行配准，以便使用配准后的所有点云构建三维全景模型。本公开实施例中，由于点云信息中各目标点的高度信息的准确性比较高，将点云信息中各目标点的高度转换为颜色，以转换得到的颜色信息作为附加维度，同时基于点云信息中的三维坐标位置、颜色和法线进行点云配准，提高了点云配准过程的速度和匹配结果的准确性，从而可以提高三维全景模型的构建的速度和准确性，以便于后续基于该三维全景模型进行虚拟现实应用。
下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本公开的实施例，并且连同描述一起用于解释本公开的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：
图1为本公开点云配准方法一个实施例的流程图。
图2为本公开点云配准方法另一个实施例的流程图。
图3为本公开点云配准方法又一个实施例的流程图。
图4为本公开点云配准方法又一个实施例的流程图。
图5为本公开点云配准方法再一个实施例的流程图。
图6为本公开点云配准装置一个实施例的结构示意图。
图7为本公开点云配准装置另一个实施例的结构示意图。
图8为本公开电子设备一个应用实施例的结构示意图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。
还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
图1为本公开点云配准方法一个实施例的流程图。如图1所示，该实施例的点云配准方法包括：
102，获取至少两个视角下针对目标对象采集的至少两个点云信息。
其中，点云信息可以由三维坐标系统中的一组向量的集合来表示，主要用来代表一个物体的外表面形状。点云信息除了可以包括对应于目标对象上各目标点的三维坐标(x，y，z)位置信息外，还可以进一步包括：对应于目标对象上各目标点的红绿蓝(RGB)颜色信息、灰度值、深度信息、分割结果等任意一项或多项。
其中，所述至少两个点云信息可以是至少两个采集设备(例如，三个、六个采集设备等等)针对同一目标对象在至少两个视角下采集的至少两个点云的相关信息，也可以是控制同一个采集设备通过旋转等方式，针对同一目标对象在至少两个视角下采集的至少两个点云的相关信息，本公开实施例对至少两个点云信息的获取方式不做限制。
在本公开其中一些可能的实现方式中，上述采集设备可以有多种，例如颜色和深度(RGBD)设备、激光雷达(2D/3D)、立体摄像头(stereo camera)，越渡时间(time-of-flight camera，ToF)相机等，其采集的点云信息可以包括深度信息和RGB颜色信息。本公开实施例对采集设备的具体实现方式不做限制。
在其中一些可能的实现方式中，其中的目标对象可以是客厅、卧室、餐厅、厨房、卫生间等，相应地，点云信息可以是客厅、卧室、餐厅、厨房、卫生间等的三维结构点云图等信息，客厅、卧室、餐厅、厨房、卫生间等目标对象上的一个点可以称为目标点。本公开实施例可以针对任意目标对象执行，对具体目标对象不做限制。
104，分别获取每个点云信息中对应于目标对象上各目标点的高度信息和法线信息。
在其中一些可能的实现方式中，基于点云信息中对应于目标对象上各目标点的三维坐标位置信息，可以获取各目标点的高度信息。其中，目标点的高度的具体数值与具体的全局坐标系相关。例如，在一个具体例子中，可以设定目标对象的地面所在的水平面为全局坐标系中XOY平面，全局坐标系中Z轴正向朝上，此时，该地面以及与地面在同一水平面的目标点的高度的具体数值为0，位于地面所在的水平面上方的目标点的高度的具体数值为大于0的数值、且与地面所在的水平面的距离越大，取值越大。再如，在另一个具体例子中，可以设定采集设备所在的水平面为全局坐标系中XOY平面，全局坐标系中Z轴正向朝上，此时，采集设备以及与采集设备在同一水平面的目标点的高度的具体数值为0，位于采集设备所在的水平面下方的目标点的高度的具体数值为小于0的数值、且与采集设备所在的水平面的距离越大，取值越小，位于采集设备所在的水平面上方的目标点的高度的具体数值为大于0的数值、且与采集设备所在的水平面的距离越大，取值越大。基于该具体例子设定采集设备所在的水平面为全局坐标系中XOY平面，假设采集设备设置在地面上方1.4m处，目标对象(如客厅、卧室、餐厅、厨房、卫生间等)的绝对高度为3.9m，则各目标点的高度的具体数值范围为[-1.4，2.5]m。或者，还可以采用其他任意方式建立全局坐标系并获取各目标点在该全局坐标系中的具体高度，本公开实施例对具体采用的全局坐标系以及各目标点高度的取值方式不做限制。
由于点云采样于目标对象的表面，目标对象表面的法线即为点云法线，在其中一些可能的实现方式中，可先对目标对象表面的几何进行估计，从而计算出点云法线。在一些可选示例中，可以采用低阶多项式曲面进行局部拟合的方式计算出点云法线；或者也可以采用平面进行局部拟合的方式，平面法线即为点云法线。
或者，在另一些可能的实现方式中，可以针对各目标点，通过该目标点在一个点云信息中对应的点(称为：当前点)、和该点云信息中与该当前点位于预设半径r内的其他点组成的平面，来获取该当前点的法线方向(nx，ny，nz)。其中，r的取值可以预先设定，为大于0的常数，例如，在一个可选示例中，r的取值为1/1000米(m)。
106，分别将每个点云信息中各目标点的高度信息转换为颜色信息。
108，基于所述至少两个点云信息中各目标点的三维坐标位置信息、颜色信息和法线信息，对所述至少两个点云信息中任意两个相邻点云信息的点云进行配准，以消除任意两个相邻点云信息的点云之间的偏移，以便使用配准后的所有点云构建三维全景模型。
基于本公开上述实施例提供的点云配准方法，可以在获取至少两个视角下针对目标对象采集的至少两个点云信息后，分别获取每个所述点云信息中对应于所述目标对象上各目标点的高度信息和法线信息，然后分别将每个所述点云信息中所述各目标点的高度信息转换为颜色信息，之后，基于所述至少两个点云信息中各目标点的三维坐标位置信息、高度信息和法线信息，对所述至少两个点云信息中任意两个相邻点云信息的点云进行配准，以便使用配准后的所有点云构建三维全景模型。本公开实施例中，由于点云信息中各目标点的高度信息的准确性比较高，将点云信息中各目标点的高度转换为颜色，以转换得到的颜色信息作为附加维度，同时基于点云信息中的三维坐标位置、颜色和法线进行点云配准，提高了点云配准过程的速度和匹配结果的准确性，从而可以提高三维全景模型的构建的速度和准确性，以便于后续基于该三维全景模型进行虚拟现实应用。
可选地，在其中一些可能的实现方式中，操作102中，可以获取采集设备在至少两个视角下针对目标对象采集的至少两个深度(Depth)图，然后，基于该至少两个深度图获取所述至少两个点云信息。
其中，深度图是包含与视点的场景对象的表面的距离有关的信息的图像或图像通道。深度图类似于灰度图像，它的每个像素值是采集设备距离目标对象的表面上对应的一个目标点的实际距离(L)，每个像素值占用一个短(short)长度来存储采集设备到对应的一个目标点的距离，在其中一个例子中，采集设备到目标点的距离的单位可以为1/5000m。其中，short长度是指这个该像素值用两个字节来存储，每个字节有8位，两个字节一共16位，16位的存储空间可以存储65535个像素值，单位为1/5000m时，每米的距离内可以通过13个像素值表示，从而可以有效区别出目标对象上的不同点，又不会存在太多的数据量加计算量，从而实现视觉效果和计算量之间的平衡。
图2为本公开点云配准方法另一个实施例的流程图。如图2所示，在图1所示实施例的基础上，操作106可以包括：
1062，按照预设方式，分别将每个点云信息中各目标点的高度映射到[0，1]内的数值。
例如，在设定采集设备所在的水平面为全局坐标系中XOY平面的具体例子中，假设采集设备设置在地面上方1.4m处，目标对象(如客厅、卧室、餐厅、厨房、卫生间等)的绝对高度为3.9m，各目标点的高度的具体数值范围为[-1.4，2.5]m，可以将-1.4映射为0，将2.5映射为1，按照线性映射方式，将(-1.4，2.5)中的高度值分别映射为(0，1)中的值。
在一个具体例子中，将(-1.4，2.5)中的高度值分别映射为(0，1)中的值时，可以按照预设取值间隔，例如以1/1000为预设间隔，分别获取(-1.4，2.5)中的高度值，然后将获取到的高度值分别映射为(0，1)中的值。
1064，以各目标点的高度映射到的数值作为色相(Hue，H)的取值，以第一预设值作为饱和度(Saturation，S)的取值，以第二预设值作为亮度(Lightness，L)的取值，得到每个所述点云信息中各目标点在HSL色彩模式下的颜色信息。
HSL色彩模式是工业界的一种颜色标准，是通过对色相、饱和度、亮度三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，HSL即是代表色相、饱和度、明度三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，HSL表示法比基于笛卡尔坐标系的几何结构RGB表示法更加直观，是目前运用最广的颜色系统之一。HSL是一种将RGB色彩模式中的点在圆柱坐标系中的表示法，HSL把颜色描述在圆柱坐标系内的点，这个圆柱的中心轴取值为自底部的黑色到顶部的白色、而在它们中间的是灰色，绕这个轴的角度对应于色相，到这个轴的距离对应于饱和度，而沿着这个轴的高度对应于亮度。
HSL色彩模式使用HSL模型为图像中每一个像素的HSL分量分配一个0～255范围内的强度值。HSL图像只使用三种通道，就可以使它们按照不同的比例混合，在屏幕上重现16777216种颜色。
其中，色相是色彩的基本属性，代表的是人眼所能感知的颜色范围，这些颜色分布在一个平面的色相环上，取值范围是0°到360°的圆心角，每个角度可以代表一种颜色。色相值的意义在于，可以在不改变光感的情况下，通过旋转色相环来改变颜色。
饱和度指的是色彩的饱和度(即纯度)，取值范围是[0，1]，它用0％至100％的值描述了相同色相、明度下色彩纯度的变化，呈现一种从理性(灰度)到感性(纯色)的变化。饱和度的取值越高色彩越纯、颜色中的灰色越少、颜色越鲜艳，取值变低则逐渐变灰。
亮度指的是色彩的明度，用于控制色彩的明暗变化，取值范围是[0，1]，它同样使用了0％至100％的取值范围。亮度的取值越小，色彩越暗、越接近于黑色；取值越大，色彩越亮、越接近于白色。
例如，在一个可选示例中，可以以1作为饱和度的取值，以0.5作为亮度的取值。
饱和度的取值为1、亮度的取值为0.5时，人眼的视觉效果较好、感觉比较舒服，由于色相是色彩的基本属性，已经能够表示人眼所能感知的颜色范围，本公开实施例中以各目标点的高度映射到的数值作为色相(Hue，H)的取值，已经能够体现出各目标点的颜色特征，而将饱和度和亮度的取值固定为人眼视觉效果较好的取值，既可以降低饱和度和亮度的取值不同增加计算量，提高色彩转换效果，还可以实现较好的视觉效果。
1066，根据各目标点的色相的取值、饱和度的取值和亮度的取值，分别将每个点云信息中各目标点在HSL色彩模式下的颜色信息转换为RGB色彩模式下的颜色信息。
其中，可以通过多种预设方式，例如预设的HSL到RGB的转换工具或软件，将HSL色彩模式下的颜色信息转换为RGB色彩模式下的颜色信息。例如，在其中一种可能的实现方式中，可以通过如下方式，将HSL色彩模式下的颜色信息转换为RGB色彩模式下的颜色信息：
给定HSL空间中的(H，S，L)值定义的一个颜色，本公开实施例中，H、S、L的取值都在值域[0，1]中；相应在RGB空间中的(R，G，B)三原色，带有分别对应于红色、绿色和蓝色的R、G和B的取值也在值域[0,1]中，以下分别以H、S、L、R、G、B表示各自的取值，则：
1，若S＝0，表示颜色是灰色的，R、G和B的取值都等于L；
2，若S≠0，则：
若L<0.5，q＝L*(1+S)；
若L≥0.5，q＝L+S-L*S；
p＝2*L-q；
3，对于R、G、B，计算R、G、B的临时值Tc，方法如下：
对于R，TR＝H+1/3；
对于G,TG＝H；
对于B，TB＝H+1/3；
若Tc<0，Tc＝Tc+1，C∈{R，G，B}；
若Tc>1,Tc＝Tc＝-1；
4，对于每个颜色向量Color＝(ColorR，ColorG，ColorB)＝(R，G，B)
若Tc<1/6，ColorC＝p+(q-p)*6*Tc；
若1/6≤Tc<1/2，ColorC＝q；
若1/2≤Tc<2/3，ColorC＝p+(q-p)*6*(2/3-Tc)；
否则，若的Tc取值在其他范围内时，ColorC＝p。
基于上述实施例，可以将点云信息中各点在HSL色彩模式下的颜色转换为在RGB色彩模式下的颜色。并且，本公开实施例中，直接以各目标点的高度映射到的数值作为色相的取值，在HSL色彩模式下的颜色转换为在RGB色彩模式下的颜色时，无需将色相的取值从角度转换为[0，1]范围内的数值，简化了计算过程，提高了转换效率，从而提高了整个点云配准过程的速度和效率。
如图3所示，在本公开点云配准方法的又一个实施例中，所述点云信息包括对应于所述目标对象上各目标点的RGB颜色信息时，操作106之后，还可以通过操作107，以转换得到的RGB色彩模式下的颜色信息替换掉所述点云信息中各目标点的RGB颜色信息。
进一步地，通过操作106分别将每个点云信息中各目标点的高度信息转换为颜色信息之后，还可以使用转换得到的RGB色彩模式下的颜色信息和法线信息对每个点云信息进行点云渲染(即着色)。
另外，再参见图3，可选地，在操作104之前，还可以包括：
1031，获取采集所述至少两个点云信息的各采集设备的外参矩阵。
1032，分别基于各采集设备的外参矩阵，对相应采集设备采集的点云信息进行转换处理，获得全局坐标系下的至少两个点云信息。
相应地，操作104中，分别获取全局坐标系下的每个点云信息中对应于目标对象上各目标点的高度信息和法线信息。
在获得采集设备采集的点云信息后，需要确定采集设备采集的点云信息的全局坐标，才能将至少两个点云信息配准融合成一个完整的三维全景模型。本公开实施例中，在获取每个点云信息中对应于目标对象上各目标点的高度信息和法线信息前，获取采集设备的外参矩阵，此外参矩阵可以预先通过测试获得，为该采集设备所在点位的初始位姿矩阵，外参矩阵用于将每个采集设备从相机坐标系转换到全局坐标系。基于外参矩阵对与此采集设备采集的点云信息进行转换处理，可获得位于全局坐标系下的点云信息。
图4为本公开点云配准方法又一个实施例的流程图。如图4所示，在上述实施例的基础上，操作108可以包括：
1082，分别基于全局坐标系下的至少两个点云信息中各目标点的三维坐标位置信息、颜色信息和法线信息，获取全局坐标系下的至少两个点云信息中各目标点的特征。
1084，基于全局坐标系下的至少两个点云信息中各目标点的特征，对该至少两个点云信息中任意两个相邻点云信息的点云进行配准，获得相邻两个点云信息之间的变换矩阵。
在其中一些可能的实现方式中，可以采用预设配准算法，对任意两个相邻点云信息的点云进行配准，其中的配准算法可以有多种，例如可以采用迭代最近点(IterativeClosest Points，ICP)算法等。本公开实施例对点云配准算法和具体实现方式不做限制。
在通过ICP算法对多个位于全局坐标系下的点云信息的点云进行配准处理时，由于ICP算法对点云信息的初始位姿依赖很大，对位于不同拍摄点的采集设备采集的点云信息进行点云配准前，可以由用户先手动设置每个点云信息的放置位置，提供相对准确的初始位姿矩阵，初始位姿矩阵是采集设备在全局坐标系下的外参矩阵，从而提高点云配准结果的准确性。
本实施例中，可以基于至少两个点云信息中各目标点的三维坐标位置信息、颜色信息和法线信息，获取全局坐标系下的至少两个点云信息中各目标点的特征，然后基于该特征确定任意两个相邻点云信息的点云的姿态，从而实现任意两个相邻点云信息的点云进行配准，由于除了三维坐标位置信息和法线信息外，同时以转换得到的颜色信息作为附加维度进行点云配准，提高了点云配准过程的速度和匹配结果的准确性，从而可以提高三维全景模型的构建的速度和准确性，以便于后续基于该三维全景模型进行虚拟现实应用。
另外，在进一步实施例中，可以在操作108进行点云配准前，对多个位于全局坐标系下的点云信息进行优化处理，其中的优化处理例如可以包括但不限于：去噪、点云空洞修补等处理。可以采用多种预设方法进行去噪、点云空洞修补等处理。其中，去噪处理为对点云信息通过滤波消除孤立的噪声点和毛刺，突出点云的特征信息。对于经过滤波去噪后的点云信息，确定点云信息的内外边缘，确定内边缘为空洞边缘，进行空洞边缘提取。点云空洞修补为在提取的空洞边缘内部，利用局部邻域信息进行空洞修补。
基于本实施例，进行点云配准前，对多个位于全局坐标系下的点云信息进行优化处理，可以减少了噪声点的影响、突出点云的特征信息，并使得点云密度更加均匀、外观轮廓更加平滑，从而提高点云配准的精确性和准确性。
另外，可选地，再参见图4，在操作108之前，还可以分别对所述至少两个点云信息中的目标点进行采样，得到所述至少两个点云信息中的多个采样点。例如，可以采用向下采样算法(如体素网格向下采样算法)，分别提取各点云信息的点云中的关键点，点云中的关键点包含可以表示点云的形状和空间特征的位置处的点。相应地，该实施例的108中，可以基于所述至少两个点云信息中各采样点的三维坐标位置信息、高度信息和法线信息，对所述至少两个点云信息中任意两个相邻点云信息的点云进行配准。
本实施例分别对所述至少两个点云信息中的目标点进行采样，基于各采样点的三维坐标位置信息、高度信息和法线信息，对任意两个相邻点云信息的点云进行配准，在保留原始点云信息的同时，精简了点云数量，从而提高了点云配准的速度和效率，大大缩短了点云配准时间。
图5为本公开点云配准方法再一个实施例的流程图。如图5所示，在上述实施例的基础上，在操作108之后，还可以包括：使用配准后的所有点云构建三维全景模型。在其中一些可能的实现方式中，可以通过如下方式，使用配准后的所有点云构建三维全景模型：
1102，基于任意相邻两个点云信息之间的变换矩阵，对全局坐标系下的所述任意两个相邻点云信息的点云进行变换处理后拼接，获得整体点云。
1104，基于三维整体点云信息构建三维全景模型。
基于三维整体点云信息构建三维全景模型可以使用多种方法。例如，在其中一些可能的实现方式中，可以使用预设的曲面重建算法，基于所述整体点云信息进行三维曲面重建，获得三维全景模型。其中的曲面重建算法例如可以是泊松(poisson)曲面重建算法，或者也可以采用其他曲面重建算法；所述三维全景模型可以是多边形网格全景模型或者其他三维全景模型。例如，使用泊松曲面重建算法进行三维曲面重建，获得三角网格模型。本公开实施例对采用的曲面重建算法和重建的具体三维全景模型不做限制。
基于本公开实施例，可以分别在不同采集位置采集一个点云，并通过上述实施例的方式以累积的方式组合成较大(例如，整个单元)的点云，也可以将不同时刻采集的点云组合到之前采集的较大点云中。
本公开实施例提供的任一种点云配准方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。或者，本公开实施例提供的任一种点云配准方法可以由处理器执行，如处理器通过调用存储器存储的相应指令来执行本公开实施例提及的任一种点云配准方法。下文不再赘述。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图6为本公开点云配准装置一个实施例的结构示意图。该实施例的点云配准装置可用于实现本公开上述各点云配准方法实施例。如图6所示，该实施例的装置包括：第一获取模块，第二获取模块，第一转换模块和配准模块。其中：
第一获取模块，用于获取至少两个视角下针对目标对象采集的至少两个点云信息。
第二获取模块，用于分别获取每个所述点云信息中对应于所述目标对象上各目标点的高度信息和法线信息。
第一转换模块，用于分别将每个所述点云信息中所述各目标点的高度信息转换为颜色信息。
配准模块，用于基于所述至少两个点云信息中各目标点的三维坐标位置信息、颜色信息和法线信息，对所述至少两个点云信息中任意两个相邻点云信息的点云进行配准，以便使用配准后的点云构建三维全景模型。
基于本公开上述实施例提供的点云配准装置，可以在获取至少两个视角下针对目标对象采集的至少两个点云信息后，分别获取每个所述点云信息中对应于所述目标对象上各目标点的高度信息和法线信息，然后分别将每个所述点云信息中所述各目标点的高度信息转换为颜色信息，之后，基于所述至少两个点云信息中各目标点的三维坐标位置信息、高度信息和法线信息，对所述至少两个点云信息中任意两个相邻点云信息的点云进行配准，以便使用配准后的所有点云构建三维全景模型。本公开实施例中，由于点云信息中各目标点的高度信息的准确性比较高，将点云信息中各目标点的高度转换为颜色，以转换得到的颜色信息作为附加维度，同时基于点云信息中的三维坐标位置、颜色和法线进行点云配准，提高了点云配准过程的速度和匹配结果的准确性，从而可以提高三维全景模型的构建的速度和准确性，以便于后续基于该三维全景模型进行虚拟现实应用。
在本公开其中一些可能的实现方式中，所述第一获取模块包括：第一获取单元，用于获取至少两个采集设备在至少两个视角下针对目标对象采集的至少两个深度图；第二获取单元，用于基于所述至少两个深度图获取所述至少两个点云信息。
在本公开其中一些可能的实现方式中，所述第一转换模块包括：映射单元，用于按照预设方式，分别将每个所述点云信息中各目标点的高度映射到[0，1]内的数值；第三获取单元，用于以各目标点的高度映射到的数值作为色相的取值，以第一预设值作为饱和度的取值，以第二预设值作为亮度的取值，例如以1作为饱和度的取值，以0.5作为亮度的取值，得到每个所述点云信息中各目标点在HSL色彩模式下的颜色信息；转换单元，用于根据各目标点的色相的取值、饱和度的取值和亮度的取值，分别将每个所述点云信息中各目标点在HSL色彩模式下的颜色信息转换为RGB色彩模式下的颜色信息。
在本公开其中一些可能的实现方式中，所述点云信息还包括：对应于所述目标对象上各目标点的RGB颜色信息。相应地，如图7所示，在本公开点云配准装置的另一个实施例中，还可以包括：替换模块，用于以转换得到的RGB色彩模式下的颜色信息替换掉所述点云信息中各目标点的RGB颜色信息。
另外，再参见图7，在本公开点云配准装置的又一个实施例中，还可以包括：
第三获取模块，用于获取采集所述至少两个点云信息的各采集设备的外参矩阵；
第二转换模块，用于分别基于各采集设备的外参矩阵对相应采集设备采集的所述点云信息进行转换处理，获得全局坐标系下的至少两个点云信息。
相应地，该实施例中，所述第二获取模块具体用于：分别获取全局坐标系下的每个所述点云信息中对应于所述目标对象上各目标点的高度信息和法线信息。
在本公开其中一些可能的实现方式中，所述配准模块包括：第四获取单元，用于分别基于全局坐标系下的所述至少两个点云信息中各目标点的三维坐标位置信息、高度信息和法线信息，获取全局坐标系下的所述至少两个点云信息中各目标点的特征；配准单元，用于基于全局坐标系下的所述至少两个点云信息中各目标点的特征，对所述至少两个点云信息中任意两个相邻点云信息的点云进行配准，获得相邻两个点云信息之间的变换矩阵。
另外，再参见图7，在本公开点云配准装置的再一个实施例中，还可以包括：采样模块，用于分别对所述至少两个点云信息中的目标点进行采样，得到所述至少两个点云信息中的多个采样点。相应地，所述配准模块具体用于：基于所述至少两个点云信息中各采样点的三维坐标位置信息、高度信息和法线信息，对所述至少两个点云信息中任意两个相邻点云信息的点云进行配准。
另外，再参见图7，在本公开点云配准装置的再一个实施例中，还可以包括：用于使用配准后的点云构建三维全景模型的模型构建模块。
在本公开其中一些可能的实现方式中，所述模型构建模块包括：拼接单元，用于基于任意两个相邻点云信息之间的变换矩阵，对全局坐标系下的所述任意两个相邻点云信息的点云进行变换处理后拼接，获得整体点云；构建单元，用于基于所述整体点云构建三维全景模型。
在本公开其中一些可能的实现方式中，所述构建单元，具体用于：使用预设的曲面重建算法，基于所述整体点云信息进行三维曲面重建，获得所述三维全景模型。在其中一些可选示例中，所述曲面重建算法可以采用泊松曲面重建算法，或者也可以采用其他曲面重建算法；所述三维全景模型可以是多边形网格全景模型或者其他三维全景模型。本公开实施例对采用的曲面重建算法和重建的具体三维全景模型不做限制。
另外，本公开实施例还提供了一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现本公开上述任一实施例所述的点云配准方法。
图8为本公开电子设备一个应用实施例的结构示意图。下面，参考图8来描述根据本公开实施例的电子设备。该电子设备可以是第一设备和第二设备中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。
如图8所示，电子设备包括一个或多个处理器和存储器。
处理器可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。
存储器可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器可以运行所述程序指令，以实现上文所述的本公开的各个实施例的点云配准方法以及/或者其他期望的功能。
在一个示例中，电子设备还可以包括：输入装置和输出装置，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
此外，该输入装置可以包括例如键盘、鼠标等等。
该输出装置可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图8中仅示出了该电子设备中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备还可以包括任何其他适当的组件。
除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述部分中描述的根据本公开各种实施例的点云配准方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述部分中描述的根据本公开各种实施例的点云配准方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (20)

1.一种点云配准方法，其特征在于，包括：
获取至少两个视角下针对目标对象采集的至少两个点云信息；
分别获取每个所述点云信息中对应于所述目标对象上各目标点的高度信息和法线信息；
分别将每个所述点云信息中所述各目标点的高度信息转换为颜色信息；
基于所述至少两个点云信息中各目标点的三维坐标位置信息、颜色信息和法线信息，对所述至少两个点云信息中任意两个相邻点云信息的点云进行配准，以便使用配准后的点云构建三维全景模型。
2.根据权利要求1所述的方法，其特征在于，所述获取至少两个视角下针对目标对象采集的至少两个点云信息，包括：
获取采集设备在至少两个视角下针对目标对象采集的至少两个深度图；
基于所述至少两个深度图获取所述至少两个点云信息。
3.根据权利要求1所述的方法，其特征在于，所述分别将每个所述点云信息中所述各目标点的高度信息转换为颜色信息，包括：
按照预设方式，分别将每个所述点云信息中各目标点的高度映射到[0，1]内的数值；
以各目标点的高度映射到的数值作为色相H的取值，以第一预设值作为饱和度S的取值，以第二预设值作为亮度L的取值，得到每个所述点云信息中各目标点在HSL色彩模式下的颜色信息；
根据各目标点的色相H的取值、饱和度S的取值和亮度L的取值，分别将每个所述点云信息中各目标点在HSL色彩模式下的颜色信息转换为RGB色彩模式下的颜色信息。
4.根据权利要求1-3任一所述的方法，其特征在于，所述点云信息包括：对应于所述目标对象上各目标点的RGB颜色信息；
所述分别将每个所述点云信息中所述各目标点的高度信息转换为颜色信息之后，还包括：
以转换得到的RGB色彩模式下的颜色信息替换掉所述点云信息中各目标点的RGB颜色信息。
5.根据权利要求4所述的方法，其特征在于，所述分别获取每个所述点云信息中对应于所述目标对象上各目标点的高度信息和法线信息之前，还包括：
获取采集所述至少两个点云信息的各采集设备的外参矩阵；
分别基于各采集设备的外参矩阵对相应采集设备采集的所述点云信息进行转换处理，获得全局坐标系下的至少两个点云信息；
所述分别获取每个所述点云信息中对应于所述目标对象上各目标点的高度信息和法线信息，包括：
分别获取全局坐标系下的每个所述点云信息中对应于所述目标对象上各目标点的高度信息和法线信息。
6.根据权利要求5所述的方法，其特征在于，所述基于所述至少两个点云信息中各目标点的三维坐标位置信息、高度信息和法线信息，对所述至少两个点云信息中任意两个相邻点云信息的点云进行配准，包括：
分别基于全局坐标系下的所述至少两个点云信息中各目标点的三维坐标位置信息、高度信息和法线信息，获取全局坐标系下的所述至少两个点云信息中各目标点的特征；
基于全局坐标系下的所述至少两个点云信息中各目标点的特征，对所述至少两个点云信息中任意两个相邻点云信息的点云进行配准，获得相邻两个点云信息之间的变换矩阵。
7.根据权利要求6所述的方法，其特征在于，所述基于所述至少两个点云信息中各目标点的三维坐标位置信息、高度信息和法线信息，对所述至少两个点云信息中任意两个相邻点云信息的点云进行配准之前，还包括：
分别对所述至少两个点云信息中的目标点进行采样，得到所述至少两个点云信息中的多个采样点；
所述基于所述至少两个点云信息中各目标点的三维坐标位置信息、高度信息和法线信息，对所述至少两个点云信息中任意两个相邻点云信息的点云进行配准，包括：
基于所述至少两个点云信息中各采样点的三维坐标位置信息、高度信息和法线信息，对所述至少两个点云信息中任意两个相邻点云信息的点云进行配准。
8.根据权利要求6所述的方法，其特征在于，所述使用配准后的点云构建三维全景模型，包括：
基于任意两个相邻点云信息之间的变换矩阵，对全局坐标系下的所述任意两个相邻点云信息的点云进行变换处理后拼接，获得整体点云；
基于所述整体点云构建三维全景模型。
9.根据权利要求8所述的方法，其特征在于，所述基于所述整体点云构建所述三维全景模型，包括：
使用预设的曲面重建算法，基于所述整体点云信息进行三维曲面重建，获得所述三维全景模型；
其中，所述曲面重建算法包括：泊松曲面重建算法；所述三维全景模型包括：多边形网格全景模型。
10.一种点云配准装置，其特征在于，包括：
第一获取模块，用于获取至少两个视角下针对目标对象采集的至少两个点云信息；
第二获取模块，用于分别获取每个所述点云信息中对应于所述目标对象上各目标点的高度信息和法线信息；
第一转换模块，用于分别将每个所述点云信息中所述各目标点的高度信息转换为颜色信息；
配准模块，用于基于所述至少两个点云信息中各目标点的三维坐标位置信息、颜色信息和法线信息，对所述至少两个点云信息中任意两个相邻点云信息的点云进行配准，以便使用配准后的点云构建三维全景模型。
11.根据权利要求10所述的装置，其特征在于，所述第一获取模块，包括：
第一获取单元，用于获取采集设备在至少两个视角下针对目标对象采集的至少两个深度图；
第二获取单元，用于基于所述至少两个深度图获取所述至少两个点云信息。
12.根据权利要求10所述的装置，其特征在于，所述第一转换模块，包括：
映射单元，用于按照预设方式，分别将每个所述点云信息中各目标点的高度映射到[0，1]内的数值；
第三获取单元，用于以各目标点的高度映射到的数值作为色相H的取值，以第一预设值作为饱和度S的取值，以第二预设值作为亮度L的取值，得到每个所述点云信息中各目标点在HSL色彩模式下的颜色信息；
转换单元，用于根据各目标点的色相H的取值、饱和度S的取值和亮度L的取值，分别将每个所述点云信息中各目标点在HSL色彩模式下的颜色信息转换为RGB色彩模式下的颜色信息。
13.根据权利要求10-12任一所述的装置，其特征在于，所述点云信息包括：对应于所述目标对象上各目标点的RGB颜色信息；
所述装置还包括：
替换模块，用于以转换得到的RGB色彩模式下的颜色信息替换掉所述点云信息中各目标点的RGB颜色信息。
14.根据权利要求13所述的装置，其特征在于，还包括：
第三获取模块，用于获取采集所述至少两个点云信息的各采集设备的外参矩阵；
第二转换模块，用于分别基于各采集设备的外参矩阵对相应采集设备采集的所述点云信息进行转换处理，获得全局坐标系下的至少两个点云信息；
所述第二获取模块，具体用于：分别获取全局坐标系下的每个所述点云信息中对应于所述目标对象上各目标点的高度信息和法线信息。
15.根据权利要求14所述的装置，其特征在于，所述配准模块，包括：
第四获取单元，用于分别基于全局坐标系下的所述至少两个点云信息中各目标点的三维坐标位置信息、高度信息和法线信息，获取全局坐标系下的所述至少两个点云信息中各目标点的特征；
配准单元，用于基于全局坐标系下的所述至少两个点云信息中各目标点的特征，对所述至少两个点云信息中任意两个相邻点云信息的点云进行配准，获得相邻两个点云信息之间的变换矩阵。
16.根据权利要求15所述的装置，其特征在于，还包括：
采样模块，用于分别对所述至少两个点云信息中的目标点进行采样，得到所述至少两个点云信息中的多个采样点；
所述配准模块，具体用于：基于所述至少两个点云信息中各采样点的三维坐标位置信息、高度信息和法线信息，对所述至少两个点云信息中任意两个相邻点云信息的点云进行配准。
17.根据权利要求15所述的装置，其特征在于，还包括：用于使用配准后的点云构建三维全景模型的模型构建模块；
所述模型构建模块包括：
拼接单元，用于基于任意两个相邻点云信息之间的变换矩阵，对全局坐标系下的所述任意两个相邻点云信息的点云进行变换处理后拼接，获得整体点云；
构建单元，用于基于所述整体点云构建三维全景模型。
18.根据权利要求17所述的装置，其特征在于，所述构建单元，具体用于：使用预设的曲面重建算法，基于所述整体点云信息进行三维曲面重建，获得所述三维全景模型；
其中，所述曲面重建算法包括：泊松曲面重建算法；所述三维全景模型包括：多边形网格全景模型。
19.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现上述权利要求1-9任一所述的方法。
20.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现上述权利要求1-9任一所述的方法。
CN202010082490.XA 2020-02-07 2020-02-07 点云配准方法和装置、电子设备和存储介质 Active CN111325779B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010082490.XA CN111325779B (zh) 2020-02-07 2020-02-07 点云配准方法和装置、电子设备和存储介质
US16/882,368 US11354853B2 (en) 2020-02-07 2020-05-22 Systems and methods for constructing 3D panaroma model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010082490.XA CN111325779B (zh) 2020-02-07 2020-02-07 点云配准方法和装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN111325779A CN111325779A (zh) 2020-06-23
CN111325779B true CN111325779B (zh) 2020-12-11

Family

ID=71172611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010082490.XA Active CN111325779B (zh) 2020-02-07 2020-02-07 点云配准方法和装置、电子设备和存储介质

Country Status (2)

Country Link
US (1) US11354853B2 (zh)
CN (1) CN111325779B (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12045941B1 (en) * 2020-05-29 2024-07-23 Apple Inc. Modeling object model vertices as joints based on temporally variable point clouds
CN111986239B (zh) * 2020-08-28 2022-01-14 贝壳找房(北京)科技有限公司 点云配准方法、装置、计算机可读存储介质及电子设备
CN112037279B (zh) * 2020-09-04 2021-11-16 贝壳找房(北京)科技有限公司 物品位置识别方法和装置、存储介质、电子设备
CN111915658B (zh) * 2020-09-30 2021-03-19 浙江智慧视频安防创新中心有限公司 一种用于点云的配准方法及系统
CN112435326A (zh) * 2020-11-20 2021-03-02 深圳市慧鲤科技有限公司 可打印模型文件生成方法和相关产品
CN112598808B (zh) * 2020-12-23 2024-04-02 深圳大学 数据处理方法、装置、电子设备和存储介质
US12159359B2 (en) 2021-03-11 2024-12-03 Quintar, Inc. Use of multiple registrations for augmented reality system for viewing an event
US12028507B2 (en) 2021-03-11 2024-07-02 Quintar, Inc. Augmented reality system with remote presentation including 3D graphics extending beyond frame
US11527047B2 (en) 2021-03-11 2022-12-13 Quintar, Inc. Augmented reality system for viewing an event with distributed computing
US11645819B2 (en) 2021-03-11 2023-05-09 Quintar, Inc. Augmented reality system for viewing an event with mode based on crowd sourced images
US12244782B2 (en) 2021-03-11 2025-03-04 Quintar, Inc. Augmented reality system for remote presentation for viewing an event
US12003806B2 (en) * 2021-03-11 2024-06-04 Quintar, Inc. Augmented reality system for viewing an event with multiple coordinate systems and automatically generated model
US11657578B2 (en) 2021-03-11 2023-05-23 Quintar, Inc. Registration for augmented reality system for viewing an event
CN113538562B (zh) * 2021-07-16 2022-05-13 贝壳找房(北京)科技有限公司 室内面积确定方法、装置以及电子设备、存储介质
CN113706714B (zh) * 2021-09-03 2024-01-05 中科计算技术创新研究院 基于深度图像和神经辐射场的新视角合成方法
CN113724395B (zh) * 2021-09-07 2023-01-10 北京有竹居网络技术有限公司 一种多楼层房屋模型的生成方法、装置、电子设备及介质
CN113920174A (zh) * 2021-10-15 2022-01-11 阿波罗智能技术(北京)有限公司 点云配准方法、装置、设备、介质和自动驾驶车辆
CN114187588B (zh) * 2021-12-08 2023-01-24 贝壳技术有限公司 数据处理的方法、装置和存储介质
CN114219894B (zh) * 2021-12-15 2024-11-19 中国科学院空天信息创新研究院 基于层析sar点云的三维建模方法、装置、设备及介质
CN114812503B (zh) * 2022-04-14 2024-05-28 湖北省水利水电规划勘测设计院 基于机载激光扫描的陡崖点云提取方法
CN115439634B (zh) * 2022-09-30 2024-02-23 如你所视(北京)科技有限公司 点云数据的交互呈现方法和存储介质
CN118799502B (zh) * 2024-09-13 2025-06-27 浙江环峪科技有限公司 可视化空间色域模型建立方法及交互方法
CN118898733B (zh) * 2024-09-29 2025-01-21 浙江工业大学 一种基于物联网的城市地下空间环境监测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651752A (zh) * 2016-09-27 2017-05-10 深圳市速腾聚创科技有限公司 三维点云数据配准方法及拼接方法
CN107918753A (zh) * 2016-10-10 2018-04-17 腾讯科技（深圳）有限公司 点云数据处理方法及装置
CN110168615A (zh) * 2017-01-16 2019-08-23 索尼公司 信息处理设备、信息处理方法和程序
CN110443836A (zh) * 2019-06-24 2019-11-12 中国人民解放军战略支援部队信息工程大学 一种基于平面特征的点云数据自动配准方法及装置
CN110574071A (zh) * 2017-01-27 2019-12-13 Ucl商业有限公司 用于对齐3d数据集的设备，方法和系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2520338A (en) * 2013-11-19 2015-05-20 Nokia Corp Automatic scene parsing
CN105205858B (zh) * 2015-09-18 2018-04-13 天津理工大学 一种基于单个深度视觉传感器的室内场景三维重建方法
US20170263052A1 (en) * 2016-03-11 2017-09-14 Indoor Reality Method for generating an ordered point cloud using mobile scanning data
CN105976353B (zh) * 2016-04-14 2020-01-24 南京理工大学 基于模型和点云全局匹配的空间非合作目标位姿估计方法
CN106296693B (zh) * 2016-08-12 2019-01-08 浙江工业大学 基于3d点云fpfh特征实时三维空间定位方法
CN106651926A (zh) * 2016-12-28 2017-05-10 华东师范大学 一种基于区域配准的深度点云三维重建方法
US10527711B2 (en) * 2017-07-10 2020-01-07 Aurora Flight Sciences Corporation Laser speckle system and method for an aircraft
CN109693387A (zh) * 2017-10-24 2019-04-30 三纬国际立体列印科技股份有限公司 基于点云数据的3d建模方法
KR20200144543A (ko) * 2018-03-20 2020-12-29 피씨엠에스 홀딩스, 인크. 우선 변환에 기반한 동적 포인트 클라우드를 최적화하는 시스템 및 방법
US10885705B2 (en) * 2018-08-14 2021-01-05 Ideaforge Technology Pvt. Ltd. Point cloud rendering on GPU using dynamic point retention
CN109118582B (zh) * 2018-09-19 2020-06-16 东北大学 一种商品三维重建系统及重建方法
CN109325998B (zh) * 2018-10-08 2023-06-30 香港理工大学 一种基于点云数据的室内3d建模方法、系统及相关装置
CN109544612B (zh) * 2018-11-20 2021-06-22 西南石油大学 基于特征点几何表面描述的点云配准方法
EP3690818B1 (en) * 2019-01-30 2022-12-14 Rohde & Schwarz GmbH & Co. KG Method of visualizing data, device for visualizing data as well as use of a method of visualizing data
CN110111378B (zh) * 2019-04-04 2021-07-02 贝壳技术有限公司 一种基于室内三维数据的点云配准优化方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651752A (zh) * 2016-09-27 2017-05-10 深圳市速腾聚创科技有限公司 三维点云数据配准方法及拼接方法
CN107918753A (zh) * 2016-10-10 2018-04-17 腾讯科技（深圳）有限公司 点云数据处理方法及装置
CN110168615A (zh) * 2017-01-16 2019-08-23 索尼公司 信息处理设备、信息处理方法和程序
CN110574071A (zh) * 2017-01-27 2019-12-13 Ucl商业有限公司 用于对齐3d数据集的设备，方法和系统
CN110443836A (zh) * 2019-06-24 2019-11-12 中国人民解放军战略支援部队信息工程大学 一种基于平面特征的点云数据自动配准方法及装置

Also Published As

Publication number Publication date
US20210248814A1 (en) 2021-08-12
CN111325779A (zh) 2020-06-23
US11354853B2 (en) 2022-06-07

Similar Documents

Publication Publication Date Title
CN111325779B (zh) 点云配准方法和装置、电子设备和存储介质
US11410320B2 (en) Image processing method, apparatus, and storage medium
CN115082639B (zh) 图像生成方法、装置、电子设备和存储介质
CN107194983B (zh) 一种基于点云与影像数据的三维可视化方法和系统
CN112581629A (zh) 增强现实显示方法、装置、电子设备及存储介质
US20160150217A1 (en) Systems and methods for 3d capturing of objects and motion sequences using multiple range and rgb cameras
CN111563950B (zh) 纹理映射策略确定方法、装置及计算机可读存储介质
CN109360235A (zh) 一种基于光场数据的混合深度估计方法
CN109521879B (zh) 交互式投影控制方法、装置、存储介质及电子设备
EP3533218B1 (en) Simulating depth of field
CN102542601A (zh) 一种用于3d对象建模的设备和方法
JP2016537901A (ja) ライトフィールド処理方法
EP3756163B1 (en) Methods, devices, and computer program products for gradient based depth reconstructions with robust statistics
CN106683163B (zh) 一种视频监控的成像方法及系统
WO2018052100A1 (ja) 画像処理装置、画像処理方法、画像処理プログラム
CN113132708B (zh) 利用鱼眼相机获取三维场景图像的方法和装置、设备和介质
CN113129346B (zh) 深度信息获取方法和装置、电子设备和存储介质
CN113989434A (zh) 一种人体三维重建方法及设备
CN116503562B (zh) 空间建筑信息模型的确定及三维空间模型图像融合方法
WO2025020650A1 (zh) 全景图的生成方法、装置、设备、存储介质和程序产品
CN118710846A (zh) 数字孪生场景几何建模方法和装置
EP4328784A1 (en) A method for selecting a refined scene points, distance measurement and a data processing apparatus
CN118015197A (zh) 一种实景三维逻辑单体化方法、装置及电子设备
US11727640B1 (en) Systems and methods for the continuous presentation of point clouds
CN111429568B (zh) 点云处理方法和装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200721

Address after: 100085 Floor 102-1, Building No. 35, West Second Banner Road, Haidian District, Beijing

Applicant after: Seashell Housing (Beijing) Technology Co.,Ltd.

Address before: 300 457 days Unit 5, Room 1, 112, Room 1, Office Building C, Nangang Industrial Zone, Binhai New Area Economic and Technological Development Zone, Tianjin

Applicant before: BEIKE TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant