[go: up one dir, main page]

CN117409161A - 点云处理方法和电子设备 - Google Patents

点云处理方法和电子设备 Download PDF

Info

Publication number
CN117409161A
CN117409161A CN202210799006.4A CN202210799006A CN117409161A CN 117409161 A CN117409161 A CN 117409161A CN 202210799006 A CN202210799006 A CN 202210799006A CN 117409161 A CN117409161 A CN 117409161A
Authority
CN
China
Prior art keywords
point cloud
point
characteristic value
clouds
point clouds
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210799006.4A
Other languages
English (en)
Inventor
刘志松
王子嘉
贾真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dell Products LP
Original Assignee
Dell Products LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dell Products LP filed Critical Dell Products LP
Priority to CN202210799006.4A priority Critical patent/CN117409161A/zh
Priority to US17/884,684 priority patent/US12367542B2/en
Publication of CN117409161A publication Critical patent/CN117409161A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/36—Level of detail
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Generation (AREA)

Abstract

本公开的实施例提供了一种点云处理方法及电子设备。该方法包括：基于输入点云获得第一点云，第一点云的点数大于输入点云的点数；基于第一点云获得第一组点云，第一组点云包括多个点云；基于输入点云和第一组点云获得第二组点云，第二组点云包括多个点云；以及，基于第一点云和第二组点云获得目标点云，目标点云的点数大于输入点云的点数。实施该方法，可以高效地增加稀疏点云的密度，使得点云所对应重建的三维模型更加精确和逼真，进一步地，还可以显著降低点云的获取成本，以及减少点云数据存储空间。

Description

点云处理方法和电子设备
技术领域
本公开的实施例涉及计算机技术领域，并且更具体地涉及一种点云处理方法和电子设备。
背景技术
人类获取信息的主要途径是视觉，大部分基于视觉的应用效果都依赖于图像的质量。高分辨率图像意味着图像中的像素密度高，能够提供更多的细节。因此，高分辨率图像可以提高用户的视觉体验。
对于三维(3D)图像的建模，可以使用点云(point cloud)表示。在3D工程中依据测量仪器(如三维坐标测量机、三维激光扫描仪或照相式扫描仪等)对目标物体进行数据采集，例如使用激光雷达通过光检测和测距来扫描物体，可以得到目标表面特性的海量点集合，每个点可以包含的信息包括：笛卡尔几何坐标(x，y，z)、强度值、分类值(如体现颜色、表面材质的信息等)等，这些点组合在一起的数据集就称之为点云。点云可以帮助更真实地还原目标物体的三维效果，实现可视化。
对于同一个物体，采样的点云中的点数据越多，得到的3D模型越好。换言之，更密集的点云可保存更详细的纹理和边缘，使得3D图像呈现更逼真。然而，点云的获取是困难且昂贵的，采样的点云的密度越大，所需的测量仪器也越昂贵，其在云上的存储和计算需求也越繁重，而根据稀疏的点云生成的图像比较粗糙，往往不能够体现物体原本的细节，用户视觉体验差。
发明内容
根据本公开的示例实施例，提供了一种点云处理方案，用于增加稀疏点云的密度。
在本公开的第一方面中，提供了一种点云处理方法，该方法可以包括：基于输入点云获得第一点云，第一点云的点数大于输入点云的点数。基于第一点云获得第一组点云，第一组点云包括多个点云。基于输入点云和第一组点云获得第二组点云，第二组点云包括多个点云。以及基于第一点云和第二组点云获得目标点云，目标点云的点数大于输入点云的点数。
实施第一方面提供的方法，可以高效地增加稀疏点云的密度，使得点云所对应重建的3D模型更加精确和逼真，进一步地，还可以显著降低点云的获取成本，以及减少点云数据存储空间。
在第一方面的一些实施例中，基于输入点云获得第一点云，包括：基于输入点云的坐标，生成输入点云的特征值。基于输入点云的特征值，得到第一点云的特征值。基于第一点云的特征值，生成第一点云的坐标。
在第一方面的一些实施例中，基于输入点云的特征值，得到第一点云的特征值，包括：将输入点云的特征值进行上采样，得到第一特征值。将第一特征值进行下采样，得到第二特征值。将输入点云的特征值与第二特征值进行差值计算，得到第一残差特征值。将第一残差特征值进行上采样，得到第三特征值。将赋予权重的第三特征值与第一特征值进行相加，得到第一点云的特征值。
在第一方面的一些实施例中，基于第一点云获得第一组点云，包括：对第一点云进行下采样，获得第一组点云。
在第一方面的一些实施例中，基于第一点云和第二组点云获得目标点云，包括：将第一点云的坐标与第二组点云中对应的每个点云的坐标进行累加计算，获得目标点云。
在第一方面的一些实施例中，基于输入点云和第一组点云获得第二组点云，包括：基于输入点云和第一组点云获得第三组点云，第三组点云包括多个点云。基于第三组点云获得第二组点云，第二组点云的点数大于第三组点云的点数。
在第一方面的一些实施例中，基于输入点云和第一组点云获得第三组点云，包括：将输入点云的坐标分别与第一组点云中对应的每个点云的坐标进行差值计算，获得一组残差。
在第一方面的一些实施例中，基于第三组点云获得第二组点云，包括：基于第三组点云中的每个点云的坐标，生成第三组点云中的每个点云的特征值。基于第三组点云中的每个点云的特征值，得到第二组点云中的每个点云的特征值。基于第二组点云中的每个点云的特征值，生成第二组点云中的每个点云的坐标。
在第一方面的一些实施例中，基于第三组点云中的每个点云的特征值，得到第二组点云中的每个点云的特征值，包括：将第三组点云中的每个点云的特征值进行上采样，得到第四特征值。将第四特征值进行下采样，得到第五特征值。将第三组点云中的每个点云的特征值与第五特征值进行差值计算，得到第二残差特征值。将第二残差特征值进行上采样，得到第六特征值。将赋予权重的第六特征值与第四特征值进行相加，得到第二组点云中的每个点云的特征值。
在本公开的第二方面中，提供了一种电子设备。该电子设备包括：处理器，以及与处理器耦合的存储器，存储器具有存储于其中的指令，指令在被电子设备执行时使电子设备执行动作，包括：基于输入点云获得第一点云，第一点云的点数大于输入点云的点数。基于第一点云获得第一组点云，第一组点云包括多个点云。基于输入点云和第一组点云获得第二组点云，第二组点云包括多个点云。以及基于第一点云和第二组点云获得目标点云，目标点云的点数大于输入点云的点数。
实施第二方面提供的电子设备，可以高效地增加稀疏点云的密度，使得点云所对应重建的3D模型更加精确和逼真，进一步地，还可以显著降低点云的获取成本，以及减少点云数据存储空间。
在第二方面的一些实施例中，基于输入点云获得第一点云，包括：基于输入点云的坐标，生成输入点云的特征值。基于输入点云的特征值，得到第一点云的特征值。基于第一点云的特征值，生成第一点云的坐标。
在第二方面的一些实施例中，基于输入点云的特征值，得到第一点云的特征值，包括：将输入点云的特征值进行上采样，得到第一特征值。将第一特征值进行下采样，得到第二特征值。将输入点云的特征值与第二特征值进行差值计算，得到第一残差特征值。将第一残差特征值进行上采样，得到第三特征值。将赋予权重的第三特征值与第一特征值进行相加，得到第一点云的特征值。
在第二方面的一些实施例中，基于第一点云获得第一组点云，包括：对第一点云进行下采样，获得第一组点云。
在第二方面的一些实施例中，基于第一点云和第二组点云获得目标点云，包括：将第一点云的坐标与第二组点云中对应的每个点云的坐标进行累加计算，获得目标点云。
在第二方面的一些实施例中，基于输入点云和第一组点云获得第二组点云，包括：基于输入点云和第一组点云获得第三组点云，第三组点云包括多个点云。基于第三组点云获得第二组点云，第二组点云的点数大于第三组点云的点数。
在第二方面的一些实施例中，基于输入点云和第一组点云获得第三组点云，包括：将输入点云的坐标分别与第一组点云中对应的每个点云的坐标进行差值计算，获得一组残差。
在第二方面的一些实施例中，基于第三组点云获得第二组点云，包括：基于第三组点云中的每个点云的坐标，生成第三组点云中的每个点云的特征值。基于第三组点云中的每个点云的特征值，得到第二组点云中的每个点云的特征值。基于第二组点云中的每个点云的特征值，生成第二组点云中的每个点云的坐标。
在第二方面的一些实施例中，基于第三组点云中的每个点云的特征值，得到第二组点云中的每个点云的特征值，包括：将第三组点云中的每个点云的特征值进行上采样，得到第四特征值。将第四特征值进行下采样，得到第五特征值。将第三组点云中的每个点云的特征值与第五特征值进行差值计算，得到第二残差特征值。将第二残差特征值进行上采样，得到第六特征值。将赋予权重的第六特征值与第四特征值进行相加，得到第二组点云中的每个点云的特征值。
在本公开的第三方面中，提供了一种计算机程序产品，计算机程序产品被有形地存储在计算机可读介质上并且包括机器可执行指令，该机器可执行指令在被执行时使机器执行根据本公开的第一方面的方法。
在本公开的第四方面中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序在由设备执行时使得设备执行根据本公开的第一方面的方法。
通过以上描述可以看到，根据本公开的各实施例的方案，可以高效地增加稀疏点云的密度，使得点云所对应重建的3D模型更加精确和逼真，进一步地，还可以显著降低点云的获取成本，以及减少点云数据存储空间。
应当理解的是，提供发明内容部分是为了简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开的关键特征或主要特征，也无意限制本公开的范围。
附图说明
结合附图并参考以下详细说明，本公开各实施例的上述和其它特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：
图1示出了稀疏点云与密集点云的示意图；
图2示出了根据本公开的一些实施例的点云处理方法200的流程图；
图3示出了根据本公开的一些实施例的点云上采样体系架构；
图4A示出了根据本公开的一些实施例的双重反向投射网络的示意图；
图4B示出了根据本公开的一些实施例的双重反向投射网络的示意图；
图5示出了根据本公开的一些实施例的基于特征的反向投射模块的示意图；
图6A示出了根据本公开的一些实施例的基于特征的上采样过程的示意图；
图6B示出了根据本公开的一些实施例的基于特征的下采样过程的示意图；以及
图7示出了可以用来实现本公开的实施例的设备的示意性结构图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其它明确的和隐含的定义。
在本公开的实施例中，如果点云中的点数量比较少，点与点的间距也比较大，可以称之为稀疏点云；而如果点云中的点数量比较大并且比较密集，可以称之为密集点云。稀疏点云与密集点云的概念是相对的，通常是对于同一幅图像的不同点云进行对比描述。
为了使3D图像更为形象和逼真，一种处理方式是可以通过对稀疏点云进行上采样从而得到密集点云。点云上采样的思想是学习每个点的多层次特征，然后利用不同的卷积分支在特征空间的中进行扩展，然后将扩展后的特征进行分解并重建为上采样点云集。
在本公开的实施例中，对点云的重采样可以包括上采样和下采样，上采样又可称为升采样，下采样又可称为降采样。对于执行上采样和下采样的具体算法，本公开的范围在此方面不受限制。
图1示出了稀疏点云与密集点云各自所构建出的图像的差别。参考图1，对一把椅子进行点云采集，可以得到该椅子的稀疏点云101，对该椅子的稀疏点云101进行点云上采样103，可以得到该椅子的密集点云102。例如，稀疏点云101可以包括1024个点，而点云上采样103之后，得到的密集点云102包括16384个点，密集点云102包括的点数量是稀疏点云101的16倍。对稀疏点云101进行网格渲染104，生成网格模型106，对密集点云102进行网格渲染105，生成网格模型107。由图1可以看出，使用稀疏点云101所生成的网格模型106相对较为粗糙，而使用密集点云102所生成的网格模型107相对更加精确和逼真。因此，对于3D模型的重建来说，增加稀疏点云的密度，可以提高3D模型的质量。
点云处理在整个三维视觉领域非常重要，涉及非常多的相关领域，例如自动驾驶感知定位、即时定位与地图构建(SLAM)、三维场景重建、增强现实(AR)、虚拟现实(VR)、运动恢复结构(structure from motion，SFM)、姿态估计、三维识别、结构光、立体视觉、三维测量、视觉引导等。
本公开的实施例提出了一种点云处理方法，用于增加稀疏点云的密度，从而提高3D模型重建的质量，进而显著降低点云的获取成本。本公开的实施例采用了一种基于双重反向投射过程的点云处理架构，可以用于迭代地处理点云以及学习用于上采样的点相关性，旨在提高稀疏点云的密度以及精度。本公开的实施例双重反向投射过程指的是分别在特征域和空间域上对点云信息均采用上采样-下采样-上采样的过程进行迭代更新。本公开的实施例中对于网络模型的训练可以包括使用损耗函数来自动训练网络。另外，还提出了在输入点云中随机添加噪声的有效训练策略，以保证网络模型处理噪声和数据异常值时的鲁棒性。
实施本公开的实施例提供的技术方案，可以高效地增加稀疏点云的密度，使得点云所对应重建的3D模型更加精确和逼真，进一步地，还可以显著降低点云的获取成本，以及减少点云数据存储空间，只需在设备上存储少量稀疏点云，通过使用设备上的预训练模型对稀疏点云进行实时上采样就可以获得密集点云。
图2示出了根据本公开的一些实施例的点云处理方法200的流程图，该方法200可以应用于具备处理性能的电子设备，如个人计算机(PC)、计算机集群、服务器等。本公开的实施例对实现方法200的电子设备的设备类型等不作任何限定。应当理解的是，在本公开的实施例中，实现该方法200的主体可以由一个实体设备实现，也可以由多个实体设备共同实现。可以理解的是，实现该方法200的主体可以是实体设备内的一个逻辑功能模块，也可以是由多个实体设备组成的一个逻辑功能模块。应当理解的是，在下述的本公开实施例中，可以由一个实体设备执行本公开实施例提供的方法中的各个步骤，也可以由多个实体设备协作执行本公开实施例提供的方法中的各个步骤，本公开实施例对此不作任何限制。
应当理解的是，方法200还可以包括未示出的附加框和/或可以省略所示出的框，本公开的范围在此方面不受限制。
在框201，基于输入点云获得第一点云。第一点云的点数大于输入点云的点数。
在一些实施例中，输入点云又可称为原始输入点云，第一点云又可称为初始输出点云。
在一些实施例中，输入点云可以包括N个点，第一点云可以包括kN个点，k和N为正整数。
在一些实施例中，基于输入点云获得第一点云，是指将输入点云输入基于特征的反向投射模块，获得第一点云。其中，这里使用的基于特征的反向投射模块又可以称为第一模块，可以是已训练好的基于特征的反向投射的训练模型。结合参考图3所示的示例，将原始输入点云301输入基于特征的第一模块311，进行点云上采样，得到具有kN个采样点的初始输出点云302，其包括kN×3个数据。
在一些实施例中，该第一模块是在特征域上的特征处理，因此需要将点坐标转换为点特征值进行处理。基于输入点云获得第一点云的具体过程包括：基于输入点云的坐标，生成输入点云的特征值。将输入点云的特征值输入第一模块，得到第一点云的特征值。基于第一点云的特征值，生成第一点云的坐标。这里结合参考图5所示的基于特征的反向投射模块500，在将N×F的原始稀疏点云特征501(即输入点云的特征值)输入该模块500之前，需要将原始稀疏点云坐标点数据N×3(即输入点云的坐标)转换成为特征域中使用的原始稀疏点云特征数据N×F(即输入点云的特征值)。将N×F的原始稀疏点云特征501经过模块500的处理之后，输出kN×F的目标密集点云特征506(即第一点云的特征值)。在模块500输出kN×F的目标密集点云特征506(即第一点云的特征值)之后，还需要将该目标密集点云特征数据kN×F(即第一点云的特征值)转换成为目标密集点云坐标点数据kN×3(即第一点云的坐标)，以用于后续的点云处理。
在一些实施例中，更进一步地，第一模块对输入点云的特征值进行处理得到第一点云的特征值的过程包括：将输入点云的特征值进行上采样，得到第一特征值。将第一特征值进行下采样，得到第二特征值。将输入点云的特征值与第二特征值进行差值计算，得到第一残差特征值。将第一残差特征值进行上采样，得到第三特征值。将赋予权重的第三特征值与第一特征值进行相加，得到第一点云的特征值。这里结合参考图5所示的基于特征的反向投射模块500，对输入的原始稀疏点云特征N×F(即输入点云的特征值)进行上采样过程502，得到k倍的初始密集点云特征kN×F(即第一特征值)。接着，将该初始密集点云特征(即第一特征值)进行下采样过程503，得到中间稀疏点云特征(即第二特征值)。之后，该中间稀疏点云特征(即第二特征值)与原始稀疏点云特征(即输入点云的特征值)进行相减并获得残差特征(即第一残差特征值)作为输出。该残差特征(即第一残差特征值)将被再次进行上采样过程504，得到残差密集点云特征kN×F(即第三特征值)。最后，加了权重参数505的残差密集点云特征(即第三特征值)与初始密集点云特征(即第一特征值)相加，最终输出kN×F的目标密集点云特征506(即第一点云的特征值)。其中，该权重参数505可以用于调整和修正基于特征的反向投射模块500。进一步关于基于特征的反向投射模块对输入点云进行处理得到第一点云的描述，可以结合参考下面图5、图6A、图6B所对应描述的实施例。
在框202，基于第一点云获得第一组点云。其中，第一组点云包括多个点云。
在一些实施例中，第一组点云可以是k个包括N个点的点云集合。
在一些实施例中，可以对第一点云进行下采样，获得第一组点云。第一组点云又可称为中间输出点云。结合参考图3所示的示例，将初始输出点云302(即第一点云)输入基于空间的第二模块312，对其进行点云下采样，可以得到k个包括N个采样点、N×3个数据的中间输出点云303(即第一组点云)。
在框203，基于输入点云和第一组点云获得第二组点云。其中，第二组点云包括多个点云。
在一些实施例中，第二组点云是k个包括kN个点的点云集合。
在一些实施例中，基于输入点云和第一组点云获得第三组点云，第三组点云包括多个点云。基于第三组点云可以获得第二组点云，第二组点云的点数大于第三组点云的点数。
在一些实施例中，第三组点云可以是k个包括N个点的点云集合。第三组点云又可称为点云残差。
在一些实施例中，基于输入点云和第一组点云获得第三组点云，具体的可以是将输入点云的坐标分别与第一组点云中对应的每个点云的坐标进行差值计算，获得一组残差，该一组残差即为第三组点云。结合参考图3所示的示例，将原始输入点云301的坐标(即输入点云的坐标)分别与k个中间输出点云303中的每一个中间输出点云303的坐标(即第一组点云中对应的每个点云的坐标)进行坐标差值计算，得到k个点云残差304(即第三组点云)，每个点云残差304包括N×3个数据。
在一些实施例中，第二组点云又可称为残差输出点云。其中基于第三组点云获得第二组点云，具体地可以是将第三组点云中的每个点云分别输入基于特征的反向投射模块，获得第二组点云。其中，这里使用的基于特征的反向投射模块又可称为第三模块，可以是已训练好的基于特征的反向投射的训练模型。结合参考图3所示的示例，将每个点云残差304(即第三组点云)分别输入基于特征的第三模块313，进行点云上采样，得到具有k个kN×3个数据的残差输出点云305(即第二组点云)。
在一些实施例中，该第三模块是在特征域上的特征处理，因此需要将点坐标转换为点特征值进行处理。将第三组点云中的每个点云分别输入第三模块以获得第二组点云的具体过程包括：基于第三组点云中的每个点云的坐标，生成第三组点云中的每个点云的特征值。将第三组点云中的每个点云的特征值输入第三模块，得到第二组点云中的每个点云的特征值。基于第二组点云中的每个点云的特征值，生成第二组点云中的每个点云的坐标。这里结合参考图5所示的基于特征的反向投射模块500，在将N×F的原始稀疏点云特征501(即第三组点云中的每个点云的特征值)输入该模块500之前，需要将原始稀疏点云坐标点数据N×3(即第三组点云中的每个点云的坐标)转换成为特征域中使用的原始稀疏点云特征数据N×F(即第三组点云中的每个点云的特征值)。将N×F的原始稀疏点云特征501经过模块500的处理之后，输出kN×F的目标密集点云特征506(即第二组点云中的每个点云的特征值)。在模块500输出kN×F的目标密集点云特征506(即第二组点云中的每个点云的特征值)之后，还需要将该目标密集点云特征数据kN×F(即第二组点云中的每个点云的特征值)转换成为目标密集点云坐标点数据kN×3(即第二组点云中的每个点云的坐标)，以用于后续的点云处理。
在一些实施例中，更进一步地，第三模块对第三组点云中的每个点云的特征值进行处理得到第二组点云中的每个点云的特征值的过程包括：将第三组点云中的每个点云的特征值进行上采样，得到第四特征值。将第四特征值进行下采样，得到第五特征值。将第三组点云中的每个点云的特征值与第五特征值进行差值计算，得到第二残差特征值。将第二残差特征值进行上采样，得到第六特征值。将赋予权重的第六特征值与第四特征值进行相加，得到第二组点云中的每个点云的特征值。这里结合参考图5所示的基于特征的反向投射模块500，对输入的原始稀疏点云特征N×F(即第三组点云中的每个点云的特征值)进行上采样过程502，得到k倍的初始密集点云特征kN×F(即第四特征值)。接着，将该初始密集点云特征(即第四特征值)进行下采样过程503，得到中间稀疏点云特征(即第五特征值)。之后，该中间稀疏点云特征(即第五特征值)与原始稀疏点云特征(即第六组点云中的每个点云的特征值)进行相减并获得残差特征(即第二残差特征值)作为输出。该残差特征(即第二残差特征值)将被再次进行上采样过程504，得到残差密集点云特征kN×F(即第六特征值)。最后，加了权重参数505的残差密集点云特征(即第六特征值)与初始密集点云特征(即第四特征值)相加，最终输出kN×F的目标密集点云特征506(即第二组点云中的每个点云的特征值)。其中，该权重参数505可以用于调整和修正基于特征的反向投射模块500。进一步关于基于特征的反向投射模块对输入点云进行处理得到第一点云的描述，可以结合参考下面图5、图6A、图6B所对应描述的实施例。
在框204，基于第一点云和第二组点云获得目标点云。其中，目标点云的点数大于输入点云的点数。
在一些实施例中，目标点云可以包括kN个点。目标点云又可称为目标输出点云或者精炼输出点云。
在一些实施例中，基于第一点云和第二组点云获得目标点云，可以是将第一点云的坐标与第二组点云中对应的每个点云的坐标进行累加计算，获得目标点云。结合参考图3所示的示例，将初始输出点云302(即第一点云)与所有残差输出点云305(即第二组点云)进行坐标累加计算，得到具有kN个采样点、kN×3个数据的目标输出点云306(即目标点云)。
本申请实施例提供的方法200是采用了一种基于双重反向投射过程的点云处理架构，用于迭代地处理点云，旨在提高稀疏点云的密度。本公开的实施例双重反向投射过程指的是分别在特征域和空间域上对点云信息均采用上采样-下采样-上采样的过程进行迭代更新。实施该方法200，可以高效地增加稀疏点云的密度，使得点云所对应重建的3D模型更加精确和逼真，进一步地，还可以显著降低点云的获取成本，以及减少点云数据存储空间。
图3示出了本公开的实施例提供的一种点云上采样体系架构300的示意图。该上采样体系架构300示出了一种双重反向投射过程，用于迭代地处理点云，将具有N个采样点的稀疏点云生成具有kN个采样点的更密集的点云，其中k为上采样因子，表示采样点的扩充倍数。
参考图3，上采样体系架构300中包括已训练好的基于特征的第一模块311、基于空间的第二模块312和基于特征的第三模块313。在一些实施例中，基于特征的第一模块311又可称为基于特征的反向投射模块，基于空间的第二模块312又可称为基于空间的反向投射模块，基于特征的第三模块311又可称为基于特征的反向投射模块。
如图3所示，使用上采样体系架构300，可以将原始输入点云301最终生成目标输出点云306。其中，原始输入点云301为具有N个采样点的稀疏点云，每个采样点都对应一个三维坐标(x，y，z)数据，所以原始输入点云301中包括N×3个数据。目标输出点云306为具有kN个采样点的密集点云，包括kN×3个数据。这里为了便于理解，以每个采样点包括最基本的坐标数据作为示例来说明，在其他的实施例中，每个采样点可以包括更多或更少的数据，如还可能包括代表检测到的颜色信息、材质信息等数据，本公开的范围在此方面不受限制。
首先，将原始输入点云301输入基于特征的第一模块311，进行点云上采样，得到具有kN个采样点的初始输出点云302，其包括kN×3个数据。这里采用反向投射方法实现点云域的上采样过程，该过程在特征域中完成，可以称为基于特征的反向投射。关于该基于特征的反向投射过程，可以参考下面描述的实施例，在此先不赘述。
然后，将初始输出点云302输入基于空间的第二模块312，对其进行点云下采样，例如使用K最近邻(K-Nearest Neighbor，KNN)算法进行下采样，得到k个包括N个采样点、N×3个数据的中间输出点云303。KNN算法可以被用于寻找一个采样点周围k个最近的点。这里采用反向投射方法实现点云域的下采样过程，该过程在空间域中完成，可以称为基于空间的反向投射，用于进一步更新上采样精度，改善视觉质量，可以通过最小化位置畸变来实现。
之后，将原始输入点云301分别与k个中间输出点云303进行坐标相减，得到k个点云残差304，每个点云残差包括N×3个数据。
再将每个点云残差304分别输入基于特征的第三模块313，进行点云上采样，得到具有k个kN×3个数据的残差输出点云305。这里采用反向投射方法实现点云域的上采样过程，该过程在特征域中完成，可以称为基于特征的反向投射。关于该基于特征的反向投射过程，可以参考下面描述的实施例，在此先不赘述。
最后，将初始输出点云302与所有残差输出点云305进行坐标相加，得到具有kN个采样点、kN×3个数据的目标输出点云306，该目标输出点云又可以称为精炼输出点云。
以上所描述的实施例是采用了一种基于双重反向投射过程的点云处理架构，用于迭代地处理点云，旨在提高稀疏点云的密度。本公开的实施例双重反向投射过程指的是分别在特征域和空间域上对点云信息均采用上采样-下采样-上采样的过程进行迭代更新。
实施本公开提供的上采样体系架构300，可以高效地增加稀疏点云的密度，使得点云所对应重建的3D模型更加精确和逼真，进一步地，还可以显著降低点云的获取成本，以及减少数据存储空间，只需在设备上存储少量稀疏点云，通过使用设备上的预训练模型对稀疏点云进行实时上采样就可以获得密集点云。
图4A示出了使用上采样体系架构300处理点云的一个示例。其中，示例的原始输入点云401为一匹马的三维图像点云，原始输入点云401包括N×3个数据，是较为稀疏的点云。将原始输入点云401输入基于特征的反向投射模块411(即第一模块311)，进行点云上采样，得到具有kN×3个采样数据的初始输出点云402。然后，将初始输出点云402输入基于空间的反向投射模块412(即第二模块312)，进行点云下采样，得到k个具有N×3个采样数据的中间输出点云(未示出)。之后，将原始输入点云401与每个中间输出点云进行坐标相减，得到k个包括N×3个采样数据的点云残差。再将该k个点云残差输入基于特征的反向投射模块413(即第三模块313)，再次进行点云上采样，得到具有k个kN×3个采样数据的残差输出点云(未示出)。最后，将初始输出点云402与所有残差输出点云进行坐标相加，得到具有kN×3个采样数据的目标输出点云406。该目标输出点云406是相比原始输入点云401更为密集的点云，所对应示出的马的三维图像也更为精细和逼真。
在本公开的实施例中，基于空间的反向投射模块412中可以实现对包括kN个点的点云进行下采样，生成k个具有N个点的点云。以及之后，该k个具有N个点的点云分别与原始输入点云401做差值计算，得到k个包括N×3个采样数据的点云残差。即，基于空间的反向投射模块412包括的下采样过程和作差值得到点云残差的过程，这两个过程是在空间域进行的。
参考图4B，图4B是在图4A的基础上细化示出了基于空间的反向投射模块412。该基于空间的反向投射模块412可以用来最小化点之间的空间错位，细化点云空间，对准空间点，从而显著提高点云质量。
如图4B所示，该基于空间的反向投射过程应用于空间域，包括下采样421过程和作差值得到点云残差的过程等。
同样地，在图4B中，示例的原始输入点云401为一匹马的三维图像点云，原始输入点云401包括N×3个数据，是较为稀疏的点云。将原始输入点云401输入基于特征的反向投射模块411，对其进行k倍的点云上采样，得到具有kN×3个采样数据的初始输出点云402。在获得kN个点的初始输出点云402之后，可以例如使用KNN算法对其进行下采样421，以获得k个具有N×3个采样数据的中间输出点云(未示出)。之后，将原始输入点云401与k个中间输出点云中的每一个中间输出点云进行差值计算，得到k个包括N×3个采样数据的残差点云422。再将该k个点云残差输入基于特征的反向投射模块413，即对每个点云残差进行k倍的点云上采样，得到具有k个kN×3个采样数据的残差输出点云(未示出)。最后，将初始输出点云402的坐标与所有残差输出点云的对应坐标进行累计相加，得到具有kN×3个采样数据的目标输出点云406。该目标输出点云406是相比原始输入点云401更为密集的点云，所对应示出的马的三维图像也更为精细和逼真。其中关于基于特征的反向投射过程可以参考下面描述的实施例，在此先不赘述。
以上整体反向投射过程可以用以下公式1描述：
Pu＝G(K(G(Pd))-Pd)+G(Pd) 公式1
其中Pd是初始输入的原始稀疏点云，Pu是最终获得的目标密集点云，G表示基于特征的反向投射，K表示KNN算法。
结合图5，下面描述本公开的实施例中的基于特征的反向投射模块500。图5示出了基于特征的反向投射模块500的体系架构。
如图5所示，该基于特征的反向投射过程应用于特征域，包括上采样过程502、下采样过程503和上采样过程504等。在将N×F的原始稀疏点云特征501输入该模块之前，需要将原始稀疏点云坐标点数据N×3转换成为特征域中使用的原始稀疏点云特征数据N×F。本公开的实施例对数据转换所使用的方法不作限制。在一种示例中，通过KNN算法将原始稀疏点云坐标点数据N×3生成N×F×3的数据，然后再通过卷积池化，比如最大值池化、平均值池化、随机池化、求和区域池化等，将该N×F×3的数据生成N×F的原始稀疏点云特征数据以作为输入，保证了数据的光滑连续性。
在基于特征的反向投射模块500中，将N×F的原始稀疏点云特征501作为输入，其中N是点云数目，F是特征长度，然后对输入的原始稀疏点云特征N×F进行上采样过程502，得到k倍的初始密集点云特征kN×F。接着，将该初始密集点云特征进行下采样过程503，得到中间稀疏点云特征。之后，该中间稀疏点云特征与原始稀疏点云特征进行相减并获得残差特征作为输出。该残差特征将被再次进行上采样过程504，得到残差密集点云特征kN×F。最后，加了权重参数505的残差密集点云特征与初始密集点云特征相加，最终输出kN×F的目标密集点云特征506。其中，该权重参数505可以用于调整和修正基于特征的反向投射模块500。
在模块输出kN×F的目标密集点云特征506之后，还需要将该目标密集点云特征数据kN×F转换成为目标密集点云坐标点数据kN×3，以用于后续的点云处理。本公开的实施例对数据转换所使用的方法不作限制。在一种示例中，可以通过反向卷积将目标密集点云特征数据kN×F压缩成目标密集点云坐标点数据kN×3，反向卷积可以帮助剔除冗余信息，提取关键特征。
整个基于特征的反向投射模块500可以用以下公式2描述：
Fu＝α×U(D(U(Fd))-Fd)+U(Fd) 公式2
其中Fd是初始输入的原始稀疏点云特征，Fu是最终获得的目标密集点云特征。U代表上采样过程，D代表下采样过程。α是控制残差密集点云特征更新的加权参数。
合适的参数α可以更好地矫正基于特征的反向投射模块500。α的值可以大于1、等于1或小于1，本实施例不作限制。基于特征的反向投射模块500中的各项参数可以经过神经网络学习得到。注意，该上采样－下采样－上采样的过程是基于特征的反向投射模块的关键概念。具体而言，它将稀疏点云和密集点云之间的残差投射回去，以便更精确地描绘图像。对于执行上采样和下采样所使用的具体算法，本公开的范围在此方面不受限制。
参考图6A和图6B，图6A示出了基于特征的反向投射模块500中的上采样过程的细节的示意图，图6B示出了基于特征的反向投射模块500中的下采样过程的细节的示意图。
如图6A中所示，在本公开的一些实施例的上采样过程中，先将稀疏点特征601(N×F)复制k倍为密集点特征(kN×F)以用于上采样。在本公开的实施例中，可以使用2D位置网格603对kN个点进行编码，该编码可以称为位置码，用作上采样过程中每个特征的映射。将位置码与复制特征串接在一起作为(k+1)N个点。然后使用共享多层感知器(MLP)提取特征值，将这些点特征kN×(F+2)计算生成kN×F。基于上述上采样过程，N×F稀疏点特征601被转换为kN×F密集点特征602。
如图6B中所示，在本公开的一些实施例的下采样过程中，先将kN×F密集点特征602重塑为N×F×k，然后对该N×F×k使用最大化池运算将特征N×F×k映射缩减到特征N×F。将原始稀疏点云604(N×3)与特征N×F相结合，得到合并特征N×(F+3)。然后使用另一MLP将点特征N×(F+3)计算生成N×F。基于上述下采样过程，kN×F密集点特征602被转换为N×F稀疏点特征601。
本公开的实施例中包括使用其他损耗函数来自动训练网络。另外，为了更好的训练本公开的实施例提供的用于点云上采样的网络模型，还可以向原始输入点云的数据中随机地添加噪声来训练网络模型，用于尽量克服噪声的影响，使得经训练的模型可以很好的处理具有噪声的点云。关于添加噪声的形式和方法可以有多种实现，本公开的范围在此方面不受限制。
结合实施以上本公开的各实施例，可以高效地增加稀疏点云的密度，使得点云所对应重建的3D模型更加精确和逼真，进一步地，还可以显著降低点云的获取成本，以及减少点云数据存储空间，只需在设备上存储少量稀疏点云，通过使用设备上的预训练模型对稀疏点云进行实时上采样就可以获得密集点云。例如，给定城市规模的点云，点云处理需要至少10,000,000个点。利用本公开的实施例提供的技术方案，可以在设备上只存储6.25％的点(600,000)，然后使用边缘设备上的预训练模型对其进行实时上采样。这样，设备可以更高效地向客户提供更多的服务，如沉浸式虚拟现实和模拟。
图7示出了可以用于实施根据本公开的一些实施例的示例设备700的示意性结构图。设备700可以用于实现前述边缘节点或仓库服务器等。如图7所示，设备700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的计算机程序指令或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序指令，来执行各种适当的动作和处理。在RAM 703中，还可存储设备700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其它设备交换信息/数据。
处理单元701可以执行上文所描述的各个方法和/或处理，例如方法200。例如，在一些实施例中，方法200可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM703并由CPU 701执行时，可以执行上文描述的方法200的一个或多个步骤。备选地，在其它实施例中，CPU 701可以通过其它任何适当的方式(例如，借助于固件)而被配置为执行方法200。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。
在一些实施例中，以上所描述的方法和过程可以被实现为计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
本文描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如互联网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言，以及常规的过程式编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个框中规定的功能/动作。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
附图中的流程图和框图显示了根据本公开的多个实施例的设备、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这取决于所涉及的功能。也要注意的是，框图和/或流程图中的每个框、以及框图和/或流程图中的框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所公开的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中技术的技术改进，或者使得本技术领域的其它普通技术人员能理解本文公开的各实施例。

Claims (19)

1.一种点云处理方法，所述方法包括：
基于输入点云获得第一点云，所述第一点云的点数大于所述输入点云的点数；
基于所述第一点云获得第一组点云，所述第一组点云包括多个点云；
基于所述输入点云和所述第一组点云获得第二组点云，所述第二组点云包括多个点云；以及
基于所述第一点云和所述第二组点云获得目标点云，所述目标点云的点数大于所述输入点云的点数。
2.根据权利要求1所述的方法，所述基于所述输入点云获得所述第一点云，包括：
基于所述输入点云的坐标，生成所述输入点云的特征值；
基于所述输入点云的特征值，得到第一点云的特征值；
基于所述第一点云的特征值，生成所述第一点云的坐标。
3.根据权利要求2所述的方法，所述基于所述输入点云的特征值，得到所述第一点云的特征值，包括：
将所述输入点云的特征值进行上采样，得到第一特征值；
将所述第一特征值进行下采样，得到第二特征值；
将所述输入点云的特征值与所述第二特征值进行差值计算，得到第一残差特征值；
将所述第一残差特征值进行上采样，得到第三特征值；
将赋予权重的所述第三特征值与所述第一特征值进行相加，得到所述第一点云的特征值。
4.根据权利要求1所述的方法，所述基于所述第一点云获得所述第一组点云，包括：
对所述第一点云进行下采样，获得所述第一组点云。
5.根据权利要求1所述的方法，所述基于所述第一点云和所述第二组点云获得所述目标点云，包括：
将所述第一点云的坐标与所述第二组点云中对应的每个点云的坐标进行累加计算，获得所述目标点云。
6.根据权利要求1所述的方法，所述基于所述输入点云和所述第一组点云获得所述第二组点云，包括：
基于所述输入点云和所述第一组点云获得第三组点云，所述第三组点云包括多个点云；
基于所述第三组点云获得所述第二组点云，所述第二组点云的点数大于所述第三组点云的点数。
7.根据权利要求6所述的方法，所述基于所述输入点云和所述第一组点云获得所述第三组点云，包括：
将所述输入点云的坐标分别与所述第一组点云中对应的每个点云的坐标进行差值计算，获得一组残差。
8.根据权利要求6所述的方法，所述基于所述第三组点云获得所述第二组点云，包括：
基于所述第三组点云中的每个点云的坐标，生成所述第三组点云中的每个点云的特征值；
基于所述第三组点云中的每个点云的特征值，得到所述第二组点云中的每个点云的特征值；
基于所述第二组点云中的每个点云的特征值，生成所述第二组点云中的每个点云的坐标。
9.根据权利要求8所述的方法，所述基于所述第三组点云中的每个点云的特征值，得到所述第二组点云中的每个点云的特征值，包括：
将所述第三组点云中的每个点云的特征值进行上采样，得到第四特征值；
将所述第四特征值进行下采样，得到第五特征值；
将所述第三组点云中的每个点云的特征值与所述第五特征值进行差值计算，得到第二残差特征值；
将所述第二残差特征值进行上采样，得到第六特征值；
将赋予权重的所述第六特征值与所述第四特征值进行相加，得到所述第二组点云中的每个点云的特征值。
10.一种用于点云处理的电子设备，包括：
处理器；以及
与所述处理器耦合的存储器，所述存储器具有存储于其中的指令，所述指令在被处理器执行时使所述电子设备执行动作，所述动作包括：
基于输入点云获得第一点云，所述第一点云的点数大于所述输入点云的点数；
基于所述第一点云获得第一组点云，所述第一组点云包括多个点云；
基于所述输入点云和所述第一组点云获得第二组点云，所述第二组点云包括多个点云；以及
基于所述第一点云和所述第二组点云获得目标点云，所述目标点云的点数大于所述输入点云的点数。
11.根据权利要求10所述的电子设备，所述基于所述输入点云获得所述第一点云，包括：
基于所述输入点云的坐标，生成所述输入点云的特征值；
基于所述输入点云的特征值，得到第一点云的特征值；
基于所述第一点云的特征值，生成所述第一点云的坐标。
12.根据权利要求11所述的电子设备，所述基于所述输入点云的特征值，得到所述第一点云的特征值，包括：
将所述输入点云的特征值进行上采样，得到第一特征值；
将所述第一特征值进行下采样，得到第二特征值；
将所述输入点云的特征值与所述第二特征值进行差值计算，得到第一残差特征值；
将所述第一残差特征值进行上采样，得到第三特征值；
将赋予权重的所述第三特征值与所述第一特征值进行相加，得到所述第一点云的特征值。
13.根据权利要求10所述的电子设备，所述基于所述第一点云获得所述第一组点云，包括：
对所述第一点云进行下采样，获得所述第一组点云。
14.根据权利要求10所述的电子设备，所述基于所述第一点云和所述第二组点云获得所述目标点云，包括：
将所述第一点云的坐标与所述第二组点云中对应的每个点云的坐标进行累加计算，获得所述目标点云。
15.根据权利要求10所述的电子设备，所述基于所述输入点云和所述第一组点云获得所述第二组点云，包括：
基于所述输入点云和所述第一组点云获得第三组点云，所述第三组点云包括多个点云；
基于所述第三组点云获得所述第二组点云，所述第二组点云的点数大于所述第三组点云的点数。
16.根据权利要求15所述的电子设备，所述基于所述输入点云和所述第一组点云获得所述第三组点云，包括：
将所述输入点云的坐标分别与所述第一组点云中对应的每个点云的坐标进行差值计算，获得一组残差。
17.根据权利要求15所述的电子设备，所述基于所述第三组点云获得所述第二组点云，包括：
基于所述第三组点云中的每个点云的坐标，生成所述第三组点云中的每个点云的特征值；
基于所述第三组点云中的每个点云的特征值，得到所述第二组点云中的每个点云的特征值；
基于所述第二组点云中的每个点云的特征值，生成所述第二组点云中的每个点云的坐标。
18.根据权利要求17所述的电子设备，所述基于所述第三组点云中的每个点云的特征值，得到所述第二组点云中的每个点云的特征值，包括：
将所述第三组点云中的每个点云的特征值进行上采样，得到第四特征值；
将所述第四特征值进行下采样，得到第五特征值；
将所述第三组点云中的每个点云的特征值与所述第五特征值进行差值计算，得到第二残差特征值；
将所述第二残差特征值进行上采样，得到第六特征值；
将赋予权重的所述第六特征值与所述第四特征值进行相加，得到所述第二组点云中的每个点云的特征值。
19.一种计算机程序产品，所述计算机程序产品被有形地存储在计算机可读介质上并且包括机器可执行指令，所述机器可执行指令在被执行时使机器执行根据权利要求1至9中任一项所述的方法。
CN202210799006.4A 2022-07-06 2022-07-06 点云处理方法和电子设备 Pending CN117409161A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210799006.4A CN117409161A (zh) 2022-07-06 2022-07-06 点云处理方法和电子设备
US17/884,684 US12367542B2 (en) 2022-07-06 2022-08-10 Point cloud processing method and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210799006.4A CN117409161A (zh) 2022-07-06 2022-07-06 点云处理方法和电子设备

Publications (1)

Publication Number Publication Date
CN117409161A true CN117409161A (zh) 2024-01-16

Family

ID=89431670

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210799006.4A Pending CN117409161A (zh) 2022-07-06 2022-07-06 点云处理方法和电子设备

Country Status (1)

Country Link
CN (1) CN117409161A (zh)

Also Published As

Publication number Publication date
US20240013341A1 (en) 2024-01-11

Similar Documents

Publication Publication Date Title
CN111784821B (zh) 三维模型生成方法、装置、计算机设备及存储介质
Min et al. Depth video enhancement based on weighted mode filtering
Süßmuth et al. Reconstructing animated meshes from time‐varying point clouds
CN110910437B (zh) 一种复杂室内场景的深度预测方法
CN113962858A (zh) 一种多视角深度获取方法
Atapour-Abarghouei et al. To complete or to estimate, that is the question: A multi-task approach to depth completion and monocular depth estimation
CN114155406A (zh) 一种基于区域级特征融合的位姿估计方法
KR102559691B1 (ko) 뉴럴 렌더링 기반 형상 색상 통합 3d 메시 복원 방법 및 장치
CN119295638A (zh) 基于高斯泼溅的图像渲染方法、装置、设备、存储介质及程序产品
CN117058302A (zh) 一种基于NeRF的可泛化性场景渲染方法
Hua et al. Hi-map: Hierarchical factorized radiance field for high-fidelity monocular dense mapping
CN115546371A (zh) 点云优化方法、系统、电子设备及存储介质
CN114723801A (zh) 一种基于立体匹配深度神经网络获取多尺度视差图方法
CN117788296B (zh) 基于异构组合深度网络的红外遥感图像超分辨率重建方法
KR102722709B1 (ko) Neural rendering 및 Poisson blending 기반 3D 모델 정합 텍스처 개선 방법, 서버 및 컴퓨터 프로그램
CN112926543A (zh) 图像生成、三维模型生成方法、装置、电子设备及介质
US12367542B2 (en) Point cloud processing method and electronic device
CN117409161A (zh) 点云处理方法和电子设备
CN117893701A (zh) 水下环境三维重建方法、装置及系统和存储介质
CN115953537A (zh) 一种散斑结构光的三维重建方法、电子设备及存储介质
CN114494576A (zh) 一种基于隐函数的快速高精度多视点人脸三维重建方法
CN120047450B (zh) 基于双流时相特征适配器的遥感图像变化检测方法
US20250225713A1 (en) Electronic device and method for restoring scene image of target view
CN116342803B (zh) 一种基于编码译码器网络重建人体模型的方法
CN119295342B (zh) 一种基于MSAF-DT的D-NeRF图像降噪方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination