[go: up one dir, main page]

CN107958482B - 一种三维场景模型构建方法及装置 - Google Patents

一种三维场景模型构建方法及装置 Download PDF

Info

Publication number
CN107958482B
CN107958482B CN201610902421.2A CN201610902421A CN107958482B CN 107958482 B CN107958482 B CN 107958482B CN 201610902421 A CN201610902421 A CN 201610902421A CN 107958482 B CN107958482 B CN 107958482B
Authority
CN
China
Prior art keywords
point cloud
point
dimensional model
target
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610902421.2A
Other languages
English (en)
Other versions
CN107958482A (zh
Inventor
张奎
李�杰
李阳勤
王超
毛慧
浦世亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201610902421.2A priority Critical patent/CN107958482B/zh
Priority to US16/342,466 priority patent/US11107277B2/en
Priority to EP17862399.7A priority patent/EP3528211A4/en
Priority to PCT/CN2017/105716 priority patent/WO2018072630A1/zh
Publication of CN107958482A publication Critical patent/CN107958482A/zh
Application granted granted Critical
Publication of CN107958482B publication Critical patent/CN107958482B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/61—Scene description

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

本发明实施例公开了一种三维场景模型构建方法及装置，预先获得目标场景的背景三维模型，即静态目标对应的三维模型；针对当前目标场景对应的第一点云，在第一点云中确定动态目标对应的第一部分点云，构建该第一部分点云对应的前景三维模型；将前景三维模型与背景三维模型进行叠加，得到当前三维场景模型。针对获取到的每一帧第一点云应用本方案，得到每一帧第一点云对应的三维场景模型，便得到一个动态的三维场景模型。由此可见，不需要对每台深度相机采集到的每个像素点进行融合，而是在深度相机采集到的点云中确定动态目标，仅将动态目标对应的前景三维模型与预先获得的静态目标对应的背景三维模型进行叠加，降低了构建三维场景模型的计算量。

Description

一种三维场景模型构建方法及装置
技术领域
本发明涉及计算机视觉技术领域，特别涉及一种三维场景模型构建方法及装置。
背景技术
三维场景，以其良好的视觉体验已在诸多领域发挥出巨大价值。利用深度相机构建三维场景模型的方案也已经被广泛应用。深度相机，能够同时获取RGB信息和深度(Depth)信息，该相机获取到的每一帧数据包括一个二维的RGB图像和同维度包含每个点深度信息的深度图。
目前，通常基于多台深度相机在不同视角采集到的数据来构建动态的三维场景模型。具体的，多台深度相机针对同一场景进行数据采集，该场景中可以包括墙体、陈设等静态目标作为背景，还可以包括移动的人等动态目标作为前景。将深度相机采集到的数据转化为点云，点云就是包含每个像素点的三维坐标和颜色信息的数据集合。将每一时刻各台深度相机对应的点云进行融合，得到每一时刻的三维场景模型，进而也就得到了动态的三维场景模型。当场景中有动态目标时，该动态目标在各个三维场景模型中的位置不同，这样，便能够真实反映该动态目标的运动情况。
但是利用上述方案，对同一时刻各台深度相机对应的点云进行融合时，需要对每台深度相机采集到的每个像素点进行融合，计算量非常大。
发明内容
本发明实施例的目的在于提供一种三维场景模型构建方法及装置，降低构建三维场景模型的计算量。
为达到上述目的，本发明实施例公开了一种三维场景模型构建方法，包括：
获取当前目标场景对应的第一点云；
在所述第一点云中确定动态目标对应的第一部分点云；
根据所述第一部分点云构建前景三维模型；
将所述前景三维模型与预先获得的背景三维模型进行叠加，得到当前三维场景模型；其中，所述背景三维模型根据所述目标场景中的静态目标构建。
可选的，所述获取当前目标场景对应的第一点云的步骤可以包括：
获取当前目标场景对应的多个第一点云；
所述在所述第一点云中确定动态目标对应的第一部分点云的步骤包括：
分别在每个第一点云中，确定动态目标对应的第一部分点云；
所述根据所述第一部分点云构建前景三维模型的步骤包括：
根据预先确定的每个第一点云所在的坐标系之间的第一变换关系，将所确定的每个第一部分点云变换至同一个坐标系，得到所述动态目标对应的一个多方位点云；
根据所述多方位点云构建前景三维模型。
可选的，所述在所述第一点云中确定动态目标对应的第一部分点云的步骤可以包括：
利用预设第一算法，将所述第一点云所在帧之前的预设数量个帧对应的点云与所述第一点云进行对比，根据对比结果，在所述第一点云中确定出动态目标对应的第一部分点云；
或者，利用预设第二算法，将所述第一点云与预设模型特征进行匹配，根据匹配结果，确定动态目标对应的第一部分点云；所述预设模型特征为静态目标的模型特征或者动态目标的模型特征。
可选的，根据所述目标场景中的静态目标构建所述背景三维模型的过程可以包括：
获取所述目标场景中的静态目标的扫描数据；
将所述扫描数据转化为第二点云；
根据所述第二点云构建所述背景三维模型。
可选的，所述获取当前目标场景对应的第一点云的步骤可以包括：
接收第一采集设备发送的当前帧图像，所述当前帧图像为所述第一采集设备针对当前目标场景进行采集得到；
将所述当前帧图像转化为第一点云；
所述获取所述目标场景中的静态目标的扫描数据的步骤包括：
接收第二采集设备发送的扫描数据，所述扫描数据为所述第二采集设备针对目标场景中的静态目标进行扫描得到。
可选的，所述根据所述第二点云构建所述背景三维模型的步骤可以包括：
确定所述第二点云中的基准帧点云及除所述基准帧点云之外的每个偏移帧点云；
确定每个偏移帧点云相对所述基准帧点云的偏移系数；
针对每个偏移帧点云，根据其对应的偏移系数，将每个偏移帧点云融合至所述基准帧点云，得到融合后的点云；
根据融合后的点云，构建所述背景三维模型。
可选的，将一个偏移帧点云融合至所述基准帧点云的步骤，可以包括：
根据所述偏移帧点云对应的偏移系数，对所述偏移帧点云的坐标进行转换；
判断转换后的偏移帧点云与所述基准帧点云是否满足闭环原则：
如果所述转换后的偏移帧点云与所述基准帧点云不满足闭环原则，将所述转换后的偏移帧点云与所述基准帧点云进行融合；
如果所述转换后的偏移帧点云与所述基准帧点云满足闭环原则，利用预设算法对所述基准帧点云进行校正，将转换后的偏移帧点云与校正后的基准帧点云进行融合。
可选的，将转换后的偏移帧点云与基准帧点云进行融合的过程，可以包括：
针对所述转换后的偏移帧点云中的每个第一点，计算所述第一点与基准帧点云中的每个第二点之间的距离和/或法向量夹角；
将计算结果小于第一预设阈值的第二点确定为所述第一点匹配的第二点；
确定每个匹配的第二点的置信度，将置信度最高的第二点确定为目标第二点；
根据预设融合规则，将所述第一点与所述目标第二点进行融合，得到一个融合后的点；
在将所述转换后的偏移帧点云的每个第一点分别与基准帧点云中的目标第二点融合后，所有融合后的点构成所述融合后的点云。
可选的，获得所述背景三维模型的过程可以包括：
接收用户设备发送的所述背景三维模型并保存。
可选的，所述将所述前景三维模型与预先获得的背景三维模型进行叠加，可以包括：
获取所述前景三维模型与所述背景三维模型的匹配点对；
根据所述匹配点对，利用预设分解方法，得到所述前景三维模型与所述背景三维模型之间的第二变换关系；
根据所述第二变换关系，将所述前景三维模型与所述背景三维模型进行叠加，得到当前三维场景模型。
可选的，在所述第一点云中确定动态目标对应的第一部分点云之后，还可以包括：
将除所述第一部分点云之外的第一点云与所述背景三维模型进行对比，确定待更新静态目标；
根据所述待更新静态目标对所述背景三维模型进行更新。
为达到上述目的，本发明实施例还公开了一种三维场景模型构建装置，包括：
第一获取模块，用于获取当前目标场景对应的第一点云；
第一确定模块，用于在所述第一点云中确定动态目标对应的第一部分点云；
第一构建模块，用于根据所述第一部分点云构建前景三维模型；
叠加模块，用于将所述前景三维模型与预先获得的背景三维模型进行叠加，得到当前三维场景模型；其中，所述背景三维模型根据所述目标场景中的静态目标构建。
可选的，所述第一获取模块，具体可以用于：获取当前目标场景对应的多个第一点云；
所述第一确定模块，具体可以用于：分别在每个第一点云中，确定动态目标对应的第一部分点云；
所述第一构建模块，具体可以用于：根据预先确定的每个第一点云所在的坐标系之间的第一变换关系，将所确定的每个第一部分点云变换至同一个坐标系，得到所述动态目标对应的一个多方位点云；根据所述多方位点云构建前景三维模型。
可选的，所述第一确定模块，具体可以用于：
利用预设第一算法，将所述第一点云所在帧之前的预设数量个帧对应的点云与所述第一点云进行对比，根据对比结果，在所述第一点云中确定出动态目标对应的第一部分点云；
或者，利用预设第二算法，将所述第一点云与预设模型特征进行匹配，根据匹配结果，确定动态目标对应的第一部分点云；所述预设模型特征为静态目标的模型特征或者动态目标的模型特征。
可选的，所述装置还可以包括：
第二获取模块，用于获取所述目标场景中的静态目标的扫描数据；
转化模块，用于将所述扫描数据转化为第二点云；
第二构建模块，用于根据所述第二点云构建所述背景三维模型。
可选的，所述第一获取模块，具体可以用于：
接收第一采集设备发送的当前帧图像，所述当前帧图像为所述第一采集设备针对当前目标场景进行采集得到；
将所述当前帧图像转化为第一点云；
所述第二获取模块，具体可以用于：
接收第二采集设备发送的扫描数据，所述扫描数据为所述第二采集设备针对目标场景中的静态目标进行扫描得到。
可选的，所述第二构建模块，可以包括：
第一确定子模块，用于确定所述第二点云中的基准帧点云及除所述基准帧点云之外的每个偏移帧点云；
第二确定子模块，用于确定每个偏移帧点云相对所述基准帧点云的偏移系数；
融合子模块，用于针对每个偏移帧点云，根据其对应的偏移系数，将每个偏移帧点云融合至所述基准帧点云，得到融合后的点云；
构建子模块，用于根据融合后的点云，构建所述背景三维模型。
可选的，所述融合子模块，可以包括：
转换单元，用于根据所述偏移帧点云对应的偏移系数，对所述偏移帧点云的坐标进行转换；
判断单元，用于判断转换后的偏移帧点云与所述基准帧点云是否满足闭环原则；
融合单元，用于当所述判断单元判断结果为是时，利用预设算法对所述基准帧点云进行校正，将转换后的偏移帧点云与校正后的基准帧点云进行融合；当所述判断单元判断结果为否时，将转换后的偏移帧点云与所述基准帧点云进行融合。
可选的，所述融合单元，具体可以用于：
针对所述转换后的偏移帧点云中的每个第一点，计算所述第一点与基准帧点云中的每个第二点之间的距离和/或法向量夹角；
将计算结果小于第一预设阈值的第二点确定为所述第一点匹配的第二点；
确定每个匹配的第二点的置信度，将置信度最高的第二点确定为目标第二点；
根据预设融合规则，将所述第一点与所述目标第二点进行融合，得到一个融合后的点；
在将所述转换后的偏移帧点云的每个第一点分别与基准帧点云中的目标第二点融合后，所有融合后的点构成所述融合后的点云。
可选的，所述装置还可以包括：
第一接收模块，用于接收用户设备发送的所述背景三维模型并保存。
可选的，所述叠加模块，具体可以用于：
获取所述前景三维模型与所述背景三维模型的匹配点对；
根据所述匹配点对，利用预设分解方法，得到所述前景三维模型与所述背景三维模型之间的第二变换关系；
根据所述第二变换关系，将所述前景三维模型与所述背景三维模型进行叠加，得到当前三维场景模型。
可选的，所述装置还可以包括：
第二确定模块，用于将除所述第一部分点云之外的第一点云与所述背景三维模型进行对比，确定待更新静态目标；
更新模块，用于根据所述待更新静态目标对所述背景三维模型进行更新。
应用本发明实施例，预先获得目标场景的背景三维模型，背景三维模型即为静态目标对应的三维模型；针对每一帧当前目标场景对应的第一点云，在第一点云中确定动态目标对应的第一部分点云，构建该第一部分点云对应的前景三维模型，前景三维模型即为动态目标对应的三维模型；将前景三维模型与背景三维模型进行叠加，便得到了当前三维场景模型。针对获取到的每一帧第一点云都应用本方案，便可以得到每一帧第一点云对应的三维场景模型，也就是得到了一个动态的三维场景模型。由此可见，应该本方案，不需要对每台深度相机采集到的每个像素点进行融合，而是在深度相机采集到的点云中确定动态目标，仅将动态目标对应的前景三维模型与预先获得的静态目标对应的背景三维模型进行叠加，极大的降低了构建三维场景模型的计算量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种三维场景模型构建方法的流程示意图；
图2为本发明实施例提供的一种三维场景模型构建装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决上述技术问题，本发明实施例提供了一种三维场景模型构建方法及装置，可以应用于计算机、平板电脑等各种电子设备，具体不作限定。下面首先对本发明实施例提供的三维场景模型构建方法进行详细说明。
图1为本发明实施例提供的一种三维场景模型构建方法的流程示意图，包括：
S101：获取当前目标场景对应的第一点云。
第一点云可以通过第一采集设备针对当前目标场景进行图像采集得到。
具体的，第一采集设备对目标场景进行图像采集，并把当前帧图像发送给执行本方案的电子设备。该电子设备接收该当前帧图像，并将其转化为第一点云。需要说明的是，本方案可以具有实时性，在本方案中，可以实时获取第一采集设备采集到的每个当前帧图像，实时将当前帧图像转化成第一点云，第一点云对应当前目标场景。该第一采集设备可以为深度相机。
另外，第一采集设备可以有一台，也可以有多台。当有多台第一采集设备时，可以从不同视角对该目标场景进行采集。这种情况下，执行本方案的电子设备接收每台第一采集设备发送的当前帧图像，并将每个当前帧图像转化为一个第一点云，每个第一点云均对应当前目标场景，也就是说，该电子设备获取到当前目标场景对应的多个第一点云。可以理解的是，第一采集设备的数量越多，获取到的第一点云越多，视觉死角也就越少，后续三维场景模型构建的效果也就越好。
S102：在所述第一点云中确定动态目标对应的第一部分点云。
作为本发明的一种实施方式，可以利用预设第一算法，将所述第一点云所在帧之前的预设数量个帧对应的点云与所述第一点云进行对比，根据对比结果，在所述第一点云中确定出动态目标对应的第一部分点云。
具体的，该预设第一算法可以为帧差法。如上所述，获取的第一点云根据当前帧图像转化得到，在本实施例中，可以将每一帧图像都进行转化，得到其对应的第一点云。这样，将获取的当前帧对应的第一点云与当前帧之前的预设数量个帧对应的第一点云进行对比，根据对比结果，可以确定出动态目标。
该预设数量可以根据实际需求进行设定，这里假设为2。假设当前帧对应的第一点云为点云A，当前帧的前一帧对应的第一点云为点云B，当前帧的前两帧对应的第一点云为点云C。
可以理解的是，假设某物体上的点在点云A中的位置坐标为(100，200，300)，而在点云B中的位置坐标为(90，190，290)，在点云C中的位置坐标为(80，180，280)，则表示该物体是移动的，可以将该物体确定为动态目标，并确定出该物体在点云A中对应的第一部分点云。
作为本发明的另一种实施方式，利用预设第二算法，将所述第一点云与预设模型特征进行匹配，根据匹配结果，确定动态目标对应的第一部分点云；所述预设模型为静态目标的模型特征或者动态目标的模型特征。
具体的，该预设第二算法可以为高斯背景建模法。预设模型通常为背景模型，也就是静态目标的模型，或者也可以为动态目标的模型，在此不做限定。如果是静态目标的模型，将获取的第一点云与该模型进行匹配，匹配成功的部分可以确定为静态目标，匹配不成功的部分可以确定为动态目标，这样便确定出了动态目标对应的第一部分点云。或者，如果是动态目标的模型，则正好相反，匹配不成功的部分可以确定为静态目标，匹配成功的部分可以确定为动态目标。
如上所述，可以有多台第一采集设备对目标场景进行采集，这样，便获取了多个第一点云。这种情况下，可以分别在每个第一点云中，确定动态目标对应的第一部分点云。
分别在每个第一点云中确定动态目标对应的第一部分点云的方案与上述方案相同，在此不作赘述。
S103：根据所述第一部分点云构建前景三维模型。
点云中包括点的位置信息及颜色信息。可以根据每个点的位置信息，进行曲面重建，常用的方法包括：泊松曲面重建、Marching cubes算法等等。曲面重建完成后，便得到了前景三维模型。或者，还可以根据每个点的颜色信息，对重建的曲面进行纹理映射，提高前景三维模型的视觉效果。
如果有多台第一采集设备，则执行本方案的电子设备获取了多个第一点云，且分别在每个第一点云中，确定动态目标对应的第一部分点云。这种情况下，根据预先确定的每个第一点云所在的坐标系之间的第一变换关系，将所确定的每个第一部分点云变换至同一个坐标系，得到所述动态目标对应的一个多方位点云；根据所述多方位点云构建前景三维模型。
可以理解的是，每台第一采集设备采集到不同方位的动态目标：假设有四台第一采集设备对当前目标场景进行采集，通过这四台第一采集设备，分别获取到第一点云W、第一点云X、第一点云Y和第一点云Z。
在第一点云W中确定的第一部分点云W1，是通过从动态目标的前方进行图像采集得到的；在第一点云X中确定的第一部分点云X1，是通过从动态目标的后方进行图像采集得到的；在第一点云Y中确定的第一部分点云Y1，是通过从动态目标的左侧进行图像采集得到的；在第一点云Z中确定的第一部分点云Z1，是通过从动态目标的右侧进行图像采集得到的。
每个第一点云所在的坐标系之间的第一变换关系可以通过相机标定获得。该第一变换关系可以理解为每台采集设备到自定义坐标系之间的变换关系。相机标定有多种方式，比如：传统相机标定法、张氏标定法、相机自标定法等等，在此不做限定。
根据该第一变换关系，将第一部分点云W1、X1、Y1和Z1变换至同一个坐标系(可以为自定义坐标系，也可以为其他)，这样，便得到了动态目标前、后、左、右四个方位的点云，即该动态目标对应的一个多方位点云。
根据该多方位点云构建前景三维模型。
S104：将所述前景三维模型与预先获得的背景三维模型进行叠加，得到当前三维场景模型；其中，所述背景三维模型根据所述目标场景中的静态目标构建。
前景三维模型可以理解为针对目标场景中的动态目标(比如移动的人或者其他移动的物体)构建的，背景三维模型可以理解为针对目标场景中的静态目标(比如墙体、陈设等)构建的。背景三维模型通常情况下变动不大，因此，可以预先构建好，在实时构建前景模型后，直接将前景三维模型与预先构建的背景三维模型进行叠加。
作为一种实施方式，根据目标场景中的静态目标构建该背景三维模型的具体过程可以包括：
获取所述目标场景中的静态目标的扫描数据；将所述扫描数据转化为第二点云；根据所述第二点云构建所述背景三维模型。
具体的，获取扫描数据的过程可以包括：
接收第二采集设备发送的扫描数据，所述扫描数据为所述第二采集设备针对目标场景中的静态目标进行扫描得到。
在本实施例中，将构建前景三维模型依据的点云称之为第一点云，将构建背景三维模型依据的点云称之为第二点云。将采集第一点云的采集设备称为第一采集设备，将采集第二点云的采集设备称为第二采集设备。
假设目标场景为一家便利店的室内场景，则可以在该便利店室内的四个墙角位置各设置一台采集设备。这四台采集设备可以作为第一采集设备对当前目标场景进行采集。另外，也可以将这四台采集设备中任意一台作为第二采集设备，预先对室内场景中的静态目标进行扫描。或者，也可以再另外设备一台第二采集设备预先对室内场景中的静态目标进行扫描。
利用一台第二采集设备对目标场景中的静态目标进行扫描，得到扫描数据，执行本方案的电子设备接收第二采集设备发送的扫描数据，并将转化为第二点云。根据第二点云构建背景模型的具体过程可以包括：
(1)、确定所述第二点云中的基准帧点云及除所述基准帧点云之外的每个偏移帧点云。
可以理解的是，扫描数据包括多帧图像，将每一帧图像都转化为一个点云，也就是说，第二点云也包括多帧点云。
具体的，可以将第一帧点云作为基准帧点云，或者，也可以将其他帧点云作为基准帧点云，在此不做限定。在第二点云中，除基准帧点云之外的每帧点云都是偏移帧点云。
(2)、确定每个偏移帧点云相对所述基准帧点云的偏移系数。偏移系数可以理解为旋转和平移关系，也就是偏移帧点云所在的坐标系相对于基准帧点云所在的坐标系的旋转和平移关系，也可以理解为偏移帧点云对应的相机姿态相对于基准帧点云对应的相机姿态的旋转和平移关系。
比如，将第k帧点云对应的相机姿态设为Pk，Pk＝[Rk，Tk]，其中，Rk可以理解为旋转姿态，Tk可以理解为平移姿态。Pk＝H*Pk-1，Pk-1为第k-1帧点云对应的相机姿态，H为第k帧点云对应的相机姿态相对于第k-1帧点云对应的相机姿态的旋转和平移关系。通过逐帧求解H，可以最终确定出Pk与P1的偏移系数，也就是第k帧点云对应的相机姿态相对于基准帧点云对应的相机姿态的旋转和平移关系。
作为一种实施方式，可以利用ICP算法确定该偏移系数。具体的，可以利用高斯牛顿非线性最小二乘法求解，相比于传统ICP算法，误差函数不仅可以考虑变换后的距离误差，还可以考虑变换后的颜色误差。其中误差函数可以为：E＝EICP+ωERGB，
其中，E为总误差，EICP可以为利用传统IPC算法得到的距离误差，ERGB可以为颜色误差，ω为颜色误差项的权值，这里可以根据实际情况设定，比如为0.1。
(3)、针对每个偏移帧点云，根据其对应的偏移系数，将每个偏移帧点云融合至所述基准帧点云，得到融合后的点云。
具体的，可以根据所述偏移帧点云对应的偏移系数，对所述偏移帧点云的坐标进行转换；
判断转换后的偏移帧点云与所述基准帧点云是否满足闭环原则；
如果是，利用预设算法对所述基准帧点云进行校正，将转换后的偏移帧点云与校正后的基准帧点云进行融合；
如果否，将转换后的偏移帧点云与所述基准帧点云进行融合。
满足闭环原则，是指对转换后的偏移帧点云与基准帧点云进行扫描时，满足全局闭环或者局部闭环。局部闭环是指，当前扫描位置回到了中间某个扫描位置；全局闭环是指，当前扫描位置与起始扫描位置重合。
如果满足，则利用预设算法对基准帧点云进行校正，然后再将转换后的偏移帧点云与校正后的基准帧点云进行融合。这样，可以纠正在确定每个偏移帧点云相对基准帧点云的偏移系数的过程中导致的误差累积的问题。
如果不满足，则不能够利用预设算法对基准帧点云进行校正，这种情况下，直接将转换后的偏移帧点云与基准帧点云进行融合。
该预设算法可以为一般的校正算法，在此不做限定。
在本实施方式中，在将一个转换后的偏移帧点云融合至基准帧点云时，可以针对所述转换后的偏移帧点云中的每个第一点，计算所述第一点与基准帧点云中的每个第二点之间的距离和/或法向量夹角；将计算结果小于第一预设阈值的第二点确定为所述第一点匹配的第二点；确定每个匹配的第二点的置信度，将置信度最高的第二点确定为目标第二点；根据预设融合规则，将所述第一点与所述目标第二点进行融合，得到一个融合后的点；在将所述转换后的偏移帧点云的每个第一点分别与基准帧点云中的目标第二点融合后，所有融合后的点构成所述融合后的点云。
也就是说，由于存在不可避免的误差，将一个偏移帧点云转化至与基准帧点云在同一个坐标系后，该偏移帧点云与基准帧点云的衔接部分可能存在局部多层现象。如果直接利用转化至同一个坐标系后的点云构建背景三维模型，可能会造成模型表面存在冗余面片、表面粗糙、拼接痕迹明显等缺陷。因此，需要将转化至同一个坐标系后的点云进行数据融合处理。
针对转换后的偏移帧点云中的每个第一点，计算第一点与基准帧点云中的每个第二点之间的距离和/或法向量夹角，将计算结果小于第一预设阈值的第二点确定为所述第一点匹配的第二点，这样，筛选出该第一点的候选匹配点集。在候选匹配点集中确定置信度最高的第二点为该第一点的匹配点，即目标第二点。具体的，某个第二点在当前时刻的置信度ct的计算公式可以为：ct＝ct-1+α，
Figure GDA0003039099980000141
其中，ct-1为该第二点在上一时刻的置信度，γ为该第二点的深度信息，σ为预设值。
假设第一点为(Vc，Nc)，其匹配的目标第二点为(Vg，Ng)该预设融合规则可以为如下公式：
Figure GDA0003039099980000142
其中，V为融合后的点的坐标，n为融合后的点的法向量。只保留融合后的点，将之前的第一点和目标第二点删除。在将转换后的偏移帧点云的每个第一点分别与基准帧点云中相匹配的目标第二点融合后，所有融合后的点构成融合后的点云。
(4)、根据融合后的点云，构建所述背景三维模型。
融合后的点云中包括点的位置信息及颜色信息。可以根据每个点的位置信息，进行曲面重建，常用的方法包括：泊松曲面重建、Marching cubes算法等等。曲面重建完成后，便得到了背景三维模型。或者，还可以根据每个点的颜色信息，对重建的曲面进行纹理映射，提高背景三维模型的视觉效果。
作为另一种实施方式，可以接收用户设备发送的背景三维模型并保存，这样便获得了背景三维模型。也就是说，可以直接利用其他用户设备构建的背景三维模型实现本方案。
将前景三维模型与预先获得的背景三维模型进行叠加，可以包括：
获取所述前景三维模型与所述背景三维模型的匹配点对；
根据所述匹配点对，利用预设分解方法，得到所述前景三维模型与所述背景三维模型之间的第二变换关系；
根据所述第二变换关系，将所述前景三维模型与所述背景三维模型进行叠加，得到当前三维场景模型。
具体的，获取匹配点对，可以利用特征点匹配的方式，比如确定前景三维模型及背景三维模型中的NARF(Normal Aligned Radial Feature，关键点)或者PPF(Point PairFeatures)等等，具体特征点不做限定。
根据提取到的匹配点对，可以利用SVD(Singular value decomposition，奇异值分解)算法或者其他分解算法，得到前景模型与背景模型之间的变换关系。
根据计算得到的变换关系，将前景三维模型叠加到背景三维模型上，这样，便得到了当前三维场景模型。
作为本发明的一种实施方式，在第一点云中确定动态目标对应的第一部分点云之后，还可以将除所述第一部分点云之外的第一点云与所述背景三维模型进行对比，确定待更新静态目标；根据所述待更新静态目标对所述背景三维模型进行更新。
背景三维模型是预先获得的，前景三维模型是实时获得的，第一点云也是实时获得的。背景三维模型可能与当前目标场景不完全一致，因此，在第一点云中确定出动态目标对应的第一部分点云，除该第一部分点云之外的第一点云，也就是静态目标对应的部分点云，也可以理解为当前的背景三维模型对应的部分点云。将除第一部分点云之外的第一点云与背景三维模型进行对比，如果有不相同的部分，该部分即可以理解为待更新静态目标。
比如，预先获得的背景三维模型中包含一张桌子，但是在当前场景中该桌子已经不存在了，则将除第一部分点云之外的第一点云中与背景三维模型进行对比，除第一部分点云之外的第一点云中不包含该桌子，将该桌子确定为待更新静态目标。根据所述待更新静态目标对所述背景三维模型进行更新，也就是将背景三维模型中的桌子对应的部分点云删除。
或者，预先获得的背景三维模型中没有花瓶，但是在当前场景中存在一个花瓶，则将除第一部分点云之外的第一点云中与背景三维模型进行对比，将该花瓶确定为待更新静态目标。根据所述待更新静态目标对所述背景三维模型进行更新。也就是在背景三维模型中增加该花瓶。
应用本发明图1所示实施例，预先获得目标场景的背景三维模型，背景三维模型即为静态目标对应的三维模型；针对每一帧当前目标场景对应的第一点云，在第一点云中确定动态目标对应的第一部分点云，构建该第一部分点云对应的前景三维模型，前景三维模型即为动态目标对应的三维模型；将前景三维模型与背景三维模型进行叠加，便得到了当前三维场景模型。针对获取到的每一帧第一点云都应用本方案，便可以得到每一帧第一点云对应的三维场景模型，也就是得到了一个动态的三维场景模型。由此可见，应该本方案，不需要对每台深度相机采集到的每个像素点进行融合，而是在深度相机采集到的点云中确定动态目标，仅将动态目标对应的前景三维模型与预先获得的静态目标对应的背景三维模型进行叠加，极大的降低了构建三维场景模型的计算量。应用本方案，当目标场景较大时，也能够实现实时构建目标场景对应的三维场景模型。
与上述方法实施例相对应，本发明实施例还提供一种三维场景模型构建装置，包括：
第一获取模块201，用于获取当前目标场景对应的第一点云；
第一确定模块202，用于在所述第一点云中确定动态目标对应的第一部分点云；
第一构建模块203，用于根据所述第一部分点云构建前景三维模型；
叠加模块204，用于将所述前景三维模型与预先获得的背景三维模型进行叠加，得到当前三维场景模型；其中，所述背景三维模型根据所述目标场景中的静态目标构建。
在本实施例中，第一获取模块201，具体可以用于：获取当前目标场景对应的多个第一点云；
第一确定模块202，具体可以用于：分别在每个第一点云中，确定动态目标对应的第一部分点云；
第一构建模块203，具体可以用于：根据预先确定的每个第一点云所在的坐标系之间的第一变换关系，将所确定的每个第一部分点云变换至同一个坐标系，得到所述动态目标对应的一个多方位点云；根据所述多方位点云构建前景三维模型。
在本实施例中，第一确定模块202，具体可以用于：
利用预设第一算法，将所述第一点云所在帧之前的预设数量个帧对应的点云与所述第一点云进行对比，根据对比结果，在所述第一点云中确定出动态目标对应的第一部分点云；
或者，利用预设第二算法，将所述第一点云与预设模型特征进行匹配，根据匹配结果，确定动态目标对应的第一部分点云；所述预设模型特征为静态目标的模型特征或者动态目标的模型特征。
在本实施例中，所述装置还可以包括：第二获取模块、转化模块和第二构建模块(图中未示出)，其中，
第二获取模块，用于获取所述目标场景中的静态目标的扫描数据；
转化模块，用于将所述扫描数据转化为第二点云；
第二构建模块，用于根据所述第二点云构建所述背景三维模型。
在本实施例中，第一获取模块201，具体可以用于：
接收第一采集设备发送的当前帧图像，所述当前帧图像为所述第一采集设备针对当前目标场景进行采集得到；
将所述当前帧图像转化为第一点云；
所述第二获取模块，具体用于：
接收第二采集设备发送的扫描数据，所述扫描数据为所述第二采集设备针对目标场景中的静态目标进行扫描得到。
在本实施例中，所述第二构建模块，可以包括：
第一确定子模块，用于确定所述第二点云中的基准帧点云及除所述基准帧点云之外的每个偏移帧点云；
第二确定子模块，用于确定每个偏移帧点云相对所述基准帧点云的偏移系数；
融合子模块，用于针对每个偏移帧点云，根据其对应的偏移系数，将每个偏移帧点云融合至所述基准帧点云，得到融合后的点云；
构建子模块，用于根据融合后的点云，构建所述背景三维模型。
在本实施例中，所述融合子模块，可以包括：
转换单元，用于根据所述偏移帧点云对应的偏移系数，对所述偏移帧点云的坐标进行转换；
判断单元，用于判断转换后的偏移帧点云与所述基准帧点云是否满足闭环原则；
融合单元，用于当所述判断单元判断结果为否时，将转换后的偏移帧点云与所述基准帧点云进行融合；当所述判断单元判断结果为是时，利用预设算法对所述基准帧点云进行校正，将转换后的偏移帧点云与校正后的基准帧点云进行融合。
在本实施例中，所述融合单元，具体可以用于：
针对所述转换后的偏移帧点云中的每个第一点，计算所述第一点与基准帧点云中的每个第二点之间的距离和/或法向量夹角；
将计算结果小于第一预设阈值的第二点确定为所述第一点匹配的第二点；
确定每个匹配的第二点的置信度，将置信度最高的第二点确定为目标第二点；
根据预设融合规则，将所述第一点与所述目标第二点进行融合，得到一个融合后的点；
在将所述转换后的偏移帧点云的每个第一点分别与基准帧点云中的目标第二点融合后，所有融合后的点构成所述融合后的点云。
在本实施例中，所述装置还可以包括：
第一接收模块(图中未示出)，用于接收用户设备发送的所述背景三维模型并保存。
在本实施例中，叠加模块204，具体可以用于：
获取所述前景三维模型与所述背景三维模型的匹配点对；
根据所述匹配点对，利用预设分解方法，得到所述前景三维模型与所述背景三维模型之间的第二变换关系；
根据所述第二变换关系，将所述前景三维模型与所述背景三维模型进行叠加，得到当前三维场景模型。
在本实施例中，所述装置还可以包括：第二确定模块和更新模块(图中未示出)，其中，
第二确定模块，用于将除所述第一部分点云之外的第一点云与所述背景三维模型进行对比，确定待更新静态目标；
更新模块，用于根据所述待更新静态目标对所述背景三维模型进行更新。
应用本发明图2所示实施例，预先获得目标场景的背景三维模型，背景三维模型即为静态目标对应的三维模型；针对每一帧当前目标场景对应的第一点云，在第一点云中确定动态目标对应的第一部分点云，构建该第一部分点云对应的前景三维模型，前景三维模型即为动态目标对应的三维模型；将前景三维模型与背景三维模型进行叠加，便得到了当前三维场景模型。针对获取到的每一帧第一点云都应用本方案，便可以得到每一帧第一点云对应的三维场景模型，也就是得到了一个动态的三维场景模型。由此可见，应该本方案，不需要对每台深度相机采集到的每个像素点进行融合，而是在深度相机采集到的点云中确定动态目标，仅将动态目标对应的前景三维模型与预先获得的静态目标对应的背景三维模型进行叠加，极大的降低了构建三维场景模型的计算量。应用本方案，当目标场景较大时，也能够实现实时构建目标场景对应的三维场景模型。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机可读取存储介质中，这里所称得的存储介质，如：ROM/RAM、磁碟、光盘等。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (18)

1.一种三维场景模型构建方法，其特征在于，包括：
获取当前目标场景对应的第一点云；
在所述第一点云中确定动态目标对应的第一部分点云；
根据所述第一部分点云构建前景三维模型；
将所述前景三维模型与预先获得的背景三维模型进行叠加，得到当前三维场景模型；其中，所述背景三维模型根据所述目标场景中的静态目标构建；
根据所述目标场景中的静态目标构建所述背景三维模型的过程包括：
获取所述目标场景中的静态目标的扫描数据；
将所述扫描数据转化为第二点云；
根据所述第二点云构建所述背景三维模型；
所述根据所述第二点云构建所述背景三维模型的步骤包括：
确定所述第二点云中的基准帧点云及除所述基准帧点云之外的每个偏移帧点云；
确定每个偏移帧点云相对所述基准帧点云的偏移系数；
针对每个偏移帧点云，根据其对应的偏移系数，将每个偏移帧点云融合至所述基准帧点云，得到融合后的点云；
根据融合后的点云，构建所述背景三维模型。
2.根据权利要求1所述的方法，其特征在于，所述获取当前目标场景对应的第一点云的步骤包括：
获取当前目标场景对应的多个第一点云；
所述在所述第一点云中确定动态目标对应的第一部分点云的步骤包括：
分别在每个第一点云中，确定动态目标对应的第一部分点云；
所述根据所述第一部分点云构建前景三维模型的步骤包括：
根据预先确定的每个第一点云所在的坐标系之间的第一变换关系，将所确定的每个第一部分点云变换至同一个坐标系，得到所述动态目标对应的一个多方位点云；
根据所述多方位点云构建前景三维模型。
3.根据权利要求1所述的方法，其特征在于，所述在所述第一点云中确定动态目标对应的第一部分点云的步骤包括：
利用预设第一算法，将所述第一点云所在帧之前的预设数量个帧对应的点云与所述第一点云进行对比，根据对比结果，在所述第一点云中确定出动态目标对应的第一部分点云；
或者，利用预设第二算法，将所述第一点云与预设模型特征进行匹配，根据匹配结果，确定动态目标对应的第一部分点云；所述预设模型特征为静态目标的模型特征或者动态目标的模型特征。
4.根据权利要求1所述的方法，其特征在于，所述获取当前目标场景对应的第一点云的步骤包括：
接收第一采集设备发送的当前帧图像，所述当前帧图像为所述第一采集设备针对当前目标场景进行采集得到；
将所述当前帧图像转化为第一点云；
所述获取所述目标场景中的静态目标的扫描数据的步骤包括：
接收第二采集设备发送的扫描数据，所述扫描数据为所述第二采集设备针对目标场景中的静态目标进行扫描得到。
5.根据权利要求1所述的方法，其特征在于，将一个偏移帧点云融合至所述基准帧点云的步骤，包括：
根据所述偏移帧点云对应的偏移系数，对所述偏移帧点云的坐标进行转换；
判断转换后的偏移帧点云与所述基准帧点云是否满足闭环原则：
如果所述转换后的偏移帧点云与所述基准帧点云不满足闭环原则，将所述转换后的偏移帧点云与所述基准帧点云进行融合；
如果所述转换后的偏移帧点云与所述基准帧点云满足闭环原则，利用预设算法对所述基准帧点云进行校正，将转换后的偏移帧点云与校正后的基准帧点云进行融合。
6.根据权利要求5所述的方法，其特征在于，将所述转换后的偏移帧点云与所述基准帧点云进行融合的过程，包括：
针对所述转换后的偏移帧点云中的每个第一点：
计算所述第一点与基准帧点云中的每个第二点之间的距离和/或法向量夹角；
将计算结果小于第一预设阈值的第二点确定为所述第一点匹配的第二点；
确定每个匹配的第二点的置信度，将置信度最高的第二点确定为目标第二点；
根据预设融合规则，将所述第一点与所述目标第二点进行融合，得到一个融合后的点；
在将所述转换后的偏移帧点云的每个第一点分别与基准帧点云中的目标第二点融合后，所有融合后的点构成所述融合后的点云。
7.根据权利要求1所述的方法，其特征在于，获得所述背景三维模型的过程包括：
接收用户设备发送的所述背景三维模型并保存。
8.根据权利要求1所述的方法，其特征在于，所述将所述前景三维模型与预先获得的背景三维模型进行叠加，包括：
获取所述前景三维模型与所述背景三维模型的匹配点对；
根据所述匹配点对，利用预设分解方法，得到所述前景三维模型与所述背景三维模型之间的第二变换关系；
根据所述第二变换关系，将所述前景三维模型与所述背景三维模型进行叠加，得到当前三维场景模型。
9.根据权利要求1所述的方法，其特征在于，在所述第一点云中确定动态目标对应的第一部分点云之后，还包括：
将除所述第一部分点云之外的第一点云与所述背景三维模型进行对比，确定待更新静态目标；
根据所述待更新静态目标对所述背景三维模型进行更新。
10.一种三维场景模型构建装置，其特征在于，包括：
第一获取模块，用于获取当前目标场景对应的第一点云；
第一确定模块，用于在所述第一点云中确定动态目标对应的第一部分点云；
第一构建模块，用于根据所述第一部分点云构建前景三维模型；
叠加模块，用于将所述前景三维模型与预先获得的背景三维模型进行叠加，得到当前三维场景模型；其中，所述背景三维模型根据所述目标场景中的静态目标构建；
所述装置还包括：
第二获取模块，用于获取所述目标场景中的静态目标的扫描数据；
转化模块，用于将所述扫描数据转化为第二点云；
第二构建模块，用于根据所述第二点云构建所述背景三维模型；
所述第二构建模块，包括：
第一确定子模块，用于确定所述第二点云中的基准帧点云及除所述基准帧点云之外的每个偏移帧点云；
第二确定子模块，用于确定每个偏移帧点云相对所述基准帧点云的偏移系数；
融合子模块，用于针对每个偏移帧点云，根据其对应的偏移系数，将每个偏移帧点云融合至所述基准帧点云，得到融合后的点云；
构建子模块，用于根据融合后的点云，构建所述背景三维模型。
11.根据权利要求10所述的装置，其特征在于，所述第一获取模块，具体用于：获取当前目标场景对应的多个第一点云；
所述第一确定模块，具体用于：分别在每个第一点云中，确定动态目标对应的第一部分点云；
所述第一构建模块，具体用于：根据预先确定的每个第一点云所在的坐标系之间的第一变换关系，将所确定的每个第一部分点云变换至同一个坐标系，得到所述动态目标对应的一个多方位点云；根据所述多方位点云构建前景三维模型。
12.根据权利要求10所述的装置，其特征在于，所述第一确定模块，具体用于：
利用预设第一算法，将所述第一点云所在帧之前的预设数量个帧对应的点云与所述第一点云进行对比，根据对比结果，在所述第一点云中确定出动态目标对应的第一部分点云；
或者，利用预设第二算法，将所述第一点云与预设模型特征进行匹配，根据匹配结果，确定动态目标对应的第一部分点云；所述预设模型特征为静态目标的模型特征或者动态目标的模型特征。
13.根据权利要求10所述的装置，其特征在于，所述第一获取模块，具体用于：
接收第一采集设备发送的当前帧图像，所述当前帧图像为所述第一采集设备针对当前目标场景进行采集得到；
将所述当前帧图像转化为第一点云；
所述第二获取模块，具体用于：
接收第二采集设备发送的扫描数据，所述扫描数据为所述第二采集设备针对目标场景中的静态目标进行扫描得到。
14.根据权利要求10所述的装置，其特征在于，所述融合子模块，包括：
转换单元，用于根据所述偏移帧点云对应的偏移系数，对所述偏移帧点云的坐标进行转换；
判断单元，用于判断转换后的偏移帧点云与所述基准帧点云是否满足闭环原则；
融合单元，用于当所述判断单元判断结果为否时，将转换后的偏移帧点云与所述基准帧点云进行融合；当所述判断单元判断结果为是时，利用预设算法对所述基准帧点云进行校正，将转换后的偏移帧点云与校正后的基准帧点云进行融合。
15.根据权利要求14所述的装置，其特征在于，所述融合单元，具体用于：
针对所述转换后的偏移帧点云中的每个第一点，计算所述第一点与基准帧点云中的每个第二点之间的距离和/或法向量夹角；
将计算结果小于第一预设阈值的第二点确定为所述第一点匹配的第二点；
确定每个匹配的第二点的置信度，将置信度最高的第二点确定为目标第二点；
根据预设融合规则，将所述第一点与所述目标第二点进行融合，得到一个融合后的点；
在将所述转换后的偏移帧点云的每个第一点分别与基准帧点云中的目标第二点融合后，所有融合后的点构成所述融合后的点云。
16.根据权利要求10所述的装置，其特征在于，所述装置还包括：
第一接收模块，用于接收用户设备发送的所述背景三维模型并保存。
17.根据权利要求10所述的装置，其特征在于，所述叠加模块，具体用于：
获取所述前景三维模型与所述背景三维模型的匹配点对；
根据所述匹配点对，利用预设分解方法，得到所述前景三维模型与所述背景三维模型之间的第二变换关系；
根据所述第二变换关系，将所述前景三维模型与所述背景三维模型进行叠加，得到当前三维场景模型。
18.根据权利要求10所述的装置，其特征在于，所述装置还包括：
第二确定模块，用于将除所述第一部分点云之外的第一点云与所述背景三维模型进行对比，确定待更新静态目标；
更新模块，用于根据所述待更新静态目标对所述背景三维模型进行更新。
CN201610902421.2A 2016-10-17 2016-10-17 一种三维场景模型构建方法及装置 Active CN107958482B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201610902421.2A CN107958482B (zh) 2016-10-17 2016-10-17 一种三维场景模型构建方法及装置
US16/342,466 US11107277B2 (en) 2016-10-17 2017-10-11 Method and device for constructing 3D scene model
EP17862399.7A EP3528211A4 (en) 2016-10-17 2017-10-11 METHOD AND DEVICE FOR CONSTRUCTING A 3D SCENE MODEL
PCT/CN2017/105716 WO2018072630A1 (zh) 2016-10-17 2017-10-11 一种三维场景模型构建方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610902421.2A CN107958482B (zh) 2016-10-17 2016-10-17 一种三维场景模型构建方法及装置

Publications (2)

Publication Number Publication Date
CN107958482A CN107958482A (zh) 2018-04-24
CN107958482B true CN107958482B (zh) 2021-06-18

Family

ID=61954248

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610902421.2A Active CN107958482B (zh) 2016-10-17 2016-10-17 一种三维场景模型构建方法及装置

Country Status (4)

Country Link
US (1) US11107277B2 (zh)
EP (1) EP3528211A4 (zh)
CN (1) CN107958482B (zh)
WO (1) WO2018072630A1 (zh)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107958482B (zh) * 2016-10-17 2021-06-18 杭州海康威视数字技术股份有限公司 一种三维场景模型构建方法及装置
US10740914B2 (en) * 2018-04-10 2020-08-11 Pony Ai Inc. Enhanced three-dimensional training data generation
CN112424823B (zh) * 2018-05-04 2024-11-01 派克赛斯有限责任公司 于定时约束下进行三维数据获取和处理的系统和方法
CN109141289B (zh) * 2018-08-01 2020-12-29 先临三维科技股份有限公司 三维扫描方法和系统
CN109146938B (zh) 2018-08-30 2020-09-15 百度在线网络技术（北京）有限公司 动态障碍物的位置校准方法、装置、设备及存储介质
CN109064562A (zh) * 2018-09-29 2018-12-21 深圳阜时科技有限公司 一种三维场景模拟方法
CN110070617B (zh) * 2018-11-02 2023-01-10 北京微播视界科技有限公司 数据同步方法、装置、硬件装置
CN110378964B (zh) * 2018-12-05 2021-07-30 北京京东尚科信息技术有限公司 一种摄像机外参标定方法及装置、存储介质
CN109859309A (zh) * 2019-01-14 2019-06-07 仲恺农业工程学院 一种实现仿真教学的物联网教学信息处理系统及方法
CN110060330B (zh) * 2019-03-08 2023-05-23 武汉库柏特科技有限公司 一种基于点云图像的三维建模方法、装置和机器人
CN110120090B (zh) * 2019-04-01 2020-09-25 贝壳找房(北京)科技有限公司 三维全景模型构建方法、装置及可读存储介质
CN110243370A (zh) * 2019-05-16 2019-09-17 西安理工大学 一种基于深度学习的室内环境三维语义地图构建方法
CN110458939B (zh) * 2019-07-24 2022-11-18 大连理工大学 基于视角生成的室内场景建模方法
CN112634427B (zh) * 2019-09-24 2024-11-08 中国移动通信有限公司研究院 三维建模方法、装置、网络设备及计算机可读存储介质
CN110992372B (zh) * 2019-11-21 2023-08-29 浙江大华技术股份有限公司 物品抓取方法、装置、存储介质及电子装置
CN111223101B (zh) * 2020-01-17 2023-08-11 湖南视比特机器人有限公司 点云处理方法、点云处理系统和存储介质
CN111369602B (zh) * 2020-02-25 2023-10-27 阿波罗智能技术(北京)有限公司 点云数据的处理方法、装置、电子设备及可读存储介质
CN113362383A (zh) * 2020-03-02 2021-09-07 华为技术有限公司 点云与图像融合方法及装置
CN111524233B (zh) * 2020-03-25 2023-06-13 青岛联合创智科技有限公司 一种静态场景动态目标的三维重建方法
CN113763231B (zh) * 2020-06-08 2024-02-09 北京京东乾石科技有限公司 模型生成方法、图像透视图确定方法、装置、设备及介质
CN112132950B (zh) * 2020-08-13 2024-01-26 中国地质大学（武汉） 一种基于众包图像的三维点云场景更新方法
CN111915723A (zh) * 2020-08-14 2020-11-10 广东申义实业投资有限公司 一种用于室内的三维全景构建方法和系统
CN111968242B (zh) * 2020-09-11 2024-05-31 国家管网集团西南管道有限责任公司 管道工程建设的管沟测量方法及系统
CN112131987B (zh) * 2020-09-11 2023-01-31 国家管网集团西南管道有限责任公司 管道工程管沟质量验收系统及方法
CN112367514B (zh) * 2020-10-30 2022-12-09 京东方科技集团股份有限公司 三维场景构建方法、装置、系统和存储介质
WO2022103196A1 (ko) * 2020-11-12 2022-05-19 주식회사 유진로봇 로봇의 기능 안전 시스템
CN112652056B (zh) * 2020-12-25 2023-09-05 北京奇艺世纪科技有限公司 一种3d信息展示方法及装置
CN112948332B (zh) * 2021-03-04 2023-07-21 北京奇艺世纪科技有限公司 一种点云文件封装、解析方法及装置
CN113034593B (zh) * 2021-03-09 2023-12-12 深圳市广宁股份有限公司 6d位姿标注方法、系统及存储介质
CN113033412B (zh) * 2021-03-26 2023-08-22 平安国际智慧城市科技股份有限公司 基于实景融合的交通态势监控方法、装置、设备及介质
CN113298950B (zh) * 2021-05-13 2024-04-19 京东鲲鹏(江苏)科技有限公司 一种物体属性的确定方法、装置、电子设备和存储介质
CN113536913B (zh) * 2021-06-09 2024-11-01 之江实验室 一种三维目标检测中针对静态目标的优化方法
CN113610960B (zh) * 2021-07-19 2024-04-02 福建凯米网络科技有限公司 一种三维模型合并时防穿模的方法、装置及存储介质
CN114004927A (zh) * 2021-10-25 2022-02-01 北京字节跳动网络技术有限公司 3d视频模型重建方法、装置、电子设备及存储介质
CN114119820B (zh) * 2021-11-15 2025-02-25 北京达佳互联信息技术有限公司 动画生成方法、装置、电子设备及存储介质
CN114295053B (zh) * 2021-12-31 2023-11-28 北京百度网讯科技有限公司 物料体积的确定方法及装置、设备、介质和产品
CN114782438B (zh) * 2022-06-20 2022-09-16 深圳市信润富联数字科技有限公司 物体点云修正方法、装置、电子设备和存储介质
CN115420275A (zh) * 2022-08-22 2022-12-02 先临三维科技股份有限公司 回环路径的预测方法及装置、非易失性存储介质、处理器
CN115187742B (zh) * 2022-09-07 2023-02-17 西安深信科创信息技术有限公司 自动驾驶仿真测试场景生成方法、系统及相关装置
CN115272439B (zh) * 2022-09-27 2023-01-31 季华实验室 三维重建模型的融合方法、重建方法、装置、设备及介质
CN116310262B (zh) * 2023-05-23 2023-08-01 山东省国土测绘院 面状实体与倾斜三维模型融合方法、系统、介质及设备
CN117456130B (zh) * 2023-12-22 2024-03-01 山东街景智能制造科技股份有限公司 一种场景模型构建方法
CN117593470B (zh) * 2024-01-18 2024-04-02 深圳奥雅设计股份有限公司 一种基于ai模型的街景重构方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101917636A (zh) * 2010-04-13 2010-12-15 上海易维视科技有限公司 复杂场景的二维视频转换为三维视频的方法及系统
US20140320491A1 (en) * 2013-04-26 2014-10-30 Tsinghua University Method And System For Three-Dimensionally Reconstructing Non-Rigid Body Based On Multi-Depth-Map
CN104933755A (zh) * 2014-03-18 2015-09-23 华为技术有限公司 一种静态物体重建方法和系统

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7006709B2 (en) * 2002-06-15 2006-02-28 Microsoft Corporation System and method deghosting mosaics using multiperspective plane sweep
CA2705019A1 (en) * 2007-11-07 2009-05-14 Tele Atlas B.V. Method of and arrangement for mapping range sensor data on image sensor data
CN102036054B (zh) 2010-10-19 2013-04-17 北京硅盾安全技术有限公司 一种基于三维虚拟场景的智能视频监控系统
US20170257414A1 (en) * 2012-01-26 2017-09-07 Michael Edward Zaletel Method of creating a media composition and apparatus therefore
CN102903144B (zh) 2012-08-03 2015-05-27 樊晓东 一种基于云计算的交互式增强现实系统实现方法
US9417323B2 (en) * 2012-11-07 2016-08-16 Neva Ridge Technologies SAR point cloud generation system
WO2015088484A1 (en) * 2013-12-09 2015-06-18 Empire Technology Development, Llc Localized audio source extraction from video recordings
US10810715B2 (en) * 2014-10-10 2020-10-20 Hand Held Products, Inc System and method for picking validation
EP3034995B1 (de) * 2014-12-19 2024-02-28 Leica Geosystems AG Verfahren zum bestimmen eines position- und orientierungsversatzes eines geodätischen vermessungsgeräts und ebensolches vermessungsgerät
US9767572B2 (en) * 2015-05-01 2017-09-19 Raytheon Company Systems and methods for 3D point cloud processing
CN105894700A (zh) * 2015-11-02 2016-08-24 乐卡汽车智能科技（北京）有限公司 基于图像的车内活动物体远程观测、报警装置及方法
GB2561746B (en) * 2015-11-13 2022-02-09 Flir Systems Video sensor fusion and model based virtual and augmented reality systems and methods
US10986401B2 (en) * 2016-05-13 2021-04-20 Sony Corporation Image processing apparatus, image processing system, and image processing method
US10482662B2 (en) * 2016-06-30 2019-11-19 Intel Corporation Systems and methods for mixed reality transitions
US10497129B1 (en) * 2016-08-31 2019-12-03 Amazon Technologies, Inc. Image-based weather condition detection
CN107958482B (zh) * 2016-10-17 2021-06-18 杭州海康威视数字技术股份有限公司 一种三维场景模型构建方法及装置
IL252582A0 (en) * 2017-05-29 2017-08-31 Eyeway Vision Ltd A method and system for registration between the outside world and a virtual image
US11295473B2 (en) * 2019-12-18 2022-04-05 Intel Corporation Continuous local 3D reconstruction refinement in video

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101917636A (zh) * 2010-04-13 2010-12-15 上海易维视科技有限公司 复杂场景的二维视频转换为三维视频的方法及系统
US20140320491A1 (en) * 2013-04-26 2014-10-30 Tsinghua University Method And System For Three-Dimensionally Reconstructing Non-Rigid Body Based On Multi-Depth-Map
CN104933755A (zh) * 2014-03-18 2015-09-23 华为技术有限公司 一种静态物体重建方法和系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Dou, Mingsong 等.Temporally Enhanced 3D Capture of Room-sized Dynamic Scenes with Commodity Depth Cameras.《IEEE VIRTUAL REALITY 2014》.2014,第39-44页，图1、4. *
Temporally Enhanced 3D Capture of Room-sized Dynamic Scenes with Commodity Depth Cameras;Dou, Mingsong 等;《IEEE VIRTUAL REALITY 2014》;20140402;第39-44页,图1、4 *
三维模型构建与动态目标识别算法设计与实现;艾倩;《中国优秀硕士学位论文全文数据库 信息科技辑》;20130415(第04期);全文 *
基于Kinect深度传感器的三维重建技术应用研究;叶日藏;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140515(第05期);第Ι页、第19-21、27-28、30-34、42页，图5-4 *

Also Published As

Publication number Publication date
EP3528211A4 (en) 2019-11-20
US11107277B2 (en) 2021-08-31
CN107958482A (zh) 2018-04-24
EP3528211A1 (en) 2019-08-21
US20190272671A1 (en) 2019-09-05
WO2018072630A1 (zh) 2018-04-26

Similar Documents

Publication Publication Date Title
CN107958482B (zh) 一种三维场景模型构建方法及装置
CN106940704B (zh) 一种基于栅格地图的定位方法及装置
US20090167843A1 (en) Two pass approach to three dimensional Reconstruction
Umeda et al. Registration of range and color images using gradient constraints and range intensity images
Guo et al. Mapping crop status from an unmanned aerial vehicle for precision agriculture applications
CN109613974B (zh) 一种大场景下的ar家居体验方法
KR102152436B1 (ko) 3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 시스템 및 방법
Khoshelham et al. Generation and weighting of 3D point correspondences for improved registration of RGB-D data
CN113345084B (zh) 三维建模系统及三维建模方法
CN111105467B (zh) 一种图像标定方法、装置及电子设备
CN108830921A (zh) 基于入射角度的激光点云反射强度纠正方法
Crombez et al. 3D point cloud model colorization by dense registration of digital images
KR100574227B1 (ko) 카메라 움직임을 보상한 객체 움직임 추출 장치 및 그 방법
CN115496783A (zh) 一种室内空间三维彩色点云生成方法
CN108629742B (zh) 真正射影像阴影检测与补偿方法、装置及存储介质
CN107958489B (zh) 一种曲面重建方法及装置
JP2021140262A (ja) カメラキャリブレーション装置、カメラキャリブレーション方法、およびプログラム
JP6228239B2 (ja) プリミティブの組を用いてデータをレジストレーションする方法
CN112132971B (zh) 三维人体建模方法、装置、电子设备和存储介质
CN114529681A (zh) 一种手持双相机建筑物温度场三维模型构建方法和系统
KR102146839B1 (ko) 실시간 가상현실 구축을 위한 시스템 및 방법
CN112422848A (zh) 一种基于深度图和彩色图的视频拼接方法
CN111914790A (zh) 基于双摄像头的不同场景下实时人体转动角度识别方法
CN115601438A (zh) 外参标定方法、装置以及自主移动设备
Hata et al. Cs231a course notes 3: Epipolar geometry

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant