[go: up one dir, main page]

CN109377551B - 一种三维人脸重建方法、装置及其存储介质 - Google Patents

一种三维人脸重建方法、装置及其存储介质 Download PDF

Info

Publication number
CN109377551B
CN109377551B CN201811207981.1A CN201811207981A CN109377551B CN 109377551 B CN109377551 B CN 109377551B CN 201811207981 A CN201811207981 A CN 201811207981A CN 109377551 B CN109377551 B CN 109377551B
Authority
CN
China
Prior art keywords
depth data
point cloud
viewing angle
face
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811207981.1A
Other languages
English (en)
Other versions
CN109377551A (zh
Inventor
廖声洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Force Map New (Chongqing) Technology Co.,Ltd.
Original Assignee
Beijing Kuangshi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kuangshi Technology Co Ltd filed Critical Beijing Kuangshi Technology Co Ltd
Priority to CN201811207981.1A priority Critical patent/CN109377551B/zh
Publication of CN109377551A publication Critical patent/CN109377551A/zh
Application granted granted Critical
Publication of CN109377551B publication Critical patent/CN109377551B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种三维人脸重建方法、装置及其存储介质，涉及图像处理技术领域。所述三维人脸重建方法包括：获取目标人脸在多个视角下的深度数据；判断每个视角下的深度数据是否存在局部深度数据畸点；若是，重新获取所述局部深度数据畸点对应的视角下的深度数据，以更新所述多个视角下的深度数据；根据所述多个视角下的深度数据，获得所述目标人脸的三维模型。该方法在存在局部深度数据畸点时通过深度摄像头进行深度数据补充采集，提高了人脸建模的纠错能力，从而获得更加准确的人脸三维模型。

Description

一种三维人脸重建方法、装置及其存储介质
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种三维人脸重建方法、装置及其存储介质。
背景技术
随着计算机设备、网络以及图像处理技术的迅速发展，传统的肉眼图像识别方式已经逐渐被由计算机自动进行的图像识别方式替代，从而极大的提高了图像识别的效率和准确率。基于人脸的深度数据，通过计算机自动的三维人脸建模是一项计算机视觉领域常见的任务，应用也很多。
但是现有的三维人脸建模方式在对深度数据和人脸平面图像进行点云匹配时由于计算错误、采集数据错误等原因常常会出现局部深度数据畸点，该局部深度数据畸点会极大地影响人脸三维模型的准确度。而现有技术需要单次扫描完整个人脸在不同角度下的深度数据再进行点云配准，不具备即时反馈逻辑，容易出现局部深度数据畸点，因此不易对深度数据的采集质量进行有效控制。
发明内容
有鉴于此，本发明实施例的目的在于提供一种三维人脸重建方法、装置及其存储介质，以解决上述问题。
第一方面，本发明实施例提供了一种三维人脸重建方法，所述三维人脸重建方法包括：获取目标人脸在多个视角下的深度数据；判断每个视角下的深度数据是否存在局部深度数据畸点；若是，重新获取所述局部深度数据畸点对应的视角下的深度数据，以更新所述多个视角下的深度数据；根据所述多个视角下的深度数据，获得所述目标人脸的三维模型。
综合第一方面，所述对采集的每个视角下的深度数据与平面人脸图像进行点云匹配，包括：所述获取目标人脸在多个视角下的深度数据，包括：驱动深度摄像头在每旋转至每个预设拍摄角度时对所述目标人脸进行拍摄，获得所述目标人脸在多个视角下的深度数据。
综合第一方面，所述判断每个视角下的深度数据是否存在局部深度数据畸点，包括：对每个视角下的深度数据与在相同视角下采集的平面人脸图像进行点云匹配，基于点云匹配的结果判断每个视角下的深度数据是否存在局部深度数据畸点。
综合第一方面，所述对每个视角下的深度数据与在相同视角下采集的平面人脸图像进行点云匹配，包括：通过人脸关键点检测获取每个视角下的平面人脸图像的关键点集，将所述关键点集作为目标点云Pt，将所述深度数据的点集作为源点云Ps；通过粗配准确定点云配准方程Pt＝R*Ps+T中近似的旋转矩阵R与平移矩阵T；基于所述近似的旋转矩阵R与平移矩阵T，通过粗配准确定所述点云配准方程中精确的旋转矩阵R与平移矩阵T；将所述精确的旋转矩阵R与平移矩阵T代入所述点云配准方程获得变换结果。
综合第一方面，所述通过粗配准确定点云配准方程Pt＝R*Ps+T中近似的旋转矩阵R与平移矩阵T，包括：通过四点叠合法搜索策略确定点云配准方程Pt＝R*Ps+T中使目标点云Pt和源点云Ps的重叠度超过预设重叠阈值的近似的旋转矩阵R与平移矩阵T，其中，基于所述近似的旋转矩阵R与平移矩阵T变换后的源点云Ps内任意一点在容差范围内存在的目标点云Pt的点为重合点，所述重合点占所有点数量的比例为所述重叠度。
综合第一方面，所述基于所述近似的旋转矩阵R与平移矩阵T，通过粗配准确定所述点云配准方程中精确的旋转矩阵R与平移矩阵T，包括：用所述近似的旋转矩阵R与平移矩阵T将所述源点云Ps变换到所述目标点云Pt的坐标下，确定所述源点云Ps和所述目标点云Pt中距离小于对应点阈值的两个点为对应点Pi t和Pi s；基于所述近似的旋转矩阵R与平移矩阵T以及所述对应点Pi t和Pi s对旋转矩阵R与平移矩阵T进行迭代优化，获得精确的旋转矩阵R与平移矩阵T。
综合第一方面，所述基于点云匹配的结果判断每个视角下的深度数据是否存在局部深度数据畸点，包括：确定已采集到第一视角对应的平面人脸图像；判断所述第一视角下的深度数据与相邻视角下的深度数据的点集之间的重叠度是否大于预设相邻重叠阈值；若是，确定所述第一视角下的深度数据不存在局部深度数据畸点；若否，确定所述第一视角下的深度数据存在局部深度数据畸点。
综合第一方面，所述三维人脸重建方法还包括：通过平面摄像头对所述目标人脸进行预览视频流采集，基于所述预览视频流确定所述目标人脸在每个视角下的位置，并基于每个视角下目标人脸在预览视频流中的位置确定所述视角下的平面人脸图像。
综合第一方面，所述三维人脸重建方法还包括：基于所述位置，调节深度摄像头在每个视角下的采集区域，以使所述深度摄像头在所述采集区域中能够采集到所述目标人脸的深度数据。
第二方面，本发明实施例提供了一种三维人脸重建装置，所述三维人脸重建装置包括：深度数据获取模块，用于获取目标人脸在多个视角下的深度数据；畸点判断模块，用于判断每个视角下的深度数据是否存在局部深度数据畸点；补充采集模块，用于在存在局部深度数据畸点时，重新获取所述局部深度数据畸点对应的视角下的深度数据，以更新所述多个视角下的深度数据；模型获取模块，用于根据所述多个视角下的深度数据，获得所述目标人脸的三维模型。
第三方面，本发明实施例还提供了一种可调式摄像设备，所述可调式摄像设备包括摄像组件和处理器，所述摄像组件包括深度摄像头和平面摄像头，所述深度摄像头和所述平面摄像头可以基于所述处理器的控制信号进行旋转、平移。
第四方面，本发明实施例还提供了一种电子设备，所述电子设备包括处理器、存储器和总线，所述处理器与所述存储器通过所述总线连接，所述处理器可运行所述存储器中存储的程序以执行上述任一方面所述方法中的步骤。
第四方面，本发明实施例还提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行上述任一方面所述方法中的步骤。
本发明提供的有益效果是：
本发明提供了一种三维人脸重建方法、装置及其存储介质，所述三维人脸重建方法在深度数据存在局部数据畸点时进行该局部深度数据畸点的深度数据补充采集，从而在深度数据出现局部深度数据畸点时进行即时的系统反馈和深度数据的补充采集，改善了深度数据容易出现局部深度数据畸点的问题，提高了深度数据的采集质量；该方法基于补充采集后的深度数据进行目标人脸的三维建模，提高了三维人脸重建获得的目标人脸的三维模型的精确度。
本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明第一实施例提供的一种三维人脸重建方法的流程示意图；
图2为本发明第一实施例提供的一种平面人脸图像采集和采集位置确定步骤的流程示意图；
图3为本发明第一实施例提供的一种位置确定步骤的流程示意图；
图4为本发明第一实施例提供的一种人脸关键点检测模型的建立步骤的流程示意图；
图5为本发明第一实施例提供的一种点云匹配步骤的流程示意图；
图6为本发明第一实施例提供的一种局部深度数据畸点判断步骤的流程示意图；
图7为本发明第二实施例提供的一种三维人脸重建装置的模块示意图；
图8为本发明第三实施例提供的一种可应用于本申请实施例中的电子设备的结构框图。
图标：100-三维人脸重建装置；110-深度数据获取模块；120-畸点判断模块；130-补充采集模块；140-模型获取模块；200-电子设备；201-可调式摄像设备；202-处理器；203-存储器；204-存储控制器；205-显示器。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
首先对本发明实施例中可能出现的术语进行解释：
深度摄像头，用于采集物体的立体深度数据，现有的深度摄像头通常采用飞行时间测距法(Time of flight，TOF)或结构光测距法。其中，飞行时间测距法3D成像，是通过给目标连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行(往返)时间来得到目标物距离。这种技术跟3D激光传感器原理基本类似，只不过3D激光传感器是逐点扫描，而TOF相机则是同时得到整幅图像的深度信息。TOF相机与普通机器视觉成像过程也有类似之处，都是由光源、光学部件、传感器、控制电路以及处理电路等几部单元组成。与同属于非侵入式三维探测、适用领域非常类似的双目测量系统相比，TOF相机具有根本不同3D成像机理，双目立体测量通过左右立体像对匹配后，再经过三角测量法来进行立体探测，而TOF相机是通过入、反射光探测来获取的目标距离获取。结构光测距法的原理是避开双目匹配中复杂的算法设计，转而将一个摄像头更换成向外主动投射复杂光斑的红外投影仪，而另一个平行位置的相机也变成了红外相机，可以清楚的看到投影仪投射的所有光斑。因为人眼看不到红外光斑，而且纹理非常复杂，这就非常有利于双目匹配算法，可以用非常简洁的算法，识别出深度信息。
点云匹配，就是求一个两个点云之间的旋转平移矩阵(rigid transform oreuclidean transform，将源点云(source cloud)变换到目标点云(target cloud)相同的坐标系下。例如基于平面人脸图像的纹理信息，将对应的深度数据中个关键点的坐标变换到平面人脸图像的多个关键点坐标系下。在逆向工程，计算机视觉，文物数字化等领域中，由于点云的不完整，旋转错位，平移错位等，使得要得到的完整的点云就需要对局部点云进行匹配，为了得到被测物体的完整数据模型，需要确定一个合适的坐标系，将从各个视角得到的点集合并到统一的坐标系下形成一个完整的点云，然后就可以方便进行可视化的操作，这就是点云配准。点云的自动配准技术是通过一定的算法或者统计学规律利用计算机计算两块点云之间错位，从而达到两块点云自动配准的效果，其实质就是把不同的坐标系中测得到的数据点云进行坐标系的变换，以得到整体的数据模型，问题的关键是如何让得到坐标变换的参数R(旋转矩阵)和T(平移向量)，使得两视角下测得的三维数据经坐标变换后的距离最小，目前配准算法按照过程可以分为整体配准和局部配准。
第一实施例
经本申请人研究发现，人脸3D重建就是从一张或多张照片中重建出人脸的3D的模型，传统的3D重建问题解决方法是模型匹配(model fitting)，即通过识别多张人脸的2D平面图片中的关键点，基于这些关键点进行模型匹配将3D模型上的三维坐标形状特征点调整成与所有2D平面图片上的对应特征点匹配，获得3D重建后的人脸模型。其中，三维坐标形状还可以根据深度摄像头采集的人脸深度数据获取，从而提高人脸3D重建的精确度。但是由于深度数据的采集问题或深度数据与平面2D图片的匹配问题，常常会出现点云匹配的人脸数据中存在局部深度数据畸点的问题，且由于人脸3D重建需要单次扫描完整个场景再做点云运算进行点云配准，不易对局部深度数据畸点进行修正，从而极大地影响了3D重建获得的人脸模型的质量。为了解决上述问题，本发明第一实施例提供了一种三维人脸重建方法，该三维人脸重建方法可以由计算机、智能手机、云服务器或其他能够进行逻辑运算的处理设备运行。
请参考图1，图1为本发明第一实施例提供的一种三维人脸重建方法的流程示意图。所述三维人脸重建方法的具体步骤可以如下：
步骤S10：获取目标人脸在多个视角下的深度数据。
本实施例中可以通过深度摄像头获取深度数据，深度摄像头可以是基于结构光测距法、TOF测距法或其他深度测距方式的摄像头。本步骤中的不同角度可以是水平方向的角度或垂直方向角度变化，还可以是朝向人脸的万向球面上的任意角度的变化，从而增加人脸图像的样本完整程度，提高后续的人脸重建的模型精确度。
步骤S20:判断每个视角下的深度数据是否存在局部深度数据畸点。
本实施例中对局部深度数据畸点可以是基于相邻视角下的深度数据的点云匹配结果进行判断，应当理解的是，在其他实施例中该判断还可以在上述相邻视角深度图像的基础上根据相同视角下采集的深度图像和平面人脸图像进行。
步骤S30：若是，重新获取所述局部深度数据畸点对应的视角下的深度数据，以更新所述多个视角下的深度数据。
本实施例提供的三维人脸重建方法可以在每个预设角度采集的深度数据中进行预设角度标记，以建立深度数据及其采集角度的映射关系表，以使在某角度存在局部深度数据畸点时根据映射关系表控制深度摄像头返回对应的角度进行深度数据的重新采集。
步骤S40：根据所述多个视角下的深度数据，获得所述目标人脸的三维模型。
本发明实施例通过上述步骤S10-S40在深度数据存在局部数据畸点时进行该局部深度数据畸点的深度数据补充采集，从而在深度数据出现局部深度数据畸点时进行即时的系统反馈和深度数据的补充采集，改善了深度数据容易出现局部深度数据畸点的问题，提高了深度数据的采集质量；该方法基于补充采集后的深度数据进行目标人脸的三维建模，提高了三维人脸重建获得的目标人脸的三维模型的精确度。
作为一种可选的实施方式，本实施例在步骤S10之前还可以包括平面人脸图像采集和采集位置确定步骤，请参考图2，图2为本发明第一实施例提供的一种平面人脸图像采集和采集位置确定步骤的流程示意图。该平面人脸图像采集和采集位置确定步骤具体可以如下：
步骤S2：通过平面摄像头对所述目标人脸进行预览视频流采集，基于所述预览视频流确定所述目标人脸在每个视角下的位置，并基于每个视角下目标人脸在预览视频流中的位置确定所述视角下的平面人脸图像。
本实施例中，采集所述预览视频流时可以通过屏幕向用户进行预览视频流的显示，以便用户调整脸部位置；也可以不显示该预览视频流，简化用户操作流程。
步骤S4：基于所述位置，调节深度摄像头在每个视角下的采集区域，以使所述深度摄像头在所述采集区域中能够采集到所述目标人脸的深度数据。
本实施例中的深度摄像头的采集区域的调节，可以包括视角角度和镜头焦距、光圈等摄像头基本参数的调整。
可选地，人脸位置的确定可以通过确定平面人脸图像中的人脸关键点位置实现，具体地，请参考图3，本实施例中步骤S2可以包括如下具体步骤：
步骤S2.1：加载基于神经网络构建的人脸关键点检测模型。
步骤S2.2：获取所述视频流中所述人脸在每个视角下的预览数据帧对应的预览图像。
步骤S2.3：通过所述人脸关键点检测模型在所述预览图像中确定所述人脸的位置。
应当理解的是，在执行步骤S1.1加载人脸关键点检测模型之前，还需要基于包含人脸关键点标注的人脸图像库进行人脸关键点检测模型的建立和训练。请参考图4，图4为本发明第一实施例提供的一种人脸关键点检测模型的建立步骤的流程示意图。该人脸关键点检测模型的建立步骤可以如下：
步骤S1.1：采集或直接获取多张人脸图像。
步骤S1.2：对所述人脸图像进行人脸关键点精准标注。
步骤S1.3：将标注后的所述人脸图像划分为训练集、验证集。
步骤S1.4：对所述训练集进行基于神经网络模型训练，同时用所述验证集对训练的中间结果进行验证并实时调整训练参数，在训练精度和验证精度达到对应阈值时停止训练，获得人脸关键点检测模型。
可选地，本实施例中的步骤S1.3还可以在划分训练集和验证集的同时划分出测试集，然后在步骤S1.4之后采用该测试集对人脸关键点检测模型进行测试，衡量该模型的性能和准确度。
针对步骤S10，所述“获取目标人脸在多个视角下的深度数据”，具体可以为：驱动深度摄像头在每旋转至每个预设拍摄角度时对所述目标人脸进行拍摄，获得所述目标人脸在多个视角下的深度数据。
其中，预设拍摄角度可以是将深度摄像头的最大转动角度作为预设起始角度，每转动1°进行一次深度数据的拍摄采集。应当理解的是，每两次深度数据拍摄采集的间隔角度除了1°，还可以根据用户需求或深度数据采集需求进行调节。
针对步骤S20，所述“判断每个视角下的深度数据是否存在局部深度数据畸点”步骤可以具体为：对每个视角下的深度数据与在相同视角下采集的平面人脸图像进行点云匹配，基于点云匹配的结果判断每个视角下的深度数据是否存在局部深度数据畸点。
作为一种可选的实施方式，上述的“对每个视角下的深度数据与在相同视角下采集的平面人脸图像进行点云匹配”的具体步骤如图5所示，图5为本发明第一实施例提供的一种点云匹配步骤的流程示意图，该点云匹配步骤具体可以如下：
步骤S21：通过人脸关键点检测获取每个视角下的平面人脸图像的关键点集，将所述关键点集作为目标点云Pt，将所述深度数据的点集作为源点云Ps。
步骤S22：通过粗配准确定点云配准方程Pt＝R*Ps+T中近似的旋转矩阵R与平移矩阵T。
本实施例中，步骤S22具体可以为：通过四点叠合法搜索策略确定点云配准方程Pt＝R*Ps+T中使目标点云Pt和源点云Ps的重叠度超过预设重叠阈值的近似的旋转矩阵R与平移矩阵T，其中，基于所述近似的旋转矩阵R与平移矩阵T变换后的源点云Ps内任意一点在容差范围内存在的目标点云Pt的点为重合点，所述重合点占所有点数量的比例为所述重叠度。
步骤S23：基于所述近似的旋转矩阵R与平移矩阵T，通过粗配准确定所述点云配准方程中精确的旋转矩阵R与平移矩阵T。
本实施例中，步骤S23具体可以为：用所述近似的旋转矩阵R与平移矩阵T将所述源点云Ps变换到所述目标点云Pt的坐标下，确定所述源点云Ps和所述目标点云Pt中距离小于对应点阈值的两个点为对应点Pi t和Pi s；基于所述近似的旋转矩阵R与平移矩阵T以及所述对应点Pi t和Pi s对旋转矩阵R与平移矩阵T进行迭代优化，获得精确的旋转矩阵R与平移矩阵T。
步骤S24：将所述精确的旋转矩阵R与平移矩阵T代入所述点云配准方程获得变换结果。
本实施例中的上述点云匹配和深度数据的采集过程同时进行，以提高局部深度数据畸点的反馈速度。例如在深度摄像头对人脸进行第三角度的深度数据采集时，同时处理设备可以对第二角度的平面人脸图像和第二角度的深度数据进行点云匹配，判断第二角度的点云匹配结果是否存在局部深度数据畸点，而不是在完成整个人脸的深度数据的点云配准后才发现存在局部深度数据畸点且不易进行深度数据重采集和畸点纠正。
进一步地，步骤S20中“基于点云匹配的结果判断每个视角下的深度数据是否存在局部深度数据畸点”的具体步骤如图6所示，图6为本发明第一实施例提供的一种局部深度数据畸点判断步骤的流程示意图，该步骤的具体步骤可以如下：
步骤S25：确定已采集到第一视角对应的平面人脸图像。
其中，该平面人脸图像通常为RGB图像。
步骤S26：判断所述第一视角下的深度数据与相邻视角下的深度数据的点集之间的重叠度是否大于预设相邻重叠阈值。
步骤S27：若是，确定所述第一视角下的深度数据不存在局部深度数据畸点。
步骤S28：若否，确定所述第一视角下的深度数据存在局部深度数据畸点。
本实施例在步骤S21-S27中，对相邻视角下的深度数据以及与深度数据采集角度相同的平面人脸图像进行点云匹配，精确地判定每个角度下采集的深度数据是否存在局部深度数据畸点，提高了深度数据的准确度，进而提高了三维人脸建模的准确度。
作为一种可选的实施方式，本实施例在执行步骤S20判断某个视角下的深度数据存在局部深度数据畸点后，还可以对该视角下的局部深度数据畸点的数量进行判断，即判断第一视角下的深度数据中的局部深度数据畸点的数量是否大于预设畸点数量阈值。确定局部深度数据畸点的数量低于预设畸点数量阈值时，执行后续步骤S30；确定局部深度数据畸点的数量高于预设畸点数量阈值时，则舍弃该视角下的深度数据，以确保深度数据的精确度。
作为一种可选的实施方式，在执行步骤S30的所述“对所述局部深度数据畸点的区域进行深度数据补充采集”的步骤之后时，还可以对补充采集的深度数据再次进行局部深度数据畸点的判断，即：判断所述视角下的补充采集的深度数据存在的局部深度数据畸点的数量是否多于预设阈值；若是，舍弃所述视角下的补充采集的深度数据。其中，该预设阈值可以根据具体情况进行调整，可以是包括零的数值。可选地，在其他实施例中，在直接舍弃所述视角下的补充采集的深度数据之后，还可以对视角进行微弱调整再次进行深度数据的补充采集。
针对步骤S40，本实施例中的三维模型是对多个视角下的深度数据进行点云匹配后进行曲面拟合获得，该点云匹配的具体方式可参考步骤S21-S24。
作为一种可选的实施方式，考虑到用户可能对人脸三维模型存在美观或其他方面的要求，需要得到用户满意的三维模型需要用户自身认可，则在步骤S40后，本实施例还可以包括如下步骤：将所述三维模型发送给显示器，以使用户根据所述显示器返回模型确认信息，所述模型确认信息表示用户对所述三维模型是否满意；若是，保存所述三维模型；若否，再次执行步骤S10-S40。
第二实施例
为了配合本发明第一实施例提供的三维人脸重建方法，本发明第二实施例还提供了一种三维人脸重建装置100。
请参考图7，图7为本发明第二实施例提供的一种三维人脸重建装置的模块示意图。
三维人脸重建装置100包括深度数据获取模块110、畸点判断模块120、补充采集模块130和模型获取模块140。
深度数据获取模块110，用于获取目标人脸在多个视角下的深度数据。
畸点判断模块120，用于判断每个视角下的深度数据是否存在局部深度数据畸点。
补充采集模块130，用于在存在局部深度数据畸点时，重新获取所述局部深度数据畸点对应的视角下的深度数据，以更新所述多个视角下的深度数据。
模型获取模块140，用于根据所述多个视角下的深度数据，获得所述目标人脸的三维模型。
作为一种可选的实施方式，本实施例中的三维人脸重建装置100还可以包括：人脸位置确定模块，用于通过平面摄像头对所述人脸进行预览视频流采集，基于所述预览视频流确定所述人脸在每个视角下的位置，并基于每个视角下人脸在预览视频流中的位置确定所述视角下的平面人脸图像；调节模块，用于基于所述位置，调节深度摄像头在每个视角下的采集区域，以使所述深度摄像头在所述采集区域中能够采集到所述目标人脸的深度数据。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法中的对应过程，在此不再过多赘述。
第三实施例
请参照图8，图8为本发明第三实施例提供的一种可应用于本申请实施例中的电子设备的结构框图。本实施例提供的电子设备200可以包括三维人脸重建装置100、可调式摄像设备201和处理器202。可选的，电子设备200还可以包括存储器203、存储控制器204以及显示器205。
其中，可调式摄像设备201包括摄像组件和处理器，摄像组件包括深度摄像头和平面摄像头，深度摄像头和平面摄像头可以基于可调式摄像设备201的处理器的控制信号进行旋转、平移。应当理解的是，可调式摄像设备201的处理器也可以和处理器202为同一处理器。
所述可调式摄像设备201、处理器202、存储器203、存储控制器204各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。三维人脸重建装置100包括至少一个可以软件或固件(firmware)的形式存储于存储器203中或固化在三维人脸重建装置100的操作系统(operating system，OS)中的软件功能模块。所述处理器202用于执行存储器203中存储的可执行模块，例如三维人脸重建装置100包括的软件功能模块或计算机程序。
处理器202可以是一种集成电路芯片，具有信号的处理能力。上述的处理器202可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器202也可以是任何常规的处理器等。
存储器203可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器203用于存储程序，所述处理器202在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的服务器所执行的方法可以应用于处理器202中，或者由处理器202实现。
显示器205在电子设备200与用户之间提供一个交互界面(例如用户操作界面)或用于显示图像数据给用户参考，例如向用户显示生成的人脸三维模型。在本实施例中，所述显示器205可以是液晶显示器或触控显示器。若为触控显示器，其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作，并将该感应到的触控操作交由处理器202进行计算和处理。
可以理解，图8所示的结构仅为示意，电子设备200还可包括比图8中所示更多或者更少的组件，或者具有与图8所示不同的配置。图8中所示的各组件可以采用硬件、软件或其组合实现。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法中的对应过程，在此不再过多赘述。
综上所述，本发明实施例提供了一种三维人脸重建方法、装置及其存储介质，所述三维人脸重建方法在深度数据存在局部数据畸点时进行该局部深度数据畸点的深度数据补充采集，从而在深度数据出现局部深度数据畸点时进行即时的系统反馈和深度数据的补充采集，改善了深度数据容易出现局部深度数据畸点的问题，提高了深度数据的采集质量；该方法基于补充采集后的深度数据进行目标人脸的三维建模，提高了三维人脸重建获得的目标人脸的三维模型的精确度。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (12)

1.一种三维人脸重建方法，其特征在于，所述三维人脸重建方法包括：
获取目标人脸在多个视角下的深度数据；
判断每个视角下的深度数据是否存在局部深度数据畸点；
若是，重新获取所述局部深度数据畸点对应的视角下的深度数据，以更新所述多个视角下的深度数据；
根据所述多个视角下的深度数据，获得所述目标人脸的三维模型；
所述判断每个视角下的深度数据是否存在局部深度数据畸点，包括：
对每个视角下的深度数据与在相同视角下采集的平面人脸图像进行点云匹配，基于点云匹配的结果判断每个视角下的深度数据是否存在局部深度数据畸点；
其中，通过点云匹配判断是否存在局部深度数据畸点的过程和深度数据的采集过程同时进行，在对所述目标人脸进行第三角度的深度数据采集的同时，对第二角度的平面人脸图像和第二角度的深度数据进行点云匹配，判断所述第二角度的点云匹配结果是否存在局部深度数据畸点。
2.根据权利要求1所述的三维人脸重建方法，其特征在于，所述获取目标人脸在多个视角下的深度数据，包括：
驱动深度摄像头在每旋转至每个预设拍摄角度时对所述目标人脸进行拍摄，获得所述目标人脸在多个视角下的深度数据。
3.根据权利要求1所述的三维人脸重建方法，其特征在于，所述对每个视角下的深度数据与在相同视角下采集的平面人脸图像进行点云匹配，包括：
通过人脸关键点检测获取每个视角下的平面人脸图像的关键点集，将所述关键点集作为目标点云Pt，将所述深度数据的点集作为源点云Ps；
通过粗配准确定点云配准方程Pt = R * Ps + T中近似的旋转矩阵R与平移矩阵T；
基于所述近似的旋转矩阵R与平移矩阵T，通过粗配准确定所述点云配准方程中精确的旋转矩阵R与平移矩阵T；
将所述精确的旋转矩阵R与平移矩阵T代入所述点云配准方程获得变换结果。
4. 根据权利要求3所述的三维人脸重建方法，其特征在于，所述通过粗配准确定点云配准方程Pt = R * Ps + T中近似的旋转矩阵R与平移矩阵T，包括：
通过四点叠合法搜索策略确定点云配准方程Pt = R * Ps + T中使目标点云Pt和源点云Ps的重叠度超过预设重叠阈值的近似的旋转矩阵R与平移矩阵T，其中，基于所述近似的旋转矩阵R与平移矩阵T变换后的源点云Ps内任意一点在容差范围内存在的目标点云Pt的点为重合点，所述重合点占所有点数量的比例为所述重叠度。
5.根据权利要求3所述的三维人脸重建方法，其特征在于，所述基于所述近似的旋转矩阵R与平移矩阵T，通过粗配准确定所述点云配准方程中精确的旋转矩阵R与平移矩阵T，包括：
用所述近似的旋转矩阵R与平移矩阵T将所述源点云Ps变换到所述目标点云Pt的坐标下，确定所述源点云Ps和所述目标点云Pt中距离小于对应点阈值的两个点为对应点Pi t和Pi s；
基于所述近似的旋转矩阵R与平移矩阵T以及所述对应点Pi t和Pi s对旋转矩阵R与平移矩阵T进行迭代优化，获得精确的旋转矩阵R与平移矩阵T。
6.根据权利要求1所述的三维人脸重建方法，其特征在于，所述基于点云匹配的结果判断每个视角下的深度数据是否存在局部深度数据畸点，包括：
确定已采集到第一视角对应的平面人脸图像；
判断所述第一视角下的深度数据与相邻视角下的深度数据的点集之间的重叠度是否大于预设相邻重叠阈值；
若是，确定所述第一视角下的深度数据不存在局部深度数据畸点；若否，确定所述第一视角下的深度数据存在局部深度数据畸点。
7.根据权利要求1所述的三维人脸重建方法，其特征在于，所述三维人脸重建方法还包括：
通过平面摄像头对所述目标人脸进行预览视频流采集，基于所述预览视频流确定所述目标人脸在每个视角下的位置，并基于每个视角下目标人脸在预览视频流中的位置确定所述视角下的平面人脸图像。
8.根据权利要求7所述的三维人脸重建方法，其特征在于，所述三维人脸重建方法还包括：
基于所述位置，调节深度摄像头在每个视角下的采集区域，以使所述深度摄像头在所述采集区域中能够采集到所述目标人脸的深度数据。
9.一种三维人脸重建装置，其特征在于，所述三维人脸重建装置包括：
深度数据获取模块，用于获取目标人脸在多个视角下的深度数据；
畸点判断模块，用于判断每个视角下的深度数据是否存在局部深度数据畸点；
补充采集模块，用于在存在局部深度数据畸点时，重新获取所述局部深度数据畸点对应的视角下的深度数据，以更新所述多个视角下的深度数据；
模型获取模块，用于根据所述多个视角下的深度数据，获得所述目标人脸的三维模型；
所述畸点判断模块判断每个视角下的深度数据是否存在局部深度数据畸点，包括：
对每个视角下的深度数据与在相同视角下采集的平面人脸图像进行点云匹配，基于点云匹配的结果判断每个视角下的深度数据是否存在局部深度数据畸点；
其中，通过点云匹配判断是否存在局部深度数据畸点的过程和深度数据的采集过程同时进行，在对所述目标人脸进行第三角度的深度数据采集的同时，对第二角度的平面人脸图像和第二角度的深度数据进行点云匹配，判断所述第二角度的点云匹配结果是否存在局部深度数据畸点。
10.一种可调式摄像设备，其特征在于，所述可调式摄像设备包括摄像组件和处理器；
所述摄像组件包括深度摄像头和平面摄像头，所述深度摄像头和所述平面摄像头可以基于所述处理器的控制信号进行旋转、平移；
所述深度摄像头用于获取目标人脸在多个视角下的深度数据，每个视角下的深度数据是否存在局部深度数据畸点通过以下方式判断：
对每个视角下的深度数据与在相同视角下采集的平面人脸图像进行点云匹配，基于点云匹配的结果判断每个视角下的深度数据是否存在局部深度数据畸点；
其中，通过点云匹配判断是否存在局部深度数据畸点的过程和深度数据的采集过程同时进行，在对所述目标人脸进行第三角度的深度数据采集的同时，对第二角度的平面人脸图像和第二角度的深度数据进行点云匹配，判断所述第二角度的点云匹配结果是否存在局部深度数据畸点。
11.一种电子设备，其特征在于，所述电子设备包括处理器、存储器和总线，所述处理器与所述存储器通过所述总线连接，所述处理器可运行所述存储器中存储的程序以执行权利要求1-8任一项所述方法中的步骤。
12.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行权利要求1-8任一项所述方法中的步骤。
CN201811207981.1A 2018-10-16 2018-10-16 一种三维人脸重建方法、装置及其存储介质 Active CN109377551B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811207981.1A CN109377551B (zh) 2018-10-16 2018-10-16 一种三维人脸重建方法、装置及其存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811207981.1A CN109377551B (zh) 2018-10-16 2018-10-16 一种三维人脸重建方法、装置及其存储介质

Publications (2)

Publication Number Publication Date
CN109377551A CN109377551A (zh) 2019-02-22
CN109377551B true CN109377551B (zh) 2023-06-27

Family

ID=65400799

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811207981.1A Active CN109377551B (zh) 2018-10-16 2018-10-16 一种三维人脸重建方法、装置及其存储介质

Country Status (1)

Country Link
CN (1) CN109377551B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109816784B (zh) * 2019-02-25 2021-02-23 盾钰（上海）互联网科技有限公司 三维重构人体的方法和系统及介质
CN110188604A (zh) * 2019-04-18 2019-08-30 盎锐（上海）信息科技有限公司 基于2d和3d影像的人脸识别方法及装置
CN110188616B (zh) * 2019-05-05 2023-02-28 上海盎维信息技术有限公司 基于2d和3d影像的空间建模方法及装置
CN110363858B (zh) * 2019-06-18 2022-07-01 新拓三维技术(深圳)有限公司 一种三维人脸重建方法及系统
CN112446961A (zh) * 2019-08-30 2021-03-05 中兴通讯股份有限公司 场景重建系统及方法
CN112634427B (zh) * 2019-09-24 2024-11-08 中国移动通信有限公司研究院 三维建模方法、装置、网络设备及计算机可读存储介质
CN111127639A (zh) * 2019-12-30 2020-05-08 深圳小佳科技有限公司 一种基于云端的人脸3d模型构建方法、存储介质及系统
CN111199579B (zh) * 2020-01-02 2023-01-24 腾讯科技（深圳）有限公司 一种目标物的三维模型构建方法、装置、设备及介质
CN111367485B (zh) * 2020-03-16 2023-04-18 安博思华智能科技有限责任公司 一种控制组合多媒体黑板的方法、装置、介质和电子设备
CN113538649B (zh) * 2021-07-14 2022-09-16 深圳信息职业技术学院 一种超分辨率的三维纹理重建方法、装置及其设备
CN114067189B (zh) * 2021-12-01 2024-12-03 厦门航天思尔特机器人系统股份公司 一种工件识别方法、装置、设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780618A (zh) * 2016-11-24 2017-05-31 周超艳 基于异构深度摄像机的三维信息获取方法及其装置
CN106780459A (zh) * 2016-12-12 2017-05-31 华中科技大学 一种三维点云数据自动配准方法
CN107767456A (zh) * 2017-09-22 2018-03-06 福州大学 一种基于rgb‑d相机的物体三维重建方法
CN108389260A (zh) * 2018-03-19 2018-08-10 中国计量大学 一种基于Kinect传感器的三维重建方法
CN108537876A (zh) * 2018-03-05 2018-09-14 清华-伯克利深圳学院筹备办公室 基于深度相机的三维重建方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780618A (zh) * 2016-11-24 2017-05-31 周超艳 基于异构深度摄像机的三维信息获取方法及其装置
CN106780459A (zh) * 2016-12-12 2017-05-31 华中科技大学 一种三维点云数据自动配准方法
CN107767456A (zh) * 2017-09-22 2018-03-06 福州大学 一种基于rgb‑d相机的物体三维重建方法
CN108537876A (zh) * 2018-03-05 2018-09-14 清华-伯克利深圳学院筹备办公室 基于深度相机的三维重建方法、装置、设备及存储介质
CN108389260A (zh) * 2018-03-19 2018-08-10 中国计量大学 一种基于Kinect传感器的三维重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
weixin_30882895.Smart3D系列教程4之《案例实战演练1——小物件的照片三维重建》.《CSDN》.https://blog.csdn.net/weixin_30882895/article/details/96008372,2016, *

Also Published As

Publication number Publication date
CN109377551A (zh) 2019-02-22

Similar Documents

Publication Publication Date Title
CN109377551B (zh) 一种三维人脸重建方法、装置及其存储介质
US10825198B2 (en) 3 dimensional coordinates calculating apparatus, 3 dimensional coordinates calculating method, 3 dimensional distance measuring apparatus and 3 dimensional distance measuring method using images
US10810734B2 (en) Computer aided rebar measurement and inspection system
CN112894832B (zh) 三维建模方法、装置、电子设备和存储介质
JP5580164B2 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
Singh et al. Bigbird: A large-scale 3d database of object instances
JP5620200B2 (ja) 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム
CN112132906B (zh) 一种深度相机与可见光相机之间的外参标定方法及系统
JP5593177B2 (ja) 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム
CN109640066B (zh) 高精度稠密深度图像的生成方法和装置
CN104154898B (zh) 一种主动测距方法及系统
CN110838164B (zh) 基于物体点深度的单目图像三维重建方法、系统及装置
CN112254670B (zh) 一种基于光扫描和智能视觉融合的3d信息采集设备
JP2012037491A (ja) 点群位置データ処理装置、点群位置データ処理システム、点群位置データ処理方法、および点群位置データ処理プログラム
JP2003130621A (ja) ３次元形状計測方法およびその装置
WO2018120168A1 (zh) 一种视觉检测方法及系统
CN105574812B (zh) 多角度三维数据配准方法及装置
CN111256628A (zh) 墙面平整度检测方法、装置、计算机设备和存储介质
JP2019530059A (ja) 複数の対象とする領域を独立的に処理する方法
Fathi et al. Multistep explicit stereo camera calibration approach to improve Euclidean accuracy of large-scale 3D reconstruction
WO2023284358A1 (zh) 相机标定方法、装置、电子设备及存储介质
Harvent et al. Multi-view dense 3D modelling of untextured objects from a moving projector-cameras system
JP2008275366A (ja) ステレオ３次元計測システム
CN105488802A (zh) 一种指尖深度检测方法及系统
JP3637416B2 (ja) ３次元計測方法、３次元計測システム、画像処理装置、及びコンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20241212

Address after: No. 257, 2nd Floor, Building 9, No. 2 Huizhu Road, Liangjiang New District, Yubei District, Chongqing 401120

Patentee after: Force Map New (Chongqing) Technology Co.,Ltd.

Country or region after: China

Address before: 313, block a, No.2, south academy of Sciences Road, Haidian District, Beijing

Patentee before: BEIJING KUANGSHI TECHNOLOGY Co.,Ltd.

Country or region before: China

PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A method, device, and storage medium for 3D face reconstruction

Granted publication date: 20230627

Pledgee: Chongqing Industrial Investment Master Fund Partnership Enterprise (Limited Partnership)

Pledgor: Force Map New (Chongqing) Technology Co.,Ltd.

Registration number: Y2025110000093