CN114830190A - 将三维坐标与二维特征点相关联 - Google Patents

Abstract

一种示例方法包括使得距离传感器的光投影系统将光的三维图案投影到对象上，其中光的三维图案包括共同形成图案的多个光点，使得距离传感器的光接收系统获取投影到对象上的光的三维图案的图像，使得光接收系统获取对象的二维图像，检测对象的二维图像中的特征点，标识特征点的插值区域，以及通过使用插值区域内的所述多个点中的两个点的三维坐标进行插值来计算特征点的三维坐标。

Description

将三维坐标与二维特征点相关联

相关申请的交叉引用

本申请要求2019年12月29日提交的美国临时专利申请序列号62/954,533的优先权，该美国临时专利申请通过引用以其整体并入本文。

技术领域

本发明总体上涉及距离测量，并且更特别地涉及将三维坐标与二维特征点相关联。

背景技术

面部识别通常用于设备和应用认证。例如，尝试向设备或应用认证的用户的实时面部图像可以与授权用户的一个或多个存储的面部图像进行比较；如果尝试认证的用户的面部图像与存储的面部图像匹配，则用户可以被认证。

一些面部识别技术获取用户脸部的二维图像，从二维图像中提取特征点，并且然后基于特征点的位置关系生成用户标识。由于特征点由二维坐标表示，因此可以使用三维测量值执行校正。例如，如果二维图像中到用户脸部的总体距离是已知的，则可以可能的是确定用户脸部的绝对大小，这有助于校正特征点的位置关系。附加地，可以可能的是通过获取三维地图的整个形状并使用该形状来校正特征点来检测用户脸部的倾斜。

发明内容

在一个示例中，一种由包括至少一个处理器的处理系统执行的方法包括使得距离传感器的光投影系统将光的三维图案投影到对象上，其中光的三维图案包括共同形成图案的多个光点，使得距离传感器的光接收系统获取投影到对象上的光的三维图案的图像，使得光接收系统获取对象的二维图像，检测对象的二维图像中的特征点，标识特征点的插值区域，以及通过使用插值区域内的所述多个点中的两个点的三维坐标进行插值来计算特征点的三维坐标。

在另一示例中，一种非暂时性机器可读存储介质编码有由包括至少一个处理器的处理系统可执行的指令。当被执行时，所述指令使得处理系统执行操作，所述操作包括使得距离传感器的光投影系统将光的三维图案投影到对象上，其中光的三维图案包括共同形成图案的多个光点，使得距离传感器的光接收系统获取投影到对象上的光的三维图案的图像，使得光接收系统获取对象的二维图像，检测对象的二维图像中的特征点，标识特征点的插值区域，以及通过使用插值区域内的所述多个点中的两个点的三维坐标进行插值来计算特征点的三维坐标。

在另一示例中，一种装置包括处理系统，所述处理系统包括至少一个处理器和编码有由处理系统可执行的指令的非暂时性机器可读存储介质。当被执行时，所述指令使得处理系统执行操作，所述操作包括使得距离传感器的光投影系统将光的三维图案投影到对象上，其中光的三维图案包括共同形成图案的多个光点，使得距离传感器的光接收系统获取投影到对象上的光的三维图案的图像，使得光接收系统获取对象的二维图像，检测对象的二维图像中的特征点，标识特征点的插值区域，以及通过使用插值区域内的所述多个点中的两个点的三维坐标进行插值来计算特征点的三维坐标。

附图说明

图1A-1B图示了本公开的示例距离传感器的不同配置；

图2是图示了根据本公开示例的用于将三维坐标与二维图像的特征点相关联的示例方法的流程图；

图3A图示了三维图案投影到其上的脸部的示例面向前的图像；

图3B图示了图3A中所图示的脸部的示例对角捕获图像；

图3C图示了图3A中所图示的脸部的示例横向捕获图像；

图4A图示了示例特征点和围绕特征点的插值区域；

图4B图示了计算图4A的特征点的三维坐标的替代方法；

图5图示了使用样条曲线将三维图案的点的插值位置与二维特征点相匹配；

图6图示了使用贝塞尔曲线将三维图案的点的插值位置与二维特征点相匹配；

图7A图示了通道的第一部分，其中本公开的技术可以应用于路径识别；

图7B图示了图7A的通道的第二部分；和

图8描绘了用于计算从传感器到对象的距离的示例电子设备的高级框图。

具体实施方式

本公开广义地描述了一种用于将三维坐标与二维特征点相关联的装置、方法和非暂时性计算机可读介质。如上所讨论的，一些面部识别技术获取用户脸部的二维图像，从二维图像中提取特征点，并且然后基于特征点的位置关系生成用户标识。由于特征点由二维坐标表示，因此可以使用三维测量值执行校正。

附加地，诸如样条计算的技术可以用于从二维图像重建三维表面。然而，以这种方式重建整个三维表面可能是时间和计算密集型的过程；因此，当计算资源有限时和/或当立即需要结果时，该技术不理想。

本公开的示例通过在二维图像中的指定点处执行插值计算，极大地减少了将三维距离检测图案与二维图像匹配所需的计算和时间量。特别地，可以检测二维图像中的特征点，并且可以通过在该特征点的插值区域内的三维图案的两个或更多个点的三维位置之间进行插值，来使用所述两个或更多个点来估计特征点的三维坐标。取决于各种因素、诸如特征点的类型、环境/周围环境条件以及三维图案的点的布置，可以使用诸如平面内处理、样条处理和贝塞尔曲线处理之类的技术来执行插值。

尽管在面部识别的上下文内描述了本公开的示例，但是将理解，所公开的示例也可以用于改进距离和除了脸部之外的对象特征的计算。例如，本公开的示例也可以在检测手势方面有用，该手势可以与计算系统或设备要采取的预定义动作相关联。

在本公开的上下文内，“二维图像”被理解为是指使用对于人眼可见的光谱中的光获取的图像（例如，通过常规的红、绿、蓝（RGB）图像传感器）。相比之下，使用对于人眼不可见的光谱中的光来获取三维图案的图像（例如，通过红外成像传感器）。

图1A-1B图示了本公开的示例距离传感器100的不同配置。当相同的部件出现在图1A和图1B中时，使用相同的附图标记。距离传感器100可以以与美国专利申请序列号14/920,246、15/149,323和15/149,429中描述的距离传感器相类似的方式配置。

例如，图1A图示了包括光投影系统102、光接收系统104和处理器126的距离传感器100。光投影系统104被配置为将图案106投影到表面或对象108上，其中图案106包括多个光点。光点可以布置在网格中，如图1A中所示（例如，布置在多行和多列中）。网格的行和列可以以共线的方式对准，或者可以交错。光点对于人眼可能是不可见的，但是对于距离传感器100的成像传感器是可见的（如下面进一步详细讨论的）。

因此，三维图案106的点可以布置在由第一轴112和垂直于第一轴112的第二轴114限定的坐标系中。可以在第一轴112和第二轴114相交之处限定基准点110。

为此，光投影系统102可以包括一个或多个激光光源，所述一个或多个激光光源能够投影对于人眼基本上不可见的波长（例如，红外波长）中的光束。光投影系统104还可以包括一个或多个衍射光学元件，用于将光束拆分成附加光束。当每个光束入射到表面或对象108上时，在表面或对象108上创建图案106的点。

光接收系统104可以包括用于捕获图像的成像传感器。成像传感器可以是互补金属氧化物半导体（CMOS）传感器。图像可以包括表面或对象108的二维图像，以及表面或对象108上的三维图案106的图像。因此，在一个示例中，在光接收系统104包括单个成像传感器（例如，相机）来捕获二维图像和三维图案106的图像二者的情况下，光接收系统104还可以包括带通滤波器。在这种情况下，当捕获二维图像（其是使用由用于生成图案106的相同光源（例如，红外光源）照射而获取的）时，可能需要带通滤波器来去除周围环境光。然而，在二维图像是在较暗的环境中获取的其他示例中，可能不需要带通滤波器来去除周围环境光。

在表面或对象108的二维图像和三维图案106的图像由同一成像传感器获取的示例中，可以使用与第一轴112、第二轴114和基准点110相关联的坐标系来获得图像中的位置之间的自动对应性，如下面进一步详细讨论的。

处理器126可以被配置为控制光投影系统106来投影三维图案106，并照射表面或对象108以进行图像捕获。处理器126还可以控制光接收系统104来捕获表面或对象108的二维图像和三维图案106的图像。处理器126还可以执行操作以将表面或对象108的二维图像与三维图案106的图像对准，如下面进一步详细讨论的。

图1B的距离传感器100类似于图1A中所图示的距离传感器，除了在图1B中，光接收系统104包括用于获取二维图像和三维图案106的图像的单独的成像传感器。具体而言，图1B的光接收系统104包括用于捕获三维图案106的图像的第一成像传感器124和用于捕获表面或对象108的二维图像的第二成像传感器116。在这种情况下，第一成像传感器124和第二成像传感器116均不可以包括带通滤波器。第一成像传感器124和第二成像传感器116均可以包括CMOS成像传感器，并且可以具有相对于彼此的固定位置。

然而，由于二维图像和三维图案106的图像由不同的成像传感器和不同的光学系统捕获，因此校正二维图像和三维图案106的图像之间的视差变得有必要。具体而言，从由第二成像传感器116捕获的二维图像中获得表面或对象108的特征点。然而，二维图像和三维图案106的图像的位置需要对准，以便能够正确地将三维坐标与特征点相关联。

在一个示例中，视差校正可以通过校准过程来计算。例如，第二成像传感器116可以捕获相对于相机参考位置具有已知大小的校准对象（例如，棋盘）的二维图像，而第一成像传感器124同时捕获三维图案106的图像。可以观察和存储校准对象的二维图像和三维图案106的图像之间的关系。

在另一个示例中，美国专利申请序列号16/869,358中描述的方法可以用于确定第一成像传感器124和第二成像传感器116之间的关系，而不需要红外照明和/或校准对象。

在一个示例中，视差校正导致三维图案106的距离测量坐标轴调整到第二成像传感器116的前节点。如图示的，这导致第一轴112移动到校正的第一轴120的位置，第二轴114移动到校正的第二轴122的位置，并且基准点110移动到校正的基准点118的位置。

图2是图示了根据本公开示例的用于将三维坐标与二维图像的特征点相关联的示例方法200的流程图。方法200可以例如由包括至少一个处理器的处理系统、诸如距离传感器的处理系统（例如，图1A和图1B的处理器126）执行。为了举例，方法200被描述为由处理系统执行。

方法200可以在步骤202中开始。在步骤204中，处理系统可以使得距离传感器的光投影系统将光的三维图案投影到对象上，其中光的图案包括共同形成图案的多个光点。例如，处理系统可以向光投影系统发送电子信号，其中电子信号编码指令。如上所讨论的，光可以具有对于人眼基本上不可见、但是由距离传感器的成像传感器可检测到的波长（例如，红外光）。

光的图案可以由距离传感器的光投影系统投影的多个光束创建。多个光束可以将多个光点投影到对象上，其中多个光点共同形成光的图案或“投影图案”。在一个示例中，多个光点可以布置成包括多行和多列的网格图案。例如，美国专利申请序列号16/150,918描述了一种用于通过多点投影获得三维点图的方法，该美国专利申请通过引用以其整体并入本文。

在步骤206中，处理系统可以使得距离传感器的光接收系统获取对象上的三维投影图案的图像。三维投影图案的图像也可以被称为“点图”（尽管光点可以采用除了点之外的形状）。例如，处理系统可以向光接收系统发送电子信号，其中电子信号编码指令。如上所讨论的，尽管投影图案（例如，形成投影图案的光）对于人眼可能是不可见的，但是它对于光接收系统的图像传感器可能是可见的。

在步骤208中，处理系统可以使得距离传感器的光接收系统获取对象的二维图像（例如，没有投影图案）。在一个示例中，光接收系统可以照射对象，以便获取二维图像。在一个示例中，在三维投影图案的图像和对象的二维图像均由同一成像传感器捕获的情况下，光接收系统可以使用用于生成投影图案的同一光源（例如，红外光源）来照射对象。

在步骤210中，处理系统可以检测对象的二维图像中的特征点。在一个示例中，检测到的特征点的类型可以基于对象的类型而变化，并且特征点的三维特性将取决于特征点的类型而变化。随后的处理技术可以取决于特征点的类型而变化。

例如，在对象是脸部的情况下（例如，如可能是面部认证系统的情况），二维特征点可以包括嘴、鼻子和眼睛等上的点。然而，在对象是手的情况下（例如，如可能是手势识别系统的情况），二维特征点可以包括指尖、手指根部、手掌等上的点。

例如，图3A图示了三维图案（在图3A中表示为黑点）投影到其上的脸部的示例面向前的图像300。图像300包括多个特征点302₁-302_n（下文中单独称为“特征点302”或统称为“特征点302”），所述多个特征点302₁-302_n在图3A中示出为白点。在图3A中，三维图案的每个点包括距离信息，该距离信息可以使用三维图案的基准点（例如，如图1A-1B中所图示）作为参考来计算。

图3B图示了图3A中图示的脸部的示例对角捕获图像306，而图3C图示了图3A中图示的脸部的示例横向捕获图像308。如共同从图3A-3C可以看到的，每个特征点302相对于脸部图像被捕获的方向具有不同的特性。例如，鼻尖上的特征点302_n没有清楚地指示面向前的图像300中的特征，但是在横向捕获的（侧面）图像308中提供了该特征的更清楚的指示。然而，特征点302n也位于面部侧面或轮廓的末端附近，在那里存在入射到脸部上的三维图案的较少围绕点。另一方面，在图像300、306和308的任何一个中，外眼角处的特征点302₁不位于面部侧面或轮廓的末端附近。每个特征点302和面部部分（例如，鼻尖、外眼角等）之间的对应性可以被预先假设，并且可以激励特定插值技术的选择，如下面更详细讨论的。

返回参考图2，在步骤212中，处理系统可以标识特征点的插值区域。插值区域可以包括围绕特征点的预定义半径（例如，限于三维图案中与特征点邻近或紧邻的所有点、三维图案中在特征点x厘米内的所有点等）。例如，再次参考图3A-3C，特征点302₁与插值区域304₁相关联，而特征点302_n与插值区域304_n相关联。

在步骤214中，处理系统可以通过使用三维图案中在特征点的插值区域内的两个（或更多个）点的三维坐标进行插值来计算特征点的三维坐标。三维坐标的计算可以包括从多种候选插值技术当中选择一种插值技术。例如，在一个示例中，可以使用平面内处理技术来执行插值。在另一个示例中，样条曲线可以用于将三维坐标匹配到特征点。在另一个示例中，贝塞尔曲线可以用于将三维坐标匹配到特征点。

对于平面内处理，可以假设三维图案的每个网格区域（例如，由邻近点界定的区域）包括一个平面。例如，图4A图示了示例特征点400和围绕特征点400的插值区域。具体而言，三维图案的点P1、P2、P3、P4、P5和P6邻近特征点400，而三维图案的附加点可以邻近点P1-P6。每个点P1-P6与一组三维坐标（例如，x_i，y_i，z_i，s_i，其中I = {1，…，6}）相关联。

在图4的示例中，假设不存在视差（例如，基于捕获二维图像和三维图案的图像的同一成像传感器，二维图像和三维图案的图像的坐标系匹配）。因此，在这种情况下，通过使用已知的插值方法在点P1、P2和P3的三维坐标之间进行插值，可以容易地计算特征点400的三维坐标（x₀，y₀，z₀，s₀）。

图4B图示了计算图4A的特征点400的三维坐标的替代方法。在图4B的情况下，特征点400与相邻表面——平面2-3-4（其被限定在三维图案的点P2、P3和P4之间）的关系也在使用已知插值方法的计算中被考虑。因此，平面1-2-3和2-3-4之间的中间三维坐标位置可以产生特征点400的三维坐标位置。

更特别地，围绕特征点400的边是（1-2）、（2-3）和（3-1）（其中“边”被限定为连接三维图案的两个点的线，例如，边1-2连接点P1和P2）。获得特征点400的三维坐标的一种方式将是在围绕边中离特征点最近的边和与该最近边相邻的表面之间进行插值。在一个示例中，插值使三维图案中其坐标用于插值计算的点的数量最小化。其坐标被利用的点可以是最接近特征点的n个点。例如，图4B中所示的示例利用六个点的坐标（即P1-P6），而图4A中所示的示例利用十二个点的坐标（即P1-P12）。这降低了插值计算的计算复杂度。

在图4B中，可以使用平面1-2-6（限定在点P1、P2和P6之间）和1-3-5（限定在点P1、P3和P5之间）来执行相同的计算。在一个示例中，可以通过根据特征点的类型（例如，端点、平滑表面的中心部分等）选择对特征点400有贡献的表面或平面来计算特征点400的最准确的三维坐标。

在其他示例中，代替平面内处理，可以利用样条处理和/或贝塞尔曲线处理。样条处理和贝塞尔曲线处理是用于平滑地连接平面中的点的技术。例如，样条曲线可以用于连接并排布置的多个平面上的三维点阵列。假设包括特征点的位置（具有二维坐标（x，y））的第一平面基本上正交于包括样条曲线（例如，第一组样条曲线）的平面，第一平面和每个第一样条曲线的交叉点可以与第二样条曲线连接。特征点在第二样条曲线上的位置可以表示特征点的三维坐标（例如，（x，y，z））。该方法假设三维图案的点布置在基本上直的、规则的线（例如，行或列）上，而不是随机分布的。

图5图示了使用样条曲线将三维图案的点的插值位置与二维特征点500相匹配。如上所图示和讨论的，三维图案的点可以以基本上线性的方式布置。在所图示的示例中，多个样条曲线502₁-502_k（下文中单独称为“样条曲线502”或统称为“样条曲线502”）是从布置在第一样条506的多个平面504₁-504_k（下文中单独称为“平面504”或统称为“平面504”）上的点获得的。此外，平面508穿过特征点500，并且基本上垂直于多个平面504定位。平面508和样条曲线的每个交点被连接以获得最终的样条曲线。特征点500的三维坐标（x_s，y_s，z_s）可以从特征点500和样条曲线的二维坐标（x_p，y_p）获得。此外，特征点500的方向510（指示诸如向量、曲率等表面特征）可以从最终样条曲线和从多个样条曲线502中获得。

贝塞尔曲线可以从由围绕特征点的三维图案的点形成的第一平面和接近第一平面的第二平面获得。然后可以从贝塞尔曲线获得特征点的三维坐标。包括二维特征点的贝塞尔曲线可以通过使用与包括特征点的三角形区域相邻的表面的倾斜度和相邻边界线的位置来绘制。

图6图示了使用贝塞尔曲线将三维图案的点的插值位置与二维特征点500相匹配。在这种情况下，特征点600的三维坐标可以由贝塞尔曲线608来指定，贝塞尔曲线608是通过与包括二维特征点600的平面相邻的平面602和穿过二维特征点600的任意垂直平面604相交的线获得的。

无论是使用平面内处理技术、样条处理还是贝塞尔曲线处理来计算插值，在特征点附近的三维图案的少量点之间进行插值就足够（并且仅针对特征点的三维位置）。如上所讨论的，这降低了插值计算的计算复杂度。附加地，当使用样条处理或贝塞尔曲线处理时，由于可以同时计算表面或对象的曲线，所以计算包括特征点的表面或对象所定位的方向相对简单。

在一个示例中，可以基于对可能影响所选技术的准确度的一个或多个因素的考虑来选择用于计算特征点的三维坐标的技术，所述一个或多个因素诸如是特征点的类型（其可以由处理系统在计算三维坐标之前确定）、环境条件和其他因素。

方法200可以在步骤216中结束。

方法200的准确度、并且特别是与二维图像的特征点相关联的三维坐标的准确度可能由于诸如到表面或对象的距离、校准的规范以及所使用的插值技术之类的因素而变化。然而，表面或对象的距离以及校准的规范是可以预先确定的因素（即，在执行方法200之前），并且因此，可以与三维坐标相关联地输出计算的三维坐标中的估计置信度。

三维坐标的所需或期望准确度可以取决于应用以及取决于特征点的类型而变化。例如，对于面部认证，取决于特征点是眼睛、嘴、鼻子上的点还是另一面部特征，所需的准确度可能不同。

在一个示例中，如果三维图案的点丢失（例如，在三维图案的图像中未被识别），或者如果在三维图案的点当中检测到异常坐标值（例如，与点的已知间距不一致的值），则用于检测点的三维坐标的技术可以被修改。例如，三维图案的点的三维坐标可以在连续的基础上被检测（例如，包括捕获二维图像之前和之后）。然后，可以随时间比较各点的三维坐标，以检测单一检测中的异常或反常。在点的位置不稳定的实例中（例如，由于表面或对象材料等中不稳定的照明条件和实例），在对象的表面包括需要不同曝光条件的具有不同反射属性（例如，黑色和白色）的材料的实例中，该方法也可以对于补偿而言有用。

应当注意，尽管没有明确指定，但是上述方法200的一些框、功能或操作可以包括针对特定应用的存储、显示和/或输出。换句话说，取决于特定应用，方法200中讨论的任何数据、记录、字段和/或中间结果可以被存储、显示和/或输出到另一个设备。此外，图2中记载确定操作或涉及决策的框、功能或操作不意味着确定操作的两个分支均被实践。换句话说，取决于确定操作的结果，可以不执行确定操作的分支之一。

尽管本公开的示例是在面部认证的上下文内讨论的，但是将领会的是，本文公开的技术可以应用于其中将三维坐标与二维特征点相关联可能有用的其他应用。例如，本公开的示例也可以应用于路径识别、手势识别和其他应用。

例如，图7A-7B图示了通道的示例图像，其中本公开的技术可以应用于路径识别。具体而言，图7A图示了通道的第一部分，其中本公开的技术可以应用于路径识别，而图7B图示了图7A的通道的第二部分。特别地，已知的标记700₁-700_m（下文中单独称为“标记700”或统称为“标记700”）可以在关键点处附着到通道。通过采用标记700作为特征点，可以促进通道的三维识别。在一个示例中，标记700可以具有不同的形状或图案来指示通道内的不同类型的关键点（例如，平面、拐角、边缘、底面等）。例如，标记700₁可以被成形为指示墙壁的平面部分；标记700₂可以被成形为指示墙壁的边缘部分；标记700₃可以被成形为指示墙壁的底面；并且标记700_m可以被成形为指示墙壁的拐角。使用特定于不同类型特征的专用标记可以改进三维坐标的计算效率。

在路径检测的上下文内，本公开的示例可以用于例如通过无人驾驶交通工具（例如，汽车、无人机等）检测障碍物的位置。已知表面上的标记700可以用于增加为特征点计算的三维坐标的置信度，从而改进车辆避免与障碍物碰撞的能力。

参考回图1B，本公开的示例还可以用于手势识别，这在其中特定手势可以被映射到计算系统或设备的特定操作的应用中可能是有用的（例如，挥动使得图像被捕获，竖起大拇指使得应用启动等）。手（对象108）的二维图像上的特征点130₁-130_k（下文中单独称为“特征点130”或统称为“特征点130”）可能需要在三维传感器（例如，第一成像传感器124）的坐标系中表示。相反，三维传感器的坐标系中的任何点可以用二维相机坐标（例如，像素x，y坐标）来代替。如果已知坐标系之间的相互位置关系，那么从二维到三维的转换是可能的，或者反之亦然。

移动三维坐标系的过程相对容易，这是因为该过程可以仅通过数学计算来执行。因此，获得三维成像传感器的坐标系相对于二维成像传感器的坐标系的位置的过程可以通过确定三维成像传感器坐标系相对于机械参考点的位置来开始（这可能在三维传感器校准过程期间已经完成）。三维传感器和二维传感器的机械定位可以是固定的。二维传感器的坐标（光学位置）相对于机械参考（例如，中心轴偏差、图像旋转、图像失真等）点的位置可以被测量和校正。

如果三维传感器的坐标轴与二维相机的光轴一致，则三维传感器的坐标系中的点（x=0，y=0，z）可以保持在二维图像的中心。此外，通过将三维传感器的坐标系的基准点放置在二维相机的入射点（即，捕获镜头的前节点）处，三维传感器的坐标系可以总是与二维图像坐标位置一致。

图8描绘了用于计算从传感器到对象的距离的示例电子设备800的高级框图。照此，电子设备800可以被实现为电子设备或系统的处理器，诸如距离传感器（例如图1A-1B的处理器126）。

如图8中所描绘的，电子设备800包括：硬件处理器元件802，例如中央处理单元（CPU）、微处理器或多核处理器；存储器804，例如随机存取存储器（RAM）和/或只读存储器（ROM）；用于将三维坐标与二维特征点相关联的模块805；以及各种输入/输出设备806，例如存储设备，包括但不限于磁带驱动器、软盘驱动器、硬盘驱动器或压缩盘驱动器、接收器、发射器、显示器、输出端口、输入端口和用户输入设备，诸如键盘、小键盘、鼠标、麦克风、相机、激光光源、LED光源等。

尽管示出了一个处理器元件，但是应当注意，电子设备800可以采用多个处理器元件。此外，尽管在图中示出了一个电子设备800，但是如果对于特定的说明性示例，以分布式或并行的方式来实现如上面所讨论的（一种或多种）方法，即，跨多个或并行的电子设备来实现上面（一种或多种）方法的框或整个（一种或多种）方法，则该图的电子设备800意图表示那些多个电子设备中的每一个。

应当注意，本公开可以通过机器可读指令和/或机器可读指令和硬件的组合来实现，例如，使用专用集成电路（ASIC）、包括现场可编程门阵列（FPGA）的可编程逻辑阵列（PLA）、或部署在硬件设备上的状态机、通用计算机或任何其它硬件等同物，例如，与上面讨论的（一种或多种）方法相关的计算机可读指令可以用于配置硬件处理器来执行上面公开的（一种或多种）方法的框、功能和/或操作。

在一个示例中，用于将三维坐标与二维特征点相关联的本模块或过程805的指令和数据（例如机器可读指令）可以被加载到存储器804中，并由硬件处理器元件802执行，以实现如上面结合方法200讨论的框、功能或操作。此外，当硬件处理器执行指令来执行“操作”时，这可以包括硬件处理器直接执行操作和/或促进、引导另一硬件设备或部件（例如，协处理器等）或者与之协作来执行操作。

执行与上面描述的（一种或多种）方法相关的机器可读指令的处理器可以被视为编程处理器或专用处理器。照此，本公开的用于将三维坐标与二维特征点相关联的本模块805可以存储在有形的或物理的（广义上非暂时性的）计算机可读存储设备或介质上，所述计算机可读存储设备或介质例如是易失性存储器、非易失性存储器、ROM存储器、RAM存储器、磁性或光学驱动器、设备或磁盘等。更特别地，计算机可读存储设备可以包括提供存储信息的能力的任何物理设备，所述信息诸如是要由处理器或电子设备（诸如计算机或安全性传感器系统的控制器）访问的数据和/或指令。

将领会的是，上面公开的变体以及其它特征和功能或其替代物可以组合到许多其它不同的系统或应用中。随后可以在其中进行各种目前未预见或未预料到的替代、修改或变化，这也意图被以下权利要求书涵盖。

Claims (20)

1.一种方法，包括：

由距离传感器的处理系统使得距离传感器的光投影系统将光的三维图案投影到对象上，其中光的三维图案包括共同形成图案的多个光点；

由处理系统使得距离传感器的光接收系统获取投影到对象上的光的三维图案的图像；

由处理系统使得光接收系统获取对象的二维图像；

由处理系统检测对象的二维图像中的特征点；

由处理系统标识特征点的插值区域；以及

由处理系统通过使用插值区域内的所述多个点中的两个点的三维坐标进行插值来计算特征点的三维坐标。

2.根据权利要求1所述的方法，其中所述检测进一步包括：

由处理系统检测特征点的类型。

3.根据权利要求2所述的方法，其中所述计算进一步包括：

由处理系统从多个候选插值技术当中选择用于计算的插值技术。

4.根据权利要求3所述的方法，其中插值技术是平面内插值技术。

5.根据权利要求3所述的方法，其中插值技术是样条处理技术。

6.根据权利要求3所述的方法，其中插值技术是贝塞尔曲线处理技术。

7.根据权利要求1所述的方法，其中插值区域限于三维图案的位于特征点的预定义半径内的多个点的子集。

8.根据权利要求7所述的方法，其中预定义半径将插值区域限制为所述多个点中邻近特征点的点。

9.根据权利要求1所述的方法，其中所述计算进一步包括：

由处理系统从插值中获得特征点的方向。

10.根据权利要求1所述的方法，其中所述两个点的三维坐标由处理系统连续获取。

11.根据权利要求1所述的方法，其中距离传感器是面部认证系统的一部分。

12.根据权利要求1所述的方法，其中距离传感器是手势识别系统的一部分。

13.根据权利要求1所述的方法，其中距离传感器是路径识别系统的一部分。

14.一种编码有由包括至少一个处理器的处理系统可执行的指令的非暂时性机器可读存储介质，其中，当由处理系统执行时，所述指令使得处理系统执行操作，所述操作包括：

使得距离传感器的光投影系统将光的三维图案投影到对象上，其中光的三维图案包括共同形成图案的多个光点；

使得距离传感器的光接收系统获取投影到对象上的光的三维图案的图像；

使得光接收系统获取对象的二维图像；

检测对象的二维图像中的特征点；

标识特征点的插值区域；以及

通过使用插值区域内的所述多个点中的两个点的三维坐标进行插值来计算特征点的三维坐标。

15.根据权利要求14所述的非暂时性机器可读存储介质，其中所述检测进一步包括：

检测特征点的类型。

16.根据权利要求15所述的非暂时性机器可读存储介质，其中所述计算进一步包括：

从多个候选插值技术当中选择用于计算的插值技术。

17.根据权利要求16所述的非暂时性机器可读存储介质，其中插值技术是平面内插值技术。

18.根据权利要求16所述的非暂时性机器可读存储介质，其中插值技术是样条处理技术。

19.根据权利要求16所述的非暂时性机器可读存储介质，其中插值技术是贝塞尔曲线处理技术。

20.一种装置，包括：

处理系统；和

编码有由处理系统可执行的指令的非暂时性机器可读存储介质，其中，当被执行时，所述指令使得处理系统执行操作，所述操作包括：

使得距离传感器的光投影系统将光的三维图案投影到对象上，其中光的三维图案包括共同形成图案的多个光点；

使得距离传感器的光接收系统获取投影到对象上的光的三维图案的图像；

使得光接收系统获取对象的二维图像；

检测对象的二维图像中的特征点；标识特征点的插值区域；以及

通过使用插值区域内的所述多个点中的两个点的三维坐标进行插值来计算特征点的三维坐标。

Images