CN101466998B - 三维绝对坐标表面成像的方法和装置 - Google Patents

Abstract

一种用于捕捉3D物体(100)的图像的方法和相关联装置，该图像编码所述物体的至少一部分的表面几何形状，包括：1.将多个条纹图(312A、314A)投影(304)到该物体上；2.捕捉(306)来自该物体的条纹图(312B、314B)的反射中的相位变化；3.将一均匀图像(310A)投影到该物体上；4.捕捉来自该物体的均匀图像(310B)的反射；以及5.在逐个像素的基础上组合(310)所捕捉的相位变化和所捕捉的均匀图像反射，由此构成该物体的全图像表示。

Description

三维绝对坐标表面成像的方法和装置

相关申请的交叉引用

本申请根据35USC 119(e)要求由顾等人于2005年11月9日提交的题为“holoimage”(“全图像”)的美国临时专利申请60/734,749，和由张等人于2006年9月1日提交的题为“3D Camera System and Method”(“三维摄像系统和方法”)的美国临时专利申请60/841,840，这些申请通过引用全部结合于此。

发明领域

本发明一般涉及三维绝对坐标表面成像的方法和装置，尤其涉及光学图像的经改进相位包裹和解包裹以获取表面几何形状。它进一步提出了一种全新的方法来创建、表示、存储、以及操纵三维几何表面及图像。

发明背景

三维几何物体形状的获取以及表示方法对非常多的图像处理工作非常重要，包括从动漫，电影制作，到医疗图像等等。传统的表示物体图像的方法是基于人的眼睛，或者照相机可以感觉到光的强度。不管用什么方式，总的来说，捕捉到的图像一般是用照相机捕捉到的光的亮度图来表示，当然了，这些图像可以用来处理、存储、以及传输等等。

同样，计算机产生的图像用在特殊效果以及别的计算机图形应用领域，像动漫领域，这种图像主要是基于图像的亮度，当然可以使单色的或者彩色的图谱。最近，光学相移法已经被证明可以进行高分辨率的三维测量。光学相移法包括相移条纹图的生成、投影到物体上、由物体的几何形状引起的变形的条纹图像捕捉、处理反射的图像从而得到每个像素的相位(包括处理相位的不连续性，所谓的反解包裹)。物体表面几何形状的绝对坐标可以点对点的从相应的相位解出。“绝对坐标”指坐标建立在一个特定的参考点上，这个参考点可以任意选取。美国专利(号码：6,788,210)揭露了最近用相移法进行三维测量方面取得出了成就。

依赖于三维表面几何形状的应用领域越来越需要快速捕捉三位信息，从而捕捉到物体的动态变化，以及快速的动作。举个例子来说，在娱乐业，像动漫以及游戏产业，实时捕捉到人的面部表情信息、身体的动作是非常重要的并且大量需要的。然而，当前的技术需要放置一些传感器在物体(人体)的表面上。使用这种技术既费时间又费力气，另外，传感器的大小限制了捕捉物体细节的能力。类似的问题在医疗图像方面也存在，通常设备非常笨重，但是三维扫描的速度也很慢。通常，把病人转到设备前面是必需的。让病人坐在设备前面相当长一段时间一动不动是非常困难的一件事情，同时也取决于病人的状况，也许不舒服，也许非常疼痛，甚至不现实。所以，实时捕捉到物体的动态信息，但是又不依赖于笨重的传感器，可以减少这些严重的缺陷，至少对一些成像需要(拍摄物体的表面而不是内部的几何信息)是非常重要的。实时三维成像技术潜在的可以带来医疗诊断和治疗方面的一次革命。通过分析实时捕捉的动态的肌肉的运动，也许可以诊断出一定的疾病，例如，这种疾病是由于神经而不是肌肉本身引起的。通过分析胸腔的几何运动，可以诊断肺的疾病。通过分析乳房的运动，非侵入的方法来诊断特定的状况是可行的。同时，实时三维扫描技术可以改进现有的医疗设备的设计工作，例如，x-光机以及核磁共振机，通过三维扫描，可以实施反馈病人的位置是否在正确的位置。实时三维扫描技术可以用在国家安全方面以及科学研究和制造工业(如质量控制，等等)。

相移技术应用到光学成像取决于(语境中的发明)，顾名思义，对发生和提取光信号的相变。历史上，相移的光信号是用机械光栅来实现的。最近，相移技术已经开发了采用电子技术产生数码条纹信号，然后转换成电机械信号到光学相移条纹图(或图像)，最后通过投影仪来发射出。

传统上，在这样一个轮廓测量的光学系统中，至少有三个相移条纹图投射到物体上，然后被物体反射，再加上物体本身的图像(即传统的亮度图像)，被捕获数码相机捕捉然后输出到计算机里面去处理，以获取三维几何数据对应的物体表面信息。增加的相移图像数目可以提高的三维测量的精度。不过，增加条纹图数目需要增加额外的处理，也就是说需要增加资源和时间的使用。使用越少数目的条纹图像，可以实现越快的速度。使用三个或三个以上相移图像处理的方法进行实时轮廓三维测量(处理出来的三维轮廓信息同步显示到计算机屏幕上)是相当耗时间的，甚至采用商业投影机及相机有可能是不切合实际的。  (重建一个物体的轮廓目前被认为实时，如果图像采集速度至少是每秒30帧，其中一帧是一个独特的图像信息)。

此外，在许多应用中，能够捕捉表面纹理的同时获得三维几何是非常需要的。如果想要采用三步相移本身来获得高质量的纹理图像，条纹之间的相移必须非常精确并且条文本身必须是理想的正弦，否则，纹理质量可能不太高。

三维几何信息采集速度还取决于相位解包裹以及反解包裹的算法。解包裹得到的相位值的范围通常从0到2π弧度。当使用多个条纹的时，相位会发生的阶段性的变化，即每个周期发生2π的越变。相位反解包裹的算法展开是去除2π的不连续性从而得到连续的相位图。其中相位反解包裹的算法成功的关键是一个有能力准确地检测及纠正2π不连续性。图像有噪音，或者是复杂几何表面物体的图像，或者是表面有剧烈变化的物体的图像，反解包裹通常是很困难的。研究人员已经提出了各种算法，不过，对实时三维几何测量，他们一般都要么太慢，要么成本太高。

传统的相位反解包裹得到一个相对相位地图，或一个相对的相位图，即它并不针对一个固定的参照点。为了得到绝对相位图，绝对相位标志信号可以产生并且投射到物体的表面上，如美国专利(号码6788210)。绝对相位图是从相对相位地图减去标志信号点的绝对相位。虽然这个方法是有效的，尤其是当绝对相位标志是一条线的图像，但是，它需要采取额外的标志线的物体的图象，这增加了图像处理得工作量，从而相应地降低了三维几何数据采集的速度。

当已经获得绝对相位，系统已经标定，即建立了相机，投影机，和一个参考的坐标之间的关系，物体表面的绝对坐标就能够确定。计算的绝对坐标的计算量非常大，因此它会限制实时三维表面测量的速度。

传统上，被抓获的绝对相位和幅度信息，然后转化为网格三角形，提供件阶段线性的表示物体的表面，但丢失相位所包含的信息。在计算机图形学和在几何以及表面特性的建模领域中，这种网格是一种常见的框架来表示的物体的几何表面信息。大部分的图形处理器期望表面能用这种方式来表示。同样，电脑产生的捏造的图像(例如，在动画软件)通常代表的物体作为网格的小三角形，这网格些只用亮度信息(例如，颜色)如纹理来代表空间位置。而网格表示非常方便，但缺乏充分的信息内容的相位信息，并需要使用相当大的内存空间。

鉴于上述，准确和快速的绝对坐标的物体表面三维成像方法及系统和更好的几何信息表达格式是有需求的。因此，本发明的构思，至少部分与目标，是消除上述所描述的现有的方法和系统的弊端，例如体现，是针对提供的方法和仪器捕捉三维几何相当快-最好是，在实时的时间，并更有效率和更有力的代表三维几何表面。

发明概要

相比已经开发的技术，物体的相位图像可以结合传统的强度的形象，包括阴影，纹理和系列。无论是光学或通过计算机仿真，条纹的纹理由结构光系统投射到一个物体上(或模拟)和一个实际的或计算的反射光是被捕捉，包括编码的相位信息和底纹(即传统的强度图像)。通过这个统一的表示方法，称为“全图像(holoimage)”，可以恢复阴影和三维几何数据以及维持在一个数据模型，这个数据模型可以随时显示和操作。

“全图像”有如下的优越性：

1.高几何精度-相比传统的几何图像(即一种特殊形式的网格中描述的顾等。“几何图像”Siggraph 2002，55-361)和深度图像，是用同样的比特，全图像有高得多的三维精度表达。

2.高效率的无网格显示-全图像用同一个图像代表的几何和阴影信息，可以有效的利用无网格的方法在现代图形硬件进行显示。这不仅更加有效地利用现代图形硬件，而且有潜力，以简化图形处理器的架构。

3.高采集和处理速度-全图像不仅可以完全用计算机虚拟产生，而且还可以使用一个简单的投影机和摄像机系统从现实世界中捕获。在“虚拟式”的实施，投影机和摄像机，实际上，是用计算机模拟的。这种模拟可能是由硬件或软件，或混合的方法，来产生的。重建算法很简单，甚至可以自动用现代图形硬件来完成(例如，一个商业的图形处理器单元，GPU)。一序列全图像可以在视频帧速率下捕获到动态的几何数据。

4.统一的表示-全图像让图像处理技术可以适用在几何处理，如压花和雕刻，几何纹理的提取和形变测量。全图像可以很方便地转换为其他几何表示方法(例如，自动的硬件方法)。因此，使用全图像可避免处理网格的需要，以及从图书馆的网格图像任何的图像，或任何新的网格的图像，可随时转换到全图像来进一步使用。

发明概述

一些体现本发明利用装置的绝对坐标的三维表面测量仪器，其中至少有一信号发生器，至少有一个投影仪，至少一部数码相机，以及至少一个图像处理器。

该仪器消除了详细阐述，繁复且长时间安装过程中固有的现行方法。这只不过是要求的客体定位在摄影机前，但是并不需要放置传感器或化妆。首选的相机是便携式以及只要电力供应允许便可进行使用。

体现三维低成本的轮廓测量系统，所使用的2个照明条纹图加上一个最好是单一强度的照明图的算法被称为“2+1”相移结构光方法。其他相移的安排，也可以被用来捕捉三维几何，但用2+1相移结构光的优点是，它不仅可以捕捉高品质的纹理，同时可以捕获的三维几何。此外，一个小标记可以编码在每个条纹图上，然后由投影仪投射，这个标记和以用来坐绝对相位，以及绝对坐标的计算上。

该条纹信号由信号发生器产生，通过转适当的机制把电信号转换成光信号，并预计通过一个光学投影系统投射。照明图由投影仪重复投射，一个或多个以与投影机同步相机根据投射的序列捕捉反射的条纹图。三个捕获的条纹图可以用来产生一个单一的相位图，即所谓包裹图。通过这个过程得到的相位值的范围从0到2π弧度。因此，包裹相位图包括不连续的相位，反映了超出了2π的物体深度的突变。为了得到连续相位图，反解包裹的算法过程是必需的。

在一些体现，一个多层次的质量制导算法，可用于反解包裹。第一，用差额或梯度图的方法计算包裹图的质量图。质量图分为多个质量水平。然后，反解包裹从更高质量级别的数据点的层级开始，然后处理质量较低级别的数据点。在每个层面上，应用一个快速扫描线的反解包裹的方法。当然，在每个层面上，其他的替代反解包裹的算法也可以利用。

从已经经过反解包裹的相对相位图，通过查找物体在以前编码在每个条纹的小标记的相位，可以获得绝对相位图。最后，从绝对的相位图，可以计算出绝对坐标。测定的绝对坐标涉及计算量很大的计算，所以，如果只用现有的台式电脑央处理单元(CPU)很难达到实时时间的显示。在相比之下，使用图形处理单元(GPU)进行计算可以增加处理速度。在实时的系统中，最好是使用GPU的辅助绝对坐标计算方法来增加计算速度。

本发明涉及到实时捕捉三维几何数据。所谓的实时是个部确定的概念，因为本发明所声称的方法提供了绝对的三维坐标动态变化的表面物体是有一些小的响应时间，这个响应时间的上限取决于特定的应用。发明家了解到，所需的帧速率应足够快，以至于可以捕捉到物体在不同的速度下的动态变化。另外，绝对的几何数据的处理速度也必须足够快，以避免从事件发生到数据建立的延误。通常情况下，实时是指帧速率应该为每秒30帧。

除了上述的体现方法，别的体现方法，如以计算机为基础的实现仪器和方法是可能的，其中软件，或相结合的软件和硬件，模拟功能的投影机和照相机，都可以达到同样的目的。根据这些体现，一个“虚拟”仪器产生一个统一的代表物体表面的电脑产生的影像或形象，或者一个真正的物体的图像，它既包括相位和纹理信息，或阴影。这体现方法可证灵活的进行图像处理和加工。

因此，一些方面的发明介绍，以及一批事例的体现，是不能用来限制本发明的范围的。

其中一个方面是一个确定的物体绝对坐标的的方法。这种方法包括投射二幅带有一个编码标记的相移照明图，这些条纹图投射大物体的表面上，照相机捕捉的大反射的照明图；由这些图加上一个均匀照明的图象，可以得到一个解包裹相位图；反解包裹算法可以产生一个相对的相位图；通过编码标记，相对的相位图可以转换为绝对的相位图；绝对坐标从而可以从绝对的相位图计算出来。照明图可以采用彩色编码的方式产生，捕捉到的物体反射的条纹图可以包括黑白模式。反射的照明图可以以黑白的模式或一个彩色模式捕捉。一均匀的照明图像也可以由投影仪投射，这样除了得到物体表面的绝对坐标信息外，反射的图像可以同时得到一个黑白的纹理，这个纹理图反映物体的另外方面的信息。这种均匀照明图也可以是用颜色编码的。当一个均匀的照明投射时，从物体反射的彩色图像，其彩色纹理的表面图像也可以同物体的绝对坐标一起得到。拍摄物体的彩色或者黑白纹理图像可以包括从其上删除编码标记。反解包裹可以包括：产生一个质量控制图；把质量图分成多个质量水平；以及在每个质量层内按照质量降低的顺序分别应用的反解相位包裹的算法。生成质量图可能包括生成相位的梯度图，或者方差图。该反解包裹的算法，可以使快速扫描线的方法。

其中一些体现是这两个相移照明图可能分开约90度的相移。产生两个移相照明图可能包括产生只有两个相移的照明图。

其中一些体现是从相对的相位产生绝对的相位图可能包括检测标记编码的相位，和根据检测编码标记的相位调整的相对相位图。

另外的一些方面，一仪器是讨论确定一个物体三维表面的绝对坐标。这种仪器可包括：至少有一个照明发生器产生两个相移的图像，其中的每一项照明图都包括一个相位编码标记；至少有一个投影装置投射照明图到物体的表面上；至少一个成像仪捕捉的物体表面反射的照明图；和至少一个图像处理器，处理捕获的图像，以确定物体表面的绝对坐标作为一个功能一个解码阶段的标记。该至少有一个投影装置可能与至少一个成像装置同步。该至少有一个照明发生器和至少一个图像处理器可能是不可分割的单位的一部分。该至少有一个图像处理器，当处理捕获的图像时，可调整和配置到一用来结合被抓获的图像以生成一个解包裹阶段的相位图；用这些解包裹阶段的相位图产生一个相对的反解包裹阶段的相位图；从相对的反解包裹阶段的相位图生成一个绝对相位图；以及从绝对相位图确定的物体表面的绝对坐标。

在一些体现方式上，至少有一个照明发生器产生，和至少有一个投影装置可能投射一均匀的照明图，以及至少一个成像装置可能捕捉物体反射的均匀照明图像。该至少有一个成像装置可能捕获黑白模式的图像和至少一个成像装置可能捕获色彩模式图像。该至少有一个成像装置可能捕获黑白模式的图像，至少有一个成像装置可能捕获彩色模式的图像，他们在独立运作但是保持同步。

在一些体现，条纹可以是采用彩色编码的方式，但捕捉可以是黑白模式。照明可以是采用彩色编码的方式，但捕捉可以是黑白的模式和彩色模式。通过投射均匀的照明图，可以在捕捉物体的绝对坐标表面同时，捕获物体黑白纹理表面。通过投射均匀的照明图，可以在捕捉物体的绝对坐标表面同时，捕获物体彩色纹理表面，当然了，彩色的纹理图像是在彩色的模式下捕捉的。捕捉黑白和彩色的纹理图像可能包括从均匀照明图上删除编码标记。

在一些体现，至少有一个图像处理器，当处理捕获的图像时，可调整和配置到一用来结合被抓获的图像以生成一个解包裹阶段的相位图；产生一个质量控制图；把质量图分成多个质量水平；以及在每个质量层内按照质量降低的顺序分别应用的反解相位包裹的算法。该至少有一个图像处理器，可能产生相包裹的图的梯度图质量图。产生质量地图也可能包括产生相包裹图方差题。该相位展开算法，可快速扫描线的相位展开方法。

在一些体现下，这两个相移照明图可能分开约90度的相移。在某些体现下，产生相移照明图包括产生两个照明图，包括或者不包括产生均匀的照明图。

在一些体现下，从相对相位图产生绝对相位图包括查找编码标志的相位，以及根据其来调整相对相位图。

在一些体现下，图像处理单元可以从绝对相位确定物体的绝对坐标。从相对相位图产生绝对相位图包括查找编码标志的相位，以及根据其来调整相对相位图。

从另外一个方面，一种捕捉至少一部分三维物体几何形状的图像的方法包括：投射到物体表面上多个条纹图；捕捉有物体表面几何形状引起的相位变化；投射一个均匀的条纹图到物体上；捕捉物体反射的均匀条纹的图像；结合物体的均匀的条纹图以及点对点的相位变化的条纹图像成代表物体的“全图像”图像。结合起来的物体的均匀的条纹图以及相位变化的条纹图像可以映射到颜色空间去显示。在一些体现下，结合起来的物体的均匀的条纹图以及相位变化的条纹图像可以用三种颜色值来存储，例如，这些颜色值可以是每个像素用8位的数值表述。

在一些体现下，这用方法还包括从相位变化反解包裹，反解包裹包括：投射多个相对来说低频率的条纹图到物体上，然后重建物体的三维几何形状；投射多个相对来说高频率的条纹图到物体上，然后重建物体的三维几何形状，这个重建物体的三维几何形状包括相位的不确定性；通过产考使用低频条纹重建的物体几何形状来点对点的去除相位不确定性。

另外一个产生虚拟三维物体表示的方法是对至少一部分物体几何表面进行编码，它包括：当多相移条纹图以及一个均匀条纹图投射到物体上，其反射的条纹图用来计算相移和幅值；结合点对点计算出来的相移和幅值，形成一个物体表达方式的图像“全图像”.

在一些体现下，点对点计算出来的相移和幅值结合起来的物体的均匀的条纹图以及相位变化的条纹图像可以用三种颜色值来存储，例如，这些颜色值可以是每个像素用8位的数值表述。

在一些体现下，这用方法还包括从相位变化反解包裹，反解包裹包括：从相对来说低频率的多相移条纹图投射到物体上反射出来的条纹图计算相位移动从而重建物体的几何形状；从相对来说高频率的多相移条纹图投射到物体上反射出来的条纹图计算相位移动从而重建物体的几何形状，这个重建过程包括相位的不确定性；通过产考使用低频条纹重建的物体几何形状来点对点的去除相位不确定性。

从另外一个方面，记录物体的表面几何形状表示包括具有存储功能，计算机可读的介质，对每个像素，第一个值代表拍摄的或者计算出来的从投射的低频条纹得到的相位变化，第二个值表示拍摄的或者计算出来的从投射的高频条纹得到的相位变化，第三个值表示拍摄的或者计算出来的投射均匀条纹到物体上并被反射的幅值。

图的简要说明

通过结合体现的描述以及以下的一些图，可以更好的理解本发明。这些图包括：

图1三维轮廓测量的系统示意图；

图2现有三维轮表面量系统的流程图；

图3本发明三维表面测量系统的示意图；

图4包括两个照相机，一个投影仪的三维表面测量系统示意图；

图5详细表述两个照相机，一个投影仪的三维表面测量系统示意图；

图6详细表述两个照相机，一个投影仪的三维表面测量系统示意图；

图7三维表面绝对坐标测量的流程图；

图8用2+1相移算法做三维绝对坐标测量方法和仪器的布局图；

图9三维绝对坐标测量的流程图，其中彩色和黑白的纹理图同三维几何数据同时捕获；

图10照相机及投影仪头部的时序信号图；

图11比较解包裹相位图以及反解包裹相位图；

图12多层质量控制的反解包裹算法的流程图；

图13线扫描算法的示意图；

图14作为线扫描算法的一部分，扫描图像其中一块的流程图；

图15展示三层质量控制的反解包裹算法的图像；

图16展示两波长反解包裹算法的图像；

图15展示查找编码标志算法的图像；

图18GPU计算顺序的流程图

图19通过vertex shader计算绝对坐标的流程图一

图20通过vertex shader计算绝对坐标的流程图二

具体细节的描述

对专业人士来说，通过以下的对之前技术的描述，以及根据所给的事例和参考相应的示意图，来具体实际试验本发明的方法，那么本发明以及它的优越性是显而易见的。

现有三维表面轮廓方法及仪器

现有三维轮廓测量的系统如图1所示，信号发生器102驱动投影仪104来投射光到物体100表面上，照相机106拍摄物体反射的照明图像然后送到图像处理器108。图像处理器108从反射的物体的图像得到物体的轮廓信息。

如图1所示，信号发生器102以及图像处理器108可以(通常是)放在在同一个设备110里面，如个人电脑、工作站、处理器、以及别的设备。例如：信号发生器和图像处理器可能包括独立的在单核或者多核心处理器。信号发生器102产生代表条纹信息的信号，然后发送这些到投影仪104。投影仪104投射以图像110A-114A形式的条纹到物体100表面上，照相机106拍摄从物体100表面反射的相应的图像110B-114B。图1展示的事例是图像110A-114A依次投射以及按相应的顺序拍摄。在反射的图像里，物体表面的几何形状引起一些条文变形。也就是说，投影的图像110A-114A是正弦强度图。图1展示的是规则的竖直的条纹。条纹的方向当然可以是水平的、圆形的、或者是竖直、水平、和/或圆形的组合体。照相机拍摄到的条纹110B-114B不再是很规则的形状，这些条纹图包括伸展或压缩的区域。这些条纹的变形相应于物体的轮廓形状，从而从这些条纹图，可以得到物体的几何形状轮廓。

投影仪和照相机应该是按照以前发表文章的方法进行同步。图像处理器108是用来处理图像的，当然最终的目的是得到物体表面的绝对坐标，或者说物体的三维几何形状。

参见图2，现有三维轮表面量的方法，200，是基于至少产生(也就是说，通过如上所述的信号发生器108)三个条纹图110A-114A，也叫做周期强度照明图像201，然后投影这些图像202，204和206。实际上，多于三个条纹图被使用过，当然了，这些方法会影响处理以及测量的速度。条纹可以是黑白的(如果按照顺序投射)或者彩色的(允许同时投射)。信号发生器102同时产生绝对相位标志，在208投射。根据以前的研究，绝对相位标志最好是一条线。三个条纹110A-114A的每一个都被物体表面反射，其相应的反射的图像(在210，212和214)被拍摄声称相应的图像(也就是图像110B-114B)。另外一个绝对相位标志的图像(没有在图中显示)也在216被拍摄。

从相位恢复深度及别的特性

捕捉到的相位的形变允许恢复被测物体的几何形状，也就是说深度/轮廓。假设几何安置如下：图像面是xy面，参考面在z＝0，照相机的光轴方向是z轴方向；投影仪的光轴在一个同z轴夹θ角度的xz面上。投影纹理图的u轴在xz面上；v轴同y轴平行，也就是说，投影条纹同y轴平行。在参考面沿着x轴方向的条纹周期是λ_x＝λ/cosθ。物体的表面有深度函数z(x，y)表示。在每个像素点(x，y)的条纹图的强度有下面的公式描述

I(x，y)＝a(x，y)+r(x，y)cos(ψ(x，y)+2πx/λ_x)，    (1)

其中a(x，y)是背景光的强度，r(x，y)是物体的反射性，它同双向反射分布函数

(BRDF)非常类似，取决于光的入射方向、物体表面的法线方向、颜色、材质、以及表面的纹理。ψ是同深度函数z(x，y)从正比的相位。相对深度信息可以有以下函数恢复：

$z(x,y)=\frac{{\mathrm{\ψ}}_2(x,y)-{\mathrm{\ψ}}_1(x,y)}{2\mathrm{\π}\sin \mathrm{\θ}}\mathrm{\λ}---\left(2\right)$

公式(2)包含三个未知数：a(x，y)，r(x，y)和ψ(x，y)。虽然直观上没有那么明显，但是数学上，可以解三个方程，这些未知数都可以通过拍摄的或者生成的图像来推导出来，像背景光信息，等等。三个方程可以通过生成投射的三个相位移动为的条纹纹理图像。这些条纹图像的强度为：

I_k(x，y)＝a(x，y)+0.5r(x，y)[1+cos(ψ(x，y)+2(k-1)π/3]，

这里k＝0，1，2，相位ψ，放射率r，以及背景光a可以解出：

$\mathrm{\φ}(x,y)={\tan }^{-1}\left(\sqrt{3}\frac{I_0-I_2}{{2I}_1-I_0-I_2}\right),---\left(3\right)$

$r(x,y)=2\sqrt{{(I_3-I_2)}^2+{({2I}_1-I_2-I_3)}^2},---\left(4\right)$

a＝(I₀+I₁+I₂)/3-r/2，    (5)

a+r/2时恢复的阴影信息。

更一般的来说，投射三个强度照明图像意味着三步相移方法的使用，然后是联合图像110B-114B解相位包裹220。三个拍摄的相依δ的强度相位图在每个像素(x，y)的强度为I₁(x，y)，I₂(x，y)，和I₃(x，y)，他们定义为：

I₁(x，y)＝I′(x，y)+I″(x，y)cos(φ(x，y)-δ)，    (6)

I₂(x，y)＝I′(x，y)+I″(x，y)cos(φ(x，y))，       (7)

I₃(x，y)＝I′(x，y)+I″(x，y)cos(φ(x，y)+δ)，    (8)

这里I′(x，y)是三个强度的平均值，I″(x，y)是强度调制，φ(x，y)是未知相位。相移δ可以对不同的应用为不同的值，但是实验表明，相移为120的条纹图会得到最小的测量误差。

解方程(6)-(8)，可以得到相位

$\mathrm{\φ}(x,y)={\tan }^{-1}\frac{(1-\cos \left(\mathrm{\δ}\right))(I_1(x,y)-I_3(x,y))}{({2I}_2(x,y)-I_1(x,y)-I_3(x,y))\sin \left(\mathrm{\δ}\right)}.---\left(9\right)$

数据调制用来表达相位在像素点(x，y)的质量，质量值可以表述为：

$\mathrm{\γ}(x,y)=\frac{I^{\′\′}(x,y)}{I^{\′}(x,y)}=\frac{\sqrt{{\left[(1-\cos \left(\mathrm{\δ}\right))(I_1(x,y)-I_s(x,y))\right]}^2+{\left[\sin \left(\mathrm{\δ}\right)({2I}_2(x,y)-I_1(x,y)-I_3(x,y))\right]}^2}}{(I_1(x,y)+I_3(x,y)-{2I}_2(x,y))\sin \left(\mathrm{\δ}\right)}.---\left(10\right)$

质量值的范围是从0到1，其中1表示数据点的质量最好。数据调制可以用来去除图像的背景部分。

解包裹的相位图后通过传统的反解包裹的算法来得到反解包裹的相位图224。然后，应用绝对相位标志的反射图像的帮助，在226可以得到绝对相位图。图1和图2使用的照相机和投影仪用张和黄提出的方法进行标定(Zhang，S.，and Huang，P.S.，“Novel Method for Structured Light SystemCalibration.”Optical Engineering，45，2006)。根据以下的事实：对每个照相机拍摄的图像的像素点，其对应在投影仪投射的图像的点是知道的，在228，从绝对相位图可以得到物体100的绝对坐标。

三维表面测量的仪器

比较而言，图3包括普通仪器的示意图，这个图至少在本发明的某些体现中会应用到。如图示：三维表面测量的仪器300包括至少一个信号发生器302，至少一个投影仪304来投射图像310A-314A到物体100表面上，至少一个照相机306用来拍摄反射的图像310B-314B，以及至少一个图像处理器308。多个投影仪304如图3所示，它指出了在某些体现下的可能性：每个投影仪都同步投射多个照明图，而不是一个投影仪依次投射多个条纹图(当然是可行的)。这种体现取决于应用需要的速度以及处理多个条纹图像的充足的资源。多个照相机的系统有很多的优点，下面我们来详述。

参考图4，本发明仪器的部分体现如图示。这个体现包括两个照相机406A和406B，一个投影仪404。两个照相机406A和406B同时独立的从两个不同角度拍摄物体的反射的照明图像，然后这两个图像合并起来。照相机可以具有黑白或者彩色的功能，当然最好是黑白的。

参考图5，本发明仪器的部分另外一个体现如图示。这个体现包括两个黑白照相机506A和506B，每个黑白相机都有一个配套的彩色相机，507A507B。同时，这个系统中用了一个投影仪504。在图5中有四个照相机。或者，每个黑白相机都有一个相应的彩色相机匹配(图中没有显示)。使用一个彩色的相机可以在黑白相机拍摄物体绝对三维几何信息的同时拍摄物体的彩色纹理图。相对于一个黑白/彩色照相机对，两个黑白/彩色照相机对可以拍摄更大的范围的信息。这个体现包括两个黑白照相机506A和506B用来拍摄三维几何数据，彩色相机507A和507B用来拍摄彩色的纹理图，结合图9可以更好的描述。

图6展示另外一部分体现。这个体现包括两个工作站610A和610B，一个工作站与一对黑白相机606A和彩色606B相连，另外一个工作站与另外一对黑白相机607A和彩色607B相连。如图FIGs 1-3，一个合适的工作站应该能够安装一个信号发生器，使用一个或多个处理核。对每个工作站，计算机的程序可以用来确保两个相机对独立但是同步工作。数据采集的数度是越高越好，不过数据量会相应的比较大；因此，每个工作站最好有两个处理器，这样每个处理器可以只用来管理其中一个照相机。为了独立但是同步得到物体的三维几何信息和彩色纹理信息，工作站的两个处理器610A和610B可以由外部的触发信号源611来触发同步，这样一来，拍摄图像的时序信号完全是由外部的信号源来决定的。当然别的包括多个相机，多个投影仪，以及别的设备的安置方法也可以适用。

绝对三维表面测量方法的综述

参考图7，流程图700是本绝对三维表面测量方法发明方法的体现。以前三维轮廓测量技术方法200使用了三个照明图，本发明不使用那种方法，而是两个照明图3 12A和3 14A，加上一个均匀的照明图，或者图像310A由信号发生器302在701产生。相对于三个周期性条纹图方法，使用两个周期性照明图的方法有很多的优越性，因为本方法可以降低处理需求，从而相应增加测量速度。两个条纹图具有90度的相移，相对于其前的使用120度相移的方法，本方法的更简单，每个点的数据计算速度更快。另外，一个很小的标志被编码在投射的照明图里，如708A-708C所示。本发明的体现是，小的标志是很小的十字标志，横向和纵向的线是由5个像素组成的。照明图310A-314A，带有相应的标志编码图708A-708C，再702，704，和706用投影仪304分别投射到物体100上。标志编码跟照明图一起投射，因此，只有三个图像，而不是像图2所示的需要四个图像被投射。如前所述，这种方法可以增加测量的速度。反射的照明图可以由照相机306拍摄。三个照明纹图310A-314A依次并且重复被投射，照相机和投影仪的工作是同步的。照明图312B和314B，以及均匀照明图310B然后在图像处理器308处处理。图像处理的第一步包括联合三个条纹图产生解包裹的相位图。

在720处，图像310B-314B结合起来产生解包裹的相位图721，这个过程被称为“2+1相移法”。“2+1”相应于两个周期条纹图加上一个均匀照明图投射到物体上。图像312B，314B，和310B的强度可以分别表示为I1，I2，和I3。这里应该注意的是图像的顺序号是可变的。相应于三步相移法(需要三个120度相移的图像)，“2+1”的其中一个优势是它可以在拍摄物体三维几何信息的同时拍摄到高质量的物体的纹理图。另外，使用本方法也可以减少由物体运动带来的误差。

三个照明的强度在像素(x，y)点可以表述为：

I₁(x，y)＝I′(x，y)+I″(x，y)sin(φ(x，y))，    (11)

I₂(x，y)＝I′(x，y)+I″(x，y)cos(φ(x，y))，    (12)

I₃(x，y)＝I′(x，y)，                           (13)

这里，I′(x，y)是I₁(x，y)和I₂(x，y)平均强度，I″(x，y)是强度调制，φ(x，y)是要确定的相位。

解方程(11)-(13)，可以得到相位如：

$\mathrm{\φ}(x,y)={\tan }^{-1}\frac{I_1(x,y)-I_3(x,y)}{I_2(x,y)-I_3(x,y)},---\left(14\right)$

这里，得到的每个点(x，y)的相位值是模2π，即其值的范围是[0，2π]。每个点(x，y)的质量值(范围是从0到1)可以由数据调制的方法得到，定义为：

$\mathrm{\γ}(x,y)=\frac{I^{\′\′}(x,y)}{I^{\′}(x,y)}=\frac{\sqrt{{(I_1(x,y)-I_3(x,y))}^2+{(I_2(x,y)-I_3(x,y))}^2}}{I_3(x,y)}.---\left(15\right)$

通常情况下，相位的质量值用来通过设定的域值的方法来去除图像的背景。另外，本发明的一个体现是本质量值用来找编码的标志点，下面将详述。

参考图7，进一步的处理解包裹的图像721包括使用多层质量控制的流程的反解相位的算法722来在724处得到反解包裹的相位图725。在730处，在图708A-708C的编码标志将被找到，从而在726处产生绝对相位图727，然后再728处确定绝对坐标729。

图8显示了某些体现的一个方面：颜色编码的图像作为加在颜色编码信号800之上的由信号发生器302产生。信号800然后发射到投影仪304。投影仪304，可以是如单芯片数字光处理(DLP)技术的投影仪，投影仪然后基于数字变化技术、以三个独立的图像的方式投射信号800。在DLP投影仪中，图像在微小的反射镜阵列半导体芯片，后者叫做数字微镜设备(DMD)，上产生。这种技术的核心是，在DMD上的每个像素是一个反射镜。这些加载的条纹信号由三个条纹图802，804和806组成，他们分别编码成绿(G)、红(R)和蓝(B)色三种颜色通道。颜色通道的编码是随意的。因此，平的投影802不一定是编码成G，它同时也可以编码成R或B通道。DLP以很快的速度投射加载的照明信号按照一定的顺序反反复复。反射的颜色编码的照明图投射到物体100上，然后被照相机306以黑白的方式拍摄。应该注意，由彩色照相及拍摄彩色的反射图像也是可以的。另外，颜色编码照明图也是可选择的，也就是说不是必需的。

如前面人的研究所述，应该优先使用黑白的模式来避免使用彩色照相机相应的颜色耦合引起的问题。另外，对彩色的物体，很难区分颜色是由投影的照明带来的，还是物体表面本身的颜色引起的，这种干涉会影响测量的质量。照相机306可以是高速黑白相机，如电荷偶合器件(CCD)照相机，照相机同投影仪304同步用来拍摄三个条纹图。其中一款可以适用的照相机是Pulnix TM-6740CL(JAI PULNiX，Inc.，San Jose，CA)，当然了别的相机也可以适用。同步性的描述请参考图10。

根据图8，本发明的实体的实现是：R投射图804，B投射图806是条纹图，而G投影图802是平的图(即：整个图的强度是一样的)。从图8可见，从物体反射的结果图8 12及814对应于投影图804和806，包含条纹，而图像810对应于投影图802，不包含条纹。图像721是物体100反射图的解包裹相位图，下面一步是反解包裹得到图像725。反解包裹得到图像然后用来确定物体的绝对坐标，相应的三维几何的图形如图像729。在和信号发生器302同样的平台310上，图像由图像处理器308处理。

材质纹理贴图

对某些应用，如电影制作，捕获物体表面的材质是非常需要的。本发明的体现是：材质纹理被定义为物体的实际照片，这些照片图像是除了大规模物体三维几何信息之外提供的物体表面信息。材质纹理也可以是通常的物体外表已给人一种视觉的感受，如棉帆布，木材，砂，砾石等等。但是，对人脸识别、图像生成等相关的计算机图形学方面的应用来说，材质纹理图是通过映射一个包含非常精细的二维图像到相应的三维空间来生成复杂物体表面的表现。

在捕捉物体的三维几何信息的同时，捕捉平的、均匀照明的图像，这些二维的图像然后通过注册到三维几何空间，他们从而可以用来提供物体的材质纹理图。通常称情况下，捕捉黑白的纹理图像就够了。因此，黑白的照相机是可以适用的。有些应用领域，如电影和游戏工业，得到三维几何物体的彩色的纹理图像会非常有益。相应的，彩色的而不是黑白的照相机需要使用。

图9通过事例来体现本发明，本事例显示了由彩色照相机907捕捉一个均匀条纹902的彩色纹理图像934。黑白照相及306以及彩色照相机907捕捉，分别由信号发生器302产生的照明图902-906，的物体反射的图像910-914和911。因此，黑白纹理图932和彩色纹理图934都被捕捉到。当然了，在均匀的照明902下的物体的图像也被以黑白的模式捕捉，这个图像可以作为黑白的纹理图932。捕捉到的纹理图932和934都带有编码的标志908A，这些标志在930处被去除。纹理图点对点映射到物体的绝对坐标727上，因此这些纹理的信息是作为整体物体表面数据的一部分。投影仪304以及照相机306和907需要标定(标定的方法是使用以前人提出的，下面会详细介绍)，通过标定，可以精确的得到投影仪图像的点以及照相机图像的点之间的对应关系。解包裹的相位图721是根据图7介绍的2+1相移法计算出来的。下面的一步是生成反解包裹的相位图725，下面会详细介绍反解包裹的算法。接下来是在730处通过确定编码的标志的相位来生成绝对相位图727。最后，确定绝对坐标729，如下详述。

照相机和投影仪的同步

参考图10，本图展示了图9所示的照相机和投影仪的同步时序的示例。投影仪，如本发明所体现的最好是单芯片DLP投影仪(如：PLUS U5-632h，PLUS Vision Corp.)，接受从信号发生器302发出的颜色编码的图像(如图8所示)，然后以黑白的模式反反复复依次以120帧每秒速度投射这些图像。一个同投影仪同步的高速CCD照相机(如：Pulnix TM-6740CL，JAIPULNiX，Inc.，San Jose，CA)用来以180帧每秒的速度拍摄反射的图像。根据2+1相移法，每三个连续的图像都可以用来重建一个三维的几何信息。一个典型的体现是从信号发生器发出的到投影仪的信号是由传统的计算机图形转换器，如视频图形阵列(VGA)转换器(未显示)。当然了，别的合适的图形转换器，或者图形信号源也可以用。投影仪的内部时序1002可以同VGA的竖直同步信号(VSync)1000同步。虽然2∶1关系显示在本图，但是这个比例关系不是必须的。VSync信号可以作为触发信号送到单片机系统电路中(未显示)，单片机系统从而产生触发信号1004到黑白照相机，以及触发信号1006到彩色照相机。因为投影仪和照相机是由同一个时序源控制，VSync 1000，他们的同步性是可以保证的。当然别的同步方式也可以适用。

图10显示，由于黑白照相机最高速度的限制(最高速度是200帧每秒)，需要两个投影周期来拍摄R，B，和G编码的图像(由断的竖直线以及水平箭头表示)，所以三维测量的速度是60帧每秒。更高速的黑白相机也可以使用，当然可以达到更高的拍摄速度。彩色照相机也以60帧每秒的速度来拍摄物体表面的彩色纹理图像。彩色照相机的曝光时间与投影仪投射一个平的图像的颜色通道(G)的时间有关。

相位反解包裹

不幸的是，由方程14得到相位是不准确的：它包括潜在的相位具有2kπ的不确定性，即明显的不连续性，这里k是整数。也就是说，以“解包裹”命名的相位本身具有明显的不连续性。相位的不连续性会带来重建几何图像的深度跳变。图11显示了由图像1102-1112来重建物体几何的过程。图像1002有很多条线(如线1103)来代表相位不连续性的轮廓。实际的错误的相位如图像1104中的沿这些线条1103的跳变(如1105)。图像1106中的显示是放大了的。然而，如果图像没有剧烈的不连续性以及表面是光滑的，相位的不确定性可以使用一种叫做“相位反解包裹”的算法来去除。相位反解包裹本质上是通过加或减去2π的整数倍来去除2kπ的不连续性，从而得到物体的几何图像1108(图像1110和1112放大图)。

因此，如果表面是光滑的，相位的跳变曲线(轮廓1103)可以很容易找到并去除。一般来说，由两种办法来去除相位的不确定性：(1)比较相邻点的相位通过调整该点的相位来保证光滑过渡；以及(2)强制该点的相位值同用别的方法得到的相位值保持一致(如下面所述的两个波长的方法)。

为了得到光滑的相位图，下面讨论第一种类型的相位反解包裹的算法，参考图FIGs.12-14。参开图12，在1202步骤，处理解包裹的相位图1200得到质量图。质量图然后再1204步骤分成N层。相位反解包裹从第k层开始，其中，k＝0层包含的点是质量最高的。如果仍旧有些层需要处理(步骤1206)，反解包裹算法处理下一比本层质量低的层的数据点(步骤1028)，这个处理过程直到所有的层都处理完为止(步骤1210)。对每个层的数据点，所有的数据点的质量被认为是一样的，快速线扫描相位反解包裹的算法被执行，如图FIGS.13和14。

用生成的质量图来指导相位反解包裹的路径的相位反解包裹算法前人已有所述。质量图通常是通过计算该点和相邻点的第一阶倒数或者第二阶倒数来得到。很多质量图来指导相位反解包裹算法已经发表。但是，这些算法通常需要非常耗时的点点排序，所以很难在合理的消耗的情况下实现实时处理。有一些相位反解包裹算法速度很快，但是准确度不够高。这里介绍的质量图来指导的相位反解包裹算法速度很快，但是同时非常准确。本多层、质量图来指导的相位反解包裹算法的速度足够快，只需要不是非常昂贵的处理器(如普通计算机和图形加速器)，它就可以满足实时三维几何测量的要求。

参见图13，快速线扫描相位反解包裹的算法，和质量图来指导相位反解包裹算法如本图所示。这个算法从一个制定的起始点(x₀，y₀)开始，在1300A处，起始点通常是图像的中心，如图中1300B。整个具有n行的图像，在1302A处被分成4块A-D，其中分割线，竖直和水平线通过起始点，如1302B所示；然后每块都通过快速线扫描的方法进行反解相位包裹。如图1304A-B所示，水平的扫描线来指导两个方向的(向左向右)的扫描：即从起始点开始相左或者向右边的图像边界方向进行扫描。在步骤1306处，确定是否有已经作了反解包裹的行图像，如果有，水平的扫描线从起始点1308竖直地沿着向图像地最上面和最下面的边界方向扫描两行，如1310A-B所示。

图14显示了一块的扫描1400。开始，假设本块图像的大小，即本块图像包含的所有数据点数，为M，在1402处，计数器m设定为1。点(x，y)_m的扫描如图14所示，为清楚起见，下标“m”从1404开始(为了简单起见，点(x，y)_m的下标“m”从这里开始都忽略)。在1406处，选择点(x，y)的L大小的邻居。同时，在1406处，用来记忆在被处理的这些相邻点的计数器c设定为1。点(x，y)的这些相邻点表示为(x_i，y_j)_c(为了避免复杂的标记，下标“c”在图14的1410处没有显示)分成两个群：面向起始点(x₀，y₀)的相邻点，也就是说，该点的x和y距离起始点小于处理点到起始点的距离(|x_i-x₀|＜＝|x-x₀|and|y_j-y₀|＜＝|y-y₀|)。另一个群的数据点指向边界，即相邻点的x或者y距离起始点大于处理点到起始点的距离(|x_i-x₀|＞|x-x₀|or|y_j-y₀|＞|y-y₀|)。

相应的，在1410处，对每个相邻点(x_i，y_j)确定它的相邻点是否面向起始点。如果答案是肯定的，并且相邻点没有经过反解包裹处理(这一点可以在1412处确定)，那么(x，y)的相位包裹在1414处反解。所以，对扫描点，如果至少有一个相邻点指向起始点，该点的相位就被反解包裹，扫描点被记录为已经被反解相位包裹处理过了。如果该快仍有点需要扫描，在1416处，将产生答案“yes”，扫描就继续进行，通过1418到下一个点。这里应该理解为只有有效的点，即不是背景的点，才被处理。在步骤1410处产生的负面的答案意味着相邻点面向边界，指示器变量NFB在1424设定为1。如果点(x，y)还有别的相邻点，这些相邻点会在1420处确定，计数器c在1422处增值，同时检查另外的相邻点。如果点(x，y)所有的相邻点都已经被检查，确定没有相邻点面向起始点，在1424处确定是否NFB之前是否设定为1(即：点(x，y)至少有一个有效的相邻点是面向边界的)。如果答案是“yes”，给点(x，y)在1428处放到堆栈里面，扫描继续进行。

当在本块的所有的点都扫描完的时候(即：到达步骤1430)，在1432处确实的堆栈里面数据点(如果还有)将会一个接一个的弹出。根据1438，任意一个弹出的点至少会有一个相邻点面向边界，在1 440此点将被反解包裹，其他的点被直接抛弃，不再进行进一步处理。于是，点(x，y)只被扫描一次，有两次机会被反解包裹。

质量图的生成需要被关注，再次加以描述。在每一像素上定义最大相位梯度图如下：

Q(i，j)＝max{Δ_ij ^x，Δ_ij ^y}，    (16)

Q(i，j)取值从0到1，x和y分别沿水平和垂直方向，给定以(i，j)为坐标的像素，最大值在其3×3的临域内选取。项Δ_ij ^x和Δ_ij ^y分别是相位沿x和y方向的偏导数，定义如下：

${\mathrm{\Δ}}_{\mathrm{ij}}^x=\max \left\{\right|W\{\mathrm{\ψ}(i,j)-\mathrm{\ψ}(i,j-1)\}|,|\mathrm{\ψ}(i,j+1)-\mathrm{\ψ}(i,j)\left\}\right|\}---\left(17\right)$

和

${\mathrm{\Δ}}_{\mathrm{ij}}^y=\max \left\{\right|W\{\mathrm{\ψ}(i,j)-\mathrm{\ψ}(i-1,j)\}|,|\mathrm{\ψ}(i+1,j)-\mathrm{\ψ}(i.j)\left\}\right|\},---\left(18\right)$

此处Ψ＝φ/2π是在公式(14)中定义的包裹相位φ，取值从0到1。W算子从包裹相位的差异中估计了真实的梯度值。一个像素质量图的值Q(i，j)愈大，其质量愈差。所以，质量图和质量成反比。

在维度为M×N质量图中，每一像素的值Q(i，j)在公式(16)中定义。经过数据调制和掩盖，质量图Q被视为正态分布。正态分布的平均值和方差被分别定义为

$\stackrel{\‾}{Q}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}Q(i,j)/\mathrm{MN},---\left(19\right)$

和

$\mathrm{\σ}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}\sqrt{(Q(i,j)-\stackrel{\‾}{Q}}/\mathrm{MN},---\left(20\right)$

为了实现质量图的多级量化，首先选定一个阈值将数据分成两个集合，一个集合具有更高的处理优先级，另一集合在其后处理。初始质量阈值th_s设为正态分布Q的平均值因此，数据点集{(i，j)|Q(i，j)＜th_s}在头一遍处理，生成第一层次，或第一级。对于第n-th_s级，阈值定义成s＝th_s+2^(n-1)σ。反解包裹数据点中的最后一级不被其他具有更高质量的级别包含。

运用本发明的相位移动算法，接着用数据调制来掩盖图像背景，基本上多于80％的数据点将会在第一级。使用上述的数字模式投影提高了所获取数据的质量。发明人测试了多级别质量引导算法，结果表明在绝大多数情况下，使用3个质量级别可以提供足够好的反解包裹相位。虽然可以使用更多级别，但是级别愈多，处理速度愈慢。在另一极端情形下，传统的质量引导反解包裹算法可用来替代多级质量引导算法，如果牺牲是可被接受的。

图15显示了应用3级质量引导相位反解包裹算法于一幅被包裹的人脸图像的实例。顶行显示了经过了3级反解包裹的数据集1500，1502和1504，底行显示了对应的图像1506，1508 and 1510。可以看出，脸部的主要特征在第1级中已经被反解包裹出来。图像中一些缺失的特征在第2级中被反解包裹出来，例如面颊的右部。余下的细节，例如左耳和脖子的部分在最后一步(即第3级)中得到。

通过比较在相位突变区域相邻像素的方法来平滑化相位过渡的过程并不很有效率。因此，其他方法被加以尝试，尤其是双波长方法。(当然，多波长可被应用，双波长即已足够。因此，具有一般性，此方法可被视为多波长方法。)基本上，投影贴图中有两个空间周期λ₁，λ₂，使得λ₁足够大以致于其一个周期可以覆盖全部场景范围。因此，不存在相位岐义性，但是重建的几何精确性比较低；λ₂小很多，存在相位岐义性，但是重建的几何精确性比较高。通过两幅全图像深度一致性，第2幅全图像的相位可被反解包裹，就是说适当的2π整数倍可被决定下来。

换言之，两幅图像的深度不必被强制相等，从第一个投影得到的深度被用来确定从第二个投影得到的相位所需的2π整数倍。

图16显示了关于具有丰富几何特征的宙斯雕塑的扫描结果，使用的方法是双波长法。图16中的6幅图像1601-1606显示了双波长相位反解包裹方法的本质。图像1601是宙斯胸像的全图像，λ₁空间频率(投影条纹模式的频率)为1Hz.图像1602显示了由λ₁得到的重建几何。当然，重建的几何非常粗糙，但是不必进行相位反解包裹，它可以被用来作为参照对具有更密条纹模式的全图像进行相位反解包裹。图像1603由λ₂空间频率64Hz得到。图像1604显示了由全图像1603未经相位反解包裹而得到的重构几何。粗线显示了相位突变的轮廓。图像1605是由图像1602经相位反解包裹同时保持深度一致性而重构的几何曲面。图像1606明暗阴影图像(只有振幅-传统摄影图像)。

由质量引导多级相位反解包裹算法得到的反解包裹图像是一种相对相位反解包裹图。要得到物体表面绝对坐标，需要得到绝对相位。要想得到绝对相位，以前的方法是多拍摄一幅中线图像。但是，为重建3维几何而增加图像数目降低了测量速度。因而，如图FIGs.7和9所示，在每一种投影照明模式中加入一个标识是更为合适的。查出标识使得绝对相位的计算成为可能，同时保持3维几何数据获取的速度达到实时。为减少测量误差，在一些具体实现中，标识的尺寸做得很小。但是，在2维图像中定位小标识很困难，尤其是在图像模糊的情形下。图17显示了查找标识的例子。

在图像1700中，标识1708A(对比度加强)位于椭圆形白色窗口几乎难以看清。为了自动发现标识，一幅gamma图被创制出来，在gamma图中，标识非常清晰地显现出来。图像1702显示了这个过程，在手掌的更为明亮的背景下，标识1708B显示成一个暗点。在通常情形下，从gamma图中查看标识也很困难。因此，基于数据质量的掩模被创制出来，并利用上面描述的数据调制技术以去处背景。Gamma图求反(求底片)：黑色变白色，白色变黑色。图像1704，包含有标识1710B，显示了经过掩模处理的反gamma图。

一个本质上是模式识别的算法用来查找标识。此种算法可以利用对极几何途径，投影仪上的一个点被映射成摄像机图像中的一条线，被称为交叉对极线，如果摄像机镜头没有畸变的话。因此，在进行测量之前，在相机图像中的交叉对极线被校准并储存起来以备将来之需。为了校准线，一个白色的比较大的平面物体放在到相机不同距离的地方，并被拍照。在这一系列图像中，找出十字中心，他们形成了对极线。标识查找仅限于校准线，这使得查找更快更稳定。在本发明中，一个基于模版的方法被用于找到标识中心。例如，一个模版是一个5x5数列。实验结果表明多于99％的标识可被上述方法正确地找到。

一旦标识的相位φ₀被确定下来，每一像素的绝对相位φ_a(i，j)能够用下面的公式得到：

φ_a(i，j)＝φ(i，j)-φ₀.    (21)

当绝对相位图得到之后，一个唯一的从点到线的映射从CCD相机像素到DLP投影仪DMD像素能够被建立起来。当关系建立起来之后，被测量物体的绝对坐标可以被得到。

投影仪和相机的校准

一个以前发表过的校准方法(Zhang，S.，and Huang，P.S.，“Novel Methodfor Structured Light System Calibration.”Optical Engineering，45，2006)，做为参考有可能被用到。根据这种方法，投影仪和相机一样可以“捕捉”图像，因而可以像相机一样校准。相机校准方法已经很好地确立起来了。

如下的例子用于解释投影仪和相机的校准。作为一个例子，令3x4矩阵A^c和A^p分别表示相机和投影仪外在和内在参数矩阵：

$A^c=\left[\begin{array}{cccc}{a}_{11}^c& a_{12}^c& a_{13}^c& a_{14}^c\\ a_{21}^c& a_{22}^c& a_{23}^c& a_{24}^c\\ a_{31}^c& a_{32}^c& a_{33}^c& a_{34}^c\end{array}\right],$ 和                (22)

$A^p=\left[\begin{array}{cccc}{a}_{11}^p& a_{12}^p& a_{13}^p& a_{14}^p\\ a_{21}^p& a_{22}^p& a_{23}^p& a_{24}^p\\ a_{31}^p& a_{32}^p& a_{33}^p& a_{34}^p\end{array}\right].---\left(23\right)$

这些矩阵包含平移和旋转矩阵从相机或投影仪坐标系到世界坐标系。世界作标系，或绝对作标系(x，y，z)，和相机像素坐标(u^c，v^c)及DMD像素坐标(u^p，v^p)的关系是

s^c[u^c v^c 1]^T＝A^c[x y z 1]^T，    (24)

和

s^p[u^p v^p 1]^T＝A^p[x y z 1]^T，    (25)

这里s^c，s^p分别是相机和投影仪的比例因子。

当绝对相位φ_a得到之后，相机坐标和投影仪坐标的关系能被建立为：

${\mathrm{\φ}}_a^c(u^c,v^c)={\mathrm{\φ}}_a^p\left(u^p\right),---\left(26\right)$

这里φ^c _a是一个相机像素的绝对相位。

因为投射的条纹图由均匀的条纹组成，并假设条纹图具有条纹度P，即每一条纹周期的像素数目，沿水平方向的像素总数目是W^p，下面的公式可被得到：

$u^p={\mathrm{\φ}}_a^{c}P/2\mathrm{\π}+W^p/2,---\left(27\right)$

这里u^p是图像上的垂直线由DMD得到，作为任意相机图像上的点(u^c，v^c)，他们具有同样的绝对相位值。公式中W^p/2项被用来转化投影条纹图的中心到绝对相位0。

从公式Eqs.(22)-(27)，绝对坐标可被计算如下：

$\left[\begin{array}{c}x\\ y\\ z\end{array}\right]={\left[\begin{array}{ccc}{a}_{11}^c-u^c{a}_{31}^c& a_{12}^c-u^c{a}_{13}^c& a_{13}^c-u^c{a}_{33}^c\\ a_{21}^c-u^c{a}_{31}^c& a_{22}^c-u^c{a}_{32}^c& a_{23}^a-u^c{a}_{33}^c\\ a_{11}^p-u^p{a}_{31}^p& a_{12}^p-u^p{a}_{32}^p& a_{13}^p-u^p{a}_{33}^p\end{array}\right]}^{-1}\left[\begin{array}{c}{u}^c{a}_{34}^c-a_{14}^c\\ u^c{a}_{34}^c-a_{24}^c\\ u^p{a}_{34}^p-a_{14}^p\end{array}\right]---\left(28\right)$

计算包含数学上复杂的矩阵计算。若所有的计算由CPU完成，实时重建和显示将很难在一般的台式机上实现。

GPU-辅助三维曲面测量

更进一步，在从绝对相位得到绝对坐标的过程中，图形处理单元(GPU)可用来提高效率，减少CPU的负担。使用GPU可以得到实时绝对坐标计算和渲染。一个GPU是一种微处理单元，被设计主要用来处理三维图形。

一个典型的GPU继承了变换，光照，裁减和渲染的模块，能够每秒处理上百万的复杂数学处理。

本发明的实现利用GPU来帮助CPU进行复杂计算。在绝对相位图中，每一像素包含绝对相位值。目的在于转换此图到物体曲面的绝对坐标。参照图18，其显示了一些实现方法采用了GPU流水线。一个CPU 1802将输入顶点数据1804送到一个GPU 1800。图19显示了在输入数据1804中每一数据点被表示为齐次坐标(x，y，z，w)和法向量(nx，ny，nz)。再度参照图18，GPU 1800为每一定点生成光照，生成多边形并栅格化它们的像素，然后输出栅格化的图像1818到显示屏幕(未示出)。GPU 1800允许使用者在流水线的顶点和像素处理阶段指定程序，它们被分别称为顶点着色器1810和像素着色器1816。一个顶点着色器示图形处理中的一段计算机程序，用于通过对物体的顶点数据进行数学操作为三维物体添加特殊效果。一个顶点着色器1810被应用于每一个顶点并在可编程顶点处理器上执行，在图19中概念性的示出1900。GPU可具有多个顶点处理器。例如，425MHz Quadro FX3450 GPU，应用于本发明的一些实现中，具有8个顶点并行执行的顶点处理器。图19详细地解释了顶点变幻步骤1806，运行在多可编程顶点处理器1900中的顶点着色器上。顶点着色器负责计算图像中每一顶点的裁减坐标和色彩。在图19中，顶点着色器1810生成裁减空间坐标(cx，cy，cz，cw)通过将将输入坐标与物体-视角矩阵相乘，在1904中显示出来。物体-视角矩阵追踪着相机的位置，和物体的平移，旋转，和放缩。为了每一顶点的可视化，需要为每一顶点指定颜色。于是，在1904中显示，顶点着色器1810从光照条件计算顶点(R，G，B)颜色。在多边形组装步骤1808，顶点据输入顺序被组装成多边形。GPU 1800自动并行地处理数据流。虽然GPU主频通常远低于CPU的主频(例如，Quadro FX 3450 GPU的主频是425MHz，CPU主频是3.4GHz Pentium 4)，它的多平行顶点处理器提供了远大于CPU的处理速率。随着GPUs复杂度的提高，顶点处理器的数目也在增加，因而带来了计算性能的提高。

参照图图18，当多边形组装步骤1808，多边形栅格化和插枝步骤1812将被执行。在栅格化中，每一多边形被逐像素绘制。像素着色器主要用于计算每一像素的颜色性质。它们通常比顶点着色器具有更大的处理能力。像素着色器1816运行在多像素处理单元上处理所生成的多边形里的每一个像素上(没有显示)。在一些实现中，图形卡NVidia Quadro FX 3450具有24像素着色单元。像素着色器的输出进一步被栅格化处理单元1814处理，此处不再进行讨论。

参照图20，在一些实现中，一个在GPU1800上运行的顶点着色器2000计算每一顶点的绝对坐标，法向量和颜色。在这些实现中，顶点数据被表示为默认的网格，和物体表面具有同样的连接关系。每一输入顶点的“坐标”是绝对相位图上的像素绝对相位，和相应顶点的网格索引。如图19所示，每一输入顶点的位置坐标具有4个构成部分。因此，  在默认网格上一个三角形的三个临近顶点的绝对相位和三角形相关的索引组成了一个顶点位置向量2002。在默认网格上的三角形上的顶点相应与绝对相位图上的三个像素包含三个绝对相位值。此处顶点应和GPU输入相区别，那里每一顶点代表三角形及其索引。

在图20中，一个三角形的三个顶点，定义为v₀，v₁，和v₂，分别具有绝对相位φ₀，φ₁，和φ₂，同时v₀具有索引id₀。因此，一个顶点位置向量1902被定义为(φ₀，φ₁，φ₂，id₀)。因为三角形的顶点间的关系已知，另外两个顶点的索引，v₁和v₂，被v₀的索引唯一地决定。当绝对坐标2004确定之后，从三角形的三个顶点可计算出顶点v₀的法向量。当顶点法向量2006得到之后，  GPU 1800生成裁减空间坐标2008，根据光照条件生成顶点颜色2010。

表格1显示了只利用CPU和同时利用GPU帮助计算绝对坐标和渲染的结果对比。在这些实验中，算法由C++程序实现，在Microsoft VisualC++.net 2005环境中开发，同样的条件被用来测试不同的途径。表格表明GPU提高了计算和渲染的速度。对于全分辨率图像(532x500)，NVidiaQuadro FX 3450图形卡能够每秒处理25.56帧(25.56fps)，3.4GHz CPU使用同样的图形卡来显示结果只能每秒处理6帧。此处，GPU速度比CPU速度快4倍。另外，对于人脸的真实测量，只有一半的像素需要被渲染，因为背景不需要显示。因此，GPU-辅助三维测量能够得到每秒30帧的速度。甚至使用相对便宜的ATI 9800 XT图形卡，计算和渲染一幅图像的四分之一的点可达到每秒53.37帧，比每秒30帧更快，足以提供实时三维数据测量。

TABLE 1

Note：Quadro FX 1400 and Qudro FX 3450 are NVidia graphics cards.The computers are Dell Precision 670Workstations with Dual CPUs，Pentium 4.3.2GHz and 3.4GHz respectively.

全图像的求值

全图像提供的几何精度由很多因素决定。直接因素有：图像的分辨率(m×m)，像素比特-深度n，条纹的空间频率μ，投射角度θ。假设在全图像上指定的像素有1-比特错误。重建几何错误为：

$\mathrm{\δz}=\frac{1}{{\mathrm{\μ}2}^n\sin \mathrm{\θ}}.---\left(29\right)$

从此公式可得出，增加空间频率可以增加精确度。在现实中，空间频率具有上限，由投影仪和相机的分辨率所决定。同样，增加投射角度θ可以提高重建几何的精度，但会增加遮挡的区域  (例如，物体上带有特征区域)。

图21显示了不同的参数带来的效果。图像2102，2104，2108，和2110具有同样的投射角度15°，但是不同的空间频率，2Hz(图像2102和2104)和8Hz(图像2108和2110)。图像2102，2108，2106和2112具有同样的空间频率(2Hz)但是不同的投射角度，15°(图像2102，2108)和80°(图像2106，2112)。区别非常明显。(投射角度80°是计算机上合成的结果，如此之大的投射角度在现实光学系统中无法实现，因为物体的某些特征可能被另外一些特征或区域所遮挡。虽然如此，这些图像显示了这些参数的影响。事实上，所有图2 1中的图像都是用计算机模拟的。)

同几何图像比较

传统的几何图像(geometry images)(一种规则的网格)和深度图(depthimages)利用颜色信息表达深度信息。几何误差公式是δz＝1/m2ⁿ。与公式Eq.29相比较，很明显，若μsinθ＞＞1，则全图像据有高得多得几何精确度。在实际中，μ可被选为128，θ在30度左右。因此，这样的全图像比相应的几何图像精确64倍。利用全图像，一般的24-比特图像格式可以足够好地存储几何信息；对于几何图像而言，这是不可能的。

合成(即，虚拟)全图像

利用现代图形处理过程，可以非常容易地生成全图像，从而模拟在投影仪、相机的布置后所发生的实际情况(甚至模拟在投影仪、相机的布置后实际中难以发生的情况)。如图22所示，举例而言，三个正弦条纹模式2202，2204和2206可被事先计算并被储存成3通道24比特的纹理图像。一个虚拟的物体，在计算机上表示成曲面模型，和模拟光照图的交互作用可被计算出来，得到模拟相位移动的输出和模拟的着色图像，图2208，2210和2212显示了这些结果。相位和着色数据可结合起来，如同在真实的相机中所发生的那样，而得到全图像。

为简化全图像的分析，更倾向于采取一种标准的构型，射影贴图和相机使用正交投影，物体被重整化到单位立方体中。另外，在计算中，若用户只关心相位信息而忽略着色和纹理信息，在图形处理单元中可将纹理环境模式设为替代模式。如果想得到几何和着色信息，在OpenGL的纹理环境中，设置调制模式，使得颜色和相位信息相结合。若曲面具有自身的纹理，使用多纹理技术来生成全图像是合适的。对于颜色着色信息，可保留一帧无射影纹理的渲染的图像，作为重建物体的纹理图像。

图23显示了全图像2300，它表示了一个带有复杂纹理的几何体。全图像是依照如下的过程生成的：首先，广为人知的斯坦福兔子曲面被共形参数化，然后用任意的单色图像作为纹理贴图，彩色正弦光作为射影纹理射到兔子上面。这两个纹理利用多纹理技术结合在一起，得到几何曲面2302。特别地，使用OpenGL中ARB多纹理扩展在Nvidia GeForce 6800图形卡上，设置纹理环境模式为调制，来混合曲面纹理颜色和条纹模式。图像2302是平面着色，可以看出平面三角形。相应的24-比特全图像在2300中显示。在2304，一个只包含相位图的图像被显示。在图像2306，从全图像中重建的纹理被显示。由全图像得到的重建几何显示在2308中，平面三角形都被重构出来。

为得到更加真实的物体表面渲染效果，一个彩色纹理贴图方法可被应用。一个没有条纹的彩色图像可以如下得到，设定彩色相机的曝光时间为一个射影通道时间，或2.78毫秒，以得到平的图像。

若黑白相机和彩色相机的坐标系统相同，彩色和黑白相机的关系可以被校准建立。因为物体的绝对坐标可以被测量出来，一旦彩色和黑白相机的关系知道后被测物体的相对于彩色相机的坐标可以得到。得到绝对坐标后，彩色图像和三维物体点的关系可以得到；因此三维物体上任意一点的颜色可以用传统的镜头成像公式得到。

设彩色相机成像公式矩阵是P，它是一个透视射影矩阵，包括相机的内在和外在参数。矩阵P能够由一般的相机校准得到。对任意三维点X＝[x，y，z，1]^T，相应的彩色图像点是：

I^c(x，y)＝PX，

由此得到3维点的相应颜色值。

通过求三幅相移条纹图的平均，黑白纹理贴图也可以得到。因为这种方法不需要更多的图像，黑白或彩色，它是最快的方法。

渲染全图像

全图像同时用一幅图像表示了着色和几何的信息。就是说，每一像素蕴含了相位和振幅信息。当使用传统的24-比特格式，两个8比特部分可用来储存相位信息，1个8比特部分储存着色数据。

近期图形硬件的发展使得直接高效渲染全图像变得可能。完全在一台计算机上，使用一部虚拟投影仪和虚拟相机，使用可编程处理线。为渲染目的，全图像具有取代传统网格的潜力，因而简化了GPU的体系结构。

从全图像重建曲面

为了曲面重建，全图像提供了图像质量的计算要求和图形处理器的能力之间的一个良好的匹配，和只是使用一个普通用途的CPU相比，它带来了显著的加速。合适的表面重建算法需要高强度和准确的数值计算，和完全规则的网格结，适合SIMD的语法。因此，这种重建算法可以被高性能图形处理器(GPU)有效地加快，例如nVIDIA GeForce 6800和ATI Radeon9800，它们具有一个灵活的SIMD编程接口与强大的浮点计算能力。

图FIG24说明了曲面重建算法可以被映射到图形硬件上。初始全图像2402和2404被作为纹理贴图从CPU传入GPU。然后，一连串的GPU的计算密集的内核(像素着色器)，依次作用在初始和中间产生的纹理。每个像素着色器平行处理每个纹元(纹理单元)而生产的一个中间纹理的纹理单元，为下一步处理阶段做准备。

第一步，相位2414和2416分别从全图像2402和2404中得到。接下来，相位反解包裹2418产生了图像2408，然后几何被抽取出来2420，生成几何图像2410。法向量内核在一个像素着色器上生成一个法向量图在2412。结果包括几何图像2410，着色图像2408，和法向量图2412，储存在GPU的记忆体中(未显示)为进一步渲染做准备。

这种表面重建算法对于本地记忆体存取具有一个具吸引力的特点。像素着色器不必存取任何相邻纹理元，法向量内核除外，它读取记忆体中8个最接近的邻近纹理元素。因为流水线的硬件可以有效地隐藏记忆体存取延迟，相比于基于CPU的方法，这种基于GPU的简单而经常的内存取的方法是相对低廉的。

该全图像渲染是有效率的，部分是因为它并不需要从GPU读回重建图像到CPU，从而克服了在GPU加速系统中的一个共同的性能瓶颈。

为渲染重建的表面，该系统发送一个虚拟的网格2406至GPU，它具有和物体表面相同的连接，但却是假的几何和着色信息。

分配给每个输入顶点的纹理坐标编码了其在网格上的索引。每一个顶点的真正的几何位置，渲染的颜色，和法向量通过预分配纹理坐标从GPU的内存中得到，然后变换的位置，光照的颜色被加以计算。作为例子，图像2426A-E显示了渲染结果。

在实践中，绘制可以进一步优化，利用基本操作的索引，可以减少一些程序的执行。

高效的基于全图像的GPU加速曲面重建和绘制算法显示，由图像代表几何，着色和法向量的信息的表面，为了绘制的目的全图像可以被用来取代三角形网格。此外，全图像有潜力以简化现代图形硬件的架构。

几何处理

用全图像表示，许多几何处理任务可以通过图像处理技术实现，可使用图形硬件提高效率。因为几何被相位编码，用户可以直接对相位信息进行操作。

全图像的相位可以用相位图描述e^iψ(x，y)，就是一个从平面R²到单位圆S¹的映射，两个相位图可通过逐个像素的乘法或除法加以复合。因而相位图形成一个群

∑＝{e^iψ(x，y)}，σ₁οσ₂＝σ₁(x，y)σ₂(x，y).

通过结合两张曲面的相位图，由GPU很容易产生压花和雕刻的效果。

举例来说，用一个16比特的图像代表一个相位图，红色和蓝色的渠道由下式给出：

r(x，y)＝128cosψ(x，y)+128，

b(x，y)＝128sinψ(x，y)+128.

然后，包裹的相位ψ(x，y)能构被简单地算出

$\mathrm{\ψ}(x,y)={\tan }^{-1}\frac{b(x,y)-128}{r(x,y)-128}.$

压印和雕刻

压印通过两幅相位图相乘而得到。图FIGs.25和26显示了一些压印和雕刻的例子。特别的，  图25显示一幅相位图2500的例子，一幅几何压花2502，一幅相位差图2504，和一幅几何雕刻2506。图26包含了压花的例子2602-2608.

以下可以作为一个例子，显示压印或雕刻的过程的步骤：

1.为两张表面选择相机的位置和缩放因子。

2.用双波长方法渲染两个表面的全图像。

3.计算每个全图像的包裹相位。

4.将包裹相位转化成相位图，将相应不同的相位图相乘以得到复合的曲面。

5.用以上描述的双波长方法计算复合曲面的反解包裹相位。

6.将反解包裹的相位转化成几何曲面。

所有这类操作都是逐像素进行，而不需要的临近像素的信息。因此，整个算法可以由GPU实施。

几何纹理提取

在几何造型中纹理是重要的。虽然很容易获取图像纹理，一般难以获得几何纹理。可取的做法是从一个真实的具有复杂轮廓的表面上提取几何纹理，并将纹理转移到另外的几何模型上。用全图像，几何的纹理可以很容易地从实物中提取。作为一个例子，用户可以扫描和几何重建一个复杂的表面。通过使用常规的几何平滑技术，几何的纹理可以从表面上删除。然后，从原来的表面上减去光滑表面，几何的纹理就可以被提取出来。图27说明了这个过程，它显示了一幅初始的全图像2702，一幅初始的几何图像2708，一幅光滑几何的全图像2706，一幅光滑的几何图像2708，提取的纹理的全图像2710，和提取的纹理2712。

变形测量

检测人类的面部表情和肌肉运动是非常有用的。图22显示了一个有趣的全图像的应用，“无脸微笑”。获得具有不同表情的人脸。选取其中两幅，一幅平静的人脸(显示在2802)，另一幅带有微笑(显示在2804)。将它们分别转化成相位图2806和2808，一幅相位差图像(示于2810)，和一个构的几何，“无脸微笑”可以被得到，显示于2812。从相位变形图中，可以清晰看出，嘴唇变化最为剧烈，面颊肌肉稍许变化，前额和鼻梁没有变化。

因此，一种新颖的几何物体表示方法全图像被加以介绍。它在一幅图像中编码了振幅和相位信息。同传统的几何图像和深度图像相比，全图像具有更高的几何精确度，可以用传统的图像格式加以存储和传输。

全图像可以使用传统的图形管线合成或从现实生活中用简单的硬件以合理的速度获取。从全图像重建曲面该的算法足够简单，能够用现成的图形硬件实现。全图像可以用GPU直接有效地渲染。基于全图像的渲染不许要网格，有潜力以简化GPU的架构。

若无方法来储存的图像表示，捕获相位信息来表示三维曲面的方法的价值将是有限的。幸运的是，存在着一种方便和有效率的方式，以代表和储存相位和幅度的信息。与相应的网格相比，它需要较少的存储，图像很容易处理和操纵。这种表示方法被称为“全图像”。全图像是基于波动光学的原则。无论是完全由计算机生成(虚拟)或由相机捕捉(此后分别表示为计算机-相机和光学-相机)，因此，他们继承了一些从境界光学领域的缺陷。但是，光学-相机系统具有计算机-相机系统所不具备的限制。后者，作为光学-相机系统的虚拟模拟能够生成一些真实物理世界所不能达到的条件。

全图像具有如下的限制：

1.遮挡-全图像只能表示曲面可见的部分。为了表示整个曲面，多幅全图像应该得到。

2.材料限制-三维数据获取，黑暗或高反射率有光泽的材料不能被准确地抓获。

发明的实现已经被描述，并配有参考图纸。本发明的其他实现也有可能，根据不同的改进和提高。这些变化，改进和提高是本文件的一部分，被本发明的精神和范围所覆盖。相应地，下面的描述和绘图只用于显示例子。

鉴于上述权利要求，条纹图像可以用和数字技术不同的方法产生，以及使用不包含DMD的仪器。例如，传统的机械光栅方法可被使用。各种不同的光栅方法也可以被使用。同时，液体晶体显示(LCD)投影仪可以被利用来产生条纹模式并提供一个投影仪的功能。液体晶体光栅(LCG)和闪光灯，和相机分立或公置，可用来代替信号发生器和投影仪。扫描激光能被用来生成条纹模式。因此，激光附带调制器，可能和相机集成在一起，也可以替代信号发生器和投影仪。另外，条纹图像能够用各种传统的干涉方法生成。

随着技术的进步，更快的相机可以用来捕捉反射条纹图像。本发明的实现并不仅限于使用CCD相机。于是，CMOS相机，扫描仪，或不同的获取设备可被使用。两台或更多台相机或多对相机可被使用来更广的区域，如上文所述。不同的投影仪也可被应用。不同的校准方法可以被使用。另外，不同的相机和投影仪之间的同步方法可以被应用。例如，一个相机的触发信号可以同步探测一个投影机的触发信号。

图中，本发明的实现采用了正弦条纹的2+1相移算法。条纹模式可以有不同的形状，比如，梯形，三角形和其他形状。两幅条纹图被用来展示实现。大量的条纹图像可以被使用。同时，相位移动和条纹周期可以在同一应用中或不同应用中变化。另外，均匀的条纹图像在本发明的不同实现中可具有不同于平均值的强度。在一些实现中，可能没有均匀的条纹射影。

一个被编码的用以帮助确定绝对坐标的标记可以有不同的形状，例如，线段，圆圈，或椭圆。多个标记可被同时以自身的照明模式被投射。同时，标记可以被附加的设备产生(例如，激光教鞭)。

多级质量引导图相位反解包裹算法将质量图分成许多级别，并用高效的算法反解包裹每一级别。本质上，质量图可以有多种，并不局限于所说明的一种。例如，数据调制图，包裹相位图的梯度和方差可被用来作为质量图。类似地，快速相位反解包裹算法并不局限于在实现中介绍和解释的扫描线算法。因此，其他的快速算法，例如，洪水填充算法有可能被应用。

随着GPU技术的提高，更强大的GPU着色器，旨硬化在图形卡上将可被利用。在本发明的实现中，GPU顶点着色器被用来辅助计算绝对坐标。其他可能性依然存在。于是，在GPU中，像素着色器，几何着色器，或其他类型的着色器可以被利用来实现顶点着色器的功能。绝对坐标可以存放在GPU的内存中以备将来之需。

另外，依随发展先进CPU技术的加快，CPUs能够变得强有力而执行实现实例中所有的GPU运算。

还应该明白，用字和所使用的术语在这里是为了说明和不应该被视为限制。

使用“包括”，“组成”或“有”，“包含”，“涉及”和各种变体在这里，就是要包括所列的项目，此后和与之等价的，以及新增加的项目。

Claims (20)

1.一种确定物体的三维表面的绝对坐标的方法，所述方法包括：

将均匀光照图和两个经相移的光照图分别投影到所述物体的表面上，每一种光照图编码一标记；

捕捉来自所述物体的表面的光照图的反射图像；

组合所捕捉的图像来生成包裹相位图像；

通过对所述包裹相位图像进行解包裹生成相对解包裹相位图像；多层次的质量制导算法可用于相位解包裹；第一，用差额或梯度图的方法计算包裹相位图像的质量图；质量图分为多个质量水平；然后，相位解包裹从更高质量级别的数据点的层级开始，然后处理质量较低级别的数据点；在每个层面上，应用一个快速扫描线的相位解包裹的方法；

从所述相对解包裹相位图像生成绝对相位图像；以及

根据绝对相位图像确定所述物体的表面的绝对坐标；

相位解包裹包括：

生成一质量分析图；

将所述质量分析图划分成多个质量级别；以及

以质量递降的顺序，分别对每个质量级别应用相位解包裹算法；

其中，捕捉所述光照图的反射图像包括以黑白模式或彩色模式捕捉所述图像；通过使用均匀光照图的从物体表面反射的图像，在确定物体表面的绝对坐标的同时，可捕捉到物体表面的黑白纹理；

或者，均匀光照图是彩色编码的，当均匀光照图被投影时，通过使用以彩色模式捕捉的均匀光照图的从物体表面反射的图像，在确定物体表面的绝对坐标的同时，可捕捉到物体表面的彩色纹理；

捕捉物体的彩色或者黑白纹理包括从均匀光照图的所捕捉图像删除经编码标记。

2.如权利要求1所述的方法，其特征在于，生成所述质量分析图包括生成所述包裹相位图像的梯度图。

3.如权利要求1所述的方法，其特征在于，生成所述质量分析图包括生成所述包裹相位图的方差图。

4.如权利要求1所述的方法,其特征在于，所述相位解包裹算法是一种快速行扫描相位解包裹算法。

5.如权利要求1所述的方法，其特征在于，所述两个经相移光照图之间相隔约90度相移。

6.如权利要求1或如权利要求5所述的方法，其特征在于，生成所述两个相移光照图包括仅生成两个相移光照图。

7.如权利要求1所述的方法，其特征在于，从所述相对解包裹相位图像生成所述绝对相位图像包括检测所编码标记的相位，并根据所检测到的经编码标记的相位来调节所述相对解包裹相位图像。

8.一种用于确定物体的三维表面的绝对坐标的装置，所述装置包括：

至少一个光照图发生器，用于生成两个经相移的光照图和一个均匀光照图，其中每个所述光照图编码一相位标记；

至少一个投影仪，用于将每个所述光照图投影到所述物体的表面；

至少一个成像设备，用于捕捉所述光照图从所述物体表面的反射图像；以及

至少一个图像处理器，用于处理所捕捉的图像，从反射的物体的图像得到所述物体表面的绝对坐标；

所述至少一个图像处理器被调整或配置为在处理所捕捉的图像时：

组合所捕捉的图像以生成一包裹相位图像；

通过对所述包裹相位图像解包裹，生成一相对解包裹相位图像；多层次的质量制导算法可用于相位解包裹；第一，用差额或梯度图的方法计算包裹相位图像的质量图；质量图分为多个质量水平；然后，相位解包裹从更高质量级别的数据点的层级开始，然后处理质量较低级别的数据点；在每个层面上，应用一个快速扫描线的相位解包裹的方法；

从所述相对解包裹相位图像生成绝对相位图像；以及

根据所述绝对相位图像来确定所述物体表面的绝对坐标；

其中，捕捉所述光照图的反射图像包括以黑白模式或彩色模式捕捉所述图像；通过使用均匀光照图的从物体表面反射的图像，在确定物体表面的绝对坐标的同时，可捕捉到物体表面的黑白纹理；

或者，均匀光照图是彩色编码的，当均匀光照图被投影时，通过使用以彩色模式捕捉的均匀光照图的从物体表面反射的图像，在确定物体表面的绝对坐标的同时，可捕捉到物体表面的彩色纹理；

捕捉物体的彩色或者黑白纹理包括从均匀光照图的所捕捉图像删除经编码标记。

9.如权利要求8所述的装置，其特征在于，所述至少一个投影设备与所述至少一个成像设备同步。

10.如权利要求8所述的装置，其特征在于，所述至少一个光照图发生器与所述至少一个图像处理器是一体化单元的一部分。

11.如权利要求8所述的装置，其特征在于，所述至少一个成像设备包括至少一个以黑白模式捕捉图像的成像设备和至少一个以彩色模式捕捉图像的成像设备。

12.如权利要求11所述的装置，其特征在于，以黑白模式捕捉图像的至少一个成像设备和以彩色模式捕捉图像的至少一个成像设备独立并且同步地运行。

13.如权利要求8所述的装置，其特征在于，至少一个图像处理器被配置和安排成在相位解包裹时：

生成质量分析图；

将所述质量分析图划分成多个质量级别；以及

以所述级别中数据点的质量递降的顺序，分别对各个所述质量级别应用相位解包裹算法。

14.如权利要求13所述的装置，其特征在于，所述至少一个图像处理器在生成所述质量分析图时包括生成所述包裹相位图像的梯度图。

15.如权利要求13所述的装置，其特征在于，所述至少一个图像处理器在生成所述质量分析图时包括生成所述包裹相位图像的方差图。

16.如权利要求13所述的装置，其特征在于，所述相位解包裹算法是一种快速扫描行相位解包裹算法。

17.如权利要求8所述的装置，其特征在于，所述两个经相移光照图之间相隔约90度的相移。

18.如权利要求10所述的装置，其特征在于，从所述相对解包裹相位图像生成所述绝对相位图像包括检测所编码标记的相位，并且根据所检测到的经编码标记的相位来调节所述相对解包裹相位图像。

19.如权利要求8所述的装置，其特征在于，生成所述两个经相移的光照图包括仅生成两个经相移光照图。

20.如权利要求8所述的装置，其特征在于，根据所述绝对相位图像确定所述物体表面的绝对坐标由图形处理单元执行。