CN101825445A - 一种动态物体的三维测量系统 - Google Patents

Abstract

本发明公开了一种动态物体的三维测量系统，包括时钟同步控制器，DLP投影仪，二个CCD相机，图像采集卡和计算机；其中，DLP投影仪去掉了用于生产彩色图像的色轮，CCD相机的光心轴与DLP投影仪的光心轴夹角均在20至60度之间，并且测量时保持DLP投影仪与CCD相机的相对位置不变；计算机为带有基于计算统一设备构架的图形显卡；时钟同步控制器分别与DLP投影仪和CCD相机相连，DLP投影仪与计算机相连，CCD相机均通过图像采集卡与计算机相连。该系统的最显著地特征是测量速度快，能实时的计算并显示动态物体的三维信息。

Description

一种动态物体的三维测量系统

技术领域

本发明属于精密测量领域，具体涉及一种动态物体的三维测量系统，可以对运动中的物体进行实时的三维测量。

背景技术

随着计算机科学与技术的高速发展，动态物体三维测量技术在许多行业中有着越来越广泛的应用前景。在工业自动化领域，可利用该技术对生产线进行实时监测，及时发现生产中的质量问题；在体育运动分析、医疗、三维游戏及电影特技等领域，可利用该技术测量人体或动物在运动过程中的形态、表情特征，并实现三维数字化处理；在汽车安全性测试试验中，也可采用该技术对汽车碰撞测试进行完整的三维测量，由计算机辅助分析碰撞过程中的应力应变数据，帮助设计人员改进相关设计，提高汽车的安全性。该技术的进步将对许多行业的发展带来帮助。

在动态物体三维测量技术中，实现实时测量具有特别重要的意义。如在生产线在线监测过程中，三维测量速度如果不能跟上生产线运行的速度，测量将失去意义。在体育运动分析、医疗等领域虽然不需要如此强的实时性要求，但由于测量数据数量庞大，如果不能把计算时间控制在适当的范围内，计算机三维测量就不能及时反馈给使用人员测量信息，后继工作将无法进行，因此这些领域也需要三维测量具备弱实时性。

结构光测量技术由于本身具有的一些优点，完全适合在动态过程测量的研究中加以开发利用。上世纪八十年代，当美洲和亚洲国家致力于研究激光三维测量技术时，德国已开始对面结构光三维测量技术进行研究。1985年，位于德国Munich-Karlsfeld的M.A.N.光学测量技术中心率先利用相移干涉法(Phase Shift Interferometry，PSI)实现了变形测量和振动分析。1986年，该中心的研究人员Dr.Breuckmann将PSI技术引入三维形貌测量，形成了一种新的三维形貌测量技术：相位测量轮廓术(PMP)，并成立了自己的实验室，专门从事此技术方面的研究。近20年内相继推出了不同型号的测量系统，并在工业检测、文物数字化、人体测量等多个领域得到了广泛的应用。除Dr.Breuckmann以外，Dr.Steinbichler、Dr.Wolf及德国TechnicalUniversity of Braunschweig的Reinhold Ritter教授，也是结构光测量技术领域的先驱，他们在上世纪九十年代分别成立了SteinbichlerGmbH、Dr.WolfGmbH和GOM GmbH，并相继推出了多款结构光测量系统，如：Steinbichler GmbH的COMET5型结构光三维测量系统、GOMGmbH的Atos-II型结构光三维测量系统等。但是上述商品化的结构光测量系统在测量过程中均需要拍摄多张图像，处理时间需要数秒钟，不能满足动态物体实时测量的需求。

目前动态物体实时的三维测量技术在世界范围内还不是很成熟，但是近年来发展迅速。从目前的发展趋势来看，基于面结构光的动态物体三维测量技术主要可以分为两大类：(1)使用单幅图像进行三维重建；(2)使用多幅图像进行三维重建。

目前已有很多研究单位对使用单幅图像进行动态物体三维测量的方法进行了研究。2006年，德国西门子研发中心开发出了一套基于彩色编码原理的实时三维结构光测量系统。该系统由单相机-单投影仪组成，测量时向被测物体投射一张彩色编码图像，然后通过对拍摄的彩色图像进行解码和立体匹配重建出被测物体的三维形貌，该系统的分辨率为640×400，测量速度为每秒17-25帧，但计算过程为离线处理，需耗费较长的时间。2008年，日本大阪大学的Ryusuke Sagawa、埼玉大学的Hiroshi Kawasaki和广岛工业大学的Ryo Furukawa等人共同开发了一种使用彩色网格图像实现缓慢变化物体测量的结构光系统，该系统能够成功测得缓慢变化的人脸表情，测量误差为0.52mm。南京理工大学的贺安之教授在2007年提出了一套基于彩色相位移原理的动态三维形貌测量系统，并成功实现动态的物体的三维重构。浙江工业大学的陈胜勇教授在2008年也开发了一种基于彩色条纹编码原理的面结构光测量系统，该系统在普通的硬件条件下实现了对慢速物体的形貌测量。上述几种单幅测量技术均使用彩色编码图案，测量精度一般会受被测物体表面颜色的影响，并且上述几种方法的处理算法均较为复杂，目前还无法实现实时处理。

另外一种使用单幅图像进行三维测量的方法是基于Takeda和Moutoh于1983年提出的傅立叶变换轮廓术(Fourier Transform Profilometry，FTP)。国内四川大学光电技术研究所的苏显渝教授及其课题组，将FTP方法运用到动态物体三维面形测量中，并成功的测量了处于呼吸过程中、变化速度较慢的人体胸腔起伏变化的情况；在流体力学测量领域，完整测量和再现了液体漩涡的生成和加深的过程。而且，为材料变形、爆破过程、碰撞变形等领域的三维测量和研究提供了一种新的方法。该课题组在高速动态测量领域处于领先水平，但是由于FTP的固有特性，该方法在测量复杂物体方面有一定的局限性，且由于算法复杂，测量的实时性还有待进一步提高。

上述两类单幅图像测量方法均通过牺牲测量精度来提高处理速度。为了提高动态物体的测量精度，也有很多科研单位提出了在短时间内快速拍摄多幅编码图像的方法来实现动态物体的三维测量。美国Princeton大学的Szymon Rusinkiewicz教授及其团队，在2002年提出了一种基于4帧光条图像的结构光面扫描系统，测量过程中允许测量系统或被测物体做缓慢的运动，该系统每秒可以投射60幅条纹图像，即每秒可采集15帧三维数据。华盛顿大学的Li Zhang教授，在2004年提出了一种基于Time-Space的动态人脸测量方法，该方法通过投射一组黑白编码光，根据时间立体匹配法计算出动态物体三维数据。这两种方法与其它使用二进制编码的测量方法一样，其测量分辨率受编码精度的影响，无法实现高分辨率的三维测量，且由于其解码算法较为复杂，很难实现实时的三维重建。

从动态三维物体实时测量技术的发展来看，GPU计算越来越显现出其重要性，动态三维测量技术中许多计算都可以在GPU上完成，因此可以大大的提高计算速度。最初GPU是为三维图形渲染专门设计的，用于计算机显卡的三维图形显示加速。由于在GPU的设计中，将更多晶体管用于数据的并行处理，而非传统CPU所强调的数据缓存(caching)和流程控制(flowcontrol)，因此GPU可同时处理多达数百个三维顶点及像素的几何计算工作，具备及其强大的并行处理能力。众多学者开始研究通过将并行数值计算变通为三维图形显示的方式，来利用GPU高性能计算能力的方法，GPU计算逐渐在物理仿真、计算金融学、计算生物学等研究领域得到了初步应用。同时，GPU的生产厂商也在不断改良GPU的硬件架构，使其不再仅仅局限于针对三维图形处理，而是面向通用计算。在新一代的GPU架构中，GPU由大量被称为流处理器(Streaming Processors)的计算单元组成，它们都遵循SIMT(single-instruction，multiple-thread，单指令、多线程)的架构模式。多处理器会将各线程映射到一个标量处理器核心，各标量线程使用自己的指令地址和寄存器状态独立执行。这时GPU才开始真正具备处理复杂算法的能力。

2007年，瑞士联邦理工学院的Thibaut Weise教授及其课题组，已将GPU用于实时动态测量，成功开发出一套实时动态三维测量系统，且速度达到每秒15帧。

美国Song Zhang的也将GPU由于实时动态三维测量技术中，并实现了人脸表情变化的测量，但其算法还无法很好的利用GPU并行计算的功能，因此目前只能应用于测量运动速度较慢的物体。

综上所述：目前，结构光测量技术虽然能对物体三维表面形状进行高精度测量，但测量过程中均需要拍摄多张图像，处理时间过长，还不能满足实时动态物体测量的需求，大多数情况下还只能进行离线的数据处理。因此现有的结构光测量技术还无法实现高分辨率的实时动态测量。同时，随着GPU的发展，GPU强大的并行计算能力也逐渐应用于多个领域，并能很好的应用于实时、高分辨率的动态物体三维测量。

发明内容

本发明的目的在于提供一种动态物体三维测量系统，该系统能够对动态物体进行三维实时测量。

本发明提供的动态物体的三维测量系统，其特征在于：该系统包括时钟同步控制器，DLP投影仪，第一、第二CCD相机，图像采集卡和计算机；其中，DLP投影仪去掉了用于生产彩色图像的色轮，第一、第二CCD相机的光心轴与DLP投影仪的光心轴夹角均在20至60度之间，并且测量时保持DLP投影仪与第一、第二CCD相机的相对位置不变；计算机为带有基于计算统一设备构架的图形显卡；

时钟同步控制器分别与DLP投影仪和第一、第二CCD相机相连，DLP投影仪与计算机相连，第一、第二CCD相机均通过图像采集卡与计算机相连；

测量的过程中，首先由时钟同步控制器触发DLP投影仪向被测物体以每秒90帧以上的帧率投影一组黑白正弦光栅图像，投影时正弦光栅图像都在栅线的垂直方向上平移栅距的1/3，等距平移二次，每帧三维数据投影出三幅正弦光栅图像；同时，时钟同步控制器给第一、第二CCD相机发送信号，使两个相机的图像采集帧率与DLP投影仪的投影帧率保持一致；第一、第二CCD相机采集的图像经图像采集卡传送给计算机，计算机中的图形显卡GPU对采集的数据进行处理，实时计算动态物体的三维数据。

本系统中由时钟控制器触发DLP(Digital Light processing，数字光学处理器)投影仪向被测物体以每秒90帧以上的帧率投影出一组黑白正弦光栅图像，同时，时钟控制器控制两个CCD相机以与投影仪相同的帧率进行同步拍摄，然后由图像采集卡将拍摄的图像数据传送给计算机，计算机快速的对图像进行处理并实时的计算三维数据，由于每一帧三维数据需要3幅图像进行计算，因此动态三维数据的帧率可达每秒30帧以上。此过程中部分的数据处理由计算机显卡的GPU辅助完成。该系统的最显著地特征：测量速度快，能实时的计算并显示动态物体的三维信息。

附图说明

图1为动态测量系统的结构图；

图2为DLP投影仪的结构图

图3为同步信号示意图；

图4为数据处理流程图；

图5为极线约束的原理图；

图6为极线约束的匹配算法原理图；

图7为双目立体视觉图；

图8为系统计算构架图。

具体实施方式

下面结合附图和实例对本发明做进一步详细的说明。

如图1，本发明系统包括时钟同步控制器101，DLP投影仪102，第一、第二CCD相机103、104，图像采集卡105和计算机106。其中第一、第二CCD相机的光心轴与DLP投影仪的光心轴夹角均在20至60度之间，并且测量时严格保持DLP投影仪与第一、第二CCD相机的相对位置不变。

时钟同步控制器101分别与DLP投影仪102和第一、第二CCD相机103、104相连，DLP投影仪102与计算机106相连，第一、第二CCD相机103、104均通过图像采集卡105与计算机106相连。

测量的过程中，首先由系统中的时钟同步控制器101触发DLP投影仪102向被测物体以每秒90帧以上的帧率投影一组黑白正弦光栅图像，投影时正弦光栅图像都在栅线的垂直方向上平移栅距的1/3，等距平移2次，故每帧三维数据需投影出3幅正弦光栅图像。同时，时钟同步控制器101给第一、第二CCD相机103、104发送信号，使两个相机的图像采集帧率与DLP投影仪102的投影帧率保持一致。第一、第二CCD相机103、104采集的图像经图像采集卡105传送给计算机106。计算机106机对采集的数据进行处理，实时计算动态物体的三维数据。

本系统中要求DLP投影仪102的投影速度为至少每秒90帧以上，才能以每秒24帧的速度流畅的获取动态三维数据。然而目前市面上的DLP投影仪投影的速度普遍较低。因此本系统中的DLP投影仪102在商业投影仪的基础上进行了改装。如图2所示，普通的商业DLP投影仪主要包括光源201，两个透镜202和203，DMD(Digital Micromirror Device)芯片205，色轮204和镜头206。为获得更高的投影速度，本系统中DLP投影仪102去掉了用于生产彩色图像的色轮204。由于DLP投影仪102投出的均为黑白的正弦光栅图像，因此去掉色轮204对本系统没有影响，相反还可以利用DLP投影仪102中的彩色通道来生成黑白正弦光栅图像来提高投影速度。然而，DLP投影仪102去掉色轮后，色轮204后的发光二极管无法产生触发信号来触发DMD芯片205生成图片。因此，本系统中的时钟同步控制器101会给DLP投影仪102发送触发信号，使DMD芯片205生成图像。

本系统实现动态物体实时三维测量的关键技术之一是令高速投影的DLP投影仪102与第一、第二CCD相机103和104之间的同步工作。时钟同步控制器101通过发送触发信号来保持整个系统的同步工作。以红(R)、绿(G)、蓝(B)和白(W)四个通道的DLP投影仪为例，如图3所示，l_p为DLP投影仪投影通道的时序曲线，l_d为同步时钟控制器101发送给DMD芯片205的触发信号，l_c为同步时钟控制器101发送给CCD相机103和104的信号，用来控制两个相机拍摄图像。图中同步时钟控制器101向DMD芯片205发送触发信号，DMD芯片205感受到触发信号的下降沿时，便依次按红(R)、绿(G)、蓝(B)和白(W)四个通道生成黑白的正弦光栅图像。同时CCD相机103和104按同步时钟控制器101发来的信号依次采集四个通道所生成的图像，以达到同步工作的目的。将DLP投影仪中的色轮去除后，系统的投影速度为原投影速度的四倍。

目前商业投影仪所采用的色轮技术各不相同，但均可按上述方式进行改装，其工作原理相同，均可以系统大幅度提高投影速度。

数据采集完毕后便开始计算三维数据，本发明系统所采用计算机106为带有基于通用计算设备构架(Compute Unified Device Architecture，CUDA)的图形显示芯片(GPU)，该芯片具有强大的并行计算功能，可加三维数据的计算过程。如图8所示，801为CCD相机103和104所拍摄的任意数字图像，802中所有像素点划分成若干像素块。803为计算机106的中央处理器CPU(Central Processing Unit)，804为计算机106的图形显卡GPU(Graphic Processing Unit)，805为GPU的流处理器。首先根据GPU804的线程块数目将已展开的所有像素点分为若干像素块802，以保证让GPU804最大化的并行运算，同时使用CPU803对每一块进行标识，第一批像素块处理完毕后，CPU803会立刻将新的像素点信息传入GPU804中，依次处理，最终获取完整的三维模型信息，并显示出来。其它的计算过程如图像的分块，数据传输等都可以再CPU803上完成。这样，通过GPU804并行运算模型的加速，使得系统能在极短时间内完成大量数据的处理，使高分辨率的实时测量能够实现。

以下说明每个流处理器805对像素块中像素的计算过程，如图4所示，其详细过程为：

(1)计算机首先对变形黑白正弦光栅进行三步相移解相。

DLP投影仪102连续快速的投射出的黑白正弦光栅，当黑白正弦光栅投影到被测物体表面时，在物体表面上形成变形光栅，假设投影光强是标准正弦分布，则变形光栅图像的光强分布函数为：

其中为I(x，y)为相机拍摄图像上像素(x，y)的光强，a(x，y)和b(x，y)为与背景相关的光波振幅，k称为波系数，

为像素(x，y)的相位值。三步相移解相法将光栅在栅线的垂直方向上平移栅距的1/3，则式(1)的光强表达式中相位将移动2π/3，对于相同频率的正弦光栅等距离平移2次，获得3幅图像。进行三步相移后，像素(x，y)在各步的光强函数I₁、I₂、I₃分别为：

由式(3)至(5)可得：

I₁、I₂、I₃分别为相机拍摄图像上像素(x，y)的光栅未平移时的光强、光栅平移栅距的1/3时的光强和光栅平移栅距的2/3时的光强。

这样就可以计算出图像中每个像素的相对相位值

(又称相位主值)，在一个相位周期内它是单调递增的，但是在整个测量空间中该值不唯一，因此无法直接通过相位主值来寻找相机图像上的匹配点，这样便不能进行立体重构。

(2)利用基于极限约束的立体匹配算法获取二个CCD相机所拍摄的图像的匹配点；

此处采用一种基于极线约束的立体匹配算法。极线约束原理如图5所示，设被测点P在CCD相机103所拍摄的图像301上的像点为P₁，在CCD相机104所拍摄的图像302上的像点为P₂，并且O₁和O₂分别与CCD相机103和104的光心点，直线O₁O₂与图像301所在的平面和图像302所在的平面的交点e₁和e₂为极点，平面PO₁O₂与图像301和图像302的交线为极线l₁和l₂，则易知极线l₁一定通过极点e₁，极线l₂一定通过极点e₂，像点P₁一定在极线l₁上，像点P2在极线l₂上，也就是说可以通过图像301上的点P₁坐标在图像302上求出与P₁对应的极线方程。这便是极线约束原理。

该系统中立体匹配算法如图6所示，其步骤为：

(1)计算时取图像301中的某一点P₁；

(2)根据极线约束原理，根据P₁的坐标值便可在DLP投影仪102的投影图像303上求出一条极线l₃，这里把投影仪303当做相机看待，投影仪303投影出的图像也可以看做是投影仪303所拍摄的图像；

(3)在DLP投影的图像303中找到至少两条与P₁点具有相同相位主值的直线l₃₁和l₃₂，设极线l₃与直线l₃₁和l₃₂交于点P₃₁和P₃₂；

(4)在图像302上根据极限约束求出与P₁、P₃₁和P₃₂对应的极线l₂、l₂₁和l₂₂的方程；

(5)极线l₂、l₂₁和l₂₂中有两条线在图像302上相交于一点P₂，则P₂为P₁的匹配点，同时P₂也是P点在图像302上的像点；

(6)通过匹配点P₁、P₂利用双目立体视觉原理进行点云重构，获得物体的三维数据。

匹配完成后便可使用双目立体视觉原理进行点云重构，计算出被测物体表面的三维点坐标。

如图7所示，空间点P在世界坐标系O_wX_wY_wZ_w下的坐标值为(X_w，Y_w，Z_w)，图像301上P点的像点P₁的图像坐标为(u₁，v₁)，通过小孔成像模型，可以列出P点从图像坐标到世界坐标的转换关系方程(8)，其中k₁为P点在相机103坐标系下的Z轴坐标，a_1x＝f₁□S_x1且a_1y＝f₁□S_y1，f₁为相机103的焦距，S_x1和S_y1为相机103所拍摄图像平面单位距离上的像素数(pixels/mm)，(u₁₀，v₁₀)为图像中心点的坐标，R₁和T₁为从世界坐标系到相机103坐标系间的旋转矩阵和平移矩阵。图像302上像点P₂的图像坐标为(u₂，v₂)。同样也可以列出方程(9)，其中k₂为P点在相机104坐标系下的Z轴坐标，a_2x＝f₂□S_x2且a_2y＝f₂□S_y2，f₂为相机104的焦距，S_2x和S_2y为相机104所拍摄图像平面单位距离上的像素数(pixels/mm)，(u₂₀，v₂₀)为图像中心点的坐标，R₂和T₂为从世界坐标系到相机104坐标系间的旋转矩阵和平移矩阵。根据方程(8)和(9)计算出被测物的三维坐标(X_w，Y_w，Z_w)，其中k₁和k₂为比例因子在方程的求解过程中求出。

$k_1\left[\begin{array}{c}{u}_1\\ v_1\\ 1\end{array}\right]=\left[\begin{array}{cccc}{a}_{1x}& 0& u_{10}& 0\\ 0& a_{1y}& v_{10}& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}{R}_1& T_1\\ 0& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]---\left(8\right)$

$k_2\left[\begin{array}{c}{u}_2\\ v_2\\ 1\end{array}\right]=\left[\begin{array}{cccc}{a}_{2x}& 0& u_{20}& 0\\ 0& a_{2y}& v_{20}& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}{R}_2& T_2\\ 0& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]---\left(9\right)$

本系统利用GPU+CPU混合架构加速实时动态三维测量的计算过程。以上计算过程中的三步相移解相、基于极线约束的匹配、立体重构和数据显示都是以像素为单位进行计算，且在算法上像素之间独立不相关。因此，这四步计算均可利用GPU的大规模、微粒度的并行计算模型进行优化加速，使得多个像素的计算同时进行。

以上DLP投影仪102投影速度和CCD相机103和104采集速度都是每秒90帧，计算每一帧三维形貌数据需要三副图片，在基于GPU+CPU混合构架的基础上每帧三维数据的计算和显示可在30ms时间内完成，因此本发明可以实现动态物体的实时三维测量，且测量帧率可达30帧/秒。

以上所述为本发明的较佳实施例而已，但本发明不应该局限于该实施例和附图所公开的内容。所以凡是不脱离本发明所公开的精神下完成的等效或修改，都落入本发明保护的范围。

Claims (2)

1.一种动态物体的三维测量系统，其特征在于：该系统包括时钟同步控制器(101)，DLP投影仪(102)，第一、第二CCD相机(103、104)，图像采集卡(105)和计算机(106)；其中，DLP投影仪(102)去掉了用于生产彩色图像的色轮(204)，第一、第二CCD相机的光心轴与DLP投影仪的光心轴夹角均在20至60度之间，并且测量时保持DLP投影仪与第一、第二CCD相机的相对位置不变；计算机(106)为带有基于计算统一设备构架的图形显卡；

时钟同步控制器(101)分别与DLP投影仪(102)和第一、第二CCD相机(103、104)相连，DLP投影仪(102)与计算机(106)相连，第一、第二CCD相机(103、104)均通过图像采集卡(105)与计算机(106)相连；

测量的过程中，首先由时钟同步控制器(101)触发DLP投影仪(102)向被测物体以每秒90帧以上的帧率投影一组黑白正弦光栅图像，投影时正弦光栅图像都在栅线的垂直方向上平移栅距的1/3，等距平移二次，每帧三维数据投影出三幅正弦光栅图像；同时，时钟同步控制器(101)给第一、第二CCD相机(103、104)发送信号，使两个相机的图像采集帧率与DLP投影仪(102)的投影帧率保持一致；第一、第二CCD相机(103、104)采集的图像经图像采集卡(105)传送给计算机(106)，计算机(106)中的图形显卡GPU对采集的数据进行处理，实时计算动态物体的三维数据。

2.根据权利要求1所述的动态物体的三维测量系统，其特征在于：计算机106按照下述过程进行数据处理：

第1步计算机首先对变形黑白正弦光栅进行三步相移解相；

第2步按照下述过程获取第一、第二CCD相机所拍摄的图像的匹配点：

(2.1)计算时取所第一CCD相机拍摄的图像301中的某一点P₁；

(2.2)根据极线约束原理，根据P₁的坐标值在DLP投影仪102的投影图像303上求出一条极线l₃；

(2.3)在DLP投影的投影图像303中找到至少两条与P₁点具有相同相位主值的直线l₃₁和l₃₂，设极线l₃与直线l₃₁和l₃₂交于点P₃₁和P₃₂；

(2.4)在第二CCD相机拍摄的图像302上根据极限约束求出与P₁、P₃₁和P₃₂对应的极线l₂、l₂₁和l₂₂的方程；

(2.5)极线l₂、l₂₁和l₂₂中有两条线在图像302上相交于一点P₂，则P₂为P₁的匹配点，同时P₂也是P点在图像302上的像点；

(2.6)通过匹配点P₁、P₂进行点云重构，获得物体的三维数据；

第3步匹配完成后使用双目立体视觉原理进行点云重构，计算出被测物体表面的三维点坐标。

Images