CN102667858B - 包括用于确定物体的二维坐标的方法和设备的模拟器 - Google Patents

Abstract

本发明涉及一种模拟器。所述模拟器包括用于确定物体的二维坐标的方法和设备。提供用于捕获控制器的图像的照相机和红外照相机。使用活动轮廓模型对红外图像进行处理以根据来自所述照相机的图像产生训练图像。根据所述训练图像构建自适应相关滤波器，所述自适应相关滤波器与来自所述照相机的图像相关以测量所述控制器的位置。

Description

包括用于确定物体的二维坐标的方法和设备的模拟器

技术领域

本发明涉及包括用于确定物体的二维坐标的方法和设备的模拟器。更具体但不排它地，本发明涉及用于训练手工工人的模拟器。

背景技术

传统上，诸如水管工之类的手工工人作为学徒学习他们的职业技能。学徒通过尝试复制他们师傅的工作来学习各种必要技能。学徒制提供了一种集中式个人训练经历。然而，由于师傅的时间分散在多个学员上，因此这种训练形式不能扩大规模。此外，至少在训练的早期阶段，学徒会犯错误，这会使雇主的花费增加，并且会妨碍他/她在将来雇用学徒。

为了尝试缩短学徒制最初的花费大的阶段，开发出了职业训练课程，从而给予学员作为手工工人开始工作所需的初始经历。然而，由于学员在早期阶段犯大量的错误，因此这些课程承受相当高的费用。

发明内容

根据本发明的第一方面，提供一种用于确定物体的二维坐标的设备，包括：第一照相机，用于产生所述物体的红外图像；第二照相机，用于产生所述物体的校准图像和所述物体的图像流；第一计算模块，用于产生训练图像，被配置为使用活动轮廓模块从所述红外图像中提取与所述物体的边缘相对应的矢量，并将所述矢量应用于所述校准图像以产生所述训练图像；自适应相关滤波器，根据所述训练图像被构建而成；以及第二计算模块，被配置为将来自所述第二照相机中的所述图像流的至少一幅图像与所述自适应相关滤波器相关，用于通过将所述自适应相关滤波器的相关性平面中的最大峰值与检测阈值进行比较来确定所述物体的x-y坐标。

所述设备可以通过向来自红外照相机的图像应用活动轮廓模块，仅使用一个红外照相机准确跟踪所述物体，其中来自红外照相机的图像之后被用于创建训练图像以用于所述自适应相关滤波器。在现有技术中，多个红外照相机被用于跟踪所述物体。因此，本发明通过消除对多个昂贵的红外照相机的需要来降低跟踪物体的成本。活动轮廓模型与红外照相机协同工作，物体与人类之间的对比允许产生与物体的边缘相对应的准确矢量。因此，所述设备在诸如起居室之类的杂乱环境中工作良好。

因此，本发明可以使用标准照相机，例如像VGA照相机之类的彩色照相机，其提供可以由所述设备使用的可见光谱的图像。

优选地，多个旋转训练图像被产生，所述旋转训练图像通过旋转所述训练图像被构建而成，并且所述自适应滤波器根据所述旋转训练图像被构建而成。

所述设备可以通过旋转所述训练图像保持对所述物体的跟踪，即可以在不以新训练图像更新自适应相关滤波器的情况下在较长时间段内准确且一贯地测量所述物体的位置。所述旋转训练图像增大了所述设备对定向改变、尺寸改变和位置的容忍度。

优选地，训练图像或旋转训练图像被周期性地产生以更新所述自适应相关滤波器。所述自适应相关滤波器可以在每0.5至1.5秒之间被更新，或更优选地，每秒被更新。

通过以新的训练图像更新所述自适应相关滤波器，并使用旋转训练图像的集合，所述自适应相关滤波器被重新训练。这提高了所述自适应相关滤波器针对来自第二照相机的后续图像的准确度。

所述自适应相关滤波器可以是MACH滤波器或OT-MACH滤波器等。

根据本发明的第二方面，提供一种用于确定物体的二维坐标的方法，所述方法包括以下步骤：从红外照相机获取包括所述物体的红外图像；从一照相机获取包括所述物体的图像流和包括所述物体的校准图像；使用活动轮廓模型根据所述红外图像产生与所述物体的边缘相对应的矢量；通过使用所述 矢量从所述校准图像提取所述物体来产生训练图像；使用所述训练图像构建自适应相关滤波器；以及通过将所述图像流中的至少一幅图像与所述自适应相关滤波器相关，确定所述物体在相关性图中的x-y坐标。

所述方法可以进一步包括产生多个旋转训练图像和根据所述旋转训练图像构建所述自适应相关滤波器的步骤，所述旋转训练图像集合通过旋转所述训练图像构建而成。

所述训练图像或多个旋转训练图像可以周期地更新所述自适应相关滤波器。所述自适应相关滤波器可以在每0.5至1.5秒之间被更新，或更优选地，每秒被更新。

一种呈现在计算机可读介质上的计算机程序可以被配置为执行根据本发明的第二方面所述的方法。

附图说明

现在将以示例方式参考附图描述本发明的实施例，附图中：

图1示出包括计算机、安装在头部的显示器、控制器和照相机单元的模拟器；

图2图示了示出本发明实施例的测量控制器的x轴和y轴坐标的方法的流程图；

图3示出图2的实施例的OT-MACH过滤器；并且

图4示出测量控制器的z轴的方法仅供参考。

具体实施方式

图1示出模拟器1的概图。模拟器1包括控制器100、计算机200、照相机单元300和安装在头部的显示器400。为了进行描述，计算机200被配置为运行对诸如使用喷灯或弯曲管道之类的训练场景进行模拟的计算机程序。

计算机200从控制器100和照相机单元300接收数据。控制器100包括 测量诸如加速度和方位之类的空间属性并测量用户输入的各种传感器。控制器100将来自传感器的数据输出到计算机200。照相机单元300包括用于图像获取的第一照相机310和红外第二照相机320。照相机单元300将图像数据输出到计算机200。

计算机200被配置为处理来自控制器100和照相机单元300的、作为计算机程序中的输入变量的数据。控制器100提供诸如加速度和方位之类的空间数据以及用户输入，而照相机单元300提供可以由根据本发明的方法处理以跟踪控制器100的图像。因此，可以对训练场景进行模拟的计算机程序能给用户提供诸如使用喷灯或弯曲管道之类的现实技术的浸入式准确模拟。以下更详细地描述跟踪控制器100的方法。

跟踪

在正常使用时，模拟器1设立在屋子内，其中照相机单元300面对控制器100。一般来说，照相机单元300会靠墙布置，并且面对位于屋子中央的控制器100。控制器100由用户持有。

为了进行描述，三个维度被表示为沿着笛卡尔x轴、y轴和z轴，其中z轴在从照相机单元300到控制器100的方向上(即该轴平行于地板)。x轴和y轴都与z轴正交，并且彼此正交。计算机200被配置为经由第一方法计算控制器的x轴和y轴坐标，并且经由第二方法计算z轴坐标。

现在将参考图2至图3描述第一方法，即计算控制器100的x轴和y轴坐标的方法。该方法使用来自照相机300的图像数据在计算机200上执行。照相机单元300经由第一照相机310获取校准图像，并经由红外第二照相机320获取红外图像。如上所述，照相机单元300面对由用户持有的控制器100。因此，校准图像和红外图像包括控制器100和用户。

第一方法的概观示于图2中。作为预备步骤，经由时间差分的红外图像背景减法将控制器100和用户与常背景区分开。这产生了处理后的红外图像，仅包括控制器和用户，适用于后续步骤。

向处理后的红外图像应用活动轮廓模型，以产生勾画控制器110边缘的 轮廓的准确矢量。由于在控制器110上使用了IR反射涂层，因此在处理后的红外图像中，控制器110可以容易地与用户区分开。

活动轮廓模型致力于能量最小化原理，以在处理后的红外图像中确定控制器100边缘的矢量。每个矢量点的能量基于其相邻的像素来计算。计算高斯差分(DoG)滤波图像，以用于突出控制器100的边缘。这一能量最小化过程是迭代且连续的过程，直到准确计算出控制器100边缘的矢量。为每个矢量点计算并迭代的能量函数以下式描述，其中i是迭代次数，从1至n，n是矢量上点的数目，并且 是计算出的矢量点的能量。

计算机200包括用于修改准确计算控制器100边缘的矢量所需的迭代次数i的配置文件。

一旦计算出控制器110边缘的矢量，就向来自第一照相机的校准图像应用该矢量，以提取控制器110。然后，向形成训练图像的适用于OT-MACH滤波器的空白背景的中心应用所提取的控制器110。

在该实施例中，对训练图像进行进一步处理，以产生用于OT-MACH滤波器的多个旋转训练图像。例如，在-6度到+6度之间以两度增量旋转训练图像，从而获得7个旋转训练图像。旋转训练图像被多路复用，并输入到OT-MACH滤波器。

现在将参考图3更详细地描述OT-MACH滤波器的操作。OT-MACH(最优折衷最大平均相关高度)滤波器使用FFTW(西方最快快速傅立叶变换)库在计算机200上执行。FFTW库是用于计算一维或多维离散傅立叶变换的C子程序库。FFTW库与用于计算机版本的英特尔(RTM)OpenCV库接口，使得OT-MACH滤波器在处理时间和频率上更有效。

如图3左手列所示，OT-MACH滤波器接收旋转训练图像的集合t_i＝1至N，其中N是旋转训练图像的数目。对每个旋转训练图像进行傅立叶变换FT(T_i)。FFTW的输出并不是移位的FFT。FFT的零分量向频谱中心的移位使用以下表示为C的函数来执行。

cvFFTWShifi()

该函数具有将左上象限与左下象限交换并将右上象限与左下象限交换的效果。

OT-MACH以下式表述，其中m_x是频域中旋转训练图像矢量x_1至N的均值，C是选择的任意噪声模型的功率谱密度对角矩阵，D_x是旋转训练图像的对角平均功率谱密度，并且S_x表示旋转训练图像集合的相似矩阵。这些参数可从训练图像得出。α、β和γ是非负的最优折衷参数，其允许OT-MACH滤波器针对诸如亮度级之类的外部条件进行调整。α、β和γ可以在配置文件中修改。

计算机200从第一照相机接收图像流。如图3中的左手侧列所示，从图像流的一幅图像得出子图像的集合S_k＝1至N，其中N是子图像的数目。对每个子图像进行傅立叶变换FT(S_k)。经由以下函数在频域中将傅立叶变换后的子图像与OT-MACH滤波器相关。

conj(FT(h))FT(S_k)

然后，通过将相关性平面中的最大峰值与检测阈值进行比较，将每个子图像划分到类别内或类别外。检测阈值在下式中给出。

针对每个类别内子图像制作相关性图。控制器100在x和y方向上的位置对应于相关性图中的最高值。

向来自第一照相机的每个第m图像应用OT-MACH滤波器，以生成相关性图，并确定控制器110的位置。参数m可以在配置文件中修改。OT-MACH滤波器可以实时地或者以配置文件中的参数所确定的频率，由所获得并应用于OT-MACH滤波器的旋转训练图像的新集合进行更新。

现在将仅参考图4描述第二方法，即用于计算控制器100的z轴坐标的 方法。z轴坐标是从第一照相机和第二照相机的质心到控制器100的距离。

第一照相机的半角θ₁和第二照相机的半角θ₂使用以下表达式来计算，其中D是第一照相机或第二照相机的视场光阑，并且f是第一照相机或第二照相机的焦距。

参考图4，z轴坐标可以根据以下表达式来确定，其中α_1，2可以使用视角的半角以及用第一方向计算出的控制器100的x轴和y轴位置来测量。

可替代地，如果第一照相机和第二照相机被校准，则可以使用OpenCV函数找出内部和外部照相机参数。

本领域技术人员会理解，旋转复用，即为产生多个旋转训练图像进行了训练图像的旋转，是本发明的非必要特征。相反，OT-MACH滤波器可以根据训练图像来构建。本领域技术人员会理解，根据多个旋转训练图像构建OT-MACH滤波器是优选的，原因在于其在滤波器更新之间提供了OT-MACH滤波器的容忍度，使得位置识别的准确度增加，并且使得计算机不大可能失去对控制器100的跟踪。

本领域技术人员还会理解，OT-MACH滤波器的更新，即旋转训练图像的新集合的产生，是非必要特征。相反，OT-MACH滤波器可以根据训练图像的第一集合来构建，而不进行更新。当然，本领域技术人员也会理解，更新OT-MACH滤波器是最优选的，原因在于其提供控制器100的更准确的位置识别。

此外，来自第一照相机的图像流中每25个图像对OT-MACH滤波器更新一次(即，对于普通照相机，在照相机每秒捕获25帧的情况下，每秒更新一次)是非必要特征。本领域技术人员会理解，更新OT-MACH滤波器的频 率可以通过修改配置文件来改变。

本领域技术人员会理解，滤波器是OT-MACH滤波器并不是必要的。相反，可以使用自适应相关滤波器的任意形式，例如可以替代使用MACH滤波器、ASEF滤波器、UMACE滤波器或MOSSE滤波器。

本领域技术人员还会理解，模拟器1不限于以上所述的场景探测。相反，模拟器1可以用于各种形式的虚拟的现实情景，例如其它训练、娱乐或工业情景。具体来说，以上所概述的物体跟踪方法会应用于其它情景，例如制造工业。

在以上实施例中，计算机200包括计算机程序。本领域技术人员会理解，计算机程序可以呈现在计算机可读介质上，例如压缩盘或USB闪驱上，或可以通过因特网可下载。计算机程序也可以存储在远程位置的服务器上，并且用户的个人计算机可以通过网络连接向服务器发送数据并接收数据。

本领域技术人员还会理解，安装在头部的显示器是非必要特征。相反，计算机200可以向计算机监视器、投影仪、TV、HDTV或3DTV等输出图形。安装在头部的显示器是优选特征，原因在于其为用户提供浸入式经历，并且还可以提供与用户的头部方位相关的数据，然后可以由模拟器1使用这些数据。

本领域技术人员会理解，特征的任意组合在不超出权利要求所限定的本发明范围的情况下是可能的。

Claims (12)

1.一种用于确定由人类用户操作的控制器的二维坐标的设备，所述设备包括：

第一照相机，用于产生所述控制器和所述用户的红外图像；

第二照相机，用于产生所述控制器和所述用户的校准图像及所述控制器和所述用户的图像流；

第一计算模块，用于产生训练图像，被配置为使用活动轮廓模块从所述控制器和所述用户的所述红外图像中提取所述控制器的边缘的轮廓的矢量，并将所述矢量应用于所述校准图像以产生所述训练图像，从而将所述控制器与所述用户区分开；

自适应相关滤波器，根据所述训练图像被构建而成；以及

第二计算模块，被配置为将来自所述第二照相机中的所述图像流的至少一幅图像与所述自适应相关滤波器相关，用于通过将所述自适应相关滤波器的相关性平面中的最大峰值与检测阈值进行比较来确定所述控制器的x-y坐标。

2.根据权利要求1所述的设备，其中多个旋转训练图像被产生，所述旋转训练图像通过旋转所述训练图像被构建而成，并且所述自适应相关滤波器根据所述旋转训练图像被构建而成。

3.根据权利要求1所述的设备，其中所述训练图像被周期性地产生以更新所述自适应相关滤波器。

4.根据权利要求2所述的设备，其中所述旋转训练图像被周期性地产生以更新所述自适应相关滤波器。

5.根据权利要求3或4所述的设备，其中所述自适应相关滤波器在每0.5秒至1.5秒之间被更新。

6.根据权利要求1至4中任一项所述的设备，其中所述自适应相关滤波器是OT-MACH滤波器。

7.一种用于确定由人类用户操作的控制器的二维坐标的方法，所述方法包括以下步骤：

从红外照相机获取包括所述控制器和所述用户的红外图像；

从一照相机获取包括所述控制器和所述用户的图像流以及包括所述控制器和所述用户的校准图像；

使用活动轮廓模型根据包括所述控制器和所述用户的所述红外图像产生所述控制器的边缘的轮廓的矢量，从而将所述控制器与所述用户区分开；

通过使用所述矢量从所述校准图像相对于所述用户提取所述控制器来产生训练图像；

使用所述训练图像构建自适应相关滤波器；以及

通过将所述图像流中的至少一幅图像与所述自适应相关滤波器相关，确定所述控制器在相关性图中的x-y坐标。

8.根据权利要求7所述的方法，进一步包括产生多个旋转训练图像和根据所述旋转训练图像构建所述自适应相关滤波器的步骤，所述旋转训练图像通过旋转所述训练图像构建而成。

9.根据权利要求7所述的方法，其中周期性地产生所述训练图像以更新所述自适应相关滤波器。

10.根据权利要求8所述的方法，其中周期性地产生所述旋转训练图像以更新所述自适应相关滤波器。

11.根据权利要求7至10中任一项所述的方法，其中所述自适应相关滤波器在每0.5秒至1.5秒之间被更新。

12.根据权利要求7至10中任一项所述的方法，其中所述自适应相关滤波器是OT-MACH滤波器。