CN101231752A - 无标定真三维全景显示与交互装置 - Google Patents

Abstract

一种无标定真三维全景显示与交互装置包括主体支架、头盔显示器、图像存储和处理器、主机，主体支架上设有安装多个摄像机的云台，云台上装有摄像机；观察者站在主体支架内部空间中，通过头盔显示器即可实时观看一个虚拟场景，观察者可做空间上的自由移动，包括头部转向、自由行走、转动，并能与场景实时交互，多个摄像机采集观察者的图像信息，经过图像预处理后由主机对多幅图像进行分析、匹配和计算，实时解算出人的位置、姿态和动作信息，来控制头盔显示器中的虚拟场景产生相应的变化，实现虚拟显示产生交互效应。本发明无须对观察者进行标定，其在工作空间内可以自然的转动头部和身体以改变视点，实现真三维全景的显示与交互，具有较好的浸入感和灵活性。

Description

无标定真三维全景显示与交互装置

技术领域

本发明涉及一种无标定真三维全景显示与交互装置及方法，属于计算机视觉和人机交互领域。

背景技术

沉浸是使人具有真实感并获得体验的根本，而交互是实现人机和谐的关键。虚拟场景的显示和交互是虚拟现实的核心所在，目前显示部分主要通过各种不同的显示设备实现，如立体显示器、柱幕或环幕系统、CAVE系统，以提供给人沉浸感；而交互主要通过各种输入设备如数据手套、光学标志点、位置跟踪器等实现。如要跟踪人头部的运动，需要专门的位置跟踪器，体积大，价格高，且有较大的重量，使用不方便。而人如果要用手与虚拟场景交互，必须戴数据手套，也只能捕捉几个自由度的信息，不够灵活。在人体位置和姿态动作的捕捉和识别方面，目前也有做的，但都有标定。

发明内容

本发明所要解决的技术问题是：克服现有技术存在的不足，提供一种可以实现无标定真三维全景显示和交互的装置及方法，无须对观察者进行标定，观察者在工作空间内可以自然的转动头部和身体以改变视点，实现真三维全景的显示与交互，具有较好的浸入感和灵活性。

本发明的技术解决方案：一种无标定真三维全景显示与交互装置，包括主体支架、头盔显示器、图像存储和处理器、能够进行高速运算和实时处理的主机，所述主体支架上设置有多个可安装摄像机的云台，所述云台上装有摄像机，观察者站在主体支架内部空间中，通过头盔显示器即可实时观看一个虚拟场景，观察者可做空间上的自由移动，包括头部转向、自由行走、转动，并能与场景实时交互，所述的多个摄像机通过从多个角度同步采集观察者的图像信息，输入到图像存储和处理器进行图像的预处理，预处理后的图像再输入到主机，由主机对多幅图像通过进行分析、匹配和计算，实时解算出人的位置、姿态和动作信息，并由此来控制头盔显示器中的虚拟场景产生相应的变化，以实现虚拟显示并产生交互效应。

所述主体支架上还安装有传感器的固定件，所述传感器固定件上可安装红外传感器、或声音传感器、或温度传感器，红外传感器用于识别人体信息后，或声音传感器采集人的自然语言后，或温度传感器采集工作空间的温度后输入主机进行识别、处理和存储，作为对场景信息的记录和分析，可用来模拟和恢复场景。

本发明的另一目的是提供一种无标定真三维全景显示与交互方法，其步骤如下：

(1)对摄像机进行标定；

(2)进行图像采集：观察者站在主体支架内部空间中，通过头盔显示器即可实时观看一个虚拟场景，观察者可做空间上的自由移动，包括头部转向、自由行走、转动，多个摄像机从不同角度同步采集观察者的图像；

(3)图像预处理：摄像机采集的图像送入图像存储和处理器进行存储和预处理；

(4)图像信息提取：预处理的图像传送到主机，主机对接收到的多幅图像进行分析、匹配和计算，提取其中的关键信息，包括人头部和手部的轮廓及头部和手部在不同图像上对应的特征点对的图像坐标；

(5)根据所提取的关键信息实时解算人的位置、姿态和动作信息；

(6)更新虚拟场景的显示：根据位移和姿态的改变控制头盔显示器的虚拟场景产生相应的变化，以实现虚拟显示并产生交互效应。

本发明与现有技术相比的优点在于：

(1)本装置可容纳多人同时在工作空间内，观察者可以自然的在三维空间内运动，实现了真三维的效果；

(2)由于设置了多个摄像机，从而可以在无须对观察者进行标定的情况下，通过图像的采集和模式识别技术实时获取观察者的头部和手部的位置、姿态和动作信息，实现了跟踪和定位；

(3)观察者转动头部和身体以改变视点，所看到的场景即计算机生成的虚拟世界将实时发生变化；

(4)观察者可以以自然的方式直接与虚拟环境中的对象进行交互操作。

总之，本发明创建了一个酷似客观环境又超越客观时空、既能够沉浸其中又能驾驭其上的和谐的人机交互环境，即一个由多维信息所构造的可操纵的立体空间，其主要目标是实现人类在计算机控制的虚拟环境中获得最真实的体验，且以方便自然的方式进行人与环境之间的交互。观察者不用透过外部显示器，而能够直接沉浸在计算机控制下的虚拟环境当中，如同人类日常生活在真实世界一样。

附图说明

图1是本发明装置的结构示意图；

图2是本发明的方法流程图。

具体实施方式

如图1所示，本发明的装置由主体支架1、云台2、固定件3、摄像机4、红外传感器5、声音传感器6、温度传感器7、图像存储和处理器8、头盔显示器9和主机10组成。主体支架1上设置有多个安装摄像机4的云台2和安装传感器的固定件3，云台2上装有摄像机4，传感器固定件3上装有红外传感器5、声音传感器6、温度传感器7；支架1、云台2和固定件3均是可移动的，多个摄像机都能够通过外触发进行图像采集，每个摄像机与一个图像存储和处理器8相连接；头盔显示器9是封闭式头盔显示器。观察者站在装置的工作空间内，头戴头盔显示器9，显示器上显示计算机控制的虚拟场景。观察者可以走动、转动头部或移动手的位置，装置内架设的多个摄像机实时采集观察者的图像，送入图像存储和处理器8进行图像的预处理，提取前景信息即观察者的轮廓信息。图像存储和处理器8将图像送入主机10，主机10得到同一时刻采集到的不同位置和角度的观察者的图像，对这组图像进行分割和模式匹配，得到头部和手部的位置和姿态，作为输入控制虚拟场景产生相应的位移和角度变化，并送到头盔显示器中进行显示，这样，观察者即可以通过转动头部和身体来改变视点，也可以通过手的移动和触摸来与场景交互。

此外，红外传感器5、或声音传感器6、或温度传感器7用来做数据采集，作为场景信息的记录和分析，可用来模拟和恢复场景。红外传感器用于识别人体信息，可用来记录场景中出现过的人的信息；声音传感器采集人的自然语言，经过识别和处理，可以转化为指令，控制虚拟场景产生相应的变化；温度传感器采集工作区的温度，可作为历史信息存储到主机中，根据这些信息可以重现某时间段内的场景。

本发明方法的具体工作过程如下：

第一步，摄像机标定；

第二步，图像采集：观察者站在主体支架内部空间中，通过头盔显示器即可实时观看一个虚拟场景，观察者可做空间上的自由移动，包括头部转向、自由行走、转动，多个摄像机从不同角度同步采集观察者的图像；

第三步，图像预处理：摄像机采集的图像送入图像存储和处理器进行存储和预处理；

第四步，图像信息提取：预处理的图像传送到主机，主机对接收到的多幅图像进行分析、匹配和计算，提取其中的关键信息；

第五步，解算人的位置、姿态和动作信息；

第六步，更新虚拟场景的显示：根据位移和姿态的改变控制头盔显示器的虚拟场景产生相应的变化，以实现虚拟显示并产生交互效应。

上述的主机进行分析、匹配和计算，提取其中的关键信息，实时解算出人的位置、姿态和动作信息的过程如下：

(1)图像分割和提取：对输入的一组图像进行图像分割，从每幅图像人的轮廓信息中提取出头部的轮廓和手的轮廓；

(2)立体匹配：根据立体匹配的原理(两个摄像机即可对其重叠区域的目标物体进行空间定位)，由这组已经进行分割和提取的图像对头部和手部分别进行特征点匹配，计算出特征点的深度信息和三维坐标；

(3)差值计算：由于图像是实时采集的，根据当前时刻采集的图像帧计算出的三维坐标跟前一帧的一组图像计算出的三维坐标进行差值，计算出人头部的位移和旋转量以及手部的动作信息。

图像存储和处理器进行存储和预处理的方法如下：

(1)多个摄像机同步采集观察者不同角度的图像，存储到图像存储和处理器中；

(2)图像存储和处理器对存储的图像进行前景提取，去除背景，得到目标对象即人的轮廓信息。

摄像机标定的方法如下：用一个均匀的黑白棋盘格模板作为目标对象，摄像机固定好之后，采集不同位置和角度的模板的图像，用这组图像进行角点的提取和计算，从而求出摄像机的模型，即摄像机的内外参数。

Claims (10)

1.一种无标定真三维全景显示与交互装置，其特征在于：包括主体支架、头盔显示器、图像存储和处理器、能够进行高速运算和实时处理的主机，所述主体支架上设置有多个可安装摄像机的云台，所述云台上装有摄像机，观察者站在主体支架内部空间中，通过头盔显示器即可实时观看一个虚拟场景，观察者可做空间上的自由移动，包括头部转向、自由行走、转动，并能与场景实时交互，所述的多个摄像机通过从多个角度同步采集观察者的图像信息，输入到图像存储和处理器进行图像的预处理，预处理后的图像再输入到主机，由主机对多幅图像进行分析、匹配和计算，实时解算出人的位置、姿态和动作信息，并由此来控制头盔显示器中的虚拟场景产生相应的变化，以实现虚拟显示并产生交互效应。

2.根据权利要求1所述的无标定真三维全景显示与交互装置，其特征在于：所述主体支架上还安装有传感器的固定件，所述传感器固定件上可安装红外传感器、或声音传感器、或温度传感器，红外传感器用于识别人体信息后，或声音传感器采集人的自然语言后，或温度传感器采集工作空间的温度后输入主机进行识别、处理和存储，作为对场景信息的记录和分析，可用来模拟和恢复场景。

3.根据权利要求1或2所述的无标定真三维全景显示与交互装置，其特征在于：所述的支架和云台均是可移动的。

4.根据权利要求1或2所述的无标定真三维全景显示与交互装置，其特征在于：所述的多个摄像机都能够通过外触发进行图像采集。

5.根据权利要求1或2所述的无标定真三维全景显示与交互装置，其特征在于：所述的多个摄像机中，每个摄像机与一个图像存储和处理器相连接。

6.根据权利要求1或2所述的无标定真三维全景显示与交互装置，其特征在于：所述的头盔显示器是封闭式头盔显示器。

7.根据权利要求1或2所述的无标定真三维全景显示与交互装置，其特征在于：所述的主机进行分析、匹配和计算，实时解算出人的位置、姿态和动作信息的过程如下：

(1)进行图像分割和提取：对输入的一组图像进行图像分割，从每幅图像人的轮廓信息中提取出头部的轮廓和手的轮廓；

(2)然后进行立体匹配：根据立体匹配的原理，通过两个摄像机对其重叠区域的目标物体进行空间定位，由所述的一组已经进行分割和提取的图像对头部和手部分别进行特征点匹配，计算出特征点的深度信息和三维坐标；

(3)最后进行差值计算：由于图像是实时采集的，根据当前时刻采集的图像帧计算出的三维坐标跟前一帧的一组图像计算出的三维坐标进行差值，计算出人头部的位移和旋转量以及手部的动作信息。

8.一种采用权利要求1所述的无标定真三维全景显示与交互装置的实现显示与交互的方法，其特征在于：

(1)对摄像机进行标定；

(2)进行图像采集：观察者站在主体支架内部空间中，通过头盔显示器即可实时观看一个虚拟场景，观察者可做空间上的自由移动，包括头部转向、自由行走、转动，多个摄像机从不同角度同步采集观察者的图像；

(3)图像预处理：摄像机采集的图像送入图像存储和处理器进行存储和预处理；

(4)图像信息提取：预处理的图像传送到主机，主机对接收到的多幅图像进行分析、匹配和计算，提取其中的关键信息，包括人头部和手部的轮廓及头部和手部在不同图像上对应的特征点对的图像坐标；

(5)根据所提取的关键信息实时解算人的位置、姿态和动作信息；

(6)更新虚拟场景的显示：根据位移和姿态的改变控制头盔显示器的虚拟场景产生相应的变化，以实现虚拟显示并产生交互效应。

9.根据权利要求8所述的无标定真三维全景显示与交互方法，其特征在于：所述的步骤(4)中实时解算出人的位置、姿态和动作信息的过程如下：

(1)图像分割和提取：对输入的一组图像进行图像分割，从每幅图像人的轮廓信息中提取出头部的轮廓和手的轮廓；

(2)立体匹配：根据立体匹配的原理，通过两个摄像机可对其重叠区域的目标物体进行空间定位，由所述的一组已经进行分割和提取的图像对头部和手部分别进行特征点匹配，计算出特征点的深度信息和三维坐标；

(3)差值计算：由于图像是实时采集的，根据当前时刻采集的图像帧计算出的三维坐标跟前一帧的一组图像计算出的三维坐标进行差值，计算出人头部的位移和旋转量以及手部的动作信息。

10.根据权利要求8所述的无标定真三维全景显示与交互方法，其特征在于：所述的步骤(3)中图像预处理的方法如下：

(1)多个摄像机同步采集观察者不同角度的图像，存储到图像存储和处理器中；

(2)图像存储和处理器对存储的图像进行前景提取，去除背景，得到目标对象即人的轮廓信息。

Images