CN108398787B - 增强现实显示设备、方法和增强现实眼镜 - Google Patents

Abstract

本发明涉及增强现实技术领域，提出一种增强现实显示设备，该增强现实显示设备包括可调透光片、空间三维重建组件以及控制单元；可调透光片包括多个像素，每个像素的透光性能够控制；空间三维重建组件用于获得用户视场中真实场景的每一真实点的深度值；控制单元用于将在同一像素显示的虚拟点的深度值与真实点的深度值进行比较，当真实点的深度值大于虚拟点的深度值时，控制像素不透光；当真实点的深度值小于虚拟点的深度值时，控制像素透光。使用该设备不存在视觉偏差导致的位置判断混乱，不存在真实场景显示的延时，能够获得更真实的真实场景。

Description

增强现实显示设备、方法和增强现实眼镜

技术领域

本发明涉及增强现实技术领域，尤其涉及一种增强现实显示设备、增强现实显示方法和增强现实眼镜。

背景技术

增强现实技术是一种将虚拟物体和虚拟场景叠加显示在真实世界中的投影方式，当把虚拟场景和真实场景叠加到一起时，虚拟物体与真实物体由于在空间所处的位置不同，离用户的距离不同，即它们的深度值不同，它们之间会存在遮挡关系。如果对此遮挡关系不进行处理，则所有虚拟物体的影像都会覆盖在真实物体上面，无法正确呈现它们相对于用户的远近关系，违反了人类的视觉习惯，容易造成用户空间感的错乱和生理上的不适。

目前，增强现实中的真实场景是先进行拍摄、然后进行图像融合处理后再呈现给用户，会出现一定的延时，造成用户生理上的不适。另外真实场景的一些信息在图像中可能会出现失真或丢失。

因此，有必要研究一种新的增强现实显示设备、增强现实显示方法和增强现实眼镜。

所述背景技术部分公开的上述信息仅用于加强对本发明的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明的目的在于克服上述现有技术的真实场景显示延时以及失真或丢失的不足，提供一种真实场景显示及时的增强现实显示设备、增强现实显示方法和增强现实眼镜。

本发明的额外方面和优点将部分地在下面的描述中阐述，并且部分地将从描述中变得显然，或者可以通过本发明的实践而习得。

根据本公开的一个方面，提供一种增强现实显示设备，包括：

可调透光片，包括多个像素，每个像素的透光性能够控制；

空间三维重建组件，用于获得用户视场中真实场景的每一真实点的深度值；

控制单元，用于将在同一像素显示的所述虚拟点的深度值与所述真实点的深度值进行比较，当所述真实点的深度值大于所述虚拟点的深度值时，控制所述像素不透光；当所述真实点的深度值小于所述虚拟点的深度值时，控制所述像素透光。

在本公开的一种示例性实施例中，所述增强现实显示设备还包括：

虚拟场景生成器，与所述控制单元电连接，当所述真实点的深度值小于所述虚拟点的深度值时，控制所述像素对应的所述虚拟点不生成所述虚拟场景。

在本公开的一种示例性实施例中，所述空间三维重建组件包括：

光发射器，用于发射光线，所述用户视场中真实场景将所述光线反射形成反射光；

光接收器，用于接收所述反射光，并根据所述反射光确定所述用户视场中真实场景的每一真实点的深度值。

在本公开的一种示例性实施例中，所述增强现实显示设备还包括：

眼动信息捕获器，用于实时监测用户的眼球运动信息；

所述控制单元根据所述眼球运动信息判断用户的视线以确定与所述真实点对应的像素。

在本公开的一种示例性实施例中，所述增强现实显示设备还包括：

镜片，用于透射真实场景以及反射虚拟场景至用户，所述镜片与所述可调透光片贴合。

在本公开的一种示例性实施例中，所述可调透光片为液晶透光片。

根据本公开的一个方面，提供一种增强现实眼镜，包括：

上述任意一项所述的增强现实显示设备；

镜框以及镜腿；

其中，所述可调透光片设于所述镜框内，所述空间三维重建组件设于所述镜框上，所述控制单元设于所述镜腿。

根据本公开的一个方面，提供一种增强现实显示方法，包括：

获得用户视场中真实场景的每一真实点的深度值；

接收虚拟场景的每一虚拟点的深度值；

将在同一像素显示的所述虚拟点的深度值与所述真实点的深度值进行比较，当所述真实点的深度值大于所述虚拟点的深度值时，控制所述像素不透光；当所述真实点的深度值小于所述虚拟点的深度值时，控制所述像素透光。

在本公开的一种示例性实施例中，所述增强现实显示方法还包括：

当所述真实点的深度值小于所述虚拟点的深度值时，控制所述像素对应的所述虚拟点不生成所述虚拟场景。

在本公开的一种示例性实施例中，获得用户视场中真实场景的每一真实点的深度值，包括：

发射光线，所述用户视场中真实场景将所述光线反射形成反射光；

接收所述反射光，并根据所述反射光确定所述用户视场中真实场景的每一真实点的深度值。

在本公开的一种示例性实施例中，所述增强现实显示方法还包括：

实时监测用户的眼球运动信息，根据所述眼球运动信息判断用户的视线以确定与所述真实点对应的像素。

由上述技术方案可知，本发明具备以下优点和积极效果中的至少之一：

本发明的增强现实显示设备，可调透光片包括多个像素，每个像素的透光性能够控制；空间三维重建组件能够获得用户视场中真实场景的每一真实点的深度值；控制单元将在同一像素显示的虚拟点的深度值与真实点的深度值进行比较，当真实点的深度值大于虚拟点的深度值，则控制像素不透光；当真实点的深度值小于虚拟点的深度值，则控制像素透光。一方面，通过控制可调透光片上像素的透光性来控制显示虚拟场景还是现实真实场景，实现对用户视场内的真实场景的选择性呈现，无需先对真实场景进行拍摄、图像处理后再呈现给用户。另一方面，用户可以直接观察真实场景，不存在视觉偏差导致的位置判断混乱。再一方面，真实场景能够直接通过可调透光片透射至用户，不存在真实场景显示的延时，能够获得更真实的真实场景。

附图说明

通过参照附图详细描述其示例实施方式，本发明的上述和其它特征及优点将变得更加明显。

图1是视频透视式增强现实显示的原理示意图；

图2是光学透视式增强现实显示的原理示意图；

图3是本发明的增强现实显示设备的电气连接示意框图；

图4是本发明的增强现实显示设备一种显示效果的示意图；

图5是本发明的增强现实显示设备另一种显示效果的示意图；

图6是本发明的增强现实显示设备的具体流程示意图；

图7是本发明的增强现实眼镜一示例实施方式的结构示意图；

图8是本发明的增强现实显示方法的流程框图。

图中主要元件附图标记说明如下：

1、显示屏；2、摄像机；3、计算机；4、半透半反膜；5、眼睛；

6、显示组件；61、镜片；62、可调透光片；

7、眼动信息捕获器；8、光发射器；9、光接收器；10、控制单元；11、镜框；12、镜腿；

V、虚拟物体；R、真实物体。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式；相反，提供这些实施方式使得本发明将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。图中相同的附图标记表示相同或类似的结构，因而将省略它们的详细描述。

增强现实技术按照实现原理可分为视频透视式和光学透视式两类。参照图1所示的视频透视式增强现实显示的原理示意图，用户的自然视野被显示屏1遮住，摄像机2拍摄真实场景的图像，计算机3利用视频合成技术将虚拟场景图像与真实场景图像叠加到一起，虚实融合场景通过显示屏1呈现给用户。参照图2所示的光学透视式的增强现实显示原理示意图，显示器件一般存在半透半反膜4，用户的自然视野不受遮挡，能够直接透过显示器件观察真实场景，同时计算机3生成的虚拟场景通过显示屏1显示并通过半透半反膜4反射到用户眼中，实现虚实场景的叠加。

参照图3所示的本发明的增强现实显示设备的电气连接示意框图；本发明首先提供了一种增强现实显示设备，该增强现实显示设备可以包括可调透光片、空间三维重建组件以及控制单元等等；所述可调透光片可以包括多个像素，每个像素的透光性能够控制；空间三维重建组件可以用于获得用户视场中真实场景的每一真实点的深度值；控制单元可以接收虚拟场景的每一虚拟点的深度值，可以用于将在同一像素显示的所述虚拟点的深度值与所述真实点的深度值进行比较，当所述真实点的深度值大于所述虚拟点的深度值时，控制所述像素不透光；当所述真实点的深度值小于所述虚拟点的深度值时，控制所述像素透光。

参照图4、图5以及图7所示，在本示例实施方式中，显示组件6可以包括镜片61以及可调透光片62。镜片61设置为半透半反镜片，即镜片61能够透过真实场景的光线至用户的眼睛5，并能够反射虚拟场景的光线至用户的眼睛5，使用户能够同时看到真实场景和虚拟场景。可调透光片62与所述镜片61贴合，可调透光片62贴合在镜片61的远离用户的一侧，即真实场景的光线先通过可调透光片62然后再通过镜片61。另外，可以在可调透光片62的靠近用户的一侧设置一层半透半反膜，通过半透半反膜可以达到透过真实场景的光线并反射虚拟场景的光线的作用，也属于本发明保护的范围。

可调透光片62可以包括多个像素，每个像素的透光性能够控制。当某像素工作在透光状态时，用户可以透过此像素位置观察到外部真实场景。当某像素工作在不透光状态时，用户在此像素位置处的视野被挡住，用户观察不到此方向的真实场景。通过控制每个像素的透光性达到控制在每个像素是否显示真实场景，从而呈现真实场景与虚拟场景的正确遮挡关系。可调透光片62可以为液晶透光片，液晶透光片的每一个像素的透光性是可以控制的。例如，可调透光片62可以为液晶结构，每个像素都是一个液晶光阀，通过控制每个像素的驱动电压，每个像素的透光性可以独立进行控制。然而本发明不限于此，在本发明的其它实施方式中，也可以是用其它的像素化、矩阵化的结构，其中每个像素可以单独进行控制。

空间三维重建组件可以包括光发射器8以及光接收器9等等，光发射器8可以用于发射光线，用户视场中真实场景将光线反射形成反射光；光接收器9可以用于接收反射光，并根据所述反射光确定所述用户视场中真实场景的每一真实点的深度值。

空间三维重建组件可以采用飞行时间法确定真实场景的每一真实点的深度值，光发射器8可以发出光脉冲至真实场景，真实场景将光线反射形成反射光，光接收器9接收反射光，通过探测光脉冲的往返时间来得到真实场景的每一真实点的深度值。

空间三维重建组件也可以采用结构光投影法确定真实场景的每一真实点的深度值，光发射器8可以投射结构光至真实场景，真实场景将结构光反射，光接收器9接收反射的结构光，该反射的结构光由于目标的凹凸造成条纹变形，通过分析处理可得出目标的形状和空间坐标，该分析处理方法为现有技术，此处不再赘述。通过空间坐标得到真实场景的每一真实点的深度值。结构光可以为标准条纹形或栅格形光线等等。

空间三维重建组件还可以采用干涉测量法、立体视觉法、离焦深度测量法等等确定真实场景的每一真实点的深度值。此处不再赘述。

增强现实显示设备还包括虚拟场景生成器，虚拟场景生成器用于生成虚拟场景，虚拟场景通过镜片61反射至用户。虚拟场景生成器可以为显示屏、投影设备等等。虚拟场景生成器与控制单元电连接，当真实点的深度值小于虚拟点的深度值时，控制像素对应的虚拟点不生成虚拟场景。避免在真实场景遮挡虚拟场景的情况下，还显示虚拟场景，造成用户位置判断出现混乱。

控制单元10可以接收虚拟场景的每一虚拟点的深度值，可以用于将在同一像素显示的所述虚拟点的深度值与所述真实点的深度值进行比较。比较后会有如下两种情况：

当所述真实点的深度值大于所述虚拟点的深度值时，判断该像素虚拟场景遮挡真实场景，则控制所述像素不透光，使用户可以看到虚拟场景而看不到真实场景。参照图4所示的本发明的增强现实显示设备一种显示效果的示意图；图中方块为真实物体R，圆球为虚拟物体V。可调透光片62上方块被圆球遮挡部分对应的像素工作在不透光状态，用户只看到方块未被遮挡部分。

当所述真实点的深度值小于所述虚拟点的深度值时，判断该像素真实场景遮挡虚拟场景，则控制所述像素透光，且控制虚拟场景生成器重新绘制虚拟图像，新的虚拟图像不显示该像素点的虚拟图像，使用户可以看到真实场景而看不到虚拟场景。参照图5所示的本发明的增强现实显示设备另一种显示效果的示意图；图中方块为真实物体R，圆球为虚拟物体V，用户只看到圆球未被遮挡部分。

增强现实显示设备还可以包括眼动信息捕获器7，眼动信息捕获器7可以用于实时监测用户的眼球运动信息；控制单元10根据所述眼球运动信息判断用户的视线以确定显示所述真实点的所述像素。具体来说，眼动信息捕获器7实时跟踪用户的眼球运动，判断用户的的视线方向，控制单元10根据视线与真实场景三维模型上每点的连线即可以判断用户视场中的真实场景每一真实点在可调透光片62上对应的像素，则控制该像素是否透光即可控制用户能否观察到真实场景上的该点。通过眼动信息捕获器7可以准确判断用户的视场范围，以便控制单元只对视场范围内的像素进行判断控制，以减少控制单元的计算量，提高运算速度。

参照图6所示的本发明的增强现实显示设备的具体流程示意图；下面对本发明的增强现实显示设备的工作过程进行详细说明。

空间三维重建组件对用户视场中的真实场景进行三维建模以获得真实场景的每一真实点的深度值。眼动信息捕获器7实时跟踪用户的眼球运动，判断用户的的视线方向；控制单元10根据视线与真实场景的三维模型上每点的连线即可以判断用户视场中的真实场景每一真实点在可调透光片62上对应的像素。同时，虚拟场景生成器生成虚拟场景以及每一虚拟点的深度值。控制单元10接收虚拟场景的每一虚拟点的深度值，并将在同一像素显示的虚拟点的深度值与真实点的深度值进行比较，当真实点的深度值大于虚拟点的深度值时，判断该像素虚拟场景遮挡真实场景，则控制像素不透光，使用户可以看到虚拟场景而看不到真实场景。当真实点的深度值小于虚拟点的深度值时，判断该像素真实场景遮挡虚拟场景，则控制像素透光，且控制虚拟场景生成器重新绘制虚拟图像，新的虚拟图像不显示该像素点的虚拟图像，使用户可以看到真实场景而看不到虚拟场景。

进一步的，本发明还提供了一种增强现实眼镜，参照图7所示的增强现实眼镜一示例实施方式的结构示意图，该增强现实眼镜包括上述增强现实显示设备。增强现实显示设备的具体结构以及工作方法上述已经进行了详细描述，此处不再赘述

在本示例实施方式中，增强现实眼镜可以包括两个镜框11以及两个镜腿12；显示组件6设于所述镜框11内，即镜片61以及可调透光片62设置在镜框11内。空间三维重建组件设于所述镜框11上，即光发射器8设置在一个镜框11上，光接收器9与光发射器8对称设置在另一个镜框11上。控制单元10设于所述镜腿12上。眼动信息捕获器7设置为两个，分别设置在两个镜框11的上框边。

本领域技术人员可以理解的是，该增强现实显示设备还可设置于头盔或面罩，形成头戴式增强现实显示装置。当然，还可以用于汽车、飞行器等，例如，用于平视显示器(Head Up Display，简称HUD)，运用在航空器上的飞行辅助仪器。

进一步的，本发明还提供了一种对应于上述增强现实显示设备的增强现实显示方法，参照图8所示的增强现实显示方法的流程框图，该增强现实显示方法可以包括以下步骤：

步骤S10，获得用户视场中真实场景的每一真实点的深度值。

步骤S20，接收虚拟场景的每一虚拟点的深度值。

步骤S30，将在同一像素显示的所述虚拟点的深度值与所述真实点的深度值进行比较，当所述真实点的深度值大于所述虚拟点的深度值时，控制所述像素不透光；当所述真实点的深度值小于所述虚拟点的深度值时，则控制所述像素透光。

在本示例实施方式中，所述增强现实显示方法还包括：当所述真实点的深度值小于所述虚拟点的深度值时，则控制所述像素对应的所述虚拟点不生成所述虚拟场景。

在本示例实施方式中，获得用户视场中真实场景的每一真实点的深度值，包括：发射光线，所述用户视场中真实场景将所述光线反射形成反射光；接收所述反射光，并根据所述反射光确定所述用户视场中真实场景的每一真实点的深度值。

在本示例实施方式中，所述增强现实显示方法还包括：实时监测用户的眼球运动信息，根据所述眼球运动信息判断用户的视线以确定与所述真实点对应的像素，即显示所述真实点的所述像素。

增强现实显示方法在上述增强现实显示设备的具体工作过程中已经进行了详细的说明，此处不再赘述。

上述所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中，如有可能，各实施例中所讨论的特征是可互换的。在上面的描述中，提供许多具体细节从而给出对本发明的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有所述特定细节中的一个或更多，或者可以采用其它的方法、组件、材料等。在其它情况下，不详细示出或描述公知结构、材料或者操作以避免模糊本发明的各方面。

本说明书中，用语“一个”、“一”、“该”、“所述”和“至少一个”用以表示存在一个或多个要素/组成部分/等；用语“包含”、“包括”和“具有”用以表示开放式的包括在内的意思并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等。

应可理解的是，本发明不将其应用限制到本说明书提出的部件的详细结构和布置方式。本发明能够具有其他实施方式，并且能够以多种方式实现并且执行。前述变形形式和修改形式落在本发明的范围内。应可理解的是，本说明书公开和限定的本发明延伸到文中和/或附图中提到或明显的两个或两个以上单独特征的所有可替代组合。所有这些不同的组合构成本发明的多个可替代方面。本说明书所述的实施方式说明了已知用于实现本发明的最佳方式，并且将使本领域技术人员能够利用本发明。

Claims (7)

1.一种增强现实显示设备，其特征在于，包括：

可调透光片，包括多个像素，每个像素的透光性能够控制；

镜片，用于透射真实场景以及反射虚拟场景至用户，所述可调透光片贴合在所述镜片的远离用户的一侧，所述镜片设置为半透半反射镜片，镜片能够透过真实场景的光线至用户的眼睛，并能够反射虚拟场景的光线至用户的眼睛；

空间三维重建组件，用于获得用户视场中真实场景的每一真实点的深度值；

控制单元，用于将在同一像素显示的虚拟点的深度值与所述真实点的深度值进行比较，当所述真实点的深度值大于所述虚拟点的深度值时，控制所述像素不透光，以遮挡所述真实点；当所述真实点的深度值小于所述虚拟点的深度值时，控制所述像素透光，以使所述增强现实显示设备显示所述真实点；

虚拟场景生成器，与所述控制单元电连接，当所述真实点的深度值小于所述虚拟点的深度值时，控制所述像素对应的所述虚拟点不生成所述虚拟场景；

眼动信息捕获器，用于实时监测用户的眼球运动信息，所述控制单元根据所述眼球运动信息判断用户的视线，并且所述控制单元根据视线与真实场景三维模型上每点的连线即可以判断用户视场中的真实场景每一真实点在可调透光片上对应的像素，进而确定所述可调透光片上和用户视场对应的区域，所述控制单元对所述可调透光片上和用户视场对应的区域的像素进行控制；

其中，所述空间三维重建组件包括：

光发射器，用于发射光线，所述用户视场中真实场景将所述光线反射形成反射光；

光接收器，用于接收所述反射光，并根据所述反射光确定所述用户视场中真实场景的每一真实点的深度值。

2.根据权利要求1所述的增强现实显示设备，其特征在于，所述可调透光片为液晶透光片。

3.一种增强现实眼镜，其特征在于，包括：

权利要求1~2任一所述的增强现实显示设备；

镜框以及镜腿；

其中，所述可调透光片设于所述镜框内，所述空间三维重建组件设于所述镜框上，所述控制单元设于所述镜腿。

4.一种增强现实显示方法，其特征在于，用于权利要求1-2任一所述的增强现实显示设备，所述方法包括：

获得用户视场中真实场景的每一真实点的深度值；

接收虚拟场景的每一虚拟点的深度值；

将在同一像素显示的所述虚拟点的深度值与所述真实点的深度值进行比较，当所述真实点的深度值大于所述虚拟点的深度值时，控制所述像素不透光；当所述真实点的深度值小于所述虚拟点的深度值时，控制所述像素透光。

5.根据权利要求4所述的增强现实显示方法，其特征在于，所述增强现实显示方法还包括：

当所述真实点的深度值小于所述虚拟点的深度值时，控制所述像素对应的所述虚拟点不生成所述虚拟场景。

6.根据权利要求4所述的增强现实显示方法，其特征在于，获得用户视场中真实场景的每一真实点的深度值，包括：

发射光线，所述用户视场中真实场景将所述光线反射形成反射光；

接收所述反射光，并根据所述反射光确定所述用户视场中真实场景的每一真实点的深度值。

7.根据权利要求4所述的增强现实显示方法，其特征在于，所述增强现实显示方法还包括：

实时监测用户的眼球运动信息，根据所述眼球运动信息判断用户的视线以确定与所述真实点对应的像素。

Images