[go: up one dir, main page]

CN107959837A - 显示装置及通过该显示装置进行显示的方法 - Google Patents

显示装置及通过该显示装置进行显示的方法 Download PDF

Info

Publication number
CN107959837A
CN107959837A CN201711209418.3A CN201711209418A CN107959837A CN 107959837 A CN107959837 A CN 107959837A CN 201711209418 A CN201711209418 A CN 201711209418A CN 107959837 A CN107959837 A CN 107959837A
Authority
CN
China
Prior art keywords
focusedimage
presented
projection
projecting apparatus
background image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711209418.3A
Other languages
English (en)
Other versions
CN107959837B (zh
Inventor
乌尔禾·孔托里
克劳斯·梅拉卡里
奥伊瓦·萨尔斯滕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shading Technology Co
Varjo Technologies Oy
Original Assignee
Shading Technology Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shading Technology Co filed Critical Shading Technology Co
Publication of CN107959837A publication Critical patent/CN107959837A/zh
Application granted granted Critical
Publication of CN107959837B publication Critical patent/CN107959837B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/54—Accessories
    • G03B21/56—Projection screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/317—Convergence or focusing systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3188—Scale or resolution adjustment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0147—Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04805—Virtual magnifying lens, i.e. window or frame movable on top of displayed information to enlarge it for better reading or selection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)

Abstract

本申请涉及一种显示装置及通过该显示装置进行显示的方法。该显示装置包括用于呈现背景图像的至少一个背景图像投影仪或至少一个背景显示器，其中，所呈现的背景图像的投影的角宽度的范围为40度至220度；用于呈现聚焦图像的至少一个聚焦图像投影仪，其中，所呈现的聚焦图像的投影的角宽度的范围为5度至60度；至少一个投影表面；图像转向单元；用于检测注视方向的装置；以及处理器，该处理器与图像转向单元和用于检测注视方向的装置以通信方式耦接。进行布置以将所呈现的聚焦图像的投影与所呈现的背景图像的投影相结合来创建视觉场景。

Description

显示装置及通过该显示装置进行显示的方法
技术领域
本公开总体上涉及视觉信息的呈现，更具体地涉及显示装置，该显示装置包括背景图像投影仪或背景显示器以及聚焦图像投影仪。此外，本公开还涉及通过上述显示装置进行显示的方法。
背景技术
近来，对诸如游戏、教育、军事训练、医疗手术训练等应用的虚拟环境进行仿真的技术有了快速的发展。具体地，诸如虚拟现实、增强现实等等之类的技术给设备的用户展示了仿真环境(通常称为“虚拟世界”)。通过在设备中的显示器上呈现构成仿真环境的图像来展示仿真环境。这种设备的示例包括头戴式虚拟现实设备、虚拟现实眼镜、增强现实耳机等。这种设备适于使用诸如体视学之类的现代技术将沉浸在仿真环境中的感觉展示给用户。通常，这种设备的视角典型地约为100°，该视角相比较典型地约为180°的人类视角而言要小得多。
此外，这种现有设备具有某些限制。在示例中，这种设备中所使用的常规显示器的尺寸较小。具体地，这种显示器提供的像素密度约为每度15像素，而人眼的中央凹(fovea)具有约每度60像素的像素密度。因此，由于像素密度低，所以这种显示器无法模仿人眼的视敏度(visual acuity)。此外，提供高像素密度的显示器尺寸过大而不能容纳在这种设备中。在另一示例中，这种设备中所使用的诸如focus+context屏幕(focus plus contextscreens)之类的传统显示器包括嵌入低分辨率显示器中的高分辨率显示器。然而，高分辨率显示器在这种focus+context屏幕内的位置通常固定在特定位置处。此外，在这种focus+context屏幕上呈现的图像在高分辨率显示器和低分辨率显示器的边缘处会出现不连续。因此，这种现有设备没有得到充分发展并且模仿人类视觉系统的能力受到限制。
因此，鉴于上述讨论，需要克服上述提及的与用于实现仿真环境的设备中所使用的传统显示器相关联的缺陷。
发明内容
本公开内容旨在提供一种显示装置。本公开还旨在提供一种通过显示装置进行显示的方法，该显示装置包括至少一个背景图像投影仪或至少一个背景显示器、以及至少一个聚焦图像投影仪。本公开旨在为以下现有问题提供解决方案：像素密度和物理尺寸间的权衡、以及在用于实现仿真环境的设备中所使用的传统显示器的图像不连续性。本公开的目的在于提供一种至少部分克服现有技术中遇到的问题的解决方案，以及提供一种逼真地模仿人类视觉系统的显示装置。
一方面，本公开的实施例提供了一种显示装置，包括：
-至少一个背景图像投影仪或至少一个背景显示器，用于呈现背景图像，其中，所呈现的背景图像的投影的角宽度的范围为40度至220度；
-至少一个聚焦图像投影仪，用于呈现聚焦图像，其中，所呈现的聚焦图像的投影的角宽度的范围为5度至60度；
-至少一个投影表面；
-图像转向单元；
-用于检测注视方向的装置；以及
-处理器，与图像转向单元和用于检测注视方向的装置以通信方式耦接，其中，处理器被配置成：
(a)接收输入图像，并使用所检测的注视方向来确定输入图像的视觉精度区域；
(b)处理输入图像以生成背景图像和聚焦图像，背景图像具有第一分辨率，而聚焦图像具有第二分辨率，其中：
-遮蔽背景图像中的与输入图像的视觉精度区域基本对应的区域，
-聚焦图像基本上对应于输入图像的视觉精度区域，以及
-第二分辨率高于第一分辨率；
(c)通过至少一个背景图像投影仪在至少一个背景显示器或至少一个投影表面上呈现背景图像；
(d)通过至少一个聚焦图像投影仪在至少一个投影表面上呈现聚焦图像；
(e)控制图像转向单元以调整所呈现的聚焦图像在至少一个投影表面上的投影的位置，以使所呈现的聚焦图像的投影与所呈现的背景图像的遮蔽区域的投影在至少一个投影表面上基本重叠；
其中，处理器被配置成基本上同时执行(c)、(d)和(e)，并且进行布置以将所呈现的聚焦图像的投影与所呈现的背景图像的投影相结合来创建视觉场景。
另一方面，本公开的实施例提供了一种通过显示装置进行显示的方法，该显示装置包括至少一个背景图像投影仪或至少一个背景显示器、至少一个聚焦图像投影仪、至少一个投影表面、图像转向单元以及用于检测注视方向的装置，该方法包括：
(i)通过至少一个背景图像投影仪或至少一个背景显示器来呈现背景图像，其中，所呈现的背景图像的投影的角宽度的范围为40度至220度；
(ii)通过至少一个聚焦图像投影仪来呈现聚焦图像，其中，所呈现的聚焦图像的投影的角宽度的范围为5度至60度；
(iii)将所呈现的聚焦图像的投影与所呈现的背景图像的投影相结合来创建视觉场景；
(iv)检测注视方向，并使用所检测到的注视方向来确定输入图像的视觉精度区域；
(v)处理输入图像以生成背景图像和聚焦图像，背景图像具有第一分辨率，而聚焦图像具有第二分辨率，第二分辨率高于第一分辨率，其中，所述处理包括：
-遮蔽背景图像中的与输入图像的视觉精度区域基本对应的区域，
-生成与输入图像的视觉精度区域基本上对应的聚焦图像，；以及
(vi)控制图像转向单元以调整所呈现的聚焦图像在至少一个投影表面上的投影的位置，以使所呈现的聚焦图像的投影与所呈现的背景图像的遮蔽区域的投影在至少一个投影表面上基本重叠，
其中，(i)、(ii)和(vi)基本上同时执行。
本公开的实施例基本上消除或至少部分解决了上述提及的在现有技术中的问题，并且能够在用于实现仿真环境的设备中所使用的显示装置内实现有效中央凹以模仿人类视觉系统。
根据附图及结合所附权利要求解释的说明性实施例的详细描述，本发明的其他方面、优点、特征及目的将变得明显。
应该理解的是，在不脱离由所附权利要求限定的本公开的范围的情况下，易于以各种组合方式对本公开的特征进行组合。
附图说明
当结合附图阅读时，可以更好地理解上述发明内容及下述说明性实施例的具体实施方式。为了说明本公开，在附图中示出了本公开的示例性结构。然而，本公开不限于本文中所公开的具体方法和手段。此外，本领域的技术人员应当理解附图并不成比例。在任何可能的情况下，类似元件由相同的附图标记来表示。
现在将参照以下附图仅通过示例来对本发明的实施例进行描述，在附图中：
图1-图2为根据本公开的实施例的显示装置的示例性结构的框图；
图3-图7为根据本公开的各实施例的显示装置的示例性实现方式；以及
图8示出了根据本公开的实施例的通过显示装置进行显示的方法的步骤。
在附图中，下划线标记用于表示其上放置有该下划线标记的项或与该下划线标记相邻的项。无下划线标记指的是通过将无下划线标记链接到项的线条来标识的项。当标记无下划线且附有相关联的箭头时，该无下划线标记用于标识箭头所指向的一般项。
具体实施方式
下面的详细描述示出了本公开的实施例及能实施这些实施例的方式。尽管已经公开了执行本公开的一些模式，但是本领域的技术人员应该认识到用于执行或实践本公开的其他实施例也是可能的。
一方面，本公开的实施例提供了一种显示装置，该显示装置包括：
-至少一个背景图像投影仪或至少一个背景显示器，用于呈现背景图像，其中，所呈现的背景图像的投影的角宽度介于40度至220度之间；
-至少一个聚焦图像投影仪，用于呈现聚焦图像，其中，所呈现的聚焦图像的投影的角宽度介于5度至60度之间；
-至少一个投影表面；
-图像转向单元；
-用于检测注视方向的装置；
-处理器，与图像转向单元和用于检测注视方向的装置以通信方式耦接，其中，处理器被配置成：
(a)接收输入图像，并使用检测到的注视方向来确定输入图像的视觉精度区域；
(b)处理输入图像以生成背景图像和聚焦图像，背景图像具有第一分辨率，而聚焦图像具有第二分辨率，其中：
-遮蔽背景图像的与输入图像的视觉精度区域基本对应的区域，
-聚焦图像基本对应于输入图像的视觉精度区域，以及
-第二分辨率高于第一分辨率；
(c)通过至少一个背景图像投影仪在至少一个背景显示器或至少一个投影表面上呈现背景图像；
(d)通过至少一个聚焦图像投影仪在至少一个投影表面上呈现聚焦图像；以及
(e)控制图像转向单元以调整所呈现的聚焦图像在至少一个投影表面上的投影的位置，以使所呈现的聚焦图像的投影与所呈现的背景图像的遮蔽区域的投影在至少一个投影表面上基本重叠，
其中，处理器被配置成基本上同时执行(c)、(d)和(e)，并且进行布置以将所呈现的聚焦图像的投影与所呈现的背景图像的投影相结合来创建视觉场景。
另一方面，本公开的实施例提供了一种通过显示装置进行显示的方法，该显示装置包括至少一个背景图像投影仪或至少一个背景显示器、至少一个聚焦图像投影仪、至少一个投影表面、图像转向单元以及用于检测注视方向的装置，该方法包括：
(i)通过至少一个背景图像投影仪或至少有一个背景显示器呈现背景图像，其中，所呈现的背景图像的投影的角宽度介于40度至220度之间；
(ii)通过至少一个聚焦图像投影仪呈现聚焦图像，其中，所呈现的聚焦图像的投影的角宽度介于5度至60度之间；
(iii)将所呈现的聚焦图像的投影与所呈现的背景图像的投影相结合来创建视觉场景；
(iv)检测注视方向，并使用检测到的注视方向来确定输入图像的视觉精度区域；
(v)处理输入图像以生成背景图像和聚焦图像，背景图像具有第一分辨率，而聚焦图像具有第二分辨率，第二分辨率高于第一分辨率，其中，所述处理包括：
-遮蔽背景图像中的与输入图像的视觉精度区域基本对应的区域，
-生成与输入图像的视觉精度区域基本上对应的聚焦图像；以及
(vi)控制图像转向单元以调整所呈现的聚焦图像在至少一个投影表面上的投影的位置，以使所呈现的聚焦图像的投影与所呈现的背景图像的遮蔽区域的投影在至少一个投影表面上基本重叠，
其中，(i)、(ii)和(vi)基本上同时执行。
本公开提供了一种显示装置和通过使用投影仪的显示装置显示的方法。本文中所描述的显示装置并不受限于适用于便于在其上呈现背景图像和/或聚焦图像的显示器(或屏幕)的大小。因此，该显示装置易于在诸如虚拟现实设备之类的小尺寸设备中实施。此外，该显示装置通过检测设备用户的眼睛的注视方向来仿真人类视觉系统的有效中央凹(active foveation)。另外，由于对投影聚焦图像和背景图像的光路进行了适当优化，所以使用所描述的显示装置显示的图像是连续的。具体地，可以使用两个或更多个投影仪来分别优化投影聚焦图像和背景图像的光路。因此，所描述的显示装置可操作成逼真地模仿与人类视觉系统类似的注视偶然性(gaze contingency)。使用所描述的显示装置显示的方法易于实施，并且拥有鲁棒的有效中央凹能力。此外，该显示装置成本低且易于制造。
该显示装置包括用于呈现背景图像的至少一个背景图像投影仪或至少一个背景显示器和用于呈现聚焦图像的至少一个聚焦图像投影仪。此外，所呈现的背景图像的投影的角宽度范围从40度至220度，所呈现的聚焦图像的投影的角宽度范围从5度至60度。进行一布置以将所呈现的聚焦图像的投影与所呈现的背景图像的投影结合来创建视觉场景。具体地，视觉场景可以与待呈现给设备用户的仿真环境内的场景对应，该设备例如为头戴式虚拟现实设备、虚拟现实眼镜、增强现实耳机等等。更具体地，视觉场景可以投影到用户的眼睛中。在这种情况下，该设备可以包括显示装置。
可选地，所呈现的背景图像的投影的角宽度可以大于220度。在这种情况下，用于呈现背景图像的背景显示器的角度尺寸可以大于220度。根据实施例，所呈现的背景图像的投影的角宽度可以例如从40度、50度、60度、70度、80度、90度、100度、110度、120度、130度、140度、150度、160度或170度直至70度、80度、90度、100度、110度、120度、130度、140度、150度、160度、170度、180度、190度、200度、210度或220度。根据另一实施例，所呈现的聚焦图像的投影的角宽度可以例如从5度、10度、15度、20度、25度、30度、35度、40度、45度或50度直至15度、20度、25度、30度、35度、40度、45度、50度、55度或60度。
至少一个背景图像投影仪或至少一个背景显示器和至少一个聚焦图像投影仪的设置有助于所呈现的聚焦图像的投影与所呈现的背景图像的投影的适当组合。如果上述提及的组合不是最佳的，则视觉场景可能会出现失真。
在实施例中，背景图像涉及在上述提及的角宽度内待通过显示装置呈现并投影的宽图像以处理与用户眼睛的运动相关联的眼跳(saccades)。在另一实施例中，聚焦图像涉及在上述提及的角宽度内待通过显示装置呈现并投影的图像以处理与用户眼睛的运动相关联的微眼跳。具体地，聚焦图像在尺寸上小于背景图像。此外，背景图像和聚焦图像在其投影组合时共同构成视觉场景。
在实施例中，本文中所使用的术语“背景显示器”涉及有助于在其上呈现背景图像的显示器(或屏幕)。具体地，至少一个背景显示器可以适于接收其上的背景图像的投影。根据实施例，背景显示器可以选自包括以下各项的分组：液晶显示器(LCD)、基于发光二极管(LED)的显示器、基于有机LED(O-LED)的显示器、基于微OLED的显示器和基于硅基液晶(LCoS)的显示器。
在另一实施例中，本文中所使用的术语“背景图像投影仪”涉及用于在与其相关联的显示器(或屏幕)上呈现背景图像的光学设备。根据实施例，背景图像投影仪可以选自包括以下各项的分组：基于液晶显示器(LCD)的投影仪、基于发光二极管(LED)的投影仪、基于有机LED(OLED)的显示器、基于微OLED的显示器、基于硅基液晶(LCoS)的显示器、基于数字光处理(DLP)的投影仪和激光投影仪。
在实施例中，至少一个背景图像投影仪可以用来将分离的背景图像投影给用户的左眼和右眼。可以理解的是，该分离的背景图像选择性地构成背景图像。根据实施例，至少一个背景图像投影仪可以包括至少两个背景图像投影仪，该至少两个背景图像投影仪中的至少一个设置成用于用户的左眼，且该至少两个背景图像投影仪中的至少一个设置成用于用户的右眼。具体地，该至少两个背景图像投影仪可使用为使至少一个背景图像投影仪可以专门地(或完全地)用来给用户的一只眼睛呈现背景图像。该至少两个背景图像投影仪使得能够分别优化构成背景图像的各个背景图像(例如，针对用户左眼的背景图像和针对用户右眼的背景图像)的光路。
在另一实施例中，该至少一个背景图像投影仪可以设置成共享地用于用户的左眼和右眼。例如，一个背景图像投影仪可以共享地在与其相关联的显示器(或屏幕)上呈现背景图像。在该示例中，一个背景图像投影仪可以将共同构成背景图像的各个背景图像(用于用户的左眼和右眼)投影到与其相关联的显示器(或屏幕)上。
需要理解的是，在给定时刻，至少一个背景显示器和至少一个背景图像投影仪中仅有一个被用于呈现背景图像。具体地，在给定时刻，可以在背景显示器或与至少一个背景图像投影仪相关联的显示器(或屏幕)上呈现背景图像。
根据另一实施例，本文中所使用的术语“聚焦图像投影仪”涉及用于在与其相关联的显示器(或屏幕)上投影聚焦图像的光学设备。根据实施例，聚焦图像投影仪可以选自包括以下各项的分组：基于液晶显示器(LCD)的投影仪、基于发光二极管(LED)的投影仪、基于有机LED(OLED)的显示器、基于硅基液晶(LCoS)的显示器、基于数字光处理(DLP)的投影仪和激光投影仪。
在实施例中，与至少一个背景图像投影仪相关联的显示器(或屏幕)和与至少一个聚焦图像投影仪相关联的显示器(或屏幕)可以是相同的(或者彼此共享的)。具体地，在该实施例中，至少一个背景图像投影仪和至少一个聚焦图像投影仪可以在公共/共享的显示器(屏幕)上分别呈现背景图像和聚焦图像。
在本公开的实施例中，至少一个聚焦图像投影仪可以包括至少两个聚焦图像投影仪，该至少两个聚焦图像投影仪中的至少一个设置成用于用户的左眼，且该至少两个聚焦图像投影仪中的至少一个设置成用于用户的右眼。具体地，该至少两个聚焦图像投影仪可使用为使至少一个聚焦图像投影仪可以专门地(或完全地)用来给用户的一只眼睛呈现聚焦图像。该至少两个聚焦图像投影仪使得能够分别优化构成聚焦图像的各个聚焦图像(例如，用于用户左眼的聚焦图像和给用户右眼的聚焦图像)的光路。
可选地，如果该至少一个聚焦图像投影仪是激光投影仪，则该至少一个聚焦图像投影仪可以设置成用于用户的两只眼睛。具体地，激光投影仪可操作成使得可以基本上同时投影用于用户双眼的各个聚焦图像。例如，一个激光投影仪可以用作该至少一个聚焦图像投影仪以基本上同时投影(用于用户的左眼和用户的右眼的)各个聚焦图像。
显示装置还包括至少一个投影表面、图像转向单元、用于检测注视方向的装置和处理器，该处理器与图像转向单元和用于检测注视方向的装置以通信方式耦接。
在实施例中，处理器可以是硬件、软件、固件或其组合，其被配置成控制显示装置的操作。具体地，处理器可以控制显示装置的操作以处理视觉场景并将其显示(或投影)在用户的眼睛上。在与用户相关联的设备内使用显示装置的情况下，处理器可以在设备外部或不可以在设备外部。
可选地，处理器还可以与存储单元通信耦接。在实施例中，存储单元可以是硬件、软件、固件或其组合，其适用于存储待由处理器处理并显示的视觉场景的图像和/或背景图像和聚焦图像。在该实施例中，存储单元可以在设备内使用或者可以位于远处。
在实施例中，用于检测注视方向的装置可以涉及用于测量用户眼睛的注视方向和眼睛运动的专用设备，诸如眼追踪器。具体地，对注视方向的精确检测使得显示装置能够在其上逼真地实现注视偶然性。此外，用于检测注视方向的装置可以被放置成与眼睛接触或不可以被放置成与眼睛接触。用于检测注视方向的装置的示例包括具有运动传感器的接触镜、监视眼睛瞳孔位置的摄像机等。
处理器被配置成接收输入图像，并使用检测到的注视方向来确定输入图像的视觉精度(visual accuracy)区域。在实施例中，本文中所使用的术语“输入图像”涉及待通过显示装置显示的视觉场景的图像。例如，可以将输入图像显示给用户的眼睛。在实施例中，输入图像可以从耦接到与用户相关联的设备的图像传感器处接收。具体地，图像传感器(诸如直通数码相机的图像传感器)可以捕获真实环境的图像作为待投影给眼睛的输入图像。在另一例中，可以从与处理器通信耦接的存储单元接收输入图像。具体地，存储单元可以被配置成以适当格式存储输入图像，该适当格式包括但不限于动态图像专家组(MPEG)、联合图像专家小组(JPEG)、标签图像文件格式(TIFF)、便携式网络图形格式(PNG)、图像互换格式(GIF)和位图文件格式(BMP)。在该实施例中，输入图像可选地是计算机生成的图像。
在接收到输入图像后，处理器由此使用检测到的注视方向来确定输入图像的视觉精度区域。在实施例中，视觉精度区域指的是输入图像中的所检测到的眼睛注视方向可以在该处聚焦的区域。具体地，视觉精度区域可以是输入图像内所感兴趣的区域(或固定点)，并且可以被投影到眼睛的中央凹上。此外，视觉精度区域可以是输入图像内的聚焦区域。因此，显而易见地，当通过人类视觉系统查看输入图像时，视觉精度区域指的是与输入图像的其他区域相比包含更多细节的区域。
此外，在确定了输入图像的视觉精度区域后，处理器被配置成处理输入图像以生成背景图像和聚焦图像，背景图像具有第一分辨率，而聚焦图像具有第二分辨率。第二分辨率高于第一分辨率。聚焦图像基本上对应于输入图像的视觉精度区域。此外，背景图像对应于输入图像的低分辨率表示。因此，背景图像包括输入图像的视觉精度区域与输入图像的剩余区域。具体地，背景图像的尺寸大于聚焦图像的尺寸，这是由于聚焦图像仅与背景图像中的所检测到的眼睛注视方向可在该处聚焦的部分对应。
在实施例中，可以根据角分辨率来理解第一分辨率和第二分辨率。具体地，指示第二分辨率的像素/度(pixels per degree)高于指示第一分辨率的像素/度。在示例中，用户眼睛的中央凹与2度的视场对应，并且接收角横截面宽度等于114像素(指示每度57像素)的聚焦图像的投影。因此，与聚焦图像对应的角像素大小等于2/114或0.017。此外，在该示例中，眼睛的视网膜与180度的视场对应，并且接收角横截面宽度等于2700像素(指示每度15像素)的背景图像的投影。因此，与背景图像对应的角像素大小等于180/2700或0.067。如所计算的，与背景图像对应的角像素大小明显大于与聚焦图像对应的角像素大小。然而，与聚焦图像相比，针对背景图像的由像素的总数量指示的感知角分辨率可以更大，这是由于聚焦图像仅与背景图像的一部分对应，其中，该部分对应于输入图像的视觉精度区域。
随着背景图像和聚焦图像的生成，背景图像中的与输入图像的视觉精度区域基本对应的区域被遮蔽。具体地，处理器可以执行该遮蔽以隐藏(或模糊)背景图像中的与输入图像的视觉精度区域对应的区域。例如，背景图像的与输入图像的视觉精度区域对应的像素可变暗(或变黑)以进行遮蔽。此外，聚焦图像基本上对应于输入图像的视觉精度区域，并且第二分辨率高于第一分辨率。
在对输入图像进行处理后，处理器被配置成通过至少一个背景图像投影仪在至少一个背景显示器或至少一个投影表面上呈现背景图像。此外，处理器被配置成通过至少一个聚焦图像投影仪在至少一个投影表面上呈现聚焦图像。需要理解的是，在给定时刻，至少一个背景显示器或至少一个投影表面以及至少一个背景图像投影仪可以用来呈现背景图像。
根据实施例，本文中所使用的术语“投影表面”涉及有助于在其上呈现背景图像的显示器(或屏幕)。具体地，至少一个投影表面可以具有适用于在其上可选地呈现背景图像和聚焦图像的透射率和反射率规格。在一示例中，该至少一个投影表面可以是非透明(例如不透光)表面。在另一示例中，该至少一个投影表面可以是半透明表面。可选地，该至少一个投影表面可以通过以下至少之一来实现：偏光片、延迟片(retarder)、光学薄膜。
在实施例中，至少一个投影表面可以设置成使得所呈现的背景图像的投影能够基本上通过，并能够基本上反射所呈现的聚焦图像的投影。在该实施例中，可将背景图像从至少一个投影表面的后侧投影到该至少一个投影表面上，而将聚焦图像从该至少一个投影表面的前侧投影到该至少一个投影表面上。在替选实施例中，至少一个投影表面可以设置成使得所呈现的聚焦图像的投影能够基本上通过，并能够基本上反射所呈现的背景图像的投影。在该实施例中，可将聚焦图像从至少一个投影表面的后侧投影到该至少一个投影表面上，而将聚焦图像从该至少一个投影表面的前侧投影到该至少一个投影表面上。
根据一实施例，至少一个投影表面可以设置成使得所呈现的背景图像和聚焦图像两者的投影能够基本通过。在该实施例中，可将聚焦图像和背景图像两者从至少一个投影表面的后侧投影到该至少一个投影表面上。根据另一实施例，至少一个投影表面可以设置成基本上反射所呈现的背景图像和聚焦图像两者的投影。在该实施例中，可将聚焦图像和背景图像两者从至少一个投影表面的前侧投影到该至少一个投影表面上。
根据本公开的实施例，该至少一个投影表面可以包括至少两个投影表面，该至少两个投影表面中的至少一个设置成用于用户的左眼，而该至少两个投影表面中的至少一个设置成用于用户的右眼。具体地，该至少两个投影表面中的至少一个可以用于给用户的左眼呈现背景图像和聚焦图像。类似地，该至少两个投影表面中的至少一个可以用于给用户的右眼呈现背景图像和聚焦图像。可选地，该至少两个投影表面中的至少一个可以是半透明的以通过其传送背景图像和/或聚焦图像的投影。
在实施例中，至少一个投影表面被实施为至少一个背景显示器的一部分。在该实施例中，处理器可以在不使用至少一个背景图像投影仪的情况下将背景图像呈现在至少一个背景显示器上。此外，在该实施例中，该至少一个背景显示器还可以适于有助于在其上呈现聚焦图像的投影。
在呈现了背景图像和聚焦图像后，处理器被配置成控制图像转向单元以调整所呈现的聚焦图像在至少一个投影表面上的投影的位置，以使所呈现的聚焦图像的投影与所呈现的背景图像的遮蔽区域的投影在该至少一个投影表面上基本上重叠。此外，处理器被配置成基本上同时执行以下操作：呈现背景图像、呈现聚焦图像以及控制图像转向单元。具体地，所呈现的背景图像和聚焦图像的组合投影可以构成输入图像的投影。背景图像和聚焦图像基本上同时呈现以避免在它们的投影组合期间发生迟滞。
所呈现的背景图像的投影的角宽度大于所呈现的聚焦图像的投影的角宽度。这可能归因于以下事实：所呈现的聚焦图像通常投影在眼睛的中央凹上及周围，而所呈现的背景图像投影在眼睛的视网膜上，眼睛的中央凹仅是视网膜的一小部分。具体地，所呈现的背景图像和聚焦图像的组合构成输入图像并且可被投影到眼睛上以将输入图像投影在眼睛上。
在实施例中，本文中所使用的术语“图像转向单元”涉及用于对所呈现的聚焦图像在至少一个投影表面上的投影进行控制的设备(诸如光学元件、机电部件等)。具体地，图像转向单元可以包括至少一个元件/部件。可选地，图像转向单元还可以操作成对所呈现的背景图像在至少一个投影表面上的投影进行控制。
在上述实施例中，图像转向单元使所呈现的聚焦图像的投影与所呈现的背景图像的遮蔽区域的投影基本上重叠，以避免输入图像的视觉精度区域的失真。具体地，输入图像的视觉精度区域出现在所呈现的低分辨率背景图像和所呈现的高分辨率聚焦图像两者内。同一区域的低分辨率图像和高分辨率图像的投影的重叠(或叠加)会导致该同一区域的外观失真。此外，与所呈现的低分辨率背景图像相比，所呈现的高分辨率聚焦图像可以包含与输入图像的视觉精度区域有关的更多信息。因此，将背景图像中的与输入图像的视觉精度区域的基本上对应的区域遮蔽，以无失真地投影所呈现的高分辨率聚焦图像。
如之前在实施例中所描述的，处理器可以被配置成遮蔽背景图像的与输入图像的视觉精度区域对应的区域，以使所显示的输入图像的视觉精度区域与所显示的输入图像的剩余区域之间的过渡区接缝(或边缘)最小。需要理解的是，所显示的输入图像的视觉精度区域对应于聚焦图像(以及背景图像的遮蔽区域)的投影，而所显示的输入图像的剩余区域对应于背景图像的投影。具体地，该遮蔽应以渐变的方式执行以在背景图像和聚焦图像叠加时使过渡区接缝最小，从而使得所显示的输入图像表现为连续。例如，处理器可以使与输入图像的视觉精度区域对应的背景图像的像素明显变暗，并随着背景图像与输入图像的视觉精度区域的距离增大而逐渐减少使像素变暗的量。如果所呈现的背景图像和聚焦图像的叠加(或重叠)投影的对齐及外观是不正确的和/或具有不连续性，则所显示的输入图像也是不正确的。
可选地，遮蔽背景图像的与输入图像的视觉精度区域基本上对应的区域可通过以下方式执行：在过渡区处的背景图像和聚焦图像之间使用相反值的线性透明遮蔽混合模式、包含自然地难以被用户的眼睛检测到的形状的隐藏(或伪装)图案等。
在实施例中，图像转向单元可以包括至少一个第一驱动器，该至少一个第一驱动器用于使聚焦图像投影仪相对于至少一个投影表面运动，其中，处理器被配置成控制该至少一个第一驱动器以调整所呈现的聚焦图像在该至少一个投影表面上的投影的位置。具体地，当眼睛的注视方向从一个方向偏移到另一方向时，该至少一个第一驱动器可以使聚焦图像投影仪移动。在这种情况下，聚焦图像投影仪和至少一个投影表面的布置方式可能不能将所呈现的聚焦图像投影到眼睛的中央凹上及其周围。因此，处理器可以控制至少一个第一驱动器以使聚焦图像投影仪相对于至少一个投影表面运动，从而调整所呈现的聚焦图像在该至少一个投影表面上的投影的位置，以使即使在沿注视方向发生移位时所呈现的聚焦图像也可以投影在眼睛的中央凹上及周围。更具体地，处理器可以通过生成驱动信号(诸如电流、液压等)来控制该至少一个第一驱动器。
在示例中，至少一个第一驱动器可以使聚焦图像投影仪靠近或远离至少一个投影表面。在另一示例中，至少一个第一驱动器可以使聚焦图像投影仪相对于至少一个投影表面侧向运动。在又一示例中，至少一个第一驱动器可以使聚焦图像投影仪相对于至少一个投影表面倾斜和/或旋转。
根据实施例，图像转向单元可以包括至少一个光学元件和至少一个第二驱动器，该至少一个光学元件位于至少一个投影表面和至少一个聚焦图像投影仪之间的光路上，该至少一个第二驱动器用于使该至少一个光学元件相对于该至少一个聚焦图像投影仪运动。该至少一个光学元件选自包括以下各项的分组：透镜、棱镜、反射镜、分束器和光波导。在该实施例中，处理器被配置成控制至少一个第二驱动器以调整所呈现的聚焦图像在至少一个投影表面上的投影的位置。具体地，该至少一个光学元件可以改变将所呈现的聚焦图像投影在至少一个投影表面上的光路，以使得即使在沿注视方向发生移位时也有助于将所呈现的聚焦图像投影在眼睛的中央凹上及周围。更具体地，处理器可以通过生成驱动信号(诸如电流、液压等)来控制该至少一个第二驱动器。
例如，棱镜可以位于投影表面和聚焦图像投影仪之间的光路上。具体地，投影所呈现的聚焦图像的光路可以在通过棱镜时改变以调整所呈现的聚焦图像在投影表面上的投影的位置。此外，可以通过第二驱动器使棱镜横向和/或侧向运动、旋转、倾斜等，以使得即使在沿注视方向发生移位时也有助于将所呈现的聚焦图像投影到眼睛的中央凹上及周围。
例如，位于至少一个投影表面和至少一个聚焦图像投影仪之间的光路上的至少一个光学元件可以是光波导。具体地，光波导可以设置成使得聚焦图像的投影能够通过该光波导，并且能够调整所呈现的聚焦图像在至少一个投影表面上的投影的位置。因此，光波导可以是半透明的。在实施例中，光波导中还可以包括诸如微棱镜、反射镜、衍射光学器件等等之类的光学元件。
在实施例中，图像转向单元包括用于使至少一个投影表面运动的至少一个第三驱动器，其中，处理器被配置成控制该至少一个第三驱动器以调整所呈现的聚焦图像在至少一个投影表面上的投影的位置。具体地，该至少一个第三驱动器可以使至少一个投影表面运动以使得即使在沿注视方向发生移位时也有助于将所呈现的聚焦图像投影在眼睛的中央凹上及周围。更具体地，处理器可以通过生成驱动信号(诸如电流、液压等)来控制该至少一个第三驱动器。
在一示例中，至少一个第三驱动器可以使至少一个投影表面靠近或远离至少一个聚焦图像投影仪。在另一示例中，至少一个第三驱动器可以使至少一个投影表面相对于至少一个聚焦图像投影仪侧向运动。在又一示例中，该至少一个第三驱动器可以使至少一个投影表面倾斜和/或旋转。
根据实施例，显示元件可以包括至少一个聚焦透镜和至少一个第四驱动器，该至少一个聚焦透镜位于至少一个投影表面和至少一个聚焦图像投影仪之间的光路上，该至少一个第四驱动器用于使该至少一个聚焦透镜相对于该至少一个聚焦图像投影仪运动。此外，在该实施例中，处理器被配置成控制该至少一个第四驱动器以调整所呈现的聚焦图像在至少一个投影表面上的投影的焦点。具体地，该至少一个聚焦透镜可以利用其特有的属性通过改变光路来调整所呈现的聚焦图像的投影的焦点。更具体地，可以对所呈现的聚焦图像的投影的焦点进行调整以适应屈光度调节、散光度校正等。此外，处理器可以通过生成驱动信号(诸如电流、液压等)来控制该至少一个第四驱动器。
根据另一实施例，显示装置可以包括至少一个聚焦透镜，该至少一个聚焦透镜位于至少一个第一光学元件和至少一个聚焦显示器之间的光路上，其中，处理器被配置成通过给该至少一个聚焦透镜施加控制信号来控制至少一个聚焦透镜的至少一个有源光学特性。具体地，该至少一个聚焦透镜的至少一个有源光学特性可以包括但不限于焦距和光功率。此外，在该实施例中，控制信号可以是电信号、液压等。
在实施例中，至少一个聚焦透镜可以是液晶透镜(LC透镜)等。可选地，至少一个聚焦透镜可以位于至少一个第一光学元件和至少一个背景显示器之间的光路上。
在实施例中，处理器可以针对至少一个投影表面实施图像处理功能。具体地，可以在将背景图像和聚焦图像呈现在至少一个投影表面上之前实施图像处理功能。更具体地，该图像处理功能的实施可以优化所呈现的背景图像和聚焦图像的质量。因此，可以通过将至少一个投影表面的特性和输入图像的特性考虑在内来选择图像处理功能。
根据实施例，针对至少一个投影表面的图像处理功能可以包括用于优化感知到的背景图像质量和/或聚焦图像质量的至少一个功能，该至少一个功能选自包括以下各项的分组：低通滤波、色彩处理和伽马校正。在实施例中，针对至少一个投影表面的图像处理功能还可以包括边缘处理以使所呈现的背景图像和聚焦图像的组合投影的边界上的感知失真最小化。
本说明书还涉及一种如上所述的方法。以上公开的各实施例和变型同样适用于该方法。更具体地，可以通过控制图像转向单元的至少一个第一驱动器以使聚焦图像投影仪相对于至少一个投影表面运动来调整所呈现的聚焦图像的投影的位置。
根据另一实施例，可以通过控制图像转向单元的至少一个第二驱动器以使图像转向单元的至少一个光学元件相对于至少一个聚焦图像投影仪运动来调整所呈现的聚焦图像的投影的位置，其中，该至少一个光学元件位于至少一个投影表面和至少一个聚焦图像投影仪之间的光路上，和/或可以通过控制图像转向单元的至少一个第三驱动器以使至少一个投影表面运动来调整所呈现的聚焦图像的投影的位置。
该方法还可以包括通过控制显示装置的至少一个第四驱动器以使显示装置的至少一个聚焦透镜相对于至少一个聚焦图像投影仪运动来调整所呈现的聚焦图像的投影的焦点，其中，该至少一个聚焦透镜位于至少一个投影表面和至少一个聚焦图像投影仪之间的光路上。
具体附图说明
参照图1，其示出了根据本公开的实施例的显示装置100的示例性结构的框图。显示装置100包括用于呈现背景图像的至少一个背景图像投影仪或至少一个背景显示器102和用于呈现聚焦图像的至少一个聚焦图像投影仪104。进行布置以将所呈现的聚焦图像的投影与所呈现的背景图像的投影结合来创建视觉场景。
参照图2，其示出了根据本公开的另一实施例的显示装置200的示例性结构的框图。显示装置200包括至少一个投影表面202、至少一个背景图像投影仪或至少一个背景显示器204、至少一个聚焦图像投影仪206、图像转向单元208、用于检测注视方向的装置210和处理器212。处理器212与图像转向单元208和用于检测注视方向的装置210通信耦接。此外，处理器212还耦接到至少一个投影表面202、至少一个背景图像投影仪或至少一个背景显示器204和至少一个聚焦图像投影仪206。
参照图3，其示出了根据本公开的实施例的显示装置300的示例性实现方式。如所示出的，显示装置300包括至少一个投影表面(描述为投影表面302)、至少一个背景图像投影仪(描述为背景图像投影仪304)、至少一个聚焦图像投影仪(描述为聚焦图像投影仪306)、用于检测注视方向的装置(未示出)、处理器(未示出)和图像转向单元，该图像转向单元包括至少一个第一驱动器(未示出)、至少一个光学元件(描述为光学元件308)和至少一个第二驱动器(未示出)。例如，光学元件308选自包括以下各项的分组：透镜、棱镜、反射镜、分束器和光波导。显示装置300的处理器被配置成通过背景图像投影仪304在投影表面302上呈现背景图像310并通过聚焦图像投影仪306在投影表面302上呈现聚焦图像312。此外，显示装置300的处理器被配置成控制第二驱动器(未示出)以调整所呈现的聚焦图像312在投影表面302上的投影的位置。如所示出的，从投影表面302的同一侧投影背景图像310和聚焦图像312两者。
参照图4，其示出了根据本公开的另一实施例的显示装置400的示例性实现方式。如所示出的，显示装置400包括至少一个投影表面(描述为投影表面402)、至少一个背景图像投影仪(描述为背景图像投影仪404)、至少一个聚焦图像投影仪(描述为聚焦图像投影仪406)、用于检测注视方向的装置(未示出)、处理器(未示出)和图像转向单元(未示出)。显示装置400的处理器被配置成通过背景图像投影仪404在投影表面402上呈现背景图像408并通过聚焦图像投影仪406在投影表面402上呈现聚焦图像410。如所示出的，从投影表面402的前侧投影背景图像408，而从投影表面402的后侧投影聚焦图像410。
参照图5，其示出了根据本公开的另一实施例的显示装置500的示例性实现方式。如所示出的，显示装置500包括至少一个投影表面、至少一个背景图像投影仪(描述为背景图像投影仪504)、至少一个聚焦图像投影仪、用于检测注视方向的装置(未示出)、处理器(未示出)以及图像转向单元(未示出)，该至少一个投影表面包括至少两个投影表面(描述为投影表面502A和502B)，该至少一个聚焦图像投影仪包括至少两个聚焦图像投影仪(描述为聚焦图像投影仪506A和506B)。此外，该至少两个投影表面中的投影表面502A设置成用于用户的左眼，而该至少两个投影表面中的投影表面502B设置成用于用户的右眼。此外，该至少两个聚焦图像投影仪中的聚焦图像投影仪506A设置成用于用户的左眼，而该至少两个聚焦图像投影仪中的聚焦图像投影仪506B设置成用于用户的右眼。显示装置500的处理器被配置成通过背景图像投影仪504分别在两个投影表面502A和502B上呈现背景图像(描述为两个背景图像508A和508B)。在这种情况下，背景图像508A用于用户的左眼，而背景图像508B用于用户的右眼。此外，显示装置500的处理器被配置成分别通过两个聚焦图像投影仪506A和506B在两个投影表面502A和502B上呈现聚焦图像(描述为两个聚焦图像510A和510B)。在这种情况下，聚焦图像510A用于用户的左眼，而聚焦图像510B用于用户的右眼。如所示出的，从该至少一个投影表面的同一侧投影背景图像508A和508B及聚焦图像510A和510B两者。
参照图6，其示出了根据本公开的另一实施例的显示装置600的示例性实现方式。如所示出的，显示装置600包括至少一个投影表面、至少一个聚焦图像投影仪、用于检测注视方向的装置(未示出)、处理器(未示出)和图像转向单元(未示出)，该至少一个投影表面被实现为至少一个背景显示器(描述为背景显示器602)的一部分，该至少一个聚焦图像投影仪包括至少两个聚焦图像投影仪(描述为两个聚焦图像投影仪604A和604B)。显示装置600的处理器被配置成在背景显示器602上呈现背景图像606。此外，显示装置600的处理器被配置成分别通过两个聚焦图像投影仪604A和604B在被实现为背景显示器602的一部分的至少一个投影表面上呈现聚焦图像(描述为两个聚焦图像608A和608B)。在这种情况下，聚焦图像608A用于用户的左眼，而聚焦图像608B用于用户的右眼。如所示出的，从被实现为背景显示器602的一部分的至少一个投影表面的同一侧投影聚焦图像608A和608B两者。
参照图7，其示出了根据本公开的另一实施例的显示装置700的示例性实现方式。如所示出的，显示装置700包括被实现为至少一个背景显示器的一部分的至少一个投影表面702以及至少一个聚焦图像投影仪704。此外，显示装置700包括图像转向单元，该图像转向单元包括至少一个光学元件706，该至少一个光学元件位于至少一个投影表面702和至少一个聚焦图像投影仪704之间的光路上。如所示出的，该至少一个光学元件706是光波导。此外，显示装置700的处理器被配置成控制至少一个第二驱动器(未示出)以调整所呈现的聚焦图像的投影在至少一个投影表面702上的位置。该至少一个光学元件706(或所描述的光波导)中还包括诸如微棱镜、反射镜、衍射光学器件等等之类的光学元件708。
参照图8，其示出了根据本公开的实施例的通过显示装置(诸如图1的显示装置100)进行显示的方法800。在步骤802中，通过至少一个背景图像投影仪或至少一个背景显示器来呈现背景图像，其中，所呈现的背景图像的投影的角宽度范围为40度至220度。在步骤804中，通过至少一个聚焦图像投影仪来呈现聚焦图像，其中，所呈现的聚焦图像的投影的角宽度范围为5度至60度。在步骤806中，将所呈现的聚焦图像的投影与所呈现的背景图像的投影结合来创建视觉场景。
此处步骤802至步骤806仅是说明性的，并且此处在不脱离权利要求的范围的情况下，也可以提供其中增加一个或多个步骤、移除一个或多个步骤或者以不同的顺序提供一个或多个步骤的其他替代方案。在一示例中，方法800中，可以通过控制图像转向单元的至少一个第一驱动器以使聚焦图像投影仪相对于至少一个投影表面运动来调整所呈现的聚焦图像的投影的位置。在另一示例中，方法800中，可以通过控制图像转向单元的至少一个第二驱动器以使图像转向单元的至少一个光学元件相对于至少一个聚焦图像投影仪运动来调整所呈现的聚焦图像的投影的位置，其中，该至少一个光学元件位于至少一个投影表面和至少一个聚焦图像投影仪之间的光路上。在又一示例中，在方法800中，可以通过控制图像转向单元的至少一个第三驱动器以使至少一个投影表面运动来调整所呈现的聚焦图像的投影的位置。可选地，该方法800可包括通过控制显示装置的至少一个第四驱动器以使显示装置的至少一个聚焦透镜相对于至少一个聚焦图像投影仪运动来调整所呈现的聚焦图像的投影的焦点，其中，该至少一个聚焦透镜位于至少一个投影表面和至少一个聚焦图像投影仪之间的光路上。
在不脱离所附权利要求限定的本公开的范围的情况下，可以对本公开前述的实施例做出修改。诸如“包括”、“包含”、“结合”、“具有”、“为”之类的用于描述和提出本公开的表述旨在于以非排他性的方式来理解，即允许存在未明确描述的项、部件或元件。对单数的提及也可以被理解成涉及复数。

Claims (18)

1.一种显示装置，包括：
-至少一个背景图像投影仪或至少一个背景显示器，用于呈现背景图像，其中，所呈现的背景图像的投影的角宽度介于40度至220度之间；以及
-至少一个聚焦图像投影仪，用于呈现聚焦图像，其中，所呈现的聚焦图像的投影的角宽度介于5度至60度之间；
-至少一个投影表面；
-图像转向单元；
-用于检测注视方向的装置；以及
-处理器，与所述图像转向单元和用于检测注视方向的所述装置以通信方式耦接，其中，所述处理器被配置成：
(a)接收输入图像，并使用所检测的注视方向来确定所述输入图像的视觉精度区域；
(b)处理所述输入图像以生成背景图像和聚焦图像，所述背景图像具有第一分辨率，所述聚焦图像具有第二分辨率，其中：
-遮蔽所述背景图像中的与所述输入图像的所述视觉精度区域基本对应的区域，
-所述聚焦图像基本对应于所述输入图像的所述视觉精度区域，以及
-所述第二分辨率高于所述第一分辨率；
(c)通过所述至少一个背景图像投影仪在所述至少一个背景显示器或所述至少一个投影表面上呈现所述背景图像；
(d)通过所述至少一个聚焦图像投影仪在所述至少一个投影表面上呈现所述聚焦图像；以及
(e)控制所述图像转向单元以调整所呈现的聚焦图像在所述至少一个投影表面上的投影的位置，以使所呈现的聚焦图像的投影与所呈现的背景图像的遮蔽区域的投影在所述至少一个投影表面上基本重叠，
其中，所述处理器被配置成基本上同时执行(c)、(d)和(e)，并且进行布置以将所呈现的聚焦图像的投影与所呈现的背景图像的投影相结合来创建视觉场景。
2.根据权利要求1所述的显示装置，其中，所述至少一个聚焦图像投影仪包括至少两个聚焦图像投影仪，所述至少两个聚焦图像投影仪中的至少一个设置成用于用户的左眼，且所述至少两个聚焦图像投影仪中的至少一个设置成用于用户的右眼。
3.根据权利要求1或2所述的显示装置，其中，所述至少一个背景图像投影仪包括至少两个背景图像投影仪，所述至少两个背景图像投影仪中的至少一个设置成用于用户的左眼，且所述至少两个背景图像投影仪中的至少一个设置成用于用户的右眼。
4.根据权利要求1或2所述的显示装置，其中，所述至少一个背景图像投影仪设置成共享地用于用户的左眼和右眼。
5.根据权利要求1或2所述的显示装置，其中，所述至少一个投影表面包括至少两个投影表面，所述至少两个投影表面中的至少一个设置成用于用户的左眼，且所述至少两个投影表面中的至少一个设置成用于用户的右眼。
6.根据权利要求1或2所述的显示装置，其中，所述至少一个投影表面被实现为所述至少一个背景显示器的一部分。
7.根据权利要求1或2所述的显示装置，其中，所述至少一个投影表面通过以下至少之一来实现：偏光片、延迟片、光学薄膜。
8.根据权利要求1或2所述的显示装置，其中，所述图像转向单元包括至少一个第一驱动器，所述至少一个第一驱动器用于使聚焦图像投影仪相对于所述至少一个投影表面运动，其中，所述处理器被配置成控制所述至少一个第一驱动器以调整所呈现的聚焦图像在所述至少一个投影表面上的投影的位置。
9.根据权利要求1或2所述的显示装置，其中，所述图像转向单元包括：
-至少一个光学元件，其位于所述至少一个投影表面和所述至少一个聚焦图像投影仪之间的光路上，所述至少一个光学元件选自包括以下各项的分组：透镜、棱镜、反射镜、分束器和光波导；以及
-至少一个第二驱动器，其用于使所述至少一个光学元件相对于所述至少一个聚焦图像投影仪运动；
其中，所述处理器被配置成控制所述至少一个第二驱动器以调整所呈现的聚焦图像在所述至少一个投影表面上的投影的位置。
10.根据权利要求1或2所述的显示装置，其中，所述图像转向单元包括至少一个第三驱动器，所述至少一个第三驱动器用于使所述至少一个投影表面运动，其中，所述处理器被配置成控制所述至少一个第三驱动器以调整所呈现的聚焦图像在所述至少一个投影表面上的投影的位置。
11.根据权利要求1或2所述的显示装置，其中，所述显示装置包括：
-至少一个聚焦透镜，其位于所述至少一个投影表面和所述至少一个聚焦图像投影仪之间的光路上；以及
-至少一个第四驱动器，其用于使所述至少一个聚焦透镜相对于所述至少一个聚焦图像投影仪运动，
其中，所述处理器被配置成控制所述至少一个第四驱动器以调整所呈现的聚焦图像的投影的焦点。
12.根据权利要求2所述的显示装置，其中，所述显示装置包括：
-至少一个聚焦透镜，其位于至少一个第一光学元件和至少一个聚焦显示器之间的光路上，
其中，所述处理器被配置成通过对所述至少一个聚焦透镜施加控制信号来控制所述至少一个聚焦透镜的至少一个有源光学特性。
13.根据权利要求1或2所述的显示装置，其中，所述背景显示器选自包括以下各项的分组：液晶显示器、基于发光二极管的显示器、基于有机发光二极管的显示器、基于微有机发光二极管的显示器和基于硅基液晶的显示器。
14.根据权利要求1或2所述的显示装置，其中，所述背景图像投影仪和/或所述聚焦图像投影仪分别选自包括以下各项的分组：基于液晶显示器的投影仪、基于发光二极管的投影仪、基于有机发光二极管的显示器、基于硅基液晶的投影仪、基于数字光处理的投影仪和激光投影仪。
15.一种通过显示装置进行显示的方法，所述显示装置包括至少一个背景图像投影仪或至少一个背景显示器、至少一个聚焦图像投影仪、至少一个投影表面、图像转向单元以及用于检测注视方向的装置，所述方法包括：
(i)通过所述至少一个背景图像投影仪或所述至少一个背景显示器来呈现背景图像，其中，所呈现的背景图像的投影的角宽度介于40度至220度之间；
(ii)通过所述至少一个聚焦图像投影仪来呈现聚焦图像，其中，所呈现的聚焦图像的投影的角宽度介于5度至60度之间；
(iii)将所呈现的聚焦图像的投影与所呈现的背景图像的投影相结合来创建视觉场景；
(iv)检测注视方向，并使用所检测到的注视方向来确定输入图像的视觉精度区域；
(v)处理所述输入图像以生成背景图像和聚焦图像，所述背景图像具有第一分辨率，所述聚焦图像具有第二分辨率，所述第二分辨率高于所述第一分辨率，其中，所述处理包括：
-遮蔽所述背景图像中的与所述输入图像的视觉精度区域基本对应的区域，
-生成与所述输入图像的视觉精度区域基本上对应的聚焦图像；以及
(vi)控制所述图像转向单元以调整所呈现的聚焦图像在所述至少一个投影表面上的投影的位置，以使所呈现的聚焦图像的投影与所呈现的背景图像的遮蔽区域的投影在所述至少一个投影表面上基本重叠，
其中，(i)、(ii)和(vi)基本上同时执行。
16.根据权利要求15所述的方法，其中，通过控制所述图像转向单元的至少一个第一驱动器以使聚焦图像投影仪相对于所述至少一个投影表面运动来调整所呈现的聚焦图像的投影的位置。
17.根据权利要求15或16所述的方法，其中，通过控制所述图像转向单元的至少一个第二驱动器以使所述图像转向单元的至少一个光学元件相对于所述至少一个聚焦图像投影仪运动来调整所呈现的聚焦图像的投影的位置，其中，所述至少一个光学元件位于所述至少一个投影表面和所述至少一个聚焦图像投影仪之间的光路上，和/或通过控制所述图像转向单元的至少一个第三驱动器以使所述至少一个投影表面运动来调整所呈现的聚焦图像的投影的位置。
18.根据权利要求15或16所述的方法，还包括：通过控制所述显示装置的至少一个第四驱动器以使所述显示装置的至少一个聚焦透镜相对于所述至少一个聚焦图像投影仪运动来调整所呈现的聚焦图像的投影的焦点，其中，所述至少一个聚焦透镜位于所述至少一个投影表面和所述至少一个聚焦图像投影仪之间的光路上。
CN201711209418.3A 2016-12-01 2017-11-27 显示装置及通过该显示装置进行显示的方法 Active CN107959837B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/366,497 2016-12-01
US15/366,497 US9711114B1 (en) 2016-12-01 2016-12-01 Display apparatus and method of displaying using projectors

Publications (2)

Publication Number Publication Date
CN107959837A true CN107959837A (zh) 2018-04-24
CN107959837B CN107959837B (zh) 2018-11-16

Family

ID=59297841

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711209418.3A Active CN107959837B (zh) 2016-12-01 2017-11-27 显示装置及通过该显示装置进行显示的方法

Country Status (7)

Country Link
US (1) US9711114B1 (zh)
EP (1) EP3330772B1 (zh)
JP (1) JP6423945B2 (zh)
KR (1) KR101977903B1 (zh)
CN (1) CN107959837B (zh)
HK (1) HK1247014B (zh)
SG (1) SG10201709781TA (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110764342A (zh) * 2019-11-19 2020-02-07 四川长虹电器股份有限公司 智能投影显示装置及其投影画面的调整方法

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3602181B1 (en) 2017-03-27 2025-01-15 Avegant Corp. Steerable foveal display
US10602033B2 (en) * 2017-05-02 2020-03-24 Varjo Technologies Oy Display apparatus and method using image renderers and optical combiners
US10495895B2 (en) * 2017-06-14 2019-12-03 Varjo Technologies Oy Display apparatus and method of displaying using polarizers
US10371998B2 (en) 2017-06-29 2019-08-06 Varjo Technologies Oy Display apparatus and method of displaying using polarizers and optical combiners
KR102461253B1 (ko) * 2017-07-24 2022-10-31 삼성전자주식회사 시선 추적기를 구비하는 투사형 디스플레이 장치
US10578869B2 (en) * 2017-07-24 2020-03-03 Mentor Acquisition One, Llc See-through computer display systems with adjustable zoom cameras
US10155166B1 (en) * 2017-09-08 2018-12-18 Sony Interactive Entertainment Inc. Spatially and user aware second screen projection from a companion robot or device
US10614734B2 (en) * 2018-03-06 2020-04-07 Varjo Technologies Oy Display apparatus and method of displaying using controllable scanning mirror
CN113196132A (zh) 2018-12-07 2021-07-30 阿维甘特公司 可操纵定位元件
CA3125739A1 (en) 2019-01-07 2020-07-16 Avegant Corp. Control system and rendering pipeline
US20200225734A1 (en) * 2019-01-11 2020-07-16 Varjo Technologies Oy Display apparatus and method of indicating level of immersion using visual indicator
US10764567B2 (en) * 2019-01-22 2020-09-01 Varjo Technologies Oy Display apparatus and method of displaying
US10725304B1 (en) * 2019-03-28 2020-07-28 Facebook Technologies, Llc Compensatory image during swift-eye movement
US10466489B1 (en) 2019-03-29 2019-11-05 Razmik Ghazaryan Methods and apparatus for a variable-resolution screen
US11586049B2 (en) 2019-03-29 2023-02-21 Avegant Corp. Steerable hybrid display using a waveguide
US10554940B1 (en) 2019-03-29 2020-02-04 Razmik Ghazaryan Method and apparatus for a variable-resolution screen
US11284053B2 (en) 2019-03-29 2022-03-22 Razmik Ghazaryan Head-mounted display and projection screen
JPWO2021049473A1 (zh) 2019-09-09 2021-03-18
CN114930226A (zh) 2020-01-06 2022-08-19 阿维甘特公司 具有颜色特定调制的头戴式系统
CN111294579B (zh) * 2020-02-19 2021-12-28 母国标 投影画面与幕布中心对准方法和系统
FR3107611B1 (fr) 2020-02-26 2022-03-04 Aledia Ecran d’affichage à résolution multiple et procédé de réalisation
KR20220081162A (ko) 2020-12-08 2022-06-15 삼성전자주식회사 포비티드 디스플레이 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102540463A (zh) * 2010-09-21 2012-07-04 微软公司 用于透视头戴式显示器的不透明度滤光器
CN102726050A (zh) * 2009-07-31 2012-10-10 和乐格拉飞卡公司 显示三维图像的方法及设备
WO2016130941A1 (en) * 2015-02-12 2016-08-18 Google Inc. Combining a high resolution narrow field display and a mid resolution wide field display

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US931683A (en) 1908-06-06 1909-08-17 George S Cox And Brother Haircloth-loom.
US4479784A (en) * 1981-03-03 1984-10-30 The Singer Company Eye line-of-sight responsive wide angle visual system
JP2741063B2 (ja) * 1989-05-02 1998-04-15 株式会社エイ・ティ・アール通信システム研究所 広視野表示装置
JPH04156584A (ja) * 1990-10-19 1992-05-29 Nec Kagoshima Ltd 表示装置
JPH0777665A (ja) * 1993-03-29 1995-03-20 Canon Inc 画像表示装置及びその為の画像撮影装置
US5394203A (en) * 1994-06-06 1995-02-28 Delco Electronics Corporation Retracting head up display with image position adjustment
JPH08313843A (ja) * 1995-05-16 1996-11-29 Agency Of Ind Science & Technol 視線追従方式による広視野高解像度映像提示装置
US5956180A (en) * 1996-12-31 1999-09-21 Bass; Robert Optical viewing system for asynchronous overlaid images
JPH11109278A (ja) * 1997-10-03 1999-04-23 Minolta Co Ltd 映像表示装置
US7872635B2 (en) 2003-05-15 2011-01-18 Optimetrics, Inc. Foveated display eye-tracking system and method
US7488072B2 (en) * 2003-12-04 2009-02-10 New York University Eye tracked foveal display by controlled illumination
JP2005202221A (ja) * 2004-01-16 2005-07-28 Toshiba Corp 表示装置
US7973834B2 (en) 2007-09-24 2011-07-05 Jianwen Yang Electro-optical foveated imaging and tracking system
JP2010153983A (ja) * 2008-12-24 2010-07-08 Panasonic Electric Works Co Ltd 投影型映像表示装置および該方法
US9292973B2 (en) * 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US9025252B2 (en) * 2011-08-30 2015-05-05 Microsoft Technology Licensing, Llc Adjustment of a mixed reality display for inter-pupillary distance alignment
US8638498B2 (en) * 2012-01-04 2014-01-28 David D. Bohn Eyebox adjustment for interpupillary distance
JP2014059432A (ja) * 2012-09-18 2014-04-03 Seiko Epson Corp 画像表示システム
WO2016187352A1 (en) * 2015-05-18 2016-11-24 Daqri, Llc Threat identification system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102726050A (zh) * 2009-07-31 2012-10-10 和乐格拉飞卡公司 显示三维图像的方法及设备
CN102540463A (zh) * 2010-09-21 2012-07-04 微软公司 用于透视头戴式显示器的不透明度滤光器
WO2016130941A1 (en) * 2015-02-12 2016-08-18 Google Inc. Combining a high resolution narrow field display and a mid resolution wide field display

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110764342A (zh) * 2019-11-19 2020-02-07 四川长虹电器股份有限公司 智能投影显示装置及其投影画面的调整方法

Also Published As

Publication number Publication date
EP3330772A1 (en) 2018-06-06
HK1247014B (zh) 2019-09-13
KR20180062947A (ko) 2018-06-11
EP3330772B1 (en) 2020-06-03
CN107959837B (zh) 2018-11-16
JP2018109746A (ja) 2018-07-12
KR101977903B1 (ko) 2019-05-13
US9711114B1 (en) 2017-07-18
JP6423945B2 (ja) 2018-11-14
SG10201709781TA (en) 2018-07-30

Similar Documents

Publication Publication Date Title
CN107959837B (zh) 显示装置及通过该显示装置进行显示的方法
CN107783298B (zh) 显示装置及使用该显示装置进行显示的方法
CN107439011B (zh) 在后期重投影中的视网膜位置
US9791926B2 (en) Light management for image and data control
US11480784B2 (en) Binocular display with digital light path length modulation
US20190385342A1 (en) Wearable image manipulation and control system with micro-displays and augmentation of vision and sensing in augmented reality glasses
JP5801401B2 (ja) 透過頭部装着ディスプレイ用不透明フィルター
EP3548955B1 (en) Display apparatus and method of displaying using image renderers and optical combiners
WO2020014705A1 (en) Wearable image manipulation and control system with micro-displays and augmentation of vision and sensing in augmented reality glasses
TWI838640B (zh) 改善雙眼視覺的系統與方法
CN110770636B (zh) 具有矫正视力缺陷、增强视力和感知能力的可穿戴图像处理和控制系统
CN113419350B (zh) 虚拟现实显示设备、画面呈现方法、装置及存储介质
CN107148591A (zh) 显示装置和显示控制方法
WO2018100236A1 (en) Display apparatus and method using portable electronic device
EP3548956B1 (en) Imaging system and method of producing context and focus images
CN107959838B (zh) 显示装置及通过该显示装置进行显示的方法
JP2007014393A (ja) 視力回復訓練装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1247014

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant