CN116209942A

CN116209942A - 具有应变仪计算的护目镜

Info

Publication number: CN116209942A
Application number: CN202180064466.6A
Authority: CN
Inventors: 杰森·海格; 拉塞尔·巴顿
Original assignee: Snap Inc
Current assignee: Snap Inc
Priority date: 2020-09-28
Filing date: 2021-09-24
Publication date: 2023-06-02
Also published as: KR20230079138A; US20220103802A1; WO2022066989A1; EP4217791A1; US20240171722A1; US11917120B2

Abstract

包括集成到护目镜的镜架中的传感器的护目镜。在一个示例中，该传感器包括应变仪，诸如金属箔仪，该应变仪被配置成当由用户佩戴时并且在不同的力分布下通过测量镜架在弯曲时的应变来感测和测量镜架的扭曲。由应变仪测量的应变被处理器感测，并且处理器基于所测量的应变来执行图像处理的动态标定。由应变仪测量的扭曲被处理器用来校正相机和显示器的标定。

Description

具有应变仪计算的护目镜

相关申请的交叉引用

本申请要求于2020年9月28日提交的美国临时申请序列号63/084,279的优先权，其全部内容通过引用并入本文。

技术领域

本主题涉及一种护目镜装置，例如智能眼镜。

背景技术

现今可用的便携式护目镜装置(诸如智能眼镜、头戴具和头帽)集成了相机和透视显示器。

附图说明

附图仅通过示例而非限制的方式描绘了一个或更多个实现方式。在附图中，相同的附图标记表示相同或相似的元件。

图1A是护目镜装置的示例性硬件配置的侧视图，示出了带有图像显示器的右光学组件，并且基于检测到的头部或眼部移动用户将视场调整应用到呈现在图像显示器上的用户界面；

图1B是图1A的护目镜装置的镜腿的顶部截面视图，描绘了可见光相机、用于跟踪护目镜装置的用户头部移动的头部移动跟踪器、以及电路板；

图2A是护目镜装置的示例性硬件配置的后视图，该护目镜装置包括镜架上的眼部扫描仪，该眼部扫描仪用于在系统中使用，以用于标识护目镜装置的用户；

图2B是另一护目镜装置的示例性硬件配置的后视图，该护目镜装置包括镜腿上的眼部扫描仪，该眼部扫描仪用于在系统中使用，以用于标识护目镜装置的用户；

图2C和图2D是护目镜装置的示例性硬件配置的后视图，包括两种不同类型的图像显示器。

图3示出了图2A的护目镜装置的后透视图，描绘了红外发射器、红外相机、镜架前部、镜架背部和电路板；

图4是穿过图3的护目镜装置的红外发射器和镜架所截取的截面视图；

图5示出了检测眼部注视方向；

图6示出了检测眼部位置；

图7描绘了由左可见光相机捕获的作为左原始图像以及由右可见光相机捕获的作为右原始图像的可见光的示例；

图8A、图8B和图8C示出了包括应变仪补偿系统的护目镜，该应变补偿系统用于补偿护目镜镜架的扭曲；

图8D示出了根据弯曲护目镜镜架而产生的应变仪测量结果；

图9示出了护目镜装置的电子部件的框图；

图10A是深度计算的流程图；以及

图10B是视觉惯性里程计(VIO)的流程图。

具体实施方式

本公开包括护目镜的示例，护目镜包括集成到护目镜的镜架中的传感器。在一个示例中，传感器包括应变仪，诸如金属箔仪，该应变仪被配置成当由用户佩戴并且在不同的力分布下通过测量镜架在弯曲时的应变来感测和测量该镜架的扭曲。通过处理器感测所测量的应变，并且处理器基于所测量的应变执行图像处理的动态标定。由应变仪测量的扭曲被处理器用来校正相机和显示器的标定。

示例的另外的目的、优点和新颖特征将部分地在以下说明中进行阐述，并且对于本领域的普通技术人员而言在检查以下和附图时将部分了解，或者可以通过示例的生产或操作来学习。本主题的目的和优点可以通过所附权利要求中特别指出的方法、手段和组合来实现和获得。

在以下详细说明中，通过举例的方式阐述了许多具体细节，以便提供对相关教导的透彻理解。然而，对于本领域技术人员应当清楚的是，可以在没有此类细节的情况下实践本教导。在其他示例中，众所周知的方法、过程、部件和电路已经在相对高级而没有详细地进行了描述，以便避免不必要地使本教导的多个方面不清楚。

如本文所使用的术语“耦接”是指任何逻辑、光学、物理或电连接、链接等，通过一个系统元件产生或供应的信号或光被赋予至另一个经耦接的元件。除非另有描述，否则经耦接的元件或装置不一定直接连接到彼此，且可通过可修改、操纵或运载光或信号的中间部件、元件或通信介质分离。

诸如在任一附图中所示的护目镜装置、相关联的部件以及结合了眼睛扫描器和相机的任何完整装置的取向仅是通过示例的方式给出的，用于展示和讨论的目的。在针对特定可变光学处理应用的操作中，护目镜装置可以被定向在适合于该护目镜装置的特定应用的任何其他方向上，例如上、下、侧向或任何其他定向。而且，在本文所使用的范围内，任何方向术语(诸如，前、后、向内、向外、朝向、左、右、横向、纵向、上、下、上部、下部、顶部、底部和侧面)仅仅通过示例的方式使用，并且不限制任何光学部件或如本文中另外描述的构造的光学部件的部件的方向或取向。

现在详细参考在附图中所示的并且在下文所讨论的示例。

图1A是护目镜装置100的示例性硬件配置的侧视图，护目镜装置100包括具有图像显示器180D(图2A)的右光学组件180B。护目镜装置100包括形成立体相机的多个可见光相机114A-114B(图7)，其中，右可见光相机114B位于右镜腿110B上。

左可见光相机114A和右可见光相机114B具有对可见光范围波长敏感的图像传感器。可见光相机114A-114B中的每一个均具有不同的面向前方的覆盖角，例如，可见光相机114B具有所描绘的覆盖角111B。覆盖角是可见光相机114A-114B的图像传感器拾取电磁辐射并生成图像的角度范围。此类可见光相机114A-114B的示例包括高分辨率互补金属氧化物半导体(CMOS)图像传感器和视频图形阵列(VGA)相机，诸如640p(例如，640×480像素，总共0.3百万像素)、720p或1080p。来自可见光相机114A-114B的图像传感器数据与地理位置数据一起被捕获，由图像处理器数字化，并且存储在存储器中。

为了提供立体视觉，可见光相机114A-114B可以耦接至图像处理器(图9的元件912)，以用于与捕获场景的图像的时间戳一起进行数字化处理。图像处理器912包括用于从可见光相机114A-114B接收信号并将来自可见光相机114A-114B的那些信号处理成适于存储在存储器(图9的元件934)中的格式的电路。时间戳可由图像处理器912或控制可见光相机114A-114B的操作的其他处理器添加。可见光相机114A-114B允许立体相机模拟人类双目视觉。立体相机提供基于分别来自具有相同时间戳的可见光相机114A-114B的两个捕获的图像(图7的元件758A-758B)来再现三维图像(图7的元件715)的能力。这种三维图像715允许沉浸式类生活的体验，例如以用于虚拟现实游戏或视频游戏。对于立体视觉，在给定时刻生成一对图像758A-758B—一个图像用于左可见光相机114A和右可见光相机114B中的每一个。当(例如，通过图像处理器912)将来自面向前方的左见光相机114A和右可见光相机114B的覆盖角111A-111B的一对生成的图像758A-758B拼接在一起时，通过光学组件180A-180B提供深度感知。

在示例中，用户界面视场调整系统包括护目镜装置100。护目镜装置100包括镜架105、从镜架105的右外侧部170B延伸的右镜腿110B、以及包括光学组件180B以向用户呈现图形用户界面的透视图像显示器180D(图2A-图2B)。护目镜装置100包括连接到镜架105或左镜腿110A以捕获场景的第一图像的左可见光相机114A。护目镜装置100进一步包括连接到镜架105或右镜腿110B以(例如，与左可见光相机114A同时)捕获场景的与第一图像部分重叠的第二图像的右可见光相机114B。虽然在图1A-图1B中未示出，但是用户界面视场调整系统进一步包括处理器932，处理器932耦接至护目镜装置100并且连接至可见光相机114A-114B；存储器934，处理器932可访问存储器934；以及在存储器934中的程序，例如存储器934在护目镜装置100本身或用户界面视场调整系统的另一部分中。

虽然在图1A中未示出，护目镜装置100还包括头部移动跟踪器(图1B的元件109)或眼部移动跟踪器(图2A-图2B的元件213)。护目镜装置100进一步包括光学组件180A-180B的用于呈现显示图像的序列的透视图像显示器180C-180D，以及图像显示驱动器(图9的元件942)，图像显示驱动器耦接到光学组件180A-180B的透视图像显示器180C-180D，以控制光学组件180A-180B的图像显示器180C-180D呈现显示图像715的序列，这在下文进一步详细描述。护目镜装置100进一步包括存储器934以及可访问图像显示驱动器942和存储器934的处理器932。护目镜装置100进一步包括在存储器(图9的元件934)中的程序。处理器932对程序的执行将护目镜装置100配置成执行功能，这些功能包括经由透视图像显示器180C-180D呈现显示图像的序列的初始显示图像的功能，该初始显示图像具有对应于初始头部方向或初始眼部注视方向的初始视场(图5的元件230)。

处理器932对程序的执行进一步将护目镜装置100配置成通过以下各项来检测护目镜装置的用户的移动：(i)经由头部移动跟踪器(图1B的元件109)跟踪用户头部的头部移动，或(ii)经由眼部移动跟踪器(图2A-图2B、图5的元件113、213)跟踪护目镜装置100的用户的眼部的眼部移动。处理器932对程序的执行进一步将护目镜装置100配置成基于所检测到的用户的移动来确定对初始显示图像的初始视场的视场调整。视场调整包括对应于连续的头部方向或连续的眼部方向的连续的视场。处理器932对程序的执行进一步将护目镜装置100配置成基于视场调整产生显示图像的序列的连续的显示图像。处理器932对程序的执行进一步将护目镜装置100配置成经由光学组件180A-180B的透视图像显示器180C-180D呈现连续的显示图像。

图1B是图1A的护目镜装置100的镜腿的顶部截面图，描绘了右可见光相机114B、头部移动跟踪器109和电路板。左可见光相机114A的构造和位置基本上类似于右可见光相机114B，除了连接和耦接位于左外侧部170A上之外。如图所示，护目镜装置100包括右可见光相机114B和电路板，该电路板可以是柔性印刷电路板(PCB)140。右铰链126B将右镜腿110B连接到护目镜装置100的右镜腿125B。在一些示例中，右可见光相机114B、柔性PCB140或其他电连接器或触点的部件可位于右镜腿125B或右铰链126B上。

如图所示，护目镜装置100具有头部移动跟踪器109，头部移动跟踪器109包括例如惯性测量单元(IMU)。惯性测量单元是使用加速度计和陀螺仪(有时还有磁力计)的组合来测量和报告身体的特定力、角速度、以及有时身体周围的磁场的电子装置。惯性测量单元通过使用一个或更多个加速度计检测线性加速度并且使用一个或更多个陀螺仪检测旋转速率来工作。惯性测量单元的典型配置包含用于三个轴中的每一个的每个轴的一个加速度计、陀螺仪和磁力计：用于左右运动的水平轴(X)、用于顶底运动的竖直轴(Y)以及用于上下运动的深度或距离轴(Z)。加速度计检测重力向量。磁力计像产生方向参考的罗盘一样定义磁场中的旋转(例如，面向南、北等)。这三个加速度计用于检测沿着以上定义的水平、竖直和深度轴的加速度，这可以相对于地面、护目镜装置100、或佩戴护目镜装置100的用户来定义。

护目镜装置100通过经由头部移动跟踪器109跟踪用户头部的头部移动来检测护目镜装置100的用户的移动。头部移动包括在图像显示器上呈现初始的显示图像期间在水平轴、竖直轴或它们的组合上的头部方向从初始头部方向的变化。在一个示例中，经由头部移动跟踪器109跟踪用户头部的头部移动包括经由惯性测量单元109测量水平轴(例如，X轴)、竖直轴(例如，Y轴)或它们的组合(例如，横向或对角线移动)上的初始头部方向。经由头部移动跟踪器109跟踪用户头部的头部移动进一步包括在呈现初始显示图像期间经由惯性测量单元109测量在水平轴、竖直轴或它们的组合上的连续头部方向。

经由头部移动跟踪器109跟踪用户头部的头部移动进一步包括基于初始头部方向和连续头部方向两者确定头部方向的变化。检测护目镜装置100的用户的移动进一步包括响应于经由头部移动跟踪器109跟踪用户头部的头部移动，确定头部方向的变化超过在水平轴、竖直轴或它们的组合上的偏差角阈值。偏差角阈值在约3°至10°之间。如本文所使用的，当提及角度时，术语“约”是指偏离所述量±10％。

沿着水平轴的变化通过例如调整三维对象的可见性的隐藏、显示、或其他方式来将三维对象(诸如字符、Bitmojis、应用图标等)滑入和滑出视场。在一个示例中，例如，当用户向上看时，沿竖直轴的变化显示天气信息、一天中的时间、日期、日历预约等。在另一个示例中，当用户在竖直轴线上向下看时，护目镜装置100可以关机。

右镜腿110B包括镜腿本体211和镜腿盖，其中，在图1B的横截面中省略了镜腿盖。多种互连电路板(诸如PCB或柔性PCB)设置在右镜腿110B内部，多种互连电路板包含用于右可见光相机114B、麦克风130、扬声器132的控制器电路、低功率无线电路(例如，用于经由Bluetooth^TM的无线短程网络通信)、高速无线电路(例如，用于经由WiFi的无线局域网通信)。

右可见光相机114B耦接至柔性PCB 140或设置在柔性PCB 240上并且由可见光相机覆盖透镜覆盖，该可见光相机覆盖透镜通过形成在右镜腿110B中的开口瞄准。在一些示例中，连接到右镜腿110B的镜架105包括用于可见光相机覆盖透镜的开口。镜架105包括被配置成远离用户的眼部面向外的正面侧部。用于可见光照相机覆盖透镜的开口形成在正面侧部上并且穿过正面侧部。在该示例中，右可见光相机114B具有与护目镜装置100的用户的右眼的视线或视角共线的面向外的覆盖角111B。可见光照相机覆盖透镜还可粘附至右镜腿110B的面向外的表面，其中，开口形成有面向外的覆盖角，但是在不同的向外方向上。该耦接还可以是经由介入部件间接的。

左(第一)可见光相机114A连接至左光学组件180A的左透视图像显示器180C，以生成第一连续显示图像的第一背景场景。右(第二)可见光相机114B连接至右光学组件180B的右透视图像显示器180D，以生成第二连续显示图像的第二背景场景。第一背景场景和第二背景场景部分重叠以呈现连续显示图像的三维可观察区域。

柔性PCB 140设置在右镜腿110B内部并且耦接到被容纳在右镜腿110B中的一个或更多个其他部件。尽管展示为形成于右镜腿110B的电路板上，但右可见光相机114B可形成于左镜腿110A、镜腿125A-125B或镜架105的电路板上。

图2A是护目镜装置100的示例性硬件配置的后视图，该护目镜装置100包括镜架105上的眼部扫描仪113，该眼部扫描仪113用于在系统中使用，以用于确定护目镜装置100的佩戴者/用户的眼部位置和注视方向。如图2A所示，护目镜装置100呈被配置成用于由用户佩戴的形式，护目镜装置100在图2A的示例中是眼镜。护目镜装置100可以采用其他形式并且可以结合其他类型的镜框，例如，头帽、头戴耳机、或头盔。

在眼镜示例中，护目镜装置100包括镜架105，该镜架105包括经由适配于用户的鼻子的鼻桥106连接至右边框107B的左边框107A。左边框107A和右边框107B包括保持相应的光学元件180A-180B(诸如透镜和透视显示器180C-180D)的相应孔口175A-175B。如本文所使用的，术语透镜是指覆盖具有弯曲和平坦表面的玻璃或塑料的透明或半透明片，弯曲和平坦表面致使光会聚/发散或引起很少的会聚/发散或不引起会聚/发散。

虽然被示出为具有两个光学元件180A-180B，但取决于护目镜装置100的应用或预期用户，护目镜装置100可以包括其他布置，诸如单个光学元件。如进一步所示，护目镜装置100包括邻近镜架105的左外侧部170A的左镜腿110A及邻近镜架105的右外侧部170B的右镜腿110B。镜腿110A-110B可集成在相应侧部170A-170B上的镜架105中(如图所示)或实施为附接至相应侧部170A-170B上的镜架105的单独部件。可替代地，镜腿110A-110B可集成到附接至镜架105的镜腿(未示出)中。

在图2A的示例中，眼部扫描仪113包括红外发射器115和红外相机120。可见光相机通常包括蓝光滤波器以阻挡红外光检测，在示例中，红外相机120是可见光相机，诸如低分辨率视频图形阵列(VGA)相机(例如，640×480像素，总共0.3百万像素)，其中，移除了蓝色滤波器。红外发射器115和红外相机120共置在镜架105上，例如，两者被示出为连接到左边框107A的上部部分。镜架105或左镜腿110A和右镜腿110B中的一个或更多个包括电路板(未示出)，该电路板包括红外发射器115和红外相机120。红外发射器115和红外相机120可通过例如焊接连接到电路板。

可以实施红外发射器115和红外相机120的其他布置，包括其中红外发射器115和红外相机120两者都在右边框107B上或者在镜架105上的不同位置中的布置，例如，红外发射器115在左边框107A上并且红外相机120在右边框107B上。在另一示例中，红外发射器115在镜架105上并且红外相机120在镜腿110A-110B中的一个上，或反之亦然。红外发射器115可基本上连接在镜架105、左镜腿110A或右镜腿110B上的任何位置，以发射红外光的图案。类似地，红外相机120可基本上连接在镜架105、左镜腿110A或右镜腿110B上的任何位置，以捕获红外光的发射图案中的至少一个反射变化。

红外发射器115和红外相机120布置成以眼部的部分或全部视场向内面向用户的眼部，以便标识相应的眼部位置和注视方向。例如，红外发射器115和红外相机120直接定位在眼部的前方、镜架105的上部部分中或镜架105的任一端部处的镜腿110A-110B中。

图2B是另一护目镜装置200的示例性硬件配置的后视图。在这个示例配置中，护目镜装置200被描绘为包括在右镜腿210B上的眼部扫描仪213。如图所示，红外发射器215和红外相机220共置于右镜腿210B上。应当理解的是，眼部扫描仪213或眼部扫描仪213的一个或更多个部件可以位于左镜腿210A上和护目镜装置200的其他位置(例如，镜架205)上。红外发射器215和红外相机220与图2A的红外发射器和红外相机类似，但是眼部扫描仪213可以变化以对不同光波长敏感，如之前在图2A中所描述的。

类似于图2A，护目镜装置200包括：镜架105，该镜架105包括经由鼻桥106连接至右边框107B的左边框107A；并且左边框107A和右边框107B包括保持包括透视显示器180C-180D的相应光学元件180A-180B的相应孔口。

图2C-图2D是护目镜装置100的示例性硬件配置的后视图，该护目镜装置100包括两种不同类型的透视图像显示器180C-180D。在一个示例中，光学组件180A-180B的这些透视图像显示器180C-180D包括集成的图像显示器。如图2C所示，光学组件180A-180B包括任何合适类型的合适的显示矩阵180C-180D，诸如液晶显示器(LCD)、有机发光二极管(OLED)显示器、波导显示器、或任何其他此类显示器。光学组件180A-180B还包括一个或更多个光学层176，光学层可以包括透镜、光学涂层、棱镜、反射镜、波导、光带、以及任何组合的其他光学部件。光学层176A-N可以包括棱镜，该棱镜具有合适的尺寸和配置并且包括用于从显示矩阵接收光的第一表面和用于向用户的眼部发射光的第二表面。光学层176A-N的棱镜在左边框107A和右边框107B中形成的相应孔口175A-175B的全部或至少一部分上延伸，以允许当用户的眼部正在通过相应的左边框107A和右边框107B观看时用户看到棱镜的第二表面。光学层176A-N的棱镜的第一表面从镜架105面向上并且显示矩阵覆盖棱镜，使得由显示矩阵发射的光子和光撞击第一表面。棱镜的尺寸和形状被确定成使得光在棱镜内被折射并且被光学层176A-N的棱镜的第二表面引向用户的眼部。在此方面，光学层176A-N的棱镜的第二表面可以是凸形的，以将光引向眼部的中心。棱镜的尺寸和形状可以可选地被确定成放大由透视图像显示器180C-180D投影的图像，并且光行进通过棱镜，使得从第二表面观察到的图像在一个或更多个维度上大于从透视图像显示器180C-180D发射的图像。

在另一个示例中，光学组件180A-180B的透视图像显示器180C-180D包括如图2D所示的投影图像显示器。光学组件180A-180B包括激光投影仪150，激光投影仪150是使用扫描镜或检流计的三色激光投影仪。在操作过程中，光源(诸如激光投影仪150)设置在护目镜装置100的镜腿125A-125B中的一个之中或之上。光学组件180-B包括跨光学组件180A-180B的透镜的宽度或跨透镜的前表面与后表面之间的深度间隔开的一个或更多个光带155A-N。

当由激光投影仪150投影的光子行进穿过光学组件180A-180B的透镜时，光子遇到光带155A-N。当特定光子遇到特定光带时，该光子或者被重新引向用户的眼部，或者它传递到下个光带。激光投影器150的调制与光带的调制的组合可控制特定光子或光束。在示例中，处理器通过启动机械、声学或电磁信号来控制光带155A-N。尽管被示出为具有两个光学组件180A-180B，但是护目镜装置100可以包括其他布置，诸如单个或三个光学组件，或者根据护目镜装置100的应用或预期用户，光学组件180A-180B可以已经布置了不同的布置。

如图2C至图2D进一步所示，护目镜装置100包括邻近镜架105的左外侧部170A的左镜腿110A和邻近镜架105的右外侧部170B的右镜腿110B。镜腿110A-110B可集成在相应外侧部170A-170B上的镜架105中(如图所示)或实施为附接至相应侧部170A-170B上的镜架105的单独部件。可替代地，镜腿110A-110B可集成到附接至镜架105的镜腿125A-125B中。

在一个示例中，透视图像显示器包括第一透视图像显示器180C和第二透视图像显示器180D。护目镜装置100包括第一孔口175A和第二孔口175B，第一孔口175A和第二孔口175B保持相应的第一光学组件180A和第二光学组件180B。第一光学组件180A包括第一透视图像显示器180C(例如，图2C的显示矩阵或光带155A-N’和投影仪150A)。第二光学组件180B包括第二透视图像显示器180D，例如，图2C的显示矩阵或光带155A-N”以及投影仪150B)。连续显示图像的连续视场包括水平、竖直或对角测量的约15°至30°之间的、和更具体地24°的视角。具有连续视场的连续显示图像表示通过将呈现在第一图像显示器和第二图像显示器上的两个显示图像拼接在一起而可见的组合的三维可观察区域。

如本文所使用的，“视角”描述与呈现在光学组件180A-180B的左图像显示器180C和右图像显示器180D中的每一个上的显示图像相关联的视场的角度范围。“覆盖角”描述可见光相机114A-114B或红外相机220的透镜可以成像的角度范围。通常，由透镜产生的图像圆足够大以完全覆盖膜或传感器，可能包括一些渐晕(即，与图像中心相比，图像的亮度或饱和度朝着外围减小)。如果透镜的覆盖角未填满传感器，则图像圆将是可见的，通常具有朝向边缘的强渐晕，并且有效视角将被限于覆盖角。“视场”旨在描述可观察区域的领域，护目镜装置100的用户可以经由呈现在光学组件180A-180B的左图像显示器180C和右图像显示器180D上的显示图像通过他或她的眼部看到该可观察区域的领域。光学组件180A-180B的图像显示器180C可以具有覆盖角在15°至30°之间(例如，24°)的视场，并且具有480×480像素的分辨率。

图3示出了图2A的护目镜装置的后透视图。护目镜装置100包括红外发射器215、红外相机220、镜架前部330、镜架背部335和电路板340。在图3中可以看出，护目镜装置100的镜架的左边框的上部部分包括镜架前部330和镜架背部335。用于红外发射器215的开口形成在镜架背部335上。

如在镜架的左边框的上部中间部分中所环绕的截面4中所示，电路板(其为柔性PCB 340)被夹在镜架前部330与镜架背部335之间。还更详细地示出了左镜腿110A经由左铰链126A附接至左镜腿325A。在一些示例中，眼部移动跟踪器213的部件(包括红外发射器215、柔性PCB 340、或其他电连接器或触点)可以位于左镜腿325A或左铰链126A上。

图4是穿过与图3的护目镜装置的环绕截面4相对应的红外发射器215和镜架的截面图。在图4的横截面中示出了护目镜装置100的多个层，如图所示，镜架包括镜架前部330和镜架背部335。柔性PCB 340设置在镜架前部330上并且连接至镜架背部335。红外发射器215设置在柔性PCB 340上并且由红外发射器覆盖透镜445覆盖。例如，红外发射器215回流焊到柔性PCB340的背部。通过使柔性PCB 340经受熔化焊料膏的受控热量来连接两个部件，回流焊将红外发射器215附接至形成在柔性PCB 340的背部上的接触焊盘。在一个示例中，回流焊用于将红外发射器215表面安装在柔性PCB340上并电连接这两个部件。然而，应当理解的是，例如，通孔可以用于经由互连将来自红外发射器215的引线连接至柔性PCB 340。

镜架背部335包括用于红外发射器覆盖透镜445的红外发射器开口450。红外发射器开口450形成在镜架背部335的面向后的侧部上，镜架背部335的面向后的侧部被配置成向内面向用户的眼部。在该示例中，柔性PCB 340可以经由柔性PCB粘合剂460连接至镜架前部330。红外发射器覆盖透镜445可以经由红外发射器覆盖透镜粘合剂455连接到镜架背部335。该耦接还可以是经由介入部件间接的。

在示例中，处理器932利用眼部跟踪器213确定如图5所示的佩戴者眼部234的眼部注视方向230，以及如图6所示的眼动范围内的佩戴者眼部234的眼部位置236。眼部跟踪器213是使用红外光照明(例如，近红外、短波长红外、中波长红外、长波长红外、或远红外)来捕获来自眼部234的红外光的反射变化的图像以确定相对于透视显示器180D的眼部234的瞳孔232的注视方向230以及眼部位置236的扫描仪。

图7描绘了用相机捕获可见光的示例。可见光被左可见光相机114A捕获，其中，左可见光相机视场111A作为左原始图像758A。可见光由右可见光相机114B捕获，其中，右可见光相机视场111B作为右原始图像758B。基于对左原始图像758A和右原始图像758B的处理，处理器932生成三维场景的三维深度图715，下文称为图像。

结合了相机和显示器的护目镜(包括智能眼镜)在被佩戴时可能经受弯曲力。这些弯曲力可能致使护目镜镜架的变形。当相机的相对位置由于弯曲力引起的扭曲而改变时，所产生的相机错误标定可能导致运行算法(诸如立体深度(DFS)和视觉惯性里程(VIO))的问题。当显示器的相对位置由于扭曲而改变时，所产生的错误标定可能导致关于内容的适当配准或感知深度的问题。

图8A和图8B示出了护目镜100的镜架105的示例，该护目镜100包括集成到护目镜装置100的镜架105中的传感器800。在一个示例中，传感器800包括应变仪，例如金属箔仪，该应变仪被配置成当由用户佩戴时以及在不同的力分布下通过感测镜架105中的在弯曲时的应变来感测和测量镜架105的扭曲。由应变仪800测量的应变由处理器932感测，并且处理器932基于所测量的应变来执行图像处理的动态标定。由应变仪800测量的扭曲被处理器932用于校正相机114A-114B和显示器180C-180D的标定。这允许使用非刚性镜架设计来制造护目镜100，而其他护目镜产品依赖于机械刚度来消除弯曲。这还提供了在镜架加载条件下动态地重新标定相机和显示器的能力。

图8A示出了处于未弯曲位置的护目镜镜框105，其中，相机114A和114B两者均具有直接向前指向的瞄准线。应变仪800记录镜架105的中性弯曲。图8B示出了处于弯曲位置的镜架105，例如其中，铰链126A和126B在护目镜100/200被佩戴在用户头部上时旋转，其中，相机114A和114B两者均具有直接向内指向的瞄准线并且显示器180C和180D的标定受损。应变仪800感测这种弯曲并且生成被发送到处理器932的指示弯曲的传感器信号。处理器动态地重新标定相机和显示器以补偿镜架弯曲(图10A和图10B)。

图8C示出了镜架105上的应变仪800可以位于其中的不同位置。如图所示，应变仪800可以位于镜架105的中心、左侧部和右侧部。在其他示例中，一个以上应变仪800可耦接到镜架105且耦接到处理器932。在另一个示例中，一个应变仪800可以横向延伸，并且另一个应变仪800竖直地延伸，使得它们彼此正交。这有助于产生更精确的测量和改进的补偿。

图8D示出了铰链126A和126B旋转和未旋转时的应变仪测量结果的曲线图。该曲线图从左到右示出了当两个铰链126A和126B均显著地旋转时、当铰链中的仅一个旋转时、其中两个铰链略微旋转、并且其中两个铰链适度旋转时的应变仪测量结果。该应变仪测量结果是提供给处理器932的信号，以用于处理和补偿相机图像和显示图像。

图9描绘了包括布置在护目镜100/200中的示例性电子部件的高级功能框图。所示出的电子部件包含处理器932，处理器932执行图像补偿算法945。

存储器934包括用于由处理器932执行以实施护目镜100/200的功能的指令，这些指令包括用于处理器932执行图像补偿算法945的指令。处理器932从电池950接收电力并执行存储在存储器934中或者与处理器932一起集成在芯片上的指令，以执行护目镜100/200的功能，并且经由无线连接与外部装置通信。

用户界面调整系统900包括护目镜装置。用户界面调整系统900还包括经由多种网络连接的移动装置990和服务器系统998。移动装置990可以是智能电话、平板计算机、膝上型计算机、接入点、或能够使用低功率无线连接925和高速无线连接937两者与护目镜装置100连接的任何其他此类装置。移动装置990连接到服务器系统998和网络995。网络995可包括有线连接和无线连接的任何组合。

护目镜装置100/200包括至少两个可见光相机114A-114B(一个与左外侧部170A相关联并且一个与右外侧部170B相关联)。护目镜装置100/200进一步包括光学组件180A-180B的两个透视图像显示器180C-180D(一个与左外侧部170A相关联并且一个与右外侧部170B相关联)。在本公开中，图像显示器180C-180D是可选的。护目镜装置100/200还包含图像显示驱动器942、图像处理器912、低功率电路920和高速电路930。图9所示的用于护目镜装置100/200的部件位于镜腿中的一个或更多个电路板(例如PCB或柔性PCB)上。可替代地或另外地，所描绘的部件可以位于护目镜装置100/200的镜腿、镜架、铰链、或鼻桥中。左可见光相机114A和右可见光相机114B可包括数字相机元件，诸如互补金属氧化物半导体(CMOS)图像传感器、电荷耦接装置、透镜或可用于捕获数据(包括具有未知对象的场景的图像)的任何其他相应的可见或光捕获元件。

眼部移动跟踪程序实施用户界面视场调整指令，包括用于致使护目镜装置100/200经由眼部移动跟踪器213跟踪护目镜装置100/200的用户的眼部的眼部移动。其他实施的指令(功能)致使护目镜装置100/200基于所检测到的用户的对应于连续眼部方向的眼部移动来确定对初始显示图像的初始视场的视场调整。进一步实施的指令基于视场调整生成显示图像序列的连续显示图像。连续显示图像经由用户界面被产生为对用户的可见输出。可见输出出现在光学组件180A-180B的透视图像显示器180C-180D上，该透视图像显示器180C-180D被图像显示驱动器942驱动，以呈现显示图像序列，显示图像包括具有初始视场的初始显示图像和具有连续视场的连续显示图像。

如图9所示，高速电路930包括高速处理器932、存储器934和高速无线电路936。在示例中，图像显示驱动器942耦接至高速电路930并且由高速处理器932操作，以便驱动光学组件180A-180B的左图像显示器180C和右图像显示器180D。高速处理器932可以是能够管理护目镜装置100/200所需的任何通用计算系统的高速通信和操作的任何处理器。高速处理器932包括使用高速无线电路936来管理高速无线连接937到无线局域网(WLAN)上的高速数据传输所需的处理资源。在某些示例中，高速处理器932执行操作系统，诸如LINUX操作系统或护目镜装置100/200的其他此类操作系统，并且该操作系统被存储在存储器934中以供执行。除了任何其他职责之外，执行护目镜装置100/200的软件架构的高速处理器932被用来利用高速无线电路936管理数据传输。在某些示例中，高速无线电路936被配置成实施电气与电子工程师协会(IEEE)802.11通信标准，在此也被称为Wi-Fi。在其他示例中，其他高速通信标准可以由高速无线电路936实施。

护目镜装置100/200的低功率无线电路924和高速无线电路936可以包括短程收发器(Bluetooth^TM)和无线广域网、局域网或广域网收发器(例如，蜂窝或WiFi)。移动装置990(包括经由低功率无线连接925和高速无线连接937进行通信的收发器)可以使用护目镜装置100/200的架构的细节来实施，网络995的其他元件也是如此。

存储器934包括能够存储多种数据和应用的任何存储装置，除其他事项之外，所述数据和应用包括色图、由左可见光相机114A和右可见光相机114B和图像处理器912生成的相机数据、以及由图像显示驱动器942在光学组件180A-180B的透视图像显示器180C-180D上显示而生成的图像。虽然存储器934被示出为与高速电路930集成，但是在其他示例中，存储器934可以是护目镜装置100/200的独立的独立运行元件。在某些此类示例中，电气路由线可提供通过包括高速处理器932的芯片从图像处理器912或低功率处理器922到存储器934的连接。在其他示例中，高速处理器932可以管理存储器934的寻址，使得低功率处理器922将在需要涉及存储器934的读取或写入操作的任何时间引导高速处理器932。

服务器系统998可以是作为服务或网络计算系统的一部分的一个或更多个计算装置，计算装置例如包括处理器、存储器和用于通过网络995与移动装置990和护目镜装置100/200进行通信的网络通信接口。护目镜装置100与主计算机连接。例如，护目镜装置100/200经由高速无线连接937与移动装置990配对，或经由网络995(诸如经由高速无线连接937)连接到服务器系统998。

护目镜装置100/200的输出部件包括视觉部件，诸如在图2C-图2D中所描述的光学组件180A-180B的左图像显示器180C和右图像显示器180D(例如，显示器，诸如液晶显示器(LCD)、等离子显示面板(PDP)、发光二极管(LED)显示器、投影仪、或波导)。光学组件180A-180B的图像显示器180C-180D由图像显示驱动器942驱动。护目镜装置100/200的输出部件进一步包括声学部件(例如，扬声器)、触觉部件(例如，振动马达)、其他信号发生器等等。护目镜装置100/200、移动装置990和服务器系统998的输入部件可以包括字母数字输入部件(例如，键盘、被配置成接收字母数字输入的触摸屏、光学键盘或其他字母数字输入部件)、基于点的输入部件(例如，鼠标、触摸板、轨迹球、操纵杆、运动传感器或其他点设备)、触觉输入部件(例如，物理按钮、提供触摸或触摸手势的位置和力的触摸屏、或其他触觉输入部件)、包括麦克风938的音频输入部件。麦克风938捕获靠近护目镜装置100/200的音频，该音频可以被流式传输到远程操作者的移动装置991。麦克风938在示例中可为定向的以对应于所看到的图像。

护目镜装置100/200可以可选地包括额外的外围装置元件919。这种外围装置元件可以包括生物计量传感器、额外的传感器、或与护目镜装置100/200集成的显示元件。例如，外围装置元件919可以包括任何I/O部件，I/O部件包括输出部件、运动部件、位置部件、或在本文所描述的任何其他此类元件。

例如，用户界面视场调整900的生物计量组件包括用于检测表达(例如，手部表达、面部表达、声音表达、身体姿势、或眼部跟踪)、测量生物信号(例如，血压、心率、体温、出汗、或脑电波)、标识人(例如，语音标识、视网膜标识、面部标识、指纹标识、或基于脑电图的标识)等的部件。运动部件包括加速度传感器部件(例如，加速度计)、重力传感器部件、旋转传感器部件(例如，陀螺仪)等。位置部件包括用以产生位置坐标的位置传感器部件(例如，全球定位系统(GPS)接收器部件)、用于产生定位系统坐标的WiFi或Bluetooth^TM收发器、高度传感器组件(例如，检测可从中得出高度的空气压力的高度计或气压计)、定向传感器部件(例如，磁力计)等。也可以通过无线连接925和937经由低功率无线电路924或高速无线电路936从移动装置990接收这种定位系统坐标。

根据某些示例，“应用(application)”或“应用(applications)”是执行在程序中定义的功能的程序。可采用不同编程语言来创建以多种方式结构化的应用中的一个或更多个，诸如面向对象的编程语言(例如，Objective-C、Java或C++)或过程编程语言(例如，C或汇编语言)。在具体示例中，第三方应用(例如，由不同于特定平台的供应商的实体使用ANDROID^TM或IOS^TM软件开发包(SDK)开发的应用)可以是在移动操作系统(诸如IOS^TM、ANDROID^TM、

Phone、或另一移动操作系统)上运行的移动软件。在该示例中，第三方应用可调用由操作系统提供的API呼叫，以促进本文所描述的功能。

图10A是深度计算流程图1000，并且图10B是VIO流程图1010，示出了护目镜装置100/200的操作，包括补偿算法945和由高速处理器932执行存储在存储器934中的指令而创建的护目镜的其他部件。虽然示出为串行发生，但是图10A的框可根据实现方式重新排序或并行化。

参照图10A，在深度计算流程图1000的框1002处，处理器932从如图8D所示的应变仪800接收原始应变仪测量结果，并且将应变仪测量结果转换成视轴偏移。视轴偏移是应变仪测量结果的函数，其中，应变仪测量结果越大，视轴偏移越大。如果应变仪测量结果为零，则不存在视轴偏移。视轴偏移可为数值(诸如，百分比)，并且还指示像素偏移的方向(诸如，左/右及上/下)。

在框1004处，处理器932分别从相机114A和114B接收图像镜架758A和758B，并且基于视轴偏移针对每个图像镜架758A和758B执行像素偏移。在示例中，取决于由应变仪800提供的所测量的应变，每个图像镜架758A和758B的像素可以向左和向右以及上和向下偏移。如果应变仪800相对于镜架105横向延伸，则像素偏移的方向也是横向的。如果应变仪800相对于镜架105竖直延伸，则像素偏移的方向是竖直的。如果实施了横向延伸的应变仪800和竖直延伸的应变仪800两者，则像素偏移在二维上彼此正交。在示例中，如果微应变为100个单位，则像素可以偏移10％，而如果微应变为40个单位，则像素可以偏移4％。

在框1006处，处理器932执行如先前参照图7所描述的三维深度计算，以在框1008处创建最终三维深度图715。因此，相机114A和114B根据镜架105中所测量的弯曲被动地补偿。这在本发明中被称作标定。

参照图10B，VIO流程图1010包括如参照图10A所示和所描述的框1002和框1004。

在框1012处，处理器932执行可以基于其他输入的特征检测。特征检测可以是在图像镜架758A和758B中检测诸如人或特征的对象。这有助于将来自相机114A和114B的图像镜架对准以在显示器180C和180D上创建显示图像。

在框1014处，处理器932基于应变仪测量结果提供视轴偏移校正。应变仪测量结果越大，视轴校正越大。

在框1016处，处理器932基于视轴偏移校正渲染图像镜架，以用于在显示器180C和180D上显示。

在框1018处，在显示器180C和180D上显示所渲染的镜架。显示图像镜架根据应变仪测量结果被动地补偿，使得用户甚至在镜架105被弯曲时也看到清晰的显示图像。这在本发明中被称作标定。

将理解的是，本文中所使用的术语和表达具有普通含义，如对于它们相应的相对查询和研究领域而言符合此类术语和表达，除了本文中已经另外阐述具体含义之外。诸如第一和第二等之类的关系术语可仅用来将一个实体或动作与另一个实体或动作区分开来，而不必要求或暗指这些实体或动作之间的任何实际此类关系或次序。术语“包括(comprises)”、“包括(comprising)”、“包含(includes)”、“包含(including)”或其任何其他变型旨在覆盖非排他性的包括，使得包括或包含一系列元件或步骤的过程、方法、物品或装置不仅仅包括那些元件或步骤，而且还可以包括未明确列出的或对此类过程、方法、物品或装置固有的其他元件或步骤。在没有进一步限制的情况下，前面有“一个”或“一种”的元件不排除在包括该元件的过程、方法、物品或装置中存在另外的相同元件。

除非另有说明，否则在本说明书(包括在以下权利要求书中)中阐述的任何和所有测量、值、评级、位置、幅值、大小、和其他规范都是近似的、不精确的。这样的量旨在具有与它们涉及的功能以及与它们所属领域常规的相一致的合理范围。例如，除非另有明确说明，参数值等可与所述量偏差多达±10％。

此外，在以上详细说明中，可以看出，出于简化本公开的目的，不同特征在不同示例中被组合在一起。本公开的该方法不应被解释为反映所要求保护的示例需要比在每个权利要求中明确陈述的特征更多的特征的意图。相反，如以下权利要求反映的，要保护的主题位于比任何单个公开的示例的所有特征少的特征中。因此，以下权利要求由此并入详细说明中，其中每个权利要求独立地作为单独要求保护的主题。

虽然前述内容已描述了被认为是最佳模式和其他示例的内容，但应理解的是，可以在其中做出不同修改，并且在此公开的主题可以不同形式和示例来实现，并且它们可以应用于许多应用中，在此仅描述了其中的一些应用。所附权利要求旨在要求保护落入本概念的真实保护范围内的任何和所有修改和变化。

Claims

1.一种护目镜，包括：

镜架；

传感器，所述传感器耦接至所述镜架，所述传感器被配置成感测所述镜架的扭曲并且生成传感器信号；

相机，所述相机耦接至所述镜架并且被配置成捕获具有像素的相机图像；

显示器，所述显示器由所述镜架支撑并且被配置为显示具有像素的显示图像；以及

电子处理器，所述电子处理器被配置为：

接收所述传感器信号；

根据所述传感器信号标定所述相机图像；以及

显示所述显示图像。

2.根据权利要求1所述的护目镜，其中，所述电子处理器被配置为标定所述显示图像。

3.根据权利要求1所述的护目镜，其中，所述处理器被配置为将所述传感器信号转换成视轴偏移。

4.根据权利要求3所述的护目镜，其中，所述处理器被配置为根据所述视轴偏移来偏移所述相机图像的像素。

5.根据权利要求3所述的护目镜，其中，所述处理器被配置为根据所述视轴偏移创建深度图。

6.根据权利要求5所述的护目镜，其中，所述处理器被配置为执行立体深度(DFS)。

7.根据权利要求3所述的护目镜，其中，所述处理器被配置为根据所述视轴偏移来偏移所述显示图像的像素。

8.根据权利要求7所述的护目镜，其中，所述处理器被配置为根据所述视轴偏移渲染所述显示图像。

9.根据权利要求8所述的护目镜，其中，所述处理器被配置为执行视觉惯性里程计(VIO)。

10.一种用于与护目镜一起使用的方法，所述护目镜具有镜架、传感器、相机、显示器以及电子处理器，所述传感器耦接到所述镜架并被配置为感测所述镜架的扭曲以及生成传感器信号、所述相机耦接到所述镜架并被配置为捕获具有像素的相机图像、所述显示器由所述镜架支撑并被配置为显示具有像素的显示图像，所述电子处理器：

接收所述传感器信号；

根据所述传感器信号标定所述相机图像；以及

在所述显示器上显示所述显示图像。

11.根据权利要求10所述的方法，其中，所述处理器标定所述显示图像。

12.根据权利要求10所述的方法，其中，所述处理器被配置为将所述传感器信号转换成视轴偏移。

13.根据权利要求12所述的方法，其中，所述处理器被配置为根据所述视轴偏移来偏移所述相机图像的像素。

14.根据权利要求12所述的方法，其中，所述处理器被配置为根据所述视轴偏移创建深度图。

15.根据权利要求14所述的方法，其中，所述处理器被配置为执行立体深度(DFS)。

16.根据权利要求12所述的方法，其中，所述处理器被配置为根据所述视轴偏移来偏移所述显示图像的像素。

17.根据权利要求16所述的方法，其中，所述处理器被配置为根据所述视轴偏移来渲染所述显示图像。

18.如权利要求17所述的方法，其中所述处理器被配置为执行视觉惯性里程计(VIO)。

19.一种存储程序代码的非易失性计算机可读介质，护目镜具有镜架、传感器、相机和显示器，所述传感器耦接至所述镜架并被配置为感测所述镜架的扭曲并且生成传感器信号，所述相机耦接至所述镜架并被配置为捕获具有像素的相机图像，所述显示器由所述镜架支撑并被配置为显示具有像素的显示图像，在执行所述程序代码时，所述程序代码能够操作为致使所述护目镜的处理器执行以下步骤：

接收所述传感器信号；

根据所述传感器信号标定所述相机图像；以及

在所述显示器上显示所述显示图像。

20.根据权利要求19所述的非易失性计算机可读介质，其中，在执行所述程序代码时，所述程序代码能够操作为致使所述处理器：

将所述传感器信号转换成视轴偏移；以及

根据所述视轴偏移来偏移所述相机图像的像素。