[go: up one dir, main page]

CN120163952A - 使用公共对象维持颜色校准的方法和系统 - Google Patents

使用公共对象维持颜色校准的方法和系统 Download PDF

Info

Publication number
CN120163952A
CN120163952A CN202510222728.7A CN202510222728A CN120163952A CN 120163952 A CN120163952 A CN 120163952A CN 202510222728 A CN202510222728 A CN 202510222728A CN 120163952 A CN120163952 A CN 120163952A
Authority
CN
China
Prior art keywords
display
color
real
image
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202510222728.7A
Other languages
English (en)
Inventor
大卫·怀布尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
InterDigital VC Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital VC Holdings Inc filed Critical InterDigital VC Holdings Inc
Publication of CN120163952A publication Critical patent/CN120163952A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0112—Head-up displays characterised by optical features comprising device for genereting colour display
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Optics & Photonics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本文描述了用于使用公共对象来维持颜色校准的系统和方法。在示例性实施例中，AR系统包括前向相机、AR显示器、处理器和用户界面。所述处理器被配置为从所述前向相机接收图像数据，并且识别所述图像数据中描绘的任何已知对象。然后，所述处理器确定所识别的已知对象的至少一个测试渲染的RGB信息，并通过所述AR显示器显示该RGB信息。来自所述用户界面的输入被所述处理器接收并被用于更新AR显示颜色校准模型，其中所述输入指示所述至少一个测试渲染中的哪一渲染是与所述真实世界对象最接近的匹配以及指示对所述匹配的满意度水平。可以迭代地提供更多的测试渲染以提高所述校准的精度。

Description

使用公共对象维持颜色校准的方法和系统
本申请为申请日是2018年12月21日、题为“使用公共对象维持颜色校准的方法和系统”的中国专利申请No.201880084415.8的分案申请，该母案申请的内容通过引用而被整体结合到本文中。
相关申请的交叉引用
本申请是以下申请的非临时申请并按照35U.S.C.§119(e)要求其权益：2017年12月29日提交的题为“使用公共对象维持颜色校准的方法和系统(Method and System forMaintaining Color Calibration Using Common Objects)”的美国临时专利申请序列号62/612,140，该申请通过引用而被整体结合到本文中。
背景技术
颜色校准的目的是测量和/或调整设备(输入或输出)对已知状态的颜色响应。在国际颜色协会(ICC)术语中，这是所述设备的附加颜色特性化(characterization)以及随后的剖析的基础。在非ICC工作流程中，校准有时指的是一次性建立与标准颜色空间的已知关系。颜色校准是对所有采用颜色管理工作流的有效部分的设备的要求。
输入数据可以来自设备源，如数字相机、图像扫描仪或任何其他测量设备。这些输入可以是单色的(在这种情况下，仅需要校准响应曲线，尽管在一些选择的情况下，还必须指定该单通道对应的颜色或光谱功率分布)或在多维颜色中被指定(最通常在三通道RGB模型中)。在大多数情况下，输入数据是对照简档连接空间(PCS)来校准的。
颜色校准被许多行业使用，例如电视生产、游戏、摄影、工程、化学、医学等。
传统的计算机显示器在用于需要最精确的颜色再现的应用中时需要单独的特性化。增强现实系统将类似地受益于单独的校准以确保混合内容(真实世界和合成影像)的准确且可信的呈现。增强现实系统可以要求甚至更好的准确性，因为所述真实世界和合成内容根据定义是在相同场景中的，并且通常在视场中紧邻。这种相邻性呈现了颜色匹配的最坏情况，因此最严格的颜色再现是有利的。
增强现实显示系统的频繁校准有益于维持最高水平的颜色再现准确性。如果用户需要查看色图或其他传统的特性化目标以便保持这种高精确度，则用户的体验将被减弱。一次性工厂校准是不够的，因为它不能考虑显示器随时间的变化。
发明内容
一种经校准的前向相机或光谱仪连续地捕获增强现实(AR)系统的真实世界场景的图像数据。在一些实施例中，相机系统(或替代地，第二相机系统)在AR头戴式装置(例如，AR眼镜(AR goggles))内侧，且还可检测插入的合成影像。校准过程(如眼睛跟踪)可以用于将相机图像与观察者所看到的图像对准。控制AR系统的处理器与已知对象的颜色数据库通信，所述已知对象例如产品、标志、甚至是自然人为制品，例如草和天空。当在所述真实世界视场中识别出来自所述数据库的对象时，所述处理器使用以下两种方法中的至少一种来重新校准显示器：
1)在用户干预下：向用户呈现两个版本的所述已知对象(例如：在真实世界对象的任一侧上显示一个版本)。用户选择最接近的视觉匹配。该过程可被迭代进行。
2)在没有用户干预的情况下：所述处理器显示对于覆盖在真实世界对象上的匹配颜色的最佳当前估计。所述内侧相机捕获所述场景，并且所述处理器将所述真实世界对象的颜色与所述(合成)估计进行比较。比较所测量的颜色和期望的颜色，并且如果它们的值在阈值色差内，则校准完成。这个过程是完全自动化的。所述色差阈值可以是内置的默认值或由用户设置/控制(例如，取决于他们的具体应用)。
所述AR显示器的重新校准可操作用于提高所述合成影像的颜色精度。这里公开的全自动实施例对用户来说是并非是强制性的。具有用户干预的实施例提供了针对用户的特定色觉而调谐的颜色校准结果。
附图说明
图1描绘了根据至少一个实施例的用于识别公共对象并计算其颜色的处理流程的概要。
图2描绘了根据至少一个实施例的将各种使用情况及其条件与可适用过程相关的图表。
图3描绘了根据至少一个实施方式的用于传统AR显示系统的用户参与的颜色校准过程的概要。
图4描绘了根据至少一个实施方式的用于包括内部测量成像设备的AR显示系统的用户参与的颜色校准过程的概要。
图5描绘了根据至少一个实施例的用于使用视场中的公共对象来维持颜色校准的用户参与的过程的序列图。
图6描绘了根据至少一个实施方式的用于包括内部测量成像设备的AR显示系统的全自动颜色校准过程的概要。
图7描绘了根据至少一个实施例的用于使用视场中的公共对象来维持颜色校准的全自动过程的序列图。
图8A描绘了根据至少一个实施例的涉及传统HMD的第一示例场景的视觉概览，并且图8B描绘了呈现给用户的对应AR颜色校准界面视图。
图9A描绘了根据至少一个实施例的涉及具有内部测量相机的HMD的第一示例场景的视觉概览，并且图9B描绘了呈现给用户的对应AR颜色校准界面视图。
图10A描绘了根据至少一个实施例的涉及传统AR显示器的第二示例场景，并且图10B描绘了呈现给用户的对应AR颜色校准界面视图。
图11A描绘了根据至少一个实施例的涉及具有内部测量相机的AR显示器的第二示例场景，并且图11B描绘了呈现给用户的对应AR颜色校准界面视图。
图12A和12B是根据示例性实施方式的AR显示器的示意图。
图13示出了在一些实施例中可以用于实现AR显示器的示例性无线发射-接收单元。
具体实施方式
缩写
AR 增强现实
3D 三维
HMD 头戴式显示器
FOV 视场
RGB 红-绿-蓝(颜色像素)
引言
本文公开了用于使用公共对象来维持颜色校准的方法和系统。这样的方法和系统可以被实现为在AR系统中发生的过程，诸如AR HMD或AR服务器，并且被实现为AR系统本身。各种实施例采取程序方法的形式。在本文所述的实施例中，经校准的前向相机或光谱仪连续地捕获AR系统的真实世界场景的图像数据。在一些实施例中，相机系统(或替代地，第二相机系统)在AR眼镜内侧，并且可以检测所述真实世界场景以及所插入的合成影像。所述AR系统的负责控制的处理器与已知对象的颜色数据库通信，所述已知对象例如产品、标志、甚至是诸如草和天空的自然人为制品。当在所述真实世界视场中识别出来自所述数据库的对象时，所述处理器重新校准所述显示器。在图12A和12B中示出了一些示例性实施例中的AR系统的示例性配置。在这些示意图中，所述相机安装在眼镜的显示表面后面，但在观察者的视野之外(例如，在观察者视野的上方、下方或侧面)。在一些实施例中，所述AR系统被提供有眼睛跟踪以将相机图像与用户的视野对准。
优点
所述AR显示器的重新校准有助于提高合成影像的颜色精度。本文所公开的全自动实施例对用户来说是并非是强制性的，而包括用户反馈的实施例提供了一种用于针对用户的特定色觉来调谐显示器的手段。
在继续该详细描述之前，注意到，在各个附图中描绘以及结合各个附图描述的实体、连接、布置等是作为示例而非作为限制来呈现的。因此，关于特定附图“描绘了什么”、特定附图中的特定元素或实体“是”或“具有”什么的任何和所有陈述或其他指示以及任何和所有类似陈述—其可能是孤立且在上下文之外被解读为绝对的且因此是限制性的—其仅可以在其前被建设性地加上诸如“在至少一个实施例中”的子句的情况下被适当地解读。
此外，在随后的段落中以及在本公开中的任何其他地方描述的任何变化和置换可以相对于任何实施例来实现，这其中包括相对于任何方法实施例和相对于任何系统实施例。
示例性颜色数据库
本文描述的示例性方法利用了可识别对象及其颜色或光谱属性的数据库。在执行所公开的方法之前，创建或识别数据库，并且使其内容可用于体现本文教导的设备或过程。所述数据库可以被构造为包括由一个或多个已知的对象识别技术使用的数据。收集该数据可以以考虑到对象可以从未知视点并且在光谱和空间二者上在未知和/或复杂光照下成像的事实的方式来执行。为了本公开的平衡，针对涉及漫射照明(illumination)和定向检测的情况描述了示例性方法。然而，这种条件不意味着以任何方式进行限制，因为所述数据库可以容易地扩展为包括更复杂的光照条件。省略对更复杂情形的引用仅是为了简洁和清楚。
可识别对象及其颜色或光谱属性的数据库中的数据可以使用若干手段来获取，这其中包括：具体材料的实际测量；来自产品贸易文献的估计(例如：潘通色)；其他数据库(用于传统材料，诸如草、天空、砖、皮肤等)等等。在至少一个实施例中，数据集包括颜色坐标(CIELAB或其他)。在一些实施例中，可捕获光谱反射率数据。某些材料或产品的数据可以由计划实施该过程的实体来测量。在这种情况下，计划实施该过程的实体可以使该数据公开可用，也可以不使该数据公开可用。与每个对象相关联的属性可以包括以下中的一者或多者：
·光谱反射系数。在一些实施例中，该光谱反射系数是在已知标准参考条件下测量的数据，例如在已知照明和检测角度下的测量，诸如双向反射(例如，在45°下的照明和在0°下的测量)或半球反射的测量。在一些实施例中，使用双向反射分布(BRDF)或更一般地双向散射分布函数(BSDF)来特性化
·荧光行为。在一些实施方案中，荧光可通过如R.Donaldson,Spectrophotometryof fluorescent pigments(荧光颜料的分光光度测定法),Br.J.Appl.Phys.5(1954)210-214中所述的唐纳森(Donaldson)矩阵而被特性化。该矩阵可以使用适当的测量设备来确定，并且完全特性化作为入射光的波长的函数的光谱反射率。在一些实施例中，可以基于所识别的对象的材料性质来确定荧光信息。例如，荧光纸通常表现出与普通“日光”荧光安全对象类似的荧光行为。
·光泽度。光泽度数据可以是在一组标准参考条件下由光泽度测量计收集的数据。取决于对象，规格可以是80°光泽度(对于漫射材料)；60°光泽度(半光泽度材料)或20°光泽度(光泽材料)。其它角度也是可能的，但是这些角度是最常见的。
·标志字体(Logo font)。
在一些实施例中，可以通过存储用户遇到的新对象的测量属性来扩展所述数据库。在这种情况下，可以应用验证机制，因为没有必然存在的任何校准所基于的基础真实颜色。在这种情况下，询问用户以确保校准后的颜色匹配是足够的是适当的。然后，可以通过前向相机和校准模型来估计所述颜色。为了更好的基础真实颜色数据，积分球分光辐射度计可以用于测量所述数据和/或集成分光辐射度计可以被包括在所述AR HMD设备中。
详细的过程和结构
在此公开了与各种使用情况相对应的一组过程和设备。图1涉及过程并描绘了示例性处理流程100。图1描绘了一处理流程开始102，其包括使用前向相机来识别公共对象并计算其在当前AR场景内的实际颜色。
在流程100中，经校准的前向相机对当前视场进行成像以生成彩色图像数据并检测佩戴者的视场104。在一些实施例中，所述前向相机被安装到AR HMD。在一些实施例中，所述前向相机被嵌入在AR HMD中。所述彩色图像数据在(HMD或AR服务器的)处理器处被接收106，并且在步骤108处，所述处理器使用该数据来识别场景中的与已知对象数据库中的对象匹配的对象。流程100还包括至少部分地通过使用在处理器处接收的图像数据来确定入射到所识别的对象上的当前场景照明116。所确定的场景照明与从已知对象数据库获得的颜色或光谱属性一起被处理器用于计算在当前场景中的光照条件下所识别的对象的实际颜色。步骤110包括检索任何已知对象的属性。应当注意，这里的实际颜色仅是数据库获得的已知对象属性和使用所述图像数据估计的真实世界照明的函数。在至少一个实施例中，至少部分地通过比较来自前向相机的图像数据与从已知对象数据库获得的属性来估计所述真实世界照明。步骤112提供处理器计算所述场景中任何已知对象的实际颜色。在这一点上，“实际颜色”仅考虑了所述真实世界照明和所述对象属性。因此，这是在对象反射之后入射到眼镜(HMD)上的光的颜色。还没有考虑眼镜的属性。因此，在确定所述对象的实际颜色中，并未涉及用户穿戴的AR设备的显示/渲染(rendering)属性。
在图2中描绘的图表中概述了使用情况1-3。图2 200描绘了根据至少一个实施例的将各种使用情况及其条件与可适用过程相关的图表。该图表示出了基于是否存在用户干预以及是否存在位于HMD显示表面的视野内的图像传感器(内侧测量设备)，哪些使用情况是可适用的。
使用情况1对应于在AR显示表面的视野内不具有相机传感器的AR HMD设备。用户与AR HMD交互以请求和控制颜色校准。适用于图表20中的使用情况1的流程300将在以下图3的描述中被讨论。
使用情况2和使用情况3两者都对应于具有位于AR显示表面的视野内的相机传感器的AR HMD设备。如果图1的前向相机具有包括所述AR显示表面的视场(FOV)，则所述相机传感器可以是关于图1讨论的前向相机。可替换地，例如当图1的前向相机不在其FOV中包括AR显示表面的位置/朝向时，除了图1的前向相机之外，所述相机传感器可以被包括在HMD中。在使用情况2中，用户与AR HMD交互以请求和/或控制颜色校准，而且，位于AR显示表面的视野内的相机传感器将图像数据发送到处理器，该处理器将此数据与用户输入数据相关以用于调谐自动颜色校准模型。图3中概述了适用于使用情况2的过程C。在使用情况3中，不涉及用户交互或干预。通过使用所述自动颜色校准模型，颜色校准过程是完全自动化的。
关于图6描述了用于使用情况3的流程。
注意，没有任何东西排除了特定AR系统使用多个上述方法，并且实际上，为了简洁起见而未列出的大量可能实施例可包括来自这些过程的某些元素的各种组合。例如，与使用情况3相关联的全自动方法可以在后台连续运行，并且如果用户经由AR设备的用户界面感觉到颜色再现不是最佳的，则用户可以触发手动校准。然后，在知道他们不想在即将到来的时刻期间在FOV中存在视觉扰乱的情况下，用户可以重新参与所述全自动过程。表200中概述的过程可以被顺序地使用，以首先调谐，然后运行全自动AR颜色校准过程。
图3示出了根据至少一个实施方式的用于传统AR显示系统的用户参与的颜色校准过程的概要。图3中使用的AR显示系统与使用情况1一致；它不包括用于观看在AR显示表面上呈现的内容的内部测量成像设备(即，它是传统的AR显示系统，因此不包括内侧相机)。图3的过程被示为流程图300。
在过程300中，步骤302示出场景内的已知对象的实际颜色。在步骤304，AR场景中的已知对象的实际颜色被输入到逆显示模型，以将该颜色数据转换为RGB数据。由此，在步骤306，对所述已知对象的所述RGB数据进行估计。接下来，该过程包括选择备选(附近)RGB坐标作为测试颜色308。这种选择可以由处理器使用测试颜色生成算法来执行。所选的备选坐标的数量可不受限制，除非是为了在步骤310为用户保持合理的界面。更大量的选定的备选坐标提供了朝向优选显示器校准的更快的收敛。接下来，该过程包括在步骤312使用每个所选测试颜色来渲染所述已知对象，并在所述已知对象附近可视地显示每个渲染。在一些实施例中，可渲染整个已知对象。在一些实施例中，仅渲染所述已知对象的代表性部分。在各种实施例中，所渲染的已知对象的量基于所述已知对象的大小。在步骤314，该过程然后提示用户选择哪个显示的渲染是与已知对象最接近的视觉匹配。在至少一个实施例中，步骤314包括进一步请求用户选择所述匹配的接近程度(即，可接受度)的提示。如果在判定316处，用户不满意所述匹配的接近程度，过程300包括基于所述优选渲染的所述RGB数据更新所述已知对象的所述RGB数据的所述估计318，并且过程300从相应的步骤306开始重复。如果用户对所述匹配的接近程度满意，则过程300包括：在步骤320，使用所选渲染的所述RGB数据和所述已知对象的实际颜色来更新显示模型。然后，过程300结束，并且图1中的过程100重新开始。显示模型参数可以被重新优化以考虑新的信息(新确定的RGB到颜色匹配参数)。
图4示出了根据至少一个实施方式的用于包括内部测量成像设备的AR显示系统的用户参与的颜色校准过程的概要。图4中使用的AR显示系统与使用情况2一致；它确实包括用于查看在AR显示表面上渲染的内容的内部测量成像设备(例如，内侧相机)。图4的过程示出了流程400。
在流程400中，在步骤402，AR场景中的已知对象的实际颜色(如过程100所确定的)被输入到逆显示模型，以将该颜色数据转换为RGB数据。这样，通过逆显示模型(颜色到RGB)404以及估计已知对象的RGB 406来估计已知对象的RGB数据。接下来，过程400包括选择备选(附近)RGB坐标作为测试颜色408。除了为用户保持合理的界面之外，所选的备选坐标的数量不受限制。更大量的选定的备选坐标提供了朝向优选显示器校准的更快的收敛。接下来，过程400包括使用每个选择的测试颜色来渲染所述已知对象410，并在步骤414在所述已知对象附近可视地显示每个渲染。在一些实施例中，可渲染整个已知对象。在一些实施例中，可仅渲染所述已知对象的代表性部分。在各种实施例中，所渲染的已知对象的量基于所述已知对象的大小。在步骤414，用户选择哪个显示的渲染是与所述已知对象最接近的视觉匹配(即，是优选的)。在至少一个实施例中，所述提示进一步在判定416处请求用户选择所述匹配的接近程度(即，可接受度)。如果用户不满意所述匹配的接近程度，在步骤418，过程400包括基于所述优选渲染的所述RGB数据更新所述已知对象的所述RGB数据的所述估计，并且过程400从相应的步骤开始重复。如果用户对所述匹配的接近程度满意，则在步骤420，过程400包括使用所述优选渲染的所述RGB数据和所述已知对象的所述实际颜色来更新显示模型。过程400与过程100的不同之处在于：过程400还包括在步骤422使用所述已知对象的实际颜色和所述优选渲染的RGB数据来更新内侧相机模型。然后，过程400结束，并且过程100在步骤104处重新开始，如标识符“A”所示。
图5描绘了根据至少一个实施例的用于使用视场中的公共对象来维持颜色校准的用户所涉及的过程的序列图500。图5示出了由图像处理组件502、AR显示组件504和用户组件506执行的操作。所述图像处理组件估计当前照明条件508。真实世界对象通过AR显示器对用户可见510。所述图像处理组件捕获真实世界对象的图像512。然后，所述图像处理组件识别所述真实世界对象及其颜色。所述图像处理组件计算候选颜色渲染516，并将该渲染发送到AR显示组件518。该AR显示组件显示合成内容(即，所述渲染)520。该合成内容经由AR显示器对用户可见522。然后，用户在步骤524将候选渲染与所述真实世界对象进行比较，并选择优选渲染526。所述用户选择被发送到所述图像处理组件，在528，该图像处理组件使用该反馈来更新显示颜色模型。
图6示出了根据至少一个实施方式的用于包括内部测量成像设备的AR显示系统的全自动颜色校准过程600的概要。图6中使用的AR显示系统与表200中所示的使用情况3一致；它可包括用于查看在AR显示表面上渲染的内容的内部测量成像设备(例如，内侧相机)。
在过程600中，AR场景中的已知对象的实际颜色602(如过程100所确定的)被输入到逆显示模型，以将该颜色数据转换为RGB数据604。由此，在步骤606，对所述已知对象的RGB数据进行估计。接下来，该过程包括在步骤608，选择备选(附近)RGB坐标作为测试颜色。这种选择可以由处理器使用简单的测试颜色生成算法来执行。除了为用户保持合理的界面之外，所选的备选坐标的数量不受限制。更大量的选定的备选坐标提供了朝向优选显示器校准的更快的收敛。接下来，该过程包括在步骤610使用每个所选测试颜色来渲染已知对象的一部分，以及在步骤612在所述已知对象附近可视地显示每个渲染。在显示多个备选颜色的实施例中，处理器选择要渲染的已知对象的不同区域。过程600然后包括：在步骤614，内侧相机检测已知对象和所有渲染片段的颜色。在步骤616，处理器选择与已知对象的颜色匹配最接近的备选RGB数据。在判定618，确定所述颜色匹配是否小于目标最大色差。如果所述匹配没有足够的接近程度，在步骤620，过程600包括基于所述优选渲染的RGB数据更新所述已知对象的RGB数据的估计，并且过程600从相应的步骤606开始重复。如果所述匹配存在足够的接近程度，则过程600包括在步骤622使用所述已知对象的实际颜色和所选渲染的RGB数据来更新显示模型。则过程600结束，并且过程100在步骤104重新开始。
下面列出的步骤是过程600的补充描述。
步骤1：识别所述视场内的候选对象：
所述处理器通过使用图像处理算法来确定前向相机的当前视场中的对象是否在已知对象数据库中。该算法可以考虑先前列出的任何属性。在一些实施方案中，比较这些属性中的几个属性。例如，在检测到亮红色对象之后，可以大大减少所述数据库中的潜在对象的数量，然后可以比较第二属性，等等。关于对象检测和识别的文献非常深入，并且可以应用和可能组合任何数量的公开方法以实现给定AR应用的必要性能水平。
步骤2：估计照明的光谱功率分布SPD：
所述SPD的估计可以通过文献中建立的许多方法进行。所述前向相机或其他组件可以用于当前照明的准确估计。在一些实施例中，可以使用Cheng、Price、Cohen和Brown的“Effective Learning-Based Illuminant Estimation Using Simple Features(使用简单特征的基于有效学习的照明估计),”(IEEE CVPR2015)中描述的技术来执行照明估计。
步骤3：估计所述已知对象的显示RGB坐标：
估计所述对象的有效反射率可以通过使用前向相机并考虑在步骤2中估计的照明和来自步骤1的所述对象的已知反射率来完成。到达观察者的光的一个示例性估计(辐射亮度)是照明和反射率的乘积。如果更复杂的几何属性是可用的(例如BRDF)，则在此可以应用它们来改善对观察者观看到什么的估计。如此计算的辐射亮度还未考虑眼镜属性。在应用该眼镜的透射率之后，所得到的辐射亮度是对入射在观察者的眼睛以及所述内侧相机上的光的有用估计。使用估计的光源和已知的CIE变换，可将该光谱辐射亮度转换为颜色。可通过逆显示模型处理该颜色，以估计匹配该颜色所需的RGB。
步骤4：处理所述校准并更新显示颜色再现模型：
在执行单个重新校准之前，可以识别若干对象，并且估计它们的属性。对于每个对象，将颜色坐标映射到AR显示器的估计RGB坐标。该估计RGB坐标由AR眼镜在所述对象内或附近显示，并且前向相机检测这两者的颜色。为若干对象确定目标颜色和实际颜色之间的差，然后更新显示模型。这个过程可以根据需要重复，直到最终估计的颜色和测量的颜色低于色差阈值。颜色距离阈值可以是预定义值或用户可调整的值。国际颜色协会(ICC)网站www.color.org/displaycalibration.xalter是相机校准技术的一个有效参考。该ICC已经建立了可以校准显示器的多种方法，并概述了用于操作这种经校准的显示器的处理和通信。
精确颜色的渲染受到AR眼镜的透明性质的限制和因为其而被复杂化。下面描述考虑了这些复杂化的技术。
步骤5：更新对象颜色，并潜在地迭代：
首先，所述系统更新所述对象的RGB坐标，重新显示所述渲染，并用所述相机重新成像所述渲染以及所述真实世界对象。然后，所述系统检查所述渲染和所述目标对象颜色之间的色差。如果该色差低于所述阈值，则该过程完成。如果所述色差高于所述阈值，则该过程重复步骤4和5。
图7描绘了根据至少一个实施例的用于使用视场中的公共对象来维持颜色校准的全自动过程的序列图700。图7包括图像处理组件702、AR显示组件704和内部相机组件706。所述图像处理组件702估计当前照明条件708。真实世界对象通过AR显示器710对所述内部相机组件是可见的。所述图像处理组件捕获真实世界对象的图像712。然后，图像处理组件识别真实世界对象及其颜色714。图像处理组件计算候选颜色渲染并将该渲染发送到AR显示组件716。AR显示组件显示合成内容(即，所述渲染)720。该合成内容对于内部相机组件722是可见的。所显示的对象的图像被提供给内部相机722。然后，内部相机组件捕获/记录各种候选渲染和真实世界对象的图像724，这两者都在AR显示器处可见。所述AR显示器的图像被发送到图像处理组件726，其使用该反馈来更新显示颜色模型728。
图8A描绘了根据至少一个实施例的涉及传统HMD的第一示例场景的视觉概览800，并且图8B描绘了呈现给用户的对应AR颜色校准界面视图850。图8A的概览包含观看者806、AR面罩(visor)804、观看者可见且由AR面罩804显示的合成内容覆盖图(overlay)、以及所述观看者也可通过AR面罩804看到的所识别的真实世界对象802。AR面罩804是执行本文教导的颜色校准过程的HMD的一部分。AR系统向观看者呈现图8B的AR颜色校准界面850。此时，所述合成内容覆盖图包括AR颜色校准界面。在一些实施例中，所述界面包括选择最接近的颜色或优选选项的提示以及以所识别的真实世界对象的渲染的形式的至少一个候选RGB颜色选项。在其他实施例中，该界面包括一组候选RGB颜色选项作为所识别的真实世界对象的渲染。图8B示出了允许用户通过选择选项A 852或选项B 856来选择与“真实”对象854相比最接近的颜色的界面。AR系统经由用户界面接收标识所选选项的观看者输入。所述AR系统可以通过向观看者呈现新的选项并接收新的观看者输入来迭代所述校准过程。在每次迭代中，使用观看者选择的颜色参数与所识别的真实世界对象的已知参数相比较来更新显示校准模型。在一个实施例中，可调整显示颜色校准模型，使得当AR系统渲染包括所识别的真实世界对象的已知颜色的合成内容覆盖图时，使用所选择的选项的RGB值来渲染那些颜色。图8A-8B涉及包括传统HMD的本公开的系统和方法的实施例。传统HMD不包括可观看由AR面罩显示的合成内容覆盖图的相机。这种系统可以执行上述过程100和300。
图9A描绘了根据至少一个实施例的涉及具有内部测量相机的HMD的第一示例场景的视觉概览，并且图9B描绘了呈现给用户的对应AR颜色校准界面视图。图9A的概览示出了所识别的真实世界对象902、HMD的AR面罩904、观看者可看见并由AR面罩904显示的合成内容覆盖图、以及观看者也可透过AR面罩904看见的所识别的真实世界对象902。所述HMD包括内侧相机906，其可观看在AR面罩904处的合成内容覆盖图和所识别的真实世界对象的组合图像。这种AR系统向观看者呈现图9B的AR颜色校准界面。此时，所述合成内容覆盖图包括所述AR颜色校准界面。在一些实施例中，该界面包括用于用户选择最接近的颜色或优选选项的提示以及以所识别的真实世界对象的渲染的形式的至少一个候选RGB颜色选项。在其他实施例中，所述界面仅包括一组候选RGB颜色选项作为所识别的真实世界对象的渲染。在诸如图9B中所描绘的全自动实施例中，界面950包括单个颜色选项渲染，并且内侧相机对真实世界对象和颜色选项渲染进行成像。该图像数据被发送到HMD的处理器以用作更新所述AR显示颜色校准模型的输入。AR系统可以通过向内侧相机呈现新的选项并且接收新的图像数据作为输入来迭代所述校准过程。在每次迭代中，如果由使用内侧相机图像数据的图像分析算法确定的所渲染选项954与真实世界对象952之间的颜色匹配更好，则使用所渲染选项的颜色参数来更新所述显示校准模型。在一个实施例中，可调整显示颜色校准模型，使得当AR系统渲染包括所识别的真实世界对象的已知颜色的合成内容覆盖图时，使用所选择的选项的RGB值来渲染那些颜色。图9A-9B涉及本公开的系统和方法的实施例，其包括具有能够观看AR面罩的内侧相机的HMD。这样的系统可以执行上述过程100、300、400和600。
图10A描绘了根据至少一个实施例的涉及传统AR显示器的第二示例场景1000，并且图10B描绘了呈现给用户的对应AR颜色校准界面视图1050。图10A中描述的示例场景包括观察者1002透过AR显示器(例如，玻璃透视AR面罩)1004观看处于桌子上的对象1012。光源1006提供入射光，该入射光被对象1008反射并朝向观察者1010传播。反射光穿过AR显示器1004。
在图10A-10B中，所述对象是一魔方(Rubik’s cube)。图10B描述了通过AR面罩的观察者的视图1050。该观察者的视图包含真实世界的魔方1052、各自具有略微改变的颜色的魔方的两个合成渲染1054、1056、以及提示观察者选择哪一合成的魔方更紧密地匹配所述真实世界魔方的问号的合成渲染。所述问号被插入的影像以向观察者指示需要做出选择。魔方1054和1056表示具有略微改变的颜色的合成影像。
图11A描绘了根据至少一个实施例的涉及具有内部测量相机1106的AR显示器1104的第二示例场景1100，并且图11B描绘了呈现给用户的对应AR颜色校准界面视图。图11A中描述的示例场景1100包括观察者通过AR显示器(例如，玻璃透视AR面罩1104)观看处于桌子上的对象1114。光源1108提供入射光，其从对象1110反射并朝向观察者1112传播。反射光穿过AR显示器1104，并且由观察者1102和内侧相机1106观看到。在图11A-11B中，所述对象是魔方。图11B描绘在经由AR显示器将魔方的合成测试渲染插入到观察者的FOV中之前和之后通过AR面罩的观察者视图(即，视图(A)和视图(B))。首先，观察者的视图(A)1152包含桌子上的真实世界魔方，且此视图对于内侧相机也是可见的。该内侧相机或另一相机将图像数据发送到处理器，所述处理器接着将所述魔方识别为已知对象数据库中的对象。接下来，魔方的合成测试图像通过使用AR面罩而被覆盖，并且该新视图(B)1154对于观察者和内侧相机都是可见的。该内侧相机将图像数据发送到处理器，处理器然后基于视图(A)和视图(B)之间的差来调整所述AR面罩的颜色渲染方案。
现在参考图12A和12B，示出了AR系统1200和1250的示例性配置。在示意图中，相机1202和1252分别安装在眼镜的显示表面后面，但在观察者的视野之外(例如，在观察者视野的上方、下方或侧面)。在一些实施例中，AR系统被提供有眼睛跟踪以将相机图像与用户的视野对准。在图12A中，示出了所述相机耦合到控制模块1204，其耦合到波导1206和LCD1208。同样，在图12B中，相机1252与LCD 1256一样被耦合到控制模块1254。图12B中还示出了部分反射表面1258。
在存在环境背景的情况下渲染显示颜色
传统的颜色显示模型将设备RGB坐标与显示器的输出辐射亮度(或颜色)相关联。更先进的模型也考虑到环境房间条件(耀斑)。AR眼镜存在来自场景并穿过眼镜的空间变化的环境光所引起的额外混乱，该光可被邻近AR显示影像的用户观察到或与该AR显示影像重叠。示例性实施例可以如下解决这个问题。
考虑这样的实施例，其中存在检测观察者所看到的环境光的外侧前向相机，并且处理器可操作以确定该环境光与内部AR显示器之间的空间关系。结果是所述处理器可以访问在AR显示器中的每个像素位置处观察者看到的光的对准的辐射亮度或颜色。由于AR显示器和真实世界对准，所以下面的空间坐标x,y用于该两个系统。
根据传统显示模型，可以计算光谱辐射亮度L，使AR显示器从给定像素x,y和输入R、G、B颜色坐标朝向观察者：
注意，下标λ表示所述参数是被光谱量化的。还应注意，显示模型f1与显示器上的位置无关。来自环境光的贡献基于相机模型f2：
再次注意，相机模型f2与像素的位置无关。表示在给定像素处显示器的光谱透射率。观察者看到的总辐射亮度是这两部分之和：
因此，到最终显示模型的输入颜色可操作以考虑环境影响。这将对可用的显示颜色设置一些限制。即使当AR显示器完全关闭时，穿过眼镜的环境光也会对可以呈现给观察者的辐射亮度施加下限。
在一些实施例中，对于颜色至关重要的应用，可以指示观察者保持视点没有明亮的真实世界区域。实际上，将观察者引导到昏暗区域的益处取决于在特定眼镜中可用的光阻挡的类型和质量。在一些实施例中，AR系统包括这样的技术，其在没有AR图像的地方使光完全通过，并且在有AR图像的任何地方完全阻挡光。在这样的实施例中，对于光被完全阻挡的区域，如上所述的环境辐射亮度的值可以是零。
所述解决方案的一些变型
图2中的表格/图表200提供了其中可以应用这里所公开的教导的三个示例性场景。也可以考虑关于用户输入和成像能力的其它组合。
在更复杂的实施例中，对象属性的数据库包括用于一些或所有对象的双向反射分布函数。利用该数据提高了在估计给定对象的有效反射率时的准确度。然而，这是计算上耗费得多的应用，因为考虑了对象的真实世界光照的各种方向方面。
其它讨论
图13是示出了在示例性实施方式中可以用作头戴式AR显示器的示例性无线发射接收单元(WTRU)1302的系统图。如图13所示，WTRU 1302可以包括处理器1318、收发信机1320、发射/接收部件1322、扬声器/麦克风1324、数字键盘1326、显示器/触摸板1328、不可移除存储器1330、可移除存储器1332、电源1334、全球定位系统(GPS)芯片组1336和/或周边设备1338。应该了解的是，在保持符合实施例的同时，WTRU 1302还可以包括前述部件的任何子组合。
所述处理器1318可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、其他任何类型的集成电路(IC)以及状态机等等。处理器1318可以执行信号编码、数据处理、功率控制、输入/输出处理、和/或其他任何能使WTRU 1302在无线环境中工作的功能。处理器1318可以耦合至收发信机1320，收发信机1320可以耦合至发射/接收部件1322。虽然图13将处理器1318和收发信机1320描述成单独组件，然而应该了解，处理器1318和收发信机1320也可以一起集成在一电子组件或芯片中。
发射/接收部件1322可被配置成经由空中接口1316来发射或接收去往或来自基站(例如，基站1314a)的信号。举个例子，在一个实施例中，发射/接收部件1322可以是被配置成发射和/或接收RF信号的天线。作为示例，在另一实施例中，发射/接收部件1322可以是被配置成发射和/或接收IR、UV或可见光信号的放射器/检测器。在再一个实施例中，发射/接收部件1322可被配置成发射和/或接收RF和光信号。应该了解的是，发射/接收部件1322可以被配置成发射和/或接收无线信号的任何组合。
虽然在图13中将发射/接收部件1322描述成是单个部件，但是WTRU 1302可以包括任何数量的发射/接收部件1322。更具体地说，WTRU 1302可以使用MIMO技术。由此，在一个实施例中，WTRU 1302可以包括两个或更多个通过空中接口1316来发射和接收无线信号的发射/接收部件1322(例如多个天线)。
收发信机1320可被配置成对发射/接收部件1322所要传送的信号进行调制，以及对发射/接收部件1322接收的信号进行解调。如上所述，WTRU1302可以具有多模能力。因此，收发信机1320可以包括允许WTRU 1302借助多种RAT(例如NR和IEEE 802.11)来进行通信的多个收发信机。
WTRU 1302的处理器1318可以耦合到扬声器/麦克风1324、数字键盘1326和/或显示器/触摸板1328(例如液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)，并且可以接收来自这些部件的用户输入数据。处理器1318还可以向扬声器/麦克风1324、键盘1326和/或显示器/触摸板1328输出用户数据。此外，处理器1318可以从诸如不可移除存储器1330和/或可移除存储器1332之类的任何适当的存储器中存取信息，以及将信息存入这些存储器。不可移除存储器1330可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或是其他任何类型的记忆存储设备。可移除存储器1332可以包括订户身份模块(SIM)卡、记忆棒、安全数字(SD)记忆卡等等。在其他实施例中，处理器1318可以从那些并非实际位于WTRU1302的存储器存取信息，以及将数据存入这些存储器，作为示例，此类存储器可以位于服务器或家庭计算机(未显示)。
处理器1318可以接收来自电源1334的电力，并且可被配置分发和/或控制用于WTRU 1302中的其他组件的电力。电源1334可以是为WTRU 1302供电的任何适当设备。例如，电源1334可以包括一个或多个干电池组(如镍镉(Ni-Cd)、镍锌(Ni-Zn)、镍氢(NiMH)、锂离子(Li-ion)等等)、太阳能电池以及燃料电池等等。
处理器1318还可以耦合到GPS芯片组1336，该GPS芯片组可被配置成提供与WTRU1302的当前位置相关的位置信息(例如经度和纬度)。作为来自GPS芯片组1336的信息的补充或替换，WTRU 1302可以经由空中接口1316接收来自基站的位置信息，和/或根据从两个或更多个附近基站接收的信号定时来确定其位置。应该了解的是，在保持符合实施例的同时，WTRU 1302可以借助任何适当的定位方法来获取位置信息。
处理器1318还可以耦合到其他周边设备1338，其中所述周边设备可以包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块。例如，所述周边设备1338可以包括加速度计、电子指南针、卫星收发信机、数码相机(用于照片和/或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提耳机、模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器、虚拟现实和/或增强现实(VR/AR)设备、以及活动跟踪器等等。所述周边设备1338可以包括一个或多个传感器，所述传感器可以是以下的一者或多者：陀螺仪、加速度计、霍尔效应传感器、磁强计、方位传感器、邻近传感器、温度传感器、时间传感器、地理位置传感器、高度计、光传感器、触摸传感器、磁力计、气压计、手势传感器、生物测定传感器和/或湿度传感器等。
WTRU 1302可以包括全双工无线电设备，其中对于该无线电设备来说，一些或所有信号(例如与用于UL(例如对传输而言)和下行链路(例如对接收而言)的特定子帧相关联)的接收或传输可以是并发和/或同时的。全双工无线电设备可以包括借助于硬件(例如扼流线圈)或是凭借处理器(例如单独的处理器(未显示)或是凭借处理器1318)的信号处理来减小和/或基本消除自干扰的干扰管理单元。在实施例中，WTRU 1302可以包括传送和接收一些或所有信号(例如与用于UL(例如对传输而言)或下行链路(例如对接收而言)的特定子帧相关联)的半双工无线电设备。
注意，所描述的一个或多个实施例的各种硬件元件被称为“模块”，其实施(即，执行、运行等)在此结合相应模块描述的各种功能。如本文所使用的，模块包括相关领域的技术人员认为适合于给定实现的硬件(例如，一个或多个处理器、一个或多个光学处理器、一个或多个SLM、一个或多个微处理器、一个或多个微控制器、一个或多个微芯片、一个或多个专用集成电路(ASIC)、一个或多个现场可编程门阵列(FPGA)、一个或多个存储器设备)。每个所描述的模块还可以包括可执行用于执行被描述为由相应模块执行的一个或多个功能的指令，并且注意，这些指令可以采取硬件(即，硬连线的)指令、固件指令和/或软件指令等的形式或包括它们，并且可以被存储在任何适当的非暂时性计算机可读介质或媒介中，其诸如通常被称为RAM、ROM等。
尽管以上以特定的组合描述了特征和元素，但是本领域的普通技术人员将理解，每个特征或元素可以单独使用或与其它特征和元素任意组合使用。另外，本文描述的方法可以部分地通过使用结合在计算机可读介质中的计算机程序、软件或固件来实现，以便由计算机或处理器执行。计算机可读媒体的示例包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、缓冲存储器、半导体存储设备、诸如内部硬盘和可移除磁盘之类的磁媒体、磁光媒体、以及诸如CD-ROM碟片和数字多用途碟片(DVD)之类的光媒体。与软件相关联的处理器可以用于实现用于AR显示系统中的图像分析引擎、图像渲染引擎、控制器、定时模块、操作系统等。

Claims (13)

1.一种对增强现实显示设备进行颜色校准的方法，所述方法包括：
估计真实世界照度；
捕获真实世界对象的图像；
使用基于所述真实世界对象的所述图像的对象识别，从可识别对象的数据库中的对象当中识别所述真实世界对象，且从所述数据库访问所述真实世界对象的已知颜色特性；
使用所述真实世界照度和所述真实世界对象的所述颜色特性来计算所述真实世界对象的合成版本的颜色渲染；
在增强现实显示器上显示所述颜色渲染，并且记录包含所述颜色渲染的所述显示器的图像；以及
基于所显示的颜色渲染的所述图像，调整用于渲染合成内容的显示颜色模型。
2.根据权利要求1所述的方法，其中，估计所述真实世界照度包括：将所捕捉的所述真实世界对象的图像与所述真实世界对象的所述已知颜色特性进行比较。
3.根据权利要求1所述的方法，其中所述增强现实显示设备是包括内部相机的头戴式显示器，且其中所述真实世界对象的所述图像及所述显示器的所述图像是使用所述内部相机获得的。
4.根据权利要求3所述的方法，其中所述真实世界对象的所述图像及所述显示器的所述图像被同时获得。
5.根据权利要求1所述的方法，其中所述真实世界对象的所述已知颜色特性被从数据库访问。
6.根据权利要求1所述的方法，其中调整所述显示颜色模型是基于所述真实世界对象的所述图像与所显示的颜色渲染的所述图像之间的比较的。
7.一种对增强现实显示设备进行颜色校准的方法，所述方法包括：
使用安装在增强现实头戴式装置内部的相机，通过所述增强现实头戴式装置的至少部分透明的显示器捕获真实世界对象的图像，所述显示器可定位在用户的眼睛上方，并且当所述显示器定位在所述用户的眼睛上方时，所述相机安装在所述用户的所述显示器的视野之外的位置处；
在所述显示器上显示所述真实世界对象的颜色渲染；
使用所述相机，捕获所述显示器的包含所述颜色渲染的图像；以及
基于所述真实世界对象的所述图像与所显示的颜色渲染的所述图像之间的比较，调整用于渲染合成内容的显示颜色模型。
8.根据权利要求7所述的方法，其中在所述显示器定位于所述用户的眼睛上方时，执行对所述真实世界对象的所述图像的所述捕获以及对所述显示器的所述图像的所述捕获。
9.一种增强现实设备，包括：
头戴式装置，包括显示器，所述显示器至少部分透明并且能够定位在用户的眼睛上方；
第一相机，其安装在所述头戴式装置内部，所述第一相机被安装一位置处，以使得当所述显示器被定位在所述用户的眼睛上方时，所述第一相机通过所述显示器面向外、在所述用户的所述显示器的视野之外并且朝向所述显示器；以及
至少一个处理器，其被配置以基于由所述第一相机捕获的所述显示器的图像来校准所述显示器。
10.根据权利要求9所述的设备，其中，所述处理器还被配置为执行：
捕获真实世界对象的图像；
在所述显示器上显示所述真实世界对象的颜色渲染；以及
捕获所述显示器的包含所述颜色渲染的图像；
其中所述校准基于所述真实世界对象的所述图像与所显示的颜色渲染的所述图像之间的比较。
11.根据权利要求10所述的设备，其中所述真实世界对象的所述图像由所述第一相机捕获。
12.根据权利要求10所述的设备，其进一步包括在所述显示器外部安装到所述头戴式装置的第二相机，其中所述真实世界对象的所述图像由所述第二相机捕获。
13.根据权利要求9所述的设备，其中所述显示器的所述校准是颜色校准。
CN202510222728.7A 2017-12-29 2018-12-21 使用公共对象维持颜色校准的方法和系统 Pending CN120163952A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762612140P 2017-12-29 2017-12-29
US62/612,140 2017-12-29
PCT/US2018/067206 WO2019133505A1 (en) 2017-12-29 2018-12-21 Method and system for maintaining color calibration using common objects
CN201880084415.8A CN111557023B (zh) 2017-12-29 2018-12-21 使用公共对象维持颜色校准的方法和系统

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201880084415.8A Division CN111557023B (zh) 2017-12-29 2018-12-21 使用公共对象维持颜色校准的方法和系统

Publications (1)

Publication Number Publication Date
CN120163952A true CN120163952A (zh) 2025-06-17

Family

ID=65033661

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202510222728.7A Pending CN120163952A (zh) 2017-12-29 2018-12-21 使用公共对象维持颜色校准的方法和系统
CN201880084415.8A Active CN111557023B (zh) 2017-12-29 2018-12-21 使用公共对象维持颜色校准的方法和系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201880084415.8A Active CN111557023B (zh) 2017-12-29 2018-12-21 使用公共对象维持颜色校准的方法和系统

Country Status (4)

Country Link
US (2) US11410400B2 (zh)
EP (2) EP4266259B1 (zh)
CN (2) CN120163952A (zh)
WO (1) WO2019133505A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11494953B2 (en) * 2019-07-01 2022-11-08 Microsoft Technology Licensing, Llc Adaptive user interface palette for augmented reality
EP4038517A4 (en) * 2019-10-02 2023-07-05 Datacolor, Inc. METHOD AND DEVICE FOR COLOR SEARCH USING A MOBILE DEVICE
US11740132B2 (en) 2019-10-02 2023-08-29 Datacolor, Inc. Method and apparatus for color lookup using a mobile device
CN112817437B (zh) * 2019-11-15 2024-07-19 苹果公司 用于可变用途的经着色视觉标记
US11727476B2 (en) * 2020-01-22 2023-08-15 Lydia Ann Colby Color rendering
DE102021111937A1 (de) * 2020-05-07 2021-11-11 J. Wagner Gmbh Verfahren zur steuerung eines farbmischgeräts und/oder eines farbauftragungsgeräts
CN115941912A (zh) * 2022-11-28 2023-04-07 歌尔科技有限公司 视觉色彩补偿方法、设备及计算机可读存储介质
US12530743B2 (en) 2023-11-02 2026-01-20 Ford Global Technologies, Llc Image data alignment for mobile system sensors

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6081612A (en) 1997-02-28 2000-06-27 Electro Optical Sciences Inc. Systems and methods for the multispectral imaging and characterization of skin tissue
JPH11143031A (ja) 1997-11-11 1999-05-28 Konica Corp 非可視画像情報を用いた可視画像出力方法および可視画像形成方法
JP2923894B1 (ja) 1998-03-31 1999-07-26 日本電気株式会社 光源判定方法、肌色補正方法、カラー画像補正方法、光源判定装置、肌色補正装置、カラー画像補正装置及びコンピュータ読み取り可能な記録媒体
US7173622B1 (en) 2002-04-04 2007-02-06 Figment 3D Enterprises Inc. Apparatus and method for generating 3D images
AU2003249008A1 (en) 2002-07-30 2004-02-16 Canon Kabushiki Kaisha Image processing system, apparatus, and method, and color reproduction method
US7508961B2 (en) 2003-03-12 2009-03-24 Eastman Kodak Company Method and system for face detection in digital images
US7587068B1 (en) 2004-01-22 2009-09-08 Fotonation Vision Limited Classification database for consumer digital images
US8154612B2 (en) 2005-08-18 2012-04-10 Qualcomm Incorporated Systems, methods, and apparatus for image processing, for color classification, and for skin color detection
US8103094B2 (en) 2005-09-22 2012-01-24 Adobe Systems Incorporated Color correction based on skin color
US7728904B2 (en) 2005-11-08 2010-06-01 Qualcomm Incorporated Skin color prioritized automatic focus control via sensor-dependent skin color detection
GB0622250D0 (en) 2006-11-08 2006-12-20 Univ East Anglia Illuminant estimation
WO2010093503A2 (en) 2007-01-05 2010-08-19 Myskin, Inc. Skin analysis methods
US9070192B1 (en) * 2007-05-15 2015-06-30 Vision Interface Technologies, LLC Implementing rich color transition curve tracking for applications
US8592351B2 (en) 2008-03-20 2013-11-26 Exxonmobil Upstream Research Company Enhancing emulsion stability
JP5402293B2 (ja) * 2009-06-22 2014-01-29 ソニー株式会社 頭部装着型ディスプレイ、及び、頭部装着型ディスプレイにおける画像表示方法
AU2010291853B2 (en) 2009-09-03 2016-05-26 Commonwealth Scientific And Industrial Research Organisation Estimating reflectance model parameters from an image
WO2011106797A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
KR20110110390A (ko) * 2010-04-01 2011-10-07 가톨릭대학교 산학협력단 대화형 유전자 알고리즘을 기반으로 사용자 취향을 반영한 감정 기반 영상의 색변환 방법
US9380270B1 (en) 2011-08-31 2016-06-28 Amazon Technologies, Inc. Skin detection in an augmented reality environment
US9619911B2 (en) * 2012-11-13 2017-04-11 Qualcomm Incorporated Modifying virtual object display properties
KR101527801B1 (ko) * 2013-05-22 2015-06-11 주식회사 아이싸이랩 동물들의 코무늬를 이용한 동물 개체 인식 장치 및 방법
US9398280B2 (en) 2013-08-26 2016-07-19 Intel Corporation AWB using face detection
US9953556B2 (en) * 2013-10-04 2018-04-24 University Of Manitoba Color correction method for optical see-through displays
AU2014202744B2 (en) 2014-05-20 2016-10-20 Canon Kabushiki Kaisha System and method for re-configuring a lighting arrangement
US11030778B2 (en) * 2014-03-31 2021-06-08 Healthy.Io Ltd. Methods and apparatus for enhancing color vision and quantifying color interpretation
EP3155560B1 (en) 2014-06-14 2020-05-20 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US10192134B2 (en) 2014-06-30 2019-01-29 Microsoft Technology Licensing, Llc Color identification using infrared imaging
KR20160030690A (ko) 2014-09-11 2016-03-21 서울바이오시스 주식회사 피부 상태의 모니터링을 위한 얼굴 위치 교정 장치 및 이를 이용하는 모니터링 방법
GB2532075A (en) * 2014-11-10 2016-05-11 Lego As System and method for toy recognition and detection based on convolutional neural networks
KR102630754B1 (ko) * 2015-03-16 2024-01-26 매직 립, 인코포레이티드 증강 현실 펄스 옥시미트리
US9509902B1 (en) 2015-06-10 2016-11-29 Microsoft Technology Licensing, Llc Methods and devices for correction of camera module sensitivity and flash color variation
AU2016349891B9 (en) * 2015-11-04 2021-05-06 Magic Leap, Inc. Dynamic display calibration based on eye-tracking
WO2017124186A1 (en) * 2016-01-18 2017-07-27 Arcane Technologies Inc. System and method for interactive virtual lighting of a virtual sample representative of a real-life manufactured object
US10424295B2 (en) 2016-02-03 2019-09-24 Disney Enterprises, Inc. Calibration of virtual image displays
US10334240B2 (en) * 2016-10-28 2019-06-25 Daqri, Llc Efficient augmented reality display calibration
KR20200026808A (ko) 2017-07-13 2020-03-11 시쉐이도 아메리카스 코포레이션 가상 얼굴 메이크업 제거, 빠른 얼굴 검출, 및 랜드마크 추적
CN109671046B (zh) 2017-10-12 2021-08-17 精诚工坊电子集成技术（北京）有限公司 利用皮肤图像分析皮肤水分的方法及装置
CN112639579B (zh) 2018-08-31 2023-09-15 奇跃公司 用于增强现实装置的空间分辨的动态调暗
US10636218B2 (en) 2018-09-24 2020-04-28 Universal City Studios Llc Augmented reality for an amusement ride
US11049330B2 (en) * 2019-06-27 2021-06-29 Facebook Technologies, Llc Color reference for overlaid images
US11676366B1 (en) 2019-11-06 2023-06-13 Ramona Optics Inc. Methods to detect image features from variably-illuminated images
US11156843B2 (en) * 2020-01-10 2021-10-26 Facebook Technologies, Llc End-to-end artificial reality calibration testing
US11490584B1 (en) 2020-10-22 2022-11-08 Pioneer Hi-Bred International, Inc. Maize hybrid X13N234

Also Published As

Publication number Publication date
US20210065459A1 (en) 2021-03-04
CN111557023B (zh) 2025-03-14
EP4266259A3 (en) 2024-01-17
WO2019133505A1 (en) 2019-07-04
EP4266259B1 (en) 2025-10-15
EP3732662A1 (en) 2020-11-04
US20220351480A1 (en) 2022-11-03
EP4266259A2 (en) 2023-10-25
US12086947B2 (en) 2024-09-10
CN111557023A (zh) 2020-08-18
EP3732662B1 (en) 2023-10-11
US11410400B2 (en) 2022-08-09

Similar Documents

Publication Publication Date Title
CN111557023B (zh) 使用公共对象维持颜色校准的方法和系统
US11995578B2 (en) Method for rendering of augmented reality content in combination with external display
US10068149B2 (en) Image processing utilizing reference images
US9437035B2 (en) Light source detection from synthesized objects
CN107077826B (zh) 基于周围光的图像调整
US20160261844A1 (en) Methods and Apparatus for Enhancing Depth Maps with Polarization Cues
CN107431790A (zh) 卷积颜色校正
US20130202214A1 (en) Shape and photometric invariants recovery from polarisation images
CN106605400B (zh) 用于涂料颜色匹配的数字系统和方法
AU2011242408A1 (en) Shape and photometric invariants recovery from polarisation images
TW202420231A (zh) 用於mura檢測和demura的方法和系統
CN111461069B (zh) 控制方法、电子设备及计算机可读存储介质
Rahman et al. Color photometric stereo using a rainbow light for non-Lambertian multicolored surfaces
US10325406B2 (en) Image synthesis method and image synthesis device for virtual object
WO2020033747A1 (en) System and method for operation in an augmented reality display device
US11109010B2 (en) Automatic system for production-grade stereo image enhancements
CN111145194A (zh) 处理方法、处理装置和电子设备
US12217645B2 (en) Calibration system for display apparatus and operating method thereof

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination