CN110880188B - 用于近眼显示光学系统的标定方法、标定装置和标定系统 - Google Patents
用于近眼显示光学系统的标定方法、标定装置和标定系统 Download PDFInfo
- Publication number
- CN110880188B CN110880188B CN201811036951.9A CN201811036951A CN110880188B CN 110880188 B CN110880188 B CN 110880188B CN 201811036951 A CN201811036951 A CN 201811036951A CN 110880188 B CN110880188 B CN 110880188B
- Authority
- CN
- China
- Prior art keywords
- image
- optical system
- source
- test target
- test
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 146
- 238000000034 method Methods 0.000 title claims abstract description 79
- 238000012360 testing method Methods 0.000 claims abstract description 252
- 238000001514 detection method Methods 0.000 claims abstract description 118
- 238000003384 imaging method Methods 0.000 claims abstract description 109
- 238000012545 processing Methods 0.000 claims abstract description 14
- 210000001747 pupil Anatomy 0.000 claims description 56
- 230000008569 process Effects 0.000 claims description 21
- 238000007689 inspection Methods 0.000 claims description 15
- 230000003190 augmentative effect Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 11
- 210000005252 bulbus oculi Anatomy 0.000 claims description 6
- 230000000875 corresponding effect Effects 0.000 description 36
- 210000001508 eye Anatomy 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
Abstract
一种近眼显示光学系统的标定方法，标定装置和标定系统，其中，该标定方法，包括：获取图像源形成于显示单元的测试图像的图像；基于所述测试图像的图像，获得所述测试图像的源图像在所述图像源中的位置与所述检测相机的成像面之间的位置对应关系；基于此对应关系处理藉由所述检测相机采集的测试标靶的图像，获得所述测试标靶图像对应的源图像在所述图像源中的位置相对于所述检测相机的成像面之间的位置信息；以及，以虚拟成像模型处理所述测试标靶图像对应的源图像在所述图像源中的位置相对于所述检测相机的成像面的位置信息和所述测试标靶相对于所述近眼显示光学系统的位置信息，获得所述近眼显示光学系统的虚像成像参数。这样，实现自动化标定。
Description
技术领域
本发明涉及近眼显示光学系统领域，尤其涉及用于近眼显示光学系统的标定方法、标定装置和标定系统。
背景技术
近年来，虚拟现实(Virtual Reality)和增强现实(Augmented Reality)等近眼显示光学设备为人类创造了独特的感官体验。在相关产品投入服务之前，必须对设备上众多传感器的性能参数进行标定，以及众传感器之间的相对位置关系进行标定，以确保用户具有良好的视觉体验。
以市场上常见的增强现实的头戴显示设备为例。由于设备制造工艺等误差，头戴显示设备的各传感器的性能参数及其相互之间的位置关系常常与设计值不一致，导致虚拟图像与实体环境之间的融合出现诸多问题，例如，虚拟图像尺寸偏差，虚拟图像显示位置不准等。这，给用户带来不良的视觉体验。
因此，在头戴显示设备投入市场之前，需对其相关参数进行标定。目前，已有诸多用于AR头戴显示设备的标定方法。然而，这些标定方法往往仅对单独某一项参数进行标定，标定效率低。甚至，在一些标定方法中，还需要人力辅助，成本高昂不论，这不利于标定往工业自动化的方向发展。
因此，对于一种高集成度且自动化的近眼显示光学系统的标定方法，标定装置以及标定系统的需求是迫切。
发明内容
本发明的主要目的在于提供一种用于近眼显示光学系统的标定方法、标定装置和标定系统，其中，所述标定系统能够实现对所述近眼显示光学系统进行完全自动化地标定。
本发明的另一目的在于提供一种用于近眼显示光学系统的标定方法、标定装置和标定系统，其中，所述标定系统能够实现对所述近眼显示光学系统的各项参数进行标定。换言之，本发明所提供的标定系统具有相对较高的集成度。
本发明的另一目的在于提供一种用于近眼显示光学系统的标定方法、标定装置和标定系统，其中，在所述近眼显示光学系统的标定过程中，无任何环节需人力参与，以使得一方面所述标定过程能够实现完全自动化，提升了标定效率；另一方面，加强了标定结果的稳定性和准确性。
本发明的另一目的在于提供一种用于近眼显示光学系统的标定方法、标定装置和标定系统，其中，藉由所述标定系统，所述近眼显示光学系统的各项参数能够被集成地标定而非各参数单独标定，通过这样的方式，可有效地避免在各参数单独标定过程中引起的误差累计。
本发明的另一目的在于提供一种用于近眼显示光学系统的标定方法、标定装置和标定系统，其中，所述近眼显示光学系统的各项参数之间相互关联，藉由所述标定系统对所述近眼显示光学系统的各项参数集成地标定，可有效地确保所述近眼显示光学系统的各项参数之间的关系保持一致，以提升标定精度。
通过下面的描述，本发明的其它优势和特征将会变得显而易见，并可以通过权利要求书中特别指出的手段和组合得到实现。
为实现上述至少一目的或优势，本发明提供一种用于近眼显示光学系统的标定方法，其包括：
在检测相机的入瞳面与近眼显示光学系统的出瞳面对齐时，获取一测试图像的图像，其中，所述测试图像是通过所述近眼显示光学系统的图像源形成于所述近眼显示光学系统的显示单元的图像，其中，所述图像源具有所述测试图像的源图像；
基于所述测试图像的图像，获得所述测试图像的源图像在所述图像源中的位置与所述检测相机的成像面之间的位置对应关系；
基于所述测试图像的源图像在所述图像源中的位置与所述检测相机的成像面之间的位置对应关系处理藉由所述检测相机所采集的测试标靶的图像，以获得与所述测试标靶图像相对应的测试标靶源图像在所述图像源中的位置相对于所述检测相机的成像面的位置信息；
获得所述测试标靶相对于所述近眼显示光学系统的位置信息；以及，
以虚拟成像模型处理与所述测试标靶图像相对应的测试标靶源图像在所述图像源中的位置对于检测相机的成像面的位置信息和所述测试标靶相对于所述近眼显示光学系统的位置信息，以获得所述近眼显示光学系统的虚像成像参数，其中，所述虚像成像参数指的是所述图像源形成于所述显示单元的图像的位置参数信息。
在本发明一实施例中，基于所述测试图像的源图像在所述图像源中的位置与所述检测相机的成像面之间的位置对应关系处理藉由所述检测相机所采集的测试标靶的图像，以获得与所述测试标靶图像相对应的测试标靶源图像在所述图像源中的位置相对于所述检测相机的成像面的位置信息，包括：
提取所述测试标靶图像中的特征点；以及
基于所述测试图像的源图像在所述图像源中的位置与所述检测相机的成像面之间的位置对应关系，获得所述测试标靶图像中的特征点在所述图像源中的位置相对于所述检测相机的成像面之间的位置信息，以获得与所述测试标靶图像相对应的测试标靶源图像在所述图像源中的位置相对于所述检测相机的成像面的位置信息。
在本发明一实施例中，获得所述测试标靶相对于所述近眼显示光学系统的位置信息，包括：基于所述近眼显示光学系统的跟踪相机的内参数和外参数，获得所述测试标靶相对于所述近眼显示光学系统的位置信息。
在本发明一实施例中，在基于所述跟踪相机的内参数和外参数，获得所述测试标靶相对于所述近眼显示光学系统的位置信息之前，包括：对所述跟踪相机所采集的所述测试标靶的图像进行处理，以获得所述跟踪相机的内参数和外参数。
在本发明一实施例中，所述标定方法，还包括：藉由所述近眼显示光学系统的眼球跟踪传感器，获得所述检测相机的入瞳面相对所述显示单元的位置信息。
在本发明一实施例中，所述标定方法，还包括：输出所述检测相机的入瞳面相对所述显示单元的位置信息、所述跟踪相机的内参数和外参数，以及，所述虚像成像参数。
在本发明一实施例中，所述近眼显示光学系统为增强现实近眼显示光学系统。
根据本发明的另一方面，还提供一种用于近眼显示光学系统的标定装置，其包括：
测试图像获取模块，用于，在检测相机的入瞳面与近眼显示光学系统的出瞳面对齐时，获取一测试图像的图像，其中，所述测试图像是通过所述近眼显示光学系统的图像源形成于所述近眼显示光学系统的显示单元的图像，其中，所述图像源具有所述测试图像的源图像；
配准单元，用于，基于所述测试图像的图像，获得所述测试图像的源图像在所述图像源中的位置与所述检测相机的成像面之间的位置对应关系；
虚像面位置求解模块，用于，基于所述测试图像的源图像在所述图像源中的位置与所述检测相机的成像面之间的位置对应关系处理藉由所述检测相机所采集的测试标靶的图像，以获得与所述测试标靶图像相对应的测试标靶源图像在所述图像源中的位置相对于所述检测相机的成像面的位置信息；
标靶位置求解模块，用于，获得所述测试标靶相对于所述近眼显示光学系统的位置信息；以及
虚像成像参数获取模块，用于，以虚拟成像模型处理与所述测试标靶图像相对应的测试标靶源图像在所述图像源中的位置相对于检测相机的成像面的位置信息和所述测试标靶相对于所述近眼显示光学系统的位置信息，以获得所述近眼显示光学系统的虚像成像参数，其中，所述虚像成像参数指的是所述图像源形成于所述显示单元的图像的位置参数信息。
在本发明一实施例中，所述虚像面位置求解模块，用于：提取所述测试标靶图像中的特征点；以及，基于所述测试图像的源图像在所述图像源中的位置与所述检测相机的成像面之间的位置对应关系，获得所述测试标靶图像中的特征点在所述图像源中的位置相对于所述检测相机的成像面之间的位置信息，以获得与所述测试标靶图像相对应的测试标靶源图像在所述图像源中的位置相对于所述检测相机的成像面的位置信息。
在本发明一实施例中，所述标靶位置求解模块，用于:基于所述近眼显示光学系统的跟踪相机的内参数和外参数，获得所述测试标靶相对于所述近眼显示光学系统的位置信息。
在本发明一实施例中，所述标靶位置求解模块，还用于:对所述跟踪相机所采集的所述测试标靶的图像进行处理，以获得所述跟踪相机的内参数和外参数。
在本发明一实施例中，所述标定装置还包括一瞳距信息获取模块，用于：藉由所述近眼显示光学系统的眼球跟踪传感器，获得所述检测相机的入瞳面相对所述显示单元的位置信息。
在本发明一实施例中，所述标定装置还包括一输出模块，用于：输出所述检测相机的入瞳面相对所述显示单元的位置信息、所述跟踪相机的内参数和外参数，以及，所述虚像成像参数。
在本发明一实施例中，所述近眼显示光学系统为增强现实近眼显示光学系统
根据本发明的另一方面，还提供一种用于近眼显示光学系统的标定系统，其特征在于，包括：
测试标靶；
检测相机，所述检测相机用于采集所述近眼显示光学系统所投射的测试图像以及所述测试标靶的图像；
运动平台，用于驱动所述检测相机的入瞳面对齐于所述近眼显示光学系统的出瞳面；以及
标定设备，其中，所述标定设备包括：
处理器；和
存储器，其中，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的标定方法。
根据本发明的另一方面，还提供一种计算机可读存储介质，其上存储有计算机程序指令，当所述计算机程序指令被计算装置执行时，可操作来执行如上所述的标定方法。
通过对随后的描述和附图的理解，本发明进一步的目的和优势将得以充分体现。
本发明的这些和其它目的、特点和优势，通过下述的详细说明，附图和权利要求得以充分体现。
附图说明
图1图示了根据本发明较佳实施例的用于近眼显示光学系统的标定方法的流程图。
图2图示了根据本发明该较佳实施例的所述标定方法中被标定的AR头戴显示设备设备的立体示意图。
图3图示了根据本发明该较佳实施例的所述标定方法中被标定的AR头戴显示设备增强现实之视觉效果的立体示意图。
图4图示了根据本发明较佳实施例的用于近眼显示光学系统的标定装置的框图。
图5图示了根据本发明较佳实施例的用于近眼显示光学系统的标定系统的立体示意图。
具体实施方式
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。
本领域技术人员应理解的是，在本发明的揭露中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。
可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。
申请概述
如上所述，由于设备制造工艺等误差，在近眼显示光学设备(例如，AR头戴显示设备)投入服务之前，需对其各传感器的性能参数及其相互之间的位置关系进行标定，以确保用户具有良好的视觉体验。
现有的用于近眼显示光学系统的标定方法的集成度较低，其往往针对各项标定参数单独进行标定。以AR头戴显示设备为例，通常需标定的参数包括：跟踪相机的内外参，虚拟图像的成像参数，以及瞳距参数等。
在现有的所述AR头戴显示设备的标定过程中，首先，需通过离线方式对所述头戴显示设备的跟踪相机进行内外参标定，即，利用所述跟踪相机以离线的方式拍摄测试标靶的图像，以求解其内外参数。在获得所述跟踪相机的内外参之后，进一步地对所述头戴显示设备的虚拟图像的成像参数进行标定。其过程为：首先通过移动所述头戴显示设备或所述测试标靶，以使得所述测试标靶在所述头戴显示设备的显示单元的虚像，所述测试标靶实物，以及人眼瞳孔处于同一直线，以获得一组匹配点对信息(所述测试标靶实物，所述测试标靶在所述头戴显示设备的显示单元的虚像，以及人眼瞳孔)；重复获取多组匹配点对信息，并代入相关虚拟成像模型，以获得所述头戴显示设备的虚拟图像的成像参数。
另一种常用的做法为：固定检测相机和所述头戴显示设备，以利用所述检测相机观察所述测试标靶在所述头戴显示设备的显示单元的虚像和所述测试标靶实物之间的相对位置关系，并通过移动所述测试标靶实物的方式使得所述测试标靶在所述头戴显示设备的显示单元的虚像与所述测试标靶实物重合。
以上两种做法具有诸多缺陷。首先，无论是第一种做法还是第二种做法，皆需要复杂且精确的调整操作，以确认所述测试标靶在所述头戴显示设备的显示单元的虚像和所述测试标靶实物重合(或处于共线状态)。本领域的技术人员应可以理解，判定三维空间中的两个对象是否处于重合或共线状态难度大，容易产生偏差。换言之，无论是第一种做法还是第二种做法皆无法确保所述头戴显示设备的虚像成像参数的精度。
其次，无论是第一种做法还是第二种做法，皆需要操作人员依次输入多组匹配点对信息，以用于测量所述头戴显示设备的虚像成像参数。一方面，引入操作人员记录并输入相关数据的方式，增加了额外的成本；另一方面，操作人员在记录和输入数据的过程中难免会出现错误，导致获得错误的虚像成像参数标定结果。
并且，在第一种做法中，操作人员需要人工地判定所述测试标靶在所述头戴显示设备的显示单元的虚像，所述测试标靶实物，以及人眼瞳孔是否处于同一直线，并做匹配点对信息记录。由于操作人员无法长时间保持头部静止，因此，在实际操作过程中，往往一次仅能获得一组匹配点对信息。为了使得数据量达到求解要求，操作人员需变化多个位置以获得多组匹配点对信息。对于操作人员而言，这些操作都是枯燥且容易出错的，不仅仅导致标定的低效率，更给标定结果带来不稳定的因素。本领域的技术人员应知晓，在实际产线中AR头戴显示设备往往是大批量地制造，人工标定的方式显然无法满足大批量的标定需求。
此外，所述头戴显示设备的各项标定参数之间往往相互关联。因此，如果在各项参数单独标定的过程中某一项参数发生检测偏差，或者在移动所述头戴显示设备以进行另一项参数标定时，所述头戴显示设备各传感器之间的相对位置发生变化，这些因素都将导致误差的累计，降低标定结果的准确性。
针对上述技术问题，本发明的基本构思是首先用检测相机替代人眼进行近眼显示光学系统的标定；其次，利用检测相机的成像面与所述近眼显示光学系统形成于所述显示单元的虚像的像面之间的对应关系，直接求解出测试标靶图像的像面位置信息；进而，在获得所述测试标靶相对于所述近眼显示光学系统的位置信息之后，将所述测试标靶图像的像面位置信息和所述测试标靶相对于所述近眼显示光学系统的位置信息代入构建好的虚拟成像模型，以获得所述近眼显示光学系统的虚像成像参数。
基于此，本发明提出了一种用于近眼显示光学系统的标定方法，其首先在检测相机的入瞳面与近眼显示光学系统的出瞳面对齐时，获取所述近眼显示光学系统的图像源形成于显示单元的测试图像的图像；然后，基于所述测试图像的图像，获得所述测试图像的源图像在所述图像源中的位置与所述检测相机的成像面之间的位置对应关系；进而，基于所述测试图像的源图像在所述图像源中的位置与所述检测相机的成像面之间的位置对应关系处理藉由所述检测相机所采集的测试标靶的图像，以获得与所述测试标靶图像相对应的测试标靶源图像在所述图像源中的位置相对于所述检测相机的成像面的位置信息；继而，获得所述测试标靶相对于所述近眼显示光学系统的位置信息，进一步地，以虚拟成像模型处理所述测试标靶图像的像面相对于检测相机的成像面的位置信息和所述测试标靶相对于所述近眼显示光学系统的位置信息，以获得所述近眼显示光学系统的虚像成像参数，其中，所述虚像成像参数指的是所述图像源形成于所述显示单元的图像的位置参数信息。这样，实现对所述近眼显示光学系统完全自动化地标定，并且，具有相对较高的集成度。
在介绍本发明的基本原理之后，下面将参考附图来具体介绍本发明的各种非限制性实施例。
示例性标定方法
图1图示了根据本发明较佳实施例的用于近眼显示光学系统的标定方法的流程图。如图1所示，根据本发明该较佳实施例的用于近眼显示光学系统的标定方法包括：S110，在检测相机的入瞳面与近眼显示光学系统的出瞳面对齐时，获取一测试图像的图像，其中，所述测试图像是通过所述近眼显示光学系统的图像源形成于所述近眼显示光学系统的显示单元的图像，其中，所述图像源具有所述测试图像的源图像；S120，基于所述测试图像的图像，获得所述测试图像的源图像在所述图像源中的位置与所述检测相机的成像面之间的位置对应关系；S130，基于所述测试图像的源图像在所述图像源中的位置与所述检测相机的成像面之间的位置对应关系处理藉由所述检测相机所采集的测试标靶的图像，以获得与所述测试标靶图像相对应的测试标靶源图像在所述图像源中的位置相对于所述检测相机的成像面的位置信息；S140，获得所述测试标靶相对于所述近眼显示光学系统的位置信息，以及，S150，以虚拟成像模型处理与所述测试标靶图像相对应的测试标靶源图像在所述图像源中的位置相对于检测相机的成像面的位置信息和所述测试标靶相对于所述近眼显示光学系统的位置信息，以获得所述近眼显示光学系统的虚像成像参数，其中，所述虚像成像参数指的是所述图像源形成于所述显示单元的图像的位置参数信息。
特别地，在本发明的该较佳实施例中，以所述近眼显示光学系统为AR(AugmentedReality，增强现实)近眼显示光学系统为示例，更明确地说，以所述标定方法用于AR头戴显示设备为示例。
图2图示了根据本发明该较佳实施例的所述标定方法中被标定的AR头戴显示设备设备的立体示意图。如图2所示，所述AR头戴显示设备包括一跟踪相机11，一眼球追踪传感器12，一显示单元13和一图像源(图中并未示出)，其中，所述跟踪相机11用于获得被视实体的位置信息，所述眼球追踪传感器12用于获取人眼的注视方向。所述图像源用于产生虚拟图像于所述显示单元13，其中，所述显示单元13具有特殊的性能，在用户穿戴上所述头戴显示设备之后，通过所述显示单元13用户不仅可以看到现实世界中的实物，而且还可以看到所述头戴显示设备投射于所述显示单元13的虚拟图像，给用户带来实际空间中存在虚拟物体的特殊视觉体验，如图3所示。在具体实施中，所述图像源可被实施为OLED(OrganicLight Emitting Display)屏幕或LED(Light Emitting Display)屏幕等，所述显示单元13被实施为AR透镜。
在融合所述头戴显示设备投射于所述显示单元13的虚像和现实空间中的实物的过程中，首先利用位于所述头戴显示设备上方的所述跟踪相机11和其他传感器通过对空间环境的分析，获得空间中实物的位置信息；进而，基于该位置信息，求解所述头戴显示设备所产生的虚像在所述显示单元13的呈现位置。在上述融合过程中，所述跟踪相机11的内外参数，所述虚像成像参数(所述头戴显示设备所形成的图像在所述显示单元13的呈现位置参数)等相关参数需被用到。
然而，由于设备制造工艺等误差，所述头戴显示设备的各传感器的性能参数及其相互之间的位置关系常常与设计值不一致，导致虚拟图像与实体环境之间的融合出现诸多问题，例如，虚拟图像尺寸偏差，虚拟图像显示位置不准等。此正是对所述头戴显示设备进行标定的原因：对所述头戴显示设备的相关参数进行测定(此过程亦称为标定过程)。
更具体地，在步骤S110中，在检测相机的入瞳面与近眼显示光学系统的出瞳面对齐时，获取一测试图像的图像，其中，所述测试图像是通过所述近眼显示光学系统的图像源形成于所述近眼显示光学系统的显示单元13的图像，以及，所述图像源具有所述测试图像的源图像。换言之，对齐所述检测相机的入瞳面与所述头戴显示设备的出瞳面，并藉由所述检测相机采集所述图像源形成于所述显示单元13的测试图像的图像。这里，所述检测相机的入瞳面，指的是物面上所有各点发出的光束进入所述检测相机的共同入口面。所述头戴显示设备的出瞳面，指的是物面上各点发出光束经整个所述头戴显示设备的光学系统以后从最后一个光孔出射的共同出口面。
当所述检测相机的入瞳面对齐于所述头戴显示设备的出瞳面时，藉由所述头戴显示设备投射于所述显示单元13的测试图像发出的光束能够穿过所述头戴显示设备的出瞳面，并经过所述检测相机的入瞳面，最终藉由所述检测相机获得所述测试图像的图像。优选地，在具体实施中，调节所述检测相机与所述头戴显示设备的所述显示单元13之间的相对位置关系，以使得所述检测相机的所述入瞳面与所述头戴显示设备的出瞳面重合，这样，藉由所述检测相机能够最大范围地捕获所述测试图像的图像。
相应地，藉由所述近眼显示光学系统的所述眼球跟踪传感器可获得所述检测相机的入瞳面相对所述头戴显示设备的出瞳面之间的距离(所述瞳距参数)，即，所述检测相机的入瞳面相对所述显示单元13的位置信息。此为所述头戴显示设备的标定参数之一。
值得一提的是，在本发明的该较佳实施例中，利用所述检测相机放置于所述头戴显示设备的出瞳位置替代人眼瞳孔观察，通过这样的方式，能有效地减少因人为因素而带来的标定误差。同时，利于实现所述头戴显示设备在出厂之前的自动化标定。
在步骤S120中，基于所述测试图像的图像，获得所述测试图像的源图像在所述图像源中的位置与所述检测相机的成像面之间的位置对应关系。这里，检测相机的成像面，指的是在步骤S110中所述测试图像的图像成像于所述检测相机内的成像平面，即，所述检测相机的感光芯片所设定的平面。所述测试图像的源图像指的是藉由形成在所述图像源上的测试图像的实像，其通过所述近眼光学系统的光学作用(例如，通过波导光学等)形成呈现在所述显示单元13的所述测试图像的虚像。
本领域的技术人员应可以理解，对于所述头戴显示设备而言，所述测试图像的源图像在所述图像源中的位置信息为预设值，而所述测试图像的图像于所述检测相机的成像面的位置也可通过现有的图像数据处理方法获得。因此，可得到所述测试图像的源图像在所述图像源中的位置与所述检测相机的成像面之间的位置对应关系，该对应关系用公式可表示为：(u,v)＝F1(X,Y)，其中，(X，Y)表示所述测试图像的图像于所述检测相机的成像面的位置坐标，(u,v)表示所述测试图像的源图像在所述图像源中的位置信息，F1表示两者之间的函数映射关系。
值得一提的是，建立所述测试图像的源图像在所述图像源中的位置与所述检测相机的成像面之间的位置对应关系的目的在于：利用函数映射关系，消除人工确定测试标靶在所述头戴显示设备的显示单元13的虚像和所述测试标靶实物重合(或处于共线状态)的操作。关于此技术原理会在后续的描述中，详细地阐述。
在步骤S130中，基于所述测试图像的源图像在所述图像源中的位置与所述检测相机的成像面之间的位置对应关系处理藉由所述检测相机所采集的测试标靶的图像，以获得与所述测试标靶图像相对应的测试标靶源图像在所述图像源中的位置相对于所述检测相机的成像面之间的位置信息。也就是说，在步骤S130中，首先藉由所述检测相机获取所述测试标靶的图像，进而利用所述测试图像的源图像在所述图像源中的位置与所述检测相机的成像面之间的位置对应关系处理所述测试标靶图像，以获得所以获得与所述测试标靶图像相对应的测试标靶源图像在所述图像源中的位置相对于所述检测相机的成像面之间的位置信息。这里，所述测试标靶放置于所述检测相机的视场内，优选地，所述测试标靶的中心区域对应于所述检测相机所设定的光轴。
值得一提的是，所述测试标靶为位于显示空间内的实物，而在前述步骤S110和步骤S120中描述的测试图像为呈现于所述显示单元13的虚像。并且，所述测试图像的图案可为任意测试图案，无需与所述测试标靶保持一致。
如前所述，在步骤S120中，所述测试图像的源图像在所述图像源中的位置与所述检测相机的成像面之间的位置对应关系被确定((u,v)＝F1(X,Y))。因此，在已知所述测试标靶图像在所述检测相机的成像面的位置(X,Y)时，通过该对应关系，可反向求解出与所述测试标靶图像相对应的测试标靶源图像在所述图像源中的位置相对于所述检测相机的成像面之间的位置信息(u,v)。也就是说，在本发明的该较佳实施例中，通过与所述测试标靶图像相对应的测试标靶源图像在所述图像源中的位置与所述检测相机之间的成像面之间的位置的函数映射关系，可间接求解出形成于所述头戴显示设备的所述显示单元13的所述测试标靶图像(虚像)的位置信息。这样，可消除人工确定测试标靶在所述头戴显示设备的显示单元13的虚像和所述测试标靶实物重合(或处于共线状态)的操作。也就是说，现有标定方法中最大的难题：对齐难题被化解(所述测试标靶实物，所述测试标靶在所述头戴显示设备的显示单元13的虚像，以及人眼瞳孔之间的对齐)。
在具体实施中，可选择提取所述测试标靶图像的特征点(例如，四周角点)，进而，基于所述测试图像的源图像在所述图像源中的位置与所述检测相机的成像面之间的位置对应关系，获得所述测试标靶图像中的特征点(例如，四周角点)在所述图像源中的位置相对于所述检测相机的成像面之间的位置信息，通过这样的方式，获得与所述测试标靶图像相对应的测试标靶源图像在所述图像源中的位置相对于所述检测相机的成像面之间的位置信息。换言之，利用所述测试标靶图像的特征点表征所述测试标靶图像，以减低计算量。特别地，在本申请的其他实施例中，所述测试标靶图像中的特征点还可以是其他类型的特征点，例如，所述测试标靶图像的中心点等。对此，并不为本申请所局限。
在步骤S140中，获得所述测试标靶相对于所述近眼显示光学系统的位置信息。特别地，在本申请该实施例中，所述AR头戴显示设备包括所述跟踪相机11，相应地，在步骤S140中，可选择基于所述头戴显示设备的所述跟踪相机11的内外参数，获得所述测试标靶与所述头戴显示设备的所述显示单元13之间的三维空间位置关系。
为了提高标定精度，在求解所述测试标靶相对于所述头戴显示设备的位置信息之前，通常对所述跟踪相机11的内外参数进行重新标定(此为标定参数之二)。具体过程为：首先，藉由所述跟踪相机11采集所述测试标靶的图像；进而，对获取的所述测试标靶图像进行处理(例如，提取所述测试图像中的特征点坐标)；然后，结合预设的世界坐标系，将所述测试标靶图像中的特征点代入预设的成像模型中，以求解获得所述跟踪相机11的内外参数。
相应地，在获得所述跟踪相机11的内外参数之后，便能够利用所述跟踪相机11的内外参数以及所述跟踪相机11所捕捉的所述测试标靶图像，获得所述测试标靶与所述头戴显示设备的所述显示单元13之间的三维空间位置关系(x,y,z)。
本领域技术人员应可以理解，在本申请另外的实施中，所述头戴显示设备可利用其它技术手段获得所述测试标靶相对于所述近眼显示光学系统的位置信息，例如，通过TOF摄像模组等。对此，并不为本申请所局限。这里，应领会的是，当采用其他测距手段获得所述测试标靶相对于所述近眼显示光学系统的位置信息时，对于所述跟踪相机11的内外参数的标定不再必要。换言之，在本申请中，对所述跟踪相机11的内外参数进行标定为可省项。
在步骤S150中，以虚拟成像模型处理与所述测试标靶图像相对应的测试标靶源图像在所述图像源中的位置相对于检测相机的成像面的位置信息和所述测试标靶相对于所述近眼显示光学系统的位置信息，以获得所述近眼显示光学系统的虚像成像参数，其中，所述虚像成像参数指的是所述图像源形成于所述显示单元13的图像的位置参数信息。
也就是说，在步骤S130中所获取的与所述测试标靶图像相对应的测试标靶源图像在所述图像源中的位置相对于所述检测相机的成像面之间的位置信息(u,v)以及，在步骤S140中所获取的所述测试标靶与所述头戴显示设备的三维空间位置关系(x,y,z)被输入至构建好的虚拟成像模型，藉此，迭代拟合出所述虚像成像参数。该过程用公式可表示为：(u,v)＝F2(x,y,z)，其中，(u,v)表示与所述测试标靶图像相对应的测试标靶源图像在所述图像源中的位置相对于所述检测相机的成像面之间的位置信息，(x,y,z)表示所述测试标靶与所述头戴显示设备的所述显示单元13之间的三维空间位置关系，以及F2表示两者之间的函数映射关系。
应注意到，在本发明的该较佳实施例中，对所述虚像成像参数的标定与对所述跟踪相机11的内外参标定共用所述测试标靶。也就是说，本发明提供的所述标定方法集成度高且标定操作简单。
综上，以本发明所提供的标定方法对所述AR头戴显示设备进行标定，以自动化地且高集成度地获得所述头戴显示设备的标定参数(包括：所述检测相机的入瞳面相对所述显示单元13的位置信息、所述跟踪相机11的内参数和外参数，以及，所述虚像成像参数)之过程被阐述。
应领会的是，虽然上文中以所述标定方法用于所述AR头戴显示设备的标定为示例，但是，本领域的技术人员应可以理解，所述标定方法还可应用于增强现实近眼显示光学系统的其他类型的设备中。甚至，在本发明另外的实施例中，所述标定方法的标定原理和精神还可以用于虚拟现实(Virtual Reality,VR)的近眼显示光学系统中。对此，本申请不作任何限制。
示意性标定装置
图4图示了根据本发明较佳实施例的用于近眼显示光学系统的标定装置的框图。
如图4所示，根据本发明该较佳实施例的用于近眼显示光学系统的标定装置400包括：测试图像获取模块410，用于，在检测相机的入瞳面与近眼显示光学系统的出瞳面对齐时，获取一测试图像的图像，其中，所述测试图像是通过所述近眼显示光学系统的图像源形成于所述近眼显示光学系统的显示单元的图像，其中，所述图像源具有所述测试图像的源图像；配准单元420，用于，基于所述测试图像的图像，获得所述测试图像的源图像在所述图像源中的位置与所述检测相机的成像面之间的位置对应关系；虚像面位置求解模块430，用于，基于所述测试图像的源图像在所述图像源中的位置与所述检测相机的成像面之间的位置对应关系处理藉由所述检测相机所采集的测试标靶的图像，以获得与所述测试标靶图像相对应的测试标靶源图像在所述图像源中的位置相对于所述检测相机的成像面的位置信息；标靶位置求解模块440，用于，获得所述测试标靶相对于所述近眼显示光学系统的位置信息；以及，虚像成像参数获取模块450，用于，以虚拟成像模型处理所述测试标靶图像的像面相对于检测相机的成像面的位置信息和所述测试标靶相对于所述近眼显示光学系统的位置信息，以获得所述近眼显示光学系统的虚像成像参数，其中，所述虚像成像参数指的是所述图像源形成于所述显示单元的图像的位置参数信息。
在一个示例中，在上述标定装置400中，所述虚像面位置求解模块430，还用于：提取所述测试标靶图像中的特征点；以及，基于所述测试图像的源图像在所述图像源中的位置与所述检测相机的成像面之间的位置对应关系，获得所述测试标靶图像中的特征点在所述图像源中的位置相对于所述检测相机的成像面之间的位置信息，以获得与所述测试标靶图像相对应的测试标靶源图像在所述图像源中的位置相对于所述检测相机的成像面的位置信息。
在一个示例中，在上述标定装置400中，所述标靶位置求解模块440，用于:基于所述近眼显示光学系统的跟踪相机的内参数和外参数，获得所述测试标靶相对于所述近眼显示光学系统的位置信息。
在一个示例中，在上述标定装置400中，所述标靶位置求解模块，还用于:对所述跟踪相机所采集的所述测试标靶的图像进行处理，以获得所述跟踪相机的内参数和外参数。
在一个示例中，在上述标定装置400中，所述标定装置400还包括一瞳距信息获取模块460，用于：藉由所述近眼显示光学系统的眼球跟踪传感器，获得所述检测相机的入瞳面相对所述显示单元的位置信息。
在一个示例中，在上述标定装置400中，所述标定装置400还包括一输出模块470，用于：输出所述检测相机的入瞳面相对所述显示单元的位置信息、所述跟踪相机的内参数和外参数，以及，所述虚像成像参数。
在一个示例中，在上述标定装置400中，所述近眼显示光学系统为增强现实近眼显示光学系统。
这里，本领域技术人员可以理解，上述标定装置400中的各个单元和模块的具体功能和操作已经在上面参考图1到图3描述的用于近眼显示光学系统的标定方法中详细介绍，并因此，将省略其重复描述。
如上所述，根据本申请实施例的标定装置可以实现在各种终端设备中，例如用于近眼显示光学系统的标定系统的服务器。在一个示例中，根据本申请实施例的标定装置可以作为一个软件模块和/或硬件模块而集成到所述终端设备中。例如，该标定装置可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该标定装置同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该标定装置与该终端设备也可以是分立的终端设备，并且该标定装置可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
示例性标定系统
图5图示了根据本发明较佳实施例的用于近眼显示光学系统的标定系统的立体示意图。
如图5所示，根据本发明该较佳实施例的用于近眼显示光学系统的标定系统500包括：测试标靶510；检测相机520，运动平台530，和标定设备540。所述检测相机520用于采集所述近眼显示光学系统所投射的测试图像的图像以及所述测试标靶510的图像。所述运动平台530用于驱动所述检测相机520的入瞳面对齐于所述近眼显示光学系统的出瞳面。
所述标定设备540包括：处理器541和存储器542，其中，在所述存储器542中存储有计算机程序指令，所述计算机程序指令在被所述处理器541运行时使得所述处理器执行如上所述的用于近眼显示光学系统的标定方法。
示意性计算机程序产品
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的用于近眼显示光学系统的标定方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“，还语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的用于近眼显示光学系统的标定方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。
Claims (17)
1.一种用于近眼显示光学系统的标定方法，其特征在于，包括：
在检测相机的入瞳面与近眼显示光学系统的出瞳面对齐时，获取一测试图像的图像，其中，所述测试图像是通过所述近眼显示光学系统的图像源形成于所述近眼显示光学系统的显示单元的图像，其中，所述图像源具有所述测试图像的源图像；
基于所述测试图像的图像，获得所述测试图像的源图像在所述图像源中的位置与所述检测相机的成像面之间的位置对应关系；
基于所述测试图像的源图像在所述图像源中的位置与所述检测相机的成像面之间的位置对应关系处理藉由所述检测相机所采集的测试标靶的图像，以获得与测试标靶图像相对应的测试标靶源图像在所述图像源中的位置相对于所述检测相机的成像面的位置信息；
获得所述测试标靶相对于所述近眼显示光学系统的位置信息；以及，
以虚拟成像模型处理与所述测试标靶图像相对应的测试标靶源图像在所述图像源中的位置相对于检测相机的成像面的位置信息和所述测试标靶相对于所述近眼显示光学系统的位置信息，以获得所述近眼显示光学系统的虚像成像参数，其中，所述虚像成像参数指的是所述图像源形成于所述显示单元的图像的位置参数信息。
2.如权利要求1所述的标定方法，其中，基于所述测试图像的源图像在所述图像源中的位置与所述检测相机的成像面之间的位置对应关系处理藉由所述检测相机所采集的测试标靶的图像，以获得与所述测试标靶图像相对应的测试标靶源图像在所述图像源中的位置相对于所述检测相机的成像面的位置信息，包括：
提取所述测试标靶图像中的特征点；以及
基于所述测试图像的源图像在所述图像源中的位置与所述检测相机的成像面之间的位置对应关系，获得所述测试标靶图像中的特征点在所述图像源中的位置相对于所述检测相机的成像面之间的位置信息，以获得与所述测试标靶图像相对应的测试标靶源图像在所述图像源中的位置相对于所述检测相机的成像面的位置信息。
3.如权利要求1所述的标定方法，其中，获得所述测试标靶相对于所述近眼显示光学系统的位置信息，包括：
基于所述近眼显示光学系统的跟踪相机的内参数和外参数，获得所述测试标靶相对于所述近眼显示光学系统的位置信息。
4.如权利要求3所述的标定方法，其中，在基于所述跟踪相机的内参数和外参数，获得所述测试标靶相对于所述近眼显示光学系统的位置信息之前，包括：对所述跟踪相机所采集的所述测试标靶的图像进行处理，以获得所述跟踪相机的内参数和外参数。
5.如权利要求1或2所述的标定方法，还包括：藉由所述近眼显示光学系统的眼球跟踪传感器，获得所述检测相机的入瞳面相对所述显示单元的位置信息。
6.如权利要求3或4所述的标定方法，还包括：藉由所述近眼显示光学系统的眼球跟踪传感器，获得所述检测相机的入瞳面相对所述显示单元的位置信息。
7.如权利要求6所述的标定方法，还包括：输出所述检测相机的入瞳面相对所述显示单元的位置信息、所述跟踪相机的内参数和外参数，以及，所述虚像成像参数。
8.如权利要求7所述的标定方法，其中，所述近眼显示光学系统为增强现实近眼显示光学系统。
9.一种用于近眼显示光学系统的标定装置，其特征在于，包括：
测试图像获取模块，用于，在检测相机的入瞳面与近眼显示光学系统的出瞳面对齐时，获取一测试图像的图像，其中，所述测试图像是通过所述近眼显示光学系统的图像源形成于所述近眼显示光学系统的显示单元的图像，其中，所述图像源具有所述测试图像的源图像；
配准单元，用于，基于所述测试图像的图像，获得所述测试图像的源图像在所述图像源中的位置与所述检测相机的成像面之间的位置对应关系；
虚像面位置求解模块，用于，基于所述测试图像的源图像在所述图像源中的位置与所述检测相机的成像面之间的位置对应关系处理藉由所述检测相机所采集的测试标靶的图像，以获得与测试标靶图像相对应的测试标靶源图像在所述图像源中的位置相对于所述检测相机的成像面的位置信息；
标靶位置求解模块，用于，获得所述测试标靶相对于所述近眼显示光学系统的位置信息；以及
虚像成像参数获取模块，用于，以虚拟成像模型处理与所述测试标靶图像相对应的测试标靶源图像在所述图像源中的位置相对于检测相机的成像面的位置信息和所述测试标靶相对于所述近眼显示光学系统的位置信息，以获得所述近眼显示光学系统的虚像成像参数，其中，所述虚像成像参数指的是所述图像源形成于所述显示单元的图像的位置参数信息。
10.如权利要求9所述的标定装置，其中，所述虚像面位置求解模块，用于：
提取所述测试标靶图像中的特征点；以及
基于所述测试图像的源图像在所述图像源中的位置与所述检测相机的成像面之间的位置对应关系，获得所述测试标靶图像中的特征点在所述图像源中的位置相对于所述检测相机的成像面之间的位置信息，以获得与所述测试标靶图像相对应的测试标靶源图像在所述图像源中的位置相对于所述检测相机的成像面的位置信息。
11.如权利要求10所述的标定装置，其中，所述标靶位置求解模块，用于:
基于所述近眼显示光学系统的跟踪相机的内参数和外参数，获得所述测试标靶相对于所述近眼显示光学系统的位置信息。
12.如权利要求11所述的标定装置，其中，所述标靶位置求解模块，还用于:
对所述跟踪相机所采集的所述测试标靶的图像进行处理，以获得所述跟踪相机的内参数和外参数。
13.如权利要求12所述的标定装置，还包括一瞳距信息获取模块，用于：藉由所述近眼显示光学系统的眼球跟踪传感器，获得所述检测相机的入瞳面相对所述显示单元的位置信息。
14.如权利要求11-13任一所述的标定装置，还包括一输出模块，用于：输出所述检测相机的入瞳面相对所述显示单元的位置信息、所述跟踪相机的内参数和外参数，以及，所述虚像成像参数。
15.如权利要求14所述的标定装置，其中，所述近眼显示光学系统为增强现实近眼显示光学系统。
16.一种用于近眼显示光学系统的标定系统，其特征在于，包括：
测试标靶；
检测相机，所述检测相机用于采集所述近眼显示光学系统所投射的测试图像以及所述测试标靶的图像；
运动平台，用于驱动所述检测相机的入瞳面对齐于所述近眼显示光学系统的出瞳面；以及
标定设备，其中，所述标定设备包括：
处理器；和
存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1-8中任一项所述的标定方法。
17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，当所述计算机程序指令被计算装置执行时，可操作来执行如权利要求1-8中任一项所述的标定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811036951.9A CN110880188B (zh) | 2018-09-06 | 2018-09-06 | 用于近眼显示光学系统的标定方法、标定装置和标定系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811036951.9A CN110880188B (zh) | 2018-09-06 | 2018-09-06 | 用于近眼显示光学系统的标定方法、标定装置和标定系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110880188A CN110880188A (zh) | 2020-03-13 |
| CN110880188B true CN110880188B (zh) | 2022-07-01 |
Family
ID=69727161
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811036951.9A Active CN110880188B (zh) | 2018-09-06 | 2018-09-06 | 用于近眼显示光学系统的标定方法、标定装置和标定系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110880188B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111586290B (zh) * | 2020-04-07 | 2021-06-15 | 延锋伟世通电子科技（上海）有限公司 | 一种车载抬头显示器光学测试用相机的位置标定方法 |
| CN111652946B (zh) * | 2020-06-17 | 2024-05-24 | Oppo广东移动通信有限公司 | 显示标定方法及装置、设备、存储介质 |
| CN113252309B (zh) * | 2021-04-19 | 2024-10-29 | 苏州市计量测试院 | 一种用于近眼显示设备的测试方法、测试装置及存储介质 |
| CN113155036B (zh) * | 2021-04-25 | 2023-03-21 | 歌尔光学科技有限公司 | 双目投影组装偏移量的测试方法及测试系统 |
| CN113538700A (zh) * | 2021-06-28 | 2021-10-22 | 浙江商汤科技开发有限公司 | 增强现实设备的标定方法及装置、电子设备和存储介质 |
| CN113902796A (zh) * | 2021-08-31 | 2022-01-07 | 杭州易现先进科技有限公司 | 一种基于图像的头显设备的校准方法和系统 |
| US11961258B2 (en) | 2022-01-26 | 2024-04-16 | Industrial Technology Research Institute | Calibration method for optical see-through display and calibration system |
| CN120122340A (zh) * | 2025-05-12 | 2025-06-10 | 雷鸟创新技术(深圳)有限公司 | 近眼显示设备的虚拟显示控制方法、装置及近眼显示设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106204431A (zh) * | 2016-08-24 | 2016-12-07 | 中国科学院深圳先进技术研究院 | 智能眼镜的显示方法及装置 |
| CN106970711A (zh) * | 2017-04-27 | 2017-07-21 | 上海欢米光学科技有限公司 | Vr显示装置与显示终端屏幕对齐的方法及设备 |
| CN107884160A (zh) * | 2017-09-25 | 2018-04-06 | 杭州浙大三色仪器有限公司 | 虚拟图像光电测量仪 |
| CN207424365U (zh) * | 2017-10-27 | 2018-05-29 | 广东烨嘉光电科技股份有限公司 | 一种利用手机双摄像头实现vr拍摄的透镜组结构 |
| CN108124152A (zh) * | 2017-12-26 | 2018-06-05 | 华勤通讯技术有限公司 | 头戴式显示设备的畸变测量方法及系统 |
| CN108462867A (zh) * | 2017-12-29 | 2018-08-28 | 无锡易维视显示技术有限公司 | 自动标定跟踪式裸眼立体显示设备的系统及方法 |
-
2018
- 2018-09-06 CN CN201811036951.9A patent/CN110880188B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106204431A (zh) * | 2016-08-24 | 2016-12-07 | 中国科学院深圳先进技术研究院 | 智能眼镜的显示方法及装置 |
| CN106970711A (zh) * | 2017-04-27 | 2017-07-21 | 上海欢米光学科技有限公司 | Vr显示装置与显示终端屏幕对齐的方法及设备 |
| CN107884160A (zh) * | 2017-09-25 | 2018-04-06 | 杭州浙大三色仪器有限公司 | 虚拟图像光电测量仪 |
| CN207424365U (zh) * | 2017-10-27 | 2018-05-29 | 广东烨嘉光电科技股份有限公司 | 一种利用手机双摄像头实现vr拍摄的透镜组结构 |
| CN108124152A (zh) * | 2017-12-26 | 2018-06-05 | 华勤通讯技术有限公司 | 头戴式显示设备的畸变测量方法及系统 |
| CN108462867A (zh) * | 2017-12-29 | 2018-08-28 | 无锡易维视显示技术有限公司 | 自动标定跟踪式裸眼立体显示设备的系统及方法 |
Non-Patent Citations (3)
| Title |
|---|
| "CALIBRATION OF FISHEYE CAMERA USING ENTRANCE PUPL";Peter Fasogbon et al.;《arXiv》;20190731;全文 * |
| "光学投射头盔显示器标定综述";罗斌 等;《计算机辅助设计与图形学学报》;20090430;第21卷(第4期);全文 * |
| "双目光栅投影关键技术研究";邱运春;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160315(第03期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110880188A (zh) | 2020-03-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110880188B (zh) | 用于近眼显示光学系统的标定方法、标定装置和标定系统 | |
| JP6280525B2 (ja) | カメラのミスキャリブレーションの実行時決定のためのシステムと方法 | |
| US11544874B2 (en) | System and method for calibration of machine vision cameras along at least three discrete planes | |
| CN110967166B (zh) | 近眼显示光学系统的检测方法、检测装置和检测系统 | |
| CN110160749B (zh) | 应用于增强现实设备的校准装置及校准方法 | |
| CN108965690B (zh) | 图像处理系统、图像处理装置及计算机可读存储介质 | |
| CN109859272B (zh) | 一种自动对焦双目摄像头标定方法及装置 | |
| JP5858433B2 (ja) | 注視点検出方法及び注視点検出装置 | |
| EP2682710B1 (en) | Apparatus and method for three-dimensional measurement and robot system comprising said apparatus | |
| CN111210468A (zh) | 一种图像深度信息获取方法及装置 | |
| JP7699132B2 (ja) | ３次元カメラの座標系を２次元カメラの入射位置に移動させる方法 | |
| JP2009053147A (ja) | ３次元計測方法および３次元計測装置 | |
| US20200296249A1 (en) | Registration of individual 3d frames | |
| JP3138080B2 (ja) | 視覚センサの自動キャリブレーション装置 | |
| CN114838668B (zh) | 一种隧道位移监测方法及系统 | |
| US9990739B1 (en) | Method and device for fisheye camera automatic calibration | |
| CN113196165A (zh) | 信息投影系统、控制装置以及信息投影方法 | |
| CN112529856A (zh) | 确定操作对象位置的方法、机器人和自动化系统 | |
| JP7611982B2 (ja) | コンピュータ支援外科手術ナビゲーションのためのカメラ追跡システム | |
| CN113052921B (zh) | 一种三维视线跟踪系统的系统标定方法 | |
| KR101535801B1 (ko) | 깊이맵 센서를 이용한 조립공정에서의 조립공정 검사장치, 방법 및 시스템 | |
| US10162189B2 (en) | Device, system and method for the visual alignment of a pipettor tip and a reference point marker | |
| CN116563391B (zh) | 一种基于机器视觉的激光结构自动标定方法 | |
| JP2018087715A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| US12047550B2 (en) | Three-dimiensional point cloud generation using machine learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20200313 Assignee: Zhejiang Shunwei Technology Co.,Ltd. Assignor: SUNNY OPTICAL (ZHEJIANG) RESEARCH INSTITUTE Co.,Ltd. Contract record no.: X2024330000055 Denomination of invention: Calibration method, calibration device, and calibration system for near eye display optical systems Granted publication date: 20220701 License type: Common License Record date: 20240515 |