CN109725418B - 显示设备、用于调整显示设备的图像呈现的方法及装置 - Google Patents
显示设备、用于调整显示设备的图像呈现的方法及装置 Download PDFInfo
- Publication number
- CN109725418B CN109725418B CN201711038481.5A CN201711038481A CN109725418B CN 109725418 B CN109725418 B CN 109725418B CN 201711038481 A CN201711038481 A CN 201711038481A CN 109725418 B CN109725418 B CN 109725418B
- Authority
- CN
- China
- Prior art keywords
- distance
- image
- lens
- user
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 210000001747 pupil Anatomy 0.000 claims abstract description 181
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 91
- 210000001508 eye Anatomy 0.000 claims description 83
- 238000010606 normalization Methods 0.000 claims description 52
- 238000012545 processing Methods 0.000 claims description 37
- 238000001514 detection method Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 description 61
- 230000008569 process Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 13
- 230000002159 abnormal effect Effects 0.000 description 11
- 238000013507 mapping Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 230000003190 augmentative effect Effects 0.000 description 5
- 210000004279 orbit Anatomy 0.000 description 5
- 238000009877 rendering Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 2
- 239000003292 glue Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000003466 welding Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/371—Image reproducers using viewer tracking for tracking viewers with different interocular distances; for tracking rotational head movements around the vertical axis
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Eye Examination Apparatus (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本公开提供了一种显示设备、用于调整显示设备的图像呈现的方法及装置,属于显示设备领域。该显示设备包括:显示设备本体,显示设备本体包含第一镜筒和第二镜筒,第一镜筒的第一端设置有第一透镜,第二镜筒的第一端设置有第二透镜;显示设备本体上还设置有第一距离传感器和第二距离传感器;第一距离传感器和第二距离传感器对称设置于显示设备本体的纵向中轴线的两侧;第一距离传感器用于对左眼球和第一透镜之间的距离进行测量;第二距离传感器用于对右眼球和第二透镜之间的距离进行测量。本公开在显示设备本体上设置了两个距离传感器,有助于得到高精度的瞳距。
Description
技术领域
本公开涉及显示设备领域,特别涉及一种显示设备、用于调整显示设备的图像呈现的方法及装置。
背景技术
随着虚拟现实技术以及增强现实技术的发展,虚拟现实头盔、虚拟现实眼镜等显示设备纷纷诞生,用户可以佩戴显示设备,显示设备会显示图像,用户可以透过显示设备内的透镜看到图像,以体验虚拟的或者增强的世界。为了达到清晰的观看效果,通常需要调节透镜的位置,以使透镜中心与瞳孔中心在水平方向和垂直方向相吻合。
相关技术中,显示设备会获取用户的左瞳孔图像和右瞳孔图像,确定左瞳孔坐标和右瞳孔坐标,根据两个坐标计算瞳距,根据得到的瞳距调节左透镜和右透镜的位置,以使左透镜、右透镜与显示设备中轴线之间的距离均为瞳距的一半。其中,瞳距为左瞳孔中心点和右瞳孔中心点之间的距离。具体来说,参见图1,定义双眼的中心点O为原点,水平方向为x轴方向,获取右瞳孔最左侧位置B和原点的距离|OB|,右瞳孔最右侧位置B’到原点的距离|OB'|,并同理地获取左瞳孔最左侧位置A和原点的距离|OA|,左瞳孔最右侧位置A’到原点的距离|OA'|,采用以下公式进行计算,得到瞳距(ipd),将左透镜、右透镜与中轴线之间的距离调节为ipd/2。
在实现本公开的过程中,发明人发现相关技术至少存在以下问题:
由于用户佩戴习惯的差异,用户瞳孔与显示设备的距离可能不同,导致拍摄到的瞳孔图像的大小不同,进而导致测量到的瞳距精度较低,按照这种低精度的瞳距调节透镜的位置,无法达到清晰的观看效果。
发明内容
本公开实施例提供了一种显示设备、用于调整显示设备的图像呈现的方法及装置,可以解决相关技术中测量到的瞳距精度较低的问题,所述技术方案如下:
第一方面,提供了一种显示设备,所述显示设备包括:显示设备本体,所述显示设备本体包含第一镜筒和第二镜筒,所述第一镜筒的第一端设置有第一透镜,所述第二镜筒的第一端设置有第二透镜;
所述显示设备本体上还设置有第一距离传感器和第二距离传感器;
所述第一距离传感器和所述第二距离传感器对称设置于所述显示设备本体的纵向中轴线的两侧;
所述第一距离传感器用于对左眼球和所述第一透镜之间的距离进行测量;
所述第二距离传感器用于对右眼球和所述第二透镜之间的距离进行测量。
本实施例提供的显示设备,在显示设备本体上设置了两个距离传感器,由第一距离传感器测量左眼球和第一透镜之间的距离,由第二距离传感器测量右眼球和第二透镜之间的距离,以便根据这两个距离分别对左瞳孔图像和右瞳孔图像进行归一化处理后,可以抵消掉瞳孔与显示设备之间的距离的影响,有助于得到高精度的瞳距,在基于高精度的瞳距调节透镜的位置后,可以达到清晰的观看效果。
在一种可能的设计中,所述第一距离传感器设置于所述第一镜筒的第一端的边缘区域,所述第二距离传感器设置于所述第二镜筒的第一端的边缘区域。
在一种可能的设计中,所述第一距离传感器设置于所述第一镜筒的第一端的边缘区域与所述显示设备本体的横向中轴线的两个交点中靠近所述纵向中轴线的交点上;
所述第二距离传感器设置于所述第二镜筒的第一端的边缘区域与所述显示设备本体的横向中轴线的两个交点中靠近所述纵向中轴线的交点上。
在这种可能的设计中,第一距离传感器、第二距离传感器测量的距离实际为内眼角与对应距离传感器之间的距离,保证测量到的距离不会受到用户眼窝深浅不同造成的影响,提高了测量距离的准确性。
在一种可能的设计中,所述第一距离传感器设置于所述第一镜筒的第一端的边缘区域的外侧,所述第二距离传感器设置于所述第二镜筒的第一端的边缘区域的外侧。
在一种可能的设计中,所述第一距离传感器设置于第一垂直线上,所述第一垂直线为与所述纵向中轴线平行且穿过所述第一透镜的透镜中心的直线;
所述第二距离传感器设置于第二垂直线上,所述第二垂直线为与所述纵向中轴线平行且穿过所述第二透镜的透镜中心的直线。
在一种可能的设计中,所述第一镜筒的第一端的边缘区域中设置有发光二极管(Light Emitting Diode,LED)单元,所述第二镜筒的第一端的边缘区域中设置有LED单元。
第二方面,提供了一种用于调整显示设备的图像呈现的方法,所述方法包括:
获取第一图像和第二图像,其中,第一图像中包含用户的左眼球的图像,第二图像中包含所述用户的右眼球的图像;
得到第一透镜与所述用户的左眼球之间的第一距离,其中,所述第一透镜为所述显示设备的全部透镜中与所述用户的左眼球的距离最近的透镜;
得到第二透镜与所述用户的右眼球之间的第二距离,其中,所述第二透镜为所述显示设备的全部透镜中与所述用户的右眼球的距离最近的透镜;
根据所述第一距离、所述第二距离,分别对所述第一图像和所述第二图像进行归一化处理;
根据归一化处理后的第一图像和归一化处理后的第二图像,计算所述用户的左眼球和所述用户的右眼球之间的瞳距;
根据所述用户的瞳距调整所述第一透镜和/或所述第二透镜。
本实施例提供的方法,通过第一透镜与左眼球之间的第一距离、第二透镜与右眼球之间的第二距离,分别对第一图像和第二图像进行了归一化处理,归一化处理后的第一图像和归一化处理后的第二图像均消除了由于用户瞳孔与显示设备的远近不同造成的影响,因此根据归一化处理后的第一图像和归一化处理后的第二图像计算得到的瞳距,不会由于用户瞳孔与显示设备的远近不同产生误差,精度较高,按照这种高精度的瞳距调节透镜的位置,可以达到清晰的观看效果。
在一种可能的设计中,所述根据所述第一距离、所述第二距离,分别对所述第一图像和所述第二图像进行归一化处理,包括:
计算所述第一距离与预设参考距离之间的比值,得到第一缩放系数,所述预设参考距离为获取到预设尺寸的瞳孔图像时所述第一透镜与所述用户的左眼球之间的距离,或为获取到预设尺寸的瞳孔图像时所述第二透镜与所述用户的右眼球之间的距离;
计算所述第二距离与所述预设参考距离之间的比值,得到第二缩放系数;
采用所述第一缩放系数,对所述第一图像进行缩放;
采用所述第二缩放系数,对所述第二图像进行缩放。
在一种可能的设计中,所述根据所述第一距离、所述第二距离,分别对所述第一图像和所述第二图像进行归一化处理,包括:
根据所述第一距离和所述第二距离检测所述显示设备的佩戴状态;或,根据所述第一图像和所述第二图像检测所述显示设备的佩戴状态;
当确定所述显示设备佩戴正常时,根据所述第一距离、所述第二距离,分别对所述第一图像和所述第二图像进行归一化处理。
在这种可能的设计中,通过检测显示设备的佩戴状态,当显示设备佩戴正常时,再调节透镜的位置,避免由于显示设备佩戴倾斜导致测量到的瞳距不准确的问题。
在一种可能的设计中,所述根据所述第一距离和所述第二距离检测所述显示设备的佩戴状态,包括:
计算所述第一距离与所述第二距离之间的差值;
当所述差值小于第一预设差值时,确定所述显示设备佩戴正常。
在一种可能的设计中,所述根据所述第一图像和所述第二图像检测所述显示设备的佩戴状态,包括:
当所述第一图像中瞳孔中心的点坐标属于所述第一图像的预设范围,且所述第二图像中瞳孔中心的点坐标属于所述第二图像的预设范围时,确定所述显示设备佩戴正常。
在一种可能的设计中,所述根据所述第一图像和所述第二图像检测所述显示设备的佩戴状态,包括:
计算所述第一图像中瞳孔中心的点坐标与所述第一图像中参考位置之间的距离,得到第三距离;
计算所述第二图像中瞳孔中心的点坐标与所述第二图像中参考位置之间的距离,得到第四距离;
当所述第三距离与所述第四距离之间的差值小于第二预设差值时,确定所述显示设备佩戴正常。
在一种可能的设计中,所述根据所述第一距离和所述第二距离检测所述显示设备的佩戴状态;或,根据所述第一图像和所述第二图像检测所述显示设备的佩戴状态之后,所述方法还包括:
当确定所述显示设备佩戴不正常时,按照预设提示方式,提示所述用户重新佩戴所述显示设备。
在这种可能的设计中,通过按照预设提示方式,提示用户重新佩戴显示设备,可以引导用户正确佩戴显示设备,更加人性化。
在一种可能的设计中,所述根据所述第一距离、所述第二距离,分别对所述第一图像和所述第二图像进行归一化处理,包括:
根据所述第一距离、第二距离、所述第一图像和所述第二图像,检测所述用户的睁眼状态;
当确定所述睁眼状态正常时,根据所述第一距离、所述第二距离,分别对所述第一图像和所述第二图像进行归一化处理。
在这种可能的设计中,通过检测用户的睁眼状态,当睁眼状态正常时,再调节透镜的位置,避免由于拍摄图像时由于出现用户闭眼等睁眼状态不正常的情况导致测量到的瞳距不准确的问题。
在一种可能的设计中,所述根据所述第一距离、第二距离、所述第一图像和所述第二图像,检测所述用户的睁眼状态,包括:
计算左瞳孔直径与预设瞳孔直径之间的比值,得到第一指定系数,计算右瞳孔直径与所述预设瞳孔直径之间的比值,得到第二指定系数,所述预设瞳孔直径为当所述第一透镜与所述用户的左眼球之间的距离之间为预设参考距离,且睁眼状态正常时会检测到的瞳孔直径,或者所述预设瞳孔直径为当所述第二透镜与所述用户的右眼球之间的距离之间为所述预设参考距离,且睁眼状态正常时会检测到的瞳孔直径,所述左瞳孔直径根据所述第一图像确定,所述右瞳孔直径根据所述第二图像确定;
当所述第一缩放系数与所述第一指定系数之间的差值、所述第二缩放系数与所述第二指定系数之间的差值均小于第三预设差值时,确定所述睁眼状态正常,所述第一缩放系数为所述第一距离与所述预设参考距离的比值,所述第二缩放系数为所述第二距离与所述预设参考距离的比值。
在一种可能的设计中,所述预设瞳孔直径为基于所述显示设备所获取的多个样本第一图像或多个样本第二图像检测得到的样本瞳孔直径的平均值。
在一种可能的设计中,所述根据归一化处理后的第一图像和归一化处理后的第二图像计算所述用户的左眼球和所述用户的右眼球之间的瞳距之后,所述方法还包括:
获取所述用户的用户标识;
存储所述用户标识和所述用户的瞳距之间的对应关系。
在这种可能的设计中,在测量得到瞳距后,可以存储用户标识和用户的瞳距之间的对应关系,当用户下次佩戴显示设备时,则可直接从对应关系中获取用户标识对应的用户的瞳距,而无需再次获取用户的瞳距,有利于快速获取瞳距,从而快速调节透镜之间的距离,节省了时间,提高了效率。
第三方面,提供了一种用于调整显示设备的图像呈现的装置,所述装置包括多个功能模块,以实现上述第二方面以及第二方面的任一种可能设计的用于调整显示设备的图像呈现的方法。
第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,所述指令被处理器执行以完成上述第二方面以及第二方面的任一种可能设计的用于调整显示设备的图像呈现的方法。
附图说明
图1是相关技术提供的一种用于调整显示设备的图像呈现的方法的示意图;
图2A是本公开实施例提供的一种显示设备的结构示意图;
图2B是本公开实施例提供的一种显示设备的结构示意图;
图2C是本公开实施例提供的一种显示设备的结构示意图;
图2D是本公开实施例提供的一种显示设备的结构示意图;
图2E是本公开实施例提供的一种显示设备的结构示意图;
图2F是本公开实施例提供的一种显示设备的结构示意图;
图2G是本公开实施例提供的一种显示设备的结构示意图;
图2H是本公开实施例提供的一种显示设备的结构示意图;
图3A是本公开实施例提供的一种用于调整显示设备的图像呈现的方法的流程图;
图3B是本公开实施例提供的一种用于调整显示设备的图像呈现的方法的示意图;
图4是本公开实施例提供的一种用于调整显示设备的图像呈现的装置的框图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚,下面将结合附图对本公开实施方式作进一步地详细描述。
图2A是本公开实施例提供的一种显示设备的结构示意图,该显示设备为头戴式显示设备,可以属于虚拟现实设备,例如虚拟现实头盔、虚拟现实眼镜,或者可以属于增强现实设备,例如增强现实头盔等。
参见图2A,该显示设备包括显示设备本体201、在该显示设备本体201上设置的第一距离传感器202和第二距离传感器203。显示设备本体201包含第一镜筒2011和第二镜筒2012,该第一镜筒2011的第一端设置有第一透镜2013,该第二镜筒2012的第一端设置有第二透镜2014。可选地,该显示设备本体201的内部还可以包含第一摄像头模组、第二摄像头模组、第一马达、第二马达、显示屏幕和处理器,另外,该显示设备本体201还可以包括其他用于实现显示功能的部件。
(1)第一镜筒2011和第二镜筒2012。
第一镜筒2011和第二镜筒2012均包括相对的两端,为了区分描述,在此将显示设备正常佩戴时显示设备面向用户的一端称为第一端。该第一镜筒2011的第一端的边缘区域固定有第一透镜2013,第二镜筒2012的第一端的边缘区域固定有第二透镜2014。
该固定方式可以包括以下两种设计。以下以第一镜筒2011的边缘区域固定第一透镜2013的方式为例进行阐述,第二镜筒2012的边缘区域固定第二透镜2014的方式与此同理。
在第一种可能的设计中,第一镜筒2011第一端的边缘区域可以为第一镜筒2011的镜头盖。该边缘区域与第一透镜2013之间紧密咬合,从而将第一透镜2013扣在第一镜筒2013的第一端上。其中,该边缘区域上可以设置有多个螺钉,该多个螺钉穿过边缘区域,插入第一透镜2013外边缘的多个通孔中,从而与第一透镜2013固定。又如边缘区域可以通过胶水或焊接的方式与第一透镜2013固定。
在第二种可能的设计中,第一镜筒2011第一端的边缘区域可以为第一镜筒2011第一端的边沿。该边缘区域的内壁与第一透镜2013的外边缘紧密贴合,第一透镜2013套在边缘区域内部,固定于边缘区域中,以免从边缘区域中滑脱。其中,边缘区域的内壁可以与第一透镜2013的外边缘通过胶水、螺钉、焊接等方式固定连接。
(2)第一透镜2013和第二透镜2014。
第一透镜2013可以为正焦距透镜,或者为负焦距透镜。第一透镜2013可以包括第一镜面和第二镜面,该第一镜面朝向第一端,在显示设备正常佩戴时可以面向用户的左眼。该第一镜面可以为凸面,且凸出方向朝向第一端。该第二镜面与第一镜面相背离,在显示设备正常佩戴时以面向显示设备内部。第二镜面可以为凹面,且凹陷方向也朝向第一端,或者,第一镜面和第二镜面可以均为凸面,或者,第一镜面可以为凹面而第二镜面可以为凸面。
该第二透镜2014与第一透镜2013类似,即,该第二透镜2014可以包括第三镜面和第四镜面,该第三镜面朝向第一端,在显示设备正常佩戴时可以面向用户的右眼。该第三镜面可以为凸面,且凸出方向朝向第一端。该第四镜面与第三镜面相背离,在显示设备正常佩戴时会面向显示设备内部,第四镜面可以为凹面,且凹陷方向也朝向第一端,或者,第一镜面和第二镜面可以均为凸面,或者,第一镜面可以为凹面而第二镜面可以为凸面。
(3)第一距离传感器202和第二距离传感器203。
第一距离传感器202和第二距离传感器203对称设置于该显示设备本体201的纵向中轴线的两侧,该纵向中轴线是指显示设备垂直方向的中轴线,该对称设置是指该第一距离传感器202、第二距离传感器203分别设置于纵向中轴线的左侧和右侧,第一距离传感器202与纵向中轴线之间的距离、第二距离传感器203与纵向中轴线之间的距离可以相等。
其中,第一距离传感器202可以设置于纵向中轴线的左侧,用于对左眼球和第一透镜2013之间的距离进行测量,第一距离传感器202可以为测量距离精确度较高的距离传感器,即高精度距离传感器,例如为激光距离传感器、红外线距离传感器、微波距离传感器等。第二距离传感器203可以设置于纵向中轴线的右侧,用于对右眼球和第二透镜2014之间的距离进行测量。该第二距离传感器203也可以为高精度距离传感器,例如为激光距离传感器、红外线距离传感器、微波距离传感器等。
针对第一距离传感器202和第二距离传感器203在显示设备本体201上的具体设置方式,详见以下两种设计。
在第一种可能的设计中,参见图2B,第一距离传感器202设置于第一镜筒2011的第一端的边缘区域,该第二距离传感器203设置于第二镜筒2012的第一端的边缘区域。
本设计中,两个距离传感器分别设置在两个镜筒的边缘区域上,第一距离传感器202与第一透镜2013的透镜中心的距离等于第一透镜2013的半径,第二距离传感器203与第二透镜2014的透镜中心的距离等于第二透镜2014的半径。
第一距离传感器202可以设置于第一镜筒2011的第一端的边缘区域的任意位置,第二距离传感器203可以设置于第二镜筒2012的第一端的边缘区域的任意位置,只需保证第一距离传感器202与第二距离传感器203关于纵向中轴线对称设置即可。
而为了保证距离传感器测量到的距离准确度较高,本设计提供了以下两种具体方式。
方式一、第一距离传感器202设置于该第一镜筒2011的第一端的边缘区域与该显示设备本体201的横向中轴线的两个交点中靠近该纵向中轴线的交点上,第二距离传感器203设置于该第二镜筒2012的第一端的边缘区域与该显示设备本体201的横向中轴线的两个交点中靠近该纵向中轴线的交点上。
参见图2C,第一镜筒2011的第一端的边缘区域会与横向中轴线具有两个交点,第一距离传感器202可以设置于这两个交点中靠近纵向中轴线的交点上,第一距离传感器202可以设置于第一镜筒2011的第一端的边缘区域的所有位置中最靠近纵向中轴线的位置处。同理地,第二镜筒2012的第一端的边缘区域也会与横向中轴线具有两个交点,第二距离传感器203可以设置于这两个交点中靠近纵向中轴线的交点上,第二距离传感器203可以设置于第二镜筒2012的第一端的边缘区域的所有位置中最靠近纵向中轴线的位置处。
那么,当显示设备佩戴正常时,第一距离传感器202会位于用户左眼的内眼角的正前方,测量到的距离实际为左眼的内眼角与该第一距离传感器202之间的距离,而由于第一距离传感器202的中心与第一透镜2013的透镜中心处于同一垂直平面上,左眼的内眼角和左眼瞳孔中心处于同一垂直平面上,则第一距离传感器202测量到的距离会是左眼瞳孔中心与第一透镜2013的透镜中心之间的距离。同理地,第二距离传感器203会位于用户右眼的内眼角的正前方,会测量到右眼的内眼角与该第二距离传感器203之间的距离,而由于第二距离传感器203的中心与第二透镜2014的中心处于同一垂直平面上,右眼的内眼角和右眼瞳孔中心处于同一垂直平面上,则第二距离传感器203测量到的距离会是右眼瞳孔中心与第二透镜2014的透镜中心之间的距离。
基于这种设置方式,能够保证第一距离传感器201测量到的距离即为左眼球和第一透镜2013之间的准确的距离,第二距离传感器203测量到的距离即为右眼球和第二透镜2014之间的准确的距离,那么,基于这种准确的距离调节透镜位置时,第一透镜201和第二透镜2013之间的距离会与用户的瞳距十分匹配,保证观看效果清晰。另外,对于眼窝深浅程度不同的用户来说,由于任一距离传感器测量的距离实际为内眼角与该距离传感器之间的距离,该距离不会受到眼窝深浅对测量距离造成的影响,避免了当眼窝较深的用户佩戴显示设备时,出现距离传感器测量到的距离偏大,即大于眼球与透镜之间的实际距离的情况,也避免了当眼窝较浅的用户佩戴显示设备时,出现距离传感器测量到的距离偏小,即小于眼球与透镜之间的实际距离的情况。
方式二、第一距离传感器202设置于第一垂直线上,第二距离传感器203设置于第二垂直线上。
参见图2D,第一垂直线为与该纵向中轴线平行且穿过该第一透镜2013的透镜中心的直线,第一垂直线会与第一镜筒2011的第一端的边缘区域具有两个交点,第一距离传感器202可以设置于这两个交点中靠上的交点上,即,第一距离传感器202可以设置在第一透镜2013的透镜中心的正上方且与透镜中心距离等于透镜半径的位置处。或者,第一距离传感器202可以设置于这两个交点中靠下的交点上,即,第一距离传感器可以设置在第一透镜2013的透镜中心的正下方且与透镜中心距离等于透镜半径的位置处。
同理地,第二垂直线为与纵向中轴线平行且穿过第二透镜2014的透镜中心的直线,第二垂直线会与第二镜筒2012的第一端的边缘区域也具有两个交点,第一距离传感器202可以设置于这两个交点中靠上的交点上,或设置于这两个交点中靠下的交点上。
需要说明的是,参见图2E,显示设备本体201还可以包含LED单元205,两个距离传感器实际可以落在LED单元205上。其中,第一镜筒2011的第一端的边缘区域中可以设置有LED单元205,该LED单元205包括多个LED,该多个LED以第一透镜2013的透镜中心为圆心,第一透镜2013的半径为半径,围绕成一个LED环,第一距离传感器202可以设置于该LED环上。同理地,该第二镜筒2012的第一端的边缘区域中也可以设置有LED单元205,第二距离传感器203可以设置于第二镜筒2012的LED单元205上。
在第二种可能的设计中,第一距离传感器202设置于第一镜筒2011的第一端的边缘区域的外侧,第二距离传感器203设置于第二镜筒2012的第一端的边缘区域的外侧。
本设计中,参见图2F,两个距离传感器分别设置在两个镜筒的边缘区域的周围,第一距离传感器202与第一透镜2013的透镜中心的距离会大于第一透镜2013的半径,第二距离传感器203与第二透镜2014的透镜中心的距离会大于第二透镜2014的半径。
可选地,参见图2G,第一距离传感器202可以设置于第一垂直线上,即,第一距离传感器202可以设置于第一透镜2013的透镜中心的正上方且与透镜中心之间的距离大于透镜半径的任一位置处,或设置于第一透镜2013的透镜中心的正下方且与透镜中心之间的距离大于透镜半径的任一位置处。同理地,第二距离传感器203可以设置于第二垂直线上,即,第二距离传感器203可以设置于第二透镜2014的透镜中心的正上方且与透镜中心之间的距离大于透镜半径的任一位置处,或设置于第二透镜2014的透镜中心的正下方且与透镜中心之间的距离大于透镜半径的任一位置处。
需要说明的是,参见图2H,显示设备本体201还可以包含保护垫206,保护垫206用于保护第一镜筒2011和第二镜筒2012,避免第一镜筒2011和第二镜筒2012由于磕碰发生损坏,同时保证用户佩戴显示设备时让用户的佩戴体验更加舒适。第一距离传感器202、第二距离传感器203实际可以设置于保护垫206上。
(4)、第一摄像头模组和第二摄像头模组。
第一摄像头模组可以设置于第一镜筒2011中,其焦距和朝向固定,能够拍摄用户的左眼球的图像,并可以将该图像传输至处理器。第二摄像头模组可以设置于第二镜筒2012中,其焦距和朝向固定,能够拍摄用户的右眼球的图像,并可以将该图像传输至处理器。
(5)、第一马达和第二马达。
第一马达用于在处理器的控制下,驱动第一透镜2013移动,从而调节第一透镜2013的位置,第二马达用于在处理器的控制下,用于驱动第二透镜2014移动,从而调节第一透镜2014的位置。其中,处理器调节第一透镜2013、第二透镜2014的位置的方案详见下述图3A所示实施例。
(6)、显示屏幕。
显示屏幕用于显示图像,在用户眼前呈现虚拟的或者增强的世界,可以为薄膜晶体管液晶显示器(Liquid Crystal Display,LCD)屏幕或者其它类型的屏幕。
相关技术中,显示设备上仅会设置一个距离传感器,用于对一定范围内的障碍物进行检测,从而检测出用户是否已经佩戴上显示设备,以便处理器根据检测结果确定是否启动显示设备。当显示设备启动后,处理器仅会基于拍摄到的瞳孔图像,得到瞳距,进而根据瞳距来调节透镜的位置,这种瞳距会受到瞳孔与显示设备之间的距离的影响,精度较低,导致调节透镜的位置后很可能无法达到清晰的观看效果。
本实施例提供的显示设备,在显示设备本体上设置了两个距离传感器,由第一距离传感器测量左眼球和第一透镜之间的距离,由第二距离传感器测量右眼球和第二透镜之间的距离,以便根据这两个距离分别对左瞳孔图像和右瞳孔图像进行归一化处理后,可以抵消掉瞳孔与显示设备之间的距离的影响,有助于得到高精度的瞳距,在基于高精度的瞳距调节透镜的位置后,可以达到清晰的观看效果。
进一步地,第一距离传感器可以设置于该第一镜筒的第一端的边缘区域与该显示设备本体的横向中轴线的两个交点中靠近该纵向中轴线的交点上,第二距离传感器可以设置于该第二镜筒的第一端的边缘区域与该显示设备本体的横向中轴线的两个交点中靠近该纵向中轴线的交点上,那么,第一距离传感器、第二距离传感器测量的距离实际为内眼角与对应距离传感器之间的距离,保证测量到的距离不会受到用户眼窝深浅不同造成的影响,提高了测量距离的准确性。
在示例性实施例中,还提供了一种计算机可读存储介质,例如包括指令的存储器,上述指令可由电子设备中的处理器执行以完成下述实施例中的用于调整显示设备的图像呈现的方法。例如,所述计算机可读存储介质可以是只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
图3A是根据一示例性实施例示出的一种用于调整显示设备的图像呈现的方法的流程图,该方法的执行主体为上述实施例阐述的显示设备的处理器,如图3A所示,包括以下步骤:
301、处理器获取第一图像和第二图像。
本实施例以包含用户的左眼球的图像称为第一图像,包含用户的右眼球的图像称为第二图像为例进行阐述。处理器可以在接收到拍摄指令时,通过第一摄像头模组对用户左眼球进行拍摄,得到该第一图像,通过第二摄像头模组对用户右眼球进行拍摄,得到该第二图像。其中,拍摄指令可以由佩戴显示设备的操作触发,或者由启动显示设备的操作触发。
可选地,在获取第一图像和第二图像之前,显示设备可以播放虚拟的远景图像,从而引导用户的视线朝向正前方,保证用户的左瞳孔、右瞳孔均直视显示设备。
302、处理器得到第一透镜与用户的左眼球之间的第一距离。
303、处理器得到第二透镜与用户的右眼球之间的第二距离。
处理器可以通过第一距离传感器对第一透镜与用户的左眼球之间的距离进行测量,得到第一距离,通过第二距离传感器对第二透镜与用户的右眼球之间的距离进行测量,得到第二距离。其中,第一透镜为显示设备的全部透镜中与用户的左眼球的距离最近的透镜,第二透镜为显示设备的全部透镜中与用户的右眼球的距离最近的透镜。第一透镜与第二透镜的具体位置详见上述图2A-图2H实施例。
304、处理器检测显示设备的佩戴状态。
处理器可以根据第一距离和第二距离检测显示设备的佩戴状态,详见以下第一种可能的设计。或,处理器可以根据第一图像和第二图像检测显示设备的佩戴状态,详见以下第二种可能的设计或第三种可能的设计。
在第一种可能的设计中,处理器可以计算第一距离与第二距离之间的差值,当差值小于第一预设差值时,确定显示设备佩戴正常。
处理器计算出第一距离与第二距离之间的差值后,可以判断该差值是否小于第一预设差值,从而确定显示设备佩戴是否正常。其中,该第一预设差值用于指示显示设备佩戴正常时,第一距离与第二距离之间的最大差值,该第一预设差值可以在显示设备中预先存储。
当该差值小于第一预设差值时,可以认为第一距离与第二距离较为接近,即,左眼球与第一透镜之间的距离、右眼球与第二透镜之间的距离大致相等,两个透镜连线的方向与双眼连线的方向大致平行,即两个透镜处于同一水平线上,则可以确定显示设备佩戴正常。
当该差值不小于第一预设差值时,可以认为第一距离与第二距离相差较大,即,左眼球与第一透镜之间的距离、右眼球与第二透镜之间的距离相差较大,两个透镜连线的方向与双眼连线的方向产生偏移,即两个透镜不在同一水平线上,则可以确定显示设备佩戴倾斜。其中,当第一距离大于第二距离,且差值不小于第一预设差值时,表明倾斜情况为第一透镜靠前、第二透镜靠后。当第一距离小于第二距离,且差值不小于第一预设差值时,表明倾斜情况为第一透镜靠后、第二透镜靠前。
在第二种可能的设计中,当第一图像中瞳孔中心的点坐标属于第一图像的预设范围,且第二图像中瞳孔中心的点坐标属于第二图像的预设范围时,处理器确定显示设备佩戴正常。
本设计可以包括以下步骤一至步骤三。
步骤一、获取两个图像中瞳孔中心的点坐标。
处理器在得到第一图像和第二图像后,可以为第一图像建立坐标系,并对第一图像进行图像识别,识别出瞳孔中心在第一图像的坐标系中的位置,从而得到瞳孔中心在坐标系中的点坐标,即左瞳孔中心的点坐标。同理地,处理器可以在得到第二图像后,可以为第二图像建立坐标系,并对第二图像进行图像识别,识别出瞳孔中心在第二图像的坐标系中的位置,从而得到瞳孔中心在坐标系中的点坐标,即右瞳孔中心的点坐标。
步骤二、判断左瞳孔中心的点坐标是否属于第一图像的预设范围,当左瞳孔中心的点坐标属于第一图像的预设范围,执行步骤三,当左瞳孔中心的点坐标不属于第一图像的预设范围,确定显示设备佩戴不正常。
当得到第一图像中瞳孔中心的点坐标后,处理器可以获取第一图像的预设范围,判断该点坐标是否属于第一图像的预设范围,当第一图像中瞳孔中心的点坐标属于第一图像的预设范围,表明左瞳孔中心位置正常,即左眼佩戴正常。而当第一图像中瞳孔中心的点坐标不属于第一图像的预设范围时,表明左瞳孔中心未处于正确的位置,即左眼佩戴不正常,则处理器可以确定显示设备佩戴倾斜。其中,该第一图像的预设范围用于指示显示设备佩戴正常时,拍摄到的左眼球的图像中瞳孔中心的点坐标会落入的范围。该第一图像的预设范围可以在显示设备中预先存储。
在一种可能的设计中,判断第一图像中瞳孔中心的点坐标是否属于第一图像的预设范围可以通过判断点坐标是否满足以下公式实现:
其中,x1表示第一图像中瞳孔中心的点坐标的横坐标,y1表示第一图像中瞳孔中心的点坐标的纵坐标,W的值可以根据对精确度的实际需求确定。
步骤三、判断右瞳孔中心的点坐标是否属于第二图像的预设范围,当右瞳孔中心的点坐标属于第二图像的预设范围,执行步骤四,当右瞳孔中心的点坐标不属于第二图像的预设范围,确定显示设备佩戴不正常。
当得到第二图像中瞳孔中心的点坐标后,处理器可以获取第二图像的预设范围,判断该点坐标是否属于第二图像的预设范围,当第二图像中瞳孔中心的点坐标属于第二图像的预设范围,表明右瞳孔中心位置正常,即右眼佩戴正常。而当第二图像中瞳孔中心的点坐标不属于第二图像的预设范围时,表明右瞳孔中心未处于正确的位置,即右眼佩戴不正常,则处理器可以确定显示设备佩戴倾斜。其中,该第二图像的预设范围用于指示显示设备佩戴正常时,拍摄到的右眼球的图像中瞳孔中心的点坐标会落入的范围。该第二图像的预设范围可以在显示设备中预先存储。
在一种可能的设计中,判断第二图像中瞳孔中心的点坐标是否属于第二图像的预设范围可以通过判断点坐标是否满足以下公式实现:
其中,x2表示第二图像中瞳孔中心的点坐标的横坐标,y2表示第二图像中瞳孔中心的点坐标的纵坐标,W的值可以根据对精确度的实际需求确定。
步骤四、确定显示设备佩戴正常。
也即是,当第一图像中瞳孔中心的点坐标属于第一图像的预设范围,且第二图像中瞳孔中心的点坐标属于第二图像的预设范围时,即左眼和右眼均佩戴正常时,处理器确定显示设备佩戴正常。
在第三种可能的设计中,处理器可以当第一图像中瞳孔中心的点坐标与第一图像中参考位置之间的距离、第二图像中瞳孔中心的点坐标与第二图像中参考位置之间的距离之间的差值小于第二预设差值时,确定显示设备佩戴正常。
本设计具体可以包括以下步骤一至步骤三。
步骤一、获取第一图像中瞳孔中心的点坐标与第一图像中参考位置之间的距离。
处理器可以为第一图像建立坐标系,并对第一图像进行图像识别,识别出瞳孔中心在第一图像的坐标系中的位置,从而得到瞳孔中心在坐标系中的点坐标,即左瞳孔中心的点坐标,并将第一图像的坐标系中的任一位置作为参考位置,获取参考位置在坐标系中的点坐标,计算左瞳孔中心的点坐标与参考位置的点坐标之间的距离。其中,显示设备可以将第一图像的中心,即第一图像的坐标系的原点作为第一图像的参考位置。
步骤二、获取第二图像中瞳孔中心的点坐标与第二图像中参考位置之间的距离。
处理器可以为第二图像建立坐标系,并对第二图像进行图像识别,识别出瞳孔中心在第二图像的坐标系中的位置,从而得到瞳孔中心在坐标系中的点坐标,即右瞳孔中心的点坐标,并将第二图像的坐标系的任一位置作为参考位置,获取参考位置在坐标系中的点坐标,计算右瞳孔中心的点坐标与参考位置的点坐标之间的距离。其中,显示设备可以将第二图像的中心,即第二图像的坐标系的原点作为第二图像的参考位置。
需要说明的是,本设计要求第一图像中的参考位置的点坐标与第二图像中的参考位置的点坐标相同,即,若将第一图像中的坐标系的(M,N)作为第一图像的参考位置,则也要将第二图像的坐标系的(M,N)作为第二图像的参考位置,以保证后续计算的差值能够正确反映显示设备的佩戴情况。
步骤三、计算两个距离之间的差值,判断差值是否小于第二预设差值,当差值小于第二预设差值时,确定显示设备佩戴正常,当差值不小于第二预设差值时,确定显示设备佩戴倾斜。
由于第一图像中瞳孔中心的点坐标与第一图像中参考位置之间的距离能够反映左瞳孔中心的点坐标与第一图像的参考位置之间的相对位置关系,第二图像中瞳孔中心的点坐标与第二图像的参考位置之间的距离能够反映右瞳孔中心的点坐标与第二图像的参考位置之间的相对位置关系,而第一图像的参考位置又与第二图像中参考位置的点坐标相同,因此两个距离之间的差值能够反映左瞳孔中心的点坐标、右瞳孔中心的点坐标之间位置的偏差,若差值小于第二预设差值,则可以确定左瞳孔中心与纵向中轴线之间的距离、右瞳孔中心与纵向中轴线之间的距离近似相等,且左瞳孔中心的高度与右瞳孔中心的高度近似相等,则可以确定显示设备佩戴正常,而该差值不小于第二预设差值,表明可能出现了左瞳孔中心、右瞳孔中心一外一内、或一高一低的情况,则可以确定显示设备佩戴倾斜。
其中,该第二预设差值用于指示第一图像中瞳孔中心的点坐标与第一图像中参考位置之间的距离、第二图像中瞳孔中心的点坐标与第二图像中参考位置之间的距离之间的最大差值,该第二预设差值可以根据实际对精确度的需求确定,可以在显示设备中预先存储。
305、当确定显示设备佩戴不正常时,处理器按照预设提示方式,提示用户重新佩戴显示设备。
该预设提示方式可以包括显示第一提示页面、发出第一提示语音等。其中,该第一提示页面可以包括用于提示重新佩戴显示设备的文字信息、图片信息等,例如该文字信息可以为“当前佩戴方式有误,请重新佩戴设备”,该第一提示语音可以为提示重新佩戴显示设备的语音。用户查看第一提示页面,或听到第一提示语音后,即可获知要重新佩戴显示设备,并重新佩戴显示设备,则显示设备会重新开始执行上述步骤301。
306、处理器根据第一距离、第二距离、第一图像和第二图像,检测用户的睁眼状态。
由于后续要根据第一图像和第二图像计算用户的瞳距,若用户睁眼状态不正常,例如用户在拍照时发生了闭眼,则无法正常计算瞳距。为此,会先根据第一距离、第二距离、第一图像和第二图像,检测用户的睁眼状态,当睁眼状态不正常时,执行下述步骤307,当睁眼状态正常时,执行下述步骤308。
检测睁眼状态是否正常的具体过程可以包括以下步骤一至步骤五。
步骤一、处理器计算左瞳孔直径与预设瞳孔直径之间的比值,得到第一指定系数。
当处理器在执行上述步骤304的过程中采用了第二种可能的设计或第三种可能的设计,则会对第一图像进行图像识别,而在对第一图像进行识别的过程中,可以同时识别出左瞳孔直径,本步骤即可直接获取该左瞳孔直径。而当处理器在执行上述步骤304的过程中采用了第一种可能的设计,或在采用了第二种可能的设计或第三种可能的设计并未识别左瞳孔直径时,本步骤中处理器需要对第一图像进行图像识别,得到该左瞳孔直径。
在得到左瞳孔直径后,处理器会获取预设瞳孔直径,计算左瞳孔直径与预设瞳孔直径之间的比值,将该比值作为第一指定系数。其中,预设瞳孔直径为当第一透镜与用户的左眼球之间的距离为预设参考距离,且睁眼状态正常时会检测到的瞳孔直径。预设瞳孔直径可以预先通过对多个样本用户佩戴显示设备时获取到的样本图像进行检测得到,获取预设瞳孔直径的具体过程可以包括以下三种可能的设计。
在第一种可能的设计中,可以当第一透镜与样本用户的左眼球之间的距离为预设参考距离,且样本用户睁眼状态正常时采集样本图像,得到多个样本第一图像,对于该多个样本第一图像中的每个样本第一图像,获取该样本图像中的瞳孔直径,得到样本瞳孔直径,得到多个样本瞳孔直径,求取该多个样本瞳孔直径的平均值,作为预设瞳孔直径。
在第二种可能的设计中,当第二透镜与样本用户的右眼球之间的距离为预设参考距离,且样本用户睁眼状态正常时采集样本图像,得到多个样本第二图像。对于该多个样本第二图像中的每个样本第二图像,获取该样本第二图像中的瞳孔直径,得到样本瞳孔直径,得到多个样本瞳孔直径,求取该多个样本瞳孔直径的平均值,作为预设瞳孔直径。
在第三种可能的设计中,可以基于多个样本第一图像得到多个样本瞳孔直径、基于多个样本第二图像得到多个样本瞳孔直径,再求取这些样本瞳孔直径的平均值,作为预设瞳孔直径。
步骤二、处理器计算右瞳孔直径与预设瞳孔直径之间的比值,得到第二指定系数。
当处理器在执行上述步骤304的过程中采用了第二种可能的设计或第三种可能的设计,则会对第二图像进行图像识别,而在对第二图像进行识别的过程中,可以同时识别出右瞳孔直径,本步骤即可直接获取该右瞳孔直径。而当处理器在执行上述步骤304的过程中采用了第一可能的设计,或在采用了第二种可能的设计或第三种可能的设计并未识别右瞳孔直径时,本步骤中处理器需要对第二图像进行图像识别,得到该右瞳孔直径。
步骤三、处理器计算第一距离与预设参考距离的比值,得到第一缩放系数,计算第二距离与预设参考距离的比值,得到第二缩放系数。
处理器得到第一缩放系数、第二缩放系数后,可以存储该第一缩放系数、第二缩放系数,以便后续基于该第一缩放系数、第二缩放系数进行归一化过程。
步骤四、处理器计算第一缩放系数与第一指定系数之间的差值,计算第二缩放系数与第二指定系数之间的差值。
可选地,处理器可以计算第一缩放系数减第一指定系数的差值,或计算第一指定系数减第一缩放系数的差值,再对得到的差值求取绝对值,将该绝对值作为第一缩放系数与第一指定系数之间的差值。同理地,处理器可以计算第二缩放系数减第二指定系数的差值,或计算第二指定系数减第二缩放系数的差值,再对得到的差值求取绝对值,将该绝对值作为第二缩放系数与第二指定系数之间的差值。
步骤五、处理器分别判断两个差值中的每个差值是否小于第三预设差值,当任一个差值小于第三预设差值时,确定睁眼状态不正常,当两个差值均小于第三预设差值时,确定睁眼状态正常。
存储设备可以获取第三预设差值,判断第一缩放系数与第一指定系数之间的差值是否小于第三预设差值,并判断第二缩放系数与第二指定系数之间的差值是否小于第三预设差值,当两个差值均小于第三预设差值时,表明左眼睁眼状态和右眼睁眼状态均正常,则显示设备会确定睁眼状态正常。其中,该第三预设差值用于指示第一缩放系数与第一指定系数之间的最大差值,或用于指示第二缩放系数与第二指定系数之间的最大差值。该第三预设差值可以根据对精确度的需求确定,可以在显示设备中预先存储。
而当第一缩放系数与第一指定系数之间的差值不小于第三预设差值时,可以获知可能出现了左眼闭眼、左眼半睁半闭等情况,即左眼的睁眼状态不正常,则显示设备会确定睁眼状态不正常。当第二缩放系数与第二指定系数之间的差值不小于第三预设差值时,可以获知可能出现了右眼闭眼、右眼半睁半闭等情况,即右眼的睁眼状态不正常,则显示设备会确定睁眼状态不正常。
307、当确定睁眼状态不正常时,处理器按照预设提示方式,提示用户正确睁眼。
该预设提示方式可以包括显示第二提示页面、发出第二提示语音等。其中,该第二提示页面可以包括用于提示正确睁眼的文字信息、图片信息等,例如该文字信息可以为“请睁开双眼,直视前方”,该第二提示语音为提示正确睁眼的语音。用户查看第二提示页面,或听到第二提示语音后,即可获知要正确睁眼。
需要说明的是,本实施例对执行检测佩戴状态的过程和执行检测睁眼状态的过程的先后顺序不做限定。即,可以先检测佩戴状态,当确定佩戴状态正常时再检测睁眼状态,当确定佩戴状态不正常时则无需执行后续步骤,直接提示用户重新佩戴显示设备。也可以先检测睁眼状态,当确定睁眼状态正常时再检测佩戴状态,而当确定睁眼状态不正常时则无需执行后续步骤,直接提示用户正确睁眼。
308、当确定显示设备佩戴正常且睁眼状态正常时,处理器分别对第一图像和第二图像进行归一化处理。
本步骤中的归一化处理是指将不同距离下拍摄到的图像的尺寸均调整为预设参考距离下会拍摄到的图像的尺寸,该预设参考距离可以为15mm左右的距离。
具体来说,在上述步骤305中,显示设备计算出了第一缩放系数和第二缩放系数,则本步骤308中显示设备可以获取第一缩放系数和第二缩放系数,基于第一缩放系数对第一图像进行归一化处理,基于第二缩放系数对第二图像进行归一化处理。
针对基于第一缩放系数对第一图像进行归一化处理的具体过程,当第一缩放系数大于1,即第一距离大于预设参考距离时,表明左瞳孔与显示设备的距离偏大,则获取到的第一图像的尺寸实际偏小,则可以将第一缩放系数作为第一图像的放大比例,对第一图像进行等比例放大,放大后的第一图像的尺寸会等于第一图像的尺寸与第一缩放系数的乘积,可以将放大后的第一图像作为归一化处理后的第一图像。
同理地,当第一缩放系数小于1,即第一距离小于预设参考距离时,表明左瞳孔与显示设备的距离偏小,则获取到的第一图像的尺寸实际偏大,则可以将第一缩放系数作为第一图像的缩小比例,对第一图像进行等比例缩小,缩小后的第一图像的尺寸会等于第一图像的尺寸与第一缩放系数的乘积,可以将放小后的第一图像作为归一化处理后的第一图像。
针对基于第二缩放系数对第二图像进行归一化处理的具体过程,当第二缩放系数大于1,即第二距离大于预设参考距离时,表明右瞳孔与显示设备的距离偏大,则获取到的第二图像的尺寸实际偏小,则可以将第二缩放系数作为第二图像的放大比例,对第二图像进行等比例放大,放大后的第二图像的尺寸会等于第二图像的尺寸与第二缩放系数的乘积,可以将放大后的第二图像作为归一化处理后的第二图像。
同理地,当第二缩放系数小于1,即第二距离小于预设参考距离时,表明右瞳孔与显示设备的距离偏小,则获取到的第二图像的尺寸实际偏大,则可以将第二缩放系数作为第二图像的缩小比例,对第二图像进行等比例缩小,缩小后的第二图像的尺寸会等于第二图像的尺寸与第二缩放系数的乘积,可以将放小后的第二图像作为归一化处理后的第二图像。
需要说明的第一点是,由于用户佩戴习惯的差异,用户瞳孔与显示设备的距离可能不同,导致不同距离下拍摄到的第一图像、第二图像的尺寸不同。而本实施例中,会设定预设参考距离,根据左眼球和第一透镜之间的第一距离与该预设参考距离,计算出第一缩放系数,通过该第一缩放系数对第一图像进行归一化处理,能够将各种第一距离下拍摄到的第一图像的尺寸统一地缩放至预设参考距离下会拍摄到的第一图像的尺寸,从而消除了第一距离对第一图像的尺寸造成的影响。同理地,根据右眼球和第二透镜之间的第二距离与该预设参考距离,计算出第二缩放系数,通过该第二缩放系数对第二图像进行归一化处理,将各种第二距离下拍摄到的第二图像的尺寸统一地缩放至预设参考距离下会拍摄到的第二图像的尺寸,从而消除了第二距离对第二图像的尺寸造成的影响。
也即是,左瞳孔与第一透镜的距离越远,第一图像会越小,而第一缩放系数越大,即第一图像的放大比例越大,则抵消掉了远距离的影响,保证放大后的第一图像为预设参考距离下会拍摄到的第一图像。而左瞳孔与第一透镜的距离越近,第一图像会越大,则第一缩放系数越小,即第一图像的缩小比例越小,则抵消掉了近距离的影响,保证缩小后的第一图像为预设参考距离下会拍摄到的第一图像。同理地,右瞳孔与第二透镜的距离越远,第二图像会越小,而第二缩放系数越大,即第二图像的放大比例越大,则抵消掉了远距离的影响,保证放大后的第二图像会为预设参考距离下拍摄到的第二图像。而右瞳孔与第二透镜的距离越近,第二图像会越大,则第二缩放系数越小,即第二图像的缩小比例越小,则抵消掉了近距离的影响,保证缩小后的第二图像会为预设参考距离下拍摄到的第二图像。
需要说明的第二点是,检测佩戴状态的步骤以及检测睁眼状态的步骤仅为可选步骤,可以无需执行,即,处理器可以无需执行上述步骤304-步骤307,在执行步骤301-步骤303之后,直接对第一图像和第二图像进行归一化处理。
309、处理器根据归一化处理后的第一图像和归一化处理后的第二图像计算用户的左眼球和用户的右眼球之间的瞳距。
本步骤309可以包括以下步骤一至步骤四。
步骤一、获取归一化处理后的第一图像中的左瞳孔中心的点坐标,并获取第一透镜的中心在归一化处理后的第一图像中的映射点坐标,计算左瞳孔中心的点坐标与映射点坐标之间的差值,作为第一差值。
示例性地,参见图3B,可以以第一透镜与第二透镜之间的中点为坐标系的原点,以显示设备的纵向中轴线为坐标系的y轴,建立坐标系,则归一化处理后的第一图像中的任一点的横坐标的绝对值为该点到纵向中轴线之间的距离。再对归一化处理后的第一图像的左眼瞳孔进行检测,并对左瞳孔中心进行定位,转换到坐标系中,得到左瞳孔中心的点坐标与y轴之间的距离deye1,再计算第一透镜的透镜中心的映射点坐标与y轴之间的距离dlens1,计算两个距离之间的差值δ1=deye1–dlens1。
步骤二、获取归一化处理后的第二图像中的右瞳孔中心的点坐标,并获取第二透镜的中心在归一化处理后的第二图像中的映射点坐标,计算右瞳孔中心的点坐标与映射点坐标之间的差值,作为第二差值。
可以以同样的方式建立坐标系,并对归一化处理后的第二图像的右眼瞳孔进行检测,对右瞳孔中心进行定位,转换到坐标系中,得到右瞳孔中心的点坐标与y轴之间的距离deye2,再计算第二透镜的透镜中心的映射点坐标与y轴之间的距离dlens2,计算两个距离之间的差值δ2=deye2–dlens2。
步骤三、获取第一透镜的中心与第二透镜的中心之间的当前距离。
步骤四、计算该当前距离、该第一差值和第二差值的和值,得到该用户的瞳距。
假设该当前距离为d,则瞳距=d+δ1+δ2。
需要说明的是,由于归一化处理后的第一图像已经消除了第一距离的大小造成的影响,归一化处理后的第二图像已经消除了第二距离的大小造成的影响,根据归一化处理后的第一图像和归一化处理后的第二图像所计算的瞳距即为准确的瞳距。
310、处理器根据用户的瞳距调整第一透镜和/或第二透镜。
以第一透镜的调节方向称为第一调节方向,第一透镜的调节距离称为第一调节距离,第二透镜的调节方向称为第二调节方向,第二透镜的调节距离称为第二调节距离为例,调整透镜的具体过程可以为:在上述步骤309的步骤一中,当第一差值大于0时,可以将向内移动作为第一调节方向,当第一差值小于0时,可以将向外移动作为第一调节方向,并将第一差值的绝对值作为第一调节距离,根据第一调节方向和第一调节距离调节第一透镜。在上述步骤307的步骤二中,当第二差值大于0时,可以将向内移动作为第二调节方向,当第二差值小于0时,可以将向外移动作为第二调节方向,并将第二差值的绝对值作为第二调节距离,根据第二调节方向和第二调节距离调节第二透镜。
那么,在当前距离大于瞳距时,第一透镜和/或第二透镜会向内移动,以使第一透镜和第二透镜之间的当前距离缩小,直至当前距离等于瞳距。在当前距离小于瞳距时,第一透镜和/或第二透镜会向外移动,以使第一透镜和第二透镜之间的当前距离增大,直至当前距离等于瞳距。那么,第一透镜和第二透镜之间的当前距离会等于瞳距,从而保证显示设备呈现图像的效果清晰。
可选地,在上述步骤309的步骤一中,显示设备获取归一化处理后的第一图像中的左瞳孔中心的点坐标后,可以计算该点坐标与显示设备的纵向中轴线之间的距离,该距离近似等于左瞳孔中心与用户鼻梁之间的距离,可以将该距离作为左眼瞳距,单独根据左眼瞳距确定第一调节方向和第一调节距离,进而调节第一透镜。显示设备获取归一化处理后的第二图像中的右瞳孔中心的点坐标后,可以计算该点坐标与显示设备的纵向中轴线之间的距离,该距离近似等于右瞳孔中心与用户鼻梁之间的距离,可以将该距离作为右眼瞳距,单独根据右眼瞳距确定第二调节方向和第二调节距离,进而调节第二透镜。通过单独计算左眼瞳距和右眼瞳距,使得本实施例提供的方法也适用于左眼瞳距、右眼瞳距差距相对较大的特殊人群,提高了普适性。
需要说明的第一点是,显示设备获取到瞳距后,可以存储用户标识和瞳距之间的对应关系,以便用户下次佩戴显示设备时,直接根据已存储的瞳距调节透镜的位置,而无需再次获取瞳距。其中,显示设备可以在显示登录页面时,接收输入指令,获取已输入的用户标识,基于该用户标识查询已存储的用户标识与用户的瞳距之间的对应关系,当已存储的对应关系中不包括该用户标识对应的用户的瞳距时,则采用上述方法获取用户的瞳距,进而存储用户标识和用户的瞳距之间的对应关系。而当已存储的对应关系中包括该用户标识对应的用户的瞳距时,表明显示设备之间已经获取到了用户的瞳距,则可以直接从对应关系中获取用户标识对应的用户的瞳距,而无需再次获取用户的瞳距,有利于快速获取瞳距,从而快速调节透镜之间的距离,节省了时间,提高了效率。
需要说明的第二点是,处理器调整第一透镜和/或第二透镜的过程实际可以通过显示设备本体包含的第一马达和第二马达实现:处理器可以在计算得到第一调节方向、第一调节距离、第二调节方向、第二调节距离后,将该第一调节方向和第一调节距离传入第一马达,将该第二调节方向和第二调节距离传入第二马达,第一马达会根据第一调节方向和第一调节距离推动第一透镜左右移动,第二马达会根据第二调节方向和第二调节距离推动第二透镜左右移动,最终达到调节瞳距的目的。
综上所述,本实施例提供的用于调整显示设备的图像呈现的方法的操作流程可以如下所示,包括以下步骤S1-步骤S4:
S1:由第一摄像头模组获取用户左眼球图像,由第二摄像头模组获取用户右眼球图像。
S2:由第一距离传感器测量用户的左眼球和第一透镜之间的距离,基于该距离对步骤S1中获取的左眼球图像进行归一化处理。由第二距离传感器测量用户的右眼球和第二透镜之间的距离,基于该距离对步骤S1中获取的右眼球图像进行归一化处理。
S3:针对步骤S2中的归一化处理后的左眼球图像对用户的瞳孔进行检测,对左瞳孔中心进行定位,得到左瞳孔中心的点坐标,并根据左瞳孔中心的点坐标与第一透镜的透镜中心在图像上的映射点坐标之间的差值,计算出第一透镜的调节方向和调节距离,针对步骤S2中的归一化处理后的右眼球图像对用户的瞳孔进行检测,对右瞳孔中心进行定位,得到右瞳孔中心的点坐标,并根据右瞳孔中心的点坐标与第二透镜的透镜中心在图像上的映射点坐标之间的差值,计算出第二透镜的调节方向和调节距离,并计算出瞳距值。
S4:根据当前使用显示设备的用户的瞳距,调整显示设备的第一透镜与第二透镜。
本实施例提供的方法,通过第一透镜与左眼球之间的第一距离、第二透镜与右眼球之间的第二距离,分别对第一图像和第二图像进行了归一化处理,归一化处理后的第一图像和归一化处理后的第二图像均消除了由于用户瞳孔与显示设备的远近不同造成的影响,因此根据归一化处理后的第一图像和归一化处理后的第二图像计算得到的瞳距,不会由于用户瞳孔与显示设备的远近不同产生误差,精度较高,按照这种高精度的瞳距调节透镜的位置,可以达到清晰的观看效果。
进一步地,通过检测显示设备的佩戴状态,当显示设备佩戴正常时,再调节透镜的位置,避免由于显示设备佩戴倾斜导致测量到的瞳距不准确的问题。
进一步地,当确定显示设备佩戴不正常时,通过按照预设提示方式,提示用户重新佩戴显示设备,可以引导用户正确佩戴显示设备,更加人性化。
进一步地,通过检测用户的睁眼状态,当睁眼状态正常时,再调节透镜的位置,避免由于拍摄图像时由于出现用户闭眼等睁眼状态不正常的情况导致测量到的瞳距不准确的问题。
进一步地,在测量得到瞳距后,可以存储用户标识和用户的瞳距之间的对应关系,当用户下次佩戴显示设备时,则可直接从对应关系中获取用户标识对应的用户的瞳距,而无需再次获取用户的瞳距,有利于快速获取瞳距,从而快速调节透镜之间的距离,节省了时间,提高了效率。
图4是根据一示例性实施例示出的一种用于调整显示设备的图像呈现的装置的结构示意图,如图4所示,该装置包括:获取模块401、得到模块402、归一化模块403、计算模块404和调整模块405。
获取模块401,用于获取第一图像和第二图像。
得到模块402,用于得到第一距离和第二距离。
归一化模块403,用于对第一图像和第二图像进行归一化处理;
计算模块404,用于计算瞳距;
调整模块405,用于根据瞳距调整第一透镜和/或第二透镜。
在一种可能的设计中,该归一化模块403用于执行上述步骤308。
在一种可能的设计中,该装置还包括:佩戴状态检测模块,用于执行上述步骤304。
在一种可能的设计中,该装置还包括:提示模块,用于执行上述步骤305。
在一种可能的设计中,该装置还包括:睁眼状态检测模块,用于执行上述步骤306。
在一种可能的设计中,该装置还包括:存储模块,用于存储该用户标识和该用户的瞳距之间的对应关系。
上述所有可选技术方案,可以采用任意结合形成本公开的可选实施例,在此不再一一赘述。
需要说明的是:上述实施例提供的用于调整显示设备的图像呈现的装置在调整显示设备的图像呈现的时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将显示设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的用于调整显示设备的图像呈现的装置用于调整显示设备的图像呈现的方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本公开的可选实施例,并不用以限制本公开,凡在本公开的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本公开的保护范围之内。
Claims (29)
1.一种显示设备,其特征在于,所述显示设备包括:显示设备本体,所述显示设备本体包含处理器、第一摄像头模组、第二摄像头模组、第一镜筒和第二镜筒,所述第一镜筒的第一端设置有第一透镜,所述第二镜筒的第一端设置有第二透镜;
所述显示设备本体上还设置有第一距离传感器和第二距离传感器;
所述第一距离传感器和所述第二距离传感器对称设置于所述显示设备本体的纵向中轴线的两侧;
所述第一距离传感器用于对左眼球和所述第一透镜之间的距离进行测量;
所述第二距离传感器用于对右眼球和所述第二透镜之间的距离进行测量;
所述处理器用于根据所述第一距离传感器测量的第一距离、所述第二距离传感器测量的第二距离分别对第一图像和第二图像进行归一化处理,根据归一化处理后的第一图像和归一化处理后的第二图像,计算用户的左眼球和所述用户的右眼球之间的瞳距,其中,第一图像中包含所述用户的左眼球的图像,第二图像中包含所述用户的右眼球的图像,所述第一图像是通过所述显示设备的第一摄像头模组拍摄得到的,所述第二图像是通过所述显示设备的第二摄像头模组拍摄得到的。
2.根据权利要求1所述的显示设备,其特征在于,所述第一距离传感器设置于所述第一镜筒的第一端的边缘区域,所述第二距离传感器设置于所述第二镜筒的第一端的边缘区域。
3.根据权利要求2所述的显示设备,其特征在于,所述第一距离传感器设置于所述第一镜筒的第一端的边缘区域与所述显示设备本体的横向中轴线的两个交点中靠近所述纵向中轴线的交点上;
所述第二距离传感器设置于所述第二镜筒的第一端的边缘区域与所述显示设备本体的横向中轴线的两个交点中靠近所述纵向中轴线的交点上。
4.根据权利要求1所述的显示设备,其特征在于,所述第一距离传感器设置于所述第一镜筒的第一端的边缘区域的外侧,所述第二距离传感器设置于所述第二镜筒的第一端的边缘区域的外侧。
5.根据权利要求2或4所述的显示设备,其特征在于,
所述第一距离传感器设置于第一垂直线上,所述第一垂直线为与所述纵向中轴线平行且穿过所述第一透镜的透镜中心的直线;
所述第二距离传感器设置于第二垂直线上,所述第二垂直线为与所述纵向中轴线平行且穿过所述第二透镜的透镜中心的直线。
6.根据权利要求2至4任一项所述的显示设备,其特征在于,所述第一镜筒的第一端的边缘区域中设置有发光二极管LED单元,所述第二镜筒的第一端的边缘区域中设置有LED单元。
7.一种用于调整显示设备的图像呈现的方法,其特征在于,所述方法包括:
获取第一图像和第二图像,其中,第一图像中包含用户的左眼球的图像,第二图像中包含所述用户的右眼球的图像,所述第一图像是通过所述显示设备的第一摄像头模组拍摄得到的,所述第二图像是通过所述显示设备的第二摄像头模组拍摄得到的;
得到第一透镜与所述用户的左眼球之间的第一距离,其中,所述第一透镜为所述显示设备的全部透镜中与所述用户的左眼球的距离最近的透镜;
得到第二透镜与所述用户的右眼球之间的第二距离,其中,所述第二透镜为所述显示设备的全部透镜中与所述用户的右眼球的距离最近的透镜;
根据所述第一距离、所述第二距离,分别对所述第一图像和所述第二图像进行归一化处理;
根据归一化处理后的第一图像和归一化处理后的第二图像,计算所述用户的左眼球和所述用户的右眼球之间的瞳距;
根据所述用户的瞳距调整所述第一透镜和/或所述第二透镜。
8.根据权利要求7所述的方法,其特征在于,所述根据所述第一距离、所述第二距离,分别对所述第一图像和所述第二图像进行归一化处理,包括:
计算所述第一距离与预设参考距离之间的比值,得到第一缩放系数,所述预设参考距离为获取到预设尺寸的瞳孔图像时所述第一透镜与所述用户的左眼球之间的距离,或为获取到预设尺寸的瞳孔图像时所述第二透镜与所述用户的右眼球之间的距离;
计算所述第二距离与所述预设参考距离之间的比值,得到第二缩放系数;
采用所述第一缩放系数,对所述第一图像进行缩放;
采用所述第二缩放系数,对所述第二图像进行缩放。
9.根据权利要求7所述的方法,其特征在于,所述根据所述第一距离、所述第二距离,分别对所述第一图像和所述第二图像进行归一化处理,包括:
根据所述第一距离和所述第二距离检测所述显示设备的佩戴状态;或,根据所述第一图像和所述第二图像检测所述显示设备的佩戴状态;
当确定所述显示设备佩戴正常时,根据所述第一距离、所述第二距离,分别对所述第一图像和所述第二图像进行归一化处理。
10.根据权利要求9所述的方法,其特征在于,所述根据所述第一距离和所述第二距离检测所述显示设备的佩戴状态,包括:
计算所述第一距离与所述第二距离之间的差值;
当所述差值小于第一预设差值时,确定所述显示设备佩戴正常。
11.根据权利要求9所述的方法,其特征在于,所述根据所述第一图像和所述第二图像检测所述显示设备的佩戴状态,包括:
当所述第一图像中瞳孔中心的点坐标属于所述第一图像的预设范围,且所述第二图像中瞳孔中心的点坐标属于所述第二图像的预设范围时,确定所述显示设备佩戴正常。
12.根据权利要求9所述的方法,其特征在于,所述根据所述第一图像和所述第二图像检测所述显示设备的佩戴状态,包括:
计算所述第一图像中瞳孔中心的点坐标与所述第一图像中参考位置之间的距离,得到第三距离;
计算所述第二图像中瞳孔中心的点坐标与所述第二图像中参考位置之间的距离,得到第四距离;
当所述第三距离与所述第四距离之间的差值小于第二预设差值时,确定所述显示设备佩戴正常。
13.根据权利要求9-12任一项所述的方法,其特征在于,所述根据所述第一距离和所述第二距离检测所述显示设备的佩戴状态;或,根据所述第一图像和所述第二图像检测所述显示设备的佩戴状态之后,所述方法还包括:
当确定所述显示设备佩戴不正常时,按照预设提示方式,提示所述用户重新佩戴所述显示设备。
14.根据权利要求7所述的方法,其特征在于,所述根据所述第一距离、所述第二距离,分别对所述第一图像和所述第二图像进行归一化处理,包括:
根据所述第一距离、第二距离、所述第一图像和所述第二图像,检测所述用户的睁眼状态;
当确定所述睁眼状态正常时,根据所述第一距离、所述第二距离,分别对所述第一图像和所述第二图像进行归一化处理。
15.根据权利要求14所述的方法,其特征在于,所述根据所述第一距离、第二距离、所述第一图像和所述第二图像,检测所述用户的睁眼状态,包括:
计算左瞳孔直径与预设瞳孔直径之间的比值,得到第一指定系数,计算右瞳孔直径与所述预设瞳孔直径之间的比值,得到第二指定系数,所述预设瞳孔直径为当所述第一透镜与所述用户的左眼球之间的距离之间为预设参考距离,且睁眼状态正常时会检测到的瞳孔直径,或者所述预设瞳孔直径为当所述第二透镜与所述用户的右眼球之间的距离之间为所述预设参考距离,且睁眼状态正常时会检测到的瞳孔直径,所述左瞳孔直径根据所述第一图像确定,所述右瞳孔直径根据所述第二图像确定;
当第一缩放系数与所述第一指定系数之间的差值、第二缩放系数与所述第二指定系数之间的差值均小于第三预设差值时,确定所述睁眼状态正常,所述第一缩放系数为所述第一距离与所述预设参考距离的比值,所述第二缩放系数为所述第二距离与所述预设参考距离的比值。
16.根据权利要求15所述的方法,其特征在于,所述预设瞳孔直径为基于所述显示设备所获取的多个样本第一图像或多个样本第二图像检测得到的样本瞳孔直径的平均值。
17.根据权利要求7所述的方法,其特征在于,所述根据归一化处理后的第一图像和归一化处理后的第二图像计算所述用户的左眼球和所述用户的右眼球之间的瞳距之后,所述方法还包括:
获取所述用户的用户标识;
存储所述用户标识和所述用户的瞳距之间的对应关系。
18.一种用于调整显示设备的图像呈现的装置,其特征在于,所述装置包括:
获取模块,用于获取第一图像和第二图像,其中,第一图像中包含用户的左眼球的图像,第二图像中包含所述用户的右眼球的图像,所述第一图像是通过所述显示设备的第一摄像头模组拍摄得到的,所述第二图像是通过所述显示设备的第二摄像头模组拍摄得到的;
得到模块,用于得到第一透镜与所述用户的左眼球之间的第一距离,其中,所述第一透镜为所述显示设备的全部透镜中与所述用户的左眼球的距离最近的透镜;
所述得到模块,还用于得到第二透镜与所述用户的右眼球之间的第二距离,其中,所述第二透镜为所述显示设备的全部透镜中与所述用户的右眼球的距离最近的透镜;
归一化模块,用于根据所述第一距离、所述第二距离,分别对所述第一图像和所述第二图像进行归一化处理;
计算模块,用于根据归一化处理后的第一图像和归一化处理后的第二图像,计算所述用户的左眼球和所述用户的右眼球之间的瞳距;
调整模块,用于根据所述用户的瞳距调整所述第一透镜和/或所述第二透镜。
19.根据权利要求18所述的装置,其特征在于,所述归一化模块,包括:
计算子模块,用于计算所述第一距离与预设参考距离之间的比值,得到第一缩放系数,所述预设参考距离为获取到预设尺寸的瞳孔图像时所述第一透镜与所述用户的左眼球之间的距离,或为获取到预设尺寸的瞳孔图像时所述第二透镜与所述用户的右眼球之间的距离;
所述计算子模块,还用于计算所述第二距离与所述预设参考距离之间的比值,得到第二缩放系数;
缩放模块,用于采用所述第一缩放系数,对所述第一图像进行缩放;
所述缩放模块,还用于采用所述第二缩放系数,对所述第二图像进行缩放。
20.根据权利要求18所述的装置,其特征在于,所述装置还包括:
佩戴状态检测模块,用于根据所述第一距离和所述第二距离检测所述显示设备的佩戴状态;或,根据所述第一图像和所述第二图像检测所述显示设备的佩戴状态;
所述归一化模块,还用于当所述佩戴状态检测模块确定所述显示设备佩戴正常时,根据所述第一距离、所述第二距离,分别对所述第一图像和所述第二图像进行归一化处理。
21.根据权利要求20所述的装置,其特征在于,所述佩戴状态检测模块,还用于计算所述第一距离与所述第二距离之间的差值;当所述差值小于第一预设差值时,确定所述显示设备佩戴正常。
22.根据权利要求20所述的装置,其特征在于,所述佩戴状态检测模块,还用于当所述第一图像中瞳孔中心的点坐标属于所述第一图像的预设范围,且所述第二图像中瞳孔中心的点坐标属于所述第二图像的预设范围时,确定所述显示设备佩戴正常。
23.根据权利要求20所述的装置,其特征在于,所述佩戴状态检测模块,还用于计算所述第一图像中瞳孔中心的点坐标与所述第一图像中参考位置之间的距离,得到第三距离;计算所述第二图像中瞳孔中心的点坐标与所述第二图像中参考位置之间的距离,得到第四距离;当所述第三距离与所述第四距离之间的差值小于第二预设差值时,确定所述显示设备佩戴正常。
24.根据权利要求18-23任一项所述的装置,其特征在于,所述装置还包括:
提示模块,用于当确定所述显示设备佩戴不正常时,按照预设提示方式,提示所述用户重新佩戴所述显示设备。
25.根据权利要求18所述的装置,其特征在于,所述装置还包括:
睁眼状态检测模块,用于根据所述第一距离、第二距离、所述第一图像和所述第二图像,检测所述用户的睁眼状态;
所述归一化模块,还用于当确定所述睁眼状态正常时,根据所述第一距离、所述第二距离,分别对所述第一图像和所述第二图像进行归一化处理。
26.根据权利要求25所述的装置,其特征在于,所述睁眼状态检测模块,包括:
计算子模块,用于计算左瞳孔直径与预设瞳孔直径之间的比值,得到第一指定系数,计算右瞳孔直径与所述预设瞳孔直径之间的比值,得到第二指定系数,所述预设瞳孔直径为当所述第一透镜与所述用户的左眼球之间的距离之间为预设参考距离,且睁眼状态正常时会检测到的瞳孔直径,或者所述预设瞳孔直径为当所述第二透镜与所述用户的右眼球之间的距离之间为所述预设参考距离,且睁眼状态正常时会检测到的瞳孔直径,所述左瞳孔直径根据所述第一图像确定,所述右瞳孔直径根据所述第二图像确定;
确定子模块,用于当第一缩放系数与所述第一指定系数之间的差值、第二缩放系数与所述第二指定系数之间的差值均小于第三预设差值时,确定所述睁眼状态正常,所述第一缩放系数为所述第一距离与所述预设参考距离的比值,所述第二缩放系数为所述第二距离与所述预设参考距离的比值。
27.根据权利要求26所述的装置,其特征在于,所述预设瞳孔直径为基于所述显示设备所获取的多个样本第一图像或多个样本第二图像检测得到的样本瞳孔直径的平均值。
28.根据权利要求18所述的装置,其特征在于,所述获取模块,还用于获取所述用户的用户标识;
所述装置还包括:存储模块,用于存储所述用户标识和所述用户的瞳距之间的对应关系。
29.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令,所述指令由处理器加载并执行以实现如权利要求7至权利要求17任一项所述的用于调整显示设备的图像呈现的方法中所执行的操作。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711038481.5A CN109725418B (zh) | 2017-10-30 | 2017-10-30 | 显示设备、用于调整显示设备的图像呈现的方法及装置 |
EP18874723.2A EP3683614B1 (en) | 2017-10-30 | 2018-06-13 | Display apparatus and method and device for adjusting image display of the display apparatus |
PCT/CN2018/091076 WO2019085487A1 (zh) | 2017-10-30 | 2018-06-13 | 显示设备、用于调整显示设备的图像呈现的方法及装置 |
US16/854,419 US11115648B2 (en) | 2017-10-30 | 2020-04-21 | Display device, and method and apparatus for adjusting image presence on display device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711038481.5A CN109725418B (zh) | 2017-10-30 | 2017-10-30 | 显示设备、用于调整显示设备的图像呈现的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109725418A CN109725418A (zh) | 2019-05-07 |
CN109725418B true CN109725418B (zh) | 2020-10-16 |
Family
ID=66292450
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711038481.5A Active CN109725418B (zh) | 2017-10-30 | 2017-10-30 | 显示设备、用于调整显示设备的图像呈现的方法及装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11115648B2 (zh) |
EP (1) | EP3683614B1 (zh) |
CN (1) | CN109725418B (zh) |
WO (1) | WO2019085487A1 (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020079906A1 (ja) | 2018-10-15 | 2020-04-23 | 国立大学法人東京農工大学 | ヘッドマウントディスプレイおよびこれに用いられる広焦点レンズの設計方法 |
CN110401831B (zh) * | 2019-07-19 | 2021-06-11 | 歌尔光学科技有限公司 | 一种vr设备及其显示控制方法 |
US11064188B2 (en) * | 2019-07-29 | 2021-07-13 | Htc Corporation | Driving method for calculating interpupillary distance and related head-mounted device |
CN110426862B (zh) * | 2019-08-14 | 2020-11-06 | 广东小天才科技有限公司 | 一种调节智能眼镜度数的方法及智能眼镜 |
CN110837294B (zh) * | 2019-10-14 | 2023-12-12 | 成都西山居世游科技有限公司 | 一种基于眼球追踪的面部表情控制方法及系统 |
CN110794585B (zh) * | 2019-10-16 | 2022-05-24 | 中国航空工业集团公司洛阳电光设备研究所 | 一种头盔显示器双目对准校准方法 |
CN111025653B (zh) * | 2019-12-29 | 2022-03-29 | 歌尔光学科技有限公司 | 调整头戴式设备中的显示器的方法、系统及头戴式设备 |
CN111158146A (zh) * | 2019-12-31 | 2020-05-15 | 歌尔股份有限公司 | 头戴设备及其控制方法和计算机可读存储介质 |
CN111248852A (zh) * | 2020-02-24 | 2020-06-09 | 脉脉眼镜科技(深圳)有限责任公司 | 智能瞳距测量装置和测量方法 |
CN112162408A (zh) * | 2020-10-21 | 2021-01-01 | 潍坊歌尔电子有限公司 | 智能眼镜及其调节装置、调节系统和调节方法 |
US20230324710A1 (en) * | 2022-04-11 | 2023-10-12 | Snap Inc. | Intelligent actuated nose bridge |
CN115508979B (zh) * | 2022-11-22 | 2023-03-21 | 深圳酷源数联科技有限公司 | Ar眼镜自动调焦系统 |
Family Cites Families (51)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3387326B2 (ja) * | 1996-08-30 | 2003-03-17 | ミノルタ株式会社 | 映像観察システム |
FR2807169B1 (fr) * | 2000-03-31 | 2002-06-07 | Essilor Int | Procede de montage de lentilles ophtalmiques |
FR2863857B1 (fr) * | 2003-12-23 | 2006-10-13 | Essilor Int | Mesure du comportement d'un porteur de lentilles ophtalmologiques |
JP5507797B2 (ja) * | 2007-03-12 | 2014-05-28 | キヤノン株式会社 | 頭部装着型撮像表示装置及び画像生成装置 |
US8957835B2 (en) * | 2008-09-30 | 2015-02-17 | Apple Inc. | Head-mounted display apparatus for retaining a portable electronic device with display |
JP5538160B2 (ja) * | 2010-09-24 | 2014-07-02 | パナソニック株式会社 | 瞳孔検出装置及び瞳孔検出方法 |
US8929589B2 (en) | 2011-11-07 | 2015-01-06 | Eyefluence, Inc. | Systems and methods for high-resolution gaze tracking |
US20140247286A1 (en) * | 2012-02-20 | 2014-09-04 | Google Inc. | Active Stabilization for Heads-Up Displays |
US20130241805A1 (en) * | 2012-03-15 | 2013-09-19 | Google Inc. | Using Convergence Angle to Select Among Different UI Elements |
US20130258486A1 (en) * | 2012-03-27 | 2013-10-03 | Dumitru Mihai Ionescu | Head-mount display |
US9618759B2 (en) * | 2012-08-06 | 2017-04-11 | Sony Corporation | Image display apparatus and image display method |
US9380287B2 (en) * | 2012-09-03 | 2016-06-28 | Sensomotoric Instruments Gesellschaft Fur Innovative Sensorik Mbh | Head mounted system and method to compute and render a stream of digital images using a head mounted display |
CN102937745B (zh) * | 2012-11-13 | 2015-04-01 | 京东方科技集团股份有限公司 | 开放式头戴显示装置及其显示方法 |
TWI481901B (zh) * | 2012-12-03 | 2015-04-21 | Wistron Corp | 頭戴式顯示裝置 |
WO2014106823A2 (en) * | 2013-01-03 | 2014-07-10 | Meta Company | Extramissive spatial imaging digital eye glass apparatuses, methods and systems for virtual or augmediated vision, manipulation, creation, or interaction with objects, materials, or other entities |
JP6264734B2 (ja) * | 2013-03-13 | 2018-01-24 | セイコーエプソン株式会社 | 虚像表示装置 |
WO2014156033A1 (en) * | 2013-03-26 | 2014-10-02 | Seiko Epson Corporation | Head-mounted display device, control method of head-mounted display device, and display system |
US20160054565A1 (en) * | 2013-03-29 | 2016-02-25 | Sony Corporation | Information processing device, presentation state control method, and program |
US9239460B2 (en) * | 2013-05-10 | 2016-01-19 | Microsoft Technology Licensing, Llc | Calibration of eye location |
US10345903B2 (en) * | 2013-07-30 | 2019-07-09 | Microsoft Technology Licensing, Llc | Feedback for optic positioning in display devices |
TWI507729B (zh) * | 2013-08-02 | 2015-11-11 | Quanta Comp Inc | 頭戴式視覺輔助系統及其成像方法 |
US10099030B2 (en) * | 2013-09-06 | 2018-10-16 | Iarmourholdings, Inc. | Mechanical and fluid system and method for the prevention and control of motion sickness, motion-induced vision sickness, and other variants of spatial disorientation and vertigo |
KR102547756B1 (ko) | 2013-10-16 | 2023-06-23 | 매직 립, 인코포레이티드 | 조절가능한 동공간 거리를 가지는 가상 또는 증강 현실 헤드셋들 |
EP2886041A1 (en) * | 2013-12-17 | 2015-06-24 | ESSILOR INTERNATIONAL (Compagnie Générale d'Optique) | Method for calibrating a head-mounted eye tracking device |
US10228562B2 (en) * | 2014-02-21 | 2019-03-12 | Sony Interactive Entertainment Inc. | Realtime lens aberration correction from eye tracking |
US9995933B2 (en) * | 2014-06-24 | 2018-06-12 | Microsoft Technology Licensing, Llc | Display devices with transmittance compensation mask |
JP6269387B2 (ja) * | 2014-08-21 | 2018-01-31 | セイコーエプソン株式会社 | 表示装置及び電子機器 |
KR102244222B1 (ko) * | 2014-09-02 | 2021-04-26 | 삼성전자주식회사 | 가상 현실 서비스를 제공하기 위한 방법 및 이를 위한 장치들 |
CN104216841A (zh) * | 2014-09-15 | 2014-12-17 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
US9760167B2 (en) * | 2014-11-07 | 2017-09-12 | Eye Labs, LLC | Visual stabilization system for head-mounted displays |
US10571696B2 (en) * | 2014-12-26 | 2020-02-25 | Cy Vision Inc. | Near-to-eye display device |
JP2016212177A (ja) * | 2015-05-01 | 2016-12-15 | セイコーエプソン株式会社 | 透過型表示装置 |
JP6693060B2 (ja) * | 2015-07-06 | 2020-05-13 | セイコーエプソン株式会社 | 表示システム、表示装置、表示装置の制御方法、及び、プログラム |
EP3360001B1 (en) * | 2015-10-08 | 2023-11-15 | LG Electronics Inc. | Head mount display device |
US10347048B2 (en) * | 2015-12-02 | 2019-07-09 | Seiko Epson Corporation | Controlling a display of a head-mounted display device |
CN105549209B (zh) * | 2016-02-04 | 2018-09-04 | 京东方科技集团股份有限公司 | 3d显示装置及其光栅周期调节方法 |
JP6686505B2 (ja) * | 2016-02-15 | 2020-04-22 | セイコーエプソン株式会社 | 頭部装着型画像表示装置 |
CN205485069U (zh) * | 2016-02-25 | 2016-08-17 | 北京耐德佳显示技术有限公司 | 具有视度显示的近眼显示设备 |
WO2017179938A1 (ko) * | 2016-04-15 | 2017-10-19 | 이문기 | 눈 촬영 장치 |
CN106019588A (zh) * | 2016-06-23 | 2016-10-12 | 深圳市虚拟现实科技有限公司 | 一种可以自动测量瞳距的近眼显示装置及方法 |
CN106019589A (zh) * | 2016-06-25 | 2016-10-12 | 深圳市虚拟现实科技有限公司 | 一种自动调整光学系统的近眼显示装置 |
CN205826969U (zh) * | 2016-06-25 | 2016-12-21 | 深圳市虚拟现实科技有限公司 | 一种自适应近眼显示装置 |
KR102691894B1 (ko) * | 2016-06-29 | 2024-08-06 | 엘지전자 주식회사 | 헤드 마운티드 디스플레이 장치 및 이의 제어방법 |
KR102720174B1 (ko) * | 2016-08-01 | 2024-10-22 | 삼성전자주식회사 | 영상 표시 방법 및 이를 지원하는 전자 장치 |
CN106019600B (zh) * | 2016-08-03 | 2018-10-09 | 深圳酷酷科技有限公司 | 光学模组及头戴式显示设备 |
CN106445167B (zh) * | 2016-10-20 | 2019-09-20 | 网易(杭州)网络有限公司 | 单眼视界自适配调整方法及装置、头戴式可视设备 |
WO2018078409A1 (en) * | 2016-10-28 | 2018-05-03 | Essilor International | Method of determining an eye parameter of a user of a display device |
CN206301289U (zh) * | 2016-11-29 | 2017-07-04 | 阿里巴巴集团控股有限公司 | Vr终端设备 |
CN106802486A (zh) * | 2017-04-11 | 2017-06-06 | 广东小天才科技有限公司 | 一种调节焦距的方法及头戴显示器 |
CN107132657B (zh) * | 2017-05-22 | 2023-06-30 | 歌尔科技有限公司 | Vr一体机、手机、手机和vr一体机套装 |
CN107167924B (zh) * | 2017-07-24 | 2019-07-19 | 京东方科技集团股份有限公司 | 一种虚拟现实设备和虚拟现实设备的透镜调节方法 |
-
2017
- 2017-10-30 CN CN201711038481.5A patent/CN109725418B/zh active Active
-
2018
- 2018-06-13 EP EP18874723.2A patent/EP3683614B1/en active Active
- 2018-06-13 WO PCT/CN2018/091076 patent/WO2019085487A1/zh unknown
-
2020
- 2020-04-21 US US16/854,419 patent/US11115648B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2019085487A1 (zh) | 2019-05-09 |
EP3683614B1 (en) | 2022-12-28 |
CN109725418A (zh) | 2019-05-07 |
US20200267380A1 (en) | 2020-08-20 |
US11115648B2 (en) | 2021-09-07 |
EP3683614A4 (en) | 2020-11-18 |
EP3683614A1 (en) | 2020-07-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109725418B (zh) | 显示设备、用于调整显示设备的图像呈现的方法及装置 | |
KR102469507B1 (ko) | 정보 처리 장치, 정보 처리 방법 및 프로그램 | |
US10048750B2 (en) | Content projection system and content projection method | |
US10247813B2 (en) | Positioning method and positioning system | |
US10002293B2 (en) | Image collection with increased accuracy | |
US9961335B2 (en) | Pickup of objects in three-dimensional display | |
US10360450B2 (en) | Image capturing and positioning method, image capturing and positioning device | |
US9335567B2 (en) | Method for manufacturing binocular loupe | |
EP4011274A1 (en) | Eye tracking using eyeball center position | |
EP3575926B1 (en) | Method and eye tracking system for providing an approximate gaze convergence distance of a user | |
JP2010259605A (ja) | 視線測定装置および視線測定プログラム | |
CN109429060B (zh) | 瞳孔距离测量方法、可穿戴眼部设备及存储介质 | |
JP7081599B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US20190073820A1 (en) | Ray Tracing System for Optical Headsets | |
TWI761930B (zh) | 頭戴式顯示裝置以及距離量測器 | |
US12118145B2 (en) | Electronic apparatus | |
TW201814356A (zh) | 頭戴顯示裝置與其鏡片位置調整方法 | |
US9002074B2 (en) | Facial validation sensor | |
JP2019215688A (ja) | 自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム | |
JP2006095008A (ja) | 視線検出方法 | |
CN105787435A (zh) | 一种用于虹膜采集的指示方法和装置 | |
WO2022103767A1 (en) | Determining gaze depth using eye tracking functions | |
CN115997159A (zh) | 使用移动设备确定眼睛旋转中心的位置的计算机实施的方法、移动设备以及计算机程序 | |
JP2022113973A (ja) | 表示方法、表示装置、及び、プログラム | |
KR20200096492A (ko) | 대상자의 참조 머리 자세를 결정하기 위한 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |