[go: up one dir, main page]

CN111556305B - 图像处理方法、vr设备、终端、显示系统和计算机可读存储介质 - Google Patents

图像处理方法、vr设备、终端、显示系统和计算机可读存储介质 Download PDF

Info

Publication number
CN111556305B
CN111556305B CN202010432109.8A CN202010432109A CN111556305B CN 111556305 B CN111556305 B CN 111556305B CN 202010432109 A CN202010432109 A CN 202010432109A CN 111556305 B CN111556305 B CN 111556305B
Authority
CN
China
Prior art keywords
eye
resolution
image
screen
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010432109.8A
Other languages
English (en)
Other versions
CN111556305A (zh
Inventor
李文宇
张�浩
陈丽莉
苗京花
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Optoelectronics Technology Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN202010432109.8A priority Critical patent/CN111556305B/zh
Publication of CN111556305A publication Critical patent/CN111556305A/zh
Priority to PCT/CN2021/086797 priority patent/WO2021233016A1/zh
Priority to US17/782,385 priority patent/US11838494B2/en
Application granted granted Critical
Publication of CN111556305B publication Critical patent/CN111556305B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/25Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开提供一种图像处理方法、VR设备、终端、显示系统和计算机可读存储介质,涉及显示技术领域,能够提升用户使用VR设备的观看体验。图像处理方法包括:获取用户的主导眼观看的屏幕上的注视点位置。根据注视点位置,确定左眼屏幕的注视区域和右眼屏幕的注视区域。对待显示的左眼图像中的第一部分以第一分辨率进行渲染,对第二部分以第二分辨率进行渲染,第一分辨率大于第二分辨率。对待显示的右眼图像中的第一部分以第三分辨率进行渲染,对第二部分以第四分辨率进行渲染,第三分辨率大于第四分辨率。其中,待显示在用户的主导眼观看的屏幕的注视区域的图像部分的分辨率,大于待显示在左眼屏幕和右眼屏幕中其它区域的图像部分的分辨率。

Description

图像处理方法、VR设备、终端、显示系统和计算机可读存储 介质
技术领域
本公开涉及图像处理技术领域,尤其涉及一种图像处理方法、VR设备、终端、显示系统和计算机可读存储介质。
背景技术
VR(Virtual Reality,虚拟现实)技术,是一种三维显示技术,其基本实现方式是计算机模拟虚拟环境,从而给人环境沉浸感。VR技术利用的是人的双眼存在视差,所以为双眼分别提供存在一定差异的图像,使得大脑在通过人眼获取到带有差异的图像后产生了接近真实的立体感。
发明内容
本发明的实施例提供一种图像处理方法、VR设备、终端、显示系统和计算机可读存储介质,能够提升用户使用VR设备时的观看体验。
为达到上述目的,本发明的实施例采用如下技术方案:
一方面,提供一种图像处理方法,包括:获取用户的主导眼观看的屏幕上的注视点位置;所述主导眼为所述用户的左眼和右眼中的至少一个。
根据所述注视点位置,确定左眼屏幕的注视区域和右眼屏幕的注视区域。
对待显示的左眼图像中的第一部分以第一分辨率进行渲染,对所述左眼图像中的第二部分以第二分辨率进行渲染,所述左眼图像中的第一部分为所述左眼图像中待显示在所述左眼屏幕的注视区域的部分,所述左眼图像中的第二部分为所述左眼图像中除所述第一部分以外的部分,所述第一分辨率大于所述第二分辨率。
对待显示的右眼图像中的第一部分以第三分辨率进行渲染,对所述右眼图像中的第二部分以第四分辨率进行渲染,所述右眼图像中的第一部分为所述右眼图像中待显示在所述右眼屏幕的注视区域的部分,所述右眼图像中的第二部分为所述右眼图像中除所述第一部分以外的部分,所述第三分辨率大于所述第四分辨率。其中,待显示在所述用户的主导眼观看的屏幕的注视区域的图像部分的分辨率,大于待显示在所述左眼屏幕和所述右眼屏幕中其它区域的图像部分的分辨率。
该方面提供的图像处理方法的执行主体例如可以为终端。
在一些实施例中,所述主导眼为所述用户的左眼,所述第三分辨率大于所述第二分辨率且小于所述第一分辨率,和/或所述第四分辨率小于所述第二分辨率。
在另一些实施例中,所述主导眼为所述用户的右眼,所述第一分辨率大于所述第四分辨率且小于所述第三分辨率,和/或所述第二分辨率小于所述第四分辨率。
在另一些实施例中,所述主导眼为所述用户的左眼和右眼,所述第三分辨率等于所述第一分辨率,所述第四分辨率等于所述第二分辨率。
在一些实施例中,在所述主导眼为所述用户的左眼的情况下,所述图像处理方法还包括:根据所述主导眼的等级降低所述第一分辨率,得到所述第三分辨率;根据所述主导眼的等级降低所述第二分辨率,得到所述第四分辨率。
在另一些实施例中,在所述主导眼为所述用户的右眼的情况下,所述图像处理方法还包括:根据所述主导眼的等级降低所述第三分辨率,得到所述第一分辨率;根据所述主导眼的等级降低所述第四分辨率,得到所述第二分辨率。
在一些实施例中,将渲染后的所述左眼图像显示在所述左眼屏幕上,将渲染后的所述右眼图像显示在所述右眼屏幕。
在另一些实施例中,将渲染后的所述左眼图像和渲染后的所述右眼图像发送至VR设备,用于供所述VR设备进行显示。
在一些实施例中,所述图像处理方法,还包括:确定所述用户的主导眼。
根据所确定的用户的主导眼,向VR设备发送控制指令,以控制VR设备获取所述主导眼的眼球图像,所述眼球图像用于确定所述注视点位置。
在一些实施例中,所述图像处理方法还包括:分别在所述左眼屏幕和所述右眼屏幕上显示主导眼测试图像。
在另一些实施例中,将主导眼测试图像发送至VR设备,用于供所述VR设备进行显示。
另一方面,本公开的实施例还提供一种图像处理方法,包括:
获取用户的主导眼的眼球图像;所述主导眼为所述用户的左眼和右眼中的至少一个。
根据所述眼球图像计算出所述用户的主导眼观看的屏幕上的注视点位置。
该方面提供的图像处理方法的执行主体例如可以为VR设备。
在一些实施例中,所述图像处理方法还包括:向终端发送所述注视点位置,所述注视点位置用于确定左眼屏幕的注视区域和右眼屏幕的注视区域。
在一些实施例中,接收待显示在所述左眼屏幕的左眼图像和待显示在所述右眼屏幕的右眼图像;其中,所述左眼图像包括第一部分和第二部分,所述左眼图像的第一部分的分辨率为第一分辨率,所述左眼图像的第一部分用于在所述左眼屏幕的注视区域显示,所述左眼图像的第二部分的分辨率为第二分辨率,所述左眼图像的第二部分为所述左眼图像中除所述第一部分以外的部分;所述第一分辨率大于所述第二分辨率;所述右眼图像包括第一部分和第二部分,所述右眼图像的第一部分的分辨率为第三分辨率,所述右眼图像的第一部分用于在所述右眼屏幕的注视区域显示,所述右眼图像的第二部分的分辨率为第四分辨率,所述右眼图像的第二部分为所述右眼图像中除所述第一部分以外的部分;所述第三分辨率大于所述第四分辨率。
在所述左眼屏幕上显示所述左眼图像,在所述右眼屏幕上显示所述右眼图像。
在一些实施例中,所述图像处理方法还包括:根据所述注视点位置,确定左眼屏幕的注视区域和右眼屏幕的注视区域。
对待显示的左眼图像中的第一部分以第一分辨率进行渲染,对所述左眼图像中的第二部分以第二分辨率进行渲染,所述左眼图像中的第一部分为所述左眼图像中待显示在所述左眼屏幕的注视区域的部分,所述左眼图像中的第二部分为所述左眼图像中除所述第一部分以外的部分,所述第一分辨率大于所述第二分辨率。
对待显示的右眼图像中的第一部分以第三分辨率进行渲染,对所述右眼图像中的第二部分以第四分辨率进行渲染,所述右眼图像中的第一部分为所述右眼图像中待显示在所述右眼屏幕的注视区域的部分,所述右眼图像中的第二部分为所述右眼图像中除所述第一部分以外的部分,所述第三分辨率大于所述第四分辨率;其中,待显示在所述用户的主导眼观看的屏幕的注视区域的图像部分的分辨率,大于待显示在所述左眼屏幕和所述右眼屏幕中其它区域的图像部分的分辨率。
在所述左眼屏幕上显示渲染后的所述左眼图像,在所述右眼屏幕上显示渲染后的所述右眼图像。
在一些实施例中,获取用户的主导眼的眼球图像,包括:接收终端发送的控制指令,根据所述控制指令获取所述用户的主导眼的眼球图像。
在另一些实施例中,确定用户的主导眼,并根据确定出的结果获取所述用户的主导眼的眼球图像。
在一些实施例中,所述图像处理方法还包括:分别在所述左眼屏幕和所述右眼屏幕上显示主导眼测试图像。
又一方面,本公开的实施例还提供一种图像处理方法,包括:
确定用户的主导眼;所述主导眼为所述用户的左眼和右眼中的至少一个。
获取用户的主导眼的眼球图像。
获取用户的主导眼观看的屏幕上的注视点位置。
根据注视点位置,确定左眼屏幕的注视区域和右眼屏幕的注视区域。
对待显示的左眼图像中的第一部分以第一分辨率进行渲染,对所述左眼图像中的第二部分以第二分辨率进行渲染,所述左眼图像中的第一部分为所述左眼图像中待显示在所述左眼屏幕的注视区域的部分,所述左眼图像中的第二部分为所述左眼图像中除所述第一部分以外的部分,所述第一分辨率大于所述第二分辨率。
对待显示的右眼图像中的第一部分以第三分辨率进行渲染,对所述右眼图像中的第二部分以第四分辨率进行渲染,所述右眼图像中的第一部分为所述右眼图像中待显示在所述右眼屏幕的注视区域的部分,所述右眼图像中的第二部分为所述右眼图像中除所述第一部分以外的部分,所述第三分辨率大于所述第四分辨率;其中,待显示在所述用户的主导眼观看的屏幕的注视区域的图像部分的分辨率,大于待显示在所述左眼屏幕和所述右眼屏幕中其它区域的图像部分的分辨率。
将渲染后的所述左眼图像显示在所述左眼屏幕上,将渲染后的所述右眼图像显示在所述右眼屏幕上。
在一些实施例中,所述主导眼为所述用户的左眼,所述第三分辨率大于所述第二分辨率且小于所述第一分辨率,和/或所述第四分辨率小于所述第二分辨率。
在另一些实施例中,所述主导眼为所述用户的右眼,所述第一分辨率大于所述第四分辨率且小于所述第三分辨率,和/或所述第二分辨率小于所述第四分辨率。
在另一些实施例中,所述主导眼为所述用户的左眼和右眼,所述第三分辨率等于所述第一分辨率,所述第四分辨率等于所述第二分辨率。
在一些实施例中,在所述主导眼为所述用户的左眼的情况下,所述图像处理方法还包括:根据所述主导眼的等级降低所述第一分辨率,得到所述第三分辨率;根据所述主导眼的等级降低所述第二分辨率,得到所述第四分辨率。
在另一些实施例中,在所述主导眼为所述用户的右眼的情况下,所述图像处理方法还包括:根据所述主导眼的等级降低所述第三分辨率,得到所述第一分辨率;根据所述主导眼的等级降低所述第四分辨率,得到所述第二分辨率。
在一些实施例中,所述图像处理方法还包括:分别在所述左眼屏幕和所述右眼屏幕上显示主导眼测试图像。
又一方面,本公开的实施例还提供一种VR设备,包括与用户的左眼和右眼一一对应的两个摄像头和至少一个处理器。所述摄像头被配置为获取与所述摄像头对应的眼睛的眼球图像;所述至少一个处理器,被配置为控制与用户的主导眼对应的摄像头工作,并根据所述摄像头获取的眼球图像,计算所述主导眼观看的屏幕上的注视点位置;其中,所述主导眼为所述用户的左眼和右眼中的至少一个。
在一些实施例中,所述VR设备还包括:通信器件,被配置为向终端发送所述注视点位置,所述注视点位置用于确定左眼屏幕的注视区域和右眼屏幕的注视区域。
在一些实施例中,所述通信器件,还被配置为接收所述终端发送的待显示在所述左眼屏幕的左眼图像和待显示在所述右眼屏幕的右眼图像;其中,所述左眼图像包括第一部分和第二部分,所述左眼图像的第一部分的分辨率为第一分辨率,所述左眼图像的第一部分用于在所述左眼屏幕的注视区域显示,所述左眼图像的第二部分的分辨率为第二分辨率,所述左眼图像的第二部分为所述左眼图像中除所述第一部分以外的部分;所述第一分辨率大于所述第二分辨率;所述右眼图像包括第一部分和第二部分,所述右眼图像的第一部分的分辨率为第三分辨率,所述右眼图像的第一部分用于在所述右眼屏幕的注视区域显示,所述右眼图像的第二部分的分辨率为第四分辨率,所述右眼图像的第二部分为所述右眼图像中除所述第一部分以外的部分;所述第三分辨率大于所述第四分辨率;其中,待显示在所述用户的主导眼观看的屏幕的注视区域的图像部分的分辨率,大于待显示在所述左眼屏幕和所述右眼屏幕中其它区域的图像部分的分辨率。
在一些实施例中,所述VR设备还包括:左眼屏幕和右眼屏幕;所述至少一个处理器还被配置为控制左眼屏幕显示所述左眼图像,所述右眼屏幕显示所述右眼图像。
在一些实施例中,所述VR设备还包括:左眼屏幕和右眼屏幕。
所述至少一个处理器被配置为,根据用户的主导眼观看的屏幕上的注视点位置,确定左眼屏幕的注视区域和右眼屏幕的注视区域;对待显示的左眼图像中的第一部分以第一分辨率进行渲染,对所述左眼图像中的第二部分以第二分辨率进行渲染,所述左眼图像中的第一部分为所述左眼图像中待显示在所述左眼屏幕的注视区域的部分,所述左眼图像中的第二部分为所述左眼图像中除所述第一部分以外的部分,且所述第一分辨率大于所述第二分辨率;对待显示的右眼图像中的第一部分以第三分辨率进行渲染,对所述右眼图像中的第二部分以第四分辨率进行渲染,所述右眼图像中的第一部分为所述右眼图像中待显示在所述右眼屏幕的注视区域的部分,所述右眼图像中的第二部分为所述右眼图像中除所述第一部分以外的部分;且所述第三分辨率大于所述第四分辨率;其中,待显示在所述用户的主导眼观看的屏幕的注视区域的图像部分的分辨率,大于待显示在所述左眼屏幕和所述右眼屏幕中其它区域的图像部分的分辨率。
所述至少一个处理器还被配置为,控制左眼屏幕显示渲染后的所述左眼图像,所述右眼屏幕显示渲染后的所述右眼图像。
在一些实施例中,所述至少一个处理器还被配置为控制所述左眼屏幕和所述右眼屏幕显示主导眼测试图像。
在一些实施例中,所述至少一个处理器被配置为根据终端发送的控制指令,获取所述用户的主导眼的眼球图像。
在另一些实施例中,所述至少一个处理器被配置为确定用户的主导眼,并根据确定出的结果获取所述用户的主导眼的眼球图像。
在一些实施例中,所述左眼屏幕和右眼屏幕分别为一个显示屏中位置不重叠的两个部分。
在另一些实施例中,所述左眼屏幕和右眼屏幕分别为两个显示屏。
又一方面,本公开的实施例还提供一种终端,包括:存储器和至少一个处理器。所述存储器被配置为存储计算机程序;所述至少一个处理器,被配置为当所述终端运行时,执行所述存储器存储的所述计算机程序,以使所述终端执行如上所述的任一种终端所执行的图像处理方法。
在一些实施例中,所述终端还包括:左眼屏幕和右眼屏幕。所述至少一个处理器还被配置为控制所述左眼屏幕显示渲染后的左眼图像,并控制所述右眼屏幕显示渲染后的右眼图像。
在另一些实施例中,所述终端还包括:第一通信器件,被配置为将渲染后的所述左眼图像和渲染后的所述右眼图像发送至VR设备,用于供所述VR设备进行显示。
在一些实施例中,所述至少一个处理器还被配置为确定所述用户的主导眼。所述终端还包括:第二通信器件,被配置为根据确定的所述用户的主导眼,向VR设备发送控制指令,所述控制指令用于控制VR设备获取所述主导眼的眼球图像,所述眼球图像用于确定所述注视点位置。
在一些实施例中,所述至少一个处理器还被配置为分别控制所述左眼屏幕和所述右眼屏幕显示主导眼测试图像。
在另一些实施例中,所述第一通信器件还配置为将主导眼测试图像发送至VR设备,用于供所述VR设备进行显示。
又一方面,本公开的实施例还提供一种显示系统,包括:
与用户的左眼和右眼一一对应的两个摄像头,所述摄像头被配置为获取与所述摄像头对应的眼睛的眼球图像。
左眼屏幕和右眼屏幕。
至少一个处理器,被配置为控制与用户的主导眼对应的摄像头工作,并根据所述摄像头获取的眼球图像,计算所述主导眼观看的屏幕上的注视点位置,其中,所述主导眼为所述用户的左眼和右眼中的至少一个;还被配置为根据用户的主导眼观看的屏幕上的注视点位置,确定左眼屏幕的注视区域和右眼屏幕的注视区域,并根据左眼屏幕的注视区域渲染待显示的左眼图像,根据右眼屏幕的注视区域渲染待显示的右眼图像;以及,控制左眼屏幕显示渲染后的所述左眼图像,所述右眼屏幕显示渲染后的所述右眼图像。
其中,根据左眼屏幕的注视区域渲染待显示的左眼图像,根据右眼屏幕的注视区域渲染待显示的右眼图像包括:
对待显示的左眼图像中的第一部分以第一分辨率进行渲染,对所述左眼图像中的第二部分以第二分辨率进行渲染,所述左眼图像中的第一部分为所述左眼图像中待显示在所述左眼屏幕的注视区域的部分,所述左眼图像中的第二部分为所述左眼图像中除所述第一部分以外的部分,且所述第一分辨率大于所述第二分辨率。
对待显示的右眼图像中的第一部分以第三分辨率进行渲染,对所述右眼图像中的第二部分以第四分辨率进行渲染,所述右眼图像中的第一部分为所述右眼图像中待显示在所述右眼屏幕的注视区域的部分,所述右眼图像中的第二部分为所述右眼图像中除所述第一部分以外的部分;且所述第三分辨率大于所述第四分辨率;其中,待显示在所述用户的主导眼观看的屏幕的注视区域的图像部分的分辨率,大于待显示在所述左眼屏幕和所述右眼屏幕中其它区域的图像部分的分辨率。
在一些实施例中,所述至少一个处理器还被配置为控制所述左眼屏幕和所述右眼屏幕显示主导眼测试图像。
又一方面,本公开的实施例还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,当所述计算机程序在终端上运行时,使得所述终端执行如上所述的任一种终端所执行的图像处理方法。
又一方面,本公开的实施例还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,当所述计算机程序在VR设备上运行时,使得所述VR设备执行如上所述的任一种VR设备所执行的图像处理方法。
又一方面,本公开的实施例还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,当所述计算机程序在显示系统上运行时,使得所述显示系统执行如上所述的任一种显示系统所执行的图像处理方法。
本公开的实施例提供一种图像处理方法、VR设备、终端、显示系统和计算机可读存储介质。其中的VR设备包含两个摄像头,这样就可以根据确定用户的主导眼(可能是左眼和/或右眼),开启与主导眼对应的摄像头,从而采集到主导眼的眼球图像,进而确定主导眼的眼球图像相应的注视点位置;再通过通信器件将得到的注视点位置发送给终端。终端根据收到的注视点位置对待显示的左眼图像和右眼图像进行渲染,并将渲染后的左眼图像和右眼图像发送到VR设备。VR设备通过通信器件接收到渲染后的左眼图像和右眼图像,在处理器的控制下,将渲染后的左眼图像显示在左眼屏幕上,将渲染后的右眼图像显示在右眼屏幕上。由于在上述的过程中,无论用户的主导眼是左眼,还是右眼,亦或是两只眼睛都是主导眼,终端都可以渲染出与主导眼相适应的待显示图像,从而使得VR设备显示的图像总是符合用户的主导眼的清晰度观看需求,也即用户的主导眼观看的图像的清晰度总是较高的,从而提升用户了观看体验。
附图说明
为了更清楚地说明本公开中的技术方案,下面将对本公开一些实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例的附图,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。此外,以下描述中的附图可以视作示意图,并非对本公开实施例所涉及的产品的实际尺寸、方法的实际流程、信号的实际时序等的限制。
图1为本公开的一些实施例提供的一种VR系统结构图;
图2为本公开的一些实施例提供的一种VR设备的结构图;
图3A为本公开的一些实施例提供的一种左眼屏幕和右眼屏幕的结构图;
图3B为本公开的一些实施例提供的另一种左眼屏幕和右眼屏幕的结构图;
图4A为本公开的一些实施例提供的一种相机的结构图;
图4B为本公开的一些实施例提供的另一种相机的结构图;
图5A为本公开的一些实施例提供的一种终端的结构图;
图5B为本公开的一些实施例提供的另一种终端的结构图;
图5C为本公开的一些实施例提供的另一种终端的结构图;
图6A为本公开的一些实施例提供的一种图像处理方法中VR设备和终端的交互流程图;
图6B为本公开的一些实施例提供的另一种图像处理方法中VR设备和终端的交互流程图;
图7A为本公开的一些实施例提供的一种主导眼测试图像的正视图;
图7B为本公开的一些实施例提供的用户通过VR设备观察主导眼测试图像的侧视图;
图8为本公开的一些实施例提供的一种注视区域的正视图;
图9为本公开的一些实施例提供的一种用户双眼观看左眼屏幕和右眼屏幕上显示的渲染后的图像的效果图;
图10为本公开的一些实施例提供的另一种VR系统的结构图;
图11为本公开的一些实施例提供的另一种VR设备的结构图;
图12A为本公开的一些实施例提供的另一种图像处理方法中VR和终端的交互流程图;
图12B为本公开的一些实施例提供的另一种图像处理方法中VR和终端的交互流程图;
图13为本公开的一些实施例提供的一种图像处理方法的流程图;
图14为本公开的一些实施例提供的另一种VR设备的结构图;
图15为本公开的一些实施例提供的另一种终端的结构图;
图16为本公开的一些实施例提供的一种显示系统的结构图。
具体实施方式
下面将结合附图,对本公开一些实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。基于本公开所提供的实施例,本领域普通技术人员所获得的所有其他实施例,都属于本公开保护的范围。
除非上下文另有要求,否则,在整个说明书和权利要求书中,术语“包括(comprise)”及其其他形式例如第三人称单数形式“包括(comprises)”和现在分词形式“包括(comprising)”被解释为开放、包含的意思,即为“包含,但不限于”。在说明书的描述中,术语“一个实施例(one embodiment)”、“一些实施例(some embodiments)”、“示例性实施例(exemplary embodiments)”、“示例(example)”、“特定示例(specific example)”或“一些示例(some examples)”等旨在表明与该实施例或示例相关的特定特征、结构、材料或特性包括在本公开的至少一个实施例或示例中。上述术语的示意性表示不一定是指同一实施例或示例。此外,所述的特定特征、结构、材料或特点可以以任何适当方式包括在任何一个或多个实施例或示例中。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
“A、B和C中的至少一个”与“A、B或C中的至少一个”具有相同含义,均包括以下A、B和C的组合:仅A,仅B,仅C,A和B的组合,A和C的组合,B和C的组合,及A、B和C的组合。
“A和/或B”,包括以下三种组合:仅A,仅B,及A和B的组合。
如本文中所使用,根据上下文,术语“如果”任选地被解释为意思是“当……时”或“在……时”或“响应于确定”或“响应于检测到”。类似地,根据上下文,短语“如果确定……”或“如果检测到[所陈述的条件或事件]”任选地被解释为是指“在确定……时”或“响应于确定……”或“在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”。
本文中“适用于”或“被配置为”的使用意味着开放和包容性的语言,其不排除适用于或被配置为执行额外任务或步骤的设备。
另外,“基于”的使用意味着开放和包容性,因为“基于”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出所述的值。
如本文所使用的那样,“约”或“近似”包括所阐述的值以及处于特定值的可接受偏差范围内的平均值,其中所述可接受偏差范围如由本领域普通技术人员考虑到正在讨论的测量以及与特定量的测量相关的误差(即,测量系统的局限性)所确定。
本文参照作为理想化示例性附图的剖视图和/或平面图描述了示例性实施方式。在附图中,为了清楚,放大了层和区域的厚度。因此,可设想到由于例如制造技术和/或公差引起的相对于附图的形状的变动。因此,示例性实施方式不应解释为局限于本文示出的区域的形状,而是包括因例如制造而引起的形状偏差。例如,示为矩形的蚀刻区域通常将具有弯曲的特征。因此,附图中所示的区域本质上是示意性的,且它们的形状并非旨在示出设备的区域的实际形状,并且并非旨在限制示例性实施方式的范围。
3D(Three Dimensions)成像技术是一种依靠双眼的视觉差来进行显示的技术,而VR技术正是基于3D成像技术来实现的,从而给人强烈的沉浸感和立体感。此外,更重要的是VR技术允许用户和所显示的虚拟世界之间进行交互。
基于VR技术,本公开的一些实施例中提供了一种VR系统,参考图1,该VR系统包括:VR设备1和终端2,二者可以通过有线通信方式或无线通信方式相连接。其中,VR设备1可以是可穿戴VR设备,示例的可以是VR头戴设备(Head Mounted Display,HMD),例如VR头盔、VR眼镜等。终端2可以是计算机设备、笔记本电脑、PAD(Personal Digital Assistant,个人数字助理)、手机等。
在一些实施例中,参考图2,VR设备1可以包括镜头11、显示装置12、至少一个通信器件13、两个摄像头14、至少一个存储器15和至少一个处理器16。
其中,镜头11可以包括两个透镜,例如两个菲涅尔透镜,分别用于左眼观看和右眼观看。两个透镜可以是独立设置,也可以是一体设置。
显示装置12包括左眼屏幕DL和右眼屏幕DR,分别被配置为显示左眼图像和右眼图像。左眼屏幕DL和右眼屏幕DR的分辨率例如可以为4K×4K、8K×8K、16K×16K等。
示例的,参考图3A,显示装置12包括一个显示屏12′,左眼屏幕DL和右眼屏幕DR是该一个显示屏12′中位置不重叠的两个部分。又示例的,参考图3B,显示装置12也可以包括两个显示屏12′,左眼屏幕DL为其中一个显示屏12′,右眼屏幕DR为另外一个显示屏12′。其中,上述的显示屏12′可以是液晶显示屏(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)显示屏、QLED(Quantum Dot Light EmittingDiodes,量子点发光二极管)显示屏等具有显示功能的屏幕。
通信器件13为与外部设备(例如终端2)进行信息交互的器件,与一个或多个(至少两个)处理器16相连,以在处理器16的控制下向外部设备发送数据或命令,或者,接收外部设备发送的数据或命令。通信器件13可以是收发器、收发电路、发送器、接收器等;例如可以是Wi-Fi(Wireless-Fidelity,无线网)装置、蓝牙装置等无线通信器件,也可以是通用串行总线(USB)接口等有线通信器件。其中,Wi-Fi装置为VR设备1提供遵循Wi-Fi相关标准协议的网络接入。蓝牙装置可以是集成电路或者蓝牙芯片等。
两个摄像头14中的一个摄像头14设置于可以采集到左眼眼球图像的位置,以获取到左眼的眼球图像,另外一个摄像头14设置于可以采集到右眼眼球图像的位置,以获取到右眼的眼球图像。两个摄像头14与一个或多个(至少两个)处理器16相连,以使得处理器16根据左眼的眼球图像,确定左眼观看左眼屏幕DL时左眼屏幕DL上的注视点位置(例如注视点坐标),和/或,根据右眼的眼球图像,确定右眼观看右眼屏幕DR时右眼屏幕DR上的注视点位置(例如注视点坐标)。示例的,参考图4A,两个摄像头14同时和一个或多个处理器16连接,此时可认为构成了一个相机C的主要组成部分。又示例的,参考图4B,一个摄像头14和一个或多个处理器16连接,构成一个相机C的主要组成部分;另一个摄像头14和一个或多个处理器16连接,构成另一个相机C的主要组成部分。
存储器15可存储计算机程序和数据,其可以包括高速随机存取存储器,还可以包括非易失存储器,例如磁盘存储器件、闪存器件或其他易失性固态存储器件等。
至少一个处理器16利用各种接口和线路连接VR设备1的多个部分,通过运行或执行存储在存储器15内的计算机程序,调用存储器15中的数据,使得VR设备1实现其自身的各种功能。至少一个处理器16中可以是一个或多个通用中央处理器(central processingunit,CPU)、微处理器、特定应用集成电路(application-specific integrated circuit,ASIC)或者用于控制本公开一些实施例的程序执行的集成电路;其中,CPU可以是单核处理器(single-CPU),也可以是多核处理器(multi-CPU)。这里的一个处理器16可以指一个或多个设备、电路或用于处理数据(例如计算机程序指令)的处理核。此外,至少一个处理器16还可以包括图形处理器(Graphics Processing Unit,GPU)。
在另一些实施例中,参考图2,VR设备1还可以包括与处理器16连接的音频装置17、麦克风18等来提高用户体验。
在相关技术中,VR设备通常仅包含对应左眼的一个摄像头,用来采集左眼的眼球图像;或者,仅包含对应右眼的一个摄像头,用来采集右眼的眼球图像。然而,人眼有一些特性,双眼中的一只眼睛往往在一定程度上占优势,成为定位、引起融合的主要负担者,该眼睛称为主导眼。很多用户属于一个是主导眼、一个是非主导眼的情况,这一部分用户在使用VR设备时,VR设备有可能采集到的是非主导眼的眼球图像,进而据此对后续待显示的图像进行渲染,这样的渲染结果是难以保证主导眼观看画面的清晰度等显示效果的,从而影响用户的整体观看体验。例如,VR设备仅包含一个用来采集左眼的眼球图像的摄像头,在一用户的主导眼是右眼的情况下,VR设备根据左眼(非主导眼)的眼球图像进行后续待显示的图像的渲染,渲染后的图像的清晰度虽然能够满足非主导眼的需求,但并不能满足主导眼的需求,使得主导眼看到的图像仍然可能是模糊的,最终导致用户通过双眼看到的3D图像是不清晰的,模糊的,影响用户的观看效果。
而在本公开的一些实施例中,VR设备1包含两个摄像头14,这样就可以根据确定用户的主导眼(可能是左眼和/或右眼),开启与主导眼对应的摄像头14,从而采集到主导眼的眼球图像,进而确定主导眼的眼球图像相应的注视点位置;再通过通信器件13将得到的注视点位置发送给终端2。终端2根据收到的注视点位置对待显示的左眼图像和右眼图像进行渲染,并将渲染后的左眼图像和右眼图像发送到VR设备1。VR设备1通过通信器件13接收到渲染后的左眼图像和右眼图像,在处理器16的控制下,将渲染后的左眼图像显示在左眼屏幕DL上,将渲染后的右眼图像显示在右眼屏幕DR上。由于在上述的过程中,无论用户的主导眼是左眼,还是右眼,亦或是两只眼睛都是主导眼,终端2都可以渲染出与主导眼相适应的待显示图像,从而使得VR设备1显示的图像总是符合用户的主导眼的清晰度观看需求,也即用户的主导眼观看的图像的清晰度总是较高的,从而提升用户了观看体验。
接下来,参考图5A,终端2可以包括:至少一个存储器21、至少一个处理器22和通信器件23。
存储器21可存储计算机程序和数据,可以包括高速随机存取存储器,还可以包括非易失存储器,例如磁盘存储器件、闪存器件或其他易失性固态存储器件等。
至少一个处理器22利用各种接口和线路连接VR设备1的多个部分,通过运行或执行存储在存储器21内的计算机程序,调用存储器21中的数据,使得终端2实现其自身的各种功能。至少一个处理器22中可以是一个或多个通用中央处理器(central processingunit,CPU)、微处理器、特定应用集成电路(application-specific integrated circuit,ASIC)或者用于控制本公开一些实施例的程序执行的集成电路;其中,CPU可以是单核处理器(single-CPU),也可以是多核处理器(multi-CPU)。这里的一个处理器22可以指一个或多个设备、电路或用于处理数据(例如计算机程序指令)的处理核。此外,至少一个处理器22还可以包括图形处理器(Graphics Processing Unit,GPU)。
通信器件23为与外部设备(例如VR设备1)进行信息交互的器件,与一个或多个(至少两个)处理器22相连,以在处理器22个控制下向外部设备发送数据或命令,或者,接收外部设备发送的数据或命令。通信器件23可以是收发器、收发电路、发送器、接收器等;例如可以是Wi-Fi装置、蓝牙装置等无线通信器件,还可以是通用串行总线(USB)接口等有线通信器件。其中,Wi-Fi装置为VR设备1提供遵循Wi-Fi相关标准协议的网络接入。蓝牙装置可以是集成电路或者蓝牙芯片等。
此外,在另一些实施例中,参考图5B,终端2还可以包括显示屏12′,具体可以是液晶显示屏、OLED显示屏、QLED显示屏等中任一种具有显示功能的屏幕。该显示屏12′还可以具备触控功能,此时显示屏12′可以称为触控显示屏,触控显示屏便于实现终端2与用户的人机交互。
参考图5C,终端2还可以包括输入/输出设备24,例如键盘、鼠标等。
终端2可通过通信器件23接收到VR设备1发送的主导眼(左眼和/或右眼)的注视点位置,由至少一个处理器22执行存储器21中的计算机程序,调用存储器中的数据(例如图像数据),以根据收到的主导眼的注视点位置对左眼图像和右眼图像进行与主导眼相适应的分辨率渲染,并将渲染后的图像通过通信器件23发送到VR设备1,使得VR设备1显示渲染后的图像,以供用户观看。
结合以上介绍的VR系统,参考图6A和图6B,本公开的一些实施例提供了一种图像处理方法,可以包括以下步骤:
主导眼是人类较为常见的一侧优势的功能特征之一,在确定用户的主导眼之后,可以根据主导眼的特性来提高用户的游戏体验、观影体验以及沉浸式交互体验等。
在一些实施例中,可以先执行S101至S102,以便用户能够获知自身的主导眼。
S101、终端2将主导眼测试图像发送至VR设备1;相应的,VR设备1接收终端2发送的主导眼测试图像。
主导眼测试图像包括不同的左眼测试图像和右眼测试图像,当用户通过VR设备1同时观察左眼测试图像和右眼测试图像时,可以看到由左眼测试图像和右眼测试图像合成的具有景深的主导眼测试图像。景深可以理解为用户的眼睛前沿能够取得清晰图像的成像所测定的被摄物体(主导眼测试图像)前后距离范围。
因此,终端2需要将左眼测试图像和右眼测试图像均发送至VR设备1中,VR设备1可以将该主导眼测试图像缓存。
S102、VR设备1分别在左眼屏幕DL和右眼屏幕DR上显示主导眼测试图像,以供用户观看。
VR设备1可以将缓存的左眼测试图像显示在左眼屏幕DL,将右眼图像显示在右眼屏幕DR。用户可根据左眼屏幕DL上显示的左眼测试图像和右眼屏幕DR上显示的右眼测试图像确定其主导眼。
示例的,参考图7A,终端2提供的主导眼测试图像3例如包括:圆环31、圆球32和定位标记33。即左眼测试图像和右眼测试图像均包括圆环31、圆球32和定位标记33,但在左眼测试图像和右眼测试图像中,圆球32相对于圆环31的位置可能具有一定差异。参考图7B,当用户双眼4通过VR设备1观察该主导眼测试图像时,圆球32会相对于圆环31具有一定景深。
用户通过观察主导眼测试图像确定主导眼的过程如下:首先,用户通过双眼4观察显示在VR设备1左眼屏幕DL和右眼屏幕DR上的圆球32的位置,并通过终端2调整圆球32的位置,直至圆球32的位置位于用户双眼4注视下的正前方,此时圆球32会与位于最中间的一个定位标记33(沿从左向右的方向,第4个定位标记33)重叠。
需要说明的是,在左眼屏幕DL和右眼屏幕DR显示的过程中,终端2会根据左眼屏幕DL和右眼屏幕DR的刷新频率,向左眼屏幕DL发送多个相同或不同的左眼测试图像,向右眼屏幕DR发送多个相同或不同的右眼测试图像,因此终端2可以对圆球32的位置进行调整,然后再将调整圆球32位置后的左眼测试图像和/或右眼测试图像发送给VR设备1,直至圆球32与位于最中间的一个定位标记33重叠。
其次,用户闭上左眼,用右眼观察圆球32位置,如果圆球32的位置与双眼4观察下的位置基本一致,即圆球32在圆环31正中间,且与最中间的定位标记33重叠或者靠近,则说明用户的右眼为主导眼,若不重叠,即圆球32与其它定位标记33重叠,例如与沿左向右的方向第2个定位标记33重叠,则说明右眼不是主导眼。
再次,用户闭上右眼,用左眼观察圆球32位置,如果圆球32的位置与双眼4观察下的位置基本一致,即圆球32在圆环31正中间,且与最中间的定位标记重叠或者靠近,则说明用户的左眼为主导眼,若圆球与其它定位标记33重叠,则说明左眼不是主导眼。
需要说明的是,当用户仅用左眼观察左眼测试图像和仅用右眼观察右眼测试图像时,其所观察的左眼测试图像和右眼测试图像是用户双眼4观察时,可以使得圆球32与位于最中间的一个定位标记33重叠的左眼测试图像和右眼测试图像。
若用户仅用右眼观察圆球32位置和仅用左眼观察圆球32位置时,圆球32的位置与双眼4观察下的位置基本一致,即圆球32在圆环31正中间,且与最中间的定位标记重叠或者靠近,则说明用户的双眼4为主导眼。
需要说明的是,由于在测试过程中,用户观察的是圆球32与定位标记之间的位置关系,因此主导眼测试图像中有无圆环31均可。而在本公开中的圆环31可以起到参考作用,用于限定圆球32所在的范围,以便用户观察圆球32和定位标记33之间的相对位置。
因此,在上述测试过程中,测试的结果包括,用户的右眼为主导眼,用户的左眼为主导眼,以及用户的双眼4均为主导眼,但并不会出现用户的双眼4均为非主导眼的情况。
在另一些实施例中,用户自己可通过其他方式已知自己的主导眼是哪只眼睛,例如可以由专门的检测机构检测并将检测结果告知用户。
在用户获知自身的主导眼之后,可以执行S103或S103′,使得VR设备1或终端2确定用户的主导眼。
步骤S103、参考图6A,终端2确定用户的主导眼,即终端2获取用户的主导眼信息。
在一些实施例中,终端2上显示人机交互界面,用户可以根据人机交互界面的提示,通过终端2的具有触控功能的显示屏12′、或者终端2的输入/输出设备24等向终端2输入主导眼信息,从而使终端2获取到用户的主导眼信息。示例的,终端2上显示的人机交互界面允许从左眼和右眼中选择至少一个作为主导眼,此时该主导眼信息用于表示用户的左眼和/或右眼为主导眼;当用户的左眼和右眼都是主导眼的情况下,用户可以选择其中一只眼睛作为主导眼,也可以选择两只眼睛均作为主导眼。又示例的,终端2上显示的人机交互界面仅允许从左眼和右眼中选择其中一个作为主导眼,此时,该主导眼信息用于表示用户的左眼或右眼为主导眼,当用户的左眼和右眼都是主导眼的情况下,用户可以选择其中一只眼睛作为主导眼,并将相应的主导眼信息输入到终端2。
在另一些实施例中,与终端2通信的其它设备,例如VR设备1,可向终端2发送主导眼信息,相应的,终端2接收到主导眼信息,从而终端2能够确定用户的主导眼。其中,VR设备1可参考步骤S103′确定用户的主导眼。
S103′、参考图6B,VR设备1确定用户的主导眼,即VR设备1获取用户的主导眼信息。
示例的,VR设备1上可设置一开关,开关与VR设备1中的处理器16相连,在用户得知自己的主导眼是哪只眼睛后,可以设置开关的工作状态(开启状态或关闭状态)VR设备1中的处理器16可以根据开关的工作状态获得主导眼信息(表示用户的左眼或右眼为主导眼),并通过VR设备1中的通信器件13将该主导眼信息发送至终端2。例如,开关处于开启状态,表示用户的左眼为主导眼;开关处于关闭状态,表示用户的右眼为主导眼。又示例的,VR设备1上可设置一2位拨码开关,用户可以通过设置拨码开关使得VR设备1获得主导眼信息(表示用户的左眼和/右眼为主导眼),进而使得终端2获取到该主导眼信息。在一些实施例中,VR设备1在确定用户的主导眼后可以不向终端2发送用户的主导眼信息。
此外,在S103或S103′中的主导眼信息中还可以包含主导眼的等级。主导眼的等级根据用户在观看主导眼的测试图像时的测试结果确定。主导眼的等级与圆球32之间的关系如下表所示:
表一
Figure BDA0002500948940000201
示例的,参考图7A,若测试结果中,圆球32与第三个定位标记33(沿从左向右或者从右向左的顺序)重合时,则主导眼的等级则取0.9。又示例的,若圆球32位于第三个和第四个定位标记33之间,则主导眼的等级取与圆球32更靠近的一个定位标记33对应的主导眼的等级;若圆球32与第三个和第四个定位标记33之间的距离相等,则主导眼的等级任取与第三个或第四个定位标记33对应的主导眼的等级即可。
接下来,可以执行S104a-S104b或者S104′,以便VR设备1能够获取用户的主导眼的眼球图像。
S104a、参考图6A,终端2根据确定的用户的主导眼,向VR设备1发送控制指令;相应的,VR设备1接收该控制指令。
在终端2根据步骤S103确定用户的主导眼后,终端2可通过通信器件23向VR设备1发送控制指令,该控制指令用于控制VR设备1获取主导眼的眼球图像。示例的,控制指令可以包含主导眼信息。
S104b、VR设备1根据控制指令获取用户的主导眼的眼球图像。
在VR设备1的处理器16通过通信器件13获取到控制指令后,可以根据主导眼信息控制与主导眼对应的摄像头14开启,从而获取主导眼的眼球图像。例如,若主导眼信息用于表示左眼或右眼作为主导眼,则VR设备1仅开启与主导眼信息相应的一个摄像头14即可。若主导眼信息用于表示左眼和/或右眼作为主导眼,则在主导眼信息表示左眼(或右眼)为主导眼的情况下,VR设备1可以开启左眼(或右眼)对应的一个摄像头14,在主导眼信息表示双眼均为主导眼的情况下,VR设备1根据可以开启其中一个摄像头14,也可以将两个摄像头14均开启。
S104′、参考图6B,VR设备1根据步骤S103′确定出的结果获取用户的主导眼的眼球图像。
示例的,VR设备1上的开关或2位拨码开关可以通过处理器16与主导眼对应的摄像头14相连,处理器16可根据得到的主导眼信息控制主导眼对应的摄像头14处于开启状态,其中主导眼信息和开启的摄像头14的对应关系可以参考S104b中的描述,从而处理器16通过开启的摄像头14获取用户的主导眼的眼球图像。
S105、VR设备1获取用户的主导眼观看的屏幕上的注视点位置。
注视是指将眼睛的中央窝对准某一物体的时间超过一定时间,该一定时间例如为100毫秒,在此期间被注视的物体成像在中央窝上,获得更充分的加工而形成清晰的像。注视点(Fixation)是指眼睛在观看物体的过程中,视线对准的物体上的某一点,这里的物体可以是屏幕。
VR设备1可以使用眼动(Eyetracking)追踪技术获取用户的主导眼的眼球图像。眼动追踪技术也称眼球追踪技术,是一种通过采集人眼的眼球图像,来分析出眼球的运动信息,并基于该眼球的运动信息确定出人眼当前观看的屏幕上的注视点位置的技术。
VR设备1中的摄像头14例如为瞳孔摄像头,瞳孔摄像头采集人眼的眼球图像是通过将近红外光导向眼睛的瞳孔,在瞳孔和角膜中引起可检测到的反射光来实现的。可检测到的反射光与角膜和瞳孔之间会形成一种矢量,该矢量由瞳孔摄像头进行跟踪和拍摄,这是角膜反射的光学跟踪,称为瞳孔-角膜反射(Pupil-CR)。通过连续记录人眼的角膜反射,再利用图像处理技术,可以得到眼球运动的完整图像,再经数据处理后,可以实现跟踪视线的目的,从而可以确定出在某一时刻,人眼的注视点位置。在开启一个摄像头14获取一只眼睛(左眼或右眼)的眼球图像的情况下,此步骤中可以得到这只眼睛的注视点位置,即一个注视点位置;在开启两个摄像头14获取两只眼睛的眼球图像的情况下,此步骤中可以得到两只眼睛的注视点位置,即两个注视点位置。
注视点位置可以是注视点坐标。例如,参考图8,以左眼屏幕DL或右眼屏幕DR的左上角作为坐标原点,以像素的行方向和列方向分别作为x轴和y轴建立直角坐标系,以确定在该直角坐标系下的注视点坐标(注视点位置120′)。
S106、VR设备1将注视点位置120′发送给终端2;相应的,终端2接收到该注视点位置120′。
VR设备1中的处理器16在获得注视点位置120′后,可以通过通信器件13将注视点位置120′发送给终端2,相应的,终端2中的通信器件23可以接收到VR设备1发送的注视点位置120′。
S107、终端2根据注视点位置120′确定左眼屏幕DL的注视区域和右眼屏幕DR的注视区域,并根据左眼屏幕DL的注视区域和右眼屏幕DR的注视区域渲染待显示的左眼图像和待显示的右眼图像。
终端2根据注视点位置120′,确定左眼屏幕DL的注视区域120和右眼屏幕DR的注视区域120,包括:终端2根据一个注视点位置120′,确定左眼屏幕DL的注视区域120和右眼屏幕DR的注视区域120;终端2根据两个注视点位置120′,分别确定左眼屏幕DL的注视区域120和右眼屏幕DR的注视区域120。
在一些实施例中,在终端2确定左眼屏幕DL的注视区域120和右眼屏幕DR的注视区域120的过程中,虽然终端2接收到的注视点位置120′可能是一个,但是由于左眼屏幕DL上的注视点位置120′和右眼屏幕DR上的注视点位置120′具有对应关系,因此,可以根据一个注视点位置120′确定出两个屏幕的注视区域120。
示例的,左眼屏幕DL和右眼屏幕DR的尺寸相同(即包含的像素行数和列数均相同),且均以各自左上角为原点建立直角坐标系,在这种情况下,若终端2仅接收到左眼屏幕DL上的注视点坐标(i,j),该注视点坐标(i,j)这一数据同样可以表示右眼屏幕DR上的注视点坐标。因此,可以将以该左眼屏幕DL上的注视点坐标(i,j)为中心、大小为M1×N1(M1行像素×N1列像素)的区域确定为左眼屏幕DL的注视区域120,可以将以该右眼屏幕DR上的注视点坐标(i,j)为中心、大小为M2×N2(M2行像素×N2列像素)的区域确定为右眼屏幕DR的注视区域120。M1和M2可以相同,也可以不同;N1和N2可以相同,也可以不同。
又示例的,若上述的M1=M2,N1=N2,则用于表示左眼屏幕DL的注视区域120的数据也同样可以表示右眼屏幕DR的注视区域120。也就是说,相同的数据既可以表示左眼屏幕DL的注视区域120,又可以表示右眼屏幕DR的注视区域120。此时,终端2获取到一个主导眼的注视点位置120′后,可以得到用于表示注视区域120的数据,根据用于表示注视区域120的数据既对待显示的左眼图像进行渲染,又对右眼图像进行渲染即可。
或者,在另一些实施例中,终端2获取到两个注视点位置120′,说明用户的双眼均为主导眼,因此终端2可以根据左眼屏幕DL上的注视点位置120′确定左眼屏幕DL的注视区域120,根据右眼屏幕DR上的注视点位置120′确定右眼屏幕DR的注视区域120。其中,注视点位置120′与注视区域120的关系可以参考上述实施例。
或者,在又一些实施例中,终端2获取到两个注视点位置120′,说明用户的双眼均为主导眼,所以终端2根据其中任一个注视点位置120′确定左眼屏幕DL的注视区域120和右眼屏幕DR的注视区域120即可。其中,注视点位置120′与注视区域120的关系可以参考上述实施例。
需要说明的是,虽然由于人的左眼和右眼分别位于空间中的不同位置,从而使得双眼观看物体的视角不同,导致同一物体在不同眼球视野中的位置有所差异。因此,即便在左眼屏幕DL和右眼屏幕DR尺寸相同且均采用左上角为坐标原点建立直角坐标系的情况下,用户在观看画面时,事实上,左眼的注视点位置120′和右眼的注视点位置120′也可能对应不同的坐标。但是,由于本公开的实施例使用的是主导眼的注视点位置120′确定注视区域120,因此该注视点位置120′和注视区域120一定是能够满足主导眼的需求,而用于表示主导眼的注视点位置120′的坐标即使不能表示非主导眼的注视点位置120′,由于非主导眼在双眼观看时的影响作用没有主导眼的影响大,且双眼的注视视线的角度一般差异不大,因此根据主导眼的注视点位置120′和注视区域120推断非主导眼的注视点位置120′和注视区域120是可行的,并不会影响用户最终观看图像时的视觉清晰度。
上述注视区域120的确定,是为了对左眼图像和右眼图像进行分区域渲染。具体的,左眼图像中的第一部分为左眼图像中待显示在左眼屏幕DL的注视区域120的部分,左眼图像中的第二部分为左眼图像中除第一部分以外的部分,即待显示在左眼屏幕DL的非注视区域的部分。右眼图像中的第一部分为右眼图像中待显示在右眼屏幕DR的注视区域120的部分,右眼图像中的第二部分为右眼图像中除第一部分以外的部分,即待显示在右眼屏幕DR的非注视区域的部分。下面,分别对左眼图像中的不同部分以及右眼图像中的不同部分进行渲染。
终端2根据左眼屏幕DL的注视区域120和右眼屏幕DR的注视区域120渲染左眼图像和右眼图像包括:终端2对待显示的左眼图像中的第一部分以第一分辨率进行渲染,对左眼图像中的第二部分以第二分辨率进行渲染,第一分辨率大于第二分辨率;因此,渲染后的左眼图像中第一部分为高分辨率区域,第二部分为低分辨率区域。对待显示的右眼图像中的第一部分以第三分辨率进行渲染,对右眼图像中的第二部分以第四分辨率进行渲染,第三分辨率大于第四分辨率;因此,渲染后的右眼图像中第一部分为高分辨率区域,第二部分为低分辨率区域。
其中,待显示在用户的主导眼观看的屏幕的注视区域120的图像部分的分辨率,大于或等于待显示在所述左眼屏幕DL和所述右眼屏幕DR中其它区域的图像部分的分辨率。
示例的,若终端2得到是左眼的注视点位置120′,则意味着用户的左眼是主导眼,此时,在对左眼图像和右眼图像进行渲染后,左眼图像中的第一部分的分辨率大于或等于右眼图像中的第一部分的分辨率,左眼图像中的第一部分的分辨率大于左眼图像中的第二部分的分辨率、且大于右眼图像中的第二部分的分辨率。
示例的,若终端2得到是右眼的注视点位置120′,则意味着用户的右眼是主导眼,此时,在对左眼图像和右眼图像进行渲染后,右眼图像中的第一部分的分辨率大于或等于左眼图像中的第一部分的分辨率,右眼图像中的第一部分的分辨率大于右眼图像中的第二部分的分辨率、且大于左眼图像中的第二部分的分辨率。
又示例的,若终端2得到是左眼的注视点位置120′和右眼的注视点位置120′,则意味着用户的左眼和右眼均是主导眼,此时,在对左眼图像和右眼图像进行渲染后,左眼图像中的第一部分的分辨率大于左眼图像中的第二部分的分辨率、且大于右眼图像中的第二部分的分辨率,右眼图像中的第一部分的分辨率大于右眼图像中的第二部分的分辨率、且大于左眼图像中的第二部分的分辨率。左眼图像中的第一部分的分辨率和右眼图像中的第一部分的分辨率可以相同也可以不同。
在一些实施例中,主导眼为用户的左眼(即终端2得到左眼的注视点位置120′),则第三分辨率大于第二分辨率且小于第一分辨率,和/或,第四分辨率小于第二分辨率。
用户的左眼为主导眼,则右眼为非主导眼,因此各个分辨率(第一分辨率至第四分辨)之间的关系包括以下:
第三分辨率大于第二分辨率且小于第一分辨率,第四分辨率小于第二分辨率。
右眼图像中第一部分的分辨率和第二部分的分辨率均小于左眼图像中对应的第一部分的分辨率和第二部分的分辨率,从而可以最大程度的降低终端2在渲染待显示的右眼图像时的渲染压力。
第三分辨率大于第二分辨率且小于第一分辨率,第四分辨率等于第二分辨率。由于第三分辨率小于第一分辨率,因此也可以降低终端2在渲染待显示的右眼图像时的渲染压力。
第三分辨率等于第一分辨率,第四分辨率小于第二分辨率。由于第四分辨率小于第二分辨率,因此也可以降低终端2在渲染待显示的右眼图像时的渲染压力。
在用户的左眼为主导眼,右眼为非主导眼的情况下,合理设置右眼图像中的第三分辨率和第四分辨率的大小,使得左眼看到的左眼图像的清晰度高于右眼看到的右眼图像的清晰度。终端2对左眼图像和右眼图像按照上述的分辨率渲染后,一方面,可以保证双眼观看到的图像的清晰度;另一方面,降低非主导眼对应图像的分辨率后,可以降低终端2渲染图像的压力,以及降低非主导眼对应图像所占用的内存空间,降低传输左眼图像和右眼图像时的传输带宽,从而提高终端2的刷新频率。
在另一些实施例中,主导眼为用户的右眼(即终端2得到右眼的注视点位置120′),则第一分辨率大于第四分辨率且小于第三分辨率,和/或,第二分辨率小于第四分辨率。
用户的右眼为主导眼,则左眼为非主导眼,因此各个分辨率(第一分辨率至第四分辨)之间的关系包括以下:
第一分辨率大于第四分辨率且小于第三分辨率,第二分辨率小于第四分辨率。
第一分辨率大于第四分辨率且小于第三分辨率,第二分辨率等于第四分辨率。
第一分辨率等于第三分辨率,第二分辨率小于第四分辨率。
用户的右眼为主导眼,左眼为非主导眼时,具有和用户的左眼为主导眼,右眼为非主导眼时,相似的处理过程以及相同的有益效果,因此不再赘述。在一些实施例中,主导眼为用户的左眼和右眼(即终端2得到左眼的注视点位置120′和右眼的注视点位置120′),即,用户的双眼均为主导眼。此时,第三分辨率等于第一分辨率,第四分辨率等于第二分辨率,即,终端2对左眼图像的第一部分和右眼图像的第一部分进行相同的分辨率渲染,对左眼图像的第二部分和右眼图像的第二部分进行相同的分辨率渲染,从而保证用户双眼观看时的清晰度。
需要说明的是,视力正常的人不存在没有主导眼的情况。
终端2对注视区域120渲染的技术例如可以采用英伟达公司(Nvida)提供的多分辨率着色(Multi-ResShading,MRS)技术和透镜匹配着色(LMS)技术,获取到清晰度变换的渲染图像。在该清晰度变换的渲染图像中,位于注视区域120的部分图像的清晰度相对于位于非注视区域的部分图像的清晰度较高,而注视区域120为高清区时,图像画质细腻;位于非注视区域的部分图像的清晰度相对于位于注视区域120的部分图像的清晰度较低,因此非注视区域的画面细腻程度相对于注视区域120的有所降低,但人眼一般聚焦在注视区域120,所以即使非注视区域的图像清晰度较低,也不会影响人眼最终观看的清晰度,因此,渲染后的图像一方面符合人眼聚焦的特点,符合人眼的观察习惯;另一方面,对位于非注视区域的部分图像进行低分辨率渲染可以降低终端2的渲染压力。
需要说明的是,第一分辨率、第二分辨率、第三分辨率和第四分辨率与图像的清晰度相对应,分辨率越高,图像的清晰度越高,画质越细腻。
需要说明的是,终端2先对左眼图像进行渲染或者先对右眼图像进行渲染,亦或是同时进行,并不影响上述图像处理方法的实施。
在一些实施例中,可以根据主导眼的等级,降低非主导眼中第一部分和第二部分对应的分辨率。
参考表一,示例的,若主导眼的等级为0.9,则与非主导眼对应的待显示图像的分辨率可以降低为与主导眼对应的待显示图像的分辨率的0.9倍;若主导眼的等级为0.8,则与非主导眼对应的待显示图像的分辨率可以降低为与主导眼对应的待显示图像的分辨率的0.8倍,依次类推,随着主导眼等级的变化,与非主导眼对应的待显示图像的分辨率可以降低为与主导眼对应的待显示图像的分辨率的0.7倍、0.6倍等。
在一些实施例中,主导眼为用户的左眼,则根据主导眼的等级降低第一分辨率,得到第三分辨率;和/或根据主导眼的等级降低第二分辨率,得到第四分辨率。
示例的,左眼为主导眼,右眼为非主导眼,主导眼的等级为0.9,则第三分辨率等于第一分辨率的0.9倍,和/或,第四分辨率等于第二分辨率的0.9倍。
在另一些实施例中,主导眼为用户的右眼,则根据主导眼的等级降低第三分辨率,得到第一分辨率;和/或根据主导眼的等级降低第四分辨率,得到第二分辨率。
示例的,右眼为主导眼,左眼为非主导眼,主导眼的等级为0.8,则第一分辨率等于第三分辨率的0.8倍,和/或第二分辨率等于第四分辨率的0.8倍。
根据主导眼的等级降低与非主导眼对应的待显示图像渲染时的分辨率,有利于进一步降低终端2的渲染压力,以及终端2向VR设备1传输渲染后的左眼图像和右眼图像时的传输带宽。
S108、终端2将渲染后的左眼图像和右眼图像发送给VR设备1,相应的,VR设备1接收渲染后的左眼图像和右眼图像。
该处渲染后的左眼图像和右眼图像应当理解为渲染后的左眼图像和渲染后的右眼图像。
S109、VR设备1中的左眼屏幕DL显示渲染后的左眼图像,右眼屏幕DR显示渲染后的右眼图像。
渲染后的左眼图像中的第一部分的分辨率为第一分辨率,第二部分的分辨率为第二分辨率,第一分辨率大于第二分辨率,因此左眼图像中的第一部分的清晰度相对于其第二部分的清晰度较高,画质更细腻。渲染后的右眼图像中的第一部分的分辨率为第三分辨率,第二部分的分辨率为第四分辨率,第三分辨率大于第四分辨率,因此,右眼图像中的第一部分的清晰度相对于其第二部分的清晰度较高,画质更细腻。用户在观看时,左眼主要聚焦在左眼图像的第一部分,右眼主要聚焦在右眼图像的第一部分,而左眼图像的第一部分的分辨率和右眼图像的第一部分的分辨率均是较高的,因此双眼看到的图像的视觉清晰度也是较高的。
在VR设备1的左眼屏幕DL和右眼屏幕DR所显示的图像如图3A和图3B所示时,用户双眼观看到的VR设备1显示的图像例如为图9所示。
由于本公开的实施例根据主导眼的注视点位置120′渲染图像,因此能够保证主导眼的视觉清晰度,确保用户双眼的视觉清晰度不会下降,从而保证图像的观看效果较好,提高用户体验度,提高图像处理方法对不同用户的适应性。
本公开的实施例还提供一种VR系统,参考图10,该VR系统包括:VR设备1和终端2,二者可以通过有线通信方式或无线通信方式相连接。其中,VR设备1可以是可穿戴VR设备1,示例的可以是VR头戴设备(Head Mounted Display,HMD),例如VR头盔、VR眼镜等。终端2可以是计算机设备、笔记本电脑、PAD(Personal Digital Assistant,个人数字助理)、手机等。
参考图11,VR设备1可以包括镜头11、至少一个通信器件13、两个摄像头14、至少一个存储器15、至少一个处理器16和支架114。支架114与VR设备1例如为一体式结构,该支架114用于承载终端2。
接下来,参考图5B,终端2可以包括:至少一个存储器21、至少一个处理器22、通信器件23和显示屏12′。左眼屏幕DL和右眼屏幕DR可以是一个显示屏12′中位置不重叠的两个部分。
参考图5C,终端2还可以包括输入/输出设备24,例如键盘、鼠标等。
在终端2为手机中的智能手机和PAD时,终端2还可以安装在VR设备1的支架114上。
对以上介绍的VR系统中的一些部件的解释,可以参照上文中对该些部件的解释。
结合以上介绍的VR系统,参考图12A和图12B,本公开的一些实施例提供了一种图像处理方法,可以包括以下步骤:
在一些实施例中,可以先执行S201,以便用户能够获知自身的主导眼。
S201、终端2显示主导眼测试图像。
终端2将主导眼测试图像显示在其显示屏12′上,用户通过VR眼镜观看显示在终端2上的主导眼测试图像,从而以使得用户可以确定自己的主导眼,而用户确定主导眼的过程可以参考S102,因此不再赘述。
在另一些实施例中,用户自己可通过其他方式已知自己的主导眼是哪只眼睛,例如可以由专门的检测机构检测并将检测结果告知用户。
在用户获知自身的主导眼之后,可以执行S202或S202′,使得终端2或VR设备1确定用户的主导眼。
S202、参考图12A,终端2确定用户的主导眼,即终端2获取用户的主导眼信息。
在一些实施例中,终端2上显示人机交互界面,用户可以根据人机交互界面的提示,通过终端2的具有触控功能的显示屏12′、或者终端2的输入/输出设备24等向终端2输入主导眼信息,从而使终端2获取到用户的主导眼信息,该过程可以参考S103,因此不再赘述。
S202′、参考图12B,VR设备1确定用户的主导眼,即VR设备1获取用户的主导眼信息。VR设备1获取用户的主导眼信息的过程与S103′中描述的相同,因此不再赘述。
此外,在S202和S202′中的主导眼信息中还可以包含主导眼的等级。
接下来可以执行S203a-S203b或者S203′,以便VR设备1能够获取用户的主导眼的眼球图像。
S203a、参考图12A,终端2根据确定的用户的主导眼,向VR设备1发送控制指令;相应的,VR设备1接收该控制指令。
终端2可通过通信器件23向VR设备1发送控制指令,该控制指令用于控制VR设备1获取主导眼的眼球图像。示例的,控制指令可以包含主导眼信息。
S203b、VR设备1根据控制指令获取用户的主导眼的眼球图像。该过程与S104b中描述的相同,因此不再赘述。
S203′、参考图12B,VR设备1根据S202′确定出的结果,获取用户的主导眼的眼球图像。
VR设备1获取用户的主导眼的眼球图像的过程与S104′中描述的相同,因此不再赘述。
S204、VR设备1获取用户的主导眼观看的屏幕上的注视点位置120′。该过程与S105中描述的相同,因此不再赘述。
VR设备1获取注视点位置120′的过程与前文相同,因此不再赘述。
S205、VR设备1将注视点位置120′发送给终端2;相应的,终端2接收到该注视点位置120′。VR设备1将注视点位置120′发送给终端2的过程与S106中的过程相同,因此不再赘述。
S206、终端2根据注视点位置120′确定左眼屏幕DL的注视区域120和右眼屏幕DR的注视区域120,并根据左眼屏幕DL的注视区域120和右眼屏幕DR的注视区域120渲染待显示的左眼图像和待显示的右眼图像。
终端2渲染待显示的左眼图像和右眼图像的过程与S107中的相同,因此不再赘述。
S207、终端2的左眼屏幕DL显示渲染后的左眼图像,右眼屏幕DR上显示渲染后的右眼图像。
终端2显示渲染后的左眼图像和右眼图像的过程可以参考VR设备1显示渲染后的左眼图像和右眼图像的过程,即可以参考S109。
在终端2的左眼屏幕DL和右眼屏幕DR所显示的图像如图3A和图3B所示时,用户双眼通过VR设备1观看到终端2中显示屏12′上所显示的画面例如如图9所示。
通过将终端2安装在VR设备1上,利用终端2上的显示屏12′显示图像,可以降低VR设备1的生产成本,同时上述的VR系统中的终端2根据主导眼的注视点位置120′渲染后的图像能够保证主导眼的视觉清晰度,因此,通过本公开中的图像处理方法处理过的图像,可以保证主导眼观看图像的清晰度,确保用户双眼的视觉清晰度不会下降,从而保证图像的观看效果较好,提高用户体验度,提高图像处理方法对不同用户的适应性。
本公开还提供一种显示系统,可以包括镜头11、显示装置12、至少一个通信器件13、两个摄像头14、至少一个存储器15和至少一个处理器16。参考图2,该显示系统例如可以为VR设备1。在一些实施例中,该VR设备1还可以包括音频装置17和麦克风18。
结合以上介绍的显示系统,下面以显示系统为VR设备1时为例,阐述该显示系统中图像处理的方法。
参考图13,本公开的一些实施例还提供一种图像处理方法,可以包括以下步骤:
S301、VR设备1确定用户的主导眼。
在VR设备1确定用户的主导眼之前,需要用户先确定其主导眼,用户确定其主导眼的过程例如包括以下:
在一些实施例中,VR设备1通过在其显示装置12中的左眼屏幕DL和右眼屏幕DR上显示主导眼测试图像,以供用户观看,从而使得用户确定其主导眼,用户根据主导眼测试图像确定其主导眼的过程,与S102相同,因此不再赘述。
在另一些实施例中,用户自己可通过其他方式已知自己的主导眼是哪只眼睛,例如可以由专门的检测机构检测并将检测结果告知用户。
在用户确定自己的主导眼之后,需要使VR设备1确定用户的主导眼。示例的,用户可以通过显示装置12上的人机交互界面将主导眼信息输入VR设备1中,用户与VR设备1进行人机交互的过程可以参考S103,因此不再赘述。
在另一些实施例中,VR设备1确定用户的主导眼的过程可以参考S103′。
S302、VR设备1获取用户的主导眼的眼球图像。
VR设备1获取眼球图像的过程可以参考S104b或S104′中的描述,因此不再赘述。
S303、VR设备1获取用户的主导眼观看的屏幕上的注视点位置120′。
VR设备1根据眼球图像计算出用户的主导眼观看的屏幕上的注视点位置120′的过程与S105相同,因此不再赘述。
S304、VR设备1根据注视点位置120′,确定左眼屏幕DL的注视区域120和右眼屏幕DR的注视区域120,并根据左眼屏幕DL的注视区域120渲染待显示的左眼图像,根据右眼屏幕DR的注视区域120渲染待显示的右眼图像。
VR设备1根据左眼屏幕DL的注视区域120渲染待显示的左眼图像,根据右眼屏幕DR的注视区域120渲染待显示的右眼图像包括:VR设备1对待显示的左眼图像中的第一部分以第一分辨率进行渲染,对左眼图像中的第二部分以第二分辨率进行渲染,左眼图像中的第一部分为左眼图像中待显示在左眼屏幕DL的注视区域120的部分,左眼图像中的第二部分为左眼图像中除第一部分以外的部分,第一分辨率大于第二分辨率。对待显示的右眼图像中的第一部分以第三分辨率进行渲染,对右眼图像中的第二部分以第四分辨率进行渲染,右眼图像中的第一部分为右眼图像中待显示在右眼屏幕DR的注视区域120的部分,右眼图像中的第二部分为右眼图像中除第一部分以外的部分,第三分辨率大于第四分辨率。
VR设备1对待显示的左眼图像和右眼图像的渲染过程可以参考S107中终端2对待显示的左眼图像和右眼图像的渲染过程。
S305、VR设备1在左眼屏幕DL上显示渲染后的左眼图像,在右眼屏幕DR上显示渲染后的右眼图像。该过程与S109相同,因此不再赘述。
上述VR设备1能够不仅能够确定用户的主导眼,还可以对待显示的左眼图像和右眼图像进行渲染,以及显示渲染后的左眼图像和右眼图像,因此,该VR设备1的集成度较高,体积较小,且便于携带。
参考图2,本公开的实施例还提供一种VR设备1,包括:与用户的左眼和右眼一一对应的两个摄像头14,摄像头14被配置为获取与摄像头14对应的眼睛的眼球图像;和至少一个处理器16,被配置为控制与用户的主导眼对应的摄像头14工作,并根据摄像头14获取的眼球图像,计算主导眼观看的屏幕上的注视点位置120′;其中,主导眼为用户的左眼和右眼中的至少一个。
该VR设备1包括两个摄像头14,能够确保采集到用户主导眼的眼球图像。
参考图2,在一些实施例中,VR设备1还包括:通信器件13,被配置为向终端2发送注视点位置120′,注视点位置120′用于确定左眼屏幕DL的注视区域120和右眼屏幕DR的注视区域120。
在一些实施例中,通信器件13除向终端2发送注视点位置120′外,还可以向终端2发送左眼屏幕DL的注视区域120和右眼屏幕DR的注视区域120。
通信器件13用于实现VR设备1与终端2之间的交互,而终端2可以承担图像(包括待显示的左眼图像和待显示的右眼图像)渲染的工作,因此可以降低VR设备1的生产成本。
参考图2,在一些实施例中,VR设备1还包括显示装置12,显示装置12包括左眼屏幕DL和右眼屏幕DR,VR设备1中的至少一个处理器16还被配置为控制左眼屏幕DL显示左眼图像,右眼屏幕DR显示右眼图像。且VR设备1中的通信器件13,还被配置为接收终端2发送的待显示在左眼屏幕DL的左眼图像和待显示在右眼屏幕DR的右眼图像。其中,左眼图像包括第一部分和第二部分,左眼图像的第一部分的分辨率为第一分辨率,左眼图像的第一部分用于在左眼屏幕DL的注视区域120显示,左眼图像的第二部分的分辨率为第二分辨率,左眼图像的第二部分为左眼图像中除第一部分以外的部分,且第一分辨率大于第二分辨率。右眼图像包括第一部分和第二部分,右眼图像的第一部分的分辨率为第三分辨率,右眼图像的第一部分用于在右眼屏幕DR的注视区域120显示,右眼图像的第二部分的分辨率为第四分辨率,右眼图像的第二部分为右眼图像中除第一部分以外的部分;且第三分辨率大于第四分辨率。
终端2在对待显示的左眼图像和待显示的右眼图像进行渲染后,可以将其发送至VR设备1进行显示,由于VR设备1中左眼屏幕DL和右眼屏幕DR的分辨率可以设计的较高,因此渲染后的左眼图像和右眼图像在VR设备1上进行显示时,可以获得更高清的显示效果。
参考图2,在另一些实施例中,VR设备1包括显示装置12,显示装置12包括左眼屏幕DL和右眼屏幕DR。
VR设备1中的至少一个处理器16被配置为,根据用户的主导眼观看的屏幕上的注视点位置120′,确定左眼屏幕DL的注视区域120和右眼屏幕DR的注视区域120;对待显示的左眼图像中的第一部分以第一分辨率进行渲染,对左眼图像中的第二部分以第二分辨率进行渲染,左眼图像中的第一部分为左眼图像中待显示在左眼屏幕DL的注视区域120的部分,左眼图像中的第二部分为左眼图像中除第一部分以外的部分,且第一分辨率大于第二分辨率。对待显示的右眼图像中的第一部分以第三分辨率进行渲染,对右眼图像中的第二部分以第四分辨率进行渲染,右眼图像中的第一部分为右眼图像中待显示在右眼屏幕DR的注视区域120的部分,右眼图像中的第二部分为右眼图像中除第一部分以外的部分;且第三分辨率大于第四分辨率。至少一个处理器16还被配置为,控制左眼屏幕DL显示渲染后的左眼图像,右眼屏幕DR显示渲染后的右眼图像。其中,待显示在用户的主导眼观看的屏幕的注视区域120的图像部分的分辨率,大于待显示在左眼屏幕DL和右眼屏幕DR中其它区域的图像部分的分辨率。
VR设备1不仅可以对待显示的左眼图像和右眼图像进行渲染,还可以显示渲染后的左眼图像和右眼图像,因此VR设备1的集成度较高,便于使用和携带。
在一些实施例中,VR设备1中的至少一个处理器16被配置为根据终端2发送的控制指令,获取用户的主导眼的眼球图像。在另一些实施例中,VR设备1中的至少一个处理器16被配置为确定用户的主导眼,并根据确定出的结果获取用户的主导眼的眼球图像。
在一些实施例中,VR设备1中的至少一个处理器16还被配置为控制左眼屏幕DL和右眼屏幕DR显示主导眼测试图像。
参考图3A和图3B,在一些实施例中,VR设备1中的左眼屏幕DL和右眼屏幕DR分别为一个显示屏12′中位置不重叠的两个部分;或者,左眼屏幕DL和右眼屏幕DR分别为两个显示屏12′。
上述图像处理方法的实施例涉及的各步骤的所有相关内容均可以援引到上述VR设备1中的各个器件的描述,因此不再赘述。
在一些实施例中,可以根据上述图像处理方法的实施例对上述VR设备1等进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下,如图14所示,本公开的一些实施例还提供了一种VR设备1。VR设备1包括:眼球图像获取单元19和至少一个处理单元110。其中,眼球图像获取单元19被配置为获取用户的主导眼的眼球图像;主导眼为用户的左眼和右眼中的至少一个;处理单元110被配置为根据眼球图像计算出用户的主导眼观看的屏幕上的注视点位置120′。在另一些实施例中,处理单元110还被配置为根据注视点位置120′,确定左眼屏幕DL的注视区域120和右眼屏幕DR的注视区域120,并根据左眼屏幕DL的注视区域120渲染待显示的左眼图像,根据右眼屏幕DR的注视区域120渲染待显示的右眼图像。
在一些实施例中,VR设备1还包括:通信单元111,该通信单元111被配置为向终端2发送注视点位置120′,注视点位置120′用于确定左眼屏幕DL的注视区域120和右眼屏幕DR的注视区域120。
在另一些实施例中,VR设备1还包括:接收单元112和显示单元113。其中,接收单元112被配置为接收待显示在左眼屏幕DL的左眼图像和待显示在右眼屏幕DR的右眼图像;显示单元113被配置为在左眼屏幕DL上显示左眼图像,在右眼屏幕DR上显示右眼图像。在另一些实施例中,接收单元112还被配置为接收终端2发送的控制指令,根据控制指令获取用户的主导眼的眼球图像。
上述图像处理方法的实施例涉及的各步骤的所有相关内容均可以援引到上述功能模块的功能描述,在此不再赘述。
参考图5A~图5C,本公开的实施例还提供一种终端2,包括:存储器21,被配置为存储计算机程序。
至少一个处理器22,被配置为当终端2运行时,执行存储器21存储的计算机程序,以使终端2执行如图6A、图6B、图12A和图12B所示的图像处理方法。
参考图5B,在一些实施例中,终端2还包括显示屏12′,显示屏12′包括左眼屏幕DL和右眼屏幕DR。
终端2中的至少一个处理器22还被配置为控制左眼屏幕DL显示渲染后的左眼图像,并控制右眼屏幕DR显示渲染后的右眼图像。
在该种结构中,终端2例如可以安装在VR设备1中的支架114上。
在另一些实施例中,终端2还包括:通信器件23,被配置为将渲染后的左眼图像和渲染后的右眼图像发送至VR设备1,用于供VR设备1进行显示。此时,该通信器件23可以被称为第一通信器件。
在该种结构中,VR设备1中的显示装置12用于显示渲染后的左眼图像和渲染后的右眼图像。
在一些实施例中,终端2中的至少一个处理器22还被配置为确定用户的主导眼。在该种结构中,终端2例如可以通过人机交互确定用户的主导眼。
在另一些实施例中,终端2中的通信器件23还被配置为根据确定的用户的主导眼,向VR设备1发送控制指令,控制指令用于控制VR设备1获取主导眼的眼球图像,眼球图像用于确定注视点位置120′。此时该通信器件23可以被称为第二通信器件。
在一些实施例中,第一通信器件和第二通信器件可以为一个通信器件23。在另一些实施例中,第二通信器件和第二通信器件可以为两个相同或者不同的通信器件23。
在一些实施例中,终端2中的至少一个处理器22还被配置为分别控制左眼屏幕DL和右眼屏幕DR显示主导眼测试图像。
在另一些实施例中,终端2中的第一通信器件还配置为将主导眼测试图像发送至VR设备1,用于供VR设备1进行显示。
主导眼测试图像用于确定用户的主导眼,在终端2和/或VR设备1包括左眼屏幕DL和右眼屏幕DR时,可通过显示主导眼测试图像帮助用户确定其主导眼,方便快捷。
在一些实施例中,可以根据上述图像处理方法的实施例对上述终端2等进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下,如图15所示,本公开的一些实施例还提供了一种终端2。终端2包括:存储单元25和至少一个处理单元26。其中,存储单元25被配置为存储计算机程序;至少一个处理单元26被配置为当终端2运行时,执行存储器存储的计算机程序,以使终端2可以执行上述的图像处理方法。在另一些实施例中,至少一个处理单元26还被配置为控制左眼屏幕DL显示渲染后的左眼图像,并控制右眼屏幕DR显示渲染后的右眼图像。在另一些实施例中,至少一个处理单元26还被配置为为确定用户的主导眼。在另一些实施例中,至少一个处理单元26还被配置为分别控制左眼屏幕DL和右眼屏幕DR显示主导眼测试图像。
在另一些实施例中,终端2还包括显示单元27,显示单元27包括左眼屏幕DL和右眼屏幕DR。
在另一些实施例中,终端2还包括通信单元28,该通信单元28例如为第一通信单元,该第一通信单元被配置为将渲染后的左眼图像和渲染后的右眼图像发送至VR设备1,用于供VR设备1进行显示。在另一些实施例中,第一通信单元还配置为将主导眼测试图像发送至VR设备1,用于供VR设备1进行显示。
在另一些实施例中,通信单元28还可以为第二通信单元,该第二通信单元被配置为根据确定的用户的主导眼,向VR设备1发送控制指令,控制指令用于控制VR设备1获取主导眼的眼球图像,眼球图像用于确定注视点位置120′。
上述图像处理方法的实施例涉及的各步骤的所有相关内容均可以援引到上述功能模块的功能描述,在此不再赘述。
参考图16,本公开的实施例还提供一种显示系统5,包括:至少一个处理器50、显示装置51和两个摄像头52。其中显示装置51包括左眼屏幕和右眼屏幕。
在一些实施例中,该显示系统5例如可以为VR设备1,显示系统5中的至少一个处理器50可以理解为VR设备1中的至少一个处理器16,因此,对该显示系统5中各部件的解释,可以参照上述对VR设备1中各部件的解释。
在另一些实施例中,显示系统5例如可以为VR设备1和终端2的组合,其中,此时对该显示系统5的解释,均可以援引上述对VR设备1和终端2的解释。
本公开的实施例还提供这一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,当计算机程序在终端2上运行时,使得终端2执行如图6A、图6B、图12A和图12B所示的图像处理方法。
该计算机可读存储介质与上述的对应的图像处理方法具有相同的有益效果,因此不再赘述。
在一些实施例中,计算机可读存储介质中存储有计算机程序,当计算机程序在VR设备1上运行时,使得VR设备1执行如图6A、图6B、图12A、图12B和图13所示的图像处理方法。该计算机程序具有与对应的图像处理方法相同的有益效果,因此不再赘述。
在一些实施例中,计算机可读存储介质中存储有计算机程序,当计算机程序在显示系统5上运行时,使得显示系统5执行如图13所示的图像处理方法。该计算程序具有与对应的图像处理方法相同的有益效果,因此不再赘述。
本公开的一些实施例提供了一种计算机可读存储介质(例如,非暂态计算机可读存储介质),该计算机可读存储介质中存储有计算机程序指令,计算机程序指令在处理器上运行时,使得处理器执行如上述实施例中任一实施例所述的XX方法中的一个或多个步骤。
示例性的,上述计算机可读存储介质可以包括,但不限于:磁存储器件(例如,硬盘、软盘或磁带等),光盘(例如,CD(Compact Disk,压缩盘)、DVD(Digital VersatileDisk,数字通用盘)等),智能卡和闪存器件(例如,EPROM(Erasable Programmable Read-Only Memory,可擦写可编程只读存储器)、卡、棒或钥匙驱动器等)。本公开描述的各种计算机可读存储介质可代表用于存储信息的一个或多个设备和/或其它机器可读存储介质。术语“机器可读存储介质”可包括但不限于,无线信道和能够存储、包含和/或承载指令和/或数据的各种其它介质。
以上所述,仅为本公开的具体实施方式,但本公开的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,想到变化或替换,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应以所述权利要求的保护范围为准。

Claims (18)

1.一种图像处理方法,包括:
获取用户的主导眼观看的屏幕上的注视点位置;所述主导眼为所述用户的左眼和右眼中的至少一个;
根据所述注视点位置,确定左眼屏幕的注视区域和右眼屏幕的注视区域;
对待显示的左眼图像中的第一部分以第一分辨率进行渲染,对所述左眼图像中的第二部分以第二分辨率进行渲染,所述左眼图像中的第一部分为所述左眼图像中待显示在所述左眼屏幕的注视区域的部分,所述左眼图像中的第二部分为所述左眼图像中除所述第一部分以外的部分,所述第一分辨率大于所述第二分辨率;
对待显示的右眼图像中的第一部分以第三分辨率进行渲染,对所述右眼图像中的第二部分以第四分辨率进行渲染,所述右眼图像中的第一部分为所述右眼图像中待显示在所述右眼屏幕的注视区域的部分,所述右眼图像中的第二部分为所述右眼图像中除所述第一部分以外的部分,所述第三分辨率大于所述第四分辨率;其中,
待显示在所述用户的主导眼观看的屏幕的注视区域的图像部分的分辨率,大于待显示在所述左眼屏幕和所述右眼屏幕中其它区域的图像部分的分辨率;其中,
在所述主导眼为所述用户的左眼的情况下,所述第三分辨率大于所述第二分辨率且小于所述第一分辨率,且所述第四分辨率小于所述第二分辨率;所述图像处理方法还包括:根据所述主导眼的等级降低所述第一分辨率,得到所述第三分辨率;根据所述主导眼的等级降低所述第二分辨率,得到所述第四分辨率;所述主导眼的等级根据用户在观看主导眼的测试图像时的测试结果确定;
或者,
在所述主导眼为所述用户的右眼的情况下,所述第一分辨率大于所述第四分辨率且小于所述第三分辨率,且所述第二分辨率小于所述第四分辨率;所述图像处理方法还包括:根据所述主导眼的等级降低所述第三分辨率,得到所述第一分辨率;根据所述主导眼的等级降低所述第四分辨率,得到所述第二分辨率。
2.根据权利要求1所述的图像处理方法,其中,将渲染后的所述左眼图像显示在所述左眼屏幕上,将渲染后的所述右眼图像显示在所述右眼屏幕;
或者,
将渲染后的所述左眼图像和渲染后的所述右眼图像发送至VR设备,用于供所述VR设备进行显示。
3.根据权利要求1所述的图像处理方法,还包括:
确定所述用户的主导眼;
根据所确定的用户的主导眼,向VR设备发送控制指令,以控制VR设备获取所述主导眼的眼球图像,所述眼球图像用于确定所述注视点位置。
4.根据权利要求1所述的图像处理方法,还包括:
分别在所述左眼屏幕和所述右眼屏幕上显示主导眼测试图像;
或者,
将主导眼测试图像发送至VR设备,用于供所述VR设备进行显示。
5.一种图像处理方法,包括:
获取用户的主导眼的眼球图像;所述主导眼为所述用户的左眼和右眼中的至少一个;以及,
根据所述眼球图像计算出所述用户的主导眼观看的屏幕上的注视点位置;
所述图像处理方法还包括:
向终端发送所述注视点位置,所述注视点位置用于确定左眼屏幕的注视区域和右眼屏幕的注视区域;以及,
接收待显示在所述左眼屏幕的左眼图像和待显示在所述右眼屏幕的右眼图像;其中,所述左眼图像包括第一部分和第二部分,所述左眼图像的第一部分的分辨率为第一分辨率,所述左眼图像的第一部分用于在所述左眼屏幕的注视区域显示,所述左眼图像的第二部分的分辨率为第二分辨率,所述左眼图像的第二部分为所述左眼图像中除所述第一部分以外的部分;所述第一分辨率大于所述第二分辨率;所述右眼图像包括第一部分和第二部分,所述右眼图像的第一部分的分辨率为第三分辨率,所述右眼图像的第一部分用于在所述右眼屏幕的注视区域显示,所述右眼图像的第二部分的分辨率为第四分辨率,所述右眼图像的第二部分为所述右眼图像中除所述第一部分以外的部分;所述第三分辨率大于所述第四分辨率;其中,
在所述主导眼为所述用户的左眼的情况下,所述第三分辨率大于所述第二分辨率且小于所述第一分辨率,且所述第四分辨率小于所述第二分辨率;所述第三分辨率由所述第一分辨率根据所述主导眼的等级降低后得到;所述第四分辨率由所述第二分辨率根据所述主导眼的等级降低后得到;
在所述主导眼为所述用户的右眼的情况下,所述第一分辨率大于所述第四分辨率且小于所述第三分辨率,且所述第二分辨率小于所述第四分辨率;所述第一分辨率由所述第三分辨率根据所述主导眼的等级降低后得到;所述第二分辨率由所述第四分辨率根据所述主导眼的等级降低后得到;
或者,
所述图像处理方法还包括:
根据所述注视点位置,确定左眼屏幕的注视区域和右眼屏幕的注视区域;
对待显示的左眼图像中的第一部分以第一分辨率进行渲染,对所述左眼图像中的第二部分以第二分辨率进行渲染,所述左眼图像中的第一部分为所述左眼图像中待显示在所述左眼屏幕的注视区域的部分,所述左眼图像中的第二部分为所述左眼图像中除所述第一部分以外的部分,所述第一分辨率大于所述第二分辨率;以及,
对待显示的右眼图像中的第一部分以第三分辨率进行渲染,对所述右眼图像中的第二部分以第四分辨率进行渲染,所述右眼图像中的第一部分为所述右眼图像中待显示在所述右眼屏幕的注视区域的部分,所述右眼图像中的第二部分为所述右眼图像中除所述第一部分以外的部分,所述第三分辨率大于所述第四分辨率;其中,
在所述主导眼为所述用户的左眼的情况下,所述第三分辨率大于所述第二分辨率且小于所述第一分辨率,且所述第四分辨率小于所述第二分辨率;所述图像处理方法还包括:根据所述主导眼的等级降低所述第一分辨率,得到所述第三分辨率;根据所述主导眼的等级降低所述第二分辨率,得到所述第四分辨率;或者,
在所述主导眼为所述用户的右眼的情况下,所述第一分辨率大于所述第四分辨率且小于所述第三分辨率,且所述第二分辨率小于所述第四分辨率;所述图像处理方法还包括:根据所述主导眼的等级降低所述第三分辨率,得到所述第一分辨率;根据所述主导眼的等级降低所述第四分辨率,得到所述第二分辨率。
6.根据权利要求5所述的图像处理方法,其中,
在所述左眼屏幕上显示所述左眼图像,在所述右眼屏幕上显示所述右眼图像。
7.根据权利要求5所述的图像处理方法,其中,获取用户的主导眼的眼球图像,包括:
接收终端发送的控制指令,根据所述控制指令获取所述用户的主导眼的眼球图像;
或者,
确定用户的主导眼,并根据确定出的结果获取所述用户的主导眼的眼球图像。
8.根据权利要求6所述的图像处理方法,其中,还包括:分别在所述左眼屏幕和所述右眼屏幕上显示主导眼测试图像。
9.一种图像处理方法,包括:
确定用户的主导眼;所述主导眼为所述用户的左眼和右眼中的至少一个;
获取用户的主导眼的眼球图像;
获取用户的主导眼观看的屏幕上的注视点位置;
根据注视点位置,确定左眼屏幕的注视区域和右眼屏幕的注视区域;
对待显示的左眼图像中的第一部分以第一分辨率进行渲染,对所述左眼图像中的第二部分以第二分辨率进行渲染,所述左眼图像中的第一部分为所述左眼图像中待显示在所述左眼屏幕的注视区域的部分,所述左眼图像中的第二部分为所述左眼图像中除所述第一部分以外的部分,所述第一分辨率大于所述第二分辨率;
对待显示的右眼图像中的第一部分以第三分辨率进行渲染,对所述右眼图像中的第二部分以第四分辨率进行渲染,所述右眼图像中的第一部分为所述右眼图像中待显示在所述右眼屏幕的注视区域的部分,所述右眼图像中的第二部分为所述右眼图像中除所述第一部分以外的部分,所述第三分辨率大于所述第四分辨率;其中,待显示在所述用户的主导眼观看的屏幕的注视区域的图像部分的分辨率,大于待显示在所述左眼屏幕和所述右眼屏幕中其它区域的图像部分的分辨率;以及,
将渲染后的所述左眼图像显示在所述左眼屏幕上,将渲染后的所述右眼图像显示在所述右眼屏幕上;其中,
在所述主导眼为所述用户的左眼的情况下,所述第三分辨率大于所述第二分辨率且小于所述第一分辨率,且所述第四分辨率小于所述第二分辨率;所述图像处理方法还包括:根据所述主导眼的等级降低所述第一分辨率,得到所述第三分辨率;根据所述主导眼的等级降低所述第二分辨率,得到所述第四分辨率;
或者,
在所述主导眼为所述用户的右眼的情况下,所述第一分辨率大于所述第四分辨率且小于所述第三分辨率,且所述第二分辨率小于所述第四分辨率;所述图像处理方法还包括:根据所述主导眼的等级降低所述第三分辨率,得到所述第一分辨率;根据所述主导眼的等级降低所述第四分辨率,得到所述第二分辨率。
10.根据权利要求9所述的图像处理方法,还包括:
分别在所述左眼屏幕和所述右眼屏幕上显示主导眼测试图像。
11.一种VR设备,包括:
与用户的左眼和右眼一一对应的两个摄像头,所述摄像头被配置为获取与所述摄像头对应的眼睛的眼球图像;
左眼屏幕和右眼屏幕;
至少一个处理器,被配置为控制与用户的主导眼对应的摄像头工作,并根据所述摄像头获取的眼球图像,计算所述主导眼观看的屏幕上的注视点位置;其中,所述主导眼为所述用户的左眼和右眼中的至少一个;所述至少一个处理器还被配置为:根据用户的主导眼观看的屏幕上的注视点位置,确定左眼屏幕的注视区域和右眼屏幕的注视区域;对待显示的左眼图像中的第一部分以第一分辨率进行渲染,对所述左眼图像中的第二部分以第二分辨率进行渲染,所述左眼图像中的第一部分为所述左眼图像中待显示在所述左眼屏幕的注视区域的部分,所述左眼图像中的第二部分为所述左眼图像中除所述第一部分以外的部分,且所述第一分辨率大于所述第二分辨率;对待显示的右眼图像中的第一部分以第三分辨率进行渲染,对所述右眼图像中的第二部分以第四分辨率进行渲染,所述右眼图像中的第一部分为所述右眼图像中待显示在所述右眼屏幕的注视区域的部分,所述右眼图像中的第二部分为所述右眼图像中除所述第一部分以外的部分;且所述第三分辨率大于所述第四分辨率;其中,待显示在所述用户的主导眼观看的屏幕的注视区域的图像部分的分辨率,大于待显示在所述左眼屏幕和所述右眼屏幕中其它区域的图像部分的分辨率;以及,
通信器件,被配置为向终端发送所述注视点位置,所述注视点位置用于确定左眼屏幕的注视区域和右眼屏幕的注视区域;其中,
在所述主导眼为所述用户的左眼的情况下,所述第三分辨率大于所述第二分辨率且小于所述第一分辨率,且所述第四分辨率小于所述第二分辨率;所述第三分辨率由所述第一分辨率根据所述主导眼的等级降低后得到;所述第四分辨率由所述第二分辨率根据所述主导眼的等级降低后得到;
或者,
在所述主导眼为所述用户的右眼的情况下,所述第一分辨率大于所述第四分辨率且小于所述第三分辨率,且所述第二分辨率小于所述第四分辨率;所述第一分辨率由所述第三分辨率根据所述主导眼的等级降低后得到;所述第二分辨率由所述第四分辨率根据所述主导眼的等级降低后得到。
12.根据权利要求11所述的VR设备,其中,
所述至少一个处理器还被配置为,控制左眼屏幕显示渲染后的所述左眼图像,所述右眼屏幕显示渲染后的所述右眼图像。
13.一种终端,包括:
存储器,被配置为存储计算机程序;
至少一个处理器,被配置为当所述终端运行时,执行所述存储器存储的所述计算机程序,以使所述终端执行如权利要求1~4中任一项所述的图像处理方法。
14.根据权利要求13所述的终端,其中,所述终端还包括:
左眼屏幕和右眼屏幕;
所述至少一个处理器还被配置为控制所述左眼屏幕显示渲染后的左眼图像,并控制所述右眼屏幕显示渲染后的右眼图像;
或者,所述终端还包括:
第一通信器件,被配置为将渲染后的所述左眼图像和渲染后的所述右眼图像发送至VR设备,用于供所述VR设备进行显示。
15.根据权利要求13所述的终端,其中,所述至少一个处理器还被配置为确定所述用户的主导眼;
所述终端还包括:
第二通信器件,被配置为根据确定的所述用户的主导眼,向VR设备发送控制指令,所述控制指令用于控制VR设备获取所述主导眼的眼球图像,所述眼球图像用于确定所述注视点位置。
16.一种显示系统,包括:
与用户的左眼和右眼一一对应的两个摄像头,所述摄像头被配置为获取与所述摄像头对应的眼睛的眼球图像;
左眼屏幕和右眼屏幕;
至少一个处理器,被配置为控制与用户的主导眼对应的摄像头工作,并根据所述摄像头获取的眼球图像,计算所述主导眼观看的屏幕上的注视点位置,其中,所述主导眼为所述用户的左眼和右眼中的至少一个;还被配置为根据用户的主导眼观看的屏幕上的注视点位置,确定左眼屏幕的注视区域和右眼屏幕的注视区域,并根据左眼屏幕的注视区域渲染待显示的左眼图像,根据右眼屏幕的注视区域渲染待显示的右眼图像;以及,控制左眼屏幕显示渲染后的所述左眼图像,所述右眼屏幕显示渲染后的所述右眼图像;
其中,根据左眼屏幕的注视区域渲染待显示的左眼图像,根据右眼屏幕的注视区域渲染待显示的右眼图像包括:
对待显示的左眼图像中的第一部分以第一分辨率进行渲染,对所述左眼图像中的第二部分以第二分辨率进行渲染,所述左眼图像中的第一部分为所述左眼图像中待显示在所述左眼屏幕的注视区域的部分,所述左眼图像中的第二部分为所述左眼图像中除所述第一部分以外的部分,且所述第一分辨率大于所述第二分辨率;
对待显示的右眼图像中的第一部分以第三分辨率进行渲染,对所述右眼图像中的第二部分以第四分辨率进行渲染,所述右眼图像中的第一部分为所述右眼图像中待显示在所述右眼屏幕的注视区域的部分,所述右眼图像中的第二部分为所述右眼图像中除所述第一部分以外的部分;且所述第三分辨率大于所述第四分辨率;其中,待显示在所述用户的主导眼观看的屏幕的注视区域的图像部分的分辨率,大于待显示在所述左眼屏幕和所述右眼屏幕中其它区域的图像部分的分辨率;
在所述主导眼为所述用户的左眼的情况下所述第三分辨率大于所述第二分辨率且小于所述第一分辨率,且所述第四分辨率小于所述第二分辨率;所述至少一个处理器还配置为:根据所述主导眼的等级降低所述第一分辨率,得到所述第三分辨率;根据所述主导眼的等级降低所述第二分辨率,得到所述第四分辨率;
或者,
在所述主导眼为所述用户的右眼的情况下,所述第一分辨率大于所述第四分辨率且小于所述第三分辨率,且所述第二分辨率小于所述第四分辨率;所述至少一个处理器还配置为:根据所述主导眼的等级降低所述第三分辨率,得到所述第一分辨率;根据所述主导眼的等级降低所述第四分辨率,得到所述第二分辨率。
17.根据权利要求16所述的显示系统,所述至少一个处理器还被配置为控制所述左眼屏幕和所述右眼屏幕显示主导眼测试图像。
18.一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序;
当所述计算机程序在终端上运行时,使得所述终端执行如权利要求1~4中任一项所述的图像处理方法;
或者,当所述计算机程序在VR设备上运行时,使得所述VR设备执行如权利要求5~8中任一项所述的图像处理方法;
或者,当所述计算机程序在显示系统上运行时,使得所述显示系统执行如权利要求9~10中任一项所述的图像处理方法。
CN202010432109.8A 2020-05-20 2020-05-20 图像处理方法、vr设备、终端、显示系统和计算机可读存储介质 Active CN111556305B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010432109.8A CN111556305B (zh) 2020-05-20 2020-05-20 图像处理方法、vr设备、终端、显示系统和计算机可读存储介质
PCT/CN2021/086797 WO2021233016A1 (zh) 2020-05-20 2021-04-13 图像处理方法、vr设备、终端、显示系统和计算机可读存储介质
US17/782,385 US11838494B2 (en) 2020-05-20 2021-04-13 Image processing method, VR device, terminal, display system, and non-transitory computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010432109.8A CN111556305B (zh) 2020-05-20 2020-05-20 图像处理方法、vr设备、终端、显示系统和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111556305A CN111556305A (zh) 2020-08-18
CN111556305B true CN111556305B (zh) 2022-04-15

Family

ID=72005005

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010432109.8A Active CN111556305B (zh) 2020-05-20 2020-05-20 图像处理方法、vr设备、终端、显示系统和计算机可读存储介质

Country Status (3)

Country Link
US (1) US11838494B2 (zh)
CN (1) CN111556305B (zh)
WO (1) WO2021233016A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111556305B (zh) * 2020-05-20 2022-04-15 京东方科技集团股份有限公司 图像处理方法、vr设备、终端、显示系统和计算机可读存储介质
CN114531904B (zh) * 2020-09-09 2025-01-21 京东方科技集团股份有限公司 Ar/vr图像显示方法、ar/vr图像显示设备和计算机程序产品
CN112235561B (zh) * 2020-10-16 2022-07-22 深圳市时代华影科技股份有限公司 Led显示屏、显示方法及装置、计算机可读存储介质
CN114578940B (zh) * 2020-11-30 2025-01-03 华为技术有限公司 一种控制方法、装置和电子设备
CN113177434A (zh) * 2021-03-30 2021-07-27 青岛小鸟看看科技有限公司 基于单眼球追踪的虚拟现实系统注视渲染方法、系统
CN113485546B (zh) * 2021-06-29 2025-01-14 歌尔股份有限公司 可穿戴设备的控制方法、可穿戴设备及可读存储介质
CN114418857A (zh) * 2022-01-25 2022-04-29 Oppo广东移动通信有限公司 图像显示方法、装置、头戴显示设备及存储介质
WO2024022086A1 (zh) * 2022-07-29 2024-02-01 京东方科技集团股份有限公司 基于三维显示的视频通信方法及系统
CN118764604B (zh) * 2024-09-06 2024-12-17 武汉精立电子技术有限公司 Ned设备的双目显示调节、fov一致性补偿方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102124749A (zh) * 2009-06-01 2011-07-13 松下电器产业株式会社 立体图像显示装置
CN108665521A (zh) * 2018-05-16 2018-10-16 京东方科技集团股份有限公司 图像渲染方法、装置、系统、计算机可读存储介质及设备
CN109766011A (zh) * 2019-01-16 2019-05-17 北京七鑫易维信息技术有限公司 一种图像渲染方法和装置
CN110347265A (zh) * 2019-07-22 2019-10-18 北京七鑫易维科技有限公司 渲染图像的方法及装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0999518A4 (en) * 1998-05-19 2005-07-27 Sony Computer Entertainment Inc IMAGE PROCESSING DEVICE AND METHOD, AND ASSOCIATED MEDIUM
JP2011077679A (ja) * 2009-09-29 2011-04-14 Fujifilm Corp 立体画像表示装置
FR2972339B1 (fr) 2011-03-11 2013-04-19 Essilor Int Procede de determination de l'oeil directeur
US20130050183A1 (en) * 2011-08-25 2013-02-28 Himax Technologies Limited System and Method of Rendering Stereoscopic Images
FR2989482B1 (fr) * 2012-04-12 2022-12-23 Marc Massonneau Procede de determination de la direction du regard d'un utilisateur.
JP2014027351A (ja) 2012-07-24 2014-02-06 Canon Inc 画像処理装置、画像処理方法及びプログラム
US9041645B2 (en) * 2013-02-15 2015-05-26 International Business Machines Corporation Transparent display field of view region determination
WO2014178477A1 (ko) * 2013-04-30 2014-11-06 인텔렉추얼디스커버리 주식회사 헤드 마운트 디스플레이 및 이를 이용한 콘텐츠 제공 방법
KR20150020918A (ko) * 2013-08-19 2015-02-27 엘지전자 주식회사 디스플레이 장치 및 그것의 제어 방법
WO2015162781A1 (ja) * 2014-04-25 2015-10-29 三菱電機株式会社 自動調整装置、自動調整システムおよび自動調整方法
JP2016191845A (ja) * 2015-03-31 2016-11-10 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP6646361B2 (ja) 2015-04-27 2020-02-14 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
US10229540B2 (en) * 2015-12-22 2019-03-12 Google Llc Adjusting video rendering rate of virtual reality content and processing of a stereoscopic image
US9940858B2 (en) * 2016-05-16 2018-04-10 Unity IPR ApS System and method for assymetric rendering to eyes in augmented reality and virtual reality devices
US10379611B2 (en) 2016-09-16 2019-08-13 Intel Corporation Virtual reality/augmented reality apparatus and method
CN108604385A (zh) * 2016-11-08 2018-09-28 华为技术有限公司 一种应用界面显示方法及装置
JP6870080B2 (ja) * 2017-05-18 2021-05-12 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、画像表示システム、および画像生成方法
KR102461253B1 (ko) * 2017-07-24 2022-10-31 삼성전자주식회사 시선 추적기를 구비하는 투사형 디스플레이 장치
CN107516335A (zh) 2017-08-14 2017-12-26 歌尔股份有限公司 虚拟现实的图形渲染方法和装置
CN207704137U (zh) * 2017-12-12 2018-08-07 南京药育智能科技有限公司 防纱窗效应的智能型vr头显装置
CN107831594A (zh) * 2017-12-12 2018-03-23 南京药育智能科技有限公司 防纱窗效应的智能型vr头显装置
CN111556305B (zh) 2020-05-20 2022-04-15 京东方科技集团股份有限公司 图像处理方法、vr设备、终端、显示系统和计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102124749A (zh) * 2009-06-01 2011-07-13 松下电器产业株式会社 立体图像显示装置
CN108665521A (zh) * 2018-05-16 2018-10-16 京东方科技集团股份有限公司 图像渲染方法、装置、系统、计算机可读存储介质及设备
CN109766011A (zh) * 2019-01-16 2019-05-17 北京七鑫易维信息技术有限公司 一种图像渲染方法和装置
CN110347265A (zh) * 2019-07-22 2019-10-18 北京七鑫易维科技有限公司 渲染图像的方法及装置

Also Published As

Publication number Publication date
US20230023903A1 (en) 2023-01-26
US11838494B2 (en) 2023-12-05
CN111556305A (zh) 2020-08-18
WO2021233016A1 (zh) 2021-11-25

Similar Documents

Publication Publication Date Title
CN111556305B (zh) 图像处理方法、vr设备、终端、显示系统和计算机可读存储介质
US10019831B2 (en) Integrating real world conditions into virtual imagery
US10999412B2 (en) Sharing mediated reality content
US20170344112A1 (en) Gaze detection device
US9911214B2 (en) Display control method and display control apparatus
US20200341284A1 (en) Information processing apparatus, information processing method, and recording medium
US11244496B2 (en) Information processing device and information processing method
US11294535B2 (en) Virtual reality VR interface generation method and apparatus
WO2015149554A1 (en) Display control method and display control apparatus
CN107105333A (zh) 一种基于视线追踪技术的vr视频直播交互方法与装置
US11557106B2 (en) Method and system for testing wearable device
US20190272028A1 (en) High-speed staggered binocular eye tracking systems
CN109901290B (zh) 注视区域的确定方法、装置及可穿戴设备
US10735620B2 (en) Image display system, image display method, and image display program
KR20200138349A (ko) 화상 처리 방법 및 장치, 전자 디바이스, 및 저장 매체
US10488949B2 (en) Visual-field information collection method and system for executing the visual-field information collection method
CN114255204A (zh) 弱视训练方法、装置、设备及存储介质
US20250008077A1 (en) Display method and electronic device
WO2020044916A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN106708249B (zh) 交互方法、交互装置及用户设备
CN106851240A (zh) 图像数据处理的方法及装置
US20180027230A1 (en) Adjusting Parallax Through the Use of Eye Movements
US11125997B2 (en) Information processing apparatus, information processing method, and program
US10083675B2 (en) Display control method and display control apparatus
CN114581514B (zh) 一种双眼注视点的确定方法和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant