CN109901710B - 媒体文件的处理方法和装置、存储介质及终端 - Google Patents
媒体文件的处理方法和装置、存储介质及终端 Download PDFInfo
- Publication number
- CN109901710B CN109901710B CN201910055011.2A CN201910055011A CN109901710B CN 109901710 B CN109901710 B CN 109901710B CN 201910055011 A CN201910055011 A CN 201910055011A CN 109901710 B CN109901710 B CN 109901710B
- Authority
- CN
- China
- Prior art keywords
- display area
- display
- depth
- field
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种媒体文件的处理方法和装置、存储介质及终端。其中,该方法包括:确定展示区域中每个像素点的景深;检测展示设备的使用者在媒体文件的展示界面中注视的第一展示区域,其中,媒体文件在虚拟现实场景中展示,展示设备用于提供虚拟现实场景;将第一展示区域中所有的像素点的景深的平均值作为第一展示区域的景深,或者将第一展示区域中的像素点的景深的最大值作为第一展示区域的景深,或者将第一展示区域中像素点的景深的最小值作为第一展示区域的景深,或者将第一展示区域中的像素点的加权平均值作为第一展示区域的景深;基于第一展示区域的景深对展示界面中的展示区域的清晰度进行调整。本发明解决了视觉辐辏调节冲突的技术问题。
Description
技术领域
本发明涉及虚拟现实控制领域,具体而言,涉及一种媒体文件的处理方法和装置、存储介质及终端。
背景技术
人类视觉系统在观看不同远近物体的时候会进行辐辏调节(看近处物体时,双眼通常向内看;看远处物体时视轴会发散些)和焦点调节(调节晶状体,将光线聚焦到视网膜上)。现实生活中,人类视觉系统观看物体时,辐辏调节和焦点调节同时发生,人类已经习惯于这种方式。
在虚拟现实系统中,人类看到的景物都是由显示屏显示出来的。但是屏幕发出的光线并没有深度信息,眼睛的焦点就定在屏幕上,因而眼睛的焦点调节与这种景物的纵深感是不匹配的,从而产生视觉辐辏调节冲突。
发明内容
本发明实施例提供了一种媒体文件的处理方法和装置、存储介质及终端,以至少解决视觉辐辏调节冲突的技术问题。
根据本发明实施例的一个方面,提供了一种媒体文件的处理方法,该方法包括:确定展示区域中每个像素点的景深;检测展示设备的使用者在媒体文件的展示界面中注视的第一展示区域,其中,所述媒体文件在虚拟现实场景中展示,所述展示设备用于提供所述虚拟现实场景;将所述第一展示区域中所有的像素点的景深的平均值作为所述第一展示区域的景深,或者将所述第一展示区域中的像素点的景深的最大值作为所述第一展示区域的景深,或者将所述第一展示区域中像素点的景深的最小值作为所述第一展示区域的景深,或者将所述第一展示区域中的像素点的加权平均值作为所述第一展示区域的景深;基于所述第一展示区域的景深对所述展示界面中的展示区域的清晰度进行调整,其中,调整后的第一展示区域的清晰度高于调整后的第二展示区域的清晰度,所述第二展示区域为所述展示界面中除所述第一展示区域之外的全部或部分区域。
作为一种可选的示例,基于所述第一展示区域的景深对所述展示界面中的展示区域的清晰度进行调整包括:将所述媒体文件的展示界面中,与所述第一展示区域具有不同景深的显示区域确定为所述第二展示区域;将所述展示界面中的第二展示区域的清晰度设置为低于所述第一展示区域的清晰度。
作为一种可选的示例,将所述展示界面中的第二展示区域的清晰度设置为低于所述第一展示区域的清晰度包括:获取所述第二展示区域中各个子展示区域的景深;确定所述第二展示区域中各个子展示区域的景深与所述第一展示区域的景深之间的深度差;按照所述深度差,设置不同子展示区域的清晰度,其中,所述子展示区域对应的所述深度差越大,设置的所述子展示区域的清晰度越低。
作为一种可选的示例,将所述展示界面中的第二展示区域的清晰度设置为低于所述第一展示区域的清晰度包括:逐渐降低以所述第一展示区域为中心、沿预定辐射路径上的第二展示区域中子展示区域的清晰度,其中,所述预定辐射路径为远离所述第一展示区域的辐射路径。
作为一种可选的示例,检测所述使用者在所述媒体文件的所述展示界面中注视的第一展示区域包括:检测所述使用者在所述媒体文件的展示界面中的注视点;获取所述注视点对应所述媒体文件的展示界面中的视野范围,将所述视野范围确定为所述第一展示区域。
作为一种可选的示例,基于所述第一展示区域的景深对所述展示界面中的展示区域的清晰度进行调整包括:基于所述第一展示区域的景深调整所述展示界面中的展示区域的展示分辨率。
作为一种可选的示例,所述媒体文件包括静态文件。
作为一种可选的示例,所述确定展示区域中每个像素点的景深包括:确定展示设备的使用者利用所述展示设备观看媒体文件的视差;利用所述视差计算所述媒体文件的各个展示区域中每个展示区域中的每个像素点的景深。
根据本发明实施例的另一个方面,还提供了一种媒体文件的处理方法,该方法包括:检测展示设备的使用者在媒体文件的展示界面中注视的第一展示区域,其中,所述媒体文件在虚拟现实场景中展示,所述展示设备用于提供所述虚拟现实场景;获取所述第一展示区域在所述媒体文件的所述展示界面中的景深;获取所述媒体文件的展示界面中,与所述第一展示区域具有相同景深的第三展示区域;将所述第三展示区域中,与所述第一展示区域之间的距离超出预定距离的子展示区域的清晰度设置为低于所述第一展示区域的清晰度,其中,所述子展示区域距离所述第一展示区域越远,所述子展示区域中的展示块的清晰度越低。
作为一种可选的示例,所述获取所述媒体文件的展示界面中,与所述第一展示区域具有相同景深的第三展示区域之前,还包括:将所述媒体文件的展示界面中,与所述第一展示区域具有不同景深的显示区域确定为第二展示区域;将所述展示界面中的第二展示区域的清晰度设置为低于所述第一展示区域的清晰度。
作为一种可选的示例,将所述展示界面中的第二展示区域的清晰度设置为低于所述第一展示区域的清晰度包括:获取所述第二展示区域中各个子展示区域的景深;确定所述第二展示区域中各个子展示区域的景深与所述第一展示区域的景深之间的深度差;按照所述深度差,设置不同子展示区域的清晰度,其中,所述子展示区域对应的所述深度差越大,设置的所述子展示区域的清晰度越低。
作为一种可选的示例,将所述展示界面中的第二展示区域的清晰度设置为低于所述第一展示区域的清晰度包括:逐渐降低以所述第一展示区域为中心、沿预定辐射路径上的第二展示区域中子展示区域的清晰度,其中,所述预定辐射路径为远离所述第一展示区域的辐射路径。
作为一种可选的示例,检测展示设备的使用者在媒体文件的展示界面中注视的第一展示区域包括:检测所述使用者在所述媒体文件的展示界面中的注视点;获取所述注视点对应所述媒体文件的展示界面中的视野范围,将所述视野范围确定为所述第一展示区域。
作为一种可选的示例,基于所述景深对所述展示界面中的展示区域的清晰度进行调整包括:基于所述景深调整所述展示界面中的展示区域的展示分辨率。
作为一种可选的示例,所述媒体文件包括静态文件。
根据本发明实施例的又一方面,还提供了一种媒体文件的处理装置,该装置包括:第一确定单元,用于确定展示区域中每个像素点的景深;检测单元,用于检测展示设备的使用者在媒体文件的展示界面中注视的第一展示区域,其中,所述媒体文件在虚拟现实场景中展示,所述展示设备用于提供所述虚拟现实场景;第二确定单元,用于将所述第一展示区域中所有的像素点的景深的平均值作为所述第一展示区域的景深,或者将所述第一展示区域中的像素点的景深的最大值作为所述第一展示区域的景深,或者将所述第一展示区域中像素点的景深的最小值作为所述第一展示区域的景深,或者将所述第一展示区域中的像素点的加权平均值作为所述第一展示区域的景深;调整单元,用于基于所述第一展示区域的景深对所述展示界面中的展示区域的清晰度进行调整,其中,调整后的第一展示区域的清晰度高于调整后的第二展示区域的清晰度,所述第二展示区域为所述展示界面中除所述第一展示区域之外的全部或部分区域。
作为一种可选的示例,所述调整单元包括:第一确定模块,用于将所述媒体文件的展示界面中,与所述第一展示区域具有不同景深的显示区域确定为所述第二展示区域;设置模块,用于将所述展示界面中的第二展示区域的清晰度设置为低于所述第一展示区域的清晰度。
作为一种可选的示例,所述设置模块包括:获取子模块,用于获取所述第二展示区域中各个子展示区域的景深;确定子模块,用于确定所述第二展示区域中各个子展示区域的景深与所述第一展示区域的景深之间的深度差;第一设置子模块,用于按照所述深度差,设置不同子展示区域的清晰度,其中,所述子展示区域对应的所述深度差越大,设置的所述子展示区域的清晰度越低。
作为一种可选的示例,所述设置模块包括:第二设置子模块,用于逐渐降低以所述第一展示区域为中心、沿预定辐射路径上的第二展示区域中子展示区域的清晰度,其中,所述预定辐射路径为远离所述第一展示区域的辐射路径。
作为一种可选的示例,所述检测单元包括:检测模块,用于检测所述使用者在所述媒体文件的展示界面中的注视点;获取模块,用于获取所述注视点对应所述媒体文件的展示界面中的视野范围,将所述视野范围确定为所述第一展示区域。
作为一种可选的示例,所述调整单元包括:调整模块,用于基于所述第一展示区域的景深调整所述展示界面中的展示区域的展示分辨率。
作为一种可选的示例,所述调整单元包括:调整模块,用于基于所述第一展示区域的景深调整所述展示界面中的展示区域的展示分辨率。
作为一种可选的示例,所述媒体文件包括静态文件。
作为一种可选的示例,所述第一确定单元包括:第二确定模块,用于确定展示设备的使用者利用所述展示设备观看媒体文件的视差;计算模块,用于利用所述视差计算所述媒体文件的各个展示区域中每个展示区域中的每个像素点的景深。
根据本发明实施例的又一方面,还提供了一种媒体文件的处理装置,该装置包括:检测单元,用于检测展示设备的使用者在媒体文件的展示界面中注视的第一展示区域,其中,所述媒体文件在虚拟现实场景中展示,所述展示设备用于提供所述虚拟现实场景;第一获取单元,用于获取所述第一展示区域在所述媒体文件的所述展示界面中的景深;第二获取单元,用于获取所述媒体文件的展示界面中,与所述第一展示区域具有相同景深的第三展示区域;第一设置单元,用于将所述第三展示区域中,与所述第一展示区域之间的距离超出预定距离的子展示区域的清晰度设置为低于所述第一展示区域的清晰度,其中,所述子展示区域距离所述第一展示区域越远,所述子展示区域中的展示块的清晰度越低。
作为一种可选的示例,所述装置还包括:确定单元,用于在所述获取所述媒体文件的展示界面中,与所述第一展示区域具有相同景深的第三展示区域之前,将所述媒体文件的展示界面中,与所述第一展示区域具有不同景深的显示区域确定为第二展示区域;第二设置单元,用于将所述展示界面中的第二展示区域的清晰度设置为低于所述第一展示区域的清晰度。
作为一种可选的示例,所述第二设置单元包括:第一获取模块,用于获取所述第二展示区域中各个子展示区域的景深;确定模块,用于确定所述第二展示区域中各个子展示区域的景深与所述第一展示区域的景深之间的深度差;第一设置模块,用于按照所述深度差,设置不同子展示区域的清晰度,其中,所述子展示区域对应的所述深度差越大,设置的所述子展示区域的清晰度越低。
作为一种可选的示例,所述第二设置单元包括:第二设置模块,用于逐渐降低以所述第一展示区域为中心、沿预定辐射路径上的第二展示区域中子展示区域的清晰度,其中,所述预定辐射路径为远离所述第一展示区域的辐射路径。
作为一种可选的示例,所述检测单元包括:检测模块,用于检测所述使用者在所述媒体文件的展示界面中的注视点;第二获取模块,用于获取所述注视点对应所述媒体文件的展示界面中的视野范围,将所述视野范围确定为所述第一展示区域。
作为一种可选的示例,所述装置还包括:调整单元,用于基于所述景深调整所述展示界面中的展示区域的展示分辨率。
作为一种可选的示例,所述媒体文件包括静态文件。
根据本发明实施例的又一方面,还提供了一种存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述媒体文件的处理方法。
根据本发明实施例的又一发面,还提供了一种终端,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,上述处理器通过计算机程序执行上述媒体文件的处理方法。
在本发明实施例中,在检测到展示设备的使用者所注视的第一展示区域后,根据第一展示区域中每一个像素点的景深确定出第一展示区域的景深,进一步基于第一展示区域的景深对展示区域的清晰度进行调整,从而在使用者的视觉系统的焦点定在展示设备的屏幕上时,眼睛的焦点调节与展示界面的信息的深度信息相匹配,辐辏调节和焦点调节同时发生,消除了辐辏调节冲突,解决了视觉辐辏调节冲突的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是辐辏调节和焦点调节的原理示意图;
图2是根据本发明实施例的一种媒体文件的处理方法的硬件环境的示意图;
图3是根据本发明实施例的一种可选的媒体文件的处理方法的流程图;
图4是根据本发明实施例的一种可选的媒体文件的处理方法的界面示意图一;
图5是根据本发明实施例的一种可选的媒体文件的处理方法的界面示意图二;
图6是根据本发明实施例的一种可选的媒体文件的处理方法的界面示意图三;
图7是根据本发明实施例的一种可选的媒体文件的处理方法的界面示意图四;
图8是根据本发明实施例的一种可选的媒体文件的处理装置的示意图;以及
图9是根据本发明实施例的一种终端的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先,在对本发明实施例进行描述的过程中出现的部分名词或者术语适用于如下解释:
GPU:Graphics Processing Unit,图形处理器。
VR:Virtual Reality,虚拟现实,是一种可以创建和体验虚拟世界的计算机仿真系统,该系统利用计算机生成一种模拟虚拟环境,是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真。
渲染:将内容制作成最终效果或动画的过程。
辐辏调节:嘱被检查者注视预定距离外的目标,通常是检查者的示指尖,将目标逐渐已近被检查者鼻根部,此时观察被检查者双眼内聚,称为辐辏反射。具体地,如图1所示,真实世界中辐轴调节和焦距调节一致,人类视觉系统看不同深度的景物的视觉感受是不同的,如,图1中虚线表示看到的信息模块,也即左右边缘模糊,而中间清晰;而在虚拟现实场景中,人类使用头戴式设备观看景物,辐轴调节和焦距调节不一致,人类视觉系统看不同深度的视觉感受是相同的,所有数据有相同的清晰度。图1示出的这种视觉辐辏调节冲突,是与人类日常生理规律是相违背的,会导致人类视觉系统疲劳和眩晕。
也就是说,在上述虚拟现实系统中,人类看到的景物由平面显示屏显示出来,焦点和辐辏调节不一致,会引起视觉辐辏调节冲突,导致带上虚拟现实设备后视觉疲劳、眩晕感。
针对上述视觉辐辏调节冲突的问题,本发明实施例提供了一种媒体文件的处理方法的实施例,可以解决这些问题。
上述媒体文件的处理方法可以应用于如图2所示的由服务器202和终端204所构成的硬件环境中。如图2所示,服务器202通过网络与终端204进行连接,上述网络包括但不限于:广域网、城域网或局域网,终端204并不限定于PC、手机、平板电脑等。本发明实施例的媒体文件的处理方法可以由服务器202来执行,也可以由终端204来执行,还可以是由服务器202和终端204共同执行。其中,终端104执行本发明实施例的媒体文件的处理方法也可以是由安装在其上的客户端来执行。
可选地,上述的终端可以为媒体文件的展示设备,该展示设备可以提供虚拟现实场景,媒体文件在该虚拟现实场景中展示,该展示设备可以包括虚拟现实硬件,例如,虚拟现实头显设备(头戴式显示器)、双目全方位显示器、液晶光闸眼镜、虚拟现实显示系统和智能眼镜等。
其中,虚拟现实头显设备是利用人的左右眼获取信息的差异,引导用户产生一种身在虚拟环境中的感觉的一种头戴式立体显示器。双目全方位显示器是一种偶联头部的立体显示设备。液晶光闸眼镜:由计算机分别产生左右眼的两幅图像,经过合成处理之后,采用分时交替的方式显示在对对应的屏幕上。
图3是根据本发明实施例的一种可选的媒体文件的处理方法的流程图,如图3所示,该方法可以包括以下步骤:
步骤S302,检测展示设备的使用者在媒体文件的展示界面中注视的第一展示区域,其中,媒体文件在虚拟现实场景中展示,展示设备用于提供虚拟现实场景;
可选地,在步骤S302之前,还可以确定展示区域中每一个像素点的景深,上述展示区域可以为多个,每一个展示区域对应一个或多个像素点。
步骤S304,获取第一展示区域在媒体文件的展示界面中的景深;
可选地,在步骤S304中,获取第一展示区域在媒体文件的展示界面中的景深可以为将所述第一展示区域中所有的像素点的景深的平均值作为所述第一展示区域的景深,或者将所述第一展示区域中的像素点的景深的最大值作为所述第一展示区域的景深,或者将所述第一展示区域中像素点的景深的最小值作为所述第一展示区域的景深,或者将所述第一展示区域中的像素点的加权平均值作为所述第一展示区域的景深。
步骤S306,基于景深对展示界面中的展示区域的清晰度进行调整,其中,调整后的第一展示区域的清晰度高于调整后的第二展示区域的清晰度,第二展示区域为展示界面中除第一展示区域之外的全部或部分区域。
通过上述步骤S302至步骤S306,在检测出使用者在媒体文件的展示界面中注视的第一展示区域之后,基于第一展示区域在展示界面的景深,调整媒体文件在展示区域的清晰度,使得调整后的第一展示区域的清晰度高于其他全部或部分区域的清晰度,在上述实施例中,通过用户注视的区域的景深调节媒体文件的展示界面的清晰度,使得展示界面上不同展示区域的清晰度不同,以使展示界面上展示的信息中包含景深信息,从而在使用者的视觉系统的焦点定在展示设备的屏幕上时,眼睛的焦点调节与展示界面的信息的深度信息相匹配,辐辏调节和焦点调节同时发生,消除了辐辏调节冲突,解决了视觉辐辏调节冲突的技术问题。
在上述实施例中,视觉系统观看到的文件的清晰度不同,消除了辐辏调节冲突,也即,在展示设备提供的虚拟现实场景中观看媒体文件时,焦点调节和辐辏调节同时发生,使用者不会有视觉疲劳和眩晕的感觉。
本申请实施例的展示设备可以为头戴式显示设备,在步骤S202提供的技术方案中,展示设备用于提供虚拟现实场景,用户(即展示设备的使用者)可以操作虚拟现实场景中的操作界面以启动媒体文件的播放,在启动媒体文件的播放之后,检测使用者在媒体文件的展示界面中注视的第一展示区域。可选地,可以在展示设备启动之后,启动图像采集设备,利用该图像采集设备采集展示设备的使用者的视觉系统的运动信息,利用采集到的视觉系统的运动信息确定第一展示区域,该第一展示区域中可以包括一个或多个像素点。其中,图像采集设备包括:摄像机、摄像头、镜头或其他成像器等。
上述的利用该图像采集设备采集展示设备的使用者的视觉系统的运动信息可以通过眼球跟踪来实现,采用该技术用户可以无需触摸屏幕(该屏幕可以为虚拟现实场景中的屏幕)即可操作屏幕。
当人的眼睛看向不同方向时,眼部会有细微的变化,这些变化会产生可以提取的特征,计算机可以通过图像捕捉或扫描提取这些特征,实现追踪眼睛的变化,基于眼睛的变化预测用户的状态和需求,并进行响应,达到利用眼睛控制设备的目的。
其中,眼球跟踪可以通过下述至少之一来实现:根据眼球和眼球周边的特征变化进行跟踪、根据虹膜角度变化进行跟踪、透射红外线灯光束到虹膜来提取特征。
在步骤S304提供的技术方案中,可以在检测出使用者注视的媒体文件的播放界面中的第一展示区域之后,获取第一展示区域在媒体文件的展示界面中的景深。
其中,景深是指在摄像机镜头或其他成像器前沿能够取得清晰图像的成像所测定的被摄物体前后距离范围。在聚焦完成后,在焦点前后的范围内都能形成清晰的像,这一前一后的距离范围,即为景深。在获取到图像之后,基于弥散圆可以确定图像的景深,其中,在焦点前后,光线从聚集到扩散,点的影像从圆到焦点,继而扩散到圆,这个焦点前面和后面的圆叫做弥散圆。
在上述实施例中,可以预先获取媒体文件的展示界面中各个展示区域的景深,在检测出使用者注视的媒体文件的播放界面中的第一展示区域之后,直接从已经获取到的景深中读取第一展示区域在媒体文件的展示界面中的景深;或者,在检测出使用者注视的媒体文件的播放界面中的第一展示区域之后,确定在媒体文件的展示界面中各个展示区域的景深,并获取第一展示区域的景深。
根据本发明的上述实施例,在获取第一展示区域在媒体文件的展示界面中的景深之前,可以确定使用者利用展示设备观看媒体文件的视差;利用视差计算媒体文件的展示界面中各个展示区域的景深;保存各个展示区域的景深,得到媒体文件的景深文件;获取展示区域在媒体文件中的景深包括:从景深文件中读取第一展示区域的景深。
在虚拟现实的应用场景中,人类视觉系统的左眼和右眼看到的3D文件有视差,获取左眼观看的媒体文件的展示界面中各个展示区域的景深,并且,获取右眼观看的媒体文件的展示界面中各个展示区域的景深,利用人眼左右眼在使用展示设备时的视差,计算媒体文件的展示界面中各个展示区域的景深,进一步地,可以记录每个像素点的景深。保存获取到的景深的数据,得到景深文件。在检测到第一展示区域之后,可以利用景深文件快速确定第一展示区域的景深。例如,可以将该第一展示区域中的所有像素点的景深的平均值作为第一展示区域的景深,也可以将该第一展示区域中像素点的景深的最大值,作为第一展示区域的景深,还可以将该第一展示区域中像素点的景深的最小值作为该第一展示区域的景深,还可以将该第一展示区域中的像素点的加权平均值作为该第一展示区域的景深。
在步骤S306提供的技术方案中,可以基于第一展示区域在媒体文件的展示界面中的景深,对媒体文件的展示界面中各个展示区域的清晰度进行调整,以将第一展示区域的清晰度调整为最高的,而其他的展示区域的清晰度调整为比第一展示区域的清晰度不清晰的,例如,可以将其他的展示区域的清晰度调整为较为清晰或者较不清晰的。
在一个可选的实施例中,可以将媒体文件的展示界面中除第一展示区域之外的全部区域确定为第二展示区域,也可以将媒体文件的展示界面中除第一展示区域之外的部分区域确定为第二展示区域,如,调整后的第一展示区域的清晰度是整个媒体文件的展示界面中清晰度最高的展示区域,但是在调整后的媒体文件的展示界面中还可以包含其他的与第一展示区域的清晰度一样的展示区域。
在一个可选的实施例中,基于景深对展示界面中的展示区域的清晰度进行调整可以包括:将媒体文件的展示界面中,与第一展示区域具有不同景深的显示区域确定为第二展示区域;将展示界面中的第二展示区域的清晰度设置为低于第一展示区域的清晰度。
获取媒体文件的展示界面中各个展示区域的景深,这里的各个展示区域可以基于媒体文件的展示界面中展示对象(或物体)而确定,也可以基于展示界面中景深是否相同而确定,如,展示界面中属于同一个展示对象的像素点组成一个展示区域,或者,展示界面中具有相同景深的像素点组成的贯通的区域为一个展示区域。可选地,还可以设置多个离散点,以每个离散点为中心,将与同一中心之间的距离小于预定距离的点的确定为属于同一展示区域的点。
当然,还有其他的展示区域的确定方法,本申请对此不做限定。
在该实施例中,可以将景深与第一展示区域的景深不同的其他区域的清晰度设置为低于第一展示区域的清晰度。
具体地,将展示界面中的第二展示区域的清晰度设置为低于第一展示区域的清晰度可以包括:获取第二展示区域中各个子展示区域的景深;确定第二展示区域中各个子展示区域的景深与第一展示区域的景深之间的深度差;按照深度差,设置不同子展示区域的清晰度,其中,子展示区域对应的深度差越大,设置的子展示区域的清晰度越低。
通过该实施例,可以获取有深度的媒体文件的信息,用户在观看该信息的时候,不存在视觉轴辏冲突,不会产生疲劳。
在该实施例中,可以将该子展示区域中的所有像素点的景深的平均值作为子展示区域的景深,也可以将该子展示区域中像素点的景深的最大值,作为子展示区域的景深,还可以将该子展示区域中像素点的景深的最小值作为该子展示区域的景深,还可以将该子展示区域中的像素点的加权平均值作为该子展示区域的景深。本申请对此不做限定。
上述实施例中,可以将第二展示区域的清晰度均设置为低于第一展示区域的清晰度,可以将第二展示区域中各个子展示区域的清晰度设置为同样的清晰度,也可以将第二展示区域中各个子展示区域的清晰度设置为不同的清晰度。
可以将第二展示区域中与第一展示区域的景深的深度差较大的区域的清晰度设置为更低的清晰度,将第二展示区域中与第一展示区域的景深的深度差较小的区域的分辨率设置为较高的清晰度。
这里的更低和较高是对于第二展示区域中各个子展示区域来说的。如图4所示,该图中用填充阴影的线的密集程度表示清晰度,填充阴影的线越密集,清晰度越高。
图4中的媒体文件的展示界面40包括三个区域,其中,第一区域401是第一展示区域,也即是检测到的用户在媒体文件的展示界面中注视的区域,第二区域402是第二展示区域中的第一个子展示区域,该子展示区域与第一展示区域的景深的差是A,第三区域403是第二展示区域中的第二个子展示区域,该子展示区域与第一展示区域的景深的差是B,假设A>B,则可以为第一个子展示区域设置较低的清晰度,为第二展示子区域设置较高的清晰度,但是第一个子展示区域和第二个子展示区域的清晰度都可以低于第一展示区域,从而,第一展示区域的清晰度高于第二个子展示区域的清晰度,第二个子展示区域的清晰度高于第一个子展示区域的清晰度。
当然,图4所示的实施例,仅作示例说明,具体实现中展示区域和子展示区域的形状可以是不规则形状,本申请对此不做限定,第二展示区域可以划分为子展示区域的数量,本申请对此也不做限定。
在另一个可选的实施例中,将展示界面中的第二展示区域的清晰度设置为低于第一展示区域的清晰度可以包括:逐渐降低以第一展示区域为中心、沿预定辐射路径上的第二展示区域中子展示区域的清晰度,其中,预定辐射路径为远离第一展示区域的辐射路径。通过该实施例,有选择地降低展示区域的清晰度,保证用户观看文件的情况下,减少数据的处理量。
具体地,可以按照距离第一展示区域的远近来设置清晰度,例如,以第一展示区域为中心或为基准,将位于第一展示区域之外且包围第一展示区域的第二展示区域,沿预定辐射路径进行划分,如图5所示,第二展示区域可以包括第一子展示区域和第二子展示区域,当然,具体实现中,第二展示区域可以包括更多的子展示区域,本申请仅以第一子展示区域和第二子展示区域为例进行说明。
如图5所示的媒体文件的展示界面50,第一子展示区域502距离第一展示区域501较近(与第二子展示区域相比),设置的第一子展示区域的清晰度更高,第二子展示区域503距离第一展示区域较远(与第一子展示区域相比),设置的第二子展示区域的清晰度略低一些,该图5中用填充阴影的线的密集程度表示清晰度,填充阴影的线越密集,清晰度越高。
可选地,在确定子展示区域与第一展示区域的距离时,可以通过计算子展示区域与第一展示区域之间的欧式距离来确定。
在另一个可选的实施例中,基于景深对展示界面中的展示区域的清晰度进行调整可以包括:获取媒体文件的展示界面中,与第一展示区域具有相同景深的第三展示区域;将展示界面中的第三展示区域中部分区域的清晰度设置为第一展示区域的清晰度。
具体地,将展示界面中的第三展示区域中部分区域的清晰度设置为第一展示区域的清晰度可以包括:将第三展示区域中,与第一展示区域之间的距离超出预定距离的子展示区域的清晰度设置为低于第一展示区域的清晰度。
根据上述实施例,可以将媒体文件的展示界面中与第一展示区域具有相同景深的区域确定为第三展示区域,将第三展示区域中的部分区域的清晰度设置为与第一展示区域的清晰度相同的清晰度。
在一个可选的实施例中,可以按照距离第一展示区域的远近来设置清晰度,例如,以第一展示区域为中心或为基准,沿预定辐射路径进行划分第三展示区域,将距离第一展示区域的距离在预定距离内的像素点划分至第一个子展示区域中的像素点,将第三展示区域中第一个子展示区域的清晰度可以设置为与第一展示区域的清晰度相同的清晰度。
将距离第一展示区域的距离在预定距离之外的像素点划分至第二个子展示区域中的像素点,将第三展示区域中第二个子展示区域的清晰度设置为低于第一展示区域的清晰度。
进一步可选地,第二个子展示区域中的展示块也可以设置不同的清晰度,如,沿着上述的预定辐射路径,距离第一展示区域越远的第二个子展示区域中展示块的清晰度设置的越低,距离第一展示区域较近的第二个子展示区域中展示块的清晰度设置的较高。
在上述实施例中,基于景深对展示界面中的展示区域的清晰度进行调整可以包括:基于景深调整展示界面中的展示区域的展示分辨率。
具体地,可以通过调整展示区域的展示分辨率来调整展示区域的清晰度。例如,调整的分辨率越高,则对应的清晰度也越高;调整的分辨率越低,则对应的清晰度也越低。
在一个可选的实施例中,可以利用高斯模糊的处理方式调整展示区域的清晰度,例如,设置的模糊参数越高,则对应的展示区域的清晰度越低;设置的模糊参数越低,则对应的展示区域的清晰度越高。
在又一个可选的实施例中,还可以通过调整媒体文件的不同面的网格的数量来调整展示区域的清晰度,例如,调整的媒体文件的展示界面上的信息的网格数量越多,则调整的展示区域的清晰度越高;调整的媒体文件的展示界面上的信息的网格数量越少,则调整的展示区域的清晰度越低。
当然,还可以采用其他的调整清晰度的处理方式对展示区域的清晰度进行调整,本申请对此不做限定。
根据本发明的实施例,检测展示设备的使用者在媒体文件的展示界面中注视的第一展示区域可以包括:检测使用者在媒体文件的展示界面中的注视点;获取注视点对应媒体文件的展示界面中的视野范围,将视野范围确定为第一展示区域。
可以根据上述的眼球跟踪技术检测使用者在媒体文件的展示界面中的注视点,该注视点可以为对应媒体文件的展示界面中的一个像素点,由于人眼在凝视一个位置时,视野是有一个角度的,基于这个角度可以确定使用者注视的视野范围,将该范围确定为第一展示区域,该第一展示区域可以包括一个或多个像素点。
需要说明的是,上述实施例中的媒体文件可以包括静态文件,如图片,也可以为动态文件,如,动画、视频等文件。
本发明还提供了一种优选实施例,下面结合图6和图7详细说明本申请的优选实施例,通过该实施例可以按照景深主动渲染文件。
该方案可以在虚拟现实的头盔中得到应用,具体地,用户可以戴上该虚拟现实头盔,用户可以利用手柄或者眼球的运动操控虚拟现实头盔。
在利用眼球的运动操控虚拟现实的头盔时,可以将利用眼球追踪技术确定人眼在屏幕(该屏幕可以为虚拟现实头盔的虚拟屏幕)中的注视点,该注视点可以为一个或多个像素点。
由于人眼凝视一个位置,有效的舒适视野一个预定的角度,如,60度,超过这个预定角度范围的物体,人眼并不敏感,这部分场景渲染的清晰与否不会影响人类视觉主观感觉,因此可以利用这个特性降低GPU渲染任务,如图6所示。图6中用虚线中线段的长度表示清晰度,线段的长度越长表示清晰度越低,实线表示的清晰度比虚线表示的清晰度高。
如图6所示,该实施例中包括三种清晰度的展示区域,第一个展示区域的清晰度最高,第二个展示区域的清晰度次高,第三个展示区域的清晰度最低。其中,第一个展示区域中包含注视点,也即将注视点所在的展示区域的清晰度设置的最高。其余的设置的较低,这样可以减少运算量。
由图6可以看出,这种方式考虑了人眼注视点位置,并且将该位置处的所有前后景物体都按照同样的清晰度进行渲染。
具体地,图6中示出的实施例可以基于注视点对媒体文件进行渲染。在该方案中,可以从二维平面的角度考虑如何减少GPU的计算量。区域层级按照离注视点的欧式距离远近划分,远离注视点的区域,可以采用更低分辨率的方式渲染,以降低清晰度,从而可以在一个展示界面中展示不同的清晰度。
该实施例,对人眼不可见,或者不在人眼注视点附近的区域降低分辨率渲染,因为人眼不敏感那些区域,类似人眼余光看到的东西都是较模糊的,这样可以不影响用户观看,同时可以减少数据处理量。
在一个可选的方式中,可以按照用户注视点的景深对媒体文件的展示界面的清晰度进行调整,如图7所示,人类在对焦某一个场景(可以为一个展示区域)时,可以基于该场景的深度对其他的场景深度进行模糊化处理。
如图7所示,小黑三角形表示视觉焦点,左图中的视觉焦点在近处,右图中的视觉焦点在远处,对同一场景的不同焦距,处理得到的各个展示区域存在一定的差别,但相同的是,眼睛聚焦的区域清晰度都很高,其中,图中虚线表示的清晰度低于实线表示的清晰度。
具体地,图7示出的方案中基于景深渲染,从三维空间的角度考虑,利用深度信息,对注视点对应景深清晰处理,其他景深模糊化。该方案可以减缓视觉辐辏调节冲突而带来的不适感。
通过上述实施例,视觉场景内的内容随着注视点景深(景深与焦点相对应)的不同,而不同显示,可以在一定程度上减缓由于视觉辐辏调节冲突而带来的不适感。
虚拟现实系统中左右眼有独立的文件内容(如视频内容),根据左右眼视频内容可以计算出各个物体对应的深度图。具体地,可以利用头戴式设备左右两眼的视差,计算整个场景的深度图。当知道注视点处景物深度后,可以把该景深所对应的物体清晰化,而把其他景深物体模糊化,从而达到如图7的效果。
按景深渲染可以减缓视觉辐辏调节冲突而带来的不适感,通过该方案,模拟人眼看真实世界一样的感觉,聚焦到一个点上去的时候,其他景深的物体会失焦模糊。
进一步地需要说明的是,可以将图6和图7所示的实施例结合起来,也即,基于注视点区域和注视点景深的优化渲染方法。
这两种方式结合,在视觉注视点区域,按照景深来不同渲染;在非注视点区域,降低分辨率渲染;既可以减少GPU负载,也可以减缓视觉辐辏调节冲突的不适感,以缓解用户在虚拟现实场景下观影所带来的疲劳感和眩晕感。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
根据本发明实施例的另一方面,还提供了一种媒体文件的处理方法。可选地,如图3所示,该方法可以包括以下步骤:
步骤S302,检测展示设备的使用者在媒体文件的展示界面中注视的第一展示区域,其中,媒体文件在虚拟现实场景中展示,展示设备用于提供虚拟现实场景;
步骤S304,获取第一展示区域在媒体文件的展示界面中的景深;
步骤S306,基于景深对展示界面中的展示区域的清晰度进行调整,其中,调整后的第一展示区域的清晰度高于调整后的第二展示区域的清晰度,第二展示区域为展示界面中除第一展示区域之外的部分区域。
上述步骤S306可以为对除第一展示区域外的第二展示区域与第三展示区域的清晰度进行调整。在对第三展示区域进行调整时,可以对第三展示区域的全部区域进行调整,或者对第三展示区域的部分区域进行调整,在对第三展示区域的部分区域进行调整时,将所述第三展示区域中,与所述第一展示区域之间的距离超出预定距离的子展示区域的清晰度设置为低于所述第一展示区域的清晰度,其中,所述子展示区域距离所述第一展示区域越远,所述子展示区域中的展示块的清晰度越低。
通过上述步骤S302至步骤S306,在检测出使用者在媒体文件的展示界面中注视的第一展示区域之后,基于第一展示区域在展示界面的景深,调整媒体文件在展示区域的清晰度,使得调整后的第一展示区域的清晰度高于其他部分区域的清晰度,在上述实施例中,通过用户注视的区域的景深调节媒体文件的展示界面的清晰度,使得展示界面上不同展示区域的清晰度不同,以使展示界面上展示的信息中包含景深信息,从而在使用者的视觉系统的焦点定在展示设备的屏幕上时,眼睛的焦点调节与展示界面的信息的深度信息相匹配,辐辏调节和焦点调节同时发生,消除了辐辏调节冲突,解决了视觉辐辏调节冲突的技术问题。
在上述实施例中,视觉系统观看到的文件的清晰度不同,消除了辐辏调节冲突,也即,在展示设备提供的虚拟现实场景中观看媒体文件时,焦点调节和辐辏调节同时发生,使用者不会有视觉疲劳和眩晕的感觉。
本申请实施例的展示设备可以为头戴式显示设备,在步骤S202提供的技术方案中,展示设备用于提供虚拟现实场景,用户(即展示设备的使用者)可以操作虚拟现实场景中的操作界面以启动媒体文件的播放,在启动媒体文件的播放之后,检测使用者在媒体文件的展示界面中注视的第一展示区域。可选地,可以在展示设备启动之后,启动图像采集设备,利用该图像采集设备采集展示设备的使用者的视觉系统的运动信息,利用采集到的视觉系统的运动信息确定第一展示区域,该第一展示区域中可以包括一个或多个像素点。其中,图像采集设备包括:摄像头。
上述的利用该图像采集设备采集展示设备的使用者的视觉系统的运动信息可以通过眼球跟踪来实现,采用该技术用户可以无需触摸屏幕(该屏幕可以为虚拟现实场景中的屏幕)即可操作屏幕。
当人的眼睛看向不同方向时,眼部会有细微的变化,这些变化会产生可以提取的特征,计算机可以通过图像捕捉或扫描提取这些特征,实现追踪眼睛的变化,基于眼睛的变化预测用户的状态和需求,并进行响应,达到利用眼睛控制设备的目的。
其中,眼球跟踪可以通过下述至少之一来实现:根据眼球和眼球周边的特征变化进行跟踪、根据虹膜角度变化进行跟踪、透射红外线灯光束到虹膜来提取特征。
在步骤S304提供的技术方案中,可以在检测出使用者注视的媒体文件的播放界面中的第一展示区域之后,获取第一展示区域在媒体文件的展示界面中的景深。
其中,景深是指在摄像机镜头或其他成像器前沿能够取得清晰图像的成像所测定的被摄物体前后距离范围。在聚焦完成后,在焦点前后的范围内都能形成清晰的像,这一前一后的距离范围,即为景深。在获取到图像之后,基于弥散圆可以确定图像的景深,其中,在焦点前后,光线从聚集到扩散,点的影像从圆到焦点,继而扩散到圆,这个焦点前面和后面的圆叫做弥散圆。
在上述实施例中,可以预先获取媒体文件的展示界面中各个展示区域的景深,在检测出使用者注视的媒体文件的播放界面中的第一展示区域之后,直接从已经获取到的景深中读取第一展示区域在媒体文件的展示界面中的景深;或者,在检测出使用者注视的媒体文件的播放界面中的第一展示区域之后,确定在媒体文件的展示界面中各个展示区域的景深,并获取第一展示区域的景深。
根据本发明的上述实施例,在获取第一展示区域在媒体文件的展示界面中的景深之前,可以确定使用者利用展示设备观看媒体文件的视差;利用视差计算媒体文件的展示界面中各个展示区域的景深;保存各个展示区域的景深,得到媒体文件的景深文件;获取展示区域在媒体文件中的景深包括:从景深文件中读取第一展示区域的景深。
在虚拟现实的应用场景中,人类视觉系统的左眼和右眼看到的3D文件有视差,获取左眼观看的媒体文件的展示界面中各个展示区域的景深,并且,获取右眼观看的媒体文件的展示界面中各个展示区域的景深,利用人眼左右眼在使用展示设备时的视差,计算媒体文件的展示界面中各个展示区域的景深,进一步地,可以记录每个像素点的景深。保存获取到的景深的数据,得到景深文件。在检测到第一展示区域之后,可以利用景深文件快速确定第一展示区域的景深。例如,可以将该第一展示区域中的所有像素点的景深的平均值作为第一展示区域的景深,也可以将该第一展示区域中像素点的景深的最大值,作为第一展示区域的景深,还可以将该第一展示区域中像素点的景深的最小值作为该第一展示区域的景深,还可以将该第一展示区域中的像素点的加权平均值作为该第一展示区域的景深。
在步骤S306提供的技术方案中,可以基于第一展示区域在媒体文件的展示界面中的景深,对媒体文件的展示界面中各个展示区域的清晰度进行调整,以将第一展示区域的清晰度调整为最高的,而其他的展示区域的清晰度调整为比第一展示区域的清晰度不清晰的,例如,可以将其他的展示区域的清晰度调整为较为清晰或者较不清晰的。
在一个可选的实施例中,可以将媒体文件的展示界面中除第一展示区域之外的部分区域确定为第二展示区域,如,调整后的第一展示区域的清晰度是整个媒体文件的展示界面中清晰度最高的展示区域,第二展示区域的清晰度要低于第一展示区域,但是在调整后的媒体文件的展示界面中还可以包含其他的与第一展示区域的清晰度一样的展示区域。为第三展示区域。
在一个可选的实施例中,基于景深对展示界面中的展示区域的清晰度进行调整可以包括:将媒体文件的展示界面中,与第一展示区域具有不同景深的显示区域确定为第二展示区域;将展示界面中的第二展示区域的清晰度设置为低于第一展示区域的清晰度。将与第一展示区域具有相同景深的区域确定为第三展示区域。
获取媒体文件的展示界面中各个展示区域的景深,这里的各个展示区域可以基于媒体文件的展示界面中展示对象(或物体)而确定,也可以基于展示界面中景深是否相同而确定,如,展示界面中属于同一个展示对象的像素点组成一个展示区域,或者,展示界面中具有相同景深的像素点组成的贯通的区域为一个展示区域。可选地,还可以设置多个离散点,以每个离散点为中心,将与同一中心之间的距离小于预定距离的点的确定为属于同一展示区域的点。
当然,还有其他的展示区域的确定方法,本申请对此不做限定。
在该实施例中,可以将景深与第一展示区域的景深不同的其他区域的清晰度设置为低于第一展示区域的清晰度。
具体地,将展示界面中的第二展示区域的清晰度设置为低于第一展示区域的清晰度可以包括:获取第二展示区域中各个子展示区域的景深;确定第二展示区域中各个子展示区域的景深与第一展示区域的景深之间的深度差;按照深度差,设置不同子展示区域的清晰度,其中,子展示区域对应的深度差越大,设置的子展示区域的清晰度越低。
通过该实施例,可以获取有深度的媒体文件的信息,用户在观看该信息的时候,不存在视觉轴辏冲突,不会产生疲劳。
在该实施例中,可以将该子展示区域中的所有像素点的景深的平均值作为子展示区域的景深,也可以将该子展示区域中像素点的景深的最大值,作为子展示区域的景深,还可以将该子展示区域中像素点的景深的最小值作为该子展示区域的景深,还可以将该子展示区域中的像素点的加权平均值作为该子展示区域的景深。本申请对此不做限定。
上述实施例中,可以将第二展示区域的清晰度均设置为低于第一展示区域的清晰度,可以将第二展示区域中各个子展示区域的清晰度设置为同样的清晰度,也可以将第二展示区域中各个子展示区域的清晰度设置为不同的清晰度。
可以将第二展示区域中与第一展示区域的景深的深度差较大的区域的清晰度设置为更低的清晰度,将第二展示区域中与第一展示区域的景深的深度差较小的区域的分辨率设置为较高的清晰度。
这里的更低和较高是对于第二展示区域中各个子展示区域来说的。如图4所示,该图中用填充阴影的线的密集程度表示清晰度,填充阴影的线越密集,清晰度越高。
图4中的媒体文件的展示界面40包括三个区域,其中,第一区域401是第一展示区域,也即是检测到的用户在媒体文件的展示界面中注视的区域,第二区域402是第二展示区域中的第一个子展示区域,该子展示区域与第一展示区域的景深的差是A,第三区域403是第二展示区域中的第二个子展示区域,该子展示区域与第一展示区域的景深的差是B,假设A>B,则可以为第一个子展示区域设置较低的清晰度,为第二展示子区域设置较高的清晰度,但是第一个子展示区域和第二个子展示区域的清晰度都可以低于第一展示区域,从而,第一展示区域的清晰度高于第二个子展示区域的清晰度,第二个子展示区域的清晰度高于第一个子展示区域的清晰度。
当然,图4所示的实施例,仅作示例说明,具体实现中展示区域和子展示区域的形状可以是不规则形状,本申请对此不做限定,第二展示区域可以划分为子展示区域的数量,本申请对此也不做限定。
在另一个可选的实施例中,将展示界面中的第二展示区域的清晰度设置为低于第一展示区域的清晰度可以包括:逐渐降低以第一展示区域为中心、沿预定辐射路径上的第二展示区域中子展示区域的清晰度,其中,预定辐射路径为远离第一展示区域的辐射路径。通过该实施例,有选择地降低展示区域的清晰度,保证用户观看文件的情况下,减少数据的处理量。
具体地,可以按照距离第一展示区域的远近来设置清晰度,例如,以第一展示区域为中心或为基准,将位于第一展示区域之外且包围第一展示区域的第二展示区域,沿预定辐射路径进行划分,如图5所示,第二展示区域可以包括第一子展示区域和第二子展示区域,当然,具体实现中,第二展示区域可以包括更多的子展示区域,本申请仅以第一子展示区域和第二子展示区域为例进行说明。
如图5所示的媒体文件的展示界面50,第一子展示区域502距离第一展示区域501较近(与第二子展示区域相比),设置的第一子展示区域的清晰度更高,第二子展示区域503距离第一展示区域较远(与第一子展示区域相比),设置的第二子展示区域的清晰度略低一些,该图5中用填充阴影的线的密集程度表示清晰度,填充阴影的线越密集,清晰度越高。
可选地,在确定子展示区域与第一展示区域的距离时,可以通过计算子展示区域与第一展示区域之间的欧式距离来确定。
在另一个可选的实施例中,基于景深对展示界面中的展示区域的清晰度进行调整可以包括:获取媒体文件的展示界面中,与第一展示区域具有相同景深的第三展示区域;将展示界面中的第三展示区域中部分区域的清晰度设置为第一展示区域的清晰度。
具体地,将展示界面中的第三展示区域中部分区域的清晰度设置为第一展示区域的清晰度可以包括:将第三展示区域中,与第一展示区域之间的距离超出预定距离的子展示区域的清晰度设置为低于第一展示区域的清晰度。
根据上述实施例,可以将媒体文件的展示界面中与第一展示区域具有相同景深的区域确定为第三展示区域,将第三展示区域中的部分区域的清晰度设置为与第一展示区域的清晰度相同的清晰度。
在一个可选的实施例中,可以按照距离第一展示区域的远近来设置清晰度,例如,以第一展示区域为中心或为基准,沿预定辐射路径进行划分第三展示区域,将距离第一展示区域的距离在预定距离内的像素点划分至第一个子展示区域中的像素点,将第三展示区域中第一个子展示区域的清晰度可以设置为与第一展示区域的清晰度相同的清晰度。
将距离第一展示区域的距离在预定距离之外的像素点划分至第二个子展示区域中的像素点,将第三展示区域中第二个子展示区域的清晰度设置为低于第一展示区域的清晰度。
进一步可选地,第二个子展示区域中的展示块也可以设置不同的清晰度,如,沿着上述的预定辐射路径,距离第一展示区域越远的第二个子展示区域中展示块的清晰度设置的越低,距离第一展示区域较近的第二个子展示区域中展示块的清晰度设置的较高。
在上述实施例中,基于景深对展示界面中的展示区域的清晰度进行调整可以包括:基于景深调整展示界面中的展示区域的展示分辨率。
具体地,可以通过调整展示区域的展示分辨率来调整展示区域的清晰度。例如,调整的分辨率越高,则对应的清晰度也越高;调整的分辨率越低,则对应的清晰度也越低。
在一个可选的实施例中,可以利用高斯模糊的处理方式调整展示区域的清晰度,例如,设置的模糊参数越高,则对应的展示区域的清晰度越低;设置的模糊参数越低,则对应的展示区域的清晰度越高。
在又一个可选的实施例中,还可以通过调整媒体文件的不同面的网格的数量来调整展示区域的清晰度,例如,调整的媒体文件的展示界面上的信息的网格数量越多,则调整的展示区域的清晰度越高;调整的媒体文件的展示界面上的信息的网格数量越少,则调整的展示区域的清晰度越低。
当然,还可以采用其他的调整清晰度的处理方式对展示区域的清晰度进行调整,本申请对此不做限定。
根据本发明的实施例,检测展示设备的使用者在媒体文件的展示界面中注视的第一展示区域可以包括:检测使用者在媒体文件的展示界面中的注视点;获取注视点对应媒体文件的展示界面中的视野范围,将视野范围确定为第一展示区域。
可以根据上述的眼球跟踪技术检测使用者在媒体文件的展示界面中的注视点,该注视点可以为对应媒体文件的展示界面中的一个像素点,由于人眼在凝视一个位置时,视野是有一个角度的,基于这个角度可以确定使用者注视的视野范围,将该范围确定为第一展示区域,该第一展示区域可以包括一个或多个像素点。
需要说明的是,上述实施例中的媒体文件可以包括静态文件,如图片,也可以为动态文件,如,动画、视频等文件。
本发明还提供了一种优选实施例,下面结合图6和图7详细说明本申请的优选实施例,通过该实施例可以按照景深主动渲染文件。
该方案可以在虚拟现实的头盔中得到应用,具体地,用户可以戴上该虚拟现实头盔,用户可以利用手柄或者眼球的运动操控虚拟现实头盔。
在利用眼球的运动操控虚拟现实的头盔时,可以将利用眼球追踪技术确定人眼在屏幕(该屏幕可以为虚拟现实头盔的虚拟屏幕)中的注视点,该注视点可以为一个或多个像素点。
由于人眼凝视一个位置,有效的舒适视野一个预定的角度,如,60度,超过这个预定角度范围的物体,人眼并不敏感,这部分场景渲染的清晰与否不会影响人类视觉主观感觉,因此可以利用这个特性降低GPU渲染任务,如图6所示。图6中用虚线中线段的长度表示清晰度,线段的长度越长表示清晰度越低,实线表示的清晰度比虚线表示的清晰度高。
如图6所示,该实施例中包括三种清晰度的展示区域,第一个展示区域的清晰度最高,第二个展示区域的清晰度次高,第三个展示区域的清晰度最低。其中,第一个展示区域中包含注视点,也即将注视点所在的展示区域的清晰度设置的最高。其余的设置的较低,这样可以减少运算量。
由图6可以看出,这种方式考虑了人眼注视点位置,并且将该位置处的所有前后景物体都按照同样的清晰度进行渲染。
具体地,图6中示出的实施例可以基于注视点对媒体文件进行渲染。在该方案中,可以从二维平面的角度考虑如何减少GPU的计算量。区域层级按照离注视点的欧式距离远近划分,远离注视点的区域,可以采用更低分辨率的方式渲染,以降低清晰度,从而可以在一个展示界面中展示不同的清晰度。
该实施例,对人眼不可见,或者不在人眼注视点附近的区域降低分辨率渲染,因为人眼不敏感那些区域,类似人眼余光看到的东西都是较模糊的,这样可以不影响用户观看,同时可以减少数据处理量。
在一个可选的方式中,可以按照用户注视点的景深对媒体文件的展示界面的清晰度进行调整,如图7所示,人类在对焦某一个场景(可以为一个展示区域)时,可以基于该场景的深度对其他的场景深度进行模糊化处理。
如图7所示,小黑三角形表示视觉焦点,左图中的视觉焦点在近处,右图中的视觉焦点在远处,对同一场景的不同焦距,处理得到的各个展示区域存在一定的差别,但相同的是,眼睛聚焦的区域清晰度都很高,其中,图中虚线表示的清晰度低于实线表示的清晰度。
具体地,图7示出的方案中基于景深渲染,从三维空间的角度考虑,利用深度信息,对注视点对应景深清晰处理,其他景深模糊化。该方案可以减缓视觉辐辏调节冲突而带来的不适感。
通过上述实施例,视觉场景内的内容随着注视点景深(景深与焦点相对应)的不同,而不同显示,可以在一定程度上减缓由于视觉辐辏调节冲突而带来的不适感。
虚拟现实系统中左右眼有独立的文件内容(如视频内容),根据左右眼视频内容可以计算出各个物体对应的深度图。具体地,可以利用头戴式设备左右两眼的视差,计算整个场景的深度图。当知道注视点处景物深度后,可以把该景深所对应的物体清晰化,而把其他景深物体模糊化,从而达到如图7的效果。
按景深渲染可以减缓视觉辐辏调节冲突而带来的不适感,通过该方案,模拟人眼看真实世界一样的感觉,聚焦到一个点上去的时候,其他景深的物体会失焦模糊。
进一步地需要说明的是,可以将图6和图7所示的实施例结合起来,也即,基于注视点区域和注视点景深的优化渲染方法。
这两种方式结合,在视觉注视点区域,按照景深来不同渲染;在非注视点区域,降低分辨率渲染;既可以减少GPU负载,也可以减缓视觉辐辏调节冲突的不适感,以缓解用户在虚拟现实场景下观影所带来的疲劳感和眩晕感。
根据本发明实施例的又一方面,还提供了一种用于实施上述媒体文件的处理方法的处理装置。图8是根据本发明实施例的一种可选的媒体文件的处理装置的示意图,如图8所示,该装置可以包括:
检测单元81,用于检测展示设备的使用者在媒体文件的展示界面中注视的第一展示区域,其中,媒体文件在虚拟现实场景中展示,展示设备用于提供虚拟现实场景;
获取单元83,用于获取第一展示区域在媒体文件的展示界面中的景深;
调整单元85,用于基于景深对展示界面中的展示区域的清晰度进行调整,其中,调整后的第一展示区域的清晰度高于调整后的第二展示区域的清晰度,第二展示区域为展示界面中除第一展示区域之外的全部或部分区域。
可选地,上述装置还用于在检测第一展示区域之前,确定展示区域中每一个像素点的景深,上述展示区域可以为多个,每一个展示区域对应一个或多个像素点。
上述获取单元83可以将所述第一展示区域中所有的像素点的景深的平均值作为所述第一展示区域的景深,或者将所述第一展示区域中的像素点的景深的最大值作为所述第一展示区域的景深,或者将所述第一展示区域中像素点的景深的最小值作为所述第一展示区域的景深,或者将所述第一展示区域中的像素点的加权平均值作为所述第一展示区域的景深。
在检测出使用者在媒体文件的展示界面中注视的第一展示区域之后,基于第一展示区域在展示界面的景深,调整媒体文件在展示区域的清晰度,使得调整后的第一展示区域的清晰度高于其他全部或部分区域的清晰度,在上述实施例中,通过用户注视的区域的景深调节媒体文件的展示界面的清晰度,使得展示界面上不同展示区域的清晰度不同,以使展示界面上展示的信息中包含景深信息,从而在使用者的视觉系统的焦点定在展示设备的屏幕上时,眼睛的焦点调节与展示界面的信息的深度信息相匹配,辐辏调节和焦点调节同时发生,消除了辐辏调节冲突,解决了视觉辐辏调节冲突的技术问题。
在上述实施例中,视觉系统观看到的文件的清晰度不同,消除了辐辏调节冲突,也即,在展示设备提供的虚拟现实场景中观看媒体文件时,焦点调节和辐辏调节同时发生,使用者不会有视觉疲劳和眩晕的感觉。
本申请实施例的展示设备可以为头戴式显示设备,在步骤S202提供的技术方案中,展示设备用于提供虚拟现实场景,用户(即展示设备的使用者)可以操作虚拟现实场景中的操作界面以启动媒体文件的播放,在启动媒体文件的播放之后,检测使用者在媒体文件的展示界面中注视的第一展示区域。可选地,可以在展示设备启动之后,启动图像采集设备,利用该图像采集设备采集展示设备的使用者的视觉系统的运动信息,利用采集到的视觉系统的运动信息确定第一展示区域,该第一展示区域中可以包括一个或多个像素点。其中,图像采集设备包括:摄像头。
上述的利用该图像采集设备采集展示设备的使用者的视觉系统的运动信息可以通过眼球跟踪来实现,采用该技术用户可以无需触摸屏幕(该屏幕可以为虚拟现实场景中的屏幕)即可操作屏幕。
当人的眼睛看向不同方向时,眼部会有细微的变化,这些变化会产生可以提取的特征,计算机可以通过图像捕捉或扫描提取这些特征,实现追踪眼睛的变化,基于眼睛的变化预测用户的状态和需求,并进行响应,达到利用眼睛控制设备的目的。
其中,眼球跟踪可以通过下述至少之一来实现:根据眼球和眼球周边的特征变化进行跟踪、根据虹膜角度变化进行跟踪、透射红外线灯光束到虹膜来提取特征。
在上述技术方案中,可以在检测出使用者注视的媒体文件的播放界面中的第一展示区域之后,获取第一展示区域在媒体文件的展示界面中的景深。
其中,景深是指在摄像机镜头或其他成像器前沿能够取得清晰图像的成像所测定的被摄物体前后距离范围。在聚焦完成后,在焦点前后的范围内都能形成清晰的像,这一前一后的距离范围,即为景深。在获取到图像之后,基于弥散圆可以确定图像的景深,其中,在焦点前后,光线从聚集到扩散,点的影像从圆到焦点,继而扩散到圆,这个焦点前面和后面的圆叫做弥散圆。
在上述实施例中,可以预先获取媒体文件的展示界面中各个展示区域的景深,在检测出使用者注视的媒体文件的播放界面中的第一展示区域之后,直接从已经获取到的景深中读取第一展示区域在媒体文件的展示界面中的景深;或者,在检测出使用者注视的媒体文件的播放界面中的第一展示区域之后,确定在媒体文件的展示界面中各个展示区域的景深,并获取第一展示区域的景深。
根据本发明的上述实施例,在获取第一展示区域在媒体文件的展示界面中的景深之前,可以确定使用者利用展示设备观看媒体文件的视差;利用视差计算媒体文件的展示界面中各个展示区域的景深;保存各个展示区域的景深,得到媒体文件的景深文件;获取展示区域在媒体文件中的景深包括:从景深文件中读取第一展示区域的景深。
在虚拟现实的应用场景中,人类视觉系统的左眼和右眼看到的3D文件有视差,获取左眼观看的媒体文件的展示界面中各个展示区域的景深,并且,获取右眼观看的媒体文件的展示界面中各个展示区域的景深,利用人眼左右眼在使用展示设备时的视差,计算媒体文件的展示界面中各个展示区域的景深,进一步地,可以记录每个像素点的景深。保存获取到的景深的数据,得到景深文件。在检测到第一展示区域之后,可以利用景深文件快速确定第一展示区域的景深。例如,可以将该第一展示区域中的所有像素点的景深的平均值作为第一展示区域的景深,也可以将该第一展示区域中像素点的景深的最大值,作为第一展示区域的景深,还可以将该第一展示区域中像素点的景深的最小值作为该第一展示区域的景深,还可以将该第一展示区域中的像素点的加权平均值作为该第一展示区域的景深。
在上述实施例中,可以基于第一展示区域在媒体文件的展示界面中的景深,对媒体文件的展示界面中各个展示区域的清晰度进行调整,以将第一展示区域的清晰度调整为最高的,而其他的展示区域的清晰度调整为比第一展示区域的清晰度不清晰的,例如,可以将其他的展示区域的清晰度调整为较为清晰或者较不清晰的。
在一个可选的实施例中,可以将媒体文件的展示界面中除第一展示区域之外的全部区域确定为第二展示区域,也可以将媒体文件的展示界面中除第一展示区域之前的部分区域确定为第二展示区域,如,调整后的第一展示区域的清晰度是整个媒体文件的展示界面中清晰度最高的展示区域,但是在调整后的媒体文件的展示界面中还可以包含其他的与第一展示区域的清晰度一样的展示区域。
根据本发明的上述实施例,调整单元可以包括:第一确定模块,用于将媒体文件的展示界面中,与第一展示区域具有不同景深的显示区域确定为第二展示区域;第一设置模块,用于将展示界面中的第二展示区域的清晰度设置为低于第一展示区域的清晰度。
具体地,第一设置模块可以包括:获取子模块,用于获取第二展示区域中各个子展示区域的景深;确定子模块,用于确定第二展示区域中各个子展示区域的景深与第一展示区域的景深之间的深度差;第一设置子模块,用于按照深度差,设置不同子展示区域的清晰度,其中,子展示区域对应的深度差越大,设置的子展示区域的清晰度越低。
根据本发明的上述实施例,第一设置模块可以包括:第二设置子模块,用于逐渐降低以第一展示区域为中心、沿预定辐射路径上的第二展示区域中子展示区域的清晰度,其中,预定辐射路径为远离第一展示区域的辐射路径。
通过该实施例,可以获取有深度的媒体文件的信息,用户在观看该信息的时候,不存在视觉轴辏冲突,不会产生疲劳。
在一个可选的实施例中,调整单元可以包括:第一获取模块,用于获取媒体文件的展示界面中,与第一展示区域具有相同景深的第三展示区域;第二设置模块,用于将展示界面中的第三展示区域中部分区域的清晰度设置为第一展示区域的清晰度。
具体地,第二设置模块具体用于:将第三展示区域中,与第一展示区域之间的距离超出预定距离的子展示区域的清晰度设置为低于第一展示区域的清晰度。
通过该实施例,有选择地降低展示区域的清晰度,保证用户观看文件的情况下,减少数据的处理量。
进一步地,检测单元可以包括:检测模块,用于检测使用者在媒体文件的展示界面中的注视点;获取模块,用于获取注视点对应媒体文件的展示界面中的视野范围,将视野范围确定为第一展示区域。
在一个可选的实施例中,调整单元具体用于:基于景深调整展示界面中的展示区域的展示分辨率。
根据本发明的上述实施例,处理单元,用于在获取第一展示区域在媒体文件的展示界面中的景深之前,确定使用者利用展示设备观看媒体文件的视差;利用视差计算媒体文件中各个展示区域的景深;保存各个展示区域的景深,得到媒体文件的景深文件。获取单元具体用于:从景深文件中读取第一展示区域的景深。
需要说明的是,上述实施例中的媒体文件可以包括静态文件,如图片,也可以为动态文件,如,动画、视频等文件。
此处需要说明的是,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在如图2所示的硬件环境中,可以通过软件实现,也可以通过硬件实现,其中,硬件环境包括网络环境。
作为本方案的另一种示例,上述媒体文件的处理装置包括:
检测单元81,用于检测展示设备的使用者在媒体文件的展示界面中注视的第一展示区域,其中,媒体文件在虚拟现实场景中展示,展示设备用于提供虚拟现实场景;
获取单元83,用于获取第一展示区域在媒体文件的展示界面中的景深;
调整单元85,用于基于景深对展示界面中的展示区域的清晰度进行调整,其中,调整后的第一展示区域的清晰度高于调整后的第二展示区域的清晰度,第二展示区域为展示界面中除第一展示区域之外的部分区域。
上述调整单元85设置为对除第一展示区域外的第二展示区域与第三展示区域的清晰度进行调整。在对第三展示区域进行调整时,可以对第三展示区域的全部区域进行调整,或者对第三展示区域的部分区域进行调整,在对第三展示区域的部分区域进行调整时,将所述第三展示区域中,与所述第一展示区域之间的距离超出预定距离的子展示区域的清晰度设置为低于所述第一展示区域的清晰度,其中,所述子展示区域距离所述第一展示区域越远,所述子展示区域中的展示块的清晰度越低。
根据本发明实施例的又一方面,还提供了一种用于实施上述媒体文件的处理方法的服务器或终端。
图9是根据本发明实施例的一种终端的结构框图,如图9所示,该终端可以包括:一个或多个(图中仅示出一个)处理器201、存储器203、以及传输装置205(如上述实施例中的发送装置),如图9所示,该终端还可以包括输入输出设备207。
其中,存储器203可用于存储软件程序以及模块,如本发明实施例中的媒体文件的处理方法和装置对应的程序指令/模块,处理器201通过运行存储在存储器203内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的媒体文件的处理方法。存储器203可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器203可进一步包括相对于处理器201远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
上述的传输装置205用于经由一个网络接收或者发送数据,还可以用于处理器与存储器之间的数据传输。上述的网络具体实例可包括有线网络及无线网络。在一个实例中,传输装置205包括一个网络适配器(Network Interface Controller,NIC),其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中,传输装置205为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
其中,具体地,存储器203用于存储应用程序。
处理器201可以通过传输装置205调用存储器203存储的应用程序,以执行下述步骤:检测展示设备的使用者在媒体文件的展示界面中注视的第一展示区域,其中,媒体文件在虚拟现实场景中展示,展示设备用于提供虚拟现实场景;获取第一展示区域在媒体文件的展示界面中的景深;基于景深对展示界面中的展示区域的清晰度进行调整,其中,调整后的第一展示区域的清晰度高于调整后的第二展示区域的清晰度,第二展示区域为展示界面中除第一展示区域之外的全部或部分区域。
处理器201还用于执行下述步骤:将媒体文件的展示界面中,与第一展示区域具有不同景深的显示区域确定为第二展示区域;将展示界面中的第二展示区域的清晰度设置为低于第一展示区域的清晰度。
处理器201还用于执行下述步骤:获取第二展示区域中各个子展示区域的景深;确定第二展示区域中各个子展示区域的景深与第一展示区域的景深之间的深度差;按照深度差,设置不同子展示区域的清晰度,其中,子展示区域对应的深度差越大,设置的子展示区域的清晰度越低。
处理器201还用于执行下述步骤:逐渐降低以第一展示区域为中心、沿预定辐射路径上的第二展示区域中子展示区域的清晰度,其中,预定辐射路径为远离第一展示区域的辐射路径。
处理器201还用于执行下述步骤:获取媒体文件的展示界面中,与第一展示区域具有相同景深的第三展示区域;将展示界面中的第三展示区域中部分区域的清晰度设置为第一展示区域的清晰度。
处理器201还用于执行下述步骤:将第三展示区域中,与第一展示区域之间的距离超出预定距离的子展示区域的清晰度设置为低于第一展示区域的清晰度。
处理器201还用于执行下述步骤:检测使用者在媒体文件的展示界面中的注视点;获取注视点对应媒体文件的展示界面中的视野范围,将视野范围确定为第一展示区域。
处理器201还用于执行下述步骤:基于景深调整展示界面中的展示区域的展示分辨率。
处理器201还用于执行下述步骤:在获取第一展示区域在媒体文件的展示界面中的景深之前,确定使用者利用展示设备观看媒体文件的视差;利用视差计算媒体文件中各个展示区域的景深;保存各个展示区域的景深,得到媒体文件的景深文件;从景深文件中读取第一展示区域的景深。
处理器201还用于执行下述步骤:媒体文件包括静态文件。
在检测出使用者在媒体文件的展示界面中注视的第一展示区域之后,基于第一展示区域在展示界面的景深,调整媒体文件在展示区域的清晰度,使得调整后的第一展示区域的清晰度高于其他全部或部分区域的清晰度,在上述实施例中,通过用户注视的区域的景深调节媒体文件的展示界面的清晰度,使得展示界面上不同展示区域的清晰度不同,以使展示界面上展示的信息中包含景深信息,从而在使用者的视觉系统的焦点定在展示设备的屏幕上时,眼睛的焦点调节与展示界面的信息的深度信息相匹配,辐辏调节和焦点调节同时发生,消除了辐辏调节冲突,解决了视觉辐辏调节冲突的技术问题。
可选地,本实施例中的具体示例可以参考上述实施例1和实施例2中所描述的示例,本实施例在此不再赘述。
本领域普通技术人员可以理解,图9所示的结构仅为示意,终端可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile InternetDevices,MID)、PAD等终端设备。图9其并不对上述电子装置的结构造成限定。例如,终端还可包括比图9中所示更多或者更少的组件(如网络接口、显示装置等),或者具有与图9所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(RandomAccess Memory,RAM)、磁盘或光盘等。
根据本发明的实施例还提供了一种存储介质。可选地,在本实施例中,上述存储介质可以用于执行媒体文件的处理方法的程序代码。
可选地,在本实施例中,上述存储介质可以位于上述实施例所示的网络中的多个网络设备中的至少一个网络设备上。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:
检测展示设备的使用者在媒体文件的展示界面中注视的第一展示区域,其中,媒体文件在虚拟现实场景中展示,展示设备用于提供虚拟现实场景;获取第一展示区域在媒体文件的展示界面中的景深;基于景深对展示界面中的展示区域的清晰度进行调整,其中,调整后的第一展示区域的清晰度高于调整后的第二展示区域的清晰度,第二展示区域为展示界面中除第一展示区域之外的全部或部分区域。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:将媒体文件的展示界面中,与第一展示区域具有不同景深的显示区域确定为第二展示区域;将展示界面中的第二展示区域的清晰度设置为低于第一展示区域的清晰度。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:获取第二展示区域中各个子展示区域的景深;确定第二展示区域中各个子展示区域的景深与第一展示区域的景深之间的深度差;按照深度差,设置不同子展示区域的清晰度,其中,子展示区域对应的深度差越大,设置的子展示区域的清晰度越低。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:逐渐降低以第一展示区域为中心、沿预定辐射路径上的第二展示区域中子展示区域的清晰度,其中,预定辐射路径为远离第一展示区域的辐射路径。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:获取媒体文件的展示界面中,与第一展示区域具有相同景深的第三展示区域;将展示界面中的第三展示区域中部分区域的清晰度设置为第一展示区域的清晰度。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:将第三展示区域中,与第一展示区域之间的距离超出预定距离的子展示区域的清晰度设置为低于第一展示区域的清晰度。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:检测使用者在媒体文件的展示界面中的注视点;获取注视点对应媒体文件的展示界面中的视野范围,将视野范围确定为第一展示区域。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:基于景深调整展示界面中的展示区域的展示分辨率。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:在获取第一展示区域在媒体文件的展示界面中的景深之前,确定使用者利用展示设备观看媒体文件的视差;利用视差计算媒体文件中各个展示区域的景深;保存各个展示区域的景深,得到媒体文件的景深文件;从景深文件中读取第一展示区域的景深。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:媒体文件包括静态文件。
在检测出使用者在媒体文件的展示界面中注视的第一展示区域之后,基于第一展示区域在展示界面的景深,调整媒体文件在展示区域的清晰度,使得调整后的第一展示区域的清晰度高于其他全部或部分区域的清晰度,在上述实施例中,通过用户注视的区域的景深调节媒体文件的展示界面的清晰度,使得展示界面上不同展示区域的清晰度不同,以使展示界面上展示的信息中包含景深信息,从而在使用者的视觉系统的焦点定在展示设备的屏幕上时,眼睛的焦点调节与展示界面的信息的深度信息相匹配,辐辏调节和焦点调节同时发生,消除了辐辏调节冲突,解决了视觉辐辏调节冲突的技术问题。
可选地,本实施例中的具体示例可以参考上述实施例中所描述的示例,本实施例在此不再赘述。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (15)
1.一种媒体文件的处理方法,其特征在于,包括:
确定展示区域中每个像素点的景深;
检测展示设备的使用者在媒体文件的展示界面中注视的第一展示区域,其中,所述媒体文件在虚拟现实场景中展示,所述展示设备用于提供所述虚拟现实场景;
将所述第一展示区域中所有的像素点的景深的平均值作为所述第一展示区域的景深,或者将所述第一展示区域中的像素点的景深的最大值作为所述第一展示区域的景深,或者将所述第一展示区域中像素点的景深的最小值作为所述第一展示区域的景深,或者将所述第一展示区域中的像素点的加权平均值作为所述第一展示区域的景深;
基于所述第一展示区域的景深对所述展示界面中的展示区域的清晰度进行调整,其中,调整后的第一展示区域的清晰度高于调整后的第二展示区域的清晰度,所述第二展示区域为所述展示界面中除所述第一展示区域之外的全部或部分区域;
获取所述媒体文件的所述展示界面中,与所述第一展示区域具有相同景深的第三展示区域;
将所述第三展示区域中,与所述第一展示区域之间的距离超出预定距离的子展示区域的清晰度设置为低于所述第一展示区域的清晰度,其中,所述子展示区域距离所述第一展示区域越远,所述子展示区域中的展示块的清晰度越低。
2.根据权利要求1所述的方法,其特征在于,基于所述第一展示区域的景深对所述展示界面中的展示区域的清晰度进行调整包括:
将所述媒体文件的展示界面中,与所述第一展示区域具有不同景深的显示区域确定为所述第二展示区域;
将所述展示界面中的第二展示区域的清晰度设置为低于所述第一展示区域的清晰度。
3.根据权利要求2所述的方法,其特征在于,将所述展示界面中的第二展示区域的清晰度设置为低于所述第一展示区域的清晰度包括:
获取所述第二展示区域中各个子展示区域的景深;
确定所述第二展示区域中各个子展示区域的景深与所述第一展示区域的景深之间的深度差;
按照所述深度差,设置不同子展示区域的清晰度,其中,所述子展示区域对应的所述深度差越大,设置的所述子展示区域的清晰度越低。
4.根据权利要求2所述的方法,其特征在于,将所述展示界面中的第二展示区域的清晰度设置为低于所述第一展示区域的清晰度包括:
逐渐降低以所述第一展示区域为中心、沿预定辐射路径上的第二展示区域中子展示区域的清晰度,
其中,所述预定辐射路径为远离所述第一展示区域的辐射路径。
5.根据权利要求1至4中任意一项所述的方法,其特征在于,检测所述使用者在所述媒体文件的所述展示界面中注视的第一展示区域包括:
检测所述使用者在所述媒体文件的展示界面中的注视点;
获取所述注视点对应所述媒体文件的展示界面中的视野范围,将所述视野范围确定为所述第一展示区域。
6.根据权利要求1所述的方法,其特征在于,所述确定展示区域中每个像素点的景深包括:
确定展示设备的使用者利用所述展示设备观看媒体文件的视差;
利用所述视差计算所述媒体文件的各个展示区域中每个展示区域中的每个像素点的景深。
7.一种媒体文件的处理方法,其特征在于,包括:
检测展示设备的使用者在媒体文件的展示界面中注视的第一展示区域,其中,所述媒体文件在虚拟现实场景中展示,所述展示设备用于提供所述虚拟现实场景;
获取所述第一展示区域在所述媒体文件的所述展示界面中的景深;
获取所述媒体文件的展示界面中,与所述第一展示区域具有相同景深的第三展示区域;将所述第三展示区域中,与所述第一展示区域之间的距离超出预定距离的子展示区域的清晰度设置为低于所述第一展示区域的清晰度,其中,所述子展示区域距离所述第一展示区域越远,所述子展示区域中的展示块的清晰度越低。
8.根据权利要求7所述的方法,其特征在于,所述获取所述媒体文件的展示界面中,与所述第一展示区域具有相同景深的第三展示区域之前,还包括:
将所述媒体文件的展示界面中,与所述第一展示区域具有不同景深的显示区域确定为第二展示区域;
将所述展示界面中的第二展示区域的清晰度设置为低于所述第一展示区域的清晰度。
9.根据权利要求8所述的方法,其特征在于,将所述展示界面中的第二展示区域的清晰度设置为低于所述第一展示区域的清晰度包括:
获取所述第二展示区域中各个子展示区域的景深;
确定所述第二展示区域中各个子展示区域的景深与所述第一展示区域的景深之间的深度差;
按照所述深度差,设置不同子展示区域的清晰度,其中,所述子展示区域对应的所述深度差越大,设置的所述子展示区域的清晰度越低。
10.根据权利要求8所述的方法,其特征在于,将所述展示界面中的第二展示区域的清晰度设置为低于所述第一展示区域的清晰度包括:
逐渐降低以所述第一展示区域为中心、沿预定辐射路径上的第二展示区域中子展示区域的清晰度,
其中,所述预定辐射路径为远离所述第一展示区域的辐射路径。
11.根据权利要求7至10中任意一项所述的方法,其特征在于,检测展示设备的使用者在媒体文件的展示界面中注视的第一展示区域包括:
检测所述使用者在所述媒体文件的展示界面中的注视点;
获取所述注视点对应所述媒体文件的展示界面中的视野范围,将所述视野范围确定为所述第一展示区域。
12.一种媒体文件的处理装置,其特征在于,包括:
第一确定单元,用于确定展示区域中每个像素点的景深;
检测单元,用于检测展示设备的使用者在媒体文件的展示界面中注视的第一展示区域,其中,所述媒体文件在虚拟现实场景中展示,所述展示设备用于提供所述虚拟现实场景;
第二确定单元,用于将所述第一展示区域中所有的像素点的景深的平均值作为所述第一展示区域的景深,或者将所述第一展示区域中的像素点的景深的最大值作为所述第一展示区域的景深,或者将所述第一展示区域中像素点的景深的最小值作为所述第一展示区域的景深,或者将所述第一展示区域中的像素点的加权平均值作为所述第一展示区域的景深;
调整单元,用于基于所述第一展示区域的景深对所述展示界面中的展示区域的清晰度进行调整,其中,调整后的第一展示区域的清晰度高于调整后的第二展示区域的清晰度,所述第二展示区域为所述展示界面中除所述第一展示区域之外的全部或部分区域;
其中,所述装置还用于获取所述媒体文件的所述展示界面中,与所述第一展示区域具有相同景深的第三展示区域;将所述第三展示区域中,与所述第一展示区域之间的距离超出预定距离的子展示区域的清晰度设置为低于所述第一展示区域的清晰度,其中,所述子展示区域距离所述第一展示区域越远,所述子展示区域中的展示块的清晰度越低。
13.一种媒体文件的处理装置,其特征在于,包括:
检测单元,用于检测展示设备的使用者在媒体文件的展示界面中注视的第一展示区域,其中,所述媒体文件在虚拟现实场景中展示,所述展示设备用于提供所述虚拟现实场景;
第一获取单元,用于获取所述第一展示区域在所述媒体文件的所述展示界面中的景深;
第二获取单元,用于获取所述媒体文件的展示界面中,与所述第一展示区域具有相同景深的第三展示区域;
第一设置单元,用于将所述第三展示区域中,与所述第一展示区域之间的距离超出预定距离的子展示区域的清晰度设置为低于所述第一展示区域的清晰度,其中,所述子展示区域距离所述第一展示区域越远,所述子展示区域中的展示块的清晰度越低。
14.一种存储介质,所述存储介质存储有计算机程序,其特征在于,所述计算机程序运行时执行所述权利要求1至6或7至11任一项中所述的方法。
15.一种终端,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行所述权利要求1至6或7至11任一项中所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910055011.2A CN109901710B (zh) | 2016-10-19 | 2016-10-19 | 媒体文件的处理方法和装置、存储介质及终端 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910055011.2A CN109901710B (zh) | 2016-10-19 | 2016-10-19 | 媒体文件的处理方法和装置、存储介质及终端 |
CN201610911557.XA CN106484116B (zh) | 2016-10-19 | 2016-10-19 | 媒体文件的处理方法和装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610911557.XA Division CN106484116B (zh) | 2016-07-14 | 2016-10-19 | 媒体文件的处理方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109901710A CN109901710A (zh) | 2019-06-18 |
CN109901710B true CN109901710B (zh) | 2020-12-01 |
Family
ID=58270923
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910055011.2A Active CN109901710B (zh) | 2016-10-19 | 2016-10-19 | 媒体文件的处理方法和装置、存储介质及终端 |
CN201610911557.XA Active CN106484116B (zh) | 2016-07-14 | 2016-10-19 | 媒体文件的处理方法和装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610911557.XA Active CN106484116B (zh) | 2016-07-14 | 2016-10-19 | 媒体文件的处理方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (2) | CN109901710B (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018010677A1 (zh) * | 2016-07-14 | 2018-01-18 | 腾讯科技(深圳)有限公司 | 一种信息处理方法、穿戴式电子设备、处理装置及系统 |
CN108694601B (zh) * | 2017-04-07 | 2021-05-14 | 腾讯科技(深圳)有限公司 | 媒体文件的投放方法和装置 |
CN109242943B (zh) * | 2018-08-21 | 2023-03-21 | 腾讯科技(深圳)有限公司 | 一种图像渲染方法、装置及图像处理设备、存储介质 |
CN108924629B (zh) * | 2018-08-28 | 2021-01-05 | 恒信东方文化股份有限公司 | 一种vr图像处理方法 |
CN109741463B (zh) * | 2019-01-02 | 2022-07-19 | 京东方科技集团股份有限公司 | 虚拟现实场景的渲染方法、装置及设备 |
CN110378914A (zh) * | 2019-07-22 | 2019-10-25 | 北京七鑫易维信息技术有限公司 | 基于注视点信息的渲染方法及装置、系统、显示设备 |
CN113452986A (zh) * | 2020-03-24 | 2021-09-28 | 杨建刚 | 应用于头戴显示设备的显示方法、装置和存储介质 |
CN112261408B (zh) | 2020-09-16 | 2023-04-25 | 青岛小鸟看看科技有限公司 | 用于头戴显示设备的图像处理方法、装置及电子设备 |
CN114637391A (zh) * | 2020-11-30 | 2022-06-17 | 华为技术有限公司 | 基于光场的vr内容处理方法及设备 |
CN112528107A (zh) * | 2020-12-07 | 2021-03-19 | 支付宝(杭州)信息技术有限公司 | 内容数据的展示方法、装置和服务器 |
CN113376837A (zh) * | 2021-06-09 | 2021-09-10 | Oppo广东移动通信有限公司 | 近眼显示光学系统、近眼显示设备及方法 |
CN115686181A (zh) * | 2021-07-21 | 2023-02-03 | 华为技术有限公司 | 一种显示方法与电子设备 |
CN115793841A (zh) * | 2021-09-09 | 2023-03-14 | 华为技术有限公司 | 一种显示方法与电子设备 |
CN115793848B (zh) * | 2022-11-04 | 2023-11-24 | 浙江舜为科技有限公司 | 虚拟现实信息交互方法、虚拟现实设备和存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101753844A (zh) * | 2008-12-18 | 2010-06-23 | 三洋电机株式会社 | 图像显示装置及摄像装置 |
CN104052981A (zh) * | 2013-03-13 | 2014-09-17 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102520970A (zh) * | 2011-12-28 | 2012-06-27 | Tcl集团股份有限公司 | 一种立体用户界面的生成方法及装置 |
CN102842301B (zh) * | 2012-08-21 | 2015-05-20 | 京东方科技集团股份有限公司 | 显示画面调节装置、显示装置及显示方法 |
JP5962393B2 (ja) * | 2012-09-28 | 2016-08-03 | 株式会社Jvcケンウッド | 画像処理装置、画像処理方法及び画像処理プログラム |
US9241146B2 (en) * | 2012-11-02 | 2016-01-19 | Nvidia Corporation | Interleaved approach to depth-image-based rendering of stereoscopic images |
CN103093416B (zh) * | 2013-01-28 | 2015-11-25 | 成都索贝数码科技股份有限公司 | 一种基于图形处理器分区模糊的实时景深模拟方法 |
JP6499154B2 (ja) * | 2013-03-11 | 2019-04-10 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 拡張現実および仮想現実のためのシステムおよび方法 |
CN103605208B (zh) * | 2013-08-30 | 2016-09-28 | 北京智谷睿拓技术服务有限公司 | 内容投射系统及方法 |
WO2015042048A2 (en) * | 2013-09-17 | 2015-03-26 | Amazon Technologies, Inc. | Approaches for three-dimensional object display |
-
2016
- 2016-10-19 CN CN201910055011.2A patent/CN109901710B/zh active Active
- 2016-10-19 CN CN201610911557.XA patent/CN106484116B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101753844A (zh) * | 2008-12-18 | 2010-06-23 | 三洋电机株式会社 | 图像显示装置及摄像装置 |
CN104052981A (zh) * | 2013-03-13 | 2014-09-17 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN106484116B (zh) | 2019-01-08 |
CN106484116A (zh) | 2017-03-08 |
CN109901710A (zh) | 2019-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109901710B (zh) | 媒体文件的处理方法和装置、存储介质及终端 | |
KR102239686B1 (ko) | 단일 깊이 추적 순응-수렴 솔루션 | |
US10846927B2 (en) | Method and apparatus for displaying a bullet-style comment in a virtual reality system | |
US11455032B2 (en) | Immersive displays | |
EP3035681B1 (en) | Image processing method and apparatus | |
US10885651B2 (en) | Information processing method, wearable electronic device, and processing apparatus and system | |
US10241329B2 (en) | Varifocal aberration compensation for near-eye displays | |
US10715791B2 (en) | Virtual eyeglass set for viewing actual scene that corrects for different location of lenses than eyes | |
CN105894567B (zh) | 放缩三维场景中的用户控制的虚拟对象的像素深度值 | |
CN106412563A (zh) | 一种图像显示方法以及装置 | |
CN108762496B (zh) | 一种信息处理方法及电子设备 | |
CN106774929B (zh) | 一种虚拟现实终端的显示处理方法和虚拟现实终端 | |
CN106293561B (zh) | 显示控制方法和装置、显示设备 | |
US20200359008A1 (en) | Information processing apparatus, information processing method, and recording medium | |
JP2023515205A (ja) | 表示方法、装置、端末機器及びコンピュータプログラム | |
CN115867238A (zh) | 视觉辅助 | |
CN109799899B (zh) | 交互控制方法、装置、存储介质和计算机设备 | |
US11237413B1 (en) | Multi-focal display based on polarization switches and geometric phase lenses | |
CN207216145U (zh) | 一种穿戴式设备 | |
US11543655B1 (en) | Rendering for multi-focus display systems | |
CN115512092A (zh) | 一种vr眼镜3d防眩晕方法、系统、设备及计算机可读存储介质 | |
KR20160041403A (ko) | 픽셀별 거리 정보를 기반으로 3d 영상 컨텐츠를 생성하는 방법, 장치 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체 | |
EP4387220A1 (en) | Head-mounted electronic device with display recording capability | |
Gurrieri | Improvements in the visualization of stereoscopic 3D imagery | |
CN106034233B (zh) | 信息处理方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |