CN110009720B - Ar场景中的图像处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明实施例公开了一种AR场景中的图像处理方法、装置、电子设备及存储介质，其中该方法包括：获取当前实景图像对应的深度图像；获取所述深度图像对应的环境光遮蔽图像；根据虚拟光照参数，对所述环境光遮蔽图像进行着色处理。本发明实施例通过结合3D虚拟光照和深度图，根据虚拟光照参数对深度图像对应的环境光遮蔽图像进行着色处理，能够模拟三维世界光成像过程，实时点亮图像中的不清晰区域或抑制过度曝光，提高画面显示质量，带来更佳的增强现实用户体验；并且将三维场景渲染转换成二维屏幕空间的像素着色，能够极大程度的简化计算。

Description

AR场景中的图像处理方法、装置、电子设备及存储介质

技术领域

本发明实施例涉及图像处理技术，尤其涉及一种AR场景中的图像处理方法、装置、电子设备及存储介质。

背景技术

AR(Augmented Reality，增强现实)技术将虚拟信息与真实信息显示在同一画面中，虚实结合给用户以真实的视觉体验。

AR场景采集的真实场景图像会因光线、阴影等因素而不清晰，主要表现为图像中某些区域过暗或过度曝光，这样的图像直接渲染在三维场景中，画面不够清晰，给用户带来极其不佳的视觉反馈。

以AR导航为例，摄像机抓取的车前方视频帧因光线、阴影等因素，导致图像中某些区域过暗或过度曝光，该图像直接渲染在AR引擎的三维场景中，画面不够清晰，影响用户判断路况，甚至导致安全问题。针对AR导航中复杂的实际路况场景，若利用图像处理方法自动提高路况图像的亮度及对比度，也难以达到良好效果。

发明内容

本发明提供一种AR场景中的图像处理方法、装置、电子设备及存储介质，以实时点亮实景图像中的不清晰区域或抑制过度曝光，提高画面显示质量，优化增强现实用户体验。

第一方面，本发明实施例提供了一种AR场景中的图像处理方法，包括：

获取当前实景图像对应的深度图像；

获取所述深度图像对应的环境光遮蔽图像；

根据虚拟光照参数，对所述环境光遮蔽图像进行着色处理。

第二方面，本发明实施例还提供了一种AR场景中的图像处理装置，包括：

深度图像获取模块，用于获取当前实景图像对应的深度图像；

环境光遮蔽图像获取模块，用于获取所述深度图像对应的环境光遮蔽图像；

图像着色模块，用于根据虚拟光照参数，对所述环境光遮蔽图像进行着色处理。

第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所述的AR场景中的图像处理方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所述的AR场景中的图像处理方法。

本发明实施例的技术方案，通过结合3D虚拟光照和深度图，根据虚拟光照参数对深度图像对应的环境光遮蔽图像进行着色处理，模拟三维世界光成像过程，能够实时点亮图像中的不清晰区域或抑制过度曝光，提高画面显示质量，带来更佳的增强现实用户体验。并且将三维场景渲染转换成二维屏幕空间的像素着色，能够极大程度的简化计算。

附图说明

图1是本发明实施例一提供的AR场景中的图像处理方法的流程图；

图2是本发明实施例一提供的不同的光照调节效果示意图；

图3是本发明实施例三提供的法线计算示意图；

图4是本发明实施例三提供的遮蔽值计算示意图一；

图5是本发明实施例三提供的遮蔽值计算示意图二；

图6a是本发明实施例提供的AR导航中路况图像示意图；

图6b是本发明实施例提供的经本方案处理后的路况图像示意图；

图7是本发明实施例五提供的AR场景中的图像处理装置的结构示意图；

图8是本发明实施例六提供的电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1是本发明实施例一提供的AR场景中的图像处理方法的流程图，本实施例可适用于AR场景中因光线、阴影等因素导致实景图像某些区域过暗或过度曝光，需要进行图像处理的情况，例如，AR导航中路况图像不清晰需要进行图像补光或AR游戏中画面不清晰等。该方法可以由AR场景中的图像处理装置来执行，该装置可以通过软件和/或硬件实现，一般可集成在AR设备或服务器中。如图1所示，该方法具体包括：

S110，获取当前实景图像对应的深度图像。

本实施例中，实景图像是指根据真实环境信息再现的场景，例如，拍摄的真实环境的照片或视频。实景图像可以通过摄像装置获取，例如，在车辆行驶过程中，利用摄像头抓取车辆前方的路况图像；在AR游戏中摄像装置采集玩家周围的环境图像。深度图像是指将从摄像装置到场景中各点的距离(即深度)作为像素值的图像。深度图像可通过深度相机直接获取，也可以利用深度预测模型得到当前实景图像对应的深度图像。

S120，获取所述深度图像对应的环境光遮蔽图像。

其中，环境光遮蔽图像也称为AO(Ambient Occlusion)图，AO图中各像素点的像素值表示的是该点的遮蔽值(即AO值)，遮蔽值用来描绘物体和物体相交或靠近的时候遮挡周围漫反射光线的效果。可以通过环境光遮蔽的相关算法获取深度图像对应的环境光遮蔽图像，例如，AO、SSAO(Screen Space Ambient Occlusion，屏幕空间环境光遮蔽)或HDAO(HighDefinition Ambient Occlusion，高解析度环境光遮蔽)等。

S130，根据虚拟光照参数，对所述环境光遮蔽图像进行着色处理。

虚拟光照参数是指3D虚拟环境光源(Ambient Light)的相关参数，本实施例中利用虚拟光源来模拟三维世界光成像过程，以改善图像不清晰的情况。虚拟光照参数包括：光源个数、光源位置、光源颜色(diffuse)、光照的镜面反射(specular reflection)、光照亮度(shininess)和权重系数。其中，权重系数表示实景图像的图像数据(也称为原始图像数据、图像纹理或图像表面材质)与虚拟光照之间的权重，例如，实景图像的图像数据的占比小于虚拟光照，表示实景图像过暗，需要加强光照，以点亮图像。

在一个可选的实施方式中，使用一个虚拟光源进行直射，不同的颜色、镜面反射和亮度，会产生不一样的光照效果，如图2所示。在不同的光照效果下，图像对应的场景所呈现的状态也有所不同，因此依据虚拟光照参数对环境光遮蔽图像进行着色处理，能够改善因光线、阴影等因素导致图像不清晰的情况。

本发明实施例针对三维的AR场景，将3D产品转化为二维的AO图，对AO图进行着色，也就是将三维场景渲染转换成二维屏幕空间的像素着色，能够极大程度的简化计算，同时能处理画面的明暗问题。

本实施例的技术方案，通过结合3D虚拟光照和深度图，根据虚拟光照参数对深度图像对应的环境光遮蔽图像进行着色处理，能够模拟三维世界光成像过程，解决了现有技术中AR实景图像过暗或过度曝光导致图像不清晰，影响用户体验的问题，能够实时点亮图像中的不清晰区域或抑制过度曝光，提高画面显示质量，带来更佳的增强现实用户体验。并且将三维场景渲染转换成二维屏幕空间的像素着色，能够极大程度的简化计算。

在一个可选的实施方式中，虚拟光照参数可以预先离线进行设置，例如，工作人员(例如能够熟练使用3D建模工具且具有审美能力的人)根据经验设置参数。较优的，还可以在渲染引擎中设置预览窗口，工作人员设置初始虚拟参数后，将在当前设置的虚拟光照参数下的渲染效果在渲染引擎中实时预览，工作人员得到反馈，以根据图像效果实时改进虚拟光照参数，提升画面显示质量。

具体的，在获取当前实景图像对应的深度图像之前，还包括：接收输入的光照参数；实时显示测试图像在所述光照参数下的预览图；根据所述预览图调整所述光照参数，直到预览图满足预设要求；存储所述预览图满足预设要求时所对应的光照参数，作为所述虚拟光照参数。

其中，测试图像可以根据情况选取多张，以得到适用范围较广且较为合适的虚拟光照参数。需要说明的是，也可以根据情况设置多组虚拟光照参数，例如，根据不同的天气设置多组对应的虚拟光照参数，白天对应一组虚拟光照参数A，黑夜对应一组虚拟光照参数B；又如，根据不同的路况设置多组对应的虚拟光照参数，复杂的岔路/立交桥路况对应一组虚拟光照参数C，简单路况对应一组虚拟光照参数D。在实际使用时，根据实景图像所在的环境匹配对应的虚拟光照参数来进行着色，多组虚拟光照参数可以叠加计算，例如，黑夜的立交桥路况，可以将虚拟光照参数B和C中的对应项分别进行相加处理，利用相加后的参数来模拟光成像过程。预设要求是指想要达到的显示效果，例如，阴影遮挡程度、区域亮度、区域清晰度等。可以针对每张测试图像分别设置预设要求，也可以针对多张测试图像设置统一的预设要求。

在一个可选的实施方式中，还可以根据天气情况实时调整权重系数，以根据实际情况得到更为合适的、更为清晰的显示效果。具体的，在根据虚拟光照参数，对所述环境光遮蔽图像进行着色处理之前，上述方法还可以包括：获取所述当前实景图像所在环境的天气信息；根据所述天气信息实时调整所述权重系数。

其中，天气信息包括阴晴、光线等。天气信息可以从实景图像中提取，例如，利用现有的图像分析技术，根据图像的像素点的亮度值、图像中人物的衣着等因素进行分析得到天气信息。也可根据图像所示的位置进行定位，然后根据定位的位置获取该位置的天气信息，例如访问天气信息网获得定位位置的天气信息。示例性的，天气是阴天，则可以加大虚拟光照的占比，以点亮图像。权重系数的取值可默认0.5。在实际应用中，可以保留图像alpha通道，用以调节上述权重系数。

实施例二

本实施例在上述各实施例的基础上，提供了根据虚拟光照参数对环境光遮蔽图像进行着色处理的实施方式。与上述实施例相同或相应的术语解释，本实施例不再赘述。

具体的，根据虚拟光照参数，对所述环境光遮蔽图像进行着色处理，包括：读取所述虚拟光照参数；根据所述虚拟光照参数和所述当前实景图像的图像数据，对所述环境光遮蔽图像中的各像素点进行着色处理。

在进行二维屏幕空间的像素着色处理时，先读取已存的虚拟光照参数，根据虚拟光照参数和原始图像数据，逐个像素点的对环境光遮蔽图像进行着色处理，并实时显示着色后的图像，供用户查看。

在一个可选的实施方式中，根据所述虚拟光照参数和所述当前实景图像的图像数据，对所述环境光遮蔽图像中的各像素点进行着色处理，包括：针对所述环境光遮蔽图像中的每个像素点，获取该像素点的遮蔽值，并从所述图像数据中获取与该像素点对应的像素点的像素值；按照所述虚拟光照参数中的权重系数，对所述遮蔽值、所述像素值、所述光源颜色、所述光照的镜面反射、所述光照亮度进行预设计算，将计算结果作为该像素点的新像素值。

预设计算可以是加和计算或加权计算。需要说明的是，如果涉及多组虚拟光照参数，则可以将这些组虚拟光照参数中的对应项相加，作为相应的参数值，例如，涉及两组虚拟光照参数，则计算所使用的光照亮度是两组光照亮度的和。

示例性的，着色公式如下：

gl_FragColor＝mix(texture2D(texture)，diffuse，specular，shininess，texture2D(AO))

其中，gl_FragColor表示片段着色；texture表示纹理，即原始图像数据；texture2D(texture)表示从纹理中读取像素点的像素值；diffuse表示光源颜色；specular表示光照的镜面反射；shininess表示光照亮度；texture2D(AO)表示从AO图中读取像素点的遮蔽值；mix表示加和计算或加权计算。

本实施例的技术方案，针对三维的AR场景，将3D产品转化为二维的AO图，对AO图逐像素点进行着色，将三维场景渲染转换成二维屏幕空间的像素着色，能够极大程度的简化计算，同时能处理画面的明暗问题。

实施例三

本实施例在上述各实施例的基础上，提供了获取深度图像对应的环境光遮蔽图像的实施方式。与上述实施例相同或相应的术语解释，本实施例不再赘述。

本实施例以使用SSAO方法渲染图像为例进行说明，SSAO可以通过基于法线的半球积分或者基于视线方向的球积分进行计算。

具体的，获取所述深度图像对应的环境光遮蔽图像，包括：

计算所述深度图像中各像素点的法线向量；根据所述各像素点的深度值和法线向量，计算所述各像素点的遮蔽值，得到所述环境光遮蔽图像；

或者，

确定所述深度图像中各像素点的视线方向向量；根据所述各像素点的视线方向向量，计算所述各像素点的遮蔽值，得到所述环境光遮蔽图像。

(1)基于法线的半球积分，参考图3，(x，y)表示深度图中的像素点，按照如下公式由深度图Z计算法线图N：

dx＝Z(x+1，y)-Z(x-1，y)

dy＝Z(x，y+1)-Z(x，y-1)

N(x，y)＝normalize(-dx，-dy，1.0)

其中，Z(x+1，y)表示深度图中的像素点(x+1，y)的深度值；dx和dy均表示求取两像素点之间的深度值的差；N(x，y)表示像素点(x，y)的法线向量；normalize表示归一化。

通过上述计算，可以得到深度图像中各像素点的法线向量。

参考图4，SSAO算法可直接读取深度图Z，通过采样当前像素点周围深度距离d及法线向量n，获取该当前像素点的遮蔽值。遮蔽值计算如下：

occlusion＝max(0.0，dot(n，v))*(1.0/(1.0+d))

其中，occlusion表示当前像素点的遮蔽值；dot(n，v)表示返回向量n和v的点积，也就是向量v在法线方向n的投影(即cos值)。n表示当前像素点的法线向量；v表示当前像素点到周围点的向量；d表示周围点到当前像素点的距离(深度值的差值)。

在当前像素点周围搜索的其他点的范围，由法线n确定的半球决定。逐个计算深度图中各像素点的遮蔽值后，将遮蔽值作为各像素点的像素值，便得到AO图。

(2)基于视线方向的球积分，参考图5，利用如下公式计算遮蔽值：

occlusion＝dot(Vi，L)

其中，occlusion表示当前像素点的遮蔽值，dot(Vi，L)表示返回向量Vi和L的点积，Vi表示当前像素点的视线方向向量，L表示当前像素点到周围点的方向向量。

由此可以得到深度图像中各像素点的遮蔽值，进而得到环境光遮蔽图像。

本实施例的技术方案提供了获取环境光遮蔽图像的多种方式，便于工作人员设计AR产品时根据实际要求选择相应的方式。

实施例四

本实施例在上述各实施例的基础上，提供了通过深度预测模型获取当前实景图像对应的深度图像的实施方式。与上述实施例相同或相应的术语解释，本实施例不再赘述。

具体的，在获取当前实景图像对应的深度图像之前，上述方法还包括：利用预设的训练数据集训练深度预测模型。相应地，获取当前实景图像对应的深度图像，包括：将所述当前实景图像输入至训练后的深度预测模型，得到所述深度图像。

其中，可以使用现有的训练数据集，例如，针对AR导航使用百度ApolloScape自动驾驶数据集，针对AR游戏搜寻相关的游戏数据构成游戏数据集。深度预测模型可以是对抗式深度模型、基于FCN(Fully Convolutional Networks，全卷积网络)的深度预测模型等。

下面以AR导航场景下，使用对抗式深度模型获取深度图像为例进行说明。

自动驾驶数据集作为训练数据，提供左图(Left Image)及右图(Right Image)，具体的，设置两个相机分别在左侧和右侧同时拍摄同一场景，得到同一场景的左图和右图，两图结合得到用户双眼所看到的立体图像。同一场景的左图和右图存在视差(disparity)。

生成器采样左图并在视差下进行映射，生成新右图。辨别器判断生成的右图与该左图匹配的真实右图的差异，即计算损失函数，并最小化损失函数，来更新生成器的参数及视差。为了保证左图和右图的极几何一致性，重复上述步骤，依据右图生存新左图，并判断差异，最小化损失函数来优化生成器的参数及视差。示例性的，辨别器可以使用百度深度学习平台PaddlePaddle卷积网络模型。

训练好的深度预测模型可预测AR导航中车前方单摄路况图像对应的深度图像。

本实施例利用可靠的训练数据集训练深度预测模型，并不断优化模型参数，以在实际应用中得到较为准确可靠的预测结果(即深度图像)。

在一个可选的实施方式中，可以对训练数据集进行预处理，以提高训练速度。具体的，利用预设的训练数据集训练深度预测模型，包括：调整所述训练数据集中不同类别的数据的概率分布，使得不同类别的数据的概率分布符合预设标准。

训练数据可以包括不同类别的数据，例如，AR导航中的驾驶数据包括白天的数据和黑夜的数据。一般而言，训练数据集符合一定的概率分布，不同类别的数据均有各自所符合的概率分布，以AR导航中的驾驶数据为例，白天的数据集符合分布1，曲线的中心是原点，黑夜的数据集符合分布2，曲线的中心是5，通过上述调整步骤，可将白天数据集和黑夜数据集的分布调整为同一个标准，例如，黑夜数据集的分布曲线的中心从5调整为0。将不同类别的数据集统一，无需重复训练，能够减少训练的工作量，加速训练。在实际应用中，可以在生成器中添加batch normal层(批量标准化层)，加速训练及提高不同天气模型适应能力。

图6a是本发明实施例提供的AR导航中路况图像示意图；图6b是本发明实施例提供的经本方案处理后的路况图像示意图，对比两图可知，经过本发明实施例的AR场景中的图像处理方法对路况图像进行处理之后，路况图像显示更为清晰，画面质量提升，便于用户观察前方路况，由此AR导航能提供更佳的增强现实用户体验。

实施例五

图7是本发明实施例五提供的AR场景中的图像处理装置的结构示意图，如图7所示，该装置包括：

深度图像获取模块710，用于获取当前实景图像对应的深度图像；

环境光遮蔽图像获取模块720，用于获取所述深度图像对应的环境光遮蔽图像；

图像着色模块730，用于根据虚拟光照参数，对所述环境光遮蔽图像进行着色处理。

可选的，所述装置还包括：

参数接收模块，用于在获取当前实景图像对应的深度图像之前，接收输入的光照参数；

显示模块，用于实时显示测试图像在所述光照参数下的预览图；

参数调整模块，用于根据所述预览图调整所述光照参数，直到预览图满足预设要求；

存储模块，用于存储所述预览图满足预设要求时所对应的光照参数，作为所述虚拟光照参数。

可选的，所述图像着色模块730包括：

参数读取单元，用于读取存储的所述虚拟光照参数；

图像着色单元，用于根据所述虚拟光照参数和所述当前实景图像的图像数据，对所述环境光遮蔽图像中的各像素点进行着色处理。

可选的，所述虚拟光照参数包括：光源个数、光源位置、光源颜色、光照的镜面反射、光照亮度和权重系数，其中，所述权重系数表示实景图像的图像数据与虚拟光照之间的权重；

所述图像着色单元具体用于：

针对所述环境光遮蔽图像中的每个像素点，获取该像素点的遮蔽值，并从所述图像数据中获取与该像素点对应的像素点的像素值；

按照所述虚拟光照参数中的权重系数，对所述遮蔽值、所述像素值、所述光源颜色、所述光照的镜面反射、所述光照亮度进行预设计算，将计算结果作为该像素点的新像素值。

可选的，所述装置还包括：

信息获取模块，用于在根据虚拟光照参数，对所述环境光遮蔽图像进行着色处理之前，获取所述当前实景图像所在环境的天气信息；

权重调整模块，用于根据所述天气信息实时调整所述权重系数。

可选的，所述环境光遮蔽图像获取模块720具体用于：

计算所述深度图像中各像素点的法线向量；根据所述各像素点的深度值和法线向量，计算所述各像素点的遮蔽值，得到所述环境光遮蔽图像；

或者，

确定所述深度图像中各像素点的视线方向向量；根据所述各像素点的视线方向向量，计算所述各像素点的遮蔽值，得到所述环境光遮蔽图像。

可选的，所述装置还包括：

模型训练模块，用于在获取当前实景图像对应的深度图像之前，利用预设的训练数据集训练深度预测模型；

相应地，所述深度图像获取模块具体用于：将所述当前实景图像输入至训练后的深度预测模型，得到所述深度图像。

可选的，所述模型训练模块具体用于：

调整所述训练数据集中不同类别的数据的概率分布，使得不同类别的数据的概率分布符合预设标准。

本发明实施例所提供的AR场景中的图像处理装置可执行本发明任意实施例所提供的AR场景中的图像处理方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明任意实施例提供的AR场景中的图像处理方法。

实施例六

本实施例提供一种电子设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所述的AR场景中的图像处理方法。

本实施例中的电子设备可以是AR设备，例如，车载导航、AR眼镜、AR游戏设备等；也可以是服务器。

图8是本发明实施例六提供的电子设备的结构示意图。图8示出了适于用来实现本发明实施方式的示例性电子设备12的框图。图8显示的电子设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图8所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图8未显示，通常称为“硬盘驱动器”)。尽管图8中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的AR场景中的图像处理方法。

实施例七

本发明实施例七还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所述的AR场景中的图像处理方法。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (11)

1.一种AR场景中的图像处理方法，其特征在于，包括：

获取当前实景图像对应的深度图像；

获取所述深度图像对应的环境光遮蔽图像；

根据虚拟光照参数，对所述环境光遮蔽图像进行着色处理；

其中，根据虚拟光照参数，对所述环境光遮蔽图像进行着色处理，包括：

读取虚拟光照参数，所述虚拟光照参数包括：光源个数、光源位置、光源颜色、光照的镜面反射、光照亮度和权重系数，其中，所述权重系数表示实景图像的图像数据与虚拟光照之间的权重；

针对所述环境光遮蔽图像中的每个像素点，获取该像素点的遮蔽值，并从所述图像数据中获取与该像素点对应的像素点的像素值；

按照所述虚拟光照参数中的权重系数，对所述遮蔽值、所述像素值、所述光源颜色、所述光照的镜面反射、所述光照亮度进行预设计算，将计算结果作为该像素点的新像素值。

2.根据权利要求1所述的方法，其特征在于，在获取当前实景图像对应的深度图像之前，还包括：

接收输入的光照参数；

实时显示测试图像在所述光照参数下的预览图；

根据所述预览图调整所述光照参数，直到预览图满足预设要求；

存储所述预览图满足预设要求时所对应的光照参数，作为所述虚拟光照参数。

3.根据权利要求1所述的方法，其特征在于，在根据虚拟光照参数，对所述环境光遮蔽图像进行着色处理之前，还包括：

获取所述当前实景图像所在环境的天气信息；

根据所述天气信息实时调整所述权重系数。

4.根据权利要求1所述的方法，其特征在于，获取所述深度图像对应的环境光遮蔽图像，包括：

计算所述深度图像中各像素点的法线向量；根据所述各像素点的深度值和法线向量，计算所述各像素点的遮蔽值，得到所述环境光遮蔽图像；

或者，

确定所述深度图像中各像素点的视线方向向量；根据所述各像素点的视线方向向量，计算所述各像素点的遮蔽值，得到所述环境光遮蔽图像。

5.根据权利要求1所述的方法，其特征在于，在获取当前实景图像对应的深度图像之前，还包括：

利用预设的训练数据集训练深度预测模型；

相应地，获取当前实景图像对应的深度图像，包括：

将所述当前实景图像输入至训练后的深度预测模型，得到所述深度图像。

6.根据权利要求5所述的方法，其特征在于，利用预设的训练数据集训练深度预测模型，包括：

调整所述训练数据集中不同类别的数据的概率分布，使得不同类别的数据的概率分布符合预设标准。

7.一种AR场景中的图像处理装置，其特征在于，包括：

深度图像获取模块，用于获取当前实景图像对应的深度图像；

环境光遮蔽图像获取模块，用于获取所述深度图像对应的环境光遮蔽图像；

图像着色模块，用于根据虚拟光照参数，对所述环境光遮蔽图像进行着色处理；

其中，所述图像着色模块包括：

参数读取单元，用于读取存储的所述虚拟光照参数，所述虚拟光照参数包括：光源个数、光源位置、光源颜色、光照的镜面反射、光照亮度和权重系数，其中，所述权重系数表示实景图像的图像数据与虚拟光照之间的权重；

图像着色单元，用于根据所述虚拟光照参数和所述当前实景图像的图像数据，对所述环境光遮蔽图像中的各像素点进行着色处理；

其中，所述图像着色单元具体用于：

针对所述环境光遮蔽图像中的每个像素点，获取该像素点的遮蔽值，并从所述图像数据中获取与该像素点对应的像素点的像素值；

按照所述虚拟光照参数中的权重系数，对所述遮蔽值、所述像素值、所述光源颜色、所述光照的镜面反射、所述光照亮度进行预设计算，将计算结果作为该像素点的新像素值。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

参数接收模块，用于在获取当前实景图像对应的深度图像之前，接收输入的光照参数；

显示模块，用于实时显示测试图像在所述光照参数下的预览图；

参数调整模块，用于根据所述预览图调整所述光照参数，直到预览图满足预设要求；

存储模块，用于存储所述预览图满足预设要求时所对应的光照参数，作为所述虚拟光照参数。

9.根据权利要求7所述的装置，其特征在于，所述装置还包括：

信息获取模块，用于在根据虚拟光照参数，对所述环境光遮蔽图像进行着色处理之前，获取所述当前实景图像所在环境的天气信息；

权重调整模块，用于根据所述天气信息实时调整所述权重系数。

10.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至6中任一所述的AR场景中的图像处理方法。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至6中任一所述的AR场景中的图像处理方法。

Images