CN109785423B - 图像补光方法、装置及计算机设备 - Google Patents

Abstract

本申请涉及图像处理技术领域，尤其涉及一种图像补光方法、装置及计算机设备。其中，所述图像补光方法，包括：获取原始图像对应的三维模型的补偿光照参数；根据所述补偿光照参数数据对所述三维模型进行二次光照，采集二次光照后的所述三维模型的补光图像；将所述补光图像与原始图像进行图像融合得到目标图像。本申请提供的方案，通过获取原始图像对应的三维模型的补偿光照参数，根据补偿光照参数对原始图像中的待补偿区域进行三维补光，有效提高图像亮度，且能够满足图像补光的实时性要求。

Description

图像补光方法、装置及计算机设备

技术领域

本申请涉及图像处理技术领域，具体而言，本申请涉及一种图像补光方法、装置及计算机设备。

背景技术

实际拍照过程中，尤其是单个光源时，由于光源发出的光线并不能完全均匀地照射在被拍物体的各个角度，为了弥补因光照不均造成的阴影缺陷，实际作业中往往会选择用反光板等形式进行现场补光，但在有些场合中，不能实时对被拍物体进行补光，或者即使进行补光，拍摄过程中也有可能会由于过量曝光引起的图像细节丢失等。

为了解决这种情况，现有技术往往采用后期对拍摄照片进行二次光照的方法，即图像重光照技术，使用真实世界的光照环境对虚拟物体进行光影上合成的过程，作为增强现实的重要因素，这项技术大多应用于虚拟三维物体的补光场景，且需要提前准备大量的处于不同姿态下的样本数据，如人脸补光，而真实场景中的光照情况复杂导致该种技术无法实现实时对图像进行补光，无法应用于实时性较强的领域，如直播领域。

发明内容

本申请提供了一种图像补光方法、装置及计算机设备，以解决现有补光技术实时性效果差的问题。

本申请实施例首先提供了一种图像补光方法，包括：

获取原始图像对应的三维模型的补偿光照参数；

根据所述补偿光照参数数据对所述三维模型进行二次光照，采集二次光照后的所述三维模型的补光图像；

将所述补光图像与原始图像进行图像融合得到目标图像。

在一个实施例中，所述根据所述补偿光照参数数据对所述三维模型进行二次光照的步骤之前，还包括：

确定所述原始图像的待补光区域，对所述待补光区域的纹理信息进行采样，得到纹理信息及颜色参数；

根据所述颜色参数将所述纹理信息映射到所述三维模型的对应位置。

在一个实施例中，所述根据原人脸图像及三维空间内的光源数据获得所述人脸图像对应的三维模型的补偿光照参数数据的步骤，包括：

获取所述三维模型的顶点参数和三维视图矩阵；

利用所述顶点参数和三维视图矩阵计算所述三维模型的三维投影，并根据所述三维投影获取三维模型的视点和法向量；

根据所述三维模型的视点和法向量获取所述三维模型的补偿光照参数。

在一个实施例中，所述根据所述三维模型的视点和法向量获取所述三维模型的补偿光照参数的步骤，包括：

将所述三维模型的视点和法向量数据输入通用的局部光照模型进行光照参数计算，得到所述三维模型的补偿光照参数。

在一个实施例中，所述获取原始图像对应的三维模型的补偿光照参数的步骤之前，还包括：

获取用户输入的光照强度及光线入射角度；

所述获取原始图像对应的三维模型的补偿光照参数的步骤，包括：

根据所述光照强度及光线入射角度计算所述原始图像对应的三维模型的补偿光照参数。

在一个实施例中，所述将所述补光图像与原始图像进行图像融合得到目标图像的步骤，包括：

利用着色器中的融合函数，把原始图像和补光图像在不同分辨率下进行分解，在不同的分解水平上进行补光图像与原始图像的融合。

在一个实施例中，所述获取原始图像对应的三维模型的补偿光照参数之前，还包括：

对所述原始图像进行特征识别，获得图像预定部位的二维特征点；

根据所述二维特征点、预设的三维模型数据及二维特征点的深度信息进行三维重建，获得三维模型。

在一个实施例中，上述任一技术方案所述的图像补光方法中，所述原始图像是人脸图像。

进一步地，本申请实施例还提供了一种图像补光装置，包括：

获取模块，用于获取原始图像对应的三维模型的补偿光照参数；

补光模块，用于根据所述补偿光照参数数据对所述三维模型进行二次光照，采集二次光照后的所述三维模型的补光图像；

融合模块，用于将所述补光图像与原始图像进行图像融合得到目标图像。

更进一步地，本申请实施例还提供了一种计算机设备，所述计算机设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任意一技术方案所述的图像补光方法的步骤。

与现有技术相比，本申请提供的方案至少具备如下优点：

本申请实施例提供的图像补光方法，首先获取原始图像对应的三维模型的补偿光照参数，根据补偿光照参数对原始图像中的待补偿区域进行三维补光，获得补偿光照参数下采集的补光图像，将所述补光图像与原始图像进行图像融合获得补光后的目标图像。本申请提供的补光方案相当于在原始图像的另一位置设置一个虚拟光源，通过虚拟光源发出的光线照射在图像的待补光区域，照亮待补光区域，相当于原始图像对应的三维模型周围有两个光源，提高图像采集的环境亮度，该种情形下拍出的图像的亮度值满足亮度需求，解决实时补光问题。

而且，本申请提供的补光方案不需要大量样本进行三维模型的建立，大大降低了获得三维模型的时间，提高了获得三维模型及补光效率，有利于保障补光操作的实时性。

本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请一个实施例提供的图像补光方法的流程示意图；

图2为本申请一个实施例提供的根据原始图像建立对应的三维模型的流程框架图；

图3为本申请一个实施例提供的根据原始图像获得原始图像对应的三维模型的补偿光照参数的流程示意图；

图4为本申请另一个实施例提供的图像补光方法的流程示意图，其重点展示将待补偿区域的纹理信息映射到三维模型的对应位置；

图5为本申请一个实施例提供的将本申请应用到直播场景的场景示意图；

图6为本申请一种实施例提供的补光装置的结构示意图；

图7为本申请一种实施例提供的计算机设备的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。

本领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一直播视频图像称为第二直播视频图像，且类似地，可将第二直播视频图像称为第一直播视频图像。第一直播视频图像和第二直播视频图像两者都是直播视频图像，但其不是同一个直播视频图像。

本领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

本申请首先提供了一种图像补光方法，其流程示意图如图1所示，包括如下步骤：

步骤S110，获取原始图像对应的三维模型的补偿光照参数；

步骤S130，根据所述补偿光照参数数据对所述三维模型进行二次光照，采集二次光照后的所述三维模型的补光图像；

步骤S140，将所述补光图像与原始图像进行图像融合得到目标图像。

本申请实施例中提供的原始图像可以是人脸图像、动物图像、明暗相对较明显且暗部区域由于光线不足导致细节信息损失的图像，这些原始图像中的暗部区域存在待补光区域，适于采用本申请提供的方案进行补光。

本申请首先获取原始图像对应的三维模型的补偿光照参数，根据补偿光照参数对原始图像中的待补偿区域进行三维补光，获得补偿光照参数下采集的补光图像，将所述补光图像与原始图像进行图像融合获得补光后的目标图像。

本申请提供的补光方案相当于在原始图像的拍摄角度的中心对称位置设置一个虚拟光源，通过虚拟光源发出的光线照射在图像的待补光区域，照亮待补光区域，相当于原始图像对应的三维模型周围有两个光源，提高图像采集的环境亮度，该种情形下拍出的图像的亮度值满足亮度需求，解决实时补光问题。

而且，本申请提供的补光方案不需要大量样本进行三维模型的建立，大大降低了获得三维模型的时间，提高了获得三维模型及补光效率，有利于保障补光操作的实时性。实际情况中，采用本申请提供的补光方式，无需再采用其他专业补光设备，降低补光需求的成本，提升用户体验。

为了更清楚本申请提供的补光方案及其技术效果，接下来以多个实施例对其具体方案进行详细阐述。

在一种实施例中，在步骤S110的获取原始图像对应的三维模型的补偿光照参数的步骤之前，还可以包括建立原始图像对应的三维模型的步骤，对于其流程，如图2所示，包括如下子步骤：

S100a，对所述原始图像进行特征识别，获得图像预定部位的二维特征点；

对于原始图像可以是多样的，在此不做限定。以人脸图像为例，则需要建立人脸三维模型，相应地，根据人脸图像获得人脸三维模型。

具体的，可以对人脸图像进行人脸识别与五官定位，获取人脸预定部位的二维特征点，人脸预定部位的二维特征点通常为脸部轮廓、眼睛、鼻子、嘴巴等人脸关键部位的二维特征点。

S100b，根据所述二维特征点、预设的三维模型数据及二维特征点的深度信息进行三维重建，获得三维模型。

此步骤中，可以根据二维特征点和预设的三维脸部模型数据进行面部三维重建，获取三维人脸图像，并获取所述二维特征点的深度信息和所述三维人脸图像的网格顶点数据；三维脸部模型数据为预先设置的多组不同姿态、不同种族、不同性别、不同表情下的人脸模型，采用可变人脸模型技术3DMM进行面部三维重建。3DMM技术成熟，准确度高、实现难度相对较低。以上为本申请提供的重建方案，实际应用中，也可以采用其它三维重建技术进行面部三维重建。

在一个施例中，对于步骤S110中的补偿光照参数，可以通过相关方法计算得到，针对于补偿光照参数的计算过程，下面阐述一种计算方法，该方法可以在步骤S110的原始图像对应的三维模型的补偿光照参数的步骤之前执行，可以包括如下：

A.获取用户输入的光线强度及光线入射角度；

B.根据所述光照强度及光线入射角度计算所述原始图像对应的三维模型的补偿光照参数。

其中，光线强度及光线入射角度为光源参数，通过获取用户输入的光源参数，根据用户输入的光源参数计算三维模型的补偿光照参数。实际情况中，光源参数可以根据实际情况调整，调整光源参数，直至光线效果符合用户需求。

上述实施例中，获得用户输入的光源参数，以便利用光照强度、光线入射角度及原始图像计算原始图像对应的三维模型的补偿光照参数。

对于根据原始图像获得原始图像对应的三维模型的补偿光照参数的方式，优选采用如下步骤的方式获得，其流程图如图3所示：

S1101，获取所述三维模型的顶点参数和三维视图矩阵；

S1102，利用所述顶点参数和三维视图矩阵计算所述三维模型的三维投影，并根据所述三维投影获取三维模型的视点和法向量；

S1103，根据所述三维模型的视点和法向量获取所述三维模型的补偿光照参数。

根据步骤S1001及S1002获得原始图像的三维模型，通过顶点着色器获得三维模型的顶点参数及三维视图矩阵，通过三维投影计算获得三维模型的视点和法向量，并将其作为片段着色器的输入。接下来进入顶点渲染单元，将获得的三维空间内的光源数据输入通用的局部光照模型计算出三维模型的环境光、漫反射光、镜面反射光等光照数据，再通过调节光源参数范围，完成光照中心到光照点的衰减计算，即获得了三维模型的补偿光照参数，其中补偿光照参数包括：环境光、漫反射光、镜面光、反射光等。

本申请中优选将所述三维模型的视点和法向量数据输入通用的局部光照模型进行光照参数计算，得到所述三维模型的补偿光照参数，局部光照模型是仅处理光源直接照射物体表面的光照模型，局部光照模型满足叠加原理，公式如下：顶点的颜色＝环境光+漫反射光+镜面光+发射光。

具体地，可以利用三维模型的视点和法向量数据获取得三维模型的补偿光照参数，鉴于局部光照模型的特点：环境光(ambient light):这种光在场景中无处不再，没有方向性，它的计算与顶点法线无关，根据光源的衰减量进行计算。漫反射光(diffuse light)：从光源到顶点确定一个方向，该方向与顶点法线决定光照强度的衰减程度，但是对于视点在哪对最终的顶点颜色没有影响。镜面光(specular light):和光源到顶点，顶点法线，以及顶点到视点三个向量都有关。发射光(emissive color)：物体自己产生的颜色，但是该颜色不对其他物体产生影响，即不作为光源。因此通过检测原始图像的光源颜色，获得光源的衰减率，获得环境光，通过三维模型的视点和法向量确定漫反射光及镜面光的数据，即获得了补偿光照参数。

局部光照模型有多种，以Lambert光照模型为例，漫反射的光强与入射光的方向和反射点处表面法向夹角的余弦成正比，局部光照模型计算漫反射(Diffuse reflection)的数学表达式如下：

Idiffuse＝Kd*Id*cosθ，

其中，Kd表示物体表面漫反射属性，Id表时入射光强。若N表示入射点单位法向量，L表示从入射点指向光源的单位向量，入射点指向光源，表示了入射光的方向，由点乘与cos之间的关系，cosθ＝N●L，则漫反射光可通过如下公式计算：Idiffuse＝Kd*Id*(N●L)。

镜面光的光强与反射光线和视线的夹角a相关，描述如下：

Ispecular＝Ks*Is*(cos a)n，

其中，Ks为物体表面的高光系数，Is为光强，a是反射光与视线的夹角，n为高光指数，n越大，则表面越光滑，反射光越集中，高光范围越小。如果V表示顶点到视点的单位向量，R表示反射光反向，则cos a可表示为V和R的点积。镜面光可通过如下公式计算：

Ispecular＝Ks*Is*(V●R)n。

通过上述计算方式获得三维模型的补偿光照参数，以便后续根据获得的补偿光照参数进行三维模型的补光。

在一个实施例中，在步骤S110获得三维模型的补偿光照参数之后，为了获得三维图像的纹理信息及颜色信息才能构建完整的图像，因此，在步骤S130之前，还可以进行如下步骤，其流程示意图如图4所示：

S120a，确定所述原始图像的待补光区域，对所述待补光区域的纹理信息进行采样，得到纹理信息及颜色参数。

对于纹理映射，是通过将数字化的纹理图像覆盖或透射到物体表面而为物体表面增加表面细节的过程，例如，通过对人脸图像进行图像识别，获得人脸图像中亮度不足的待补光区域，获得该区域的纹理信息，可以在待补光区域绘制多边形，为每个顶点指定纹理坐标，在多边形内部点的纹理坐标由纹理三角形的对应顶点确定。

S120b，根据所述颜色参数将所述纹理信息映射到所述三维模型的对应位置。

通过该种方式获得待补光区域的纹理信息及颜色参数，将获得的颜色参数与纹理信息映射到所述待补光区域在三维模型上的对应位置处。

上述实施例的方案，通过获得原始图像中待补光区域的纹理信息及颜色参数，进而获得补光后更多的细节信息，避免补光后的图像在亮度上有所提升，但缺少纹理信息或颜色与原始图像的颜色不对应等问题。

在一个实施例中，对于步骤S140的将所述补光图像与原始图像进行图像融合得到目标图像的过程，可以利用着色器中的融合函数对补光图像及原始图像进行图像融合。

具体地，可以利用多分辨融合算法，首先把原始图像和补光图像在不同分辨率下进行分解，然后在不同的分解水平上对图像进行融合，最后通过重构来获得融合图像。

由于本申请提供的补光方法能够满足实时性需求，因此可以将本申请提供的补光方法应用于直播场景中，其场景示意图如图5所示，在直播间的主播端，获得直播过程中主播的原始人脸图像，检测到原始人脸图像中由于光源问题出现了待补光区域，后台利用本申请提供的方案进行图像补光，将补光后的目标图像展示于观众客户端及主播端，该种情况下，观众客户端及主播客户端展现出的主播人脸图像为补光后的目标图像，既能够满足主播需要补光的需求，也能够使观众客户端看到图像质量较好的主播图像。

以上为本申请提供的图像补光方法实施例，针对于该方法，下面阐述与其对应的图像补光装置的实施例。

本申请实施例还提供了一种图像补光装置，其结构示意图如图6所示，包括获取模块610、补光模块630、融合模块640，具体如下：

获取模块610，用于获取原始图像对应的三维模型的补偿光照参数；

补光模块630，用于根据所述补偿光照参数数据对所述三维模型进行二次光照，采集二次光照后的所述三维模型的补光图像；

融合模块640，用于将所述补光图像与原始图像进行图像融合得到目标图像。

关于上述实施例中的图像补光装置，其中各个模块、单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

进一步地，本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任意一项所述的图像补光方法。其中，所述存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-OnlyMemory，只读存储器)、RAM(Random AcceSS Memory，随即存储器)、EPROM(EraSableProgrammable Read-Only Memory，可擦写可编程只读存储器)、EEPROM(ElectricallyEraSable Programmable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，存储介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。可以是只读存储器，磁盘或光盘等。

更进一步地，本申请实施例还提供一种计算机设备，所述计算机设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任意一项所述的图像补光方法。

图7是根据一示例性实施例示出的一种用于计算机设备700的框图。例如，计算机设备700可以被提供为一服务器。参照图7，计算机设备700包括处理组件722，其进一步包括一个或多个处理器，以及由存储器732所代表的存储器资源，用于存储可由处理组件722的执行的指令，例如应用程序。存储器732中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件722被配置为执行指令，以执行上述图像补光方法的步骤。

计算机设备700还可以包括一个电源组件726被配置为执行计算机设备600的电源管理，一个有线或无线网络接口750被配置为将计算机设备600连接到网络，和一个输入输出(I/O)接口756。计算机设备700可以操作基于存储在存储器732的操作系统，例如WindowsServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

应该理解的是，在本申请各实施例中的各功能单元可集成在一个处理模块中，也可以各个单元单独物理存在，也可以两个或两个以上单元集成于一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (9)

1.一种图像补光方法，其特征在于，包括：

获取原始图像对应的三维模型的补偿光照参数；

根据所述补偿光照参数数据对所述三维模型进行二次光照，采集二次光照后的所述三维模型的补光图像；

将所述补光图像与原始图像进行图像融合得到目标图像；

其中，所述获取原始图像对应的三维模型的补偿光照参数，具体包括：

通过顶点着色器获取所述三维模型的顶点参数和三维视图矩阵；

利用所述顶点参数和所述三维视图矩阵计算所述三维模型的三维投影，并根据所述三维投影获取所述三维模型的视点和法向量；

根据所述三维模型的视点和法向量获取所述三维模型的补偿光照参数。

2.根据权利要求1所述的图像补光方法，其特征在于，所述根据所述补偿光照参数数据对所述三维模型进行二次光照的步骤之前，还包括：

确定所述原始图像的待补光区域，对所述待补光区域的纹理信息进行采样，得到纹理信息及颜色参数；

根据所述颜色参数将所述纹理信息映射到所述三维模型的对应位置。

3.根据权利要求1所述的图像补光方法，其特征在于，所述根据所述三维模型的视点和法向量获取所述三维模型的补偿光照参数的步骤，包括：

将所述三维模型的视点和法向量数据输入通用的局部光照模型进行光照参数计算，得到所述三维模型的补偿光照参数。

4.根据权利要求1所述的图像补光方法，其特征在于，所述获取原始图像对应的三维模型的补偿光照参数的步骤之前，还包括：

获取用户输入的光照强度及光线入射角度；

根据所述光照强度及光线入射角度计算所述原始图像对应的三维模型的补偿光照参数。

5.根据权利要求1所述的图像补光方法，其特征在于，所述将所述补光图像与原始图像进行图像融合得到目标图像的步骤，包括：

利用着色器中的融合函数，把原始图像和补光图像在不同分辨率下进行分解，在不同的分解水平上进行补光图像与原始图像的融合。

6.根据权利要求1所述的图像补光方法，其特征在于，所述获取原始图像对应的三维模型的补偿光照参数之前，还包括：

对所述原始图像进行特征识别，获得图像预定部位的二维特征点；

根据所述二维特征点、预设的三维模型数据及二维特征点的深度信息进行三维重建，获得三维模型。

7.根据权利要求1至6中任一项所述的图像补光方法，其特征在于，所述原始图像是人脸图像。

8.一种图像补光装置，其特征在于，包括：

获取模块，用于获取原始图像对应的三维模型的补偿光照参数；补光模块，用于根据所述补偿光照参数数据对所述三维模型进行二次光照，采集二次光照后的所述三维模型的补光图像；

融合模块，用于将所述补光图像与原始图像进行图像融合得到目标图像；

其中，所述获取原始图像对应的三维模型的补偿光照参数，具体包括：

通过顶点着色器获取所述三维模型的顶点参数和三维视图矩阵；

利用所述顶点参数和所述三维视图矩阵计算所述三维模型的三维投影，并根据所述三维投影获取所述三维模型的视点和法向量；

根据所述三维模型的视点和法向量获取所述三维模型的补偿光照参数。

9.一种计算机设备，其特征在于，所述计算机设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至7中任意一项所述的图像补光方法的步骤。