CN111798384A

CN111798384A - 一种逆向渲染的人脸图像光照信息编辑方法

Info

Publication number: CN111798384A
Application number: CN202010521470.8A
Authority: CN
Inventors: 王中元; 熊张洋; 梁金碧; 肖晶; 朱荣; 韩晓光
Original assignee: Wuhan University WHU
Current assignee: Wuhan University WHU
Priority date: 2020-06-10
Filing date: 2020-06-10
Publication date: 2020-10-20

Abstract

本发明公开了一种逆向渲染的人脸图像光照信息编辑方法，首先从输入人脸图像中逆向渲染出该人脸图像对应的本色图像、残差图像、法线图像；然后使用现有光照参数或者从参考人脸图像中提取出对应的光照参数，结合法线图像与光照参数，获得对应的高光图像；再将高光图像、本色图像和残差图像结合在一起，重建得到编辑后的人脸图像。本发明显式利用了人脸本色图像和法线图像的物理含义，与传统的修改对比度和亮度的方法相比，显著提升了编辑图像光照信息的准确性和真实度。

Description

一种逆向渲染的人脸图像光照信息编辑方法

技术领域

本发明属于图像处理技术领域，涉及一种人脸图像编辑方法，具体涉及一种逆向渲染的人脸图像光照信息编辑方法。

技术背景

随着智慧城市的建设，城市街道上逐渐安装了越来越多的监控摄像头，部署了视频监控系统。每当有危害社会公共安全的事件发生时，视频监控系统采集的庞大信息已成为公安机关破案的第一手信息源，公安人员可以直接从这些信息中提取破案线索和证据。然而，大多数犯罪事件都发生在光线不足且光照复杂的场景下。在这种场景下，监控设备拍摄的图像或者视频整体光照偏暗，甚至还受到逆光影响，导致刑侦人员难以辨认出犯罪嫌疑人的面部特征，增加了案件侦破的难度。

最为常见的图像编辑方法是修改对比度和亮度，但是在实际使用过程中，这两类方法效果都不够理想。例如修改对比度，其本质就是让图像中黑色更黑，白色更白；经过修改对比度操作后，对于原本就偏暗的图像变得更暗。同样，简单地修改亮度也无法满足改善图像辨识度的要求，只会进一步模糊掉原本人脸特征就不够显眼的图像。对于光照更为复杂的情况，这两类方法就更加不适用。因此，需要提出更加有效的方法来解决图像和视频中光照不足或逆光干扰的问题。

发明内容

为了解决上述技术问题，本发明提出了一种逆向渲染的人脸图像光照信息编辑方法。

本发明所采用的技术方案，一种逆向渲染的人脸图像光照信息编辑方法，包括以下步骤：

步骤1：获取待编辑人脸图像对应的本色图像A、残差图像R、法线图像N；

步骤2：提取或自定义参考人脸图像中的光照参数L；

步骤3：根据步骤1中得到的法线图像N和步骤2中提取出的光照参数L，生成得到高光图像S；

步骤4：将步骤1中得到的本色图像A与残差图像R以及步骤3中得到的高光图像S，重建出光照信息编辑后的人脸图像。

与现有的图像编辑方案相比，本发明具有以下优点和积极效果：

(1)本发明提出了一套全新的端到端深度学习网络模型，利用该模型把人脸图像逆向渲染成为五个部分：本色图像、残差图像、法线图像和光照系数。通过增加残差图像，提取并保留了在逆向渲染过程中丢失掉的光照残差分量，并且把该分量加入到重建过程中，显著提升了重建人脸的完整性和真实性。

(2)本方法不仅可以用于修改人脸图像中的光照信息，还能用于编辑人脸特征，例如单独编辑逆向渲染出来的本色图，再通过朗伯体光照模型算法，重建出人脸图像，这样可以保证重建出来的人脸图像光照信息的一致性。若直接对人脸图像进行编辑，如祛痘操作，在编辑图像过程中会修改图像部分区域的光照信息，导致图像中光照信息出现差异性，使得图像呈现出不真实的效果。

(3)本发明方法基于的深度学习算法和朗伯体光照模型均来自成熟技术，便于集成现有的模块实现。

附图说明

图1：本发明实施例的处理流程图；

图2：本发明实施例的效果示例图，使用自定义的光照参数编辑图像。第一列为待编辑光照信息的人脸图像，后六列分别为使用了六种不同自定义光照信息编辑后的结果。

图3：本发明实施例的效果示例图，使用参考图像的光照参数编辑图像。第一、四列为待编辑光照信息的人脸图像，第二、五列为参考光照信息的人脸图像，第三、六列为编辑后的人脸图像。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

本发明提供的一种逆向渲染的人脸图像光照信息编辑方法，利用预先训练过的一套端到端的深度学习算法模型，将人脸图像逆向渲染成为本色图像、残差图像、法线图像和光照参数。预先训练过程用到了海量的合成人脸图像数据和真实人脸图像数据，让最终模型能够有效的处理真实场景下拍摄的人脸图像。整体模型可分为两大过程：逆向渲染过程和人脸重建过程。逆向渲染过程的输入为：一张人脸图像，输出为：本色图像、残差图像、法线图像、光照参数；人脸重建过程的输入为：本色图像、残差图像、法线图像、光照参数，输出为：重建的人脸图像。通过修改人脸重建过程的输入数据，可得到不同的重建人脸图像。例如修改重建过程的光照参数，达到修改图像光照的效果。

基于以上思路，本发明方法完整的处理流程如图1所示，包含以下步骤：

步骤1：利用深度学习算法模型，生成得到待编辑人脸图像对应的本色图像A、残差图像R、法线图像N；

综合深度学习算法模型设计的经验，设计出了一套端到端算法模型，将输入的人脸图像送入到模型中，基于深度学习的逆渲染方法得到本色图像、残差图像和法线图像，过程为：

F(I)→A,R,N；

其中，F()表示深度学习算法模型，I、A、R、N分别表示输入人脸图像(图1中的人脸图像1)及其对应的本色图像、残差图像、法线图像。

步骤2：提取出参考人脸图像(图1中的人脸图像2)中的光照参数L，效果如图3，或者使用自定义的光照参数，效果如图2；

为了保证算法的一致性，步骤2中使用与步骤1中相同的算法模型，单独从参考人脸图像I₂中逆向渲染出光照参数L，过程为：

F(I₂)→L；

其中，F()表示深度学习算法模型，I₂表示参考人脸图像，L表示参考人脸图像中的光照参数或者自定义的光照参数。

本发明采用基于朗伯体光照模型的算法，计算公式为：

S＝Lambertain(N,L)；

这里，Lambertain()表征基于球谐函数系数的朗伯体光照模型，N表示输入图像对应的法线图像，L表示参考图像对应的光照参数或者自定义的光照参数，S表示几何特征与输入人脸图像一致、光照信息与参考人脸图像一致的高光图。

步骤4：将步骤1中得到的本色图像A和残差图像R与步骤3中得到的高光图像S输入到算法模型中，重建出光照信息编辑后的人脸图像。重建过程为：

I_r＝(S*A)+R；

其中，S表示步骤3中得到的高光图，A、R分别表示步骤1中得到本色图像和残差图象，I_r表示编辑后的人脸图像，*表示图像像素的点积操作，+表示图像像素的点加操作。

本发明首先对待编辑的人脸图像进行逆向渲染操作，得到对应的本色图像、残差图像、法线图像；接着，从另一张光照正常的人脸图像中提取或者使用自定义的光照信息作为期望光照信息；然后，结合法线图像与光照参数，得到对应的高光图像；最后，将高光图像、本色图像和残差图像组合在一起，重建得到编辑后的人脸图像。通过从提取的指定图像或者自定义的光照信息添加到编辑后的人脸图像中，可以任意修改待编辑人脸图像的光照信息，并且保证整体图像光照的一致性。

请见图2，为本发明实施例的效果示例图，使用自定义的光照参数编辑图像。第一列为待编辑光照信息的人脸图像，后六列分别为使用了六种不同自定义光照信息编辑后的结果。六种光照信息分别为白色光、强烈橘色光、暗淡橘色光、低光照、紫色光、自然光照。从结果可以看出，编辑后人脸图像的光照与上述六种光照信息一一对应，说明利用自定义光照参数来渲染目标图像是可行的。

请见图3，为本发明实施例的效果示例图，使用参考图像的光照参数编辑图像。第一、四列为待编辑光照信息的人脸图像，第二、五列为参考光照信息的人脸图像，第三、六列为编辑后的人脸图像。从结果可以看出，编辑后人脸图像的光照与参考图像的光照信息完全一致，说明利用参考图像的光照信息来渲染目标图像是可行的。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims

1.一种逆向渲染的人脸图像光照信息编辑方法，其特征在于，包括以下步骤：

步骤2：提取或自定义参考人脸图像中的光照参数L；

2.根据权利要求1所述的逆向渲染的人脸图像光照信息编辑方法，其特征在于，步骤1中，将待编辑人脸图像输入到深度学习算法模型中，基于深度学习逆渲染方法得到本色图像、残差图像和法线图像，过程为：

F(I)→A,R,N；

其中，F()表示深度学习算法模型，I、A、R、N分别表示输入待编辑人脸图像及其对应的本色图像、残差图像、法线图像。

3.根据权利要求1所述的逆向渲染的人脸图像光照信息编辑方法，其特征在于，步骤2中，将参考人脸图像输入到深度学习算法模型中，基于深度学习逆渲染方法得到光照参数L，过程为：

F(I₂)→L；

其中，F()表示深度学习算法模型，I₂表示参考人脸图像，L表示参考人脸图像中的光照参数。

4.根据权利要求1所述的逆向渲染的人脸图像光照信息编辑方法，其特征在于，步骤3中，基于朗伯体光照模型算法生成得到高光图像S：

S＝Lambertain(N,L)；

这里，Lambertain()表征基于球谐函数系数的朗伯体光照模型。

5.根据权利要求1所述的逆向渲染的人脸图像光照信息编辑方法，其特征在于，步骤4中，采用如下公式重建出光照信息编辑后的人脸图像：

I_r＝(S*A)+R；

其中，I_r表示编辑后的人脸图像，*表示图像像素的点积操作，+表示图像像素的点加操作。