CN113469085B - 人脸活体检测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开提出了一种人脸活体检测方法、装置、电子设备及存储介质，涉及计算机视觉和深度学习技术领域，可应用于人脸识别等场景。具体实现方案为：获取人脸视频中的连续N帧图像，并将N帧图像进行人脸对齐处理，得到N帧人脸图像；其中，N为大于1的整数；将N帧人脸图像中相邻两帧之间进行差分计算，获得N‑1帧第一差分图像；将N帧图像中的第N帧图像与第一帧图像进行差分计算，得到第二差分图像；根据N‑1帧第一差分图像确定对应的第一检测结果，并根据第二差分图像确定对应的第二检测结果；根据第一检测结果和第二检测结果，确定视频中人脸的活体检测结果。本公开针对现有的人脸伪造技术，可以有效地提高人脸活体检测的准确性及泛化性。

Description

人脸活体检测方法、装置、电子设备及存储介质

技术领域

本公开涉及人工智能技术领域，具体为计算机视觉和深度学习技术领域，可应用于人脸识别等场景，尤其涉及一种人脸活体检测方法、装置、电子设备及存储介质。

背景技术

人脸活体检测即区分一张图像是否为伪造的人脸，是人脸识别系统的基础组成模块，保证人脸识别系统的安全性。使用深度学习技术的人脸深度鉴伪算法是当前该领域的主流方法。然而，在一些应用场景中，基于深度学习的人脸深度鉴伪算法存在泛化性差，对于未知的伪造样本及方式效果下降的问题，影响实际应用性能。

发明内容

本公开提供了一种用于人脸活体检测的方法、装置、设备以及存储介质。

根据本公开的第一方面，提供了一种人脸活体检测方法，包括：

获取人脸视频中的连续N帧图像，并将所述N帧图像进行人脸对齐处理，得到N帧人脸图像；其中，N为大于1的整数；

将所述N帧人脸图像中相邻两帧之间进行差分计算，获得N-1帧第一差分图像；

将所述N帧图像中的第N帧图像与第一帧图像进行差分计算，得到第二差分图像；

根据所述N-1帧第一差分图像确定对应的第一检测结果，并根据所述第二差分图像确定对应的第二检测结果；

根据所述第一检测结果和所述第二检测结果，确定所述视频中人脸的活体检测结果。

根据本公开的第二方面，提供了一种人脸活体检测装置，包括：

获取模块，用于获取人脸视频中的连续N帧图像，并将所述N帧图像进行人脸对齐处理，得到N帧人脸图像；其中，N为大于1的整数；

第一差分模块，用于将所述N帧人脸图像中相邻两帧之间进行差分计算，获得N-1帧第一差分图像；

第二差分模块，用于将所述N帧图像中的第N帧图像与第一帧图像进行差分计算，得到第二差分图像；

第一确定模块，用于根据所述N-1帧第一差分图像确定对应的第一检测结果，并根据所述第二差分图像确定对应的第二检测结果；

第二确定模块，用于根据所述第一检测结果和所述第二检测结果，确定所述视频中人脸的活体检测结果。

根据本公开的第三方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述第一方面所述的方法。

根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行上述第一方面所述的方法。

根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述第一方面所述的方法。

根据本公开的技术方案，针对现有的人脸伪造技术，通过对人脸视频中连续多帧人脸图像进行前后帧的差分计算，并根据得到的差分图像确定对应的检测结果，相当于根据人脸图像在时间维度上的连续性，来确定对应的检测结果，从而可以有效地防御在时间维度上连续性较差的人脸伪造。此外，将人脸视频中的第一帧与最后一帧作差得到的差分图像，也作为活体检测的依据，相当于将人脸视频中背景的变化程度也考虑在内，从而可以有效地防御只对人脸区域进行处理而背景保持不变的人脸伪造方式，进而可以提升人脸活体检测技术性能保证人脸识别系统的安全，同时可以提高以人脸活体检测技术为基础的诸多应用的效果及体验。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是本公开实施例提出的一种人脸活体检测方法的流程图；

图2是本公开实施例中确定视频中人脸的活体检测结果的流程图；

图3是本公开实施例提出的另一种人脸活体检测方法的流程图；

图4是本公开实施例中人脸活体检测模型的网络结构示意图；

图5是本公开实施例提出的一种人脸活体检测装置的结构框图；

图6是本公开实施例提出的另一种人脸活体检测装置的结构框图；

图7是本公开实施例提出的一种电子设备的结构框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

需要说明的是，人脸活体检测即区分一张图像是否为伪造的人脸，是人脸识别系统的基础组成模块，保证人脸识别系统的安全性。当前人脸活体检测方法主要使用神经网络的深度学习方法。使用深度学习的人脸活体检测主要方法有基于卷积神经网络的伪造视频判别、基于长短期记忆人工神经网络的伪造视频判别等方法。此类方法使用神经网络进行人脸特征提取及分类。深度学习类方法能够提取到稳定性更强的人脸特征，有较好的性能。

但是，在现有技术中，人脸活体检测的方法对于未知的伪造方式及样本泛化性有限。另外，由于没有考虑到视频帧的时序信息，对于真实场景的视频伪造鲁棒性较差，导致识别效果并不理想。

此外，本公开的发明人根据当前人脸伪造技术的研究发现，目前大多数主流人脸伪造技术如Face2Face、DeepFakes、FaceSwap等都是基于单帧处理的方法，也就是将另一个人的人脸贴合到原人脸上完成伪造，导致生成的伪造视频在时间维度没有连续性，特别是在人脸运动过程中可能出现某一帧出现伪造效果较差的情况，而真实的人脸在两帧间不会出现很大的变化。另外如FOM等只对人脸表情进行驱动的深度伪造技术只对人脸区域进行处理，而对背景不做处理。

所以本公开基于上述问题及发现，提出了一种基于人脸视频帧间的差分图像，根据差分图像来确定活体检测结果的人脸活体检测方法、装置、电子设备及存储介质。

为了便于本公开实施例的理解，首先对人脸活体检测方法进行介绍。

需要说明的是，在本公开的技术方案中，所涉及的用户个人信息的获取、存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。且所涉及的用户个人信息是在征得用户同意的情况下获取、存储和应用的。

图1是本公开实施例提出的一种人脸活体检测方法的流程图。需要说明的是，本公开实施例的人脸活体检测方法可以应用于本公开实施例中的人脸活体检测装置，该装置可配置于电子设备。如图1所示，该方法包括以下步骤：

步骤101，获取人脸视频中的连续N帧图像，并将N帧图像进行人脸对齐处理，得到N帧人脸图像；其中，N为大于1的整数。

通常，进行人脸识别的终端设备可配置有摄像头，在进行人脸识别时，会触发终端设备的摄像头进行拍摄，根据拍摄的视频进行人脸识别。在本公开实施例中，人脸视频可以是人脸识别系统通过终端配置的摄像头拍摄的。需要说明的是，该人脸视频中需要包括人脸信息，作为一种示例，可以将终端摄像头拍摄的视频进行校验处理，响应于视频中不包含人脸信息，需要重新进行拍摄并校验。

此外，若人脸视频中的帧数大于N，则可以取其中连续的N帧作为人脸视频中的连续N帧图像。若人脸视频的帧数为N，则该视频对应的N帧即为人脸视频中的连续N帧图像。需要说明的是，该N帧图像均为包含人脸的图像。

在本公开实施例中，为了便于后续的人脸对齐操作，可以将N帧图像进行预处理，以获取人脸对应的区域。作为一种示例，可以将N帧图像中的每张图像通过检测模型对人脸进行检测，得到每张图像中人脸的位置区域。其中，检测模型是现有的人脸检测模型，可以用于检测人脸的位置。

接下来，根据检测到的人脸位置，对N帧图像进行人脸对齐，得到N帧人脸图像。作为一种示例，可以根据检测到的人脸区域，通过人脸关键点检测模型对人脸关键点进行检测，得到人脸关键点的坐标值；其中，人脸检测点模型为现有的模型，将已检测到人脸区域的N帧图像输入到该模型，可以得到72个人脸关键点坐标，分别为(x₁,y₁)…(x₇₂,y₇₂)；根据人脸关键点坐标值对目标人脸进行对齐得到对应的人脸图像。具体地，其对齐的过程可以为，根据上述72个人脸关键点坐标得到横坐标的最小值x_min，横坐标的最大值x_max，纵坐标的最小值y_min和纵坐标的最大值y_max，从而可以根据该四个点的坐标确定一个人脸框；将确定的人脸框扩大二倍再截取人脸图像，并调整尺寸为224*224，得到N帧人脸图像。

步骤102，将N帧人脸图像中相邻两帧之间进行差分计算，获得N-1帧第一差分图像。

可以理解，真实的人脸视频在两帧之间的变化较小，而伪造的人脸视频由于仅基于单帧处理，导致生成的伪造视频在时间维度上连续性较差。所以将N帧人脸图像中相邻两帧之间进行差分计算，也就是说，对N帧人脸图像中相邻两帧之间的差异进行计算，得到的差分图像可以表示人脸视频在时间维度上的连续性，进而可以判断该视频中的人脸的真伪。

作为一种示例，可以将N帧人脸图像中每相邻两帧之间的后帧与前帧做差，其中，每两帧人脸图像做差可以得到一张差分图像，所以该N帧人脸图像可以得到N-1帧第一差分图像。

步骤103，将N帧图像中的第N帧图像与第一帧图像进行差分计算，得到第二差分图像。

在现有的人脸伪造技术中，存在只对人脸表情进行驱动的深度伪造技术，相当于，只对人脸区域进行伪造处理，而背景信息保持不变。也就是说，可以根据N帧图像中的背景信息是否一致，来作为判断视频中人脸真伪的依据。

在本公开实施例中，通过将N帧图像中的第N帧图像与第一帧图像进行差分处理得到第二差分图像，也就是说，通过将N帧图像中的第N帧图像与第一帧图像做差得到第二差分图像。其中，第二差分图像用于表征N帧图像中的背景信息的变化程度。

步骤104，根据N-1帧第一差分图像确定对应的第一检测结果，并根据第二差分图像确定对应的第二检测结果。

可以理解，N-1帧第一差分图像可以表征人脸视频中人脸信息在相邻两帧之间的变化，也就是说，第一差分图像表征的人脸信息在相邻两帧之间的变化越大，该视频中的人脸就越可能是伪造的。同时，第二差分图像可以表征人脸视频中背景信息的变化，也就是说，第二差分图像表征的人脸视频中背景信息的变化越大，该视频中的人脸就越可能是伪造的。

作为一种示例，根据N-1帧第一差分图像确定对应的第一检测结果的实现方式可以为：将N-1帧第一差分图像进行时空特征提取，获取N-1帧第一差分图像的时空特征向量，比如可以通过训练好的3D卷积神经网络对N-1帧第一差分图像进行时空特征提取；将得到的时空特征向量进行加权计算，对时空特征信息进行整合，得到对应的第一加权结果；将得到的第一加权结果进行归一化处理，获取对应的第一检测结果。此外，根据第二差分图像确定对应的第二检测结果的实现方式可以为：将第二差分图像进行特征提取，获取对应的第一特征向量，比如使用卷积神经网络对第二差分图像进行特征提取；将第一特征向量进行加权计算，获取对应的第二加权结果；将第二加权结果进行归一化处理，获取对应的第二检测结果。其中第一检测结果和第二检测结果可以为该视频中人脸为真人的概率，也可以二分类结果，分别表示该视频中人脸为真人的概率和该视频中人脸非真人的概率，或者为其他可以表示检测结果的其他形式。

作为另一种示例，可以将第一差分图像进行分值划分，分值越高表示相邻两帧图像中人脸信息变化越大，根据N-1帧第一差分图像的分值来计算该视频中人脸为真人的概率，并将该概率值作为第一检测结果。同时，将第二差分图像也进行分值划分，分值越高表示背景信息变化越大，并将该分值与该视频中人脸为真人的概率进行对应，从而得到第二检测结果。

步骤105，根据第一检测结果和第二检测结果，确定视频中人脸的活体检测结果。

可以理解，由于目前人脸伪造技术中既存在针对单帧图像中通过人脸贴合进行人脸伪造的方式，也存在只对人脸区域伪造而对背景不出来的方式，所以根据第一检测结果和第二检测结果来确定视频中人脸的活体检测结果，可以有效地提高人脸活体检测的效果和准确性。

作为一种示例，可以将第一检测结果和第二检测结果进行融合处理，如：求平均处理、加权平均处理等，将融合处理后的结果作为视频中人脸活体检测的结果。

根据本公开实施例提出的人脸活体检测方法，针对现有的人脸伪造技术，通过对人脸视频中连续多帧人脸图像进行前后帧的差分计算，并根据得到的差分图像确定对应的检测结果，相当于根据人脸图像在时间维度上的连续性，来确定对应的检测结果，从而可以有效地防御在时间维度上连续性较差的人脸伪造。此外，将人脸视频中的第一帧与最后一帧作差得到的差分图像，也作为活体检测的依据，相当于将人脸视频中背景的变化程度也考虑在内，从而可以有效地防御只对人脸区域进行处理而背景保持不变的人脸伪造方式，进而可以提升人脸活体检测技术性能保证人脸识别系统的安全，同时可以提高以人脸活体检测技术为基础的诸多应用的效果及体验。

为了更有效地确定视频中人脸的活体检测结果，在上述实施例的基础上，本公开提出了另一个实施例。

图2是本公开实施例中确定视频中人脸的活体检测结果的流程图。如图2所示，确定视频中人脸的活体检测结果的实现方式可以为：

步骤201，判断第二检测结果是否小于预设阈值。

可以理解，第二检测结果是根据第二差分图像得到的，也就是说，通过对第二差分图像进行计算，得到连续N帧图像中背景信息的变化情况，根据背景信息的变化情况来得到第二检测结果。若第二检测结果中该视频中人脸为真人的概率很小，也就是说，该视频中背景信息几乎不变，此时可以之间确定当前视频中的人脸是伪造的。

在本公开实施例中，第二检测结果为该视频中人脸为真人的概率，预设阈值是指第二检测结果中该视频中人脸为真人的概率的阈值，此值的大小可以根据实际情况通过多次实验进行确定。可以理解，该阈值可以作为是否可以直接根据第二检测结果确定活体检测结果的界限，响应于第二检测结果低于该阈值，说明该视频中人脸为真人的概率极小，可以直接确定该视频中人脸活体检测结果为非活体。响应于第二检测结果高于或等于该阈值，说明该视频中人脸可能为真人或者伪造的，需要结合第一检测结果来进一步确定。这样，将第二检测结果作为确定人脸活体检测结果的初步判断，可以减少确定视频中而内敛的活体检测结果的计算量，提高结果输出效率。

步骤202，响应于第二检测结果小于预设阈值，根据第二检测结果确定视频中人脸的活体检测结果。

也就是说，响应于第二检测结果对应的该视频中人脸为真人的概率小于预设阈值，可以直接根据第二检测结果来确定视频中人脸的活体检测结果。

举例而言，假如得到的第二检测结果是该视频中人脸为真人的概率为0.05，而预设阈值为0.1，即第二检测结果小于预设阈值，此时可以直接根据第二检测结果，确定视频中人脸的活体检测结果为非活体。

步骤203，响应于第二检测结果大于或者等于预设阈值，将第一检测结果和第二检测结果进行融合处理，并将融合处理后的结果作为视频中人脸的活体检测结果。

也就是说，响应于第二检测结果对应的该视频中人脸为真人的概率大于或者等于预设阈值，此时视频中人脸有可能为真人或者为伪造的，即只根据第二检测结果并不能确定视频中人脸的活体检测结果，需要结合第一检测结果来进一步确定。

在本公开实施例中，将第一检测结果和第二检测结果进行融合处理，并将融合处理后的结果作为视频中人脸的活体检测结果的实现方式可以为：将第一检测结果和第二检测结果进行求平均计算，并将求平均计算后得到的结果作为视频中人脸的活体检测结果；或者，将第一检测结果和第二检测结果进行加权平均计算，并将加权平均计算后得到的结果作为视频中人脸的活体检测结果。

作为另一种实施方式，第一检测结果和第二检测结果可以为二分类结果。该二分类结果中第一分类结果表示视频中人脸为活体的概率，该二分类结果中第二分类结果表示视频中人脸为非活体的概率。则上述步骤201，为判断第二检测结果中的第一分类结果是否小于预设阈值；步骤202，为响应于第二检测结果中的第一分类结果小于预设阈值，根据第二检测结果确定视频中人脸的活体检测结果；步骤203，为响应于第二检测结果中的第一分类结果大于或者等于预设阈值，将第一检测结果和第二检测结果进行融合处理，并将融合处理后的结果作为视频中人脸的活体检测结果。

根据本公开实施例的人脸活体检测方法，在确定视频中人脸的活体检测结果时，先将第二检测结果与预设阈值进行比较，作为确定视频中人脸活体检测结果的初步判断，响应于第二检测结果小于预设阈值，直接根据第二检测结果作为活体检测结果，也就是说，直接判断该视频中人脸活体检测结果为非活体，否则再结合第一检测结果来进一步确定。这样，可以有效地减少确定视频中而内敛的活体检测结果的计算量，提高结果输出效率。

为了减少光线等对图像像素值的干扰，消除由于几何变换等对图像造成影响，本公开实施例中增加了对图像的归一化处理。

图3是本公开实施例提出的另一种人脸活体检测方法的流程图。在上述实施例的基础上，如图3所示，该方法还包括：

步骤306，将N帧人脸图像进行像素归一化处理，得到N帧归一化人脸图像。

需要说明的是，归一化的基本思想是利用图像的不变矩，寻找一组参数使其能够消除其他变换函数对图像变换的影响，也就是转换成唯一的标准形式以抵抗仿射变换。图像的像素归一化处理可以使图像抵抗几何变换的攻击，减少由于光线不均匀造成像素值的干扰。

作为一种示例，将N帧人脸图像进行像素归一化处理的实现方式可以为：将图像种每一个像素的像素值均减去128后，再分别除以256，使得每个像素的像素值在[-0.5，0.5]之间。

步骤302，将N帧归一化人脸图像中相邻两帧之间进行差分计算，获得N-1帧第一差分图像。

需要说明的是，图3中的步骤301至305与图1中的步骤101至105具有相同的实现方式，此处不再赘述。

根据本公开实施例的人脸活体检测方法，通过对人脸图像增加像素归一化处理，可以有效地减少由于光线不均匀造成像素值的干扰，使图像可以抵扣几何变换的攻击，从而可以提高人脸活体检测的准确性。

基于上述实施例，其中根据N-1帧第一差分图像确定对应的第一检测结果，以及根据第二差分图像确定对应的第二检测结果的过程可以通过人脸活体检测模型来实现。

图4为该人脸活体检测模型的网络结构示意图，如图4所示，人脸活体检测模型包括时空特征提取层401、第一全连接层402、第一归一化层403、图像特征提取层404、第二全连接层405和第二归一化层406。该模型预先通过真人视频的连续N帧图像样本和伪造人脸视频的连续N帧图像样本数据训练得到的。

具体地，将N-1帧第一差分图像输入至时空特征提取层401进行时空特征提取，得到N-1帧第一差分图像的时空特征向量；其中，时空特征提取层可以为I3D卷积神经网络，也可以为其他可以提取时空特征的网络模型；将得到的时空特征向量输入至第一全连接层402进行加权计算，得到对应的第一加权结果；将第一加权结果输入至第一归一化层403进行归一化处理，得到对应的第一检测结果，其中归一化层403可以为softmax层。

此外，将第二差分图像输入至图像特征提取层404进行特征提取，得到对应的第一特征向量，其中图像特征提取层404可以为MobileNet V2卷积神经网络，也可以为其他卷积神经网络模型；将得到的第一特征向量舒坦至第二全连接层405进行加权计算，得到对应的第二加权结果；将得到的第二加权结果输入值第二归一化层406进行归一化处理，得到对应的第二检测结果。

在本公开实施例中，该人脸活体检测模型的训练方式可以为：获取人脸视频的连续N帧图像样本；其中，N帧图像样本包括真人人脸视频的N帧连续图像样本和伪造人脸视频的N帧连续图像样本；将N帧图像样本进行人脸对齐处理，得到N帧人脸图像样本；N帧人脸图像样本进行像素归一化操作，并进行随机数据增强处理；针对N帧人脸图像样本中每组N帧人脸图像，将相邻两帧之间进行差分计算，获得N-1帧第一差分图像样本；针对N帧图像样本中每组N帧图像，将第N帧图像与第一帧图像进行差分计算，得到第二差分图像样本；将N-1帧第一差分图像样本输入至人脸活体检测模型的时空特征提取层进行时空特征提取，并将时空特征提取层提取到的信息输入至第一全连接层进行加权计算，将得到的加权计算结果通过第一归一化层进行归一化处理，得到第一预测结果；将第二差分图像样本输入至图像特征提取层进行特征提取，并将提取到的信息输入至第二全连接层进行加权计算，将得到的加权计算结果通过第二归一化层进行归一化处理，得到第二预测结果；根据第一预测结果和第二预测结果计算对应的损失值，来对人脸活体检测模型进行训练。

根据本公开实施例提出的人脸活体检测方法，通过人脸活体检测模型分别对得到的差分图像进行特征提取及分类计算，得到对应的检测结果，相当于使用人脸活体检测模型来提取出真人视频和伪造视频中更具有判别性的特征进行分类检测，可以有效地提高人脸活体检测的泛化性和准确率，也可以提高检测效率。此外，该人脸检测模型通过真人视频连续帧图像样本和伪造人脸视频连续帧图像样本得到的差分图像进行训练，可以加快网络训练的收敛速度，提高模型训练的效率。

为了实现上述实施例，本公开提出了一种人脸活体检测装置。

图5为本公开实施例提出的一种人脸活体检测装置的结构框图。如图5所示，该装置包括：

获取模块510，用于获取人脸视频中的连续N帧图像，并将N帧图像进行人脸对齐处理，得到N帧人脸图像；其中，N为大于1的整数；

第一差分模块520，用于将N帧人脸图像中相邻两帧之间进行差分计算，获得N-1帧第一差分图像；

第二差分模块530，用于将N帧图像中的第N帧图像与第一帧图像进行差分计算，得到第二差分图像；

第一确定模块540，用于根据N-1帧第一差分图像确定对应的第一检测结果，并根据第二差分图像确定对应的第二检测结果；

第二确定模块550，用于根据第一检测结果和第二检测结果，确定视频中人脸的活体检测结果。

在本公开的一些实施例中，第一确定模块540具体用于：

将N-1帧第一差分图像进行时空特征提取，获取N-1帧第一差分图像的时空特征向量；

将时空特征向量进行加权计算，获取对应的第一加权结果；

将第一加权结果进行归一化处理，获取对应的第一检测结果。

在本公开的一些实施例中，第一确定模块540还用于：

将第二差分图像进行特征提取，获取对应的第一特征向量；

将第一特征向量进行加权计算，获取对应的第二加权结果；

将第二加权结果进行归一化处理，获取对应的第二检测结果。

进一步地，在本公开的一些实施例中，第二确定模块550包括：

判断单元551，用于判断第二检测结果是否小于预设阈值；

第一确定单元552，用于在第二检测结果小于预设阈值时，根据第二检测结果确定视频中人脸的活体检测结果；

第二确定单元553，用于在第二检测结果大于或者等于预设阈值时，将第一检测结果和第二检测结果进行融合处理，并将融合处理后的结果作为视频中人脸的活体检测结果。

其中，第二确定单元553具体用于：

将第一检测结果和第二检测结果进行求平均计算，并将求平均计算后得到的结果作为视频中人脸的活体检测结果；或者，

将第一检测结果和第二检测结果进行加权平均计算，并将加权平均计算后得到的结果作为视频中人脸的活体检测结果。

在本公开的又一些实施例中，第一检测结果和第二检测结果分别为二分类结果，二分类结果中第一分类结果表示视频中的人脸为活体的概率，二分类结果中第二分类结果表示视频中的人脸为非活体的概率；其中，判断单元551具体用于：

判断第二检测结果中的第一分类结果是否小于预设阈值；

第一确定单元552具体用于：

响应于第二检测结果中的第一分类结果小于预设阈值，根据第二检测结果确定视频中人脸的活体检测结果；

第二确定单元553具体用于：

响应于第二检测结果中的第一分类结果大于或者等于预设阈值，将第一检测结果和第二检测结果进行融合处理，并将融合处理后的结果作为视频中人脸的活体检测结果。

根据本公开实施例提出的人脸活体检测装置，针对现有的人脸伪造技术，通过对人脸视频中连续多帧人脸图像进行前后帧的差分计算，并根据得到的差分图像确定对应的检测结果，相当于根据人脸图像在时间维度上的连续性，来确定对应的检测结果，从而可以有效地防御在时间维度上连续性较差的人脸伪造。此外，将人脸视频中的第一帧与最后一帧作差得到的差分图像，也作为活体检测的依据，相当于将人脸视频中背景的变化程度也考虑在内，从而可以有效地防御只对人脸区域进行处理而背景保持不变的人脸伪造方式，进而可以提升人脸活体检测技术性能保证人脸识别系统的安全，同时可以提高以人脸活体检测技术为基础的诸多应用的效果及体验。

为了减少光线等对图像像素值的干扰，消除由于几何变换等对图像造成影响，本公开提出了另一种人脸活体检测装置。

图6是本公开实施例提出的另一种人脸活体检测装置的结构框图。在上述实施例的基础上，如图6所示，该装置还包括：

归一化模块660，将N帧人脸图像进行像素归一化处理，得到N帧归一化人脸图像；

其中，第一差分模块620具体用于：

将N帧归一化人脸图像中相邻两帧之间进行差分计算，获得N-1帧第一差分图像。

需要说明的是，图6中的610至650与图5中的510至550具有相同的功能和结构，此处不再赘述。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

根据本公开实施例的人脸活体检测装置，通过对人脸图像增加像素归一化处理，可以有效地减少由于光线不均匀造成像素值的干扰，使图像可以抵扣几何变换的攻击，从而可以提高人脸活体检测的准确性。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

如图7所示，是根据本公开实施例的人脸活体检测方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图7所示，该电子设备包括：一个或多个处理器701、存储器702，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图7中以一个处理器701为例。

存储器702即为本公开所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本公开所提供的人脸活体检测方法。本公开的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本公开所提供的人脸活体检测方法。

存储器702作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本公开实施例中的人脸活体检测方法对应的程序指令/模块(例如，附图5所示的获取模块510、第一差分模块520、第二差分模块530、第一确定模块540和第二确定模块550)。处理器701通过运行存储在存储器702中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的人脸活体检测方法。本公开实施例提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现上述方法实施例中的人脸活体检测方法。

存储器702可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据人脸活体检测方法的电子设备的使用所创建的数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器702可选包括相对于处理器701远程设置的存储器，这些远程存储器可以通过网络连接至人脸活体检测方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

人脸活体检测方法的电子设备还可以包括：输入装置703和输出装置704。处理器701、存储器702、输入装置703和输出装置704可以通过总线或者其他方式连接，图7中以通过总线连接为例。

输入装置703可接收输入的数字或字符信息，以及产生与人脸活体检测方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置704可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (14)

1.一种人脸活体检测方法，包括：

获取人脸视频中的连续N帧图像，并将所述N帧图像进行人脸对齐处理，得到N帧人脸图像；其中，N为大于1的整数；

将经过所述人脸对齐处理后得到的所述N帧人脸图像中相邻两帧之间进行差分计算，获得N-1帧第一差分图像；

将所述N帧图像中的第N帧图像与第一帧图像进行差分计算，得到第二差分图像；

根据所述N-1帧第一差分图像确定对应的第一检测结果，并根据所述第二差分图像确定对应的第二检测结果；

根据所述第一检测结果和所述第二检测结果，确定所述视频中人脸的活体检测结果；

其中，所述根据所述第一检测结果和所述第二检测结果，确定所述视频中人脸的活体检测结果，包括：

判断所述第二检测结果是否小于预设阈值；

响应于所述第二检测结果小于所述预设阈值，根据所述第二检测结果确定所述视频中人脸的活体检测结果；

响应于所述第二检测结果大于或者等于所述预设阈值，将所述第一检测结果和所述第二检测结果进行融合处理，并将融合处理后的结果作为所述视频中人脸的活体检测结果。

2.根据权利要求1所述的方法，其中，所述根据所述N-1帧第一差分图像确定对应的第一检测结果，包括：

将所述N-1帧第一差分图像进行时空特征提取，获取所述N-1帧第一差分图像的时空特征向量；

将所述时空特征向量进行加权计算，获取对应的第一加权结果；

将所述第一加权结果进行归一化处理，获取对应的第一检测结果。

3.根据权利要求1所述的方法，其中，所述根据所述第二差分图像确定对应的第二检测结果，包括：

将所述第二差分图像进行特征提取，获取对应的第一特征向量；

将所述第一特征向量进行加权计算，获取对应的第二加权结果；

将所述第二加权结果进行归一化处理，获取对应的第二检测结果。

4.根据权利要求1所述的方法，其中，将所述第一检测结果和所述第二检测结果进行融合处理，并将融合处理后的结果作为所述视频中人脸的活体检测结果，包括：

将所述第一检测结果和所述第二检测结果进行求平均计算，并将所述求平均计算后得到的结果作为所述视频中人脸的活体检测结果；或者，

将所述第一检测结果和所述第二检测结果进行加权平均计算，并将所述加权平均计算后得到的结果作为所述视频中人脸的活体检测结果。

5.根据权利要求1所述的方法，其中，所述第一检测结果和所述第二检测结果分别为二分类结果，所述二分类结果中第一分类结果表示所述视频中的人脸为活体的概率，所述二分类结果中第二分类结果表示所述视频中的人脸为非活体的概率；所述根据所述第一检测结果和所述第二检测结果，确定所述视频中人脸的活体检测结果，包括：

判断所述第二检测结果中的所述第一分类结果是否小于预设阈值；

响应于所述第二检测结果中的所述第一分类结果小于所述预设阈值，根据所述第二检测结果确定所述视频中人脸的活体检测结果；

响应于所述第二检测结果中的所述第一分类结果大于或者等于所述预设阈值，将所述第一检测结果和所述第二检测结果进行融合处理，并将融合处理后的结果作为所述视频中人脸的活体检测结果。

6.根据权利要求1所述的方法，其中，将所述N帧人脸图像中相邻两帧之间进行差分计算，获得N-1帧第一差分图像，包括：

将所述N帧人脸图像进行像素归一化处理，得到N帧归一化人脸图像；

将所述N帧归一化人脸图像中相邻两帧之间进行差分计算，获得N-1帧第一差分图像。

7.一种人脸活体检测装置，包括：

获取模块，用于获取人脸视频中的连续N帧图像，并将所述N帧图像进行人脸对齐处理，得到N帧人脸图像；其中，N为大于1的整数；

第一差分模块，用于将经过所述人脸对齐处理后得到的所述N帧人脸图像中相邻两帧之间进行差分计算，获得N-1帧第一差分图像；

第二差分模块，用于将所述N帧图像中的第N帧图像与第一帧图像进行差分计算，得到第二差分图像；

第一确定模块，用于根据所述N-1帧第一差分图像确定对应的第一检测结果，并根据所述第二差分图像确定对应的第二检测结果；

第二确定模块，用于根据所述第一检测结果和所述第二检测结果，确定所述视频中人脸的活体检测结果；

所述第二确定模块包括：

判断单元，用于判断所述第二检测结果是否小于预设阈值；

第一确定单元，用于在所述第二检测结果小于所述预设阈值时，根据所述第二检测结果确定所述视频中人脸的活体检测结果；

第二确定单元，用于在所述第二检测结果大于或者等于所述预设阈值时，将所述第一检测结果和所述第二检测结果进行融合处理，并将融合处理后的结果作为所述视频中人脸的活体检测结果。

8.根据权利要求7所述的装置，其中所述第一确定模块具体用于：

将所述N-1帧第一差分图像进行时空特征提取，获取所述N-1帧第一差分图像的时空特征向量；

将所述时空特征向量进行加权计算，获取对应的第一加权结果；

将所述第一加权结果进行归一化处理，获取对应的第一检测结果。

9.根据权利要求7所述的装置，其中，所述第一确定模块具体用于：

将所述第二差分图像进行特征提取，获取对应的第一特征向量；

将所述第一特征向量进行加权计算，获取对应的第二加权结果；

将所述第二加权结果进行归一化处理，获取对应的第二检测结果。

10.根据权利要求7所述的装置，其中，所述第二确定单元具体用于：

将所述第一检测结果和所述第二检测结果进行求平均计算，并将所述求平均计算后得到的结果作为所述视频中人脸的活体检测结果；或者，

将所述第一检测结果和所述第二检测结果进行加权平均计算，并将所述加权平均计算后得到的结果作为所述视频中人脸的活体检测结果。

11.根据权利要求7所述的装置，其中，所述第一检测结果和所述第二检测结果分别为二分类结果，所述二分类结果中第一分类结果表示所述视频中的人脸为活体的概率，所述二分类结果中第二分类结果表示所述视频中的人脸为非活体的概率；所述判断单元具体用于：

判断所述第二检测结果中的所述第一分类结果是否小于预设阈值；

所述第一确定单元具体用于：

响应于所述第二检测结果中的所述第一分类结果小于所述预设阈值，根据所述第二检测结果确定所述视频中人脸的活体检测结果；

所述第二确定单元具体用于：

响应于所述第二检测结果中的所述第一分类结果大于或者等于所述预设阈值，将所述第一检测结果和所述第二检测结果进行融合处理，并将融合处理后的结果作为所述视频中人脸的活体检测结果。

12.根据权利要求7所述的装置，还包括：

归一化模块，将所述N帧人脸图像进行像素归一化处理，得到N帧归一化人脸图像；

其中，所述第一差分模块具体用于：

将所述N帧归一化人脸图像中相邻两帧之间进行差分计算，获得N-1帧第一差分图像。

13. 一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至6中任一项所述的方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1至6中任一项所述的方法。