CN107368777A - 一种微笑动作检测方法和装置及活体识别方法和系统 - Google Patents

Abstract

本发明公开了一种微笑动作检测方法，包括：从待测人脸视频中抽取若干视频帧；其中，所述抽取的若干视频帧包括待测人脸视频的第一帧视频帧；获取从所述待测人脸视频中抽取的每一所述视频帧的左嘴角和右嘴角的关键点位置；以第一帧视频帧的左嘴角和右嘴角的关键点位置为基准，获取每一抽取的所述视频帧的左嘴角和右嘴角分别移动距离；判定左嘴角和右嘴角的移动距离均大于预设距离阈值的所述视频帧的待测人脸为微笑状态；若抽取的若干所述视频帧中包括预设帧数的所述待测人脸为微笑状态的所述视频帧，判定待测人脸有微笑动作。相应的，本发明还公开了一种微笑动作检测装置。本发明计算简单效率高。

Description

一种微笑动作检测方法和装置及活体识别方法和系统

技术领域

本发明涉及人脸识别领域，尤其涉及一种微笑动作检测方法和装置及活体识别方法和系统。

背景技术

随着人脸识别技术的发展，越来越多的场景需要用到人脸检测去快速的识别一个人的身份。但是有不法份子会利用图片或者视频代替真人去进行人脸识别，这样整个人脸识别系统的安全性就得不到保证。而人脸活体识别可以检测出当前待测人脸是活体人脸而非照片或者视频中的人脸，从而保证了人脸识别系统的安全性。在进行人脸识别时，可以通过对待测人脸的微笑动作的检测有助于识别人脸是否为活体，为实现在人体识别时，能实现高效简单地识别人脸是否活体，因而需要一种高效简单的微笑动作检测技术方案。

发明内容

本发明实施例的目的是提供一种微笑动作检测方法，计算简单，效率高。

为实现上述目的，本发明提供了一种微笑动作检测方法，包括步骤：

从待测人脸视频中抽取若干视频帧；其中，所述抽取的若干视频帧包括待测人脸视频的第一帧视频帧；

获取从所述待测人脸视频中抽取的每一所述视频帧的左嘴角关键点位置和右嘴角关键点位置；

以第一帧视频帧的左嘴角关键点位置和右嘴角关键点位置为基准，获取每一抽取的所述视频帧的左嘴角移动距离和右嘴角移动距离；

若判定抽取的每一所述视频帧中的所述左嘴角移动距离和所述右嘴角移动距离均大于预设距离阈值，则判定对应的所述视频帧的待测人脸为微笑状态；

若抽取的若干所述视频帧中的存在预设帧数的待测人脸为微笑状态的视频帧，判定所述待测人脸视频的待测人脸有微笑动作。

与现有技术相比，本发明公开的一种微笑动作检测装置，首先从待测人脸视频中抽取若干视频帧，然后获取抽取的每一视频帧的左嘴角关键点位置和右嘴角关键点位置；并获取左嘴角移动距离和右嘴角移动距离；通过微笑状态判断单元左嘴角移动距离和右嘴角移动距离均大于预设距离阈值的视频帧的待测人脸为微笑状态；最后若抽取的若干所述视频帧中包括预设帧数的待测人脸为微笑状态的视频帧，判定待测人脸视频的待测人脸有微笑动作；该方案获取的嘴角的关键点位置、以及嘴角移动距离的计算过程简单高效，任何普通摄像头或者移动端手机的摄像头均可作为待测人脸视频的输入硬件，设备硬件要求简单。

进一步的，所述判定抽取的每一所述视频帧中的所述左嘴角移动距离和所述右嘴角移动距离均大于预设距离阈值包括：

基于第一帧视频帧的左嘴角关键点位置和右嘴角关键点位置计算嘴部长度；

通过所述左嘴角移动距离与嘴部长度的比值计算所述左嘴角移动比例，通过所述右嘴角移动距离与嘴部长度的比值计算所述右嘴角移动比例；

当判定抽取的每一所述视频帧中的所述左嘴角移动比例和所述右嘴角移动比例均大于预设比例阈值，判定对应的所述视频帧的所述左嘴角移动距离和所述右嘴角移动距离均大于预设距离阈值。

进一步的，所述获取从所述待测人脸视频中抽取的每一所述视频帧的左嘴角关键点位置和右嘴角关键点位置包括：

对从所述待测人脸视频中抽取的每一所述视频帧用dlib库做人脸检测和人脸关键点位置检测，获取待测人脸的若干关键点位置；

从每一抽取的所述视频帧的所述待测人脸的若干关键点位置中获取左嘴角关键点位置和右嘴角关键点位置。

进一步的，所述以第一帧视频帧的左嘴角关键点位置和右嘴角关键点位置为基准，获取每一抽取的所述视频帧的左嘴角移动距离和右嘴角移动距离包括：

以第一帧视频帧的左嘴角关键点位置为基准，获取每一抽取的所述视频帧的左嘴角关键点位置向左移动的距离为左嘴角移动距离；

以第一帧视频帧的右嘴角关键点位置为基准，获取每一抽取的所述视频帧的右嘴角关键点位置向右移动的距离为右嘴角移动距离。

相应地，本发明还提供一种微笑动作检测装置，包括：

视频帧抽取单元，用于从待测人脸视频中抽取若干视频帧；其中，所述抽取的若干视频帧包括待测人脸视频的第一帧视频帧；

嘴角关键点位置获取单元，用于获取从所述待测人脸视频中抽取的每一所述视频帧的左嘴角关键点位置和右嘴角关键点位置；

嘴角移动距离获取单元，用于以第一帧视频帧的左嘴角关键点位置和右嘴角关键点位置为基准，获取每一抽取的所述视频帧的左嘴角移动距离和右嘴角移动距离；

微笑状态判断单元，用于若判定抽取的每一所述视频帧中的所述左嘴角移动距离和所述右嘴角移动距离均大于预设距离阈值，则判定对应的所述视频帧的待测人脸为微笑状态；

微笑动作判断单元，用于若抽取的若干所述视频帧中包括预设帧数的所述待测人脸为微笑状态的所述视频帧，判定所述待测人脸视频的待测人脸有微笑动作。

与现有技术相比，本发明公开的一种微笑动作检测装置，首先通过视频帧抽取单元从待测人脸视频中抽取若干视频帧，然后通过嘴角关键点位置获取单元获取抽取的每一视频帧的左嘴角关键点位置和右嘴角关键点位置；并通过嘴角移动距离获取单元获取左嘴角移动距离和右嘴角移动距离；通过微笑状态判断单元所述左嘴角移动距离和右嘴角移动距离均大于预设距离阈值的视频帧的待测人脸为微笑状态；最后通过微笑动作判断单元判定若抽取的若干所述视频帧中包括预设帧数的待测人脸为微笑状态的视频帧，则待测人脸视频的待测人脸有微笑动作。该方案获取的嘴角的关键点位置、以及嘴角移动距离的计算过程简单高效，任何普通摄像头或者移动端手机的摄像头均可作为待测人脸视频的输入硬件，设备硬件要求简单。

进一步的，所述微笑状态判断单元包括：

嘴部长度计算模块，用于基于第一帧视频帧的左嘴角关键点位置和右嘴角关键点位置计算嘴部长度；

嘴角移动比例模块，用于通过所述左嘴角移动距离与嘴部长度的比值计算所述左嘴角移动比例，通过所述右嘴角移动距离与嘴部长度的比值计算所述右嘴角移动比例；

微笑状态判断模块，用于当判定抽取的每一所述视频帧中的所述左嘴角移动比例和所述右嘴角移动比例均大于预设比例阈值，判定对应的所述视频帧的所述左嘴角移动距离和所述右嘴角移动距离均大于预设距离阈值，且对应的所述视频帧的待测人脸为微笑状态。

进一步的，嘴角关键点位置获取单元包括：

人脸关键点检测模块，用于对对从所述待测人脸视频中抽取的每一所述视频帧用dlib库做人脸检测和人脸关键点位置检测，获取待测人脸的若干关键点位置；

嘴角关键点检测模块，用于对从每一抽取的所述视频帧的所述待测人脸的若干关键点位置中获取左嘴角关键点位置和右嘴角关键点位置。

进一步的，所述嘴角移动距离获取单元包括：

左嘴角移动距离模块，用于以第一帧视频帧的左嘴角关键点位置为基准，获取每一抽取的所述视频帧的左嘴角关键点位置向左移动的距离为左嘴角移动距离；

右嘴角移动距离模块，用于以第一帧视频帧的右嘴角关键点位置为基准，获取每一抽取的所述视频帧的右嘴角关键点位置向右移动的距离为右嘴角移动距离。

相应地，本发明还提供一种活体识别方法，其特征在于，所述活体识别方法包括步骤：

检测待测人脸视频中的待测人脸的微笑动作的情况和其它至少一个部位运动的情况，其中，采用本发明提供的一种微笑动作检测方法检测待测人脸视频中的待测人脸的微笑动作的情况；

基于部位运动的情况获取所述待测人脸的每一部位运动对应的运动分值；

计算每一所述部位运动对应的运动分值加权后的总和，并将计算得到的所述总和作为活体识别分值；其中，每一所述部位运动已预设相应的权值；

判定所述活体识别分值不小于预设阈值的所述待测人脸为活体。

与现有技术相比，本发明公开的一种活体识别方法，采用本发明公开的微笑动作检测方法检测待测人脸视频的待测人脸的微笑动作的情况，以及通过检测待测人脸的其他部位的运动情况，获取对应的部位运动的运动分值，对部位运动分值进行加权后求和作为活体识别分值，利用活体识别分值作为所述待测人脸是否为活体的判断标准的技术方案；其中，微笑动作检测方法计算过程简单高效，设备硬件要求简单；采用检测微笑动作和其他至少一个部位运动解决了现有技术中算法单一，安全性不高的问题，可扩展性强，且基于人脸部位运动的检测可以通过二维图像实现，对硬件要求不高；另外，采用对不同部位运动加权再进行分数融合，活体识别准确度高，本活体识别方法准确率高、硬件要求低和安全性高。

相应地，本发明还提供一种活体识别系统，包括：

人脸部位运动检测装置至少2个人脸部位运动检测装置，每一所述人脸部位运动检测装置用于检测待测人脸对应的部位运动的情况，其中一人脸部位运动检测装置为如权利要求5～8任一项所述的一种微笑动作检测装置；

部位运动分值获取装置，用于基于每一所述部位运动的情况获取所述待测人脸的每一部位运动对应的运动分值；

活体识别分值计算装置，用于计算每一所述部位运动对应的运动分值加权后的总和，并将计算得到的所述总和作为活体识别分值；其中，所述活体识别分值计算装置已预设与每一所述部位运动相对应的权值；

活体判断装置，用于判定所述活体识别分值不小于预设阈值的所述待测人脸为活体。

与现有技术相比，本发明公开的一种活体识别系统通过至少2个人脸部位运动检测装置获取所述待测人脸上的至少两个部位的运动分值，其中一人脸部位运动检测装置采用本发明实施例提供的微笑动作检测装置；通过活体识别分值计算装置对部位运动分值进行加权后求和作为活体识别分值，通过活体判断装置利用活体识别分值作为所述待测人脸是否为活体的判断标准的技术方案；微笑动作检测装置计算简单高效，设备硬件要求简单；采用检测至少两种部位运动装置检测至少两种部位的运动情况解决了现有技术中算法单一，安全性不高的问题，可扩展性强，且基于人脸部位运动的检测可以通过二维图像实现，对硬件要求不高，另外，通过活体识别分值计算装置对不同部位运动加权再进行分数融合，活体识别准确度高，获得了活体识别准确率高、硬件要求低和安全性高的有益效果。

附图说明

图1是本发明一种微笑动作检测方法提供的实施例一的流程示意图；

图2是本发明一种微笑动作方法提供的实施例一的步骤S12的流程示意图；

图3是待测人脸的68个关键点的模型示意图；

图4是本发明一种微笑动作检测方法提供的实施例二的步骤S13的流程示意图；

图5是本发明一种微笑动作检测装置提供的实施例一的结构示意图；

图6是本发明一种微笑动作检测装置提供的实施例二的结构示意图；

图7是本发明一种活体识别方法提供的实施例的流程示意图；

图8是本发明一种活体识别方法提供的实施例的步骤S24流程示意图；

图9是本发明一种活体识别系统提供的实施例的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明一种微笑动作检测方法提供的实施例一，参见图1，图1是本实施例一的流程示意图，包括步骤：

S11、从待测人脸视频中抽取若干视频帧；其中，抽取的若干视频帧包括待测人脸视频的第一帧视频帧；

S12、获取从待测人脸视频中抽取的每一视频帧的左嘴角关键点位置和右嘴角关键点位置；

S13、以第一帧视频帧的左嘴角关键点位置和右嘴角关键点位置为基准，获取每一抽取的视频帧的左嘴角移动距离和右嘴角移动距离；

S14、若判定抽取的每一视频帧中的左嘴角移动距离和右嘴角移动距离均大于预设距离阈值，则判定对应的视频帧的待测人脸为微笑状态；

S15、若抽取的若干视频帧中包括预设帧数的待测人脸为微笑状态的视频帧，判断待测人脸视频的待测人脸有微笑动作。

步骤S14中，还包括：若判定抽取的每一视频帧中的左嘴角移动距离和右嘴角移动距离不均大于预设距离阈值，则判定对应的视频帧的待测人脸为非微笑状态。

通常，微笑为人脸的一种表情，当人脸微笑时，最明显的表现为嘴角上扬。基于该现象，本实施例对微笑动作的定义标准为：当待测人脸的左嘴角和右嘴角均移动，且移动的距离均大于预设距离阈值。本发明提供的其它实施例均可参照上述对微笑动作的定义标准的说明，不再赘述。

所以本实施例以第一帧视频帧的左右嘴角位置为基准，来获取每一抽取的视频帧中待测人脸的左嘴角和右嘴角分别移动的距离，并定义左嘴角和右嘴角分别移动的距离均大于预设距离阈值的视频帧的人脸为微笑状态，当有预设帧数的视频帧的待测人脸为微笑状态，即可判定为待测人脸有微笑动作；其中，预设帧数根据实际准确度要求进行设定。

在步骤S11中的从待测人脸视频中抽取若干视频帧，优选采用从待测人脸视频中获取连续帧的视频帧，或者，优选采用从待测人脸视频中按照一定的时间频率对应抽取视频帧。

参见图2，图2是本实施例步骤S12具体的流程示意图，步骤S12具体包括步骤：

S121、对从待测人脸视频中抽取的每一视频帧用dlib库做人脸检测和人脸关键点检测，获取待测人脸的若干关键点位置；

dlib库指的是一个使用C++技术编写的跨平台的通用库；

参见图3，图3是采用dlib库做人脸检测和人脸关键点检测获取的待测人脸的68点模型图；步骤S121中获取的若干人脸关键点位置即为图3中关键点1～关键点68所示的关键点位置；

S122、从每一抽取的视频帧的若干人脸关键点中获取左嘴角关键点位置和右嘴角关键点位置。

图3中，步骤S122获取的左嘴角关键点位置即为关键点49所示的关键点位置，右嘴角关键点位置即为关键点55所示的关键点位置。

具体实施时，本实施例从待测人脸视频中获取若干视频帧，包括第一帧视频帧，然后根据从抽取的每一视频帧中确定待测人脸的左嘴角和右嘴角的关键点位置，接着，以第一帧视频帧的左嘴角和右嘴角的关键点位置为基准，获取抽取的每一视频帧的左嘴角和右嘴角分别移动的距离；并判定左嘴角和右嘴角分别移动的距离均大于预设距离阈值的视频帧的待测人脸为微笑状态；最后，若抽取的若干视频帧中包括预设帧数的待测人脸为微笑状态的视频帧，则判定待测人脸视频有微笑动作。

与现有技术相比，获取抽取的视频帧的嘴角关键点位置的移动情况来确定待测人脸视频的微笑动作；本实施例计算简单高效，任何普通摄像头或者移动端手机的摄像头均可作为待测人脸视频的输入硬件，对设备硬件要求简单。

本发明一种微笑动作检测方法提供的实施例二，可参见图1，包括：

S11、从待测人脸视频中抽取若干视频帧；其中，所述抽取的若干视频帧包括待测人脸视频的第一帧视频帧；

S12、获取从待测人脸视频中抽取的每一视频帧的左嘴角关键点位置和右嘴角关键点位置；

S13、以第一帧视频帧的左嘴角关键点位置和右嘴角关键点位置为基准，获取每一抽取的视频帧的左嘴角移动距离和右嘴角移动距离；

S14、若判定抽取的每一视频帧中的左嘴角移动距离和右嘴角移动距离是否均大于预设距离阈值，则判定对应的视频帧的待测人脸为微笑状态；

S15、若抽取的若干视频帧中包括预设帧数的待测人脸为微笑状态的视频帧，判定待测人脸视频的待测人脸有微笑动作。

步骤S14中，还包括：若抽取的每一视频帧中的左嘴角移动距离和右嘴角移动距离不均大于预设距离阈值，则判定对应的视频帧的待测人脸为非微笑状态。

关于步骤S11和步骤S12包括的具体内容与本发明一种微笑动作检测方法提供的实施例一相似，可参照本发明一种微笑动作检测方法提供的实施例一的说明，此处不做赘述。

不同的是，在步骤S14中，判断抽取的每一视频帧中的左嘴角移动距离和右嘴角移动距离是否均大于预设距离阈值通过左嘴角移动比例和右嘴角移动比例是否均大于预设比例阈值进行判断，具体为：

基于第一帧视频帧的左嘴角关键点位置和右嘴角关键点位置计算嘴部长度；其中，嘴部长度即为第一帧视频帧的左嘴角关键点和右嘴角关键点的距离；通过抽取的每一视频帧左嘴角移动距离与嘴部长度的比值计算左嘴角移动比例，通过抽取的每一视频帧右嘴角移动距离与嘴部长度的比值计算右嘴角移动比例；

当判定抽取的每一视频帧中的左嘴角移动比例和右嘴角移动比例均大于预设比例阈值，判定对应的视频帧的左嘴角移动距离和右嘴角移动距离均大于预设距离阈值。

本实施例通过左嘴角和右嘴角分别移动的距离的比例来判断微笑状态，适应性更强。

在步骤S13中，待测人脸微笑时嘴角上扬，左嘴角向左移动，右嘴角向右移动；通常第一帧视频帧的待测人脸为非微笑状态，参见图4，则步骤S13中优选包括：

S131、以第一帧视频帧的左嘴角关键点位置为基准，获取每一抽取的视频帧的左嘴角关键点位置向左移动的距离为左嘴角移动距离；

S132、以第一帧视频帧的右嘴角关键点位置为基准，获取每一抽取的视频帧的右嘴角关键点位置向右移动的距离为右嘴角移动距离。

具体实施时，本实施例从待测人脸视频中获取若干视频帧，包括第一帧视频帧，然后根据从抽取的每一视频帧中确定待测人脸的左嘴角和右嘴角的关键点位置，接着，以第一帧视频帧的左嘴角和右嘴角的关键点位置为基准，获取抽取的每一视频帧的左嘴角向左移动距离和右嘴角向右移动距离；并，计算第一帧视频帧的左嘴角关键点位置和右嘴角的关键点位置的距离为嘴部长度，计算左嘴角和右嘴角分别移动的距离与嘴部长度的比值为左嘴角移动比例和右嘴角移动比例；当左嘴角移动比例和右嘴角移动比例均大于预设比例阈值时，判定对应的视频帧的左嘴角移动距离和右嘴角移动距离均大于预设距离阈值，即对应的视频帧的待测人脸为微笑状态；最后，若抽取的若干视频帧中包括预设帧数的待测人脸为微笑状态的视频帧，则判定待测人脸视频有微笑动作。

与现有技术相比，获取抽取的视频帧的嘴角关键点位置的移动情况来确定待测人脸视频的微笑动作；本实施例计算简单高效，且适应性强，任何普通摄像头或者移动端手机的摄像头均可作为待测人脸视频的输入硬件，对设备硬件要求简单。

本发明一种微笑动作检测装置提供的实施例一，参见图5，图5是本实施例的结构示意图，包括：

视频帧抽取单元11，用于从待测人脸视频中抽取若干视频帧；其中，抽取的若干视频帧包括待测人脸视频的第一帧视频帧；

嘴角关键点位置获取单元12，用于获取从所述待测人脸视频中抽取的每一视频帧的左嘴角关键点位置和右嘴角关键点位置；

嘴角移动距离获取单元13，用于以第一帧视频帧的左嘴角关键点位置和右嘴角关键点位置为基准，获取每一抽取的视频帧的左嘴角移动距离和右嘴角移动距离；

微笑状态判断单元14，用于判定抽取的每一视频帧中的左嘴角移动距离和右嘴角移动距离均大于预设距离阈值，则判定对应的视频帧的待测人脸为微笑状态；

微笑动作判断单元15，用于若抽取的若干视频帧中包括预设帧数的待测人脸为微笑状态的视频帧，判断待测人脸视频的待测人脸有微笑动作。

本实施例以第一帧视频帧的左右嘴角位置为基准，来获取每一抽取的视频帧中待测人脸的左嘴角和右嘴角分别移动的距离，并定义左嘴角和右嘴角分别移动的距离均大于预设距离阈值的视频帧的人脸为微笑状态，当有预设帧数的视频帧的待测人脸为微笑状态，即可判定为待测人脸有微笑动作；其中，预设帧数根据实际准确度要求进行设定。

通过视频帧抽取单元11从待测人脸视频中抽取若干视频帧，优选采用从待测人脸视频中获取连续帧的视频帧，或者，优选采用从待测人脸视频中按照一定的时间频率对应抽取视频帧。

嘴角关键点位置获取单元12包括：

人脸关键点检测模块121，对从待测人脸视频中抽取的每一视频帧用dlib库做人脸检测和人脸关键点位置检测，获取待测人脸的若干关键点位置；

参见图3，图3是采用dlib库做人脸检测和人脸关键点检测获取的待测人脸的68点模型图；通过人脸关键点检测模块121获取的若干人脸关键点位置即为图3中关键点1～关键点68所示的关键点位置；

嘴角关键点位置获取模块122，从每一抽取的视频帧的待测人脸的若干关键点位置中获取左嘴角关键点位置和右嘴角关键点位置。

图3中，通过嘴角关键点位置获取模块122获取的左嘴角关键点位置即为关键点49所示的关键点位置，右嘴角关键点位置即为关键点55所示的关键点位置。

具体实施时，本实施例通过视频帧抽取单元11从待测人脸视频中获取若干视频帧，包括第一帧视频帧，然后通过嘴角关键点位置获取单元12根据从抽取的每一视频帧中确定待测人脸的左嘴角和右嘴角的关键点位置，接着，通过嘴角移动距离获取单元13以第一帧视频帧的左嘴角和右嘴角的关键点位置为基准，获取抽取的每一视频帧的左嘴角和右嘴角分别移动的距离；并通过微笑状态判断单元14判定左嘴角和右嘴角分别移动的距离均大于预设阈值的视频帧的待测人脸为微笑状态；最后，通过微笑动作判断单元15若抽取的若干视频帧中包括预设帧数的待测人脸为微笑状态的视频帧，则判定待测人脸视频有微笑动作。

与现有技术相比，获取抽取的视频帧的嘴角关键点位置的移动情况来确定待测人脸视频的微笑动作；本实施例计算简单高效，任何普通摄像头或者移动端手机的摄像头均可作为待测人脸视频的输入硬件，对设备硬件要求简单。

本发明一种微笑动作检测装置提供的实施例二，参见图6，图6是本实施例的结构示意图，包括：

视频帧抽取单元11，用于从待测人脸视频中抽取若干视频帧；

嘴角关键点位置获取单元12，用于获取从待测人脸视频中抽取的每一视频帧的左嘴角关键点位置和右嘴角关键点位置；

嘴角移动距离获取单元13，用于以第一帧视频帧的左嘴角关键点位置和右嘴角关键点位置为基准，获取每一抽取的视频帧的左嘴角移动距离和右嘴角移动距离；

微笑状态判断单元14，用于若判定抽取的每一视频帧中的左嘴角移动距离和右嘴角移动距离均大于预设距离阈值，则判定对应的视频帧的待测人脸为微笑状态；

微笑动作判断单元15，用于若抽取的若干视频帧中包括预设帧数的待测人脸为微笑状态的视频帧，判定待测人脸视频的待测人脸有微笑动作。

本实施例以第一帧视频帧的左右嘴角位置为基准，来获取每一抽取的视频帧中待测人脸的左嘴角和右嘴角分别移动的距离，并定义左嘴角和右嘴角分别移动的距离均大于预设距离阈值的视频帧的人脸为微笑状态，当有预设帧数的视频帧的待测人脸为微笑状态，即可判定为待测人脸有微笑动作；其中，预设帧数根据实际准确度要求进行设定。

通过视频帧抽取单元11从待测人脸视频中抽取若干视频帧，优选采用从待测人脸视频中获取连续帧的视频帧，或者，优选采用从待测人脸视频中按照一定的时间频率对应抽取视频帧。

嘴角关键点位置获取单元12包括：

人脸关键点检测模块121，对从待测人脸视频中抽取的每一视频帧用dlib库做人脸检测和人脸关键点位置检测，获取待测人脸的若干关键点位置；

参见图3，图3是采用dlib库做人脸检测和人脸关键点检测获取的待测人脸的68点模型图；通过人脸关键点检测模块121获取的若干人脸关键点位置即为图3中关键点1～关键点68所示的关键点位置；

嘴角关键点位置获取模块122，从每一抽取的视频帧的待测人脸的若干关键点位置中获取左嘴角关键点位置和右嘴角关键点位置。

图3中，通过嘴角关键点位置获取模块122获取的左嘴角关键点位置即为关键点49所示的关键点位置，右嘴角关键点位置即为关键点55所示的关键点位置。

微笑状态判断单元14具体包括以下模块：

嘴部长度计算模块141，用于基于第一帧视频帧的左嘴角关键点位置和右嘴角关键点位置计算嘴部长度；

嘴角移动比例模块142，用于通过左嘴角移动距离与嘴部长度的比值计算左嘴角移动比例，通过右嘴角移动距离与嘴部长度的比值计算右嘴角移动比例；

微笑状态判断模块143，用于当判定抽取的每一视频帧中的左嘴角移动比例和右嘴角移动比例均大于预设比例阈值，判定对应的视频帧的左嘴角移动距离和右嘴角移动距离均大于预设距离阈值，且对应的视频帧的待测人脸为微笑状态。

本实施例通过微笑状态判断单元14的嘴部长度计算模块141计算左嘴角和右嘴角分别移动的距离的比例，并由微笑状态判断模块143根据左嘴角和右嘴角分别移动的距离的比例来判断微笑状态，适应性更强。

待测人脸微笑时嘴角上扬，左嘴角向左移动，右嘴角向右移动；通常第一帧视频帧的待测人脸为非微笑状态，则嘴角移动距离获取单元13优选包括：

嘴角移动距离获取单元13包括：

左嘴角移动距离模块131，用于以第一帧视频帧的左嘴角关键点位置为基准，获取每一抽取的视频帧的左嘴角关键点位置向左移动的距离为左嘴角移动距离；

右嘴角移动距离模块132，用于以第一帧视频帧的右嘴角关键点位置为基准，获取每一抽取的视频帧的右嘴角关键点位置向右移动的距离为右嘴角移动距离。

具体实施时，本实施例通过视频帧抽取单元11从待测人脸视频中获取若干视频帧，包括第一帧视频帧，然后通过嘴角关键点位置获取单元12根据从抽取的每一视频帧中确定待测人脸的左嘴角和右嘴角的关键点位置，接着，通过嘴角移动距离获取单元13以第一帧视频帧的左嘴角和右嘴角的关键点位置为基准，获取抽取的每一视频帧的左嘴角向左移动距离和右嘴角向右移动距离；并通过微笑状态判断单元14的嘴部长度计算模块141计算第一帧视频帧的左嘴角关键点位置和右嘴角的关键点位置的距离为嘴部长度，通过嘴角移动比例模块142计算左嘴角和右嘴角分别移动的距离与嘴部长度的比值为左嘴角移动比例和右嘴角移动比例，通过微笑状态判断模块143判定当左嘴角移动比例和右嘴角移动比例均大于预设比例阈值时，判定对应的视频帧的左嘴角移动距离和右嘴角移动距离均大于预设距离阈值，即对应的视频帧的待测人脸为微笑状态；最后，通过微笑动作判断单元15判定抽取的若干视频帧中包括预设帧数的待测人脸为微笑状态的视频帧时，则待测人脸视频有微笑动作。

与现有技术相比，获取抽取的视频帧的嘴角关键点位置的移动情况来确定待测人脸视频的微笑动作；本实施例计算简单高效，且适应性更强，任何普通摄像头或者移动端手机的摄像头均可作为待测人脸视频的输入硬件，对设备硬件要求简单。

本发明一种活体识别方法提供的实施例，参见图7，图7是本实施例的流程示意图，其中，本实施例具体包括步骤：

S21、检测待测人脸视频中的待测人脸的微笑动作的情况和其它至少一个部位运动，的情况其中，采用本发明一种微笑动作检测方法提供的实施例一或实施例二检测待测人脸视频中的待测人脸的微笑动作的情况；检测微笑动作的具体过程可以参见本发明一种微笑动作检测方法提供的实施例一或实施例二，此处不做赘述；

S22、基于部位运动的情况获取待测人脸的每一部位运动对应的运动分值；

S23、计算每一部位运动对应的运动分值加权后的总和，并将计算得到的总和作为活体识别分值；其中，每一部位运动已预设相应的权值；

S24、判定活体识别分值不小于预设阈值的待测人脸为活体。

本实施例步骤S21中的检测待测人脸的其它至少一个部位运动为眼部运动、头部运动、面部运动、眉毛运动和额头运动中的至少一种；通常来说，人脸眼部运动和头部运动运动程度明显，有利于进行检测，可以优选选择检测眼部运动和头部运动中的至少一种。

类似本发明一种微笑动作检测方法提供的实施例一或实施例二，步骤S21中检测待测人脸的其它至少一个部位运动具体包括：检测待测人脸的人脸视频每隔预设帧数所抽取的每一视频帧检测部位运动对应的部位关键点位置，通过抽取的每一视频帧的部位关键点位置的变化程度来确定部位运动的情况；或者，检测待测人脸每隔预设帧数所抽取的每一视频帧检测部位运动对应的部位灰度值特征，通过抽取的每一视频帧的部位的灰度值的变化程度来确定部位运动的情况。上述实施方法仅为检测其它至少一个部位运动的示例；基于本实施例的活体识别方法的原理基础上，通过其它具体的实施方式实现对另外至少一部位运动的运动检测，也在本实施例的保护范围之内。

本实施例的步骤S23中设定每一部位运动相对应的权值的优选实施方式为根据每一部位运动的明显度设定。例如，当步骤S21检测待测人脸视频中的待测人脸的部位运动为微笑动作、眼部运动和头部运动；通常，微笑动作比较明显，故权重最大，头部运动模拟精度最低，故权重最小，对应设置部位运动的权重策略为：微笑动作>眼部运动>头部运动；

或，步骤S23中设定每一部位运动相对应的权值的另一优选实施方式为根据不同应用场景自动进行部位运动的权值调整而设定的，具体做法：在某一种场景下，收集待测人脸的各种部位运动的正常输入视频作为正样本，攻击视频作为负样本，取(正样本通过数+负样本拒绝数)/(正样本总数+负样本总数)作为该部位运动的准确率，然后把每一部位运动的准确率按照从大到小的顺序进行排序，每一部位运动的权重也按照此顺序从大到小，重新调整每一部位运动的权重。重新调整后的权重用以计算活体识别分值，该识别结果可以自适应不同场景下的部位运动检测的准确率，增加本实施例的活体识别结果的准确率。

上述两种设定每一部位运动相对应的权值的任一种优选实施方式均在本实施例的保护范围内。

具体地，参见图8，图8是步骤S24的流程示意图，包括步骤：

S241、通过活体识别分值占活体识别总分的比值计算待测人脸的活体识别置信度；

S242、当活体识别置信度不小于预设值时，确定活体识别分值不小于预设阈值；

S243、判定活体识别分值不小于预设阈值的待测人脸为活体。

具体地，在步骤S241中，活体识别总分即为本实施例对待测人脸进行识别后能获得的最大值，待测人脸的活体识别置信度通过下述公式计算：

f＝(s/s_max)*100％

其中，s_max表示活体识别总分，f表示活体识别置信度，且0<f<1；

用e表示预设值，当f≥e,即活体识别置信度不小于预设值时，则确定活体识别分值不小于预设阈值，判定活体识别分值不小于预设阈值的待测人脸为活体；当f<e,即活体识别置信度小于预设值时，则确定活体识别分值小于预设阈值，判定活体识别分值小于预设阈值的待测人脸为非活体。

利用活体识别分值所获得的活体识别置信度，还可以进一步扩展，用于本实施例建立分级制度进行活体判断和活体分级，以获得丰富的活体识别结果。

步骤S22基于部位运动的情况获取待测人脸的每一部位运动对应的运动分值包括：

基于微笑动作的情况获取对应的运动分值：当步骤S21中的检测待测人脸有微笑动作，则获取的微笑动作的运动分值为1分；否则获取的微笑动作的运动分值为0分。

类似的，基于其它至少一个部位运动的情况获取对应的运动分值：当步骤S21中的检测待测人脸的部位运动的情况为待测人脸的部位有运动，则获取的对应部位运动的运动分值为1分；否则获取的运动分值为0分。

除了通过有无运动的判断获取对应的运动分值，若在步骤S21中所获取的部位运动的情况为部位运动的运动程度，还可以根据其运动程度在分值区间中获取对应的运动分值，如设定分数分为10级，取值在0到1之间。

具体实施时，先从待测人脸视频中抽取若干视频帧，并对所抽取的每一视频帧检测部位运动从而获得对应的部位的情况，其中，包括检测待测人脸的微笑动作：先获取待测人脸的68点关键点，然后从中获取嘴角的关键点位置，并根据嘴角的关键点位置的移动情况确定对应的视频帧的待测人脸是否为微笑状态，进而判定待测人脸视频的待测人脸是否有微笑动作；根据每一部位运动的情况获取对应的运动分值，具体为该部位运动有运动，则获取的运动分值为1分，否则获取的运动分值为0分；接着计算上述得到每一部位运动分值进行加权后的总和，该总和表示活体识别分值；最后用该活体识别分值占活体识别总分的比值计算活体识别置信度，其中，当活体识别置信度不小于预设值时，确定活体识别分值不小于预设阈值，从而判定待测人脸为活体；否则，判定待测人脸为非活体。

本实施例可运用于多种设备端，此处以运用于移动手机端的实施场景为例进行说明：在手机端活体识别时，随机出现一种活体动作要求顺序，例如为要求待测人脸分别进行微笑、眨眼和头部左转的活体动作；此时若预设的部位运动的权重为：微笑对应的微笑动作的权重w1＝3，眨眼对应的眼部运动的权重w2＝2，头部左转对应的头部运动的权重w3＝1；计算活体识别总分，即活体识别最高分s_max为3*1+2*1+1*1＝6分。假设检测出微笑得分为1分，眨眼得分为1分，头部左转得分为0分，活体识别分值s为每一部位运动加权后的总和，代入上述部位运动的运动分值，计算活体识别分值s＝3*1+2*1+1*0＝5分；最后，计算活体识别置信度f＝s/s_max＝5/6＝83.33％。若设定此时设定值e为80％，则判定该待测人脸为活体，且活体置信度为83.33％。

本实施例解决了现有技术中算法单一，安全性不高的问题，可扩展性强；对于待测人脸的微笑动作的检测方法计算简单高效，对设备的硬件要求不高；另外，在本实施例中采用对多个部位运动的检测来进行活体识别，并对不同部位运动加权再进行分数融合，活体识别准确度高，且有利于提高安全性。

本发明一种活体识别系统提供的实施例，参见图9，图9为本实施例的结构示意图，本实施例包括：

至少2个人脸部位运动检测装置1，每一人脸部位运动检测装置1用于检测待测人脸一对应的部位运动的情况；图9中的人脸部位运动检测装置1a和人脸部位运动检测装置1b表示检测两不同部位运动的两个人脸部位运动检测装置1；其中一人脸部位运动检测装置1为本发明一种微笑动作检测装置提供的实施例一或实施例二，可参见图5或图6，此处不做赘述。

部位运动分值获取装置2，用于基于每一部位运动的情况获取待测人脸的每一部位运动对应的运动分值；

活体识别分值计算装置3，用于计算每一部位运动对应的运动分值加权后的总和，并将计算得到的总和作为活体识别分值；其中，活体识别分值计算装置已预设与每一部位运动相对应的权值；

活体判断装置4，用于判定活体识别分值不小于预设阈值的待测人脸为活体。

其中，除微笑动作检测装置1外的另外的至少一部位运动检测单元1对应检测的至少一部位运动包括眼部运动、头部运动、眉毛运动、额头运动和面部运动中的至少一部位运动。由于眼部运动和头部运动的运动明显，可以优选采用检测眼部运动和头部运动中的至少一种。

类似微笑动作检测装置，另外至少一人脸部位运动检测装置1具体用于检测待测人脸的人脸视频每隔预设帧数所抽取的每一视频帧检测部位运动对应的部位关键点位置，通过抽取的每一视频帧的部位关键点位置的变化程度来确定部位运动的情况；或者，人脸部位运动检测装置1还可以具体用于检测待测人脸每隔预设帧数所抽取的每一视频帧检测部位运动对应的部位灰度值特征，通过抽取的每一视频帧的部位的灰度值的变化程度来确定部位运动的情况，该实施方式通常适用于人脸部位运动检测装置1检测的部位运动为眼部运动或额头运动。上述实施方法仅为另外至少一人脸部位运动检测装置1检测部位运动的示例，当人脸部位运动检测装置1通过其他实施方式实现对另外至少一部位运动的运动检测，也在本实施例的保护范围之内。

部位运动分值获取装置2具体用于基于微笑动作的情况获取对应的运动分值：待测人脸的为有微笑动作，则获取的微笑动作的运动分值为1分；否则获取的微笑动作的运动分值为0分。部位运动分值获取装置2具体还用于基于其它至少一个部位运动的情况获取对应的运动分值：当待测人脸的运动部位的情况为有运动，则对应获取的运动分值为1分；否则获取的运动分值为0分。

除上述部位运动分值获取装置2用于基于每一部位运动的是否有运动的情况而直接获得一个是否有运动的运动分值的实施方式,当通过人脸部位运动检测装置1中获取的部位运动的情况包括部位运动的运动程度，还可以通过部位运动分值获取装置2基于运动程度而获取一个在0到1之间的运动分值，如设定运动分值分为10级，取值在0到1之间，该替代实施方式不仅能表示是否有运动，还能体现运动的程度。

活体识别分值计算装置3中与每一部位运动相对应的权值为根据每一部位运动的明显度设定；如检测的部位运动为微笑动作、眼部运动和头部运动时，此时，微笑动作比较明显，故权重最大，头部运动模拟精度最低，故权重最小，部位运动的权重策略对应为：微笑动作>眼部运动>头部运动。

或，活体识别分值计算装置3中与每一部位运动相对应的权值为根据不同应用场景自动进行部位运动的权值调整而设定的，具体做法：在某一种场景下，收集待测人脸的各种部位运动的正常输入视频作为正样本，攻击视频作为负样本，取(正样本通过数+负样本拒绝数)/(正样本总数+负样本总数)作为该部位运动的准确率，然后把每一部位运动的准确率按照从大到小的顺序进行排序，每一部位运动的权重也按照此顺序从大到小，重新调整每一部位运动的权重。

上述两种设定每一部位运动相对应的权值的任一种优选实施方式均在本实施例的保护范围内。

活体判断装置4包括：

活体识别置信度计算单元41，用于通过活体识别分值占活体识别总分的比值计算待测人脸的活体识别置信度；

其中，活体识别总分即为通过活体识别分值计算装置3获取的所有部位运动的运动分值加权后的总和的最大值，活体识别总分用s_max表示；f表示活体识别置信度，且0<f<1；活体识别置信度计算单元41通过下述公式计算待测人脸的活体识别置信度：

f＝(s/s_max)*100％

活体判断单元42，用于当活体识别置信度不小于预设值时，确定活体识别分值不小于预设阈值，判定活体识别分值不小于预设阈值的待测人脸为活体。

其中，用e表示预设值，通过活体判断单元42判断：当f≥e,即活体识别置信度不小于预设值时，则确定活体识别分值不小于预设阈值，判定活体识别分值不小于预设阈值的待测人脸为活体；当f<e,即活体识别置信度小于预设值时，则确定活体识别分值小于预设阈值，判定活体识别分值小于预设阈值的待测人脸为非活体。

通过活体识别置信度计算单元41所获得的活体识别置信度，还可以进一步扩展，用于本实施例活体识别系统建立分级制度进行活体判断和活体分级，以获得丰富的活体识别结果。

具体实施时，首先，通过每一人脸部位运动检测装置1获取对应的部位运动的情况，其中一人脸部位运动检测装置1为本发明一种微笑动作检测装置的实施例一和实施例二；并通过部位运动分值获取装置2基于部位运动的情况获取对应的运动分值；然后，通过活体识别分值计算装置3对获取的每一部位运动的运动分值进行加权后求和作为活体识别分值，最后，通过活体判断装置4的活体识别置信度计算单元41利用活体识别分值占活体识别总分的比值计算待测人脸的活体识别置信度，并通过活体判断单元42判定当计算所得的活体识别置信度不小于预设阈值的待测人脸为活体。

本实施例采用检测至少2个人脸部位运动检测装置解决了现有技术中算法单一，安全性不高的问题，可扩展性强，且采用的微笑动作检测装置对硬件要求不高；另外，通过活体识别分值计算装置对不同部位运动加权再进行分数融合，活体识别准确度高，获得了活体识别准确率高、硬件要求低和安全性高的有益效果。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种微笑动作检测方法，其特征在于，所述微笑检测方法包括步骤：

从待测人脸视频中抽取若干视频帧；其中，所述抽取的若干视频帧包括待测人脸视频的第一帧视频帧；

获取从所述待测人脸视频中抽取的每一所述视频帧的左嘴角关键点位置和右嘴角关键点位置；

以第一帧视频帧的左嘴角关键点位置和右嘴角关键点位置为基准，获取每一抽取的所述视频帧的左嘴角移动距离和右嘴角移动距离；

若判定抽取的每一所述视频帧中的所述左嘴角移动距离和所述右嘴角移动距离均大于预设距离阈值，则判定对应的所述视频帧的待测人脸为微笑状态；

若抽取的若干所述视频帧中包括预设帧数的所述待测人脸为微笑状态的所述视频帧，判定所述待测人脸视频的待测人脸有微笑动作。

2.如权利要求1所述的一种微笑动作检测方法，其特征在于，所述判定抽取的每一所述视频帧中的所述左嘴角移动距离和所述右嘴角移动距离均大于预设距离阈值包括：

基于第一帧视频帧的左嘴角关键点位置和右嘴角关键点位置计算嘴部长度；

通过所述左嘴角移动距离与嘴部长度的比值计算所述左嘴角移动比例，通过所述右嘴角移动距离与嘴部长度的比值计算所述右嘴角移动比例；

当判定抽取的每一所述视频帧中的所述左嘴角移动比例和所述右嘴角移动比例均大于预设比例阈值，判定对应的所述视频帧的所述左嘴角移动距离和所述右嘴角移动距离均大于预设距离阈值。

3.如权利要求1所述的一种微笑动作检测方法，其特征在于，所述获取从所述待测人脸视频中抽取的每一所述视频帧的左嘴角关键点位置和右嘴角关键点位置包括：

对从所述待测人脸视频中抽取的每一所述视频帧用dlib库做人脸检测和人脸关键点位置检测，获取待测人脸的若干关键点位置；

从每一抽取的所述视频帧的所述待测人脸的若干关键点位置中获取左嘴角关键点位置和右嘴角关键点位置。

4.如权利要求3所述的一种微笑动作检测方法，其特征在于，所述以第一帧视频帧的左嘴角关键点位置和右嘴角关键点位置为基准，获取每一抽取的所述视频帧的左嘴角移动距离和右嘴角移动距离包括：

以第一帧视频帧的左嘴角关键点位置为基准，获取每一抽取的所述视频帧的左嘴角关键点位置向左移动的距离为左嘴角移动距离；

以第一帧视频帧的右嘴角关键点位置为基准，获取每一抽取的所述视频帧的右嘴角关键点位置向右移动的距离为右嘴角移动距离。

5.一种微笑动作检测装置，其特征在于，包括：

视频帧抽取单元，用于从待测人脸视频中抽取若干视频帧；其中，所述抽取的若干视频帧包括待测人脸视频的第一帧视频帧；

嘴角关键点位置获取单元，用于获取从所述待测人脸视频中抽取的每一所述视频帧的左嘴角关键点位置和右嘴角关键点位置；

嘴角移动距离获取单元，用于以第一帧视频帧的左嘴角关键点位置和右嘴角关键点位置为基准，获取每一抽取的所述视频帧的左嘴角移动距离和右嘴角移动距离；

微笑状态判断单元，用于若判定抽取的每一所述视频帧中的所述左嘴角移动距离和所述右嘴角移动距离均大于预设距离阈值，则判定对应的所述视频帧的待测人脸为微笑状态；

微笑动作判断单元，用于若抽取的若干所述视频帧中包括预设帧数的所述待测人脸为微笑状态的所述视频帧，判定所述待测人脸视频的待测人脸有微笑动作。

6.如权利要求5所述的一种微笑动作检测装置，其特征在于，所述微笑状态判断单元包括：

嘴部长度计算模块，用于基于第一帧视频帧的左嘴角关键点位置和右嘴角关键点位置计算嘴部长度；

嘴角移动比例模块，用于通过所述左嘴角移动距离与嘴部长度的比值计算所述左嘴角移动比例，通过所述右嘴角移动距离与嘴部长度的比值计算所述右嘴角移动比例；

微笑状态判断模块，用于当判定抽取的每一所述视频帧中的所述左嘴角移动比例和所述右嘴角移动比例均大于预设比例阈值，判定对应的所述视频帧的所述左嘴角移动距离和所述右嘴角移动距离均大于预设距离阈值，且对应的所述视频帧的待测人脸为微笑状态。

7.如权利要求5所述的一种微笑动作检测装置，其特征在于，所述嘴角关键点位置获取单元包括：

人脸关键点检测模块，用于对对从所述待测人脸视频中抽取的每一所述视频帧用dlib库做人脸检测和人脸关键点位置检测，获取待测人脸的若干关键点位置；

嘴角关键点检测模块，用于对从每一抽取的所述视频帧的所述待测人脸的若干关键点位置中获取左嘴角关键点位置和右嘴角关键点位置。

8.如权利要求7所述的一种微笑动作检测装置，其特征在于，所述嘴角移动距离获取单元包括：

左嘴角移动距离模块，用于以第一帧视频帧的左嘴角关键点位置为基准，获取每一抽取的所述视频帧的左嘴角关键点位置向左移动的距离为左嘴角移动距离；

右嘴角移动距离模块，用于以第一帧视频帧的右嘴角关键点位置为基准，获取每一抽取的所述视频帧的右嘴角关键点位置向右移动的距离为右嘴角移动距离。

9.一种活体识别方法，其特征在于，所述活体识别方法包括步骤：

检测待测人脸视频中的待测人脸的微笑动作的情况和其它至少一个部位运动的情况，其中，采用如权利要求1～4任一项所述的微笑动作检测方法检测待测人脸视频中的待测人脸的微笑动作的情况；

基于部位运动的情况获取所述待测人脸的每一部位运动对应的运动分值；

计算每一所述部位运动对应的运动分值加权后的总和，并将计算得到的所述总和作为活体识别分值；其中，每一所述部位运动已预设相应的权值；

判定所述活体识别分值不小于预设阈值的所述待测人脸为活体。

10.一种活体识别系统，其特征在于，所述活体识别系统包括：

至少2个人脸部位运动检测装置，每一所述人脸部位运动检测装置用于检测待测人脸对应的部位运动，其中一人脸部位运动检测装置为如权利要求5～8任一项所述的一种微笑动作检测装置；

部位运动分值获取装置，用于基于每一所述部位运动的情况获取所述待测人脸的每一部位运动对应的运动分值；

活体识别分值计算装置，用于计算每一所述部位运动对应的运动分值加权后的总和，并将计算得到的所述总和作为活体识别分值；其中，所述活体识别分值计算装置已预设与每一所述部位运动相对应的权值；

活体判断装置，用于判定所述活体识别分值不小于预设阈值的所述待测人脸为活体。