CN109766739A - 脸部辨识系统及脸部辨识方法 - Google Patents

Abstract

脸部辨识系统，包括：储存单元，用于储存预设使用者的脸部信息，其中脸部信息包括预设使用者的脸部特征且脸部信息与绑定功能相关；影像获取单元，用于获取脸部动作影像，其中脸部动作影像包括使用者做出的一系列的脸部表情，其中脸部动作影像包括多幅图像；以及处理单元，连接至影像获取单元以及储存单元，其中处理单元从多幅图像中抓取使用者的脸部特征，并计算使用者脸部特征在时间内的一变量；其中处理单元比较使用者的脸部特征变量以及预设使用者的脸部信息，如果两者之间的变化量小于预设值，则处理单元执行绑定功能。

Description

脸部辨识系统及脸部辨识方法

【技术领域】

本发明是相关于一种脸部辨识系统及脸部辨识方法，尤指一种根据脸部动态表情进行脸部辨识的脸部辨识系统及脸部辨识方法。

【背景技术】

一般而言，已知脸部辨识装置是预先利用影像获取装置获取使用者脸部的静态影像并储存于储存器，以作为后续开启预定装置或软件的识别信息。当使用者要开启预定装置或软件时，已知脸部辨识装置会再次利用影像获取装置获取使用者脸部的静态影像并和储存器中使用者脸部的静态影像进行比对，当两者匹配时，已知脸部辨识装置才会开启预定装置或执行软件。然而，已知脸部辨识装置容易被使用者的照片或使用者的双胞胎兄弟(或姊妹)破解。再者，当使用者出现在影像获取装置前方时，已知脸部辨识装置容易在未经使用者确认的情况下开启预定装置或执行软件。因此，已知脸部辨识装置具有较低的安全性。

【发明内容】

本发明提供一种脸部辨识系统及脸部辨识方法，以提高安全性与可靠性。

本发明的一种脸部辨识系统包括：一储存单元，用于储存一预设使用者的一脸部信息，其中该脸部信息包括该预设使用者的脸部特征且该脸部信息与一绑定功能相关；一影像获取单元，用于获取一脸部动作影像，其中该脸部动作影像包括一使用者在一时间内做出的一系列的脸部表情，其中该脸部动作影像包括多幅图像；以及一处理单元，连接至该影像获取单元以及储存单元，其中处理单元从该多幅图像中抓取该使用者的至少一个脸部特征，并计算该脸部特征在该时间内的一变量；其中该处理单元比较该使用者的该变量以及该预设使用者的该脸部信息，如果两者之间的一变化量小于一预设值，则该处理单元执行该绑定功能。

本发明的脸部辨识方法，包括：储存一预设使用者的一脸部信息，其中该脸部信息包括该预设使用者的脸部特征且与一绑定功能相关；获取一脸部动作影像，其中该脸部动作影像包括使得一使用者在一时间内做出一系列脸部表情，其中该脸部动作影像包括多幅图像；从该幅图像中抓取该使用者的至少一个脸部特征；计算该脸部特征在该时间内的一变量；比较该使用者脸部特征的该变量以及该预设使用者的该脸部信息；以及当两者的变化量小于一预设值时，执行该绑定功能。

一种两阶段脸部辨识方法，包括：比较至少一个脸部特征验证一使用者是否为一预设使用者；比较一时间内该使用者的脸部特征的一变量以及该预设使用者的脸部特征的预设变量；以及若该变量以及该预设变量的变化量小于一预设值，责执行一绑定功能。

相较于背景技术，本发明的脸部辨识系统可让使用者根据个人喜好组合各种脸部动作以作为脸部的动态识别信息，进而避免本发明脸部辨识系统被使用者的照片或使用者的双胞胎兄弟(或姊妹)破解。因此，本发明脸部辨识系统可以增加脸部辨识的安全性。另一方面，本发明脸部辨识系统的脸部动态辨识也可以避免仅因为使用者出现在影像获取装置前方就意外地执行预定操作的问题。

【附图说明】

图1是本发明脸部辨识系统的示意图；

图2是本发明根据静态图片进行脸部辨识的示意图；

图3是本发明根据动态影像进行脸部辨识的示意图；

图4是本发明脸部辨识系统根据使用者的脸部特征上多个特征点进行动态辨识的示意图；

图5是本发明脸部辨识方法的流程图。

附图标记：

100-脸部辨识系统，110-影像获取装置，120-储存装置，130-处理单元，200-使用者的脸部静态影像，300使用者的脸部动态影像，400-流程图，410至450-步骤，P-特征点。

【具体实施方式】

图1是本发明脸部辨识系统的示意图。如图1所示，本发明脸部辨识系统100包括一影像获取装置110、一储存装置120以及一处理单元130。影像获取装置110用于获取一使用者的脸部影像。储存装置120用于储存脸部信息。处理单元130连接于影像获取装置110及储存装置120，例如若影像获取装置110、储存装置120与处理单元130设置在同一个电子装置中，则处理单元130可电连接于影像获取装置110及储存装置120，而若影像获取装置110、储存装置120与处理单元130的其中一个不设置在同一个电子装置或是影像获取装置110、储存装置120与处理单元130都分别设置在不同装置中，例如处理单元130或储存装置120位于云端，则可通过无线传输的方式连接。

本发明脸部辨识系统100是动态的因为是利用使用者的动态表情而非静态图片做为辨识的基础。如图1所示，储存单元120储存预设使用者的脸部信息并与一绑定功能相关。其中，所储存的脸部信息包括静态脸部信息以及动态脸部信息。其中，静态脸部信息为预设使用者在静态时的脸部特征信息；而动态脸部信息为预设使用者在动态时的脸部特征信息。具体来说，动态脸部信息可通过录制一段预设脸部动作影像取得；在影片当中预设使用者可在一时间内做出一系列的脸部表情。预设脸部动作影像包括多幅图像。处理单元130从这些幅图像中取出预设使用者的至少一个脸部特征，并计算预设使用者的脸部特征在时间内的变量。而所取得的预设使用者脸部特征以及其变量即为预设使用者的脸部信息。

此外，当一使用者试图要解开绑定的功能时，影像获取装置110会截取使用者的脸部影像，当中使用者在一时间内做出一系列的脸部动作。同样地，脸部影片也包括多幅图像。处理单元130从这些幅图像中取出使用者至少一个脸部特征，并计算这些脸部特征在时间内的变量。本发明的脸部辨识系统100比较使用者的脸部特征变量与预设使用者的脸部信息，如果两者的差异范围介于一个预设值内，则处理单元便会去执行绑定的功能。有很多已知的方法可以用来计算使用者的脸部特征变量与预设使用者的脸部信息差异，例如动态时间规整算法(Dynamic Time Warping,DTW)，本发明不限于使用任何方式。

在一实施例中，本发明的脸部辨识系统100可执行一两阶段的脸部辨识。也即，脸部辨识系统100会先判断该使用者是否即为预设使用者，再考虑是否判断执行绑定功能(例如：解锁一电子装置，或执行一应用程序)。在第一阶段的使用者验证中，脸部辨识系统100依赖静态脸部图片作为判断基础；而在第二阶段判断是否执行绑定功能则是根据动态的脸部影像。在本实施例中，仅有当使用者验证成功，且使用者做出相同或近似的预设脸部表情动作后，系统才会执行绑定的功能。通过这样的机制提升整体脸部辨识系统的可靠性以及安全性。

图2是本发明根据静态图片进行脸部辨识的示意图。在本发明中，静态的脸部辨识可能仅会执行一次，或可能定期的执行。如图所示并参照图1，首先处理单元130取得一使用者的静态脸部图片200。在一实施例中，图片200可为脸部影像所包括的多幅图像其中之一。接着，处理单元130从图片200中取得使用者至少一个脸部特征(例如眼、耳、口、鼻、脸部轮廓)于二维空间的形状、位置或多个脸部特征之间的相对位置；而当使用者的脸部静态影像200是三维影像时，处理单元130可以根据使用者的脸部静态影像200得到使用者的脸部特征(例如眼、耳、口、鼻、脸部轮廓)于三维空间的形状、位置或多个脸部特征之间的相对位置。之后，处理单元130再将使用者的脸部特征信息和储存在储存装置120中预设使用者的脸部信息进行比对。当处理单元130判断使用者的脸部特征信息对应于(或大致符合于)预设使用者的脸部信息时，则验证该使用者即为该预设使用者。

在另一实施例中，不论是使用者或是预设使用者的脸部特征不一定非要由脸部动作影像的图像中取得。脸部特征可由其他方式，例如一单独分别取得的静态脸部图片中获得。另外，脸部特征不一定是一个单一特征；它可以是多个或是合并的脸部特征点或关键点。上述的例子的目的仅在说明本发明如何进行辨识，不应视为本发明的限制。

图3是本发明根据动态影像进行脸部辨识的示意图。须注意的是本发明的动态脸部辨识为一独立的辨识系统；它可以单独达成本发明的目的而不需要与前述的静态脸部辨识一起执行。如图所示，首先预设使用者先预录一个预设脸部动作影像；在影片当中预设使用者在一时间内做出一系列的脸部表情动作(例如：使用者是依序做出眨眼睛、猪鼻子、张大嘴等)。这一系列的脸部表情动作即为解开绑定功能的特定密钥。预设脸部动作影像包括有多幅图像。处理单元130从这些幅图像中取出预设使用者至少一个脸部特征。另外，如果先前已经进行过静态脸部辨识的话，本发明可以直接使用先前取得的脸部特征结果，而不需要在执行此一步骤。接着处理单元130计算预设使用者脸部特征在时间内的一预设变量。预设变量可能是预设使用者眼睛、嘴唇及鼻子于二维空间或三维空间的形状或相对位置变化。预设使用者的脸部特征信息(也即，静态脸部信息)以及预设变量(也即，动态脸部信息)将以预设使用者脸部信息的形式储存于储存装置120中。

当一使用者在一时间内做出相同或是近似的脸部表情动作(例如：使用者是依序做出眨眼睛、猪鼻子、张大嘴等)试图解开绑定的功能时，影像获取装置110将这些脸部表情录制成一脸部动作影像。其中脸部动作影像包括有多幅图像，合称为脸部动态影像300(如图3所示)。处理单元130从这些幅图像中获取出使用者的至少一个脸部特征，获取的方式如上所述。此外，如果先前已经进行过静态脸部辨识，那也可以直接从静态脸部辨识的结果直接得到使用者的脸部特征信息。接着，处理单元130计算使用者脸部特征在时间内的一变量。如上所述，该变量可能是使用者的眼睛、嘴唇及鼻子的形状或是位置的变化轨迹；且变量的计算可以是二维或是三维的。举例来说，处理单元130可从某一张(或第一张)图像中先确认使用者的眼睛、嘴唇及/或鼻子的形状和/或位置，接着根据其他多张图像计算眼睛、嘴唇及鼻子的形状或是位置的变化轨迹。处理单元130接着比对使用者脸部特征的变量以及储存在储存装置120中预设使用者的脸部信息。如果两者的差异介于一预设值内(表示两个相似或近似)，则处理单元130开始执行绑定功能，例如：解锁一电子装置或是执行一应用程序等。如上所述，本发明可利用一动态时间规整算法(DTW)判断两个信息是否相近。

相较于已知的辨识系统，本发明的脸部辨识系统100在可靠性以及安全性上都较为提升。在本发明的配置下，即使是长相很像的双胞胎也无法通过脸部辨识系统100的辨识进而解开绑定功能；另外即使是预设使用者也不会在意外的情况下解开绑定功能。

如上述，因为使用者的脸部特征可由脸部动作影像的其中一个图像取得，因此可以用来验证使用者。虽然本发明的动态脸部辨识系统主要是用来判断是否可以执行一绑定功能，但因为本发明所根据的动态影像也具有取得脸部特征的作用，因此也可以仅用作为使用者验证使用。此外，如上所述，本发明的动态脸部辨识为一单独操作的系统，因此不一定需要先经过使用者的验证后才进行判断是否执行绑定功能。也即，本发明可以直接进行绑定功能是否执行的判定；只要脸部特征的变量符合，绑定的功能即可被执行。再者，本发明的整体辨识率可由给予不同权重的静态跟动态辨识结果定义。

另外，本发明脸部辨识系统100可进行辨识的脸部动作不限于图3的实施例。使用者可以自行做出任何形式的脸部动作，以作为解开绑定功能的独特密钥。举例来说，使用者也可以做出张大眼睛、吐舌头、嘟嘴等脸部动作，且使用者脸部动作的变化及顺序可以根据使用者喜好而有不同组合。在本发明实施例中，为了提高本发明脸部辨识系统100被破解的困难度，使用者的脸部连续动作可包括使用者在不说话时所作的脸部连续动作、使用者说一段暗语的唇形变化或使用者做一夸张表情时所做的脸部连续动作，但动作不以此为限。再者，使用者头部的转动及移动可以进一步增加使用者的脸部特征的绝对位置变化，以进一步提高本发明脸部辨识系统100被破解的困难度。

本发明脸部辨识系统100用来辨识影像中使用者的脸部特征(例如眼、耳、口、鼻、脸部轮廓)的方法不限于特定图像处理方法或算法，现有用于辨识影像中使用者的脸部特征的图像处理方法或算法都可应用于本发明脸部辨识系统100。当影像获取装置110获取使用者的脸部动态影像300后，处理单元130可以用机器学习、计算机视觉、图像处理或视频处理的算法在一时序中从使用者的脸部影像粹取出一至多个特征(features)，比较该时序中该一至多个特征与储存装置120中的脸部的动态脸部信息，判断两者差异(或相似度)是否小于一预设值。动态脸部信息可为预设使用者脸部影片的一至多个特征、预设使用者的脸部影像、或任一可推断预设使用者脸部影像一至多个特征的值。该一至多个特征可包括一特征描述(feature descriptor)、多个脸部特征点(facial landmarks)、或两者的结合。特征描述可为边缘、方向梯度直方图、局部二值模式、或关键点，但不限于此。

图4中示意性地标出脸部动态影像300使用者的脸部特征点P(例如在鼻头、嘴唇、眼皮、眉毛、下巴、脸颊等)。本发明根据使用者的脸部动态影像300中的一特定参考点得到每个特征点P的位置向量变化(在二维空间或三维空间中)。相似地，动态脸部信息也包括预先获取的预先使用者的脸部动态影像中的脸部特征上示意性地标出多个特征点的位置向量变化。处理单元130根据使用者的脸部动态影像300和预设使用者的动态脸部信息中每个特征点于时间轴上的位置向量变化的相似程度，以判断两者在形状变化及位置变化是否介于一预设值内。在本发明实施例中，特征点的标示位置及数目可以根据设计需求而改变。越多的特征点需要的运算时间较长但可以让比对的结果更精确。

判断相似度的方式可以是比较一至多个特征与脸部信息在一或多维度的轨迹是否相似，例如用动态时间归整算法(dynamic time warping)比较两时序中特征的差异。两时序中特征的差异值可根据一成本函数计算而得，成本函数的例子包括一距离函数、位置、或夹角，但不限于此。以微笑表情做为例子，本发明的脸部辨识系统100可先取得预设使用者嘴部周围20个关键点当作参考的脸部特征并记录在微笑的过程中这20个关键点随时间的位置变化并定义成预设微笑轨迹函数SFtn。当一使用者试图也用微笑解开绑定的功能时，本发明的脸部辨识系统100在使用者的嘴巴附近抓取类似的20个关键点并记录微笑过程中这些关键点的变化并定义成使用者的微笑轨迹函数Ftn。脸部辨识系统100接着利用动态时间归整算法(DTW)计算两个微笑轨迹函数SFtn以及Ftn的差异，如果差异介于一事先定义的预设值内，则表示使用者通过动态脸部辨识，而该绑定功能可以被执行。在本实施例中仅考虑位置的变化，但本发明并不限于此；本发明也可以考虑角度变化或是相对距离等。此外，多个特征对应的差异值可根据一固定权重加总，或根据自适性的权重加总。例如，当一特征具有较高的置信度(confidence level)时，增加其权重；反之，降低其权重。

另一实施例中，可用一机器学习算法将该一至多个特征(features)嵌入(embedding)一多维空间中的一向量，并将该向量与脸部信息比较，比较的方式如前述。机器学习算法如类神经网络、主成分分析、自动编码器等等，但不限于此。

影像获取装置110可用红外线发射器、测距装置、光学变焦装置或图像处理方法等来获取使用者脸部的三维影像，但本发明不以此为限。任何获取三维影像的技术及方法皆可应用于本发明脸部辨识系统100。

图5是本发明脸部辨识方法的流程图400。本发明脸部辨识方法的流程如下列步骤：

步骤410：一储存装置储存一脸部信息，该脸部信息包括一预设使用者的脸部特征信息且与一绑定功能相关；

步骤420：获取一脸部动作影像，在脸部动作影像中一使用者在一时间内做出一系列脸部表情，且脸部动作影像包括多幅图像；

步骤430：从该些图像中抓取使用者的至少一个脸部特征，并计算使用者的脸部特征在时间内的一变量；

步骤440：比较使用者脸部特征的变量以及预设使用者的脸部信息；以及

步骤450：当两者的变化量小于一预设值时，执行绑定功能。

除上述步骤外，本发明的脸部辨识方法更包括：i)预录一预设脸部动作影片，在预设脸部动作影像当中使得预设使用者在一时间内做出的一系列的脸部表情作为解开绑定功能的独特密钥，其中预设脸部动作影像包括多幅原始图像；ii)从该幅原始图像中抓取预设使用者的至少一个脸部特征；以及iii)计算预设使用者脸部特征在时间内的一预设变量；其中脸部特征以及原始变量即为预设使用者的脸部信息。

在一实施例中，脸部辨识方法包括通过比较脸部特征以及脸部信息先行验证使用者是否为一预设使用者。此外，脸部特征的取得除了通过脸部动作影像外，也可由影像获取装置110获取的一静态脸部图片另外取得。

本发明脸部辨识系统是根据动态脸部影像而非仅靠静态的脸部图片作为辨识的基础。本发明的脸部辨识系统是动态的，因为预设使用者可以随自己的喜好将任何脸部表情动作组合起来成为解开绑定功能的独特密钥。因此，本发明的脸部辨识系统不仅可以降低将双胞胎或照片错判成使用者的可能性，且可以避免意外的将绑定功能解开的机会，进而增进整体脸部辨识的可靠性以及安全性。

以上所述仅为本发明的较佳实施例，凡根据本发明权利要求所做的均等变化与修饰，都应属本发明的涵盖范围。

Claims (20)

1.一种脸部辨识系统，包括：

一储存单元，用于储存一预设使用者的一脸部信息，其中该脸部信息包括该预设使用者的脸部特征且该脸部信息与一绑定功能相关；

一影像获取单元，用于获取一脸部动作影像，其中该脸部动作影像包括一使用者在一时间内做出的一系列的脸部表情，其中该脸部动作影像包括多幅图像；以及

一处理单元，连接至该影像获取单元以及储存单元，其中处理单元从该多幅图像中抓取该使用者的至少一个脸部特征，并计算该脸部特征在该时间内的一变量；

其中该处理单元比较该使用者的该变量以及该预设使用者的该脸部信息，如果两者之间的一变化量小于一预设值，则该处理单元执行该绑定功能。

2.根据权利要求1所述的脸部辨识系统，其中该处理单元使用动态时间规整算法(Dynamic Time Warping)计算该变化量是否小于该预设值。

3.根据权利要求1所述的脸部辨识系统，其中影像获取单元预录一预设脸部动作影像，其中该预设脸部动作影像包括该预设使用者在一时间内做出的一系列的脸部表情作为解开绑定功能的独特密钥，其中该预设脸部动作影像包括多幅原始图像，且其中处理单元从该幅原始图像中抓取该预设使用者的至少一个脸部特征，并计算该脸部特征在该时间内的一预设变量；其中该脸部特征以及该原始变量即为该预设使用者的该脸部信息。

4.根据权利要求3所述的脸部辨识系统，其中该处理单元可通过比较该脸部特征先行验证该使用者是否即为该预设使用者；仅有当验证成功后该脸部辨识系统才进一步考虑是否比较该变量以及预设变量以执行该绑定功能。

5.根据权利要求1所述的脸部辨识系统，其中该处理单元可从一单独获取的脸部图片中抓取出该使用者的该脸部特征。

6.根据权利要求1所述的脸部辨识系统，其中该绑定功能包括解锁一电子装置或执行一应用程序等。

7.一种脸部辨识方法，包括：

储存一预设使用者预设使用者的一脸部信息，其中该脸部信息包括该预设使用者的脸部特征且与一绑定功能相关；

获取一脸部动作影像，其中该脸部动作影像包括使得一使用者在一时间内做出一系列脸部表情，其中该脸部动作影像包括多幅图像；

从该幅图像中抓取该使用者的至少一个脸部特征；

计算该脸部特征在该时间内的一变量；

比较该使用者脸部特征的该变量以及该预设使用者的该脸部信息；以及

当两者的变化量小于一预设值时，执行该绑定功能。

8.根据权利要求7所述的脸部辨识方法，还包括利用动态时间规整算法(Dynamic TimeWarping)计算该变化量是否小于该预设值。

9.根据权利要求7所述的脸部辨识方法，还包括：

预录一预设脸部动作影片，其中该预设脸部动作影像包括该预设使用者在一时间内做出的一系列的脸部表情作为解开绑定功能的独特密钥，其中该预设脸部动作影像包括多幅原始图像；

从该幅原始图像中抓取该预设使用者的至少一个脸部特征；以及

计算该脸部特征在该时间内的一预设变量；

其中该脸部特征以及该原始变量即为该预设使用者的该脸部信息。

10.根据权利要求9所述的脸部辨识方法，还包括在考虑是否执行该绑定功能前，先通过比较该脸部特征验证该使用者是否为该预设使用者。

11.根据权利要求7所述的脸部辨识方法，其中该使用者的该脸部特征也可由一单独取得的图像中抓取出。

12.根据权利要求7所述的脸部辨识方法，其中该绑定功能包括解锁一电子装置或是执行一应用程序。

13.一种两阶段脸部辨识方法，包括：

比较至少一个脸部特征验证一使用者是否为一预设使用者；

比较一时间内该使用者的脸部特征的一变量以及该者预设使用者的脸部特征的预设变量；以及

若该变量以及该预设变量的变化量小于一预设值，则执行一绑定功能。

14.根据权利要求13所述的方法，还包括利用动态时间规整算法(Dynamic TimeWarping)计算该变化量是否小于该预设值。

15.根据权利要求13所述的方法，还包括：

预录一预设脸部动作影片，其中该预设脸部动作影像包括该预设使用者在一时间内做出的一系列的脸部表情作为解开绑定功能的独特密钥，其中该预设脸部动作影像包括多幅原始图像；

从该幅原始图像中抓取该预设使用者的至少一个脸部特征；以及

计算该脸部特征在该时间内的一预设变量；

其中该脸部特征以及该原始变量即为该预设使用者的该脸部信息。

16.根据权利要求15所述的方法，还包括将该预设使用者的脸部特征以及该预设变量储存成该预设使用者的该脸部信息；其中将该脸部信息与该绑定功能相关。

17.根据权利要求15所述的方法，其中该预设使用者的脸部特征也可从一单独取得的图像中抓取。

18.根据权利要求13所述的方法，还包括：

预录一脸部动作影片，其中该脸部动作影像包括该使用者在一时间内做出的一系列的脸部表情试图解开绑定功能，其中该脸部动作影像包括多幅图像；

从该幅图像中抓取该使用者的至少一个脸部特征；以及

计算该脸部特征在该时间内的该变量。

19.根据权利要求18所述的方法，其中该使用者的脸部特征也可从一单独取得的图像中抓取。

20.根据权利要求13所述的方法，其中该绑定功能为解锁一电子装置或是执行一应用程序。