CN103324879B - 移动设备基于人脸识别和智能卡的身份验证系统及方法 - Google Patents

Abstract

本发明涉及一种移动设备上基于人脸识别和智能卡实现身份验证功能的系统，其中包括用户界面模块、人脸数据采集模块、人脸特征信息提取处理模块、NFC通信模块和加密模块。本发明还涉及一种利用该系统实现移动设备上基于人脸识别和智能卡进行身份验证控制的方法。采用该种移动设备上基于人脸识别和智能卡实现身份验证功能的系统及其方法，保证了用户的个人隐私安全；能够利用移动设备的NFC功能读取智能卡上的相关信息，具有非接触的特点，无需读卡器，为在移动设备上进行身份验证提供了极大的便利，从而有效确保了用户在移动设备上使用智能卡进行身份验证的安全性，整体架构简单实用，使用过程快捷方便，工作性能稳定可靠，适用范围较为广泛。

Description

移动设备基于人脸识别和智能卡的身份验证系统及方法

技术领域

本发明涉及信息安全认证领域，特别涉及智能卡持卡人身份合法性验证技术领域，具体是指一种移动设备上基于人脸识别和智能卡实现身份验证功能的系统及其方法。

背景技术

智能卡或带有电子芯片的各种证件及卡片作为个人信息的承载工具被广泛使用。随着移动设备的普及，越来越多的日常活动需要移动设备与智能卡通信。在传统技术中，一般需要为移动设备连接一个外置读卡器来实现与智能卡的通信，造成用户携带和操作的不方便。NFC（Near Field Communication，近距离无线通信）作为一种非接触式识别和互联技术，提供了一种简单、触控式的解决方案，只需要在移动设备上内置NFC芯片，为应用开发者提供相应接口库，即可实现与智能卡之间的通信。

在访问智能卡上的敏感数据或执行关键操作时，为了保护个人信息，通常要求持卡人输入PIN码（Personal Identification Number，个人识别码），通过校验才可操作。在移动设备上使用智能卡系统时，PIN码通过终端键盘输入，容易被第三方非法获取击键记录，从而被盗取PIN码。即使对PIN码进行加密后再传输，加密使用的密钥也存在于终端内存中，并不能保证PIN码不被盗取。

人脸识别技术是生物特征识别技术的一种，是指从包含人脸的静止图像或视频序列图像中提取人脸的个性化特征，通过分析比较这些特征信息来进行身份识别，具有唯一性、自然性、非接触性等优点。如果能够用人脸特征信息来代替智能卡的PIN码，将具有更高安全性。

发明内容

本发明的目的是克服了上述现有技术中的缺点，提供一种能够避免通过终端输入PIN码存在的安全风险、有效确保用户在移动设备上使用智能卡进行身份验证的安全性、架构简单实用、使用快捷方便、工作性能稳定可靠、适用范围较为广泛的移动设备上基于人脸识别和智能卡实现身份验证功能的系统及其方法。

为了实现上述的目的，本发明的移动设备上基于人脸识别和智能卡实现身份验证功能的系统及其方法如下：

该移动设备上基于人脸识别和智能卡实现身份验证功能的系统，其主要特点是，所述的系统包括：

用户界面模块，用于与用户进行交互，指引用户操作，并调用相关模块功能；

人脸数据采集模块，与所述的用户界面模块相连接，通过移动设备上的摄像头进行人脸视频信息采集操作；

人脸特征信息提取处理模块，与所述的用户界面模块相连接，对所述的人脸数据采集模块所接收到的人脸视频信息进行处理，并提取人脸特征信息；

NFC通信模块，与所述的用户界面模块相连接，通过调用移动设备的NFC功能与外部智能卡进行通信，获取相关的NFC标签信息；

加密模块，分别与所述的用户界面模块、人脸特征信息提取处理模块和NFC通信模块相连接，通过NFC标签信息对所述的人脸特征信息进行加密。

该移动设备上基于人脸识别和智能卡实现身份验证功能的系统中的人脸特征信息提取处理模块包括：

眨眼检测单元，用于对人脸图像序列进行眨眼检测；

图像预处理单元，用于对人脸图像进行预处理，以设定特征点的搜索范围；

特征点提取单元，用于对人脸图像的特征点信息进行提取。

该移动设备上基于人脸识别和智能卡实现身份验证功能的系统中的特征点包括瞳孔、内外眼角点、鼻孔、鼻尖、嘴角。

该移动设备上基于人脸识别和智能卡实现身份验证功能的系统中的NFC标签信息包括智能卡卡号和用于加密的私钥。

该利用上述的系统实现移动设备上基于人脸识别和智能卡进行身份验证控制的方法，其主要特点是，所述的方法包括身份验证客户端处理操作和身份验证服务系统请求处理操作，所述的身份验证客户端处理操作，包括以下步骤：

（11）系统根据用户操作，进行启动和初始化操作；

（12）所述的人脸数据采集模块通过移动设备上的摄像头拍摄人脸，并输入相应的人脸视频片段信息；

（13）所述的人脸特征信息提取处理模块处理人脸视频片段信息，并提取人脸特征信息；

（14）系统进行用户刷智能卡的提示操作，且所述的NFC通信模块根据用户的刷卡操作通过移动设备的NFC功能与外部的智能卡进行通信，获取相关的NFC标签信息，；

（15）所述的加密模块利用所述的NFC标签信息进行人脸特征信息加密处理；

（16）系统将人脸特征信息加密处理后的用户信息与所述的NFC标签信息中的智能卡卡号作为身份验证请求信息一并发送至远程的身份验证服务系统进行身份验证；

所述的身份验证服务系统请求处理操作，包括以下步骤：

（21）所述的身份验证服务系统接收到所述的身份验证请求信息；

（22）服务系统判断请求格式是否符合预设的规定格式；

（23）如果格式正确，则继续步骤（24）进行处理；否则返回“身份验证失败”的结果至身份验证客户端，并结束处理；

（24）根据所述的身份验证请求信息中的智能卡卡号验证相应的智能卡的证书是否在有效期内；

（25）如果证书在有效期内，则继续步骤（26）进行处理；否则返回“身份验证失败”的结果至身份验证客户端，并结束处理；

（26）根据所述的身份验证请求信息中的智能卡卡号在身份验证服务系统的数据库中查询相关的用户信息；

（27）用相应的用户的公钥对所述的身份验证请求信息中的用户信息进行解密；

（28）将解密得到的人脸特征信息进行特征匹配验证；

（29）如果验证成功，则返回“通过身份验证”的结果至身份验证客户端，否则返回“身份验证失败”的结果至身份验证客户端。

该实现移动设备上基于人脸识别和智能卡进行身份验证控制的方法中的处理人脸视频片段信息并提取人脸特征信息，包括以下步骤：

（131）所述的人脸特征信息提取处理模块对人脸视频片段信息中的图像序列进行眨眼检测；

（132）如果检测不通过，则返回上述步骤（12）重新拍摄；

（133）所述的人脸特征信息提取处理模块对所述的图像序列中的每一帧逐个进行人脸特征信息提取处理。

该实现移动设备上基于人脸识别和智能卡进行身份验证控制的方法中的对图像序列中的每一帧逐个进行人脸特征信息提取处理，包括以下步骤：

（1331）对当前帧图像进行图像预处理操作；

（1332）如果预处理失败，则将该当前帧图像丢弃，并提取图像序列中的下一帧图像，继续上述步骤（1331）；

（1333）如果预处理成功，则对该当前帧图像进行特征点提取操作；

（1334）如果所述的人脸视频片段信息中的图像序列中没有一帧图像预处理成功，则该人脸视频片段信息整体不合格，返回上述步骤（12）重新拍摄；

（1335）当预处理成功且进行特征点提取操作的图像累计达到系统预设的最大帧数，或者该人脸视频片段信息中的图像序列中的全部图像都已处理完毕，则将提取所得到的全部人脸特征信息进行联合处理，并计算得到最终特征提取结果。

该实现移动设备上基于人脸识别和智能卡进行身份验证控制的方法中的进行图像预处理操作，包括以下步骤：

（13311）将彩色图像转换为灰度图，并滤掉明显不可能是人脸的部分；

（13312）通过归一化模板匹配方法进行初步人脸定位处理。

该实现移动设备上基于人脸识别和智能卡进行身份验证控制的方法中的通过归一化模板匹配方法进行初步人脸定位处理，具体为：

根据人脸先验知识，利用归一化模板匹配，在整个人脸图像中确定出脸部的大概区域，以及特征点的大致搜索范围。

该实现移动设备上基于人脸识别和智能卡进行身份验证控制的方法中的归一化模板为多个不同的人脸灰度图像计算得到的平均脸，并划出其中用于匹配的关键部位。

该实现移动设备上基于人脸识别和智能卡进行身份验证控制的方法中的进行特征点提取操作，包括以下步骤：

（13331）对眼部区域进行水平和垂直的梯度图像积分投影，确定瞳孔位置信息；

（13332）以两眼瞳孔为中心位置确定眼部区域，进行二值化处理得到二值化图像，并结合SUSAN算子准确定位内外眼角点位置信息；

（13333）以两眼瞳孔位置为基础，在鼻子搜索区域采用区域灰度积分投影确定两个鼻孔点位置信息；

（13334）在两个鼻孔点连线上方附近搜索高亮区域，即得到鼻尖位置信息；

（13335）对嘴巴区域进行灰度归一化、二值化处理，得到二值化图像，并使用SUSAN算子获得嘴巴边缘图像；

（13336）以嘴巴边缘图像为基础进行角点提取，获得两个嘴角的精确位置信息。

该实现移动设备上基于人脸识别和智能卡进行身份验证控制的方法中的系统预设的最大帧数为100帧。

采用了该发明的移动设备上基于人脸识别和智能卡实现身份验证功能的系统及其方法，由于其中采取基于人脸特征信息的身份验证，利用人脸的不可替代、不可盗用、不会遗失的特点，保证了身份验证的有效完成，验证过程只需输入用户人脸信息，用户不需要设置和保管密码，从而避免密码遗失或泄露带来的身份窃取、身份冒用等安全威胁，也省去修改密码等带来的操作复杂度；同时验证过程具有很强的隐私性，人脸特征信息由智能卡中的私钥加密，以密文形式发送，即使攻击者截获身份验证请求，没有相应的公钥也无法获得任何用户个人信息，同时，用户个人信息在身份验证服务系统的数据库内也是以密文形式存储，保证了用户的个人隐私安全；而且为移动设备身份验证提供了便利，能够利用移动设备的NFC功能读取智能卡上的相关信息，具有非接触的特点，无需读卡器，为在移动设备上进行身份验证提供了极大的便利，从而有效确保了用户在移动设备上使用智能卡进行身份验证的安全性，整体架构简单实用，使用过程快捷方便，工作性能稳定可靠，适用范围较为广泛。

附图说明

图1为本发明的移动设备上基于人脸识别和智能卡实现身份验证功能的系统的整体功能模块架构示意图。

图2为本发明的移动设备上基于人脸识别和智能卡实现身份验证功能的系统中的人脸特征信息提取处理模块的架构示意图。

图3为本发明的实现移动设备上基于人脸识别和智能卡进行身份验证控制的方法中的身份验证客户端处理操作流程图。

图4为本发明的实现移动设备上基于人脸识别和智能卡进行身份验证控制的方法中的身份验证服务系统请求处理操作流程图。

图5为本发明的实现移动设备上基于人脸识别和智能卡进行身份验证控制的方法中的人脸特征信息提取流程示意图。

具体实施方式

为了能够更清楚地理解本发明的技术内容，特举以下实施例详细说明。

首先给出发明中一些符号定义：

●人脸特征信息（pic）：对输入的人脸视频进行处理后提取出的人脸特征信息，每个用户都有其唯一的特征信息。

●人脸图像编号（i）：对人脸视频中的图像按顺序编号，即第i帧图像，i＝1，2，3，……。

●人脸视频帧数参数（M）：人脸视频中的图像总数，即输入的视频中共有N帧图像。

●合格的人脸图像数目参数（N）：在视频处理过程中对合格人脸图像的计数，从0开始。对每一帧图像，在进行特诊点提取之前，要先进行预处理，如预处理判断该图像内不含人脸，则无需进行特征点提取，该图像不合格，如图像通过了预处理，则记为合格的图像，对M＋1。

●智能卡上存储的私钥（KPV）：智能卡上存储的用于加密信息的私钥，与智能卡通信时可以读取该私钥，用其进行相关的加密操作。

●智能卡卡号（CardNumber）：智能卡发放时就带有的唯一的卡号，身份验证服务系统凭该号码在数据库中查询用户的相关信息。如卡过期或作废，该号码也随之作废。

请参阅图1和图2所示，该移动设备上基于人脸识别和智能卡实现身份验证功能的系统，其中包括：

（1）用户界面模块，用于与用户进行交互，指引用户操作，并调用相关模块功能；

（2）人脸数据采集模块，与所述的用户界面模块相连接，通过移动设备上的摄像头进行人脸视频信息采集操作；

（3）人脸特征信息提取处理模块，与所述的用户界面模块相连接，对所述的人脸数据采集模块所接收到的人脸视频信息进行处理，并提取人脸特征信息；该人脸特征信息提取处理模块包括：

●眨眼检测单元，用于对人脸图像序列进行眨眼检测；

●图像预处理单元，用于对人脸图像进行预处理，以设定特征点的搜索范围；

●特征点提取单元，用于对人脸图像的特征点信息进行提取；该特征点包括瞳孔、内外眼角点、鼻孔、鼻尖、嘴角；

（4）NFC通信模块，与所述的用户界面模块相连接，通过调用移动设备的NFC功能与外部智能卡进行通信，获取相关的NFC标签信息；该NFC标签信息包括智能卡卡号和用于加密的私钥；

（5）加密模块，分别与所述的用户界面模块、人脸特征信息提取处理模块和NFC通信模块相连接，通过NFC标签信息对所述的人脸特征信息进行加密。

再请参阅图3至图5所示，该利用上述的系统实现移动设备上基于人脸识别和智能卡进行身份验证控制的方法，其中包括身份验证客户端处理操作和身份验证服务系统请求处理操作，所述的身份验证客户端处理操作，包括以下步骤：

（11）系统根据用户操作，进行启动和初始化操作；

（12）所述的人脸数据采集模块通过移动设备上的摄像头拍摄人脸，并输入相应的人脸视频片段信息；

（13）所述的人脸特征信息提取处理模块处理人脸视频片段信息，并提取人脸特征信息；该处理人脸视频片段信息并提取人脸特征信息，包括以下步骤：

（a）所述的人脸特征信息提取处理模块对人脸视频片段信息中的图像序列进行眨眼检测；

（b）如果检测不通过，则返回上述步骤（12）重新拍摄；

（c）所述的人脸特征信息提取处理模块对所述的图像序列中的每一帧逐个进行人脸特征信息提取处理，包括以下步骤：

（i）对当前帧图像进行图像预处理操作，包括以下步骤：

（I）将彩色图像转换为灰度图，并滤掉明显不可能是人脸的部分；

（II）通过归一化模板匹配方法进行初步人脸定位处理，具体为：

根据人脸先验知识，利用归一化模板匹配，在整个人脸图像中确定出脸部的大概区域，以及特征点的大致搜索范围；该归一化模板为多个不同的人脸灰度图像计算得到的平均脸，并划出其中用于匹配的关键部位；

（ii）如果预处理失败，则将该当前帧图像丢弃，并提取图像序列中的下一帧图像，继续上述步骤（i）；

（iii）如果预处理成功，则对该当前帧图像进行特征点提取操作，包括以下步骤：

（I）对眼部区域进行水平和垂直的梯度图像积分投影，确定瞳孔位置信息；

（II）以两眼瞳孔为中心位置确定眼部区域，进行二值化处理得到二值化图像，并结合SUSAN算子准确定位内外眼角点位置信息；

（III）以两眼瞳孔位置为基础，在鼻子搜索区域采用区域灰度积分投影确定两个鼻孔点位置信息；

（IV）在两个鼻孔点连线上方附近搜索高亮区域，即得到鼻尖位置信息；

（V）对嘴巴区域进行灰度归一化、二值化处理，得到二值化图像，并使用SUSAN算子获得嘴巴边缘图像；

（VI）以嘴巴边缘图像为基础进行角点提取，获得两个嘴角的精确位置信息；

（iv）如果所述的人脸视频片段信息中的图像序列中没有一帧图像预处理成功，则该人脸视频片段信息整体不合格，返回上述步骤（12）重新拍摄；

（v）当预处理成功且进行特征点提取操作的图像累计达到系统预设的最大帧数，或者该人脸视频片段信息中的图像序列中的全部图像都已处理完毕，则将提取所得到的全部人脸特征信息进行联合处理，并计算得到最终特征提取结果；该系统预设的最大帧数为100帧；

（14）系统进行用户刷智能卡的提示操作，且所述的NFC通信模块根据用户的刷卡操作通过移动设备的NFC功能与外部的智能卡进行通信，获取相关的NFC标签信息，；

（15）所述的加密模块利用所述的NFC标签信息进行人脸特征信息加密处理；

（16）系统将人脸特征信息加密处理后的用户信息与所述的NFC标签信息中的智能卡卡号作为身份验证请求信息一并发送至远程的身份验证服务系统进行身份验证；

所述的身份验证服务系统请求处理操作，包括以下步骤：

（21）所述的身份验证服务系统接收到所述的身份验证请求信息；

（22）服务系统判断请求格式是否符合预设的规定格式；

（23）如果格式正确，则继续步骤（24）进行处理；否则返回“身份验证失败”的结果至身份验证客户端，并结束处理；

（24）根据所述的身份验证请求信息中的智能卡卡号验证相应的智能卡的证书是否在有效期内；

（25）如果证书在有效期内，则继续步骤（26）进行处理；否则返回“身份验证失败”的结果至身份验证客户端，并结束处理；

（26）根据所述的身份验证请求信息中的智能卡卡号在身份验证服务系统的数据库中查询相关的用户信息；

（27）用相应的用户的公钥对所述的身份验证请求信息中的用户信息进行解密；

（28）将解密得到的人脸特征信息进行特征匹配验证；

（29）如果验证成功，则返回“通过身份验证”的结果至身份验证客户端，否则返回“身份验证失败”的结果至身份验证客户端。

在实际使用当中，本发明结合移动设备上的身份验证需求，利用人脸的唯一性，以人脸识别为验证手段，结合移动设备的NFC功能与智能卡通信，提出了一种移动设备上基于人脸识别和智能卡的身份验证方法。其原理是通过移动设备的NFC功能读取智能卡内的信息，对人脸信息进行加密，与智能卡号一起发送到服务系统，由服务系统进行查询和匹配，从而解决在移动设备上进行身份验证的问题。

人脸识别技术是生物特征识别技术的一种，是指从包含人脸的静止图像或视频序列图像中提取人脸的个性化特征，通过分析比较这些特征信息来进行身份识别，具有唯一性、自然性、非接触性等优点。

本发明借助人脸识别技术实现身份验证，采用基于人脸关键特征点的算法提取人脸特征信息，利用人脸关键部位的形状和结构来描述人脸，作为识别的特征信息。根据人类视觉特性原理，从人脸的几何特征中提取出具有尺寸、旋转和位移不变性的特征点，能够快速准确地辨别出人脸主要器官的关键特征点位置，以抽取其特征信息。对一幅人脸图像样本，通过定位特征点可以方便地抽取人脸的各部分特征，以特征点为基准对各个特征值进行归一化处理，可使提取的特征值具有平移、旋转和尺度上的不变性，通过这样对人脸进行规范化处理。因而，在提取特征点前，不需要对样本进行尺寸的规范化，有助于增强抗干扰能力，提高识别率。

请参阅图2所示，给出了处理人脸特征信息的单元，主要分为3个处理单元：眨眼检测、图像预处理和提取特征点。在通过眨眼检测之后，对视频中的每一帧图像提取特征点，最后利用联合规则计算最终结果，从而提高识别率。

下面给出处理模块的具体说明：

眨眼检测：为了防止用持卡人照片进行验证，故要求输入的是持卡人的人脸视频。在处理输入的人脸视频之前，对人脸图像序列进行眨眼检测，通过眨眼检测的人脸视频才是合格的。

图像预处理：提取特征点之前要对人脸图像进行预处理，以设定特征点的搜索范围。预处理首先将彩色图像转化为灰度图，因为背景和衣物的颜色不利于人脸区域的定位，转化为灰度图后，肤色区域亮度较高，这样可以有效区分肤色区域及非肤色区域，滤掉明显不可能是人脸的部分。接着通过归一化模板匹配方法初步定位人脸，在整个人脸图像中确定特征点的大致搜索范围。将彩色图转化为灰度图可以减小实际参加归一化匹配的子图和模板的分辨率，加快匹配速度，且对图像在一定程度上的尺寸变化和角度变化不敏感。

提取特征点：预处理之后的图像就可以进行特征点的提取，依次提取瞳孔、内外眼角点、鼻孔、鼻尖、嘴角等特征点。在进行人脸特征提取时，由于无法将局部的边缘信息有效地组织起来，利用边缘及角点的特征来进行人脸关键特征点的定位。其中选择SUSAN（SmallestUnivalue Segment Assimilating Nucleus）算子用于提取局部区域的边缘和角点特征。对关键区域进行灰度归一化、二值化处理，得到二值化图像，然后结合SUSAN算子进行边缘和角点提取，获得特征点的精确位置。

基于人脸识别与智能卡的身份验证的过程如下：

本发明主要包括了两大部分：一是基于人脸识别与NFC的身份验证客户端（以下简称身份验证客户端），二是身份验证服务系统。下面将对这两大部分进行详细描述。

1、基于人脸识别与NFC的身份验证客户端

当用户要进行身份验证时，首先通过身份验证客户端调用移动设备的摄像头采集人脸信息，提取人脸特征信息。经过上述人脸特征信息提取过程得到的特征信息pic，由身份验证客户端发送至身份验证服务系统请求验证。身份验证请求至少需包含以下两个参数：（，CardNumber），且需要满足身份验证服务系统的格式要求。其中智能卡会对发送的人脸特征信息用非对称加密算法加密，通信过程中传输的都是加密后的数据，这样既可以保护用户隐私，也保证了数据安全性，即使被攻击者获取，没有对应的智能卡也无法对用户信息解密。

身份验证客户端组成模块主要包括：用户界面、人脸数据采集模块、人脸特征信息提取模块、NFC通信模块和加密模块，具体结构可参见图1所示，模块详细说明如下：

●用户界面，用于与用户进行交互，指引用户操作，并调用相关模块功能。

●人脸数据采集模块，控制移动设备摄像头进行人脸视频采集。

●人脸特征信息提取模块，对接收到的人脸视频进行处理，提取特征信息。

●NFC通信模块，通过调用移动设备的NFC功能与智能卡进行通信，获取相关信息。当用户将智能卡靠近移动设备时，读取智能卡上的NFC标签信息，包含卡号和用于加密的私钥。

●加密模块，使用智能卡信息对人脸特征信息进行加密。本发明采用的加密算法选自国家密码局发布的加密算法，用户可自行选择。

身份验证客户端具体工作流程可参见图3，具体实施方式可参见“身份验证客户端工作流程”。

2、身份验证服务系统

身份验证服务系统收到身份验证请求后，首先确认该请求是否有效，包括了请求格式是否符合系统规定，智能卡的证书是否在有效期内，这样不仅能有效地防止重放攻击，且提高系统效率。如果该身份验证请求有效，则按照请求中的智能卡卡号在数据库中查询相关的用户信息，否则对该请求不进行处理。

身份验证服务系统查询到相关的用户信息后，用公钥对验证请求中的用户信息进行解密，并送入相应验证模块对解密后的用户身份信息进行特征匹配等验证；如果验证不成功，则返回“身份验证失败”给身份验证客户端，如验证成功则返回“通过身份验证”给移动设备上的身份验证客户端。

数据库中存储的用户信息都是经过加密的，这样设计是出于保护用户隐私的目的，同时这样也能提高用户数据的安全性。比如即使发生了数据库信息泄露，攻击者只能获取到加密的密文信息，没有正确的智能卡信息也无法得到用户真正信息。

身份验证服务系统处理请求的具体流程请参见图3所示，具体实施方式可参见“身份验证服务系统处理请求流程”。

（一）身份验证客户端工作流程如图3所示，其中包含6个步骤：

（1）用户启动身份验证客户端。

（2）通过移动设备摄像头拍摄人脸，输入一段人脸视频。

（3）处理人脸视频，提取人脸特征信息，参见图5所示，包含以下步骤：

Step1：对视频图像序列进行眨眼检测，检测不通过则转步骤（2）重新拍摄。

Step2：对视频图像序列的每一帧进行人脸特征信息提取，主要分为以下2个步骤：

Step2.1：进行预处理。预处理包含两个过程：一是将彩色图像转化为灰度图，滤掉明显不可能是人脸的部分。二是通过归一化模板匹配方法初步定位人脸，即根据人脸先验知识，利用归一化模板匹配，在整个人脸图像中确定出脸部的大概区域，以及特征点的大致搜索范围。该模板是用多个不同的人脸灰度图像计算得到的平均脸，将其中关键部位划出来用于匹配。如果预处理失败，则说明该图像中不包含人脸，弃用，成功则采用。

Step2.2：对于采用的图像进行特征点的提取。首先对眼部区域进行水平和垂直的梯度图像积分投影，确定瞳孔位置，以两眼瞳孔为中心位置确定眼部区域，进行二值化后结合SUSAN算子准确定位内外眼角点。接着以两眼瞳孔位置为基础，在鼻子搜索区域采用区域灰度积分投影确定两个鼻孔点，在两鼻孔连线上方附近搜索高亮区域，即为鼻尖。最后对嘴巴区域进行灰度归一化、二值化处理，得到二值化图像，然后使用SUSAN算子获得嘴巴边缘图像，以此为基础进行角点提取可以获得两个嘴角的精确位置。

Step3：如果视频中没有一帧图像通过预处理，则该视频不合格，返回步骤（2）重新拍摄；当采用的图像达到100帧，或者视频中全部的图像都已处理完毕，则将所得的人脸特征信息联合处理，计算最终结果pic。

（4）提示用户刷智能卡；

（5）用智能卡对pic加密。例如当用户选择用RSA算法，用智能卡为人脸特征信息提供保护时，受保护的人脸特征信息pic加密后的结果为

（6）发送身份验证请求给身份验证服务系统，请求参数有（CardNumber）。

（二）身份验证服务系统请求处理流程请参阅图4所示，其中包含5个步骤：

（1）收到身份验证请求。

（2）判断请求格式是否符合系统规定。如果格式正确，则转步骤（3）继续处理；否则流程结束。

（3）根据请求中的卡号验证该智能卡的证书是否在有效期内。如果证书有效，则转步骤（4）继续处理；否则验证失败，返回。

（4）根据请求中的智能卡卡号在数据库中查询相关的用户信息。

（5）用相应的用户公钥对请求中的用户信息进行解密。

（6）将解密得到的信息送入验证模块进行特征匹配等验证。如果验证成功，返回“通过身份验证”给身份验证客户端，否则返回“身份验证失败”。

采用了上述的移动设备上基于人脸识别和智能卡实现身份验证功能的系统及其方法，由于其中采取基于人脸特征信息的身份验证，利用人脸的不可替代、不可盗用、不会遗失的特点，保证了身份验证的有效完成，验证过程只需输入用户人脸信息，用户不需要设置和保管密码，从而避免密码遗失或泄露带来的身份窃取、身份冒用等安全威胁，也省去修改密码等带来的操作复杂度；同时验证过程具有很强的隐私性，人脸特征信息由智能卡中的私钥加密，以密文形式发送，即使攻击者截获身份验证请求，没有相应的公钥也无法获得任何用户个人信息，同时，用户个人信息在身份验证服务系统的数据库内也是以密文形式存储，保证了用户的个人隐私安全；而且为移动设备身份验证提供了便利，能够利用移动设备的NFC功能读取智能卡上的相关信息，具有非接触的特点，无需读卡器，为在移动设备上进行身份验证提供了极大的便利，从而有效确保了用户在移动设备上使用智能卡进行身份验证的安全性，整体架构简单实用，使用过程快捷方便，工作性能稳定可靠，适用范围较为广泛。

在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims (8)

1.一种移动设备上基于人脸识别和智能卡进行身份验证控制的方法，其特征在于，所述的方法基于一种移动设备上基于人脸识别和智能卡实现身份验证功能的系统实现，所述的系统包括用户界面模块、人脸数据采集模块、人脸特征信息提取处理模块、NFC通信模块以及加密模块，所述的方法包括身份验证客户端处理操作和身份验证服务系统请求处理操作，所述的身份验证客户端处理操作，包括以下步骤：

(11)系统根据用户操作，进行启动和初始化操作；

(12)所述的人脸数据采集模块通过移动设备上的摄像头拍摄人脸，并输入相应的人脸视频片段信息；

(13)所述的人脸特征信息提取处理模块处理人脸视频片段信息，并提取人脸特征信息；

(14)系统进行用户刷智能卡的提示操作，且所述的NFC通信模块根据用户的刷卡操作通过移动设备的NFC功能与外部的智能卡进行通信，获取相关的NFC标签信息，；

(15)所述的加密模块利用所述的NFC标签信息进行人脸特征信息加密处理；

(16)系统将人脸特征信息加密处理后的用户信息与所述的NFC标签信息中的智能卡卡号作为身份验证请求信息一并发送至远程的身份验证服务系统进行身份验证；

所述的身份验证服务系统请求处理操作，包括以下步骤：

(21)所述的身份验证服务系统接收到所述的身份验证请求信息；

(22)服务系统判断请求格式是否符合预设的规定格式；

(23)如果格式正确，则继续步骤(24)进行处理；否则返回“身份验证失败”的结果至身份验证客户端，并结束处理；

(24)根据所述的身份验证请求信息中的智能卡卡号验证相应的智能卡的证书是否在有效期内；

(25)如果证书在有效期内，则继续步骤(26)进行处理；否则返回“身份验证失败”的结果至身份验证客户端，并结束处理；

(26)根据所述的身份验证请求信息中的智能卡卡号在身份验证服务系统的数据库中查询相关的用户信息；

(27)用相应的用户的公钥对所述的身份验证请求信息中的用户信息进行解密；

(28)将解密得到的人脸特征信息进行特征匹配验证；

(29)如果验证成功，则返回“通过身份验证”的结果至身份验证客户端，否则返回“身份验证失败”的结果至身份验证客户端。

2.根据权利要求1所述的移动设备上基于人脸识别和智能卡进行身份验证控制的方法，其特征在于，所述的处理人脸视频片段信息并提取人脸特征信息，包括以下步骤：

(131)所述的人脸特征信息提取处理模块对人脸视频片段信息中的图像序列进行眨眼检测；

(132)如果检测不通过，则返回上述步骤(12)重新拍摄；

(133)所述的人脸特征信息提取处理模块对所述的图像序列中的每一帧逐个进行人脸特征信息提取处理。

3.根据权利要求2所述的移动设备上基于人脸识别和智能卡进行身份验证控制的方法，其特征在于，所述的对所述的图像序列中的每一帧逐个进行人脸特征信息提取处理，包括以下步骤：

(1331)对当前帧图像进行图像预处理操作；

(1332)如果预处理失败，则将该当前帧图像丢弃，并提取图像序列中的下一帧图像，继续上述步骤(1331)；

(1333)如果预处理成功，则对该当前帧图像进行特征点提取操作；

(1334)如果所述的人脸视频片段信息中的图像序列中没有一帧图像预处理成功，则该人脸视频片段信息整体不合格，返回上述步骤(12)重新拍摄；

(1335)当预处理成功且进行特征点提取操作的图像累计达到系统预设的最大帧数，或者该人脸视频片段信息中的图像序列中的全部图像都已处理完毕，则将提取所得到的全部人脸特征信息进行联合处理，并计算得到最终特征提取结果。

4.根据权利要求3所述的移动设备上基于人脸识别和智能卡进行身份验证控制的方法，其特征在于，所述的进行图像预处理操作，包括以下步骤：

(13311)将彩色图像转换为灰度图，并滤掉明显不可能是人脸的部分；

(13312)通过归一化模板匹配方法进行初步人脸定位处理。

5.根据权利要求4所述的移动设备上基于人脸识别和智能卡进行身份验证控制的方法，其特征在于，所述的通过归一化模板匹配方法进行初步人脸定位处理，具体为：

根据人脸先验知识，利用归一化模板匹配，在整个人脸图像中确定出脸部的大概区域，以及特征点的大致搜索范围。

6.根据权利要求5所述的移动设备上基于人脸识别和智能卡进行身份验证控制的方法，其特征在于，所述的归一化模板为多个不同的人脸灰度图像计算得到的平均脸，并划出其中用于匹配的关键部位。

7.根据权利要求3所述的移动设备上基于人脸识别和智能卡进行身份验证控制的方法，其特征在于，所述的进行特征点提取操作，包括以下步骤：

(13331)对眼部区域进行水平和垂直的梯度图像积分投影，确定瞳孔位置信息；

(13332)以两眼瞳孔为中心位置确定眼部区域，进行二值化处理得到二值化图像，并结合SUSAN算子准确定位内外眼角点位置信息；

(13333)以两眼瞳孔位置为基础，在鼻子搜索区域采用区域灰度积分投影确定两个鼻孔点位置信息；

(13334)在两个鼻孔点连线上方附近搜索高亮区域，即得到鼻尖位置信息；

(13335)对嘴巴区域进行灰度归一化、二值化处理，得到二值化图像，并使用SUSAN算子获得嘴巴边缘图像；

(13336)以嘴巴边缘图像为基础进行角点提取，获得两个嘴角的精确位置信息。

8.根据权利要求3所述的移动设备上基于人脸识别和智能卡进行身份验证控制的方法，其特征在于，所述的系统预设的最大帧数为100帧。