CN113469143A - 一种基于神经网络学习的手指静脉图像识别方法 - Google Patents

Abstract

本发明公开了一种基于神经网络学习的手指静脉图像识别方法，包括以下步骤：S1：获取及预处理手指静脉图像；S2：根据S1提取手指静脉图像特征；S3：根据S2进行特征匹配与识别；S4：根据S3进行实验并分析结果；解决了以往技术中由于对比损失以及三元组损失对训练样本的利用率不够高而导致模型效果欠佳的问题；并通过在系统中融入手指静脉图像质量的判断，解决了由于图像质量不合格而导致的识别准确率降低的问题。

Description

一种基于神经网络学习的手指静脉图像识别方法

技术领域

本发明涉及手指静脉图像识别领域，特别是一种基于神经网络学习的手指静脉图像识别方法。

背景技术

相比于密码、钥匙、身份证等传统身份鉴别信息，人体生物特征因具有“随身携带”、随时随地可用、不易遗忘和丢失等优点，使得金融、安防、日常出勤管理、个人物品保管等领域更青睐于通过生物特征进行个人身份识别与验证。相比于指纹和人脸等外部特征，手指静脉属于人体内部结构，不易受到外部环境的影响，并且静脉识别属于活体识别，难以被复制，其安全等级更高。同时，由于手指静脉脉络分布的随机性，使得不同个体之间手指静脉脉络分布存在差异性，即使是双胞胎的静脉分布特征也不相同，这就奠定了手指静脉用于身份识别的基础。

影响手指静脉识别系统精度的主要因素为：采集到的静脉图像质量好坏以及静脉图像特征提取是否有效，二者均是为了保障手指静脉图像中的特征能充分提取与表达。传统静脉图像特征提取方法主要是通过人工设计特征提取算法，例如：提取血管结构的标志性特征(线性形状、曲率、细节点等)来代表静脉脉络的特征；利用单维或多维的主分量分析方法寻找静脉图像或所提特征的低维表达，从而有效缩减了特征向量的维数；利用静脉图像全局或局部的统计信息来表达图像的特征，以局部二值模式(Local Binary Pattern,LBP)为典型代表；另外，一些在计算机视觉上广泛应用的尺度不变特征提取技术(ScaleInvariant Feature Transform,SIFT)也被用于静脉特征表达。

得益于神经网络技术的发展，近年来计算机视觉中许多问题都借助于神经网络模型来自适应地捕获目标图像的有效特征，已有学者将典型的卷积神经网络模型用于手指静脉识别问题中。例如：陶志勇等在AlexNet模型基础上提出了Im-AlexNet模型并用于手指静脉识别中，有效减小了模型参数量，提高了识别准确率。但由于分类网络输出节点固定，使得识别系统只能识别有限数量的人群。Tang和Xie将度量学习应用于手指静脉识别中，Tang利用预训练模型作为教师网络，轻量级网络作为学生网络，将两者结合为一个孪生网络结构，构造对比损失(Contrastive Loss)量化样本对之间的距离，训练出的网络性能良好。Xie研究了影响网络识别率的因素，通过三元组损失(Triplet Loss)训练得到最优的哈希模型，取得较好的手指静脉识别结果。虽然度量学习解决了分类网络结构的问题，但是其中的对比损失以及三元组损失对训练样本的利用率还不够高，导致模型效果欠佳。

为了克服上述方法存在的缺陷，我们基于度量学习的方法，提出采用基于平滑平均准确度损失函数(SmoothAverage Precision Loss,Smooth-AP)来训练卷积神经网络的思路，有效提高了网络识别手指静脉图像的性能。并且，构建了如下的识别系统：个人身份注册时，利用训练好的卷积神经网络将输入的手指静脉图像转变为其对应的特征向量并存储，从而完成个人身份数据库的构建；当识别个人身份时，利用网络提取待识别手指静脉图像的特征，并通过与个人身份数据库中已有的特征进行匹配得到待识别人的身份。另外，为了保证网络输入端的手指静脉图像质量达到一定要求，我们在图像采集后加入了基于神经网络的图像质量判断模块，进一步增强了整个手指静脉识别系统的稳定性和可靠性。

发明内容

为解决现有技术中存在的问题，本发明提供了一种基于神经网络学习的手指静脉图像识别方法，解决了以往技术中由于对比损失以及三元组损失对训练样本的利用率不够高而导致模型效果欠佳的问题；并通过在系统中融入手指静脉图像质量的判断，解决了由于图像质量不合格而导致的识别准确率降低的问题。

本发明的技术方案为：一种基于神经网络学习的手指静脉图像识别方法，包括以下步骤：

S1：获取及预处理手指静脉图像；

S2：根据S1提取手指静脉图像特征；

S3：根据S2进行特征匹配与识别；

S4：根据S3进行实验并分析结果。

优选地，S1包括以下子步骤：

S11：提取手指静脉图像的ROI；

S12：根据手指静脉图像的ROI，基于MobileNet-V2网络判断手指静脉图像的质量。

优选地，S2包括以下子步骤：

S21：基于ResNet-50网络模型提取手指静脉图像特征；

S22：选择损失函数；

S23：根据损失函数进行网络训练；

S24：进入S3。

优选地，S3包括以下子步骤：

S31：将得到的特征向量与注册库中的特征向量逐一求取余弦相似度；

S32：选取使余弦相似度为最大值的特征向量类别为匹配结果。

优选地，S4包括以下子步骤：

S41：选择合适的实验环境、实验数据和评价指标；

S42：对手指静脉图像质量判断模块性能测试、对损失函数进行对比试验；

S43：为了验证质量判断算法联合特征提取算法的有效性，进行对比试验；

S44：对系统进行集成与并测试。

本发明基于神经网络学习的手指静脉图像识别方法的有益效果如下：

1.本发明基于度量学习的方法，提出采用基于平滑平均准确度损失函数来训练卷积神经网络的思路，有效提高了网络识别手指静脉图像的性能。

2.为了保证网络输入端的手指静脉图像质量达到一定要求，本发明在图像采集后加入了基于神经网络的图像质量判断模块，进一步增强了整个手指静脉识别系统的稳定性和可靠性。

附图说明

图1为手指静脉图像ROI提取流程图；

图2为MobileNet-V2网络结构示意图；

图3为ResNet-50网络提取手指静脉特征示意图；

图4为手指静脉识别系统整体架构图；

图5为手指静脉识别系统实物图；

图6(a)为在SDUMLA测试集上评估得到的ROC曲线；

图6(b)为在HKPolyU测试集上评估得到的ROC曲线；

图7为特征提取结合质量评价与不结合质量评价的等误率比较图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

手指静脉图像获取及预处理

手指静脉图像成像原理

手指中动脉与静脉相互伴行，动脉血中的血红蛋白携带氧分子，而静脉血中的血红蛋白不携带氧分子。利用静脉血中失氧的血红蛋白吸收近红外光(波长范围为690～980nm)、同时手指中的其他组织不吸收近红外光的特性来采集静脉图像，在采集到的图像中显现的暗条纹即为手指静脉脉络。

现有的手指静脉图像采集方式分为透射式、反射式和侧射式。其中，在透射式采集中，近红外光源和图像传感器分别位于手指两侧，使得成像装置是密闭式装置，避免了外界环境光的干扰；同时近红外光从手指一侧垂直穿过，近红外光的反射和散射现象更少，所以使用透射式采集比另外两种方式采集到的手指静脉信息更多。

手指静脉图像预处理

通过采集设备获得的手指静脉图像中含有手指以外的背景信息，这些信息对于手指静脉识别来说是无用信息，因此需要将图像中的手指区域，即感兴趣区域(ReginofInterest,ROI)预先提取。同时，采集图像过程中可能出现由于手指按压力度不当、摆放位置不当而导致静脉纹路不清晰或图像整体灰度过暗或过亮的现象。为了筛查质量过差的手指静脉图像，为后续识别提供可靠的图像源，我们在图像采集后增加了图像质量判别模块。

手指静脉图像ROI提取

手指与背景之间在手指边缘处得以明显区分，通过Sobel边缘检测算子生成手指边缘模板，在模板中取手指上边缘的最低点和下边缘的最高点获得与图片长边平行的两条线段，在原图中裁剪出线段之间的区域即得到手指静脉ROI，具体流程如图1所示。

手指静脉图像质量判断

现有的手指静脉图像质量评估方法中，基于手动设计的图像质量特征提取并融合的方法以及基于静脉纹路检测静脉支路点个数的方法存在一定的不足，例如：手动设计图像质量特征提取算法需要组合特征、筛选有效特征等实验测试，算法鲁棒性有局限，而静脉纹路中的静脉支路点实际上很难被准确检测。所以本文通过训练卷积神经网络(Convolutional Neural Network,CNN)来自适应地捕获目标图像的质量判别特征，所选网络为MobileNet-V2。其原因在于：该网络采用可分离卷积减少了模型训练的参数量，使得前向传播速度相比相同层级的网络更快，同时采用反转残差模块加快模型收敛，能减少判断图像质量的时间。我们通过设置分类层为2个输出概率，使得网络具有判别图像质量为“高质量”和“低质量”的功能，网络结构如图2所示。

手指静脉图像特征提取

基于ResNet-50模型的特征提取网络

为了选用有效的神经网络模型来完成手指静脉图像特征提取的任务，我们比较了几种典型的卷积神经网络，如：VGGNet、Inception、ResNet，最终选定ResNet-50模型。ResNet-50隶属于ResNet类网络，通过直接将输入信息绕道传到输出，保证信息的完整性，使网络只需要学习输入与输出差别的那一部分，简化学习目标和难度。

为了提取能代表静脉图像的特征向量，我们将ResNet-50最后的全连接层节点数设置为特征向量的维数N(例如：N＝512)，代表网络输出特征为N维的特征向量，并对该层进行归一化处理，避免训练时梯度消失和梯度爆炸，然后利用基于Smooth-AP的损失函数训练ResNet-50。具体网络结构如图3所示。

损失函数的选择

神经网络所能处理的任务类型及其处理能力不仅与网络结构有关，损失函数的设计也至关重要，根据损失函数的差异，神经网络对同一任务的处理精度也不相同。为了提高ResNet-50网络的特征提取能力，受文献的启发，我们借助于向量之间的余弦相似度来构造一种基于“平滑平均准确度(Smooth-AP)”的损失函数，具体计算如下：

令手指静脉图像训练集中任意一张图像为I_q,q∈{1,2,...,n}，n为训练集中样本的总个数，假设其经过网络提取到的特征为v_q；训练集中其余手指静脉图像对应的特征集合为V_A＝{v_i,i＝1,2,...,n,i≠q}，V_A中与v_q同类的向量集合记为

与v_q不同类的向量集合记为

m为V_S中样本数量，则V_A＝V_S∪V_D。v_q与v_i之间的余弦相似度记为s_i，所有的s_i组成相似度集合S_A，即为：

若记v_q与

求得的相似度集合为S_S，与

求得的相似度集合为S_D，则有S_A＝S_S∪S_D。显然，s_i越大说明v_q与v_i越相似，反之亦然。我们根据s_i的大小对所有v_i进行从大到小排序，表示为V′_A，相应地，V_S和V_D也变为V_S'和V_D'。刚开始训练神经网络时，网络的特征提取能力不强，导致网络输出的特征向量可能与一部分不同类的样本之间的相似度大于同类样本特征之间的相似度，即

经过训练后，网络的特征提取能力提升，所提取到的特征与同类样本的特征更相似，与不同类样本的特征有差异，使得特征向量的排序发生变化，表现为

换言之，V′_A中特征向量的排序方式可以反映网络所提取出特征向量的优劣。因此，可以定义与该排序方式相关的损失函数，从而通过最小化损失函数来达到获得最优排序方式的目的。

首先定义V′_A的平均精准度(Average Precision,AP)为下式所示：

其中

分别为

在V′_S和V′_A中的排名，可由下式计算：

其中I{·}为单位阶跃函数，即：

显然，当神经网络对手指静脉图像的特征提取能力越强时，与v_q同类别的样本被排序得越靠前，AP_q值则越大。

为了利用AP式子构造损失函数，并且避免单位阶跃函数给网络训练时的反向传播带来阻断作用，使用平滑的Sigmoid函数来近似表达单位阶跃函数，即将I{·}变为：

将式(6)和式(3)、式(4)代入式(2)，得到AP_q的近似表达，记为SmoothAP_q，式子如下：

基于SmoothAP_q，我们定义神经网络模型训练的损失函数为：

当网络训练到损失函数收敛趋近于0时，SmoothAP_q值趋近为1，意味着ResNet-50网络所提取到的特征向量v_q与其同类的特征向量更一致，换言之：网络的特征提取能力越强。

特征匹配

待识别的图像经过ROI提取，输入训练好的ResNet-50网络，得到特征向量v_q，再将v_q与注册库中的特征向量v_i一一求取余弦相似度S_cos：

S_cos越大说明二者之间的相似度越大，取使S_cos为最大值的v_i的类别作为匹配结果。

手指静脉识别系统整体架构

综合以上步骤，我们所构建的手指静脉识别系统如图4所示。图中四个模块分别为：手指静脉图像采集、手指静脉图像预处理、手指静脉图像特征提取、手指静脉图像特征匹配。模块之间的协同过程为：利用自主设计的透射式静脉图像采集装置采集图像，并通过图像质量判断网络做图像筛选，保存质量较好的手指静脉图像；然后提取手指静脉图像中的ROI。通过手指静脉公开数据集训练特征提取网络，利用该网络提取ROI图像的特征，最后通过特征匹配，得到类别标签。

该手指静脉识别系统的使用分为注册和识别过程，注册过程包含手指静脉图像采集、预处理、特征提取，识别阶段包含注册阶段所有步骤并增加手指静脉图像特征匹配环节。个人身份注册时，利用训练好的ResNet-50将输入的手指静脉图像转变为其对应的特征向量并存储，从而完成个人身份数据库的构建。当识别个人身份时，只需利用网络提取待识别手指静脉图像的特征，并通过与个人身份数据库中已有的特征进行匹配得到待识别人的身份。

所搭建的完整的手指静脉图像识别系统实物图如图5所示。

实验与结果分析

实验环境、实验数据和评价指标

测试本文所提出的手指静脉图像识别算法涉及到对质量判断模型MobileNet-V2以及特征提取模型ResNet-50的训练与调试，我们所用的计算机配置如下：CPU为Intel i5-4200H，主频为2.80GHz，系统为Windows64位系统，显卡为NVIDIAGeForceGTX950M，运行内存为8G。采用Python3.7作为编程语言，深度学习平台选用PyTorch 1.6。

本文所选用的实验数据集是公开的山东大学手指静脉数据集(SDUMLA)、香港理工大学手指静脉数据集(HKPolyU)。SDUMLA包含636根手指的静脉图像，分别来自106位志愿者，采集了志愿者左手和右手的食指、中指、无名指，对每根手指采集6张320×240分辨率的图像，共636类。HKPolyU包含156位志愿者的手指静脉图像，其中有51人只采集了一次，另外105人在间隔为1到6个月之间采集了两次。每次采集志愿者的左手的食指、中指，每根手指采集6张513×256分辨率的图片，实验使用156位志愿者第一次采集的图像合集，共312类。

使用最常见的分类识别评价指标对模型进行验证，其中包括准确率(Accuracy)，受试者工作特征曲线(Receiver Operating Characteristic Curve,ROC)，等误率(EqualErrorRate,EER)。准确率的公式定义为：

其中TP代表同类的手指静脉图像匹配成功的个数，FN代表同类的手指静脉图像匹配失败的个数，FP代表不同类的手指静脉图像匹配成功的个数，TN代表不同类的手指静脉图像匹配失败的个数。

通过设置不同的分类阈值得到相应的假正例率(FalsePositiveRate,FPR)和真正例率(TruePositiveRate,TPR)，ROC曲线以FPR为横坐标，TPR为纵坐标拟合而成。ROC曲线包含的面积越大，模型性能更好。FPR和TPR的公式定义为：

EER代表FPR和假错误率(False Negative Rate,FNR)相等时的值，FNR可由TPR计算得到，它们之间的关系为：

所以在直角坐标系下，经过(0,1)和(1,0)两点的直线与ROC曲线相交的点的横坐标为EER值，EER值越小，模型性能越好。

实验测试

手指静脉图像质量判断模块性能测试

该测试中，我们首先从SDUMLA、HKPolyU数据集中挑选“高质量”与“低质量”的手指静脉图像样本，构建了带标签的质量判断数据集，用SDUMLA-QD、HKPolyU-QD表示。然而，其中“高质量”与“低质量”图像数量并不均衡，后者数量太少，不利于网络训练。为此，我们通过合成少数类过采样技术(Synthetic Minority Over-sampling Technique，SMOTE)扩增低质量图像数量，使得低质量图像数量增加到与高质量图像数量近似的数量。然后设定MobileNet-V2模型输出节点为2，采用交叉熵作为损失函数训练MobileNet-V2，模型优化器为Adam。选取SDUMLA-QD、HKPolyU-QD中70％的图像为训练集，30％的图像为测试集。

不管是用SDUMLA-QD还是HKPolyU-QD数据集进行训练，MobileNet-V2对于“高、低质量”的手指静脉图像的识别率都能达到92％以上。图像质量判断方法作对比，其结果如表1所示。从数据可知：我们所提出的基于MobileNet-V2的手指静脉图像质量判断算法在判别静脉图像质量上具有优势效果。

表1不同图像质量判断算法在SDUMLA-QD和HKPolyU-QD测试集上的识别准确率对比

损失函数对比试验

为了验证本专利在特征提取网络ResNet-50中所使用的基于Smooth-AP的损失函数的有效性，我们对比了其他两种不同的损失函数应用于网络训练的效果，它们是：对比损失函数(Contrastive Loss,CL)和三元组损失函数(Triplet Loss,TL)。对SDUMLA、HKPolyU数据集以7:3的比例划分为训练集和测试集。利用三种损失函数分别在SDUMLA和HKPolyU训练集上进行训练，然后在测试集上比较ROC曲线以及EER值。首先在SDUMLA数据集上训练ResNet-50，并在SDUMLA和HKPolyU的测试集上评估的结果如图6所示。可见：对利用Smooth-AP损失函数训练出的网络评估得到的ROC曲线包含了另外两种损失函数得到的ROC曲线，同时EER值也是三者中最小的。这说明由基于Smooth-AP损失函数训练的网络能更好提取手指静脉图像特征，而且使用HKPolyU数据集进行评估时，不同损失的EER值均有升高，但基于Smooth-AP损失函数训练的模型升高得最少，说明采用基于Smooth-AP损失函数训练的网络能进行跨库识别，并且迁移能力比由其他两种损失训练出的网络更强。

在HKPolyU数据集上训练ResNet-50，并在HKPolyU和SDUMLA的测试集上评估也能得到同样的结论。

质量判断算法对于识别性能的作用测试

为了验证本文质量判断算法联合特征提取算法的有效性，我们对比SDUMLA和HKPolyU不进行质量筛选和进行质量筛选后，EER值的差距，如图7所示。其中Q+S代表识别系统利用了质量判断算法和特征提取算法，S代表识别系统只利用了特征提取算法，SDtrain、SDval代表模型训练和验证是基于SDUMLA数据集，HKtrain、HKval代表模型训练和验证是基于HKPolyU数据集。可见：经过质量评估后，不管是在SDUMLA数据集还是HKPolyU数据集上得到的EER值都有下降，这表明本文提出的先进行图像质量评价与筛选，再提取特征与匹配有助于提升识别系统性能。

不同手指静脉图像识别算法的对比试验

为了测试本文所提出的手指静脉图像识别算法的性能，我们选取了四种典型的文献方法做对比实验。利用这4种识别算法与本文算法对SDUMLA和HKPolyU数据集中的图像进行识别，结果如表2所示。从性能指标来看，本文所提出的识别算法不管是在SDUMLA还是HKPolyU库上均达到了最优的性能。

表2不同识别方法的比较

系统集成与测试

将所设计的手指静脉图像识别方法进行系统集成，并在自建数据集SWUST-FV进行系统性能测试。SWUST-FV在采集时，以团队学生为目标对象，包含20位志愿者的左手和右手的食指、中指、无名指，对每根手指采集6张640×480分辨率的图像，共120类。具体测试过程为：把该数据集中的每根手指看作一类，将每类图像分为三等份，以其中的两份构成注册人图像库，另外一份构成待识别图像库。将三等分的手指静脉图像集交叉构成注册人图像库和待识别图像库，经过特征提取和特征匹配后得到的平均识别率为99.30％。

Claims (5)

1.一种基于神经网络学习的手指静脉图像识别方法，其特征在于，包括以下步骤：

S1：获取及预处理手指静脉图像；

S2：根据S1提取手指静脉图像特征；

S3：根据S2进行特征匹配与识别；

S4：根据S3进行实验并分析结果。

2.根据权利要求1所述的基于神经网络学习的手指静脉图像识别方法，其特征在于，所述S1包括以下子步骤：

S11：提取手指静脉图像的ROI；

S12：根据手指静脉图像的ROI，基于MobileNet-V2网络判断手指静脉图像的质量。

3.根据权利要求1所述的基于神经网络学习的手指静脉图像识别方法，其特征在于，所述S2包括以下子步骤：

S21：基于ResNet-50网络模型提取手指静脉图像特征；

S22：选择损失函数；

S23：根据损失函数进行网络训练；

S24：进入S3。

4.根据权利要求1所述的基于神经网络学习的手指静脉图像识别方法，其特征在于，所述S3包括以下子步骤：

S31：将得到的特征向量与注册库中的特征向量逐一求取余弦相似度；

S32：选取使余弦相似度为最大值的特征向量类别为匹配结果。

5.根据权利要求1所述的基于神经网络学习的手指静脉图像识别方法，其特征在于，所述S4包括以下子步骤：

S41：选择合适的实验环境、实验数据和评价指标；

S42：对手指静脉图像质量判断模块性能测试、对损失函数进行对比试验；

S43：为了验证质量判断算法联合特征提取算法的有效性，进行对比试验；

S44：对系统进行集成与并测试。

Images