CN110555380A - 基于Center Loss损失函数的指静脉识别方法 - Google Patents

Abstract

本发明公开了一种基于center Loss损失函数的指静脉识别方法，其中指静脉识别方法包括：指静脉图像采集；指静脉图像预处理，包括指静脉的校正及ROI提取；在Resnet网络中引入center Loss损失函数，利用center Loss损失函数和softmax Loss损失函数作为联合监督信号提取指静脉特征，使网络学习到具有判别能力的特征，修改网络参数对特征向量降维，减少计算量和存储空间。将降维后的特征向量作为指静脉的注册模板存储到指静脉数据库中，将待识别的指静脉图像在指静脉数据库中进行检索，获得匹配结果。在本发明实施例中，神经网络学习到具有判别能力的特征，可以识别未知的指静脉类别，特征降维减少模板的存储空间，提升运算速度。

Description

基于Center Loss损失函数的指静脉识别方法

技术领域

本发明涉及生物特征识别技术、图像识别、深度学习领域，尤其涉及一种基 于Center Loss损失函数的指静脉识别方法。

背景技术

信息技术的快速发展给人们生活带来巨大便捷的同时信息安全问题也显得 日益突出。由于人的生物特征难以被复制而且不会被遗失，有着更高的稳定性和 安全性。近年来，生物特征识别在身份认证以及信息安全领域得到了广泛应用。 生物特征主要包含：指纹、人脸、虹膜、指静脉等。虹膜识别技术采集成本高， 设备难以小型化，通过仪器直接照射人的眼睛，用户体验差，给采集工作带来了 一定障碍。人脸识别技术虽然易于采集，但对孪生双胞胎无法进行识别，而且人 脸特征不稳定，可以通过化妆、整容等方式进行伪造，降低准确性。指纹识别技 术通过触摸方式进行识别，对于环境要求高，手指潮湿、磨损会造成无法识别的 效果，而且指纹痕迹容易留存，存在被复制的可能性，降低了安全性。

静脉识别是一种新兴的生物识别技术。人类手指内部分布着很多血管脉络， 在生物医学中，光谱在700nm到900nm范围的近红外线光可以穿透手指皮肤被 静脉血液中的血红蛋白吸收，导致近红外线在静脉部分的投射较少，而手指肌肉、 骨骼和其他部分都被弱化，从而形成指静脉血管影响图像。医学研究表明，每个 人的手指静脉血管纹路都是独一无二的，即使在同卵双胞胎的情况下，甚至在个 体的不同手指之间也是如此，并且每个人的静脉特征具有成年后持久不变的特 点，所以它能够唯一确定一个人的身份。指静脉是非接触式识别，采集方便，设 备成本低，用户接受度高，并且隐藏于人体手指内部，基于活体识别的条件，不 存在泄漏以及仿造的可能。

指静脉具有安全性高、准确率高、唯一性、非接触性、样本文件小等特征。 近年来，指静脉识别技术已经成为了生物特征识别领域的研究热点。指静脉识别 技术主要通过以下几个步骤进行识别：指静脉图像的ROI提取，图像增强，特 征提取以及匹配。其中ROI提取可以有效去除指静脉图像中的背景干扰及噪声， 提取出静脉特征清晰的区域。图像增强算法用于增强图像中的静脉纹路，提高静 脉相对背景的对比度，减少噪声对图像的影响。特征提取算法通过传统算法或者 深度学习的方法将图像的特征用特征向量进行表达。匹配算法可以对两个待匹配 的特征向量进行相似度度量，判断出两个待匹配的指静脉是否属于同一个人。

目前亟待解决的问题有：指静脉采集器采集的图片质量普遍不高，传统算法 提取的指静脉特征不稳定，容易出现伪静脉等。

发明内容

本发明的目的在于克服现有技术的不足，本发明提供了一种基于Center Loss 损失函数的指静脉识别方法，采用神经网络提取指静脉特征，利用损失函数学习 判别性特征，使得特征向量类内聚合，类间分离，面对新的指静脉类别时，不需 要重新训练网络，采用向量间的欧氏距离作为匹配的标准。

本发明提供了一种基于Center Loss损失函数的指静脉识别方法，具体方案 如下：

A、连接指静脉采集设备，采集静指脉图像；

B、对静指脉图像进行旋转校正，确定感兴趣区域ROI，提取ROI图像；

C、采用Resnet网络模型用于提取ROI图像的特征向量，联合监督信号作 为损失函数，优化网络模型参数，得到训练好的参数文件；

D、加载Resnet网络模型，读取训练好的参数文件，将步骤B得到的ROI 图像输入Resnet网络模型中，得到每一张静指脉图像对应的特征向量，并进行 归一化处理，将特征向量转变成单位特征向量归一化处理的目的是为了将任 意两个特征向量之间的距离限定在特定范围内，两个单位特征向量之间的最大距 离为2，最小距离为0；

E、将步骤D得到的单位特征向量作为指静脉的注册模板存储到指静脉数 据库中，对待识别的指静脉图像基于欧式距离进行检索识 别。

进一步的，所述步骤A具体为：

A1、将指静脉采集器与客户机相连，在客户机安装采集器的驱动程序；

A2、根据客户端界面的指令，指静脉采集器采集指静脉图像；

A3、记指关节方向为x轴方向,手指指尖的方向为y轴正方向。

进一步的，所述步骤B具体为：

B1、对步骤A采集到的静指脉图像进行高斯去噪，去除噪声干扰；

B2、对去除噪声干扰后的指静脉图像进行边缘检测，采用Sobel算子求x轴 方向梯度，获得边缘检测的灰度图，并利用二值化去除噪声，提取手指轮廓线；

B3、采用Hilditch算法对手指轮廓线进行细线化处理，得到细线化之后的手 指轮廓线；

B4、细线化处理之后的手指轮廓线除了有轮廓线之外还包含很多干扰直线， 需要消除干扰直线的影响，进一步去除细线化之后的手指轮廓线中的干扰直线， 得到单像素的手指轮廓线；

B5、通过单像素的手指轮廓线拟合中位线，中位线与垂直方向的夹角α作 为旋转校正的角度；

B6、对单像素的手指轮廓线按照夹角α进行旋转校正，将手指轮廓线的垂 直方向内切线的宽度作为分割指静脉图像的最大宽度W；

B7、对指静脉图像按照夹角α进行旋转校正，并利用手指轮廓线的垂直方 向内切线对指静脉图像进行分割，获得内切线分割图像；

B8、利用内切线分割图像中的每一列的像素灰度值分布曲线中峰值所出现 的位置作为横切线的位置，确定感兴趣区域ROI，在内切线分割图像中提取ROI 图像。

进一步的，所述步骤C具体为：

C1、建立Resnet网络模型，初始化网络参数；在Resnet网络模型的全连接 层之前加入一层全连接层；

C2、将Softmax Loss损失函数和Center Loss损失函数融合，作为Resnet网 络模型的损失函数，Center Loss损失函数使得类内特征聚合，Softmax Loss损失 函数使得类间特征分离；将步骤C1加入的全连接层输出的特征向量用于更新 Center Loss损失函数，引入超参数λ均衡两个损失函数；

C3、将步骤B提取的ROI图像输入到改进损失函数的Resnet网络模型中， 由于网络用于匹配的特征向量是来自Resnet网络模型倒数第二层的全连接层， 修改该层参数进行降维，减小特征向量的存储空间以及匹配时间，得到训练好的 Resnet网络模型参数文件。

进一步的，所述步骤E具体为：

E1、采集待识别的指静脉图像，根据步骤B提取待识别的ROI图像并输入 步骤D中的Resnet网络模型中，得到待匹配的单位特征向量；

E2、在识别阶段，将步骤E1提取的待匹配的单位特征向量与指静脉数据库 中的已注册的单位特征向量依次计算欧氏距离；若待匹配的单位特征向量 与已注册的单位特征向量的欧式距离小于阈值，则判断为匹配成功；

E3、若待匹配的单位特征向量未存储在指静脉数据库中，则可选择进入注 册阶段，将步骤E1得到的单位特征向量写入指静脉数据库中，重复步骤E2。

与现有技术相比，本发明具有的有益效果是：与现有技术相比，本发明采用 了基于Center Loss损失函数的指静脉识别方法。首先，本发明提出了一种指静 脉图像校正及ROI区域提取的方法，可以消除手指旋转造成的干扰，提取出静 脉明显的区域。同时利用用卷积神经网络提取指静脉特征，采用Center Loss和 Softmax Loss损失函数作为联合监督信号，Softmax Loss损失函数使类间特征分 离，Center Loss损失函数使类内特征聚合，使得网络学习的特征向量具有良好的 判别力，面对未知类别时，仍然可以做出有效的判断。在不降低模型准确率的前 提下，修改网络全连接层参数降低特征向量的输出维度，减少特征模板的存储空 间以及匹配时的计算时间。对特征向量进行单位化操作，使得输出的特征向量均 转化为单位向量，用以限定模板匹配的距离范围，便于匹配时阈值的选取。所以 本发明对于传统指静脉识别方法来说是一个技术的突破。

附图说明

图1是本方法的步骤图；

图2是指静脉校正及ROI提取流程图；

图3指静脉校正的示意图；

图4是利用指静脉垂直内切线截取示意图；

图5是利用指静脉横截线截取示意图；

图6是网络结构图；

图7是指静脉匹配流程图。

具体实施方式

以下结合附图和具体实施对本发明进行详细描述，但不作为对本发明的限 定。

如图1，本方法的实施步骤如下：

A、连接指静脉采集设备，进行指静脉图像采集

将客户机与指静脉采集设备相连接，并在客户机上安装设备所需要的驱动程 序。将手指按照采集设备要求放置在相应的位置，手指自然放置，等待设备采集 指静脉图像。

B、对指静脉图像进行旋转校正及ROI截取提取感兴趣区域

如图2所示的指静脉校正及ROI提取流程图以及图3所示的指静脉校正示 意图，首先对采集到的图3(a)所示的指静脉图片进行高斯去噪，去除噪声干扰， 得到高斯滤波后的图3(b)；对手指静脉进行边缘检测，由于指静脉图像水平方向 梯度变化剧烈，采用Sobel算子求x轴方向梯度，获得边缘检测的灰度图，得到 边缘提取后的图3(c)，并利用二值化去除噪声提取手指轮廓线，得到图3(d)；对 手指轮廓线进行细线化处理，对二值化图像提取骨架，采用Hilditch算法进行细 线化处理，如图3(e)所示，图中的线条均变成单像素；细线化处理之后的图片除 了有轮廓线之外还包含很多干扰直线，需要消除干扰直线的影响，只保留手指轮 廓线；手指轮廓线之间的静脉纹路区域由于梯度变化平缓，梯度检测之后均变成背景(像素点为0的区域)；利用这个特点，对静脉图像的每一行从中间区域分 别向左右两边出发，遇到的第一个像素值为255的像素便为轮廓线的像素点，遍 历所有行，保留符合要求的像素点，这些像素点集就是手指轮廓线的像素点，如 图3(f)所示，干扰线得以去除；进一步如图3(g)所示，通过单像素的手指轮廓线 拟合中位线，中位线与垂直方向的夹角α作为旋转校正的角度，对去噪之后的灰 度图利用角度α进行校正，得到图3(h)。

利用手指轮廓线的垂直方向内切线获得ROI区域的宽度w，如图4所示。 首先对图4(a)中的去除多余线条后的细线化的图片按照夹角α进行旋转校正，得 到如图4(b)轮廓线的垂直方向内切线，两个内切线之间的距离作为ROI区域的 最大宽度W，如图4(c)。进一步提取ROI图，其步骤如图5所示，指骨关节间 间隙中滑膜液的密度要远低于指骨的密度，相对于手指的其他部分，更多红外光 能够穿透指骨关节，使得红外成像后指骨关节区域的图像亮度较高，如图5(a) 所示。利用所述的轮廓线的垂直方向内切线截取图5(a)中的高亮部分，得到图5(b)，利用图像中的每一列的像素灰度值和的分布曲线中峰值所出现的位置作为 指静脉横切线的位置h。利用指静脉横切线的位置h对图5(b)进行ROI截取，得 到图5(d)。

C、采用Resnet作为网络模型，联合监督信号作为损失函数，提取指静脉特征

简单的神经网络模型不能满足日益复杂的识别任务，这就需要深层的网络学 习更高级的特征。但是随着神经网络的加深，训练集的准确率会下降。这种现象 并不是由于过拟合造成，而是由于网络深度的增加，准确率会变得饱和，然后迅 速退化。为了解决这个问题，Resnet网络模型引入残差结构来解决准确率退化问 题。Resnet提出了两种将映射，分别是身份映射表示为x，图中为弯曲曲线部分， 残差映射表示为F(x)＝H(x)–x，图中为除了弯曲曲线的部分，则期望的原始映 射重新表示为F(x)+x，该公式可以通过具有快捷连接的前馈神经网络实现，快 捷连接方式是跳过一个或多个层的连接。通过这两种映射提供了两种选择，用以 解决随着网络加深而准确率下降的部分，当网络的准确率已经达到最优，若继续 加深网络，残差映射将被置0，只剩下身份映射，这样网络理论上一直处于最优 状态，网络的准确率不会随着深度增加而降低。传统算法提取的指静脉特征不稳 定，容易出现伪静脉，因此采用神经网络对图片提取特征。在指静脉识别过程中， 预先采集所有可能的样本是不切实际的，若采用经典的CNN模型只能基于已有 的类别进行判断，无法对一个新的类别进行识别，因此需要采用度量学习。为了 减小特征向量的类内距离，引入centerloss损失函数增强神经网络中特征的判别 能力。center loss损失函数使神经网络学习一个特征向量中心，用作每个类的特 征属性。在训练过程的每个批次更新该中心并最小中心与其相应的类别特征向量 之间的距离，缩小类内距离。采用softmax loss和center loss损失作为联合监督 信号训练神经网络。softmax loss使类间可分，center loss使类内聚合，增强了特 征向量的判别能力。采用resnet18作为基础网络，加载resnet18的预训练模型初 始化网络参数，将Center Loss损失函数和Softmax Loss损失函数作为联合监督 信号训练网络。为更新Center Loss损失函数，需要在网络全连接层之前加入一 层全连接层，将该全连接层输出的特征向量用于更新Center Loss。将步骤B提 取ROI的指静脉图片输入神经网络中，采用和分类网络一样的训练方式，将网 络的倒数第二层全连接层的输出作为指静脉的特征向量用于距离度量，结构见图6。

D、修改网络倒数第二层全连接层参数进行降维并对特征向量进行归一化

为了解决从ResNet训练模型中提取出指静脉特征的维数灾难问题，本文需 要对输出特征向量降维。由于网络用于匹配的特征向量是来自网络倒数第二层的 全连接层，修改该层参数进行降维，减小特征向量的存储空间以及匹配时间。经 过多次实验对比，将网络的输出维度设置在256维时模型的准确率最高。指静脉 采用欧式距离进行度量匹配，为了将任意两个向量之间的距离限定在特定范围 内，需要对降维后的特征向量进行归一化操作，使得每一张图片对应的特征向量 转变成单位向量。任意两个单位向量之间的最大距离为2，最小距离为0，因此 匹配时阈值的范围可以确定在[0,2]之间。

E、将降维后的特征向量在指静脉数据库中基于欧式距离进行检索识别

如图4所示，待识别图像在指静脉数据库中的检索识别分为采集、提取特征 向量、注册并存入数据库、匹配4个步骤。首先通过所述的步骤A采集手指的 静脉图像，并进一步的根据步骤B-步骤D中的算法对采集到的静脉图像进行处 理并提取特征向量。在注册阶段，将写入到数据库中。在识别阶段，按顺 序取出的所有静脉特征向量，并与中的向量分别计算欧式距离，相似度 最高的静脉特征向量作为识别结果输出过程，步骤见图7。

实验结果：

实验1，在FV-USM数据集上采用本发明所述的旋转校正及ROI截取方法 进行预处理，将处理之后的数据集送入Resnet模型中训练，损失函数采用Softmax Loss和CenterLoss，实验准确率为97.74％，AUC为99.71％；

实验2，采用未经处理的FV-SUM数据集送入同一个网络中训练，实验准确 率为92.34％，AUC为97.54％；

实验3，采用已经处理之后的数据集送入Resnet模型中训练，损失函数采用Softmax Loss，实验准确率为97.28％，AUC为99.58％。

由实验1和实验2对比可知，FV-USM数据集预处理后较预处理前的准确率 提升了5.40％，AUC提高了1.17％，验证了本发明的旋转校正及ROI截取算法 的有效性；实验1和实验3对比可知，引入Center Loss损失函数之后，FV-USM 准确率提升0.46％，AUC提升了0.13％，验证了Center Loss损失函数增加了指 静脉特征的判别力。

Claims (5)

1.一种基于Center Loss损失函数的指静脉识别方法，其特征在于包括如下步骤：

A、连接指静脉采集设备，采集指静脉图像；

B、对指静脉图像进行旋转校正，确定感兴趣区域ROI，提取ROI图像；

C、采用Resnet网络模型用于提取ROI图像的特征向量，联合监督信号作为损失函数，优化网络模型参数，得到训练好的参数文件；

D、加载Resnet网络模型，读取训练好的参数文件，将步骤B得到的ROI图像输入Resnet网络模型中，得到每一张静指脉图像对应的特征向量，并进行归一化处理，将特征向量转变成单位特征向量将单位特征向量作为指静脉的注册模板存储到指静脉数据库中完成注册，其中 表示第i张静指脉图像对应的单位特征向量；

E、对待识别的指静脉图像基于欧式距离进行检索识别。

2.根据权利要求1所述的一种基于Center Loss损失函数的指静脉识别方法，其特征在于所述步骤A具体为：

A1、将指静脉采集器与客户机相连，在客户机安装采集器的驱动程序；

A2、根据客户端界面的指令，指静脉采集器采集指静脉图像；

A3、记指关节方向为x轴方向,手指指尖的方向为y轴正方向。

3.根据权利要求1所述的一种基于Center Loss损失函数的指静脉识别方法，其特征在于所述步骤B具体为：

B1、对步骤A采集到的静指脉图像进行高斯去噪，去除噪声干扰；

B2、对去除噪声干扰后的指静脉图像进行边缘检测，采用Sobel算子求x轴方向梯度，获得边缘检测的灰度图，并利用二值化去除噪声，提取手指轮廓线；

B3、采用Hilditch算法手指轮廓线进行细线化处理，得到细线化之后的手指轮廓线；

B4、去除细线化之后的手指轮廓线中的干扰直线，得到单像素的手指轮廓线；

B5、通过单像素的手指轮廓线拟合中位线，中位线与垂直方向的夹角α作为旋转校正的角度；

B6、对单像素的手指轮廓线按照夹角α进行旋转校正，将手指轮廓线的垂直方向内切线的宽度作为分割指静脉图像的最大宽度W；

B7、对指静脉图像按照夹角α进行旋转校正，并利用手指轮廓线的垂直方向内切线对指静脉图像进行分割，获得内切线分割图像；

B8、利用内切线分割图像中的每一列的像素灰度值分布曲线中峰值所出现的位置作为横切线的位置，确定感兴趣区域ROI，在内切线分割图像中提取ROI图像。

4.根据权利要求1所述的一种基于Center Loss损失函数的指静脉识别方法，其特征在于所述步骤C具体为：

C1、建立Resnet网络模型，初始化网络参数；在Resnet网络模型的全连接层之前加入一层全连接层；

C2、将Softmax Loss损失函数和Center Loss损失函数融合，作为Resnet网络模型的损失函数；将步骤C1加入的全连接层输出的特征向量用于更新Center Loss损失函数，引入超参数λ均衡两个损失函数；

C3、将步骤B提取的ROI图像输入到改进损失函数的Resnet网络模型中，优化网络模型参数，得到训练好的参数文件。

5.根据权利要求1一种基于Center Loss损失函数的指静脉识别方法，其特征在于所述步骤E具体为：

E1、采集待识别的指静脉图像，根据步骤B提取待识别的ROI图像并输入步骤D中的Resnet网络模型中，得到待匹配的单位特征向量；

E2、在识别阶段，将步骤E1提取的待匹配的单位特征向量与指静脉数据库中的已注册的单位特征向量依次计算欧氏距离；若待匹配的单位特征向量与已注册的单位特征向量的欧式距离小于阈值，则判断为匹配成功；

E3、若待匹配的单位特征向量未存储在指静脉数据库中，则可选择进入注册阶段，将步骤E1得到的单位特征向量写入指静脉数据库中，重复步骤E2。