CN113963387B - 基于最优编码位的手指多模态特征提取与融合方法 - Google Patents

Abstract

一种基于最优编码位的手指多模态图像编码和融合方法。其方法对原始手指三模态图像进行增强，获得手指三模态增强图像；利用方向编码方法对上述手指三模态增强图像的最优增强方向进行二进制编码，以提取出手指三模态的有效纹理特征，获得手指三模态特征编码；利用特征编码融合方法对手指三模态特征编码进行融合，获得最终融合图像等步骤。本发明效果：有效凸显了手指血管成像区域，实现了退化手指图像的稳定增强。解决了可能会产生的冗余信息和冗余特征编码位的问题，以便提取特征。可以充分利用手指三模态信息并提高识别的准确性和鲁棒性。

Description

基于最优编码位的手指多模态特征提取与融合方法

技术领域

本发明属于手指多模态图像识别技术领域，具体涉及一种基于最优编码位的手指多模态图像编码和融合方法。

背景技术

随着信息时代的到来和计算机技术的飞速发展，信息安全已成为社会保障的前提。目前采用单模态特征进行身份鉴别的产品已经得到了广泛的应用。在单模态生物特征识别的应用中，其识别性能容易受到类内变异和欺骗攻击的阻碍，以及容易受到实际采集条件和环境的限制，因此不能满足人们在日常生活中高性能的身份鉴别需求。在通用性、准确性和安全性方面，多模态生物识别总是优于单模态方法。多模态融合可以提取多个模态之间的互补和共同特征，更加全面细致地描述主体的特征信息，提高身份识别系统的稳定性和安全性。因此，多模态识别顺应时代潮流的发展，成为当前研究的重要方向。

在众多的生物特征组合中，手部特征由于具有高灵活和用户接受性，基于手指的多模态身份认证技术尤其引人关注。手指的指纹、静脉、指节纹均具有非常高的特异性，通过特征之间的组合，可以达到远远超过单一特征的识别精度。此外，这些特征都集中于手指位置，可以统一采集，对设备要求不高，应用成本低，用户易于接受，因此有利于技术快速实现产品化。

由于传统的手指多模态特征表达方法对照明不敏感，并且不具有灰度不变性和旋转不变性。然而，基于编码的特征表示方法在光照不变性、特征描述能力和特征匹配效率方面提供了更高的性能。因此，探索一种对光照变化不敏感并且识别精度高的鲁棒性特征编码方法就成为研究中的关键问题。此外，现有的多模态融合方法会产生较大的存储空间，并且这些特征表达和融合方法没有充分考虑手指的辨别特征，不能产生令人满意的识别性能。所以研究出具有鲁棒性的特征表达方法对提高手指多模态特征融合系统的识别性能具有重大的价值。

发明内容

为了解决上述问题，本发明的目的在于提供一种基于最优编码位的手指多模态图像编码和融合方法。

为了达到上述目的，本发明提供的基于最优编码位的手指多模态图像编码和融合方法包括按顺序进行的下列步骤：

1)对原始手指三模态图像进行增强，获得手指三模态增强图像；

2)利用方向编码方法对上述手指三模态增强图像的最优增强方向进行二进制编码，以提取出手指三模态的有效纹理特征，获得手指三模态特征编码；

3)利用特征编码融合方法对步骤2)中获得的手指三模态特征编码进行融合，获得最终融合图像。

在步骤1)中，所述对原始手指三模态图像进行增强，获得手指三模态增强图像的方法是：首先，使用多尺度、方向性、可容性的Gabor滤波器组对原始手指三模态图像进行Gabor滤波；然后，以韦伯定律为基础，对滤波后的图像建立方向性韦伯差分激励；最后，在多尺度情况下，获得具有尺度响应最强和方向响应最强的图像，即手指三模态增强图像。

在步骤2)中，所述利用方向编码方法对上述手指三模态增强图像的最优增强方向进行二进制编码，以提取出手指三模态的有效纹理特征，获得手指三模态特征编码的方法是：

首先，使用8位二进制编码来表示当前像素的8个方向；然后，给当前像素定义一个主方向，并将最优增强方向与主方向对齐；之后，仅将手指三模态增强图像的最优增强方向上的邻域值与当前像素值的大小进行比较来获取二进制编码；如果邻域值大于当前像素值，则将两个像素之间的二进制编码设为1，否则设为0；当前像素的二进制编码恒为1，其他二进制编码位的值全设为0，由此获得手指三模态特征编码。

在步骤3)中，所述利用特征编码融合方法对步骤2)中获得的手指三模态特征编码进行融合，获得最终融合图像的方法是：首先定义手指三模态特征编码融合的主方向；然后将步骤2)中方向编码方法中的主方向与上述手指三模态特征编码融合的主方向对齐，之后以手指三模态特征编码融合的主方向为中心，按照融合排序进行融合，获得最终融合图像。

本发明提供的基于最优编码位的手指多模态图像编码和融合方法具有如下有益效果：

1、由于捕获的原始手指三模态图像的边缘存在噪声和冗余信息，造成成像区域质量低下等问题，因此，本发明提供了一种融合韦伯定律与Gabor滤波的手指静脉血管区域稳定增强方法。通过Gabor滤波的多尺度、多方向特性，放大了韦伯局部描述子的方向激励能力，实现了Gabor滤波的最优响应与韦伯定律最优激励的相互配合，从而有效凸显了手指静脉血管成像区域，实现了退化手指静脉图像的稳定增强。实验结果表明，该方法同样适用于指纹和指节纹。

2、提供一种基于韦伯局部描述子的方向编码方法。在多尺度情况下，韦伯激励响应同时具有尺度响应最强和方向响应最强特点，因此对最优增强方向进行编码，解决了可能会产生的冗余信息(含噪声)和冗余特征编码位的问题，以便提取特征。最优方向的编码可以采用方向性和无方向性两种编码方法。

3、提供了一种特征编码融合方法。该方法定义主方向，将手指三模态的方向位与上述主方向对齐，逐次排列手指三模态的特征编码信息，可以充分利用手指三模态信息并提高识别的准确性和鲁棒性。

附图说明

图1为WLD的3*3邻域示意图。

图2为WLD的三种不同邻域示意图。

图3为部分原始手指静脉图像和手指静脉增强图像示例。(a)原始手指静脉图像；(b)n＝3；(c)n＝5；(d)n＝7。

图4为手指三模态增强图像示例。(a)手指静脉增强图像；(b)指节纹增强图像；(c)指纹增强图像。

图5为当前像素W的5*5邻域示意图。

x_c

图6为编码示例。

图7为手指三模态特征编码融合方法示意图；(a)方向性；(b)无方向性。

图8为原始手指三模态图像和手指三模态特征编码融合图像:(a)原始手指三模态图像，(b)方向性手指三模态特征编码融合图像；(c)无方向性手指三模态特征编码融合图像。

图9为不同特征表达方法的识别性能比较；(a)不同特征表达方法的ROC曲线；(b)不同特征表达方法的10次测试准确率曲线。

图10为不同排序方法的ROC曲线。

图11为不同融合方法的识别性能比较；(a)不同融合方法的ROC曲线；(b)不同融合方法的10次测试准确率曲线。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

本发明提供的基于最优编码位的手指多模态图像编码和融合方法包括按顺序进行的下列步骤：

1)对原始手指三模态图像进行增强，获得手指三模态增强图像；

局部描述子的图像内容表达与增强方法相对于全局描述子而言，局部描述子善于捕捉图像内容的局部变化，利于刻画目标的局部特征。为了克服现有局部描述子在光照变化、旋转变换、尺度单一等方面的局限性，本步骤采用泛化能力较好的局部特征描述子(Multi-Gabor Weber Local Descriptor，MGWLD)对原始手指三模态图像进行增强。MGWLD有机融合了韦伯局部描述子(WLD)的邻域特点和Gabor滤波器的多尺度多方向特点，有效兼顾了手指血管网络的方向随机性和WLD的局部方向表达能力。

WLD的特点是简单高效并且对照明变化具有鲁棒性。如图1所示，WLD可使用3*3邻域滤波器来计算当前像素的灰度值，原始差分激励强度的计算公式如式(1)所示：

其中，I表示原始激励强度，ΔI表示激励差别，表示空间坐标[x,y]，/>表示当前像素/>的第i个邻域像素，p表示邻域像素数量。若原始差分激励强度/>表明邻域像素值大于当前像素值；若原始差分激励强度/>表明当前像素在此区域内的亮度较低。在计算过程中为防止输入值过大或过小，利用arctan(·)函数将输出映射到合理的取值范围内，以防止比值过大，从而可以抑制部分噪声的影响。

原始差分激励强度将差视为标量，仅将八个方向上的灰度差求和，本质上是一个各向同性的拉普拉斯算子，进而导致对灰度变化信息以及对图像噪声敏感的适用性不足。对于图像内容方向性比较突出的手指静脉血管区域，当前像素的增强效果应该与方向性激励紧密相关。因此，差分分量简单地表示为标量不利于对手指静脉图像的方向性增强。

为了计算差分激励的方向性差别，重新定义方向性差分激励强度的计算公式如式(2)所示：

其中，θ_k表示WLD邻域的第k方向，表示当前像素/>第k方向的差分激励强度。由于手指静脉图像退化严重，血管走向很不明显，以原始像素信息为基础，式(2)在刻画方向性激励差异方面效果并不理想。因此，为了凸显血管网络的方向性，需要对原始手指静脉图像进行方向性滤波。

在手指静脉血管区域增强方面，Gabor函数作为一种方向滤波器，具有突出的性能。将韦伯定律和Gabor滤波器有机结合，对于稳定增强手指静脉区域具有重要价值。在WLD邻域的第k方向θ_k上，经过Gabor滤波的手指静脉图像为：

其中，表示方向性多尺度Gabor滤波器组，符号/>表示2D卷积，/>表示原始手指静脉图像，/>表示Gabor滤波后的手指静脉图像。由于原始Gabor小波不具备可容性，为了弱化图像光照变化带来的响应偏差，需要使Gabor小波方向性可容。多尺度、方向性、可容性的Gabor滤波器组定义为：

其中，m表示Gabor小波的尺度变化，Δφ∈[1,1.5],表示倍频程的半幅值频带宽度，A＝(diag[1,vsin(π/16)(2ln2)^-0.5])表示一个2*2的对角矩阵，体现Gabor小波的各向异性，/>表示复指数的中心频率，σ_m(m＝1，2或3)对应Gabor小波的尺度，θ_k表示Gabor小波的第k方向，其与式(2)所表达的WLD邻域的第k方向相同，k＝1,2,3,…,K，K＝2(n-1)，n(＝3，5或7)，表示WLD的邻域大小。当n＝3时，WLD的邻域表达4个方向，n＝5时表达8个方向，n＝7时表达12个方向，如图2所示。

结合式(3)和式(4)，可得到新的WLD差分激励强度的计算公式如式(6)所示：

由于Gabor小波的主激励瓣局部垂直于手指静脉脊线时，滤波响应最强，此时新的WLD差分激励强度也应该表现最优。因此，在某个尺度m上，手指静脉增强图像的最优函数为：

这样利用式(7)，取尺度m＝1，可以获得一个单尺度方向最优的手指静脉增强图像，如图3所示。由图3可见，MGWLD对手指静脉区域增强效果非常明显，尤其是在7*7邻域条件下，融合12个方向的Gabor滤波与韦伯的方向性激励的计算有效地压制了噪声，对手指静脉主要血管的增强效果十分突出。

由于手指静脉血管在一个邻域内管径粗细变化是随机的，Gabor小波必然具有多尺度特点，才能得到最优的滤波响应，如式(3)和(4)所示。因此，在多尺度情况下，考虑到韦伯激励响应应该同时具有尺度响应最强和方向响应最强，手指静脉图像的增强函数为：

因此利用式(8)，可以获得手指静脉增强图像；同理，可以获得指纹和指节纹增强图像，即手指三模态增强图像，如图4所示。

2)利用方向编码方法对上述手指三模态增强图像的最优增强方向进行二进制编码，以提取出手指三模态的有效纹理特征，获得手指三模态特征编码；

以WLD的5×5邻域为例，其定义了8个方向。所以通过使用8位二进制编码来表示当前像素的8个方向，以获得有效的纹理特征。方向编码方法的主要思想是：仅将最优增强方向上的邻域值与当前像素值的大小进行比较来获取二进制编码。如果邻域值大于当前像素值，则将两个像素之间的二进制编码设为1，否则设为0。与其他编码方法相比，方向编码方法可以提高识别性能和降低时间成本。此外，上述方向编码方法包括两种：(1)方向性编码方法；(2)无方向性编码方法。具体过程如下：

(1)方向性编码方法

为了区分当前像素最优增强方向的二进制编码，给当前像素定义一个主方向，可以将任何方向定义为主方向。本发明将方向5定义为主方向，如图5所示。具体编码过程如下：

当1＜θ_k＜8时,

其中，

其中，θ_k(＝1,2,3…8)表示图像的最优增强方向，表示增强后的当前像素。从图5可以清楚地看到，/>和/>分别表示WLD的5×5邻域中同一方向的两个不同像素。TQ和TP分别表示最优增强方向在主方向两侧的两个相邻像素值与当前像素值之间的差异。/>和c_c表示当前像素的二进制编码。c_kl和c_kr分别表示最优增强方向θ_k在WLD邻域的两个不同二进制编码。最优增强方向θ_k的二进制编码始终为1。当1<θ_k<8时，其二进制编码取决于TP和TQ的大小。如果TP>0，则二进制编码c_kl为1，类似地，如果TQ>0，则二进制编码c_kr为1。就8位二进制编码而言，θ_k＝1和θ_k＝8是特殊的方向。因此，假如最优增强方向为1时，当前像素的二进制编码需要向二进制编码中的高位移动一位。假如最优增强方向为8时，当前像素的二进制编码需要向二进制编码中的低位移动一位。然后再按照1<θ_k<8时的规则进行计算。当前像素在最优增强方向θ_k上的特征编码F(θ_k)即对二进制编码进行求和，计算公式如式(12)所示：

图6为编码示例。假设当前像素的最优增强方向为3，使用式(9)—(12)即可获得当前像素的特征编码。类似地，对于其他方向的编码，也是如此计算处理。

(2)无方向性编码方法

上述主方向的定义也适用于无方向性编码方法。值得注意的是，无方向性编码方法同样以方向5为主方向。其编码计算过程如下：

其中，

与方向性编码方法不同，在无方向性编码方法中，主方向5的二进制编码始终为1。如果TQ＞0，则二进制编码c₆为1。如果TP＞0，二进制编码c₄为1。其他情况下二进制编码为0。

此时当前像素的特征编码F(θ_k)计算公式如式(16)所示：

F(θ_k)＝c₄×2³+c₅×2⁴+c₆×2⁵。 (16)

两种编码方法的主要区别是，方向性编码方法的最优增强方向始终与8位二进制编码相对应，而无方向性编码方法的最优增强方向始终与主方向对齐，因此减弱了由方向引起的二进制编码的不平衡问题。除此之外，无方向性编码方法的其他编码规则与方向性编码方法相同。

3)利用特征编码融合方法对步骤2)中获得的手指三模态特征编码进行融合，获得最终融合图像。

本步骤的主要思想是：(1)由于WLD的5×5邻域具有8个方向，同样使用8位二进制编码([c1，c2，c3，c4，c5，c6，c7，c8])来表示手指三模态的融合信息。(2)在步骤2)的二进制编码过程中，将方向5作为主方向。本步骤仍将方向5作为手指三模态特征编码融合的主方向。(3)手指静脉、指纹和指节纹三模态在特征编码融合过程中，根据排列组合的规则，会产生六种融合排序，即：FV，FP，FKP；FV，FKP，FP；FP，FV，FKP；FP，FKP，FV；FKP，FV，FP；FKP，FP，FV。以第一种融合排序(FV，FP，FKP)为例，(c4，c6)，(c3，c7)，(c2，c8)分别表示手指静脉、指纹和指节纹当前像素左右两侧的特征编码。

具体融合方法为：(1)当对方向性手指三模态特征编码进行融合时，如图7(a)所示，第一行和第二行是按照步骤2)的编码方法进行手指三模态编码。其中，在方向性编码方法中，方向1和方向8为特殊方向，需要向左或者向右移动一位。最后，将每个模态的最优增强方向与多模态融合框架中的主方向对齐，当多模态前像素左右两侧的编码则以主方向为中心，按照上述融合排序进行融合，获得最终融合图像。

(2)当对无方向性手指三模态特征编码进行融合时，如图7(b)所示，在无方向性编码方法中，所有模态都以主方向5为中心进行编码。因此在融合时，将编码的主方向与多模态融合框架中的主方向对齐，当前像素左右两侧的编码则以主方向为中心，按照上述融合排序进行融合，获得最终融合图像。

在图8中，原始手指三模态图像，(b)方向性手指三模态特征编码融合图像；(c)无方向性手指三模态特征编码融合图像。显然无方向性编码方法获得的融合图像的纹理特征相对更清晰。这是因为对于方向性编码来说，一些方向始终对应于二进制编码中的高编码位，其对应的二进制编码一直较大。相反，另外一些方向始终对应于二进制编码中的低编码位，其对应的二进制编码一直较小。这种现象会产生不平衡的二进制编码和不对称的编码图像。此外，不清楚的图像特征将不利于生物特征的识别。因此，在手指三模态特征编码融合时，本发明优先使用无方向性编码方法对每个单模态增强图像的最优增强方向进行二进制编码，然后对编码后的结果进行多模态特征融合。

为了充分论证本发明方法的可行性和有效性，本发明人采用实验室创建的手指三模态数据库进行一系列实验，用于评估本发明方法的识别性能。此数据库包含585个类别，分别在手指类别中收集10张手指静脉、指纹和指节纹图像作为原始手指三模态图像，即5850张手指静脉图像，5850张指纹图像和5850张指节纹图像。且将自制数据库中所有原始手指三模态图像均归一化为80*180像素，实验环境为PC机，Matlab R2018a环境下完成。

将本发明提供特征编码融合方法应用于手指单模态特征的识别能力与几种常用的单模态特征表达方法(LGS，SLGS，LBP，LLBP，Compcode和SCW-LGS)进行比较。图9是在单模态数据库(手指静脉)上不同表达方法的实验结果，不同方法的EER、AVE(含STD)和单次特征提取所用时间如表1所示。

表1不同特征表达方法的识别结果

根据排列组合的规则，手指静脉、指纹和指节纹在特征编码融合过程中会产生六种融合排序：(FV，FP，FKP)，(FV，FKP，FP)，(FP，FV，FKP)，(FP，FKP，FV)，(FKP，FV，FP)，(FKP，FP，FV)。为确定最合适的融合排序方法来对手指三模态特征编码进行融合，比较了6种方法的识别性能，其ROC曲线如图10所示。

从ROC曲线可以看出，六种不同融合排序方法的识别性能相同，说明三模态特征编码融合的识别性能与单模态特征编码的融合排序方法无关。即本发明提供的特征编码融合方法对手指三模态特征编码融合具有鲁棒性。因此，在手指三模态特征编码融合实验中，可以使用任何一种特征编码排序方法。

将提出的FEF-OBC编码融合算法与最近几年来提出的融合方法(circlegranulation，triangle granulation，GOM，graph_code_fusion，MRRID，)进行比较。图11显示了不同融合方法的结果。表2是不同融合方法的EER，STD和单张图片的特征提取时间。可以看出，本发明提出的FEF-OBC的EER结果在这六种融合方法中最低，其平均准确率AVE约为99.93％与graph_code_fusion的AVE较为接近，但是本发明提出的STD比graph_code_fusion低很多，说明本发明提出的FEF-OBC编码融合方法更稳定。此外，相比其他方法，该方法不仅识别效率最高，单次识别所花费的时间也较少。综上可知，本发明所提出的FEF-OBC多模态编码融合算法更准确，识别效率最高。因此，使用所提出的算法能够显着提高手指三模态FV，FP和FKP的融合特征识别的可靠性。

表2不同融合方法的识别结果

Claims (1)

1.一种基于最优编码位的手指多模态图像编码和融合方法，其特征在于：所述方法包括按顺序进行的下列步骤：

1)对原始手指三模态图像进行增强，获得手指三模态增强图像；

2)利用方向编码方法对上述手指三模态增强图像的最优增强方向进行二进制编码，以提取出手指三模态的有效纹理特征，获得手指三模态特征编码；

3)利用特征编码融合方法对步骤2)中获得的手指三模态特征编码进行融合，获得最终融合图像；

在步骤1)中，所述对原始手指三模态图像进行增强，获得手指三模态增强图像的方法是：首先，使用多尺度、方向性、可容性的Gabor滤波器组对原始手指三模态图像进行Gabor滤波；然后，以韦伯定律为基础，对滤波后的图像建立方向性韦伯差分激励；最后，在多尺度情况下，获得具有尺度响应最强和方向响应最强的图像，即手指三模态增强图像；

在步骤2)中，所述利用方向编码方法对上述手指三模态增强图像的最优增强方向进行二进制编码，以提取出手指三模态的有效纹理特征，获得手指三模态特征编码的方法是：

首先，使用8位二进制编码来表示当前像素的8个方向；然后，给当前像素定义一个主方向，并将最优增强方向与主方向对齐；之后，仅将手指三模态增强图像的最优增强方向上的邻域值与当前像素值的大小进行比较来获取二进制编码；如果邻域值大于当前像素值，则将两个像素之间的二进制编码设为1，否则设为0；当前像素的二进制编码恒为1，其他二进制编码位的值全设为0，由此获得手指三模态特征编码；

在步骤3)中，所述利用特征编码融合方法对步骤2)中获得的手指三模态特征编码进行融合，获得最终融合图像的方法是：首先定义手指三模态特征编码融合的主方向；然后将步骤2)中方向编码方法中的主方向与上述手指三模态特征编码融合的主方向对齐，之后以手指三模态特征编码融合的主方向为中心，按照融合排序进行融合，获得最终融合图像。