CN111582228B - 活体掌纹的识别方法、装置、设备及存储介质 - Google Patents
活体掌纹的识别方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111582228B CN111582228B CN202010433385.6A CN202010433385A CN111582228B CN 111582228 B CN111582228 B CN 111582228B CN 202010433385 A CN202010433385 A CN 202010433385A CN 111582228 B CN111582228 B CN 111582228B
- Authority
- CN
- China
- Prior art keywords
- image
- palm
- palm print
- frame
- identified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1347—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1365—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
- G06V40/45—Detection of the body part being alive
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Collating Specific Patterns (AREA)
Abstract
本发明公开了一种活体掌纹的识别方法、装置、设备及存储介质,涉及金融科技领域,所述活体掌纹的识别方法包括以下步骤:获取待识别掌纹对应的至少两帧掌纹图像,获取各帧所述掌纹图像对应的手掌图像和背景图像;确定各所述手掌图像和各所述背景图像对应的图像信号;计算任意两个图像信号之间的相似度,并将所述相似度输入至预设的分类模型中,得到所述分类模型输出的分类标识;若所述分类标识为活体标识,则确定所述待识别掌纹为活体掌纹。本发明提高了掌纹活体识别过程中,掌纹的安全性;且在掌纹识别过程中,不需要额外的设备支持,从而降低了掌纹活体识别的难度。
Description
技术领域
本发明涉及生物识别技术领域,尤其涉及一种活体掌纹的识别方法、装置、设备及存储介质。
背景技术
随着计算机技术的发展,越来越多的技术应用在金融领域,传统金融业正在逐步向金融科技(Fintech)转变,生物识别技术也不例外,但由于金融行业的安全性、实时性要求,也对生物识别技术提出的更高的要求。
随着科学技术的发展,生物识别技术的应用越来越广泛。掌纹属于生物特征的一种,可以利用掌纹的图像进行核身,辨别用户身份,而且相比人脸信息,掌纹信息一定程度上保护了用户隐私。目前的掌纹采集技术大多数采用接触式的采集方式,需要特定的硬件设备支持,同时也存在着接触式设备表面存留的信息被盗取的风险。另一方面,为了提高身份认证的安全性,需要在核身的同时进行活体检测,验证用户是否为真实活体本人操作,而非采用盗取的他人掌纹冒充。而目前的掌纹活体识别方法通常需要例如红外摄像头等额外的设备支持,普通手机和门禁摄像头难以对掌纹进行活体识别。
由此可知,目前掌纹活体过程中,掌纹容易被盗取,安全性低,且掌纹活体识别难度大。
发明内容
本发明的主要目的在于提供一种活体掌纹的识别方法、装置、设备及存储介质,旨在解决现有的掌纹活体过程中,掌纹容易被盗取,安全性低,且掌纹活体识别难度大的技术问题。
为实现上述目的,本发明提供一种活体掌纹的识别方法,所述活体掌纹的识别方法包括步骤:
获取待识别掌纹对应的至少两帧掌纹图像,获取各帧所述掌纹图像对应的手掌图像和背景图像;
确定各所述手掌图像和各所述背景图像对应的图像信号;
计算任意两个图像信号之间的相似度,并将所述相似度输入至预设的分类模型中,得到所述分类模型输出的分类标识;
若所述分类标识为活体标识,则确定所述待识别掌纹为活体掌纹。
可选地,所述若所述分类标识为活体标识,则确定所述待识别掌纹为活体掌纹的步骤之后,还包括:
确定各帧所述手掌图像中的目标帧图像;
若基于预设的掌纹识别算法,根据所述目标帧图像识别到与所述待识别掌纹配对的目标掌纹,则确定所述待识别掌纹识别成功。
可选地,所述确定各帧所述手掌图像中的目标帧图像的步骤包括:
获取各帧所述手掌图像对应的图像数据,并获取各图像数据对应的权重;
根据所述图像数据和所述权重对应计算各帧所述手掌图像对应的质量值;
根据所述质量值在各帧所述手掌图像中确定目标帧图像。
可选地,所述若基于预设的掌纹识别算法,根据所述目标帧图像识别到与所述待识别掌纹配对的目标掌纹,则确定所述待识别掌纹识别成功的步骤之后,还包括:
若确定所述待识别掌纹对应操作指令是开锁指令,则根据所述开锁指令控制所述待识别掌纹对应的门锁从锁定状态转变为开锁状态。
可选地,所述确定各所述手掌图像和各所述背景图像对应的图像信号的步骤包括:
提取各所述手掌图像和各所述背景图像对应的感兴趣区域ROI;
通过预设的信号提取算法,在各所述ROI中提取图像信号。
可选地,所述提取各所述手掌图像和各所述背景图像对应的ROI的步骤包括:
确定各帧所述手掌图像中提取ROI的第一提取位置,其中,各帧所述手掌图像中的第一提取位置相同;
确定各帧所述背景图像中提取ROI的第二提取位置,其中,各帧所述背景图像中的第二提取位置相同;
在各帧所述手掌图像的第一提取位置和各帧所述背景图像中的第二提取位置提取ROI。
可选地,所述计算任意两个图像信号之间的相似度,并将所述相似度输入至预设的分类模型中,得到所述分类模型的输出的分类标识的步骤之后,还包括:
若确定所述分类标识为非活体标识,则禁止响应所述待识别掌纹对应的操作指令,并生成告警信息;
将所述告警信息发送至移动终端中,以供所述移动终端输出所接收的告警信息,根据所述告警信息提示移动终端用户所述待识别掌纹为非活体掌纹。
此外,为实现上述目的,本发明还提供一种活体掌纹的识别装置,所述活体掌纹的识别装置包括:
获取模块,用于获取待识别掌纹对应的至少两帧掌纹图像,获取各帧所述掌纹图像对应的手掌图像和背景图像;
确定模块,用于确定各所述手掌图像和各所述背景图像对应的图像信号;
计算模块,用于计算任意两个图像信号之间的相似度;
输入模块,用于将所述相似度输入至预设的分类模型中,得到所述分类模型输出的分类标识;
所述确定模块还用于若所述分类标识为活体标识,则确定所述待识别掌纹为活体掌纹。
此外,为实现上述目的,本发明还提供一种活体掌纹的识别设备,所述活体掌纹的识别设备包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的活体掌纹的识别程序,所述活体掌纹的识别程序被所述处理器执行时实现如联邦学习服务器对应的活体掌纹的识别方法的步骤。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有活体掌纹的识别程序,所述活体掌纹的识别程序被处理器执行时实现如上所述的活体掌纹的识别方法的步骤。
本发明通过获取待识别掌纹对应的至少两帧掌纹图像,确定各帧掌纹图像对应的手掌图像和背景图像,确定各手掌图像和各背景图像对应的图像信号,计算任意两个图像信号之间的相似度,并将相似度输入至预设的分类模型中,得到分类模型的输出的分类标识,若分类标识为活体标识,则确定待识别掌纹为活体掌纹。实现了在对掌纹进行活体识别过程中,不需要通过接触式设备来采集掌纹,而是提取掌纹图像即可,从而避免了掌纹被盗取的风险,提高了掌纹活体识别过程中,掌纹的安全性;且在掌纹识别过程中,不需要额外的设备支持,从而降低了掌纹活体识别的难度。
附图说明
图1是本发明活体掌纹的识别方法第一实施例的流程示意图;
图2是本发明实施例掌纹图像对应的手掌图像和背景图像的一种示意图;
图3是本发明实施例中手掌图像和背景图像对应提取指令在各帧手掌图像和各帧背景图像中提取对应的ROI的一种示意图;
图4是本发明实施例中任意两个图像信号之间相似度的一种示意图;
图5是本发明活体掌纹的识别方法第二实施例的流程示意图;
图6是本发明活体掌纹的识别装置较佳实施例的功能示意图模块图;
图7是本发明实施例方案涉及的硬件运行环境的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明提供一种活体掌纹的识别方法,参照图1,图1为本发明活体掌纹的识别方法第一实施例的流程示意图。
本发明实施例提供了活体掌纹的识别方法的实施例,需要说明的是,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
活体掌纹的识别方法应用于服务器或者终端中,终端可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant,PDA)等移动终端,以及诸如数字TV、台式计算机等固定终端。在活体掌纹的识别方法的各个实施例中,为了便于描述,省略执行主体进行阐述各个实施例。活体掌纹的识别方法包括:
步骤S10,获取待识别掌纹对应的至少两帧掌纹图像,获取各帧所述掌纹图像对应的手掌图像和背景图像。
当侦测到掌纹活体识别的识别指令后,获取待识别掌纹对应的至少两帧掌纹图像,在本实施例中,所获取的掌纹图像可以看作是一个图像序列,该图像序列也可以看作是一定时长的视频数据。可以理解的是,一帧掌纹图像就是一幅掌纹图像,本实施例不限制所获取掌纹图像的帧数,如可获取3帧掌纹图像、5帧掌纹图像或者6帧掌纹图像等。识别指令可以是在需要进行掌纹活体检测时自动触发的,如当需要通过掌纹图像开锁,打开门禁,或者需要通过掌纹解锁某些电子设备时,自动触发识别指令,具体地,通过对应的摄像装置获取掌纹图像,该摄像装置可为与门锁或者电子设备连接的摄像机,也可为门锁或者电子设备内部设置的摄像头。
当获取到掌纹图像后,获取预先设置好的分割算法,通过该分割算法分割各帧掌纹图像,得到各帧掌纹图像对应的手掌图像和背景图像,可以理解的是,每一帧掌纹图像都存在对应的手掌图像和背景图像。具体地,可参照图2,图2是本发明实施例掌纹图像对应的手掌图像和背景图像的一种示意图,在图2中,“1”表示手掌图像,“2”表示背景图像。分割算法可为均值迭代分割算法、最大熵分割算法和基于深度学习的语义分割算法等,均值迭代分割算法是迭代计算出一个T,使得阈值T能够把灰度图像分割成A,B两类,其中A为物体,B为背景,满足条件:A的灰度均值T1加上B的灰度均值 T2的均值等于T。最大熵分割算法是信息熵,当系统越混乱,不确定性越大时,信息熵越大,当系统越有序,确定性越高时,信息熵越小,因此可以使用这个方法分割物体与背景。可以理解的是,在本实施例中,手掌图像为物体,背景图像为背景。在本实施例中,优先选择基于深度学习的语义分割算法,可以更精细的将手掌区域与背景区域分开。
步骤S20,确定各所述手掌图像和各所述背景图像对应的图像信号。
当得到各帧掌纹图像对应的掌纹图像和背景图像后,确定各帧掌纹图像和各帧背景图像对应的图像信号。可以理解的是,本实施例中的图像信号包括从各帧掌纹图像中提取的图像信号,以及包括从各帧背景图像中提取的图像信号。
进一步地,步骤S20包括:
步骤a,提取各所述手掌图像和各所述背景图像对应的感兴趣区域ROI。
进一步地,当确定各帧手掌图像和各帧背景图像后,获取各帧手掌图像对应的提取参数,根据各帧手掌图像对应的提取参数在手掌图像中提取ROI (region of interest,感兴趣区域),以及获取各帧背景图像对应的提取参数,根据各帧背景图像对应的提取参数在背景图像中提取ROI,以确定各手掌图像和背景图像对应的ROI。在本实施例中,在各帧手掌图像中提取至少一个 ROI,以及在各帧背景图像中提取至少一个ROI,每帧手掌图像中的ROI数量和每帧背景图像中的ROI数量可以相同,也可以不相同。在本实施例中,可以预先设置好手掌图像和背景图像对应ROI的提取参数,提取参数包括提取位置和提取数量。可以理解的是,手掌图像对应的提取参数和背景图像对应的提取参数是不一样的,具体地,手掌图像对应提取参数中的提取位置和背景图像对应提取参数中的提取位置是不一样的,但是手掌图像对应提取参数中的提取数量和背景图像对应提取参数中的提取数量可以一样,也可以不一样。
进一步地,在确定各帧手掌图像和各帧背景图像后,也可根据需要触发提取指令,根据该提取指令在各帧手掌图像和各帧背景图像中提取对应的ROI,从而得到各帧手掌图像对应的ROI和各帧背景图像对应的ROI。可以理解的是,在提取指令中,携带有手掌图像和背景图像对应ROI的提取参数,因此,可通过提取指令在各帧手掌图像和各帧背景图像中提取对应的ROI。具体地,可参照图3,图3是本发明实施例中手掌图像和背景图像对应提取指令在各帧手掌图像和各帧背景图像中提取对应的ROI的一种示意图。在图3中,手掌图像中存在5个ROI,分别为F1,F2,F3,F4和F5,背景图像存在3个ROI,分别为B1,B2和B3。
进一步地,步骤a包括:
步骤a1,确定各帧所述手掌图像中提取ROI的第一提取位置,其中,各帧所述手掌图像中的第一提取位置相同。
步骤a2,确定各帧所述背景图像中提取ROI的第二提取位置,其中,各帧所述背景图像中的第二提取位置相同。
步骤a3,在各帧所述手掌图像的第一提取位置和各帧所述背景图像中的第二提取位置提取ROI。
进一步地,在各帧手掌图像和各帧背景图像后,确定各帧手掌图像中提取ROI的第一提取位置,其中,各帧手掌图像中的第一提取位置相同,并确定各帧背景图像中提取ROI的第二提取位置,其中,各帧背景图像中的第二提取位置相同。当确定第一提取位置和第二提取位置后,在各帧手掌图像的第一提取位置提取ROI,以及在各帧背景图像的第二提取位置提取ROI,从而得到各帧手掌图像和各帧背景图像对应的ROI。可以理解的是,此时,不同帧手掌图像对应的ROI对应的提取参数是相同的,不同帧背景图像对应ROI 的提取参数也是相同的。
步骤b,通过预设的信号提取算法,在各所述ROI中提取图像信号。
当得到各帧手掌图像和各帧背景图像对应的ROI后,获取预先存储的信号提取算法,通过信号提取算法在各ROI中提取图像信号。在本实施例中,使用rPPG(remotephotoplethysmography,远程光容积描记术)信号提取算法在各ROI中提取图像信号,可以理解的是,所提取的图像信号是rPPG信号,rPPG 信号一般是一个一维向量。在其它实施例中,也可以采用与rPPG信号提取算法具备相同功能的信号提取算法在各ROI中提取图像信号。
进一步地,若各帧手掌图像对应ROI的提取参数不相同,以及各帧背景图像对应ROI的提取参数不同,则可在得到各帧手掌图像和各帧背景图像对应的ROI后,遍历所有的ROI,提取各帧手掌图像中相同位置的第一目标ROI,以及提取各帧背景图像中相同位置的第二目标ROI,然后通过图像信号提取算法,在第一目标ROI和第二目标ROI中提取对应的图像信号。
步骤S30,计算任意两个图像信号之间的相似度,并将所述相似度输入至预设的分类模型中,得到所述分类模型输出的分类标识。
步骤S40,若所述分类标识为活体标识,则确定所述待识别掌纹为活体掌纹。
当得到各ROI对应的图像信号后,计算任意两个图像信号之间的相似度。具体地,在本实施例中,可采用卷积算法(convolution)或者相关性算法 (cross-correlation)等计算任意两个图像信号之间的相似度。具体地,在本实施例中,若将从手掌图像对应ROI中提取的图像信号记为第一信号,将从背景图像对应ROI中提取的图像信号记为第二信号,则相似度包括第一信号和第一信号之间的相似度,第一信号和第二信号之间的相似度,第二信号和第二信号之间的相似度。需要说明的是,本实施例中的图像信号为一维信号,或者是可以向量化的一维信号。
当计算得到任意两个图像信号之间的相似度后,将所计算得到的所有相似度输入至预先设置好的分类模型中,得到分类模型输出的分类标识。在本实施例中,分类模型输出的分类标识存在两种,一种是表示待识别掌纹为活体掌纹的活体标识,另一种是表示待识别掌纹为非活体掌纹的非活体标识。本实施例不限制分类标识的表现形式,如分类标识可用数字和/或字母表示。若确定分类模型输出的分类标识为活体标识,则确定待识别掌纹为活体掌纹。
进一步地,分类模型是通过随机森林或者卷积神经网络训练得到的,具体地,获取训练样本数据,训练样本数据也是两个图像信号之间的相似度,每一训练样本数据都存在对应的分类标识,通过该分类标识可确定各个训练样本数据是活体掌纹对应的,还是非活体掌纹对应的。当得到训练样本数据后,将训练样本数据输入至随机森林或者卷积神经网络中,以训练随机森林或者卷积神经网络,得到分类模型。
为了便于理解,以下举例说明,用Fi(i≥1)表示手掌图像对应的ROI,用 Bj(j≥1)表示背景图像对应的ROI,将从手掌图像对应的ROI中提取的图像信号记为从背景图像对应的ROI中提取的图像信号记为定义函数 F(Si,Sj),通过函数F(Si,Sj)表征两个图像信号之间的相似度。具体地,可参照图4,图4是本发明实施例中任意两个图像信号之间相似度的一种示意图。由图4可知,若手掌图像存在n个图像信号,背景图像存在m个图像信号,则图4中的表格大小为(n+m)×(n+m),即一共可以得到(n+m)×(n+m) 个相似度。若将(n+m)×(n+m)个相似度记为{Fi,j},则将{Fi,j}输入至分类模型中,得到分类模型的输出。可以理解的是,任意两个图像信号计算得到的相似度是一个一维向量。
本实施例通过获取待识别掌纹对应的至少两帧掌纹图像,确定各帧掌纹图像对应的手掌图像和背景图像,确定各手掌图像和各背景图像对应的图像信号,计算任意两个图像信号之间的相似度,并将相似度输入至预设的分类模型中,得到分类模型的输出的分类标识,若分类标识为活体标识,则确定待识别掌纹为活体掌纹。实现了在对掌纹进行活体识别过程中,不需要通过接触式设备来采集掌纹,而是提取掌纹图像即可,从而避免了掌纹被盗取的风险,提高了掌纹活体识别过程中,掌纹的安全性;且在掌纹识别过程中,不需要额外的设备支持,从而降低了掌纹活体识别的难度。
进一步,需要说明的是,直接使用rPPG信号(图像信号)来识别掌纹是活体掌纹还是非活体掌纹,可能会出现由于掌纹图像采集过程中的光照、手掌运动等因素,导致最后将非活体掌纹识别为活体掌纹。而本实施例是通过不同区域(手掌图像和背景图像对应ROI的rPPG信号)的rPPG信号,通过计算rPPG信号两两之间的相似度,根据相似度来确定待识别掌纹是活体掌纹还是非活体掌纹,从而降低掌纹活体识别过程中光照、手掌运动等因素对掌纹活体识别的干扰,提高了掌纹活体识别的鲁棒性。
进一步地,活体掌纹的识别方法还包括:
步骤c,若确定所述分类标识为非活体标识,则禁止响应所述待识别掌纹对应的操作指令,并生成告警信息。
进一步地,若确定分类标识为非活体标识,则禁止响应待识别掌纹对应的操作指令,并自动生成告警信息,其中,待识别掌纹对应的操作指令可为打开电子设备的打开指令,也可为开启门锁的开启指令等。
步骤d,将所述告警信息发送至移动终端中,以供所述移动终端输出所接收的告警信息,根据所述告警信息提示移动终端用户所述待识别掌纹为非活体掌纹。
当生成告警信息后,将告警信息发送至移动终端中,该移动终端可为待识别掌纹对应用户的移动终端,也可以为预先设置好的接收告警信息的移动终端,如门锁对应房屋主人所持的移动终端。当移动终端接收到告警信息后,输出该告警信息,以根据该告警信息提示移动终端用户待识别掌纹为非活体掌纹。在本实施例中,不限制告警信息的输出方式,如可通过语音和/或文字方式输出告警信息。进一步地,在生成告警信息后,也可以自动输出告警信息,以通过该告警信息提示待识别掌纹对应的用户,该待识别掌纹为非活体掌纹。
本实施例通过在确定待识别掌纹为非活体掌纹时,禁止响应待识别掌纹对应的操作指令,从而提高了待识别掌纹对应操作指令执行的安全性,且在确定待识别掌纹为非活体掌纹时,输出告警信息给移动终端,以供移动终端用户及时了解到存在非法入侵用户。
进一步地,提出本发明活体掌纹的识别方法第二实施例。所述活体掌纹的识别方法第二实施例与所述活体掌纹的识别方法第一实施例的区别在于,参照图5,所述活体掌纹的识别方法还包括:
步骤S50,确定各帧所述手掌图像中的目标帧图像。
当得到各帧手掌图像后,确定各帧手掌图像中的目标帧图像。需要说明的是,目标帧图像的数量可小于或者等于手掌图像的数量。
进一步地,步骤S50包括:
步骤e,获取各帧所述手掌图像对应的图像数据,并获取各图像数据对应的权重。
进一步地,获取各帧手掌图像对应的图像数据,其中,图像数据至少包括以下一种:图像模糊度、图像亮度、图像对比度、一阶梯度和二阶梯度。图像亮度是指画面的明亮程度,单位是堪德拉每平米(cd/m2)或称nits。图像对比度指的是一幅图像中明暗区域最亮的白和最暗的黑之间不同亮度层级的测量,即指一幅图像灰度反差的大小。图像梯度是把图像看成二维离散函数,图像梯度其实就是这个二维离散函数的求导,一阶梯度就是对图像进行一阶求导,二阶梯度就是对图像进行二阶求导。图像模糊度可通过Brenner梯度函数、Tenengrad梯度函数和Laplacian梯度函数等梯度函数计算得到。
当得到各帧手掌图像对应的图像数据后,获取各个图像数据对应的权重。需要说明的是,不同帧手掌图像中,同一图像数据对应的权重是相同的。如针对图像模糊度,在A帧手掌图像中和在B帧手掌图像中,其对应的权重是相同的。
步骤f,根据所述图像数据和所述权重对应计算各帧所述手掌图像对应的质量值。
当得到各帧手掌图像对应的图像数据和各图像数据对应的权重后,根据图像数据和权重对应计算各帧手掌图像对应的质量值。具体地,就是将每帧手掌图像的图像数据乘以对应的权重,得到对应的乘积,然后将所得的乘积相加,即可得到该帧手掌图像对应的质量值。若将图像模糊度记为A1,图像亮度记为A2,图像对比度记为A3,一阶梯度记为A4,二阶梯度记为A5,图像模糊度对应的权重记为a1,图像亮度对应的权重记为a2,图像对比度对应的权重记为a3,一阶梯度对应的权重记为a4,二阶梯度对应的权重记为a5,则每帧手掌图像对应质量值的计算公式为: A1×a1+A2×a2+A3×a3+A4×a4+A5×a5。
步骤g,根据所述质量值在各帧所述手掌图像中确定目标帧图像。
当得到各帧手掌图像对应的质量值后,确定目标帧图像对应的图像数量,根据该图像数量在各帧手掌图像中选择质量值较大的手掌图像确定为目标帧图像。具体地,可将各手掌图像按照质量值大小从大到小排序,得到排序后的手掌图像,然后在排序后的手掌图像中从前到后选择图像数量的手掌图像为目标帧图像。可以理解的是,在其他实施例中,也可将各手掌图像按照质量值从小到大排序,此时在确定目标帧图像时,是从后到前选择。其中,图像数量是预先设置好的,本实施例对图像数量不做具体限制。
进一步地,在获取到各帧手掌图像对应的图像数据后,确定图像数据中的图像目标数据,其中,图像目标数据是预先设置好的,如可设置图像模糊度和图像亮度为图像目标数据,或者设置图像模糊度、图像亮度和图像对比度为图像目标数据。当确定图像目标数据后,根据图像目标数据在各帧手掌图像中选择最优图像目标数据对应的手掌图像作为目标帧图像,如将所有手掌图像中图像模糊度最小的手掌图像确定为目标帧图像,以及将所有手掌图像中图像对比度最大的手掌图像确定为目标帧图像,或者将所有手掌图像中图像亮度最大的手掌图像确定为目标帧图像。
步骤S60,若基于预设的掌纹识别算法,根据所述目标帧图像识别到与所述待识别掌纹配对的目标掌纹,则确定所述待识别掌纹识别成功。
当确定目标帧图像后,获取预先存储的掌纹识别算法。其中掌纹识别算法可为基于掌纹的点与线特征的识别算法,基于掌纹的纹理特征识别算法,或者为基于掌纹的分级特征融合的识别算法等。
当获取到掌纹识别算法后,通过该掌纹识别算法将目标帧图像与掌纹数据库中的各个预存掌纹图像进行对比。若确定掌纹数据库中存在预存掌纹图像与目标帧图像之间的相似度大于预设相似度,则确定识别到与待识别掌纹配对的目标掌纹,即确定待识别掌纹识别成,可以理解的是,此时与目标帧图像之间的相似度大于预设相似度的预存掌纹图像对应的掌纹就是目标掌纹;若确定掌纹数据库中的所有预存掌纹图像与目标帧图像之间的相似度都小于或者等于预设相似度,则确定未识别到与待识别掌纹配对的目标掌纹,即确定待识别掌纹识别失败。其中,预设相似度可根据具体需要而设置,如可将预设相似度设置为60%,70%或者95%等。掌纹数据库中预先存储了掌纹图像,本实施例将掌纹数据中预先存储的掌纹图像记为预存掌纹图像。
可以理解的是,在计算预存掌纹图像与目标帧图像之间的相似度过程中,根据掌纹识别算法的不同,计算不同特征之间的相似度。如对于基于掌纹的纹理特征识别算法,是通过基于掌纹的纹理特征识别算法提取预存掌纹图像和目标帧图像中的纹理特征,然后将预存掌纹图像对应的纹理特征与目标帧图像对应的纹理特征进行对比,得到预存掌纹图像对应的纹理特征和目标帧图像对应的纹理特征之间的相似度。
进一步地,当存在至少两帧目标帧图像时,可设置全部目标帧图像与一个预存掌纹图像之间的相似度都大于预设相似度时,才确定识别到与待识别掌纹配对的目标掌纹,相反,则确定未识别到与待识别掌纹配对的目标掌纹。进一步地,也可设置只要一定数量的目标帧图像与一个预存掌纹图像之间的相似度大于预设相似度时,确定识别到与待识别掌纹配对的目标掌纹。
进一步地,需要说明的是,步骤S50和步骤S60可以在步骤S40之后,也可以在步骤S40之前,如在步骤S10之后,或者在步骤S20之后等。
本实施例通过确定各帧手掌图像中的目标帧图像,然后基于掌纹识别算法,根据目标帧图像进行掌纹识别,实现了进行掌纹识别过程中,不需要对应用户接触掌纹识别设备,从而避免的掌纹被盗取,提高了掌纹识别过程中,用于掌纹识别的掌纹的安全性;进一步地,本实施例通过只采用手掌图像来进行掌纹识别,避免了掌纹图像中的背景图像带来的干扰,从而提高了掌纹识别的准确率;进一步地,本实施例可选择质量值大的多帧目标帧图像进行掌纹识别,降低了由于光照、运动模糊等因素对掌纹识别的干扰,提高了掌纹识别的鲁棒性。
进一步地,提出本发明活体掌纹的识别方法第三实施例。所述活体掌纹的识别方法第三实施例与所述活体掌纹的识别方法第二实施例的区别在于,所述活体掌纹的识别方法还包括:
步骤i,若确定所述待识别掌纹对应操作指令是开锁指令,则根据所述开锁指令控制所述待识别掌纹对应的门锁从锁定状态转变为开锁状态。
在本实施例中,待识别掌纹是在该待识别掌纹对应用户通过掌纹开锁时获取的,即待识别掌纹对应的操作指令是开锁指令。在确定待识别掌纹对应的操作指令是开锁指令,且确定待识别掌纹是活体掌纹,以及确定待识别掌纹识别成功后,根据开锁指令控制待识别掌纹对应的门锁从锁定状态转变为开锁状态,即通过待识别掌纹打开门锁。进一步地,若确定待识别掌纹是非活体掌纹,和/或待识别掌纹识别失败,则不响应该开锁指令。
本实施例通过在确定待识别掌纹对应操作指令是开锁指令,且确定待识别掌纹是活体掌纹,以及确定待识别掌纹识别成功后,控制待识别掌纹对应的门锁从锁定状态转变为开锁状态,避免了非法分子采用非活体掌纹开锁,提高了通过掌纹开锁的安全性。
此外,本发明还提供一种活体掌纹的识别装置,参照图6,所述活体掌纹的识别装置包括:
获取模块10,用于获取待识别掌纹对应的至少两帧掌纹图像,获取各帧所述掌纹图像对应的手掌图像和背景图像;
确定模块20,用于确定各所述手掌图像和各所述背景图像对应的图像信号;
计算模块30,用于计算任意两个图像信号之间的相似度;
输入模块40,用于将所述相似度输入至预设的分类模型中,得到所述分类模型输出的分类标识;
所述确定模块20还用于若所述分类标识为活体标识,则确定所述待识别掌纹为活体掌纹。
进一步地,所述确定模块20还用于确定各帧所述手掌图像中的目标帧图像;若基于预设的掌纹识别算法,根据所述目标帧图像识别到与所述待识别掌纹配对的目标掌纹,则确定所述待识别掌纹识别成功。
进一步地,所述确定模块20包括:
获取单元,用于获取各帧所述手掌图像对应的图像数据,并获取各图像数据对应的权重;
计算单元,用于根据所述图像数据和所述权重对应计算各帧所述手掌图像对应的质量值;
确定单元,用于根据所述质量值在各帧所述手掌图像中确定目标帧图像。
进一步地,所述活体掌纹的识别装置包括:
转变模块,用于若确定所述待识别掌纹对应操作指令是开锁指令,则根据所述开锁指令控制所述待识别掌纹对应的门锁从锁定状态转变为开锁状态。
进一步地,所述确定模块20还用于提取各所述手掌图像和各所述背景图像对应的感兴趣区域ROI;通过预设的信号提取算法,在各所述ROI中提取图像信号。
进一步地,所述确定模块20还用于确定各帧所述手掌图像中提取ROI 的第一提取位置,其中,各帧所述手掌图像中的第一提取位置相同;确定各帧所述背景图像中提取ROI的第二提取位置,其中,各帧所述背景图像中的第二提取位置相同;在各帧所述手掌图像的第一提取位置和各帧所述背景图像中的第二提取位置提取ROI。
进一步地,所述活体掌纹的识别装置还包括:
禁止模块,用于若确定所述分类标识为非活体标识,则禁止响应所述待识别掌纹对应的操作指令;
生成模块,用于生成告警信息;
发送模块,用于将所述告警信息发送至移动终端中,以供所述移动终端输出所接收的告警信息,根据所述告警信息提示移动终端用户所述待识别掌纹为非活体掌纹。
本发明活体掌纹的识别装置具体实施方式与上述活体掌纹的识别方法各实施例基本相同,在此不再赘述。
此外,本发明还提供一种活体掌纹的识别设备。如图7所示,图7是本发明实施例方案涉及的硬件运行环境的结构示意图。
需要说明的是,图7即可为活体掌纹的识别设备的硬件运行环境的结构示意图。本发明实施例活体掌纹的识别设备可以是PC,便携计算机等终端设备。
如图7所示,该活体掌纹的识别设备可以包括:处理器1001,例如CPU,存储器1005,用户接口1003,网络接口1004,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏 (Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图7中示出的活体掌纹的识别设备结构并不构成对活体掌纹的识别设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图7所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及活体掌纹的识别程序。其中,操作系统是管理和控制活体掌纹的识别设备硬件和软件资源的程序,支持活体掌纹的识别程序以及其它软件或程序的运行。
在图7所示的活体掌纹的识别设备中,用户接口1003主要用于连接终端设备,与终端设备进行数据通信,如发送告警信息给移动终端;网络接口1004 主要用于后台服务器,与后台服务器进行数据通信;处理器1001可以用于调用存储器1005中存储的活体掌纹的识别程序,并执行如上所述的活体掌纹的识别方法的步骤。
本发明活体掌纹的识别设备具体实施方式与上述活体掌纹的识别方法各实施例基本相同,在此不再赘述。
此外,本发明实施例还提出一种计算机可读存储介质,所述计算机可读存储介质上存储有活体掌纹的识别程序,所述活体掌纹的识别程序被处理器执行时实现如上所述的活体掌纹的识别方法的步骤。
本发明计算机可读存储介质具体实施方式与上述活体掌纹的识别方法各实施例基本相同,在此不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种活体掌纹的识别方法,其特征在于,所述活体掌纹的识别方法包括以下步骤:
获取待识别掌纹对应的至少两帧掌纹图像,获取各帧所述掌纹图像对应的手掌图像和背景图像;
提取各所述手掌图像和各所述背景图像对应的感兴趣区域ROI;
通过预设的信号提取算法,在各所述ROI中提取图像信号;
计算任意两个图像信号之间的相似度,并将所述相似度输入至预设的分类模型中,得到所述分类模型输出的分类标识;
若所述分类标识为活体标识,则确定所述待识别掌纹为活体掌纹;
确定各帧所述手掌图像中的目标帧图像;
若基于预设的掌纹识别算法,根据所述目标帧图像识别到与所述待识别掌纹配对的目标掌纹,则确定所述待识别掌纹识别成功,其中,所述预设的掌纹识别算法为基于掌纹的点与线特征的识别算法,或者为基于掌纹的纹理特征识别算法,或者为基于掌纹的分级特征融合的识别算法。
2.如权利要求1所述的活体掌纹的识别方法,其特征在于,所述确定各帧所述手掌图像中的目标帧图像的步骤包括:
获取各帧所述手掌图像对应的图像数据,并获取各图像数据对应的权重;
根据所述图像数据和所述权重对应计算各帧所述手掌图像对应的质量值;
根据所述质量值在各帧所述手掌图像中确定目标帧图像。
3.如权利要求1所述的活体掌纹的识别方法,其特征在于,所述若基于预设的掌纹识别算法,根据所述目标帧图像识别到与所述待识别掌纹配对的目标掌纹,则确定所述待识别掌纹识别成功的步骤之后,还包括:
若确定所述待识别掌纹对应操作指令是开锁指令,则根据所述开锁指令控制所述待识别掌纹对应的门锁从锁定状态转变为开锁状态。
4.如权利要求1所述的活体掌纹的识别方法,其特征在于,所述提取各所述手掌图像和各所述背景图像对应的感兴趣区域ROI的步骤包括:
确定各帧所述手掌图像中提取ROI的第一提取位置,其中,各帧所述手掌图像中的第一提取位置相同;
确定各帧所述背景图像中提取ROI的第二提取位置,其中,各帧所述背景图像中的第二提取位置相同;
在各帧所述手掌图像的第一提取位置和各帧所述背景图像中的第二提取位置提取ROI。
5.如权利要求1所述的活体掌纹的识别方法,其特征在于,所述计算任意两个图像信号之间的相似度,并将所述相似度输入至预设的分类模型中,得到所述分类模型的输出的分类标识的步骤之后,还包括:
若确定所述分类标识为非活体标识,则禁止响应所述待识别掌纹对应的操作指令,并生成告警信息;
将所述告警信息发送至移动终端中,以供所述移动终端输出所接收的告警信息,根据所述告警信息提示移动终端用户所述待识别掌纹为非活体掌纹。
6.一种活体掌纹的识别装置,其特征在于,所述活体掌纹的识别装置包括:
获取模块,用于获取待识别掌纹对应的至少两帧掌纹图像,获取各帧所述掌纹图像对应的手掌图像和背景图像;
确定模块,用于提取各所述手掌图像和各所述背景图像对应的感兴趣区域ROI;通过预设的信号提取算法,在各所述ROI中提取图像信号;
计算模块,用于计算任意两个图像信号之间的相似度;
输入模块,用于将所述相似度输入至预设的分类模型中,得到所述分类模型输出的分类标识;
所述确定模块还用于若所述分类标识为活体标识,则确定所述待识别掌纹为活体掌纹;
其中,所述活体掌纹的识别装置还包括:
确定各帧所述手掌图像中的目标帧图像;若基于预设的掌纹识别算法,根据所述目标帧图像识别到与所述待识别掌纹配对的目标掌纹,则确定所述待识别掌纹识别成功,其中,所述预设的掌纹识别算法为基于掌纹的点与线特征的识别算法,或者为基于掌纹的纹理特征识别算法,或者为基于掌纹的分级特征融合的识别算法。
7.一种活体掌纹的识别设备,其特征在于,所述活体掌纹的识别设备包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的活体掌纹的识别程序,所述活体掌纹的识别程序被所述处理器执行时实现如权利要求1至5任一项中所述的活体掌纹的识别方法的步骤。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有活体掌纹的识别程序,所述活体掌纹的识别程序被处理器执行时实现如权利要求1至5任一项所述的活体掌纹的识别方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010433385.6A CN111582228B (zh) | 2020-05-20 | 2020-05-20 | 活体掌纹的识别方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010433385.6A CN111582228B (zh) | 2020-05-20 | 2020-05-20 | 活体掌纹的识别方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111582228A CN111582228A (zh) | 2020-08-25 |
CN111582228B true CN111582228B (zh) | 2024-10-22 |
Family
ID=72125154
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010433385.6A Active CN111582228B (zh) | 2020-05-20 | 2020-05-20 | 活体掌纹的识别方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111582228B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112232152B (zh) * | 2020-09-30 | 2021-12-03 | 墨奇科技(北京)有限公司 | 非接触式指纹识别方法、装置、终端和存储介质 |
WO2022068931A1 (zh) * | 2020-09-30 | 2022-04-07 | 墨奇科技(北京)有限公司 | 非接触指纹识别方法、装置、终端及存储介质 |
CN112613407B (zh) * | 2020-12-23 | 2024-08-13 | 杭州趣链科技有限公司 | 基于联邦学习的人脸活体检测训练优化方法、装置及设备 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110321812A (zh) * | 2019-06-17 | 2019-10-11 | Oppo广东移动通信有限公司 | 一种解锁方法、增强现实设备及存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4600746B2 (ja) * | 2004-11-10 | 2010-12-15 | ソニー株式会社 | 認証装置、認証方法及びプログラム |
CN101833646B (zh) * | 2009-03-11 | 2012-05-02 | 北京中科虹霸科技有限公司 | 一种虹膜活体检测方法 |
WO2012042631A1 (ja) * | 2010-09-30 | 2012-04-05 | 富士通フロンテック株式会社 | 登録プログラム、登録装置、および登録方法 |
CN106663201A (zh) * | 2016-10-18 | 2017-05-10 | 厦门中控生物识别信息技术有限公司 | 一种手掌检测方法和设备 |
CN109190566B (zh) * | 2018-09-10 | 2021-09-14 | 中国民航大学 | 一种融合局部编码与cnn模型手指静脉识别方法 |
-
2020
- 2020-05-20 CN CN202010433385.6A patent/CN111582228B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110321812A (zh) * | 2019-06-17 | 2019-10-11 | Oppo广东移动通信有限公司 | 一种解锁方法、增强现实设备及存储介质 |
Non-Patent Citations (2)
Title |
---|
基于图像的掌纹活体检测方法研究;李晓明;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170215(第2017年第02期);第I138-4051页 * |
李晓明.基于图像的掌纹活体检测方法研究.《中国优秀硕士学位论文全文数据库 信息科技辑》.2017,(第2017年第02期),第I138-4051页. * |
Also Published As
Publication number | Publication date |
---|---|
CN111582228A (zh) | 2020-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10728242B2 (en) | System and method for biometric authentication in connection with camera-equipped devices | |
US7158657B2 (en) | Face image recording system | |
CN103313018B (zh) | 登记确定装置及其控制方法、以及电子装置 | |
TWI664552B (zh) | 與配備有相機之裝置連接之用於生物特徵量測鑑認之系統及方法 | |
Hussain et al. | [Retracted] Internet of Things with Deep Learning‐Based Face Recognition Approach for Authentication in Control Medical Systems | |
US9262614B2 (en) | Image processing device, image processing method, and storage medium storing image processing program | |
US20180034852A1 (en) | Anti-spoofing system and methods useful in conjunction therewith | |
CN111582228B (zh) | 活体掌纹的识别方法、装置、设备及存储介质 | |
CN108875341A (zh) | 一种人脸解锁方法、装置、系统及计算机存储介质 | |
CN108833359A (zh) | 身份验证方法、装置、设备、存储介质及程序 | |
CN104424414A (zh) | 用于使用户登录到移动设备的方法 | |
JP7151875B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
TW201944294A (zh) | 身份驗證方法和裝置、電子裝置、電腦程式和儲存介質 | |
Smith-Creasey et al. | Continuous face authentication scheme for mobile devices with tracking and liveness detection | |
US9292752B2 (en) | Image processing device and image processing method | |
CN110795714A (zh) | 一种身份验证方法、装置、计算机设备及存储介质 | |
Mun et al. | Design for visitor authentication based on face recognition technology Using CCTV | |
CN112183167B (zh) | 考勤方法、认证方法、活体检测方法、装置及设备 | |
CN108153568B (zh) | 一种信息处理方法及电子设备 | |
Shahab et al. | Android application for presence recognition based on face and geofencing | |
US20230012914A1 (en) | Non-transitory computer readable storage, output control method, and terminal device | |
US10867022B2 (en) | Method and apparatus for providing authentication using voice and facial data | |
Grabovskyi et al. | Facial recognition with using of the microsoft face API Service | |
Sinha et al. | K-Nearest Neighbors (KNN): A powerful approach to facial recognition—Methods and applications | |
WO2022110121A1 (en) | Method for biometric analysis about a user of an electronic device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |