CN110321753A - 一种基于人脸几何特征的人脸图像质量评价方法 - Google Patents
一种基于人脸几何特征的人脸图像质量评价方法 Download PDFInfo
- Publication number
- CN110321753A CN110321753A CN201810264809.3A CN201810264809A CN110321753A CN 110321753 A CN110321753 A CN 110321753A CN 201810264809 A CN201810264809 A CN 201810264809A CN 110321753 A CN110321753 A CN 110321753A
- Authority
- CN
- China
- Prior art keywords
- face
- facial image
- image
- value
- quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于人脸几何特征的人脸图像质量评价方法，通过深度学习的级联回归网络在获取的人脸图像中定位人脸轮廓、眉毛、眼睛、鼻子和嘴巴的各关键点的位置信息，并分别对人脸图像的角度、清晰度、光照对称度、眼睛状态、嘴巴状态进行评价，得到各自的特征值，最后对各个特征值所占的权重进行加权计算，得到所述的人脸图像的评价总分。该方法用于人脸识别系统中图像识别之前，可有效地筛选出质量较高的人脸图像，当图像质量高于一定门限时才会被送到识别系统中进行识别，预防了由于输入图像质量过低引起的系统错误，同时节省了系统识别匹配时间。
Description
【技术领域】
本发明涉及人脸识别领域，特别是涉及一种在人脸识别过程中，基于人脸几何特征对人脸图像质量进行评价的方法。
【背景技术】
人脸识别系统对输入的人脸图像的质量非常敏感，当输入的人脸图像出现光照变化、脸部旋转、画面模糊、表情夸张等情况时，其识别率会显著下降。低质量的人脸图像可能是引起人脸识别系统匹配错误的主要原因，也直接导致了很多系统无法在实际中使用。因此，需要在人脸图像检测阶段，建立一个对人脸图像质量的评价机制，通过评价结果对采集到的人脸图像进行筛选，当图像质量高于一定门限时才会被送到识别系统中进行识别，否则图像将被丢弃。
【发明内容】
为了解决上述问题，本发明提供了一种基于人脸几何特征的人脸图像质量评价方法，用于人脸识别系统中图像识别之前，可有效地筛选出质量较高的人脸图像。
本发明所述的一种基于人脸几何特征的人脸图像质量评价方法，包括以下步骤：
步骤1：获取人脸图像；
步骤2：通过深度学习的级联回归网络在所述的人脸图像中定位各关键点的位置信息，所述的关键点包括人脸轮廓、眉毛、眼睛、鼻子和嘴巴；
步骤3：根据所述的关键点的位置信息，分别对人脸图像的角度、清晰度、光照对称度、眼睛状态、嘴巴状态进行评价，得到各自的特征值；
步骤4：通过对步骤3所获得的各个特征值所占的权重进行加权计算，最后得到所述的人脸图像的评价总分。
进一步的，步骤3中所述的对人脸图像的角度进行评价，包括以下步骤：
步骤3.1.1：通过关键点定位获取人脸轮廓掩膜(二值)图像；
步骤3.1.2：通过鼻子关键点拟合成直线将人脸图像划分为左脸和右脸两部分；
步骤3.1.3：计算左脸与右脸面积的比值FaceFrontScore，即为所述人脸图像的角度特征值。
进一步的，步骤3中所述的对人脸图像的清晰度进行评价，包括以下步骤：
步骤3.2.1：通过关键点定位获取人脸灰度图像；
步骤3.2.2：采用高斯滤波、拉普拉斯变换获取人脸各部位边缘轮廓图像；
步骤3.2.3：计算所述的边缘轮廓图像的标准差并进行归一化，得到所述人脸图像的清晰度的特征值FaceClearScore。
进一步的，步骤3中所述的对人脸图像的光照对称度进行评价，包括以下步骤：
步骤3.3.1：根据步骤3.1.2和步骤3.2.1的获取所述人脸图像的左右脸灰度图像；
步骤3.3.2：分别计算左脸和右脸灰度值在25～230之间的像素所占比例
LeftFaceBrightScore和RightFaceBrightScore；
步骤3.3.3：计算LeftFaceBrightScore和RightFaceBrightScore中较小值与较大值之间的比值FaceBrightSymmetricScore，即为所述人脸图像的光照对称度特征值。
步骤3中所述的对人脸图像的眼睛状态进行评价，包括以下步骤：
步骤3.4.1：通过关键点定位获取人脸眼睛轮廓；
步骤3.4.2：求取左眼轮廓的最小外接矩形，获取该外接矩形的长和宽，计算长、宽中较
小值的三倍值与长、宽中的较大值的比值FaceLefteyeOpenScore；
步骤3.4.3：求取右眼轮廓的最小外接矩形，获取该外接矩形的长和宽，计算长、宽中较
小值的三倍值与长、宽中的较大值的比值FaceRighteyeOpenScore；
步骤3.4.4：计算FaceLefteyeOpenScore与FaceRighteyeOpenScore的乘积FaceeyeOpenScore，即为所述人脸图像的眼睛状态特征值。
进一步的，步骤3中所述的对人脸图像的嘴巴状态进行评价，包括以下步骤：
步骤3.5.1：通过关键点定位人脸嘴巴内唇部轮廓，获取轮廓的外接矩形；
步骤3.5.2：计算所述外接矩形的两对角线夹角的余弦值FaceMouthcloseScore，即为所述人脸图像的嘴巴状态特征值。
作为一种技术方案，步骤4中所述的各个特征值所占的权重由人工赋予。
综上所述，本发明的有益效果在于，可有效地筛选出质量较高的人脸图像，当图像质量高于一定门限时才会被送到识别系统中进行识别，预防了由于输入图像质量过低引起的系统错误，同时节省了系统识别匹配时间。
【附图说明】
图1本发明方法的流程图
图2人脸关键部位定位图
图3人脸图像左右脸掩膜(二值)图
图4人脸图像脸部灰度图
图5人脸图像左右脸灰度图
图6人脸图像眼睛嘴巴轮廓图
【具体实施方式】
实施例1
如图1所示，基于人脸几何特征的人脸图像质量评价方法，包含如下步骤：
(1)通过深度学习的级联回归网络对标记好的人脸图像进行训练，模型训练完成后，对未标记图像中的人脸进行检测，一旦检测到人脸就会返回人脸各部位关键点，保存在数组 MXFACEINFO[68]中，其中人脸轮廓、眉毛、眼睛、鼻子、嘴巴部位关键点标记如图2所示。
(2)通过关键点定位获取人脸轮廓掩膜(二值)图像，并通过鼻子关键点拟合成直线，所述直线宽度为1个像素，将人脸图像划分为左脸和右脸两部分，得到人脸图像左右脸轮廓掩膜(二值)图，如图3所示，通过统计左右脸白色像素点的个数作为左右脸的面积，并保存在Face_area[2]数组中，通过计算数组中较小值与较大值的比值FaceFrontScore获得人脸图像的角度特征值，所述角度特征值的范围为0～1，分值越大说明人脸越正。
(3)通过关键点定位获取人脸灰度图像，如图4所示，采用高斯滤波，所述高斯滤波核为3x3、而后进行拉普拉斯变换，所述拉普拉斯滤波核为3x3，获取人脸各部位边缘轮廓图像，通过求取边缘轮廓图像的标准差进行归一化FaceClearScore作为人脸图像的清晰度的特征值，其范围为0～1，分值越大说明人脸越清晰；
(4)在步骤(2)(3)的基础上获取人脸左右脸灰度图，如图5所示，对于灰度图像而言，像素灰度值范围为0～255，统计左脸各灰度值中像素的个数，通过步骤(2)获取了人脸左脸的面积，计算灰度值在25～230之间的像素个数与左脸面积的比值LeftFaceBrightScore，相应的计算右脸灰度值在25～230之间的像素个数与右脸面积的比值RightFaceBrightScore，通过计算LeftFaceBrightScore和RightFaceBrightScore中较小值与较大值的比值 FaceBrightSymmetricScore获得人脸图像的光照对称度特征值，其范围为0～1，分值越大说明人脸关照越对称。
(5)通过关键点定位获取人脸眼睛轮廓，求取左眼轮廓的最小外接矩形，如图6所示，获取该外接矩形的长和宽，计算左眼长宽中的较小值的三倍值与长宽中的较大值的比值 FaceLefteyeOpenScore，同理计算右眼FaceRighteyeOpenScore，求取FaceLefteyeOpenScore与FaceRighteyeOpenScore的乘积FaceeyeOpenScore作为人脸图像的眼睛状态特征值，其范围为 0～1，分值越大说明眼睛睁开的概率越高；
(6)通过关键点定位人脸嘴巴轮廓，并获取嘴巴内唇轮廓的外接矩形，如图5所示，求取该矩形两对角线锐角夹角的余弦值FaceMouthcloseScore作为人脸图像的嘴巴状态特征值，其范围为0～1，分数越大说明闭嘴的概率越高。
(7)根据步骤(2)～(6)所获得的特征值，对人脸图像的角度特征值的权重设置为25，对清晰度特征值的权重设置为15，对光照对称度特征值的权重设置为20，将眼睛状态特征值的权重设置为20，对嘴巴状态特征值的权重设置为20，计算人脸图像的评价总分，公式如下：
Face_TScore＝25*FaceFrontScore+15*FaceClearScore+20*FaceBrightSymmetricScore+20*F aceeyeOpenScore+20*FaceMouthcloseScore。
Claims (7)
1.一种基于人脸几何特征的人脸图像质量评价方法，其特征在于，包括以下步骤：
步骤1：获取人脸图像；
步骤2：通过深度学习的级联回归网络在所述的人脸图像中定位各关键点的位置信息，所述的关键点包括人脸轮廓、眉毛、眼睛、鼻子和嘴巴；
步骤3：根据所述的关键点的位置信息，分别对人脸图像的角度、清晰度、光照对称度、眼睛状态、嘴巴状态进行评价，得到各自的特征值；
步骤4：通过对步骤3所获得的各个特征值所占的权重进行加权计算，最后得到所述的人脸图像的评价总分。
2.如权利要求1所述的一种基于人脸几何特征的人脸图像质量评价方法，其特征在于，步骤3中所述的对人脸图像的角度进行评价，包括以下步骤：
步骤3.1.1：通过关键点定位获取人脸轮廓掩膜(二值)图像；
步骤3.1.2：通过鼻子关键点拟合成直线将人脸图像划分为左脸和右脸两部分；
步骤3.1.3：计算左脸与右脸面积的比值FaceFrontScore，即为所述人脸图像的角度特征值。
3.如权利要求1所述的一种基于人脸几何特征的人脸图像质量评价方法，其特征在于，步骤3中所述的对人脸图像的清晰度进行评价，包括以下步骤：
步骤3.2.1：通过关键点定位获取人脸灰度图像；
步骤3.2.2：采用高斯滤波、拉普拉斯变换获取人脸各部位边缘轮廓图像；
步骤3.2.3：计算所述的边缘轮廓图像的标准差并进行归一化，得到所述人脸图像的清晰度的特征值FaceClearScore。
4.如权利要求1～3所述的一种基于人脸几何特征的人脸图像质量评价方法，其特征在于，步骤3中所述的对人脸图像的光照对称度进行评价，包括以下步骤：
步骤3.3.1：根据步骤3.1.2和步骤3.2.1的获取所述人脸图像的左右脸灰度图像；
步骤3.3.2：分别计算左脸和右脸灰度值在25～230之间的像素所占比例LeftFaceBrightScore和RightFaceBrightScore；
步骤3.3.3：计算LeftFaceBrightScore和RightFaceBrightScore中较小值与较大值之间的比值FaceBrightSymmetricScore，即为所述人脸图像的光照对称度特征值。
5.如权利要求1所述的一种基于人脸几何特征的人脸图像质量评价方法，其特征在于，步骤3中所述的对人脸图像的眼睛状态进行评价，包括以下步骤：
步骤3.4.1：通过关键点定位获取人脸眼睛轮廓；
步骤3.4.2：求取左眼轮廓的最小外接矩形，获取该外接矩形的长和宽，计算长、宽中较小值的三倍值与长、宽中的较大值的比值FaceLefteyeOpenScore；
步骤3.4.3：求取右眼轮廓的最小外接矩形，获取该外接矩形的长和宽，计算长、宽中较小值的三倍值与长、宽中的较大值的比值FaceRighteyeOpenScore；
步骤3.4.4：计算FaceLefteyeOpenScore与FaceRighteyeOpenScore的乘积FaceeyeOpenScore，即为所述人脸图像的眼睛状态特征值。
6.如权利要求1所述的一种基于人脸几何特征的人脸图像质量评价方法，其特征在于，步骤3中所述的对人脸图像的嘴巴状态进行评价，包括以下步骤：
步骤3.5.1：通过关键点定位人脸嘴巴内唇部轮廓，获取轮廓的外接矩形；
步骤3.5.2：计算所述外接矩形的两对角线夹角的余弦值FaceMouthcloseScore，即为所述人脸图像的嘴巴状态特征值。
7.如权利要求1所述的一种基于人脸几何特征的人脸图像质量评价方法，其特征在于，步骤4中所述的各个特征值所占的权重由人工赋予。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810264809.3A CN110321753A (zh) | 2018-03-28 | 2018-03-28 | 一种基于人脸几何特征的人脸图像质量评价方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810264809.3A CN110321753A (zh) | 2018-03-28 | 2018-03-28 | 一种基于人脸几何特征的人脸图像质量评价方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110321753A true CN110321753A (zh) | 2019-10-11 |
Family
ID=68109965
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810264809.3A Pending CN110321753A (zh) | 2018-03-28 | 2018-03-28 | 一种基于人脸几何特征的人脸图像质量评价方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110321753A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110807745A (zh) * | 2019-10-25 | 2020-02-18 | 北京小米智能科技有限公司 | 图像处理方法及装置、电子设备 |
| CN111161251A (zh) * | 2019-12-31 | 2020-05-15 | 普联技术有限公司 | 一种人脸图像清晰度的计算方法和装置 |
| CN111310150A (zh) * | 2020-01-19 | 2020-06-19 | 湖北工程学院新技术学院 | 一种基于安全计算机的安全认证系统 |
| CN112669197A (zh) * | 2019-10-16 | 2021-04-16 | 顺丰科技有限公司 | 图像处理方法、装置、移动终端及存储介质 |
| CN114862819A (zh) * | 2022-05-24 | 2022-08-05 | 深圳大学 | 基于非对称网络的图像质量评价方法、装置、设备及介质 |
| CN114944004A (zh) * | 2022-07-25 | 2022-08-26 | 海易科技(北京)有限公司 | 人脸图像存储方法、装置、设备、计算机介质和程序产品 |
| WO2023197212A1 (zh) * | 2022-04-13 | 2023-10-19 | 深圳先进技术研究院 | 自闭症的评估方法、评估装置、电子设备以及存储介质 |
| CN118675259A (zh) * | 2024-08-19 | 2024-09-20 | 正元智慧集团股份有限公司 | 操作权限确定方法、装置及门禁系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101032405A (zh) * | 2007-03-21 | 2007-09-12 | 汤一平 | 基于全方位计算机视觉的安全驾驶辅助装置 |
| CN202568277U (zh) * | 2012-05-22 | 2012-12-05 | 沈阳工业大学 | 疲劳检测装置 |
| CN104240446A (zh) * | 2014-09-26 | 2014-12-24 | 长春工业大学 | 基于人脸识别的疲劳驾驶预警系统 |
| CN104834898A (zh) * | 2015-04-09 | 2015-08-12 | 华南理工大学 | 一种人物摄影图像的质量分类方法 |
| CN105224921A (zh) * | 2015-09-17 | 2016-01-06 | 桂林远望智能通信科技有限公司 | 一种人脸图像择优系统和处理方法 |
| CN106778925A (zh) * | 2016-11-03 | 2017-05-31 | 五邑大学 | 一种人脸识别的姿态超完备人脸自动注册方法及其装置 |
-
2018
- 2018-03-28 CN CN201810264809.3A patent/CN110321753A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101032405A (zh) * | 2007-03-21 | 2007-09-12 | 汤一平 | 基于全方位计算机视觉的安全驾驶辅助装置 |
| CN202568277U (zh) * | 2012-05-22 | 2012-12-05 | 沈阳工业大学 | 疲劳检测装置 |
| CN104240446A (zh) * | 2014-09-26 | 2014-12-24 | 长春工业大学 | 基于人脸识别的疲劳驾驶预警系统 |
| CN104834898A (zh) * | 2015-04-09 | 2015-08-12 | 华南理工大学 | 一种人物摄影图像的质量分类方法 |
| CN105224921A (zh) * | 2015-09-17 | 2016-01-06 | 桂林远望智能通信科技有限公司 | 一种人脸图像择优系统和处理方法 |
| CN106778925A (zh) * | 2016-11-03 | 2017-05-31 | 五邑大学 | 一种人脸识别的姿态超完备人脸自动注册方法及其装置 |
Non-Patent Citations (2)
| Title |
|---|
| A.DANTCHEVA ET AL.: "Female facial aesthetics based on soft biometrics and photo-quality", 《PROCEEDINGS OF ICME》 * |
| 高修峰等: "人脸图像质量评估标准", 《小型微型计算机系统》 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112669197A (zh) * | 2019-10-16 | 2021-04-16 | 顺丰科技有限公司 | 图像处理方法、装置、移动终端及存储介质 |
| CN112669197B (zh) * | 2019-10-16 | 2024-11-29 | 顺丰科技有限公司 | 图像处理方法、装置、移动终端及存储介质 |
| CN110807745A (zh) * | 2019-10-25 | 2020-02-18 | 北京小米智能科技有限公司 | 图像处理方法及装置、电子设备 |
| CN111161251A (zh) * | 2019-12-31 | 2020-05-15 | 普联技术有限公司 | 一种人脸图像清晰度的计算方法和装置 |
| CN111161251B (zh) * | 2019-12-31 | 2023-11-24 | 普联技术有限公司 | 一种人脸图像清晰度的计算方法和装置 |
| CN111310150A (zh) * | 2020-01-19 | 2020-06-19 | 湖北工程学院新技术学院 | 一种基于安全计算机的安全认证系统 |
| WO2023197212A1 (zh) * | 2022-04-13 | 2023-10-19 | 深圳先进技术研究院 | 自闭症的评估方法、评估装置、电子设备以及存储介质 |
| CN114862819A (zh) * | 2022-05-24 | 2022-08-05 | 深圳大学 | 基于非对称网络的图像质量评价方法、装置、设备及介质 |
| CN114862819B (zh) * | 2022-05-24 | 2023-02-03 | 深圳大学 | 基于非对称网络的图像质量评价方法、装置、设备及介质 |
| CN114944004A (zh) * | 2022-07-25 | 2022-08-26 | 海易科技(北京)有限公司 | 人脸图像存储方法、装置、设备、计算机介质和程序产品 |
| CN118675259A (zh) * | 2024-08-19 | 2024-09-20 | 正元智慧集团股份有限公司 | 操作权限确定方法、装置及门禁系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110321753A (zh) | 一种基于人脸几何特征的人脸图像质量评价方法 | |
| US11775056B2 (en) | System and method using machine learning for iris tracking, measurement, and simulation | |
| CN100452081C (zh) | 一种人眼定位及人眼状态识别方法 | |
| US6151403A (en) | Method for automatic detection of human eyes in digital images | |
| CN101142584B (zh) | 面部特征检测的方法 | |
| CN103942539B (zh) | 一种人头部椭圆精确高效提取及遮蔽人脸检测方法 | |
| CN110634116B (zh) | 一种面部图像评分方法及摄像机 | |
| CN108446617A (zh) | 抗侧脸干扰的人脸快速检测方法 | |
| Ding et al. | Precise detailed detection of faces and facial features | |
| US20110142355A1 (en) | Apparatus, method, and program for discriminating subjects | |
| US20070189584A1 (en) | Specific expression face detection method, and imaging control method, apparatus and program | |
| CN107194317B (zh) | 一种基于网格聚类分析的暴力行为检测方法 | |
| CN111241927A (zh) | 级联式人脸图像优选方法、系统、设备及可读存储介质 | |
| CN109741369A (zh) | 一种用于机器人跟踪目标行人的方法及系统 | |
| CN101930543A (zh) | 一种自拍视频中眼睛图像的调正方法 | |
| CN111832464B (zh) | 一种基于近红外摄像头的活体检测方法及装置 | |
| CN103955949A (zh) | 基于Mean-shift算法的运动目标检测方法 | |
| CN108446642A (zh) | 一种快速人脸识别系统 | |
| US20210390667A1 (en) | Model generation | |
| CN117623031A (zh) | 一种电梯无感控制系统及方法 | |
| CN113239805A (zh) | 基于mtcnn的口罩佩戴识别方法 | |
| CN111709305B (zh) | 一种基于局部图像块的人脸年龄识别方法 | |
| CN117197064A (zh) | 一种无接触眼红程度自动分析方法 | |
| Devadethan et al. | Face detection and facial feature extraction based on a fusion of knowledge based method and morphological image processing | |
| CN108334870A (zh) | Ar设备数据服务器状态的远程监控系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20191011 |