CN110598521A - 一种基于人脸图像智能分析的行为与生理状态识别方法 - Google Patents
一种基于人脸图像智能分析的行为与生理状态识别方法 Download PDFInfo
- Publication number
- CN110598521A CN110598521A CN201910638461.4A CN201910638461A CN110598521A CN 110598521 A CN110598521 A CN 110598521A CN 201910638461 A CN201910638461 A CN 201910638461A CN 110598521 A CN110598521 A CN 110598521A
- Authority
- CN
- China
- Prior art keywords
- area
- face
- image
- face image
- behavior
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于人脸图像智能分析的行为与生理状态识别方法，包括以下步骤：（1）建立人脸检测与跟踪模型；（2）获取当前人类目标的人脸图像，并对该人脸图像进行预处理；（3）在人脸图像中精确定位双眼、口部、耳部区域位置；（4）利用人脸分割、肤色检测和图像边缘提取方法对人脸图像进行处理；（5）判断当前人类目标是否困乏以及是否存在吸烟和打电话行为。本发明是一种高效的、可以满足在低功耗嵌入式设备场景下，对当前人类目标生理状态及行为进行检测的方法，检测生理类型包括是否疲劳，检测的行为包括是否在吸烟及打电话。本发明可应用于智能辅助驾驶、军/警模拟训练人员行为分析、军/警单兵智能穿戴设备等行业应用领域。
Description
技术领域
本发明涉及图像识别与深度学习领域，尤其是一种基于人脸图像智能分析的情绪与生理状态识别方法，本发明可应用于各类面向人员表情识别的应用场景。
背景技术
根据调查，驾驶员的行为与生理状态与其注意力呈正相关，如在驾驶过程中的打电话行为，会严重分散驾驶员的注意力，与正常情况相比发生事故的概率至少提高四倍。因此，识别驾驶员的行为与生理状态，对于安全驾驶至关重要，可解决车辆监控部门和用户关注问题，将具有非常重要的应用价值。
基于HOG(Histogram of Oriented Grandients，即方向梯度的直方图)的人脸检测器在X86体系的处理器上可以获得不错的处理速度，但在内存跟计算资源受限的平台上，不能满足产品化的要求，尤其需要对多种生理状态进行处理的场景下，更难满足性能指标。
发明内容
发明目的：本发明的目的是提供本一种高效的，可以满足在低功耗嵌入式设备场景下，对多种人类生理状态及行为进行检测的方法，检测的生理状态包括是否疲劳，检测的行为包括是否在吸烟，是否在打电话。
为了实现上述目的，本发明采用了如下的技术方案：1、一种基于人脸图像智能分析的行为与生理状态识别方法，其特征在于，该方法包括以下步骤：
(1)建立人脸检测与跟踪模型；
(2)获取当前人类目标的人脸图像，并对该人脸图像进行预处理；
(3)在人脸图像中精确定位双眼、口部、耳部区域位置；
(4)利用人脸分割、肤色检测和图像边缘提取方法对人脸图像进行处理；
(5)判断当前人类目标是否困乏以及是否存在吸烟和打电话行为。
步骤(1)中，通过DLIB库建立人脸检测与跟踪模型。
步骤(2)中，通过摄像头获取当前人类目标的人脸图像，预处理包括对人脸图像进行减少背景噪声和去除光照影响处理，优化图像质量。
步骤(3)中，所述的在人脸图像中精确定位双眼、口部、耳部区域位置，其流程如下：
(31)根据步骤(1)得到的人脸检测与跟踪模型，在人脸图像中标定脸部68个特征点，通过这些面部特征点进而得到口部、双眼和鼻部的区域位置信息，其中鼻部的区域位置信息(Px,Py)即人脸中心位置坐标，
(32)根据人脸比例，对耳部区域位置进行定位，具体采用下述公式实现：
其中(Px,Py)为当前人类目标的人脸中心位置坐标，Fw和Fh分别为当前人类目标的脸部区域的宽度和高度；(ERx,ERy)为当前人类目标的右耳位置区域的参考坐标，ERh为右耳区域的高度，ERw右耳区域的宽度；(ELx,ELy)为当前人类目标的左耳位置区域的参考坐标，ELh为左耳区域的高度，ELw左耳区域的宽度。
步骤(4)中，所述的利用人脸分割、肤色检测和图像边缘提取方法对人脸图像进行处理，具体步骤如下：
(41)利用图像滤波方法对人脸图像进行模糊处理；
(42)利用图像增强技术对人脸图像进行加强处理；
(43)利用步骤(3)中口部区域位置信息，得到口部的局部灰度图像，去除其中面积较小的连通区域；
(44)利用Canny边缘检测算子对步骤(43)得到的图像边缘进行噪声消除、梯度幅度及方向计算，得到人脸图像的边缘线条；
(45)利用YCbCr颜色空间的高斯肤色模型来分割肤色区域，计算耳部区域的肤色像素点所占面积与整个耳部区域的面积比值，具体可通过以下公式进行计算：
其中，β为耳部区域的肤色像素点所占面积与整个耳部区域的面积比值，εi表示耳部区域中含有肤色像素点的位置，m为耳部区域中含有肤色像素点位置的个数，ε表示耳部区域的总面积。
步骤(5)中，所述的判断当前人类目标是否困乏以及是否存在吸烟和打电话行为，其步骤如下：
(51)根据步骤(3)得到的口部及双眼区域位置信息，如果在指定检测时间内，双眼区域高度和宽度比持续小于双眼区域高宽比指定阈值，并且口部区域高度和宽度比持续大于口部区域高宽比指定阈值，则判断当前人类目标处于疲劳状态；
(52)根据步骤(44)得到的人脸图像的边缘线条，来判断当前人类目标是否有吸烟行为，具体采用以下公式进行：
若L(i)＝1表示当前目标存在吸烟行为，若L(i)＝0表示当前目标无吸烟行为，其中θ(i)为边缘线条的倾斜角度，为边缘线条倾斜角度指定阈值；
(53)根据步骤(45)得到的耳部区域的肤色像素点所占面积与整个耳部区域的面积比值，如果该面积比值大于耳部区域肤色像素点占比指定阈值，则判断当前人类目标有打电话行为。
为减少步骤(5)的误判概率，在步骤(2)中，通过摄像头连续获取当前人类目标的多帧动态人脸图像，通过多帧动态人脸图像的处理结果的平均值，来进行决策。
有益效果：本发明提出是一种高效的、可以满足在低功耗嵌入式设备场景下，对当前人类目标生理状态及行为进行检测的方法，检测生理类型包括是否疲劳，检测的行为包括是否在吸烟及打电话；本发明可应用于智能辅助驾驶、军/警模拟训练人员行为分析、军/警单兵智能穿戴设备等行业应用领域。
附图说明
图1是本发明的基于人脸图像智能分析的行为与生理状态识别方法的流程图；
图2是判断当前人类目标是否困乏的流程图。
具体实施方式：
下面结合附图对本发明做更进一步的解释。
如图1所示，本发明的一种基于人脸图像智能分析的行为与生理状态识别方法，该方法包括以下步骤：
(1)通过DLIB库建立人脸检测与跟踪模型；
(2)通过摄像头获取当前人类目标的人脸图像，并对该人脸图像进行预处理，预处理包括对人脸图像进行减少背景噪声和去除光照影响处理，优化图像质量；
(3)在人脸图像中精确定位双眼、口部、耳部区域位置，其流程如下：
(31)根据步骤(1)中的人脸检测与跟踪模型，在人脸图像中标定脸部68个特征点，通过这些面部特征点进而得到口部、双眼和鼻部的区域位置信息，其中鼻部的区域位置信息(Px,Py)即人脸中心位置坐标；
(32)根据步骤(1)中的人脸检测与跟踪模型，得到鼻部的区域位置信息；(33) 根据人脸比例，对耳部区域位置进行定位，具体采用下述公式实现：
其中(Px,Py)为当前人类目标的人脸中心位置坐标，Fw和Fh分别为当前人类目标的脸部区域的宽度和高度；(ERx,ERy)为当前人类目标的右耳位置区域的参考坐标，ERh为右耳区域的高度，ERw右耳区域的宽度；(ELx,ELy)为当前人类目标的左耳位置区域的参考坐标，ELh为左耳区域的高度，ELw左耳区域的宽度；
(4)利用人脸分割、肤色检测和图像边缘提取方法对人脸图像进行处理，具体步骤如下：
(41)利用图像滤波方法对人脸图像进行模糊处理；
(42)利用图像增强技术对人脸图像进行加强处理；
(43)利用步骤(3)中口部区域位置信息，去除其中的连通区域；
(44)利用图像Hough变换和Canny边缘检测算子，得到人脸图像的边缘线条；
(45)利用YCbCr颜色空间的高斯肤色模型来分割肤色区域，计算耳部区域的肤色像素点所占面积与整个耳部区域的面积比值，具体可通过以下公式进行计算：
其中，β为耳部区域的肤色像素点所占面积与整个耳部区域的面积比值，εi表示耳部区域中含有肤色像素点的位置，m为耳部区域中含有肤色像素点位置的个数，ε表示耳部区域的总面积；
(5)判断当前人类目标是否困乏以及是否存在吸烟和打电话行为，其步骤如下：
(51)根据步骤(3)得到的口部及双眼区域位置信息，如图2所示，如果在指定检测时间内，双眼区域高度和宽度比(双眼闭合率)持续小于双眼区域高宽比指定阈值，并且口部区域高度和宽度比(嘴部张开率)持续大于口部区域高宽比指定阈值，则判断当前人类目标处于疲劳状态；
(52)根据步骤(44)得到的人脸图像的边缘线条，来判断当前人类目标是否有吸烟行为，具体采用以下公式进行：
若L(i)＝1表示当前目标存在吸烟行为，若L(i)＝0表示当前目标无吸烟行为，其中θ(i)为边缘线条的倾斜角度，为边缘线条倾斜角度指定阈值；
(53)根据步骤(45)得到的耳部区域的肤色像素点所占面积与整个耳部区域的面积比值，如果该面积比值大于耳部区域肤色像素点占比指定阈值，则判断当前人类目标处于疲劳状态，则判断当前人类目标有打电话行为。
为减少步骤(5)的误判概率，在步骤(2)中，通过摄像头连续获取当前人类目标的多帧动态人脸图像，通过多帧动态人脸图像的处理结果的平均值，来进行决策。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (7)
1.一种基于人脸图像智能分析的行为与生理状态识别方法，其特征在于，该方法包括以下步骤：
(1)建立人脸检测与跟踪模型；
(2)获取当前人类目标的人脸图像，并对该人脸图像进行预处理；
(3)在人脸图像中精确定位双眼、口部、耳部区域位置；
(4)利用人脸分割、肤色检测和图像边缘提取方法对人脸图像进行处理；
(5)判断当前人类目标是否困乏以及是否存在吸烟和打电话行为。
2.根据权利要求1所述的一种基于人脸图像智能分析的行为与生理状态识别方法，其特征在于：步骤(1)中，通过DLIB库建立人脸检测与跟踪模型。
3.根据权利要求1所述的一种基于人脸图像智能分析的行为与生理状态识别方法，其特征在于：步骤(2)中，通过摄像头获取当前人类目标的人脸图像，预处理包括对人脸图像进行减少背景噪声和去除光照影响处理，优化图像质量。
4.根据权利要求1所述的一种基于人脸图像智能分析的行为与生理状态识别方法，其特征在于：步骤(3)中，所述的在人脸图像中精确定位双眼、口部、耳部区域位置，其流程如下：
(31)根据步骤(1)得到的人脸检测与跟踪模型，在人脸图像中标定脸部68个特征点，通过这些面部特征点进而得到口部、双眼和鼻部的区域位置信息，其中鼻部的区域位置信息(Px,Py)即人脸中心位置坐标，
(32)根据人脸比例，对耳部区域位置进行定位，具体采用下述公式实现：
其中(Px,Py)为当前人类目标的人脸中心位置坐标，Fw和Fh分别为当前人类目标的脸部区域的宽度和高度；(ERx,ERy)为当前人类目标的右耳位置区域的参考坐标，ERh为右耳区域的高度，ERw右耳区域的宽度；(ELx,ELy)为当前人类目标的左耳位置区域的参考坐标，ELh为左耳区域的高度，ELw左耳区域的宽度。
5.根据权利要求1所述的一种基于人脸图像智能分析的行为与生理状态识别方法，其特征在于：步骤(4)中，所述的利用人脸分割、肤色检测和图像边缘提取方法对人脸图像进行处理，具体步骤如下：
(41)利用图像滤波方法对人脸图像进行模糊处理；
(42)利用图像增强技术对人脸图像进行加强处理；
(43)利用步骤(3)中口部区域位置信息，得到口部的局部灰度图像，去除其中面积较小的连通区域；
(44)利用Canny边缘检测算子对步骤(43)得到的图像边缘进行噪声消除、梯度幅度及方向计算，得到人脸图像的边缘线条；
(45)利用YCbCr颜色空间的高斯肤色模型来分割肤色区域，计算耳部区域的肤色像素点所占面积与整个耳部区域的面积比值，具体可通过以下公式进行计算：
其中，β为耳部区域的肤色像素点所占面积与整个耳部区域的面积比值，εi表示耳部区域中含有肤色像素点的位置，m为耳部区域中含有肤色像素点位置的个数，ε表示耳部区域的总面积。
6.根据权利要求5所述的一种基于人脸图像智能分析的行为与生理状态识别方法，其特征在于：步骤(5)中，所述的判断当前人类目标是否困乏以及是否存在吸烟和打电话行为，其步骤如下：
(51)根据步骤(3)得到的口部及双眼区域位置信息，如果在指定检测时间内，双眼区域高度和宽度比持续小于双眼区域高宽比指定阈值，并且口部区域高度和宽度比持续大于口部区域高宽比指定阈值，则判断当前人类目标处于疲劳状态；
(52)根据步骤(44)得到的人脸图像的边缘线条，来判断当前人类目标是否有吸烟行为，具体采用以下公式进行：
若L(i)＝1表示当前目标存在吸烟行为，若L(i)＝0表示当前目标无吸烟行为，其中θ(i)为边缘线条的倾斜角度，为边缘线条倾斜角度指定阈值；
(53)根据步骤(45)得到的耳部区域的肤色像素点所占面积与整个耳部区域的面积比值，如果该面积比值大于耳部区域肤色像素点占比指定阈值，则判断当前人类目标有打电话行为。
7.根据权利要求1所述的一种基于人脸图像智能分析的行为与生理状态识别方法，其特征在于：为减少步骤(5)的误判概率，在步骤(2)中，通过摄像头连续获取当前人类目标的多帧动态人脸图像，通过多帧动态人脸图像的处理结果的平均值，来进行决策。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910638461.4A CN110598521A (zh) | 2019-07-16 | 2019-07-16 | 一种基于人脸图像智能分析的行为与生理状态识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910638461.4A CN110598521A (zh) | 2019-07-16 | 2019-07-16 | 一种基于人脸图像智能分析的行为与生理状态识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110598521A true CN110598521A (zh) | 2019-12-20 |
Family
ID=68852857
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910638461.4A Pending CN110598521A (zh) | 2019-07-16 | 2019-07-16 | 一种基于人脸图像智能分析的行为与生理状态识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110598521A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111400687A (zh) * | 2020-03-09 | 2020-07-10 | 京东数字科技控股有限公司 | 鉴权方法、装置和机器人 |
| CN112071006A (zh) * | 2020-09-11 | 2020-12-11 | 湖北德强电子科技有限公司 | 一种高效低分辨率图像区域入侵识别算法与装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101032405A (zh) * | 2007-03-21 | 2007-09-12 | 汤一平 | 基于全方位计算机视觉的安全驾驶辅助装置 |
| CN103279750A (zh) * | 2013-06-14 | 2013-09-04 | 清华大学 | 基于肤色范围的驾驶员手持电话行为检测方法 |
| CN108509902A (zh) * | 2018-03-30 | 2018-09-07 | 湖北文理学院 | 一种驾驶员行车过程中手持电话通话行为检测方法 |
| CN109155106A (zh) * | 2016-06-02 | 2019-01-04 | 欧姆龙株式会社 | 状态推定装置、状态推定方法和状态推定程序 |
-
2019
- 2019-07-16 CN CN201910638461.4A patent/CN110598521A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101032405A (zh) * | 2007-03-21 | 2007-09-12 | 汤一平 | 基于全方位计算机视觉的安全驾驶辅助装置 |
| CN103279750A (zh) * | 2013-06-14 | 2013-09-04 | 清华大学 | 基于肤色范围的驾驶员手持电话行为检测方法 |
| CN109155106A (zh) * | 2016-06-02 | 2019-01-04 | 欧姆龙株式会社 | 状态推定装置、状态推定方法和状态推定程序 |
| CN108509902A (zh) * | 2018-03-30 | 2018-09-07 | 湖北文理学院 | 一种驾驶员行车过程中手持电话通话行为检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 魏民国: "基于机器视觉的驾驶人使用手持电话行为检测方法", 中国优秀博硕士学位论文全文数据库（硕士）工程科技Ⅱ辑, pages 2 - 51 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111400687A (zh) * | 2020-03-09 | 2020-07-10 | 京东数字科技控股有限公司 | 鉴权方法、装置和机器人 |
| CN111400687B (zh) * | 2020-03-09 | 2024-02-09 | 京东科技控股股份有限公司 | 鉴权方法、装置和机器人 |
| CN112071006A (zh) * | 2020-09-11 | 2020-12-11 | 湖北德强电子科技有限公司 | 一种高效低分辨率图像区域入侵识别算法与装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110414333B (zh) | 一种图像边界的检测方法及装置 | |
| Fuhl et al. | Eyes wide open? eyelid location and eye aperture estimation for pervasive eye tracking in real-world scenarios | |
| CN102289660B (zh) | 一种基于手部姿态跟踪的违规驾驶行为检测方法 | |
| JP4216668B2 (ja) | 映像視覚情報を結合してリアルタイムで複数の顔を検出して追跡する顔検出・追跡システム及びその方法 | |
| CN109918971B (zh) | 监控视频中人数检测方法及装置 | |
| CN100373397C (zh) | 一种虹膜图像预处理方法 | |
| CN101344922B (zh) | 一种人脸检测方法及其装置 | |
| CN106599804B (zh) | 基于多特征模型的视网膜中央凹检测方法 | |
| JP2017531883A (ja) | 画像の主要被写体を抽出する方法とシステム | |
| CN106682601A (zh) | 一种基于多维信息特征融合的驾驶员违规通话检测方法 | |
| CN109460704B (zh) | 一种基于深度学习的疲劳检测方法、系统和计算机设备 | |
| CN103226701B (zh) | 一种视频语义事件建模方法 | |
| CN104298996A (zh) | 一种应用于仿生机器鱼的水下主动视觉跟踪方法 | |
| CN108108651B (zh) | 基于视频人脸分析的驾驶员非专心驾驶检测方法及系统 | |
| CN112464731B (zh) | 一种基于图像处理的交通标志检测识别方法 | |
| CN108564034A (zh) | 一种驾驶员行车中操作手机行为的检测方法 | |
| CN111553214A (zh) | 一种驾驶员吸烟行为检测方法及系统 | |
| CN107895157B (zh) | 一种低分辨率图像虹膜中心精确定位的方法 | |
| CN106881716A (zh) | 基于3d摄像头机器人的人体跟随方法及系统 | |
| CN110363114A (zh) | 一种人员工作状态检测方法、装置及终端设备 | |
| CN106022268A (zh) | 一种限速标识的识别方法和装置 | |
| CN108446642A (zh) | 一种快速人脸识别系统 | |
| CN110598521A (zh) | 一种基于人脸图像智能分析的行为与生理状态识别方法 | |
| CN110119720B (zh) | 一种实时眨眼检测与人眼瞳孔中心定位方法 | |
| CN112001336B (zh) | 行人越界报警方法、装置、设备及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Zhang Yingxian Inventor after: Zhang Jing Inventor after: Wang Hangxian Inventor after: Zhu Lingli Inventor before: Zhang Yingxian Inventor before: Zhang Jing Inventor before: Zeng Weijun Inventor before: Wang Hangxian Inventor before: Wang Yonggang Inventor before: Wang Heng Inventor before: Cheng Qingming Inventor before: Zhu Lingli |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240402 Address after: 210000, Building 01, Building A, 4th Floor, Block B, Nanjing International Service Outsourcing Building, No. 301 Hanzhongmen Street, Gulou District, Nanjing City, Jiangsu Province Applicant after: Nanjing Keyixing Information Technology Co.,Ltd. Country or region after: China Address before: Room 504, Building A, Dongshan International Enterprise Headquarters Park, No. 33 Dongqi Road, Jiangning District, Nanjing City, Jiangsu Province, 210000 Applicant before: NANJING FEIAITE INTELLIGENT TECHNOLOGY Co.,Ltd. Country or region before: China |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191220 |