CN103366510B - 一种手机及基于其摄像头的安全行车方法 - Google Patents
一种手机及基于其摄像头的安全行车方法 Download PDFInfo
- Publication number
- CN103366510B CN103366510B CN201310275997.7A CN201310275997A CN103366510B CN 103366510 B CN103366510 B CN 103366510B CN 201310275997 A CN201310275997 A CN 201310275997A CN 103366510 B CN103366510 B CN 103366510B
- Authority
- CN
- China
- Prior art keywords
- iris
- collection capacity
- presented
- mobile phone
- zero
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 230000003287 optical effect Effects 0.000 claims description 11
- 230000007613 environmental effect Effects 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 210000003786 sclera Anatomy 0.000 description 2
- 230000002618 waking effect Effects 0.000 description 2
- 206010057315 Daydreaming Diseases 0.000 description 1
- 241000790351 Iris latifolia Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 210000004907 gland Anatomy 0.000 description 1
- 210000000554 iris Anatomy 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
Landscapes
- Telephone Function (AREA)
- Studio Devices (AREA)
Abstract
本发明提供了一种手机及基于其摄像头的安全行车方法。该安全行车方法包括:通过手机摄像头获取驾驶员的当前虹膜采集量;若当前虹膜采集量为零,则获取为零时间并与预设时间阈值相比较,并在判断其大于预设时间阈值时触发警报;若当前虹膜采集量不为零,则将当前虹膜采集量与预先设置的标准虹膜采集量相比较,并在判断其小于标准虹膜采集量时触发警报,其中标准虹膜采集量为虹膜面积的30%。通过上述方式,本发明能够更加科学且贴近实际的防止驾驶员疲劳驾驶,在消除安全隐患的同时还可防止误判,同时具有较高的普及性。
Description
技术领域
本发明涉及安全驾驶技术领域,具体而言涉及一种手机及基于其摄像头的安全行车方法。
背景技术
随着汽车工业的高速发展,与之相关的交通事故也在快速增加。据统计显示,疲劳驾驶是引发重大交通事故的主要原因之一,由于驾驶员长时间处于精神高度集中的驾驶状态,因此会极易感到疲劳,从而导致注意力不集中,尤其是夜晚在高速公路驾车时最容易出现这种状况。
当前,针对疲劳驾驶的监测技术有多种,其中包括采用图像识别技术监测驾驶员的眼球运动、眼皮眨动的频率等,依此判断驾驶员的面部特征信息是否处于监测范围内,进一步判断是否处于疲劳驾驶状态中,如果是则及时向其发出警报以进行提醒,从而避免交通事故的发生。具体地,中国专利文献CN1458006A是本发明最接近的现有技术。然而,现有的疲劳驾驶监测技术虽然具有一定的提醒作用,但不贴近实际,比如驾驶员在清醒状态下进行倒车、变道而观看车身周边情况时,导致视线不在正前方,此时其面部未处于图像识别装置或面部信息采集装置内,按照现有技术此时应触发警报,这显然与实际情况不符,此种误判导致的突然警报极易造成对驾驶员的惊吓或困扰。
综上所述,有必要提供一种手机及基于其摄像头的安全行车方法,以解决上述问题。
发明内容
本发明主要解决的技术问题是提供一种手机及基于其摄像头的安全行车方法,能够更加科学且贴近实际的防止驾驶员疲劳驾驶,在消除安全隐患的同时还可防止误判。
为解决上述技术问题,本发明采用的一个技术方案是:提供一种基于手机摄像头的安全行车方法,包括:通过手机摄像头获取驾驶员的当前虹膜采集量;若当前虹膜采集量为零,则获取为零时间并与预设时间阈值相比较,并在判断其大于预设时间阈值时触发警报;若当前虹膜采集量不为零,则将当前虹膜采集量与预先设置的标准虹膜采集量相比较,并在判断其小于标准虹膜采集量时触发警报,其中标准虹膜采集量为虹膜面积的30%。
其中,通过手机摄像头获取驾驶员的当前虹膜采集量的步骤之前还包括:在手机中采用面部和虹膜组合光学成像装置定位驾驶员的眼睛位置并得到对应的图像,以采集虹膜信息。
其中,通过手机摄像头获取驾驶员的当前虹膜采集量的步骤之前进一步包括:对采集的虹膜信息进行预处理,消除环境因素导致的采集误差,以获取当前虹膜采集量。
其中,对获取的当前虹膜采集量进行模数转换,以数字信息的形式输出当前虹膜采集量。
其中,若当前虹膜采集量为零时,安全行车方法还包括步骤:若为零时间小于预设时间阈值,则采集当前虹膜采集量直至其不为零时,进入与标准虹膜采集量相比较的步骤。
为解决上述技术问题,本发明采用的另一个技术方案是:提供一种手机,用于安全行车,包括:虹膜信息采集模块,用于获取驾驶员的当前虹膜采集量;第一处理模块,用于在当前虹膜采集量为零时,获取为零时间并与预设时间阈值相比较,在判断其大于预设时间阈值时触发提醒模块发出警报;第二处理模块,用于在当前虹膜采集量不为零时,将当前虹膜采集量与预先设置的标准虹膜采集量相比较,在判断其小于标准虹膜采集量时触发提醒模块发出警报,其中标准虹膜采集量为虹膜面积的30%。
其中,虹膜信息采集模块包括面部和虹膜组合光学成像装置,用于定位驾驶员的眼睛位置并得到对应的图像,以采集虹膜信息。
其中,虹膜信息采集模块还包括预处理模块,用于对面部和虹膜组合光学成像装置采集的虹膜信息进行预处理,消除环境因素导致的采集误差,以获取当前虹膜采集量。
其中,虹膜信息采集模块进一步包括模数转换模块,用于对经过预处理模块处理的当前虹膜采集量进行模数转换,以数字信息的形式输出当前虹膜采集量。
其中,若第一处理模块在当前虹膜采集量为零时,判断为零时间小于预设时间阈值,则虹膜信息采集模块采集当前虹膜采集量直至其不为零时,第二处理模块将不为零的当前虹膜采集量与标准虹膜采集量进行比较。
本发明的有益效果是:本发明通过手机摄像头获取驾驶员的当前虹膜采集量,在当前虹膜采集量为零时获取为零时间,并将其与预设时间阈值相比较,而后在判断其大于预设时间阈值时触发警报;另外在当前虹膜采集量不为零时,将当前虹膜采集量与预先设置的标准虹膜采集量相比较,并在判断其小于标准虹膜采集量时触发警报,在本发明中将标准虹膜采集量定义为虹膜面积的30%,能够更加科学且贴近实际的防止驾驶员疲劳驾驶,消除安全隐患,同时具有较高的普及性。
附图说明
图1是本发明基于手机的安全行车方法一实施例的流程图;
图2是本发明的手机一实施例的原理框图。
具体实施方式
本发明主要提供一种基于手机摄像头的安全行车方法以及采用该方法的手机,该安全行车方法与传统方法不同之处在于:根据实际驾驶情况揭示了在监测到的驾驶员的当前虹膜采集量为零时,获取为零时间并与预设时间阈值相比较,并且强调在判断其大于预设时间阈值时才触发警报;在监测到当前虹膜采集量不为零时,将当前虹膜采集量与预先设置的标准虹膜采集量相比较,并在判断其小于标准虹膜采集量时触发警报。其中当前虹膜采集量主要通过手机摄像头进行获取,因此使得本发明具有较高的普及性。
另外,根据医学及生理常识,人的眼睛由巩膜、虹膜和瞳孔三部分构成,虹膜位于巩膜和瞳孔之间,其由许多腺窝、褶皱、色素斑等构成,是人体中最独特的结构之一,其包含了最丰富且独一无二的纹理信息,并且由于虹膜占据人眼球面积的65%,因此通过易于采集的虹膜采集量判断疲劳驾驶是非常科学且符合医学常理的。
进一步地,经过长期的观察和大量实验数据分析,本发明得知当正常人体的虹膜采集量低于人眼球面积的30%时,则表明人极易进入疲劳或瞌睡状态,因此本发明定义虹膜面积的30%作为标准虹膜采集量。
下面结合附图1~2和实施例对本发明进行详细说明。
图1是本发明基于手机的安全行车方法一实施例的流程图。如图1所示,本实施例的安全行车方法包括以下步骤:
步骤S110:通过手机摄像头获取驾驶员的当前虹膜采集量。
在使用时,首先将手机放置在驾驶员正前方的位置,并打开手机前置摄像头,使得摄像头可以拍摄到驾驶员的眼睛,此时驾驶员的虹膜处于摄像头的接收范围内,具体表现为驾驶员可以通过手机屏幕看到自己的眼睛是否显示在屏幕中。
而后在行车过程开始时,驾驶员点击运行内置于手机中的行车安全软件,软件自动打开摄像头并开启预置的面部和虹膜组合光学成像装置定位驾驶员的眼睛位置,通过拍摄得到此时眼睛对应的图像,随后对采集的眼部图像进行预处理,即虹膜定位,用于消除环境因素导致的采集误差,以获取更加准确的虹膜信息。其中,虹膜定位是一种在眼部图像中找到虹膜的内外圆的圆心和半径,并将虹膜割离出来的技术,具体操作时主要通过圆周差分法、Hough变换法和梯度最优算法得以实现。
需要指出的是,经过预处理的当前虹膜采集量仍是一种经图像而获取的模拟信息,因此,需要对获取的当前虹膜采集量进行模数转换,以数字信息的形式输出当前虹膜采集量,以便后续的数值比较。
步骤S120:判断当前虹膜采集量是否为零。
若当前虹膜采集量为零,则执行步骤S130。若当前虹膜采集量不为零,则执行步骤S140。
步骤S130:获取为零时间并判断其是否大于预设时间阈值。
在判断为零时间大于预设时间阈值时执行步骤S150,即触发警报。
若当前虹膜采集量为零,表明驾驶员的眼睛未处于面部和虹膜组合光学成像装置的监测范围内,此时不能片面的判断驾驶员处于疲劳驾驶状态,需要计时获取为零时间并通过与预设时间阈值的比较结果来做出具体判断。其中,预设时间阈值是定义驾驶员在清醒状态下进行倒车、变道而观看车身周边等情况时导致视线不在正前方的最大安全时间值。
另外,若为零时间小于预设时间阈值,则返回步骤S110继续采集当前虹膜采集量直至其不为零时,进入步骤S140。
步骤S140:将当前虹膜采集量与预先设置的标准虹膜采集量相比较,判断其是否小于标准虹膜采集量,其中标准虹膜采集量为虹膜面积的30%。
若当前虹膜采集量小于标准虹膜采集量,则执行步骤S150触发警报,若否则返回步骤S110。
步骤S150:触发警报。
应理解,在其他情况下也可因人而异对标准虹膜采集量为虹膜面积的30%进行适当调整,驾驶员通过在使用时多次调节从而发现适合自己的阈值。
通过上述,本实施例能够更加科学且贴近实际的防止驾驶员疲劳驾驶,在消除安全隐患的同时还可防止误判,另外采用手机等具有摄像头的移动终端进行上述操作,具有较高的普及性。
图2是本发明的手机一实施例的原理框图。如图2所示,本实施例的手机用于安全行车,包括:虹膜信息采集模块210、第一处理模块220、第二处理模块230及提醒模块240。
其中,虹膜信息采集模块210用于获取驾驶员的当前虹膜采集量,在具体操作时通过手机的摄像头实现其功能,虹膜信息采集模块210由面部和虹膜组合光学成像装置211、预处理模块212和模数转换模块213组成。具体而言,面部和虹膜组合光学成像装置211用于定位驾驶员的眼睛位置并得到对应的图像。预处理模块212用于对面部和虹膜组合光学成像装置211采集的虹膜信息进行预处理,消除环境因素导致的采集误差,以获取更加准确的当前虹膜采集量。模数转换模块213用于对经过预处理模块212处理的当前虹膜采集量进行模数转换,以数字信息的形式输出当前虹膜采集量。
第一处理模块220用于在当前虹膜采集量为零时,获取为零时间并与预设时间阈值相比较,在判断其大于预设时间阈值时触发提醒模块240发出警报。
第二处理模块230用于在当前虹膜采集量不为零时,将当前虹膜采集量与预先设置的标准虹膜采集量相比较,在判断其小于标准虹膜采集量时触发提醒模块240发出警报,其中标准虹膜采集量为虹膜面积的30%。
需要指出的是,若第一处理模块220在当前虹膜采集量为零时,判断为零时间小于预设时间阈值,则虹膜信息采集模块210继续采集当前虹膜采集量直至其不为零时,第二处理模块230将不为零的当前虹膜采集量与标准虹膜采集量进行比较。
在本发明所提供的实施方式中,应该理解到,以上所描述的手机的实施方式仅仅是示意性的,所描述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如第一处理模块220和第二处理模块230可以结合或者集成到一个系统中,即通过一个ARM处理器实现二者的功能,只要能够实现更加科学且贴近实际的防止驾驶员疲劳驾驶,在消除安全隐患的同时还可防止误判的目的即可。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种基于手机摄像头的安全行车方法,其特征在于,所述安全行车方法包括:
通过手机摄像头获取驾驶员的当前虹膜采集量;
若所述当前虹膜采集量为零,则获取为零时间并与预设时间阈值相比较,并在判断其大于所述预设时间阈值时触发警报;
若所述当前虹膜采集量不为零,则将所述当前虹膜采集量与预先设置的标准虹膜采集量相比较,并在判断其小于所述标准虹膜采集量时触发警报,其中所述标准虹膜采集量为虹膜面积的30%。
2.根据权利要求1所述的安全行车方法,其特征在于,所述通过手机摄像头获取驾驶员的当前虹膜采集量的步骤之前还包括:
在所述手机中采用面部和虹膜组合光学成像装置定位所述驾驶员的眼睛位置并得到对应的图像,以采集虹膜信息。
3.根据权利要求2所述的安全行车方法,其特征在于,所述通过手机摄像头获取驾驶员的当前虹膜采集量的步骤之前进一步包括:
对采集的所述虹膜信息进行预处理,消除环境因素导致的采集误差,以获取所述当前虹膜采集量。
4.根据权利要求3所述的安全行车方法,其特征在于,对获取的所述当前虹膜采集量进行模数转换,以数字信息的形式输出所述当前虹膜采集量。
5.根据权利要求1所述的安全行车方法,其特征在于,若所述当前虹膜采集量为零时,所述安全行车方法还包括步骤:
若所述为零时间小于所述预设时间阈值,则采集所述当前虹膜采集量直至其不为零时,进入与所述标准虹膜采集量相比较的步骤。
6.一种手机,用于安全行车,其特征在于,所述手机包括:
虹膜信息采集模块,用于获取驾驶员的当前虹膜采集量;
第一处理模块,用于在所述当前虹膜采集量为零时,获取为零时间并与预设时间阈值相比较,在判断其大于所述预设时间阈值时触发提醒模块发出警报;
第二处理模块,用于在所述当前虹膜采集量不为零时,将所述当前虹膜采集量与预先设置的标准虹膜采集量相比较,在判断其小于所述标准虹膜采集量时触发所述提醒模块发出警报,其中所述标准虹膜采集量为虹膜面积的30%。
7.根据权利要求6所述的手机,其特征在于,所述虹膜信息采集模块包括面部和虹膜组合光学成像装置,用于定位所述驾驶员的眼睛位置并得到对应的图像,以采集虹膜信息。
8.根据权利要求7所述的手机,其特征在于,所述虹膜信息采集模块还包括预处理模块,用于对所述面部和虹膜组合光学成像装置采集的所述虹膜信息进行预处理,消除环境因素导致的采集误差,以获取所述当前虹膜采集量。
9.根据权利要求8所述的手机,其特征在于,所述虹膜信息采集模块进一步包括模数转换模块,用于对经过预处理模块处理的所述当前虹膜采集量进行模数转换,以数字信息的形式输出所述当前虹膜采集量。
10.根据权利要求6所述的手机,其特征在于,若所述第一处理模块在所述当前虹膜采集量为零时,判断所述为零时间小于所述预设时间阈值,则所述虹膜信息采集模块采集所述当前虹膜采集量直至其不为零时,所述第二处理模块将不为零的所述当前虹膜采集量与所述标准虹膜采集量进行比较。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310275997.7A CN103366510B (zh) | 2013-07-02 | 2013-07-02 | 一种手机及基于其摄像头的安全行车方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310275997.7A CN103366510B (zh) | 2013-07-02 | 2013-07-02 | 一种手机及基于其摄像头的安全行车方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103366510A CN103366510A (zh) | 2013-10-23 |
CN103366510B true CN103366510B (zh) | 2016-02-24 |
Family
ID=49367758
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310275997.7A Active CN103366510B (zh) | 2013-07-02 | 2013-07-02 | 一种手机及基于其摄像头的安全行车方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103366510B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104751600B (zh) * | 2015-03-03 | 2018-01-30 | 北京虹安翔宇信息科技有限公司 | 基于虹膜识别的防疲劳驾驶安全设备及其使用方法 |
CN105049596B (zh) * | 2015-06-01 | 2018-09-07 | 惠州Tcl移动通信有限公司 | 一种移动终端及其疲劳状态检测方法 |
CN105354537B (zh) * | 2015-10-10 | 2019-03-22 | 宇龙计算机通信科技(深圳)有限公司 | 一种虹膜识别方法、装置及终端 |
CN106791641A (zh) * | 2016-12-16 | 2017-05-31 | 深圳安狗数据技术有限公司 | 一种辅助驾驶系统及辅助驾驶方法 |
CN109858403A (zh) * | 2019-01-16 | 2019-06-07 | 深圳壹账通智能科技有限公司 | 一种监测司机开车使用手机的方法及摄像装置 |
CN115966056A (zh) * | 2022-11-29 | 2023-04-14 | 合众新能源汽车股份有限公司 | 一种车辆内人身安全预警的方法、装置、设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1458006A (zh) * | 2003-07-02 | 2003-11-26 | 北京交通大学 | 基于多特征融合的困倦驾驶检测方法 |
CN1889093A (zh) * | 2005-06-30 | 2007-01-03 | 上海市延安中学 | 一种用于人眼定位和人眼张开闭合的识别方法 |
CN101599207A (zh) * | 2009-05-06 | 2009-12-09 | 深圳市汉华安道科技有限责任公司 | 一种疲劳驾驶检测装置及汽车 |
CN202257856U (zh) * | 2011-10-12 | 2012-05-30 | 四川科泰智能电子有限公司 | 驾驶员疲劳驾驶监控装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101968917B (zh) * | 2006-10-13 | 2013-04-24 | 丰田自动车株式会社 | 车载警告装置 |
JP4989249B2 (ja) * | 2007-02-14 | 2012-08-01 | トヨタ自動車株式会社 | 目検知装置、居眠り検知装置及び目検知装置の方法 |
JP5167027B2 (ja) * | 2008-08-19 | 2013-03-21 | トヨタ自動車株式会社 | 瞬き状態検出装置 |
KR101576319B1 (ko) * | 2008-09-18 | 2015-12-09 | 학교법인 츄부대학 | 졸음 전조 검출장치 |
-
2013
- 2013-07-02 CN CN201310275997.7A patent/CN103366510B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1458006A (zh) * | 2003-07-02 | 2003-11-26 | 北京交通大学 | 基于多特征融合的困倦驾驶检测方法 |
CN1889093A (zh) * | 2005-06-30 | 2007-01-03 | 上海市延安中学 | 一种用于人眼定位和人眼张开闭合的识别方法 |
CN101599207A (zh) * | 2009-05-06 | 2009-12-09 | 深圳市汉华安道科技有限责任公司 | 一种疲劳驾驶检测装置及汽车 |
CN202257856U (zh) * | 2011-10-12 | 2012-05-30 | 四川科泰智能电子有限公司 | 驾驶员疲劳驾驶监控装置 |
Also Published As
Publication number | Publication date |
---|---|
CN103366510A (zh) | 2013-10-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103366510B (zh) | 一种手机及基于其摄像头的安全行车方法 | |
CN102930693B (zh) | 安全驾驶预警方法 | |
CN102263937B (zh) | 基于视频检测的驾驶员驾驶行为监控装置及监控方法 | |
Dong et al. | Fatigue detection based on the distance of eyelid | |
CN104146722B (zh) | 一种基于头部信号的驾驶疲劳检测分级预警方法 | |
CN106691443B (zh) | 基于脑电的穿戴式司机防疲劳智能监测预警系统 | |
CN204028500U (zh) | 疲劳驾驶报警眼镜 | |
CN105788028A (zh) | 具有疲劳驾驶预警功能的行车记录仪 | |
CN104751600B (zh) | 基于虹膜识别的防疲劳驾驶安全设备及其使用方法 | |
CN103318023B (zh) | 车载实时智能疲劳监控及辅助装置 | |
CN102426757A (zh) | 基于模式识别的安全驾驶监控系统和方法 | |
CN101593425A (zh) | 一种基于机器视觉的疲劳驾驶监控方法及系统 | |
CN205158585U (zh) | 一种预防疲劳驾驶的智能设备及系统 | |
CN107563325B (zh) | 一种测试疲劳度的方法、装置及终端设备 | |
CN109389806A (zh) | 基于多信息融合的疲劳驾驶检测预警方法、系统及介质 | |
CN105719431A (zh) | 一种疲劳驾驶检测系统 | |
CN105022981A (zh) | 一种检测人眼健康状态的方法、装置及移动终端 | |
CN101551934A (zh) | 驾驶员疲劳驾驶的监测装置及监测方法 | |
Li et al. | Fatigue driving detection system based on face feature | |
CN103505224B (zh) | 基于生理信息分析的疲劳驾驶远程监测与报警系统和方法 | |
CN103902043A (zh) | 智能终端及其提醒方法 | |
CN103824421B (zh) | 主动安全疲劳驾驶检测警示系统 | |
CN106446822B (zh) | 基于圆拟合的眨眼检测方法 | |
CN205144578U (zh) | 头戴式脑电疲劳监护按摩仪 | |
CN108805085A (zh) | 基于人眼识别的智能睡眠检测方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |