[go: up one dir, main page]

CN104535356B - 一种基于机器视觉的卷筒钢丝绳排绳故障监测方法及系统 - Google Patents

一种基于机器视觉的卷筒钢丝绳排绳故障监测方法及系统 Download PDF

Info

Publication number
CN104535356B
CN104535356B CN201510025651.0A CN201510025651A CN104535356B CN 104535356 B CN104535356 B CN 104535356B CN 201510025651 A CN201510025651 A CN 201510025651A CN 104535356 B CN104535356 B CN 104535356B
Authority
CN
China
Prior art keywords
rope
steel wire
wire rope
image
industrial camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510025651.0A
Other languages
English (en)
Other versions
CN104535356A (zh
Inventor
谭建平
吴志鹏
刘溯奇
薛少华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN201510025651.0A priority Critical patent/CN104535356B/zh
Publication of CN104535356A publication Critical patent/CN104535356A/zh
Application granted granted Critical
Publication of CN104535356B publication Critical patent/CN104535356B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于机器视觉的卷筒钢丝绳排绳故障监测方法及系统,将工业相机安装在卷筒背面,通过对指定标志物的静态图像采样完成视觉系统内部参数的自动标定,工业相机对排列在卷筒上的钢丝绳进行连续的图像采样,并且经过相应的图像处理算法获取刚缠绕在卷筒上的钢丝绳中心点在图像坐标系内的平面坐标,根据自动标定所得的参数,将其转换为实际坐标系中对应的位置坐标,从而计算出刚缠绕在卷筒上的钢丝绳与其相邻钢丝绳之间的中心距离,根据中心距离判断是否发生故障,将故障信号发送至监控中心,进行报警。通过一个工业相机的非接触测量实现对卷筒钢丝绳是否出现排绳故障的定性判断,数据处理和误差分析简便,可靠性高,实用性强。

Description

一种基于机器视觉的卷筒钢丝绳排绳故障监测方法及系统
技术领域
本发明设涉及工业现场卷筒钢丝绳排绳故障在线实时监测技术,具体是一种基于机器视觉的卷筒钢丝绳排绳故障监测方法及系统。
背景技术
矿井提升装备是连接地面与地下的“咽喉设备”,担负着提升煤炭、矿石、下放材料、升降人员和设备的任务。随着科学技术进步和矿井生产现代化要求的不断提高,提升装备也逐步引入新技术,特别是有助于提升设备运行安全和提高矿井提升装备信息化水平的技术,逐步得到应用。
除了矿井提升机以外,大型塔机、绞车、钻机等都是利用电机带动卷筒转动并通过钢丝绳来提升或下放重物,在提升过程当中,随着提升深度的增加和提升速度的增加或多层缠绕时,卷筒钢丝绳出现排绳故障的概率增加,如不及时排除,乱绳会使得钢丝绳之间相互挤夹严重损伤钢丝绳,使得钢丝绳寿命缩短,需频繁更换钢丝绳,带来较大浪费,影响工程进度,同时也存在着极大的安全隐患。所以对卷筒排绳进行实时地检测,及时排除故障可以带来较大的经济效益。
目前针对这种钢丝绳出现排绳故障的解决方法基本上靠人工观察,缺乏客观性,智能化程度不够。
机器视觉是研究用计算机来模拟生物视觉的科学技术,机器视觉系统的首要目标是用图像创建或恢复现实世界模型,然后认识现实世界。机器视觉是一个相当新且发展十分迅速的研究领域,并已成为计算机科学的重要研究领域之一。近几十年来,随着计算机,工业相机,以及光源等视觉系统相关的硬件性能的提升,以及图像处理算法的不断完善,使得基于机器视觉的测量技术精度更高,抗干扰能力更强,可靠性更好。并且在制造业中利用视觉系统的非接触检测、表现出速度快、精度合适、现场抗干扰能力强等突出的优点,使机器视觉技术得到了广泛的应用,取得了巨大的经济与社会效益。
发明内容
本发明需要解决的问题是,结合当前机器视觉在工业检测上的应用推广,针对原有的监测矿井提升及卷筒钢丝绳排绳故障的技术不足之处,提出了一种基于机器视觉的卷筒钢丝绳排绳故障监测方法及系统,根据对钢丝绳中心位置的定量检测对故障是否产生做出定性的判断,以提供对故障地实时监测。
一种基于机器视觉的卷筒钢丝绳排绳故障监测方法,包括以下步骤:
步骤1:将工业相机固定在卷筒背面,使得工业相机的成像区域覆盖卷筒钢丝绳的排绳区域;
步骤2:对工业相机进行标定,获得工业相机单位像素所代表的实际距离标定参数;
步骤3:转动卷筒,利用工业相机按照设定的时间间隔,连续采集处于排绳状态的卷筒钢丝绳排绳图像;
卷筒钢丝绳每排放一圈,工业相机则获取一帧图像;
以图像的左下角为图像的坐标原点;
步骤4:依次对每一帧卷筒钢丝绳排绳图像进行预处理,并对预处理后的图像进行边缘分割,提取钢丝绳活动端外侧的两条平行边缘直线段的端点坐标,并求解所述两条平行边缘直线段对应的钢丝绳中心像素点的坐标;
步骤5:若当前帧图像为第一张,则返回步骤4,否则,进入步骤6;
步骤6:若当前帧图像中钢丝绳活动端外侧的两条平行边缘直线段的斜率与前一帧图像中获取的钢丝绳活动端外侧的两条平行边缘直线段的斜率相差超过设定的斜率阈值,则进入步骤9;否则,进入步骤7;
步骤7:利用欧式距离公式求解当前帧获取的钢丝绳中心像素点的坐标与前一帧钢丝绳中心像素点的坐标之间的距离,并利用步骤2获取的标定参数,求得两相邻钢丝绳中心之间的距离s;
即获得每帧图像中刚缠入卷筒的钢丝绳中心像素点坐标与前一帧图像的钢丝绳中心像素点坐标;
步骤8:利用两相邻钢丝绳中心之间的距离s,判断是否发生排绳故障;
若s满足公式0<s-d<σ,则没有发生排绳故障;否则,则认为发生排绳故障;
d表示钢丝绳直径,σ为设定的钢丝绳安全阈值;
步骤9:若发生排绳故障,则触发报警信号。
所述对每一帧卷筒钢丝绳排绳图像进行预处理包括,首先对图像进行平滑去噪处理,然后,接着对平滑去噪后的图像进行分割,生成二值图像。
所述工业相机的标定,通过采用工业相机对静止状态的棋盘标志物的图像进行采集,根据已知的棋盘角点之间的距离与对应棋盘角点在采集的图像上的距离的比值,得到工业相机单位像素所代表的实际距离,完成工业相机参数的自动标定。
所述工业相机单位像素所代表的实际距离小于或等于0.01m。
采用概率霍夫变换法提取所述步骤4中边缘两条平行边缘直线段。
一种基于机器视觉的卷筒钢丝绳排绳故障监测系统,基于所述的一种基于机器视觉的卷筒钢丝绳排绳故障监测方法,包括依次相连的工业相机、数据接口单元、图像预处理单元、图像特征提取单元、故障判断单元、监控中心单元及报警单元;
所述工业相机采集的排绳区域图像通过数据接口单元传送至图像预处理单元后,经图像特征提取单元提取出特征部分,由故障判断单元将特征部分进行分析处理后输出故障信号至监控中心,监控中心记录和显示故障信号,同时输送报警单元,触发报警。
有益效果
本发明提供了一种基于机器视觉的提升机卷筒钢丝绳排绳故障监测方法及系统,融合了机器视觉和精密测试技术,相对于现有技术,本发明有以下有益的技术和经济效果:
1)通过单工业相机采集钢丝绳图片即可完成对排绳故障的判断,减少了测试过程中可能产生误差的环节;
2)检测方式为非接触式视觉测量,降低了测试系统对机械基准精度的要求;
3)本方法图像采集元件为普通工业相机,对使用环境要求低,成本相对低廉;
4)本方法对故障判定的数学模型简单,可靠性好;
5)本方法通过机器视觉对排绳故障实时检测,排除了在矿井提升过程中由于排绳故障而带来的安全隐患。
附图说明
图1是本发明实施卷筒钢丝绳排绳故障监测系统的结构示意图;
图2是本发明所述方法的处理流程图;
图3为本发明图像坐标坐标系与实际坐标系的转换过程示意图;
图4为本发明钢丝绳中心距计算原理示意图;
图5为排绳故障示意图,其中,(a)为跳绳,(b)为夹绳;
图6为工业相机安装示意图;
图7为本发明使用的棋盘标志物示意图。
具体实施方式
下面将结合附图和实施例对本发明做进一步的说明。
如图2所示,一种基于机器视觉的卷筒钢丝绳排绳故障监测方法,包括以下步骤:
步骤1:将工业相机8固定在卷筒9背面,卷筒固定在安装底座上,如图6所示,使得工业相机的成像区域覆盖卷筒钢丝绳的排绳区域;
步骤2:对工业相机进行标定,获得工业相机单位像素所代表的实际距离标定参数;
系统从提取出的像素坐标到计算出实际的中心距离,需建立图像平面坐标系与实际坐标系,如图3所示,通过相机参数的自动标定求解出两个坐标对应的几何约束关系。
步骤3:转动卷筒,利用工业相机按照设定的时间间隔,连续采集处于排绳状态的卷筒钢丝绳排绳图像;
卷筒钢丝绳每排放一圈,工业相机则获取一帧图像;
以图像的左下角为图像的坐标原点;
步骤4:依次对每一帧卷筒钢丝绳排绳图像进行预处理,并对预处理后的图像进行边缘分割,提取钢丝绳活动端外侧的两条平行边缘直线段的端点坐标,并求解所述两条平行边缘直线段对应的钢丝绳7中心像素点的坐标;
步骤5:若当前帧图像为第一张,则返回步骤4,否则,进入步骤6;
步骤6:若当前帧图像中钢丝绳活动端外侧的两条平行边缘直线段的斜率与前一帧图像中获取的钢丝绳活动端外侧的两条平行边缘直线段的斜率相差超过设定的斜率阈值,则进入步骤9;否则,进入步骤7;
步骤7:利用欧式距离公式求解当前帧获取的钢丝绳中心像素点的坐标与前一帧钢丝绳中心像素点的坐标之间的距离,并利用步骤2获取的标定参数,求得两相邻钢丝绳中心之间的距离s;
即获得每帧图像中刚缠入卷筒的钢丝绳中心像素点坐标与前一帧图像的钢丝绳中心像素点坐标;
步骤8:利用两相邻钢丝绳中心之间的距离s,判断是否发生排绳故障;
若s满足公式0<s-d<σ,则没有发生排绳故障;否则,则认为发生排绳故障;
d表示钢丝绳直径,σ为设定的钢丝绳安全阈值;
步骤9:若发生排绳故障,则触发报警信号。
若发生跳绳故障,则如图5所示的图(a),若发生夹绳故障,则如图5所示的图(b)。
如图4所示,提取刚缠入的钢丝绳的中心位置坐标,并储存,记为B,假设其坐标为(xi+1,yi+1),与其相邻的钢丝绳中心点记为A,其位置坐标为(xi,yi),在故障判定模块,求解像素之间的欧式距离为:[(xi+1-xi)2+(yi+1-yt)2]1/2,根据标定参数将其转换为实际坐标系内的距离,当所得中心距离超出了所设定的阈值范围时,产生故障信号,并输送至监控系统进行报警。
所述对每一帧卷筒钢丝绳排绳图像进行预处理包括,首先对图像进行平滑去噪处理,然后,接着对平滑去噪后的图像进行分割,生成二值图像。
所述工业相机的标定,通过采用工业相机对静止状态的棋盘标志物的图像进行采集,如图7所示,根据已知的棋盘角点之间的距离与对应棋盘角点在采集的图像上的距离的比值,得到工业相机单位像素所代表的实际距离,完成工业相机参数的自动标定。
所述工业相机单位像素所代表的实际距离小于或等于0.01m。
采用概率霍夫变换法提取所述步骤4中边缘两条平行边缘直线段。
如图1所示,一种基于机器视觉的卷筒钢丝绳排绳故障监测系统,基于所述的一种基于机器视觉的卷筒钢丝绳排绳故障监测方法,包括依次相连的工业相机、数据接口单元、图像预处理单元、图像特征提取单元、故障判断单元、监控中心单元及报警单元;
所述工业相机采集的排绳区域图像通过数据接口单元传送至图像预处理单元后,经图像特征提取单元提取出特征部分,由故障判断单元将特征部分进行分析处理后输出故障信号至监控中心,监控中心记录和显示故障信号,同时输送报警单元,触发报警。

Claims (4)

1.一种基于机器视觉的卷筒钢丝绳排绳故障监测方法,其特征在于,包括以下步骤:
步骤1:将工业相机固定在卷筒背面,使得工业相机的成像区域覆盖卷筒钢丝绳的排绳区域;
步骤2:对工业相机进行标定,获得工业相机单位像素所代表的实际距离标定参数;
步骤3:转动卷筒,利用工业相机按照设定的时间间隔,连续采集处于排绳状态的卷筒钢丝绳排绳图像;
步骤4:依次对每一帧卷筒钢丝绳排绳图像进行预处理,并对预处理后的图像进行边缘分割,提取钢丝绳活动端外侧的两条平行边缘直线段的端点坐标,并求解所述两条平行边缘直线段对应的钢丝绳中心像素点的坐标;
步骤5:若当前帧图像为第一张,则返回步骤4,否则,进入步骤6;
步骤6:若当前帧图像中钢丝绳活动端外侧的两条平行边缘直线段的斜率与前一帧图像中获取的钢丝绳活动端外侧的两条平行边缘直线段的斜率相差超过设定的斜率阈值,则进入步骤9;否则,进入步骤7;
步骤7:利用欧式距离公式求解当前帧获取的钢丝绳中心像素点的坐标与前一帧钢丝绳中心像素点的坐标之间的距离,并利用步骤2获取的标定参数,求得两相邻钢丝绳中心之间的距离s;
步骤8:利用两相邻钢丝绳中心之间的距离s,判断是否发生排绳故障;
若s满足公式0<s-d<σ,则没有发生排绳故障;否则,则认为发生排绳故障;
d表示钢丝绳直径,σ为设定的钢丝绳安全阈值;
步骤9:若发生排绳故障,则触发报警信号;
所述对每一帧卷筒钢丝绳排绳图像进行预处理包括,首先对图像进行平滑去噪处理,然后,接着对平滑去噪后的图像进行分割,生成二值图像;
所述工业相机的标定,通过采用工业相机对静止状态的棋盘标志物的图像进行采集,根据已知的棋盘角点之间的距离与对应棋盘角点在采集的图像上的距离的比值,得到工业相机单位像素所代表的实际距离,完成工业相机参数的自动标定。
2.根据权利要求1所述的一种基于机器视觉的卷筒钢丝绳排绳故障监测方法,其特征在于,所述工业相机单位像素所代表的实际距离小于或等于0.01m。
3.根据权利要求1或2所述的一种基于机器视觉的卷筒钢丝绳排绳故障监测方法,其特征在于,采用概率霍夫变换法提取所述步骤4中边缘两条平行边缘直线段。
4.一种基于机器视觉的卷筒钢丝绳排绳故障监测系统,其特征在于,基于权利要求1-3任一项所述的一种基于机器视觉的卷筒钢丝绳排绳故障监测方法,包括依次相连的工业相机、数据接口单元、图像预处理单元、图像特征提取单元、故障判断单元、监控中心单元及报警单元;
所述工业相机采集的排绳区域图像通过数据接口单元传送至图像预处理单元后,经图像特征提取单元提取出特征部分,由故障判断单元将特征部分进行分析处理后输出故障信号至监控中心,监控中心记录和显示故障信号,同时输送报警单元,触发报警。
CN201510025651.0A 2015-01-19 2015-01-19 一种基于机器视觉的卷筒钢丝绳排绳故障监测方法及系统 Active CN104535356B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510025651.0A CN104535356B (zh) 2015-01-19 2015-01-19 一种基于机器视觉的卷筒钢丝绳排绳故障监测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510025651.0A CN104535356B (zh) 2015-01-19 2015-01-19 一种基于机器视觉的卷筒钢丝绳排绳故障监测方法及系统

Publications (2)

Publication Number Publication Date
CN104535356A CN104535356A (zh) 2015-04-22
CN104535356B true CN104535356B (zh) 2017-08-29

Family

ID=52850930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510025651.0A Active CN104535356B (zh) 2015-01-19 2015-01-19 一种基于机器视觉的卷筒钢丝绳排绳故障监测方法及系统

Country Status (1)

Country Link
CN (1) CN104535356B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105174109B (zh) * 2015-07-15 2017-06-16 中南大学 一种缠绕式矿井提升机实验台
JP7180966B2 (ja) 2016-01-29 2022-11-30 マニタウォック クレイン カンパニーズ, エルエルシー 視覚的アウトリガー監視システム
CN106379784A (zh) * 2016-10-28 2017-02-08 齐鲁工业大学 一种矿井钢筋拉索视觉检测方法、系统
US11130658B2 (en) 2016-11-22 2021-09-28 Manitowoc Crane Companies, Llc Optical detection and analysis of a counterweight assembly on a crane
CN106970091A (zh) * 2017-05-08 2017-07-21 深圳市立昌机电设备有限公司 绕线机的质检方法及系统
CN107369177B (zh) * 2017-07-03 2019-10-11 东南大学 一种基于图形识别的道路救援装备绞盘绳防过拉预警方法
CN107403443B (zh) * 2017-07-28 2019-10-25 中南大学 一种基于机器视觉的多绳多层缠绕排绳状态在线检测方法及装置
CN107764839B (zh) * 2017-10-12 2020-05-05 中南大学 一种基于机器视觉的钢丝绳表面缺陷在线检测方法及装置
CN107826919B (zh) 2017-10-20 2019-09-13 中国矿业大学 一种提升系统关键部件多状态健康监测装置及监测方法
CN108062768A (zh) * 2017-12-12 2018-05-22 中国矿业大学 一种基于表面纹理特征的钢丝绳轴向移动状态识别方法
CN109085791A (zh) * 2018-07-25 2018-12-25 嘉兴锐川电气有限公司 冲床视觉监控系统及其监控方法
CN108946534B (zh) * 2018-08-10 2019-11-29 河北环航科技股份有限公司 一种航空绞车
CN110378865A (zh) * 2019-04-28 2019-10-25 湖南师范大学 一种复杂背景下的雾天能见度智能分级识别方法及系统
CN110940372B (zh) * 2019-12-19 2020-07-21 江西太平洋电缆集团有限公司 一种基于机器视觉的电缆排列检测系统
CN111062941B (zh) * 2019-12-31 2024-04-19 深圳爱克莱特科技股份有限公司 点光源灯点故障检测装置及方法
CN111115390B (zh) * 2020-01-09 2025-02-11 江苏立导科技有限公司 一种绕线设备
CN111392626A (zh) * 2020-04-30 2020-07-10 中国水利水电夹江水工机械有限公司 一种乱绳检测方法及检测装置
CN112394682A (zh) * 2020-11-24 2021-02-23 河南中中中环保设备有限公司 热裂解蒸汽锅炉联动控制系统
CN113086876B (zh) * 2021-04-06 2022-06-28 上海建工五建集团有限公司 一种多层卷筒钢丝绳传动方式的卷筒钢丝绳故障检测方法
CN113326824B (zh) * 2021-08-03 2021-10-29 山东中都机器有限公司 基于图像处理的推车机异常检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4734176B2 (ja) * 2006-05-22 2011-07-27 財団法人電力中央研究所 電線異常検出方法、電線異常検出装置及び電線異常検出プログラム
CN102519990A (zh) * 2011-12-05 2012-06-27 天津工业大学 基于纹理规则性分析的钢丝绳芯输送带故障在线检测方法
CN102661952A (zh) * 2012-05-02 2012-09-12 慈溪思达电子科技有限公司 基于图像的钢丝绳断丝检测装置
CN203317113U (zh) * 2013-06-25 2013-12-04 浙江海洋学院 螺杆支撑架
CN103482513A (zh) * 2012-09-27 2014-01-01 中联重科股份有限公司 一种卷筒防乱绳控制方法、系统以及工程机械

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4734176B2 (ja) * 2006-05-22 2011-07-27 財団法人電力中央研究所 電線異常検出方法、電線異常検出装置及び電線異常検出プログラム
CN102519990A (zh) * 2011-12-05 2012-06-27 天津工业大学 基于纹理规则性分析的钢丝绳芯输送带故障在线检测方法
CN102661952A (zh) * 2012-05-02 2012-09-12 慈溪思达电子科技有限公司 基于图像的钢丝绳断丝检测装置
CN103482513A (zh) * 2012-09-27 2014-01-01 中联重科股份有限公司 一种卷筒防乱绳控制方法、系统以及工程机械
CN203317113U (zh) * 2013-06-25 2013-12-04 浙江海洋学院 螺杆支撑架

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
输送带跑偏故障的机器视觉检测技术;杨彦利, 苗长云, 亢 伉, 李现国;《中北大学学报(自然科学版)》;20120601;第33卷(第6期);668页第2栏,670页第1-2栏,图3-4 *

Also Published As

Publication number Publication date
CN104535356A (zh) 2015-04-22

Similar Documents

Publication Publication Date Title
CN104535356B (zh) 一种基于机器视觉的卷筒钢丝绳排绳故障监测方法及系统
CN113283344B (zh) 一种基于语义分割网络的矿用输送带跑偏检测方法
Zhou et al. Automatic detection of industrial wire rope surface damage using deep learning-based visual perception technology
CN110111303A (zh) 一种基于动态图像的大型运载皮带撕裂故障智能检测方法
CN102937599A (zh) 一种通过x射线检测含金属被测物的无损检测系统和方法
CN105608475A (zh) 带式输送机关键部件红外监测预警系统
CN104477723A (zh) 一种矿井提升机缠绕卷筒乱绳监测系统与判断方法
CN112241574B (zh) 基于图像纹理信息的带式输送机托辊状态测控方法和装置
CN107316330B (zh) 基于多图像序列的井下液压支架组位姿及直线度测量方法
CN113762171A (zh) 铁路施工现场安全监测的方法及装置
CN113128555A (zh) 一种用于列车闸片部件异常检测的方法
CN113128393A (zh) 一种检测大型机械吊臂下是否有人的方法和系统
CN115456963A (zh) 一种基于视觉识别的料场皮带跑偏检测方法及系统
CN114314347A (zh) 起重机械安全监控管理系统
CN106250920A (zh) 基于多特征信息融合的绝缘子状态检测与诊断方法
WO2024119359A1 (zh) 一种电梯曳引绳状态在线检测系统及其检测方法
CN105551056A (zh) 一种线路断股检测方法及系统
CN112257604B (zh) 图像检测方法、装置、电子设备和存储介质
CN111967323B (zh) 一种基于深度学习算法的电力带电作业安全检测方法
Liu et al. An approach for auto bridge inspection based on climbing robot
KR20240166969A (ko) 지중 송전설비의 이상 진단장치
CN114627388A (zh) 输电线路异物检测设备及其异物检测方法
CN118840600A (zh) 一种用于轨道交通监测的部件螺栓异常检测方法
CN116424802B (zh) 刮板输送机链条工况监测系统及监控方法
CN113191234A (zh) 一种基于机器视觉的带式输送机输送带防撕裂方法及装置

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant