CN110253574B - 一种多任务机械臂位姿检测和误差补偿方法 - Google Patents
一种多任务机械臂位姿检测和误差补偿方法 Download PDFInfo
- Publication number
- CN110253574B CN110253574B CN201910485132.0A CN201910485132A CN110253574B CN 110253574 B CN110253574 B CN 110253574B CN 201910485132 A CN201910485132 A CN 201910485132A CN 110253574 B CN110253574 B CN 110253574B
- Authority
- CN
- China
- Prior art keywords
- joint
- error compensation
- pose
- mechanical arm
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000001514 detection method Methods 0.000 title claims abstract description 12
- 238000005457 optimization Methods 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 17
- 230000009466 transformation Effects 0.000 claims description 10
- 239000013598 vector Substances 0.000 claims description 3
- 238000004804 winding Methods 0.000 claims 2
- 238000006243 chemical reaction Methods 0.000 claims 1
- 238000003466 welding Methods 0.000 abstract description 7
- 238000012545 processing Methods 0.000 abstract description 3
- 238000004364 calculation method Methods 0.000 abstract description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/1605—Simulation of manipulator lay-out, design, modelling of manipulator
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/1607—Calculation of inertia, jacobian matrixes and inverses
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Manipulator (AREA)
- Numerical Control (AREA)
Abstract
本发明公开了一种多任务机械臂位姿检测和误差补偿方法,属于工业机器人技术领域,该方法所使用的装置包括双摄像机、六关节机械臂、上位机和机械臂控制柜。两台摄像机分别安装在机械臂两侧,用于采集机械臂的图像信息并将其传送至上位机,从而获取机械臂的位姿信息;六关节机械臂用于完成焊接、零件装配和货物搬运工作;上位机用于进行图像的标定和处理、任务模式的选择和数据的计算;机械臂控制柜用于接收上位机的指令,实现对机械臂的控制。依据优化函数最小化的原则,计算每一步的新增误差补偿量,从而获得新的误差补偿量,进而控制机械臂的下一步运动。
Description
技术领域
本发明涉及工业机器人技术领域,具体地说,涉及一种多任务机械臂位姿检测和误差补偿方法。
背景技术
近年来,机械臂由于具有操作灵活、控制方便的特点,被广泛应用于焊接、零件装配和货物搬运等任务中。由于机械臂的各连杆在制造、装配等过程中不可避免地要引入参数误差,这就使得机械臂各杆件参数的实际值与名义值之间存在差异,从而导致机械臂末端实际到达的位姿与期望到达的位姿之间存在着一定的偏差。
为实现机械臂精确的运动控制,需要对其进行位姿误差补偿。现在的运动控制方案主要存在以下问题:
(1)公开号为CN107457785A的中国专利文献公开了一种基于关节反馈的机器人位置补偿方法,该方法在分析机械臂运动学的同时,还需要对电机进行精确的数学建模,分析电机转动的传递函数,建模和控制器设计过程复杂,数据处理量大;
(2)公开号为CN108297101A的中国专利文献公开了一种多关节臂串联机器人末端位姿误差检测和动态补偿方法,该方法利用倾角传感器获取末端位姿误差。由于各杆参数的实际值与名义值存在差异,因此位姿获取不够准确;
(3)公开号为CN106247932A的中国专利文献公开了一种基于摄影系统的机器人在线误差补偿装置及方法,该方法运用到了多组相机和二维倾角测量仪,硬件系统较为复杂,且未提出较为明确的位姿误差补偿算法;
(4)以上各专利未考虑不同任务位姿补偿需求的差异性,其设计只针对某一项任务(例如焊接、零件装配和货物搬运)。
发明内容
本发明的目的为提供一种多任务机械臂位姿检测和误差补偿方法,该方法可以针对不同的任务、不同的工作环境进行特定的位姿补偿,适用性强。
为了实现上述目的,本发明提供的多任务机械臂位姿检测和误差补偿方法包括以下步骤:
1)标定双目立体视觉传感器,建立机械臂的D-H运动模型,得到D-H运动模型的各坐标转换矩阵jT6(j=0~5)的理论表达式;
2)设置机械臂的任务类型,根据该任务类型及工作环境,自动设置位姿补偿的权重系数wi(i=1~6)。该权重系数表征不同方向位置调整和姿态调整的重要程度,从而可以使机械臂能够使用不同的工况和任务要求。例如,在承担零件装配任务时同时注重位置和姿态角精度,在承担焊接和货物搬运任务时更加注重位置精度;在距离工作点较远时更加注重位置精度的控制,在距离较近时同时注重位置和姿态角的控制。
3)给定目标位姿,求取各关节角度qt=[q1,q2,q3.q4,q5,q6]T,并设置初始误差补偿量Δq=[0,0,0,0,0,0]T;
4)根据双目立体视觉的原理,利用两台摄像机同时获取机械臂的图像,确定机械臂末端点在两个图像中的具体位置,根据两台摄像机的位置与机械臂末端点的图像信息反推出机械臂末端的位姿信息,计算末端位姿的综合误差D=[dx,dy,dz,δx,δy,δz]T,其中,dx,dy,dz为位置误差,δx,δy,δz为姿态误差;
5)根据各坐标转换矩阵jT6求取雅克比矩阵J(q);
6)求取各关节的新增误差补偿量Δqadd,则新的误差补偿量为Δq=Δq+Δqadd;
7)给定下一点的目标位姿,求取各关节的理论角度qt,并设置各关节的实际运动角度为q=qt-Δq,按照q进行运动;
8)重复步骤4)~7),直至完成任务。
上述技术方案中,根据不同的任务类型和工况情况自动生成合适的位姿补偿的权重系数,利用双目立体视觉的原理获取机械臂的位姿信息,根据机械臂的雅克比矩阵实时迭代产生该权重系数下的各运动关节误差补偿量,从而实现机械臂的实时误差补偿。
作为优选,步骤1)中,假设从第k-1个关节(第0个关节为基座)到第k个关节的坐标变换为:
上式中,关节转角θi表示Xi-1轴绕Zi-1轴转动到Xi轴所需旋转的角度;关节偏置di表示Xi-1轴沿着Zi-1轴移动到Xi轴的距离;连杆扭角αi表示Zi-1轴绕Xi轴转动到Zi轴所需旋转的角度;连杆长度ai表示Zi-1轴沿着Xi轴转动到Zi轴所需旋转的角度。
则机械臂末端的坐标系与连杆j-1坐标系的转换矩阵jT6(j=0~5)的理论表达式为:
其中,nx、ny、nz、ox、oy、oz、ax、ay、az、px、py、pz分别表示jTn前三行中12个元素对应的数值。
作为优选,步骤3)中,初始误差补偿量Δq=[0,0,0,0,0,0]T。
作为优选,步骤5)中,雅克比矩阵J(q)的第m列由mT6决定,为:
其中,n,o,a和p是mT6的四个列向量。
作为优选,步骤6)中,根据优化函数最小化原则,求取各关节的新增误差补偿量Δqadd,设置优化函数为:
-J(q)TW[D-J(q)Δqadd]=0
由上式,可得到各关节新增误差补偿量:
Δqadd=[Δq1add,Δq2add,Δq3add,Δq4add,Δq5add,Δq6add]T
作为优选,步骤3)和步骤7)中,通过逆运动学法求取各关节的理论角度qt。机器人的逆向运动学即已知机器人末端的位置和姿态,根据已知的物理参数(如各机械臂连杆的长度等)逆向求解各关节相应的转动角度的过程。
与现有技术相比,本发明的有益效果为:
(1)本发明的方法利用机械臂的物理参数进行建模,而不需要研究电机的运动特性,具有设计方便、数据量小的优点;
(2)本发明的方法利用机器视觉的原理,采集机械臂末端的位姿信息,具有布置方便、测量精确的优点;
(3)本发明的方法可以针对不同的任务、不同的工作环境进行特定的位姿补偿,适用性强。
附图说明
图1是本发明实施例中多任务机械臂位姿检测和误差补偿方法所使用装置的结构示意图;
图2是本发明实施例中多任务机械臂位姿检测和误差补偿方法的流程图;
图3是多任务机械臂的D-H模型图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,以下结合实施例及其附图对本发明作进一步说明。
实施例
参见图1,本实施例的多任务机械臂位姿检测和误差补偿方法所使用的装置包括双摄像机(摄像机4和摄像机5)、六关节机械臂1、上位机2和机械臂控制柜3。
两台摄像机分别安装在六关节机械臂1的两侧,用于采集机械臂的图像信息并将其传送至上位机2,从而获取机械臂的位姿信息。六关节机械臂1用于完成焊接、零件装配和货物搬运工作。上位机2用于进行图像的标定和处理、任务模式的选择和数据的计算。机械臂控制柜3用于接收上位机的指令,实现对机械臂的控制。
参见图2,本实施例的多任务机械臂位姿检测和误差补偿方法包括以下步骤:
步骤S1,标定双摄像头传感器,导入机械臂的名义物理参数,在考虑参数误差的基础上,建立机械臂的D-H运动模型。
已知从第k-1个关节(第0个关节为基座)到第k个关节的坐标变换为:
式中各符号示意见图3。则机械臂末端(连杆6)的坐标系与连杆j-1坐标系的转换矩阵jT6(j=0~5)为:
其中,nx、ny、nz、ox、oy、oz、ax、ay、az、px、py、pz分别表示jT6前三行中12个元素对应的数值。
步骤S2,设置机械臂的任务类型,例如焊接、零件装配或者货物搬运。
步骤S3,控制器根据机械臂的任务类型和工作环境,利用模糊控制的原理,输出位姿补偿的权重系数wi(i=1~6)。其权重设置的基本思路为:在承担零件装配任务时同时注重位置和姿态角精度,在承担焊接和货物搬运任务时更加注重位置精度;在距离工作点较远时更加注重位置精度的控制,在距离较近时同时注重位置和姿态角的控制。
步骤S4,给定目标位姿,通过逆运动法,按照能量使用最小的原则,求取唯一的一组关节理论角度qt=[q1,q2,q3.q4,q5,q6]T,设置初始误差补偿量Δq=[0,0,0,0,0,0]T;
步骤S5,利用机器视觉的原理,测取机械臂末端的位姿信息,计算末端位姿的综合误差D=[dx,dy,dz,δx,δy,δz]T,其中dx,dy,dz为位置误差,δx,δy,δz为姿态误差;
步骤S6,实时求取各坐标转换矩阵jT6,得到雅克比矩阵J(q)。由于几个关节都为转动关节,因此雅克比矩阵J(q)的第m列由mT6决定,为:
式中,n,o,a和p是mT6的四个列向量。
-J(q)TW[D-J(q)Δqadd]=0
由此可得各关节新增误差补偿
Δqadd=[Δq1add,Δq2add,Δq3add,Δq4add,Δq5add,Δq6add]T
求取新的误差补偿量Δq=Δq+Δqadd。
步骤S8,给定下一点的目标位姿,通过逆运动法求取各关节理论角度值:
qt=[q1,q2,q3.q4,q5,q6]T
设置各关节按照实际运动角度q=qt-Δq进行运动;
步骤S9,重复步骤S5~步骤S8,直至完成所需任务。
Claims (6)
1.一种多任务机械臂位姿检测和误差补偿方法,其特征在于,包括以下步骤:
1)标定双目立体视觉传感器,建立机械臂的D-H运动模型,得到D-H运动模型的各坐标转换矩阵jT6(j=0~5)的理论表达式;
2)设置机械臂的任务类型,根据该任务类型及工作环境,系统自动生成位姿补偿的权重系数wi(i=1~6);
3)给定目标位姿,求取各关节的理论角度qt=[q1,q2,q3.q4,q5,q6]T,并设置初始误差补偿量Δq=[0,0,0,0,0,0]T;
4)利用双目立体视觉的方法,测量机械臂末端的位姿信息,计算末端位姿的综合误差D=[dx,dy,dz,δx,δy,δz]T,其中,dx,dy,dz为位置误差,δx,δy,δz为姿态误差;
5)实时求取各坐标转换矩阵,得到雅克比矩阵J(q);
6)求取各关节的新增误差补偿量Δqadd,则新的误差补偿量为Δq=Δq+Δqadd;
7)给定下一点的目标位姿,求取各关节的理论角度qt=[q1,q2,q3.q4,q5,q6]T,并设置各关节实际运动角度为q=qt-Δq进行运动;
8)重复步骤4)~7),直至完成任务。
2.根据权利要求1所述的多任务机械臂位姿检测和误差补偿方法,其特征在于,步骤1)中,假设从第k-1个关节(第0个关节为基座)到第k个关节的坐标变换为:
上式中,关节转角θi表示Xi-1轴绕Zi-1轴转动到Xi轴所需旋转的角度;关节偏置di表示Xi-1轴沿着Zi-1轴移动到Xi轴的距离;连杆扭角αi表示Zi-1轴绕Xi轴转动到Zi轴所需旋转的角度;连杆长度ai表示Zi-1轴沿着Xi轴转动到Zi轴所需旋转的角度;
则机械臂末端的坐标系与连杆j-1坐标系的转换矩阵jT6(j=0~5)的理论表达式为:
其中,nx、ny、nz、ox、oy、oz、ax、ay、az、px、py、pz分别表示jT6前三行中12个元素对应的数值。
3.根据权利要求1所述的多任务机械臂位姿检测和误差补偿方法,其特征在于,步骤3)中,初始误差补偿量Δq=[0,0,0,0,0,0]T。
6.根据权利要求1所述的多任务机械臂位姿检测和误差补偿方法,其特征在于,步骤3)和步骤7)中,通过逆运动法求取各关节的理论角度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910485132.0A CN110253574B (zh) | 2019-06-05 | 2019-06-05 | 一种多任务机械臂位姿检测和误差补偿方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910485132.0A CN110253574B (zh) | 2019-06-05 | 2019-06-05 | 一种多任务机械臂位姿检测和误差补偿方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110253574A CN110253574A (zh) | 2019-09-20 |
CN110253574B true CN110253574B (zh) | 2020-11-17 |
Family
ID=67916871
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910485132.0A Active CN110253574B (zh) | 2019-06-05 | 2019-06-05 | 一种多任务机械臂位姿检测和误差补偿方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110253574B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110811827B (zh) * | 2019-09-25 | 2021-04-06 | 中奕智创医疗科技有限公司 | 一种手术机器人电机复位标定设备、标定方法及机器人 |
CN111530670A (zh) * | 2020-04-30 | 2020-08-14 | 重庆见芒信息技术咨询服务有限公司 | 应用于机器人喷涂领域的零件位置误差补偿方法及系统 |
CN113031595B (zh) * | 2021-02-26 | 2023-02-03 | 北京卫星制造厂有限公司 | 一种基于多智能体协同转运实时在线位姿补偿控制方法 |
CN113341718B (zh) * | 2021-06-10 | 2022-07-08 | 浙江大学 | 欠驱动水面机器人的水动力系数混合自适应估计方法 |
CN113561183B (zh) * | 2021-07-26 | 2023-09-22 | 上海大学 | 一种基于位姿跟踪系统机械臂目标点在线追踪方法及系统 |
CN114589698B (zh) * | 2022-04-07 | 2023-06-06 | 北京信息科技大学 | 基于多目标视觉测量和机器学习的机械臂无模型实时标定方法及装置 |
CN114516055B (zh) * | 2022-04-07 | 2023-06-06 | 北京信息科技大学 | 基于双目视觉和深度学习的机械臂不停工实时标定方法及装置 |
CN115030750B (zh) * | 2022-07-04 | 2025-03-25 | 中国中煤能源集团有限公司 | 一种喷浆机械臂、控制系统及控制方法 |
CN115070769B (zh) * | 2022-07-14 | 2024-09-10 | 中国科学院沈阳自动化研究所 | 一种大型重载液压机械臂的增量式运动控制方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104070525A (zh) * | 2014-06-18 | 2014-10-01 | 大连大学 | 用于空间机械臂连续轨迹跟踪的方法 |
CN104199999A (zh) * | 2014-07-17 | 2014-12-10 | 中国人民解放军国防科学技术大学 | 一种关节对中误差对多自由度机械臂末端定位精度影响的定量分析方法 |
CN104608129A (zh) * | 2014-11-28 | 2015-05-13 | 江南大学 | 基于平面约束的机器人标定方法 |
CN105082161A (zh) * | 2015-09-09 | 2015-11-25 | 新疆医科大学第一附属医院 | 双目立体摄像机机器人视觉伺服控制装置及其使用方法 |
CN105128011A (zh) * | 2015-09-15 | 2015-12-09 | 北京理工大学 | 一种基于视觉和移动的仿人机器人投射及稳定控制方法 |
KR20160149649A (ko) * | 2015-06-18 | 2016-12-28 | 울산대학교 산학협력단 | 비선형 관절 강성을 포함하는 로봇 캘리브레이션 방법 |
CN107414835A (zh) * | 2017-08-31 | 2017-12-01 | 智造未来(北京)机器人系统技术有限公司 | 机械臂控制方法及载人机甲 |
US10065311B1 (en) * | 2016-06-08 | 2018-09-04 | X Development Llc | Singularity handling for robot jogging |
CN108994837A (zh) * | 2018-08-20 | 2018-12-14 | 哈工大机器人(合肥)国际创新研究院 | 一种动力学补偿的机械臂零力平衡控制方法 |
-
2019
- 2019-06-05 CN CN201910485132.0A patent/CN110253574B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104070525A (zh) * | 2014-06-18 | 2014-10-01 | 大连大学 | 用于空间机械臂连续轨迹跟踪的方法 |
CN104199999A (zh) * | 2014-07-17 | 2014-12-10 | 中国人民解放军国防科学技术大学 | 一种关节对中误差对多自由度机械臂末端定位精度影响的定量分析方法 |
CN104608129A (zh) * | 2014-11-28 | 2015-05-13 | 江南大学 | 基于平面约束的机器人标定方法 |
KR20160149649A (ko) * | 2015-06-18 | 2016-12-28 | 울산대학교 산학협력단 | 비선형 관절 강성을 포함하는 로봇 캘리브레이션 방법 |
CN105082161A (zh) * | 2015-09-09 | 2015-11-25 | 新疆医科大学第一附属医院 | 双目立体摄像机机器人视觉伺服控制装置及其使用方法 |
CN105128011A (zh) * | 2015-09-15 | 2015-12-09 | 北京理工大学 | 一种基于视觉和移动的仿人机器人投射及稳定控制方法 |
US10065311B1 (en) * | 2016-06-08 | 2018-09-04 | X Development Llc | Singularity handling for robot jogging |
CN107414835A (zh) * | 2017-08-31 | 2017-12-01 | 智造未来(北京)机器人系统技术有限公司 | 机械臂控制方法及载人机甲 |
CN108994837A (zh) * | 2018-08-20 | 2018-12-14 | 哈工大机器人(合肥)国际创新研究院 | 一种动力学补偿的机械臂零力平衡控制方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110253574A (zh) | 2019-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110253574B (zh) | 一种多任务机械臂位姿检测和误差补偿方法 | |
CN110238845B (zh) | 最优标定点选取和误差自测量的自动手眼标定方法及装置 | |
CN110421562B (zh) | 基于四目立体视觉的机械臂标定系统和标定方法 | |
CN108297101B (zh) | 多关节臂串联机器人末端位姿误差检测和动态补偿方法 | |
CN107738254B (zh) | 一种机械臂坐标系的转换标定方法与系统 | |
CN108789404B (zh) | 一种基于视觉的串联机器人运动学参数标定方法 | |
CN107175660B (zh) | 一种基于单目视觉的六自由度机器人运动学标定方法 | |
CN110370316B (zh) | 一种基于垂直反射的机器人tcp标定方法 | |
CN110757504B (zh) | 高精度可移动机器人的定位误差补偿方法 | |
CN106777656B (zh) | 一种基于pmpsd的工业机器人绝对精度校准方法 | |
CN112318498B (zh) | 一种考虑参数耦合的工业机器人标定方法 | |
CN108177145A (zh) | 一种无偏最优的工业机械臂绝对定位精度标定方法 | |
CN111590566A (zh) | 一种适用于全构型的空间机械臂运动学参数在轨标定方法 | |
JP5378908B2 (ja) | ロボットの精度調整方法およびロボット | |
CN109176487A (zh) | 一种联动关节段标定方法、系统、设备、存储介质 | |
CN115446847A (zh) | 用于提高机器人系统的3d眼手协调准确度的系统和方法 | |
US7957834B2 (en) | Method for calculating rotation center point and axis of rotation, method for generating program, method for moving manipulator and positioning device, and robotic system | |
CN111489399A (zh) | 一种视觉跟踪组件安装参数标定装置和方法 | |
CN103009392A (zh) | 机械手臂的坐标校正系统及方法 | |
WO2024207703A1 (zh) | 一种无运动学参与的手眼标定方法和系统 | |
CN116394254A (zh) | 机器人的零点标定方法、装置、计算机存储介质 | |
JP6485620B2 (ja) | ロボット制御システムおよびロボット制御方法 | |
JP2021024075A (ja) | ロボットの位置を制御するロボット装置の制御装置 | |
CN112971984B (zh) | 一种基于一体化手术机器人的坐标配准方法 | |
CN110370272B (zh) | 一种基于垂直反射的机器人tcp标定系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |