CN112432595A - 一种高频瞬态三维测量系统校准装置及方法 - Google Patents
一种高频瞬态三维测量系统校准装置及方法 Download PDFInfo
- Publication number
- CN112432595A CN112432595A CN202011194533.XA CN202011194533A CN112432595A CN 112432595 A CN112432595 A CN 112432595A CN 202011194533 A CN202011194533 A CN 202011194533A CN 112432595 A CN112432595 A CN 112432595A
- Authority
- CN
- China
- Prior art keywords
- light
- control points
- dimensional
- measurement system
- frequency transient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005259 measurement Methods 0.000 title abstract description 47
- 230000001052 transient effect Effects 0.000 title abstract description 38
- 238000000034 method Methods 0.000 title abstract description 24
- 230000001360 synchronised effect Effects 0.000 abstract description 18
- 238000002474 experimental method Methods 0.000 abstract 1
- 238000004519 manufacturing process Methods 0.000 abstract 1
- 230000003287 optical effect Effects 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 7
- 239000000758 substrate Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种高频瞬态三维测量系统校准装置及方法。该装置包括:标定板、激光跟踪仪、同步装置、标定板发光靶标控制器和高频瞬态三维测量系统;标定板发光靶标控制器用于根据同步装置发出的同步信号控制方向控制点和发光控制点的亮灭,激光跟踪仪用于根据同步装置发出的同步信号测量各激光跟踪仪控制点的三维坐标;高频瞬态三维测量系统用于根据同步装置发出的同步信号测量各发光控制点的平面坐标。采用本发明对高频瞬态三维测量系统进行标定,方法简单准确,且该标定板制作方便,成本低,方便推广,可直接应用于航空、航天测试试验中的高频瞬态三维测量仪器的标校领域。
Description
技术领域
本发明涉及光电式非接触高动态测量系统中线阵相机校准领域,特别是涉及一种高频瞬态三维测量系统校准装置及方法
背景技术
在光电式非接触高动态测量系统中,线阵图像传感器具有高帧频和单方向高分辨率的特点,这些特点易于实现高动态坐标测量,且在同等空间分辨率的情况下可以提高系统的测量视场,在同等视场的情况下可以提高系统的测量精度。因此,采用三个一维线阵相机结合发光靶标实现目标高速运动下的三维测量技术已经成为高动态测量领域的一个重要发展方向。
三个一维线阵相机结合发光靶标实现的高频瞬态三维测量系统,基本测量原理是利用非圆对称光学系统和一维线阵传感器构成一维线阵相机,发光靶标在一维线阵相机上成像为一视线矢量,采用图像处理方法可获得发光靶标点的单维坐标,布置三个空间成已知角度的一维线阵相机,同时获得发光靶标在各个一维线阵相机上的单维坐标,再结合三个一维线阵相机的空间坐标信息,综合解算获得发光靶标的三维坐标。
由于线阵相机具有特殊的结构和成像特性,无法直接获取物方空间的特征点和像点的对应。因此,很多成熟的面阵相机的标定方法不能用于标定线阵相机。
现有的线阵相机标定方法,如Horaud等人提出的基于平面线靶标的标定方法,Luna等人出的多个平行平面的靶标标定方法,Drareni等人提出的动态扫描标定方法,孙博等人提出的利用激光跟踪仪辅助标定方法等,上述方法虽然都可以精确标定线阵相机参数,但由于其靶标点均选择被动成像的标定物,不是主动发光靶标,因此,应用于本系统时,因其采集的不是主动发光靶标图像而导致成像质量差,继而导致标定无精度。
发明内容
本发明的目的是提供一种高频瞬态三维测量系统校准装置及方法,以解决现有线阵标定方法中对靶标或相机的移动方向和距离要求严格的难题。
为实现上述目的,本发明提供了如下方案:
一种高频瞬态三维测量系统校准装置,包括:标定板、激光跟踪仪、同步装置、标定板发光靶标控制器以及高频瞬态三维测量系统;所述同步装置分别与所述激光跟踪仪、所述标定板发光靶标控制器和所述高频瞬态三维测量系统连接;所述标定板包括基板,所述基板上设有方向控制点、发光控制点和激光跟踪仪控制点;所述发光控制点设于四个所述激光跟踪仪控制点组成的空间矩形的正中心;所述标定板发光靶标控制器用于根据所述同步装置发出的同步信号控制所述方向控制点和所述发光控制点的亮灭,所述激光跟踪仪用于根据所述同步装置发出的同步信号测量各所述激光跟踪仪控制点的三维坐标;所述高频瞬态三维测量系统用于根据所述同步装置发出的同步信号测量各所述发光控制点的平面坐标。
可选地,所述发光控制点为球形发光点,共49个,在所述基板形成7*7的阵列,所述发光控制点的直径为1.5英寸,所述发光控制点的发光中心与所述发光控制点的球心重合,同行或同列的相邻所述发光控制点的球心距离为20mm。
可选地,所述发光控制点为波长980nm的LED发光点。
可选地,在同一时刻只有一个所述发光控制点发光。
可选地,所述激光跟踪仪控制点共64个,直径为1.5英寸,在所述基板形成8*8阵列,同行或同列的相邻所述激光跟踪仪控制点的球心距离为20mm。
可选地,所述高频瞬态三维测量系统包括三个一维线阵相机,三个一维线阵相机空间布局为:两侧的一维线阵相机的光轴水平放置,中间的一维线阵相机的光轴竖直放置。
可选地,所述激光跟踪仪的测量精度是所述高频瞬态三维测量系统的3~5倍。
本发明还提供了一种高频瞬态三维测量系统校准方法,所述校准方法应用于高频瞬态三维测量系统校准装置,所述校准方法包括:
同步装置发出同步信号;
标定板发光靶标控制器根据所述同步信号控制方向控制点和发光控制点的亮灭;
激光跟踪仪根据所述同步信号测量各所述激光跟踪仪控制点的三维坐标;
高频瞬态三维测量系统根据所述同步信号测量各所述发光控制点的平面坐标;
根据各所述激光跟踪仪控制点的三维坐标,计算各所述发光控制点的三维坐标;
根据各所述发光控制点的平面坐标以及各所述发光控制点的三维坐标,采用二阶勒让德多项式建立非线性成像模型,完成所述高频瞬态三维测量系统的内外参标定。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
(1)本发明技术方案中标定板采用主动发光控制点作为高频瞬态三维测量系统的控制点,利用稳流电路提供稳定的光强,进而具有较好的成像质量,保证测量结果的稳定。
(2)本发明技术方案中标定板发光靶标控制器控制发光控制点的亮灭时序,在同一时刻只保证一个发光控制点发光,减少了图像处理算法的难度,具有很好的抗干扰性,进一步提高校准精度。
(3)本发明技术方案中发光控制点与激光跟踪仪控制点分布于同一方形基板上,且发光控制点与激光跟踪仪控制点之间的三维坐标可以依据空间关系互相推算,大大简化了标定过程,解决了现有线阵标定方法中对靶标或相机的移动方向和距离要求严格的难题。
(4)本发明的技术方案适用于振动及冲击等极端条件下的三维变形的高动态测量系统的现场校准,且具有很好的抗干扰性。在基本原理保持不变的同时,采用三阶勒让德多项式非线性成像模型,在牺牲标定速度的同时,进一步提高标定精度,解决了高频瞬态三维测量系统的标定无成熟手段的难题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例高频瞬态三维测量系统校准装置的示意图;
图2为本发明实施例中标定板的结构示意图;
图3为本发明实施例中发光控制点和其四邻域激光跟踪仪控制点之间的位置关系和尺寸;
图4为本发明实施例中激光跟踪仪控制点和其四邻域发光控制点之间的位置关系和尺寸;
图5为本发明实施例中标定板发光靶标控制器的控制时序图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种高频瞬态三维测量系统校准装置及方法,以解决现有线阵标定方法中对靶标或相机的移动方向和距离要求严格的难题。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示,高频瞬态三维测量系统校准装置,包括:标定板S1、激光跟踪仪S2、同步装置S3、标定板发光靶标控制器S4以及高频瞬态三维测量系统S5。所述同步装置S3分别与激光跟踪仪S2、标定板发光靶标控制器S4和高频瞬态三维测量系统S5连接;同步装置S3发射三个同步信号,激光跟踪仪S2、高频瞬态三维测量系统S5和标定板发光靶标控制器S4分别接收到同步信号后开始同步工作。所述标定板发光靶标控制器S4用于根据同步信号控制方向控制点和发光控制点的亮灭,所述激光跟踪仪S2用于根据同步信号测量各激光跟踪仪控制点的三维坐标;所述高频瞬态三维测量系统S5用于根据同步信号测量各发光控制点的平面坐标。
如图2所示,所述标定板包括基板S11,所述基板S11上设有方向控制点S14、发光控制点S12和激光跟踪仪控制点S13。所述发光控制点S12设于四个所述激光跟踪仪控制点S13组成的空间矩形的正中心。
用于高频瞬态三维测量的发光控制点S12为球形发光点,其个数为49个,且在所属背景区上形成7*7的阵列。球形发光控制点S12的直径为标准的1.5英寸,通过调整方法将发光点的发光中心调至与球体的球心重合。如图3所示,本发明实施例中同行或同列的每两个发光控制点S12的球心距离为20mm。每个发光控制点S12分布于四个激光跟踪仪控制点S13组成的矩形的正中心。
用于激光跟踪仪测量的激光跟踪仪控制点S13,其个数为64个,其尺寸为标准的1.5英寸,且在所属背景区域上形成8*8阵列。如图4所示,本发明实施例中同行或同列的每两个激光跟踪仪控制点S13的球心距离为20mm。
如图5所示,本发明实施例中标定板发光靶标控制器S4的控制时序图。标定板发光靶标控制器S4接收同步装置S3发送的同步信号,首先按某一频率f1切换方向控制点S14的点亮熄灭,然后以不同于方向控制点S14亮灭频率f1的某一频率f2依次切换49个发光控制点S12的点亮熄灭,要求同一时刻只保证一个发光控制点S12发光,本发明实例中f1为10ms,f2为0.5ms,则完成整个标定板S1上全部控制发光点的识别仅需34.5ms。
高频瞬态三维测量系统S5采用三个一维线阵相机实时采集发光靶标图像,三个一维线阵相机空间布局要求,两侧的一维线阵相机的光轴水平放置,中间的一维线阵相机的光轴竖直放置。一维线阵相机由非圆对称光学镜头和线阵CMOS组成。本发明实施例中采用3个自主研制的国产线阵CMOS芯片,其分辨率为8192*20,像元尺寸为7um,行频为100kHz,高灵敏度,低暗电流。线阵CMOS芯片配置非圆对称光学镜头形成一维线阵相机,非圆对称光学镜头采用像方远心光路,发光控制点S12通过二次成像在线阵传感上成像为一直线。相机视场为60°×60°,f数为4,焦距为20mm。三个一维线阵相机,利用同步装置S3产生的同步触发信号,单独的定时器对其进行控制。发光控制点用的波长是980nm的LED发光点,单色性好,利用稳流电路驱动亮度可调且稳定性好。
本发明实施例中激光跟踪仪S2选用高精度激光跟踪仪,其测量精度是高频瞬态三维测量系统S5测量精度3~5倍。
本发明实施例中同步装置S3选用同步信号产生器,用于产生三个用于同步的信号,一个发送给高频瞬态三维测量S5,用于控制其三个一维线阵相机同步曝光时刻;一个发送给标定板发光靶标控制器S4,用于控制49个发光控制点S12在此时刻哪个应该有亮灭的变化。另一个发送给激光跟踪仪S2,用于控制激光跟踪仪S2开始新的周期的测量工作。
本发明还提供了一种高频瞬态三维测量系统校准方法,所述校准方法应用于高频瞬态三维测量系统校准装置,所述校准方法包括:
步骤101:同步装置发出同步信号。
步骤102:标定板发光靶标控制器根据所述同步信号控制方向控制点和发光控制点的亮灭。
步骤103:激光跟踪仪根据所述同步信号测量各所述激光跟踪仪控制点的三维坐标。
步骤104:高频瞬态三维测量系统根据所述同步信号测量各所述发光控制点的平面坐标。
步骤105:根据各所述激光跟踪仪控制点的三维坐标,计算各所述发光控制点的三维坐标。
各个发光控制点S12布置于四个激光跟踪仪控制点S13组成的空间矩形的正中心,因此,设第i个发光控制点S12其四邻域的四个激光跟踪仪控制点S13的空间坐标分别为和则第i个发光控制点(S12)的空间坐标为为:
同理,亦可由各个激光跟踪仪控制点S13的四邻域的每个发光控制点S12的三维坐标,分别计算出各个激光跟踪仪控制点S13在高频瞬态三维测量系统S5坐标系下的三维坐标。
步骤106:根据各所述发光控制点的平面坐标以及各所述发光控制点的三维坐标,采用二阶勒让德多项式建立非线性成像模型,完成所述高频瞬态三维测量系统的内外参标定。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。
Claims (8)
1.一种高频瞬态三维测量系统校准装置,其特征在于,包括:标定板、激光跟踪仪、同步装置、标定板发光靶标控制器以及高频瞬态三维测量系统;所述同步装置分别与所述激光跟踪仪、所述标定板发光靶标控制器和所述高频瞬态三维测量系统连接;所述标定板包括基板,所述基板上设有方向控制点、发光控制点和激光跟踪仪控制点;所述发光控制点设于四个所述激光跟踪仪控制点组成的空间矩形的正中心;所述标定板发光靶标控制器用于根据所述同步装置发出的同步信号控制所述方向控制点和所述发光控制点的亮灭,所述激光跟踪仪用于根据所述同步装置发出的同步信号测量各所述激光跟踪仪控制点的三维坐标;所述高频瞬态三维测量系统用于根据所述同步装置发出的同步信号测量各所述发光控制点的平面坐标。
2.根据权利要求1所述的高频瞬态三维测量系统校准装置,其特征在于,所述发光控制点为球形发光点,共49个,在所述基板形成7*7的阵列,所述发光控制点的直径为1.5英寸,所述发光控制点的发光中心与所述发光控制点的球心重合,同行或同列的相邻所述发光控制点的球心距离为20mm。
3.根据权利要求1所述的高频瞬态三维测量系统校准装置,其特征在于,所述发光控制点为波长980nm的LED发光点。
4.根据权利要求1所述的高频瞬态三维测量系统校准装置,其特征在于,在同一时刻只有一个所述发光控制点发光。
5.根据权利要求1所述的高频瞬态三维测量系统校准装置,其特征在于,所述激光跟踪仪控制点共64个,直径为1.5英寸,在所述基板形成8*8阵列,同行或同列的相邻所述激光跟踪仪控制点的球心距离为20mm。
6.根据权利要求1所述的高频瞬态三维测量系统校准装置,其特征在于,所述高频瞬态三维测量系统包括三个一维线阵相机,三个一维线阵相机空间布局为:两侧的一维线阵相机的光轴水平放置,中间的一维线阵相机的光轴竖直放置。
7.根据权利要求1所述的高频瞬态三维测量系统校准装置,其特征在于,所述激光跟踪仪的测量精度是所述高频瞬态三维测量系统的3~5倍。
8.一种高频瞬态三维测量系统校准方法,其特征在于,所述校准方法应用于权利要求1-7任意一项所述的高频瞬态三维测量系统校准装置,所述校准方法包括:
同步装置发出同步信号;
标定板发光靶标控制器根据所述同步信号控制方向控制点和发光控制点的亮灭;
激光跟踪仪根据所述同步信号测量各所述激光跟踪仪控制点的三维坐标;
高频瞬态三维测量系统根据所述同步信号测量各所述发光控制点的平面坐标;
根据各所述激光跟踪仪控制点的三维坐标,计算各所述发光控制点的三维坐标;
根据各所述发光控制点的平面坐标以及各所述发光控制点的三维坐标,采用二阶勒让德多项式建立非线性成像模型,完成所述高频瞬态三维测量系统的内外参标定。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011194533.XA CN112432595B (zh) | 2020-10-30 | 2020-10-30 | 一种高频瞬态三维测量系统校准装置及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011194533.XA CN112432595B (zh) | 2020-10-30 | 2020-10-30 | 一种高频瞬态三维测量系统校准装置及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112432595A true CN112432595A (zh) | 2021-03-02 |
CN112432595B CN112432595B (zh) | 2022-09-16 |
Family
ID=74694908
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011194533.XA Active CN112432595B (zh) | 2020-10-30 | 2020-10-30 | 一种高频瞬态三维测量系统校准装置及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112432595B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2253085A1 (en) * | 1998-11-06 | 2000-05-06 | Industrial Metrics Inc. | Methods and system for measuring three dimensional spatial coordinates and for external camera calibration necessary for that measurement |
US20020089583A1 (en) * | 2000-10-27 | 2002-07-11 | Korea Institute Of Science And Technology | Three-dimensional visual inspection method of semiconductor packages and apparatus using single camera |
CN104457569A (zh) * | 2014-11-27 | 2015-03-25 | 大连理工大学 | 一种大型复合板材几何参数视觉测量方法 |
CN110763141A (zh) * | 2019-08-29 | 2020-02-07 | 北京空间飞行器总体设计部 | 一种高精度的六自由度测量系统的精度验证方法及系统 |
CN111238454A (zh) * | 2020-01-17 | 2020-06-05 | 中国人民解放军战略支援部队信息工程大学 | 一种空间三维坐标测量仪系统及其三维控制网测量方法 |
-
2020
- 2020-10-30 CN CN202011194533.XA patent/CN112432595B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2253085A1 (en) * | 1998-11-06 | 2000-05-06 | Industrial Metrics Inc. | Methods and system for measuring three dimensional spatial coordinates and for external camera calibration necessary for that measurement |
US20020089583A1 (en) * | 2000-10-27 | 2002-07-11 | Korea Institute Of Science And Technology | Three-dimensional visual inspection method of semiconductor packages and apparatus using single camera |
CN104457569A (zh) * | 2014-11-27 | 2015-03-25 | 大连理工大学 | 一种大型复合板材几何参数视觉测量方法 |
CN110763141A (zh) * | 2019-08-29 | 2020-02-07 | 北京空间飞行器总体设计部 | 一种高精度的六自由度测量系统的精度验证方法及系统 |
CN111238454A (zh) * | 2020-01-17 | 2020-06-05 | 中国人民解放军战略支援部队信息工程大学 | 一种空间三维坐标测量仪系统及其三维控制网测量方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112432595B (zh) | 2022-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10578724B2 (en) | LIDAR optics alignment systems and methods | |
US20190025048A1 (en) | Three-dimensional measuring device | |
CN101476844B (zh) | 载体光电系列现场动态自校准用校准方法和标准靶板 | |
CN106612390B (zh) | 具有双成像模块的摄像模组及其光轴平行度调整方法 | |
CN110672037A (zh) | 基于相移法的线性光源光栅投影三维测量系统及方法 | |
CN110542542B (zh) | 一种动平台条件下光学模拟器光轴一致性检测装置及方法 | |
CN108769530B (zh) | 图像采集处理设备和图像采集处理方法 | |
CN107607960A (zh) | 一种光学测距的方法及装置 | |
WO2021174886A1 (zh) | 钻刀检测装置及方法、钻孔设备 | |
US20110043825A1 (en) | Measuring apparatus | |
US11326874B2 (en) | Structured light projection optical system for obtaining 3D data of object surface | |
CN115144163A (zh) | 一种分区点亮半导体激光器模组的自动化liv测试方法 | |
US20250085101A1 (en) | 2d area array camera-line laser 3d sensor joint calibration method and device | |
WO2014017977A1 (en) | Method and apparatus for determining coplanarity in integrated circuit packages | |
JP2016164557A (ja) | 表面形状測定装置及び表面形状測定方法 | |
CN112432595B (zh) | 一种高频瞬态三维测量系统校准装置及方法 | |
CN102890430A (zh) | 一种直写曝光机调整曝光面功率均匀性的装置及方法 | |
CN116105638A (zh) | 一种u型转台同轴度检测系统及检测方法 | |
JP3941631B2 (ja) | 三次元撮像装置および方法 | |
KR20190129693A (ko) | 3d 구조의 광 적용을 위한 고감도 저전력 카메라 시스템 | |
CN103697825B (zh) | 一种超分辨3d激光测量系统及方法 | |
CN103226294A (zh) | 一种提高曝光图形位置精度的光刻系统及方法 | |
CN211576091U (zh) | 一种pcb钻刀检测装置及pcb钻孔设备 | |
JP4788968B2 (ja) | 焦点面傾斜型共焦点表面形状計測装置 | |
JP2017151062A (ja) | 表面形状測定装置及び表面形状測定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |