CN117750204B - 输送线上运动目标的视觉同速跟踪拍摄方法及装置 - Google Patents
输送线上运动目标的视觉同速跟踪拍摄方法及装置 Download PDFInfo
- Publication number
- CN117750204B CN117750204B CN202311513217.8A CN202311513217A CN117750204B CN 117750204 B CN117750204 B CN 117750204B CN 202311513217 A CN202311513217 A CN 202311513217A CN 117750204 B CN117750204 B CN 117750204B
- Authority
- CN
- China
- Prior art keywords
- target
- target object
- visual sensor
- motion module
- speed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 74
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000033001 locomotion Effects 0.000 claims abstract description 88
- 238000005259 measurement Methods 0.000 claims abstract description 13
- 238000001514 detection method Methods 0.000 claims abstract description 9
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 claims description 3
- 230000002787 reinforcement Effects 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims description 3
- 230000001960 triggered effect Effects 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 abstract description 6
- 230000033764 rhythmic process Effects 0.000 abstract description 4
- 230000002452 interceptive effect Effects 0.000 abstract description 3
- 229910000831 Steel Inorganic materials 0.000 description 8
- 239000010959 steel Substances 0.000 description 8
- 101001121408 Homo sapiens L-amino-acid oxidase Proteins 0.000 description 2
- 102100026388 L-amino-acid oxidase Human genes 0.000 description 2
- 101100012902 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) FIG2 gene Proteins 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 101100233916 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) KAR5 gene Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明提出一种输送线上运动目标的视觉同速跟踪拍摄方法及装置,将带有视觉传感器和位置传感器的二自由度运动模组部署在输送线的适当位置,运动模组可驱动视觉传感器执行水平和竖直方向的直线移动;当位置传感器检测到目标物体时,开启视觉传感器采集图像;在采集的图像中识别目标物体,获取目标物体的位置和速度,将其作为反馈信号,控制水平运动模组对目标追及并实现同速拍摄;根据目标识别结果,确定最佳拍摄距离,控制竖直运动模组驱动视觉传感器调节拍摄高度,采集图像并完成目标的检测或测量;运动模组复位,等待下一次拍摄;本发明采用非高速视觉传感器,并在不干扰原有生产节律的条件下,实现输送线上运动目标的视觉同速跟踪拍摄。
Description
技术领域
本发明属于计算机视觉与图像处理领域,具体涉及到一种输送线上运动目标的视觉同速跟踪拍摄方法及装置。
背景技术
在生产制造过程中,普遍存在对输送线上的产品进行外观质量检测或尺寸测量等需求。传统的人工目检或抽检的方式,不仅效率低下,而且准确性较差,人工成本较高。利用视觉传感器,可以取代人工,对输送线上的运动目标进行自动检测和测量。但由于目标物体在持续运动,普通的视觉传感器在拍摄图像时会产生拖影和运动模糊等问题,导致无法实现精确地检测和测量。现有的解决方案有两类:1.根据位置传感器信号,判断目标物体进入视觉传感器的视野范围后,控制输送线停止运动,在静止状态下拍摄图像;这类方法虽然可以获取清晰准确的图像,但需要改变输送线的运动方式,打破原有的生产节律,影响生产效率。2.采用高速视觉传感器拍摄运动目标,这类方法的问题在于高速视觉传感器的成本较高。因此急需开发一种新型的拍摄方法,在不干扰原有的生产节律的前提下,使用非高速视觉传感器,实现对输送线上运动目标的在线拍摄。
发明内容
为解决上述问题,本发明提出一种输送线上运动目标的视觉同速跟踪拍摄方法及装置,
该方法包括如下步骤:
步骤S1:将安装有视觉传感器的二自由度运动模组部署在输送线的适当位置,避免运动模组与输送线存在运动干涉,保证视觉传感器能够完整地拍摄到下方到达的目标物体;
步骤S2:将位置传感器固定在输送线的适当位置,以便检测目标物体是否运动到视觉传感器视野范围内,当位置传感器检测到目标物体时,触发启动信号,运动模组开始进行水平方向上的运动,追赶运动目标,并开启视觉传感器采集目标物体图像;
步骤S3:在采集的图像中识别目标物体,并获取目标物体的位置和速度,将其作为反馈信号,控制运动模组驱动视觉传感器水平运动,实现对目标追及和同速拍摄;
进一步地,步骤S3具体包括如下步骤:
步骤3-1:利用目标识别算法,对所采集图像中的目标物体进行识别,所述的目标识别算法包括但不限于YOLO、FasterRCNN的基于深度学习的算法和模板匹配、特征识别的基于图像处理的算法;
所识别目标物体的中心位置在图像中的坐标为(xO,yO),所采集图像的中心位置坐标为(xI,yI),xI=W/2,yI=H/2,其中W,H分别表示采集图像的宽和高。
步骤3-2:计算目标物体的中心位置和图像中心位置之间X坐标差值e=xO-xI,并利用预先标定得到的比例系数sx(单位:毫米/像素),将以像素为单位的相对坐标差值e转换为以毫米为单位的相对位置差值E=e×sx;
步骤3-3:利用差分方法计算,在当前时刻k,视觉传感器和运动目标之间的相对速度差值vk:
其中,Ek和Ek-1分别为当前时刻k和上一时刻k-1的相对位置差值,T为采样时间间隔;
步骤3-4:利用PID算法控制运动模组在水平方向上的运动,第k时刻的水平运动速度控制量uk计算过程如下式:
其中,vk和vk-1分别为当前时刻k和上一时刻k-1的相对速度差值,Kp、Ki、Kd分别为比例增益、积分、微分增益,三个增益系数可以通过试凑法、响应曲线法、临界比例度法、模糊自适应法、强化学习法等方法获取;
将控制量uk循环输入运动模组的电机控制器,以驱动视觉传感器追赶运动的目标物体;
步骤3-5:重复执行上述步骤3-1至步骤3-4,直至相对位置差值E小于阈值M,且维持达到一定时间N,此时视觉传感器与目标物体已同速,即相对静止状态。
步骤S4:根据目标识别结果和预设的目标规格数据,匹配、判断目标物体的规格,然后根据预设的标定数据,确定当前规格下目标物体所对应的最佳拍摄距离,控制竖直运动模组运动驱动视觉传感器调节拍摄高度,接着,采集符合检测、测量要求的图像,完成目标的检测或测量,最后,运动模组带动视觉传感器复位,等待下一个目标物体到达,重复执行步骤S3、S4。
输送线上运动目标的视觉同速跟踪拍摄装置包括部署在输送线上的视觉传感器、位置传感器;其中所述视觉传感器安装在二自由度运动模组上用于拍摄其下方到达的目标物体,位置传感器布置在视觉传感器的初始位置的下方,输送线的两侧,用于检测目标物体是否运动到视觉传感器视野范围内。
所述二自由度运动模组由水平运动模组和竖直运动模组组成,水平运动模组上设置有水平运动滑台由水平运动模组电机驱动,竖直运动模组上设置有竖直运动滑台由竖直运动模组电机驱动,所述视觉传感器固定在竖直运动滑台上,可随竖直运动滑台沿竖直方向运动,视觉传感器和竖直运动模组组成的整体安装在水平运动滑台上,可随水平运动滑台沿水平方向运动。
所述的视觉传感器包括但不限于工业相机、红外相机;所述的位置传感器包括但不限于接近开关、光电传感器。
有益效果:利用相对运动的原理,驱动视觉传感器做加速直线移动追赶输送线上匀速传输的目标,直至追及目标,保持与目标的相对静止并进行同速拍摄。该方案相较于现有方案具备更高的性价比,无需使用高速高性能视觉传感器,只采用非高速视觉传感器就可以保证采集图像的质量和目标物体成像的清晰度,并能够在不干扰原有生产节律的条件下,完成在线高精度的检测和测量任务。
附图说明
图1是二自由度运动模组结构示意图;
图2是二自由度运动模组在输送线上的部署位置示意图;
图3是本发明所涉及方法的流程图。
具体实施方式
为充分阐述本发明对输送线上运动目标的视觉同速跟踪拍摄过程,本发明介绍了一个具体的实施例:输送线上钢筋丝头的视觉同速跟踪拍摄与尺寸测量,以下结合附图对本发明作进一步详细说明。
如图1所示,本发明的输送线上运动目标的视觉同速跟踪拍摄装置,在钢筋丝头的视觉同速跟踪拍摄与尺寸测量实施例中所基于的硬件基础为:二自由度运动模组1包含两个直线滑台运动模组,分别为水平运动模组2和竖直运动模组3,视觉传感器4固定在竖直运动模组3的滑台5上,可随滑台沿竖直方向运动,带有视觉传感器4的竖直运动模组3整体安装在水平运动模组2的滑台6上,可随滑台沿水平方向运动。所述的视觉传感器4包括但不限于工业相机、红外相机等用于采集运动目标图像的视觉采集设备,在本发明实施例中,视觉传感器4采用工业相机。位置传感器8布置在视觉传感器4初始位置的下方,输送线的两侧,以便检测目标物体是否运动到视觉传感器4视野范围内,所述的位置传感器8包括但不限于接近开关、光电传感器等接触式或非接触式传感器,在本发明实施例中位置传感器8采用对射式的光电传感器。
基于上述硬件系统,本实施例的输送线上运动目标的视觉同速跟踪拍摄方法,包含如下步骤:
步骤S1:将安装有视觉传感器4的二自由度运动模组1部署在输送线的适当位置,避免运动模组与输送线存在运动干涉,保证视觉传感器4能够完整地拍摄到下方到达的目标物体。如图2所示,在本发明实施例中,二自由度运动模组1安装在输送线7的上方,水平运动模组2与输送线7平行。
步骤S2:当位置传感器8检测到目标物体时,触发启动信号,运动模组2开始进行水平方向上的运动,追赶运动目标,并开启视觉传感器4采集目标物体图像。
本发明所涉及方法的流程图如图3所示,包括以下步骤:
步骤S3:在采集的图像中识别目标物体,并获取目标物体的位置和速度,将其作为反馈信号,控制运动模组驱动视觉传感器水平运动,实现对目标追及和同速拍摄;
进一步地,步骤S3具体包括如下步骤:
步骤3-1:利用目标识别算法,对所采集图像中的目标物体进行识别,所述的目标识别算法包括但不限于YOLO、FasterRCNN的基于深度学习的算法和模板匹配、特征识别的基于图像处理的算法,在本发明实施例中,采用YOLOv4-tiny目标识别算法用于实现钢筋丝头9的识别;
所识别目标物体的中心位置在图像中的坐标为(xO,yO),所采集图像的中心位置坐标为(xI,yI),xI=W/2,yI=H/2,其中W,H分别表示采集图像的宽和高,在本发明实施例中W,H的取值分别为3072和2048(单位:像素);
步骤3-2:计算目标物体的中心位置和图像中心位置之间X坐标差值e=xO-xI,并利用预先标定得到的比例系数sx(单位:毫米/像素),将以像素为单位的相对坐标差值e转换为以毫米为单位的相对位置差值E=e×sx,比例系数sx可利用尺寸已知的棋盘格标定板,通过标定计算得到;
步骤3-3:利用差分方法计算,在当前时刻k,视觉传感器和运动目标之间的相对速度差值vk:
其中,Ek和Ek-1分别为当前时刻k和上一时刻k-1的相对位置差值,T为采样时间间隔,本发明实施例中采样时间间隔T=1/17s;
步骤3-4:利用PID算法控制运动模组在水平方向上的运动,第k时刻的水平运动速度控制量uk计算过程如下式:
其中,vk和vk-1分别为当前时刻k和上一时刻k-1的相对速度差值,Kp、Ki、Kd分别为比例增益、积分、微分增益,三个增益系数可以通过试凑法、响应曲线法、临界比例度法、模糊自适应法、强化学习法等方法获取,在本发明实施例中,采用基于Actor-Critic自适应PID算法计算增益系数;
将控制量uk循环输入运动模组的电机控制器,控制电机10转动,以驱动视觉传感器追赶运动的目标物体;
步骤3-5:重复执行上述步骤3-1至步骤3-4,直至相对位置差值E小于阈值M,且维持达到一定时间N,此时视觉传感器与目标物体已同速,即相对静止状态,在本发明实施例中M=2mm,N=1s。
步骤S4:根据目标识别结果和预设的目标规格数据,匹配、判断目标物体的规格,然后根据预设的标定数据,确定当前规格下目标物体所对应的最佳拍摄距离,控制竖直运动模组驱动视觉传感器调节拍摄高度。在本发明实施例中,目标物体钢筋丝头包含28mm,32mm,36mm等多种直径规格,为保证尺寸测量的准确性,需要保证钢筋丝头位于工业相机的景深范围之内。在步骤3-1的目标识别阶段,同步完成钢筋丝头规格的初步判断,并根据预先标定的结果获取当前规格的钢筋丝头所对应的最佳拍摄距离,竖直运动模组的电机11转动,以驱动工业相机运动到最佳拍摄位置。
接着,采集符合检测、测量要求的图像,完成目标的检测或测量。在本发明实施例中,需要对钢筋丝头的螺纹中径、大径,螺距和牙型角等尺寸进行测量。
最后,运动模组带动视觉传感器复位,等待下一个目标物体到达,重复执行步骤S3、S4。
Claims (4)
1.一种输送线上运动目标的视觉同速跟踪拍摄方法,其特征在于,利用相对运动的原理,由二自由度运动模组驱动的视觉传感器做加速直线移动追赶输送线上匀速传输的目标,追及目标后,保持与目标同速状态下进行相对静止的拍摄,完成在线检测或测量任务,该方法具体包括如下步骤:
步骤S1:将安装有视觉传感器的二自由度运动模组部署在输送线的适当位置,避免运动模组与输送线存在运动干涉,保证视觉传感器能够完整地拍摄到下方到达的目标物体;
步骤S2:将位置传感器固定在输送线的适当位置,以便检测目标物体是否运动到视觉传感器视野范围内,当位置传感器检测到目标物体时,触发启动信号,运动模组开始进行水平方向上的运动,追赶运动目标,并开启视觉传感器采集目标物体图像;
步骤S3:在视觉传感器采集的图像中识别目标物体,并获取目标物体的位置和速度,将其作为反馈信号,控制运动模组驱动视觉传感器水平运动,实现对目标追及和同速拍摄;步骤S3具体包括如下步骤:
步骤3-1:利用目标识别算法,对所采集图像中的目标物体进行识别,所述的目标识别算法包括YOLO、FasterRCNN的基于深度学习的算法和模板匹配、特征识别的基于图像处理的算法;
所识别目标物体的中心位置在图像中的坐标为(xO,yO),所采集图像的中心位置坐标为(xI,yI),xI=W/2,yI=H/2,其中W,H分别表示采集图像的宽和高;
步骤3-2:计算目标物体的中心位置和图像中心位置之间X坐标差值e=xO-xI,并利用预先标定得到的比例系数sx;所述比例系数sx的单位为毫米/像素,将以像素为单位的相对坐标差值e转换为以毫米为单位的相对位置差值E=e×sx;
步骤3-3:利用差分方法计算,在当前时刻k,视觉传感器和运动目标之间的相对速度差值vk:
其中,Ek和Ek-1分别为当前时刻k和上一时刻k-1的相对位置差值,T为采样时间间隔;
步骤3-4:利用PID算法控制运动模组在水平方向上的运动,第k时刻的水平运动速度控制量uk计算过程如下式:
其中,vk和vk-1分别为当前时刻k和上一时刻k-1的相对速度差值,Kp、Ki、Kd分别为比例增益、积分、微分增益,三个增益系数可以通过试凑法、响应曲线法、临界比例度法、模糊自适应法、强化学习法的方法获取;
将控制量uk循环输入运动模组的电机控制器,以驱动视觉传感器追赶运动的目标物体;
步骤3-5:重复执行上述步骤3-1至步骤3-4,直至相对位置差值E小于阈值M,且维持达到一定时间N,此时视觉传感器与目标物体已同速,即相对静止状态;
步骤S4:根据目标识别结果和预设的目标规格数据,匹配、判断目标物体的规格,然后根据预设的标定数据,确定当前规格下目标物体所对应的最佳拍摄距离,控制竖直运动模组驱动视觉传感器调节拍摄高度,接着,采集符合检测、测量要求的图像,完成目标的检测或测量,最后,运动模组带动视觉传感器复位,等待下一个目标物体到达,重复执行步骤S3、S4。
2.一种用权利要求1所述的一种输送线上运动目标的视觉同速跟踪拍摄方法的装置,其特征在于,其中拍摄装置包括部署在输送线(7)上的视觉传感器(4)、位置传感器(8);其中所述视觉传感器(4)安装在二自由度运动模组(1)上用于拍摄其下方到达的目标物体(9),位置传感器(8)布置在视觉传感器(4)的初始位置的下方,输送线(7)的两侧,用于检测目标物体(9)是否运动到视觉传感器(4)视野范围内。
3.根据权利要求2所述的输送线上运动目标的视觉同速跟踪拍摄装置,其特征在于,所述二自由度运动模组(1)由水平运动模组(2)和竖直运动模组(3)组成,水平运动模组(2)上设置有水平运动滑台(6)由水平运动模组电机(10)驱动,竖直运动模组(3)上设置有竖直运动滑台(5)由竖直运动模组电机(11)驱动,所述视觉传感器(4)固定在竖直运动滑台(5)上,可随竖直运动滑台(5)沿竖直方向运动,视觉传感器(4)和竖直运动模组(3)组成的整体安装在水平运动滑台(6)上,可随水平运动滑台(6)沿水平方向运动。
4.根据权利要求2所述的输送线上运动目标的视觉同速跟踪拍摄装置,其特征在于,所述的视觉传感器(4)包括工业相机、红外相机;所述的位置传感器(8)包括接近开关、光电传感器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311513217.8A CN117750204B (zh) | 2023-11-14 | 2023-11-14 | 输送线上运动目标的视觉同速跟踪拍摄方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311513217.8A CN117750204B (zh) | 2023-11-14 | 2023-11-14 | 输送线上运动目标的视觉同速跟踪拍摄方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117750204A CN117750204A (zh) | 2024-03-22 |
CN117750204B true CN117750204B (zh) | 2024-09-24 |
Family
ID=90256913
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311513217.8A Active CN117750204B (zh) | 2023-11-14 | 2023-11-14 | 输送线上运动目标的视觉同速跟踪拍摄方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117750204B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118323793B (zh) * | 2024-05-17 | 2024-10-22 | 湖北华武重工集团有限公司 | 基于工业视觉的智能输送皮带及视觉控制方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108341230A (zh) * | 2018-01-12 | 2018-07-31 | 中国林业科学研究院木材工业研究所 | 一种基于同步原理的人造板表面缺陷在线检测装置 |
CN108803668A (zh) * | 2018-06-22 | 2018-11-13 | 航天图景(北京)科技有限公司 | 一种静态目标监测的智能巡检无人机吊舱系统 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108387262B (zh) * | 2018-01-03 | 2020-05-01 | 江苏大学 | 一种基于悬挂式滑轨平台的温室信息自动监测方法 |
CN109308693B (zh) * | 2018-08-29 | 2023-01-24 | 北京航空航天大学 | 由一台ptz相机构建的目标检测和位姿测量单双目视觉系统 |
KR102473142B1 (ko) * | 2020-08-20 | 2022-12-01 | 엘텍코리아 주식회사 | 이동 물체를 고속으로 추적하고 예측하여 고품질의 영상을 지속적으로 제공하는 카메라의 고속 줌과 포커싱을 위한 장치 및 이를 이용한 카메라의 고속 줌과 포커싱 방법 |
CN113156996B (zh) * | 2021-04-28 | 2022-12-23 | 北京理工大学 | 一种目标跟踪的吊舱控制自适应增益方法 |
CN219456770U (zh) * | 2023-02-28 | 2023-08-01 | 三丰智能装备集团股份有限公司 | 一种输送线同步跟踪随行装置 |
-
2023
- 2023-11-14 CN CN202311513217.8A patent/CN117750204B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108341230A (zh) * | 2018-01-12 | 2018-07-31 | 中国林业科学研究院木材工业研究所 | 一种基于同步原理的人造板表面缺陷在线检测装置 |
CN108803668A (zh) * | 2018-06-22 | 2018-11-13 | 航天图景(北京)科技有限公司 | 一种静态目标监测的智能巡检无人机吊舱系统 |
Also Published As
Publication number | Publication date |
---|---|
CN117750204A (zh) | 2024-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107992881B (zh) | 一种机器人动态抓取方法及系统 | |
CN110497187A (zh) | 基于视觉引导的太阳花模组装配系统 | |
CN111929300A (zh) | 三维图像扫描机器人自动检测线 | |
CN105759720A (zh) | 基于计算机视觉的机械手跟踪定位在线识别与纠偏方法 | |
CN117750204B (zh) | 输送线上运动目标的视觉同速跟踪拍摄方法及装置 | |
WO2021012682A1 (zh) | 一种应用于搬运机器人的搬运行进方法及其搬运机器人 | |
CN110983609B (zh) | 一种纱线接头检测装置及其使用方法 | |
CN115890639A (zh) | 一种机器人视觉引导定位抓取控制系统 | |
CN104833317A (zh) | 基于对称双线激光角度可控的中厚钢板形貌检测系统及其方法 | |
CN112504123A (zh) | 一种用于输电塔板件自动化检测设备和方法 | |
CN107153876A (zh) | 基于专家规则的机器视觉快门自整定智能控制方法 | |
CN108156359A (zh) | 智能工业相机 | |
CN116593395A (zh) | 一种用于板材表面缺陷图像采集的运动控制系统 | |
CN114705691A (zh) | 一种工业机器视觉控制方法及装置 | |
JPWO2018020638A1 (ja) | 撮像装置、撮像システム及び撮像処理方法 | |
CN109002008A (zh) | 一种基于单目视觉的十字滑台自动校准系统 | |
US20220185599A1 (en) | Picking device | |
CN207752527U (zh) | 一种机器人动态抓取系统 | |
CN110458785A (zh) | 一种基于图像传感的磁悬浮球悬浮间隙检测方法 | |
CN114104453A (zh) | 基于图像处理的有色金属自动贴标方法及装置 | |
WO2018205677A1 (zh) | 一种基于双头异步视觉定位飞行加工的方法与系统 | |
CN113865509A (zh) | 自动跟随检测装置 | |
TW201838400A (zh) | 一種移動目標位置追蹤系統 | |
CN204730813U (zh) | 一种基于对称双线激光角度可控的中厚钢板形貌检测系统 | |
CN111462171A (zh) | 一种标记点检测跟踪方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |