CN114384547B - 一种基于雷达传感器模型的保真度检测的评估方法及系统 - Google Patents
一种基于雷达传感器模型的保真度检测的评估方法及系统 Download PDFInfo
- Publication number
- CN114384547B CN114384547B CN202210020092.4A CN202210020092A CN114384547B CN 114384547 B CN114384547 B CN 114384547B CN 202210020092 A CN202210020092 A CN 202210020092A CN 114384547 B CN114384547 B CN 114384547B
- Authority
- CN
- China
- Prior art keywords
- real
- tracking
- track
- sensor model
- radar sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000001514 detection method Methods 0.000 title claims abstract description 25
- 238000004364 calculation method Methods 0.000 claims abstract description 54
- 238000012360 testing method Methods 0.000 claims abstract description 34
- 238000011156 evaluation Methods 0.000 claims abstract description 29
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 19
- 230000008447 perception Effects 0.000 claims abstract description 19
- 238000004088 simulation Methods 0.000 claims description 17
- 238000005259 measurement Methods 0.000 claims description 6
- 238000013139 quantization Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 4
- 230000035945 sensitivity Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 3
- 101001086191 Borrelia burgdorferi Outer surface protein A Proteins 0.000 description 2
- 238000009472 formulation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/50—Systems of measurement based on relative movement of target
- G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/66—Tracking systems using electromagnetic waves other than radio waves
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明公开了一种基于雷达传感器模型的保真度检测的评估方法及系统，其中方法包括以下步骤：获取测试汽车在真实驾驶下的真实雷达点云数据，同时测量记录所述测试汽车的真实轨迹；获取所述测试汽车在模拟驾驶下的模拟雷达点云数据；使用点云跟踪算法，对所述模拟雷达点云数据进行跟踪，生成跟踪轨迹；对所述跟踪轨迹和所述真实轨迹进行一致性计算，将计算结果进行量化，将量化的结果作为雷达传感器模型的保真度。本发明将雷达传感器模型产生的模拟数据通过感知算法例如点云目标跟踪，比较其与真实数据使用效果的差异进行评价，进而对雷达传感器模型的保真度进行间接评估。
Description
技术领域
本发明属于雷达传感器模型保真度的评估方法领域，特别是涉及一种基于雷达传感器模型的保真度检测的评估方法及系统。
背景技术
在自动驾驶汽车的测试阶段，需要对雷达(Radar)进行多种性能和指标的测试，如果全部采用现场测试，会耗费大量的人力、物力、财力且易受天气状况影响。因此基于模拟的雷达模型应用逐渐广泛。但是有必要量化模拟和现实之间的差异，验证所采用的雷达传感器模型的保真度是否满足预期用途。目前还没有可靠的方法来度量雷达传感器模型保真度，也没有一个适当的度量。传统的度量方法主要有在生成点云之前的原始数据级别的评估方法，但是只能检测简单的场景和基本功能；生成点云的检测水平评价方法，主要存在定性评价及评价指标人工制定的问题。本方法提出将点云数据进一步感知，将感知算法的性能效果作为传感器模型的评估方法。这种方法通过验证雷达模型是否满足预期用途，能够在感知层面对雷达模型的进行保真度评价。
发明内容
为了确定雷达传感器模型的可靠性，需要检测模拟到现实的差距是否适合于应用目的。除了评估产生的雷达数据外，还必须检查数据的质量对预期用途的适应性，以满足不同应用的不同需求。目前有许多雷达传感器模型，工作原理为根据真实试驾的数据，从雷达传感器的角度生成环境虚拟场景，得到模拟雷达点云。但验证和定量评估雷达传感器模型的整体保真度的问题仍未得到解决。基于此，本发明提出了一种基于雷达传感器模型的保真度检测的评估方法及系统。
一方面为实现上述目的，本发明提供了一种基于雷达传感器模型的保真度检测的评估方法，包括以下步骤：
获取测试汽车在真实驾驶下的真实雷达点云数据，同时测量记录所述测试汽车的真实轨迹；
获取所述测试汽车在模拟驾驶下的模拟雷达点云数据；
使用点云跟踪算法，对所述模拟雷达点云数据进行跟踪，生成跟踪轨迹；
对所述跟踪轨迹和所述真实轨迹进行一致性计算，将计算结果进行量化，将量化的结果作为雷达传感器模型的保真度。
可选的，对所述跟踪轨迹和所述真实轨迹进行一致性计算的方法包括：均方根误差、最优子模式分配距离和IoU指标定量计算。
可选的，所述均方根误差的计算公式为：
其中，xk是k时刻目标的真实值，xk ～是目标估计值，M是仿真次数，i表示第几次测量。
可选的，所述最优子模式分配距离的计算公式为：
其中，p是距离敏感性参数，c是水平调节数，是估计值。
可选的，所述IoU指标定量计算的方法为：基于所述跟踪轨迹的估计形状和所述测试汽车的真实轨迹的预测形状之间的交点面积,除以两种形状的并集面积。
可选的，将计算结果进行量化的方法为：将计算结果通过z-score方法映射在0-1空间内，通过调整各一致性计算方法的系数，将映射后的各计算结果相加得到雷达传感器模型的保真度。
另一方面为实现上述目的，本发明提供了一种基于雷达传感器模型的保真度检测的评估系统，包括：
真实数据生成模块、模拟数据生成模块、跟踪模块和感知模块；
真实数据生成模块用于获取测试汽车在真实驾驶下的真实雷达点云数据，同时测量记录所述测试汽车的真实轨迹；
模拟数据生成模块用于获取所述测试汽车在模拟驾驶下的模拟雷达点云数据；
跟踪模块用于基于点云跟踪算法，对所述模拟雷达点云数据进行跟踪，生成跟踪轨迹；
感知模块用于对所述跟踪轨迹和所述测试汽车的真实轨迹进行一致性计算，将计算结果进行量化，将量化的结果作为雷达传感器模型的保真度。
可选的，所述感知模块包括：第一计算单元、第二计算单元、第三计算单元和量化单元；
所述第一计算单元用于计算所述跟踪轨迹和所述真实轨迹的均方根误差；
所述第二计算单元用于计算所述跟踪轨迹和所述真实轨迹的最优子模式分配距离；
所述第三计算单元用于基于所述跟踪轨迹的估计形状和所述测试汽车的真实轨迹的预测形状之间的交点面积,除以两种形状的并集面积，来评价所述跟踪轨迹和所述真实轨迹的边界盒预测的性能；
所述量化单元用于将计算结果通过z-score方法映射在0-1空间内，通过调整各一致性计算方法的系数，将映射后的各计算结果相加得到雷达传感器模型的保真度。
本发明的技术效果为：
本发明公开了一种基于雷达传感器模型的保真度检测的评估方法及系统，在感知层使用数据后通过多个度量对雷达模型进行保真度评价。在感知层选为跟踪算法时，通过对比真实轨迹和跟踪轨迹的一致性来对模拟数据的质量进行定量评估。本发明结构非常灵活，能够根据实际需求比如感知方法的不同进行结构调整，并且可以应用于很多种类的雷达传感器模型。能够高效地评估雷达模型的效果，具有很高的经济社会效益。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明实施例一中的基于雷达传感器模型的保真度检测的评估方法流程示意图；
图2为本发明实施例一中的基于雷达传感器模型的保真度检测的评估方法的IoU解释示意图；
图3为本发明实施例二中的基于雷达传感器模型的保真度检测的评估系统结构示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
实施例一
基于雷达传感器模型的保真度检测的评估方法流程示意图如图1所示。本发明的总体流程如下：
获取测试汽车在真实驾驶下的真实雷达点云数据，同时测量记录所述测试汽车的真实轨迹；获取所述测试汽车在模拟驾驶下的模拟雷达点云数据；使用点云跟踪算法，对所述模拟雷达点云数据进行跟踪，生成跟踪轨迹；对所述跟踪轨迹和所述真实轨迹进行一致性计算，将计算结果进行量化，将量化的结果作为雷达传感器模型的保真度。
具体的，本发明从感知层面对雷达传感器模型的保真度进行评价。感知层面评估是通过将真实和模拟的雷达数据输入到为真实雷达数据开发的感知模块后，评估感知模块的输出，进而对雷达传感器模型进行间接评估。其中感知模块中的算法应该普遍适用，不针对特定算法开发，可以认为是一个黑盒，因此本发明具有较强的灵活性。同时每种感知模块的评估度量都有相应的感知算法决定，目前针对感知算法效果检测的研究较为成熟。本发明主要通过常见的目标跟踪(Object Tracking)感知算法对模拟数据进行跟踪，本发明主要介绍的感知算法是目标跟踪(Object Tracking)，通过对模拟数据进行跟踪得到跟踪轨迹。雷达传感器模型的真实度可以通过比较跟踪轨迹与真实轨迹之间的一致性来进行评价。关于跟踪算法精度的性能指标有：
1.均方根误差：xk是k时刻目标的真实值，xk～是目标估计值，M是仿真次数，i表示第几次测量。
2.最优子模式分配距离(OSPA,optimal subpattern assignment),这是一种常用的评价目标跟踪系统整体性能一致性度量方法。p是距离敏感性参数，c是水平调节数，是估计值。
3.第三个度量来评价边界盒预测的性能，以并集上的交集(IoU)作为第三个度量。如图2所示，IoU定义为基于模拟雷达数据的估计形状与基于真实雷达数据的预测形状之间的交点面积，除以两种形状的并集面积。
具体过程为：步骤一:选择测试场景比如前车变道场景。步骤二：进行真实驾驶并记录测量。步骤三：模拟驾驶并生成模拟点云数据。骤四：使用点云跟踪算法对模拟点云进行跟踪，生成跟踪轨迹，通过三种度量即均方误差RMSE、最优子模式分配距离OSPA、IoU指标定量计算。步骤五：各度量结果标准化。各度量结果通过z-score方法映射在0-1空间内。根据需要调整各度量指标的重要性系数。相加得到保真度结果。
本发明通过比较以上三种常见的跟踪算法的精度指标来间接地比较雷达模型的真实度。即将通过模拟数据进行跟踪，将跟踪后的跟踪轨迹与真实的轨迹进行对比，进行以上三种指标的计算，将计算结果通过z-score标准化进行量化作为保真度。
实施例二
基于雷达传感器模型的保真度检测的评估系统结构示意图如图3所示，
一种基于雷达传感器模型的保真度检测的评估系统，包括：真实数据生成模块、模拟数据生成模块、跟踪模块和评估模块；
真实数据生成模块用于获取测试汽车在真实驾驶下的真实雷达点云数据，同时测量记录所述测试汽车的真实轨迹；
模拟数据生成模块用于获取所述测试汽车在模拟驾驶下的模拟雷达点云数据；
跟踪模块用于基于点云跟踪算法，对模拟雷达点云数据进行跟踪，生成跟踪轨迹；
评估模块用于对跟踪轨迹和测试汽车的真实轨迹进行一致性计算，将计算结果进行量化，将量化结果作为雷达传感器模型的保真度。
具体的，评估模块包括：第一计算单元、第二计算单元、第三计算单元和量化单元；
第一计算单元用于计算跟踪轨迹和真实轨迹的均方根误差；
第二计算单元用于计算跟踪轨迹和真实轨迹的最优子模式分配距离；
第三计算单元用于基于跟踪轨迹的估计形状和测试汽车的真实轨迹的预测形状之间的交点面积,除以两种形状的并集面积，来评价跟踪轨迹和真实轨迹的边界盒预测的性能；
量化单元用于将计算结果通过z-score方法映射在0-1空间内，通过调整各一致性计算方法的系数，将映射后的各计算结果相加得到雷达传感器模型的保真度。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。
Claims (8)
1.一种基于雷达传感器模型的保真度检测的评估方法，其特征在于，包括以下步骤：
获取测试汽车在真实驾驶下的真实雷达点云数据，同时测量记录所述测试汽车的真实轨迹；
获取所述测试汽车在模拟驾驶下的模拟雷达点云数据；
使用点云跟踪算法，对所述模拟雷达点云数据进行跟踪，生成跟踪轨迹；
对所述跟踪轨迹和所述真实轨迹进行一致性计算，将计算结果进行量化，将量化的结果作为雷达传感器模型的保真度。
2.根据权利要求1所述的基于雷达传感器模型的保真度检测的评估方法，其特征在于，对所述跟踪轨迹和所述真实轨迹进行一致性计算的方法包括：均方根误差、最优子模式分配距离和IoU指标定量计算。
3.根据权利要求2所述的基于雷达传感器模型的保真度检测的评估方法，其特征在于，所述均方根误差的计算公式为：
其中，xk是k时刻目标的真实值，xk ～是目标估计值，M是仿真次数，i表示第几次测量。
4.根据权利要求2所述的基于雷达传感器模型的保真度检测的评估方法，其特征在于，所述最优子模式分配距离的计算公式为：
其中，p是距离敏感性参数，c是水平调节数，是估计值。
5.根据权利要求2所述的基于雷达传感器模型的保真度检测的评估方法，其特征在于，所述IoU指标定量计算的方法为：基于所述跟踪轨迹的估计形状和所述测试汽车的真实轨迹的预测形状之间的交点面积,除以两种形状的并集面积。
6.根据权利要求2所述的基于雷达传感器模型的保真度检测的评估方法，其特征在于，将计算结果进行量化的方法为：将计算结果通过z-score方法映射在0-1空间内，通过调整各一致性计算方法的系数，将映射后的各计算结果相加得到雷达传感器模型的保真度。
7.一种基于雷达传感器模型的保真度检测的评估系统，其特征在于，包括：真实数据生成模块、模拟数据生成模块、跟踪模块和感知模块；
真实数据生成模块用于获取测试汽车在真实驾驶下的真实雷达点云数据，同时测量记录所述测试汽车的真实轨迹；
模拟数据生成模块用于获取所述测试汽车在模拟驾驶下的模拟雷达点云数据；
跟踪模块用于基于点云跟踪算法，对所述模拟雷达点云数据进行跟踪，生成跟踪轨迹；
感知模块用于对所述跟踪轨迹和所述测试汽车的真实轨迹进行一致性计算，将计算结果进行量化，将量化结果作为雷达传感器模型的保真度。
8.根据权利要求7所述的基于雷达传感器模型的保真度检测的评估系统，其特征在于，所述感知模块包括：第一计算单元、第二计算单元、第三计算单元和量化单元；
所述第一计算单元用于计算所述跟踪轨迹和所述真实轨迹的均方根误差；
所述第二计算单元用于计算所述跟踪轨迹和所述真实轨迹的最优子模式分配距离；
所述第三计算单元用于基于所述跟踪轨迹的估计形状和所述测试汽车的真实轨迹的预测形状之间的交点面积,除以两种形状的并集面积，来评价所述跟踪轨迹和所述真实轨迹的边界盒预测的性能；
所述量化单元用于将计算结果通过z-score方法映射在0-1空间内，通过调整各一致性计算方法的系数，将映射后的各计算结果相加得到雷达传感器模型的保真度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210020092.4A CN114384547B (zh) | 2022-01-10 | 2022-01-10 | 一种基于雷达传感器模型的保真度检测的评估方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210020092.4A CN114384547B (zh) | 2022-01-10 | 2022-01-10 | 一种基于雷达传感器模型的保真度检测的评估方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114384547A CN114384547A (zh) | 2022-04-22 |
| CN114384547B true CN114384547B (zh) | 2025-02-07 |
Family
ID=81198999
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210020092.4A Active CN114384547B (zh) | 2022-01-10 | 2022-01-10 | 一种基于雷达传感器模型的保真度检测的评估方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114384547B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115907566B (zh) * | 2023-02-17 | 2023-05-30 | 小米汽车科技有限公司 | 自动驾驶感知检测能力的评测方法、装置及电子设备 |
| CN116030551B (zh) * | 2023-03-29 | 2023-06-20 | 小米汽车科技有限公司 | 车辆自动驾驶软件的测试方法、装置、设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109917341A (zh) * | 2019-03-08 | 2019-06-21 | 森思泰克河北科技有限公司 | 雷达运动目标跟踪性能测试方法、终端设备及存储介质 |
| CN111707997A (zh) * | 2020-06-03 | 2020-09-25 | 南京慧尔视智能科技有限公司 | 雷达目标跟踪方法、装置、电子设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| SE1551370A1 (sv) * | 2015-10-22 | 2017-02-07 | Uniquesec Ab | Testing method with virtual radar signatures for an automotive safety radar system |
-
2022
- 2022-01-10 CN CN202210020092.4A patent/CN114384547B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109917341A (zh) * | 2019-03-08 | 2019-06-21 | 森思泰克河北科技有限公司 | 雷达运动目标跟踪性能测试方法、终端设备及存储介质 |
| CN111707997A (zh) * | 2020-06-03 | 2020-09-25 | 南京慧尔视智能科技有限公司 | 雷达目标跟踪方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114384547A (zh) | 2022-04-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114384547B (zh) | 一种基于雷达传感器模型的保真度检测的评估方法及系统 | |
| CN106529055A (zh) | 一种基于应变模态振型相关性的模型修正方法 | |
| CN112711260B (zh) | 一种用于自动驾驶车辆误/漏识别的预期功能安全测试评价方法 | |
| CN113221682A (zh) | 基于计算机视觉的桥梁车辆荷载时空分布细粒度识别方法 | |
| CN111912589B (zh) | 一种基于挠度影响线改变量识别梁结构损伤程度的方法 | |
| CN116728783B (zh) | 一种基于3d打印机的仿真方法及系统 | |
| CN116702096B (zh) | 车辆高原环境道路滑行阻力测算方法及装置 | |
| CN118520778B (zh) | 一种基于物理信息神经网络的水下全回转航行体阻力预测方法与优化系统 | |
| JP7543713B2 (ja) | 機械学習プログラム，機械学習装置，機械学習方法，流速場推定プログラム，データ生成装置およびデータ生成方法 | |
| CN115481461A (zh) | 一种基于深度学习的结构风压统计值预测方法 | |
| CN110889207A (zh) | 一种基于深度学习的体系组合模型可信度智能评估方法 | |
| CN112729366B (zh) | 自动驾驶场地测试的天气模拟设备测试评价方法及装置 | |
| JP7622688B2 (ja) | 地図データ生成方法、地図データ生成装置及び地図データ生成プログラム | |
| Ferreira et al. | Improving FEM crash simulation accuracy through local thickness estimation based on CAD data | |
| CN112329283A (zh) | 一种无砟轨道ca砂浆调整层损伤识别方法及系统 | |
| CN112629881B (zh) | 一种自动驾驶仿真测试要素的提取方法 | |
| JP7365633B2 (ja) | 車両シミュレーションシステム、車両シミュレーション方法およびコンピュータプログラム | |
| Watanabe et al. | Towards EFD/CFD integration: development of DAHWIN-digital/analog-hybrid wind tunnel | |
| CN114495055A (zh) | 一种评估街道模型保真度的多指标评估方法 | |
| Aust et al. | Numerical synthesis of radar target detections based on measured reference data | |
| CN113204742A (zh) | 车辆控制参数的标定方法、装置及车辆 | |
| CN118643255B (zh) | 标定矩阵确定方法、设备及计算机可读存储介质 | |
| CN118710647B (zh) | 一种变压器智能快速验收方法及系统 | |
| CN114511727B (zh) | 基于多尺度输入神经网络的建筑风场地面粗糙度识别方法 | |
| CN119272533B (zh) | 一种基于les模拟优化改进tcbl灰区尺度感知相似性函数的方法、介质及程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |