CN111199647B - 一种道路车辆连续变道和违规掉头的监控视频检测方法 - Google Patents
一种道路车辆连续变道和违规掉头的监控视频检测方法 Download PDFInfo
- Publication number
- CN111199647B CN111199647B CN201811365651.5A CN201811365651A CN111199647B CN 111199647 B CN111199647 B CN 111199647B CN 201811365651 A CN201811365651 A CN 201811365651A CN 111199647 B CN111199647 B CN 111199647B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- lane
- continuous
- video
- road
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008859 change Effects 0.000 title claims abstract description 32
- 238000001514 detection method Methods 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 claims abstract description 44
- 238000012544 monitoring process Methods 0.000 claims abstract description 17
- 238000013528 artificial neural network Methods 0.000 claims abstract description 16
- 238000013135 deep learning Methods 0.000 claims abstract description 7
- 230000008569 process Effects 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000005259 measurement Methods 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 230000028838 turning behavior Effects 0.000 claims description 3
- 238000011897 real-time detection Methods 0.000 claims description 2
- 230000006399 behavior Effects 0.000 abstract description 6
- 230000000694 effects Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及一种道路车辆连续变道和违规掉头的监控视频检测方法，摄像头采集道路的视频图像，通过计算机处理视频图像判断城市道路车辆有否连续变道和违规掉头；本发明检测精度高，基于深度学习方法检测车辆，并对车辆匹配跟踪，采用了人工神经网络的方式对车道线进行非线性拟合，适用范围广，本方法不仅可以检测到直线车道，还可以检测弯道等复杂情况，实时性强，本方法可以实时检测视频监控车辆中的违规行为。
Description
技术领域
本发明属于人类感应设备技术领域，特别是涉及一种道路车辆连续变道和违规掉头的监控视频检测方法。
背景技术
现有的车辆连续变道和违规掉头等交通不良行为的检测主要分为两类：
1、基于距离的检测方法，如超声波检测、激光检测方法，该方法价格昂贵、对遮挡物干扰敏感；
2、基于视频的检测方法，如背景建模、帧差法、光流法等。
传统的基于视频的检测方法如背景建模、帧差法、光流法等，对于直线道路上的检测效果尚可，然而由于现实生活中监控摄像头安装角度的限制以及复杂的道路形状，道路弯曲条件下的车辆连续变道和违规掉头检测是目前研究的一个难点。
因此，有必要发明一种道路车辆连续变道和违规掉头的监控视频检测方法。
发明内容
本发明所要解决的技术问题是：提出一种道路车辆连续变道和违规掉头的监控视频检测方法，该方法既能实时检测到监控区域是否出现异常停驶事件，也能检测到异常车辆的当前位置。
本发明采用的技术方案是：包括摄像头和计算机，所述摄像头采集道路的视频图像，通过计算机处理视频图像判断城市道路车辆有否连续变道和违规掉头；
所述道路车辆连续变道和违规掉头的监控视频检测方法，检测方法如下步骤：
S10.通过基于深度学习的目标检测方法检测并识别出来车辆；
S20.基于视频连续两帧的车辆包围框(bounding box)重叠度(Intersection-over-Union,IoU)进行车辆匹配跟踪；
S30.弯曲车道线采用人工神经网络的方法进行拟合；
S40.对车辆跟踪轨迹与弯曲车道线关系进行实时分析，从而检测车辆是否出现连续变道现象；
S50.对车辆跟踪轨迹与弯曲车道线关系进行实时分析，从而检测车辆是否出现违规掉头现象。
进一步方案为，所述S10步骤中，通过基于深度学习的实时检测方法检测并识别出来车辆的具体计算过程如下：
S11.通过城市道路监控视频数据及网络车辆标记数据进行样本模型训练；
S12.读取实时城市道路车辆视频数据，通过模型检测物体；
S13.读取检测框，识别物体，保存返回值为车辆的数据，并输出视频帧的车辆包围框。
进一步方案为，所述S20步骤中，车辆匹配跟踪具体过程如下：
S21.提取视频连续两帧的车辆包围框(bounding box)重叠度(Intersection-over-Union,IoU)，并以IoU作为测量标准，在输出中得到的预测范围(bounding boxex)，从而计算出测量真实和预测之间的相关度，相关度越高，该值越高，IoU计算方法如下：
IoU＝(Area of Overlap)/(Area of Union)；
S22.计算当前帧及上一帧的IoU，如果大于某一设定的阈值，则将上一帧车辆的ID赋值给当前帧车辆，并将车辆的当前位置信息存储起来；
S23.如果所得的IoU小于或等于阈值，则赋予当前帧车辆一个新的ID，并同时将车辆的当前位置信息存储起来。
进一步方案为，所述S30步骤中，弯曲车道线拟合的具体计算过程如下：
S31，读取视频帧，并提取弯曲车道线坐标；
S32，采用人工神经网络的方法，拟合弯曲车道线，人工神经网络包含输入层、3层隐藏层、输出层，隐藏层神经元个数为8，均方差作为损失函数，学习率为0.035。
进一步方案为，所述S40步骤中，检测车辆是否违规进行连续变道的具体步骤如下：
S41.基于车辆匹配跟踪所得的车辆位置信息与拟合弯曲车道线信息，判断该车辆所处于的车道线区间，并作标记为R1；
S42.如果车辆的位置信息处于R1并且持续未发生改变，则代表车辆没有变道，通过关联车道信息与车辆位置信息判断当前车辆所处车道位置；
S43.设定规定帧数范围，如果车辆所处的车道连续发生变化，例如由R1改变为R2，并继续改变为R3，则认为该车辆违规进行连续变道。
进一步方案为，所述S50步骤中，检测车辆是否出现违规掉头行为具体过程如下：
S51.基于车辆匹配跟踪所得的车辆位置信息与拟合弯曲车道线信息，判断该车辆所处于的车道线区间，并作标记为R1；
S52.如果车辆的位置信息处于R1并且持续未发生改变，则代表车辆没有变道，通过关联车道信息与车辆位置信息判断当前车辆所处车道位置；
S53.标记不可掉头区域；
S54.设定规定帧数范围，在不可掉头区域中，如果车辆所处的车道发生改变并车辆位置向相反方向进行，则认为该车辆违规掉头。
本发明提供的技术方案带来的有益效果是：通过摄像头采集道路的视频图像，再通过计算机处理视频图像判断城市道路车辆有否连续变道和违规掉头；
1、检测精度高，采用了人工神经网络的方式对道路进行非线性拟合，任何车辆的位置都可确定于某两个车道之间，基于车道信息与车辆坐标来实现精准判断车辆情况不再困难；
2、适用范围广，本方法不仅可以检测到直线车道，还可以检测弯道等复杂情况；
3、实时性强，本方法可以实时检测视频监控车辆中的违规行为。
附图说明：
图1为本发明道路车辆连续变道和违规掉头的监控视频检测方法实施例的流程示意图；
图2为本发明神经网络示意图；
图3本发明神经网络算法拟合出来的道路曲线与实际的二维空间位置重合示意图；
图4为连续两帧车辆包车框的重叠度进行车辆匹配跟踪的效果黑白截图。
具体实施方式
为了更充分理解本发明的技术内容，下面结合附图和具体实施例对本发明的技术方案进一步介绍和说明，但不局限于此。
参见图1至图4所示，一种道路车辆连续变道和违规掉头的监控视频检测方法，包括摄像头和计算机，摄像头采集道路的视频图像，通过计算机处理视频图像判断城市道路车辆有否连续变道和违规掉头。
如图1所示，在本发明实施例中，该道路车辆连续变道和违规掉头的监控视频检测方法包括如下步骤：
S10.通过基于深度学习的目标检测方法检测并识别出来车辆；
S20.基于视频连续两帧的车辆包围框(bounding box)重叠度(Intersection-over-Union,IoU)进行车辆匹配跟踪；
S30.弯曲车道线采用人工神经网络的方法进行拟合；
S40.对车辆跟踪轨迹与弯曲车道线关系进行实时分析，从而检测车辆是否出现连续变道现象；
S50.对车辆跟踪轨迹与弯曲车道线关系进行实时分析，从而检测车辆是否出现违规掉头现象。
以上各步骤具体方法如下：
其中步骤S10，通过基于深度学习的目标检测方法检测并识别出来车辆；
具体地，车辆检测识别过程如下：
S11，通过城市道路监控视频数据及网络车辆标记数据进行样本模型训练，使用159257张图片作为训练数据；
S12，读取实时城市道路车辆视频数据，通过模型检测物体；
S13，读取检测框，识别物体，保存返回值为车辆的数据，并输出视频帧的车辆包围框。
其中步骤S20，基于视频连续两帧的车辆包围框(bounding box)重叠度(Intersection-
over-Union,IoU)进行车辆匹配跟踪；
具体步骤如下：
S21，提取视频连续两帧的车辆包围框(bounding box)重叠度(Intersection-over-Union,IoU)，并以IoU作为测量标准，在输出中得到的预测范围(bounding boxex)，从而计算出测量真实和预测之间的相关度，相关度越高，该值越高，IoU计算方法如下：
IoU＝(Area of Overlap)/(Area of Union)；
S22，计算当前帧及上一帧的IoU，如果大于某一设定的阈值，则将上一帧车辆的ID赋值给当前帧车辆，并将车辆的当前位置信息存储起来；
S23，如果所得的IoU小于或等于阈值，则赋予当前帧车辆一个新的ID，并同时将车辆的当前位置信息存储起来。
其中步骤S30，弯曲车道线采用人工神经网络的方法进行拟合，弯曲车道线拟合的具体计算过程如下：
S31，读取视频帧，并提取弯曲车道线坐标；
S32，采用人工神经网络的方法，拟合弯曲车道线，人工神经网络包含输入层、3层隐藏层、输出层，隐藏层神经元个数为8，均方差作为损失函数，学习率为0.035。
其中步骤S40，对车辆跟踪轨迹与弯曲车道线关系进行实时分析，从而检测车辆是否出现连续变道行为，
具体地，检测车辆是否出现连续变道行为的步骤如下：
S41，基于车辆匹配跟踪所得的车辆位置信息与拟合弯曲车道线信息，判断该车辆所处于的车道线区间，并作标记为R1；
S42，如果车辆的位置信息处于R1并且持续未发生改变，则代表车辆没有变道，通过关联车道信息与车辆位置信息判断当前车辆所处车道位置；
S43，设定规定帧数范围内，如果车辆所处的车道连续发生变化，例如由R1改变为R2，并继续改变为R3，则认为该车辆违规进行连续变道。
结果如图3所示，由图可知，使用神经网络算法拟合出来的道路曲线与实际的二维空间位置重合，可知其准确性能好。
其中步骤S50，对车辆跟踪轨迹与弯曲车道线关系进行实时分析，从而检测车辆是否出现违规掉头行为。
具体地，在步骤S50中，检测车辆是否出现违规掉头行为的步骤如下：
S51，基于车辆匹配跟踪所得的车辆位置信息与拟合弯曲车道线信息，判断该车辆所处于的车道线区间，并作标记为R1；
S52，如果车辆的位置信息处于R1并且持续未发生改变，则代表车辆没有变道，通过关联车道信息与车辆位置信息判断当前车辆所处车道位置；
S53，标记不可掉头区域；
S54，设定规定帧数范围内，在不可掉头区域中，如果车辆所处的车道发生改变并车辆位置向相反方向进行，则认为该车辆违规掉头，如图4所示，为连续两帧车辆包车框的重叠度进行车辆匹配跟踪的效果黑白截图。
本发明通过摄像头采集道路的视频图像，再通过计算机处理视频图像判断城市道路车辆有否连续变道和违规掉头，具有以下优点；
1、检测精度高，采用了人工神经网络的方式对道路进行非线性拟合，任何车辆的位置都可确定于某两个车道之间，基于车道信息与车辆坐标来实现精准判断车辆情况不再困难；
2、适用范围广，本方法不仅可以检测到直线车道，还可以检测弯道等复杂情况；
3、实时性强，本方法可以实时检测视频监控车辆中的违规行为。
以上所述仅为本专利优选实施方式，并非限制本专利范围，凡是利用说明书及附图内容所作的等效结构或等效流程变换，直接或间接运用在其它相关的技术领域，均属于本专利保护范围。
Claims (6)
1.一种道路车辆连续变道和违规掉头的监控视频检测方法，其特征在于：包括摄像头和计算机，所述摄像头采集道路的视频图像，通过计算机处理视频图像判断城市道路车辆有否连续变道和违规掉头；所述道路车辆连续变道和违规掉头的监控视频检测方法，检测方法如下步骤：
S10.通过基于深度学习的目标检测方法检测并识别出来车辆；
S20.基于视频连续两帧的车辆包围框(bounding box)重叠度(Intersection-overUnion，IoU)进行车辆匹配跟踪；
S30.弯曲车道线采用人工神经网络的方法进行拟合；
S40.对车辆跟踪轨迹与弯曲车道线关系进行实时分析，判断该车辆所处于的车道线区间，从而检测车辆是否出现连续变道现象；
S50.对车辆跟踪轨迹与弯曲车道线关系进行实时分析，从而检测车辆是否出现违规掉头现象。
2.根据权利要求1所述的道路车辆连续变道和违规掉头的监控视频检测方法，其特征在于：所述S10步骤中，通过基于深度学习的实时检测方法检测并识别出来车辆的具体计算过程如下：
S11.通过城市道路监控视频数据及网络车辆标记数据进行样本模型训练；
S12.读取实时城市道路车辆视频数据，通过模型检测物体；
S13.读取检测框，识别物体，保存返回值为车辆的数据，并输出视频帧的车辆包围框。
3.根据权利要求1所述的道路车辆连续变道和违规掉头的监控视频检测方法，其特征在于：所述S20步骤中，车辆匹配跟踪具体过程如下：
S21.提取视频连续两帧的车辆包围框(bounding box)重叠度(Intersection-overUnion,IoU)，并以IoU作为测量标准，在输出中得到的预测范围(bounding boxex)，从而计算出测量真实和预测之间的相关度，相关度越高，该值越高，IoU计算方法如下：IoU＝(Area of Overlap)/(Area of Union)；
S22.计算当前帧及上一帧的IoU，如果大于某一设定的阈值，则将上一帧车辆的ID赋值给当前帧车辆，并将车辆的当前位置信息存储起来；
S23.如果所得的IoU小于或等于阈值，则赋予当前帧车辆一个新的ID，并同时将车辆的当前位置信息存储起来。
4.根据权利要求1所述的道路车辆连续变道和违规掉头的监控视频检测方法，其特征在于：所述S30步骤中，弯曲车道线拟合的具体计算过程如下：
S31，读取视频帧，并提取弯曲车道线坐标；
S32，采用人工神经网络的方法，拟合弯曲车道线，人工神经网络包含输入层、3层隐藏层、输出层，隐藏层神经元个数为8，均方差作为损失函数，学习率为0.035。
5.根据权利要求1所述的道路车辆连续变道和违规掉头的监控视频检测方法，其特征在于：所述S40步骤中，检测车辆是否违规进行连续变道的具体步骤如下：
S41.基于车辆匹配跟踪所得的车辆位置信息与拟合弯曲车道线信息，判断该车辆所处于的车道线区间，并作标记为R1；
S42.如果车辆的位置信息处于R1并且持续未发生改变，则代表车辆没有变道，通过关联车道信息与车辆位置信息判断当前车辆所处车道位置；
S43.设定规定帧数范围，如果车辆所处的车道连续发生变化，例如由R1改变为R2，并继续改变为R3，则认为该车辆违规进行连续变道。
6.根据权利要求1所述的道路车辆连续变道和违规掉头的监控视频检测方法，其特征在于：所述S50步骤中，检测车辆是否出现违规掉头行为具体过程如下：
S51.基于车辆匹配跟踪所得的车辆位置信息与拟合弯曲车道线信息，判断该车辆所处于的车道线区间，并作标记为R1；
S52.如果车辆的位置信息处于R1并且持续未发生改变，则代表车辆没有变道，通过关联车道信息与车辆位置信息判断当前车辆所处车道位置；
S53.标记不可掉头区域；
S54.设定规定帧数范围，在不可掉头区域中，如果车辆所处的车道发生改变并车辆位置向相反方向进行，则认为该车辆违规掉头。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811365651.5A CN111199647B (zh) | 2018-11-16 | 2018-11-16 | 一种道路车辆连续变道和违规掉头的监控视频检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811365651.5A CN111199647B (zh) | 2018-11-16 | 2018-11-16 | 一种道路车辆连续变道和违规掉头的监控视频检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111199647A CN111199647A (zh) | 2020-05-26 |
| CN111199647B true CN111199647B (zh) | 2021-10-01 |
Family
ID=70747317
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811365651.5A Active CN111199647B (zh) | 2018-11-16 | 2018-11-16 | 一种道路车辆连续变道和违规掉头的监控视频检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111199647B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111968378A (zh) * | 2020-07-07 | 2020-11-20 | 浙江大华技术股份有限公司 | 机动车闯红灯抓拍方法、装置、计算机设备和存储介质 |
| CN112668428A (zh) * | 2020-12-21 | 2021-04-16 | 北京百度网讯科技有限公司 | 车辆变道的检测方法、路侧设备、云控平台和程序产品 |
| CN112906566B (zh) * | 2021-02-18 | 2024-02-13 | 天津大学 | 一种吊臂车作业场景下行人违规逗留的景深判别方法 |
| CN112991749B (zh) * | 2021-05-13 | 2021-07-20 | 腾讯科技（深圳）有限公司 | 车辆违章识别方法与装置、介质及电子设备 |
| CN113569666B (zh) * | 2021-07-09 | 2023-12-15 | 东风汽车集团股份有限公司 | 车辆连续违法变道的检测方法及计算机设备 |
| CN113487878A (zh) * | 2021-07-12 | 2021-10-08 | 重庆长安新能源汽车科技有限公司 | 一种机动车违章压线行驶检测方法及系统 |
| CN116612642B (zh) * | 2023-07-19 | 2023-10-17 | 长沙海信智能系统研究院有限公司 | 一种车辆连续变道检测方法及电子设备 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102622884B (zh) * | 2012-03-22 | 2015-04-29 | 杭州电子科技大学 | 一种基于跟踪的车辆违章掉头行为检测方法 |
| CN102819952B (zh) * | 2012-06-29 | 2014-04-16 | 浙江大学 | 一种基于视频检测技术的车辆违法变道检测方法 |
| CN106886755A (zh) * | 2017-01-19 | 2017-06-23 | 北京航空航天大学 | 一种基于交通标志识别的交叉口车辆违章检测系统 |
| JP6763344B2 (ja) * | 2017-04-12 | 2020-09-30 | トヨタ自動車株式会社 | 車線変更支援装置 |
| CN106981202A (zh) * | 2017-05-22 | 2017-07-25 | 中原智慧城市设计研究院有限公司 | 一种基于车道模型的车辆来回变道检测方法 |
| CN108090456B (zh) * | 2017-12-27 | 2020-06-19 | 北京初速度科技有限公司 | 识别车道线模型的训练方法、车道线识别方法及装置 |
-
2018
- 2018-11-16 CN CN201811365651.5A patent/CN111199647B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN111199647A (zh) | 2020-05-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111199647B (zh) | 一种道路车辆连续变道和违规掉头的监控视频检测方法 | |
| Zhangyu et al. | A camera and LiDAR data fusion method for railway object detection | |
| Jog et al. | Pothole properties measurement through visual 2D recognition and 3D reconstruction | |
| Koch et al. | Automated pothole distress assessment using asphalt pavement video data | |
| CN111191629B (zh) | 一种基于多目标的图像能见度检测方法 | |
| KR100969995B1 (ko) | 영상처리기법을 이용한 신호교차로의 교통상충 판단 시스템및 방법 | |
| CN114518573B (zh) | 一种用于多雷达的车辆跟踪方法、设备及介质 | |
| US20180253973A1 (en) | Real-time video analytics for traffic conflict detection and quantification | |
| CN111753797B (zh) | 一种基于视频分析的车辆测速方法 | |
| Revilloud et al. | An improved approach for robust road marking detection and tracking applied to multi-lane estimation | |
| CN105976398A (zh) | 一种白天火灾视频检测方法 | |
| Ren et al. | Lane Detection in Video‐Based Intelligent Transportation Monitoring via Fast Extracting and Clustering of Vehicle Motion Trajectories | |
| Im et al. | Bigdata analytics on CCTV images for collecting traffic information | |
| Talha et al. | A LiDAR-camera fusion approach for automated detection and assessment of potholes using an autonomous vehicle platform | |
| CN118505732B (zh) | 一种基于机器视觉的道路积水趋势预测方法、设备及介质 | |
| CN118822996B (zh) | 基于MIU-Transformer的装配式桥梁焊接质量检测方法 | |
| Yoon et al. | Convergence of Stereo Vision-Based Multimodal YOLOs for Faster Detection of Potholes. | |
| CN119516498A (zh) | 基于人工智能的辅助驾驶方法及系统 | |
| CN114581863A (zh) | 车辆危险状态识别方法及系统 | |
| Laureshyn et al. | Automated video analysis as a tool for analysing road user behaviour | |
| CN115019260B (zh) | 一种道路积雪状态识别方法、装置及电子设备 | |
| Lu et al. | Monocular multi-kernel based lane marking detection | |
| He et al. | An automatic defect detection and localization method using imaging geometric features for sewer pipes | |
| Dong | Investigation of computer vision concepts and methods for structural health monitoring and identification applications | |
| Shi et al. | Real-time risk assessment of road vehicles based on inverse perspective mapping |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |