[go: up one dir, main page]

CN118323197B - 自动驾驶车辆中预测模型的训练和使用方法、装置及车辆 - Google Patents

自动驾驶车辆中预测模型的训练和使用方法、装置及车辆 Download PDF

Info

Publication number
CN118323197B
CN118323197B CN202410760362.4A CN202410760362A CN118323197B CN 118323197 B CN118323197 B CN 118323197B CN 202410760362 A CN202410760362 A CN 202410760362A CN 118323197 B CN118323197 B CN 118323197B
Authority
CN
China
Prior art keywords
intersection
training
image
prediction model
driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410760362.4A
Other languages
English (en)
Other versions
CN118323197A (zh
Inventor
高营
苗乾坤
张�雄
李炜良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neolix Technologies Co Ltd
Original Assignee
Neolix Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neolix Technologies Co Ltd filed Critical Neolix Technologies Co Ltd
Priority to CN202410760362.4A priority Critical patent/CN118323197B/zh
Publication of CN118323197A publication Critical patent/CN118323197A/zh
Application granted granted Critical
Publication of CN118323197B publication Critical patent/CN118323197B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18154—Approaching an intersection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B60W2050/0028—Mathematical models, e.g. for simulation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请公开了一种自动驾驶车辆中预测模型的训练和使用方法、装置及车辆，属于自动驾驶技术领域。获取两个训练集，第一训练集中的第一标签用于标注路口图像中的真实目标信息，第二训练集中的第二标签用于标注真实行驶策略，路口特征融合图像是将路口图像和真实目标信息融合后得到的图像；创建预测模型，预测模型的意图预测模型中包括用于预测每种行驶策略的概率值的预测模块，且预测模块是基于多种行驶策略之间的关联性设置的；利用第一训练集中的路口图像和第一标签对目标检测模型进行训练；利用第二训练集中的路口特征融合图像和第二标签对意图预测模型进行训练。本申请能节省高精地图的标注和维护成本，降低检测难度，提高了检测效率。

Description

自动驾驶车辆中预测模型的训练和使用方法、装置及车辆
技术领域
本申请涉及自动驾驶技术领域，特别涉及一种自动驾驶车辆中预测模型的训练和使用方法、装置及车辆。
背景技术
当自动驾驶车辆行驶到路口时，自动驾驶车辆中部署的预测模型需要识别路口的行驶环境，根据识别结果生成决策指令并发送给执行模块，由执行模块指导自动驾驶车辆的实际行驶。
相关技术中，预测模型对路口的行驶环境的识别强依赖于红绿灯。具体的，自动驾驶车辆中部署的相机会从不同角度全方位采集路口周边的图像信息，这些图像不仅包括路面情况、车辆位置，还包括关键的交通信号灯、路牌等重要元素，为后续的检测和决策提供了宝贵的视觉数据。然后，利用目标检测算法，如YOLO系列，对采集的图像进行检测，识别出图像中各个红绿灯的位置、颜色、朝向以及灯型等红绿灯信息。然后，将检测到的红绿灯信息与预先构建的三维高精地图中的红绿灯位置进行匹配，成功匹配后，可获知自动驾驶车辆的行驶方向所待看的红绿灯的颜色、灯型等重要信息。最后，根据匹配获得的红绿灯的状态，结合人工预先在预测模型中设定的复杂决策规则，可以推断出当前路口环境下，自动驾驶车辆是否能够直行、左转、右转或停车等动作决策。这些决策规则由交通法规、安全距离等多方面因素综合决定，需要开发人员根据实际情况进行精心设计和调试，以确保决策的准确性和车辆的行驶安全。
在进行路口的行驶环境识别时，不仅要求目标检测算法具备卓越的检测精度，还必须有很强的鲁棒性，能够适应各种复杂的环境条件，如阳光直射、阴暗潮湿、雾霾等不利气象，且要求目标检测算法能够可靠识别出各种形状、尺寸、朝向的红绿灯，涵盖行人灯、车灯、箭头灯等多种类型，这对目标检测算法的设计、训练数据的质量和数量都提出了很高的要求。当三维高精地图的准确度不高，更新频率低时，容易出现匹配失败甚至误匹配的情况。另外，预测模型中设定的决策规则无法涵盖所有的行驶环境，这就导致预测模型无法生成准确的决策指令，导致自动驾驶车辆无法正常行驶。
发明内容
本申请提供了一种自动驾驶车辆中预测模型的训练和使用方法、装置及车辆，用于解决路口的行驶环境的识别不准确、无法进行决策指导的问题。所述技术方案如下：
根据本申请的第一方面，提供了一种自动驾驶车辆中预测模型的训练方法，所述方法包括：
获取第一训练集和第二训练集，所述第一训练集中的训练样本包括路口图像和第一标签，所述第二训练集中的训练样本包括路口特征融合图像和第二标签，所述第一标签用于标注所述路口图像中各个目标的真实目标信息，所述第二标签用于标注真实行驶策略，所述路口特征融合图像是将所述路口图像和所述真实目标信息融合后得到的图像，所述真实行驶策略是基于所述路口图像所示的路口的行驶环境，从多种行驶策略中选出的一种正确的行驶策略；
创建预测模型，所述预测模型包括目标检测模型和意图预测模型，所述意图预测模型中包括用于预测每种行驶策略的概率值的预测模块，且所述预测模块是基于所述多种行驶策略之间的关联性设置的；
利用所述第一训练集中的路口图像和第一标签对所述目标检测模型进行训练；
利用所述第二训练集中的路口特征融合图像和第二标签对所述意图预测模型进行训练，得到训练好的预测模型，所述训练好的预测模型用于基于输入的路口图像预测自动驾驶车辆的行驶策略。
在一种可能的实现方式中，所述方法还包括：
根据所述路口图像的真实目标信息生成单通道的二值图；
将三通道的所述路口图像与单通道的所述二值图进行拼接，得到四通道的路口特征融合图像。
在一种可能的实现方式中，所述利用所述第一训练集中的路口图像和第一标签对所述目标检测模型进行训练，包括：
在每轮训练中，利用所述目标检测模型对所述第一训练集中的路口图像进行处理，得到预测目标信息；根据第一损失函数对所述预测目标信息和对应的真实目标信息进行损失计算，并根据所述损失计算更新所述目标检测模型。
在一种可能的实现方式中，所述利用所述第二训练集中的路口特征融合图像和第二标签对所述意图预测模型进行训练，包括：
在每轮训练中，利用所述意图预测模型对所述第二训练集中的路口特征融合图像进行处理，得到预测行驶策略；根据第二损失函数对所述预测行驶策略和对应的真实行驶策略进行损失计算，并根据所述损失计算更新所述意图预测模型。
在一种可能的实现方式中，所述预测模块中的分布函数和超参数是基于所述多种行驶策略之间的关联性设置的。
根据本申请的第二方面，提供了一种自动驾驶车辆中预测模型的使用方法，所述方法包括：
获取自动驾驶车辆在路口采集的路口图像；
获取预先训练的预测模型，所述预测模型采用如上所述的训练方法训练得到；
利用所述预测模型对所述路口图像进行处理，得到每种行驶策略的概率值；
将概率值最大的行驶策略确定为预测行驶策略，所述预测行驶策略用于指示所述自动驾驶车辆在所述路口的行驶策略。
根据本申请的第三方面，提供了一种自动驾驶车辆中预测模型的训练装置，所述装置包括：
训练集获取模块，用于获取第一训练集和第二训练集，所述第一训练集中的训练样本包括路口图像和第一标签，所述第二训练集中的训练样本包括路口特征融合图像和第二标签，所述第一标签用于标注所述路口图像中各个目标的真实目标信息，所述第二标签用于标注真实行驶策略，所述路口特征融合图像是将所述路口图像和所述真实目标信息融合后得到的图像，所述真实行驶策略是基于所述路口图像所示的路口的行驶环境，从多种行驶策略中选出的一种正确的行驶策略；
模型创建模块，用于创建预测模型，所述预测模型包括目标检测模型和意图预测模型，所述意图预测模型中包括用于预测每种行驶策略的概率值的预测模块，且所述预测模块是基于所述多种行驶策略之间的关联性设置的；
第一训练模块，用于利用所述第一训练集中的路口图像和第一标签对所述目标检测模型进行训练；
第二训练模块，用于利用所述第二训练集中的路口特征融合图像和第二标签对所述意图预测模型进行训练，得到训练好的预测模型，所述训练好的预测模型用于基于输入的路口图像预测自动驾驶车辆的行驶策略。
根据本申请的第四方面，提供了一种自动驾驶车辆中预测模型的使用装置，所述装置包括：
图像获取模块，用于获取自动驾驶车辆在路口采集的路口图像；
模型获取模块，用于获取预先训练的预测模型，所述预测模型采用如上所述的训练方法训练得到；
概率计算模块，用于利用所述预测模型对所述路口图像进行处理，得到每种行驶策略的概率值；
策略确定模块，用于将概率值最大的行驶策略确定为预测行驶策略，所述预测行驶策略用于指示所述自动驾驶车辆在所述路口的行驶策略。
根据本申请的第五方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如上所述的自动驾驶车辆中预测模型的训练方法，或者，所述至少一条指令由处理器加载并执行以实现如上所述的自动驾驶车辆中预测模型的使用方法。
根据本申请的第六方面，提供了一种自动驾驶车辆，自动驾驶车辆包括：如上所述的自动驾驶车辆中预测模型的使用装置。
本申请提供的技术方案的有益效果至少包括：
通过训练一种端到端的预测模型，可以直接根据路口图像中的全局信息生成对应的行驶策略，不再需要识别红绿灯的颜色、朝向、灯型等细致信息，也不再需要依赖于高精地图、人工设计的复杂规则，既能够节省大量的高精地图的标注和维护成本，也降低了检测难度，提高了检测效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是一种预测模型的结构示意图；
图2是本申请一个实施例提供的自动驾驶车辆中预测模型的训练方法的流程图；
图3是本申请一个实施例提供的自动驾驶车辆中预测模型的使用方法的流程图；
图4是红绿灯被遮挡时使用预测模型的示意图；
图5是红绿灯被遮挡时使用预测模型的示意图；
图6是红绿灯被太阳光反射时使用预测模型的示意图；
图7是本申请一个实施例提供的自动驾驶车辆中预测模型的训练装置的结构框图；
图8是本申请一个实施例提供的自动驾驶车辆中预测模型的使用装置的结构框图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
本申请设计了一种端到端的预测模型，该预测模型采用端到端的深度学习架构，其作用是基于采集图像准确地识别和定位路口的目标，如车辆、行人、交通标志等，还可以同时预测自动驾驶车辆在该路口可执行的所有行驶策略。这里所说的行驶策略包括直行（Straight）、左转（Left）、右转（Right）、掉头（Uturn）中的至少一种，也可以包括此处未提到的其他策略，本实施例对此不作限制。
如图1所示，预测模型包括目标检测模型和意图预测模型，下面分别对这两个模型的结构和输入输出数据进行说明：
（1）目标检测模型包括骨干（backbone）、颈部（neck）和头部（head）这三个部分，其中，骨干（backbone）的主要功能是进行特征提取，颈部（neck）的主要功能是对多尺度特征信息进行特征融合，头部（head）的主要功能是输出预测目标信息。骨干（backbone）、颈部（neck）和头部（head）的具体结构可以根据实际业务需求设置，本实施例对此不作限定。
目标检测模型的输入是一张路口图像，输出是路口图像中各个目标对象的目标信息，包括：目标位置（Reg）、目标置信度（Obj）、目标类别（Cls）。
例如，图1中第一行检测结果中的[3008， 859， 3101， 1027]代表一个检测框的左上角和右下角坐标，用于定位目标对象在路口图像中的位置。 [0]代表目标对象的类别，0代表类别是红绿灯。[0.922]代表检测框中是一个目标对象的置信度，数值越接近1，代表越可能是一个目标对象。
目标检测模型的作用是能够快速准确地识别和定位路口图像中的目标对象，如车辆、行人、交通标志等。
（2）意图预测模型包括骨干（backbone）和头部（head）这两个部分，其中，骨干（backbone）的主要功能是进行特征提取，头部（head）的主要功能是输出每种行驶策略的概率值。骨干（backbone）和头部（head）的具体结构可以根据实际业务需求设置，本实施例对此不作限定。
意图预测模型的输入是一张路口特征融合图像，该路口特征融合图像是将路口图像和目标信息融合后得到的图像，输出是每种行驶策略的概率值。
意图预测模块的作用是基于当前交通环境，预测自动驾驶车辆在该路口可执行的所有行驶策略。意图预测模型能够准确的根据路口特征融合图像，对同向行驶车辆、侧向行驶车辆、红绿灯等路口关键信息进行关联学习，根据综合信息判断在当前情况下自动驾驶车辆是否能够直行、左转、掉头或右转等。
下面对预测模型的训练过程进行说明。
如图2所示，其示出了本申请一个实施例提供的自动驾驶车辆中预测模型的训练方法的方法流程图。该自动驾驶车辆中预测模型的训练方法，可以包括：
步骤201，获取第一训练集和第二训练集，第一训练集中的训练样本包括路口图像和第一标签，第二训练集中的训练样本包括路口特征融合图像和第二标签，第一标签用于标注路口图像中各个目标的真实目标信息，第二标签用于标注真实行驶策略，路口特征融合图像是将路口图像和真实目标信息融合后得到的图像，真实行驶策略是基于路口图像所示的路口的行驶环境，从多种行驶策略中选出的一种正确的行驶策略。
本实施例中的训练集包括第一训练集和第二训练集，第一训练集用于训练目标检测模型，第二训练集用于训练意图预测模型。第一训练集中的路口图像是对路口进行拍摄得到的图像，第二训练集中的路口特征融合模块是对真实目标信息和路口图像进行融合得到的，标签是人工标注的，用于表示与路口图像相关的信息。
为了便于区分，本实施例中将第一训练集中的标签称为第一标签，将第二训练集中的标签称为第二标签。
第一标签标注的是路口图像中各个目标对象的真实目标信息。这里所说的目标对象可以包括车辆、行人、交通标志等，真实目标信息可以包括目标位置（Reg）、目标置信度（Obj）、目标类别（Cls）等。
第二标签标注的是路口图像对应的真实行驶策略。这里所说的真实行驶策略可以是直行（Straight）、左转（Left）、右转（Right）、掉头（Uturn）中的一种。
在生成路口特征融合图像时，需要将目标信息与路口图像进行融合。这一步的目的是将感知得到的结果与原图进行融合，让意图预测模型能够更加关注图像中的目标对象信息，而不是图像中的其他信息（例如高楼、树木，此类信息难以对自动驾驶车辆判断能否通行此路口起到帮助）。
具体的，可以根据路口图像的真实目标信息生成单通道的二值图；将三通道的路口图像与单通道的二值图进行拼接，得到四通道的路口特征融合图像。其中，可以将二值图中的前景区域（有目标对象）的灰度值设置为255，背景区域的灰度值设置为0，如图1所示。
步骤202，创建预测模型，预测模型包括目标检测模型和意图预测模型，意图预测模型中包括用于预测每种行驶策略的概率值的预测模块，且预测模块是基于多种行驶策略之间的关联性设置的。
意图预测模型中还设置有预测模块，该预测模块用于预测每种行驶策略的概率值。
相关技术中，模型只相信第二标签中标注的真实行驶策略，完全否定其他行驶策略，其预测模块的公式如下：
其中，k表示类别，k∈{1，…，K}，x表示预测值，y表示真值，表示预测值的分布，表示真值的分布，是一个狄拉克分布，也就是只有当k=y时，=1，其余情况=0。此范式容易导致模型过度拟合，降低泛化能力。标签虽然是人工标注的，具备非常高的准确率，但是也是会出现小部分的错标，为了让意图预测模型更具鲁棒性，我们对预测模块进行了修改，新的预测模块的公式如下：
其中，表示新的预测值分布，是一个超参数，用于控制标签平滑的程度，其取值范围满足0＜＜1，越大，代表标签越平滑。u（k）表示某个分布，如均匀分布、高斯分布等等。当u（k）表示均匀分布时，u（k）=1/K，对应的，新的预测模块的公式如下：
为了更直观地了解更改前后的预测值分布变化，举一个例子来进行说明： y=3，k=4，=0.1，则有：{0，0，1，0} ={0.025，0.025，0.925，0.025}
其中，预测模块中的分布函数和超参数是基于多种行驶策略之间的关联性设置的，以使预测模型更加适合路口的应用场景。比如，现实世界的路口中，左转往往与右转和直行是互斥的，与掉头是相关联的，则当真值为左转时，可以给关联性较高的掉头的概率值相比互斥的概率值更大。
步骤203，利用第一训练集中的路口图像和第一标签对目标检测模型进行训练。
具体的，利用第一训练集中的路口图像和第一标签对目标检测模型进行训练，可以包括：在每轮训练中，利用目标检测模型对第一训练集中的路口图像进行处理，得到预测目标信息；根据第一损失函数对预测目标信息和对应的真实目标信息进行损失计算，并根据损失计算更新目标检测模型。其中，第一损失函数是Loss=Lreg+Lobj+Lcls，Lreg表示目标位置的损失函数，Lobj表示目标置信度的损失函数，Lcls表示目标类别的损失函数。
步骤204，利用第二训练集中的路口特征融合图像和第二标签对意图预测模型进行训练，得到训练好的预测模型，训练好的预测模型用于基于输入的路口图像预测自动驾驶车辆的行驶策略。
具体的，利用第二训练集中的路口特征融合图像和第二标签对意图预测模型进行训练，可以包括：在每轮训练中，利用意图预测模型对第二训练集中的路口特征融合图像进行处理，得到预测行驶策略；根据第二损失函数对预测行驶策略和对应的真实行驶策略进行损失计算，并根据损失计算更新意图预测模型。其中，第二损失函数是Loss= Lstraight+Lleft+Lright+Luturn，Lstraight表示直行的损失函数，Lleft表示左转的损失函数，Lright表示右转的损失函数，Luturn表示掉头的损失函数。
综上所述，本申请实施例提供的自动驾驶车辆中预测模型的训练方法，通过训练一种端到端的预测模型，可以直接根据路口图像中的全局信息生成对应的行驶策略，不再需要识别红绿灯的颜色、朝向、灯型等细致信息，也不再需要依赖于高精地图、人工设计的复杂规则，既能够节省大量的高精地图的标注和维护成本，也降低了检测难度，提高了检测效率。
下面对预测模型的使用过程进行说明。
如图3所示，其示出了本申请一个实施例提供的自动驾驶车辆中预测模型的使用方法的流程图。该自动驾驶车辆中预测模型的使用方法，可以包括：
步骤301，获取自动驾驶车辆在路口采集的路口图像。
自动驾驶车辆利用安装在车辆上的高分辨率相机来采集实时路口图像，该路口图像包括红绿灯、车辆、行人等关键信息。高质量的图像能够让自动驾驶车辆的感知距离更远，是确保后续处理环节准确性的基础。
步骤302，获取预先训练的预测模型。
其中，预测模型采用如图2的训练方法训练得到。
步骤303，利用预测模型对路口图像进行处理，得到每种行驶策略的概率值。
本实施例中，先利用目标检测模型对路口图像进行处理，得到预测目标信息；再对预测目标信息和路口图像进行融合，得到路口特征融合图像；最后利用意图预测模型对路口特征融合图像进行处理，得到每种行驶策略的概率值。
步骤304，将概率值最大的行驶策略确定为预测行驶策略，预测行驶策略用于指示自动驾驶车辆在该路口的行驶策略。
自动驾驶车辆可以根据意图预测模型给出的各种行驶策略的概率值，匹配与当前行驶方向相关的行驶策略，并将行驶策略发送给执行模块，指导自动驾驶车辆的实际行驶。
本实施例中，预测模型能够自主学习从路口图像中提取关键信息，将路口图像直接映射到所需执行的交通动作，无需人工设计复杂的规则或流程，实现了自动驾驶在路口的智能化通行决策。
综上所述，本申请实施例提供的自动驾驶车辆中预测模型的使用方法，通过训练一种端到端的预测模型，可以直接根据路口图像中的全局信息生成对应的行驶策略，不再需要识别红绿灯的颜色、朝向、灯型等细致信息，也不再需要依赖于高精地图、人工设计的复杂规则，既能够节省大量的高精地图的标注和维护成本，也降低了检测难度，提高了检测效率。
如图4所示，路口的红绿灯信息被大货车给遮挡了，基于感知+匹配的方法已经无法进行预测和判断，容易产生安全隐患。本申请中的预测模型可以不仅仅依赖红绿灯，而是可以根据横向大货车进行判断，确定当前路口禁止直行/左转/掉头。
如图5所示，路口的红绿灯信息被大货车给遮挡了，基于感知+匹配的方法已经无法进行预测和判断，容易产生安全隐患。本申请中的预测模型可以不仅仅依赖红绿灯，而是可以根据大货车的行驶方向进行判断，确定当前路口可以直行/左转/右转/掉头。
如图6所示，由于红绿灯被太阳光反射，导致无法分辨红绿灯的颜色和形状，基于感知+匹配的方法已经难以进行预测和判断，容易产生安全隐患。本申请中的预测模型可以根据横向汽车的行驶方向，判断当前路口禁止直行/左转/掉头。
如图7所示，其示出了本申请一个实施例提供的自动驾驶车辆中预测模型的训练装置的结构框图。该自动驾驶车辆中预测模型的训练装置，可以包括：
训练集获取模块710，用于获取第一训练集和第二训练集，第一训练集中的训练样本包括路口图像和第一标签，第二训练集中的训练样本包括路口特征融合图像和第二标签，第一标签用于标注路口图像中各个目标的真实目标信息，第二标签用于标注真实行驶策略，路口特征融合图像是将路口图像和真实目标信息融合后得到的图像，真实行驶策略是基于路口图像所示的路口的行驶环境，从多种行驶策略中选出的一种正确的行驶策略；
模型创建模块720，用于创建预测模型，预测模型包括目标检测模型和意图预测模型，意图预测模型中包括用于预测每种行驶策略的概率值的预测模块，且预测模块是基于多种行驶策略之间的关联性设置的；
第一训练模块730，用于利用第一训练集中的路口图像和第一标签对目标检测模型进行训练；
第二训练模块740，用于利用第二训练集中的路口特征融合图像和第二标签对意图预测模型进行训练，得到训练好的预测模型，训练好的预测模型用于基于输入的路口图像预测自动驾驶车辆的行驶策略。
在一个可选的实施例中，训练集获取模块710，还用于：
根据路口图像的真实目标信息生成单通道的二值图；
将三通道的路口图像与单通道的二值图进行拼接，得到四通道的路口特征融合图像。
在一个可选的实施例中，第一训练模块730，还用于：
在每轮训练中，利用目标检测模型对第一训练集中的路口图像进行处理，得到预测目标信息；根据第一损失函数对预测目标信息和对应的真实目标信息进行损失计算，并根据损失计算更新目标检测模型。
在一个可选的实施例中，第二训练模块740，还用于：
在每轮训练中，利用意图预测模型对第二训练集中的路口特征融合图像进行处理，得到预测行驶策略；根据第二损失函数对预测行驶策略和对应的真实行驶策略进行损失计算，并根据损失计算更新意图预测模型。
在一个可选的实施例中，预测模块中的分布函数和超参数是基于多种行驶策略之间的关联性设置的。
综上所述，本申请实施例提供的自动驾驶车辆中预测模型的训练装置，通过训练一种端到端的预测模型，可以直接根据路口图像中的全局信息生成对应的行驶策略，不再需要识别红绿灯的颜色、朝向、灯型等细致信息，也不再需要依赖于高精地图、人工设计的复杂规则，既能够节省大量的高精地图的标注和维护成本，也降低了检测难度，提高了检测效率。
如图8所示，其示出了本申请一个实施例提供的自动驾驶车辆中预测模型的使用装置的结构框图。该自动驾驶车辆中预测模型的使用装置，可以包括：
图像获取模块810，用于获取自动驾驶车辆在路口采集的路口图像；
模型获取模块820，用于获取预先训练的预测模型，预测模型采用如图2所示的训练方法训练得到；
概率计算模块830，用于利用预测模型对路口图像进行处理，得到每种行驶策略的概率值；
策略确定模块840，用于将概率值最大的行驶策略确定为预测行驶策略，预测行驶策略用于指示自动驾驶车辆在该路口的行驶策略。
在一个可选的实施例中，预测模块中的分布函数和超参数是基于多种行驶策略之间的关联性设置的。
综上所述，本申请实施例提供的自动驾驶车辆中预测模型的使用装置，通过训练一种端到端的预测模型，可以直接根据路口图像中的全局信息生成对应的行驶策略，不再需要识别红绿灯的颜色、朝向、灯型等细致信息，也不再需要依赖于高精地图、人工设计的复杂规则，既能够节省大量的高精地图的标注和维护成本，也降低了检测难度，提高了检测效率。
本申请一个实施例提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如上所述的自动驾驶车辆中预测模型的训练方法，或者，所述至少一条指令由处理器加载并执行以实现如上所述的自动驾驶车辆中预测模型的使用方法。
本申请一个实施例提供了一种自动驾驶车辆，所述自动驾驶车辆包括上述任意自动驾驶车辆中预测模型的使用装置。
需要说明的是：上述实施例提供的自动驾驶车辆中预测模型的训练和使用装置在进行自动驾驶车辆中预测模型的训练和使用时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将自动驾驶车辆中预测模型的训练和使用装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的自动驾驶车辆中预测模型的训练和使用装置与自动驾驶车辆中预测模型的训练和使用方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述并不用以限制本申请实施例，凡在本申请实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请实施例的保护范围之内。

Claims (8)

1.一种自动驾驶车辆中预测模型的训练方法，其特征在于，所述方法包括：
获取第一训练集和第二训练集，所述第一训练集中的训练样本包括路口图像和第一标签，所述第二训练集中的训练样本包括路口特征融合图像和第二标签，所述第一标签用于标注所述路口图像中各个目标的真实目标信息，所述第二标签用于标注真实行驶策略，所述路口特征融合图像是将所述路口图像和所述真实目标信息融合后得到的图像，所述真实行驶策略是基于所述路口图像所示的路口的行驶环境，从多种行驶策略中选出的一种正确的行驶策略；
创建预测模型，所述预测模型包括目标检测模型和意图预测模型，所述意图预测模型中包括用于预测每种行驶策略的概率值的预测模块，且所述预测模块是基于所述多种行驶策略之间的关联性设置的；
利用所述第一训练集中的路口图像和第一标签对所述目标检测模型进行训练；
利用所述第二训练集中的路口特征融合图像和第二标签对所述意图预测模型进行训练，得到训练好的预测模型，所述训练好的预测模型用于基于输入的路口图像预测自动驾驶车辆的行驶策略；
所述利用所述第一训练集中的路口图像和第一标签对所述目标检测模型进行训练，包括：在每轮训练中，利用所述目标检测模型对所述第一训练集中的路口图像进行处理，得到预测目标信息；根据第一损失函数对所述预测目标信息和对应的真实目标信息进行损失计算，并根据所述损失计算更新所述目标检测模型；
所述利用所述第二训练集中的路口特征融合图像和第二标签对所述意图预测模型进行训练，包括：在每轮训练中，利用所述意图预测模型对所述第二训练集中的路口特征融合图像进行处理，得到预测行驶策略；根据第二损失函数对所述预测行驶策略和对应的真实行驶策略进行损失计算，并根据所述损失计算更新所述意图预测模型。
2.根据权利要求1所述的自动驾驶车辆中预测模型的训练方法，其特征在于，所述方法还包括：
根据所述路口图像的真实目标信息生成单通道的二值图；
将三通道的所述路口图像与单通道的所述二值图进行拼接，得到四通道的路口特征融合图像。
3.根据权利要求1或2所述的自动驾驶车辆中预测模型的训练方法，其特征在于，所述预测模块中的分布函数和超参数是基于所述多种行驶策略之间的关联性设置的。
4.一种自动驾驶车辆中预测模型的使用方法，其特征在于，所述方法包括：
获取自动驾驶车辆在路口采集的路口图像；
获取预先训练的预测模型，所述预测模型采用如权利要求1至3任一所述的训练方法训练得到；
利用所述预测模型对所述路口图像进行处理，得到每种行驶策略的概率值；
将概率值最大的行驶策略确定为预测行驶策略，所述预测行驶策略用于指示所述自动驾驶车辆在所述路口的行驶策略。
5.一种自动驾驶车辆中预测模型的训练装置，其特征在于，用于实现权利要求1所述的训练方法，所述装置包括：
训练集获取模块，用于获取第一训练集和第二训练集，所述第一训练集中的训练样本包括路口图像和第一标签，所述第二训练集中的训练样本包括路口特征融合图像和第二标签，所述第一标签用于标注所述路口图像中各个目标的真实目标信息，所述第二标签用于标注真实行驶策略，所述路口特征融合图像是将所述路口图像和所述真实目标信息融合后得到的图像，所述真实行驶策略是基于所述路口图像所示的路口的行驶环境，从多种行驶策略中选出的一种正确的行驶策略；
模型创建模块，用于创建预测模型，所述预测模型包括目标检测模型和意图预测模型，所述意图预测模型中包括用于预测每种行驶策略的概率值的预测模块，且所述预测模块是基于所述多种行驶策略之间的关联性设置的；
第一训练模块，用于利用所述第一训练集中的路口图像和第一标签对所述目标检测模型进行训练；
第二训练模块，用于利用所述第二训练集中的路口特征融合图像和第二标签对所述意图预测模型进行训练，得到训练好的预测模型，所述训练好的预测模型用于基于输入的路口图像预测自动驾驶车辆的行驶策略。
6.一种自动驾驶车辆中预测模型的使用装置，其特征在于，所述装置包括：
图像获取模块，用于获取自动驾驶车辆在路口采集的路口图像；
模型获取模块，用于获取预先训练的预测模型，所述预测模型采用如权利要求1至3任一所述的训练方法训练得到；
概率计算模块，用于利用所述预测模型对所述路口图像进行处理，得到每种行驶策略的概率值；
策略确定模块，用于将概率值最大的行驶策略确定为预测行驶策略，所述预测行驶策略用于指示所述自动驾驶车辆在所述路口的行驶策略。
7.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求1至3任一所述的自动驾驶车辆中预测模型的训练方法，或者，所述至少一条指令由处理器加载并执行以实现如权利要求4所述的自动驾驶车辆中预测模型的使用方法。
8.一种自动驾驶车辆，其特征在于，自动驾驶车辆包括：权利要求6所述的自动驾驶车辆中预测模型的使用装置。
CN202410760362.4A 2024-06-13 2024-06-13 自动驾驶车辆中预测模型的训练和使用方法、装置及车辆 Active CN118323197B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410760362.4A CN118323197B (zh) 2024-06-13 2024-06-13 自动驾驶车辆中预测模型的训练和使用方法、装置及车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410760362.4A CN118323197B (zh) 2024-06-13 2024-06-13 自动驾驶车辆中预测模型的训练和使用方法、装置及车辆

Publications (2)

Publication Number Publication Date
CN118323197A CN118323197A (zh) 2024-07-12
CN118323197B true CN118323197B (zh) 2024-08-27

Family

ID=91780505

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410760362.4A Active CN118323197B (zh) 2024-06-13 2024-06-13 自动驾驶车辆中预测模型的训练和使用方法、装置及车辆

Country Status (1)

Country Link
CN (1) CN118323197B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743469A (zh) * 2021-08-04 2021-12-03 北京理工大学 一种融合多源数据及综合多维指标的自动驾驶决策方法
CN114019947A (zh) * 2020-07-15 2022-02-08 广州汽车集团股份有限公司 一种车辆在路口处的行驶控制方法、系统及计算机可读存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111079533B (zh) * 2019-11-14 2023-04-07 深圳大学 无人车驾驶决策方法、无人车驾驶决策装置及无人车
CN116403174A (zh) * 2022-12-12 2023-07-07 深圳市大数据研究院 一种端到端自动驾驶方法、系统、仿真系统及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114019947A (zh) * 2020-07-15 2022-02-08 广州汽车集团股份有限公司 一种车辆在路口处的行驶控制方法、系统及计算机可读存储介质
CN113743469A (zh) * 2021-08-04 2021-12-03 北京理工大学 一种融合多源数据及综合多维指标的自动驾驶决策方法

Also Published As

Publication number Publication date
CN118323197A (zh) 2024-07-12

Similar Documents

Publication Publication Date Title
CN110069986B (zh) 一种基于混合模型的交通信号灯识别方法及系统
Possatti et al. Traffic light recognition using deep learning and prior maps for autonomous cars
CN109508580B (zh) 交通信号灯识别方法和装置
CN111874006B (zh) 路线规划处理方法和装置
Haq et al. Comparing offline and online testing of deep neural networks: An autonomous car case study
CN101929867B (zh) 使用道路模型的畅通路径检测
CN106372577A (zh) 一种基于深度学习的交通标志自动识别与标注方法
Janahiraman et al. Traffic light detection using tensorflow object detection framework
CN114418895A (zh) 驾驶辅助方法及装置、车载设备及存储介质
CN107909012B (zh) 一种基于视差图的实时车辆跟踪检测方法与装置
Sharma et al. Deep learning-based object detection and classification for autonomous vehicles in different weather scenarios of Quebec, Canada
WO2020007589A1 (en) Training a deep convolutional neural network for individual routes
Joy et al. Real time road lane detection using computer vision techniques in python
Liu et al. Real-time traffic light recognition based on smartphone platforms
CN118963353A (zh) 道路驾驶环境智能感知方法、系统、终端及存储介质
CN110909656B (zh) 一种雷达与摄像机融合的行人检测方法和系统
US20220004777A1 (en) Information processing apparatus, information processing system, information processing method, and program
Coronado et al. Detection and classification of road signs for automatic inventory systems using computer vision
CN109635719A (zh) 一种图像识别方法、装置和计算机可读存储介质
CN118323197B (zh) 自动驾驶车辆中预测模型的训练和使用方法、装置及车辆
CN116541715B (zh) 目标检测方法、模型的训练方法、目标检测系统及装置
Chira et al. Real-time detection of road markings for driving assistance applications
CN118323198B (zh) 自动驾驶车辆中决策模型的训练和使用方法、装置及车辆
CN114972731B (zh) 交通灯检测识别方法及装置、移动工具、存储介质
CN114299414B (zh) 一种基于深度学习的车辆闯红灯识别判定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant