CN110588623B - 一种基于神经网络的大型汽车安全驾驶方法及系统 - Google Patents
一种基于神经网络的大型汽车安全驾驶方法及系统 Download PDFInfo
- Publication number
- CN110588623B CN110588623B CN201910942251.4A CN201910942251A CN110588623B CN 110588623 B CN110588623 B CN 110588623B CN 201910942251 A CN201910942251 A CN 201910942251A CN 110588623 B CN110588623 B CN 110588623B
- Authority
- CN
- China
- Prior art keywords
- information
- car
- distance
- vehicle
- driving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 18
- 230000007613 environmental effect Effects 0.000 claims abstract description 34
- 230000008447 perception Effects 0.000 claims abstract description 15
- 238000003062 neural network model Methods 0.000 claims description 20
- 230000001133 acceleration Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 7
- 230000009471 action Effects 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013499 data model Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 108091008695 photoreceptors Proteins 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
- B60W30/0953—Predicting travel path or likelihood of collision the prediction being responsive to vehicle dynamic parameters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
- B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/04—Traffic conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
- B60W40/064—Degree of grip
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
- B60W40/076—Slope angle of the road
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
- B60W40/105—Speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
- B60W40/112—Roll movement
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2510/00—Input parameters relating to a particular sub-units
- B60W2510/20—Steering systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/10—Longitudinal speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2710/00—Output or target parameters relating to a particular sub-units
- B60W2710/06—Combustion engines, Gas turbines
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2710/00—Output or target parameters relating to a particular sub-units
- B60W2710/08—Electric propulsion units
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2710/00—Output or target parameters relating to a particular sub-units
- B60W2710/18—Braking system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2710/00—Output or target parameters relating to a particular sub-units
- B60W2710/20—Steering systems
Landscapes
- Engineering & Computer Science (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
本发明提供一种基于神经网络的大型汽车安全驾驶方法及系统,属于大型汽车电子控制领域,为解决现有大型汽车的安全驾驶问题,包括环境感知模块、汽车控制器、安全语音提示模块、安全驾驶辅助操控模块,环境感知模块采集环境信息和汽车行驶的状态信息,将其作为输入信息发送至汽车控制器,判断汽车状态以及环境信息再将其输出给安全语音提示模块;根据汽车驾驶状态信息设置两个安全距离信息,在汽车接收到将要发生危险状况的距离信息后,汽车控制器输出信息给安全语音提示模块,提醒驾驶员作出反应;若驾驶员做出反应,将驾驶安全避让的驾驶行为数据保存到数据库中,反之,则在达到规定的可安全避让最小危险距离后,安全驾驶辅助操控模块做出辅助驾驶操控。
Description
技术领域
本发明涉及大型汽车电子控制技术领域,具体而言,尤其涉及一种基于神经网络的大型汽车安全驾驶方法及系统。
背景技术
随着近年来经济的发展和人们对生活质量的要求不断提高,人们对交通运输的需求日益增加,进而导致我国汽车保有量逐年增加,从而导致城市交通堵塞严重以及交通事故频繁发生,交通事故频繁发生的主要对象即为大型的货运商运汽车,大型汽车在驾驶的过程中,由于驾驶舱过高会对汽车前方的一部分视野造成遮挡,容易在汽车行驶过程中发生不必要的安全隐患,所以针对大型汽车的安全驾驶问题有待解决。
现有技术中针对大型汽车的安全驾驶至少还存在如下问题:
1、大型汽车由于高车身而产生视觉盲区问题;
2、大型汽车在行驶过程中,出现危险情况时不能有效避免危险的发生,以及由于多变的驾驶情况下神经网络训练集数据模型缺少的问题;
3、昂贵的汽车传感器所带来的经济问题。
发明内容
根据上述提出的技术问题,而提供一种基于神经网络的大型汽车安全驾驶方法及系统。本发明主要利用双目红外线摄像头、超声波传感器等建立起来的环境感知模块来观测环境信息,同时检测汽车当时的行驶状态信息并输入到汽车控制器中进行处理,汽车控制器为基于Linux系统上搭建的神经网络模型,最终由汽车控制器输出控制指令,控制汽车的执行机构进行安全辅助驾驶。
本发明采用的技术手段如下:
一种基于神经网络的大型汽车安全驾驶方法,包括如下步骤:
S1、采集实车行驶数据集信息,建立数据库;
S2、搭建汽车控制器,汽车控制器为基于Linux系统上搭建的神经网络模型,并利用所述实车行驶数据集信息训练神经网络模型,从而获得应对各种复杂多变的危急情况与驾驶员安全避让、安全驾驶的行为数据形成映射关系;
S3、通过环境感知模块采集环境信息以及当前汽车行驶的状态信息,并将其作为输入信息;
S4、汽车控制器接收上述输入信息,并判断汽车所处的当前状态以及环境信息进而将其输出给安全语音提示模块;
S5、安全语音提示模块根据当前的汽车驾驶状态信息设置两个安全距离信息,即结合当前环境信息以及汽车行驶状态信息判断出的将要发生危险状况的距离信息以及汽车可安全避让距离的最小距离信息;
S6、在汽车接收到将要发生危险状况的距离信息后,汽车控制器输出信息给安全语音提示模块,提醒驾驶员作出反应;
S7、若驾驶员此时做出了反应,汽车控制器将驾驶安全避让的驾驶行为数据保存到数据库中,若驾驶员没有做出反应,在达到规定的可安全避让最小危险距离后,汽车控制器控制安全驾驶辅助操控模块通过步骤S2中采集的输入信息做出辅助驾驶操控。
进一步地,所述步骤S7之后还包括:
S8、安全语音提示模块接收汽车控制器传来的信息,通过语音播放器将将要发生危险状况的距离信息提示给驾驶员,并判断在将要发生危险状况的距离至可安全避让距离的最小距离之间,驾驶员有没有做出反应。
进一步地,所述步骤S8之后还包括:
S9、如果驾驶员未在将要发生危险状况的距离至可安全避让距离的最小距离之间做出反应,在汽车达到规定的最小可安全避让距离的最小距离后,汽车控制器会根据当前的环境信息以及汽车状态信息进行判断输出相应的安全避让决策数据信息传送至安全驾驶辅助操控模块,达到安全避让、安全行车。
进一步地,所述通过环境感知模块采集环境信息以及当前汽车行驶的状态信息,具体包括:
采集汽车当前的行驶速度、当前的行驶加速度、当前路面的附着系数、横摆角速度、方向盘转角、航向角、质心坐标以及由摄像头传送来的图像信息;
所述图像信息包括周围的车辆信息,行人信息,交通信号标志,路阻信息以及该车与前方车辆、行人、交通信号标、路阻之间的距离信息;汽车侧方的汽车、道路边缘信息,由超声波传感器检测并传来的汽车两侧的障碍物信息以及距离障碍物之间的距离信息。
进一步地,所述步骤S5中设置两个安全距离信息的具体过程如下:
S51、计算汽车的制动距离,汽车的制动距离包括制动器起作用的阶段和制动器持续制动的阶段,总的制动距离计算公式如下:
式中,S为汽车根据当前的车速的制动距离,amax是汽车的最大制动减速度,μ0为汽车减速时的初始减速度,t1'为由于制动蹄与制动鼓间存在的间隙,制动器所反应的时间,t1”为制动力从零持续增长到最大制动力所需的时间,t1=t1'+t1”统称为制动器的作用时间,制动器的作用时间在0.2s至0.9s之间;
S52、根据汽车与前方障碍物之间的距离,判断汽车将要发生危险状况的距离D以及汽车可安全避让距离的最小距离信息d之间的关系;
S53、通过环境感知模块中的双目红外线摄像头检测汽车前方的环境信息以及环境中的车辆、行人、交通信号标志、路阻信息,并根据双目测距原理以及三角形相似原理,计算出视差,进而得到深度信息;
S54、通过环境感知模块测得汽车到障碍物之间的距离后,汽车控制器计算出根据当前车速信息以及地面附着系数信息,得出汽车的制动距离,判断汽车是否会发生危险,设置汽车将要发生危险状况的距离D=3/2S,汽车可安全避让距离的最小距离信息d=S。
本发明还提供了一种基于神经网络的大型汽车安全驾驶系统,包括环境感知模块、汽车控制器、安全语音提示模块、以及安全驾驶辅助操控模块;
所述环境感知模块包括外界环境信息感知模块和汽车当前驾驶状态信息感知模块;外界环境信息感知模块用于采集汽车外界的环境信息,汽车当前驾驶状态信息感知模块用于实时监测汽车的当前行驶状态信息;
所述安全语音提示模块包括语音播放器和控制器;控制器接收环境感知模块传来的环境信息后,对纵向、横向距离方向的障碍物信息进行检测和距离计算,判断汽车当前所处的运行状态,在汽车接收到将要发生危险状况的距离信息后,控制器输出信息给语音播放器,提醒驾驶员作出反应;
所述汽车控制器为基于Linux系统上搭建的神经网络模型,神经网络模型主要包括CNN网络架构以及SSD网络架构,利用所述实车行驶数据集信息训练神经网络模型,从而获得应对各种复杂多变的危急情况与驾驶员安全避让、安全驾驶的行为数据形成映射关系;
所述安全驾驶辅助操控模块包括加速踏板执行器、制动踏板执行器、方向盘执行器;加速踏板执行器和制动踏板执行器用于控制制动器踏板、油门踏板的位置;方向盘执行器用于控制方向盘的转向。
进一步地,所述外界环境信息感知模块主要由双目红外线摄像头、两个侧位单目红外线摄像头、超声波传感器组成;
所述双目红外线摄像头安装在车头前方的中部,用于扫描到整个汽车前方的信息;
所述的两个侧位单目红外线摄像头分别安装到汽车的车身两侧后方,用于观测到汽车侧方的环境信息;
所述超声波传感器安装在汽车的车身两侧,用来检测汽车两侧的障碍物信息以及障碍物的距离信息。
进一步地,所述汽车当前驾驶状态信息感知模块主要由方向盘角度传感器、方向盘力矩传感器、车速传感器、车辆加速度传感器、横摆角速度传感器、陀螺仪、侧向加速度传感器、制动踏板角度传感器、油门踏板角度传感器、制动踏板角速度传感器、油门踏板角速度传感器、地面附着系数传感器组成,上述传感器均安装在汽车上相应的位置。
进一步地,所述安全驾驶辅助操控模块还可实现汽车的横向运动与紧急制动。
较现有技术相比,本发明具有以下优点:
1、本发明提供的基于神经网络的大型汽车安全驾驶方法,不仅提高了汽车行驶的安全型,还使得神经网络模型不断在实际中训练,使其更加成熟更加安全;本发明提供的基于神经网络的大型汽车安全驾驶系统,对于大型汽车的安全驾驶问题得到了很大的改进,提高了汽车的纵向横向运动的安全性。
2、本发明提供的基于神经网络的大型汽车安全驾驶系统,通过双目红外线摄像头、超声波传感器等建立起来的环境感知模块来观测环境信息,同时检测汽车当时的行驶状态信息并输入到汽车控制器中进行处理,最终由汽车控制器输出控制指令,控制汽车的执行机构进行安全辅助驾驶,解决了大型汽车由于高车身而产生视觉盲区问题。
3、本发明提供的基于神经网络的大型汽车安全驾驶系统,其汽车控制器为基于Linux系统上搭建的神经网络模型,并利用大量的实车行驶数据集信息训练神经网络模型,从而获得应对各种复杂多变的危急情况与驾驶员安全避让、安全驾驶的行为数据形成映射关系,解决了大型汽车在行驶过程中,出现危险情况时不能有效避免危险的发生,以及由于多变的驾驶情况下神经网络训练集数据模型缺少的问题。
基于上述理由本发明可在大型汽车电子控制等领域广泛推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明方法流程图。
图2为本发明方法一实施例提供的双目测距原理图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
本发明提供了一种基于神经网络的大型汽车安全驾驶方法,包括如下步骤:
S1、采集实车行驶数据集信息,建立数据库;
S2、搭建汽车控制器,汽车控制器为基于Linux系统上搭建的神经网络模型,并利用所述实车行驶数据集信息训练神经网络模型,从而获得应对各种复杂多变的危急情况与驾驶员安全避让、安全驾驶的行为数据形成映射关系;
S3、如图1所示,通过环境感知模块采集环境信息以及当前汽车行驶的状态信息,并将其作为输入信息;作为本发明优选的实施方式,通过环境感知模块采集环境信息以及当前汽车行驶的状态信息,具体包括:
采集汽车当前的行驶速度、当前的行驶加速度、当前路面的附着系数、横摆角速度、方向盘转角、航向角、质心坐标以及由摄像头传送来的图像信息;
图像信息包括周围的车辆信息,行人信息,交通信号标志,路阻信息以及该车与前方车辆、行人、交通信号标、路阻之间的距离信息;汽车侧方的汽车、道路边缘信息,由超声波传感器检测并传来的汽车两侧的障碍物信息以及距离障碍物之间的距离信息。
S4、汽车控制器接收上述输入信息,并判断汽车所处的当前状态以及环境信息进而将其输出给安全语音提示模块;
S5、安全语音提示模块根据当前的汽车驾驶状态信息设置两个安全距离信息,即结合当前环境信息以及汽车行驶状态信息判断出的将要发生危险状况的距离信息以及汽车可安全避让距离的最小距离信息;作为本发明优选的实施方式,设置两个安全距离信息的具体过程如下:
S51、计算汽车的制动距离,汽车的制动距离包括制动器起作用的阶段和制动器持续制动的阶段,总的制动距离计算公式如下:
式中,S为汽车根据当前的车速的制动距离,amax是汽车的最大制动减速度,μ0为汽车减速时的初始减速度,t1'为由于制动蹄与制动鼓间存在的间隙,制动器所反应的时间,t1”为制动力从零持续增长到最大制动力所需的时间,t1=t1'+t1”统称为制动器的作用时间,制动器的作用时间在0.2s至0.9s之间,本发明实施例选择的制动器的作用时间为0.9s。
S52、根据汽车与前方障碍物之间的距离,判断汽车将要发生危险状况的距离D以及汽车可安全避让距离的最小距离信息d之间的关系;
S53、通过环境感知模块中的双目红外线摄像头检测汽车前方的环境信息以及环境中的车辆、行人、交通信号标志、路阻信息,并根据双目测距原理以及三角形相似原理,计算出视差,进而得到深度信息;如图2所示,P是待检测物体上的一点,OR与OT分别为两个相机的光心,点P在两个相机感光器上的成像点分别为P和P',f为相机焦距,B为两相机中心距,Z为本实施例中所求的深度信息,设P和P'的距离为dis,则:
dis=B-XR-XT
根据三角形相似原理:
可得:
式中,XR-XT为视差,即求出视差就能得到深度信息。
S54、通过环境感知模块测得汽车到障碍物之间的距离后,汽车控制器计算出根据当前车速信息以及地面附着系数信息,得出汽车的制动距离,判断汽车是否会发生危险,设置汽车将要发生危险状况的距离D=3/2S,汽车可安全避让距离的最小距离信息d=S。
S6、在汽车接收到将要发生危险状况的距离信息后,汽车控制器输出信息给安全语音提示模块,提醒驾驶员作出反应;
S7、若驾驶员此时做出了反应,汽车控制器将驾驶安全避让的驾驶行为数据保存到数据库中,若驾驶员没有做出反应,在达到规定的可安全避让最小危险距离后,汽车控制器控制安全驾驶辅助操控模块通过步骤S2中采集的输入信息做出辅助驾驶操控。
作为本发明优选的实施方式,所述步骤S7之后还包括:
S8、安全语音提示模块接收汽车控制器传来的信息,通过语音播放器将将要发生危险状况的距离信息提示给驾驶员,并判断在将要发生危险状况的距离至可安全避让距离的最小距离之间,驾驶员有没有做出反应。
作为本发明优选的实施方式,所述步骤S8之后还包括:
S9、如果驾驶员未在将要发生危险状况的距离至可安全避让距离的最小距离之间做出反应,在汽车达到规定的最小可安全避让距离的最小距离后,汽车控制器会根据当前的环境信息以及汽车状态信息进行判断输出相应的安全避让决策数据信息传送至安全驾驶辅助操控模块,达到安全避让、安全行车。
实施例2
在实施例1的基础上,本发明还提供了一种基于神经网络的大型汽车安全驾驶系统,包括环境感知模块、汽车控制器、安全语音提示模块、以及安全驾驶辅助操控模块;
环境感知模块包括外界环境信息感知模块和汽车当前驾驶状态信息感知模块;
外界环境信息感知模块用于采集汽车外界的环境信息,主要由双目红外线摄像头、两个侧位单目红外线摄像头、超声波传感器组成;双目红外线摄像头安装在车头前方的中部,用于扫描到整个汽车前方的信息;两个侧位单目红外线摄像头分别安装到汽车的车身两侧后方,用于观测到汽车侧方的环境信息;超声波传感器安装在汽车的车身两侧,用来检测汽车两侧的障碍物信息以及障碍物的距离信息。
汽车当前驾驶状态信息感知模块用于实时监测汽车的当前行驶状态信息,主要由方向盘角度传感器、方向盘力矩传感器、车速传感器、车辆加速度传感器、横摆角速度传感器、陀螺仪、侧向加速度传感器、制动踏板角度传感器、油门踏板角度传感器、制动踏板角速度传感器、油门踏板角速度传感器、地面附着系数传感器组成,上述传感器均安装在汽车上相应的位置。
安全语音提示模块包括语音播放器和控制器;控制器接收环境感知模块传来的环境信息后,对纵向、横向距离方向的障碍物信息进行检测和距离计算,判断汽车当前所处的运行状态,在汽车接收到将要发生危险状况的距离信息后,控制器输出信息给语音播放器,提醒驾驶员作出反应;
汽车控制器为基于Linux系统上搭建的神经网络模型,神经网络模型主要包括CNN网络架构以及SSD网络架构,利用所述实车行驶数据集信息训练神经网络模型,从而获得应对各种复杂多变的危急情况与驾驶员安全避让、安全驾驶的行为数据形成映射关系;
安全驾驶辅助操控模块包括加速踏板执行器、制动踏板执行器、方向盘执行器;加速踏板执行器和制动踏板执行器用于控制制动器踏板、油门踏板的位置,进而达到目标位置的速度信息;方向盘执行器用于控制方向盘的转向,从而达到安全避让,安全行驶。安全驾驶辅助操控模块还可实现汽车的横向运动与紧急制动,具体为:
若两个侧位单目红外线摄像头以及超声波传感器检测到汽车两侧的环境信息可以进行横向运动,则汽车进行横向运动;
若汽车两侧有障碍物信息,或者检测到横向运动会使汽车驶出道路发生危险则,汽车采取当前最大制动减速度进行制动。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (6)
1.一种基于神经网络的大型汽车安全驾驶方法,其特征在于,包括如下步骤:
S1、采集实车行驶数据集信息,建立数据库;
S2、搭建汽车控制器,汽车控制器为基于Linux系统上搭建的神经网络模型,并利用所述实车行驶数据集信息训练神经网络模型,从而获得应对各种复杂多变的危急情况与驾驶员安全避让、安全驾驶的行为数据形成映射关系;
S3、通过环境感知模块采集环境信息以及当前汽车行驶的状态信息,并将其作为输入信息;具体包括:
采集汽车当前的行驶速度、当前的行驶加速度、当前路面的附着系数、横摆角速度、方向盘转角、航向角、质心坐标以及由摄像头传送来的图像信息;
所述图像信息包括周围的车辆信息,行人信息,交通信号标志,路阻信息以及该车与前方车辆、行人、交通信号标、路阻之间的距离信息;汽车侧方的汽车、道路边缘信息,由超声波传感器检测并传来的汽车两侧的障碍物信息以及距离障碍物之间的距离信息;
S4、汽车控制器接收上述输入信息,并判断汽车所处的当前状态以及环境信息进而将其输出给安全语音提示模块;
S5、安全语音提示模块根据当前的汽车驾驶状态信息设置两个安全距离信息,即结合当前环境信息以及汽车行驶状态信息判断出的将要发生危险状况的距离信息以及汽车可安全避让距离的最小距离信息;
所述步骤S5中设置两个安全距离信息的具体过程如下:
S51、计算汽车的制动距离,汽车的制动距离包括制动器起作用的阶段和制动器持续制动的阶段,总的制动距离计算公式如下:
式中,S为汽车根据当前的车速的制动距离,amax是汽车的最大制动减速度,μ0为汽车减速时的初始减速度,t′1为由于制动蹄与制动鼓间存在的间隙,制动器所反应的时间,t″1为制动力从零持续增长到最大制动力所需的时间,t1=t′1+t″1统称为制动器的作用时间,制动器的作用时间在0.2s至0.9s之间;
S52、根据汽车与前方障碍物之间的距离,判断汽车将要发生危险状况的距离D以及汽车可安全避让距离的最小距离信息d之间的关系;
S53、通过环境感知模块中的双目红外线摄像头检测汽车前方的环境信息以及环境中的车辆、行人、交通信号标志、路阻信息,并根据双目测距原理以及三角形相似原理,计算出视差,进而得到深度信息;
S54、通过环境感知模块测得汽车到障碍物之间的距离后,汽车控制器计算出根据当前车速信息以及地面附着系数信息,得出汽车的制动距离,判断汽车是否会发生危险,设置汽车将要发生危险状况的距离D=3/2S,汽车可安全避让距离的最小距离信息d=S;
S6、在汽车接收到将要发生危险状况的距离信息后,汽车控制器输出信息给安全语音提示模块,提醒驾驶员作出反应;
S7、若驾驶员此时做出了反应,汽车控制器将驾驶安全避让的驾驶行为数据保存到数据库中,若驾驶员没有做出反应,在达到规定的可安全避让最小危险距离后,汽车控制器控制安全驾驶辅助操控模块通过步骤S2中采集的输入信息做出辅助驾驶操控。
2.根据权利要求1所述的基于神经网络的大型汽车安全驾驶方法,其特征在于,所述步骤S7之后还包括:
S8、安全语音提示模块接收汽车控制器传来的信息,通过语音播放器将将要发生危险状况的距离信息提示给驾驶员,并判断在将要发生危险状况的距离至可安全避让距离的最小距离之间,驾驶员有没有做出反应。
3.根据权利要求1或2所述的基于神经网络的大型汽车安全驾驶方法,其特征在于,所述步骤S8之后还包括:
S9、如果驾驶员未在将要发生危险状况的距离至可安全避让距离的最小距离之间做出反应,在汽车达到规定的最小可安全避让距离的最小距离后,汽车控制器会根据当前的环境信息以及汽车状态信息进行判断输出相应的安全避让决策数据信息传送至安全驾驶辅助操控模块,达到安全避让、安全行车。
4.一种基于权利要求1-3中任意一项权利要求所述大型汽车安全驾驶方法的大型汽车安全驾驶系统,其特征在于,包括环境感知模块、汽车控制器、安全语音提示模块、以及安全驾驶辅助操控模块;
所述环境感知模块包括外界环境信息感知模块和汽车当前驾驶状态信息感知模块;外界环境信息感知模块用于采集汽车外界的环境信息,汽车当前驾驶状态信息感知模块用于实时监测汽车的当前行驶状态信息;所述汽车当前驾驶状态信息感知模块主要由方向盘角度传感器、方向盘力矩传感器、车速传感器、车辆加速度传感器、横摆角速度传感器、陀螺仪、侧向加速度传感器、制动踏板角度传感器、油门踏板角度传感器、制动踏板角速度传感器、油门踏板角速度传感器、地面附着系数传感器组成,上述传感器均安装在汽车上相应的位置;
所述安全语音提示模块包括语音播放器和控制器;控制器接收环境感知模块传来的环境信息后,对纵向、横向距离方向的障碍物信息进行检测和距离计算,判断汽车当前所处的运行状态,在汽车接收到将要发生危险状况的距离信息后,控制器输出信息给语音播放器,提醒驾驶员作出反应;
所述汽车控制器为基于Linux系统上搭建的神经网络模型,神经网络模型主要包括CNN网络架构以及SSD网络架构,利用所述实车行驶数据集信息训练神经网络模型,从而获得应对各种复杂多变的危急情况与驾驶员安全避让、安全驾驶的行为数据形成映射关系;
所述安全驾驶辅助操控模块包括加速踏板执行器、制动踏板执行器、方向盘执行器;加速踏板执行器和制动踏板执行器用于控制制动器踏板、油门踏板的位置;方向盘执行器用于控制方向盘的转向。
5.根据权利要求4所述的大型汽车安全驾驶系统,其特征在于,所述外界环境信息感知模块主要由双目红外线摄像头、两个侧位单目红外线摄像头、超声波传感器组成;
所述双目红外线摄像头安装在车头前方的中部,用于扫描到整个汽车前方的信息;
所述的两个侧位单目红外线摄像头分别安装到汽车的车身两侧后方,用于观测到汽车侧方的环境信息;
所述超声波传感器安装在汽车的车身两侧,用来检测汽车两侧的障碍物信息以及障碍物的距离信息。
6.根据权利要求4所述的大型汽车安全驾驶系统,其特征在于,所述安全驾驶辅助操控模块还可实现汽车的横向运动与紧急制动。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910942251.4A CN110588623B (zh) | 2019-09-30 | 2019-09-30 | 一种基于神经网络的大型汽车安全驾驶方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910942251.4A CN110588623B (zh) | 2019-09-30 | 2019-09-30 | 一种基于神经网络的大型汽车安全驾驶方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110588623A CN110588623A (zh) | 2019-12-20 |
CN110588623B true CN110588623B (zh) | 2021-06-29 |
Family
ID=68865194
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910942251.4A Expired - Fee Related CN110588623B (zh) | 2019-09-30 | 2019-09-30 | 一种基于神经网络的大型汽车安全驾驶方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110588623B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111152834B (zh) * | 2020-01-10 | 2021-05-11 | 大连理工大学 | 一种基于阿克曼转向修正的电动汽车电子差速控制方法 |
CN111775929B (zh) * | 2020-06-11 | 2024-03-19 | 南京邮电大学 | 一种危险液移动车载装置的动态安全预警方法 |
CN112172827B (zh) * | 2020-06-24 | 2022-12-02 | 上汽通用五菱汽车股份有限公司 | 辅助驾驶系统控制方法、装置、设备及存储介质 |
CN111899625A (zh) * | 2020-07-16 | 2020-11-06 | 北京理工大学 | 智能辅助驾驶开发装置 |
CN112298094A (zh) * | 2020-09-27 | 2021-02-02 | 中国第一汽车股份有限公司 | 一种主动式前保险杠行人护板系统及其控制方法 |
CN112590787A (zh) * | 2021-01-05 | 2021-04-02 | 青岛海尔科技有限公司 | 一种行车辅助处理方法及装置 |
CN114516300B (zh) * | 2022-02-22 | 2023-05-12 | 东风汽车集团股份有限公司 | 车辆通过性辅助方法及车辆 |
CN118613413A (zh) * | 2022-12-28 | 2024-09-06 | 华为技术有限公司 | 一种自动驾驶方法、装置及车辆 |
CN116394965B (zh) * | 2023-04-26 | 2024-01-23 | 深圳市科莱德电子有限公司 | 智能辅助驾驶系统及其控制方法、设备以及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104691545A (zh) * | 2013-12-04 | 2015-06-10 | 财团法人车辆研究测试中心 | 适应性车辆防碰撞方法 |
CN106864455A (zh) * | 2015-12-09 | 2017-06-20 | 上海渤元信息科技有限公司 | 汽车新型智能安全系统 |
CN108082184A (zh) * | 2017-12-19 | 2018-05-29 | 戴姆勒股份公司 | 预防碰撞系统以及用于预防车辆碰撞的方法 |
CN108657189A (zh) * | 2018-06-22 | 2018-10-16 | 南京航空航天大学 | 基于bp神经网络和安全距离移线工况自动驾驶转向系统及其控制方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105644557A (zh) * | 2015-12-30 | 2016-06-08 | 苏州安智汽车零部件有限公司 | 考虑驾驶员避撞意图的制动和转向辅助系统及方法 |
CN109591811B (zh) * | 2017-09-28 | 2020-08-14 | 华为技术有限公司 | 车辆制动方法、装置及存储介质 |
JP7132713B2 (ja) * | 2017-12-28 | 2022-09-07 | 株式会社Soken | 車両走行制御装置、車両走行制御システムおよび車両走行制御方法 |
-
2019
- 2019-09-30 CN CN201910942251.4A patent/CN110588623B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104691545A (zh) * | 2013-12-04 | 2015-06-10 | 财团法人车辆研究测试中心 | 适应性车辆防碰撞方法 |
CN106864455A (zh) * | 2015-12-09 | 2017-06-20 | 上海渤元信息科技有限公司 | 汽车新型智能安全系统 |
CN108082184A (zh) * | 2017-12-19 | 2018-05-29 | 戴姆勒股份公司 | 预防碰撞系统以及用于预防车辆碰撞的方法 |
CN108657189A (zh) * | 2018-06-22 | 2018-10-16 | 南京航空航天大学 | 基于bp神经网络和安全距离移线工况自动驾驶转向系统及其控制方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110588623A (zh) | 2019-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110588623B (zh) | 一种基于神经网络的大型汽车安全驾驶方法及系统 | |
CN110481544B (zh) | 一种针对行人的汽车避撞方法及避撞系统 | |
CN109080630B (zh) | 一种用于车辆的环境感知系统及其控制方法 | |
CN110281893B (zh) | 一种紧急制动系统及方法、半挂车 | |
CN106030609B (zh) | 用于模仿前车的系统和方法 | |
US8983706B2 (en) | Safety device for motor vehicle and method for operating a motor vehicle | |
US7433772B2 (en) | Target speed control system for a vehicle | |
US9174641B2 (en) | Safety device for a motor vehicle and method for operating a motor vehicle | |
US9321460B2 (en) | Railroad crossing barrier estimating apparatus and vehicle | |
EP2618108B1 (en) | Driver assisting system | |
CN108263279A (zh) | 基于传感器整合的行人检测和行人碰撞避免装置及方法 | |
CN105988467A (zh) | 自动驾驶装置 | |
JPH08205306A (ja) | 車両の警報装置 | |
WO2024146195A1 (zh) | 一种用于电子导向胶轮车的自动驾驶系统 | |
CN101131321A (zh) | 一种实时测量安全车距用于汽车防撞预警的方法及装置 | |
EP3666612A1 (en) | Vehicle control device | |
CN110861644A (zh) | 驱动力控制装置 | |
JP2021513159A (ja) | 車線を変更するときに、自動車両と、車両の隣の走行車線にある2次物体との間の衝突リスクを検知するためのシステムおよび方法 | |
CN112793507A (zh) | 基于惯性器件感知车辆右转运动特性的盲区预警制动系统 | |
CN206493934U (zh) | 一种基于电动汽车的主动防碰撞系统 | |
WO2016194168A1 (ja) | 走行制御装置及び方法 | |
CN108629281A (zh) | 利用弯道转角镜的自动安全驾驶辅助方法 | |
KR20150051551A (ko) | 풍속 측정 기반의 제동장치 및 그 제어방법 | |
US11919526B1 (en) | Model-based vehicle drive system monitors | |
CN118163803A (zh) | 路面类型识别方法及车辆自主紧急制动控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210629 |