CN112606804B - 一种车辆主动制动的控制方法及控制系统 - Google Patents
一种车辆主动制动的控制方法及控制系统 Download PDFInfo
- Publication number
- CN112606804B CN112606804B CN202011440480.5A CN202011440480A CN112606804B CN 112606804 B CN112606804 B CN 112606804B CN 202011440480 A CN202011440480 A CN 202011440480A CN 112606804 B CN112606804 B CN 112606804B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- biological
- obstacle
- biological obstacle
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
- B60T7/00—Brake-action initiating means
- B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
- B60T7/22—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger initiated by contact of vehicle, e.g. bumper, with an external object, e.g. another vehicle, or by means of contactless obstacle detectors mounted on the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
- B60T2201/00—Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
- B60T2201/02—Active or adaptive cruise control system; Distance control
- B60T2201/022—Collision avoidance systems
Landscapes
- Engineering & Computer Science (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种车辆主动制动的控制方法及控制系统，其包括：获取车辆周围设定范围内的近红外图像，并提取生物体障碍物坐标信息；获取车辆周围设定范围内的点云数据，确定生物体障碍物目标，并获取车辆与生物体障碍物目标之间的距离；利用生物体障碍物坐标信息对点云数据进行分割，得到感兴趣区域，并利用感兴趣区域确定生物体障碍物的运动趋势；当车辆或车辆周围设定范围内的环境满足预设制动条件时，利用车辆与生物体障碍物目标之间的距离，以及感兴趣区域判断生物体障碍物的运动趋势，控制车辆执行主动制动过程。本发明可以预测生物体障碍物的运动趋势，对突然出现的生物体障碍物实现主动制动过程。
Description
技术领域
本发明涉及汽车技术领域，尤其涉及一种车辆主动制动的控制方法及控制系统。
背景技术
当车辆在夜间行驶时，一般采用车辆上设置的雷达对车辆前方的生物体障碍物进行探测，并根据车辆与生物体障碍物之间的相对速度，以及雷达探测到的车辆与生物体障碍物之间的距离，判断是否存在碰撞的风险，由驾驶员根据碰撞风险调整车辆速度和行驶路线，避免车辆与生物体障碍物发生碰撞。
但是，雷达探测对生物体障碍物不敏感，当雷达探测出多个障碍物时，不能快速区分出障碍物的类型，即不能快速判断出障碍物是生物体障碍物，例如行人、动物等，还是其他的非生物体障碍物，例如车辆、自行车、电动车。行人反射波较弱，雷达对行人分辨率不高。
而且，对于运动的障碍物，每个时刻的空间位置不同，无法判断不同时刻的障碍物是否是同一个障碍物，也不能预测障碍物的运动趋势；以达到对突然出现的行人、车辆的预警功能。
发明内容
本申请实施例通过提供一种车辆主动制动的控制方法及控制系统，可以预测生物体障碍物的运动趋势，对突然出现的生物体障碍物实现主动制动过程。
本发明提供一种车辆主动制动的控制方法，其包括：
获取车辆周围设定范围内的近红外图像，并提取所述近红外图像中的生物体障碍物坐标信息；
获取所述车辆周围设定范围内的点云数据，并根据所述点云数据、所述生物体障碍物坐标信息以及预设的生物体障碍物几何特征信息，确定生物体障碍物目标，并获取所述车辆与所述生物体障碍物目标之间的距离；
利用所述生物体障碍物坐标信息对所述点云数据进行分割，得到感兴趣区域，并利用所述感兴趣区域确定生物体障碍物的运动趋势；
当所述车辆或所述车辆周围设定范围内的环境满足预设制动条件时，利用所述车辆与所述生物体障碍物目标之间的距离，以及所述感兴趣区域判断生物体障碍物的运动趋势，控制所述车辆执行主动制动过程。
优选的，所述获取车辆周围设定范围内的近红外图像，并提取所述近红外图像中的生物体障碍物坐标信息，包括：
获取多张近红外图像，利用卷积神经网络模型训练所述多张近红外图像，得到所述近红外图像的生物体障碍物识别算法；
获取待识别的近红外图像，利用所述生物体障碍物识别算法，判断所述待识别的近红外图像中是否有生物体障碍物，若有生物体障碍物，则计算所述生物体障碍物坐标信息。
优选的，所述利用卷积神经网络模型训练所述多张近红外图像，得到所述近红外图像的生物体障碍物识别算法，包括：
从所述多张近红外图像中的选择多张包含有生物体障碍物的近红外图像，作为正训练样本；
从所述多张近红外图像中的选择多张不包含生物体障碍物的近红外图像，作为负训练样本；
从所述多张包含有生物体障碍物的近红外图像中框选出生物体障碍物信息，以及从所述多张不包含生物体障碍物的近红外图像中框选出非生物体障碍物信息；
利用所述生物体障碍物信息和所述非生物体障碍物信息，训练目标检测模型，得到所述生物体障碍物识别算法。
优选的，所述利用所述生物体障碍物坐标信息对所述点云数据进行分割，得到感兴趣区域，并利用所述感兴趣区域确定生物体障碍物的运动趋势，包括：
将同一时刻的所述生物体障碍物坐标信息以及所述点云数据组织为对应时刻的数据集；
利用同一数据集中的所述生物体障碍物坐标信息对所述点云数据进行分割，得到所述数据集对应的感兴趣区域；
将相邻时刻且相邻空间位置的感兴趣区域合并为同类数据集；
利用所述同类数据集确定生物体障碍物的运动趋势，所述运动趋势包括所述生物体障碍物的运动方向、运动角度和运动速度。
优选的，所述当所述车辆或所述车辆周围设定范围内的环境满足预设制动条件时，利用所述车辆与所述生物体障碍物目标之间的距离，以及所述感兴趣区域判断生物体障碍物的运动趋势，控制所述车辆执行主动制动过程，包括：
获取所述车辆周围设定范围内的光照强度信息，判断所述光照强度信息是否小于预设光照强度值，或者所述车辆速度是否小于预设车速值，若所述光照强度信息小于所述预设光照强度值，或者所述车辆速度小于所述预设车速值，则利用所述车辆与所述生物体障碍物目标之间的距离，以及所述感兴趣区域判断生物体障碍物的运动趋势，控制所述车辆执行主动制动过程。
优选的，所述利用所述车辆与所述生物体障碍物目标之间的距离，以及所述感兴趣区域判断生物体障碍物的运动趋势，控制所述车辆执行主动制动过程，包括：
利用所述车辆与所述生物体障碍物目标之间的距离、所述车辆速度，以及所述感兴趣区域判断所述生物体障碍物的运动趋势，计算所述车辆与所述生物体障碍物的碰撞时间，并判断所述碰撞时间是否小于预设时间，若是，则控制所述车辆的自动紧急制动系统执行主动制动过程。
本发明还提供一种车辆主动制动的控制系统，其包括：
近红外摄像装置，用于获取车辆周围设定范围内的近红外图像；
雷达装置，用于获取所述车辆周围设定范围内的点云数据；
控制装置，分别与所述近红外摄像装置和所述测距装置通讯连接，用于提取所述近红外图像中的生物体障碍物坐标信息，并根据所述点云数据、所述生物体障碍物坐标信息以及预设的生物体障碍物几何特征信息，确定生物体障碍物目标，并获取所述车辆与所述生物体障碍物目标之间的距离；
且所述控制装置，还用于利用所述生物体障碍物坐标信息对所述点云数据进行分割，得到感兴趣区域，并利用所述感兴趣区域确定生物体障碍物的运动趋势，当所述车辆或所述车辆周围设定范围内的环境满足预设制动条件时，利用所述车辆与所述生物体障碍物目标之间的距离，以及所述感兴趣区域判断生物体障碍物的运动趋势，控制所述车辆执行主动制动过程。
优选的，所述控制装置，用于利用卷积神经网络模型训练多张所述近红外图像，得到所述近红外图像的生物体障碍物识别算法，以及获取待识别的近红外图像，利用所述生物体障碍物识别算法，判断所述待识别的近红外图像中是否有生物体障碍物，若有生物体障碍物，则计算所述生物体障碍物坐标信息。
优选的，所述控制装置，用于从所述多张近红外图像中的选择多张包含有生物体障碍物的近红外图像，作为正训练样本，从所述多张近红外图像中的选择多张不包含生物体障碍物的近红外图像，作为负训练样本，从所述多张包含有生物体障碍物的近红外图像中框选出生物体障碍物信息，以及从所述多张不包含生物体障碍物的近红外图像中框选出非生物体障碍物信息，利用所述生物体障碍物信息和所述非生物体障碍物信息，训练目标检测模型，得到所述生物体障碍物识别算法。
优选的，所述控制装置，用于获取所述车辆周围设定范围内的光照强度信息，判断所述光照强度信息是否小于预设光照强度值，或者所述车辆速度是否小于预设车速值，若所述光照强度信息小于所述预设光照强度值，或者所述车辆速度小于所述预设车速值，则利用所述车辆与所述生物体障碍物目标之间的距离，以及所述感兴趣区域判断生物体障碍物的运动趋势，控制所述车辆执行主动制动过程。
本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
本发明通过获取车辆周围设定范围内的近红外图像，并提取近红外图像中的生物体障碍物坐标信息，近红外图像相对于其他信号数据更能准备感知到生物体障碍物以及生物体障碍物的类型，再根据雷达装置获取的点云数据、生物体障碍物坐标信息以及预设的生物体障碍物几何特征信息，确定生物体障碍物目标，并获取车辆与生物体障碍物目标之间的距离；利用生物体障碍物坐标信息对点云数据进行分割，得到感兴趣区域，可以减少后续的数据处理量，并利用感兴趣区域确定生物体障碍物的运动趋势；当车辆或车辆周围设定范围内的环境满足预设制动条件时，则利用车辆与生物体障碍物目标之间的距离，以及感兴趣区域判断生物体障碍物的运动趋势，控制车辆执行主动制动过程，根据生物体障碍物的运动趋势可以提前预测碰撞的时间及碰撞的可能性，对突然出现的生物体障碍物实现主动制动过程，以便更好的执行主动制动过程。本发明通过近红外摄像装置与雷达装置感知融合，使车辆在夜间、乡村道路行驶时，能更快、更准确的感知到行人、动物等障碍物。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的一实施例中车辆主动制动的控制方法的流程图；
图2是本发明提供的另一实施例中车载近红外安全系统的结构示意图；
图3是本发明提供的另一实施例中车载近红外安全系统的工作流程示意图；
图4是本发明提供的另一实施例中障碍物感知过程示意图；
图5是本发明提供的另一实施例中障碍物感知过程中的数据获取示意图；
图6是本发明提供的另一实施例中通过近红外图像识别行人的流程图；
图7是本发明提供的另一实施例中近红外图像的行人算法训练过程示意图；
图8是本发明提供的另一实施例中通过激光雷达感知行人过程的示意图；
图9是本发明提供的另一实施例中行人点云聚集类过程；
图10是本发明提供的另一实施例中近红外摄像头获取的数据与激光雷达获取的数据融合过程的示意图；
图11是本发明提供的另一实施例中近红外图像与点云数据融合具体步骤的示意图；
图12是本发明提供的另一实施例中近红外图像与点云数据时间同步的示意图；
图13是本发明提供的另一实施例中生物体障碍物目标的运动趋势判断示意图；
图14是本发明提供的另一实施例中碰撞预警过程的示意图；
图15是本发明提供的另一实施例中近红外安全系统介入AEB系统的示意图；
图16是本发明提供的另一实施例中预警策略的示意图；
图17是本发明提供的另一实施例中主动制动过程的概括步骤示意图；
图18是本发明提供的另一实施例中主动制动过程的具体步骤示意图；
图19是本发明提供的一实施例中车辆主动制动的控制系统的原理框图。
具体实施方式
为了使本申请所属技术领域中的技术人员更清楚地理解本申请，下面结合附图，通过具体实施例对本申请技术方案作详细描述。
一种车辆主动制动的控制方法，如图1所示，该方法包括：
S1、获取车辆周围设定范围内的近红外图像，并提取近红外图像中的生物体障碍物坐标信息。
步骤S1具体包括：
获取多张近红外图像，并利用卷积神经网络模型(convolutional neuralnetwork，CNN)训练多张近红外图像，得到近红外图像的生物体障碍物识别算法。
获取待识别的近红外图像，利用生物体障碍物识别算法，判断待识别的近红外图像中是否有生物体障碍物，若有生物体障碍物，则计算生物体障碍物坐标信息。这里，生物体障碍物可以是人或者动物。
近红外图像可以是控制装置通过近红外摄像装置获取，在获取近红外图像时，可以同时获取车辆定位装置的定位信号，并结合晶振误差确定当前时刻，输出带时间戳的近红外图像。生物体障碍物坐标信息可以是基于近红外摄像装置机体坐标系下的生物体障碍物坐标(pitch，yaw，roll)，其中pitch是围绕X轴旋转，也叫做俯仰角，yaw是围绕Y轴旋转，也叫偏航角，roll是围绕Z轴旋转，也叫翻滚角。
其中，利用卷积神经网络模型训练多张近红外图像，得到近红外图像的生物体障碍物识别算法，包括：
从多张近红外图像中的选择多张包含有生物体障碍物的近红外图像，作为正训练样本；
从多张近红外图像中的选择多张不包含生物体障碍物的近红外图像，作为负训练样本；
从多张包含有生物体障碍物的近红外图像中框选出生物体障碍物信息，以及从多张不包含生物体障碍物的近红外图像中框选出非生物体障碍物信息；
利用生物体障碍物信息和非生物体障碍物信息，训练目标检测模型，得到生物体障碍物识别算法；其中，该目标检测模型为YOLO(You Only Look Once，只看一次)模型。
在一实施例中，选取2n(n>1)张近红外图像，对其中的n张包含生物体障碍物、n张不包含生物体障碍物的近红外图像进行标注，在n张包含生物体障碍物的近红外图像中框选出生物体障碍物作为正训练样本，在n张不包含生物体障碍物的近红外图像中框选出非生物体障碍物作为负训练样本，目标检测模型，得到生物体障碍物识别算法。
在近红外图像中识别出生物体障碍物之后注框框选生物体障碍物。把标注框中心对应的近红外摄像装置的相机坐标系(x，y)通过计算获得生物体障碍物的相机坐标系，再将生物体障碍物的相机坐标系转化为对应的机体坐标系(pitch，yaw，roll)。
其中，fx、fy是近红外摄像装置的焦距f除以dx、dy得到的值，即fx＝f/dx,fy＝f/dy。
u0、v0表示的是近红外图像的中心像素坐标和图像圆点像素坐标之间相差的横向和纵向像素数。p(x,y)的单位是毫米。
S2、获取车辆周围设定范围内的点云数据，并根据点云数据、生物体障碍物坐标信息以及预设的生物体障碍物几何特征信息，确定生物体障碍物目标，并获取车辆与生物体障碍物目标之间的距离。
具体的，可以通过雷达装置(可以是激光雷达)获取车辆前方设定区域范围内的点云数据，雷达装置能够探测到车辆前方0.1～150m范围内的障碍物，通过雷达装置可以获得障碍物的距离、速度、角度等信息。
点云数据可以是控制装置通过雷达装置获取，在获取点云数据时，可以同时获取车辆定位装置的定位信号，并结合晶振误差确定当前时刻，输出带时间戳的点云数据。
在实时获取点云数据后，使用近红外摄像装置输出的生物体障碍物坐标(pitch，yaw，roll)对点云数据进行切割，保留生物体障碍物附近的点云数据，以减小数据处理量，结合生物体障碍物的物理特征(例如，生物体障碍物长宽高的范围)对点云数据进行聚类处理，得到单一的生物体障碍物目标。
获取车辆与生物体障碍物目标之间的距离，可以由雷达装置通过TOF(Time offlight飞行时间)实现，如下公式所示：
其中，R为车辆与生物体障碍物目标之间的距离，f为雷达装置的计数脉冲重复频率，n为测量时回波脉冲到达时的计数脉冲的数目，c为在空气中传播的速度，约为3.0x108m/s。
S3、利用生物体障碍物坐标信息对点云数据进行分割，得到感兴趣区域(regionof interest，ROI)，并利用感兴趣区域确定生物体障碍物的运动趋势。
步骤S3具体包括：
将同一时刻的生物体障碍物坐标信息以及点云数据组织为对应时刻的数据集；也即是将通过近红外图像中得到的生物体障碍物坐标信息，与通过雷达装置获取的点云数据进行时间同步。获取不同时刻的点云数据、物体障碍物坐标信息，将相同时间戳对应的点云数据和物体障碍物坐标信息放入同一个列表中，打包为API(Application ProgrammingInterface，应用程序接口)库。
利用同一数据集中的生物体障碍物坐标信息对点云数据进行分割，得到数据集对应的感兴趣区域，实现生物体障碍物的目标追踪，提取到目标特征。
将相邻时刻且相邻空间位置的感兴趣区域合并为同类数据集。具体的，在相邻时域内，将不同时刻下的相邻空间位置的感兴趣区域建立联系，合并为同类数据集。这里的时刻是指近红外摄像装置拍摄近红外图像的时刻，空间位置指的是感兴趣区域对应的坐标位置，感兴趣区域为生物体障碍物的对应区域。
利用同类数据集确定生物体障碍物的运动趋势，运动趋势包括生物体障碍物的运动方向、运动角度和运动速度。
依据不同时刻的生物体障碍物的相对位置，以及经过的时间，通过
计算获取车辆与生物体障碍物目标之间的距离，根据该距离以及车辆与生物体障碍物之间的相对速度，可以计算车辆与生物体障碍物之间发生碰撞所需要的时间。
通过
分别计算生物体障碍物的偏航角方向的运动速度，翻滚角方向的运动速度，俯仰角方向的运动速度，其中，
分别为偏航角方向的运动速度，翻滚角方向的运动速度，俯仰角方向的运动速度，y1和y2分别为生物体障碍物在相邻时刻t1和t2对应的Y轴方向的坐标，r1和r2分别为生物体障碍物在相邻时刻t1和t2对应的Z轴方向的坐标，p1和p2分别为生物体障碍物在相邻时刻t1和t2对应的X轴方向的坐标，△t＝t2-t1。
S4、当车辆或车辆周围设定范围内的环境满足预设制动条件时，则利用车辆与生物体障碍物目标之间的距离，以及感兴趣区域判断生物体障碍物的运动趋势，控制车辆执行主动制动过程。
步骤S4具体包括：
获取车辆周围设定范围内的光照强度信息，判断光照强度信息是否小于预设光照强度值，或者车辆速度是否小于预设车速值，若光照强度信息小于预设光照强度值，或者车辆速度小于预设车速值，则利用车辆与生物体障碍物目标之间的距离，以及感兴趣区域判断生物体障碍物的运动趋势，控制车辆执行主动制动过程。
利用车辆与生物体障碍物目标之间的距离，以及感兴趣区域判断生物体障碍物的运动趋势，控制车辆执行主动制动过程，包括：
利用车辆与生物体障碍物目标之间的距离、车辆速度，以及感兴趣区域判断生物体障碍物的运动趋势，计算车辆与生物体障碍物的碰撞时间，并判断碰撞时间是否小于预设时间，若是，则控制车辆的AEB(即自动紧急制动)主动制动系统执行主动制动过程。
在本发明提供的另一实施例中，车辆主动制动的控制方法应用于图2所示的车载近红外安全系统中，其中，AEB主动制动系统简称为AEB系统，AEB系统包括ESP(即车身电子稳定系统)、ESC(即车身稳定控制系统)、EPS(即电动助力转向系统)、VCU(即整车控制器)、TCU(即自动变速箱控制单元)以及其他ECU(即电子控制单元)。
该控制方法主要包括图3所示的生物体障碍物感知、数据融合、碰撞预警以及主动制动等步骤。
如图4所示，障碍物感知包括近红外摄像头采集近红外图像，识别行人、动物，以及通过激光雷达进行雷达探测，获得点云信息。
如图5所示，在进行障碍物感知时，近红外摄像头获取实时的近红外图像，激光雷达感知输出实时的点云数据，光照传感器输出光照强度；通过汽车总线把图像数据和光照强度数据传递给智能终端。
数据时间获取：传感器接收车载GPS(Global Positioning System，全球定位系统)信号，结合晶振误差确定当前时刻，输出带时间戳的近红外图像及点云数据。
如图6所示，通过采集近红外图像的数据集：图像内有行人、图像内无行人的红外图像。使用CNN卷积神经网络模型进行训练，获得近红外图像的行人识别算法。车辆上的近红外摄像头实时传输近红外图像，通过行人识别算法判断图像中是否有行人。当识别到行人时框出行人在图像中的位置，计算行人位置，输出基于机体坐标系的行人坐标(pitch，yaw，roll)。
如图7所示，选取2n张近红外图像数据集，对其中n张包含行人、n张不包含行人的的近红外图像进行标注。在n张近红外图像中框选出行人，作为正训练样本，在n张近红外图像中框选出非行人目标，作为负训练样本，使用目标检测模型模型训练，获得近红外图像行人识别算法。
如图8所示，激光雷达实时获取点云数据，使用近红外摄像头输出的行人坐标(pitch，yaw，roll)对点云数据进行切割，保留行人坐标附近的点云数据。结合行人的物理几何特征(比如长宽高的范围)对点云数据簇进行聚类处理，最终得到单一的行人目标。
如图9所示，通过点云滤波，点云聚类、行人物理几何特征约束最终获得行人点云，以行人点云为依据建立边界框(bounding box)最终获得行人目标。
如图10所示，对近红外图像使用卷积神经网络模型处理后，获得了行人、动物等障碍物的坐标信息。激光雷达探测障碍物，获得障碍物的距离、速度、角度等信息。对两个不同传感器获得的障碍物信息进行时间同步、坐标对齐。障碍物聚类；把坐标相同和相近的障碍物合并为同一个数据集。
如图11所示，智能终端获得红外图像后通过卷积神经网络模型，识别出行人、动物等障碍物，并输出其坐标(yaw、roll、pitch)。结合近红外图像得出的障碍物坐标(yaw、roll、pitch)对点云数据进行分割，结合点云信息确定ROI。通过对ROI区域的点云信息、红外图像信息进行处理分析。
时间同步：把相同的时间戳的数据(点云、红外图像)组织为此时刻的数据集。
如图12所示，获取不同时刻的点云、图像数据；把相同的时间戳对应的点云和近红外图像数据值放到同一个列表(List)中，打包为API库，图12中所示近红外图像通过CAN(Controller Area Network，控制器局域网)总线进行信号传输。
如图13所示，目标跟踪：在相邻的时域内，把不同时刻下的空间位置相邻的ROI建立联系，当做相关联的ROI进行判断，即合并为同类数据集。
如图14所示，通过光照传感器监测光照强度，当照明不充分开启近红外安全系统。通过HMI(Human Machine Interface，人机接口)系统实时显示监测到的行人、动物等障碍物。
如果车速超过60kph则通过HMI实现图标、文字、声音等方式提醒驾驶员，近红外安全系统不参与AEB主动制动系统。
如图15所示，红外系统与AEB主动制动系统的功能跳转说明：
近红外安全系统在光照不充分(照度＜0.1LUX)、或车速＜60kph的工况状态下，介入车辆的AEB主动制动系统，执行AEB主动制动系统中的碰撞预警和紧急制动功能。
如图16所示，车辆上电后智能终端读取光照传感器数据，若照度小于0.1LUX则发0x1：近红外安全系统介入AEB主动制动系统；若照度大于0.1LUX则发0x0：红外不介入AEB主动制动系统。
当检测到行人或动物时，智能终端发0x1，车辆仪表显示行人、动物的红外图像，蜂鸣器响3声提醒；否则发0x0，车辆仪表不显示。
如图17所示，近红外安全系统结合障碍物信息，确定距离车辆最近的行人、生物障碍物。通过公式(碰撞时间＝相对距离/相对速度)计算碰撞时间，当碰撞时间小于用户的设定值时，执行AEB主动制动。
如图18所示，获取车辆前方的光照强度，判断光照强度是否小于0.1LUX(勒克斯)，若光照强度小于0.1LUX，则判定光照不充分，若光照不充分，则将通过近红外图像得到的图像分析结果介入车辆的AEB主动制动系统，执行AEB主动制动系统中的碰撞预警和紧急制动功能。
碰撞预警策略：
控制装置可以是一种智能终端，车辆上电后，智能终端读取光照传感器采集的光照强度数据，若光照强度小于0.1LUX则发送指令0x1：近红外图像的分析处理结果介入AEB主动制动系统；若光照强度大于0.1LUX则发送指令0x0：近红外图像的分析处理结果不介入AEB主动制动系统。
当检测到行人或动物时，智能终端发送指令0x1，车辆仪表显示行人、动物的近红外图像，蜂鸣器响3声提醒；没有检测到行人或动物时，发送指令0x0，车辆仪表不显示近红外图像。
近红外图像得到的图像分析结果介入AEB主动制动系统策略：
智能终端实时获取车辆速度，当车速大于60kph(千米每小时)时发送指令0x0至AEB主动制动系统，AEB主动制动系统在进行主动制动预警时，不考虑近红外图像的图像分析结果；当车速小于60kph时，发送指令0x1至AEB主动制动系统，AEB主动制动系统在进行主动制动预警时，需要参考近红外图像的图像分析结果，即：利用车辆与生物体障碍物目标之间的距离、车辆速度，以及感兴趣区域判断生物体障碍物的运动趋势，计算车辆与生物体障碍物的碰撞时间，并判断碰撞时间是否小于预设时间，若是，则控制车辆的AEB主动制动系统执行主动制动过程。
用户可以设置碰撞时间阈值，例如可以将碰撞时间阈值设置为1秒、2秒、3秒等，碰撞时间阈值参数影响主动制动系统的报警、制动的敏感程度。当碰撞时间阈值设定为1秒时，系统不容易触发碰撞的预警，当车辆与生物体障碍物目标的碰撞时间达到设置的碰撞时间阈值时，执行主动制动过程。
当碰撞时间阈值设定为3秒时，主动制动系统易触发碰撞的预警，当车辆与生物体障碍物目标的碰撞时间达到设置的碰撞时间阈值时，执行主动制动过程。
通过公式：碰撞时间＝车辆与障碍物的相对距离/车辆与障碍物的相对速度，计算车辆与障碍物的碰撞时间。当计算的碰撞时间小于用户设定的碰撞时间阈值时，发送指令0x1至AEB主动制动系统执行主动制动，否则发送指令0x0至AEB主动制动系统，AEB主动制动系统不执行主动制动。
AEB主动制动系统的主动制动策略有：制动预填充、自适应制动辅助、自动告警制动、全力紧急制动这几种方式。因为AEB主动制动策略已经成熟，而且广泛应用，所以本申请中不再展开说明。
本发明还提供一种车辆主动制动的控制系统，如图19所示，控制系统包括：近红外摄像装置2、雷达装置3以及控制装置1，控制装置1可以是上述的智能终端，近红外摄像装置2可以是上述的近红外摄像头，雷达装置3可以是上述的激光雷达。
近红外摄像装置2用于获取车辆周围设定范围内的近红外图像。
雷达装置3用于获取车辆周围设定范围内的点云数据。
控制装置1分别与近红外摄像装置2和测距装置通讯连接，用于提取近红外图像中的生物体障碍物坐标信息，并根据点云数据、生物体障碍物坐标信息以及预设的生物体障碍物几何特征信息，确定生物体障碍物目标，并获取车辆与生物体障碍物目标之间的距离。
且控制装置1还用于利用生物体障碍物坐标信息对点云数据进行分割，得到感兴趣区域，并利用感兴趣区域确定生物体障碍物的运动趋势，当车辆或车辆周围设定范围内的环境满足预设制动条件时，则利用车辆与生物体障碍物目标之间的距离，以及感兴趣区域判断生物体障碍物的运动趋势，控制车辆执行主动制动过程。
控制装置1用于利用卷积神经网络模型训练多张近红外图像，得到近红外图像的生物体障碍物识别算法，以及获取待识别的近红外图像，利用生物体障碍物识别算法，判断待识别的近红外图像中是否有生物体障碍物，若有生物体障碍物，则计算生物体障碍物坐标信息。
控制装置1用于从多张近红外图像中的选择多张包含有生物体障碍物的近红外图像，作为正训练样本，从多张近红外图像中的选择多张不包含生物体障碍物的近红外图像，作为负训练样本，从多张包含有生物体障碍物的近红外图像中框选出生物体障碍物信息，以及从多张不包含生物体障碍物的近红外图像中框选出非生物体障碍物信息，利用生物体障碍物信息和非生物体障碍物信息，训练目标检测模型，得到生物体障碍物识别算法。
控制装置1用于将同一时刻的生物体障碍物坐标信息以及点云数据组织为对应时刻的数据集，利用同一数据集中的生物体障碍物坐标信息对点云数据进行分割，得到数据集对应的感兴趣区域，将相邻时刻且相邻空间位置的感兴趣区域合并为同类数据集，利用同类数据集确定生物体障碍物的运动趋势，运动趋势包括生物体障碍物的运动方向、运动角度和运动速度。
控制装置1用于获取车辆周围设定范围内的光照强度信息，判断光照强度信息是否小于预设光照强度值，或者车辆速度是否小于预设车速值，若光照强度信息小于预设光照强度值，或者车辆速度小于预设车速值，则利用车辆与生物体障碍物目标之间的距离，以及感兴趣区域判断生物体障碍物的运动趋势，控制车辆执行主动制动过程。
控制装置1用于利用车辆与生物体障碍物目标之间的距离、车辆速度，以及感兴趣区域判断生物体障碍物的运动趋势，计算车辆与生物体障碍物的碰撞时间，并判断碰撞时间是否小于预设时间，若是，则控制车辆的AEB执行主动制动过程。
综上所述，本发明通过获取车辆周围设定范围内的近红外图像，并提取近红外图像中的生物体障碍物坐标信息，近红外图像相对于其他信号数据更能准备感知到生物体障碍物以及生物体障碍物的类型，再根据雷达装置3获取的点云数据、生物体障碍物坐标信息以及预设的生物体障碍物几何特征信息，确定生物体障碍物目标，并获取车辆与生物体障碍物目标之间的距离；利用生物体障碍物坐标信息对点云数据进行分割，得到感兴趣区域，可以减少后续的数据处理量，并利用感兴趣区域确定生物体障碍物的运动趋势；当车辆或车辆周围设定范围内的环境满足预设制动条件时，则利用车辆与生物体障碍物目标之间的距离，以及感兴趣区域判断生物体障碍物的运动趋势，控制车辆执行主动制动过程，根据生物体障碍物的运动趋势可以提前预测碰撞的时间及碰撞的可能性，以便更好的执行主动制动过程。本发明通过近红外摄像装置2与雷达装置3感知融合，使车辆在夜间、乡村道路行驶时，能更快、更准确的感知到行人、动物等障碍物。
而且，本发明还对生物体障碍物进行跟踪：把相邻时域、空间域的障碍物进行关联，持续跟踪；通过将近红外摄像装置2与雷达装置3感知融合可以实时对行人、动物等障碍物进行预警和预制动。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (9)
1.一种车辆主动制动的控制方法，其特征在于，包括：
获取车辆周围设定范围内的近红外图像，并提取所述近红外图像中的生物体障碍物坐标信息；
获取所述车辆周围设定范围内的点云数据，并根据所述点云数据、所述生物体障碍物坐标信息以及预设的生物体障碍物几何特征信息，确定生物体障碍物目标，并获取所述车辆与所述生物体障碍物目标之间的距离；
利用所述生物体障碍物坐标信息对所述点云数据进行分割，得到感兴趣区域，并利用所述感兴趣区域确定生物体障碍物的运动趋势；
当所述车辆或所述车辆周围设定范围内的环境满足预设制动条件时，利用所述车辆与所述生物体障碍物目标之间的距离，以及所述感兴趣区域判断生物体障碍物的运动趋势，控制所述车辆执行主动制动过程；其中：
所述利用所述生物体障碍物坐标信息对所述点云数据进行分割，得到感兴趣区域，并利用所述感兴趣区域确定生物体障碍物的运动趋势，包括：
将同一时刻的所述生物体障碍物坐标信息以及所述点云数据组织为对应时刻的数据集；
利用同一数据集中的所述生物体障碍物坐标信息对所述点云数据进行分割，得到所述数据集对应的感兴趣区域；
将相邻时刻且相邻空间位置的感兴趣区域合并为同类数据集；
利用所述同类数据集确定生物体障碍物的运动趋势，所述运动趋势包括所述生物体障碍物的运动方向、运动角度和运动速度。
2.根据权利要求1所述的车辆主动制动的控制方法，其特征在于，所述获取车辆周围设定范围内的近红外图像，并提取所述近红外图像中的生物体障碍物坐标信息，包括：
获取多张近红外图像，利用卷积神经网络模型训练所述多张近红外图像，得到所述近红外图像的生物体障碍物识别算法；
获取待识别的近红外图像，利用所述生物体障碍物识别算法，判断所述待识别的近红外图像中是否有生物体障碍物，若有生物体障碍物，则计算所述生物体障碍物坐标信息。
3.根据权利要求2所述的车辆主动制动的控制方法，其特征在于，所述利用卷积神经网络模型训练所述多张近红外图像，得到所述近红外图像的生物体障碍物识别算法，包括：
从所述多张近红外图像中的选择多张包含有生物体障碍物的近红外图像，作为正训练样本；
从所述多张近红外图像中的选择多张不包含生物体障碍物的近红外图像，作为负训练样本；
从所述多张包含有生物体障碍物的近红外图像中框选出生物体障碍物信息，以及从所述多张不包含生物体障碍物的近红外图像中框选出非生物体障碍物信息；
利用所述生物体障碍物信息和所述非生物体障碍物信息，训练目标检测模型，得到所述生物体障碍物识别算法。
4.根据权利要求1所述的车辆主动制动的控制方法，其特征在于，所述当所述车辆或所述车辆周围设定范围内的环境满足预设制动条件时，利用所述车辆与所述生物体障碍物目标之间的距离，以及所述感兴趣区域判断生物体障碍物的运动趋势，控制所述车辆执行主动制动过程，包括：
获取所述车辆周围设定范围内的光照强度信息，判断所述光照强度信息是否小于预设光照强度值，或者所述车辆速度是否小于预设车速值，若所述光照强度信息小于所述预设光照强度值，或者所述车辆速度小于所述预设车速值，则利用所述车辆与所述生物体障碍物目标之间的距离，以及所述感兴趣区域判断生物体障碍物的运动趋势，控制所述车辆执行主动制动过程。
5.根据权利要求1所述的车辆主动制动的控制方法，其特征在于，所述利用所述车辆与所述生物体障碍物目标之间的距离，以及所述感兴趣区域判断生物体障碍物的运动趋势，控制所述车辆执行主动制动过程，包括：
利用所述车辆与所述生物体障碍物目标之间的距离、所述车辆速度，以及所述感兴趣区域判断所述生物体障碍物的运动趋势，计算所述车辆与所述生物体障碍物的碰撞时间，并判断所述碰撞时间是否小于预设时间，若是，则控制所述车辆的自动紧急制动系统执行主动制动过程。
6.一种车辆主动制动的控制系统，其特征在于，包括：
近红外摄像装置，用于获取车辆周围设定范围内的近红外图像；
雷达装置，用于获取所述车辆周围设定范围内的点云数据；
控制装置，分别与所述近红外摄像装置和测距装置通讯连接，用于提取所述近红外图像中的生物体障碍物坐标信息，并根据所述点云数据、所述生物体障碍物坐标信息以及预设的生物体障碍物几何特征信息，确定生物体障碍物目标，并获取所述车辆与所述生物体障碍物目标之间的距离；
且所述控制装置，还用于利用所述生物体障碍物坐标信息对所述点云数据进行分割，得到感兴趣区域，并利用所述感兴趣区域确定生物体障碍物的运动趋势，当所述车辆或所述车辆周围设定范围内的环境满足预设制动条件时，利用所述车辆与所述生物体障碍物目标之间的距离，以及所述感兴趣区域判断生物体障碍物的运动趋势，控制所述车辆执行主动制动过程；
所述利用所述生物体障碍物坐标信息对所述点云数据进行分割，得到感兴趣区域，并利用所述感兴趣区域确定生物体障碍物的运动趋势，包括：
将同一时刻的所述生物体障碍物坐标信息以及所述点云数据组织为对应时刻的数据集；
利用同一数据集中的所述生物体障碍物坐标信息对所述点云数据进行分割，得到所述数据集对应的感兴趣区域；
将相邻时刻且相邻空间位置的感兴趣区域合并为同类数据集；
利用所述同类数据集确定生物体障碍物的运动趋势，所述运动趋势包括所述生物体障碍物的运动方向、运动角度和运动速度。
7.根据权利要求6所述的车辆主动制动的控制系统，其特征在于，
所述控制装置，用于利用卷积神经网络模型训练多张所述近红外图像，得到所述近红外图像的生物体障碍物识别算法，以及获取待识别的近红外图像，利用所述生物体障碍物识别算法，判断所述待识别的近红外图像中是否有生物体障碍物，若有生物体障碍物，则计算所述生物体障碍物坐标信息。
8.根据权利要求7所述的车辆主动制动的控制系统，其特征在于，
所述控制装置，用于从所述多张近红外图像中的选择多张包含有生物体障碍物的近红外图像，作为正训练样本，从所述多张近红外图像中的选择多张不包含生物体障碍物的近红外图像，作为负训练样本，从所述多张包含有生物体障碍物的近红外图像中框选出生物体障碍物信息，以及从所述多张不包含生物体障碍物的近红外图像中框选出非生物体障碍物信息，利用所述生物体障碍物信息和所述非生物体障碍物信息，训练目标检测模型，得到所述生物体障碍物识别算法。
9.根据权利要求6所述的车辆主动制动的控制系统，其特征在于，
所述控制装置，用于获取所述车辆周围设定范围内的光照强度信息，判断所述光照强度信息是否小于预设光照强度值，或者所述车辆速度是否小于预设车速值，若所述光照强度信息小于所述预设光照强度值，或者所述车辆速度小于所述预设车速值，则利用所述车辆与所述生物体障碍物目标之间的距离，以及所述感兴趣区域判断生物体障碍物的运动趋势，控制所述车辆执行主动制动过程。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011440480.5A CN112606804B (zh) | 2020-12-08 | 2020-12-08 | 一种车辆主动制动的控制方法及控制系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011440480.5A CN112606804B (zh) | 2020-12-08 | 2020-12-08 | 一种车辆主动制动的控制方法及控制系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112606804A CN112606804A (zh) | 2021-04-06 |
| CN112606804B true CN112606804B (zh) | 2022-03-29 |
Family
ID=75232642
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011440480.5A Active CN112606804B (zh) | 2020-12-08 | 2020-12-08 | 一种车辆主动制动的控制方法及控制系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112606804B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113283311A (zh) * | 2021-05-07 | 2021-08-20 | 恒大新能源汽车投资控股集团有限公司 | 一种车用动物驱离方法和装置 |
| CN114446092B (zh) * | 2022-01-19 | 2022-12-27 | 无锡学院 | 一种基于三维相机组网的s型公路模拟障碍物预警方法 |
| CN115202350B (zh) * | 2022-07-15 | 2023-06-09 | 盐城工学院 | 一种agv小车的自动运输系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2077596A1 (en) * | 1992-09-04 | 1994-03-05 | Michel Nault | Vehicle safety device |
| CN102508246A (zh) * | 2011-10-13 | 2012-06-20 | 吉林大学 | 车辆前方障碍物检测跟踪方法 |
| CN102930555A (zh) * | 2011-08-11 | 2013-02-13 | 深圳迈瑞生物医疗电子股份有限公司 | 一种对超声图像中感兴趣区域进行跟踪的方法及装置 |
| GB201321179D0 (en) * | 2013-12-02 | 2014-01-15 | Daimler Ag | Device and method to derive optimum speed of vehicle for comfortable ride |
| CN106599832A (zh) * | 2016-12-09 | 2017-04-26 | 重庆邮电大学 | 一种基于卷积神经网络的多类障碍物检测与识别方法 |
| CN110412986A (zh) * | 2019-08-19 | 2019-11-05 | 中车株洲电力机车有限公司 | 一种车辆障碍物检测方法及系统 |
| CN110816527A (zh) * | 2019-11-27 | 2020-02-21 | 奇瑞汽车股份有限公司 | 一种车载夜视安全方法和系统 |
-
2020
- 2020-12-08 CN CN202011440480.5A patent/CN112606804B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2077596A1 (en) * | 1992-09-04 | 1994-03-05 | Michel Nault | Vehicle safety device |
| CN102930555A (zh) * | 2011-08-11 | 2013-02-13 | 深圳迈瑞生物医疗电子股份有限公司 | 一种对超声图像中感兴趣区域进行跟踪的方法及装置 |
| CN102508246A (zh) * | 2011-10-13 | 2012-06-20 | 吉林大学 | 车辆前方障碍物检测跟踪方法 |
| GB201321179D0 (en) * | 2013-12-02 | 2014-01-15 | Daimler Ag | Device and method to derive optimum speed of vehicle for comfortable ride |
| CN106599832A (zh) * | 2016-12-09 | 2017-04-26 | 重庆邮电大学 | 一种基于卷积神经网络的多类障碍物检测与识别方法 |
| CN110412986A (zh) * | 2019-08-19 | 2019-11-05 | 中车株洲电力机车有限公司 | 一种车辆障碍物检测方法及系统 |
| CN110816527A (zh) * | 2019-11-27 | 2020-02-21 | 奇瑞汽车股份有限公司 | 一种车载夜视安全方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112606804A (zh) | 2021-04-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109927719B (zh) | 一种基于障碍物轨迹预测的辅助驾驶方法和系统 | |
| CN106485233B (zh) | 可行驶区域检测方法、装置和电子设备 | |
| CN112606804B (zh) | 一种车辆主动制动的控制方法及控制系统 | |
| CN202163431U (zh) | 基于多传感器信息融合的碰撞及偏离预警装置 | |
| EP2559016B1 (en) | Video based intelligent vehicle control system | |
| JP5410730B2 (ja) | 自動車の外界認識装置 | |
| CN109871787B (zh) | 一种障碍物检测方法及装置 | |
| CN106503653A (zh) | 区域标注方法、装置和电子设备 | |
| EP2224743B1 (en) | Vehicle periphery monitoring device, vehicle, and vehicle periphery monitoring program | |
| CN102303605A (zh) | 基于多传感器信息融合的碰撞及偏离预警装置及预警方法 | |
| CN108960035A (zh) | 使用场景检测模式在感知场景图中分类对象的方法和系统 | |
| CN102792314A (zh) | 交叉通行碰撞警报系统 | |
| EP3286056B1 (en) | System and method for a full lane change aid system with augmented reality technology | |
| EP2899669A1 (en) | Lane relative position estimation method and system for driver assistance systems | |
| CN108944920A (zh) | 在机动车应用程序中生成并使用感知场景图的方法和系统 | |
| CN102303563B (zh) | 前车碰撞预警系统及方法 | |
| CN104260723A (zh) | 一种后方车辆运动状态追踪预测装置及预测方法 | |
| CN110481526A (zh) | 一种智能汽车传感器盲区行人检测及主动避撞方法 | |
| CN108021899A (zh) | 基于双目相机的车载智能前车防撞预警方法 | |
| CN108944919A (zh) | 为机动车辆生成具有聚焦区的感知场景图的方法和系统 | |
| CN112793567A (zh) | 一种基于路况检测的辅助驾驶方法及系统 | |
| CN114084129A (zh) | 一种基于融合的车辆自动驾驶控制方法及系统 | |
| CN112784868A (zh) | 用于训练用于对象识别设备的机器学习系统的方法、执行方法、对象识别设备及计算机程序 | |
| CN113313182B (zh) | 一种基于雷达和视频融合的目标识别方法及终端 | |
| CN111216718A (zh) | 一种避免碰撞方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |