CN110427850B - 驾驶员高速道路换道意图预测方法、系统、装置 - Google Patents
驾驶员高速道路换道意图预测方法、系统、装置 Download PDFInfo
- Publication number
- CN110427850B CN110427850B CN201910669788.8A CN201910669788A CN110427850B CN 110427850 B CN110427850 B CN 110427850B CN 201910669788 A CN201910669788 A CN 201910669788A CN 110427850 B CN110427850 B CN 110427850B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- lane
- driver
- feature data
- intention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008859 change Effects 0.000 claims abstract description 88
- 238000000034 method Methods 0.000 claims abstract description 61
- 238000001514 detection method Methods 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims abstract description 7
- 210000003414 extremity Anatomy 0.000 claims description 35
- 238000012549 training Methods 0.000 claims description 31
- 230000001815 facial effect Effects 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 16
- 230000001360 synchronised effect Effects 0.000 claims description 15
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 230000002457 bidirectional effect Effects 0.000 claims description 10
- 230000015654 memory Effects 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 210000001364 upper extremity Anatomy 0.000 claims description 4
- 230000000306 recurrent effect Effects 0.000 claims description 3
- 206010039203 Road traffic accident Diseases 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 8
- 125000004122 cyclic group Chemical group 0.000 description 5
- 230000007787 long-term memory Effects 0.000 description 4
- 230000006403 short-term memory Effects 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 241000724142 Ziziphus rugosa Species 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
本发明属于智能驾驶技术领域，具体涉及了一种驾驶员高速道路换道意图预测方法、系统、装置，旨在解决驾驶员换道意图预测准确度低的问题。本发明方法包括：提取驾驶员头部图像、驾驶员肢体图像、道路场景图像以及车辆速度信息的特征数据；通过插值进行特征数据同步；采用换道预测模型计算左换道概率、右换道概率、车道保持概率，并以概率值最大的换道意图作为驾驶员高速道路换道预测意图。本发明采用多视频流图像处理技术，结合各特征数据进行预测模型的建立及推算分析，预测精度高，避免驾驶员与辅助系统产生控制分歧以及辅助系统对驾驶员的干扰，并能使车辆提前开启感兴趣区域检测和预警，减少交通事故的发生。
Description
技术领域
本发明属于智能驾驶技术领域，具体涉及了一种驾驶员高速道路换道意图预测方法、系统、装置。
背景技术
随着智能汽车与高级驾驶员辅助系统(ADAS，Advanced Driving AssistantSystem)的发展，越来越多的驾驶员辅助系统正在与驾驶员分享车辆控制权。以车道保持系统为例，车道保持系统通过检测当前车辆在车道内的位置直接对车辆转向系统进行控制，使得车辆保持安全直线行驶，避免无意识换道。
然而，随着驾驶员与驾驶员辅助系统分享车辆控制权，必须解决如何有效地管理两者之间的控制权限问题，进而避免产生控制分歧和对驾驶员不必要的干扰。基于支持向量机(SVM，Support Vector Machine)算法[1]的驾驶员意图识别方法，由于SVM算法属于判别式机器学习方法，因此该方法只能考虑稀疏的时序数据且难以较早的发现驾驶员意图。基于多维离散马尔科夫模型的意图识别方法[2]，该方法所采用的车辆动力学信息只能反映驾驶员在开始执行相关意图之后的车辆控制，无法实现意图的预测。驾驶员超车意图的判识装置[3]，该装置通过监视驾驶员的眼睛注视方向和评估驾驶员的超车意图等级实现前向碰撞预警。然而，该装置所采用的眼睛注视方向特征并不能充分代表驾驶员的意图准备过程，同时忽略交通场景信息不利于及早发现驾驶员意图。
总的来说，现有的方法无法对驾驶员的换道意图做出精准的预测，驾驶员与辅助系统存在控制的分歧，并且辅助系统对驾驶员的驾驶过程存在不必要的干扰，无法提早发现及预警潜在障碍物或行人，从而无法避免一些交通事故的发生。
以下文献是与本发明相关的技术背景资料：
[1]辛晓帅、王艺霖、邹见效、徐红兵，一种基于SVM算法的驾驶员意图识别方法，2016-11.
[2]辛晓帅、冯颉、邹见效、徐红兵，一种驾驶员意图识别方法，2013-09.
[3]J·希尔林，驾驶员意图评估装置，2019-07.
发明内容
为了解决现有技术中的上述问题，即驾驶员换道意图预测准确度低的问题，本发明提供了一种驾驶员高速道路换道意图预测方法，该预测方法包括：
步骤S10，获取第一预设时长的驾驶员头部图像、驾驶员肢体图像、道路场景图像以及车辆速度信息作为待处理数据；
步骤S20，基于每一个驾驶员头部图像，分别采用人脸检测模型获取人脸位置，并采用人脸特征提取库对人脸位置区域进行特征提取，获得面部特征数据；基于每一个驾驶员肢体图像，分别采用深度卷积神经网络提取驾驶员上肢骨骼点位置，获得肢体特征数据；基于每一个道路场景图像，分别提取所述道路场景图像的特征数据，获得场景特征数据；基于所述第一预设时长的车辆速度信息生成车速特征数据；
步骤S30，以车辆CAN总线时间为基准，结合所述待处理数据的时间戳对所述面部特征数据、肢体特征数据、场景特征数据、车速特征数据插值后进行特征数据同步，获得同步后的特征数据；
步骤S40，基于所述同步后的特征数据，通过换道预测模型计算当前时刻的左换道概率、右换道概率、车道保持概率；
步骤S50，所述左换道概率、右换道概率、车道保持概率中概率值最大的换道意图为驾驶员高速道路换道预测意图。
在一些优选的实施例中，所述换道预测模型基于深度双向循环神经网络构建，其训练方法为：
步骤B10，采用上述的驾驶员高速道路换道意图预测方法的步骤S10-步骤S30对应的方法获取预设数量的换道开始前第二预设时长的驾驶员头部图像、驾驶员肢体图像、道路场景图像以及车辆速度信息对应的面部特征数据、肢体特征数据、场景特征数据、车速特征数据并进行数据同步后作为训练样本数据；获取训练样本数据对应的驾驶员高速道路换道真实意图作为训练样本标签；
步骤B20，随机选取一组训练样本数据及其对应的训练样本标签，通过换道预测模型计算对应的左换道概率、右换道概率、车道保持概率；
步骤B30，以所述左换道概率、右换道概率、车道保持概率中概率值最大的换道意图作为驾驶员高速道路换道预测意图，并计算所述驾驶员高速道路换道预测意图与训练样本标签的交叉熵函数值；
步骤B40，如果所述交叉熵函数值不小于设定阈值或未达到预设的迭代优化次数，则更新所述换道预测模型的双向循环神经网络输入层权重，长短期记忆网络记忆门权重、遗忘门权重，以及输出层连接权重，并重复执行步骤B20-步骤B30直至达到预设的训练结束条件。
在一些优选的实施例中，所述面部特征数据包括：
左眼注视角度、右眼注视角度、头部横摆角、头部螺旋角、头部偏航角。
在一些优选的实施例中，所述肢体特征数据包括：
左手中心位置、左肘位置、右手中心位置、右肘位置。
在一些优选的实施例中，所述场景特征数据包括：
车辆行车中心线距左车道线距离、车辆行车中心线距右车道线距离、左车道线类型、右车道线类型、车辆距车辆所在车道前车的距离、车辆距左车道前车的距离、车辆距右车道前车的距离。
在一些优选的实施例中，步骤S20中“基于每一个道路场景图像，分别提取所述道路场景图像的特征数据，获得场景特征数据”，其方法为：
基于每一个道路场景图像，分别确定车辆两侧的车道线在图像中的位置，并建立虚拟车辆中心线，分别计算所述虚拟车辆中心线与车辆两侧的车道线的距离，得到车辆行车中心线距左车道线距离、车辆行车中心线距右车道线距离；
基于每一个道路场景图像，分别在已检测到的车道线上建立扫描点和扫描线，根据所述扫描点和扫描线的像素与边缘信息确定左车道线类型、右车道线类型；
基于每一个道路场景图像，检测前方车辆，并结合相机标定与透视逆变换确定本车距离前方车辆的距离信息，得到车辆距车辆所在车道前车的距离、车辆距左车道前车的距离、车辆距右车道前车的距离。
在一些优选的实施例中，所述车道线类型包括车道线虚线或实线类型、车道线颜色类型。
本发明的另一方面，提出了一种驾驶员高速道路换道意图预测系统，该预测系统包括数据获取模块、特征提取模块、同步模块、换道预测模块、输出模块；
所述数据获取模块，配置为获取第一预设时长的驾驶员头部图像、驾驶员肢体图像、道路场景图像以及车辆速度信息作为待处理数据并输入至所述特征提取模块；
所述特征提取模块，配置为基于所述数据获取模块获取的待处理数据，提取面部特征数据、肢体特征数据、场景特征数据、车速特征数据；
所述同步模块，配置为以车辆CAN总线时间为基准，结合所述待处理数据的时间戳对所述面部特征数据、肢体特征数据、场景特征数据、车速特征数据通过插值进行特征数据同步，获得同步后的特征数据；
所述换道预测模块，配置为基于所述同步后的特征数据，通过换道预测模型计算当前时刻的左换道概率、右换道概率、车道保持概率；
所述输出模块，配置为输出所述左换道概率、右换道概率、车道保持概率中概率值最大的换道意图作为驾驶员高速道路换道预测意图。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的驾驶员高速道路换道意图预测方法。
本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；所述处理器，适于执行各条程序；所述存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的驾驶员高速道路换道意图预测方法。
本发明的有益效果：
(1)本发明驾驶员高速道路换道意图预测方法，采用多视频流图像处理技术，结合驾驶员的面部特征、肢体特征、道路场景特征以及车速特征等时序特征来建立意图推理模型以及驾驶员换道意图的推算分析，并采用了双向深度循环神经模型，结合长短期记忆单元来实现对时序特征的建模，建立了当前时刻与过去预设时长内的特征关联模型，从而能够获得超前意图推理而非在换道动作发生后进行识别，因此本发明能够实现在高速场景下，在保证换道开始前至少1秒的预测下，达到90％以上的预测精度，避免驾驶员与驾驶员辅助系统产生控制分歧以及避免驾驶员辅助系统对驾驶员产生不必要的干扰。
(2)本发明驾驶员高速道路换道意图预测方法，通过结合换道概率与连续预报数量做出换道意图推理，并将结果及时传递给ADAS，可以使得车辆提前开启感兴趣区域检测和预警，从而减少交通事故的发生。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明驾驶员高速道路换道意图预测方法的流程示意图；
图2是本发明驾驶员高速道路换道意图预测方法一种实施例的视频图像获取装置安装位置示例图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明的一种驾驶员高速道路换道意图预测方法，该预测方法包括：
步骤S10，获取第一预设时长的驾驶员头部图像、驾驶员肢体图像、道路场景图像以及车辆速度信息作为待处理数据；
步骤S20，基于每一个驾驶员头部图像，分别采用人脸检测模型获取人脸位置，并采用人脸特征提取库对人脸位置区域进行特征提取，获得面部特征数据；基于每一个驾驶员肢体图像，分别采用深度卷积神经网络提取驾驶员上肢骨骼点位置，获得肢体特征数据；基于每一个道路场景图像，分别提取所述道路场景图像的特征数据，获得场景特征数据；基于所述第一预设时长的车辆速度信息生成车速特征数据；
步骤S30，以车辆CAN总线时间为基准，结合所述待处理数据的时间戳对所述面部特征数据、肢体特征数据、场景特征数据、车速特征数据插值后进行特征数据同步，获得同步后的特征数据；
步骤S40，基于所述同步后的特征数据，通过换道预测模型计算当前时刻的左换道概率、右换道概率、车道保持概率；
步骤S50，所述左换道概率、右换道概率、车道保持概率中概率值最大的换道意图为驾驶员高速道路换道预测意图。
为了更清晰地对本发明驾驶员高速道路换道意图预测方法进行说明，下面结合图1对本发明方法实施例中各步骤展开详述。
本发明一种实施例的驾驶员高速道路换道意图预测方法，包括步骤S10-步骤S50，各步骤详细描述如下：
步骤S10，获取第一预设时长的驾驶员头部图像、驾驶员肢体图像、道路场景图像以及车辆速度信息作为待处理数据。
如图2所示，为本发明驾驶员高速道路换道意图预测方法一种实施例的视频图像获取装置安装位置示例图，201为获取驾驶员头部图像的图像采集装置，202为获取驾驶员肢体图像的图像采集装置，203为获取道路场景图像的图像采集装置。
本发明的一个实施例中，图像采集装置201为安装在驾驶员前方，在不妨碍驾驶员视线的前提下采集驾驶员头部视频图像的摄像机，图像采集装置202为固定在车辆A柱上的摄像机，图像采集装置203为安装在车辆前挡风玻璃中心靠近后视镜位置处的摄像机。
在本发明实施例中，201、202、203摄像机采集的图像为尺寸640×480的三通道彩色图像，视频流帧率设置为25帧/秒。
在实际应用中，视频图像也可以过其他方式采集，例如，行车记录仪；获取的图像尺寸、选择的摄像机的参数设置以及摄像机的安装位置也可根据实际需要进行调整，在此不再一一赘述。
在本发明的不同实施例中，上述第一预设时长的具体取值可以根据实际需要配置为不同的合理值，本发明不对上述第一预设时长的具体取值进行限定。在本发明的一个实施例中，上述第一预设时长的取值配置为6秒。
步骤S20，基于每一个驾驶员头部图像，分别采用人脸检测模型获取人脸位置，并采用人脸特征提取库对人脸位置区域进行特征提取，获得面部特征数据；基于每一个驾驶员肢体图像，分别采用深度卷积神经网络提取驾驶员上肢骨骼点位置，获得肢体特征数据；基于每一个道路场景图像，分别提取所述道路场景图像的特征数据，获得场景特征数据；基于所述第一预设时长的车辆速度信息生成车速特征数据。
所述面部特征数据包括：
左眼注视角度、右眼注视角度、头部横摆角、头部螺旋角、头部偏航角。
本发明的一个实施例中，采用Harr-like Cascade人脸检测模型来检测出人脸位置，从而确定出驾驶员的人脸区域，在得到人脸区域后，利用dlib人脸特征提取库对人脸区域进行人脸特征提取，获得由头部横摆角(roll)、头部螺旋角(pitch)、头部偏航角(yaw)三自由度组成的特征向量(roll,pitch,yaw)，左眼注视角度、右眼注视角度以及头部姿态。在实际应用中，还可以提取面部的其他特征用于后续的驾驶员意图预测，比如鼻尖位置、嘴角位置等，在此本发明不再一一详述。
所述肢体特征数据包括：
左手中心位置、左肘位置、右手中心位置、右肘位置。
本发明一个实施例中，将提取的左手中心位置、左肘位置、右手中心位置、右肘位置描述为向量(x1,y1,x2,y2,x3,y3,x4,y4)，其中，(x1,y1)表示左手中心位置坐标，(x2,y2)表示左肘位置坐标，(x3,y3)表示右手中心位置坐标，(x4,y4)表位右肘位置坐标。在实际应用中，还可以提取肢体的替他特征用于后续的驾驶员意图预测，比如手腕位置，在此本发明不再一一详述。
所述场景特征数据包括：
车辆行车中心线距左车道线距离、车辆行车中心线距右车道线距离、左车道线类型、右车道线类型、车辆距车辆所在车道前车的距离、车辆距左车道前车的距离、车辆距右车道前车的距离。
“基于每一个道路场景图像，分别提取所述道路场景图像的特征数据，获得场景特征数据”，其方法为：
基于每一个道路场景图像，分别确定车辆两侧的车道线在图像中的位置，并建立虚拟车辆中心线，分别计算所述虚拟车辆中心线与车辆两侧的车道线的距离，得到车辆行车中心线距左车道线距离、车辆行车中心线距右车道线距离；
基于每一个道路场景图像，分别在已检测到的车道线上建立扫描点和扫描线，根据所述扫描点和扫描线的像素与边缘信息确定左车道线类型、右车道线类型；
基于每一个道路场景图像，检测前方车辆，并结合相机标定与透视逆变换确定本车距离前方车辆的距离信息，得到车辆距车辆所在车道前车的距离、车辆距左车道前车的距离、车辆距右车道前车的距离。
所述车道线类型包括车道线虚线或实线类型、车道线颜色类型。
本发明一个实施例中，该方法所得到的道路场景特征可以采用向量(x1,y1,x2,y2,d1,d2,d3)表示。其中，x1、y1分别代表行车中心线距左车道线距离以及左车道线类型，x2、y2则分别表示车中心线距右车道线距离以及右车道线类型，d1、d2、d3分别表示车辆距车辆所在车道前车的距离、车辆距左车道前车的距离、车辆距右车道前车的距离。如果无前车，那么相应特征参数的取值则配置为0。在实际应用中，还可以提取场景的替他特征用于后续的驾驶员意图预测，在此本发明不再一一详述。
本发明的一个实施例中，通过CAN总线数据来获取车辆速度信息，并通过对车辆速度信息进行中值滤波处理来生成车速特征数据。
步骤S30，以车辆CAN总线时间为基准，结合所述待处理数据的时间戳对所述面部特征数据、肢体特征数据、场景特征数据、车速特征数据插值后进行特征数据同步，获得同步后的特征数据。
时间戳(timestamp)，通常是一个字符序列，唯一地标识某一刻的时间。插值是在离散数据的基础上补插连续函数，使得这条连续曲线通过全部给定的离散数据点。插值是离散函数逼近的重要方法，利用它可通过函数在有限个点处的取值状况，估算出函数在其他点处的近似值。
本发明一个实施例中，利用滑动时间窗口来组合所提取的特征数据。例如，对于时长为6秒的滑动时间窗口，该方法在每一次新数据到来时更新特征数据矩阵，去掉6秒内最早时刻的特征数据，增加最近时刻的特征数据，从而形成对应于最近时刻(即当前时刻)的特征数据矩阵。
步骤S40，基于所述同步后的特征数据，通过换道预测模型计算当前时刻的左换道概率、右换道概率、车道保持概率。
步骤S50，所述左换道概率、右换道概率、车道保持概率中概率值最大的换道意图为驾驶员高速道路换道预测意图。
左换道概率、右换道概率、车道保持概率是通过在深度双向循环神经网络的结尾处增加归一化指数函数层(softmax layer)，通过网络的特征提取和判断，建立针对不同类别的预测特征数据。归一化指数层可利用传递到该层的数据对三类意图的模型判断概率进行综合评价，最有可能的一类赋值最高，即概率值最大。
所述换道预测模型基于深度双向循环神经网络构建，其训练方法为：
步骤B10，采用上述的驾驶员高速道路换道意图预测方法的步骤S10-步骤S30对应的方法获取预设数量的换道开始前第二预设时长的驾驶员头部图像、驾驶员肢体图像、道路场景图像以及车辆速度信息对应的面部特征数据、肢体特征数据、场景特征数据、车速特征数据并进行数据同步后作为训练样本数据；获取训练样本数据对应的驾驶员高速道路换道真实意图作为训练样本标签。
本发明换道预测模型基于深度双向循环神经网络构建，通过引入双层长短期记忆网络，将由过去至当前信息流的长短期记忆网络与由当前至过去信息流的长短期记忆网络层叠加结合，可以建立能够充分表征过去与当前特征相互关系的双向循环神经网络。
在本发明的不同实施例中，上述第二预设时长的具体取值可以根据实际需要配置为不同的合理值，本发明不对上述第二预设时长的具体取值进行限定。在本发明的一个实施例中，上述第二预设时长的取值配置为6秒。
步骤B20，随机选取一组训练样本数据及其对应的训练样本标签，通过换道预测模型计算对应的左换道概率、右换道概率、车道保持概率。
步骤B30，以所述左换道概率、右换道概率、车道保持概率中概率值最大的换道意图作为驾驶员高速道路换道预测意图，并计算所述驾驶员高速道路换道预测意图与训练样本标签的交叉熵函数值。
步骤B40，如果所述交叉熵函数值不小于设定阈值或未达到预设的迭代优化次数，则更新所述换道预测模型的双向循环神经网络输入层权重，长短期记忆网络记忆门权重、遗忘门权重，以及输出层连接权重，并重复执行步骤B20-步骤B30直至达到预设的训练结束条件。
本发明一个实施例中，对模型的训练设置为GPU训练，设置迭代次数为10000，基础学习率为0.001。模型训练过程中，优化双向循环神经网络的输入层权重，长短期记忆网络的记忆门、遗忘门等门限权重，以及输出层连接权重。模型训练中通过时序反向传播算法，迭代求解损失函数最优化问题。所采用的损失函数为最小化模型预测值与训练样本标签之间的交叉熵函数。
本发明换道预测模型训练结束后，为了确定构建并训练得到的换道预测模型的可用性和可靠性，还可对模型进行离线测试。测试结果从预测精度和超前预测时间两方面进行分析发现，本发明方法可实现在换道动作执行前2秒时，实现90％的预测准确率；在换道动作执行前0.5秒时，实现95％的预测准确率。以目前现有技术为例，采用基于传统机器学习或隐马尔科夫模型的预测准确度只有90％以下的精度，并且没有考虑超前预测时间带来的影响。
本发明第二实施例的驾驶员高速道路换道意图预测系统，该预测系统包括数据获取模块、特征提取模块、同步模块、换道预测模块、输出模块；
所述数据获取模块，配置为获取第一预设时长的驾驶员头部图像、驾驶员肢体图像、道路场景图像以及车辆速度信息作为待处理数据并输入至所述特征提取模块；
所述特征提取模块，配置为基于所述数据获取模块获取的待处理数据，提取面部特征数据、肢体特征数据、场景特征数据、车速特征数据；
所述同步模块，配置为以车辆CAN总线时间为基准，结合所述待处理数据的时间戳对所述面部特征数据、肢体特征数据、场景特征数据、车速特征数据通过插值进行特征数据同步，获得同步后的特征数据；
所述换道预测模块，配置为基于所述同步后的特征数据，通过换道预测模型计算当前时刻的左换道概率、右换道概率、车道保持概率；
所述输出模块，配置为输出所述左换道概率、右换道概率、车道保持概率中概率值最大的换道意图作为驾驶员高速道路换道预测意图。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的驾驶员高速道路换道意图预测系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的驾驶员高速道路换道意图预测方法。
本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的驾驶员高速道路换道意图预测方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (9)
1.一种驾驶员高速道路换道意图预测方法，其特征在于，该预测方法包括：
步骤S10，获取第一预设时长的驾驶员头部图像、驾驶员肢体图像、道路场景图像以及车辆速度信息作为待处理数据；
步骤S20，基于每一个驾驶员头部图像，分别采用人脸检测模型获取人脸位置，并采用人脸特征提取库对人脸位置区域进行特征提取，获得面部特征数据；基于每一个驾驶员肢体图像，分别采用深度卷积神经网络提取驾驶员上肢骨骼点位置，获得肢体特征数据；基于每一个道路场景图像，分别确定车辆两侧的车道线在图像中的位置，并建立虚拟车辆中心线，分别计算所述虚拟车辆中心线与车辆两侧的车道线的距离，得到车辆行车中心线距左车道线距离、车辆行车中心线距右车道线距离，基于每一个道路场景图像，分别在已检测到的车道线上建立扫描点和扫描线，根据所述扫描点和扫描线的像素与边缘信息确定左车道线类型、右车道线类型，基于每一个道路场景图像，检测前方车辆，并结合相机标定与透视逆变换确定本车距离前方车辆的距离信息，得到车辆距车辆所在车道前车的距离、车辆距左车道前车的距离、车辆距右车道前车的距离，获得场景特征数据；基于所述第一预设时长的车辆速度信息生成车速特征数据；
步骤S30，以车辆CAN总线时间为基准，结合所述待处理数据的时间戳对所述面部特征数据、肢体特征数据、场景特征数据、车速特征数据插值后进行特征数据同步，获得同步后的特征数据；
步骤S40，基于所述同步后的特征数据，通过换道预测模型计算左换道概率、右换道概率、车道保持概率；
步骤S50，所述左换道概率、右换道概率、车道保持概率中概率值最大的换道意图为驾驶员高速道路换道预测意图。
2.根据权利要求1所述的驾驶员高速道路换道意图预测方法，其特征在于，所述换道预测模型基于深度双向循环神经网络构建，其训练方法为：
步骤B10，采用权利要求1所述的驾驶员高速道路换道意图预测方法的步骤S10-步骤S30对应的方法获取预设数量的换道开始前第二预设时长的驾驶员头部图像、驾驶员肢体图像、道路场景图像以及车辆速度信息对应的面部特征数据、肢体特征数据、场景特征数据、车速特征数据并进行数据同步后作为训练样本数据；获取训练样本数据对应的驾驶员高速道路换道真实意图作为训练样本标签；
步骤B20，随机选取一组训练样本数据及其对应的训练样本标签，通过换道预测模型计算对应的左换道概率、右换道概率、车道保持概率；
步骤B30，以所述左换道概率、右换道概率、车道保持概率中概率值最大的换道意图作为驾驶员高速道路换道预测意图，并计算所述驾驶员高速道路换道预测意图与训练样本标签的交叉熵函数值；
步骤B40，如果所述交叉熵函数值不小于设定阈值或未达到预设的迭代优化次数，则更新所述换道预测模型的双向循环神经网络输入层权重，长短期记忆网络记忆门权重、遗忘门权重，以及输出层连接权重，并重复执行步骤B20-步骤B30直至达到预设的训练结束条件。
3.根据权利要求1所述的驾驶员高速道路换道意图预测方法，其特征在于，所述面部特征数据包括：
左眼注视角度、右眼注视角度、头部横摆角、头部螺旋角、头部偏航角。
4.根据权利要求1所述的驾驶员高速道路换道意图预测方法，其特征在于，所述肢体特征数据包括：
左手中心位置、左肘位置、右手中心位置、右肘位置。
5.根据权利要求1所述的驾驶员高速道路换道意图预测方法，其特征在于，所述场景特征数据包括：
车辆行车中心线距左车道线距离、车辆行车中心线距右车道线距离、左车道线类型、右车道线类型、车辆距车辆所在车道前车的距离、车辆距左车道前车的距离、车辆距右车道前车的距离。
6.根据权利要求5所述的驾驶员高速道路换道意图预测方法，其特征在于，所述车道线类型包括车道线虚线或实线类型、车道线颜色类型。
7.一种驾驶员高速道路换道意图预测系统，其特征在于，该预测系统包括数据获取模块、特征提取模块、同步模块、换道预测模块、输出模块；
所述数据获取模块，配置为获取第一预设时长的驾驶员头部图像、驾驶员肢体图像、道路场景图像以及车辆速度信息作为待处理数据并输入至所述特征提取模块；
所述特征提取模块，配置为基于所述数据获取模块获取的待处理数据，提取面部特征数据、肢体特征数据、场景特征数据、车速特征数据；所述场景特征数据，基于每一个道路场景图像，分别确定车辆两侧的车道线在图像中的位置，并建立虚拟车辆中心线，分别计算所述虚拟车辆中心线与车辆两侧的车道线的距离，得到车辆行车中心线距左车道线距离、车辆行车中心线距右车道线距离，基于每一个道路场景图像，分别在已检测到的车道线上建立扫描点和扫描线，根据所述扫描点和扫描线的像素与边缘信息确定左车道线类型、右车道线类型，基于每一个道路场景图像，检测前方车辆，并结合相机标定与透视逆变换确定本车距离前方车辆的距离信息，得到车辆距车辆所在车道前车的距离、车辆距左车道前车的距离、车辆距右车道前车的距离，获得场景特征数据；
所述同步模块，配置为以车辆CAN总线时间为基准，结合所述待处理数据的时间戳对所述面部特征数据、肢体特征数据、场景特征数据、车速特征数据通过插值进行特征数据同步，获得同步后的特征数据；
所述换道预测模块，配置为基于所述同步后的特征数据，通过换道预测模型计算当前时刻的左换道概率、右换道概率、车道保持概率；
所述输出模块，配置为输出所述左换道概率、右换道概率、车道保持概率中概率值最大的换道意图作为驾驶员高速道路换道预测意图。
8.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-6任一项所述的驾驶员高速道路换道意图预测方法。
9.一种处理装置，包括
处理器，适于执行各条程序；以及
存储装置，适于存储多条程序；
其特征在于，所述程序适于由处理器加载并执行以实现：
权利要求1-6任一项所述的驾驶员高速道路换道意图预测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910669788.8A CN110427850B (zh) | 2019-07-24 | 2019-07-24 | 驾驶员高速道路换道意图预测方法、系统、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910669788.8A CN110427850B (zh) | 2019-07-24 | 2019-07-24 | 驾驶员高速道路换道意图预测方法、系统、装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110427850A CN110427850A (zh) | 2019-11-08 |
| CN110427850B true CN110427850B (zh) | 2022-03-08 |
Family
ID=68410535
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910669788.8A Active CN110427850B (zh) | 2019-07-24 | 2019-07-24 | 驾驶员高速道路换道意图预测方法、系统、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110427850B (zh) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110852281B (zh) * | 2019-11-13 | 2022-05-17 | 吉林大学 | 基于高斯混合隐马尔科夫模型的驾驶员换道意图识别方法 |
| CN111246461B (zh) * | 2020-01-18 | 2021-02-02 | 浙江大学 | 一种车联网的车辆位置隐私保护方法 |
| CN111880545A (zh) * | 2020-02-17 | 2020-11-03 | 李华兰 | 自动驾驶装置、系统、自动驾驶决策处理方法及装置 |
| CN111353439A (zh) * | 2020-03-02 | 2020-06-30 | 北京文香信息技术有限公司 | 一种教学行为的分析方法、装置、系统及设备 |
| US11433923B2 (en) | 2020-06-10 | 2022-09-06 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and methods for long-term prediction of lane change maneuver |
| CN111717217B (zh) * | 2020-06-30 | 2022-11-08 | 重庆大学 | 一种基于概率修正的驾驶员意图识别方法 |
| US11783178B2 (en) | 2020-07-30 | 2023-10-10 | Toyota Research Institute, Inc. | Systems and methods for corridor intent prediction |
| CN112329682B (zh) * | 2020-11-16 | 2024-01-26 | 常州大学 | 一种基于穿越动作和交通场景上下文因素的行人穿越马路意图识别方法 |
| CN112434588A (zh) * | 2020-11-18 | 2021-03-02 | 青岛慧拓智能机器有限公司 | 一种端到端驾驶员高速道路换道意图的推理方法 |
| CN112396120A (zh) * | 2020-11-25 | 2021-02-23 | 浙江天行健智能科技有限公司 | 一种基于svm算法的车辆换道意图识别建模方法 |
| CN112560782A (zh) * | 2020-12-26 | 2021-03-26 | 浙江天行健智能科技有限公司 | 一种基于随机森林算法的车辆换道行为识别方法 |
| CN113159096A (zh) * | 2021-02-02 | 2021-07-23 | 南京经纬达汽车科技有限公司 | 一种基于模拟驾驶器的驾驶意图建模方法和识别方法 |
| KR20220114750A (ko) * | 2021-02-09 | 2022-08-17 | 현대모비스 주식회사 | 차선 인식 시스템 및 제어 방법 |
| CN113386775B (zh) * | 2021-06-16 | 2022-06-17 | 杭州电子科技大学 | 一种考虑人-车-路特性的驾驶员意图识别方法 |
| CN113627239B (zh) * | 2021-06-28 | 2024-07-09 | 上海交通大学 | 一种结合驾驶员换道意图的远程驾驶车辆轨迹预测方法 |
| CN113682302B (zh) * | 2021-08-03 | 2023-04-18 | 中汽创智科技有限公司 | 一种驾驶状态估计方法、装置、电子设备及存储介质 |
| CN113353083B (zh) * | 2021-08-10 | 2021-10-29 | 所托(杭州)汽车智能设备有限公司 | 车辆行为识别方法 |
| CN114701509B (zh) * | 2022-03-11 | 2024-10-29 | 北京科技大学 | 一种面向混合交通流的驾驶意图识别方法及系统 |
| CN114627454B (zh) * | 2022-03-18 | 2024-02-09 | 柳州柳工叉车有限公司 | 一种驾驶员举升意图感知方法、装置、设备及介质 |
| CN115179959B (zh) * | 2022-07-18 | 2024-08-02 | 福州大学 | 基于行驶道路自适应更新阈值的智能驾驶车辆行为预测方法 |
| EP4442527A1 (en) * | 2023-04-05 | 2024-10-09 | Uniwersytet Zielonogórski | Method and system for predicting drivers' behaviour on the road based on their habits |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4887980B2 (ja) * | 2005-11-09 | 2012-02-29 | 日産自動車株式会社 | 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両 |
| CN100462047C (zh) * | 2007-03-21 | 2009-02-18 | 汤一平 | 基于全方位计算机视觉的安全驾驶辅助装置 |
| CN101791982B (zh) * | 2010-03-02 | 2012-07-18 | 武汉理工大学 | 驾驶员跟车意图识别系统 |
| CN102431556B (zh) * | 2011-11-15 | 2015-09-30 | 武汉理工大学 | 基于车路协同的驾驶员一体化预警装置 |
| CN103150560B (zh) * | 2013-03-15 | 2016-03-30 | 福州龙吟信息技术有限公司 | 一种汽车智能安全驾驶的实现方法 |
| CN104282033A (zh) * | 2014-08-12 | 2015-01-14 | 中国科学院计算技术研究所 | 一种针对车辆动画仿真的一体化换道行为模拟方法 |
| US9864918B2 (en) * | 2015-11-04 | 2018-01-09 | Ford Global Technologies, Llc | Predicting vehicle movements based on driver body language |
| CN105654753A (zh) * | 2016-01-08 | 2016-06-08 | 北京乐驾科技有限公司 | 一种智能车载安全驾驶辅助方法及系统 |
| CN105564436A (zh) * | 2016-02-24 | 2016-05-11 | 深圳市中天安驰有限责任公司 | 一种高级驾驶辅助系统 |
| US9616809B1 (en) * | 2016-08-01 | 2017-04-11 | Denso International America, Inc. | Lane change prediction and turn signal activation upon observation of head and eye movement |
| CN106971194B (zh) * | 2017-02-16 | 2021-02-12 | 江苏大学 | 一种基于改进hmm和svm双层算法的驾驶意图识别方法 |
| DE102017215749A1 (de) * | 2017-09-07 | 2019-03-21 | Continental Teves Ag & Co. Ohg | - Offboard Trajektorien für schwierige Situationen - |
| CN107697069B (zh) * | 2017-10-31 | 2020-07-28 | 上海汽车集团股份有限公司 | 汽车驾驶员疲劳驾驶智能控制方法 |
| CN109747656A (zh) * | 2017-11-02 | 2019-05-14 | 罗曦明 | 人工智能车辆辅助驾驶方法、装置、设备及存储介质 |
| CN108803604A (zh) * | 2018-06-06 | 2018-11-13 | 深圳市易成自动驾驶技术有限公司 | 车辆自动驾驶方法、装置以及计算机可读存储介质 |
| CN109278758B (zh) * | 2018-08-28 | 2021-04-20 | 武汉理工大学 | 一种基于智能手机的智能车个性化驾驶学习系统 |
| CN109367541B (zh) * | 2018-10-15 | 2020-12-25 | 吉林大学 | 一种基于驾驶员行为特性的智能车类人变道决策方法 |
| CN109993074A (zh) * | 2019-03-14 | 2019-07-09 | 杭州飞步科技有限公司 | 辅助驾驶的处理方法、装置、设备及存储介质 |
| CN109866684B (zh) * | 2019-03-15 | 2021-06-22 | 江西江铃集团新能源汽车有限公司 | 车道偏离预警方法、系统、可读存储介质及计算机设备 |
-
2019
- 2019-07-24 CN CN201910669788.8A patent/CN110427850B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN110427850A (zh) | 2019-11-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110427850B (zh) | 驾驶员高速道路换道意图预测方法、系统、装置 | |
| US11643076B2 (en) | Forward collision control method and apparatus, electronic device, program, and medium | |
| US11840261B2 (en) | Ground truth based metrics for evaluation of machine learning based models for predicting attributes of traffic entities for navigating autonomous vehicles | |
| US20190057604A1 (en) | Method, device and system for processing startup of preceding vehicle | |
| JP2021515724A (ja) | 自動運転車において３ｄｃｎｎネットワークを用いてソリューション推断を行うｌｉｄａｒ測位 | |
| CN110765807A (zh) | 驾驶行为分析、处理方法、装置、设备和存储介质 | |
| US11467579B2 (en) | Probabilistic neural network for predicting hidden context of traffic entities for autonomous vehicles | |
| Peng et al. | Driving maneuver early detection via sequence learning from vehicle signals and video images | |
| KR102195317B1 (ko) | 비디오 게임을 활용한 차량 사고 예측 방법 | |
| US10762399B2 (en) | Using deep video frame prediction for training a controller of an autonomous vehicle | |
| WO2022222647A1 (zh) | 车辆意图预测方法、装置、设备及存储介质 | |
| CN114475593A (zh) | 行驶轨迹预测方法、车辆及计算机可读存储介质 | |
| CN118545081A (zh) | 一种车道偏离预警方法及系统 | |
| CN116543266A (zh) | 注视行为知识引导的自动驾驶智能模型训练方法及装置 | |
| US20230109494A1 (en) | Methods and devices for building a training dataset | |
| CN112669335B (zh) | 车辆感知方法、装置、电子设备以及机器可读存储介质 | |
| CN116012421A (zh) | 目标跟踪方法及装置 | |
| CN112434588A (zh) | 一种端到端驾驶员高速道路换道意图的推理方法 | |
| Murase | Image recognition for driver assistance in intelligent vehicles | |
| KR102224693B1 (ko) | 제어 명령에 따른 이동체의 이동결과 추정을 위한 인공지능 모델 학습방법, 장치 및 프로그램 | |
| US20230267749A1 (en) | System and method of segmenting free space based on electromagnetic waves | |
| CN119540903A (zh) | 障碍物检测方法及装置、存储介质、计算机设备 | |
| Chandrashekhar et al. | Real Time Image Processing for Autonomous Vehicles | |
| JP6020188B2 (ja) | 対象物検出装置及びプログラム | |
| CN119206677A (zh) | 基于驾驶图像和车辆数据的驾驶员状态检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220718 Address after: 266144 room 206-1, building D, Pangu maker space, No. 100 Torch Road, high tech Industrial Development Zone, Qingdao, Shandong Province Patentee after: QINGDAO VEHICLE INTELLIGENCE PIONEERS Inc. Address before: 100190 No. 95 East Zhongguancun Road, Beijing, Haidian District Patentee before: INSTITUTE OF AUTOMATION, CHINESE ACADEMY OF SCIENCES |
|
| TR01 | Transfer of patent right |