CN115523934A - 一种基于深度学习的车辆轨迹预测方法及系统 - Google Patents
一种基于深度学习的车辆轨迹预测方法及系统 Download PDFInfo
- Publication number
- CN115523934A CN115523934A CN202211012871.6A CN202211012871A CN115523934A CN 115523934 A CN115523934 A CN 115523934A CN 202211012871 A CN202211012871 A CN 202211012871A CN 115523934 A CN115523934 A CN 115523934A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- trajectory prediction
- trajectory
- target vehicle
- prediction target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/3407—Route searching; Route guidance specially adapted for specific applications
- G01C21/343—Calculating itineraries, i.e. routes leading from a starting point to a series of categorical destinations using a global route restraint, round trips, touristic trips
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/3446—Details of route searching algorithms, e.g. Dijkstra, A*, arc-flags, using precalculated routes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
- G01C21/3492—Special cost functions, i.e. other than distance or default speed limit of road segments employing speed data or traffic data, e.g. real-time or historical
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Computing Systems (AREA)
- Development Economics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Game Theory and Decision Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于深度学习的车辆轨迹预测方法,其包括步骤:采集环境范围内的所有车辆的行驶数据;获取轨迹预测目标车辆所处位置的局部地图数据;基于时间戳将所有车辆的位置信息和局部地图数据彼此对应;基于时间戳获取同一时刻下的自车、轨迹预测目标车辆、其他车辆的位置信息和车道线信息,并对车辆的位置信息和车道线信息进行编码,以获得轨迹预测目标车辆的位置信息编码向量和车道线信息编码向量;将位置信息编码向量和车道线信息编码向量输入第一神经网络中进行训练,以使得其输出表征着轨迹预测目标车辆驾驶习惯决策依据的隐藏向量;将隐藏向量和轨迹预测目标车辆的历史轨迹输入第二神经网络,即可输出轨迹预测目标车辆的预测轨迹。
Description
技术领域
本发明涉及一种轨迹预测方法及系统,尤其涉及一种车辆轨迹预测方法及系统。
背景技术
随着智能驾驶技术的发展,对于智能车辆的轨迹预测具有越来越重要的意义。
在当前现有技术中,目前所采用得到车辆轨迹预测方法大都是基于车辆自身位置速度等历史状态,对周围环境进行检测分析,其通过检测识别周围的动态信息如车辆位置、行人位置,速度信息,结合车辆自身定位所在的高清地图里包含的道路信息如车道线位置、车道线走向和信号灯这些场景信息,从而对目标车辆所处的一个状态进行描述,来对车辆轨迹进行预测。
然而,现有技术中的车辆轨迹预测依据是周围车辆的轨迹和高清地图的车道线点,这些位置量对于目标车的轨迹影响其实是定性而非定量的。因此预测的准确性并不高。
基于此,期望获得一种有效提高车辆轨迹预测准确性的方法。
发明内容
本发明的目的之一在于提供一种基于深度学习的车辆轨迹预测方法,其能够基于规则编码的方式将轨迹预测目标车辆周围的行驶数据和局部地图数据进行编码,并结合神经网络将驾驶员的驾驶习惯决策思路通过隐藏变量表征出来,最后基于隐藏变量结合轨迹预测目标车辆的历史轨迹对其未来的车辆轨迹进行预测。
为了实现上述目的,本发明提出了一种基于深度学习的车辆轨迹预测方法,其包括步骤:
采集环境范围内的所有车辆的行驶数据,所述车辆包括自车、轨迹预测目标车辆和其他车辆,所述行驶数据至少包括车辆的位置信息;
获取轨迹预测目标车辆所处位置的局部地图数据,所述局部地图数据至少包括车道线信息;
基于时间戳将所有车辆的位置信息和局部地图数据彼此对应;
基于时间戳获取同一时刻下的自车、轨迹预测目标车辆、其他车辆的位置信息和车道线信息,根据设定的规则对该时刻下的车辆的位置信息进行编码,以获得轨迹预测目标车辆的位置信息编码向量;根据设定的规则对该时刻下的车道线信息进行编码,以获得轨迹预测目标车辆的车道线信息编码向量;
将所述位置信息编码向量和车道线信息编码向量输入第一神经网络中,对其进行训练,以使得其输出表征着轨迹预测目标车辆驾驶习惯决策依据的隐藏向量;将所述隐藏向量和轨迹预测目标车辆的历史轨迹输入第二神经网络中,使其输出轨迹预测目标车辆的预测轨迹。
研究发现,图像编码的方式可以将所有相关信息融合到一张图中表示,但后续需要使用卷积神经网络将其中特征提取出来,而类似的位置速度信息本来就是相对精炼独立的特征,多一番包装提取反而增加了复杂度。递归神经网络RNN可以将历史信息编码到一个隐藏向量中,但是相对于不同车辆行人等独立的动态信息无法较好的将其融合在一起。这些都限制了更直观更全面表征车辆当前的环境状态。
为此,本发明在考虑以上的情况分析后设计了一种新的车辆轨迹预测方法,其能够基于规则的编码方式将轨迹预测目标车辆周围的行驶数据(包括车辆的位置信息)和局部地图数据(包括车道线信息)进行编码,并结合递归神经网络RNN将驾驶员的驾驶习惯决策思路通过隐藏变量表征出来,最后基于隐藏变量结合轨迹预测目标车辆的历史轨迹对其未来的车辆轨迹进行预测。
在本发明中,需要根据设定的规则,对轨迹预测目标车辆所处的环境范围内的所有车辆的行驶数据中的位置信息进行编码。这种基于设定规则的编码方式能够在保持简便性的基础上,更便于后续对于模型进行针对性的分析。
在本发明中,通过引入高清地图,添加了不同道路环境对车辆轨迹决策的影响,其区别于以往的地图属性着重于车道线中心点位置,本发明针对局部地图数据中的车道线信息编码着重强调车道的曲率因素方向性对轨迹的影响。
另外,本发明通过引入递归神经网络将能够将当前环境状态与轨迹预测目标车辆的历史轨迹进行融合以得到更具独一性的轨迹预测。
需要说明的是,在本发明所设计的这种技术方案中,需要将采集环境范围内的所有车辆具体划分成“自车”、“轨迹预测目标车辆”和“其他车辆”。为了便于理解,以采集环境范围内有9辆汽车为例,其中“自车”为其中一辆,而针对其它8辆汽车,需要对那一辆进行轨迹预测,该车辆便是“轨迹预测目标车辆”,其余7辆汽车则为“其他车辆”。
在实际应用本发明所设计的这种基于深度学习的车辆轨迹预测系统对车辆轨迹进行预测时,需要通过“自车”传感器在试验道路采集实际的“自车”、“轨迹预测目标车辆”和“其他车辆”的行驶数据。其中,行驶数据至少包括车辆的位置信息,在实际采集时,可以通过“自车”携带的激光雷达、摄像头等传感器检测识别跟踪行驶时周围车辆的位置轨迹信息。同时,结合“自车”的定位导航系统给出的全局坐标,可以在提前绘制好的高清地图,获取“轨迹预测目标车辆”所处的位置的局部地图数据。其中,所采集的局部地图数据可以包含对应的“车道线位置”,“转向”,“是否是交叉口”,“是否受控”这些信息。
此外,在本发明所设计的这种车辆轨迹预测方法中,输入到第二神经网络中的轨迹预测目标车辆的历史轨迹是根据采集到的一段时间内的轨迹预测目标车辆的位置信息就可以获得的。
进一步地,在本发明所述的基于深度学习的车辆轨迹预测方法中,采用自车上设置的车端环境感知装置采集所述行驶数据。
进一步地,在本发明所述的基于深度学习的车辆轨迹预测方法中,所述车端环境感知装置至少包括车载高清摄像头和/或激光雷达。
进一步地,在本发明所述的基于深度学习的车辆轨迹预测方法中,采用网格划分的方法将车辆的所述位置信息进行编码,以得到具有固定长度的位置信息编码向量。
进一步地,在本发明所述的基于深度学习的车辆轨迹预测方法中,根据轨迹预测目标车辆在局部地图中的位置以及局部地图中的车道线信息,确定轨迹预测目标车辆可能的目的地位置或方向;基于可能的目的地位置或方向获得对应的与轨迹预测目标车辆距离最近的车道线信息;基于与轨迹预测目标车辆距离最近的车道线信息获得所述车道线信息编码向量。
进一步地,在本发明所述的基于深度学习的车辆轨迹预测方法中,所述第一神经网络为RNN,并且/或者所述第二神经网络为全连接映射神经网络。
相应地,本发明的另一目的在于提供一种基于深度学习的车辆轨迹预测系统,该车辆轨迹预测系统可以有效实施本发明上述的车辆轨迹预测方法,以针对目标车辆轨迹进行预测。
为了实现上述目的,本发明提出了一种基于深度学习的车辆轨迹预测系统,其包括:
行驶数据采集装置,其采集环境范围内的所有车辆的行驶数据,所述车辆包括自车、轨迹预测目标车辆和其他车辆,所述行驶数据至少包括车辆的位置信息;
地图数据采集模块,其获取轨迹预测目标车辆所处位置的局部地图数据,所述局部地图数据至少包括车道线信息;
编码模块,其基于时间戳将所有车辆的位置信息和局部地图数据彼此对应;基于时间戳获取同一时刻下的自车、轨迹预测目标车辆、其他车辆的位置信息和车道线信息,根据设定的规则对该时刻下的车辆的位置信息进行编码,以获得轨迹预测目标车辆的位置信息编码向量;根据设定的规则对该时刻下的车道线信息进行编码,以获得轨迹预测目标车辆的车道线信息编码向量;
第一神经网络模块和第二神经网络模块,其中将所述位置信息编码向量和车道线信息编码向量输入第一神经网络模块中,对其进行训练,以使得其输出表征着轨迹预测目标车辆驾驶习惯决策依据的隐藏向量;将所述隐藏向量和轨迹预测目标车辆的历史轨迹输入第二神经网络模块中,使其输出轨迹预测目标车辆的预测轨迹。
进一步地,在本发明所述的基于深度学习的车辆轨迹预测系统中,所述行驶数据采集装置至少包括设置在自车上的车载高清摄像头和/或激光雷达。
进一步地,在本发明所述的基于深度学习的车辆轨迹预测系统中:
所述编码模块采用网格划分的方法将车辆的所述位置信息进行编码,以得到具有固定长度的位置信息编码向量;并且/或者
所述编码模块根据轨迹预测目标车辆在局部地图中的位置以及局部地图中的车道线信息,确定轨迹预测目标车辆可能的目的地位置或方向;基于可能的目的地位置或方向获得对应的与轨迹预测目标车辆距离最近的车道线信息;基于与轨迹预测目标车辆距离最近的车道线信息获得所述车道线信息编码向量。
进一步地,在本发明所述的基于深度学习的车辆轨迹预测系统中,所述第一神经网络模块为RNN,并且/或者所述第二神经网络模块为全连接映射神经网络。
本发明所述的基于深度学习的车辆轨迹预测方法及系统具有以下优点:
本发明最主要的创新在于,通过规则编码的方式将轨迹预测目标车辆周围的行驶数据(包括车辆的位置信息)和局部地图数据(包括车道线信息)进行编码,并结合递归神经网络RNN将驾驶员的驾驶习惯决策思路通过隐藏变量表征出来,最后基于隐藏变量结合轨迹预测目标车辆的历史轨迹对其未来的车辆轨迹进行预测。
相对于目前应用的车辆轨迹预测依据周围车辆的轨迹和高清地图的车道线点,这些位置量对于目标车的轨迹影响其实是定性而非定量的。与现有技术不同的是,本技术方案使用基于规则的编码形式更能有效的提取出周围环境对驾驶员驾驶影响。
驾驶员的驾驶习惯决策思路是有一贯性的,通过递归神经网络能将不同驾驶员的习惯思路映射为隐藏向量,以此表征能更好的预测车辆的轨迹。
通常来说车辆的轨迹预测绝大部分是受历史轨迹的影响,将最终表征决策思路的隐藏向量和轨迹预测目标车辆的历史轨迹结合再映射到预测的轨迹上,能有效的保证历史轨迹的延续性并能再拐弯路口等场景更有效的突出驾驶习惯决策思路对轨迹带来的影响。
在本发明中,基于规则的编码方式,在不同场景下进行轨迹预测,其对结果的分类分析等具有更直观更细致的帮助,能有效的定位轨迹预测的性能缺口场景,对于后续规则的更新或优化都较为直接且更有依据。
附图说明
图1示意性地显示了本发明所述的基于深度学习的车辆轨迹预测系统在一种实施方式下编码获得轨迹预测目标车辆的位置信息编码向量的方法。
图2示意性地显示了本发明所述的基于深度学习的车辆轨迹预测系统在一种实施方式下编码获得轨迹预测目标车辆的车道线信息编码向量的方法。
图3示意性地显示了基于20帧轨迹预测目标车辆的位置信息编码向量和车道线信息编码向量经过神经网络训练处理后输出对应后30帧预测轨迹的过程。
具体实施方式
下面将结合说明书附图和具体的实施例对本发明所述的车辆轨迹预测方法及系统做进一步的解释和说明,然而该解释和说明并不对本发明的技术方案构成不当限定。
在本发明所设计的这种技术方案中,为了有效预测车辆行车轨迹,发明人具体设计了一种新的基于深度学习的车辆轨迹预测系统,该车辆轨迹预测系统具体包括有:行驶数据采集装置、地图数据采集模块、编码模块、第一神经网络模块和第二神经网络模块。
采用本发明所设计的这种车辆轨迹预测系统具体对车辆轨迹进行预测的具体内容包括以下步骤(1)-(4):
(1)利用行驶数据采集装置,采集环境范围内的所有车辆的行驶数据,环境内所有车辆包括“自车”、“轨迹预测目标车辆”和“其他车辆”,且所采集的行驶数据至少包括车辆的位置信息。
(2)利用地图数据采集模块,获取所有车辆,包括“轨迹预测目标车辆”所处位置的局部地图数据,且该局部地图数据至少包括车道线信息。
(3)采用编码模块,基于时间戳将获得的所有车辆的位置信息和局部地图数据彼此对应;基于时间戳获取同一时刻下的“自车”、“轨迹预测目标车辆”、“其他车辆”的位置信息和车道线信息,根据设定的规则对该时刻下的车辆的位置信息进行编码,以获得轨迹预测目标车辆的位置信息编码向量;根据设定的规则对该时刻下的车道线信息进行编码,以获得轨迹预测目标车辆的车道线信息编码向量。
(4)将上述获得的位置信息编码向量和车道线信息编码向量输入第一神经网络模块中,对其进行训练,以使得其输出表征着轨迹预测目标车辆驾驶习惯决策依据的隐藏向量;将所获得的隐藏向量和轨迹预测目标车辆的历史轨迹输入第二神经网络中,使其输出轨迹预测目标车辆的预测轨迹。
其中,在上述步骤(4)中,第一神经网络模块可以具体选用为RNN;第二神经网络模块可以具体选用为全连接映射神经网络;至于输入到第二神经网络模块中的“轨迹预测目标车辆”的历史轨迹则可以根据采集到的一段时间内的“轨迹预测目标车辆”的位置信息获得。
需要说明的是,在本发明所设计的这种技术方案中,需要将采集环境范围内的所有车辆具体划分成“自车”、“轨迹预测目标车辆”和“其他车辆”。为了便于理解,以采集环境范围内有9辆汽车为例,其中“自车”为其中一辆,而针对其它8辆汽车,需要对那一辆进行轨迹预测,该车辆便是“轨迹预测目标车辆”,其余7辆汽车则为“其他车辆”。
在实际应用本发明所设计的这种基于深度学习的车辆轨迹预测系统对车辆轨迹进行预测时:
在本发明所述的步骤(1)中,需要通过“自车”上设置的车端环境感知装置采集在试验道路的实际采集环境范围内的“自车”、“轨迹预测目标车辆”和“其他车辆”的行驶数据。其中,在本发明上述的步骤(1)中,行驶数据至少包括车辆的位置信息,在实际采集时,可以通过“自车”携带的激光雷达、车载高清摄像头等传感器作为车端环境感知装置,以检测识别跟踪行驶时周围车辆的位置轨迹信息。
同时,在本发明所述的步骤(2)中,结合“自车”的定位导航系统给出的全局坐标,可以在提前绘制好的高清地图中,获取“轨迹预测目标车辆”所处的位置的局部地图数据。其中,所采集的局部地图数据可以包含对应的“车道线位置”,“转向”,“是否是交叉口”,“是否受控”这些信息。
需要说明的是,在本发明中,在不同的行驶场景下需要采集不同的行驶数据,并保证在提取数据过程中“轨迹预测目标车辆”都需要有不同数量的“其他车辆”行驶以保证周围环境的动态变化。
在同一采集环境范围中往往会同时存在多辆目标车,且可以同时生成多组训练数据,同时一个场景下往往会存在一个较长时段的目标车轨迹,需要对一个目标车尽量生成多段有间隔但存在不同行驶状态的数据,如直行拐弯变道等。
相应地,在本发明所设计的这种技术方案中,在后续步骤(3)中,需要基于时间戳将所有车辆的位置信息和局部地图数据彼此对应,这是因为:本发明采用的方法是对每一帧的车辆的位置信息和“轨迹预测目标车辆所处位置”的局部地图数据进行编码,以保证同一时刻周围环境的准确性。
在本发明所述的步骤(3)中,可以具体根据下述方法将采集到的行驶数据进行处理,以获得后续输入到第一神经网络模块RNN中的训练数据:
将采集到环境范围内的所有车辆的行驶数据进行梳理,提取出不同车辆ID所对应的时间戳为准的位置信息,通常情况下对每一个车辆的位置信息均会收集50帧的数据,其中前20帧是作为训练数据,后面30帧数据作为预测的目标。而针对采集获得的“轨迹预测目标车辆”所处位置的局部地图数据,本发明可以具体通过车辆定位位置,提取轨迹预测目标车辆”周围设定范围内的车道线位置数据及相关的车道描述信息数据。
相应地,在编码模块中,基于时间戳获取同一时刻下的“自车”、“轨迹预测目标车辆”和“其他车辆”的位置信息和车道线信息,能够根据人为设定的规则对这一时刻的车辆的位置信息进行编码。例如:通过采取网格划分的形式将车辆的位置信息编码为一个固定长度的位置信息编码向量,亦可以“轨迹预测目标车辆”的运动方向为轴,水平垂直划分对应范围内的所有车辆,根据距离对其设置加权系数,以此对其进行编码。其中,在实际应用时,还可以通过修改适用不同的编码规则来引入人驾车时的行为规范,以此提高对于周围环境信息的编码效果,从而更好地表征“轨迹预测目标车辆”周围的动态环境信息。
同样地,本发明系统中的编码模块还需要根据设定的规则对当前该时刻下“轨迹预测目标车辆”的车道线信息进行编码,以获得轨迹预测目标车辆的车道线信息编码向量。例如:通过设定车辆可能的五个变道动作:“直行”、“左变道”、“右变道”、“左转”和“右转”来对轨迹预测目标车辆当前所处位置的局部地图数据中的对应车道线信息进行编码。其中,在实际应用时,具体的编码信息中往往需要包含:车道线的位置点、车道线方向、路口以及受控与否这些信息,当然也可以加入诸如表征车道线曲线变化的曲率信息,最后将车道线信息编码为一个固定长度的向量。当然,也可以通过引入驾驶员对于结构化道路不同车道的理解来调整编码规则,以此来更好的适应对于地图信息的表征。
因此,在该编码模块中,基于时间戳中每帧的位置信息和车道线信息能够对应生成对应于“轨迹预测目标车辆”的两组编码向量,即“轨迹预测目标车辆”的位置信息编码向量和车道线信息编码向量。
为了便于理解,在本发明中,具体采用了下述图1和图2所示的编码方法,编码获得了“轨迹预测目标车辆”的位置信息编码向量和车道线信息编码向量。
图1示意性地显示了本发明所述的基于深度学习的车辆轨迹预测系统在一种实施方式下编码获得轨迹预测目标车辆的位置信息编码向量的方法。
如图1所示,在本实施方式中,M1表示“轨迹预测目标车辆”,以其为网格中心划分网格,并具体设置单个网格规格为5米x5米;M2表示“自车”,M3表示“其他车辆”。在所设计的网格规格范围内,只要有车辆,则标记该网格编码为“1”。由此,针对每一帧的位置信息可以得到一个8x8的长度为64的位置信息编码向量。同理,通过划分范围及引入编码规则的方式还可以将车辆位置以其他规则编码,还可以引入权重等,此处就不详细列举。
图2示意性地显示了本发明所述的基于深度学习的车辆轨迹预测系统在一种实施方式下编码获得轨迹预测目标车辆的车道线信息编码向量的方法。
如图2所示,在本实施方式中,“五角星”表示“轨迹预测目标车辆”在局部地图中的位置,L1-L8表示的是当前局部地图中的车道线,根据“轨迹预测目标车辆”的行驶方向,可以标志出五条“轨迹预测目标车辆”可能的目的地位置,即分别为A-E,其具体的目的地位置可以根据当前位置结合设定的角度和速度计算出来。
针对A、B、C、D、E五个目的地位置能够进一步寻找距离其最近的车道线,分别为L3-L8-L8-L2-L4。每条车道线的编码可以通过车道线的最近点(x,y),车道线二次曲线参数(p0,p1,p2),车道线方向(dl,dr),是否在路口(i),是否受控(c)来表示,这些参量的角标分别“3”,“8”,“8”,“2”,“4”分别表示对应车道线“L3”,“L8”,“L8”,“L2”,“L4”的对应参量。
在本发明中,将五组车道线编码组合即可得到完整的车道线信息编码向量,此处为5*9的长度为45的车道线信息编码向量。同理,对“轨迹预测目标车辆”可能目的地位置的选取策略调整,以及对车道线向量表征方式的调整可以进行基于不同规则的向量编码,此处就不详细列举。
相应地,将位置信息编码向量和车道线信息编码向量数据集划分为训练集,验证集和测试集,三者的比例为8:1:1。尽可能保证三者的数据分布一致。其中每组数据应对应为一个目标车辆的行驶轨迹。
在本发明所述的步骤(4)中,基于获得的每一帧的“轨迹预测目标车辆”的位置信息编码向量和车道线信息编码向量,将二者组合起来,就可以作为训练数据输入到第一神经网络RNN中,以对其进行训练。
需要说明的是,当车辆收集的是50帧的数据时,其中前20帧是作为训练数据,后面30帧数据作为预测的目标。其中,“轨迹预测目标车辆”的前20帧作为训练数据,以此能够对应输出更新表征着“轨迹预测目标车辆”驾驶习惯决策依据的隐藏向量,如图3所示。
图3示意性地显示了基于20帧轨迹预测目标车辆的位置信息编码向量和车道线信息编码向量经过神经网络训练处理后输出对应后30帧预测轨迹的过程。
如图3所示,图3所示的“轨迹预测目标车辆”中每帧的“车辆轨迹编码”可以理解为前述的“位置信息编码向量”;图3所示的“地图数据编码”可以理解为对应的“车道线信息编码向量”。
需要说明的是,在图3中,输入到全连接映射网络中的递归神经网络RNN为经过20次迭代后的隐藏向量。
将经过20次迭代后的隐藏向量和轨迹预测目标车辆的历史轨迹输入到第二神经网络模块的全连接映射网络中,即可输出“轨迹预测目标车辆”的未来三十帧的预测轨迹。
需要说明的是,本案中各技术特征的组合方式并不限本案权利要求中所记载的组合方式或是具体实施例所记载的组合方式,本案记载的所有技术特征可以以任何方式进行自由组合或结合,除非相互之间产生矛盾。
还需要注意的是,以上所列举的实施例仅为本发明具体实施例。显然本发明不局限于以上实施例,随之做出的类似变化或变形是本领域技术人员能从本发明公开的内容直接得出或者很容易便联想到的,均应属于本发明的保护范围。
Claims (10)
1.一种基于深度学习的车辆轨迹预测方法,其特征在于,包括步骤:
采集环境范围内的所有车辆的行驶数据,所述车辆包括自车、轨迹预测目标车辆和其他车辆,所述行驶数据至少包括车辆的位置信息;
获取轨迹预测目标车辆所处位置的局部地图数据,所述局部地图数据至少包括车道线信息;
基于时间戳将所有车辆的位置信息和局部地图数据彼此对应;
基于时间戳获取同一时刻下的自车、轨迹预测目标车辆、其他车辆的位置信息和车道线信息,根据设定的规则对该时刻下的车辆的位置信息进行编码,以获得轨迹预测目标车辆的位置信息编码向量;根据设定的规则对该时刻下的车道线信息进行编码,以获得轨迹预测目标车辆的车道线信息编码向量;
将所述位置信息编码向量和车道线信息编码向量输入第一神经网络中,对其进行训练,以使得其输出表征着轨迹预测目标车辆驾驶习惯决策依据的隐藏向量;将所述隐藏向量和轨迹预测目标车辆的历史轨迹输入第二神经网络中,使其输出轨迹预测目标车辆的预测轨迹。
2.如权利要求1所述的基于深度学习的车辆轨迹预测方法,其特征在于,采用自车上设置的车端环境感知装置采集所述行驶数据。
3.如权利要求2所述的基于深度学习的车辆轨迹预测方法,其特征在于,所述车端环境感知装置至少包括车载高清摄像头和/或激光雷达。
4.如权利要求1所述的基于深度学习的车辆轨迹预测方法,其特征在于,采用网格划分的方法将车辆的所述位置信息进行编码,以得到具有固定长度的位置信息编码向量。
5.如权利要求1所述的基于深度学习的车辆轨迹预测方法,其特征在于,根据轨迹预测目标车辆在局部地图中的位置以及局部地图中的车道线信息,确定轨迹预测目标车辆可能的目的地位置或方向;基于可能的目的地位置或方向获得对应的与轨迹预测目标车辆距离最近的车道线信息;基于与轨迹预测目标车辆距离最近的车道线信息获得所述车道线信息编码向量。
6.如权利要求1所述的基于深度学习的车辆轨迹预测方法,其特征在于,所述第一神经网络为RNN,并且/或者所述第二神经网络为全连接映射神经网络。
7.一种基于深度学习的车辆轨迹预测系统,其特征在于,其包括:
行驶数据采集装置,其采集环境范围内的所有车辆的行驶数据,所述车辆包括自车、轨迹预测目标车辆和其他车辆,所述行驶数据至少包括车辆的位置信息;
地图数据采集模块,其获取轨迹预测目标车辆所处位置的局部地图数据,所述局部地图数据至少包括车道线信息;
编码模块,其基于时间戳将所有车辆的位置信息和局部地图数据彼此对应;基于时间戳获取同一时刻下的自车、轨迹预测目标车辆、其他车辆的位置信息和车道线信息,根据设定的规则对该时刻下的车辆的位置信息进行编码,以获得轨迹预测目标车辆的位置信息编码向量;根据设定的规则对该时刻下的车道线信息进行编码,以获得轨迹预测目标车辆的车道线信息编码向量;
第一神经网络模块和第二神经网络模块,其中将所述位置信息编码向量和车道线信息编码向量输入第一神经网络模块中,对其进行训练,以使得其输出表征着轨迹预测目标车辆驾驶习惯决策依据的隐藏向量;将所述隐藏向量和轨迹预测目标车辆的历史轨迹输入第二神经网络模块中,使其输出轨迹预测目标车辆的预测轨迹。
8.如权利要求7所述的基于深度学习的车辆轨迹预测系统,其特征在于,所述行驶数据采集装置至少包括设置在自车上的车载高清摄像头和/或激光雷达。
9.如权利要求7所述的基于深度学习的车辆轨迹预测系统,其特征在于:
所述编码模块采用网格划分的方法将车辆的所述位置信息进行编码,以得到具有固定长度的位置信息编码向量;并且/或者
所述编码模块根据轨迹预测目标车辆在局部地图中的位置以及局部地图中的车道线信息,确定轨迹预测目标车辆可能的目的地位置或方向;基于可能的目的地位置或方向获得对应的与轨迹预测目标车辆距离最近的车道线信息;基于与轨迹预测目标车辆距离最近的车道线信息获得所述车道线信息编码向量。
10.如权利要求7所述的基于深度学习的车辆轨迹预测系统,其特征在于,所述第一神经网络模块为RNN,并且/或者所述第二神经网络模块为全连接映射神经网络。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211012871.6A CN115523934A (zh) | 2022-08-23 | 2022-08-23 | 一种基于深度学习的车辆轨迹预测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211012871.6A CN115523934A (zh) | 2022-08-23 | 2022-08-23 | 一种基于深度学习的车辆轨迹预测方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115523934A true CN115523934A (zh) | 2022-12-27 |
Family
ID=84697257
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211012871.6A Pending CN115523934A (zh) | 2022-08-23 | 2022-08-23 | 一种基于深度学习的车辆轨迹预测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115523934A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116061973A (zh) * | 2023-03-15 | 2023-05-05 | 安徽蔚来智驾科技有限公司 | 车辆轨迹预测方法、控制装置、可读存储介质及车辆 |
CN116153084A (zh) * | 2023-04-20 | 2023-05-23 | 智慧互通科技股份有限公司 | 车辆流向预测方法、预测系统及城市交通信号机控制方法 |
CN117436937A (zh) * | 2023-12-21 | 2024-01-23 | 暗物智能科技(广州)有限公司 | 一种考虑行人画像的路径预测方法及系统 |
WO2024221512A1 (zh) * | 2023-04-23 | 2024-10-31 | 魔门塔(苏州)科技有限公司 | 距离预测方法、模型训练方法、规控系统及其相关装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110610271A (zh) * | 2019-09-17 | 2019-12-24 | 北京理工大学 | 一种基于长短记忆网络的多重车辆轨迹预测方法 |
CN112215337A (zh) * | 2020-09-30 | 2021-01-12 | 江苏大学 | 一种基于环境注意力神经网络模型的车辆轨迹预测方法 |
WO2021134172A1 (zh) * | 2019-12-30 | 2021-07-08 | 华为技术有限公司 | 一种轨迹预测方法及相关设备 |
CN113850363A (zh) * | 2020-06-25 | 2021-12-28 | 英特尔公司 | 将驾驶规范应用于自动车辆行为预测的技术 |
CN114005280A (zh) * | 2021-11-17 | 2022-02-01 | 同济大学 | 一种基于不确定性估计的车辆轨迹预测方法 |
CN114043989A (zh) * | 2021-11-29 | 2022-02-15 | 江苏大学 | 一种基于递归图和卷积神经网络的驾驶风格识别模型、换道决策模型及决策方法 |
CN114670867A (zh) * | 2022-01-13 | 2022-06-28 | 上海交通大学 | 基于分层学习和潜在风险模型的多车轨迹预测系统 |
CN114872730A (zh) * | 2022-05-18 | 2022-08-09 | 中国第一汽车股份有限公司 | 一种车辆行驶轨迹预测方法、装置、汽车及存储介质 |
-
2022
- 2022-08-23 CN CN202211012871.6A patent/CN115523934A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110610271A (zh) * | 2019-09-17 | 2019-12-24 | 北京理工大学 | 一种基于长短记忆网络的多重车辆轨迹预测方法 |
WO2021134172A1 (zh) * | 2019-12-30 | 2021-07-08 | 华为技术有限公司 | 一种轨迹预测方法及相关设备 |
CN113850363A (zh) * | 2020-06-25 | 2021-12-28 | 英特尔公司 | 将驾驶规范应用于自动车辆行为预测的技术 |
CN112215337A (zh) * | 2020-09-30 | 2021-01-12 | 江苏大学 | 一种基于环境注意力神经网络模型的车辆轨迹预测方法 |
CN114005280A (zh) * | 2021-11-17 | 2022-02-01 | 同济大学 | 一种基于不确定性估计的车辆轨迹预测方法 |
CN114043989A (zh) * | 2021-11-29 | 2022-02-15 | 江苏大学 | 一种基于递归图和卷积神经网络的驾驶风格识别模型、换道决策模型及决策方法 |
CN114670867A (zh) * | 2022-01-13 | 2022-06-28 | 上海交通大学 | 基于分层学习和潜在风险模型的多车轨迹预测系统 |
CN114872730A (zh) * | 2022-05-18 | 2022-08-09 | 中国第一汽车股份有限公司 | 一种车辆行驶轨迹预测方法、装置、汽车及存储介质 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116061973A (zh) * | 2023-03-15 | 2023-05-05 | 安徽蔚来智驾科技有限公司 | 车辆轨迹预测方法、控制装置、可读存储介质及车辆 |
CN116153084A (zh) * | 2023-04-20 | 2023-05-23 | 智慧互通科技股份有限公司 | 车辆流向预测方法、预测系统及城市交通信号机控制方法 |
CN116153084B (zh) * | 2023-04-20 | 2023-09-08 | 智慧互通科技股份有限公司 | 车辆流向预测方法、预测系统及城市交通信号机控制方法 |
WO2024221512A1 (zh) * | 2023-04-23 | 2024-10-31 | 魔门塔(苏州)科技有限公司 | 距离预测方法、模型训练方法、规控系统及其相关装置 |
CN117436937A (zh) * | 2023-12-21 | 2024-01-23 | 暗物智能科技(广州)有限公司 | 一种考虑行人画像的路径预测方法及系统 |
CN117436937B (zh) * | 2023-12-21 | 2024-07-05 | 暗物智能科技(广州)有限公司 | 一种考虑行人画像的路径预测方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11554785B2 (en) | Driving scenario machine learning network and driving environment simulation | |
US11734473B2 (en) | Perception error models | |
US11625513B2 (en) | Safety analysis framework | |
CN110843789B (zh) | 一种基于时序卷积网络的车辆换道意图预测方法 | |
CN111746559B (zh) | 一种前车换道意图预测方法及预测系统 | |
US11545033B2 (en) | Evaluation framework for predicted trajectories in autonomous driving vehicle traffic prediction | |
CN115523934A (zh) | 一种基于深度学习的车辆轨迹预测方法及系统 | |
JP6591842B2 (ja) | 意味付け交通空間についての適合型射線ベースのシーン分析を行うための方法及びシステム、並びにそのようなシステムを備える車両 | |
EP3722908A1 (en) | Learning a scenario-based distribution of human driving behavior for realistic simulation model | |
CN114077541A (zh) | 验证用于自动驾驶车辆的自动控制软件的方法和系统 | |
US20210403001A1 (en) | Systems and methods for generating lane data using vehicle trajectory sampling | |
CN109584558A (zh) | 一种面向城市交通信号配时的交通流统计方法 | |
CN111476079A (zh) | 将用于对象检测的地图特征与lidar合并的全面且有效的方法 | |
JP7637673B2 (ja) | 安全性分析フレームワーク | |
CN105976606A (zh) | 一种智能城市交通管理平台 | |
CN110751847A (zh) | 一种自动驾驶车辆行为决策方法及系统 | |
EP3722907A1 (en) | Learning a scenario-based distribution of human driving behavior for realistic simulation model and deriving an error model of stationary and mobile sensors | |
US20210383213A1 (en) | Prediction device, prediction method, computer program product, and vehicle control system | |
CN111178286B (zh) | 姿态轨迹预测方法、装置及电子设备 | |
CN116917827A (zh) | 驾驶仿真中的代理转换 | |
US20230150549A1 (en) | Hybrid log simulated driving | |
WO2020164089A1 (en) | Trajectory prediction using deep learning multiple predictor fusion and bayesian optimization | |
CN114842660B (zh) | 一种无人车道路轨迹预测方法、装置和电子设备 | |
JP2024004450A (ja) | 自律走行のために多種移動オブジェクトの将来軌跡を予測する人工ニューラルネットワークの学習方法 | |
CN114787894A (zh) | 感知误差模型 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |