CN114565132B

CN114565132B - 一种基于终点预测的行人轨迹预测方法

Info

Publication number: CN114565132B
Application number: CN202210061083.XA
Authority: CN
Inventors: 王翔辰; 杨欣; 樊江锋; 李恒锐; 朱义天; 周大可
Original assignee: Nanjing University of Aeronautics and Astronautics
Current assignee: Nanjing University of Aeronautics and Astronautics
Priority date: 2022-01-19
Filing date: 2022-01-19
Publication date: 2024-08-09
Anticipated expiration: 2042-01-19
Also published as: CN114565132A

Abstract

本发明公开了一种基于终点预测的行人轨迹预测方法，搭建终点预测轨迹回归预测模型，用轨迹终点预测结果辅助轨迹预测，并对其进行训练，最终获得预测精度较高的行人轨迹模型。其中，终点预测器结构为RseNet网络，通过终点预测部分的损失函数使模型尽可能快的达到较好的性能。模型在ETH和UCY数据集进行训练，选用ADE和FDE作为评估指标，结果表示该模型在降低平均位移误差和最终位移误差方面表现较好。

Description

一种基于终点预测的行人轨迹预测方法

技术领域

本发明涉及行人轨迹预测技术领域，尤其涉及一种基于终点预测的行人轨迹预测方法。

背景技术

行人轨迹预测是一项复杂的任务，因为人类可能会根据人与人之间的动态交互、物理环境约束、交通规则约束、人群社会行为等突然改变轨迹。由于场景中突然发生的事件，人类行为可能会发生变化。例如，如果突然出现障碍物或者其他行人的干扰，行人就会改变行动方向和速度。更复杂的场景会增加行人轨迹预测的难度。在理想场景中，行人的目的地已知，从而提升了行人轨迹预测的准确性。然而，在现实世界中，行人的目的地并不总是已知的。轨迹模式只能根据过去的轨迹序列进行推断，基于终点预测的方法可以一定程度地提高轨迹预测精度。高级驾驶员辅助系统(ADAS)是负责提高汽车和道路安全性以及减少道路死亡人数的汽车部件。但如果没有深度学习方法的帮助，仅靠ADAS系统可能无法一直找到行人的目的地。最近，深度神经网络(DNN)及其相关的学习范式深度学习(DL)在行人轨迹预测中提供了较好的结果。

卷积神经网络(CNN)代表DNN类型，它在许多领域都有很好的表现，例如对象分类和识别手写数字、字母、人脸。CNN具有典型架构，它包含大量卷积、非线性、池化、压差、批处理归一化和全连接层。作为网络训练优化的结果，CNN能够学习对象特征。网络架构和参数的合适选择就可以获得对目标对象进行可靠识别所需的最重要的判别信息。

Rehder等人提出了一种使用循环混合密度网络从图像和位置推断行人未来目的地的方法。为了开发轨迹预测，例如面向目标的运动规划，使用了两种不同的架构：前后网络和MDP网络。图像和行人的位置作为输入。图像的处理通过CNN网络执行。位置矢量和CNN输出的串联表示LSTM网络的输入。作为输出，网络使用概率分布图预测行人未来可能的目的地。

Zhao等人提出了一种以编码器和解码器为架构的多智能体张量融合网络(MATF)。以空间为中心的方法使用灵活的网络，可以在具有人轨迹的环境图像中进行训练，从而保留特征之间的空间关系并获得人与人之间的交互。每个个体的历史轨迹由模型独立编码，并不断解码成多个体的未来预测轨迹，使用对抗性损失来学习随机预测。他们在ETH-UCY等数据上训练了该方法。

发明内容

本发明所要解决的技术问题是针对背景技术中所涉及到的缺陷，提供一种基于终点预测的行人轨迹预测方法。

本发明为解决上述技术问题采用以下技术方案：

一种基于终点预测的行人轨迹预测方法，包括如下步骤：

步骤1)，进行数据预处理，将大小为H×W的场景分为M×N个区块，生成M×N个区块的中心矩阵，中心矩阵的元素为各个区块中心处的坐标；

步骤2)，根据时空特征向量计算行人轨迹终点位于第几个区块内；

步骤3)，基于M×N个区块的中心矩阵计算得到区块号为Block的区块中心处的坐标，将其作为终点预测坐标；

步骤4)，将终点预测坐标添加至时空特征向量的尾部，采用TCN网络作为轨迹生成器，将添加过后的时空特征向量输入到轨迹生成器中进行轨迹预测。

作为本发明一种基于终点预测的行人轨迹预测方法进一步的优化方案，所述步骤1)中使用以下核函数生成M×N个区块的中心矩阵：

c_ij＝[H/M·((2i+1)/2),W/N·((2j+1)/2)]，i∈{1,2,...,M},j∈{1,2,...,N}。

作为本发明一种基于终点预测的行人轨迹预测方法进一步的优化方案，所述步骤2)的详细步骤如下：

步骤2.1)，采用RseNet18网络作为终点预测器，终点预测器后依次串联第一全连接网络、第一非线性激活网络、第二全连接网络、第二非线性激活网络，所述第一非线性激活网络、第二非线性激活网络分别采用Relu函数、softmax函数；

步骤2.2)，将数据集提供的行人轨迹数据经扩展后的时空特征向量V_Exp输入到终点预测器得到其输出V_End'＝ResNet18(V_Exp)，再经第一全连接网络、第一非线性激活网络、第二全连接网络、第二非线性激活网络运算得到维数与区块数相同的向量V_End＝Softmax(FC(ReLu(FC(V_End'))))；

步骤2.3)，使用argmax函数得到行人轨迹终点所在区块概率最大的区块号Block＝argmax(V_End)。

作为本发明一种基于终点预测的行人轨迹预测方法进一步的优化方案，所述步骤3)中基于M×N个区块的中心矩阵计算得到区块号为Block的区块中心处的坐标(x,y)的具体公式为：

(x,y)＝centres[r,c]

c＝Block-r·N

式中，r、c分别为该区块在矩阵中的行号、列号。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

本发明搭建终点预测轨迹回归预测模型，用轨迹终点预测结果辅助轨迹预测，并对其进行训练，获得预测精度较高的行人轨迹模型。其中，终点预测器结构为RseNet网络，同时设计终点预测部分的损失函数使模型尽可能快的达到较好的性能。模型在ETH和UCY数据集进行训练，选用ADE和FDE作为评估指标。

附图说明

图1是本发明的流程示意图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

本发明可以以许多不同的形式实现，而不应当认为限于这里所述的实施例。相反，提供这些实施例以便使本公开透彻且完整，并且将向本领域技术人员充分表达本发明的范围。在附图中，为了清楚起见放大了组件。

如图1所示，本发明公开了一种基于终点预测的行人轨迹预测方法，包含以下步骤：

步骤1)，进行数据预处理，将大小为H×W的场景分为M×N个区块，使用核函数c_ij＝[H/M·((2i+1)/2),W/N·((2j+1)/2)]，i∈{1,2,...,M},j∈{1,2,...,N}生成M×N个区块的中心矩阵，中心矩阵的元素为各个区块中心处的坐标(X、Y)；

步骤2)，根据时空特征向量计算行人轨迹终点位于第几个区块内：

步骤2.1)，采用RseNet18网络作为终点预测器，终点预测器后依次串联第一全连接网络(GCN)、第一非线性激活网络(TF)、第二全连接网络、第二非线性激活网络，所述第一非线性激活网络、第二非线性激活网络分别采用Relu函数、softmax函数；

步骤2.2)，将数据集提供的行人轨迹数据经扩展后的时空特征向量V_Exp输入到终点预测器得到其输出V_End'＝ResNet18(V_Exp)，再经第一全连接网络、第一非线性激活网络、第二全连接网络、第二非线性激活网络运算得到维数与区块数相同的向量V_End＝Softmax(FC(ReLu(FC(V_End'))))，式中Softmax函数会将输出向量的每个元素限制在区间[0,1]之间，数值越大则其在相应区块内的概率越大；

步骤2.3)，使用argmax函数得到行人轨迹终点所在区块概率最大的区块号Block＝argmax(V_End)；

步骤3)，基于M×N个区块的中心矩阵计算得到区块号为Block的区块中心处的坐标(x,y)，将其作为终点预测坐标：

(x,y)＝centres[r,c]

c＝Block-r·N

式中，r、c分别为该区块在矩阵中的行号、列号；

步骤4)，将终点预测坐标(x,y)添加至扩展时空向量V_Exp的尾部，采用TCN网络作为轨迹生成器，将添加后的扩展时空向量输入到轨迹生成器中进行轨迹预测。

实施例:

步骤1、数据集采用人类轨道数据集UCY和ETH。选取评估指标平均位移误差(ADE)和最终位移误差(FDE)。

步骤2、输入行人过去8帧共3.2秒的历史轨迹信息，使用GCN、和TF网络对时空信息进行提取，获得时空特征向量V_Exp。

步骤3、将预测场景进行分块。使用ResNet网络根据时空特征向量预测行人轨迹终点位于第几区块内并得到区块号，将区块号转化为具体坐标。

步骤4、具体坐标作为终点预测坐标输入到轨迹预测网络中进行预测未来12帧共4.8秒的行人轨迹。

本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于终点预测的行人轨迹预测方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的基于终点预测的行人轨迹预测方法，其特征在于，所述步骤1)中使用以下核函数生成M×N个区块的中心矩阵：

c_ij＝[H/M·((2i+1)/2),W/N·((2j+1)/2)]，i∈{1,2,...,M},j∈{1,2,...,N}。

3.根据权利要求1所述的基于终点预测的行人轨迹预测方法，其特征在于，所述步骤3)中基于M×N个区块的中心矩阵计算得到区块号为Block的区块中心处的坐标(x,y)的具体公式为：

(x,y)＝centres[r,c]

c＝Block-r·N

式中，r、c分别为该区块在矩阵中的行号、列号。