CN115908486A - 车辆速度预估方法及装置 - Google Patents
车辆速度预估方法及装置 Download PDFInfo
- Publication number
- CN115908486A CN115908486A CN202211374194.2A CN202211374194A CN115908486A CN 115908486 A CN115908486 A CN 115908486A CN 202211374194 A CN202211374194 A CN 202211374194A CN 115908486 A CN115908486 A CN 115908486A
- Authority
- CN
- China
- Prior art keywords
- target vehicle
- training
- image
- feature points
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 239000011159 matrix material Substances 0.000 claims abstract description 68
- 238000013519 translation Methods 0.000 claims abstract description 54
- 238000003384 imaging method Methods 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims description 105
- 238000000605 extraction Methods 0.000 claims description 45
- 238000001514 detection method Methods 0.000 claims description 23
- 230000000007 visual effect Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 4
- 238000005259 measurement Methods 0.000 abstract description 18
- 230000003068 static effect Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供一种车辆速度预估方法及装置，方法包括：根据预先获取的至少连续两帧目标车辆图像，得到各目标车辆图像中的特征点及各特征点对应的描述子；根据特征点及各特征点对应的描述子，将相邻两帧目标车辆图像的特征点进行匹配，得到相邻两帧目标车辆图像之间特征点的匹配关系；根据相邻两帧目标车辆图像之间特征点的匹配关系，结合预先获取的各帧目标车辆图像的目标车辆朝向和尺寸，利用相机成像原理，得到相邻两帧目标车辆图像之间的运动旋转矩阵和运动平移向量；根据预先获取的自车旋转矩阵和自车平移向量，结合相邻两帧目标车辆图像之间的运动旋转矩阵和运动平移向量，得到预测目标车速度。本发明能够显著提升目标车辆的测速精度。
Description
技术领域
本发明涉及自动驾驶技术领域，尤其涉及一种车辆速度预估方法及装置。
背景技术
在自动驾驶技术中，系统需要通过获取他车的位置和速度，以对他车轨迹进行预测，进而实现自车的路径规划，因此，车辆速度估计成为了自动驾驶中不可缺少的重要功能。由于单目相机具有低成本、语义信息丰富等优势，因此，目前大多利用单目相机进行车辆速度估计，以获取精确的车辆速度估计值。
当前业内使用的车辆速度估计方法主要先利用单目测距，再通过卡尔曼滤波计算目标速度。然而单目相机无法直接获取3D信息，容易造成交大的单目3D测距误差，进而影响测速精度；另外，上述方法的速度分辨率不足，难以及时分辨出非静止目标和静止目标，影响驾驶安全。
发明内容
本发明提供一种车辆速度预估方法及装置，用以解决现有技术中测速精度较差的缺陷，实现了单目测速与3D测距的部分解耦，提高测速精度，确保驾驶安全。
本发明提供一种车辆速度预估方法，包括：根据预先获取的至少连续两帧目标车辆图像，得到各所述目标车辆图像中的特征点及各所述特征点对应的描述子；根据所述特征点及各所述特征点对应的描述子，将相邻两帧目标车辆图像的特征点进行匹配，得到相邻两帧目标车辆图像之间特征点的匹配关系；根据所述相邻两帧目标车辆图像之间特征点的匹配关系，结合预先获取的各帧所述目标车辆图像的目标车辆朝向和尺寸，利用相机成像原理，得到所述相邻两帧目标车辆图像之间的运动旋转矩阵和运动平移向量；根据预先获取的自车旋转矩阵和自车平移向量，结合所述相邻两帧目标车辆图像之间的运动旋转矩阵和运动平移向量，得到预测目标车速度。
根据本发明提供的一种车辆速度预估方法，所述根据预先获取的至少连续两帧目标车辆图像，得到各所述目标车辆图像中的特征点及各所述特征点对应的描述子，包括：分别对各帧目标车辆图像进行视觉角点提取，得到对应所述各帧目标车辆图像的特征点；根据所述特征点，得到对应各所述特征点的描述子。
根据本发明提供的一种车辆速度预估方法，所述根据所述特征点，得到对应各所述特征点的描述子，包括：根据单帧目标车辆图像对应的特征点，确定所述单帧目标车辆图像特征点的周围区域图像；将所述周围区域图像输入至描述子提取模型中，得到所述描述子提取模型输出的描述子，其中，所述描述子提取模型是基于预先获取的相邻两帧目标训练图像中分别选取的训练点之间的匹配关系和对应描述子之间的相似度训练得到的。
根据本发明提供的一种车辆速度预估方法，训练所述描述子提取模型，包括：获取至少连续两帧目标训练图像及各所述目标训练图像的训练点；将单帧所述目标训练图像对应的训练点周围的区域图像输入至描述子提取模型中，得到所述描述子提取模型输出的对应各所述训练点的训练描述子；选择当前帧目标训练图像中的任一训练点，并基于其对应的训练描述子与在先帧目标训练图像中的训练点对应的训练描述子，得到对应相似度；基于相似度，判断所述当前帧目标训练图像的训练点与所述在先帧目标训练图像的训练点的匹配关系，若匹配，则根据匹配训练点的相似度构建损失函数；否则，根据不匹配训练点相似度的倒数，构建损失函数；基于所述损失函数收敛，结束训练。
根据本发明提供的一种车辆速度预估方法，在所述分别对各帧目标车辆图像进行视觉角点提取，得到特征点，包括：对所述目标车辆图像进行2D检测，得到2D检测框；根据所述2D检测框，对所述2D检测框内区域进行视觉角点提取，以及对所述2D检测框外区域进行视觉角点提取，得到特征点。
根据本发明提供的一种车辆速度预估方法，所述根据所述描述子，将所述相邻两帧目标车辆图像的特征点进行匹配，得到相邻两帧目标车辆图像之间特征点的匹配关系，包括：选择当前帧目标车辆图像中的任一特征点，并基于其对应的描述子与在先帧目标车辆图像中的特征点对应的描述子，得到对应特征相似度，并根据所述当前帧目标车辆图像所有特征点对应的特征相似度，构建代价矩阵；利用匈牙利匹配算法对所述代价矩阵进行处理，得到相邻两帧目标车辆图像之间特征点的匹配关系。
根据本发明提供的一种车辆速度预估方法，所述根据所述相邻两帧目标车辆图像之间特征点的匹配关系，并结合预先获取的各帧所述目标车辆图像的目标车辆朝向和尺寸，利用相机成像原理，得到所述相邻两帧目标车辆图像之间的运动旋转矩阵和运动平移向量，包括：根据预先获取的各帧所述目标车辆图像的目标车辆朝向和尺寸，得到各帧所述目标车辆图像中目标车辆的特征点在目标车体坐标系下的位置坐标；根据各帧所述目标车辆图像中目标车辆的特征点位置坐标，以及预先获取的目标车体坐标系到单目坐标系的旋转矩阵和平移向量，并利用相机成像原理，得到各帧所述目标车辆图像中各特征点的像素坐标；根据各帧所述目标车辆图像中各特征点的像素坐标，并结合所述相邻两帧目标车辆图像之间特征点的匹配关系，得到所述相邻两帧目标车辆图像之间的运动旋转矩阵和运动平移向量。
本发明还提供一种车辆速度预估装置，包括：特征提取模块，根据预先获取的至少连续两帧目标车辆图像，得到各所述目标车辆图像中的特征点及各所述特征点对应的描述子；匹配模块，根据所述特征点及各所述特征点对应的描述子，将所述相邻两帧目标车辆图像的特征点进行匹配，得到相邻两帧目标车辆图像之间特征点的匹配关系；偏移预测模块，根据所述相邻两帧目标车辆图像之间特征点的匹配关系，结合预先获取的各帧所述目标车辆图像的目标车辆朝向和尺寸，利用相机成像原理，得到所述相邻两帧目标车辆图像之间的运动旋转矩阵和运动平移向量；速度预估模块，根据预先获取的自车旋转矩阵和自车平移向量，结合所述相邻两帧目标车辆图像之间的运动旋转矩阵和运动平移向量，得到预测目标车速度。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述车辆速度预估方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述车辆速度预估方法的步骤。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述车辆速度预估方法的步骤。
本发明提供的车辆速度预估方法及装置，通过提取获取的目标车辆图像的特征点及描述子，以便于根据描述子确定相邻帧目标车辆图像之间特征点的匹配关系，从而及时分辨出非静止目标和静止目标，提高了速度的分辨率；再结合相机成像原理，对目标车辆速度进行预测，以得到目标车相对于自车的运动；并根据自车相对于惯性坐标系的运动及目标车相对于自车的运动，得到目标车辆在惯性坐标下的运动，即预测目标车辆速度，从而显著提升目标车辆的测速精度，有效提升自动驾驶的安全性，实现了单目测速与3D测距的部分解耦。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的车辆速度预估方法的流程示意图；
图2是本发明提供的特征点和匹配关系示意图；
图3是本发明提供的静止车辆和非静止车辆的测速效果示意图；
图4是本发明提供的车辆速度预估装置的结构示意图；
图5是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1示出了本发明一种车辆速度预估方法的流程示意图，该方法包括：
S11，根据预先获取的至少连续两帧目标车辆图像，得到各目标车辆图像中的特征点及各特征点对应的描述子；
S12，根据特征点及各特征点对应的描述子，将相邻两帧目标车辆图像的特征点进行匹配，得到相邻两帧目标车辆图像之间特征点的匹配关系；
S13，根据相邻两帧目标车辆图像之间特征点的匹配关系，结合预先获取的各帧目标车辆图像的目标车辆朝向和尺寸，利用相机成像原理，得到相邻两帧目标车辆图像之间的运动旋转矩阵和运动平移向量；
S14，根据预先获取的自车旋转矩阵和自车平移向量，结合相邻两帧目标车辆图像之间的运动旋转矩阵和运动平移向量，得到预测目标车速度。
需要说明的是，本说明书中的S1N不代表车辆速度预估方法的先后顺序，下面具体结合图2-图3描述本发明的车辆速度预估方法。
步骤S11，根据预先获取的至少连续两帧目标车辆图像，得到各目标车辆图像中的特征点及各特征点对应的描述子。
在本实施例中，根据预先获取的至少连续两帧目标车辆图像，得到各目标车辆图像中的特征点及各特征点对应的描述子，包括：分别对各帧目标车辆图像进行视觉角点提取，得到对应各帧目标车辆图像的特征点；根据特征点，得到对应各特征点的描述子。具体而言：
首先，分别对各帧目标车辆图像进行视觉角点提取，得到对应各帧目标车辆图像的特征点。应当注意的是，在分别对各帧目标车辆图像进行视觉角点提取，得到特征点，包括：获取目标车辆图像；对目标车辆图像进行2D检测，得到2D检测框；根据2D检测框，对2D检测框内区域进行视觉角点提取，以及对2D检测框外区域进行视觉角点提取，得到特征点，如图2中的点。
需要补充的是，获取目标车辆图像可以利用图像跟踪算法对目标车辆进行连续跟踪，得到多帧连续的目标车辆图像，从而便于后续再每个跟踪帧中提取2D检测框以及背景区域的视觉角点作为特征点。
其次，根据特征点，得到对应各特征点的描述子。在本实施例中，可以利用描述子提取模型，对特征点进行提取，得到描述子。更进一步的说，根据特征点，得到对应各特征点的描述子，包括：根据单帧目标车辆图像对应的特征点，确定单帧目标车辆图像特征点的周围区域图像；将周围区域图像输入至描述子提取模型中，得到描述子提取模型输出的描述子，其中，描述子提取模型是基于预先获取的相邻两帧目标训练图像中分别选取的训练点之间的匹配关系和对应描述子之间的相似度训练得到的。
需要说明的是，描述子提取模型可以是现有模型，或重新设计的模型，此处不作进一步地限定。比如，描述子提取模型可以利用度量学习的方法设计一个神经网络，将特征点周围区域的图像作为神经网络的输入，利用神经网络模型提取特征点的描述子，得到输出为一个256维的向量，即描述子。
需要补充的是，训练描述子提取模型，包括：获取至少连续两帧目标训练图像及各目标训练图像的训练点；将单帧目标训练图像对应的训练点周围的区域图像输入至描述子提取模型中，得到描述子提取模型输出的训练点及对应各训练点的训练描述子；选择当前帧目标训练图像中的任一训练点，并基于其对应的训练描述子与在先帧目标训练图像中的训练点对应的训练描述子，得到对应相似度；基于相似度，判断当前帧目标训练图像的训练点与在先帧目标训练图像的训练点的匹配关系，若匹配，则根据匹配训练点的相似度构建损失函数；否则，根据不匹配训练点相似度的倒数，构建损失函数；基于损失函数收敛，结束训练。
在本实施例中，损失函数表示为：
其中，pi和pj分别表示随机从相邻两帧目标车辆图像中选取的一特征点，desi表示pi特征点对应的描述子，desj表示pj特征点对应的描述子。需要说明的是，当pi和pj是一对匹配点时，其描述子之间的余弦距离应当足够接近；当pi和pj不是匹配点时，其描述子之间的余弦距离应当足够远，通过上述方法可以高效提取特征点的描述子。
步骤S12，根据特征点及各特征点对应的描述子，将相邻两帧目标车辆图像的特征点进行匹配，得到相邻两帧目标车辆图像之间特征点的匹配关系。
在本实施例中，根据描述子，将相邻两帧目标车辆图像的特征点进行匹配，得到相邻两帧目标车辆图像之间特征点的匹配关系，包括：选择当前帧目标车辆图像中的任一特征点，并基于其对应的描述子与在先帧目标车辆图像中的特征点对应的描述子，得到对应特征相似度，并根据当前帧目标车辆图像所有特征点对应的特征相似度，构建代价矩阵；利用匈牙利匹配算法对代价矩阵进行处理，得到相邻两帧目标车辆图像之间特征点的匹配关系。
需要补充的是，代价矩阵表示为：
其中，cost表示代价矩阵，ci,j表示当前帧第i个特征点的描述子与上一帧第j个特征点的描述子之间的余弦距离。需要说明的是，通过利用匈牙利匹配算法处理cost矩阵，可以获得前后帧特征点之间的匹配关系，如图2中线段所示。
步骤S13，根据相邻两帧目标车辆图像之间特征点的匹配关系，结合预先获取的各帧目标车辆图像的目标车辆朝向和尺寸，利用相机成像原理，得到相邻两帧目标车辆图像之间的运动旋转矩阵和运动平移向量。
在本实施例中，根据相邻两帧目标车辆图像之间特征点的匹配关系，并结合预先获取的各帧目标车辆图像的目标车辆朝向和尺寸，利用相机成像原理，得到相邻两帧目标车辆图像之间的运动旋转矩阵和运动平移向量，包括：根据预先获取的各帧目标车辆图像的目标车辆朝向和尺寸，得到各帧目标车辆图像中目标车辆的特征点位置坐标；根据各帧目标车辆图像中目标车辆的特征点在目标车体坐标系下的位置坐标，以及预先获取的目标车体坐标系到单目坐标系的旋转矩阵和平移向量，并利用相机成像原理，得到各帧目标车辆图像中各特征点的像素坐标；根据各帧目标车辆图像中各特征点的像素坐标，并结合相邻两帧目标车辆图像之间特征点的匹配关系，得到相邻两帧目标车辆图像之间的运动旋转矩阵和运动平移向量。具体而言：
首先，根据预先获取的各帧目标车辆图像的目标车辆朝向和尺寸，得到各帧目标车辆图像中目标车辆的特征点位置坐标。需要说明的是，目标车辆朝向和尺寸可以利用3D车辆检测神经网络检测目标车辆图像得到，通过利用目标车位置、目标车辆朝向和尺寸，还原出目标车辆表面3D点在目标车体坐标系下的坐标位置。另外，目标车体坐标系是以目标车辆行驶方向为X轴，以目标车辆宽度方向为Y轴，以垂直于地面的方向为Z轴。
其次，根据各帧目标车辆图像中目标车辆的特征点位置坐标，以及预先获取的目标车体坐标系到单目坐标系的旋转矩阵和平移向量，并利用相机成像原理，得到各帧目标车辆图像中各特征点的像素坐标。需要说明的是，由于车辆是刚体，特征点对应的3D点在预设目标车体坐标系下是静态的，因此坐标保持不变，则根据相机成像原理，可以得到如下投影公式：
Ui,t＝sK(RtXi+Tt)
Ui,t+1＝sK(RtΔRtXi+Tt+ΔTt)
其中，Ui,t为第i个特征点在t时刻的像素坐标；Ui,t+1为第i个特征点在t+1时刻的像素坐标；Xi为第i个特征点对应的3D点在目标车体坐标系下的坐标；s是一个比例因子，等于3D点深度的倒数；K为相机内参矩阵，由相机焦距fx、fy以及焦点像素坐标cx、cy组成；Rt、Tt分别为t时刻目标车体坐标系到单目坐标系的旋转矩阵和平移向量；ΔRt、ΔTt分别为目标车在相机坐标系下前后两帧之间的运动旋转矩阵和运动平移向量。
更进一步地说，按上述投影公式，每个特征点在t时刻可以获取2个方程：
其中，ui,t、vi,t表示表示第i个特征点在t时刻的像素坐标。
同理，每个特征点在t+1时刻也可以获取2个方程：
其中，ui,t+1、vi,t+1表示表示第i个特征点在t+1时刻的像素坐标。
由此可见，每个特征点在前后两帧可以获取4个方程，假设目标车一共有n个特征点，则可列出4n个方程。未知数数量为12个：t时刻目标车体坐标系相对相机坐标系的6自由度位姿变换以及6自由度帧间位姿变换；当n≥3时，上述投影方程可解，通过利用构建计算图的方法求解，以获得目标车相对自车的运动预测ΔRt、ΔTt。
步骤S14，根据预先获取的自车旋转矩阵和自车平移向量，结合相邻两帧目标车辆图像之间的运动旋转矩阵和运动平移向量，得到预测目标车速度。
在一个可选实施例中，在得到预测目标车速度之前，还包括：获取自车旋转矩阵和自车平移向量，自车旋转矩阵和自车平移向量是基于自车里程计获取的世界坐标系下自车相邻两帧之间的自车旋转矩阵ΔRego和自车平移向量ΔTego。
在本实施例中，利用相对运动关系，将目标车在惯性坐标系下的运动拆分为两部分：目标车相对自车的运动以及自车相对于惯性坐标系的运动，在得到目标车辆速度之前已经得到了自车相对于惯性坐标系的运动ΔRego、ΔTego；以及获取了目标车相对自车的运动预测ΔRt、ΔTt，由此目标车速度表示为：
ΔR＝ΔRegoΔRt
ΔT＝ΔRegoΔTt+ΔTego
其中，V表示目标车速度，ΔRego表示自车旋转矩阵，ΔTego表示自车旋转矩阵，ΔRt表示目标车辆在相机坐标系下前后两帧目标车辆图像之间的运动旋转矩阵，ΔTt表示目标车辆在相机坐标系下前后两帧目标车辆图像之间的运动平移向量。
参考图3所示，左侧方框内的车辆为静止车辆，右侧方框内的车辆为非静止车辆，比如可以为低速运动车辆，扣除自车运动影响后，静止车辆前后帧图像中的投影误差小，运动车辆前后帧图像中的投影误差大，由此可见，利用重投影误差可以显著判断车辆的动静属性。
需要说明的是，通过在采集的路测数据集上运行上述方法，在速度方向的精度相较于传统方法提升了61％，速度大小精度提升了13％。在动静属性的判断上，传统方法的分辨率为2m/s，而本方法为0.3m/s。由此可见，利用本方法可显著提升目标车辆的测速精度，可以更好的判断车辆的动静属性，从而有效提升自动驾驶的安全性，确保行车安全。
综上所述，本发明实施例通过提取获取的目标车辆图像的特征点及描述子，以便于根据描述子确定相邻帧目标车辆图像之间特征点的匹配关系，从而及时分辨出非静止目标和静止目标，提高了速度的分辨率；再结合相机成像原理，对目标车辆速度进行预测，以得到目标车相对于自车的运动；并根据自车相对于惯性坐标系的运动及目标车相对于自车的运动，得到目标车辆在惯性坐标下的运动，即预测目标车辆速度，从而显著提升目标车辆的测速精度，有效提升自动驾驶的安全性，实现了单目测速与3D测距的部分解耦。
下面对本发明提供的车辆速度预估装置进行描述，下文描述的车辆速度预估装置与上文描述的车辆速度预估方法可相互对应参照。
图4示出了本发明一种车辆速度预估装置的结构示意图，该装置，包括：
特征提取模块41，根据预先获取的至少连续两帧目标车辆图像，得到各目标车辆图像中的特征点及各特征点对应的描述子；
匹配模块42，根据特征点及各特征点对应的描述子，将相邻两帧目标车辆图像的特征点进行匹配，得到相邻两帧目标车辆图像之间特征点的匹配关系；
偏移预测模块43，根据相邻两帧目标车辆图像之间特征点的匹配关系，结合预先获取的各帧目标车辆图像的目标车辆朝向和尺寸，利用相机成像原理，得到相邻两帧目标车辆图像之间的运动旋转矩阵和运动平移向量；
速度预估模块44，根据预先获取的自车旋转矩阵和自车平移向量，结合相邻两帧目标车辆图像之间的运动旋转矩阵和运动平移向量，得到预测目标车速度。
在本实施例中，特征提取模块41，包括：特征点提取单元，分别对各帧目标车辆图像进行视觉角点提取，得到对应各帧目标车辆图像的特征点；描述子提取单元，根据特征点，得到对应各特征点的描述子。
在一个可选实施例中，特征点提取单元，包括：图像获取子单元，获取目标车辆图像；2D目标检测子单元，对目标车辆图像进行2D检测，得到2D检测框；视觉点提取子单元，根据2D检测框，对2D检测框内区域进行视觉角点提取，以及对2D检测框外区域进行视觉角点提取，得到特征点。
另外，描述子提取单元可以采用描述子提取模型，则描述子提取单元，包括：图像获取子单元，根据单帧目标车辆图像对应的特征点，确定单帧目标车辆图像特征点的周围区域图像；数据输入子单元，将周围区域图像输入至描述子提取模型中；描述子提取子单元，得到描述子提取模型输出的描述子，其中，描述子提取模型是基于预先获取的相邻两帧目标训练图像中分别选取的训练点之间的匹配关系和对应描述子之间的相似度训练得到的。
在一个可选实施例中，该装置还包括：训练模块，训练描述子提取模型。具体而言，训练模块，包括：训练数据获取单元，获取至少连续两帧目标训练图像及各目标训练图像的训练点；训练描述子获取单元，将单帧目标训练图像对应的训练点周围的区域图像输入至描述子提取模型中，得到描述子提取模型输出的训练点及对应各训练点的训练描述子；相似度获取单元，选择当前帧目标训练图像中的任一训练点，并基于其对应的训练描述子与在先帧目标训练图像中的训练点对应的训练描述子，得到对应相似度；判断单元，基于相似度，判断当前帧目标训练图像的训练点与在先帧目标训练图像的训练点的匹配关系，若匹配，则根据匹配训练点的相似度构建损失函数；否则，根据不匹配训练点相似度的倒数，构建损失函数；基于损失函数收敛，结束训练。
匹配模块42，包括：预先距离获取单元，选择当前帧目标车辆图像中的任一特征点，并基于其对应的描述子与在先帧目标车辆图像中的特征点对应的描述子，得到对应特征相似度；矩阵构建单元，根据当前帧目标车辆图像所有特征点对应的特征相似度，构建代价矩阵；关系匹配单元，利用匈牙利匹配算法对代价矩阵进行处理，得到相邻两帧目标车辆图像之间特征点的匹配关系。
偏移预测模块43，包括：第一坐标获取单元，根据预先获取的各帧目标车辆图像的目标车辆朝向和尺寸，得到各帧目标车辆图像中目标车辆的特征点在目标车体坐标系下的位置坐标；第二坐标获取单元，根据各帧目标车辆图像中目标车辆的特征点位置坐标，以及预先获取的目标车体坐标系到单目坐标系的旋转矩阵和平移向量，并利用相机成像原理，得到各帧目标车辆图像中各特征点的像素坐标；运动偏移数据获取单元，根据各帧目标车辆图像中各特征点的像素坐标，并结合相邻两帧目标车辆图像之间特征点的匹配关系，得到相邻两帧目标车辆图像之间的运动旋转矩阵和运动平移向量。
在一个可选实施例中，该装置还包括：自车数据获取模块，在得到预测目标车速度之前，获取自车旋转矩阵和自车平移向量，自车旋转矩阵和自车平移向量是基于自车里程计获取的世界坐标系下自车相邻两帧之间的自车旋转矩阵ΔRego和自车平移向量ΔTego。
综上所述，本发明实施例通过特征提取模块提取获取的目标车辆图像的特征点及描述子，以便于匹配模块根据描述子确定相邻帧目标车辆图像之间特征点的匹配关系，从而及时分辨出非静止目标和静止目标，提高了速度的分辨率；再利用偏移预测模块结合相机成像原理，对目标车辆速度进行预测，以得到目标车相对于自车的运动；通过速度预估模块根据自车相对于惯性坐标系的运动及目标车相对于自车的运动，得到目标车辆在惯性坐标下的运动，即预测目标车辆速度，从而显著提升目标车辆的测速精度，有效提升自动驾驶的安全性，实现了单目测速与3D测距的部分解耦。
图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)51、通信接口(Communications Interface)52、存储器(memory)53和通信总线54，其中，处理器51，通信接口52，存储器53通过通信总线54完成相互间的通信。处理器51可以调用存储器53中的逻辑指令，以执行车辆速度预估方法，该方法包括：根据预先获取的至少连续两帧目标车辆图像，得到各目标车辆图像中的特征点及各特征点对应的描述子；根据特征点及各特征点对应的描述子，将相邻两帧目标车辆图像的特征点进行匹配，得到相邻两帧目标车辆图像之间特征点的匹配关系；根据相邻两帧目标车辆图像之间特征点的匹配关系，结合预先获取的各帧目标车辆图像的目标车辆朝向和尺寸，利用相机成像原理，得到相邻两帧目标车辆图像之间的运动旋转矩阵和运动平移向量；根据预先获取的自车旋转矩阵和自车平移向量，结合相邻两帧目标车辆图像之间的运动旋转矩阵和运动平移向量，得到预测目标车速度。
此外，上述的存储器53中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的车辆速度预估方法，该方法包括：根据预先获取的至少连续两帧目标车辆图像，得到各目标车辆图像中的特征点及各特征点对应的描述子；根据特征点及各特征点对应的描述子，将相邻两帧目标车辆图像的特征点进行匹配，得到相邻两帧目标车辆图像之间特征点的匹配关系；根据相邻两帧目标车辆图像之间特征点的匹配关系，结合预先获取的各帧目标车辆图像的目标车辆朝向和尺寸，利用相机成像原理，得到相邻两帧目标车辆图像之间的运动旋转矩阵和运动平移向量；根据预先获取的自车旋转矩阵和自车平移向量，结合相邻两帧目标车辆图像之间的运动旋转矩阵和运动平移向量，得到预测目标车速度。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的车辆速度预估方法，该方法包括：根据预先获取的至少连续两帧目标车辆图像，得到各目标车辆图像中的特征点及各特征点对应的描述子；根据特征点及各特征点对应的描述子，将相邻两帧目标车辆图像的特征点进行匹配，得到相邻两帧目标车辆图像之间特征点的匹配关系；根据相邻两帧目标车辆图像之间特征点的匹配关系，结合预先获取的各帧目标车辆图像的目标车辆朝向和尺寸，利用相机成像原理，得到相邻两帧目标车辆图像之间的运动旋转矩阵和运动平移向量；根据预先获取的自车旋转矩阵和自车平移向量，结合相邻两帧目标车辆图像之间的运动旋转矩阵和运动平移向量，得到预测目标车速度。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种车辆速度预估方法，其特征在于，包括：
根据预先获取的至少连续两帧目标车辆图像，得到各所述目标车辆图像中的特征点及各所述特征点对应的描述子；
根据所述特征点及各所述特征点对应的描述子，将相邻两帧目标车辆图像的特征点进行匹配，得到相邻两帧目标车辆图像之间特征点的匹配关系；
根据所述相邻两帧目标车辆图像之间特征点的匹配关系，结合预先获取的各帧所述目标车辆图像的目标车辆朝向和尺寸，利用相机成像原理，得到所述相邻两帧目标车辆图像之间的运动旋转矩阵和运动平移向量；
根据预先获取的自车旋转矩阵和自车平移向量，结合所述相邻两帧目标车辆图像之间的运动旋转矩阵和运动平移向量，得到预测目标车速度。
2.根据权利要求1所述的车辆速度预估方法，其特征在于，所述根据预先获取的至少连续两帧目标车辆图像，得到各所述目标车辆图像中的特征点及各所述特征点对应的描述子，包括：
分别对各帧目标车辆图像进行视觉角点提取，得到对应所述各帧目标车辆图像的特征点；
根据所述特征点，得到对应各所述特征点的描述子。
3.根据权利要求2所述的车辆速度预估方法，其特征在于，所述根据所述特征点，得到对应各所述特征点的描述子，包括：
根据单帧目标车辆图像对应的特征点，确定所述单帧目标车辆图像特征点的周围区域图像；
将所述周围区域图像输入至描述子提取模型中，得到所述描述子提取模型输出的描述子，其中，所述描述子提取模型是基于预先获取的相邻两帧目标训练图像中分别选取的训练点之间的匹配关系和对应描述子之间的相似度训练得到的。
4.根据权利要求3所述的车辆速度预估方法，其特征在于，训练所述描述子提取模型，包括：
获取至少连续两帧目标训练图像及各所述目标训练图像的训练点；
将单帧所述目标训练图像对应的训练点周围的区域图像输入至描述子提取模型中，得到所述描述子提取模型输出的对应各所述训练点的训练描述子；
选择当前帧目标训练图像中的任一训练点，并基于其对应的训练描述子与在先帧目标训练图像中的训练点对应的训练描述子，得到对应相似度；
基于相似度，判断所述当前帧目标训练图像的训练点与所述在先帧目标训练图像的训练点的匹配关系，若匹配，则根据匹配训练点的相似度构建损失函数；否则，根据不匹配训练点相似度的倒数，构建损失函数；
基于所述损失函数收敛，结束训练。
5.根据权利要求2所述的车辆速度预估方法，其特征在于，在所述分别对各帧目标车辆图像进行视觉角点提取，得到特征点包括：
对所述目标车辆图像进行2D检测，得到2D检测框；
根据所述2D检测框，对所述2D检测框内区域进行视觉角点提取，以及对所述2D检测框外区域进行视觉角点提取，得到特征点。
6.根据权利要求1所述的车辆速度预估方法，其特征在于，所述根据所述描述子，将所述相邻两帧目标车辆图像的特征点进行匹配，得到相邻两帧目标车辆图像之间特征点的匹配关系，包括：
选择当前帧目标车辆图像中的任一特征点，并基于其对应的描述子与在先帧目标车辆图像中的特征点对应的描述子，得到对应特征相似度，并根据所述当前帧目标车辆图像所有特征点对应的特征相似度，构建代价矩阵；
利用匈牙利匹配算法对所述代价矩阵进行处理，得到相邻两帧目标车辆图像之间特征点的匹配关系。
7.根据权利要求1所述的车辆速度预估方法，其特征在于，所述根据所述相邻两帧目标车辆图像之间特征点的匹配关系，并结合预先获取的各帧所述目标车辆图像的目标车辆朝向和尺寸，利用相机成像原理，得到所述相邻两帧目标车辆图像之间的运动旋转矩阵和运动平移向量，包括：
根据预先获取的各帧所述目标车辆图像的目标车辆朝向和尺寸，得到各帧所述目标车辆图像中目标车辆的特征点在目标车体坐标系下的位置坐标；
根据各帧所述目标车辆图像中目标车辆的特征点位置坐标，以及预先获取的目标车体坐标系到单目坐标系的旋转矩阵和平移向量，并利用相机成像原理，得到各帧所述目标车辆图像中各特征点的像素坐标；
根据各帧所述目标车辆图像中各特征点的像素坐标，并结合所述相邻两帧目标车辆图像之间特征点的匹配关系，得到所述相邻两帧目标车辆图像之间的运动旋转矩阵和运动平移向量。
8.一种车辆速度预估装置，其特征在于，包括：
特征提取模块，根据预先获取的至少连续两帧目标车辆图像，得到各所述目标车辆图像中的特征点及各所述特征点对应的描述子；
匹配模块，根据所述特征点及各所述特征点对应的描述子，将所述相邻两帧目标车辆图像的特征点进行匹配，得到相邻两帧目标车辆图像之间特征点的匹配关系；
偏移预测模块，根据所述相邻两帧目标车辆图像之间特征点的匹配关系，结合预先获取的各帧所述目标车辆图像的目标车辆朝向和尺寸，利用相机成像原理，得到所述相邻两帧目标车辆图像之间的运动旋转矩阵和运动平移向量；
速度预估模块，根据预先获取的自车旋转矩阵和自车平移向量，结合所述相邻两帧目标车辆图像之间的运动旋转矩阵和运动平移向量，得到预测目标车速度。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述车辆速度预估方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述车辆速度预估方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211374194.2A CN115908486A (zh) | 2022-11-03 | 2022-11-03 | 车辆速度预估方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211374194.2A CN115908486A (zh) | 2022-11-03 | 2022-11-03 | 车辆速度预估方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115908486A true CN115908486A (zh) | 2023-04-04 |
Family
ID=86477674
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211374194.2A Pending CN115908486A (zh) | 2022-11-03 | 2022-11-03 | 车辆速度预估方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115908486A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230031289A1 (en) * | 2021-07-30 | 2023-02-02 | Toyota Research Institute, Inc. | Monocular 2d semantic keypoint detection and tracking |
-
2022
- 2022-11-03 CN CN202211374194.2A patent/CN115908486A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230031289A1 (en) * | 2021-07-30 | 2023-02-02 | Toyota Research Institute, Inc. | Monocular 2d semantic keypoint detection and tracking |
| US12236660B2 (en) * | 2021-07-30 | 2025-02-25 | Toyota Research Institute, Inc. | Monocular 2D semantic keypoint detection and tracking |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11643076B2 (en) | Forward collision control method and apparatus, electronic device, program, and medium | |
| JP6670071B2 (ja) | 車両用画像認識システム、及び対応法 | |
| CN107038723B (zh) | 棒状像素估计方法和系统 | |
| US20180018528A1 (en) | Detecting method and device of obstacles based on disparity map and automobile driving assistance system | |
| JP4429298B2 (ja) | 対象個数検出装置および対象個数検出方法 | |
| US8395659B2 (en) | Moving obstacle detection using images | |
| KR20200060194A (ko) | 차선들의 깊이값을 예측하는 방법, 3차원 차선들을 출력하는 방법 및 그 장치 | |
| CN105718888A (zh) | 障碍物预警方法和障碍物预警装置 | |
| US9396553B2 (en) | Vehicle dimension estimation from vehicle images | |
| EP4211651A1 (en) | Efficient three-dimensional object detection from point clouds | |
| JP6021689B2 (ja) | 車両諸元計測処理装置、車両諸元計測方法及びプログラム | |
| CN112598743B (zh) | 一种单目视觉图像的位姿估算方法及相关装置 | |
| US20200226392A1 (en) | Computer vision-based thin object detection | |
| US9361543B2 (en) | Automatic learning method for the automatic learning of forms of appearance of objects in images | |
| CN109145805B (zh) | 车载环境下的移动目标检测方法及系统 | |
| CN114049542B (zh) | 一种动态场景下基于多传感器的融合定位方法 | |
| CN117911827A (zh) | 多模态目标检测方法、装置、设备及存储介质 | |
| CN111788533A (zh) | 基于立体视觉的车辆姿态估计的方法和系统 | |
| CN114972177A (zh) | 道路病害识别管理方法、装置及智能终端 | |
| CN112991401A (zh) | 车辆运行轨迹追踪方法、装置、电子设备和存储介质 | |
| CN111928857B (zh) | 一种动态环境中实现slam定位的方法及相关装置 | |
| JP2018205950A (ja) | 自車位置推定用環境地図生成装置、自車位置推定装置、自車位置推定用環境地図生成プログラム、及び自車位置推定プログラム | |
| CN115908486A (zh) | 车辆速度预估方法及装置 | |
| CN108460348A (zh) | 基于三维模型的道路目标检测方法 | |
| CN114919584A (zh) | 机动车定点目标测距方法、装置及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |