CN109816588B - 行车轨迹线的记录方法、装置及设备 - Google Patents
行车轨迹线的记录方法、装置及设备 Download PDFInfo
- Publication number
- CN109816588B CN109816588B CN201811640538.3A CN201811640538A CN109816588B CN 109816588 B CN109816588 B CN 109816588B CN 201811640538 A CN201811640538 A CN 201811640538A CN 109816588 B CN109816588 B CN 109816588B
- Authority
- CN
- China
- Prior art keywords
- dimensional model
- image frame
- camera
- acquiring
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种行车轨迹线的记录方法、装置及设备，获取车辆行驶过程中采集的连续的图像帧，各所述图像帧指示的是所述车辆的行驶场景信息；根据各所述图像帧，获取所述行驶场景对应的三维模型，以及各所述图像帧对应的相机参数；根据各所述图像帧对应的相机参数，将所述车辆在所述三维模型中的位置轨迹，投影到各所述图像帧中，得到由各所述图像帧记录的行车轨迹线；通过利用各图像帧记录车辆的行车轨迹线，既能避免加载存储量大的三维地图，又能给自动驾驶车辆提供行车路线的参考，能够提高自动驾驶的准确性和安全性。
Description
技术领域
本发明实施例涉及自动驾驶技术领域，尤其涉及一种行车轨迹线的记录方法、装置及设备。
背景技术
基于计算机视觉的自动驾驶技术具有鲁棒性、实时性且设备简单经济的特点，因此，具有很高的应用价值。
目前，基于计算机视觉的自动驾驶技术可以分为基于建图的自动驾驶技术和无建图的自动驾驶技术。其中，相对于无建图的自动驾驶技术，基于建图的自动驾驶技术精度更高，安全性更好。具体的，基于建图的自动驾驶技术可以根据历史行驶过程采集到的图像计算出三维地图，并在三维地图中记录行车轨迹线，当下次在同样的环境中行驶时，通过加载三维地图，获取之前记录的行车轨迹线，将其作为参考路线进行自动驾驶，提高自动驾驶的安全性。
然而，上述基于建图的自动驾驶中，采用三维地图记录行车轨迹线，由于三维地图采用三维点、面的形式存储，所需存储空间大，给后续加载地图获取行车轨迹线的处理造成困难。
发明内容
本发明实施例提供一种行车轨迹线的记录方法、装置及设备，既能避免加载存储量大的三维地图，又能给自动驾驶车辆提供行车路线的参考。
第一方面，本发明实施例提供一种行车轨迹线的记录方法，包括：
获取车辆行驶过程中采集的连续的图像帧，各所述图像帧指示的是所述车辆的行驶场景信息；
根据各所述图像帧，获取所述行驶场景对应的三维模型，以及各所述图像帧对应的相机参数；
根据各所述图像帧对应的相机参数，将所述车辆在所述三维模型中的位置轨迹，投影到各所述图像帧中，得到由各所述图像帧记录的行车轨迹线。
可选的，所述根据各所述图像帧对应的相机参数，将所述车辆在所述三维模型中的位置轨迹，投影到各所述图像帧中之前，还包括：
针对每一个所述图像帧，根据所述三维模型，以及所述图像帧对应的相机参数，获取所述图像帧的拍摄时刻所述车辆在所述三维模型中的位置，得到所述车辆在所述三维模型中的位置轨迹。
可选的，所述根据所述三维模型，以及所述图像帧对应的相机参数，获取所述图像帧的拍摄时刻所述车辆在所述三维模型中的位置，包括：
根据所述图像帧对应的相机参数，获取所述图像帧的拍摄时刻相机的朝向以及相机在所述三维模型中的位置；
根据相机的朝向和所述三维模型，获取所述三维模型中的路平面方程；
根据相机在所述三维模型中的位置和所述三维模型中的路平面方程，获取所述车辆在所述三维模型中的位置。
可选的，所述根据相机的朝向和所述三维模型，获取所述三维模型中的路平面方程，包括：
根据相机的朝向和所述三维模型的垂直方向，获取所述三维模型中的路平面法向；
根据所述三维模型中的各三维点的坐标，获取所述三维模型中的路平面截距信息；
根据所述路平面法向和所述路平面截距信息，获取所述三维模型中的路平面方程。
可选的，所述根据相机在所述三维模型中的位置和所述三维模型中的路平面方程，获取所述车辆在所述三维模型中的位置，包括：
根据相机在所述三维模型中的位置和所述三维模型中的路平面方程，获取过相机且垂直于路平面的直线与所述路平面的交点，将所述交点的位置作为所述车辆在所述三维模型中的位置。
可选的，所述根据各所述图像帧，获取所述行驶场景对应的三维模型，以及各所述图像帧对应的相机参数，包括：
获取每个所述图像帧的至少一个特征点；
对各所述图像帧的特征点进行匹配，得到与每个所述图像帧匹配的至少一个其他图像帧，形成图像对；
根据特征点在图像对中的各图像帧中的位置信息，求解基础矩阵，获取各图像帧对应的相机参数；
根据特征点在图像对中的各图像帧中的位置信息，以及各图像帧对应的相机参数，获取所述三维模型。
可选的，所述相机参数包括下述中的至少一种：外参、内参、畸变参数。
第二方面，本发明实施例提供一种行车轨迹线的记录装置，包括：
获取模块，用于获取车辆行驶过程中采集的连续的图像帧，各所述图像帧指示的是所述车辆的行驶场景信息；
三维重建模块，用于根据各所述图像帧，获取所述行驶场景对应的三维模型，以及各所述图像帧对应的相机参数；
记录模块，用于根据各所述图像帧对应的相机参数，将所述车辆在所述三维模型中的位置轨迹，投影到各所述图像帧中，得到由各所述图像帧记录的行车轨迹线。
可选的，所述装置还包括：
轨迹确定模块，用于针对每一个所述图像帧，根据所述三维模型，以及所述图像帧对应的相机参数，获取所述图像帧的拍摄时刻所述车辆在所述三维模型中的位置，得到所述车辆在所述三维模型中的位置轨迹。
可选的，所述轨迹确定模块具体用于：
根据所述图像帧对应的相机参数，获取所述图像帧的拍摄时刻相机的朝向以及相机在所述三维模型中的位置；
根据相机的朝向和所述三维模型，获取所述三维模型中的路平面方程；
根据相机在所述三维模型中的位置和所述三维模型中的路平面方程，获取所述车辆在所述三维模型中的位置。
可选的，所述轨迹确定模块具体用于：
根据相机的朝向和所述三维模型的垂直方向，获取所述三维模型中的路平面法向；
根据所述三维模型中的各三维点的坐标，获取所述三维模型中的路平面截距信息；
根据所述路平面法向和所述路平面截距信息，获取所述三维模型中的路平面方程。
可选的，所述轨迹确定模块具体用于：
根据相机在所述三维模型中的位置和所述三维模型中的路平面方程，获取过相机且垂直于路平面的直线与所述路平面的交点，将所述交点的位置作为所述车辆在所述三维模型中的位置。
可选的，所述三维重建模块具体用于：
获取每个所述图像帧的至少一个特征点；
对各所述图像帧的特征点进行匹配，得到与每个所述图像帧匹配的至少一个其他图像帧，形成图像对；
根据特征点在图像对中的各图像帧中的位置信息，求解基础矩阵，获取各图像帧对应的相机参数；
根据特征点在图像对中的各图像帧中的位置信息，以及各图像帧对应的相机参数，获取所述三维模型。
可选的，所述相机参数包括下述中的至少一种：外参、内参、畸变参数。
第三方面，本发明实施例提供一种行车轨迹线的记录设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如第一方面任一项所述的方法。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如第一方面任一项所述的方法。
本发明实施例提供的行车轨迹线的记录方法、装置及设备，获取车辆行驶过程中采集的连续的图像帧，各所述图像帧指示的是所述车辆的行驶场景信息；根据各所述图像帧，获取所述行驶场景对应的三维模型，以及各所述图像帧对应的相机参数；根据各所述图像帧对应的相机参数，将所述车辆在所述三维模型中的位置轨迹，投影到各所述图像帧中，得到由各所述图像帧记录的行车轨迹线；通过利用各图像帧记录车辆的行车轨迹线，当后续在相同的行驶场景中进行自动驾驶时，只需要加载各图像帧中记录的行车轨迹线即可，从而既能避免加载存储量大的三维地图，又能给自动驾驶车辆提供行车路线的参考，能够提高自动驾驶的准确性和安全性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的应用场景示意图；
图2为本发明实施例提供的行车轨迹线的记录方法的流程示意图一；
图3为本发明实施例提供的行车轨迹线的记录方法的流程示意图二；
图4为本发明实施例提供的获取车辆在三维模型中的位置的流程示意图；
图5为本发明实施例提供的行车轨迹线的记录装置的结构示意图一；
图6为本发明实施例提供的行车轨迹线的记录装置的结构示意图二；
图7为本发明实施例提供的行车轨迹线的记录设备的硬件结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
图1为本发明实施例的应用场景示意图，如图1所示，该场景包括：在道路行驶的车辆，该车辆设置有视频采集装置，视频采集装置用于获取车辆行驶过程的场景信息。其中，视频采集装置可以设置在车辆的任意位置，示例性的，图1示出了视频采集装置设置在车头部位的情况。可以理解的，视频采集装置设置在车辆不同部位时，可用于采集车辆不同方位的场景信息。
具体的，图1中的车辆可以为自动驾驶车辆，还可以为普通车辆，该车辆在行驶过程中，视频采集装置采集行驶场景的视频信息，根据视频信息得到行车轨迹线并进行存储，当后续在同样的环境中进行自动驾驶时，可以获取之前存储的行车轨迹线，将其作为参考路线进行自动驾驶，从而提高自动驾驶的准确性和安全性。
现有技术中，在记录行车轨迹线时，是通过对视频信息中的图像帧进行三维重建，得到该行驶场景的三维地图，并在三维地图中记录行车轨迹线。然而，采用三维地图记录行车轨迹线，由于三维地图采用三维点、面的形式存储，所需存储空间大，给后续加载地图获取行车轨迹线的处理造成困难。
为了解决上述问题，本发明实施例提供一种行车轨迹线的记录方法，如图1所示，本实施例的方法可由图1中的行车轨迹线的记录装置执行，该装置可以具体为软件和/或硬件的形式。
具体的，行车轨迹线的记录装置获取到由视频采集装置采集的连续图像帧后，通过对连续图像帧进行三维重建，得到行驶场景对应的三维模型，并得到车辆在三维模型中的位置轨迹，然后，将车辆在三维模型中的位置轨迹投影到各图像帧中，从而得到各图像帧记录的行车轨迹线，其中，每个图像帧中记录的是该图像帧拍摄时刻之后的一段时间内的车辆行驶轨迹。通过利用各图像帧记录车辆的行车轨迹线，当后续在相同的行驶场景中进行自动驾驶时，只需要加载各图像帧中记录的行车轨迹线即可，从而既能避免加载存储量大的三维地图，又能给自动驾驶车辆提供行车路线的参考。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图2为本发明实施例提供的行车轨迹线的记录方法的流程示意图一，本实施例的方法可以由图1中的行车轨迹线的记录装置(为了描述方便，后续简称为记录装置)执行，该记录装置可以为软件和/或硬件的形式。
如图2所示，本实施例的方法，包括：
S201：获取车辆行驶过程中采集的连续的图像帧，各所述图像帧指示的是所述车辆的行驶场景信息。
具体的，结合图1，车辆在行驶过程中，视频采集装置采集行驶场景的视频信息。记录装置获取该视频信息。一种可选的实施方式中，如图1所示，视频采集装置与记录装置连接，具体可以为有线连接或者无线连接，视频采集装置将采集的视频信息发送给记录装置。其中，视频采集装置可以为单目摄像头。
一种可选的实施方式中，记录装置实时获取视频采集装置采集的视频信息，另一种可选的实施方式中，记录装置还可以离散获取视频采集装置采集的视频信息。
记录装置获取到视频信息后，从视频中提取出连续的图像帧。其中，连续的图像帧是指针对某一行驶场景连续的图像帧。具体的，为了减少数据处理量，可以在视频信息中，以一定的帧间隔提取出连续的图像帧，例如：假设1秒视频中包括30个图像帧，可以每间隔5帧进行提取，得到6个连续的图像帧。
S202：根据各所述图像帧，获取所述行驶场景对应的三维模型，以及各所述图像帧对应的相机参数。
其中，所述相机参数包括外参和内参。
具体的，根据连续的图像帧，对行驶场景进行三维重建，得到行驶场景的三维模型。在三维重建过程中，还可以获取到各图像帧对应的相机参数。
可以理解的，根据连续的图像帧，对行驶场景进行三维重建的过程，可以采用现有的三维重建的方法，例如：基于SFM(英文全称：Struct From Motion，中文全称：运动恢复结构)算法的三维重建。当然，还可以采用其他的三维重建算法，本实施例对比并不作具体限定。本实施例仅以基于SFM的三维重建过程为例进行描述。
SFM算法包括：特征提取、特征匹配、矩阵计算、三维重建等步骤。一种可选的实施方式中，通过下述步骤实现对行驶场景的三维重建：
(1)获取每个所述图像帧的至少一个特征点。
其中，特征点是图像帧中的一些特殊点，具有一些特殊的属性，通过利用特征点来描述图像中的关键信息。图像特征主要包括线条特征，角点特征等，不同的特征可以用不同的特征描述符来进行描述。可以采用不同的特征提取算法来检测图像帧中的特征点，例如：采用SIFT算法获取图像帧中的SIFT(英文全称：Scale-invariant feature transform，中文全称：尺度不变特征变换)特征点。SIFT特征点鲁棒性较好，具有尺度和旋转不变性。
(2)对各所述图像帧的特征点进行匹配，得到每个所述图像帧匹配的至少一个其他图像帧，形成图像对。
每个图像帧的特征点提取出来后，可以根据各图像帧中的特征点进行匹配，找到一个图像帧中的特征点在另一个图像帧中的对应特征点，将这些图像帧形成图像对。
(3)根据特征点在图像对中的各图像帧中的位置信息，求解基础矩阵，获取各图像帧对应的相机参数。
在进行上述特征点匹配之后，针对形成的图像对，根据特征点在图像对中各图像帧的位置信息进行矩阵计算，例如：进行内参矩阵、外参矩阵的计算，可以得到各图像帧对应的外参和内参。
(4)根据特征点在图像对中的各图像帧中的位置信息，以及各图像帧对应的相机参数，获取所述三维模型。
对于每个特征点，根据该特征点在图像对中的各图像帧中的位置信息，以及各图像帧的外参、内参，计算得到该特征点对应的三维点的位置，多个三维点就构成了三维模型。
S203：根据各所述图像帧对应的相机参数，将所述车辆在所述三维模型中的位置轨迹，投影到各所述图像帧中，得到由各所述图像帧记录的行车轨迹线。
可以理解的，获取到三维模型后，可以根据所述三维模型，以及各所述图像帧对应的外参和内参，获取所述车辆在所述三维模型中的位置轨迹，本实施例对于获取车辆在三维模型中的位置轨迹的方式不作具体限定，几种可选的实施方式可以参见后续实施例的详细描述。
本实施例中，获取到车辆在三维模型中的位置轨迹后，将所述车辆在所述三维模型中的位置轨迹，投影到各所述图像帧中，得到由各图像帧记录的行车轨迹线。可以理解的，每个图像帧中记录的是在拍摄该图像帧之后一段时间内车辆的行车轨迹线。
需要说明的是，本发明实施例对于在图像帧中记录行车轨迹线的方式不作具体限定，例如：可以在图像帧中采用预设的符号对车辆位置轨迹进行标记，当然，还可以采用其他的记录方式。
本发明实施例提供的行车轨迹线的记录方法，获取车辆行驶过程中采集的连续的图像帧，各所述图像帧指示的是所述车辆的行驶场景信息；根据各所述图像帧，获取所述行驶场景对应的三维模型，以及各所述图像帧对应的相机参数；根据各所述图像帧对应的相机参数，将所述车辆在所述三维模型中的位置轨迹，投影到各所述图像帧中，得到由各所述图像帧记录的行车轨迹线；通过利用各图像帧记录车辆的行车轨迹线，当后续在相同的行驶场景中进行自动驾驶时，只需要加载各图像帧中记录的行车轨迹线即可，从而既能避免加载存储量大的三维地图，又能给自动驾驶车辆提供行车路线的参考，能够提高自动驾驶的准确性和安全性。
图3为本发明实施例提供的行车轨迹线的记录方法的流程示意图二，如图3所示，包括：
S301：获取车辆行驶过程中采集的连续的图像帧，各所述图像帧指示的是所述车辆的行驶场景信息。
S302：根据各所述图像帧，获取所述行驶场景对应的三维模型，以及各所述图像帧对应的相机参数，所述相机参数包括外参、内参和畸变参数。
S303：针对每一个所述图像帧，根据所述三维模型，以及所述图像帧对应的外参、内参和畸变参数，获取所述图像帧的拍摄时刻所述车辆在所述三维模型中的位置，得到所述车辆在所述三维模型中的位置轨迹。
一种可选的实施方式中，本实施例的应用场景中，相机是设置在车辆上的，也就是说，相机与车辆在三维模型中的相对位置关系是固定的。因此，该实施方式中，根据三维模型，以及每个图像帧对应的相机参数，可以确定出该图像帧的拍摄时刻相机在三维模型中的位置，进而，根据相机与车辆之间的相对位置关系，可以得到车辆在三维模型中的位置。
另一种可选的实施方式中，为了简化计算过程，可以将三维模型中相机位置垂直投影到路面的位置，作为车辆在三维模型中的位置。具体的，根据三维模型以及每个图像帧的相机参数，获取到该图像帧的拍摄时刻相机在三维模型中的位置后，在三维模型中找到路面的位置，并将三维模型中的相机位置垂直移动到路面，得到车辆在三维模型中的位置。
S304：根据各所述图像帧对应的外参、内参和畸变参数，将所述车辆在所述三维模型中的位置轨迹，投影到各所述图像帧中，得到由各所述图像帧记录的行车轨迹线。
本实施例中S301、S302、S304的具体实施方式与图2所示的实施例是类似的，此处不作特别赘述。
本实施例与图2所示实施例的不同之处在于，本实施例中，还考虑了图像帧存在畸变的情况。可以理解的，由于在车辆行驶过程中，视频采集装置采集的图像帧通常是存在畸变的，因此，本实施例中，在对行驶场景进行三维建模时，可以通过畸变矩阵，获取到各图像帧对应的畸变参数。进而，根据三维模型获取车辆在三维模型中的位置时，除了要考虑每个图像帧的外参、内参之外，还要考虑每个图像帧的畸变参数，并且，将车辆在三维模型中的位置轨迹投影到带有畸变的图像帧时，也要考虑该图像帧的畸变参数。
本实施例中的相机参数包括外参、内参和畸变参数，考虑了自动驾驶场景中存在畸变图像帧的情况，使得记录的行车轨迹线更加准确，进一步提高了自动驾驶的准确性和安全性。
下面结合一个具体的实施例详细描述如何获取车辆在三维模型中的位置。图4为本发明实施例提供的获取车辆在三维模型中的位置的流程示意图，如图4所示，该方法包括：
S401：根据所述图像帧对应的相机参数，获取所述图像帧的拍摄时刻相机的朝向以及相机在所述三维模型中的位置。
具体的，各图像帧的相机参数可以包括内参、外参和畸变参数。根据各图像帧的内参、外参和畸变参数，可以确定出相机在拍摄该图像时的朝向以及相机在三维模型中的位置信息。
S402：根据相机的朝向和所述三维模型的垂直方向，获取所述三维模型中的路平面法向。
其中，三维模型的垂直方向可以为三维模型的z轴方向。具体的，找到三维模型的垂直方向，并将三维模型的垂直方向旋转至重力方向。本实施例中，可以假设路平面法向垂直于相机的朝向，且与三维模型的垂直方向在一个平面上。因此，可以根据相机的朝向和三维模型的垂直方向，得到三维模型中的路平面法向。
S403：根据所述三维模型中的各三维点的坐标，获取所述三维模型中的路平面截距信息。
S404：根据所述路平面法向和所述路平面截距信息，获取所述三维模型中的路平面方程。
具体的，可以根据三维模型中各三维点的z轴坐标，得到三维模型中的路平面截距信息。然后，根据路平面法向和路平面截距信息，得到三维模型中的路平面方程。
S405：根据相机在所述三维模型中的位置和所述三维模型中的路平面方程，获取过相机且垂直于路平面的直线与所述路平面的交点，将所述交点的位置作为所述车辆在所述三维模型中的位置。
本实施例中，获取过相机中心点且垂直于路平面的直线与路平面的交点，该交点可以看做是将相机沿路平面法向垂直移动到路平面上得到的位置点，将该位置点作为车辆在三维模型中的位置。
本实施例中，在根据连续图像帧得到行驶场景的三维模型后，利用三维模型以及各图像帧的相机参数，得到车辆在三维模型中的位置轨迹，进而，将车辆在三维模型中的位置轨迹投影到各图像帧中，利用各图像帧记录行车轨迹线，既能避免加载存储量大的三维地图，又能给自动驾驶车辆提供行车路线的参考，从而提高自动驾驶的准确性和安全性。
图5为本发明实施例提供的行车轨迹线的记录装置的结构示意图一，如图5所示，本实施例的行车轨迹线的记录装置500，包括：获取模块501、三维重建模块502和记录模块503。
其中，获取模块501，用于获取车辆行驶过程中采集的连续的图像帧，各所述图像帧指示的是所述车辆的行驶场景信息；
三维重建模块502，用于根据各所述图像帧，获取所述行驶场景对应的三维模型，以及各所述图像帧对应的相机参数；
记录模块503，用于根据各所述图像帧对应的相机参数，将所述车辆在所述三维模型中的位置轨迹，投影到各所述图像帧中，得到由各所述图像帧记录的行车轨迹线。
本实施例的行车轨迹线的记录装置，可用于执行如图2所示的方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图6为本发明实施例提供的行车轨迹线的记录装置的结构示意图二，如图6所示，在图5所示实施例的基础上，本实施例的装置，还可以包括：轨迹确定模块504。
其中，轨迹确定模块504，用于针对每一个所述图像帧，根据所述三维模型，以及所述图像帧对应的相机参数，获取所述图像帧的拍摄时刻所述车辆在所述三维模型中的位置，得到所述车辆在所述三维模型中的位置轨迹。
可选的，所述轨迹确定模块504具体用于：
根据所述图像帧对应的相机参数，获取所述图像帧的拍摄时刻相机的朝向以及相机在所述三维模型中的位置；
根据相机的朝向和所述三维模型，获取所述三维模型中的路平面方程；
根据相机在所述三维模型中的位置和所述三维模型中的路平面方程，获取所述车辆在所述三维模型中的位置。
可选的，所述轨迹确定模块504具体用于：
根据相机的朝向和所述三维模型的垂直方向，获取所述三维模型中的路平面法向；
根据所述三维模型中的各三维点的坐标，获取所述三维模型中的路平面截距信息；
根据所述路平面法向和所述路平面截距信息，获取所述三维模型中的路平面方程。
可选的，所述轨迹确定模块504具体用于：
根据相机在所述三维模型中的位置和所述三维模型中的路平面方程，获取过相机且垂直于路平面的直线与所述路平面的交点，将所述交点的位置作为所述车辆在所述三维模型中的位置。
可选的，所述三维重建模块502具体用于：
获取每个所述图像帧的至少一个特征点；
对各所述图像帧的特征点进行匹配，得到与每个所述图像帧匹配的至少一个其他图像帧，形成图像对；
根据特征点在图像对中的各图像帧中的位置信息，求解基础矩阵，获取各图像帧对应的相机参数；
根据特征点在图像对中的各图像帧中的位置信息，以及各图像帧对应的相机参数，获取所述三维模型。
可选的，所述相机参数还包括畸变参数。
本实施例的行车轨迹线的记录装置，可用于执行上述任一方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图7为本发明实施例提供的行车轨迹线的记录设备的硬件结构示意图，如图7所示，本实施例的行车轨迹线的记录设备700，包括：至少一个处理器701和存储器702。其中，处理器701、存储器702通过总线703连接。
在具体实现过程中，至少一个处理器701执行所述存储器702存储的计算机执行指令，使得至少一个处理器701执行上述任一方法实施例的技术方案。
处理器701的具体实现过程可参见上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
在上述的图7所示的实施例中，应理解，处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application SpecificIntegrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器。
总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现上述任一方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
上述的计算机可读存储介质，上述可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(Application Specific IntegratedCircuits，简称：ASIC)中。当然，处理器和可读存储介质也可以作为分立组件存在于设备中。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (14)
1.一种行车轨迹线的记录方法，其特征在于，包括：
获取车辆行驶过程中采集的连续的图像帧，各所述图像帧指示的是所述车辆的行驶场景信息；
根据各所述图像帧，获取所述行驶场景对应的三维模型，以及各所述图像帧对应的相机参数；
针对每一个所述图像帧，根据所述三维模型，以及所述图像帧对应的相机参数，获取所述图像帧的拍摄时刻所述车辆在所述三维模型中的位置，得到所述车辆在所述三维模型中的位置轨迹；
根据各所述图像帧对应的相机参数，将所述车辆在所述三维模型中的位置轨迹，投影到各所述图像帧中，得到由各所述图像帧记录的行车轨迹线。
2.根据权利要求1所述的方法，其特征在于，所述根据所述三维模型，以及所述图像帧对应的相机参数，获取所述图像帧的拍摄时刻所述车辆在所述三维模型中的位置，包括：
根据所述图像帧对应的相机参数，获取所述图像帧的拍摄时刻相机的朝向以及相机在所述三维模型中的位置；
根据相机的朝向和所述三维模型，获取所述三维模型中的路平面方程；
根据相机在所述三维模型中的位置和所述三维模型中的路平面方程，获取所述车辆在所述三维模型中的位置。
3.根据权利要求2所述的方法，其特征在于，所述根据相机的朝向和所述三维模型，获取所述三维模型中的路平面方程，包括：
根据相机的朝向和所述三维模型的垂直方向，获取所述三维模型中的路平面法向；
根据所述三维模型中的各三维点的坐标，获取所述三维模型中的路平面截距信息；
根据所述路平面法向和所述路平面截距信息，获取所述三维模型中的路平面方程。
4.根据权利要求2所述的方法，其特征在于，所述根据相机在所述三维模型中的位置和所述三维模型中的路平面方程，获取所述车辆在所述三维模型中的位置，包括：
根据相机在所述三维模型中的位置和所述三维模型中的路平面方程，获取过相机且垂直于路平面的直线与所述路平面的交点，将所述交点的位置作为所述车辆在所述三维模型中的位置。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述根据各所述图像帧，获取所述行驶场景对应的三维模型，以及各所述图像帧对应的相机参数，包括：
获取每个所述图像帧的至少一个特征点；
对各所述图像帧的特征点进行匹配，得到与每个所述图像帧匹配的至少一个其他图像帧，形成图像对；
根据特征点在图像对中的各图像帧中的位置信息，求解基础矩阵，获取各图像帧对应的相机参数；
根据特征点在图像对中的各图像帧中的位置信息，以及各图像帧对应的相机参数，获取所述三维模型。
6.根据权利要求1至4任一项所述的方法，其特征在于，所述相机参数包括下述中的至少一种：外参、内参、畸变参数。
7.一种行车轨迹线的记录装置，其特征在于，包括：
获取模块，用于获取车辆行驶过程中采集的连续的图像帧，各所述图像帧指示的是所述车辆的行驶场景信息；
三维重建模块，用于根据各所述图像帧，获取所述行驶场景对应的三维模型，以及各所述图像帧对应的相机参数，所述相机参数包括外参和内参；
轨迹确定模块，用于针对每一个所述图像帧，根据所述三维模型，以及所述图像帧对应的相机参数，获取所述图像帧的拍摄时刻所述车辆在所述三维模型中的位置，得到所述车辆在所述三维模型中的位置轨迹；
记录模块，用于根据各所述图像帧对应的相机参数，将所述车辆在所述三维模型中的位置轨迹，投影到各所述图像帧中，得到由各所述图像帧记录的行车轨迹线。
8.根据权利要求7所述的装置，其特征在于，所述轨迹确定模块具体用于：
根据所述图像帧对应的相机参数，获取所述图像帧的拍摄时刻相机的朝向以及相机在所述三维模型中的位置；
根据相机的朝向和所述三维模型，获取所述三维模型中的路平面方程；
根据相机在所述三维模型中的位置和所述三维模型中的路平面方程，获取所述车辆在所述三维模型中的位置。
9.根据权利要求8所述的装置，其特征在于，所述轨迹确定模块具体用于：
根据相机的朝向和所述三维模型的垂直方向，获取所述三维模型中的路平面法向；
根据所述三维模型中的各三维点的坐标，获取所述三维模型中的路平面截距信息；
根据所述路平面法向和所述路平面截距信息，获取所述三维模型中的路平面方程。
10.根据权利要求8所述的装置，其特征在于，所述轨迹确定模块具体用于：
根据相机在所述三维模型中的位置和所述三维模型中的路平面方程，获取过相机且垂直于路平面的直线与所述路平面的交点，将所述交点的位置作为所述车辆在所述三维模型中的位置。
11.根据权利要求7至10任一项所述的装置，其特征在于，所述三维重建模块具体用于：
获取每个所述图像帧的至少一个特征点；
对各所述图像帧的特征点进行匹配，得到与每个所述图像帧匹配的至少一个其他图像帧，形成图像对；
根据特征点在图像对中的各图像帧中的位置信息，求解基础矩阵，获取各图像帧对应的相机参数；
根据特征点在图像对中的各图像帧中的位置信息，以及各图像帧对应的相机参数，获取所述三维模型。
12.根据权利要求7至10任一项所述的装置，其特征在于，所述相机参数还包括畸变参数。
13.一种行车轨迹线的记录设备，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1至6任一项所述的方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811640538.3A CN109816588B (zh) | 2018-12-29 | 2018-12-29 | 行车轨迹线的记录方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811640538.3A CN109816588B (zh) | 2018-12-29 | 2018-12-29 | 行车轨迹线的记录方法、装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109816588A CN109816588A (zh) | 2019-05-28 |
| CN109816588B true CN109816588B (zh) | 2023-03-21 |
Family
ID=66603075
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811640538.3A Active CN109816588B (zh) | 2018-12-29 | 2018-12-29 | 行车轨迹线的记录方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109816588B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111612939B (zh) * | 2020-04-17 | 2022-03-18 | 宁波吉利汽车研究开发有限公司 | 智能行驶轨迹投影探测系统及方法 |
| CN114708381A (zh) * | 2022-03-10 | 2022-07-05 | 中德（珠海）人工智能研究院有限公司 | 一种基于三维模型的运动轨迹生成方法、装置以及服务器 |
| CN114900679B (zh) * | 2022-05-25 | 2023-11-21 | 安天科技集团股份有限公司 | 一种三维模型展示方法、装置、电子设备及可读存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103889879A (zh) * | 2011-10-19 | 2014-06-25 | 克朗设备公司 | 识别、匹配并跟踪图像序列中的多个对象 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4904997B2 (ja) * | 2006-08-29 | 2012-03-28 | アイシン・エィ・ダブリュ株式会社 | 駐車支援方法及び駐車支援装置 |
| JP4900326B2 (ja) * | 2008-06-10 | 2012-03-21 | 日産自動車株式会社 | 駐車支援装置及び駐車支援方法 |
| CN101491443A (zh) * | 2009-03-06 | 2009-07-29 | 北京理工大学 | 驾驶人疲劳与车辆行驶轨迹的关系模型 |
| CN102060234B (zh) * | 2010-10-26 | 2012-12-26 | 常州超媒体与感知技术研究所有限公司 | 轮胎吊车行进轨迹视频纠偏装置及方法 |
| CN102721409B (zh) * | 2012-05-29 | 2014-12-17 | 东南大学 | 一种基于车身控制点的移动车辆三维运动轨迹的测定方法 |
| EP4180893A1 (en) * | 2015-11-04 | 2023-05-17 | Zoox, Inc. | Teleoperation system and method for trajectory modification of autonomous vehicles |
| CN108369775B (zh) * | 2015-11-04 | 2021-09-24 | 祖克斯有限公司 | 响应于物理环境的改变自适应制图以对自主车辆进行导航 |
| CN107505644B (zh) * | 2017-07-28 | 2020-05-05 | 武汉理工大学 | 基于车载多传感器融合的三维高精度地图生成系统及方法 |
-
2018
- 2018-12-29 CN CN201811640538.3A patent/CN109816588B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103889879A (zh) * | 2011-10-19 | 2014-06-25 | 克朗设备公司 | 识别、匹配并跟踪图像序列中的多个对象 |
| CN104011772A (zh) * | 2011-10-19 | 2014-08-27 | 克朗设备公司 | 基于识别和跟踪图像场景中的多个对象来控制车叉 |
Non-Patent Citations (1)
| Title |
|---|
| 赵秀江.基于视频图像处理技术的行车轨迹线采集及其分析研究.2013,(第02期), I138-1605. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109816588A (zh) | 2019-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11205276B2 (en) | Object tracking method, object tracking device, electronic device and storage medium | |
| CN109671105B (zh) | 一种视觉导航系统的跟踪恢复方法和装置 | |
| CN112950725B (zh) | 一种监控相机参数标定方法及装置 | |
| CN109816588B (zh) | 行车轨迹线的记录方法、装置及设备 | |
| CN114418839B (zh) | 图像拼接方法、电子设备以及计算机可读存储介质 | |
| CN110774319A (zh) | 一种机器人及其定位方法和装置 | |
| CN112598743A (zh) | 一种单目视觉图像的位姿估算方法及相关装置 | |
| CN113255405A (zh) | 车位线识别方法及其系统、车位线识别设备、存储介质 | |
| EP3035242B1 (en) | Method and electronic device for object tracking in a light-field capture | |
| CN116740149A (zh) | 摄像头跟踪方法、装置及存储介质 | |
| CN112215036B (zh) | 跨镜追踪方法、装置、设备及存储介质 | |
| CN118314025A (zh) | 处理图像的方法、装置和电子设备 | |
| CN109587572B (zh) | 一种展示产品的方法、装置、存储介质及电子设备 | |
| CN113591720B (zh) | 车道偏离检测方法、装置及计算机存储介质 | |
| CN112802112B (zh) | 视觉定位方法、装置、服务器及存储介质 | |
| CN119722738A (zh) | 目标跟踪方法和装置 | |
| CN115249407A (zh) | 指示灯状态识别方法、装置、电子设备、存储介质及产品 | |
| CN116087990A (zh) | 基于点云的隧道趋势识别方法、计算机设备及存储介质 | |
| CN116385553A (zh) | 一种视觉惯导标定方法、装置、可读存储介质及电子设备 | |
| CN116245915A (zh) | 一种基于视频的目标跟踪方法 | |
| CN117094930A (zh) | 图像拼接方法、装置、电子设备及存储介质 | |
| CN114037977A (zh) | 道路灭点的检测方法、装置、设备及存储介质 | |
| CN108574828A (zh) | 无人机探测方法、装置及电子设备 | |
| CN111723610B (zh) | 图像识别方法、装置及设备 | |
| CN115004245A (zh) | 目标检测方法、装置、电子设备和计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |