CN118196205A - 一种车载相机外参在线自标定方法及系统 - Google Patents

Abstract

本发明公开了一种车载相机外参在线自标定方法及系统，所述方法包括：将捕获的图像数据输入至预训练的深度学习神经网络模型，以识别图像中的路面区域并排除非路面区域；在已识别的路面区域内，提取路面特征点，并在连续的图像帧中稳定跟踪这些特征点，以捕捉路面的动态变化；恢复图像路面特征点的三维位置；将当前帧路面三维点投影到上一帧图像；构建以重投影误差为误差项的状态估计问题，并通过优化求解得到相机外参的最优估计。本发明能够实时、动态地标定相机外参，同时避免对传统标定板和额外传感器的依赖。

Description

一种车载相机外参在线自标定方法及系统

技术领域

本发明涉及车载相机外参在线自标定技术领域，尤其涉及一种车载相机外参在线自标定方法及系统。

背景技术

在车载相机系统中，准确标定相机外参(包括旋转矩阵和平移向量)对于后续的图像处理、环境感知、导航定位等任务至关重要。相机外参的标定方法通常可以分为三类：传统的标定板标定法、多传感器对齐法以及基于自然特征的自标定法。

传统的标定板标定法：这种标定方法需要在相机保持静止时，借助特定的标定板完成标定。虽然操作简单，但存在明显的局限性：1.自动化程度低：通常需要标定人员的大量参与，耗费大量的时间和精力。2.标定结果时效性差：由于标定是在相机静止状态下进行的，因此无法反映车载相机在车辆行驶中的动态变化。3.标定板制作误差影响大：标定板的制作工艺误差会给标定结果带来不可控的影响，从而降低了标定精度。

多传感器对齐法：这种方法基于不同传感器在正确的外参下可以相互对齐的原理，如激光雷达的点云与相机提取的特征点对齐。尽管能在一定程度上提高标定精度，但同样存在不足：1.成本增加：需要引入其他传感器，如激光雷达，从而增加了标定成本。

2.误差累积：其他传感器的噪声可能导致标定结果产生误差。

基于自然特征的自标定法：这种方法无需借助标定板，也无需与其他传感器的观测对齐，因此在车载相机标定中具有潜在优势。然而，实际应用中仍存在以下问题：1.精度要求高：例如，基于车道线的平行性进行相机外参标定的方法，对直线拟合或消失点的精度要求过高，导致在实际使用中标定误差较大。2.应用场景受限：在车道线不完全平行的路段或道路颠簸、车辆上下坡时，现有的自标定方法可能会产生错误的标定结果，且无法及时反馈当前相机外参的变化。

因此，针对车载相机的特点和应用需求，开发一种既高效又准确的车载相机外参在线自标定方法及系统具有重要的现实意义和应用价值。

发明内容

有鉴于此，本发明提出一种车载相机外参在线自标定方法及系统，以解决现有技术中存在的车载相机外参标定的准确性和效率受限的问题。

本发明具体的技术方案如下：

一种车载相机外参在线自标定方法，包括：

步骤a.启动车载相机以实时捕获道路图像数据，并确保图像质量满足处理要求；

步骤b.将捕获的图像数据输入至预训练的深度学习神经网络模型，以识别图像中的路面区域并排除非路面区域；

步骤c.在已识别的路面区域内，应用图像处理算法提取路面特征点，并在连续的图像帧中稳定跟踪这些特征点；

步骤d.应用逆透视映射技术，恢复图像路面特征点的三维位置；

步骤e.将当前帧路面三维点投影到上一帧图像；

步骤f.构建以重投影误差为误差项的状态估计问题，并通过优化求解得到相机外参的最优估计。

进一步地，步骤b具体包括：利用预先训练好的神经网络语义分割模型，将图像中的像素分类为路面区域和非路面区域；模型输出一个语义分割图，其中路面区域的像素被标注为特定的语义标签；基于语义分割图，准确识别出图像中的路面区域，排除非路面区域的干扰。

进一步地，步骤c采用光流法完成，具体包括：使用Harris角点检测器，通过计算像素点的梯度变化来确定具有明显像素值变化的像素点，将其作为特征点进行提取，或者，使用Shi-Tomasi角点检测器，采用不同的评分函数来选取更加稳定和准确的角点作为特征点；使用Lucas-Kanade光流算法，基于亮度守恒假设，通过比较相邻帧中像素点的位置变化来计算运动向量，实现对路面特征点的跟踪，或者，使用Horn-Schunck光流算法，基于全局平滑性约束，通过求解全局能量最小化问题来估计像素点的运动，进行特征点跟踪。

进一步地，步骤c采用ORB算法完成，具体包括：利用Oriented FAST组件快速检测图像中的角点；利用Rotated BRIEF组件为每个检测到的角点生成一个包含角点周围像素信息的独特描述符；以及在连续的图像帧中，通过比较角点的描述符来确定它们之间的对应关系，从而跟踪角点在路面上的运动轨迹。

进一步地，步骤d具体包括：利用包含焦距、光学中心的关键参数的相机内参矩阵，将路面特征点的二维像素坐标变换到相机的归一化像平面坐标系中，得到一组归一化坐标；采用上一帧计算出的相机外参或人工粗略估计的相机外参作为当前帧的相机外参初值，该外参初值描述相机在三维空间中的初始位置和方向；根据相机的安装角度，通过应用相机外参初值中的旋转参数，调整坐标系使相机坐标系与车辆坐标系对齐；在旋转对齐后的相机坐标系中，基于相机离路面的高度初值以及路面点在成像平面上的垂直坐标，利用相似三角形的原理计算每个路面点相对于相机的深度；将归一化坐标与计算出的深度值相结合，得到路面特征点在旋转后的相机坐标系下的三维坐标；通过应用与旋转参数相反的旋转，将路面特征点的三维坐标从旋转后的相机坐标系转换回原始的相机坐标系，得到路面特征点在相机坐标系下的最终三维坐标。

进一步地，步骤d具体包括：获取当前帧与上一帧之间相机的相对运动信息，利用该信息将当前帧路面三维点转换到上一帧相机坐标系下，并通过应用相机的内参，将转换后的路面三维点透视投影到上一帧图像的二维坐标上，其中透视投影操作考虑了路面点距离相机的远近，在图像上进行相应的缩放和位置映射。

进一步地，步骤f具体包括：计算当前帧路面三维点在上一帧图像上的投影点与上一帧图像上相关联的特征点之间的重投影误差；构建并求解状态估计问题，旨在最小化重投影误差，以获得最优状态量；使用获得的最优状态量更新相机的外参。

进一步地，求解状态估计问题的方法包括扩展卡尔曼滤波方法，涉及计算重投影误差对状态量的雅可比矩阵，结合雅可比矩阵和协方差矩阵计算卡尔曼增益，并执行卡尔曼更新以获得最优状态量。

进一步地，在求解状态估计问题时，使用非线性优化方法，该方法基于最小二乘法，在噪声影响下估计非线性系统的最优状态。

一种车载相机外参在线自标定系统，应用如上述的车载相机外参在线自标定方法，系统包括：

图像捕获模块，用于启动车载相机以实时捕获道路图像数据，并确保图像质量满足处理要求；

深度学习处理模块，用于接收图像捕获模块捕获的图像数据，并将其输入至预训练的深度学习神经网络模型，以识别图像中的路面区域并排除非路面区域；

特征点提取与跟踪模块，用于在已识别的路面区域内，应用图像处理算法提取路面特征点，并在连续的图像帧中稳定跟踪这些特征点，以捕捉路面的动态变化；

三维坐标恢复模块，应用逆透视映射技术，恢复路面特征点的三维位置；

数据配准与融合模块，用于将当前帧的三维路面数据与先前帧的图像数据进行配准；

状态估计与优化模块，用于构建以重投影误差为误差项的状态估计问题，并通过优化求解得到相机外参的最优估计。

本发明的有益效果在于：

1.快速且准确的标定能力：通过路面特征点的检测和跟踪，结合状态估计方法，本发明能够在车辆行驶过程中快速且准确地标定出车载相机的外参。这种方法不仅提高了标定的效率，而且保证了标定的准确性，为车载相机的实际应用提供了可靠的支持。

2.高度自动化与灵活性：本发明不依赖标定板或激光雷达，也无需人工干预，从而实现了高度的自动化。此外，本发明能够适应所有汽车行驶路况，即使在车道线不平行或是无车道线路段，也能完成自标定，显示出极强的灵活性。

3.稳定性与鲁棒性：无论是在道路颠簸或上下坡等复杂场景下，本发明仍能保持稳定，准确地完成车载相机外参的标定。这得益于本发明提出的在状态估计框架下建模逆透视变换过程的方法，包括状态量建模与误差项构建，能够有效且稳定地估计出必要的参数维度。

4.实时反馈与动态调整：本发明通过迭代估计，能够动态实时地反映出车载相机外参的变化。这种实时反馈和动态调整的能力使得本发明能够及时应对车载相机外参的变化，保证车载相机在行驶过程中的持续稳定性和准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明车载相机外参在线自标定方法的流程示意图；

图2为本发明路面区域识别的示意图；

图3为本发明经过旋转对齐后的逆透视变换示意图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提出了一种车载相机外参在线自标定方法，这个方法主要包括以下几个步骤：

步骤1：识别当前帧图像上的路面区域。

步骤1.1：车载相机获取当前帧图像。想象一下，你正在开车，车载相机就像你的眼睛，时刻捕捉着前方的一切。这一步就是让这双“眼睛”拍摄下当前的画面，为我们后续的处理提供原始的图像数据。

步骤1.2：使用深度学习神经网络识别当前帧图像上的路面区域。这是整个过程中的关键一步。神经网络是由很多“小单元”(神经元)连接在一起的，它们可以接收并处理图像信息。通过不断地学习和调整，神经网络能够识别出图像中的不同对象，比如路面、车辆、行人等。

步骤1.2.1：将捕获的当前帧图像输入到预先训练好的神经网络语义分割模型中。在这一步，我们会把车载相机拍摄到的图像送入一个已经训练好的神经网络模型中。这个模型非常聪明，它能够根据图像中的像素信息，将每个像素都分类到合适的标签，比如“路面”、“车辆”等。

步骤1.2.2：语义分割模型通过神经网络进行预测，并输出一个语义分割图。经过模型的处理，它会输出一个新的图像，这个图像和原始图像大小一样，但每个像素都被标注了对应的标签。比如，路面的像素都被标注为“路面”，车辆的像素都被标注为“车辆”。

步骤1.2.3：基于这个语义分割图，算法会判断每个像素的语义标签，从而区分出当前帧图像上所有属于路面的像素和不属于路面的像素。最后，算法会查看这个语义分割图，找出所有被标记为“路面”的像素，这样我们就能准确地知道图像中哪些部分是路面了。

总结起来，步骤1就是借助深度学习神经网络和语义分割技术，从车载相机拍摄到的图像中准确地找出路面区域。这对于自动驾驶系统来说非常重要，因为它需要知道哪里可以行驶，哪里不能行驶，从而确保行驶的安全和可靠。

步骤2：路面特征点提取和特征点跟踪。此步骤的核心目标是在先前确定的路面区域内，精确识别出可以代表路面特征的关键点，并在连续的图像帧中稳定地跟踪这些点的动态变化。

步骤2.1：裁剪图像。为了专注于路面区域并减少不必要的计算，本发明从整个图像中裁剪出一个仅包含路面的子图像。这样做可以确保后续的特征点提取和跟踪操作更加精确和高效。

步骤2.2：特征点提取和特征点跟踪。在裁剪出的路面子图像上，本发明进一步执行特征点的提取和跟踪操作。这一步骤的目的是为了捕捉路面的动态变化，并为后续的分析和决策提供依据。

步骤2.2可以使用光流法，光流法执行如下：1.特征点提取：(1)Harris角点检测器是一种基于图像局部变化的方法来检测角点，它通过计算像素点的梯度变化来确定哪些像素点可以作为角点，这些角点具有明显的像素值变化，因此适合作为特征点进行提取；(2)Shi-Tomasi角点检测器是Harris角点检测器的一种改进，它采用不同的评分函数来选取更加稳定和准确的角点，这种方法对于噪声和光照变化具有一定的鲁棒性。2.特征点跟踪：(1)Lucas-Kanade光流算法是一种估计像素点在连续帧之间运动的方法，它基于亮度守恒假设，通过比较相邻帧中像素点的位置变化来计算运动向量，这种方法适用于路面特征点的跟踪；(2)Horn-Schunck光流算法是另一种常用的光流计算方法，它基于全局平滑性约束，通过求解一个全局能量最小化问题来估计像素点的运动，这种方法在平滑的路面区域上表现较好。

步骤2.2还可以使用ORB算法，ORB算法执行如下：1.特征点提取：ORB算法使用Oriented FAST(Features from Accelerated Segment Test)组件来检测图像中的角点，通过比较像素点与周围像素点的亮度差异来快速检测角点，具有较高的速度和准确性；2.生成描述符：ORB算法利用Rotated BRIEF组件为每个检测到的角点生成一个独特的描述符，这个描述符是一个向量，包含了角点周围像素的信息，通过比较相邻帧中角点的描述符，可以实现角点在连续帧中的稳定跟踪；3.特征点跟踪-描述符匹配：在连续的图像帧中，通过比较角点的描述符来确定它们之间的对应关系，这样，可以跟踪角点在路面上的运动轨迹，从而了解路面的动态变化。

步骤2的目的是在确定的路面区域内，通过提取和跟踪特征点来捕捉路面的动态变化。本发明使用光流法或ORB算法来实现这一过程，为后续的路面分析、异常检测以及车辆导航等任务提供基础数据。这些特征点代表了路面的关键特征和运动信息，对于理解路面的状态和行为至关重要。

步骤3：通过逆透视映射(IPM)恢复路面特征点的三维位置。在自动驾驶技术中，逆透视映射是一种关键的图像处理技术，它能够将车辆摄像头捕获的图像转换为更接近于鸟瞰视角的图像，从而提供更准确的道路和周围环境表示。这种技术通过数学变换，成功地将2D图像中的点映射到3D空间，使得驾驶系统能够更好地理解和预测道路状况以及潜在障碍。

以下将详细解释使用逆透视映射恢复路面点三维位置的方法：步骤3.1：相机内参的应用。在这一步中，利用相机的内参矩阵，该矩阵包含了焦距、光学中心等关键参数。这些参数帮助我们将路面特征点的2D像素坐标准确地变换到相机的归一化像平面坐标系中。这个变换的结果是一组归一化坐标[x,y,1]，其中x和y表示特征点在归一化像平面上的位置。步骤3.2：相机外参初值的使用。为了进行后续的计算，需要使用相机的外参，通常会使用上一帧计算出的相机外参作为当前帧的相机外参初值。如果当前帧是第一帧，没有上一帧的外参可用，则可以采用人工粗略估计的相机外参作为初值。这些外参描述了相机在三维空间中的位置和方向。步骤3.3：坐标系对齐。由于相机通常是安装在车辆上的，它的视角和方向会受到车辆自身姿态的影响。因此，需要根据相机的安装角度调整坐标系，使得相机坐标系与车辆坐标系对齐。这一步是通过应用相机外参初值中的旋转参数(特别是横滚角和俯仰角)来实现的。这样，就能更准确地表示路面点相对于车辆的位置。步骤3.4：计算深度。在旋转对齐后的相机坐标系中，需要计算每个路面点相对于相机的深度，即z坐标。这个深度的计算是基于相机离路面的高度初值H以及路面点在成像平面上的垂直坐标y。我们利用相似三角形的原理，通过公式z＝H/y来得出每个路面点的深度。步骤3.5：获取三维坐标。在得到深度信息后，将之前获得的归一化坐标与深度值相乘，从而得到路面特征点在旋转后的相机坐标系下的三维坐标[x*z,y*z,z]。这一步是将二维点转换为三维点的关键步骤。步骤3.6：坐标转换。最后，需要将路面特征点的三维坐标从旋转后的相机坐标系转换回原始的相机坐标系。这是通过应用与步骤3.2中相反的旋转参数来实现的。完成这一步后，就得到了路面特征点在相机坐标系下的最终三维坐标。

通过这个过程，成功地将图像中的路面特征点从二维像素坐标转换为了三维空间中的实际位置。这对于自动驾驶系统来说非常重要，因为它允许系统更准确地理解和预测道路状况，从而做出更安全和可靠的决策。同时，归一化像平面的概念在这个过程中起到了关键作用，它消除了由于不同相机系统参数导致的畸变，使得不同相机捕获的图像可以在同一坐标框架下进行比较和处理。

步骤4：将当前帧路面三维点投影到上一帧图像。在自动驾驶、机器人导航或其他动态场景中，连续帧之间的数据处理和分析至关重要。为了实现这一目标，我们需要将当前帧中获取的路面三维点数据投影到上一帧的图像上。这样做可以让我们在二维图像平面上直观地展示和比较不同帧之间的路面状况或车辆周围环境的变化。

步骤4.1：结合当前帧与上一帧之间相机的相对运动，将当前帧路面三维点转换到上一帧相机坐标系下。在执行这一步时，我们的核心目标是理解并应用相机在连续帧之间的运动。这是因为，当相机(或搭载相机的车辆)在移动时，它所观察到的三维世界也在不断变化。为了将不同帧之间的信息进行融合或比较，我们需要将这些点转换到一个统一的参考系中。在本步骤中，我们选择了上一帧的相机坐标系作为这个统一的参考系。首先，为了获取相机在连续帧之间的相对运动信息，我们通常依赖于车载的运动传感器。这些传感器可以测量车辆的加速度和角速度等参数，从而推算出相机在连续帧之间的相对位置和方向变化。其中，惯性导航系统(INS)是一种常见的选择，它能够基于加速度计和陀螺仪的数据来推算出相机的相对运动。一旦我们有了相机的相对运动信息，我们就可以构建一个变换矩阵。这个矩阵描述了从当前帧相机坐标系到上一帧相机坐标系的转换过程。变换矩阵通常包括平移部分(用于描述位置变化)和旋转部分(用于描述方向变化)。通过应用这个变换矩阵，我们可以将当前帧中的路面三维点转换到上一帧的相机坐标系下。这样，我们就得到了路面点在上一帧相机坐标系下的三维坐标。

步骤4.2：通过相机投影模型，将路面点在上一帧相机坐标系下的三维坐标投影到上一帧图像。在得到了路面点在上一帧相机坐标系下的三维坐标后，下一步是将这些点投影到上一帧的二维图像平面上。这一过程是通过相机的投影模型来实现的。相机的投影模型是一个关键的数学工具，它描述了如何将三维空间中的点映射到二维图像平面上。这个模型通常包括内参和外参两部分。内参主要描述了相机的内部几何特性，如焦距、光心位置等；而外参则描述了相机在世界坐标系中的位置和方向。在本步骤中，由于我们已经将路面点转换到了上一帧的相机坐标系下(这实际上已经考虑了相机的外参)，因此我们只需要关注相机的内参。具体来说，我们会使用相机的内参来执行一个透视投影操作。在这个过程中，远离相机的点会被映射到图像的更远位置，并且随着距离的增加而变小。通过应用这个透视投影模型，我们可以将路面点在上一帧相机坐标系下的三维坐标转换为二维图像坐标。这些二维坐标直接指示了路面点在上一帧图像上的位置。

综上所述，步骤4涉及到了解相机的相对运动、将当前帧的三维点转换到上一帧的相机坐标系下，并使用相机的投影模型将这些点投影到上一帧的二维图像平面上。

步骤5：相机外参估计与状态估计问题的构建与求解。在自动驾驶或机器人视觉导航中，相机外参的估计至关重要。通过准确的外参，相机捕捉到的图像才能精确地映射到三维空间中。为此，我们采用了以重投影误差为误差项的状态估计方法。步骤5包括：

步骤5.1，状态估计问题的构建：步骤5.1.1，状态量的定义与初始化：定义状态量为相机的外参，包括旋转和平移信息。在实际应用中，为了提高效率和精度，我们可以仅考虑关键的3自由度状态量，如滚转角、俯仰角和高度，从而简化传统的6自由度(3自由度旋转与3自由度平移)模型。初始化状态量时，使用步骤3中获得的相机外参初值。步骤5.1.2，重投影误差的计算：重投影误差是估计点与观测点之间的直线距离。其中，估计点是步骤4中获取的当前帧路面三维点在上一帧图像上的投影；观测点则是上一帧图像上与估计点相关联的特征点，这种关联关系在步骤2的特征点跟踪中已经确定。步骤5.1.3，构建并求解状态估计问题：目标是最小化重投影误差。基于这一目标，我们构建状态估计问题，并求解得到最优的状态量。求解状态估计问题的方法可以根据具体的场景和计算资源进行选择。(1)扩展卡尔曼滤波方法：首先，我们需要计算重投影误差对状态量的雅可比矩阵。这一计算涉及相机投影模型、逆透视映射以及刚体坐标系转换。结合雅可比矩阵和协方差矩阵，我们计算卡尔曼增益。这里的协方差矩阵反映了由上一帧传播到当前帧的状态量置信度，以及特征点观测的置信度。最后，执行卡尔曼更新，得到最优状态量。(2)非线性优化方法：在某些复杂或非线性程度较高的场景中，我们也可以选择非线性优化方法来进行状态估计问题的求解。这种方法基于最小二乘法，能够在噪声影响下估计非线性系统的最优状态。

步骤5.2，状态量的更新：一旦获得最优状态量，就将其更新到相机的外参中。如果状态量简化为3自由度，就用最优的滚转角、俯仰角和高度替换初始的对应值。

通过上述步骤，能够有效地估计相机的外参，并构建与求解状态估计问题，从而提高自动驾驶或机器人视觉导航的精度和稳定性。

本发明还提出了一种车载相机外参在线自标定系统，包括：图像捕获模块，用于启动车载相机以实时捕获道路图像数据，并确保图像质量满足处理要求；深度学习处理模块，用于接收图像捕获模块捕获的图像数据，并将其输入至预训练的深度学习神经网络模型，以识别图像中的路面区域并排除非路面区域；特征点提取与跟踪模块，用于在已识别的路面区域内，应用图像处理算法提取路面特征点，并在连续的图像帧中稳定跟踪这些特征点，以捕捉路面的动态变化；三维坐标恢复模块，应用逆透视映射技术，恢复路面特征点的三维位置；数据配准与融合模块，用于将当前帧的三维路面数据与先前帧的图像数据进行配准；状态估计与优化模块，用于构建以重投影误差为误差项的状态估计问题，并通过优化求解得到相机外参的最优估计。

本发明的有益效果在于：

1.快速且准确的标定能力：

(1)路面特征点的检测与跟踪：通过先进的计算机视觉技术，本提案能够迅速识别和跟踪路面上的特征点。这些特征点可以是路面的标志、纹理或其他可辨识的元素。

(2)状态估计方法的应用：结合状态估计方法，本提案能够基于路面特征点的运动轨迹和变化，精确推算出车载相机的空间位置和方向。

(3)快速且准确的标定结果：不依赖于传统的标定板或激光雷达设备，本提案能够在车辆行驶过程中，实时、快速地完成车载相机的外参标定，且标定结果准确度高。

2.高度自动化与灵活性：

(1)无需人工干预：本提案完全自动化，无需人工进行任何标定操作，大大降低了操作难度和成本。

(2)不依赖特定道路要素：通过结合道路识别方法和特征点跟踪方法，本提案能够适应各种路况，包括车道线不平行或缺失的情况，展现出极高的灵活性。

3.稳定性与鲁棒性：

(1)复杂场景下的稳定性：无论是在道路颠簸、上下坡，还是其他复杂场景下，本提案都能保持稳定的标定性能，确保标定结果的准确性。

(2)逆透视变换过程的建模：本提案提出的状态估计框架下建模逆透视变换过程的方法，通过状态量建模与误差项构建，能够有效且稳定地估计出必要的参数维度，进一步增强了系统的稳定性和鲁棒性。

4.实时反馈与动态调整：

(1)动态实时的标定反馈：通过迭代估计，本提案能够动态实时地反映出车载相机外参的变化。这意味着在车辆行驶过程中，如果相机外参发生变化，系统能够立即捕捉到这些变化并作出相应调整。

(2)保证持续稳定性和准确性：这种实时反馈和动态调整的能力使得本提案能够及时应对车载相机外参的变化，确保车载相机在行驶过程中的持续稳定性和准确性，为车载视觉系统的可靠运行提供了有力保障。

以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种车载相机外参在线自标定方法，其特征在于，包括：

步骤a.启动车载相机以实时捕获道路图像数据，并确保图像质量满足处理要求；

步骤b.将捕获的图像数据输入至预训练的深度学习神经网络模型，以识别图像中的路面区域并排除非路面区域；

步骤c.在已识别的路面区域内，应用图像处理算法提取路面特征点，并在连续的图像帧中稳定跟踪这些特征点；

步骤d.应用逆透视映射技术，恢复图像路面特征点的三维位置；

步骤e.将当前帧路面三维点投影到上一帧图像；

步骤f.构建以重投影误差为误差项的状态估计问题，并通过优化求解得到相机外参的最优估计。

2.如权利要求1所述的车载相机外参在线自标定方法，其特征在于，所述步骤b具体包括：利用预先训练好的神经网络语义分割模型，将图像中的像素分类为路面区域和非路面区域；模型输出一个语义分割图，其中路面区域的像素被标注为特定的语义标签；基于语义分割图，准确识别出图像中的路面区域，排除非路面区域的干扰。

3.如权利要求1所述的车载相机外参在线自标定方法，其特征在于，所述步骤c采用光流法完成，具体包括：使用Harris角点检测器，通过计算像素点的梯度变化来确定具有明显像素值变化的像素点，将其作为特征点进行提取，或者，使用Shi-Tomasi角点检测器，采用不同的评分函数来选取更加稳定和准确的角点作为特征点；使用Lucas-Kanade光流算法，基于亮度守恒假设，通过比较相邻帧中像素点的位置变化来计算运动向量，实现对路面特征点的跟踪，或者，使用Horn-Schunck光流算法，基于全局平滑性约束，通过求解全局能量最小化问题来估计像素点的运动，进行特征点跟踪。

4.如权利要求1所述的车载相机外参在线自标定方法，其特征在于，所述步骤c采用ORB算法完成，具体包括：利用Oriented FAST组件快速检测图像中的角点；利用Rotated BRIEF组件为每个检测到的角点生成一个包含角点周围像素信息的独特描述符；以及在连续的图像帧中，通过比较角点的描述符来确定它们之间的对应关系，从而跟踪角点在路面上的运动轨迹。

5.如权利要求1所述的车载相机外参在线自标定方法，其特征在于，所述步骤d具体包括：利用包含焦距、光学中心的关键参数的相机内参矩阵，将路面特征点的二维像素坐标变换到相机的归一化像平面坐标系中，得到一组归一化坐标；采用上一帧计算出的相机外参或人工粗略估计的相机外参作为当前帧的相机外参初值，该外参初值描述相机在三维空间中的初始位置和方向；根据相机的安装角度，通过应用相机外参初值中的旋转参数，调整坐标系使相机坐标系与车辆坐标系对齐；在旋转对齐后的相机坐标系中，基于相机离路面的高度初值以及路面点在成像平面上的垂直坐标，利用相似三角形的原理计算每个路面点相对于相机的深度；将归一化坐标与计算出的深度值相结合，得到路面特征点在旋转后的相机坐标系下的三维坐标；通过应用与旋转参数相反的旋转，将路面特征点的三维坐标从旋转后的相机坐标系转换回原始的相机坐标系，得到路面特征点在相机坐标系下的最终三维坐标。

6.如权利要求1所述的车载相机外参在线自标定方法，其特征在于，所述步骤d具体包括：获取当前帧与上一帧之间相机的相对运动信息，利用该信息将当前帧路面三维点转换到上一帧相机坐标系下，并通过应用相机的内参，将转换后的路面三维点透视投影到上一帧图像的二维坐标上，其中透视投影操作考虑了路面点距离相机的远近，在图像上进行相应的缩放和位置映射。

7.如权利要求1所述的车载相机外参在线自标定方法，其特征在于，所述步骤f具体包括：计算当前帧路面三维点在上一帧图像上的投影点与上一帧图像上相关联的特征点之间的重投影误差；构建并求解状态估计问题，旨在最小化重投影误差，以获得最优状态量；使用获得的最优状态量更新相机的外参。

8.如权利要求7所述的车载相机外参在线自标定方法，其特征在于，求解状态估计问题的方法包括扩展卡尔曼滤波方法，涉及计算重投影误差对状态量的雅可比矩阵，结合雅可比矩阵和协方差矩阵计算卡尔曼增益，并执行卡尔曼更新以获得最优状态量。

9.如权利要求7所述的车载相机外参在线自标定方法，其特征在于，在求解状态估计问题时，使用非线性优化方法，该方法基于最小二乘法，在噪声影响下估计非线性系统的最优状态。

10.一种车载相机外参在线自标定系统，应用如权利要求1-9任一项所述的车载相机外参在线自标定方法，其特征在于，所述系统包括：

图像捕获模块，用于启动车载相机以实时捕获道路图像数据，并确保图像质量满足处理要求；

深度学习处理模块，用于接收图像捕获模块捕获的图像数据，并将其输入至预训练的深度学习神经网络模型，以识别图像中的路面区域并排除非路面区域；

特征点提取与跟踪模块，用于在已识别的路面区域内，应用图像处理算法提取路面特征点，并在连续的图像帧中稳定跟踪这些特征点，以捕捉路面的动态变化；

三维坐标恢复模块，应用逆透视映射技术，恢复路面特征点的三维位置；

数据配准与融合模块，用于将当前帧的三维路面数据与先前帧的图像数据进行配准；

状态估计与优化模块，用于构建以重投影误差为误差项的状态估计问题，并通过优化求解得到相机外参的最优估计。