CN105631853B - 车载双目相机标定及参数验证方法 - Google Patents

Abstract

本发明公开了一种车载双目相机标定及参数验证方法，包括标定阶段和验证阶段，所述验证阶段包括静态验证及动态验证。静态验证通过静置的所述汽车前的锥形桶标记物，运用双目测距公司验证标定阶段得到的相机内外参数，并将锥形桶分布于相机成像的各个视野区域，检验视野区域的相对误差率。本发明基于双目相机测距原理，构建了用于户外真实场景的车载双目相机测距模型，为双目相机视觉处理领域，真实三维场景的重构提供了操作基础。而在车载相机同时也是实现智能驾驶的重点研究方向之一。智能驾驶通常使用高精度雷达能获得高质量的感知效果，但是成本也非常高而使用本发明能配合普通雷达及摄像机将车辆智能识别精度提高到1米以内。

Description

车载双目相机标定及参数验证方法

技术领域

本发明涉及视觉处理领域，特别地指一种车载双目相机标定及参数验证方法。

背景技术

在图像测量及机器视觉应用中，空间中物体三维几何位置与相机图像对应像素点存在着一一映射关系，通常使用双目视觉模型进行测算。建立相机成像模型就是求解相机内外参数。求解这些参数的过程称为相机标定。张正友、Brown等人研究相机标定算法，使得相机标定操作流程简易、方便。但他们的实验都是在实验室的环境中。在工业应用上，由于本身结构器件上会存在着工艺上的缺陷，所处的工作环境、放置角度、尤其是车身运动等都会对整个几何模型产生影响。严格来说，每次产生影响都要进行重新标定系统，在工业应用中却不易实现。通常将双目相机视觉领域中待测靶标处在双目相机成像的左边界区域称之为左视野边界；将双目相机视觉领域中待测靶标处在双目相机成像的右边界区域称之为右视野边界；而中轴即为双目相机环境镜头光轴所在的直线；左视野边界与中轴之间的区域为左中区域；对应地右视野边界与中轴之间的区域为右中区域。研究在上述各区域中，双目相机成像的不同特点也是研究重点之一。

发明内容

本发明的目的提供一套用于实验室外真实场景的车载双目相机模型的有效标定及其验证方法。

本发明是按如下技术方案实现的：

车载双目相机标定及参数验证方法，包括标定阶段和验证阶段，如下步骤：

所述标定阶段：将相机的双目固定在汽车前挡风玻璃内侧的副驾驶对应区域，将所述相机与触发盒和电源相连接；准备标靶道具，所述标靶道具包括若干锥形桶及棋盘标靶；通过设置mac地址区分所述相机的左目、右目，双目同一时刻所拍照片会保存至同一子文件夹；并将触发盒设置一定的频率(根据项目需求进行设置，本例为20f/s)进行拍照；

在静置的所述汽车前，摆放棋盘标靶，采集40组不同方向上、不同距离的棋盘图；将上述步骤得到的40组棋盘图，运用matlab中TOOLBOX_calib工具箱进行处理，得出双目矫正后得到相机的内外参数；所述内外参数包括Tx，即右目相对于左目平移矩阵第一个参数；所述内外参数还包括fc，即标定后左目相机焦距的第一个参数；并运用内外参数验证编写图像校正程序，运用图像校正程序立体校正并保存校正后的左右目图像；

所述验证阶段：所述验证阶段包括静态验证；所述静态验证：包括

内外参数验证：

在静置的所述汽车前，标记出与所述汽车车头垂直距离5m、10m、15m、20m、25m、30m、35m的梯型直线，摆放一个锥形桶在所述梯型直线上，并随机放置在左中区域、中轴、右中区域这三个视野区域中，获取同一场景同一距离中同一锥形桶的左、右目相机照片，取锥形桶顶点或左侧边缘点或右侧边缘点，为目标点，人工读取左目取点坐标、右目取点坐标记录在表格中，所述左目取点坐标、右目取点均包括X轴、Y轴坐标；并计算视差d，即左、右目取点坐标X轴差值；再通过所述标定阶段得到的内外参数，视差d，运用双目测距计算公式计算得到各个观测点计算距离，记入表格中，比较真实距离和计算距离的误差，其中真实距离即为锥形桶到所述汽车车头的垂直距离；并按照公式计算相对误差，记入表格；若其中某一距离的观测点误差过大，对该点重新取点验证，若多于一点误差过大，对整个系统进行检查；其中真实距离15m内的观测点相对误差不小于3％的，真实距离15m-25m的观测点相对误差不小于5％的，以及真实距离25m-30m的观测点相对误差不小于10％的，以及真实距离30m-35m的观测点相对误差不小于15％的均判断为误差过大；

所述静态验证还包括相机成像角度验证：将5个锥形桶分别摆放在同一垂直距离的左视野边界、中轴、右视野边界或左中区域、右中区域中随机位置，收集记录所述内外参数验证流程所述数据及每个锥形桶所在视野区域及距离中轴的垂直距离，分析左、右视野边界的锥形桶是否误差过大。

所述静态验证还包括静态验证数据分析过程，包括如下步骤：

步骤一、将所述相机成像角度验证中相同距离的5个点按照它们坐标分布画出曲线图，可运用统计分析法分析真实三维场景与图片二维场景之间的联系；

步骤二、分别将不同距离的左、右视野边界点在笛卡尔坐标系中分布描出；

步骤三、用曲线线性拟合出左右边界线，根据曲线的曲率计算出相机的成像角度及视野范围。

所述验证阶段还包括动态验证，包括如下步骤：

步骤一、在真实路面中按所述内外参数验证流程摆好标记物，同时在路牙位置标记30m长度以上的距离刻度标尺，分度值在1分米以内，其中距所述汽车车头方向最远端的刻度为0m；

步骤二、将所述相机左目、右目照片采集程序设置为连续采集存图模式；

步骤三、将所述汽车从距离0m标记处50m-80m距离处启动，达到目标速度后，保持匀速通过标记路段并对锥形桶标记物进行拍照，改变目标速度，重复上述过程，所述目标速度包括30km/h、50km/h、

70km/h、80km/h、100km/h、120km/h；

步骤四、整理上述过程得到的照片，通过存图中的刻度标记及路牙景物静态还原拍照时刻的拍摄现场，通过现场测量还原所得的拍摄现场中的真实距离，收集记录所述内外参数验证流程所述数据及拍摄时的速度；

步骤五、相对误差过大时，检查相机模型结构和标定参数，仍然存在时则重新标定相机参数或相机安装固定装置或同步频率与采集频率是否一致。

成功通过所述验证阶段后的车载双目相机模型后续运用于其他场景的视觉处理实验时，仅需进行单独一组锥形桶静态验证以验证车载双目相机模型的内外参数是否发生改变；所述其他场景的视觉处理实验包括三维场景重建、视差图绘制、区域定位以及视觉slam。

所述相机左目、右目之间距离设置为20-50cm。

优选地，所述相机左目、右目之间距离设置为25-35cm。

本发明基于双目相机测距原理，构建了用于户外真实场景的车载双目相机测距模型，为双目相机视觉处理领域，真实三维场景的重构提供了操作基础。而在车载相机同时也是实现智能驾驶的重点研究方向之一。智能驾驶通常使用高精度雷达能获得高质量的感知效果，但是成本也非常高(如Google使用的Lidar高达7万美金)。使用普通雷达成本相对低廉，但普通雷达只能识别到20米。普通雷达对于20米以内的物体测距不稳定或者根本无法测量，因此使用本发明能通过低成本雷达配合摄像机将车辆智能识别精度提高到1米以内。

附图说明

图1为车载双目相机结构侧面结构示意图。

图2为车载双目相机拆解结构示意图。

图3为车载双目相机车内放置位置示意图。

图4为棋盘图示意图。

图5为同一场景左、右目成像对比示意图。

图6为内外参数验证示意图。

图7为相机成像角度验证示意图。

图8为动态验证示意图。

图9为内外参数验证不同距离观察点相对误差示意图

图10为车载双目相机标定及参数验证方法流程示意图。

图中：汽车0；前挡风玻璃1；边缘固定装置2；固定基座装置3；旋钮螺丝4；相机支架装置；中孔洞板51；相机框52；水平横杆53；缓冲装置6；数据接口7；电源接口8；相机9；相机左目9a；相机右目9b；激光灯10。

具体实施方式

以下结合附图和实施例对本发明作进一步地详细描述，但该实施例不应该理解为对本发明的限制，仅作举例而已，同时通过说明本发明的优点将变得更加清楚和容易理解。

如附图所示，在汽车0副驾驶对应前挡风玻璃1通过吸盘连接固定基座装置3；所述固定基座装置3通过旋钮螺丝4连接有相机支架装置；所述相机支架装置下端连接有相机9；所述相机车尾端设置有数据接口7、及电源接口8；所述相机9车头端顶部还设置有缓冲装置6；所述吸盘边缘设置有边缘固定装置；所述固定基座装置3为玻纤增强PPS固定基座装置；所述相机支架装置包括中孔洞板51，相机框52、水平横杆53；所述中孔洞板51设置有连接通孔阵列，所述连接通孔阵列通过所述旋钮螺丝4与所述固定基座装置3连接；所述中孔洞板51与所述水平横杆53相连接；所述相机框52设置有两个；所述相机框52与所述水平横杆53滑动配合所述相机9左目、右目分别装入两个相机框52内；相机9左目、右目之间距离设置为一般设置为20-50cm，优选设置在25-35cm之间。

车载双目相机标定及参数验证方法，包括标定阶段和验证阶段:

标定阶段：将相机9的双目固定在汽车0前挡风玻璃内侧的副驾驶对应区域，将相机9与触发盒和电源相连接；准备标靶道具，标靶道具包括若干锥形桶及棋盘标靶；通过设置mac地址区分相机9的左目、右目，双目同一时刻所拍照片会保存至同一子文件夹；并将触发盒设置为以20f/s的频率进行拍照；

在静置的汽车0前，摆放棋盘标靶，采集40组不同方向上、不同距离的棋盘图；将上述步骤得到的40组棋盘图，运用matlab中TOOLBOX_calib工具箱进行处理，得出双目矫正后得到相机9的内外参数；内外参数包括Tx，即右目相对于左目平移矩阵第一个参数；内外参数还包括fc，即标定后左目相机焦距的第一个参数；并运用内外参数验证编写图像校正程序，运用图像校正程序立体校正并保存校正后的左右目图像；内外参数如下表所示范例：

验证阶段：验证阶段包括静态验证；静态验证包括内外参数验证：

在静置的汽车0前，标记出与汽车0车头垂直距离5m、10m、15m、20m、25m、30m、35m的梯型直线，摆放一个锥形桶在梯型直线上，并随机放置在左中区域、中轴、右中区域这三个视野区域中，获取同一场景同一距离中同一锥形桶的左、右目相机照片，取锥形桶顶点或左侧边缘点或右侧边缘点，为目标点，人工读取左目取点坐标、右目取点坐标记录在表格中，左目取点坐标、右目取点均包括X轴、Y轴坐标；并计算视差d，即左、右目取点坐标X轴差值；

再通过标定阶段得到的内外参数，视差d，运用双目测距计算公式计算得到各个观测点计算距离，记入表格中，比较真实距离和计算距离的误差，其中真实距离即为锥形桶到汽车0车头的垂直距离；并按照公式计算相对误差，记入表格；若其中某一距离的观测点误差过大，对该点重新取点验证，若多于一点误差过大，对整个系统进行检查；其中真实距离15m内的观测点相对误差不小于3％的，真实距离15m-25m的观测点相对误差不小于5％的，以及真实距离25m-30m的观测点相对误差不小于10％的，以及真实距离30m-35m的观测点相对误差不小于15％的均判断为误差过大；

可得到如下数据表格：

静态验证还包括相机成像角度验证：将5个锥形桶分别摆放在同一垂直距离的左视野边界、中轴、右视野边界或左中区域、右中区域中随机位置，收集记录内外参数验证流程数据及每个锥形桶所在视野区域及距离中轴的垂直距离，分析左、右视野边界的锥形桶是否误差过大。

静态验证还包括静态验证数据分析过程，包括如下步骤：

步骤一、将相机成像角度验证中相同距离的5个点按照它们坐标分布画出曲线图，可运用统计分析法分析真实三维场景与图片二维场景之间的联系；

步骤二、分别将不同距离的左、右视野边界点在笛卡尔坐标系中分布描出；

步骤三、用曲线线性拟合出左右边界线，根据曲线的曲率计算出相机的成像角度及视野范围。

验证阶段还包括动态验证，包括如下步骤：

步骤一、在真实路面中按所述内外参数验证流程摆好标记物，同时在路牙位置标记30m长度以上的距离刻度标尺，分度值在1分米以内，其中距汽车0车头方向最远端的刻度为0m；

步骤二、将相机9左目、右目照片采集程序设置为连续采集存图模式；

步骤三、将汽车0从距离0m标记处50m-80m距离处启动，达到目标速度后，保持匀速通过标记路段并对锥形桶标记物进行拍照，改变目标速度，重复上述过程，目标速度包括30km/h、50km/h、70km/h、80km/h、100km/h、120km/h；

步骤四、整理上述过程得到的照片，通过存图中的刻度标记及路牙景物静态还原拍照时刻的拍摄现场，通过现场测量还原所得的拍摄现场中的真实距离，收集记录内外参数验证流程数据及拍摄时的速度，如下表所示；

目标	实际距离	计算距离	相对误差	交通标志大小
					1
2

步骤五、相对误差过大时，检查相机模型结构和标定参数；重新标定相机参数或相机安装固定装置或同步频率与采集频率不一致。

成功通过实施验证阶段后的车载双目相机模型后续运用于其他场景的视觉处理实验时，仅需进行单独一组锥形桶静态验证以验证车载双目相机模型的内外参数是否发生改变；所述其他场景的视觉处理实验包括三维场景重建、视差图绘制、区域定位以及视觉slam。

以上未作详细说明均为现有技术。

Claims (6)

1.车载双目相机标定及参数验证方法，其特征在于：包括标定阶段和验证阶段：

所述标定阶段：将相机(9)的双目固定在汽车(0)前挡风玻璃内侧的副驾驶对应区域，将所述相机(9)与触发盒和电源相连接；准备标靶道具，所述标靶道具包括若干锥形桶及棋盘标靶；通过设置mac地址区分所述相机(9)的左目、右目，双目同一时刻所拍照片会保存至同一子文件夹；并将触发盒设置为以20f/s的频率进行拍照；

在静置的所述汽车(0)前，摆放棋盘标靶，采集40组不同方向上、不同距离的棋盘图；将所述40组不同方向上、不同距离的棋盘图，运用matlab中TOOLBOX_calib工具箱进行处理，得出双目矫正后得到相机(9)的内外参数；所述内外参数包括Tx，即右目相对于左目平移矩阵第一个参数；所述内外参数还包括fc，即标定后左目相机焦距的第一个参数；并运用内外参数验证编写图像校正程序，运用图像校正程序立体校正并保存左右目图像；

所述验证阶段：所述验证阶段包括静态验证；

所述静态验证，包括内外参数验证：在静置的所述汽车(0)前，标记出与所述汽车(0)车头垂直距离5m、10m、15m、20m、25m、30m、35m的梯型直线，摆放一个锥形桶在所述梯型直线上，并随机放置在左中区域、中轴、右中区域这三个视野区域中，获取同一场景同一距离中同一锥形桶的左、右目相机照片，取锥形桶顶点或左侧边缘点或右侧边缘点，为目标点，人工读取左目取点坐标、右目取点坐标记录在表格中，所述左目取点坐标、右目取点均包括X轴、Y轴坐标；并计算视差d，即左、右目取点坐标X轴差值；再通过所述标定阶段得到的内外参数，视差d，运用双目测距计算公式计算得到各个观测点计算距离，记入表格中，比较真实距离和计算距离的误差，其中真实距离即为锥形桶到所述汽车(0)车头的垂直距离；并按照公式计算相对误差，记入表格；若其中某一距离的观测点误差过大，对该点重新取点验证，若多于一点误差过大，对整个系统进行检查；其中真实距离15m内的观测点相对误差不小于3％的，真实距离15m-25m的观测点相对误差不小于5％的，以及真实距离25m-30m的观测点相对误差不小于10％的，以及真实距离30m-35m的观测点相对误差不小于15％的均判断为误差过大；

所述静态验证还包括相机成像角度验证：将5个锥形桶分别摆放在同一垂直距离的左视野边界、中轴、右视野边界或左中区域、右中区域中随机位置，收集记录所述内外参数验证流程的数据及每个锥形桶所在视野区域及距离中轴的垂直距离，分析左、右视野边界的锥形桶是否误差过大。

2.根据权利要求1所述的车载双目相机标定及参数验证方法，其特征在于：

所述静态验证还包括静态验证数据分析过程，包括如下步骤：

步骤一、将所述相机成像角度验证中相同距离的5个点按照它们坐标分布画出曲线图，可运用统计分析法分析真实三维场景与图片二维场景之间的联系；

步骤二、分别将不同距离的左、右视野边界点在笛卡尔坐标系中分布描出；

步骤三、用曲线线性拟合出左右边界线，根据曲线的曲率计算出相机的成像角度及视野范围。

3.根据权利要求2所述的车载双目相机标定及参数验证方法，其特征在于：

所述验证阶段还包括动态验证，包括如下步骤：

步骤一、在真实路面中按所述内外参数验证流程摆好标记物，同时在路牙位置标记30m长度以上的距离刻度标尺，分度值在1分米以内，其中距所述汽车(0)车头方向最远端的刻度为0m；

步骤二、将所述相机(9)左目、右目照片采集程序设置为连续采集存图模式；

步骤三、将所述汽车(0)从距离0m标记处50m-80m距离处启动，达到目标速度后，保持匀速通过标记路段并对锥形桶标记物进行拍照，改变目标速度，重复上述过程，所述目标速度包括30km/h、50km/h、70km/h、80km/h、100km/h、120km/h；

步骤四、整理上述过程得到的照片，通过存图中的刻度标记及路牙景物静态还原拍照时刻的拍摄现场，通过现场测量还原所得的拍摄现场中的真实距离，收集记录所述内外参数验证流程所述数据及拍摄时的速度；

步骤五、相对误差过大时，检查相机模型结构和标定参数；重新标定相机参数,检查相机安装固定装置或确认采集频率与系统设置的频率是否一致。

4.根据权利要求1-3任一所述的车载双目相机标定及参数验证方法，其特征在于：所述相机(9)左目、右目之间距离设置为20-50cm。

5.根据权利要求4所述的车载双目相机标定及参数验证方法，其特征在于：所述相机(9)左目、右目之间距离设置为25-35cm。

6.根据权利要求3所述的车载双目相机标定及参数验证方法，其特征在于：成功通过所述验证阶段后的车载双目相机模型后续运用于其他场景的视觉处理实验时，仅需进行单独一组锥形桶静态验证以验证车载双目相机模型的内外参数是否发生改变；所述其他场景的视觉处理实验包括三维场景重建、视差图绘制、区域定位以及视觉slam。