CN110207650A - 基于双目视觉的车用公路限高架高度测量方法及装置 - Google Patents

Abstract

本发明提供一种基于双目视觉的车用公路限高架高度测量方法及测量装置，以两台广角摄像机，采用双目视觉系统对限高横梁目标进行实时摄像、跟踪和定位，在车辆行驶过程中采用双目视觉系统对限高架的离车距离和相对车顶高度进行实时测量，为驾驶员提供预警信息，保障了驾驶及道路交通安全，采用空间几何关系计算道路架高度与车辆距道路架距离，具有计算速度快，计算资源消耗少的优点，有效满足车辆安全预警的实时性要求，采用极限约束的双目校正方法，减少了匹配搜索空间，降二维搜索为一维搜索，具有匹配速度快的优点，采用棋盘标定法，可有效得到摄像机的内部参数，保证了图像深度数据计算的准确性。

Description

基于双目视觉的车用公路限高架高度测量方法及装置

技术领域

本发明属于行车辅助装置技术领域，利用图像测量方法实现对公路限高架的高度实时自动测量，具体为一种基于双目视觉的车用公路限高架高度测量方法。

背景技术

限高架是一种可以限制道路上行车车辆的高度的装置。一些高架桥的上下桥匝道和一些不允许重车通过的道路，通过采用设置限高架来限制超高车辆通过的方式实现对道路的保护作用。

现在常见的限高架一般采用门型结构，由两侧的两根立柱和顶部的限高横梁组成，利用限高横梁对超高车辆的通过进行限制。然而，一些驾驶员往往很难准确判断车辆高度是否能安全通过限高架，常常导致限高架与车辆的损坏，甚至造成人员伤亡等重大事故。

本发明基于图像处理技术，以两台广角摄像机，即双目方式对限高横梁目标进行实时摄像、跟踪和定位，在车辆行驶过程中对限高架横梁相对道路高度进行实时测量，通过算法实现对限高横梁目标的距离及高度自动跟踪测量，为驾驶员提供预警信息，保障了驾驶及道路交通安全。

发明内容

本发明的目的在于提供一种基于双目视觉的车用公路限高架高度测量方法及测量装置，帮助车辆驾驶员在行车过程中判断。

为实现上述发明目的，本发明技术方案如下：

一种基于双目视觉的车用公路限高架高度测量方法，以两台广角摄像机，采用双目视觉系统对限高横梁目标进行实时摄像、跟踪和定位，在车辆行驶过程中采用双目视觉系统对限高架的离车距离和相对车顶高度进行实时测量，为驾驶员提供预警信息，包括如下步骤：

(1)、对双目摄像头进行参数标定，

安装于车顶上的双目视觉系统选用两个具有相同内参数的相机，首先，对其中一个相机进行单个摄像头的内参数标定；通过标定来测量两个摄像机之间的相对位置，两摄像头光轴互相平行，相机坐标系下横轴互相重合；

(2)计算道路限高横梁及立柱的离车距离

通过安装于车顶上的双目视觉系统左右两个摄像头同步抓取道路图像，实现对限高架的采集，对图像进行灰度处理、高斯模糊预处理步骤，去除存在的噪声；对限高架进行轮廓检测，得到限高架的基本轮廓信息，获取限高架横梁及限高架立柱二维图像像素点坐标，根据限高架与双目摄像头的几何关系构建数学模型，通过解算限高架与双目摄像头的空间三维关系得出限高架离车距离；

(3)基于三维关系计算车辆高度与横梁高度

对车辆行驶过程中，道路上的限高架进行图像深度测量后进行限高架高度的计算，以及车辆高度的计算，并通过判断限高架横梁高度值与车辆高度值的关系得出车辆能否通过该限高架的信息；

限高架高度由双目摄像头成像平面与限高架平面进行空间三维关系转换，通过几何关系构建数学模型得到，车辆高度由标定得到，或通过道路平面与摄像机平面空间几何关系转换得到。

作为优选方式，步骤(1)对双目摄像头进行参数标定进一步包括如下步骤：

(1.1)单个摄像头参数标定

双目视觉系统选用了两个具有相同内参数的相机，首先，对其中一个相机进行单个摄像头的内参数标定；

(1.2)双目摄像头参数标定

通过标定来测量两个摄像机之间的相对位置，即一个摄像机相对于另一个摄像机的三维平移向量t和旋转矩阵R，两摄像头光轴互相平行，相机坐标系下横轴互相重合，两摄像头沿横轴相距10-100cm水平放置；

作为优选方式，步骤(1.1)单个摄像头参数标定进一步包括如下步骤：

设P＝(X，Y，Z)为场景中的一点，在针孔相机模型中，其要经过以下几个变换，最终变为二维图像上的像点p＝(μ，v)，

a)将P从世界坐标系通过刚体变换旋转和平移变换到相机坐标系，这个变换过程使用的是相机间的相对位姿，也就是相机的外参数，

b)从相机坐标系，通过透视投影变换到相机的成像平面上的像点p＝(x，y)，

c)将像点p从成像坐标系，通过缩放和平移变换到像素坐标系上点p＝(μ，v)，

相机将场景中的三维点变换为图像中的二维点，也就是世界坐标系变换、图像坐标系与像素坐标系的转换，将上面的变换过程整理为矩阵相乘的形式：

式中，α，β表示图像在图像坐标系x，y轴方向上单位距离上像素的个数，则f_x＝αf，f_y＝βf将相机的焦距f变换为在x，y方向上像素度量表示，(μ，v)代表像素坐标系下成像点的坐标，(X，Y，Z)代表世界坐标系下场景中一点的坐标，(u₀，v₀)是图像坐标系原点在像素坐标系中的坐标，R代表外参旋转矩阵，t代表平移向量；

将矩阵K称为相机的内参数：

为了不失一般性，在相机的内参矩阵上添加一个扭曲参数γ；

在张氏标定法中，用于标定的棋盘格是三维场景中的一个平面Π，其在成像平面的像是另一个平面π，通过已知两个平面的对应点的坐标，求解得到两个平面的单应矩阵H；其中，标定的棋盘格是特制的，其角点的坐标是已知的；通过角点提取算法得到图像中的角点，这样就得到棋盘平面Π和图像平面π的单应矩阵H，通过上面的相机模型有：

p＝HP＝K[R|t]P (公式3)

式中，p是像素坐标系下像点坐标，P是世界坐标系下标定的棋盘坐标，H表示的是成像平面和标定棋盘平面之间的单应矩阵，通过对应的点对解得H后，则通过上面的等式得到相机的内参数K，以及外参数旋转矩阵R和平移向量t；

通过一幅标定板的图像得到关于内参数的等式B＝K^-TK^-1，可得：

矩阵B代表是一个对称矩阵，当标定图像大于等于三幅时，张氏标定法可得位移相机内参数：

式中，α，β表示图像在图像坐标系x，y轴方向上单位距离上像素的个数，(u₀，v₀)是图像坐标系原点在像素坐标系中的坐标，γ代表相机内参矩阵的扭曲参数，λ为任意大小的尺度因子。

作为优选方式，步骤(1.2)双目摄像头参数标定，进一步包括如下步骤：

通过标定来测量两个摄像机之间的相对位置，即一个摄像机相对于另一个摄像机的三维平移向量t和旋转矩阵R。

摄像头C₁与世界坐标系相对位置的外部参数为旋转矩阵R₁和平移向量t₁，摄像头C₂与世界坐标系相对位置的外部参数为旋转矩阵R₂和平移向量t₂，空间中任一点P在世界坐标系、摄像机C₁坐标系和摄像机C₂坐标系下的非齐次坐标分别为X_w，X_c1，X_c2；

由此，双目摄像机之间的几何关系参数用外参旋转矩阵R和平移向量t表示为：

作为优选方式，步骤(2)计算道路限高横梁及立柱的离车距离进一步如下：

要计算出目标点在左右两个摄像头图像上产生的视差，首先要匹配该点在左右图像上对应的像点，由于在二维图像上匹配对应像点非常耗时，为了减小匹配搜索范围，利用极线约束使得对应点的匹配由二维搜索降为一维搜索；设两台摄像机水平放置，o_l为左摄像头光心，o_r为右摄像头光心，p_l、p_r为左右图像上对应的像点，则p_l、p_r、P、o_l、o_r在同一对极平面上，该平面与两个图像平面的交线分别为极线L₁和极线L₂，则p_l在L₁上，p_r在L₂上，显然，不管与p_l对应的P是近是远，它在右图像上的投影总在L₂上，反过来也一样，P在左图像上的投影总在极线L₁上，所以，对任意一点p_l只需要在它的极线上寻找对应点p_r，这就是极线约束；

基于极限约束的双目校正的作用就是要把消除畸变后的两幅图像严格在行上对应，使得两幅图像的对极线恰好在同一水平线上，这样一幅图像上任意一点与其在另一幅图像上的对应点就必然具有相同的行号，只需在该行进行一维搜索即可匹配到对应点，方便于下一步的立体匹配；

双目匹配是双目立体视觉中最困难也是最关键的一步，其结果直接影响到三维测量的精度和速度，其原理是匹配同一目标点在左右摄像头所成的像对，通过匹配出相应像点，计算出视差，得到视差图，获取到视差数据后，通过视差值转化为深度值，而根据平行双目视觉的几何关系，得到下面的视差与深度的转换公式：

式中，B表示两个相机中心的距离，f表示相机的焦距，Z表示对应点的深度，Par表示场景中的同一3D点的视差值，x、x′分别代表同一点在左右两张图片中x轴方向上的坐标值；

由此，已知相机内参中焦距f，双目摄像头两相机中心距离B，以及左右两张图片的视差值Par，计算出某一点距离相机平面的深度Z，根据图像处理中获取的限高架横梁及立柱轮廓信息，得到限高架横梁下侧面及立柱底部在图像中的深度数据即其与车辆的距离信息。

作为优选方式，步骤(3)基于三维关系计算车辆高度与横梁高度如下：

将得到的深度图像信息，以及限高架轮廓信息，构建其在二维平面中的几何关系如下：

由包含深度数据的图像可知限高架横梁距离L₁和限高架立柱底部距离L₂，以及通过相机内参得到视角∠a的值，为此，计算限高架高度h₁和车辆顶部高度h₂，由数学模型得：

式中，h₁代表限高架高度，L₁代表限高架横梁中点和摄像机之间的直线距离，L₂代表限高架立柱底部中点和摄像机之间的直线距离，h₂代表车辆高度，∠a代表限高架横梁中点与摄像机的连线、和限高架底部中点与摄像机连线两连线之间的夹角；∠b代表限高架横梁中点与摄像机的连线与限高架竖直方向之间的锐角；∠c代表限高架底部中点和摄像机的连线，与摄像机竖直方向的锐角，Δh代表限高架横梁与车辆高度差。

为实现上述发明目的，本发明还提供一种基于双目视觉的车用公路限高架高度测量装置，包括：用于公路限高架识别与高度测量的识别单元，用于算法实现与发出控制指令的控制器单元，用于发出警示信息的声光报警单元，该装置放置于汽车前窗玻璃中央或车顶；

(1)公路限高架识别与高度测量的识别单元

该单元包含双目摄像头，双目摄像头选用全高清分辨率摄像头，双目摄像头并列安装；

(2)算法实现与发出控制指令的控制器单元

控制单元采用微控制处理器，还包含人机交互界面做为参数的选择和数据的自定义，包括：双目摄像头安装卡槽的的选择，车辆高度的自定义，以及警示阈值的设置，人机交互界面采用按键和液晶显示屏作为输入；

(3)发出警示信息的声光报警单元

经过控制器单元对数据信息做处理后，得出该车用公路限高架是否允许通行的信息，当检测到公路限高架并且经过计算，该车可以正常通行时，LED指示器显示为绿灯，并且通过该单元进行语音提示，当检测到公路限高架并且经过计算，车身高度与限高架高度接近时，LED指示器显示为黄灯，并且通过该单元进行减速行驶的语音提示；当检测到公路限高架并且经过计算，该车无法正常通行，车辆高度大于限高架高度时，LED指示器显示为红灯，并通过语音进行警示；

控制处理器通过控制总线与车内音频方法器及功放电路连接，从而控制车载扬声器，LED指示器由控制总线连接，放置于车内中央玻璃中央或左上方。

作为优选方式，所述装置放置于车内时，通过人机交互界面输入汽车高度信息。

作为优选方式，摄像头设备以卡槽形式安装，包括三对卡槽供选择。

本发明的有益效果为：本发明基于图像处理技术，以两台广角摄像机，即双目方式对限高横梁目标进行实时摄像、跟踪和定位，在车辆行驶过程中对限高架横梁相对道路高度进行实时测量，通过算法实现对限高横梁目标的距离及高度自动跟踪测量，为驾驶员提供预警信息，保障了驾驶及道路交通安全。采用空间几何关系计算道路架高度与车辆距道路架距离，具有计算速度快，计算资源消耗少的优点，有效满足车辆安全预警的实时性要求。采用极限约束的双目校正方法，减少了匹配搜索空间，降二维搜索为一维搜索，具有匹配速度快的优点。采用棋盘标定法，可有效得到摄像机的内部参数，保证了图像深度数据计算的准确性。

附图说明

图1是双目视觉系统极限约束原理图；

图2是视差转化为深度原理图；

图3是限高架高度及车辆高度测量原理图；

图4是基于双目视觉系统的道路限高架高度测量装置结构图。

图5是本发明的算法流程图。

图6是基于双目视觉的车用公路限高架高度测量装置各单元的关系框图。

图7是基于双目视觉的车用公路限高架高度测量装置控制单元的结构图

图8是基于双目视觉的车用公路限高架高度测量装置摄像头安装结构图。

1为限高架，2为摄像机，3为横梁。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。

实施例1

一种基于双目视觉的车用公路限高架高度测量方法，以两台广角摄像机，采用双目视觉系统对限高横梁目标进行实时摄像、跟踪和定位，在车辆行驶过程中采用双目视觉系统对限高架的离车距离和相对车顶高度进行实时测量，为驾驶员提供预警信息，包括如下步骤：

(1)、对双目摄像头进行参数标定，

安装于车顶上的双目视觉系统选用两个具有相同内参数的相机，首先，对其中一个相机进行单个摄像头的内参数标定；通过标定来测量两个摄像机之间的相对位置，两摄像头光轴互相平行，相机坐标系下横轴互相重合；

(2)计算道路限高横梁及立柱的离车距离

通过安装于车顶上的双目视觉系统左右两个摄像头同步抓取道路图像，实现对限高架的采集，对图像进行灰度处理、高斯模糊预处理步骤，去除存在的噪声；对限高架进行轮廓检测，得到限高架的基本轮廓信息，获取限高架横梁及限高架立柱二维图像像素点坐标，根据限高架与双目摄像头的几何关系构建数学模型，通过解算限高架与双目摄像头的空间三维关系得出限高架离车距离；

(3)基于三维关系计算车辆高度与横梁高度

对车辆行驶过程中，道路上的限高架进行图像深度测量后进行限高架高度的计算，以及车辆高度的计算，并通过判断限高架横梁高度值与车辆高度值的关系得出车辆能否通过该限高架的信息；

限高架高度由双目摄像头成像平面与限高架平面进行空间三维关系转换，通过几何关系构建数学模型得到，车辆高度由标定得到，或通过道路平面与摄像机平面空间几何关系转换得到。

实施例2

本实施例和实施例1的区别在于：

步骤(1)对双目摄像头进行参数标定进一步包括如下步骤：

(1.1)单个摄像头参数标定

双目视觉系统选用了两个具有相同内参数的相机，首先，对其中一个相机进行单个摄像头的内参数标定；

步骤(1.1)单个摄像头参数标定进一步包括如下步骤：

设P＝(X，Y，Z)为场景中的一点，在针孔相机模型中，其要经过以下几个变换，最终变为二维图像上的像点p＝(μ，v)，

d)将P从世界坐标系通过刚体变换旋转和平移变换到相机坐标系，这个变换过程使用的是相机间的相对位姿，也就是相机的外参数，

e)从相机坐标系，通过透视投影变换到相机的成像平面上的像点p＝(x，y)，

f)将像点p从成像坐标系，通过缩放和平移变换到像素坐标系上点p＝(μ，v)，

相机将场景中的三维点变换为图像中的二维点，也就是世界坐标系变换、图像坐标系与像素坐标系的转换，将上面的变换过程整理为矩阵相乘的形式：

式中，α，β表示图像在图像坐标系x，y轴方向上单位距离上像素的个数，则f_x＝αf，f_y＝βf将相机的焦距f变换为在x，y方向上像素度量表示，(μ，v)代表像素坐标系下成像点的坐标，(X，Y，Z)代表世界坐标系下场景中一点的坐标，(u₀，v₀)是图像坐标系原点在像素坐标系中的坐标，R代表外参旋转矩阵，t代表平移向量；

将矩阵K称为相机的内参数：

为了不失一般性，在相机的内参矩阵上添加一个扭曲参数γ；

在张氏标定法中，用于标定的棋盘格是三维场景中的一个平面Π，其在成像平面的像是另一个平面π，通过已知两个平面的对应点的坐标，求解得到两个平面的单应矩阵H；其中，标定的棋盘格是特制的，其角点的坐标是已知的；通过角点提取算法得到图像中的角点，这样就得到棋盘平面Π和图像平面π的单应矩阵H，通过上面的相机模型有：

p＝HP＝K[R|t]P (公式3)

式中，p是像素坐标系下像点坐标，P是世界坐标系下标定的棋盘坐标，H表示的是成像平面和标定棋盘平面之间的单应矩阵，通过对应的点对解得H后，则通过上面的等式得到相机的内参数K，以及外参数旋转矩阵R和平移向量t；

通过一幅标定板的图像得到关于内参数的等式B＝K^-TK^-1，可得：

矩阵B代表是一个对称矩阵，B11-B33一一对应公式4中的各方程式，当标定图像大于等于三幅时，张氏标定法可得位移相机内参数：

式中，α，β表示图像在图像坐标系x，y轴方向上单位距离上像素的个数，(u₀，v₀)是图像坐标系原点在像素坐标系中的坐标，γ代表相机内参矩阵的扭曲参数，λ为任意大小的尺度因子。

(1.2)双目摄像头参数标定

通过标定来测量两个摄像机之间的相对位置，即一个摄像机相对于另一个摄像机的三维平移向量t和旋转矩阵R，两摄像头光轴互相平行，相机坐标系下横轴互相重合，两摄像头沿横轴相距10-100cm水平放置；

步骤(1.2)双目摄像头参数标定，进一步包括如下步骤：

通过标定来测量两个摄像机之间的相对位置，即一个摄像机相对于另一个摄像机的三维平移向量t和旋转矩阵R。

摄像头C₁与世界坐标系相对位置的外部参数为旋转矩阵R₁和平移向量t₁，摄像头C₂与世界坐标系相对位置的外部参数为旋转矩阵R₂和平移向量t₂，空间中任一点P在世界坐标系、摄像机C₁坐标系和摄像机C₂坐标系下的非齐次坐标分别为X_w，X_c1，X_c2；

由此，双目摄像机之间的几何关系参数用外参旋转矩阵R和平移向量t表示为：

步骤(2)计算道路限高横梁及立柱的离车距离进一步如下：

要计算出目标点在左右两个摄像头图像上产生的视差，首先要匹配该点在左右图像上对应的像点，由于在二维图像上匹配对应像点非常耗时，为了减小匹配搜索范围，利用极线约束使得对应点的匹配由二维搜索降为一维搜索；设两台摄像机水平放置，o_l为左摄像头光心，o_r为右摄像头光心，p_l、p_r为左右图像上对应的像点，则p_l、p_r、P、o_l、o_r在同一对极平面上，该平面与两个图像平面的交线分别为极线L₁和极线L₂，则p_l在L₁上，p_r在L₂上，显然，不管与p_l对应的P是近是远，它在右图像上的投影总在L₂上，反过来也一样，P在左图像上的投影总在极线L₁上，所以，对任意一点p_l只需要在它的极线上寻找对应点p_r，这就是极线约束；

基于极限约束的双目校正的作用就是要把消除畸变后的两幅图像严格在行上对应，使得两幅图像的对极线恰好在同一水平线上，这样一幅图像上任意一点与其在另一幅图像上的对应点就必然具有相同的行号，只需在该行进行一维搜索即可匹配到对应点，方便于下一步的立体匹配；

双目匹配是双目立体视觉中最困难也是最关键的一步，其结果直接影响到三维测量的精度和速度，其原理是匹配同一目标点在左右摄像头所成的像对，通过匹配出相应像点，计算出视差，得到视差图，获取到视差数据后，通过视差值转化为深度值，而根据平行双目视觉的几何关系，得到下面的视差与深度的转换公式：

式中，B表示两个相机中心的距离，f表示相机的焦距，Z表示对应点的深度，Par表示场景中的同一3D点的视差值，x、x′分别代表同一点在左右两张图片中x轴方向上的坐标值；

由此，已知相机内参中焦距f，双目摄像头两相机中心距离B，以及左右两张图片的视差值Par，计算出某一点距离相机平面的深度Z，根据图像处理中获取的限高架横梁及立柱轮廓信息，得到限高架横梁下侧面及立柱底部在图像中的深度数据即其与车辆的距离信息。

步骤(3)基于三维关系计算车辆高度与横梁高度如下：

将得到的深度图像信息，以及限高架轮廓信息，构建其在二维平面中的几何关系如下：

由包含深度数据的图像可知限高架横梁距离L₁和限高架立柱底部距离L₂，以及通过相机内参得到视角∠a的值，为此，计算限高架高度h₁和车辆顶部高度h₂，由数学模型得：

式中，h₁代表限高架高度，L₁代表限高架横梁中点和摄像机之间的直线距离，L₂代表限高架立柱底部中点和摄像机之间的直线距离，h₂代表车辆高度，∠a代表限高架横梁中点与摄像机的连线、和限高架底部中点与摄像机连线两连线之间的夹角；∠b代表限高架横梁中点与摄像机的连线与限高架竖直方向之间的锐角；∠c代表限高架底部中点和摄像机的连线，与摄像机竖直方向的锐角，Δh代表限高架横梁与车辆高度差。

实施例3

本实施例提供一种基于双目视觉的车用公路限高架高度测量装置，包括：用于公路限高架识别与高度测量的识别单元，用于算法实现与发出控制指令的控制器单元，用于发出警示信息的声光报警单元，该装置放置于汽车前窗玻璃中央或车顶；

(1)公路限高架识别与高度测量的识别单元

该单元包含双目摄像头，双目摄像头选用全高清分辨率摄像头，双目摄像头并列安装；

(2)算法实现与发出控制指令的控制器单元

控制单元采用微控制处理器，微控制处理器具有结构小巧的特点，可以有效减小本装置体积。该部分还包含人机交互界面做为参数的选择和数据的自定义，包括：双目摄像头安装卡槽的的选择，车辆高度的自定义，以及警示阈值的设置，人机交互界面采用按键和液晶显示屏作为输入；

(3)发出警示信息的声光报警单元

经过控制器单元对数据信息做处理后，得出该车用公路限高架是否允许通行的信息，当检测到公路限高架并且经过计算，该车可以正常通行时，LED指示器显示为绿灯，并且通过该单元进行语音提示，当检测到公路限高架并且经过计算，车身高度与限高架高度接近时，LED指示器显示为黄灯，并且通过该单元进行减速行驶的语音提示；当检测到公路限高架并且经过计算，该车无法正常通行，车辆高度大于限高架高度时，LED指示器显示为红灯，并通过语音进行警示；

控制处理器通过控制总线与车内音频方法器及功放电路连接，从而控制车载扬声器，LED指示器由控制总线连接，放置于车内中央玻璃中央或左上方。

所述装置放置于车内时，通过人机交互界面输入汽车高度信息。

如图8所示，摄像头设备以卡槽形式安装，包括三对卡槽供选择。第一种卡槽基线距离最短，测距范围最短，测距最精确，适合行驶速度缓慢的车辆安装。第二种卡槽基线距离适中，测距范围适中，测距最适中，适合大部分普通车型。第三种卡槽基线距离最长，测量距离最长，精度较差，适合高速行驶或安全刹车距离要求较长的车辆。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (9)

1.一种基于双目视觉的车用公路限高架高度测量方法，其特征在于：以两台广角摄像机，采用双目视觉系统对限高横梁目标进行实时摄像、跟踪和定位，在车辆行驶过程中采用双目视觉系统对限高架的离车距离和相对车顶高度进行实时测量，为驾驶员提供预警信息，包括如下步骤：

(1)、对双目摄像头进行参数标定，

安装于车顶上的双目视觉系统选用两个具有相同内参数的相机，首先，对其中一个相机进行单个摄像头的内参数标定；通过标定来测量两个摄像机之间的相对位置，两摄像头光轴互相平行，相机坐标系下横轴互相重合；

(2)计算道路限高横梁及立柱的离车距离

通过安装于车顶上的双目视觉系统左右两个摄像头同步抓取道路图像，实现对限高架的采集，对图像进行灰度处理、高斯模糊预处理步骤，去除存在的噪声；对限高架进行轮廓检测，得到限高架的基本轮廓信息，获取限高架横梁及限高架立柱二维图像像素点坐标，根据限高架与双目摄像头的几何关系构建数学模型，通过解算限高架与双目摄像头的空间三维关系得出限高架离车距离；

(3)基于三维关系计算车辆高度与横梁高度

对车辆行驶过程中，道路上的限高架进行图像深度测量后进行限高架高度的计算，以及车辆高度的计算，并通过判断限高架横梁高度值与车辆高度值的关系得出车辆能否通过该限高架的信息；

限高架高度由双目摄像头成像平面与限高架平面进行空间三维关系转换，通过几何关系构建数学模型得到，车辆高度由标定得到，或通过道路平面与摄像机平面空间几何关系转换得到。

2.根据权利要求1所述的基于双目视觉的车用公路限高架高度测量方法，其特征在于：步骤(1)对双目摄像头进行参数标定进一步包括如下步骤：

(1.1)单个摄像头参数标定

双目视觉系统选用了两个具有相同内参数的相机，首先，对其中一个相机进行单个摄像头的内参数标定；

(1.2)双目摄像头参数标定

通过标定来测量两个摄像机之间的相对位置，即一个摄像机相对于另一个摄像机的三维平移向量t和旋转矩阵R，两摄像头光轴互相平行，相机坐标系下横轴互相重合，两摄像头沿横轴相距10-100cm水平放置。

3.根据权利要求2所述的基于双目视觉的车用公路限高架高度测量方法，其特征在于：步骤(1.1)单个摄像头参数标定进一步包括如下步骤：

设P＝(X，Y，Z)为场景中的一点，在针孔相机模型中，其要经过以下几个变换，最终变为二维图像上的像点p＝(μ，v)，

a)将P从世界坐标系通过刚体变换旋转和平移变换到相机坐标系，这个变换过程使用的是相机间的相对位姿，也就是相机的外参数，

b)从相机坐标系，通过透视投影变换到相机的成像平面上的像点p＝(x，y)，

c)将像点p从成像坐标系，通过缩放和平移变换到像素坐标系上点p＝(μ，v)，

相机将场景中的三维点变换为图像中的二维点，也就是世界坐标系变换、图像坐标系与像素坐标系的转换，将上面的变换过程整理为矩阵相乘的形式：

式中，α，β表示图像在图像坐标系x，y轴方向上单位距离上像素的个数，则f_x＝αf，f_y＝βf将相机的焦距f变换为在x，y方向上像素度量表示，(μ，v)代表像素坐标系下成像点的坐标，(X，Y，Z)代表世界坐标系下场景中一点的坐标，(u₀，v₀)是图像坐标系原点在像素坐标系中的坐标，R代表外参旋转矩阵，t代表平移向量；

将矩阵K称为相机的内参数：

为了不失一般性，在相机的内参矩阵上添加一个扭曲参数γ；

在张氏标定法中，用于标定的棋盘格是三维场景中的一个平面Π，其在成像平面的像是另一个平面π，通过已知两个平面的对应点的坐标，求解得到两个平面的单应矩阵H；其中，标定的棋盘格是特制的，其角点的坐标是已知的；通过角点提取算法得到图像中的角点，这样就得到棋盘平面Π和图像平面π的单应矩阵H，通过上面的相机模型有：

p＝HP＝K[R|t]P (公式3)

式中，p是像素坐标系下像点坐标，P是世界坐标系下标定的棋盘坐标，H表示的是成像平面和标定棋盘平面之间的单应矩阵，通过对应的点对解得H后，则通过上面的等式得到相机的内参数K，以及外参数旋转矩阵R和平移向量t；

通过一幅标定板的图像得到关于内参数的等式B＝K^-TK^-1，可得：

矩阵B代表是一个对称矩阵，当标定图像大于等于三幅时，张氏标定法可得位移相机内参数：

式中，α，β表示图像在图像坐标系x，y轴方向上单位距离上像素的个数，(u₀，v₀)是图像坐标系原点在像素坐标系中的坐标，γ代表相机内参矩阵的扭曲参数，λ为任意大小的尺度因子。

4.根据权利要求2所述的基于双目视觉的车用公路限高架高度测量方法，其特征在于：步骤(1.2)双目摄像头参数标定，进一步包括如下步骤：

通过标定来测量两个摄像机之间的相对位置，即一个摄像机相对于另一个摄像机的三维平移向量t和旋转矩阵R；

摄像头C₁与世界坐标系相对位置的外部参数为旋转矩阵R₁和平移向量t₁，摄像头C₂与世界坐标系相对位置的外部参数为旋转矩阵R₂和平移向量t₂，空间中任一点P在世界坐标系、摄像机C₁坐标系和摄像机C₂坐标系下的非齐次坐标分别为X_w，X_c1，X_c2；

由此，双目摄像机之间的几何关系参数用外参旋转矩阵R和平移向量t表示为：

5.根据权利要求1所述的基于双目视觉的车用公路限高架高度测量方法，其特征在于：步骤(2)计算道路限高横梁及立柱的离车距离进一步如下：

要计算出目标点在左右两个摄像头图像上产生的视差，首先要匹配该点在左右图像上对应的像点，由于在二维图像上匹配对应像点非常耗时，为了减小匹配搜索范围，利用极线约束使得对应点的匹配由二维搜索降为一维搜索；设两台摄像机水平放置，o_l为左摄像头光心，o_r为右摄像头光心，p_l、p_r为左右图像上对应的像点，则p_l、p_r、P、o_l、o_r在同一对极平面上，该平面与两个图像平面的交线分别为极线L₁和极线L₂，则p_l在L₁上，p_r在L₂上，显然，不管与p_l对应的P是近是远，它在右图像上的投影总在L₂上，反过来也一样，P在左图像上的投影总在极线L₁上，所以，对任意一点p_l只需要在它的极线上寻找对应点p_r，这就是极线约束；

基于极限约束的双目校正的作用就是要把消除畸变后的两幅图像严格在行上对应，使得两幅图像的对极线恰好在同一水平线上，这样一幅图像上任意一点与其在另一幅图像上的对应点就必然具有相同的行号，只需在该行进行一维搜索即可匹配到对应点，方便于下一步的立体匹配；

双目匹配是双目立体视觉中最困难也是最关键的一步，其结果直接影响到三维测量的精度和速度，其原理是匹配同一目标点在左右摄像头所成的像对，通过匹配出相应像点，计算出视差，得到视差图，获取到视差数据后，通过视差值转化为深度值，而根据平行双目视觉的几何关系，得到下面的视差与深度的转换公式：

式中，B表示两个相机中心的距离，f表示相机的焦距，Z表示对应点的深度，Par表示场景中的同一3D点的视差值，x、x′分别代表同一点在左右两张图片中x轴方向上的坐标值；

由此，已知相机内参中焦距f，双目摄像头两相机中心距离B，以及左右两张图片的视差值Par，计算出某一点距离相机平面的深度Z，根据图像处理中获取的限高架横梁及立柱轮廓信息，得到限高架横梁下侧面及立柱底部在图像中的深度数据即其与车辆的距离信息。

6.根据权利要求1所述的基于双目视觉的车用公路限高架高度测量方法，其特征在于：

步骤(3)基于三维关系计算车辆高度与横梁高度如下：

将得到的深度图像信息，以及限高架轮廓信息，构建其在二维平面中的几何关系如下：

由包含深度数据的图像可知限高架横梁距离L₁和限高架立柱底部距离L₂，以及通过相机内参得到视角∠a的值，为此，计算限高架高度h₁和车辆顶部高度h₂，由数学模型得：

式中，h₁代表限高架高度，L₁代表限高架横梁中点和摄像机之间的直线距离，L₂代表限高架立柱底部中点和摄像机之间的直线距离，h₂代表车辆高度，∠a代表限高架横梁中点与摄像机的连线、和限高架底部中点与摄像机连线两连线之间的夹角；∠b代表限高架横梁中点与摄像机的连线与限高架竖直方向之间的锐角；∠c代表限高架底部中点和摄像机的连线，与摄像机竖直方向的锐角，Δh代表限高架横梁与车辆高度差。

7.一种基于双目视觉的车用公路限高架高度测量装置，其特征在于：

包括：用于公路限高架识别与高度测量的识别单元，用于算法实现与发出控制指令的控制器单元，用于发出警示信息的声光报警单元，该装置放置于汽车前窗玻璃中央或车顶；

(1)公路限高架识别与高度测量的识别单元

该单元包含双目摄像头，双目摄像头选用全高清分辨率摄像头，双目摄像头并列安装；

(2)算法实现与发出控制指令的控制器单元

控制单元采用微控制处理器，还包含人机交互界面做为参数的选择和数据的自定义，包括：双目摄像头安装卡槽的的选择，车辆高度的自定义，以及警示阈值的设置，人机交互界面采用按键和液晶显示屏作为输入；

(3)发出警示信息的声光报警单元

经过控制器单元对数据信息做处理后，得出该车用公路限高架是否允许通行的信息，当检测到公路限高架并且经过计算，该车可以正常通行时，LED指示器显示为绿灯，并且通过该单元进行语音提示，当检测到公路限高架并且经过计算，车身高度与限高架高度接近时，LED指示器显示为黄灯，并且通过该单元进行减速行驶的语音提示；当检测到公路限高架并且经过计算，该车无法正常通行，车辆高度大于限高架高度时，LED指示器显示为红灯，并通过语音进行警示；

控制处理器通过控制总线与车内音频方法器及功放电路连接，从而控制车载扬声器，LED指示器由控制总线连接，放置于车内中央玻璃中央或左上方。

8.根据权利要求7所述的基于双目视觉的车用公路限高架高度测量装置，其特征在于：所述装置放置于车内时，通过人机交互界面输入汽车高度信息。

9.根据权利要求7所述的基于双目视觉的车用公路限高架高度测量装置，其特征在于：摄像头设备以卡槽形式安装，包括三对卡槽供选择。