CN106228110A - 一种基于车载双目相机的障碍物及可行驶区域检测方法 - Google Patents

Abstract

本发明公开了一种基于车载双目相机的障碍物及可行驶区域检测方法，包括以下步骤：S1、通过双目相机拍摄图像；S2、对图像进行预处理；S3、计算图像中每个像素点的最终匹配代价；S4、通过最终匹配代价计算得到v‑视差图；S5、利用v‑视差图确定地平线和路面范围；S6、在路面范围内，计算得到障碍物‑道路交线；S7、确定当前车道与最外侧车道范围；S8、在障碍物‑道路交线以上部分，计算得到障碍物高度；S9、确定属于同一障碍物的图像区域；S10、输出道路区域信息与障碍物信息。本方案可以在不牺牲视差精度的前提下，避免不必要的双目视差图计算从而大幅提升算法的实时性，适用于驾驶预警、自动驾驶等领域。

Description

一种基于车载双目相机的障碍物及可行驶区域检测方法

技术领域

本发明涉及道路图像识别处理领域，尤其是涉及一种具有较高准确度的基于车载双目相机的障碍物及可行驶区域检测方法。

背景技术

车辆周围交通信息的采集和分析是驾驶预警、辅助驾驶和自动驾驶的重要依据。现有相关的传感技术主要以单目相机为主，部分系统辅助以毫米波雷达等测距传感器。现有系统可以在某些良好的道路及工况下，测量与前方车辆的距离，但是仍然存在一定的缺陷：

1.基于单目视觉的障碍物测距：此类方法大多通过标定好的相机高度与俯仰角信息，基于平面道路假设，利用障碍物与道路交线的边界图像特征，计算该障碍物的距离信息。该方法适用于光线条件良好，道路平缓的无遮挡障碍物检测，对于道路坡度(上下坡)以及阴影所造成的影响会产生较大测量误差或失效；

2.基于单目视觉的车道线识别：此类方法大多基于平面道路假设，对于道路坡度以及转弯情况下估计效果较差；

3.基于双目视觉的障碍物测距：此类方法大多基于双目视差，利用视差信息计算障碍物尺寸与距离。准确视差计算的算法效率较低，虽部分方法实时性尚可，但留给后续其他实时应用系统的运算时间相对有限，并且此类算法对于障碍物的扫描范围没有限制，效率不高且无效信息较多；

4.基于毫米波雷达与单目相机融合的障碍物测距系统：此类方法利用毫米波雷达所提供的距离信息确定障碍物的位置信息，通过标定好的现实坐标系与图像坐标系的投影关系，确定障碍物的位置信息，此类方法对于道路坡度的鲁棒性较差。

发明内容

本发明主要是解决现有技术所存在的对环境要求较高、适应能力弱、精度较低等的技术问题，提供一种可以适用于较为复杂的环境、具有较高精度和鲁棒性的基于车载双目相机的障碍物及可行驶区域检测方法。

本发明针对上述技术问题主要是通过下述技术方案得以解决的：一种基于车载双目相机的障碍物及可行驶区域检测方法，包括以下步骤：

S1、通过双目相机拍摄RGB格式的图像，所得到的图像为双目图像，包括左图和右图；

S2、对图像进行预处理；

S3、计算图像中每个像素点的最终匹配代价；图像坐标系中，u为像素点的横轴坐标，v为像素点的纵轴坐标；

S4、通过最终匹配代价计算得到纵向道路平面对应的v-视差图；

S5、利用v-视差图确定地平线和路面范围；

S6、在路面范围内，计算得到障碍物-道路交线；

S7、在障碍物-道路交线以下部分，进行车道线检测，对图像进行二次处理，提取霍夫直线，确定当前车道与最外侧车道范围；

S8、在障碍物-道路交线以上部分，计算得到障碍物高度；

S9、设置障碍物宽度、高度和深度的阈值模块，过滤图像中相邻的障碍物区域，确定属于同一障碍物的图像区域；

S10、输出经过阈值过滤之后的道路区域信息与障碍物信息。

作为优选，所述步骤S2中，对图像进行的预处理包括灰度化、除畸变和立体矫正。

作为优选，所述步骤S3中，计算图像中每个像素点的最终匹配代价具体为：

S301、对预处理后的图片中每个像素点对应的视差d，计算基于灰度值绝对值之差的匹配代价C_v(u_i,v_i,d_i)，计算方法如下：

C_v(u_i,v_i,d_i)＝img_left(u_i,v_i)-img_right(u_i-d_i,v_i)

其中,u_i为图像坐标系下像素点i的横坐标,v_i为图像坐标系下像素点i的纵坐标，img_left(u_i,v_i)为像素点i在左图上的灰度值绝对值，img_right(u_i-d_i,v_i)为坐标为(u_i-d_i,v_i)的像素点在右图上的灰度值绝对值，d_i为像素点i对应的视差，范围0-d，d为预设值，d与双目相机的规格、设置位置、拍摄角度等相关；

S302、对所计算的基于灰度值绝对值之差的匹配代价进行窗口为n×n的滑窗卷积滤波，获得最终匹配代价，其中n为预设参数。

作为优选，所述步骤S4具体为：

S401、对最终视差匹配代价在图像坐标系纵轴(v轴)上的投影进行求和，并计算图像每一行纵轴对应视差代价之和的最小值C_v,min：

$C_v(v_i,d_i)=\underset{u=0}{\overset{u_{max}}{\Σ}}{C}_m(u,v_i,d_i)$

C_v,min＝min(C_v(v_i,d_i))

找出每行对应视差代价之和小于C_v,min+T_d所对应的视差d，从而得到初始v-视差图；视差代价阈值T_d为预设值；

S402、初始v-视差图的横坐标为v_x，纵坐标为v_y，将初始v-视差图投影到现实坐标系高度y与深度x的映射，计算公式如下：

$x={\mathrm{stereo}}_{baseline}*\frac{{\mathrm{stereo}}_f}{v_x}$

$y={\mathrm{stereo}}_{baseline}*\frac{v_y-{\mathrm{stereo}}_{v0}}{v_x}$

stereo_f定义为双目相机焦距；

stereo_v0定义为双目图像中心；

stereo_baseline定义为双目相机基线长度；

v₀定义为v-视差曲线与y轴焦点，即地平线纵坐标；

利用B-样条曲线拟合路面高度与深度关系，最后逆映射回v-视差图平面，即获得纵向道路平面对应的v-视差图。

作为优选，步骤S5中，地平线v₀即为v-视差图中时差为0的图像区域构成的曲线；视差大于0的图像区域即为路面范围。

作为优选，步骤S6具体为：

S601、在路面范围内，利用v-视差图中每一行v与对应路面视差d的双向映射关系，计算障碍物-道路交线匹配代价C_Boundary；该障碍物-道路交线匹配代价由道路匹配代价与物体匹配代价两部分组成，其中道路匹配代价v与d符合v-视差图的映射关系而物体匹配代价每一行则对应相同的视差d；其具体计算公式如下：

$C_{Boundary}(u_i,v_i)=\underset{v=v_i}{\overset{h}{\Σ}}{C}_m(u_i,v,f(v\left)\right)+\underset{v=v_0}{\overset{v_i}{\Σ}}{C}_m(u_i,v,f(v_i\left)\right)$

u_i定义为图像坐标系下像素点i的横坐标；

v_i定义为图像坐标系下像素点i的纵坐标；

d_i定义为像素点i的视差；

f(v_i)定义为v-视差图中路面视差d_i与v_i的映射关系

S602、利用2维动态规划方法确定障碍物-道路交线匹配代价C_Boundary最小值所对应的像素值集合即为障碍物与道路的交线，每一列u对应的视差值为d_Boundary(u)。

作为优选，所述步骤S8具体为：

S801、在障碍物-道路交线以上部分，计算障碍物高度匹配代价C_Height：首先通过概率函数m(u,v)计算最终匹配代价C_m(u,v,d_Boundary(u))为区域极值的可能性，该值介于-1与1之间；最终，障碍物高度匹配代价计算公式如下：

$C_{Height}(u_i,v_i)=\underset{v=v_i}{\overset{v_{bot,u_i}}{\Σ}}|m(u_i,v)-1|+\underset{v=0}{\overset{v_i}{\Σ}}|m(u_i,v)+1|$

m(u_i,v)定义为图像坐标系中道路交线以上某像素点(u_i,v)与道路接触障碍物的概率；

v_bot定义为图像坐标系中障碍物-道路交线对应纵坐标；

S802、利用2维动态规划方法确定障碍物高度匹配代价C_Height最小值所对应的像素值(u_i,v_i)集合即为与障碍物与道路的交线对应的障碍物高度信息。

本发明基于视差匹配代价的计算通过二维动态规划解决相应的全局最优化问题实现了实时交通场景的划分。该算法可以在不牺牲视差精度的前提下，避免不必要的双目视差图计算从而大幅提升算法的实时性。

本系统的输出为道路区域与障碍物区域的在图像中的位置信息，可以非常方便的转化为现实坐标系中的位置信息。与此同时，障碍物的位置信息可以作为障碍物识别算法的输入接口，从而大大缩小了现有障碍物识别算法的滑窗检测范围，提升障碍物识别系统的实时性。

该方法可以与双目相机的硬件集成为一体，使车载双目系统输出可通行区域的位置信息以及潜在障碍物的位置与距离信息，该算法也可方便的与其他传感系统(如毫米波雷达传感器)融合，为半自动/自动驾驶汽车的智能算法开发，提供环境感知的基础。

本方法实时更新双目系统的高度与俯仰角信息，并且实时估计纵向道路模型，可以消除道路坡度变化对测距精度的影响。另外，双目视差信息对道路阴影的鲁棒性较强，可以在阴影存在的情况下确定障碍物与道路交线。

本发明带来的实质性效果是，利用视差匹配代价代替视差图计算，大幅提高了算法效率，通过对可通行区域和障碍物区域的划分，优化检测范围，通过一种新的方法实现了可通行区域检测与障碍物检测与测距，适用工况更广泛，算法效率更高，通用性更强。

附图说明

图1是本发明的一种流程图。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

实施例：本实施例的一种基于车载双目相机的障碍物及可行驶区域检测方法，以双目相机图像为输入，可通行区域与潜在障碍物范围为输出，如图1所示，包括以下步骤：

1.获取RGB格式双目图像。

2.对图像进行预处理，主要包括灰度化，除畸变以及立体矫正。

3.对预处理后的图片中每个像素点(u,v)对应的视差d，计算基于灰度值绝对值之差(SAD)的匹配代价C_v(u_i,v_i,d_i)，计算方法如下：

C_v(u_i,v_i,d_i)＝img_left(u_i,v_i)-img_right(u_i-d_i,v_i)

其中,u_i为图像坐标系下像素点i的横坐标,v_i为图像坐标系下像素点i的纵坐标，img_left(u_i,v_i)为像素点i在左图上的灰度值绝对值，img_right(u_i-d_i,v_i)为坐标为(u_i-d_i,v_i)的像素点在右图上的灰度值绝对值，d_i为像素点i对应的视差；其中u，v，d的范围均为可设定参数。双目视差匹配代价的计算还可以采用基于平方差和(SSD)或其他计算方法。

4.对所计算的匹配代价进行n×n的滑窗卷积滤波，获得最终匹配代价C_m(u,v,d)，其中n为可设定参数。

5.对最终视差匹配代价向图像纵轴(v轴)投影求和，并计算图像每一行v对应视差代价之和的最小值C_v,min：

$C_v(v_i,d_i)=\underset{u=0}{\overset{u_{max}}{\Σ}}{C}_m(u,v_i,d_i)$

C_v,min＝min(C_v(v_i,d_i))

通过设定视差代价阈值T_d，找出每行对应视差代价之和小于C_v,min+T_d所对应的视差值d，从而得到v-视差图(v-d映射)。

6.将v-视差图投影到现实坐标系高度与深度的映射，利用B-样条曲线拟合路面高度与深度关系，最后逆映射回v-视差图平面，即可获得纵向道路平面对应的v-视差图。除了B-样条曲线，也可以采用其他形式的样条曲线，如分段直线或单一直线等。

7.利用v-视差图，确定地平线v_o(视差d＝0)以及路面范围(视差d>0对应的图像区域)。

8.在7确定的路面范围内，利用v-视差图中每一行v与对应路面视差d的双向映射关系，计算障碍物-道路交线匹配代价C_Boundary。该障碍物-道路交线匹配代价由道路匹配代价与物体匹配代价两部分组成，其中道路匹配代价v与d符合v-视差图的映射关系(f:v<->d)而物体匹配代价每一行则对应相同的视差d。其具体计算公式如下：

$C_{Boundary}(u_i,v_i)=\underset{v=v_i}{\overset{h}{\&Sigma;}}{C}_m(u_i,v,f(v\left)\right)+\underset{v=v_0}{\overset{v_i}{\&Sigma;}}{C}_m(u_i,v,f(v_i\left)\right)$

障碍物-道路交线匹配代价还可以采用路面匹配代价(忽略物体匹配代价)近似取代等算法计算。

9.利用2维动态规划方法确定障碍物-道路交线匹配代价C_Boundary最小值所对应的像素值(u_bot,v_bot)集合即为障碍物与道路的交线，每一列u对应的视差值为d_Boundary(u)。

10.在障碍物-道路交线以下部分，车道线检测，对图像进行二次化处理，提取霍夫直线，确定当前车道与最外侧车道范围。

11.在障碍物-道路交线以上部分，计算障碍物高度匹配代价C_Height。首先通过概率函数m(u,v)计算C_m(u,v,d_Boundary(u))为区域极值的可能性，该值介于-1与1之间。最终，障碍物高度匹配代价计算公式如下：

$C_{Height}(u_i,v_i)=\underset{v=v_i}{\overset{v_{bot,u_i}}{\&Sigma;}}|m(u_i,v)-1|+\underset{v=0}{\overset{v_i}{\&Sigma;}}|m(u_i,v)+1|$

计算障碍物高度匹配代价所使用的概率函数m(u,v)可以有多种输出范围在0到1或-1到1之间的函数形式来表示。

12.利用2维动态规划方法确定障碍物高度匹配代价C_Height最小值所对应的像素值(u_i,v_i)集合即为与障碍物与道路的交线对应的障碍物高度信息。

选取优化障碍物-道路交线，障碍物高度的方法不唯一，如可以采用贪婪算法等其他全局优化方法。

13.设置障碍物宽度，高度，深度阈值模块，过滤图像中相邻的障碍物区域，确定属于同一障碍物的图像区域。

14.输出经阈值过滤后的道路信息与障碍物信息。

选取可通行区域后还可以采用机器学习的方法对可通行区域进行优化。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

尽管本文较多地使用了视差匹配、障碍物、路面范围等术语，但并不排除使用其它术语的可能性。使用这些术语仅仅是为了更方便地描述和解释本发明的本质；把它们解释成任何一种附加的限制都是与本发明精神相违背的。

Claims (7)

1.一种基于车载双目相机的障碍物及可行驶区域检测方法，其特征在于，包括以下步骤：

S1、通过双目相机拍摄RGB格式的图像，所得到的图像为双目图像；

S2、对图像进行预处理；

S3、计算图像中每个像素点的最终匹配代价；图像坐标系中，u为像素点的横轴坐标，v为像素点的纵轴坐标；

S4、通过最终匹配代价计算得到纵向道路平面对应的v-视差图；

S5、利用v-视差图确定地平线和路面范围；

S6、在路面范围内，计算得到障碍物-道路交线；

S7、在障碍物-道路交线以下部分，进行车道线检测，对图像进行二次处理，提取霍夫直线，确定当前车道与最外侧车道范围；

S8、在障碍物-道路交线以上部分，计算得到障碍物高度；

S9、设置障碍物宽度、高度和深度的阈值模块，过滤图像中相邻的障碍物区域，确定属于同一障碍物的图像区域；

S10、输出经过阈值过滤之后的道路区域信息与障碍物信息。

2.根据权利要求1所述的一种基于车载双目相机的障碍物及可行驶区域检测方法，其特征在于，所述步骤S2中，对图像进行的预处理包括灰度化、除畸变和立体矫正。

3.根据权利要求1或2所述的一种基于车载双目相机的障碍物及可行驶区域检测方法，其特征在于，所述步骤S3中，计算图像中每个像素点的最终匹配代价具体为：

S301、对预处理后的图片中每个像素点对应的视差d，计算基于灰度值绝对值之差的匹配代价C_v(u_i,v_i,d_i)，计算方法如下：

C_v(u_i,v_i,d_i)＝img_left(u_i,v_i)-img_right(u_i-d_i,v_i)

其中,u_i为图像坐标系下像素点i的横坐标,v_i为图像坐标系下像素点i的纵坐标，img_left(u_i,v_i)为像素点i在左图上的灰度值绝对值，img_right(u_i-d_i,v_i)为坐标为(u_i-d_i,v_i)的像素点在右图上的灰度值绝对值，d_i为像素点i对应的视差；

S302、对所计算的基于灰度值绝对值之差的匹配代价进行窗口为n×n的滑窗卷积滤波，获得最终匹配代价，其中n为预设参数。

4.根据权利要求3所述的一种基于车载双目相机的障碍物及可行驶区域检测方法，其特征在于，所述步骤S4具体为：

S401、对最终视差匹配代价在图像坐标系纵轴上的投影进行求和，并计算图像每一行纵轴对应视差代价之和的最小值C_v,min：

$C_v(v_i,d_i)=\underset{u=0}{\overset{u_{max}}{\&Sigma;}}{C}_m(u,v_i,d_i)$

C_v,min＝min(C_v(v_i,d_i))

找出每行对应视差代价之和小于C_v,min+T_d所对应的视差d，从而得到初始v-视差图；视差代价阈值T_d为预设值；

S402、初始v-视差图的横坐标为v_x，纵坐标为v_y，将初始v-视差图投影到现实坐标系高度y与深度x的映射，计算公式如下：

$x={\mathrm{stereo}}_{baseline}*\frac{{\mathrm{stereo}}_f}{v_x}$

$y={\mathrm{stereo}}_{baseline}*\frac{v_y-{\mathrm{stereo}}_{v0}}{v_x}$

stereo_f定义为双目相机焦距；

stereo_v0定义为双目图像中心；

stereo_baseline定义为双目相机基线长度；

v₀定义为v-视差曲线与y轴焦点，即地平线纵坐标；

利用B-样条曲线拟合路面高度与深度关系，最后逆映射回v-视差图平面，即获得纵向道路平面对应的v-视差图。

5.根据权利要求4所述的一种基于车载双目相机的障碍物及可行驶区域检测方法，其特征在于，步骤S5中，地平线v₀即为v-视差图中时差为0的图像区域构成的曲线；视差大于0的图像区域即为路面范围。

6.根据权利要求5所述的一种基于车载双目相机的障碍物及可行驶区域检测方法，其特征在于，步骤S6具体为：

S601、在路面范围内，利用v-视差图中每一行v与对应路面视差d的双向映射关系，计算障碍物-道路交线匹配代价C_Boundary；该障碍物-道路交线匹配代价由道路匹配代价与物体匹配代价两部分组成，其中道路匹配代价v与d符合v-视差图的映射关系而物体匹配代价每一行则对应相同的视差d；其具体计算公式如下：

$C_{Boundary}(u_i,v_i)=\underset{v=v_i}{\overset{h}{\mathrm{\&Sigma;}}}{C}_m(u_i,v,f(v\left)\right)+\underset{v=v_0}{\overset{v_i}{\&Sigma;}}{C}_m(u_i,v,f(v_i\left)\right)$

u_i定义为图像坐标系下像素点i的横坐标；

v_i定义为图像坐标系下像素点i的纵坐标；

d_i定义为像素点i的视差；

f(v_i)定义为v-视差图中路面视差d_i与v_i的映射关系；

S602、利用2维动态规划方法确定障碍物-道路交线匹配代价C_Boundary最小值所对应的像素值集合即为障碍物与道路的交线，每一列u对应的视差值为d_Boundary(u)。

7.根据权利要求6所述的一种基于车载双目相机的障碍物及可行驶区域检测方法，其特征在于，所述步骤S8具体为：

S801、在障碍物-道路交线以上部分，计算障碍物高度匹配代价C_Height：首先通过概率函数m(u,v)计算最终匹配代价C_m(u,v,d_Boundary(u))为区域极值的可能性，该值介于-1与1之间；最终，障碍物高度匹配代价计算公式如下：

$C_{Height}(u_i,v_i)=\underset{v=v_i}{\overset{v_{bot,u_i}}{\&Sigma;}}|m(u_i,v)-1|+\underset{v=0}{\overset{v_i}{\&Sigma;}}|m(u_i,v)+1|$

m(u_i,v)定义为图像坐标系中道路交线以上某像素点(u_i,v)为与道路接触障碍物的概率；

v_bot定义为图像坐标系中障碍物-道路交线对应纵坐标；

S802、利用2维动态规划方法确定障碍物高度匹配代价C_Height最小值所对应的像素值(u_i,v_i)集合即为与障碍物与道路的交线对应的障碍物高度信息。