CN103837139A - 不平路面驾驶辅助设备和用于不平路面驾驶辅助的方法 - Google Patents

Abstract

本发明一种不平路面驾驶辅助设备，包括：具有双目摄像头系统的路面信息采集装置，利用双目摄像头系统对车辆的前方路面进行拍摄以采集前方路面视频信息；以及不平路面判断装置，将路面信息采集装置所采集的前方路面视频信息转化为视差图，利用移动窗口将所述视差图分割为一系列子视差图，并根据V视差图生成准则将分割后的各子视差图转化为各子V视差图，对各个子V视差图进行线段拟合，拟合出路面映射线段，根据各子V视差图中的所述路面映射线段的端点总数来判断所述前方路面是否为不平路面。

Description

不平路面驾驶辅助设备和用于不平路面驾驶辅助的方法

技术领域

本发明涉及一种不平路面驾驶辅助设备和用于不平路面驾驶辅助的方法，能够利用安装在车辆上的两个摄像头拍摄的影像，进行前方不平路面的判断检测，并实现坡型路面/坑型路面的分类，自动判断是否存在安全隐患。 

背景技术

无人汽车通常具有认知行驶环境和自动驾驶功能。其中可行路面区域检测是认知行驶环境功能中的一个重要组成部分。路面信息采集仪器中摄像设备采集的数据信息远比测距传感器采集的数据信息更为准确可靠，其图像信息覆盖范围更大。 

基于摄像头信息的路面检测通常利用简单二维图像数据(包括颜色、轮廓等信息)进行路面检测，此类方法对于有明显路标等特征的结构化路面的检测比较有效，此时该问题被直接转化为车道线和道路边界的识别。而对于非结构化的路面，例如野外环境，很难单纯从颜色或者轮廓分割出路面。 

在立体视觉系统中除了可以运用到上述的方法进行路面检测，特别是对于野外路面的检测，更多的是利用三维数据(视差图、点云图等)，目前的方法大体可分为主平面分析法、区域生长法以及直方图分析法。主平面分析法只适用于行驶环境为单一平坦路面的情况。区域生长法需要整体三维重建，不适合实时检测。直方图分析法即V视差(Vertical-disparity)法，常被用为检测路面并可检测出路面上的障碍物。 

在2002年由Raphael Labayrade发表的题为《Real Time ObstacleDetection in Stereovision on non-flat Road Geometry through V-disparity Representation》论文中提出了V视差算法，用于检测不平路面上存在的障碍物。该算法的应用实现需要生成一副V视差图。V视差图生成准则如下：世界坐标系中的点P(x，y，z)^T在双目摄像头系统中的左图像坐标系中的投影坐标为(u_l，v_l)，在右图像坐标系中的投影坐标为(u_r，v_r)。计算左图所有像素相对右图关联点的水平视差ΔP＝u₁-u_r，并以每个像素点的视差作为该点对应的新灰度值，可得到视差图像(u₁，v₁，ΔP)。然后累加视差图像每一行上具有相同水平视差的像素个数count_p，并以(ΔP，v_l)为新的像素坐标，以count_p为对应于该像素的灰度值，这样就形成了一幅宽度是最大视差值、高度和原图像一致的新图像V视差图。V视差法的原理是把四周环境分割成水平平面、垂直平面和其他平面。垂直地面障碍物，例如行人、车辆、树木等，可以近似表示为垂直平面；倾斜平面，如斜坡、凹地等，可以近似为倾斜平面；车体所在大地平面被近似为水平平面。如果世界坐标系中大地平面是平坦的，则在V视差图中表现为单独的一条线段，如果是分段平坦，则表现为折线。在得到路面映射线段(或折线)后，就知道了视差图中每一行属于路面的视差值。 

目前V视差算法实际应用大致可以分为以下两大类：检测道路上的障碍物和检测路面。检测障碍物的具体实施步骤如下：根据V视差图上的路面投影线段和障碍物投影线段，得到障碍物和路面的交点，确定障碍物所在位置。在少数公知例中，会提取道路分界线，得到前景信息，以缩小障碍物的搜索范围。检测路面的具体实施步骤如下：根据V视差图上提取路面投影线段得到路面范围。在少量公知例中，会加上路面色彩信息用来提高最终结果的准确性。 

但是传统V视差算法存在局限性，该方法虽然可以检测出前方路面，但是不能量化判断该段路面是否为不平路面，而且无法进行坡/坑的判断，并未能结合车体实际参数来判断前方坡/坑是否存在危险隐患。 

发明内容

为了解决现有技术的上述问题提出了本发明。因此，本发明的目 的是提出一种不平路面驾驶辅助设备和用于不平路面驾驶辅助的方法，能够利用安装在车辆上的两个摄像头拍摄的影像，进行前方不平路面的判断检测，并实现坡型路面/坑型路面的分类，自动判断是否存在安全隐患。 

为了实现上述目的，根据本发明，提出了一种不平路面驾驶辅助设备，包括：具有双目摄像头系统的路面信息采集装置，利用双目摄像头系统对车辆的前方路面进行拍摄以采集前方路面视频信息；以及不平路面判断装置，将路面信息采集装置所采集的前方路面视频信息转化为视差图，利用移动窗口将所述视差图分割为一系列子视差图，并根据V视差图生成准则将分割后的各子视差图转化为各子V视差图，对各个子V视差图进行线段拟合，拟合出路面映射线段，根据各子V视差图中的所述路面映射线段的端点总数来判断所述前方路面是否为不平路面。 

优选地，如果并非每个子V视差图中的所述路面映射线段的端点总数均为2，则所述不平路面判断装置判断所述前方路面为不平路面，而如果每个子V视差图中的所述路面映射线段的端点总数均为2，则所述不平路面判断装置判断所述前方路面为平坦路面。 

优选地，根据本发明的不平路面驾驶辅助设备还包括：路面状况通知装置，根据所述不平路面判断装置的判断结果，对所述前方路面是否为不平路面进行通知。 

优选地，根据本发明的不平路面驾驶辅助设备还包括：摄像头信息采集装置，用于采集所述双目摄像头系统的摄像头相关参数；车体数据采集装置，用于采集包括车辆宽度、车辆的底盘高度、以及车辆的最大可爬行坡度在内的车体数据；以及坡/坑参数计算装置，在由所述不平路面判断装置判断所述前方路面为不平路面的情况下，利用小于或等于与所述车体数据采集装置所采集的所述车辆宽度相对应的尺寸的窗长的移动窗口，将所述视差图重新分割为一系列子视差图，并根据V视差图生成准则将分割后的各子视差图转化为各子V视差图，对各个子V视差图进行线段拟合，拟合出路面映射线段，根据各子V视差图中的所述路面映射线段的端点参数信息、以及所述摄像头信息采集 装置所采集的摄像头相关参数，来确定与该子V视差图中的所述路面映射线段相对应的路面是否为坑型路面或者坡型路面，如果为坑型路面，则计算该坑型路面的可视坑深，如果为坡型路面，则计算该坡型路面的可视坡度，通过将计算出的坑型路面的可视坑深与所述车体数据采集装置采集的车辆的底盘高度进行比较，或者将计算出的坡型路面的可视坡度与所述车体数据采集装置所采集的车辆的最大可爬行坡度或进行比较，来确定该坑型路面或坡型路面是否为车辆无法安全通过的危险路面。 

优选地，根据本发明的不平路面驾驶辅助设备还包括：路面状况通知装置，根据所述坡/坑参数计算装置的计算结果，对坑型路面或者坡型路面的位置、以及该坑型路面或坡型路面是否为危险路面进行通知。 

优选地，所述路面映射线段的端点参数信息包括所述路面映射线段的各端点的坐标信息和对应的视差值。 

优选地，所述坡/坑参数计算装置根据所述路面映射线段的各端点的坐标信息和对应的视差值、以及所述摄像头信息采集装置所采集的摄像头参数，计算所述路面映射线段的各端点对应的实际高度，如果路面映射线段的相邻两个端点的实际高度差大于零，则确定与该路面映射线段相对应的路面是坡型路面，如果路面映射线段的相邻两个端点的高度差小于零，则确定与该路面映射线段相对应的路面是坑型路面。 

另外，为了实现上述目的，根据本发明，还提出了一种用于不平路面驾驶辅助的方法，包括以下步骤：利用双目摄像头系统对车辆的前方路面进行拍摄以采集前方路面视频信息；以及将所采集的前方路面视频信息转化为视差图，利用移动窗口将所述视差图分割为一系列子视差图，并根据V视差图生成准则将分割后的各子视差图转化为各子V视差图，对各个子V视差图进行线段拟合，拟合出路面映射线段，根据各子V视差图中的所述路面映射线段的端点总数来判断所述前方路面是否为不平路面。 

本发明的优点在于：1)改进了传统V视差方法中不能判断路面是否不平的局限性；以及2)对不平路面中坑洼突起路面提前做出危险预警，利于车体避开坑洼突起路面，提高车体行驶环境舒服度，降低乘客的不适感，增强安全驾驶系数，减少事故发生，减轻车体磨损。 

附图说明

通过参考以下组合附图对所采用的优选实施方式的详细描述，本发明的上述目的、优点和特征将变得更显而易见，其中： 

图1是示出了根据本发明的实施例的不平路面驾驶辅助设备的结构的方框图。 

图2是示出了根据本发明的实施例的由不平路面判断装置执行的不平路面判断过程的流程图。 

图3是示出了根据本发明的实施例的由坡/坑参数计算装置执行的坡/坑参数计算过程的流程图。 

图4是示出了根据本发明的实施例的抬头显示器所显示的界面示例的示意图。 

图5是用于说明根据本发明的实施例的子V视差图中的路面映射线段的可视坡度计算的示意图。 

具体实施方式

下面将结合附图对本发明的实施例进行详细说明。 

图1是示出了根据本发明的实施例的不平路面驾驶辅助设备的结构的方框图。 

如图1所示，根据本发明的不平路面驾驶辅助设备可以包括：路面信息采集装置110、摄像头信息采集装置120、不平路面判断装置130、车体数据采集装置140、坡/坑参数计算装置150、以及路面状况显示装置160。根据本发明，可以将该不平路面驾驶辅助设备安装在车辆等上，以对车辆等在不平路面上的驾驶进行辅助。 

路面信息采集装置110具有安装在车体的适当位置的双目摄像头系统，即两部相同的摄像头系统，采集并存储来自车体前方的视频信 息。摄像头系统通常由光学系统与摄像头组成，光学系统可以具有变倍功能、自动调焦功能等。摄像头可以采用彩色CCD(电荷耦合元件)摄像机。 

摄像头信息采集装置120采集并存储双目摄像头系统的摄像头相关的内部参数以及外部参数。这里，摄像头相关的内部参数包括左右摄像头的焦距、尺度因子、径向、左摄像头内参数矩阵、左摄像头畸变参数向量、右摄像头内参数矩阵、以及右摄像头畸变参数向量。摄像头相关的外部参数包括左右摄像头正交相对旋转参数矩阵、左摄像头相对世界坐标旋转参数矩阵、右摄像头相对世界坐标旋转参数矩阵、左摄像头射影变换矩阵、右摄像头射影变换矩阵。 

车体数据采集装置140通过车载传感器(未图示)采集并存储车辆当前的底盘高度、车辆的最大爬行坡度、以及当前车辆宽度。 

路面状况显示装置160的一个实施例如图4所示。在该实施例中，路面状况显示装置160为抬头显示器。抬头显示器上左侧显示的图标表示当前路面为不平路面。另外，在该抬头显示器中，可以由绿色部分表示前方路面中的可行区域，并且可以由红色部分表示前方路面中的危险区域。当然，本发明并不限于该实施例的显示形式，还可以通过语音提示设备、方向盘震动设备对前方路况进行危险预警。 

下面，将参考图2，来说明根据本发明的实施例的由不平路面判断装置130执行的不平路面判断过程。 

在步骤S210，输入由路面信息采集装置110采集的前方路面视频信息，并将其分帧转化为立体图像对。 

在步骤S220，对立体图像对进行立体匹配，寻找立体图像对的两个图像之间的相对关联点，计算每个相对关联点的视差，由此，将立体图像对转化为视差图。 

在步骤S230，利用移动窗口对视差图进行划分生成子视差图，其中移动窗口的窗长为U_max/N，位移为Δn。此时U_max为视差图的横向宽度，N为大于1的自然数，Δn为属于[0 U_max/2N]的任意数。该窗长的宽度选 择能够确保经过V视差处理可以实时检测到障碍物和路面细节。由此，可以利用移动窗口将上述视差图分割成一系列子视差图。 

在步骤S240，根据V视差图生成准则将各子视差图转化为各子V视差图。 

接下来，在步骤S250，对各子V视差图进行线段拟合，拟合出路面映射线段和障碍物映射线段，确定并记录各个子V视差图中的路面映射线段的端点总数，而且确定并记录最远端路面映射线段的起始端点的位置信息。 

在步骤S260，判断各个子V视差图中的路面映射线段中的端点总数是否均为2。如果每个子V视差图中的路面映射线段中的端点总数均为2(步骤S260中的是)，则判断前方路面为平坦路面(步骤S280)。此时，可以通过路面状况显示装置160显示出前方路面为平坦路面(可行路面)。如果并非每个子V视差图的端点总数均为2(步骤S260中的否)，则判断前方路面为不平路面(步骤S270)。此时，可以通过路面状况显示装置160显示出当前路面为不平路面。 

根据本发明，在不平路面判断装置130通过上述过程判断出当前路面为不平路面的情况下，可以由坡/坑参数计算装置150执行坡/坑参数计算过程。 

下面，将参考图3，对由坡/坑参数计算装置150执行的该坡/坑参数计算过程进行说明。 

在步骤S310，在不平路面判断装置130判断出当前路面为不平路面的情况下，根据步骤S250中确定的在子V视差图中最远端路面映射线段的起始端点的位置信息，即此时该起始端点在子V视察图的坐标信息，再利用摄像头信息采集装置120所采集的摄像头相关的内部参数(例如，左右摄像头的焦距、径向、左摄像头内参数矩阵、右摄像头内参数矩阵)和摄像头相关的外部参数(例如，左摄像头相对世界坐标旋转参数矩阵、右摄像头相对世界坐标旋转参数矩阵、左摄像头射影变换矩阵、右摄像头射影变换矩阵)，计算出最远端路面起点在车体世界坐标系中的实际空间坐标，并且得到此起点离车体的水平距离d。然后，利用车体数据采集装置140所采集的车辆宽度(车宽)W，根据 数学式1，来求得该车宽下在最远端路面映射线段的起点位置处的图像中车宽对应的尺寸w_o。 

$W_o=\frac{W}{d}*f$ (数学式1) 

其中，f为摄像头焦距。 

在步骤S320，利用移动窗口对上述视差图再次进行划分生成一系列子视差图，此时的移动窗口的窗长小于或等于尺寸w_o。 

在步骤S330，根据V视差图生成准则将各子视差图转化为相对应的各子V视差图。 

在步骤S340，对各个子V视差图进行线段拟合，拟合出路面映射线段和障碍物映射线段，确定并记录各个子视差图中的路面映射线段的端点参数信息，该端点参数信息包括：路面映射线段的各端点的坐标信息和对应的视差值。 

在步骤S350，利用摄像头信息采集装置120所采集的摄像头相关的内部参数(例如，左右摄像头的焦距、径向、左摄像头内参数矩阵、右摄像头内参数矩阵)和外部参数(例如，左摄像头相对世界坐标旋转参数矩阵、右摄像头相对世界坐标旋转参数矩阵、左摄像头射影变换矩阵、右摄像头射影变换矩阵)，并结合路面映射线段的端点参数信息，计算路面映射线段端点在世界坐标系中对应的实际景深和实际高度。 

例如，对于某路面映射线段的某一端点A，它在世界坐标系中所对应的实际景深可以表示为dep(A)，实际高度为hig(A)。 

在步骤S360，如果路面映射线段的相邻两个端点A、B的实际高度差h＝hig(B)-hig(A)大于0，则可以判断该路面映射线段所对应的路面为坡型路面。如果路面映射线段的相邻两个端点A、B的实际高度差h＝hig(B)-hig(A)小于0，则可以判断该路面映射线段所对应的路面为坑型路面，并记录此时的高度差，作为可视坑深。 

在步骤S370，如果此时判断为该路面为坡型路面，则利用路面映射线段的两个端点的实际景深和实际高度，根据数学式2，来求得该处路面相对于前一个路面的可视坡度。 

例如，在图5中，AB段路面对于车体所在路面的可视坡度为： 

${\mathrm{\θ}}_1={\tan }^{-1}\left|\frac{\mathrm{dep}\left(B\right)-\mathrm{dep}\left(A\right)}{\mathrm{hig}\left(B\right)-\mathrm{hig}\left(A\right)}\right|$ (数学式2)。 

根据每个路面对于前一个路面的可视坡度θ_i，根据数学式3，可以得到该处路面相对于车体所在路面的可视坡度

当i＝1时，表示离车体所在路面最近的平面，依次类推。 

$\stackrel{\‾}{{\mathrm{\θ}}_n}={\mathrm{\Σ}}_{i=1}^{i=n}\frac{\left|h_i\right|}{h_i}{\mathrm{\θ}}_i$ (数学式3)， 

其中，hi表示第i个路面相对于前一个路面的高度差，具体可参见以上关于符号h的定义。 

需要注意的是，即使对于同一处路面，因为车体的运动位置不同，相对于车体所在路面的可视坡度是不停变化的。在图5中，相对于当前车体位置，CD段路面的可视坡度为正值。但是，如果车体行驶到AB段路面或BC段路面，CD段的可视坡度变为负值。 

然后，在步骤S380，将计算出的坑型路面的可视坑深/坡型路面的可视坡度与车体数据采集装置140采集的车体数据(即，车辆的底盘高度或车辆的最大可爬行坡度)进行比较。如果可视坑深大于车辆的底盘高度或者可视坡度大于车辆的最大爬行坡度(步骤S380的是)，判断该坑型/坡型路面为危险路面，并由路面状况显示装置160对在实际路面图像中坑型路面或者坡型路面的位置、以及该坑型路面或坡型路面为危险路面进行显示(步骤S390)。否则(步骤S380的否)，判断该坑深/坡型路面为可行路面，并对坑型路面或者坡型路面的位置、以及该坑型路面或坡型路面为可行路面进行显示(步骤S3100)。 

如上所述，根据本发明，在路面信息采集装置110中，可以由车载双目摄像头采集前方信息，从而感知路面信息、路面上的动态或静态的障碍物以及结构化道路上的危险路标。在车体数据采集装置140中，利用车体感应器采集当前车体数据，包括车辆的当前底盘高度， 最大爬行坡度等。在摄像头信息采集装置120中，采集当前摄像头的内部参数和外部参数。 

根据本发明，在不平路面判断装置130中，通过移动窗口细化V视差图得到子V视差图，比较所有子V视差图中路面投影线段端点总数是否均为2，如果是，则判断前方路面不存在不平路面，如果不是，判断前方路面存在不平路面。在坡/坑参数计算装置150中，如果判断前方道路为不平路面，则利用车宽信息再次细划分V视差图，记录此时子V视差图中的路面映射线段的端点位置，并计算每个端点在世界坐标系中所对应的实际高度和实际景深，分析前方路面是否存在有坑或坡，即前方路面是否为坑型路面或者坡型路面，并计算前方路面中坑型路面的形状位置和可视坑深、坡型路面的形状位置和可视坡度，通过当前车体数据(例如车辆的底盘高度或最大可爬行坡度)来判断该车辆是否能够安全通过该段路面。 

在路面状况显示装置160中，可以根据不平路面判断装置130的判断结果，对当前路面是否为不平路面进行显示。另外，在路面状况显示装置160中，可以根据所述坡/坑参数计算装置的确定结果，对坑型路面或者坡型路面的位置、以及该坑型路面或坡型路面是否为危险路面进行显示。 

本发明特别适合于为车辆识别野外道路中的可行路面和不平路面，并对不平路面进行提示。根据本发明，如果当前车体行驶状况不适合前方某些坡/坑型路面时，自动预警并显示危险区域(危险路面)。 

尽管以上已经结合本发明的优选实施例示出了本发明，但是本领域的技术人员将会理解，在不脱离本发明的精神和范围的情况下，可以对本发明进行各种修改、替换和改变。因此，本发明不应由上述实施例来限定，而应由所附权利要求及其等价物来限定。 

Claims (8)

1.一种不平路面驾驶辅助设备，包括：

具有双目摄像头系统的路面信息采集装置，利用双目摄像头系统对车辆的前方路面进行拍摄以采集前方路面视频信息；以及

不平路面判断装置，将路面信息采集装置所采集的前方路面视频信息转化为视差图，利用移动窗口将所述视差图分割为一系列子视差图，并根据V视差图生成准则将分割后的各子视差图转化为各子V视差图，对各个子V视差图进行线段拟合，拟合出路面映射线段，根据各子V视差图中的所述路面映射线段的端点总数来判断所述前方路面是否为不平路面。

2.根据权利要求1所述的不平路面驾驶辅助设备，其中，

如果并非每个子V视差图中的所述路面映射线段的端点总数均为2，则所述不平路面判断装置判断所述前方路面为不平路面，而如果每个子V视差图中的所述路面映射线段的端点总数均为2，则所述不平路面判断装置判断所述前方路面为平坦路面。

3.根据权利要求1所述的不平路面驾驶辅助设备，还包括：

路面状况通知装置，根据所述不平路面判断装置的判断结果，对所述前方路面是否为不平路面进行通知。

4.根据权利要求1所述的不平路面驾驶辅助设备，还包括：

摄像头信息采集装置，用于采集所述双目摄像头系统的摄像头相关参数；

车体数据采集装置，用于采集包括车辆宽度、车辆的底盘高度、以及车辆的最大可爬行坡度在内的车体数据；以及

坡/坑参数计算装置，在由所述不平路面判断装置判断所述前方路面为不平路面的情况下，利用小于或等于与所述车体数据采集装置所采集的所述车辆宽度相对应的尺寸的窗长的移动窗口，将所述视差图重新分割为一系列子视差图，并根据V视差图生成准则将分割后的各子视差图转化为各子V视差图，对各个子V视差图进行线段拟合，拟合出路面映射线段，根据各子V视差图中的所述路面映射线段的端点参数信息、以及所述摄像头信息采集装置所采集的摄像头相关参数，来确定与该子V视差图中的所述路面映射线段相对应的路面是否为坑型路面或者坡型路面，如果为坑型路面，则计算该坑型路面的可视坑深，如果为坡型路面，则计算该坡型路面的可视坡度，通过将计算出的坑型路面的可视坑深与所述车体数据采集装置采集的车辆的底盘高度进行比较，或者将计算出的坡型路面的可视坡度与所述车体数据采集装置所采集的车辆的最大可爬行坡度或进行比较，来确定该坑型路面或坡型路面是否为车辆无法安全通过的危险路面。

5.根据权利要求4所述的不平路面驾驶辅助设备，还包括：

路面状况通知装置，根据所述坡/坑参数计算装置的计算结果，对坑型路面或者坡型路面的位置、以及该坑型路面或坡型路面是否为危险路面进行通知。

6.根据权利要求4所述的不平路面驾驶辅助设备，其中，

所述路面映射线段的端点参数信息包括所述路面映射线段的各端点的坐标信息和对应的视差值。

7.根据权利要求6所述的不平路面驾驶辅助设备，其中，

所述坡/坑参数计算装置根据所述路面映射线段的各端点的坐标信息和对应的视差值、以及所述摄像头信息采集装置所采集的摄像头参数，计算所述路面映射线段的各端点对应的实际高度，如果路面映射线段的相邻两个端点的实际高度差大于零，则确定与该路面映射线段相对应的路面是坡型路面，如果路面映射线段的相邻两个端点的高度差小于零，则确定与该路面映射线段相对应的路面是坑型路面。

8.一种用于不平路面驾驶辅助的方法，包括以下步骤：

利用双目摄像头系统对车辆的前方路面进行拍摄以采集前方路面视频信息；以及

将所采集的前方路面视频信息转化为视差图，利用移动窗口将所述视差图分割为一系列子视差图，并根据V视差图生成准则将分割后的各子视差图转化为各子V视差图，对各个子V视差图进行线段拟合，拟合出路面映射线段，根据各子V视差图中的所述路面映射线段的端点总数来判断所述前方路面是否为不平路面。

Images