CN108151681A - 一种基于双目相机的车载路面不平度识别系统及方法 - Google Patents

Abstract

本发明提供了一种基于双目相机的车载路面不平度识别系统，包括：图像获取模块，获取车辆前方路面的双目图像；图像处理模块，将接收的双目图像进行三维重建并对可通行的点云进行提取；车速采集模块，采集车速信号；方向盘转角采集模块，采集方向盘转角信号；不平度计算模块，基于接收的可通行点云、车速信号和方向盘转角信号计算路面不平度，并基于所计算的路面不平度确定路面不平度等级，以及将相应的路面不平度等级指令发送给提醒模块；提醒模块，根据所接收的路面不平度等级指令来输出相应的提醒信号。本发明能够提前获取路面的不平度信息，给驾驶员进行提醒，确保了驾驶安全性，并可将该信号提供给其他电子控制系统，提高车辆路面适应性。

Description

一种基于双目相机的车载路面不平度识别系统及方法

技术领域

本发明涉及一种车载路面不平度识别系统及方法，具体涉及一种基于双目相机的车载路面不平度识别系统及方法。

背景技术

车辆在行驶过程中会受到路面颠簸起伏的影响，引起车轮或车身的垂向振动，直接影响整车的平顺性和驾驶员的舒适性；并且由于车轮垂直载荷和接地面积不稳定，也会影响各车轮的地面附着力，进而对车辆的制动性和操纵稳定性有很大影响；电子空气悬架(ECAS)、制动防抱死系统(ABS)、电子稳定性系统(ESC)等系统也会针对路面不平度的变化调整控制模式或参数，提高其在不平路面的适应性。

现有系统一般通过电子空气悬架系统(ECAS)的悬架高度信号或电子稳定性系统(ESP)的轮速信号的时域/频域特征进行识别。但是这些识别方法只能在车辆于不平路面上行驶过一段距离之后才能识别到路面变化，具有一定的滞后性，而在识别过程中不平路面已经对驾驶员和车辆产生了不利的影响。

因此，提前获取路面的不平度信息，给驾驶员进行提醒，并将该信号提供给其他电子控制系统，是提升车辆驾驶体验和整车电控系统适应性的关键。

发明内容

针对上述技术问题，本发明提供一种能够提前获取路面的不平度信息，给驾驶员进行提醒的基于双目相机的车载路面不平度识别系统及方法。

本发明采用的技术方案为：

本发明一实施例提供一种基于双目相机的车载路面不平度识别系统，包括图像获取模块、图像处理模块、车速采集模块、方向盘转角采集模块、不平度计算模块和提醒模块；所述图像获取模块为双目相机，用于获取车辆前方路面的双目图像并将获取的双目图像发送给所述图像处理模块；所述图像处理模块用于将接收的所述双目图像进行三维重建并对可通行的点云进行提取，以及将提取的可通行点云发送给所述不平度计算模块；所述车速采集模块用于采集车速信号并发送给所述不平度计算模块；所述方向盘转角采集模块用于采集方向盘转角信号并发送给所述不平度计算模块；所述不平度计算模块用于基于接收的可通行点云、车速信号和方向盘转角信号计算路面不平度，并基于所计算的路面不平度确定路面不平度等级，以及将相应的路面不平度等级指令发送给所述提醒模块；所述提醒模块用于根据所接收的路面不平度等级指令来输出相应的提醒信号。

可选地，还包括相机标定模块，用于对所述双目相机进行标定以获取相机标定参数并发送给所述图像处理模块；所述相机标定参数包括两个相机间的基线距离、镜头焦距、旋转矩阵、平移向量、镜头畸变系数和光心偏移位置。

可选地，所述图像处理模块用于将接收的所述双目图像进行三维重建并对可通行的点云进行提取具体包括：利用预设校正方法和所获取的相机标定参数对所接收的双目图像进行校正，得到校正后的双目图像；利用预设匹配方法对校正后的双目图像进行立体匹配，得到双目图像的图像像素点之间的对应关系；基于所述双目图像的图像像素点之间的对应关系以及相机标定参数，计算经立体匹配后的双目图像在相应坐标系中的三维坐标；其中，双目图像的相应坐标系是以该图像对应相机的光心为原点，Z轴垂直成像平面向外，X轴沿成像平面水平向右，Y轴沿成像平面竖直向下的坐标系；将所计算的双目图像的三维坐标进行坐标转换，使得相机坐标系下的三维坐标点云转换为车体坐标系下的点云；其中，车体坐标系是以车辆后轴中心为原点，X轴向前，Y轴向左，Z轴垂直向上的坐标系；将车体坐标系的X轴中小于预设距离阈值的三维点云在X-Y平面内划分为预定规格的栅格，将所述栅格内Z向高度最大值与最小值之差不大于预设阈值的栅格内的点云进行提取，得到可通行点云。

可选地，所述不平度计算模块用于基于接收的可通行点云、车速信号和方向盘转角信号计算路面不平度，并基于所计算的路面不平度确定路面不平度等级，具体包括：利用预设计算公式，基于接收的可通行点云、车速信号和方向盘转角信号计算车辆的行驶区域，得到行驶区域点云；基于所述行驶区域点云计算路面不平度方差；基于所计算的路面不平度方差和预设判定方式确定路面不平度等级。

可选地，基于所述行驶区域点云计算路面不平度方差包括：基于所述行驶区域点云和预设算法，确定拟合的基准平面；计算所述行驶区域点云中的每个采样点到所述基准平面的距离；将每个采样点到所述基准平面的距离进行平方之后进行求和，得到距离平方和值；将所得到的距离平方和值除以所述行驶区域点云中的采样点总数，得到所述路面不平度方差。

可选地，所述路面不平度等级包括第一等级、第二等级、第三等级和第四等级；其中，基于所计算的路面不平度方差和预设判定方式确定路面不平度等级包括：当当前路面不平度等级为第一等级时，如果所计算的路面不平度方差大于第一预设角度门限下限值时，则将当前的路面不平度等级确定为第二等级；当当前路面不平度等级为第二等级时，如果所计算的路面不平度方差大于第二预设角度门限下限值时，则将当前的路面不平度等级确定为第三等级；如果所计算的路面不平度方差小于第一预设角度门限上限值时，则将当前的路面不平度等级确定为第一等级；当当前路面不平度等级为第三等级时，如果所计算的路面不平度方差大于第三预设角度门限值时，则将当前的路面不平度等级确定为第四等级；如果所计算的路面不平度方差小于第二预设角度门限上限值时，则将当前的路面不平度等级确定为第二等级；当当前路面不平度等级为第四等级时，如果所计算的路面不平度方差大于第四预设角度门限值时，则将当前的路面不平度等级确定为第三等级。

本发明另一实施例提供一种车载路面不平度识别方法，包括：获取车辆前方路面的双目图像；接收所述双目图像并对所接收的双目图像进行三维重建并对可通行的点云进行提取；采集车速信号和方向盘转角信号；接收所述可通行点云、车速信号和方向盘转角信号并基于所接收的可通行点云、车速信号和方向盘转角信号计算路面不平度，并基于所计算的路面不平度确定路面不平度等级，以及发送相应的路面不平度等级指令；接收所述路面不平度等级指令并基于所接收的路面不平度等级指令来输出相应的提醒信号。

可选地，还包括：对所述双目相机进行标定以获取相机标定参数；所述相机标定参数包括两个相机间的基线距离、镜头焦距、旋转矩阵、平移向量、镜头畸变系数和光心偏移位置。

可选地，所述接收所述双目图像并对所接收的双目图像进行三维重建并对可通行的点云进行提取具体包括：利用预设校正方法和所获取的相机标定参数对所接收的双目图像进行校正，得到校正后的双目图像；利用预设匹配方法对校正后的双目图像进行立体匹配，得到双目图像的图像像素点之间的对应关系；基于所述双目图像的图像像素点之间的对应关系以及相机标定参数，计算经立体匹配后的双目图像在相应坐标系中的三维坐标；其中，双目图像的相应坐标系是以该图像对应相机的光心为原点，Z轴垂直成像平面向外，X轴沿成像平面水平向右，Y轴沿成像平面竖直向下的坐标系；将所计算的双目图像的三维坐标进行坐标转换，使得相机坐标系下的三维坐标点云转换为车体坐标系下的点云；其中，车体坐标系是以车辆后轴中心为原点，X轴向前，Y轴向左，Z轴垂直向上的坐标系；将车体坐标系的X轴中小于预设距离阈值的三维点云在X-Y平面内划分为预定规格的栅格，将所述栅格内Z向高度最大值与最小值之差不大于预设阈值的栅格内的点云进行提取，得到可通行点云。

可选地，所述接收所述可通行点云、车速信号和方向盘转角信号并基于所接收的可通行点云、车速信号和方向盘转角信号计算路面不平度，并基于所计算的路面不平度确定路面不平度等级，具体包括：利用预设计算公式，基于接收的可通行点云、车速信号和方向盘转角信号计算车辆的行驶区域，得到行驶区域点云；基于所述行驶区域点云计算路面不平度方差；基于所计算的路面不平度方差和预设判定方式确定路面不平度等级。

本发明提供的车载路面不平度识别系统及方法，基于双目相机直接获取路面三维点云数据，而不依赖车辆悬架振动信号进行间接分析，不受车辆自身振动等杂波干扰；此外，该系统和方法关注车辆前方的行驶区域内路面不平度，相比基于车辆悬架振动信号分析路面不平度的方法，可提前获取路面颠簸信息，为悬架等部件特性调整提供更充足的时间，进一步提高车辆平顺性。

附图说明

图1为本发明实施例提供的车载路面不平度识别系统的结构示意图；

图2为相机坐标系和车体坐标系关系示意图；

图3为车辆前方行驶区域示意图；

图4为本发明实施例提供的车载路面不平度识别方法的流程示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

图1为本发明实施例提供的车载路面不平度识别系统的结构示意图。如图1所示，本发明实施例提供一种基于双目相机的车载路面不平度识别系统，包括图像获取模块1、图像处理模块2、车速采集模块3、方向盘转角采集模块4、不平度计算模块5和提醒模块6。所述图像获取模块1为双目相机，用于获取车辆前方路面的双目图像并将获取的双目图像发送给所述图像处理模块2；所述图像处理模块2用于将接收的所述双目图像进行三维重建并对可通行的点云进行提取，以及将提取的可通行点云发送给所述不平度计算模块5；所述车速采集模块3用于采集车速信号并发送给所述不平度计算模块5；所述方向盘转角采集模块4用于采集方向盘转角信号并发送给所述不平度计算模块5；所述不平度计算模块5用于基于接收的可通行点云、车速信号和方向盘转角信号计算路面不平度，并基于所计算的路面不平度确定路面不平度等级，以及将相应的路面不平度等级指令发送给所述提醒模块6；所述提醒模块6用于根据所接收的路面不平度等级指令来输出相应的提醒信号。

具体地，本发明中使用的双目相机包含左右两个相同型号近似平行安装的相机，以20cm的基线距平行固定，将该双目相机安装在车辆前挡风玻璃中间区域，采集前方路面双目图像。图像处理模块2可为FPGA或者具有图像处理功能的集成电路，可集成在图像获取模块1中，车速采集模块3可采用车速传感器，方向盘转角采集模块4可采用方向盘转角传感器，不平度确定模块5可封装在车辆控制器中，也可为单独设置的具有控制和处理功能的控制器，或者是在车辆原有的悬架控制器等控制设备中集成具有相应功能的软件实现，提醒模块6安装在车辆仪表板上，包括输出提醒信号的提示灯或者声音输出装置，根据所述路面不平度等级指令来输出对应于所述路面不平度等级指令的提醒信号。

此外，本发明的基于双目相机的车载路面不平度识别系统还包括相机标定模块(未图示)，用于对所述双目相机进行标定以获取相机标定参数并发送给所述图像处理模块；所述相机标定参数包括两个相机间的基线距离、镜头焦距和光心偏移位置。具体地，相机标定模块用于对双目相机进行离线标定。相机首次安装后，需要通过相机标定获取相机参数，用于图像点的三维重建计算。可通过OpenCV函数库中提供的棋盘格双目相机标定方法获得两相机间的基线距离为b，镜头焦距为f，左相机光心偏移位置c_x和c_y、右相机相对于左相机的旋转矩阵R_l、平移向量T_l，以及两相机的镜头畸变系数矩阵D_l，D_r等相机参数，首次安装标定完成后，保证两相机间应无相对位置变化则无需重复该标定过程。

进一步地，所述图像处理模块用于将接收的所述双目图像进行三维重建并对可通行的点云进行提取具体包括以下步骤：

S110、利用预设校正方法和所获取的相机标定参数对所接收的双目图像进行校正，得到校正后的双目图像。

在该步骤中，图像处理模块2从图像获取模块1获取同步采集的左右相机原始图像，然后利用BOUGUET双目极线校正，得到校正后的双目图像。BOUGUET双目极线校正属于本领域常见的校正方法，本发明省略对此的详细描述。

S111、利用预设匹配方法对校正后的双目图像进行立体匹配，得到双目图像的图像像素点之间的对应关系。

该步骤中，可采用半全局立体匹配算法对校正后的双目图像进行立体匹配，从而得到双目图像之间的对应关系，例如得到校正后左图像中像素点P(x₁,y₁)在校正后右图像中对应点位置P’(x₂,y₁)。半全局立体匹配算法属于本领域常见的图像匹配算法，本发明省略对此的详细描述。

S112、基于所述双目图像的图像像素点之间的对应关系以及相机标定参数，计算经立体匹配后的双目图像在相应坐标系中的三维坐标；其中，双目图像的相应坐标系是以该图像对应相机的光心为原点，Z轴垂直成像平面向外，X轴沿成像平面水平向右，Y轴沿成像平面竖直向下的坐标系。

以校正后左图像中像素点P(x₁,y₁)为例，基于得到的双目图像之间的对应关系以及相机标定参数，该像素点P在以左相机光心为原点，Z轴垂直成像平面向外，X轴沿成像平面水平向右，Y轴沿成像平面竖直向下的左相机坐标系(如图2所示)中的三维坐标(X_c,Y_c,Z_c)即可通过下述公式(1)获得：

类似地，可对校正后的左相机坐标系和右相机坐标系的所有像素点进行立体匹配。

S113、将所计算的双目图像的三维坐标进行坐标转换，使得相机坐标系下的三维坐标点云转换为车体坐标系下的点云；其中，车体坐标系是以车辆后轴中心为原点，X轴向前，Y轴向左，Z轴垂直向上的坐标系(如图2所示)。

在该步骤中，将步骤S103中得到的三维坐标进行坐标变换，将三维坐标从相机坐标系转换到以车辆后轴中心为原点，X轴向前，Y轴向左，Z轴垂直向上的车体坐标系下的点云，如下述公式(2)所示：

其中，R和T分别为与相机安装位置和角度相关的旋转矩阵和平移矩阵，其值可通过相机安装后静态采集图像中采集多组不在同一平面内的特征点的相机坐标[X_{c_s} Y_{c_s}Z_{c_s}](其中，X_{c_s}，Y_{c_s}，Z_{c_s}分别为多组采集点的X坐标、Y坐标和Z坐标构成的列向量)和车体坐标数据[X_{v_s} Y_{v_s} Z_{v_s}]，使用最小二乘法进行参数求解，坐标系变换过后即可获得车体坐标系下的点云Ω_o。最小二乘的求解方法如下：

VecXv＝inv([X_{v_s} Y_{v_s} Z_{v_s} I_{v_s}]^T*[X_{v_s} Y_{v_s} Z_{v_s} I_{v_s}])*[X_{v_s} Y_{v_s} Z_{v_s} I_{v_s}]^T*X_{c_s}

VecYv＝inv([X_{v_s} Y_{v_s} Z_{v_s} I_{v_s}]^T*[X_{v_s} Y_{v_s} Z_{v_s} I_{v_s}])*[X_{v_s} Y_{v_s} Z_{v_s} I_{v_s}]^T*Y_{c_s}

VecZv＝inv([X_{v_s} Y_{v_s} Z_{v_s} I_{v_s}]^T*[X_{v_s} Y_{v_s} Z_{v_s} I_{v_s}])*[X_{v_s} Y_{v_s} Z_{v_s} I_{v_s}]^T*Z_{c_s}

S114、将车体坐标系的X轴中小于预设距离阈值的三维点云在X-Y平面内划分为预定规格的栅格，将所述栅格内Z向高度最大值与最小值之差不大于预设阈值的栅格内的点云进行提取，得到可通行点云。

由于从双目相机获取的原始点云中包含较多的周边复杂背景，其中存在非地面点的障碍，需要由图像处理模块2对障碍点进行滤除，提取有效可通行点云。在本发明的一个示例中，将车体坐标系中的X_v小于预设距离阈值T_hr的三维点云在X-Y平面内，划分为0.3×3.3m单元的栅格，对于栅格内Z向高度最大值与最小值之差大于阈值Th(本实施例取0.25m)的栅格，认为该栅格存在不可通行的障碍，从车体坐标系原始点云Ω_o中剔除该栅格内的点，最后得到可通行的点云Ω_v，即将所述栅格内Z向高度最大值与最小值之差不大于预设阈值的栅格内的点云进行提取，将提取的可通行点云发送至给不平度计算模块5。

进一步地，所述不平度计算模块5用于基于接收的可通行点云、车速信号和方向盘转角信号计算路面不平度，并基于所计算的路面不平度确定路面不平度等级，具体包括以下步骤：

S120、利用预设计算公式，基于接收的可通行点云、车速信号和方向盘转角信号计算车辆的行驶区域，得到行驶区域点云。

不平度计算模块5获得可通行点云Ω_v后，进一步根据车辆状态信息，估算车辆的行驶区域，从而计算更为精确符合驾驶员意图的前方路面点云。具体地，不平度计算模块5从车速采集模块3和方向盘转角采集模块4获取当前车速u和方向盘转角δ_sw后，根据下式(3)计算车辆前方行驶区域：

其中，T_hr为关注区域的距离阈值，本实施例中取20m；K为车辆不足转向特性的稳定性因数，本实施例中取0.0006s²/m²；L为车辆轴距，本实施例中取取2.97m；i_steer为转向比，本实施例中取13.75；W为车辆宽度，本实施例中取1.875m。对于可通行点云Ω_v中X，Y值满足上式(3)条件的点则将其放入最终行驶区域点云Ω_r中，用于路面不平度计算，行驶区域的示意图如图3所示，图3中规定了车辆左转时为正方向。

S121、基于所述行驶区域点云计算路面不平度方差。

该步骤具体包括：

(1)基于所述行驶区域点云和预设算法，确定拟合的基准平面；

(2)计算所述行驶区域点云中的每个采样点到所述基准平面的距离；

(3)将每个采样点到所述基准平面的距离进行平方之后进行求和，得到距离平方和值；

(4)将所得到的距离平方和值除以所述行驶区域点云中的采样点总数，得到所述路面不平度方差。

具体地，不平度计算模块5从图像处理模块2获得行驶区域点云Ω_r＝{(x_i,y_i,z_i)i∈[1,n]}后，首先采用最小二乘法拟合获得拟合的地平面，即基准平面，如下式(4)所示：

其中pinv()表示通过奇异值分解(Singular Value Decomposition：SVD)方法求矩阵的伪逆矩阵，A、B、D分别为平面拟合系数，通过上式(4)计算则可获得空间平面方程为Ax+By-z+D＝0的基准平面。

然后根据公式计算行驶区域点云中的每个采样点(x_i,y_i,z_i)到所述基准平面的距离；

接着将计算的每个采样点到基准平面的距离进行平方之后进行求和，得到距离平方和值，并将所得到的距离平方和值除以所述行驶区域点云中的采样点总数，得到所述路面不平度方差，即可通过下述公式(5)来计算路面不平度方差：

其中，Inq为距离平方和的均值，n表示行驶区域点云中的采样点总数。

S122、基于所计算的路面不平度方差和预设判定方式确定路面不平度等级。

在本发明实施例中，路面不平度等级可包括第一等级、第二等级、第三等级和第四等级，例如由低到高分为0、1、2、3四个等级。具体地，步骤S122具体可包括：

当当前路面不平度等级为第一等级时，如果所计算的路面不平度方差大于第一预设角度门限下限值时，则将当前的路面不平度等级确定为第二等级；当当前路面不平度等级为第二等级时，如果所计算的路面不平度方差大于第二预设角度门限下限值时，则将当前的路面不平度等级确定为第三等级；如果所计算的路面不平度方差小于第一预设角度门限上限值时，则将当前的路面不平度等级确定为第一等级；当当前路面不平度等级为第三等级时，如果所计算的路面不平度方差大于第三预设角度门限值时，则将当前的路面不平度等级确定为第四等级；如果所计算的路面不平度方差小于第二预设角度门限上限值时，则将当前的路面不平度等级确定为第二等级；当当前路面不平度等级为第四等级时，如果所计算的路面不平度方差大于第四预设角度门限值时，则将当前的路面不平度等级确定为第三等级。

具体地，按照如下方式来实时确定路面不平度等级R：

当R＝0时，如果Inq>Thrs01，则R＝1；

当R＝1时，如果Inq>Thrs12，R＝2；如果Inq<Thrs10，则R＝0；

当R＝2时，如果Inq>Thrs23，R＝3；如果Inq<Thrs21，则R＝1；

当R＝3时，如果Inq<Thrs32，则R＝2；

其中，Thrs01、Thrs10、Thrs12、Thrs21、Thrs23、Thrs32为等级跳转的预设角度门限值，分别对应第一预设角度门限下限值、第一预设角度门限上限值、第二预设角度门限下限值、第二预设角度门限上限值、第三预设角度门限值和第四预设角度门限值，它们之间的关系为：Thrs23>Thrs32>Thrs12>Thrs21>Thrs01>Thrs10。本发明的一个示例中，各门限值的取值分别为：Thrs10＝1.444×10^-5，Thrs01＝1.6×10^-5，Thrs21＝5.776×10^-5，Thrs12＝6.084×10^-5,Thrs32＝2.310×10^-4，Thrs23＝2.372×10^-4。

在确定路面不平度等级之后，不平度计算模块5会将相应的路面不平度等级指令发送给提醒模块6，以输出相应的提醒信号。在本发明的一个示意性实施例中，提醒模块6可包括3个指示灯。对应于接收到的不同的路面不平度等级指令，提醒模块6的相应操作可如下所示：

当提醒模块6接收到对应于R＝0的路面不平度等级指令时，控制3个指示灯处于关闭状态，即3个灯全灭；

当提醒模块6接收到对应于R＝1的路面不平度等级指令时，控制3个指示灯中的一个处于开启状态，即亮1个灯；

当提醒模块6接收到对应于R＝2的路面不平度等级指令时，控制3个指示灯中的2个处于开启状态，即亮2个灯；

当提醒模块6接收到对应于R＝3的路面不平度等级指令时，控制3个指示灯全部处于开启状态，即3个灯全亮。

基于同一发明构思，本发明实施例还提供了一种车载路面不平度识别方法，由于该方法所解决问题的原理与前述识别系统相似，因此该方法的实施可以参见前述系统的实施，重复之处不再赘述。

如图4所示，本发明实施例提供的车载路面不平度识别方法，包括以下步骤：

S210、获取车辆前方路面的双目图像。

S220、接收所述双目图像并对所接收的双目图像进行三维重建并对可通行的点云进行提取。

S230、采集车速信号和方向盘转角信号。

S240、接收所述可通行点云、车速信号和方向盘转角信号并基于所接收的可通行点云、车速信号和方向盘转角信号计算路面不平度，并基于所计算的路面不平度确定路面不平度等级，以及发送相应的路面不平度等级指令。

S250、接收所述路面不平度等级指令并基于所接收的路面不平度等级指令来输出相应的提醒信号。

步骤S210和S230的执行没有严格的顺序。

进一步地，本实施例的方法还包括：对所述双目相机进行标定以获取相机标定参数；所述相机标定参数包括两个相机间的基线距离、镜头焦距、旋转矩阵、平移向量、镜头畸变系数和光心偏移位置。

进一步地，步骤S220具体包括以下步骤：

S221、利用预设校正方法和所获取的相机标定参数对所接收的双目图像进行校正，得到校正后的双目图像。

该步骤中，可利用BOUGUET双目极线校正，得到校正后的双目图像。

S222、利用预设匹配方法对校正后的双目图像进行立体匹配，得到双目图像的图像像素点之间的对应关系。

该步骤中，可采用半全局立体匹配算法对校正后的双目图像进行立体匹配，从而得到双目图像之间的对应关系，例如得到校正后左图像中像素点P(x₁,y₁)在校正后右图像中对应点位置P’(x₂,y₁)。

S223、基于所述双目图像的图像像素点之间的对应关系以及相机标定参数，计算经立体匹配后的双目图像在相应坐标系中的三维坐标；其中，双目图像的相应坐标系是以该图像对应相机的光心为原点，Z轴垂直成像平面向外，X轴沿成像平面水平向右，Y轴沿成像平面竖直向下的坐标系。

该步骤的具体内容可参见前述实施例中的步骤S112。

S224、将所计算的双目图像的三维坐标进行坐标转换，使得相机坐标系下的三维坐标点云转换为车体坐标系下的点云；其中，车体坐标系是以车辆后轴中心为原点，X轴向前，Y轴向左，Z轴垂直向上的坐标系。

该步骤的具体内容可参见前述实施例中的步骤S113。

S225、将车体坐标系的X轴中小于预设距离阈值的三维点云在X-Y平面内划分为预定规格的栅格，将所述栅格内Z向高度最大值与最小值之差不大于预设阈值的栅格内的点云进行提取，得到可通行点云。

该步骤的具体内容可参见前述实施例中的步骤S114。

进一步地，步骤S240具体包括以下步骤：

S241、利用预设计算公式，基于接收的可通行点云、车速信号和方向盘转角信号计算车辆的行驶区域，得到行驶区域点云。

S242、基于所述行驶区域点云计算路面不平度方差。

该步骤具体包括：

(1)基于所述行驶区域点云和预设算法，确定拟合的基准平面；

(2)计算所述行驶区域点云中的每个采样点到所述基准平面的距离；

(3)将每个采样点到所述基准平面的距离进行平方之后进行求和，得到距离平方和值；

(4)将所得到的距离平方和值除以所述行驶区域点云中的采样点总数，得到所述路面不平度方差。

S243、基于所计算的路面不平度方差和预设判定方式确定路面不平度等级。

在本发明中，所述路面不平度等级可包括第一等级、第二等级、第三等级和第四等级；其中：

当当前路面不平度等级为第一等级时，如果所计算的路面不平度方差大于第一预设角度门限下限值时，则将当前的路面不平度等级确定为第二等级；

当当前路面不平度等级为第二等级时，如果所计算的路面不平度方差大于第二预设角度门限下限值时，则将当前的路面不平度等级确定为第三等级；如果所计算的路面不平度方差小于第一预设角度门限上限值时，则将当前的路面不平度等级确定为第一等级；

当当前路面不平度等级为第三等级时，如果所计算的路面不平度方差大于第三预设角度门限值时，则将当前的路面不平度等级确定为第四等级；如果所计算的路面不平度方差小于第二预设角度门限上限值时，则将当前的路面不平度等级确定为第二等级；

当当前路面不平度等级为第四等级时，如果所计算的路面不平度方差大于第四预设角度门限值时，则将当前的路面不平度等级确定为第三等级。

步骤S241至S243的具体内容可参见前述实施例的步骤S120至S122。

上述各步骤可通过前述的各模块来实现，在此不再赘述。并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种基于双目相机的车载路面不平度识别系统，其特征在于，包括图像获取模块、图像处理模块、车速采集模块、方向盘转角采集模块、不平度计算模块和提醒模块；

所述图像获取模块为双目相机，用于获取车辆前方路面的双目图像并将获取的双目图像发送给所述图像处理模块；

所述图像处理模块用于将接收的所述双目图像进行三维重建并对可通行的点云进行提取，以及将提取的可通行点云发送给所述不平度计算模块；

所述车速采集模块用于采集车速信号并发送给所述不平度计算模块；

所述方向盘转角采集模块用于采集方向盘转角信号并发送给所述不平度计算模块；

所述不平度计算模块用于基于接收的可通行点云、车速信号和方向盘转角信号计算路面不平度，并基于所计算的路面不平度确定路面不平度等级，以及将相应的路面不平度等级指令发送给所述提醒模块；

所述提醒模块用于根据所接收的路面不平度等级指令来输出相应的提醒信号。

2.根据权利要求1所述的系统，其特征在于，还包括相机标定模块，用于对所述双目相机进行标定以获取相机标定参数并发送给所述图像处理模块；所述相机标定参数包括两个相机间的基线距离、镜头焦距、旋转矩阵、平移向量、镜头畸变系数和光心偏移位置。

3.根据权利要求2所述的系统，其特征在于，所述图像处理模块用于将接收的所述双目图像进行三维重建并对可通行的点云进行提取具体包括：

利用预设校正方法和所获取的相机标定参数对所接收的双目图像进行校正，得到校正后的双目图像；

利用预设匹配方法对校正后的双目图像进行立体匹配，得到双目图像的图像像素点之间的对应关系；

基于所述双目图像的图像像素点之间的对应关系以及相机标定参数，计算经立体匹配后的双目图像在相应坐标系中的三维坐标；其中，双目图像的相应坐标系是以该图像对应相机的光心为原点，Z轴垂直成像平面向外，X轴沿成像平面水平向右，Y轴沿成像平面竖直向下的坐标系；

将所计算的双目图像的三维坐标进行坐标转换，使得相机坐标系下的三维坐标点云转换为车体坐标系下的点云；其中，车体坐标系是以车辆后轴中心为原点，X轴向前，Y轴向左，Z轴垂直向上的坐标系；

将车体坐标系的X轴中小于预设距离阈值的三维点云在X-Y平面内划分为预定规格的栅格，将所述栅格内Z向高度最大值与最小值之差不大于预设阈值的栅格内的点云进行提取，得到可通行点云。

4.根据权利要求3所述的系统，其特征在于，所述不平度计算模块用于基于接收的可通行点云、车速信号和方向盘转角信号计算路面不平度，并基于所计算的路面不平度确定路面不平度等级，具体包括：

利用预设计算公式，基于接收的可通行点云、车速信号和方向盘转角信号计算车辆的行驶区域，得到行驶区域点云；

基于所述行驶区域点云计算路面不平度方差；

基于所计算的路面不平度方差和预设判定方式确定路面不平度等级。

5.根据权利要求4所述的系统，其特征在于，基于所述行驶区域点云计算路面不平度方差包括：

基于所述行驶区域点云和预设算法，确定拟合的基准平面；

计算所述行驶区域点云中的每个采样点到所述基准平面的距离；

将每个采样点到所述基准平面的距离进行平方之后进行求和，得到距离平方和值；

将所得到的距离平方和值除以所述行驶区域点云中的采样点总数，得到所述路面不平度方差。

6.根据权利要求4所述的系统，其特征在于，所述路面不平度等级包括第一等级、第二等级、第三等级和第四等级；其中，基于所计算的路面不平度方差和预设判定方式确定路面不平度等级包括：

当当前路面不平度等级为第一等级时，如果所计算的路面不平度方差大于第一预设角度门限下限值时，则将当前的路面不平度等级确定为第二等级；

当当前路面不平度等级为第二等级时，如果所计算的路面不平度方差大于第二预设角度门限下限值时，则将当前的路面不平度等级确定为第三等级；如果所计算的路面不平度方差小于第一预设角度门限上限值时，则将当前的路面不平度等级确定为第一等级；

当当前路面不平度等级为第三等级时，如果所计算的路面不平度方差大于第三预设角度门限值时，则将当前的路面不平度等级确定为第四等级；如果所计算的路面不平度方差小于第二预设角度门限上限值时，则将当前的路面不平度等级确定为第二等级；

当当前路面不平度等级为第四等级时，如果所计算的路面不平度方差大于第四预设角度门限值时，则将当前的路面不平度等级确定为第三等级。

7.一种车载路面不平度识别方法，其特征在于，包括：

获取车辆前方路面的双目图像；

接收所述双目图像并对所接收的双目图像进行三维重建并对可通行的点云进行提取；

采集车速信号和方向盘转角信号；

接收所述可通行点云、车速信号和方向盘转角信号并基于所接收的可通行点云、车速信号和方向盘转角信号计算路面不平度，并基于所计算的路面不平度确定路面不平度等级，以及发送相应的路面不平度等级指令；

接收所述路面不平度等级指令并基于所接收的路面不平度等级指令来输出相应的提醒信号。

8.根据权利要求7所述的方法，其特征在于，还包括：对所述双目相机进行标定以获取相机标定参数；所述相机标定参数包括两个相机间的基线距离、镜头焦距、旋转矩阵、平移向量、镜头畸变系数和光心偏移位置。

9.根据权利要求8所述的方法，其特征在于，所述接收所述双目图像并对所接收的双目图像进行三维重建并对可通行的点云进行提取具体包括：

利用预设校正方法和所获取的相机标定参数对所接收的双目图像进行校正，得到校正后的双目图像；

利用预设匹配方法对校正后的双目图像进行立体匹配，得到双目图像的图像像素点之间的对应关系；

基于所述双目图像的图像像素点之间的对应关系以及相机标定参数，计算经立体匹配后的双目图像在相应坐标系中的三维坐标；其中，双目图像的相应坐标系是以该图像对应相机的光心为原点，Z轴垂直成像平面向外，X轴沿成像平面水平向右，Y轴沿成像平面竖直向下的坐标系；

将所计算的双目图像的三维坐标进行坐标转换，使得相机坐标系下的三维坐标点云转换为车体坐标系下的点云；其中，车体坐标系是以车辆后轴中心为原点，X轴向前，Y轴向左，Z轴垂直向上的坐标系；

将车体坐标系的X轴中小于预设距离阈值的三维点云在X-Y平面内划分为预定规格的栅格，将所述栅格内Z向高度最大值与最小值之差不大于预设阈值的栅格内的点云进行提取，得到可通行点云。

10.根据权利要求7所述的方法，其特征在于，所述接收所述可通行点云、车速信号和方向盘转角信号并基于所接收的可通行点云、车速信号和方向盘转角信号计算路面不平度，并基于所计算的路面不平度确定路面不平度等级，具体包括：

利用预设计算公式，基于接收的可通行点云、车速信号和方向盘转角信号计算车辆的行驶区域，得到行驶区域点云；

基于所述行驶区域点云计算路面不平度方差；

基于所计算的路面不平度方差和预设判定方式确定路面不平度等级。