CN102490673A - 基于车联网的汽车主动安全控制系统及其控制方法 - Google Patents

Abstract

本发明公开了一种基于车联网的汽车主动安全控制系统，包括安装在车辆上的车载终端及与所述车载终端进行无线通信的车联网管理平台，所述车载终端包括中央处理器以及与所述中央处理器连接的输入设备和输出设备，所述输入设备包括双目摄像机、速度传感器和无线模块，所述输出设备包括报警模块或制动模块，所述无线模块与车联网管理平台之间进行无线通信。本发明还公开了一种基于车联网的汽车主动安全控制方法。本发明充分利用车联网中V2V技术，为车联网终端用户提供防撞预警，包括前方存在车辆时，提供防撞防追尾预警；当旁边车道存在超车时，及时提醒驾驶者是否有撞车危险。本发明提出的系统具有精度高，预警全方位，主动预警，成本低等优点。

Description

基于车联网的汽车主动安全控制系统及其控制方法

技术领域

本发明属于车联网领域，具体涉及一种基于车联网的汽车主动安全控制系统及其控制方法。

背景技术

安全措施可以大略地分为主动安全措施(防止事故发生)和被动安全措施(减少事故后果)。现有的汽车安全措施中，常见的被动安全措施有安全气囊、预紧式安全带、乘员头颈保护系统(WHIPS)，常见的主动安全措施有AWS防碰撞预警系统、TCS牵引力控制系统、VSA车辆稳定性控制系统、ABS防抱死制动系统等。

车联网是未来交通系统的发展方向，它是将先进的信息技术、数据通讯传输技术、电子传感技术、控制技术及计算机技术等有效地集成运用于整个地面交通管理系统而建立的一种在大范围内、全方位发挥作用的，实时、准确、高效的综合交通运输管理系统。其可以有效地利用现有交通设施、减少交通负荷和环境污染、保证交通安全、提高运输效率，因而，日益受到各国的重视。

中国专利第201010592712.9号公开了一种基于双目立体视觉的汽车主动安全控制系统及其控制方法。包括输入设备、输出设备和处理器，输出设备为制动执行器，其要点在于，输入设备包括双目摄像机，速度传感器和制动信息传感器，输入设备、处理器和输出设备顺序电连接，双目摄像机安装于汽车前风挡玻璃内，速度传感器取自原车，一般安装于变速箱内。该技术方案虽然简单易行、处理速度达到实时、测距精度高，满足汽车主动安全方面的需要。但是仍有以下不足：它没有给出旁侧车道存在超车车辆时的安全预警信息。

发明内容

针对现有技术的不足，本发明解决的技术问题是提供一种基于车联网的汽车主动安全控制系统及其控制方法，本发明的控制系统具有精度高、预警全方位的优点。

为解决上述技术问题，本发明的技术方案是这样实现的：一种基于车联网的汽车主动安全控制系统，包括安装在车辆上的车载终端及与所述车载终端进行无线通信的车联网管理平台，尤其是，所述车载终端包括中央处理器以及与所述中央处理器连接的输入设备和输出设备，所述输入设备包括双目摄像机、速度传感器和无线模块，所述输出设备包括报警模块或制动模块，所述无线模块与车联网管理平台之间进行无线通信，所述双目摄像机采集目标车辆的图像信息，中央处理器对该图像信息进行处理并获得本车与目标车辆之间的纵向距离和侧方距离。

优选的，在上述车联网的汽车主动安全控制系统中，所述无线模块与其他车辆之间进行无线通信。

优选的，在上述车联网的汽车主动安全控制系统中，所述报警模块包括光报警、语音报警或画面显示报警。

优选的，在上述车联网的汽车主动安全控制系统中，所述双目摄像机安装于车辆的前方，包括左摄像机和右摄像机，所述左摄像机和右摄像机之间通过固定装置连接成整体。

优选的，在上述车联网的汽车主动安全控制系统中，所述双目摄像机安装于车辆的后方，包括左摄像机和右摄像机，所述左摄像机和右摄像机之间通过固定装置连接成整体。

本发明还公开了一种基于车联网的汽车主动安全控制系统的控制方法，包括如下步骤：

(1)双目摄像机采集目标车辆的三维立体信息；

(2)中央处理器根据三维立体信息计算出与目标车辆之间的纵向距离和侧方距离；

(3)速度传感器获取本车的速度信息，无线模块通过与车联网管理平台或目标车辆通信获取目标车辆的速度信息；

(4)中央处理器根据纵向距离、侧方距离、本车的速度信息以及目标车辆的速度信息判读是否有碰撞或超车危险；

(5)若有碰撞或超车危险，报警模块给出预警或制动模块进行制动。

优选的，在上述车联网的汽车主动安全控制系统的控制方法中，所述步骤(1)中，目标车辆的三维立体信息采集过程包括摄像机标定、图像校正、立体匹配和视差计算。

本发明充分利用车联网中V2V(vehicle to vehicle，车辆间的通信)技术，为车联网终端用户提供防撞预警，包括前方存在车辆时，提供防撞防追尾预警；当旁边车道存在超车时，及时提醒驾驶者是否有撞车危险。本发明提出的系统具有精度高，预警全方位，主动预警，成本低等优点。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1所示为本发明基于车联网的汽车主动安全控制系统的方框原理图；

图2所示为本发明基于车联网的汽车主动安全控制方法的流程图；

图3所示为本发明具体实施例中利用视差求取距离的计算原理示意图；

图4所示为本发明具体实施例中目标车辆距离计算的原理示意图；

图5所示为本发明具体实施例中双目摄像机与目标车辆之间位置关系示意图。

具体实施方式

本发明的目的在于充分利用车联网中V2V(vehicle to vehicle，车辆间的通信)技术，为车联网终端用户提供防撞预警，包括前方存在车辆时，提供防撞防追尾预警；当旁边车道存在超车时，及时提醒驾驶者是否有撞车危险。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行详细的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

参图1所示，本发明实施例公开了一种基于车联网的汽车主动安全控制系统，包括安装在车辆上的车载终端及与所述车载终端进行无线通信的车联网管理平台，所述车载终端包括中央处理器以及与所述中央处理器连接的输入设备和输出设备，所述输入设备包括双目摄像机、速度传感器和无线模块，所述输出设备包括报警模块或制动模块，所述无线模块与车联网管理平台之间进行无线通信，所述双目摄像机采集目标车辆的图像信息，中央处理器对该图像信息进行处理并获得本车与目标车辆之间的纵向距离和侧方距离。

优选的，在上述车联网的汽车主动安全控制系统中，所述无线模块与其他车辆之间进行无线通信。其利用车联网中V2V(vehicle to vehicle，车辆间的通信)技术，可以实现车辆间的信息共享。车辆之间的通信还可以这样实现：在有效的通信范围内(一般针对距离较小的区域)，各车辆也可以通过各自的无线模块彼此通信组成移动自组网络。当某一辆车与原有移动自组网络的车辆之间的距离超过有效的通信范围时，该车辆脱离原有的移动自组网络，并通过无线模块与处于有效通信范围内的其他车辆组成新的移动自组网络。

自组网(Ad-hoc Network)是一种没有骨干网络的条件下，由系统中的通信节点通过分布式协议互联或组织起来的网络系统。移动自组网络(MobileAd-hoc Network)源于军事应用，经过三十多年的研发，应用目标扩大到家庭网络、个人无线通信等广大的民用领域。移动自组网是支持通信节点移动的自组网，它主要是为在野外或无固定基站的地方提供通信服务而提出的。

无线模块的通信方法包括WiFi、Zigbee等。

在上述车联网的汽车主动安全控制系统中，所述报警模块优选包括光报警、语音报警或画面显示报警。所述双目摄像机包括左摄像机和右摄像机，所述左摄像机和右摄像机之间通过固定装置连接成整体。双目摄像机可以安装于车辆的前方，用以测量与前方车辆之间的纵向距离(在车辆行进的方向上与目标车辆间的距离)以及侧方距离(在垂直车辆行进的方向上与目标车辆间的距离)。双目摄像机也可以安装于车辆的后方，用以测量与后方车辆之间的纵向距离以及侧方距离。双目摄像机还可以分别设置在车辆的前方和后方，对车辆前后方的车辆同时进行纵向距离和侧向距离的测量。速度传感器可以采用车辆本身的速度传感器，也可以再单独设置一个速度传感器。

本发明实施例还公开了一种基于车联网的汽车主动安全控制系统的控制方法，包括如下步骤：

(1)双目摄像机采集目标车辆的三维立体信息；

(2)中央处理器根据三维立体信息计算出与目标车辆之间的纵向距离和侧方距离；

(3)速度传感器获取本车的速度信息，无线模块通过与车联网管理平台或目标车辆通信获取目标车辆的速度信息；

(4)中央处理器根据纵向距离、侧方距离、本车的速度信息以及目标车辆的速度信息判读是否有碰撞或超车危险；

(5)若有碰撞或超车危险，报警模块给出预警或制动模块进行制动。

优选的，在上述车联网的汽车主动安全控制系统的控制方法中，所述步骤(1)中，目标车辆的三维立体信息采集过程包括摄像机标定、图像校正、立体匹配和视差计算。

参图2所示，为本发明实施例中基于车联网的汽车主动安全控制方法的流程图。其工作原理为：首先根据固定安装的双目摄像机，进行摄像机的标定，将得到的左右摄像机的内外参数存储为特定的文件。采集同一时刻左右摄像机的两幅图像，读入左右摄像机的参数，图像校正之后对两幅图像进行立体匹配，计算视差值。根据所得到的视差值得到物体的三维立体信息，得到目标车辆距离本车的三维信息；根据所得到的三维信息计算与目标车辆之间的纵向距离和侧方距离；根据当前速度和前方车辆的速度判断是否有碰撞危险，若有碰撞危险则及时给出预警。其流程具体描述如下。

一、摄像机标定

摄像机标定是指利用摄像机所拍摄到的图像来还原空间中的物体。

对左右摄像机分别进行标定，得出左右摄像机的内部参数矩阵、外部参数矩阵以及畸变参数。

内部参数矩阵为 $\left[\begin{array}{cccc}{f}_x& 0& u_0& 0\\ 0& f_y& v_0& 0\\ 0& 0& 1& 0\end{array}\right]$

其中f_x和f_y分别表示x，y轴的有效焦距，u₀和v₀表示以像素为单位的图像的中心坐标。

径向畸变参数为(k₁，k₂，k₃)，切向畸变参数为(p₁，p₂)。

外部参数矩阵为 $\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]$

其中R表示摄像机在世界坐标系中的旋转向量，t＝(T_x，T_y，T_z)表示摄像机在世界坐标系中的平移向量。三个分量分别为x，y，z。

二、图像获取及预处理

1、图像获取

使用装在车辆上的左右摄像机从两个不同角度同时各拍摄一幅图像，取左图像为基准图像，右图像为对准图像。

2、预处理

获取到图像进行拉普拉斯-高斯滤波，来抑制图像噪声，增加图像对比度，去除图像光照影响。

拉普拉斯-高斯滤波的公式为：

$\mathrm{LoG}=\frac{x^2+y^2-2{\mathrm{\σ}}^2}{{\mathrm{\σ}}^4}{e}^{-(x^2+y^2)/2{\mathrm{\σ}}^2}$

其中，x，y为图像横向和纵向的坐标值，σ为高斯函数的尺度。

三、图像校正

采用Bouguet提出的算法对图像进行校正，去除图像的横向和切向畸变，使两幅图像处在同一平面上，并使左右两幅图像中相应的像素点处于相同的行上。从而为更好地解决双目立体视觉系统图像匹配中存在的二义性问题，同时提高匹配精度以及计算速度。

四、立体匹配

立体匹配过程就是从两个已校正的图像中，寻找图像中的对应像素点，得到像素点的视差值。也即是从多幅图像中寻找与同一场景空间点所对应的成像点对立体匹配分为三个步骤：

1、图像预滤波

采用均值滤波算法对图像进行预滤波，以减少光照影响，增强图像纹理。滤波窗口选为7*7，

窗口下覆盖区域的中心的灰度值统一设定为

$I=\min [\max (I_C-\stackrel{\‾}{I},-I_{\mathrm{cap}}),I_{\mathrm{cap}}]$

其中

是窗口覆盖区域的灰度值的平均值，I_cap是固定的阈值，一般为30。

I_C是滤波窗口覆盖的图像区域的中心点的灰度值。

2、像素匹配

采用基于灰度的区域的立体匹配方法：在其中左幅图像中选取一个子窗口图像，然后在右幅图像中的同一行内，根据绝对灰度差最小准则，寻找与子窗口图像最为相似的子图像。

相似度度量采用SAD标准，设待匹配点和候选匹配点的灰度值分别为P_i，P_j，则像素点灰度差的绝对值和，即SAD：

C_SAD＝∑|p_i-p_j|

匹配算法的基本流程是构造一个小窗口，类似与卷积核，然后用窗口覆盖左边的图像，选择出窗口覆盖区域内的所有像素点，同样用窗口覆盖右边的图像并选择出覆盖区域的像素点，左边覆盖区域减去右边覆盖区域，并求出所有像素点差的绝对值的和，记为∑₁。移动右边图像的窗口，计算左右图像中窗口覆盖区域的像素点的绝对值的和记为∑₂，∑₃，......∑_n，(min disparity＜n＜max disparity)。其中min disparity和max disparity为预先设定的常数值。在∑₁，∑₂，......∑_n序列中找到SAD值最小的窗口，即找到了左边图像的最佳匹配的像素块。两对应对象中SAD值最小的窗口的中心值即为匹配的像素点。

3、后滤波处理

为减少误匹配，对搜素到的匹配点进行进一步优化。取f＝-C_SAD为匹配函数，则f取最大值时，左右图像匹配成功，(match_value-min_match)/min_match的值小于一定的比例，认为匹配成功。其中match value为匹配的f值，min_match为f的最小值。

立体匹配还可以采用基于特征在立体匹配算法和基于相位立体匹配算法。

五、三维距离计算

参图3所示，为利用视差求取距离的计算原理。其中，O_l，O_r分别为左摄像机和右摄像机的光心，T为两个摄像头光心之间的距离。P点是空间中的任意一点(目标车辆)，其在左摄像机所拍摄的画面中成像点位x^l，在右摄像机所拍摄的画面中成像点为x^r。d＝x^l-x^r表示视差。用Z表示P点的深度距离，那么根据三角形相似性定理，可得到：

$\frac{T-(x^l-x^r)}{Z-f}=\frac{T}{Z}\⇒Z=\frac{\mathrm{fT}}{x^l-x^r}$

那么深度距离Z与视差d的关系是：

$Z=\frac{\mathrm{fT}}{d}$

实际计算时，直接利用重投影矩阵，可得到深度图像，将深度图像上的每一点可以用重投影矩阵得到对应立体世界的每一点世界坐标系下的(x，y，z)坐标

$Q=\left\{\begin{array}{cccc}1& 0& 0& -c_x\\ 0& 1& 0& -c_y\\ 0& 0& 0& f\\ 0& 0& -1/T_x& (c_x-c_y)/T_x\end{array}\right\}$

其中c_x，c_y为摄像头光轴与图像平面的角点的横、纵坐标值。f为摄像机的焦距。Tx为摄像机外参数矩阵中的 $\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]$ 平移向量t的x分量。

六、目标车辆距离估计及报警

参图4所示，世界坐标系以两摄像机中心为原点。左右摄像机坐标系以摄像机光心为原点。世界坐标系的x轴与左右摄像机坐标系重合。世界坐标系的Z轴指向车辆行驶的正前方，xy轴方向以右手螺旋坐标系为准则，Y轴竖直向上。Dz表示目标车辆距离本车的前向距离，Dx表示目标车辆的侧向距离。

通过车联网终端新型汽车通讯系统V2V获得前方车辆的速度V_o，通过读取本车速度V_s，并按照下式计算两车的预计相撞时间t。

$t=\frac{D_Z}{V_S-V_O}$

用T_wth T_ath表示预先设定的报警启动时间阈值和制动装置启动时间阈值。若t≤T_wth，则报警装置给出即将相撞信号。若t≤T_ath制动装置启动。

参图5所示，根据双目摄像机的安装，两摄像机相距为T。汽车的宽度用W表示。假设W的中心为O_W，也即汽车宽度的w/2处，汽车宽的中心点若

D_X＜D_th $D_{\mathrm{th}}<\frac{W}{2}$

D_th为距离阈值，若满足上式，则存在侧方相撞危险，危险可能来自于旁边车道车辆超车或者本车车辆有超越车道危险。

综上所述，本发明技术方案的优点在于：

1.利用两个摄像机通过固定装置连为一个双目摄像机，双目立体视觉测距的精度比单目机器高，固定在车上后，通过中央处理器中的校准程序进行首次调整后，就可对目标车辆进行准确定位，因此对摄像机的安装要求不高，无需利用道路已知长度线段来确定安装高度。

2.利用两个摄像机同时进行来自前方和侧方如超车过程中的危险进行报警。提供了车联网中汽车行驶中更为宽广范围的安全。

3.双目摄像机还可以安装于车辆的后方，并对后方车辆间的距离进行测量，如此可以对后方车辆追尾或超车的危险进行报警。

4.本发明简单易行、处理速度达到实时、测距精度高，满足汽车主动安全方面的需要。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (7)

1.一种基于车联网的汽车主动安全控制系统，包括安装在车辆上的车载终端及与所述车载终端进行无线通信的车联网管理平台，其特征在于，所述车载终端包括中央处理器以及与所述中央处理器连接的输入设备和输出设备，所述输入设备包括双目摄像机、速度传感器和无线模块，所述输出设备包括报警模块或制动模块，所述无线模块与车联网管理平台之间进行无线通信，所述双目摄像机采集目标车辆的图像信息，中央处理器对该图像信息进行处理并获得本车与目标车辆之间的纵向距离和侧方距离。

2.根据权利要求1所述的基于车联网的汽车主动安全控制系统，其特征在于：所述无线模块与其他车辆之间进行无线通信。

3.根据权利要求1所述的基于车联网的汽车主动安全控制系统，其特征在于：所述报警模块包括光报警、语音报警或画面显示报警。

4.根据权利要求1所述的基于车联网的汽车主动安全控制系统，其特征在于：所述双目摄像机安装于车辆的前方，包括左摄像机和右摄像机，所述左摄像机和右摄像机之间通过固定装置连接成整体。

5.根据权利要求1所述的基于车联网的汽车主动安全控制系统，其特征在于：所述双目摄像机安装于车辆的后方，包括左摄像机和右摄像机，所述左摄像机和右摄像机之间通过固定装置连接成整体。

6.一种如权利要求1至5任意一项所述的基于车联网的汽车主动安全控制系统的控制方法，其特征在于，包括如下步骤：

(1)双目摄像机采集目标车辆的三维立体信息；

(2)中央处理器根据三维立体信息计算出与目标车辆之间的纵向距离和侧方距离；

(3)速度传感器获取本车的速度信息，无线模块通过与车联网管理平台或目标车辆通信获取目标车辆的速度信息；

(4)中央处理器根据纵向距离、侧方距离、本车的速度信息以及目标车辆的速度信息判读是否有碰撞或超车危险；

(5)若有碰撞或超车危险，报警模块给出预警或制动模块进行制动。

7.根据权利要求6所述的基于车联网的汽车主动安全控制系统的控制方法，其特征在于：所述步骤(1)中，目标车辆的三维立体信息采集过程包括摄像机标定、图像校正、立体匹配和视差计算。

Images