CN102881016B - 基于车联网的车辆周围360°环境重构方法 - Google Patents

Abstract

本发明公开了一种基于车联网的车辆周围360°环境重构方法，包括：S1、使用标定板对每个摄像头进行标定，利用已知参照物的图像，求取每个摄像头的标定参数；S2、摄像头根据自身的标定参数对各自图像进行校正；S3、进行IPM变换，采用仿射变换原理，利用仿射变换矩阵将每个摄像头校正后透视图像变换到俯视图像；S4、设定每个摄像头拍摄图像在全景图像中的显示范围，采用查找表的形式，将每幅IPM变换后的俯视图像对应的像素值映射到全景图，得到最后的拼接图像。本发明实现了不同摄像头图像IPM变换后的鸟瞰图像配准，增强图像亮度调整的精确性。

Description

基于车联网的车辆周围360°环境重构方法

技术领域

本发明涉及汽车电子技术领域，特别是涉及一种基于车联网的车辆周围360°环境重构方法。

背景技术

车联网是物联网的典型应用，它是以汽车为信息节点，集成各类型传感器，建立M2M互联，实现感知与通讯的无缝对接，使车载单元的信息和道路监控系统、交通管理系统、停车库系统、汽车4S店服务系统、保险系统、道路医疗救援系统，日常生活相关的增值服务系统等，并网组成一个强大的汽车物联网，并以汽车和驾乘者为目标客户群，借助强大的后台数据库，进行定向分析和行为分析，开展衍生消费服务的专业系统解决方案。车联网终端除了具有目前主流车载终端所有功能之外，还集成了各种定制的个性化车联网服务。作为交通信息的采集者，为交通部门提供详细、精确的原始数据；作为交通服务的使用者，为车主提供特定条件下所需的交通信息。最终通过建立以汽车为节点的信息系统，达到解决交通拥堵、减少能源耗费、实现政府高效管理以及智能安全驾驶的目标。

车联网要实现一个重要目标是是车辆的主动安全，主动安全旨在能够预知可能的交通事故危险，使驾驶员能够提前采取措施来规避交通事故。研究数据表明，驾驶员对行驶车辆周围的环境估计不足造成了大量的交通事故。目前驾驶员仅仅靠汽车的前后视镜来观测车辆周围环境时，存在视觉盲区，不能得到全面的车辆周围环境信息。因此研究开发一种可以让驾驶员感知到车身四周360°环境重构方法，并以一种符合人类视觉习惯的方式展现出来，可以大幅度提高车辆在行驶时的主动安全性。

申请号为201010590428.8的中国专利申请揭示了一种全景泊车系统，其主要应用于全景泊车，主要在泊车时刻进行车辆四周全景图像采集和应用。在将图像进行鸟瞰图像变换时，要确定摄像头的安装角度，对安装要求较高；在实施过程中，还需要对各个图像的鸟瞰摆放位置和效果微调才能达到比较满意的全景拼接效果，没有给出对摄像机参数求取的算法。

因此，针对上述技术问题，有必要提供一种基于车联网的车辆周围360°环境重构方法，以克服上述缺陷。

发明内容

有鉴于此，本发明提供了一种基于车联网的车辆周围360°环境重构方法，其图像校正效果好，图像亮度调整精确。

为了实现上述目的，本发明实施例提供的技术方案如下：

一种基于车联网的车辆周围360°环境重构方法，所述方法包括：

S1、使用标定板对每个摄像头进行标定，利用已知参照物的图像，求取每个摄像头的标定参数；

S2、摄像头根据自身的标定参数对各自图像进行校正；

S3、进行IPM变换，采用仿射变换原理，利用仿射变换矩阵将每个摄像头校正后透视图像变换到俯视图像；

S4、设定每个摄像头拍摄图像在全景图像中的显示范围，采用查找表的形式，将每幅IPM变换后的俯视图像对应的像素值映射到全景图，得到最后的拼接图像。

作为本发明的进一步改进，所述步骤S1中的标定板为方形或圆形的平面棋盘格、或者为车身周围画出的不同方框。

作为本发明的进一步改进，所述步骤S1具体为：

采集标定板不同摆放位置和角度的图像；

根据标定板图像的坐标点及相互距离；

采用最小二乘法来优化理想图像投影点与实际畸变图像点之间的误差，确定摄像机的标定参数a₀,a₁,a₂,…a_n,c,d,e。

作为本发明的进一步改进，所述步骤S2中摄像头对各自图像进行校正的公式为：

$\left[\begin{array}{c}u\\ v\end{array}\right]={\left[\begin{array}{cc}c& d\\ e& 1\end{array}\right]}^{-1}\·(\left[\begin{array}{c}{u}^{\′}\\ v^{\′}\end{array}\right]-\left[\begin{array}{c}{x_c}^{\′}\\ {y_c}^{\′}\end{array}\right]),$

其中x_c’,y_c’为图像的中心坐标。

作为本发明的进一步改进，所述步骤S3具体为：

S31、采用RANSAC随机采样一致算法来估计图像上一点由透视图像变换到俯视图像的仿射变换矩阵H；

S32、利用根据仿射变换矩阵H将每个摄像头校正后透视图像变换到俯视图像，变换公式为：

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=H\left[\begin{array}{c}{u}^{\′}\\ v^{\′}\\ 1\end{array}\right]=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& 1\end{array}\right]\left[\begin{array}{c}{u}^{\′}\\ v^{\′}\\ 1\end{array}\right].$

作为本发明的进一步改进，所述步骤S31具体为：

S311、随机选取3组匹配点，估计H的六个参数；

S312、利用估计的参数对余下的匹配点进行判断，区分出内点集和外点集，记录内点集的数量，用新内点集重新估计参数；

S313、当内点数目最大时，则在该内点集上给出H的最佳估计。

作为本发明的进一步改进，所述步骤S4后还包括：

S5、采用乘性因子与加性因子对相邻两幅图像间的亮度差异进行建模，并采用最小二乘法来估计亮度差异参数，对图像亮度进行调整。

作为本发明的进一步改进，步骤S5具体为：

S51、定义相邻摄像头拍摄的图像的亮度之间关系为：I_i=k_ij1I_j+k_ij2，其中I_i、I_j为两幅相邻图像的亮度值，k_ij1、k_ji2分别表示I_i、I_j二者之间差别的乘性因子与加性因子；

S52、定义误差目标e_ij函数为：其中p代表像素，D_ij代表重合区域，利用重合区域D_ij内的像素，可以求得使e_ij最小的k_ij1、k_ij2；

S53、根据公式I_i=k_ij1I_j+k_ij2及已经求得的k_ij1、k_ij2对图像亮度进行调整。

本发明的有益效果是：

采用的IPM变换方法根据两个图像间多个点的对应关系，采用随机抽样一致算法来优化变换矩阵估计，在变换时与全景图像构建的图像坐标直接对应，间接地实现了不同摄像头图像IPM变换后的鸟瞰图像配准；

采用乘性因子与加性因子对相邻两幅图像间的亮度差异进行建模，采用最小二乘法来估计亮度差异参数，增强图像亮度调整的精确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于车联网的车辆周围360°环境重构方法的流程示意图；

图2为本发明车辆的摄像头安装示意图；

图3为本发明基于车联网的车辆周围360°环境重构方法的具体流程图；

图4为本发明基于车联网的车辆周围360°环境重构方法的图像处理示意图；

图5为本发明一实施方式中鱼眼图像成像模型示意图；

图6为本发明一实施方式中标定板棋盘格图像示意图；

图7为本发明一实施方式中摄像头拍摄图像在全景图像中的显示范围示意图；

图8为本发明一实施方式中图片全景映射示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

参图1所示为本发明基于车联网的车辆周围360°环境重构方法的流程示意图，该方法包括：

S1、使用标定板对每个摄像头进行标定，利用已知参照物的图像，求取每个摄像头的标定参数；

S2、摄像头根据自身的标定参数对各自图像进行校正；

S3、进行IPM变换，采用仿射变换原理，利用仿射变换矩阵将每个摄像头校正后透视图像变换到俯视图像；

S4、设定每个摄像头拍摄图像在全景图像中的显示范围，采用查找表的形式，将每幅IPM变换后的俯视图像对应的像素值映射到全景图，得到最后的拼接图像。

本发明一实施方式中基于车联网的车辆周围360°环境重构方法具体为：

S1、采集标定板不同摆放位置和角度的图像；根据标定板图像的坐标点及相互距离；采用最小二乘法来优化理想图像投影点与实际畸变图像点之间的误差，确定摄像机的标定参数a₀,a₁,a₂,…a_n,c,d,e。其中，标定板为方形或圆形的平面棋盘格、或者为车身周围画出的不同方框；

S2、摄像头根据自身的标定参数对各自图像进行校正，对各自图像进行校正的公式为：

$\left[\begin{array}{c}u\\ v\end{array}\right]={\left[\begin{array}{cc}c& d\\ e& 1\end{array}\right]}^{-1}\·(\left[\begin{array}{c}{u}^{\′}\\ v^{\′}\end{array}\right]-\left[\begin{array}{c}{x_c}^{\′}\\ {y_c}^{\′}\end{array}\right]),$

其中x_c’,y_c’为图像的中心坐标；

S3、进行IPM变换，采用仿射变换原理，利用仿射变换矩阵将每个摄像头校正后透视图像变换到俯视图像，具体为：

S31、采用RANSAC随机采样一致算法来估计图像上一点由透视图像变换到俯视图像的仿射变换矩阵H；

S32、利用根据仿射变换矩阵H将每个摄像头校正后透视图像变换到俯视图像，变换公式为：

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=H\left[\begin{array}{c}{u}^{\′}\\ v^{\′}\\ 1\end{array}\right]=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& 1\end{array}\right]\left[\begin{array}{c}{u}^{\′}\\ v^{\′}\\ 1\end{array}\right].$

其中步骤S31具体为：

S311、随机选取3组匹配点，估计H的六个参数；

S312、利用估计的参数对余下的匹配点进行判断，区分出内点集和外点集，记录内点集的数量，用新内点集重新估计参数；

S313、当内点数目最大时，则在该内点集上给出H的最佳估计；

S4、设定每个摄像头拍摄图像在全景图像中的显示范围，采用查找表的形式，将每幅IPM变换后的俯视图像对应的像素值映射到全景图，得到最后的拼接图像。

进一步地，步骤S4后还包括：

S5、采用乘性因子与加性因子对相邻两幅图像间的亮度差异进行建模，并采用最小二乘法来估计亮度差异参数，对图像亮度进行调整。具体为：

S51、定义相邻摄像头拍摄的图像的亮度之间关系为：I_i=k_ij1I_j+k_ij2，其中I_i、I_j为两幅相邻图像的亮度值，k_ij1、k_ij2分别表示I_i、I_j二者之间差别的乘性因子与加性因子；

S52、定义误差目标e_ij函数为：其中p代表像素，D_ij代表重合区域，利用重合区域D_ij内的像素，可以求得使e_ij最小的k_ij1、k_ij2；

S53、根据公式I_i=k_ij1I_j+k_ij2及已经求得的k_ij1、k_ij2对图像亮度进行调整。

参图2所示，本实施方式中摄像头设为4个广角摄像头，4个广角摄像头为视角大于180°的CCD(Charge-coupledDevice，电荷耦合元件)或CMOS(ComplementaryMetalOxideSemiconductor,互补金属氧化物半导体)摄像头，负责拍摄车辆四周的环境图像，具体包括：

前摄像头CF，安装于车辆排气扇上方且位于车辆宽度中心位置，前摄像头的拍摄角度为斜向下向车身外场景；

右摄像头CR，安装于右后视镜的下方，右摄像头的拍摄角度为斜向下向车身外；

左摄像头CL，安装于右后视镜的下方，左摄像头的拍摄角度为斜向下向车身外；

后摄像头CB，安装于车牌上方且位于车辆宽度的中心位置，后摄像头的拍摄角度为斜向下向车身外场景。

参图3所示，本实施方式中基于车联网的车辆周围360°环境重构方法采用4个广角摄像头进行图像采集，将四路摄像头CF、CR、CL、CB采集的图像进行编解码后复合成一路视频信号，输入的信号进行解复用，分成四路视频信号，进行图像的畸变校正、鸟瞰变换、拼接融合和视觉优化处理，融合成一幅覆盖车身360°周边环境的俯视视图，将该复合俯视视图经过编码后输出。

参图4所示为本发明基于车联网的车辆周围360°环境重构方法图像处理示意图，分为：摄像头标定、图像校正、IPM变换转换为俯视图、全景图像合成、图像亮度调整。

S1：宽视角摄像头采集到的图像近似于鱼眼图像，图像边缘畸变严重。对畸变图像进行校正要经过以下两个步骤：

1、摄像镜头标定，求取摄像头的内外参数；

2、图像校正，根据步骤1的标定结果消除图像畸变。

参图5所示为鱼眼图像成像模型，用向量P表示空间中一点X与摄像机坐标系原点组成的向量。假设X在图像坐标系下像点为将图像坐标系数字化，转变为以像素为单位，像点坐标用表示。和之间的关系可以用一个仿射变换矩阵联系起来：其中A∈R^2×2,t∈R^2×1。假设鱼眼镜头模型为式：

$\∃\mathrm{\λ}>0:\mathrm{\λg}(A{\stackrel{\→}{u}}^{\′}+\stackrel{\→}{t})=\mathrm{PX},$

上式中，X用齐次坐标表示，X∈R⁴,P∈R^3×4，将点X与图像像素点一一对应起来，g是非线性函数。鱼眼摄像机标定即是估计矩阵A和t以及非线性函数g。

经鱼眼镜头光心O与(u″,v″)所对应的三维世界的点所组成的向量P与(u″,v″)的投影关系表示为式：

$P=\left[\begin{array}{c}x\\ y\\ z\end{array}\right]=\left[\begin{array}{c}{u}^{\′\′}\\ v^{\′\′}\\ f(u^{\′\′},v^{\′\′})\end{array}\right],$

则非线性函数g可以表示为：

g(u,v)=(u″,v″,f(u″,v″))^T，

在特定条件下，可以将f(u″,v″)视为只与图像点与图像中心的距离ρ有关。其中则向量P可以简化为：

$P=\left[\begin{array}{c}x\\ y\\ z\end{array}\right]=\left[\begin{array}{c}{u}^{\′\′}\\ v^{\′\′}\\ f\left({\mathrm{\ρ}}^{\′\′}\right)\end{array}\right],$

仿照泰勒级数展开原理，将f(ρ″)表示为多项式和的形式：

f(ρ″)=a₀+a₁ρ″+a₂ρ″²+a₃ρ″³+a₄ρ″⁴+…+a_nρ″ⁿ，

摄像机标定的任务，即找出式中的多项式系数a₀,a₁,a₂,…a_n。多项式的次数n越大，摄像机标定结果越精确，为综合平衡计算量和标定精确度，本实施方式中选择n=4。

实际成像的坐标(u',v')与理想未发生畸变的图像坐标(u,v)之间的关系为：

$\left[\begin{array}{c}{u}^{\′}\\ v^{\′}\end{array}\right]=\left[\begin{array}{cc}c& d\\ e& 1\end{array}\right]\·\left[\begin{array}{c}u\\ v\end{array}\right]+\left[\begin{array}{c}{\mathrm{xc}}^{\′}\\ {\mathrm{yc}}^{\′}\end{array}\right]$

其中xc',yc'是鱼眼图像的中心坐标。

利用已知的参照物的图像，可以计算得到摄像机的参数a₀,a₁,a₂,…a_n,c,d,e。

图像校正时，摄像机参数确定采用基于参照物的标定方法，本实施例采用如图6所示的一个平面棋盘格图像作为标定板，标定板上每个正方向框的长度已知。首先采集一系列标定板不同姿势的图像，采集时，标定板的摆放位置和角度都有所变化。根据不同棋盘格图像的坐标点及相互距离，采用最小二乘法来优化理想图像投影点与实际畸变图像点之间的误差，可以确定摄像机的参数a₀,a₁,a₂,…a_n,c,d,e。当然其他实施例可能采用标定板上黑白棋盘格的个数不同，或圆形的标定板；

摄像头的参数图像校正公式为：

$\left[\begin{array}{c}u\\ v\end{array}\right]={\left[\begin{array}{cc}c& d\\ e& 1\end{array}\right]}^{-1}\·(\left[\begin{array}{c}{u}^{\′}\\ v^{\′}\end{array}\right]-\left[\begin{array}{c}{x_c}^{\′}\\ {y_c}^{\′}\end{array}\right]).$

S2：IPM变换的目的在于将校正后的视图转变为俯视视图。IPM变换时采用仿射变换原理，将透视图像平面变换到俯视图像平面。仿射变换矩阵由地面标定物在透视图像中与俯视图像中的坐标变换关系确定。

假设m=(uv1)^T，设m=(u'v'1)^T是平面上的点X在两幅图像上的对应点的像素坐标,则存在矩阵H使得下述公式成立：

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=H\left[\begin{array}{c}{u}^{\′}\\ v^{\′}\\ 1\end{array}\right]=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& 1\end{array}\right]\left[\begin{array}{c}{u}^{\′}\\ v^{\′}\\ 1\end{array}\right],$

采用两幅图像中N（N>4）对相对应的点，在参数求取中，采用RANSAC算法来进行变换矩阵中参数的拟合。为了提高H矩阵中参数估计的精度，排除可能存在的误匹配点影响，文中采用RANSAC（RANdomSAmpleConsensus）随机采样一致算法来估计H。

RANSAC分为三步进行：第一步随机选取3组匹配点，估计H的六个参数；第二步利用估计的参数对余下的匹配点进行判断，区分出内点和外点集，记录内点集的数量，用新内点集重新估计参数；第三步，当内点数目最大时，在该内点集上给出H的最佳估计。

得到两个图像平面的透视变换的单应性矩阵后，将校正后的四个摄像头的透视图像变换到俯视图像。

在图像IPM变换时，在车辆周围地面上铺设方格线，并测量车辆本身的实际长宽和周围方框的实际距离。将车辆及周围方框线按照其实际距离比例绘制俯视平面图，将该图称为俯视施工平面图。将四个摄像头拍摄得到的鱼眼图像校正后，根据图中车辆周围方框的N（N>4）个角点与对应的俯视施工平面图的N（N>4）个角点的坐标，求取两幅图像之间的透视变换的单应性矩阵。因为实际的单应性矩阵有8个未知参数，而图像中每个对应点包含有横纵坐标两个参数，故只需四对对应点即可得到单应性矩阵。为增强系统的鲁棒性，提高单应性矩阵参数的精确性，并综合考虑系统的计算量，N可以选择为4，6，7，8或其他大于4的值。本实施例选择N=6。

S3：将四幅变换后的图像按照一定的区域限制进行复制重叠.即可实现全景算法。设定每个摄像头拍摄图像在全景图像中的显示范围，采用查找表的形式，将每幅IPM变换后的俯视图像对应的像素值映射到全景图，即可得到最后的拼接图像。

全景融合时，设定每个摄像头拍摄图像在全景图像中的显示范围，可以设定采用查找表的形式，将每幅IPM变换后的俯视图像对应的像素值映射到全景图，即可得到最后的拼接图像。本实施例选择如图7所示的显示范围，但本发明实际保护应该不限于此显示范围。其他的实施例中，每个俯视变换图像的显示范围可能为三角形、梯形或其他形状。

参图8所示，设定每幅IPM变换后的俯视图像对应全景图映射范围区域后，区域1为前摄像头图像IPM变换后图像的保持范围，超出该范围之外的图像被去除，区域2为左摄像头图像IPM变换后图像的保持范围，超出该范围之外的图像被去除，同样区域3、4分别为右摄像头与后摄像头图像IPM变换后的图像保持范围。区域12为前摄像头与左摄像头图像IPM变换后的公共的图像保持范围，同理，区域13、24、34的图像范围为区域1与区域3、区域2与区域4、区域3与区域4的摄像头公共的图像保持范围。

S4：因为不同摄像头曝光的程度不同，则每个图像的亮度表现不一致，则会出现整体拼接图像亮度不一致，图像拼缝明显等问题。因此对相邻两个摄像头拍摄的图像间的亮度进行进行调整。对相同的区域，假设相邻摄像头拍摄的图像的亮度之间变换关系为：

I_i=k_ij1I_j+k_ij2，

其中I_i,I_j为两幅相邻图像的亮度值。k_ij1,k_ij2分别表示I_i,I_j二者之间差别的乘性因子与加性因子。为确定k_ij1,k_ij2，选择误差目标ε_ij函数最小

${\mathrm{\ϵ}}_{\mathrm{ij}}=\underset{p=D_{\mathrm{ij}}}{\mathrm{\Σ}}{[I_i-(k_{\mathrm{ij}1}{I}_j+k_{\mathrm{ij}2})]}^2,$

上式中p代表像素，D_ij表重合区域。利用重合区域内的像素，可以求得使ε_ij最小的k_ij1,k_ij2。调整相邻区域的亮度，可以实现全景拼接各个图像的亮度统一、拼缝消除。

例如亮度调整时，检测在区域12内，相邻摄像头拍摄的图像的亮度之间的变换关系为：

I₁=k₁₂₁I₂+k₁₂₂，

其中I₁,I₂为两幅相邻图像的亮度值。k₁₂₁,k₁₂₂分别表示I₁,I₂二者之间差别的乘性因子与加性因子。为确定k₁₂₁,k₁₂₂，选择误差目标ε₁₂函数最小

${\mathrm{\ϵ}}_{12}=\underset{p=D_{12}}{\mathrm{\Σ}}{[I_1-(k_{121}{I}_2+k_{122})]}^2,$

上式中p代表像素，D₁₂代表重合区域12。利用重合区域内的像素，可以求得使ε₁₂最小的k₁₂₁,k₁₂₂。调整区域2的亮度，可以实现区域2亮度与区域1亮度的统一，按照同样的算法，利用重合区域13可以实现区域3与区域1之间的亮度统一，利用重合区域24区域4与区域2之间的亮度统一。这样全景图像各个摄像头图像之间的亮度差异将被消除。本实施例采用重合区域内全部图像的亮度值进行参数k₁₂₁,k₁₂₂的估计，其他的实施例也可以考虑重合区域的部分图像亮度值。

由上述技术方案可以看出，本发明基于车联网的车辆周围360°环境重构方法采用的IPM变换方法根据两个图像间多个点的对应关系，采用随机抽样一致算法来优化变换矩阵估计，在变换时与全景图像构建的图像坐标直接对应，间接地实现了不同摄像头图像IPM变换后的鸟瞰图像配准；

采用乘性因子与加性因子对相邻两幅图像间的亮度差异进行建模，采用最小二乘法来估计亮度差异参数，增强图像亮度调整的精确性。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (6)

1.一种基于车联网的车辆周围360°环境重构方法，其特征在于，所述方法包括：

S1、使用标定板对每个摄像头进行标定，利用已知参照物的图像，求取每个摄像头的标定参数；其中，摄像镜头标定，求取所述摄像头的内外参数；

S2、摄像头根据自身的标定参数对各自图像进行校正；

S3、进行IPM变换，采用仿射变换原理，利用仿射变换矩阵将每个摄像头校正后透视图像变换到俯视图像；其中，每个变换后的图像按照一定的区域限制进行复制重叠；

S4、设定每个摄像头拍摄图像在全景图像中的显示范围，采用查找表的形式，将每幅IPM变换后的俯视图像对应的像素值映射到全景图，得到最后的拼接图像；

所述步骤S3具体为：

S31、采用RANSAC随机采样一致算法来估计图像上一点由透视图像变换到俯视图像的仿射变换矩阵H；

S32、利用根据仿射变换矩阵H将每个摄像头校正后透视图像变换到俯视图像，变换公式为：

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=H\left[\begin{array}{c}{u}^{\′}\\ v^{\′}\\ 1\end{array}\right]=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& 1\end{array}\right]\left[\begin{array}{c}{u}^{\′}\\ v^{\′}\\ 1\end{array}\right],$ 其中，(uvl)^T，(u’v’l)^T是平面上的点X在两幅图像上的对应点的像素坐标；

所述步骤S31具体为：

S311、随机选取3组匹配点，估计H的六个参数；

S312、利用估计的参数对余下的匹配点进行判断，区分出内点集和外点集，记录内点集的数量，用新内点集重新估计参数；

S313、当内点数目最大时，则在该内点集上给出H的最佳估计。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1中的标定板为方形或圆形的平面棋盘格、或者为车身周围画出的不同方框。

3.根据权利要求2所述的方法，其特征在于，所述步骤S1具体为：

采集标定板不同摆放位置和角度的图像；

根据标定板图像的坐标点及相互距离；

采用最小二乘法来优化理想图像投影点与实际畸变图像点之间的误差，确定摄像机的标定参数a₀,a₁,a₂,…a_n,c,d,e。

4.根据权利要求3所述的方法，其特征在于，所述步骤S2中摄像头对各自图像进行校正的公式为：

$\left[\begin{array}{c}u\\ v\end{array}\right]={\left[\begin{array}{cc}c& d\\ e& 1\end{array}\right]}^{-1}\·(\left[\begin{array}{c}{u}^{\′}\\ v^{\′}\end{array}\right]-\left[\begin{array}{c}{x_c}^{\′}\\ {y_c}^{\′}\end{array}\right]),$

其中x_c’,y_c’为图像的中心坐标。

5.根据权利要求1所述的方法，其特征在于，所述步骤S4后还包括：

S5、采用乘性因子与加性因子对相邻两幅图像间的亮度差异进行建模，并采用最小二乘法来估计亮度差异参数，对图像亮度进行调整。

6.根据权利要求5所述的方法，其特征在于，所述步骤S5具体为：

S51、定义相邻摄像头拍摄的图像的亮度之间关系为：I_i＝k_ij1I_j+k_ij2，其中I_i、I_j为两幅相邻图像的亮度值，k_ij1、k_ij2分别表示I_i、I_j二者之间差别的乘性因子与加性因子；

S52、定义误差目标ε_ij函数为：其中p代表像素，D_ij代表重合区域，利用重合区域D_ij内的像素，可以求得使ε_ij最小的k_ij1、k_ij2；

S53、根据公式I_i＝k_ij1I_j+k_ij2及已经求得的k_ij1、k_ij2对图像亮度进行调整。