CN115936995A

CN115936995A - 一种车辆四路鱼眼摄像头全景拼接方法

Info

Publication number: CN115936995A
Application number: CN202310002280.9A
Authority: CN
Inventors: 颜琳崧; 姜立标; 李长玉
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2023-01-03
Filing date: 2023-01-03
Publication date: 2023-04-07

Abstract

本发明公开一种车辆四路鱼眼摄像头全景拼接方法，包括如下步骤：1)获取安装于车辆四周的鱼眼摄像头图像、行车挡位信号；2)采用MSER提取最稳定极限区域算法进行标定与图像畸变矫正；3)根据行车挡位判断车辆行驶状态；4)若是前进挡，则采用柱面投影模型以获得更宽广的视野范围，若是倒车档，则采用透视变换以获取车辆鸟瞰图；5)采用掩膜裁剪方法进行拼接；6)前进状态得到汽车车身周围全景拼接图像，倒车状态得到车身周围鸟瞰全景图像；7)采用融合算法对图像拼接缝进行优化；8)生成全景拼接图像。本发明方法可以基于车辆行驶状态切换不同拼接模式，利于驾驶员获取更佳的视野范围，其具有用时短，精度高，效果好，易于实现的优点。

Description

一种车辆四路鱼眼摄像头全景拼接方法

技术领域

本发明涉及车载图像处理领域，尤其涉及一种车辆四路鱼眼摄像头全景拼接方法。

背景技术

现有车载360度全景环视系统仅提供车辆全景鸟瞰图，而在实际行车中，多数驾驶员仅在泊车时使用鸟瞰图，且鸟瞰图为保证畸变矫正效果，其外视范围往往较小，大大限制了全景系统在侦测车辆周围信息的使用。

对于汽车前进行驶时，现有全景系统无法为驾驶员提供宽阔的视野信息，汽车各个盲区尤其是A柱盲区的直接视野信息不能很好提供给驾驶员，从而导致其不能快速做出判断。

现有鱼眼摄像头标定与矫正方法多数采用迭代求解的方式，由于摄像头的内外参数、畸变参数等是相互耦合的，迭代求解要求能较好解耦，否则其结果不准确导致后续拼接效果不好。

现有图像拼接方法常见的有基于区域的拼接方法和基于特征的拼接方法。基于区域的拼接方法计算量大导致拼接速度慢。而基于特征的拼接方法虽然以点代面，一定程度上降低了工作量，但是增加了寻找和筛选特征点的步骤，拼接速度仍有待提高。

发明内容

为了解决现有技术中存在的问题，本发明提供一种车辆四路鱼眼摄像头全景拼接方法，该方法可根据车辆行驶状态生成汽车车身周围的全景环视鸟瞰图，前进状态生成柱面拼接全景图，倒车状态生成全景拼接鸟瞰图。

为了实现本发明目的，本发明提供的一种车辆四路鱼眼摄像头全景拼接方法，包括如下步骤：

1)获取行车挡位信号以及安装于车辆四周的鱼眼摄像头的鱼眼图像；

2)采用MSER算法((Maximally Stable Extremal Region)对鱼眼图像进行标定与图像畸变矫正；

3)根据行车挡位判断车辆行驶状态；

4)若是前进挡，则采用柱面投影模型将投影图投影为柱面全景图，以获得更宽广的视野范围，若是倒车档，则采用透视变换模型以获取车辆鸟瞰图；

5)采用掩膜裁剪方法进行拼接，前进状态得到汽车车身周围全景拼接图像，倒车状态得到车身周围鸟瞰全景图像；

6)采用融合算法对图像拼接缝进行优化，得到优化后的拼接图像；

7)生成并显示全景拼接图像。

进一步地，步骤1)中，四路鱼眼相机的安装位置分别为汽车左、右后视镜下侧靠外端、汽车前盖开口与前车牌之间的中心处、以及后车牌上边框中心处，固定好安装位置后，分别对四路鱼眼相机进行标定，拍摄数张棋盘格图片，并从车机获取行车挡位信号。

进一步地，步骤2)包括以下子步骤：

建立单变量鱼眼摄像头径向畸变模型；

截取两幅以上鱼眼棋盘格图像；

提取最稳定极限区域(MSER)，使用最近邻向量法对向量进行特征匹配，保存自动获取的匹配特征点坐标，并得到畸变图像与非畸变图像的坐标关系；

根据畸变模型求解矫正前后像素坐标关系，进行畸变矫正，并求解得到单应性矩阵。

进一步地，所述单变量鱼眼摄像头径向畸变模型为

其中，x_u为向量，表示非畸变图像像素坐标；向量e表示畸变中心坐标；x_d为向量，表示畸变图像像素坐标；k为一个单变量参数；r_d为矫正后图像像素点离畸变中心的距离。

进一步地，所述得到畸变图像与非畸变图像的坐标关系的过程包括：

对于非畸变图像，其方程为：

其中，x_u为向量，表示非畸变图像像素坐标，x′_u为另一幅非畸变图像的像素坐标，

为其转置，G基本矩阵；

代入所述单变量鱼眼摄像头径向畸变模型，并进行整理后得到畸变图像的方程：

其中，x_d为向量，表示畸变图像像素坐标，x′_d为另一幅畸变图像的像素坐标；

采用矩阵直积方法将基本矩阵G拉直为g；则上式可化为：

M(X′,X,k)g＝0

其中，矩阵M为a对特征匹配点坐标X和X′和单变量参数k结合的矩阵，X表示x_u和x_d堆积起来表示的坐标；X′表示x′_u和x′_d堆积起来表示的坐标，g为转化后的基本矩阵；

使用N组，N≥2，得到由N个非线性方程构成的非线性方程组，求解同时满足所有选取的非线性方程的最优实根，此根即为单变量参数k，将其代回所述单变量鱼眼摄像头径向畸变模型中，可得r_d与r_u的关系，即得到畸变图像与非畸变图像的坐标关系r_d：

r_u为矫正后图像像素点距畸变中心的距离。

此即畸变图像与非畸变图像的坐标关系，从而由鱼眼图像得到畸变矫正图像。此方法无需复杂的解耦过程，计算结果更精确。

进一步地，根据此关系，还可选取c(c≥4)组对应点，求解单应性矩阵，单应性矩阵在步骤4)中用于生成鸟瞰图。

进一步地，在步骤3)中，车辆档位信息由车机提供给全景图像系统，全景系统根据档位信息采取不同模型。

进一步地，在步骤4)中，根据行车状态采用不同的模型进行图像拼接，前进挡采用柱面投影模型，倒车挡则采用透视变换模型，并根据单应性矩阵进行透视变换得到四路图像鸟瞰图。

进一步地，步骤4)中，得到四路图像鸟瞰图的步骤包括：

在车辆前、后、左、右四个方向各放置一个黑白棋盘格，于鱼眼摄像头的标定与矫正、鸟瞰图的生成；

在车辆四个角位置也各放置一个黑白棋盘，用于坐标选取参照；

根据世界坐标与像素坐标的关系，通过测量车辆前、后、左、右四个方向额黑白棋盘格的世界坐标系坐标，结合图像坐标系坐标，建立世界坐标系和图像坐标系的映射关系；

通过每个方向上的坐标点的映射关系，求出前、后、左、右四个方向的单应性矩阵；

通过四个鱼眼摄像头的单应性矩阵分别对前、后、左、右四个方向的图像进行逆透视变换，到汽车车身前、后、左、右四个方向的鸟瞰图。

进一步地，在步骤4)中，所述柱面投影模型模型为：

其中，(x，y)和(x₁，y₁)为原图和投影图的点坐标，(W/2，H/2)为原图像原点坐标，f为给定焦距。

处于倒车档状态使用步骤2)中鱼眼畸变模型，求得单应性矩阵，通过四个鱼眼摄像头的单应性矩阵分别对汽车前、后、左、右方向的图像进行逆透视变换，得到汽车车身前、后、左、右四个方向的鸟瞰图。

进一步地，在步骤5)中，采用掩膜拼接方法进行柱面或鸟瞰图拼接。

进一步地，在步骤6)中，在步骤6)中，采用距离三角函数加权平均融合算法对图像拼接缝进行融合，具体包括采用图像像素点到图像重合区域边界距离的三角函数值作为权重值，对图像重合部分进行加权平均，达到图像融合的效果，式为：

式中，θ为以像素点到重合区域边界距离的三角函数值，d_i为像素点到区域I₁边界的距离，d为重合区域的距离大小，I₁(i，j)为非重叠区域I₁中像素点的灰度值，I₂(i，j)为非重叠区域I₂中的像素点的灰度值，I(i,j)为融合后的像素点的灰度值。

而后，确定鸟瞰图坐标系，以左上角为坐标原点。分别设置前、后、左、右四张鱼眼图的掩膜，对图像进行裁剪，将裁减之后的四幅鸟瞰图进行坐标变换，生成拼接图像。

与现有车载全景拼接方法相比，本发明的有益效果至少为：

(1)本发明能根据车辆行驶状态切换不同模式，以满足不同工况对车辆全景信息的需求；拼接效果良好，无明显的拼接缝；对计算力要求小；可部署于多数嵌入式设备；满足车辆自动驾驶领域对于全景图像信息的需要。

(2)本发明基于MSER算法对鱼眼图像分情况做柱面投影和透视变换处理，能够降低对特征点求解的运算量，其对鱼眼图像尤其是对边缘图像的矫正效果更佳，在两幅图像的拼接处没有明显缝隙、融合效果好，能够根据车辆行驶状态切换柱面投影全景图和全景鸟瞰图，从而提供给驾驶员更符合驾驶需求的车辆环境信息。

附图说明

图1为本发明实施例提供的一种车辆四路鱼眼摄像头全景拼接方法流程图；

图2为本发明实施例提供的坐标系统示意图；

图3为本发明实施例提供的鸟瞰掩膜裁剪示意图；

图4为发明本实施例提供的柱面掩膜裁剪示意图；

图5为本发明实施例提供的图像融合示意图；

图6为本发明实施例提供的前进状态柱面全景效果示意图；

图7为本发明实施例提供的倒车状态全景鸟瞰效果示意图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步说明。

如图1所示，本发明提供的一种车辆四路鱼眼摄像头全景拼接方法方法，包括如下步骤：

步骤1：获取安装于车辆四周的鱼眼摄像头图像、行车挡位信号。

在本发明的其中一些实施例中，通过安装在汽车车身前、后、左、右的四路鱼眼相机获取图像数据；四路鱼眼摄像头的安装位置分别为汽车左、右后视镜下侧靠外端、汽车前盖开口与前车牌之间的中心处、以及后车牌上边框中心处，安装并固定。

在本发明的其中一些实施例中，还配有四路图像采集模块和解码模块，将鱼眼摄像头与图像采集模块相连接，采集模块与解码模块相连接，将解码模块连接到处理器上，其中，处理器一般采用车载芯片，如TDA4芯片，也可采用装载有Ubuntu系统的电脑。

步骤2：对步骤1中获取的鱼眼摄像头图像进行标定与图像畸变矫正。

在本发明的其中一些实施例中，对获得的四路鱼眼图像进行MSER算法标定与图像畸变矫正，得到畸变矫正后的鱼眼图像，具体是采用多个鱼眼摄像头拍摄的棋盘格图像进行，畸变矫正的步骤包括：

步骤2.1：建立单变量鱼眼摄像头径向畸变模型，所述模型为

步骤2.2：截取两幅以上鱼眼棋盘格图像，保证棋盘格所有角点处于鱼眼摄像头的视野范围内；

步骤2.3：提取最稳定极限区域(MSER)，使用K-NN最近邻算法对向量进行特征匹配，保存自动获取的匹配特征点坐标。

从所有的特征点中随机抽取a个匹配特征点(在本发明的其中一些实施例中，抽取9个匹配特征点)为一组，对于每一组特征匹配点，建立一个b(b≥6)阶多项式方程并求解。建立过程如下：

对于非畸变图像，其方程为：

为其转置，G为方程列出后所得的基本矩阵。

而后，代入所述单变量鱼眼摄像头径向畸变模型，并进行整理后得到畸变图像的方程：

其中，x_d为向量，表示畸变图像像素坐标。x′_d为另一幅畸变图像的像素坐标。

采用矩阵直积方法将基本矩阵G拉直为g；则上式可化为：

M(X′,X,k)g＝0

其中，矩阵M为a对特征匹配点坐标X和X′和单变量参数k结合的矩阵。X表示x_u和x_d堆积起来表示的坐标；X′表示x′_u和x′_d堆积起来表示的坐标，g为转化后的基本矩阵。

使用N(N≥2)组，可以得到由N个非线性方程构成的非线性方程组。求解同时满足所有选取的非线性方程的最优实根，此根即为单变量参数k。将其代回所述单变量鱼眼摄像头径向畸变模型中，可得r_d与r_u(矫正后图像像素点距畸变中心的距离)的关系，即得到畸变图像与非畸变图像的坐标关系：

步骤2.4：根据畸变图像与非畸变图像的坐标关系，进行畸变矫正。

根据畸变图像与非畸变图像的坐标关系，还可选取c(c≥4)组对应点，求解单应性矩阵，单应性矩阵在步骤4)中用于生成鸟瞰图。

步骤3：根据行车挡位判断车辆行驶状态。

根据行车状态采用不同的模型进行图像拼接。车辆行驶档位信号由处理机接收并反馈，在全景系统前进行0,1判定，非倒车档信号为0，倒车档为1。

步骤4：若是前进挡，则采用柱面投影模型将投影图投影为柱面全景图，以获得更宽广的视野范围，若是倒车档，则采用采用基于步骤2)结果建立的透视变换模型以获取车辆鸟瞰图，并根据已获得的单应性矩阵进行透视变换得到四路图像鸟瞰图。

若是倒车挡，将畸变校正后的四路鱼眼图像进行逆透视变换，得到汽车车身前、后、左、右四张鸟瞰图，在本发明的其中一些实施例中，请参阅图2，在车辆前、后、左、右四个方向各放置一个黑白棋盘格L1、L2、L3、L4，用于鱼眼摄像头的标定与矫正、鸟瞰图的生成，在车辆四个角位置也各放置一个黑白棋盘格L5、L6、L7、L8，用于坐标选取参照。根据下面的世界坐标与像素坐标的关系：

其中，(u,v)为像素坐标系点坐标，(u₀,v₀)为图像坐标系原点在像素坐标系中的坐标，dx和dy分别是每个像素在图像平面x和y方向上的物理尺寸，这里的f为给定焦距，R、t分别为旋转矩阵和平移矩阵，(X_w,Y_w,Z_w)为世界坐标系点坐标。

通过测量L1、L2、L3、L4的棋盘格的世界坐标系(车辆坐标系)坐标，图像坐标系坐标已知，可建立二者映射关系。放置L5、L6、L7、L8是为了更好地测量点的坐标。

对于逆透视变换模型，通过每个方向上的坐标点的映射关系，求出前、后、左、右四个方向的单应性矩阵分别为H-front、H-back、H-left、H-right，通过四个鱼眼摄像头的单应性矩阵分别对前、后、左、右四个方向的图像进行逆透视变换，到汽车车身前、后、左、右四个方向的鸟瞰图。

对于柱面投影模型，无需进行基于柱面投影的矫正工作，将上述矫正后的图片视作柱面投影原图，通过柱面投影模型可得出柱面投影图，所述柱面投影模型模型为：

步骤5：采用掩膜裁剪方法进行柱面或鸟瞰图拼接：分别设置前、后、左、右四张鱼眼图的掩膜，对图像进行裁剪，前进状态确定柱面全景图的坐标系，倒车状态确定全景鸟瞰图的坐标系，进行坐标变换，分别得到汽车车身周围全景拼接图像和车身周围鸟瞰全景图像。

在本发明的其中一些实施例中，倒车状态，设置汽车车身前、后、左、右四个方向的掩膜，如图3所示，将车辆区域的四个顶点(位置取决于具体车辆)与全景图像的四个顶点(位置取决于显示区域设置的大小)相连接，得到在汽车前后左右四个掩膜区域，四个区域均为梯形，对逆透视变换得到的四个方向的鸟瞰图进行裁剪。在四路鱼眼相机相对位置固定的前提下，由相邻的鱼眼相机所采集的图像产生的重合区域也固定，所以对相邻相机所产生的鸟瞰图进行两两拼接。对于前进状态，设置掩膜如图4，左、右视掩膜区域为车辆区域向左、右方向延伸至图像边界并去掉车辆自身的区域，前、后视掩膜区域为图像边界与车辆区域、左右视掩膜区域之间的矩形区域，四个区域均为矩形，对柱面投影得到的图片进行裁剪，而后拼接。

步骤6：采用融合算法对图像拼接缝进行优化，得到优化后的拼接图像。

在本发明的其中一些实施例中，如图5所示，在图片I1和图片I2的拼接缝隙附近，存在一个图片I1和图片I2具有相同元素的重合区域，对此区域进行图像融合，得到拼接图像；加权平均融合公式为：

由式可以看出d越大，即重合过渡区域越大，融合的效果越好。但是，其运算量也随之增大，致使其速度下降。所以需要根据调节拼接缝和边界线来合理选择d的大小，以达到消除拼接缝达到最佳融合效果

步骤7：生成并显示全景拼接图像。

在本发明的其中一些实施例中，采用显示模块来显示，显示模块为车机屏幕，也可采用电脑显示屏。

在本发明的其中一些实施例中，处于前进状态时，柱面投影将图像按“二分之一后——左——前——右——二分之一后”的顺序拼接显示，显示示意如图6所示。当车辆处于倒车状态时，提供全景鸟瞰图，显示示意如图7所示。

以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围。

Claims

1.一种车辆四路鱼眼摄像头全景拼接方法，其特征在于，包括如下步骤：

2)采用MSER算法对鱼眼图像进行标定与图像畸变矫正；

3)根据行车挡位判断车辆行驶状态；

7)生成并显示全景拼接图像。

2.根据权利要求1所述的一种车辆四路鱼眼摄像头全景拼接方法，其特征在于，在步骤1)中，四路鱼眼相机的安装位置分别为汽车左、右后视镜下侧靠外端、汽车前盖开口与前车牌之间的中心处、以及后车牌上边框中心处，固定好安装位置后，分别对四路鱼眼相机进行标定，拍摄数张棋盘格图片，并从车机获取行车挡位信号。

3.根据权利要求1所述的一种车辆四路鱼眼摄像头全景拼接方法，其特征在于，在步骤2)包括以下子步骤：

建立单变量鱼眼摄像头径向畸变模型；

截取两幅以上鱼眼棋盘格图像；

4.根据权利要求3所述的一种车辆四路鱼眼摄像头全景拼接方法，其特征在于，所述单变量鱼眼摄像头径向畸变模型为

5.根据权利要求3所述的一种车辆四路鱼眼摄像头全景拼接方法，其特征在于，所述得到畸变图像与非畸变图像的坐标关系的过程包括：

对于非畸变图像，其方程为：

为其转置，G基本矩阵；

采用矩阵直积方法将基本矩阵G拉直为g；则上式可化为：

M(X′,X,k)g＝0

r_u为矫正后图像像素点距畸变中心的距离。

6.根据权利要求5所述的一种车辆四路鱼眼摄像头全景拼接方法，其特征在于，根据畸变图像与非畸变图像的坐标关系r_d，选取c组对应点，求解得到单应性矩阵。

7.根据权利要求1所述的一种车辆四路鱼眼摄像头全景拼接方法，其特征在于，在步骤4)中，根据行车状态采用不同的模型进行图像拼接，前进挡采用柱面投影模型，倒车挡则采用透视变换模型，并根据单应性矩阵进行透视变换得到四路图像鸟瞰图。

8.根据权利要求1所述的一种车辆四路鱼眼摄像头全景拼接方法，其特征在于，步骤4)中，得到四路图像鸟瞰图的步骤包括：

9.根据权利要求1所述的一种车辆四路鱼眼摄像头全景拼接方法，其特征在于，步骤4)中，所述柱面投影模型模型为：

10.根据权利要求1-9任一所述的一种车辆四路鱼眼摄像头全景拼接方法，其特征在于，在步骤6)中，采用距离三角函数加权平均融合算法对图像拼接缝进行融合，具体包括采用图像像素点到图像重合区域边界距离的三角函数值作为权重值，对图像重合部分进行加权平均，达到图像融合的效果。