CN106910217A - 视觉地图建立方法、计算装置、计算机存储介质和智能车辆 - Google Patents

Abstract

提供了一种视觉地图建立方法、计算装置、计算机存储介质和智能车辆，包括：连续获得车身上装载的双目相机拍摄的双目图像，并指定双目图像之一作为处理对象图像；由双目图像，手动或自动确定处理对象图像中的地面位置，并得到只包含地面上信息的灰度处理对象图像；将灰度处理对象图像转换为俯视图像；以及将多个俯视图像拼接为视觉地图。根据本发明基于双目图像，每帧根据深度信息、确定地面位置、独立求解俯视图片，能够得到高质量的视觉地图。

Description

视觉地图建立方法、计算装置、计算机存储介质和智能车辆

技术领域

本发明总体地涉及视觉地图建立技术，特别是涉及智能车辆使用的视觉地图的建立方法、计算装置、计算机存储介质和智能车辆。

背景技术

无人驾驶等技术正成为研发热点，智能汽车要想实现自动驾驶，需要为其构建计算机能够使用的视觉地图。

目前尚不存在令人满意的智能汽车使用的视觉地图的创建方法。

发明内容

鉴于上述情况，提出了本发明。

根据本发明的一个方面，提供了一种视觉地图建立方法，可以包括：连续获得车身上装载的双目相机拍摄的双目图像，并指定双目图像之一作为处理对象图像；由双目图像，手动或自动确定处理对象图像中的地面位置，并得到只包含地面上信息的灰度处理对象图像；将灰度处理对象图像转换为俯视图像；以及将多个俯视图像拼接为视觉地图。

根据本发明的另一方面，提供了一种计算装置，包括处理器和存储器，存储器上存储有计算机可执行指令，当所述计算机可执行指令被处理器执行时，执行前面所述的视觉地图建立方法。

根据本发明的另一方面，提供了一种计算机存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被处理器执行时，执行前面所述的视觉地图建立方法。

根据本发明的另一方面，一种智能车辆，包括双目相机，计算装置和无线通信装置，双目相机拍摄行驶中车辆前方的地面；无线通信装置能够连通双目相机和计算装置；计算装置包括处理器和存储器，存储器上存储有计算机可执行指令，当所述计算机可执行指令被处理器执行时，执行前面所述的视觉地图建立方法。

根据本发明实施例的视觉地图建立方法、计算装置、计算机存储介质和智能车辆，基于双目图像，每帧根据深度信息、确定地面位置、独立求解俯视图片，能够得到高质量的视觉地图。

附图说明

从下面结合附图对本发明实施例的详细描述中，本发明的这些和/或其它方面和优点将变得更加清楚并更容易理解，其中：

图1示出了根据本发明实施例的智能车辆运营系统1000的配置示意图。

图2示出了根据本发明实施例的智能车辆100的配置示意图。

图3示出了根据本发明实施例的一种视觉地图建立方法300的总体流程图。

图4(a)和图4(b)分别示出了示例性的双目相机中的左相机和右相机拍摄的图像。

图5示出了从图4(a)和图4(b)所示的左右图像计算得到的视差图。图6示出了示例性的将左图像转换得到的俯视图像。

图7示出了根据本发明一个实施例的将多个俯视图像拼接为视觉地图的方法340的总体流程图。

图8示例性示出了相邻两帧拼接的结果的示意图。

图9示例性示出了间隔多帧拼接的结果的示意图。

图10示出了根据本发明实施例的拼接两张俯视图像的示例性方法341的总体流程。

图11(a)、(b)、(c)给出用于计算误差区域的示例图，其中图11(a)表示前一帧的俯视灰度图；图11(b)表示当前帧的俯视灰度图；图11(c)表示用于计算误差的纹理区间。

图12示出了根据本发明实施例的根据相邻被拼接的两个俯视图像之间的相互关系进行局部优化的方法342的总体流程图。

图13(a)示出了基于先前拼接的结果，即步骤341得到的拼接的两帧俯视图，图13(b)示出了经过基于两帧相互关系微调后的结果，即步骤342得到的拼接的两帧俯视图。

图14示出了根据本发明实施例的根据多张图像相互关系进行拼接地图的整体优化方法343的总体流程图。

图15示出了显示的视觉地图片段示例。

具体实施方式

为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。

在介绍之前，解释一下有关术语在本文中的含义。

首先给出本文中使用的术语的解释。

视觉地图：本文中的视觉地图，不同于提交本申请时个人用户常用的sogo地图、百度地图、Google地图等，是给无人驾驶汽车使用的。sogo地图，百度地图、Google地图等是给人使用的，而这里我们所说的视觉地图是给无人驾驶车上的计算机识别的，它具有抽象和结构化的内容，方便计算机从中提取所需要的信息。

视差图：视差图是以图像对中任一幅图像为基准，其大小为该基准图像的大小，元素值为视差值的图像。视差图包含了场景的距离信息。视差图可以从双目相机拍摄的左右图像中计算得到。普通二维视差图中的某点坐标以(u,v)表示，其中u为横坐标，v为纵坐标；点(u,v)处的像素的像素值用d(u,v)表示，像素值表示该点(u,v)处的视差。由于视差图包含了场景的距离信息，因此从立体图像对中提取视差图的图像匹配，一直是双目视觉研究中最为活跃的领域。

RANSAC:RANdom Sample Consensus的缩写，它是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法。

双目立体视觉：双目立体视觉(Binocular Stereo Vision)是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。融合两只眼睛获得的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别，我们称作视差(Disparity)图像。双目立体视觉测量方法具有效率高、精度合适、系统结构简单、成本低等优点。对运动物体(包括动物和人体形体)测量中，由于图像获取是在瞬间完成的，因此立体视觉方法是一种更有效的测量方法。双目立体视觉系统是计算机视觉的关键技术之一，获取空间三维场景的距离信息也是计算机视觉研究中最基础的内容。

智能车辆：指如下车辆：能够与外部通信、根据用户用车任务自己进行路径规划或者接受外部的路径规划，基本无需驾驶员而自主驾驶，可以包含无人驾驶汽车(完全自主)、辅助驾驶汽车(较少时间需要驾驶员介入)、驾驶辅助汽车(多数时间为驾驶员驾驶)。

图1示出了根据本发明实施例的智能车辆运营系统1000的配置示意图。

如图1所示，智能车辆运营系统1000由智能车辆管理平台10、多辆智能车辆100和用户终端21-23等协作配置。智能车辆管理平台10通常在云端，由众多计算资源和存储资源协同配置，存储并管理众多用户的信息，以及存储并管理众多车辆的信息，调度并监控众多车辆。用户通过终端例如笔记本21、手机22或工作站23等与智能车辆管理平台10交互，提交用车请求；智能车辆管理平台10接收到用户用车请求后，进行任务分配，接收到任务的智能车辆100接到用户，并送用户至目的地，这过程中，智能车辆要根据路径规划依据视觉地图进行行驶。

图2示出了根据本发明实施例的智能车辆100的配置示意图。为避免混淆要点，仅示出了车辆中和本发明密切相关的部分，而省略了其它无关部分。

如图2所示，根据本发明实施例的智能车辆100包括：双目相机110和计算装置120。

双目相机110布置于车辆前端的顶部。

计算装置120包括存储器121、处理器122、通信接口123和输入/输出接口，这些部分通过总线124互相连接。经由通信接口，计算装置120与外界通信；经由输入/输出接口125接收传感器的输入，输出控制指令等等。

存储器121上存储有操作系统和视觉地图构建应用程序等等，处理器122可操作来执行存储器121中的视觉地图构建应用程序。计算装置110当然可以包括其它部件，这里示出仅为示例，而非作为限制。

下面参考附图描述根据本发明实施例的视觉地图构建方法。这样的视觉地图构建方法中的全部步骤或部分步骤可以由车载计算装置执行，其余步骤例如可以由智能车辆管理平台执行。

图3示出了根据本发明实施例的一种视觉地图建立方法300的总体流程图。

如图3所示，在步骤310中，连续获得车身上装载的双目相机拍摄的双目图像，并指定双目图像之一作为处理对象图像。

这里的双目相机应该做广义理解，任何能够实现双目相机功能的图像拍摄装置都可以视为这里的双目相机。

在下文中，为描述方便，指定双目图像中的左图像作为处理对象图像。不过，此仅为示例，可以指定双目图像中的右图像作为处理对象图像。

图4(a)和图4(b)分别示出了示例性的双目相机中的左相机和右相机拍摄的图像。

在步骤320中，由双目图像，手动或自动确定处理对象图像中的地面位置，并得到只包含地面上信息的灰度处理对象图像。

出于导航目的，本实施例创建的视觉地图中只包含地面上的信息，如车道线、地面标志，而不包含人和车辆等信息。

在一个示例中，由双目图像，自动确定处理对象图像中的地面位置可以包括：由双目图像得到视差图，由视差图得到V-视差图，在V视差图中拟合直线作为地面预测，将其反推回处理对象图像中来得到地面位置，并进而从处理对象图像中去除非地面上的对象，得到只包含地面上信息的灰度处理对象图像。

在一个示例中，确定处理对图像中的地面位置可以包括借助手动的帮助，例如人工大体观察一下图片，来确定地面的位置范围，比如从左到右地200个像素到1000个像素之间，从上到下400个像素到600个像素之间，这样能够加速确定处理对象图像中的地面位置的处理速度。

在步骤330中，将灰度处理对象图像转换为俯视图像。

在一个示例中，将灰度处理对象图像转换为俯视图像包括：根据地面位置，求得地面法线方向，从而得到所述双目相机相对于地面的位置；根据双目相机相对于地面的位置，将灰度处理对象图像转换为在指定位置的、指定比例尺下俯视视角的俯视图像。

例如，可以通过下述方法求得地面法线方向：如前所述，通过视差图求得了地面平面，则可以求得地面法线方向，然后计算得到双目相机相对于地面的位置，根据这些信息可以将双目相机拍到的图片转换为指定位置，指定比例尺下俯视视角的图片。

例如，在一个示例中，给出比例尺为1像素＝1厘米，以车前方10米为中心的区域10米×10米的俯视图。

具体地，关于指定位置、指定比例尺下的俯视视角的图片，由于我们知道车载双目相机的内参(焦距等)和外参(相机位置)，就可以得到图片上的每个像素在每个像素对应物理空间的距离。俯视图可以视为由一个虚拟的俯视相机得到，这个虚拟的俯视相机本身也存在内参和外参，通过改变虚拟俯视相机的高度(外参)或焦距(内参)可以得到想要的缩放效果——也即指定的比例尺——的俯视图片。

图5示出了从图4(a)和图4(b)所示的左右图像计算得到的视差图。图6示出了示例性的将左图像转换得到的俯视图像。

这样，可以将连续获得的左图像得到连续的俯视图像。

在步骤340中，将多个俯视图像拼接为视觉地图。

后面将参考附图对将俯视图像拼接为视觉地图的优选实施例进行详细描述。

利用结合图3描述的根据本发明实施例的视觉地图的构建方法，基于双目图像，由视差信息来得到地面位置，每帧图像能够根据地面位置而单独转换得到俯视图像，进而拼接得到视差地图。

图7示出了根据本发明一个实施例的将多个俯视图像拼接为视觉地图的方法340的总体流程图。该方法340可以应用于图3所示的步骤340。

如图7所示，在步骤341中，顺次两两拼接时间顺序的俯视图像。

此步骤可以视为视差地图的初始化过程。

要拼接两帧顺序的俯视图像，需要知道两帧俯视图像之间的位置关系，或者说两帧俯视图像之间的坐标变换关系，例如第一帧俯视图像要平移多少、旋转多少才能到达第二帧俯视图像。

假设双目相机左相机获得的图像按时间顺序编号为I1、I2、I3、I4、I5，…..。拼接时，可以先拼接I1和I2，然后拼接I2和I3，然后拼接I3和I4，如此继续下去；也可以拼接间隔的图像，例如每隔一帧进行拼接，拼接I1和I3，然后拼接I3和I5，拼接I5和I7，……；或者每隔两帧进行拼接，例如拼接I1和I4，然后拼接I4和I7，然后拼接I7和I10，……；上面示例中都是规律地进行拼接，在一个示例中，可以视情况而调节拼接规则，例如，在汽车直线行驶的情况下，可以间隔多帧进行拼接；而在汽车拐弯或者路况复杂的情况下，逐帧连续进行拼接。

在一个示例中，如果两帧俯视图像之间的变换关系表明，彼此平移非常少，即两帧图像几乎完全重叠，这发生在例如车辆静止的情况下，则这样的两帧俯视图像拼接对于视觉地图几乎不增加信息，因此不对这样的两帧俯视图像进行拼接。

图8示例性示出了相邻两帧拼接的结果的示意图。

图9示例性示出了间隔多帧拼接的结果的示意图。

在一个示例中，如果两帧俯视图像之间的变换关系表明，彼此平移量非常大(即两帧图像重合度非常小，极端情况下不存在重合，这发生在例如两帧图像间隔图像过多的情况下)，则这样的两帧俯视图像拼接对于视觉地图而言中间遗落了过多信息，因此也不对这样的两帧俯视图像进行拼接。

下面将参照图10描述根据本发明实施例的对两个俯视图像进行拼接的方法示例。

图10示出了根据本发明实施例的拼接两张俯视图像的示例性方法341的总体流程。该示例性方法341可以应用于图7所示的步骤341。

在步骤3411中，获得该两帧俯视图像对应的两帧灰度处理对象图像相关联的真实相机在对应两时刻所处位置之间的真实相机坐标变换关系。换句话说，设两帧俯视图像分别为F1和F2，其中在时间轴上对应时刻分别为t1和t2，t1<t2，对应灰度处理对象图像(例如双目相机的左图像)分别为H1和H2，真实相机在t1时刻处于三维世界坐标系下的位置L1，在t2时刻处于三维世界坐标系下的位置L2，这里步骤3411为求得从位置L2到位置L1的坐标变换关系，这里称之为真实相机坐标变换关系。

在一个示例中，可以借助视觉里程计(“visual odometry”)来获得相机的位置和朝向，进而计算得到在两个时刻相机方位之间的坐标变换关系。视觉里程计是根据视觉信息确定相机位置和朝向的技术，在本文中的目的是用于累计相机的连续的位置变化。Wiki百科中解释道“visual odometry is the process of determining the position andorientation of a robot by analyzing the associated camera images”，即视觉里程计是通过分析相机拍摄到的图片来决定机器人(/相机)的位置和朝向的过程。

在步骤3412中，获得所述真实相机与原图像之间的映射关系。

可以基于真实相机的参数和相机成像模型，来得到真实相机与原图像之间的映射关系。

在步骤3413中，基于所述地面位置，获得俯视图像对应的虚拟相机的位置。

如前所述，地面位置可以基于分析视差图而计算得到，从而确定比例尺后，可以确定虚拟相机的位置。

在步骤3414中，获得虚拟相机和真实相机之间的坐标变换关系。

如前所述，在步骤3411中得到了真实相机的方位，在步骤3413中，得到了虚拟相机的方位，这都是在世界坐标系下的方位。由此，可以计算得到虚拟相机和真实相机之间的坐标表换关系。

在步骤3415中，获得虚拟相机与俯视图像之间的映射关系。

如前所述，虚拟相机有自己的参数，包括焦距等，由虚拟相机的参数，可以得到虚拟相机与俯视图像之间的映射关系。

这里假设虚拟相机具有与真实相机相同的内参。根据成像比例的需求得到虚拟相机的距离地面的高度。这样就可以得到两个相机之间的空间位置关系。)通过相机成像模型得到俯视图。

在步骤3416中，基于真实相机在对应两时刻所处位置之间的真实相机坐标变换关系、真实相机与原图像之间的映射关系、虚拟相机和真实相机之间的坐标变换关系、虚拟相机与俯视图像之间的映射关系，得到两帧俯视图之间的坐标变换关系。

关于两帧图片之间的关系，有平移、旋转(下文统称旋转平移为刚体变换)，还有仿射变换(affine)。

在一个示例中，基于两帧俯视图之间只存在刚体变换关系而不存在仿射变换关系，获得两帧俯视图之间的坐标变换关系。

在下面的示例中，均假设地面是平的，所以两张生成俯视图片匹配只用到了平移和旋转操作，从而消除了地图建立过程中累积的地图形变.

在一个示例中，得到任意相邻两帧俯视图(设为第k和第k+1)之间的刚体变换关系，以R_k,k+1表示。

可以以下面公式(1)求得任意第i帧和第j帧俯视图之间的刚体变换关系。

其中vo是视觉里程计(visual odometry)的英文的缩写，i,j分别表示第i帧和第j帧，∏为连乘符号，表示第i帧和第j帧之间俯视图之间的刚体变换关系。

在步骤3417中，基于两帧俯视图之间的坐标变换关系，对两帧俯视图进行拼接。

将两帧俯视图像按照确定的坐标变换关系，例如平移和旋转，放置好，使得图像中是针对同一景物的成像部分重叠，然后叠加在一起。例如首先将两帧图像完全重叠，然后将第二帧图像按照坐标变换关系进行平移和旋转，这样得到了放置好的两帧图像。

关于两帧图像重合部分的像素的处理，有多种方式，例如一种常用的形式是重合部分取平均。

然后过程结束。

这样就实现了两帧俯视图像之间的拼接。

回到图7，接下来在步骤342中，根据两两图像相互关系进行拼接地图的局部优化。

在得到初始化的拼接地图后，可以凭借拼接质量，然后依据两两图像的相互关系进行微调。

在一个示例中，采用两帧俯视图的重合区域中的像素灰度差的绝对值的和来作为误差函数的基础。

在一个示例中，考虑到地面中大量区域为非地面标志区域，纹理不明显，同时在图片中又占有很大比重，如果对重合区域的每个像素都计算误差的话，会给不重要的区域给予过大的权重，所以我们只在纹理区域附近对于两帧图像进行比较，则其中误差E_ij表示第i帧俯视图像和第j帧俯视图像之间的拼接误差。有关地面标志，例如为地面上人工涂抹的标志，例如，车道线-实线、虚线、双黄线，停车线，人行横道，地面上的限速标志等。

在一个示例中，纹理区域包括视觉上显著度达预定程度的点的预定范围的周围区域。

图11(a)、(b)、(c)给出用于计算误差区域的示例图，其中图11(a)表示前一帧的俯视灰度图；图11(b)表示当前帧的俯视灰度图；图11(c)表示用于计算误差的纹理区间。

下面参照图12描述根据相邻被拼接的两个俯视图像之间的相互关系进行局部优化的方法342。该方法可用于图7所示的步骤342。

如图12所示，在步骤3421中，寻找被拼接的两个俯视图像中的匹配的像素点对。具体地，对于相邻被拼接的两个俯视图像(说明一下，这里的“相邻”图像指的是视觉地图上的“相邻”的俯视图像(下文中称一个为第一俯视图像，称另一个为第二俯视图像)，而非双目相机取得的原始图像序列的时间上相邻的两帧图像)，对于两者重合区域上的第一俯视图像上的每个纹理明显度超出预定阈值的第一像素点，确定在第二俯视图上与所述第一像素点最相似的第二像素点，作为一对匹配的像素点对。

具体地，例如，对于两者重合区域上的第一俯视图像上的每个纹理明显度超出预定阈值的第一像素点，确定在第二俯视图上与所述第一像素点最相似的第二像素点，作为一对匹配的像素点对，可以如下进行：

对于所述第一像素点，确定在第一俯视图像上，第一像素点梯度变化最大的方向；

在第二俯视图像上，沿着第一像素点梯度变化最大的方向，以第二俯视图像上与第一俯视图像上的第一像素点重合的第三像素点为起始点，沿梯度变化最大的方向逐步滑动一定范围的滑动窗口，比较滑动窗口内所有像素点与第一俯视图上第一像素点为中心的窗口内的所有像素点，由此确定滑动窗口中心点与第一像素点之间的相似度；即这样，为了搜索与第一像素点相似度最大的第二像素点，需确定搜索方向和搜索范围，这里搜索方向即梯度变化最大的方向，关于搜索范围，可以由用户指定，例如根据视觉里程计的精度、计算效率以及人工经验，可以将搜索范围定为0.5米；以及

以与第一像素点相似度最大的像素点为所述第二像素点。

这样，就找到了一个像素点对，如此继续下去，可以找到多个像素点对。

在步骤3422中，基于找到的两帧俯视图像之间匹配的多个像素点对，利用RANSAC算法计算得到两帧俯视图像之间的第二变换矩阵。

利用RANSAC算法的好处是尽可能排除野点(outliers)的干扰。RANSAC的算法原理是：随机提取几个(个数不小于求解参数需要的点对个数)点对，求解出变换矩阵，所有的第一像素点按照这个变换矩阵变换到一组新的点，如果这组新的点与第二像素点之间的距离在容许范围之内(小于预先给定的阈值)就认为是局内点(inliers)，否则为局外点(outliers)。多次迭代后，对应局内点(inliers)最多的变换就是最终采用的变换。

在一个示例中，也可以用最小距离平方误差法来求解。

在步骤3423中，比较基于先前拼接的误差和基于第二变换矩阵拼接的误差，以误差小的拼接作为优化后的拼接结果。

即，比较基于先前拼接的误差和基于第二变换矩阵拼接的误差，如果前者更小，则拼接无需调整；否则按照第二变换矩阵来调整拼接。

图13(a)示出了基于先前拼接的结果，即步骤341得到的拼接的两帧俯视图，图13(b)示出了经过基于两帧相互关系微调后的结果，即步骤342得到的拼接的两帧俯视图。由图13(a)和13(b)的比较可见，经步骤342的微调后，两帧俯视图对齐的更加准确，可见重合的倾斜的标志线更加清晰。

结合图12描述的根据本发明实施例的两两图片拼接过程中同时融合了特征点匹配、像素点匹配和高精度定位技术得到的相机移动信息等多个信息进行匹配，使得匹配结果相较与单一方法更精确。

回到图7，接下来在步骤343中，根据多张图像相互关系进行拼接地图的整体优化。

对于可能存在视觉里程计求得当前相机位置不准，或地面不够平整等多重因素导致图片成像质量不高的情况，直接采用连续图片进行拼接，结果可能误差较大，造成地图畸变。为了解决这个问题我们加入整体优化过程。

此步骤旨在根据邻域多张图片相互关系做整体优化。更具体地，利用多帧图片之间的相互关联和约束对图片初步匹配结果进行矫正.由于每张图片可与相邻的多帧图片存在匹配，可以建立互相之间的变换关系。根据匹配的优劣程度－－由定义的误差函数作为评测依据－－作为权重平均作用结果后，最后每张图片在地图上的位置是由多张图片综合作用给出的结果。

对于可能存在视觉里程计求得当前相机位置不准，或地面不够平整等多重因素导致图片成像质量不高的情况，直接采用连续图片进行拼接，结果可能误差较大，造成地图畸变。为了解决这个问题我们加入整体优化过程。不同于传统的整体优化过程需要每个特征点的三维信息，我们只利用图片的在平面上的信息，给出当帧图片基于周围帧图片共同作用后对其调整的结果。整体优化的过程能够将不理想的图片从图片拼接中取出，也减少其对其它图片位置的影响。

下面参考图14描述根据本发明实施例的根据多张图像相互关系进行拼接地图的整体优化方法343的示例。该整体优化方法343可以应用于图7的步骤343。

在步骤3431中，以第一帧俯视图像所在的坐标系为世界坐标系，根据连续帧的变换关系得到任何一帧俯视图像相对于第一帧俯视图的第一变换关系得到任何一帧相对于所述第一帧的第一位置，并计算得到任何一帧与所拼接到的帧之间的第一拼接误差。

先前(例如在图3所示的步骤341中)在进行视觉地图的初始化时，为了进行两两俯视图像的拼接，需要计算各个俯视图像的位置，例如通过视觉里程计来计算各个俯视图像的位置，进而得到两个俯视图像之间的变换关系。例如，得到了任何连续两帧之间的变换关系。

在这个示例性步骤中，是给定第一帧俯视图像的位置，以及连续帧之间的变换关系，来基于连续帧的变换关系得到任何一帧相对于第一帧的变换关系，从而计算得到任何一帧相对于所述第一帧的第一位置。例如，知道第2帧相对于第1帧的变换关系，第3帧相对于第2帧的变换关系，计算得到第3帧相对于第1帧的变换关系。类似地，可以得到任何一帧相对于第一帧的变换关系，那么在第一帧位置已知的情况下，可以计算得到任何一帧相对于第一帧的位置。

在步骤3431中，还基于先前拼接结果计算任何一帧与所拼接到的帧之间的第一拼接误差，此为初始误差。

接下来，在这个世界坐标系下，对于每一帧感兴趣图片，执行步骤3432

在步骤3432中，确定其相关联图片帧。

在一个示例中，可以确定一个感兴趣图片之前的若干个图片帧和之后的若干个图片帧为相关联图片帧，例如感兴趣图片的前2个图片帧和后两个图片帧。

在步骤3433中，以每个相关联图片帧为基准，确定所述感兴趣图片相对于所述每个相关联图片帧的变换关系，进而确定所述感兴趣图片相对于所述第一帧俯视图的第二变换关系，从而得到所述感兴趣图片在世界坐标系下的第二位置，基于该第二位置，计算所述感兴趣图片与其所拼接到的图片之间的第二拼接误差。

具体地，例如，感兴趣图片为第i帧，以第i-2帧图片为基准，确定第i帧相对于第i-2帧的变换关系(例如，根据步骤3431已经知道了各帧相对于第一帧的位置，所以能够求得任何两帧之间的相对位置，因此能够求得任何两帧之间的变换关系)，然后第i-2帧相对于第1帧的变换关系已知第i帧相对于第i-2帧的变换关系已知，则第i帧相对于第1帧的新变换关系可以依照公式来求得，然后来求得第i帧在世界坐标系的位置，则得到了另一种拼接方，进而计算第i帧与所拼接到的图片之间的第二拼接误差。即以第i-2帧为基准求得第i帧的位置，然后调整第i帧与所拼接到的图片进行拼接，然后求得这种拼接的误差，称为第二拼接误差。

在步骤3434中，基于第二拼接误差确定所述感兴趣图片与所述每个相关联图片帧相关联的、相对于第一帧俯视图的第二变换关系的权重。

此步骤旨在使得误差较小的图片间的相互作用给予其较高的权重，对决定图片的最终位置起较重要的作用。

在一个示例中所述基于第二拼接误差确定所述感兴趣图片与所述每个相关联图片帧相关联的、相对于第一帧俯视图的第二变换关系的权重包括：权重被计算为第二拼接误差的高斯函数，例如，的形式，E_ij表示第二拼接误差，参数σ由实验给出。

在步骤3435中，基于所述感兴趣图片与所述每个相关联图片帧相关联的、相对于第一帧俯视图的第二变换关系以及相对应的权重，确定所述感兴趣图片相对于第一帧俯视图的第三变换关系，从而得到所述感兴趣图片在世界坐标系下的第三位置，基于该第三位置，计算所述感兴趣图片与其所拼接到的图片之间的第三拼接误差。

在一个示例中，感兴趣图片i与第一帧俯视图之间的第三变换关系H_1i根据下面的公式计算：

其中角标(2)表示整体优化后的结果，A为归一化常数， 参数σ由实验给出。H_1j ⁽¹⁾表示在整体优化之前，第j帧相对于第1帧的变换关系，H_ji ⁽¹⁾表示在整体优化之前，第i帧相对于第j帧的变换关系。

在步骤3436中，比较第三拼接误差与第一拼接误差，如果第三拼接误差小于第一拼接误差，将所述感兴趣图片相对于第一帧俯视图的第一变换关系更新为第三变换关系，将第一拼接误差更新为第三拼接误差。

即，如果整体优化后的拼接误差小于之前的拼接误差，则选用整体优化后的拼接。

接下来，在步骤3437中，判断是否达到迭代截止条件。如果没有达到迭代截止条件，则跳回到步骤3431，否则结束该整体优化过程。

在一个示例中，所述预定截止条件为达到迭代次数或者所述视觉地图达到评判人员的视觉标准。

根据图14所示的整体优化方法，利用多帧综合结果决定感兴趣图片在地图中的位置，防止单张图片匹配结果较差时影响地图建立的整体效果。

回到图7，在步骤343的整体优化之后，过程结束，实现了将多张俯视图像拼接为视觉地图的操作。

在一个示例中，视觉地图建立后，还在显示设备上显示视觉地图。图15示出了显示的视觉地图片段示例。

在一个示例中，视觉地图建立后，在拼接后的视觉地图上叠加地面上的固定物体的视觉表示。

概况起来，本公开至少公开了如下技术方案：

(1)、一种视觉地图建立方法，包括：

连续获得车身上装载的双目相机拍摄的双目图像，并指定双目图像之一作为处理对象图像；

由双目图像，手动或自动确定处理对象图像中的地面位置，并得到只包含地面上信息的灰度处理对象图像；

将灰度处理对象图像转换为俯视图像；以及

将多个俯视图像拼接为视觉地图。

(2)、根据(1)的视觉地图建立方法，所述将多个俯视图像拼接为视觉地图包括：

顺次两两拼接时间顺序的俯视图像；

根据两两图像相互关系进行拼接地图的局部优化；以及

根据多张图像相互关系进行拼接地图的整体优化。

(3)、根据(2)的视觉地图建立方法，拼接两张俯视图像包括：

获得该两帧俯视图像对应的两帧灰度处理对象图像相关联的真实相机在对应两时刻所处位置之间的真实相机坐标变换关系；

获得所述真实相机与原图像之间的映射关系；

基于所述地面位置，获得俯视图像对应的虚拟相机的位置；

获得虚拟相机和真实相机之间的坐标变换关系；

获得虚拟相机与俯视图像之间的映射关系；

基于真实相机在对应两时刻所处位置之间的真实相机坐标变换关系、真实相机与原图像之间的映射关系、虚拟相机和真实相机之间的坐标变换关系、以及虚拟相机与俯视图像之间的映射关系，得到两帧俯视图之间的坐标变换关系；以及

基于两帧俯视图之间的坐标变换关系，对两帧俯视图进行拼接。

(4)、根据(3)的视觉地图建立方法，基于两帧俯视图之间只存在刚体变换关系而不存在仿射变换关系，获得两帧俯视图之间的坐标变换关系。

(5)、根据(3)的视觉地图建立方法，还包括：

针对两帧俯视图的重合区域中的纹理区域，计算两帧俯视图拼接的误差，作为拼接质量的衡量度。

(6)、根据(5)的视觉地图建立方法，所述纹理区域包括视觉上显著度达预定程度的点的预定范围的周围区域。

(7)、根据(1)的视觉地图建立方法，将多个俯视图像拼接为视觉地图包括根据相邻被拼接的两个俯视图像之间的相互关系进行局部优化。

(8)、根据(7)的视觉地图建立方法，所述根据相邻被拼接的两个俯视图像之间的相关关系进行局部优化包括：

对于相邻被拼接的两个俯视图像，对于两者重合区域上的第一俯视图像上的每个纹理明显度超出预定阈值的第一像素点，确定在第二俯视图上与所述第一像素点最相似的第二像素点，作为一对匹配的像素点对；

基于找到的两帧俯视图像之间匹配的多个像素点对，利用RANSAC算法计算得到两帧俯视图像之间的第二变换矩阵；

比较基于先前拼接的误差和基于第二变换矩阵拼接的误差，以误差小的拼接作为优化后的拼接结果。

(9)、根据权利要求(8)的视觉地图建立方法，其中所述根据相邻被拼接的两个俯视图像之间的相关关系进行局部优化的过程迭代多次。

(10)、根据(8)的视觉对图建立方法，所述对于两者重合区域上的第一俯视图像上的每个纹理明显度超出预定阈值的第一像素点，确定在第二俯视图上与所述第一像素点最相似的第二像素点，作为一对匹配的像素点对包括：

对于所述第一像素点，确定在第一俯视图像上，第一像素点梯度变化最大的方向；

在第二俯视图像上，沿着第一像素点梯度变化最大的方向，以第二俯视图像上与第一俯视图像上的第一像素点重合的第三像素点为起始点，沿梯度变化最大的方向逐步滑动一定范围的滑动窗口，比较滑动窗口内所有像素点与第一俯视图上第一像素点为中心的窗口内的所有像素点，由此确定滑动窗口中心点与第一像素点之间的相似度；以及

以与第一像素点相似度最大的像素点为所述第二像素点。

(11)、根据(1)的视觉地图建立方法，所述将多个俯视图像拼接为视觉地图包括根据邻域多张图片之间的相互关系做整体优化。

(12)、根据(11)的视觉地图建立方法，所述根据邻域多张图片之间的相互关系做整体优化包括：

(a)以第一帧俯视图像所在的坐标系为世界坐标系，根据连续帧的变换关系得到任何一帧俯视图像相对于第一帧俯视图的第一变换关系，得到任何一帧相对于所述第一帧的第一位置，并计算得到任何一帧与所拼接到的帧之间的第一拼接误差，

(b)在这个世界坐标系下，对于每一帧感兴趣图片，

确定其相关联图片帧；以及

以每个相关联图片帧为基准，确定所述感兴趣图片相对于所述每个相关联图片帧的变换关系，进而确定所述感兴趣图片相对于所述第一帧俯视图的第二变换关系，从而得到所述感兴趣图片在世界坐标系下的第二位置，基于该第二位置，计算所述感兴趣图片与其所拼接到的图片之间的第二拼接误差，以及

基于第二拼接误差确定所述感兴趣图片与所述每个相关联图片帧相关联的、相对于第一帧俯视图的第二变换关系的权重，

基于所述感兴趣图片与所述每个相关联图片帧相关联的、相对于第一帧俯视图的第二变换关系以及相对应的权重，确定所述感兴趣图片相对于第一帧俯视图的第三变换关系，从而得到所述感兴趣图片在世界坐标系下的第三位置，基于该第三位置，计算所述感兴趣图片与其所拼接到的图片之间的第三拼接误差；

比较第三拼接误差与第一拼接误差，如果第三拼接误差小于第一拼接误差，将所述感兴趣图片相对于第一帧俯视图的第一变换关系更新为第三变换关系，将第一拼接误差更新为第三拼接误差。

(c)重复第(b)步骤，直到达到预定截止条件。

(13)、根据(12)的视觉地图建立方法，所述预定截止条件为达到迭代次数或者所述视觉地图达到评判人员的视觉标准。

(14)、根据(12)的视觉地图建立方法，所述基于第二拼接误差确定所述感兴趣图片与所述每个相关联图片帧相关联的、相对于第一帧俯视图的第二变换关系的权重包括：权重被计算为第二拼接误差的高斯函数。

(15)、根据(3)的视觉地图建立方法，其中基于视觉里程计来获得两帧灰度处理对象图像之间的第一坐标变换关系。

(16)、根据(1)的视觉地图建立方法，所述将灰度处理对象图像转换为俯视图像包括：

根据地面位置，求得地面法线方向，从而得到所述双目相机相对于地面的位置；

根据双目相机相对于地面的位置，将灰度处理对象图像转换为在指定位置的、指定比例尺下俯视视角的俯视图像。

(17)、根据(3)的视觉地图建立方法，所述两帧灰度处理对象图像为时间上紧邻的两帧或者中间间隔一或多帧的两帧。

(18)、根据(17)的视觉地图建立方法，所述两帧灰度处理对象图像不包括彼此间沿汽车行进方向的间隔小于第一阈值的图像，也不包括彼此间沿汽车行进方向的间隔大于第二阈值的图像。

(19)、根据(1)到(17)任一项的视觉地图建立方法，还包括：

在显示设备上显示视觉地图。

(20)、根据(1)到(17)任一项的视觉地图建立方法，还包括：

在拼接后的视觉地图上叠加地面上的固定物体的视觉表示。

(21)、一种计算装置，包括处理器和存储器，存储器上存储有计算机可执行指令，当所述计算机可执行指令被处理器执行时，执行所述(1)到(20)任一项所述的视觉地图建立方法。

(22)、一种计算机存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被处理器执行时，执行所述(1)到(20)任一项所述的视觉地图建立方法。

(23)、一种智能车辆，包括双目相机，计算装置和无线通信装置,

双目相机拍摄行驶中车辆前方的地面；

无线通信装置能够连通双目相机和计算装置；

计算装置包括处理器和存储器，存储器上存储有计算机可执行指令，当所述计算机可执行指令被处理器执行时，执行所述(1)到(20)任一项所述的视觉地图建立方法。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种视觉地图建立方法，包括：

连续获得车身上装载的双目相机拍摄的双目图像，并指定双目图像之一作为处理对象图像；

由双目图像，手动或自动确定处理对象图像中的地面位置，并得到只包含地面上信息的灰度处理对象图像；

将灰度处理对象图像转换为俯视图像；以及

将多个俯视图像拼接为视觉地图。

2.根据权利要求1的视觉地图建立方法，所述将多个俯视图像拼接为视觉地图包括：

顺次两两拼接时间顺序的俯视图像；

根据两两图像相互关系进行拼接地图的局部优化；以及

根据多张图像相互关系进行拼接地图的整体优化。

3.根据权利要求2的视觉地图建立方法，拼接两张俯视图像包括：

获得该两帧俯视图像对应的两帧灰度处理对象图像相关联的真实相机在对应两时刻所处位置之间的真实相机坐标变换关系；

获得所述真实相机与原图像之间的映射关系；

基于所述地面位置，获得俯视图像对应的虚拟相机的位置；

获得虚拟相机和真实相机之间的坐标变换关系；

获得虚拟相机与俯视图像之间的映射关系；

基于真实相机在对应两时刻所处位置之间的真实相机坐标变换关系、真实相机与原图像之间的映射关系、虚拟相机和真实相机之间的坐标变换关系、以及虚拟相机与俯视图像之间的映射关系，得到两帧俯视图之间的坐标变换关系；以及

基于两帧俯视图之间的坐标变换关系，对两帧俯视图进行拼接。

4.根据权利要求3的视觉地图建立方法，其中基于两帧俯视图之间只存在刚体变换关系而不存在仿射变换关系，获得两帧俯视图之间的坐标变换关系。

5.根据权利要求3的视觉地图建立方法，还包括：

针对两帧俯视图的重合区域中的纹理区域，计算两帧俯视图拼接的误差，作为拼接质量的衡量度。

6.根据权利要求5的视觉地图建立方法，所述纹理区域包括视觉上显著度达预定程度的点的预定范围的周围区域。

7.根据权利要求1的视觉地图建立方法，将多个俯视图像拼接为视觉地图包括根据相邻被拼接的两个俯视图像之间的相互关系进行局部优化。

8.一种计算装置，包括处理器和存储器，存储器上存储有计算机可执行指令，当所述计算机可执行指令被处理器执行时，执行所述权利要求1到7任一项所述的视觉地图建立方法。

9.一种计算机存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被处理器执行时，执行所述权利要求1到7任一项所述的视觉地图建立方法。

10.一种智能车辆，包括双目相机，计算装置和无线通信装置,

双目相机拍摄行驶中车辆前方的地面；

无线通信装置能够连通双目相机和计算装置；

计算装置包括处理器和存储器，存储器上存储有计算机可执行指令，当所述计算机可执行指令被处理器执行时，执行所述权利要求1到7任一项所述的视觉地图建立方法。