CN109374008A - 一种基于三目摄像头的图像采集系统及方法 - Google Patents

Abstract

一种基于三目摄像头的图像采集方法和系统，该方法包括，S10，基于单目摄像头单元(1)检测的图像，获得道路标识识别信息；S20，基于双目摄像头单元(2)的检测的图像，获得道路标识的位置信息；S30，根据单目摄像头单元(1)检测的图像和惯性测量单元的测量结果，获得道路的曲率、坡度、倾角信息；S40，基于道路标识信息、道路标识的位置信息、以及道路的曲率、坡度和倾角信息，生成高精度地图。本发明采用三目摄像头、惯性测量单元和GPS单元，通过视觉、惯性和GPS的融合可以实现用较低成本的传感器获得高精度的定位，从而实现较低成本的高精度地图数据采集。

Description

一种基于三目摄像头的图像采集系统及方法

所属技术领域

本发明涉及图像采集领域，特别是涉及一种用于自动驾驶的高精度地图的图像采集系统及方法。

背景技术

地图已经成为车辆日常出行不可或缺的一部分，主要用于环境查看和路径导航。但目前绝大多数常见地图只能提供道路级别精度的地理信息，驾驶者或驾驶系统无法从地图上得知当前道路车道信息以及自身处于哪一条车道，且这些地图包含的道路相关信息有限，一般仅包含部分交通标志信息大致位置信息和道路形状信息，精度低，信息量小，不能全面反映道路特征。常见地图的影像图采用卫星影像图或航拍图像，图像分辨率较低，多数仅能达到米级，不能分辨路面特征，对车道信息以及路面交通标志无法准确呈现，低分辨率也是制约地图精度提升的一个重要因素。

随着先进驾驶辅助系统和无人驾驶车辆的研发和应用，计算机智能被更多引入车辆驾驶之中，与人类驾驶员不同，计算机依赖精确数据才能完成对车辆的各种操作，普通地图无法提供足够详细和精确的数据供计算机使用，只有高精细地图才能满足需要，使用高精细地图可以有效提升先进驾驶辅助系统和无人驾驶车辆的表现。

目前高精细地图制作也存在多种方法，例如使用激光雷达，激光雷达采集信息精度高，全局性好，但成本高昂，数据量大，且生成图像为反射率图像，与现实景物存在差异,使用拍摄图像的方式则成本低廉，使用较为简便。

发明内容

针对现有技术的不足，本发明的目的是提供一种基于三目摄像头单元的图像信息采集系统及方法，通过单目摄像头单元进行语义提取，获取车道线、路面标识、红绿灯、路灯杆、指示牌等道路标识信息，通过双目摄像头进行测距，获得摄像头与道路标识的距离，并同时采集GPS、摄像头姿态等数据，处理器单元完成传感器数据融合并根据主控芯片的能力选择在本地处理或者传递给远端处理进一步生成地图。本发明通过三目摄像头、惯性测量单元和GPS单元进行的视觉、惯性和GPS的融合可以实现用较低成本的传感器获得高精度的定位，从而实现较低成本的高精度地图数据采集。

本发明的目的在于提供一种基于三目摄像头的图像采集系统，具体技术方案如下：

第一方面，本发明实施例提供了一种基于三目摄像头的图像采集系统，包括：

第二方面，本发明实施例提供了一种基于三目摄像头的图像采集方法，包括：

本发明实施例中，采用三目摄像头、惯性测量单元和GPS单元，通过视觉、惯性和GPS的融合可以实现用较低成本的传感器获得高精度的定位，从而实现较低成本的高精度地图数据采集。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明图像采集系统结构框图；

图2为本发明图像采集时典型环境示意图；

图3为本发明图像采集方法的流程图；

图4为本发明获得道路标识的位置信息的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在图1中示出本发明基于三目摄像头的图像采集系统的示意图。该系统包括至少一个采集装置110和地图生成装置120。采集装置110包括单目摄像头单元1、双目摄像头单元2、惯性测量单元3、GPS单元4、采集处理器单元5和数据传输单元6。地图生成装置120可包括数据传输单元7、地图处理器单元8和存储器9，在该存储器9中保存地图。

其中，该至少一个采集装置110在本实施例中可固定安装在机动车中，当然也可以采用其他固定方式，例如集中设置为手持设备。该地图生成装置120可设计为远端服务器或车端服务器。数据传输单元6和数据传输单元7之间可以采用多种通信方式，例如当地图生成装置120为远端服务器时，该通信方式可为GPRS、3G/4G、wifi、蓝牙、射频等无线通信方式；当地图生成装置120为车端服务器时，采集装置110和地图生成装置120之间可以是有线连接，通信方式可为总线、以太网等有线连接方式。

单目摄像头单元1，连接到采集处理器单元5，用于使用单目相机采集道路上的沿途图像数据，该图像数据作为采集处理器单元5的输入，用于对道路沿途的车道线、路面标识、以及其它道路标识进行语义提取，从而获取车道线、路面标识、红绿灯、交通标识等道路标识信息。

双目摄像头单元2，连接到采集处理器单元5，用于使用双目相机采集道路上的沿途图像数据，该图像数据作为采集处理器单元5的输入，用于车道线、路面标识及其他道路标识进行特征点提取及匹配，获取车道线、路面标识及其他道路标识相对于双目摄像头的空间位置关系，从而获取车道线、红绿灯、灯杆等道路标识与双目摄像头的距离，进而得到视野内物体的深度信息和几何结构特征。

惯性测量单元3，与处理器单元5连接，用于实时监测采集系统的姿态信息以辅助采集处理器单元5进行处理，同时反馈道路弯曲的曲率、坡度、倾角等信息，并在GPS信号短暂丢失期间可以辅助进行位置推算。

GPS单元4，与采集处理器单元5连接，用于接收GPS卫星信号，确定机动车的位置坐标，进而获取双目摄像头的位置坐标，并与双目摄像头单元进行数据融合，从而获得车道线、路面标识及其他道路标识的位置坐标信息。

采集处理器单元5，用于对单目摄像头单元1、双目摄像头单元2进行同步控制、图像处理以及信息初步融合，并控制将采集的信息传递给地图生成装置120。

数据传输单元6，用于将采集处理器单元5输出的数据传输到地图生成装置120。

数据传输单元7，用于接收从采集装置110发送的数据，并传输到地图处理器单元8进行数据处理，进而生成高精度地图。

地图处理器单元8，用于对来自采集装置110的数据进行融合处理，生成高精度地图，并将生成的高精度地图保存到存储器9中。

存储器9，用于存储生成的高精度地图。

其中，采集处理器单元5至少包括主控芯片电路以及外围的供电电路、存储电路和对外通信接口(网口或者USB等)电路，主控芯片可以为ARM、FPGA或者TX2等不同架构的处理器。

双目摄像头单元2、单目摄像头单元1与采集处理器单元5的接口包括但不限定于MIPI接口、LVDS接口。

由于卷帘快门摄像头在物体高速运动时容易产生果冻效应，在本系统中更容易导致双目摄像头和单目摄像头成像的不匹配，因此本申请中双目摄像头单元、单目摄像头单元内部感光芯片为CMOS型、全局快门。

双目摄像头单元不限定采用黑白或者彩色摄像头，也不限定采用自然光或者红外等其他形式的摄像头，单目摄像头同样不限定采用彩色或者黑白摄像头。

本发明的图像采集系统及图像采集方法的一个典型的应用场景是用于自动驾驶车辆的高精度地图的采集。图2示出进行高精度地图采集时，该图像采集系统安装在机动车上进行图像采集时的典型环境的示意图，以说明所述图像采集系统及图像采集方法。单目摄像头单元1和双目摄像头单元2例如均指向机动车的行驶方向。单目摄像头单元1和双目摄像头单元2均实时检测机动车的周围图像。所检测的图像由单目摄像头单元1及双目摄像头单元2传输到采集处理器单元5。

单目摄像头单元1和双目摄像头单元2传输到采集处理器单元5的图像中具有视野21，其中该视野21具有预定的大小尺寸。在该视野21中具有机动车所在的车道22、车道22中的路面标识23，以及车道22外的周围环境。其中，该车道22具有左车道线221和右车道线222。其中，在车道22外的周围环境中具有道路指示牌、红绿灯、路灯杆、建筑等其他道路标识24。

采集处理器单元5通过深度学习或其他公知的图像识别的方法对单目摄像头单元1采集的图像进行图像识别，可以识别并确定出机动车的视野21中的左车道线221、右车道线222，进而获得车道线识别信息。具体的图像识别方法是本领域所公知的，在此不做具体限定。

基于双目摄像头单元2传输到采集处理器单元5的图像，通过双目定位的方式，可以对左车道线221和右车道线222进行定位，即通过采集处理器单元5可以确定出左车道线221和右车道线222相对于双目摄像头单元2的空间位置关系。实现双目定位的技术手段是本领域公知的，在此不做具体限定。

单目摄像头单元1、双目摄像头单元2、惯性测量单元3与机动车的相对位置固定，各单元坐标系可统一到机动车的坐标系，即，经过变换各个单元可统一到经纬度以及高度的坐标系中。在GPS信号良好的情况下，通过GPS单元4可以确定出机动车的当前坐标信息，进而获得双目摄像头单元2的当前坐标信息。根据左车道线221和右车道线222与双目摄像头单元2的空间位置关系，结合双目摄像头单元2的当前经纬度坐标信息，可以确定出左车道线221和右车道线222的当前坐标位置信息。即

X＝X1+X2+a,

Y＝Y1+Y2+b,

Z＝Z1+Z2+c。

其中，坐标(X,Y,Z)为车道线221,222的坐标位置信息，坐标(X1,Y1,Z1)为车道线221,222相对于双目摄像头2的空间位置信息，坐标(X2,Y2,Z2)为机动车的当前坐标信息，(a，b，c)为固定数值，代表了双目摄像头单元2在机动车上的固定安装位置。

而在GPS信号较弱或丢失而无法完成对机动车10精确定位的情况下，可通过相机单元和惯性测量单元3采用SLAM或VIO技术推算出机动车的当前坐标信息。具体推算方式是公知的，在此不作具体限定。

采集处理器单元5从单目摄像头单元1传输的图像中检测特征点，将当前帧图像的特征点与上一帧图像的特征点进行特征匹配，通过匹配的特征点，可以估计出相机的运动，从而获取到当前帧图像相对于上一帧图像的姿态和位置变化信息。惯性测量单元3通常为多轴加速度计和/或陀螺仪，用于实时监测该图像采集系统的姿态信息。将通过图像获得的姿态和位置变化信息与通过惯性测量单元3获得的姿态信息进行滤波和融合，并结合GPS单元给出的位置坐标进行修正，可以获得机动车的准确运动轨迹，进而可以得到当前道路的曲率、坡度、倾角等信息。

第一摄像头单元1和第二摄像头单元2可以按相同周期进行图像的采集，当然，也可以采用不同的图像采集周期，在此不做具体限定，但是第一摄像头单元1和第二摄像头单元2采集的图像应当是对齐的，即双目摄像头单元2获得的对象的深度信息、结构特征等数据与单目摄像头单元1提取的结果应当是相匹配的。同样的，惯性测量单元3和GPS单元4获取数据的周期可以是图像采集周期的整数倍，但是惯性测量单元3和GPS单元4的数据与第一摄像头单元1和第二摄像头单元2采集的数据应当是对齐的。可以通过同步机制获取该对齐关系，该同步可以为硬件同步机制，例如采集处理器单元5可以通过GPS单元4获取精确的时间信息，并可以周期性地发送一个信号进行图像采集的触发(上升沿或下降沿触发)。各单元同步的周期可以不同，例如惯性测量单元3更新数据的频率通常远高于GPS单元4获取数据的频率，但各单元获取的数据均按设定周期具有一个精准的时间戳。

同样的，在视野21中，采集处理器单元5通过深度学习或其他公知的图像识别的方法对单目摄像头单元1采集的图像进行图像识别，可以识别并确定出机动车的车道22中的路面标识23，进而获得路面标识识别信息。在图2中，该路面标识23显示为箭头，然而实际上，该路面标识并不限于箭头，例如还可以是限速、公交车道等标识信息(图中未示出)。具体的图像识别方法是本领域所公知的，在此不做具体限定。

基于双目摄像头单元2传输到采集处理器单元5的图像，通过双目定位的方式，可以对路面标识23进行相对位置的定位，即通过采集处理器单元5可以确定出路面标识23相对于双目摄像头单元2的空间位置关系。实现双目定位的技术手段是本领域公知的，在此不做具体限定。

通过GPS单元4可以确定出机动车的当前坐标信息，进而获得双目摄像头单元2的当前坐标信息。根据路面标识23与双目摄像头单元2的空间位置关系，结合双目摄像头单元2的当前经纬度坐标信息，可以确定出路面标识23的当前坐标位置信息。

一系列左车道线221和右车道线222的车道线识别信息、以及左车道线221和右车道线222的坐标位置信息形成了车道线信息，一系列路面标识23的路面标识识别信息、以及路面标识23的坐标位置信息形成了路面标识信息。通过采集装置110的数据传输单元6，该车道线信息和路面标识信息可以被传输至地图生成装置120，并用于在地图生成装置120中生成高精度地图。

另外，在视野21中，在车道22外的周围环境中，还具有用于确定地图定位的其它道路标识，例如红绿灯、交通标识牌、路灯杆、建筑等。这些道路标识同样可以被采集处理器单元5识别和确定。

采集处理器单元5通过深度学习或其他公知的图像识别的方法对单目摄像头单元1采集的图像进行图像识别，可以识别并确定出机动车的车道22外的其他道路标识，进而获得该道路标识的识别信息。具体的图像识别方法是本领域所公知的，在此不做具体限定。

基于双目摄像头单元2传输到采集处理器单元5的图像，通过双目定位的方式，可以对该道路标识进行相对位置的定位，即通过采集处理器单元5可以确定出该道路标识相对于双目摄像头单元2的空间位置关系。实现双目定位的技术手段是本领域公知的，在此不做具体限定。

通过GPS单元4可以确定出机动车的当前坐标信息，进而获得双目摄像头单元2的当前坐标信息。根据该道路标识与双目摄像头单元2的空间位置关系，结合双目摄像头单元2的当前经纬度坐标信息，可以确定出该道路标识的当前坐标位置信息。

一系列道路标识的道路标识识别信息、以及道路标识的坐标位置信息形成了道路标识信息。通过采集装置110的数据传输单元6，该道路标识信息同样可以被传输至地图生成装置120，并用于在地图生成装置120中生成高精度地图。

采集处理器单元5从单目摄像头单元1传输的图像中检测特征点，将当前帧图像的特征点与上一帧图像的特征点进行特征匹配，通过匹配的特征点，可以估计出相机的运动，从而获取到当前帧图像相对于上一帧图像的姿态和位置变化信息。惯性测量单元3通常为多轴加速度计和/或陀螺仪，用于实时监测该图像采集系统的姿态信息。将通过图像获得的姿态和位置变化信息与通过惯性测量单元3获得的姿态信息进行滤波和融合，并结合GPS单元给出的位置坐标进行修正，可以获得机动车的准确运动轨迹，进而可以得到当前道路的曲率、坡度、倾角等信息。

通过采集装置110的数据传输单元6，机动车的运动轨迹，即当前道路的曲率、坡度、倾角等信息同样可以被传输至地图生成装置120，并用于在地图生成装置120中生成高精度地图。

地图生成装置120通过数据传输单元7接收采集装置110传输的车道线信息、路面标识信息、以及当前道路的曲率、坡度、倾角等信息，地图生成装置120通过地图处理器单元8将这些信息数据进行融合，从而形成了具有车道22、路面标识23以及其它道路标识信息的高精度地图200。该融合的方式例如可以采用已知的SLAM技术进行。

本申请通过三目摄像头、惯性测量单元和GPS单元，将视觉、惯性和GPS信息进行融合，可以实现用较低成本的传感器获得高精度的定位，同时采用SLAM技术生成地图或者更新地图。

该高精度地图可以用于先进驾驶辅助系统和无人驾驶车辆。

需要说明的是，该图像采集系统在使用前应进行标定，该标定包括对单目摄像头单元1、双目摄像头单元2内参和外参的标定，也包括对单目摄像头单元1、双目摄像头单元2与惯性测量单元3的相对位置的标定。双目摄像头测量距离的基本原理是三角测量，两个摄像头拍同一个场景，相同场景有不同视角，通过图像的差异来测量距离。如果双目摄像头拍摄的时候不能同步，就会造成测距源参照物错位，导致较大误差。因此在必要时，为提高图像采集的精度，可以对双目摄像头单元2进行单独的匹配。

并且，单目摄像头单元1和双目摄像头单元2的曝光、白平衡等参数均按由处理器单元算法程序控制。

本发明还提供了一种基于三目摄像头的图像采集方法。如图3所示，为本发明一种基于三目摄像头的图像采集方法的流程图。该采集方法包括：

S10，对单目摄像头单元1检测的图像进行识别，获得道路标识识别信息；

S20，对双目摄像头单元2检测的图像进行双目定位，获得道路标识的位置信息；

S30，获得三目摄像头的运动轨迹；

S40，基于道路标识识别信息、道路标识的位置信息、以及三目摄像头的运动轨迹，生成高精度地图。

参照图2和图3，本发明的图像采集系统及图像采集方法的一个典型的应用场景是用于自动驾驶车辆的高精度地图的采集。图2示出进行高精度地图采集时，该图像采集系统安装在机动车上进行图像采集时的典型环境20的示意图，以说明所述图像采集系统及图像采集方法。单目摄像头单元1和双目摄像头单元2例如均指向机动车的行驶方向21。单目摄像头单元1和双目摄像头单元2均实时检测机动车的环境20的周围图像。所检测的图像由单目摄像头单元1及双目摄像头单元2传输到采集处理器单元5。

单目摄像头单元1和双目摄像头单元2传输到采集处理器单元5的图像中具有视野21，其中该视野21具有预定的大小尺寸。在该视野21中具有机动车所在的车道22、车道22中的路面标识23，以及车道22外的周围环境。其中，该车道22具有左车道线221和右车道线222。其中，在车道22外的周围环境中具有道路指示牌、红绿灯、路灯杆、建筑等其他道路标识。

第一摄像头单元1和第二摄像头单元2可以按相同周期进行图像的采集，当然，也可以采用不同的图像采集周期，在此不做具体限定，但是第一摄像头单元1和第二摄像头单元2采集的图像应当是对齐的，即双目摄像头单元2获得的对象的深度信息、结构特征等数据与单目摄像头单元1提取的结果应当是相匹配的。同样的，惯性测量单元3和GPS单元4获取数据的周期可以是图像采集周期的整数倍，但是惯性测量单元3和GPS单元4的数据与第一摄像头单元1和第二摄像头单元2采集的数据应当是对齐的。可以通过同步机制获取该对齐关系，该同步可以为硬件同步机制，例如采集处理器单元5可以通过GPS单元4获取精确的时间信息，并可以周期性地发送一个信号进行图像采集的触发(上升沿或下降沿触发)。各单元同步的周期可以不同，例如惯性测量单元3更新数据的频率通常远高于GPS单元4获取数据的频率，但各单元获取的数据均按设定周期具有一个精准的时间戳。

具体地，该方法包括：

S10，对单目摄像头单元1检测的图像进行识别，获得道路标识识别信息。

采集处理器单元5通过深度学习或其他公知的图像识别的方法对单目摄像头单元1采集的图像进行图像识别，可以识别并确定出机动车的视野21中的左车道线221、右车道线222，进而获得车道线识别信息。

同样的，在视野21中，采集处理器单元5通过深度学习或其他公知的图像识别的方法对单目摄像头单元1采集的图像进行图像识别，可以识别并确定出机动车的车道22中的路面标识23，进而获得路面标识识别信息。

采集处理器单元5通过深度学习或其他公知的图像识别的方法对单目摄像头单元1采集的图像进行图像识别，还可以识别并确定出机动车的车道22外的其他道路标识，进而获得该道路标识的识别信息。

具体的图像识别方法是本领域所公知的，在此不做具体限定。

其中，路面标识23例如可以是箭头、限速、公交车道等标识信息。

在视野21中车道22外的周围环境中其它道路标识，包括但不限于红绿灯、交通标识牌、路灯杆、建筑等。这些道路标识同样可以被采集处理器单元5识别和确定。

S20，对双目摄像头单元2的图像进行双目定位，获得道路标识的位置信息。

该步骤通过双目定位的原理，对双目摄像头单元2检测的图像进行处理，进而获得图像中道路标识的位置信息，如图4所示，该步骤具体包括：

S201，对双目摄像头单元2检测的图像进行双目定位，获得道路标识相对于双目摄像头单元2的空间位置信息。

基于双目摄像头单元2传输到采集处理器单元5的图像，通过双目定位的方式，可以对左车道线221和右车道线222进行定位，即通过采集处理器单元5可以确定出左车道线221和右车道线222相对于双目摄像头单元2的空间位置关系。

同样的，基于双目摄像头单元2传输到采集处理器单元5的图像，通过双目定位的方式，可以对路面标识23进行相对位置的定位，即通过采集处理器单元5可以确定出路面标识23相对于双目摄像头单元2的空间位置关系。

另外，基于双目摄像头单元2传输到采集处理器单元5的图像，通过双目定位的方式，可以对红绿灯、交通标识牌、路灯杆、建筑等其他道路标识进行相对位置的定位，即通过采集处理器单元5可以确定出该道路标识相对于双目摄像头单元2的空间位置关系。

实现双目定位的技术手段是本领域公知的，在此不做具体限定。

S202，通过GPS单元4获得双目摄像头的坐标信息。

通过GPS单元4可以确定出机动车的经纬度坐标信息，并且由于双目摄像头单元2是在机动车上固定安装的，因此，可以经过简单计算获得双目摄像头单元2的坐标信息。

S203，根据道路标识与双目摄像头单元2的空间位置关系，结合双目摄像头单元2的坐标信息，确定出道路标识的坐标位置信息。

以车道线221,222为例，在GPS信号良好的情况下，通过GPS单元4可以确定出机动车的当前坐标信息，进而获得双目摄像头单元2的当前坐标信息。根据左车道线221和右车道线222与双目摄像头单元2的空间位置关系，结合双目摄像头单元2的当前经纬度坐标信息，可以确定出左车道线221和右车道线222的当前坐标位置信息。即

X＝X1+X2+a,

Y＝Y1+Y2+b,

Z＝Z1+Z2+c。

其中，坐标(X,Y,Z)为车道线221,222的坐标位置信息，坐标(X1,Y1,Z1)为车道线221,222相对于双目摄像头2的空间位置信息，坐标(X2,Y2,Z2)为机动车的当前坐标信息，(a，b，c)为固定数值，代表了双目摄像头单元2在机动车上的固定安装位置。

同样的，路面标识、红绿灯等道路标识可以通过类似的方式进行计算，进而可以获得道路标识的坐标位置信息。

而在GPS信号较弱或丢失而无法完成对机动车10精确定位的情况下，可通过相机单元和惯性测量单元3采用SLAM或VIO技术推算出机动车的当前坐标信息。具体推算方式是公知的，在此不作具体限定。

S30，获得三目摄像头的运动轨迹。

采集处理器单元5从单目摄像头单元1传输的图像中检测特征点，将当前帧图像的特征点与上一帧图像的特征点进行特征匹配，通过匹配的特征点，可以估计出相机的运动，从而获取到当前帧图像相对于上一帧图像的姿态和位置变化信息。惯性测量单元3通常为多轴加速度计和/或陀螺仪，用于实时监测该图像采集系统的姿态信息。将通过图像获得的姿态和位置变化信息与通过惯性测量单元3获得的姿态信息进行滤波和融合，并结合GPS单元给出的位置坐标进行修正，可以获得机动车的准确运动轨迹，该运动轨迹包含了图像采集系统采集过程中的运动姿态信息，通过其进而可以获得道路的曲率、坡度、倾角等信息。

S40，基于道路标识信息及其位置，以及三目摄像头的运动轨迹，生成高精度地图。

一系列左车道线221和右车道线222的车道线识别信息、以及左车道线221和右车道线222的坐标位置信息形成了车道线信息，一系列路面标识23的路面标识识别信息、以及路面标识23的坐标位置信息形成了路面标识信息，一系列其他道路标识的道路标识识别信息、以及道路标识的坐标位置信息形成了道路标识信息。通过采集装置110的数据传输单元6，该车道线信息、路面标识信息和道路标识信息可以被传输至地图生成装置120，并用于在地图生成装置120中生成高精度地图。

同样的，通过采集装置110的数据传输单元6，三目摄像头的运动轨迹也可以被传输至地图生成装置120，并用于在地图生成装置120中生成高精度地图。

地图生成装置120通过数据传输单元7接收采集装置110传输的道路标识信息、以及三目摄像头的运动轨迹所代表的道路的曲率、坡度、倾角等信息，地图生成装置120通过地图处理器单元8将这些信息数据进行融合，从而形成了具有行车22、路面标识23以及其它道路标识信息的高精度地图200。该融合的方式例如可以采用已知的SLAM技术进行。

本发明实施例中，采用三目摄像头、惯性测量单元和GPS单元，通过视觉、惯性和GPS的融合可以实现用较低成本的传感器获得高精度的定位，从而实现较低成本的高精度地图数据采集。。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于三目摄像头的图像采集方法，包括如下步骤：

S10，基于单目摄像头单元(1)检测的图像，识别出图像中的道路标识，并获得道路标识的识别信息；

S20，基于双目摄像头单元(2)检测的图像，获得道路标识的位置信息；

S40，基于道路标识的识别信息、道路标识的位置信息，生成高精度地图。

2.根据权利要求1所述的方法，其中，步骤S20包括，

S201，对双目摄像头单元(2)采集的图像进行双目定位，获得道路标识相对于双目摄像头单元(2)的空间位置信息；

S202，通过GPS单元(4)获得双目摄像头的坐标信息；

S203，根据道路标识与双目摄像头单元(2)的空间位置关系，结合双目摄像头单元(2)的坐标信息，确定出道路标识的位置信息。

3.根据权利要求1或2所述的方法，其中，在GPS信号较弱或丢失的情况下，通过单目摄像头单元(1)和惯性测量单元(3)推算出机动车的当前坐标信息。

4.根据权利要求1-3任一项所述的方法，其特征在于，在步骤S40之前还包括，

S30，获得三目摄像头的运动轨迹；

并且，在步骤S40中，基于道路标识识别信息、道路标识的位置信息、以及三目摄像头的运动轨迹，生成高精度地图。

5.根据权利要求4所述的方法，其中，步骤S30包括，

S301，将单目摄像头单元(1)的当前帧图像与上一帧图像进行特征匹配，估计出相机的运动，获的当前帧图像相对于上一帧图像的姿态和位置变化信息；

S302，通过惯性测量单元(3)实时监测图像采集系统的姿态信息；

S303，将通过图像获得的姿态和位置变化信息与通过惯性测量单元(3)获得的姿态信息进行滤波和融合，并结合GPS单元(4)获得的位置坐标进行修正，获得三目摄像头的运动轨迹。

6.根据权利要求1-5任一项所述的方法，其中，惯性测量单元(3)为多轴加速度计和/或陀螺仪。

7.根据权利要求1-6任一项所述的方法，其中，三目摄像头的运动轨迹包括道路的曲率、坡度、倾角信息。

8.根据权利要求1-7任一项所述的方法，其中，道路标识为车道线、箭头、红绿灯、交通标识牌、路灯杆、和/或建筑。

9.一种基于三目摄像头的图像采集系统，包括至少一个采集装置(110)和地图生成装置(120)；

至少一个采集装置(110)包括单目摄像头单元(1)、双目摄像头单元(2)、惯性测量单元(3)、GPS单元(4)、采集处理器单元(5)和数据传输单元(6)；

地图生成装置(120)包括数据传输单元(7)、地图处理器单元(8)和存储器(9)；其中，

单目摄像头单元(1)，用于对道路沿途的道路标识进行语义提取，从而获取道路标识识别信息；

双目摄像头单元(2)，用于对道路标识进行特征点提取及匹配，获取道路标识相对于双目摄像头单元(2)的空间位置关系，从而获取道路标识与双目摄像头的距离，进而得到视野内物体的深度信息和几何结构特征；

惯性测量单元(3)，用于实时监测采集系统的姿态信息，同时反馈道路弯曲的曲率、坡度、倾角变化，并在GPS信号短暂丢失期间辅助进行位置推算；

GPS单元(4)，用于获取双目摄像头单元(2)的位置坐标，并与双目摄像头单元进行数据融合，从而获得道路标识的位置坐标信息；

采集处理器单元(5)，用于对单目摄像头单元(1)、双目摄像头单元(2)进行同步控制、图像处理以及信息融合，并将采集的数据发送给地图生成装置(120)；

地图处理器单元(8)，用于对来自采集装置(110)的数据进行融合处理，生成高精度地图，并将生成的高精度地图保存到存储器(9)中。

10.根据权利要求9所述的系统，其中，地图生成装置(120)为远端服务器或车端服务器。