CN115038934B - 车辆定位方法和装置、存储介质及电子设备 - Google Patents
车辆定位方法和装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN115038934B CN115038934B CN202180003892.9A CN202180003892A CN115038934B CN 115038934 B CN115038934 B CN 115038934B CN 202180003892 A CN202180003892 A CN 202180003892A CN 115038934 B CN115038934 B CN 115038934B
- Authority
- CN
- China
- Prior art keywords
- lane
- target
- target vehicle
- vehicle
- driving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000010586 diagram Methods 0.000 claims description 23
- 230000000007 visual effect Effects 0.000 claims description 20
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 claims description 9
- 238000007476 Maximum Likelihood Methods 0.000 claims description 4
- 239000003550 marker Substances 0.000 claims 2
- 238000004590 computer program Methods 0.000 description 8
- 238000005259 measurement Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000004382 visual function Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/10—Path keeping
- B60W30/12—Lane keeping
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/30—Road curve radius
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/40—High definition maps
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/3658—Lane guidance
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
Abstract
一种车辆定位方法和装置、计算机可读存储介质及电子设备,其中该方法包括:基于全球定位系统对处于行驶状态的目标车辆进行预定位,得到目标车辆在地图中的先验位置(S102);获取目标车辆中的摄像头传感器在先验位置所在的目标区域采集的行驶图像数据(S104);利用目标区域的矢量图对行驶图像数据进行视觉识别,获取目标车辆当前所处位置的横向位置信息和纵向位置信息(S106);根据横向位置信息确定目标车辆所在的目标车道,并根据纵向位置信息定位目标车辆在目标车道内的行驶位置(S108)。该方法解决了现有技术中在成本有限的前提下车辆定位精度较低的技术问题。
Description
本专利申请要求2021年01月05日提交的美国专利申请号为17/142,212的优先权,该申请的全文以引用的方式并入本申请中。
技术领域
本发明涉及车辆控制领域,具体而言,涉及一种车辆定位方法和装置、存储介质及电子设备。
背景技术
如今,智能驾驶技术被应用于越来越多的车辆,以辅助驾驶员更安全且可靠地完成驾驶过程。为了实现上述目的,通常需要精确地定位车辆的当前位置。
目前,对车辆的当前位置进行定位很大程度上依赖于昂贵的车载激光雷达(用于实现光检测和测距)和昂贵的预先绘制的高分辨率点云地图。即,借助于车载激光雷达和高分辨率地图,辅助定位系统来实现车辆定位。然而,当使用上述方法时,由于使用车载激光雷达和高分辨率点云地图的成本较高,因此该方法不能普遍应用于更多的车辆。换言之,对于大多数成本受限的车辆,仍然不能在受控成本内实现精确的车辆定位。
鉴于上述问题,目前尚未提出有效的解决方案。
发明内容
有鉴于此,本发明实施例提供一种车辆定位方法和装置、存储介质及电子设备,以至少解决在现有技术中成本有限的前提下,车辆定位精度较低的问题。
根据本发明实施例的一个方面,提供了一种车辆定位方法,包括:基于全球定位系统对处于运行状态的目标车辆进行预定位,以获取所述目标车辆在地图中的先验位置;获取所述目标车辆中的摄像头传感器在所述先验位置所在的目标区域内采集的行驶图像数据;利用所述目标区域的矢量图对所述行驶图像数据进行视觉识别,以获取所述目标车辆当前所处位置的横向位置信息和纵向位置信息;根据所述横向位置信息确定所述目标车辆所在的目标车道,并根据所述纵向位置信息定位所述目标车辆在所述目标车道内的行驶位置。
根据本发明实施例的另一个方面,还提供了一种车辆定位装置,包括:预定位单元,用于基于全球定位系统对处于运行状态的目标车辆进行预定位,获取所述目标车辆在地图中的先验位置;获取单元,用于获取所述目标车辆中的摄像头传感器在所述先验位置所在的目标区域内采集的行驶图像数据;识别单元,用于利用所述目标区域的矢量图对所述行驶图像数据进行视觉识别,以获取所述目标车辆当前所处位置的横向位置信息和纵向位置信息;定位单元,用于根据所述横向位置信息确定所述目标车辆所在的目标车道,并根据所述纵向位置信息定位所述目标车辆在所述目标车道中的行驶位置。
根据本发明实施例的又一方面,还提供了一种计算机可读存储介质。所述计算机可读存储介质存储计算机程序,其中所述计算机程序被配置为在运行期间执行所述车辆定位方法。
根据本发明实施例的又一方面,还提供了一种电子设备,包括存储器和处理器,其中,所述存储器中存储有计算机程序,所述处理器用于通过所述计算机程序执行所述车辆定位方法。
本发明实施例中,通过摄像头传感器代替车载激光雷达,以获取目标车辆运行状态下的行驶图像数据,结合目标车辆当前所在区域的矢量图,获取目标车辆当前所在位置的横向位置信息和纵向位置信息,从而利用横向位置信息和纵向位置信息确定目标车辆当前所在的目标车道和目标车道内的行驶位置。也就是说,在节约使用成本的前提下,结合摄像头传感器采集的行驶图像数据和矢量图,精确识别行驶状态下的目标车辆所处的目标车道和行驶位置,从而达到提高车辆定位精度的效果,从而克服了在现有技术中成本有限的前提下,车辆定位精度相对较低的问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,并构成本申请的一部分,这些附图用于与本发明的实施例一起解释本发明,而不是限制本发明。在附图中:
图1是根据本发明实施例的一种可选的车辆定位方法的流程图;
图2是根据本发明实施例的一种可选的车辆定位方法的应用环境的示意图;
图3是根据本发明的实施例的一种可选的车辆定位方法的示意图;
图4是根据本发明实施例的又一种可选的车辆定位方法的示意图;
图5是根据本发明实施例的又一种可选的车辆定位方法的示意图;
图6是根据本发明实施例的一种可选的车辆定位装置的结构示意图。
具体实施方式
为了使本领域的技术人员更好地理解本发明的技术方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述。显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。本领域普通技术人员基于本发明的实施例,在没有创造性劳动前提下获得的所有其它实施例,都应当属于本发明的保护范围。
需要说明的是,本发明的说明书、权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,但不必用于描述特定的顺序或先后次序。应当理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”及其任何变形,意图在于覆盖不排他的包含,例如,包括了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可以包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。
根据本发明实施例的一个方面,提供了一种车辆定位方法。可选地,作为一种可选的实施方式,如图1所示,所述车辆定位方法包括:
S102,基于全球定位系统对处于运行状态的目标车辆进行预定位,获取目标车辆在地图中的先验位置;
S104,获取目标车辆中的摄像头传感器在先验位置所在的目标区域内采集的行驶图像数据;
S106,利用目标区域的矢量图对行驶图像数据进行视觉识别,以获取目标车辆当前所处位置的横向位置信息和纵向位置信息;
S108,根据横向位置信息确定目标车辆所在的目标车道,并根据纵向位置信息定位目标车辆在目标车道中的行驶位置。
可选地,在本实施例中,该车辆定位方法可以应用于但不限于配置有高级驾驶辅助系统(ADAS)的车辆,以便辅助车辆在自动驾驶过程中实时实现精确定位。ADAS系统利用安装在车辆上的各种传感器,在车辆行驶过程中随时感知周围环境,采集数据,对静态和动态物体进行识别、检测和跟踪,采集导航仪的地图数据,对系统进行计算和分析,使驾驶员提前意识到可能发生的危险,从而有效提高车辆驾驶的舒适性和安全性。传感器可以是但不限于使用低成本的摄像头传感器,并且地图数据可以是但不限于矢量图。其中,大小信息和方向信息都被记录在矢量图中。以上只是举例说明,本实施方式不限定于此。
在本实施方式中,通过摄像头传感器代替车载激光雷达获取目标车辆行驶状态下的行驶图像数据,结合目标车辆当前所处区域的矢量图,获取目标车辆当前所处位置的横向位置信息和纵向位置信息,利用横向位置信息和纵向位置信息确定目标车辆当前所处的目标车道和目标车道内的行驶位置。也就是说,在节约使用成本的前提下,结合摄像头传感器采集的行驶图像数据和矢量图,精确识别行驶状态下的目标车辆所处的目标车道和行驶位置,达到提高车辆定位精度的效果,从而克服了在现有技术中成本有限的前提下,车辆定位精度相对较低的问题。
可选地,在本实施例中,全球定位系统可以包括:全球导航卫星系统(GNSS),并且矢量图可以通过以下部件来获取:惯性测量单元(IMU)和里程表。其中,GNSS是基于空间的无线电导航系统,其可以在地球表面上或附近空间中的任何位置处向用户提供全天候三维坐标和速度以及时间信息。IMU通常由陀螺仪、加速度计和算法处理单元组成,其通过测量加速度和旋转角度获得人体的运动轨迹。
另外,在本实施例中,在利用目标车辆当前所处区域的矢量图对行驶图像数据进行视觉识别,以获取目标车辆当前所处位置的横向位置信息和纵向位置信息的过程中,该方法可以包括但不限于使用视觉识别技术和由深度神经网络实现的深度学习。
本实施例中的视觉识别技术是一种机器视觉技术,主要是利用计算机模拟人的视觉功能,从目标图像中提取信息并进行处理和理解,最终用于实际的检测、测量和控制。
此处,本实施例中的深度神经网络是人脑思想模拟模式,并且结合矢量图,从目标车辆的行驶图像数据中识别出由深度神经网络定位得到的行驶道路上的每个车道的车道信息。本文中的车道信息可包括但不限于:每个车道所标记的车道、目标车辆当前所在的目标车道的车道标识、目标车辆相对于目标车道的车道中心的偏移距离;此外,还包括目标车辆的航向角以及方位角与目标车道的切线之间的误差。上述车道信息的内容仅为一示例,本实施例可进一步包括其他信息,此处不作限制。
根据本发明的实施例,通过摄像头传感器代替车载激光雷达获取目标车辆运行状态下的行驶图像数据,结合目标车辆当前所处区域的矢量图,获取目标车辆当前所处位置的横向位置信息和纵向位置信息,这样,利用横向位置信息和纵向位置信息,并结合摄像头传感器采集的行驶图像数据和矢量图,从而准确识别和定位目标车辆行驶状态下的目标车道和行驶位置,达到提高车辆定位精度的效果。因此,克服了现有技术中在成本有限的前提下车辆的定位精度相对较低的问题。
作为一种可选的方案,利用目标车辆当前所处区域的矢量图对行驶图像数据进行视觉识别,以获取目标车辆当前所处位置的横向位置信息和纵向位置信息的步骤包括:
S1,利用视觉识别技术对行驶图像数据进行视觉识别,得到识别结果;
S2,将矢量图与识别结果进行匹配,以确定行驶图像数据中目标车辆当前所在区域的道路信息,其中道路信息包括道路网络和位于道路旁边的固定道路对象;
S3,根据道路信息获取目标车辆当前位置的横向位置信息和纵向位置信息。
可选地,在本实施例中,道路网络可以包括但不限于一个区域中不同方向的各种车道形成的道路组网。上述固定道路对象可包括但不限于交通灯、交通标志、电线杆等。以上只是举例说明,本实施例对此不作限制。
具体地,参考图2所示的场景,假设识别结果是通过对摄像头传感器采集的行驶图像数据采用视觉识别技术进行视觉识别后得到的,并且将识别结果与ADAS矢量图中的信息进行比较后,得到目标车辆202所在区域的道路网络、固定道路对象(如红绿灯、标志)等道路信息。此外,将使用上述道路信息确定目标车辆202当前所处的位置的横向位置信息和纵向位置信息。
其中,在精确的矢量图中,如OpenDrive,与道路路段相关的各种关键几何信息(例如当前车道转弯半径、当前车道标识等)可以通过从地图上的给定参考点检索或缩放而直观地获得。例如,如图2所示,椭圆2D高斯分布结合了用于惯性测量单元和里程计测量的传统全球定位系统,其在图中以高斯内核大小证明。因此,基于上述综合信息,通过分析和估计可以识别车道的宽度大于3.5m。另外,如图2所示,也可以确定目标车辆202当前所处的目标车道是最外侧车道(即,横向位置信息),行驶位置是弯道(即,纵向位置信息)。
本申请实施例通过结合视觉识别结果和矢量图,精确定位目标车辆所在位置的横向位置信息和纵向位置信息,实现在节约使用成本的前提下,确保提高定位精度。
作为一种可选的方案,根据道路信息获取目标车辆当前位置的横向位置信息的步骤包括:
S1,利用深度神经网络对道路信息进行检测和识别,以获得目标车辆当前行驶道路上的所有车道的车道信息,其中车道信息包括:为各个车道标记的车道线、目标车辆当前所在的目标车道的车道标识、以及目标车辆相对于当前目标车道的车道中心的偏移距离;
S2,根据目标车道的车道标识和偏移距离生成横向位置信息。
可选地,在本实施例中,在获取目标车辆当前行驶道路上的所有车道的车道信息之后,该方法还包括:使用独立的编码通道或位掩码,以不同的标记方式对目标车辆当前行驶道路上的每条车道进行差异化标记。
需要说明的是,此处的深度神经网络是通过利用多个样本数据进行训练而得到的,用于识别和比较后在道路信息中检测多条车道的车道线。本文中的深度神经网络的网络结构可以包括但不限于卷积层、池化层和全连接层,其中所描述的网络结构中的每个权重参数可以通过多次迭代训练获得。在此不再赘述。
另外,在本实施例中,通过检测和识别道路信息来获取摄像头视野内的多个车道(例如,直行车道或弯道车道)的车道线。此处车道线可以以不同的方式标记,但不限于此。
例如,假设目标车辆302所在的行驶道路中的所有车道的车道信息可以如图3所示:如图3(a)所示,每条车道线可以由点显示。并且如图3(b)所示,不同的车道线也可以通过使用不同的线类型来识别。另外,也可以使用不同的颜色标记不同的车道线(图中未示出)。为此,在该实施例中,可以但不限于使用额外的编码通道或单独的位掩码(与捕获的图像尺寸一致)来实现耗时的图案提取过程,该过程消除了与每个单独的车道线相关联的过程,例如,不必再次滑动窗口以识别图像中的各个像素。
另外,如图3所示,识别的车道信息还可包括路灯304、交通灯306等。图3示出了一个示例,其不限于该实施例。
请参考以下实施例给出的具体描述:
在对行驶图像数据进行视觉识别获得识别结果,并将该识别结果与矢量图进行匹配获得道路信息后,可以通过深度神经网络来检测和识别道路信息,以获得每条车道的车道信息。通过车辆上的车载处理器中的算法模块对每条车道线的曲线进行拟合,然后根据拟合函数(二次多项式曲线拟合函数、三次多项式曲线拟合函数或三次样条插值等)生成拟合每条曲线的车道参数,其中,此处的车道参数可包括但不限于车道标识和距车道中心的偏移距离。
此外,通过视觉识别技术从所有车道中确定目标车辆当前所处的目标车道的车道标识以及目标车辆距目标车道的车道中心的偏移距离。例如,假设识别出目标车辆的目标车道是出口或内车道或外车道;此外,其位于车道内侧:目标车辆位于距目标车道的车道中心偏移10厘米的位置处。
通过本申请实施例,利用深度神经网络对道路进行检测识别,获取每条车道的车道信息,进而识别得到目标车辆所在的目标车道的横向位置信息。例如,可以横向精确地定位目标车道的车道标识和目标车辆相对于目标车道的车道中心的偏移距离,并且精度可以达到厘米级。
作为一种可选方案,根据道路信息获取目标车辆当前位置的纵向位置信息包括:
S1,在获取横向位置信息时,根据道路信息获取与目标车辆所在的目标车道对应的拟合车道的车道参数,其中车道参数包括目标车道半径;
S2,从矢量图中读取目标车道的参考车道半径;
S3,比较目标车道半径与参考车道半径;
S4,根据比较结果确定目标车辆在目标车道内的行驶位置,以获得目标车辆的纵向位置信息。
具体结合以下实施例进行描述:在确定目标车辆所在的目标车道的情况下,可以获取用于拟合车道的拟合参数,其中,此处用于拟合车道的车道参数可以包括但不限于:拟合系数、距车道中心的偏移距离、目标车辆的航向角与车道切线方向之间的误差度、以及目标车辆当前所处位置的转弯半径。
假定目标车辆的横向定位结果如图4所示,目标车辆位于右外车道,并且此处的车道半径是半径R(其定位精度在厘米的量级)。其反映在图4的横向高斯分布的窄边界上(目标车辆所在的椭圆)。
此外,从矢量图获取目标车辆在基于当前位置的目标车道的纵向方向上的多个连续位置处记录的参考车道半径r1、r2…rn。通过依次将半径R与参考车道半径r1、r2…rn进行比较,利用纵向方向上的最接近的匹配机制,将目标车辆在当前目标车道中的纵向位置进行精确定位,即将与车道半径R最接近的参考车道半径ri对应的纵向位置确定为目标车辆的行驶位置。
本申请实施例通过比较车道半径确定目标车道中目标车辆对应的行驶位置,从而实现目标车辆纵向方向上精确定位。
作为一种可选的方案,根据比较结果确定目标车辆在目标车道内的行驶位置,以获得目标车辆的纵向位置信息,包括:
S1,根据比较结果确定目标车辆在目标车道内的纵向行驶区域;
S2,根据纵向行驶区域确定行驶位置。
可选地,在该实施例中,根据纵向行驶区域确定行驶位置的方案可以包括以下方案中的至少一个:
1.在目标车道的车道曲率不恒定的情况下,对以下数据使用最大似然法,以便根据纵向行驶区域确定行驶位置:目标车道的实际曲率、通过定位系统为目标车道估算的参考曲率、以及由目标车辆基于与当前位置相关联的采样点估算的采样曲率;
2.在纵向行驶区域中包括地图路标的情况下,根据最接近目标车辆的当前位置的目标路标估计行驶位置;
3.在目标车道的车道曲率恒定并且纵向行驶区域中不包括地图路标的情况下,使用存储在定位系统中的定位标记数据估算行驶位置;
4.使用载波相位查找技术从纵向行驶区域估算行驶位置。
需要说明的是,在上述实施例中,由于处理成本依次高于车道半径方式的处理成本,因此可以首先通过使用上述方式确定目标车辆所处的纵向行驶区域,并且进一步地,通过使用以下方式中的任一种根据纵向行驶区域估计目标车辆在纵向方向上的行驶位置:
1)在具有非恒定(不规则)曲率的路段中,可以使用最大似然法解决纵向定位问题。如图5所示,曲线502在地图上标记有真实曲率的实际道路;高斯分布曲线504是根据全球导航卫星系统、惯性测量单元和里程表的融合估计的纵向位置,并且从图中可以看出,在两者之间存在一定的偏差,例如,大约10.0米。曲线506中的菱形点是从目标车辆的当前位置周围的一组采样点估计的曲率。利用上述曲线502到506,可以使用最大似然法估计1~2米内的纵向定位的精确定位。
2)在标有地图路标的路段中,利用视觉识别技术识别出与目标车辆所在位置最近的路标(如电线杆);然后,使用这些识别结果更新其纵向估计。根据视觉性能、摄像机视角、处理速度和地图精度,实现了2~3米内纵向定位的精确定位。
3)联合上述实施例1)-2)进行共定位。
4)在曲率恒定的路段(例如,直线或圆)上,可以使用上述方式2直接进行纵向定位。
5)在曲率不变且没有明显路标的路段上,可以获得其它视觉提示,以改善全球导航卫星系统、惯性测量单元、里程表等的定位。例如,可以使用城市/地平线草图,只要其在地图上以某种方式表示即可。
6)仅当上述工具都不可用时,才使用全球导航卫星系统、惯性测量单元、里程表。此外,实时动态定位(Real time kinematic,简称RTK)技术与上述所有机制并行,在此,也可以采用其他基于无线电的定位增强功能(如V2X机构)实现目标车辆自身的定位。
本申请实施例通过结合不同的方法,进一步对纵向行驶区域进行精确的纵向定位,从而得到目标车辆在目标车道内的行驶位置,保证了车辆定位的精度。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合。但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
根据本发明实施例的另一方面,还提供了一种用于实现上述车辆定位方法的车辆定位装置。如图6所示,该装置包括:
1)预定位单元602,基于全球定位系统对处于运行状态的目标车辆进行预定位,获取目标车辆在地图中的先验位置;
2)获取单元604,用于获取目标车辆中的摄像头传感器在先验位置所在的目标区域内采集的行驶图像数据;
3)识别单元606,用于利用目标区域的矢量图对行驶图像数据进行视觉识别,以获取目标车辆当前所处位置的横向位置信息和纵向位置信息;
4)定位单元608,用于根据横向位置信息确定目标车辆所在的目标车道,并根据纵向位置信息定位目标车辆在目标车道中的行驶位置。
可选地,对于本申请实施例提供的车辆定位装置的具体实施例,可以参考上述方法实施例,在此不再赘述。
作为一种可选的方案,该识别单元包括:
1)识别模块,用于利用视觉识别技术对行驶图像数据进行视觉识别,得到识别结果;
2)匹配模块,用于将矢量图与识别结果进行匹配,以确定行驶图像数据中目标车辆当前所在区域的道路信息,其中道路信息包括道路网络和位于道路旁边的固定道路对象;
3)获取模块,用于根据道路信息获取目标车辆当前位置的横向位置信息和纵向位置信息。
可选地,对于本申请实施例提供的车辆定位装置的具体实施例,可以参考上述方法实施例,在此不再赘述。
根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,并且计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述车辆定位方法,其中该计算机程序被设置为在运行时执行上述任一项方法实施例中的步骤。
可选地,在该实施例中,上述计算机可读存储介质可以被布置为存储用于执行以下步骤的计算机程序:
S1,基于全球定位系统对处于运行状态的目标车辆进行预定位,获取目标车辆在地图中的先验位置;
S2,获取目标车辆中的摄像头传感器在先验位置所在的目标区域内采集的行驶图像数据;
S3,利用目标区域的矢量图对行驶图像数据进行视觉识别,以获取目标车辆当前所处位置的横向位置信息和纵向位置信息;
S4,根据横向位置信息确定目标车辆所在的目标车道,并根据纵向位置信息定位目标车辆在目标车道中的行驶位置。
可选地,在本实施例中,本领域普通技术人员可以理解,上述实施例中的方法的全部或部分步骤可以通过程序来指令终端设备相关的硬件来完成。该程序可以存储在一计算机可读存储介质中,并且存储介质可以包括闪存盘、只读存储器(ROM)、随机存取器(RAM)、磁盘或光盘等。
本发明实施例的序号仅用于描述,而不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详细描述的部分,可以参考其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端可以通过其他方式实现。其中,以上所描述的装置实施例仅仅是示例性的。例如,所述单元的划分只是一种逻辑功能划分,在实际实现中可以有另外的划分方式。例如多个单元或组件可以被结合或者集成到另一系统中,或者一些特征可以被忽略,或不执行。另外,所显示或讨论的相互之间耦合或直接耦合或通信连接可以是通过一些接口来实现,单元或模块之间的间接耦合或通信连接可以以电性或其它形式实现。
所述作为分离部件说明的单元可以是或者也可以不是物理上分离的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布在多个网络单元上。可以根据实际需要选择其中的部分或全部单元,以实现本发明实施例方案的目的
另外,本发明实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述的集成单元既可以以硬件的形式实现,也可以软件功能单元的形式实现。
以上仅是本发明的优选实施方式。需要说明的是,对于本领域的普通技术人员来说,在不脱离本发明的原理的前提下,可以做进一步的改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (7)
1.一种车辆定位方法,包括:
基于全球定位系统对处于运行状态的目标车辆进行预定位,以获取所述目标车辆在地图中的先验位置;
获取所述目标车辆中的摄像头传感器在所述先验位置所在的目标区域内采集的行驶图像数据;
利用视觉识别技术对所述行驶图像数据进行视觉识别,得到识别结果;
将所述目标区域的矢量图与所述识别结果进行匹配,以确定所述行驶图像数据中目标车辆当前所在区域的道路信息,其中所述道路信息包括道路网络和位于道路旁边的固定道路对象;
根据所述道路信息获取目标车辆当前位置的横向位置信息;
在获取所述横向位置信息时,根据所述道路信息获取与所述目标车辆所在的目标车道对应的拟合车道的车道参数,其中所述车道参数包括目标车道半径;
从所述矢量图中读取所述目标车道的参考车道半径;
比较所述目标车道半径与所述参考车道半径;
根据比较结果确定所述目标车辆在所述目标车道内的行驶位置,以获取所述目标车辆的纵向位置信息;
根据所述横向位置信息确定所述目标车辆所在的目标车道,并根据所述纵向位置信息定位所述目标车辆在所述目标车道内的行驶位置。
2.根据权利要求1所述的方法,其中根据所述道路信息获取所述目标车辆当前位置的所述横向位置信息的步骤包括:
利用深度神经网络对所述道路信息进行检测和识别,以获取所述目标车辆当前行驶的道路上所有车道的车道信息,其中所述车道信息包括:为各车道标记的车道线、所述目标车辆当前所处的所述目标车道的车道标识、以及所述目标车辆相对于当前所述目标车道的车道中心的偏移距离;
根据所述目标车道的所述车道标识和所述偏移距离生成所述横向位置信息。
3.根据权利要求1所述的方法,其中根据所述比较结果确定所述目标车辆在所述目标车道中的所述行驶位置,以获取所述目标车辆的所述纵向位置信息,包括:
根据所述比较结果确定所述目标车辆在所述目标车道中的纵向行驶区域;
根据所述纵向行驶区域中确定所述行驶位置。
4.根据权利要求3所述方法,其中根据所述纵向行驶区域确定所述行驶位置包括以下至少一项:
在所述目标车道的车道曲率不恒定的情况下,对以下数据使用最大似然法,以根据所述纵向行驶区域确定所述行驶位置:所述目标车道的实际曲率、通过定位系统为所述目标车道估计的参考曲率、以及由所述目标车辆基于与当前位置相关联的采样点估计的采样曲率;
在所述纵向行驶区域中包括地图路标的情况下,根据最接近所述目标车辆的当前位置的目标路标估计所述行驶位置;
在所述目标车道的车道曲率恒定并且所述纵向行驶区域中不包括地图路标的情况下,使用存储在所述定位系统中的定位标记数据估计所述行驶位置;
使用载波相位查找技术从所述纵向行驶区域估计所述行驶位置。
5.根据权利要求2所述方法,其中在获取所述目标车辆当前行驶的道路上的所有车道的车道信息之后,所述方法还包括:
使用独立的编码通道或位掩码,以不同的标记方式对所述目标车辆当前行驶的道路上的每条车道进行差异化标记。
6.一种车辆定位装置,包括:
预定位单元,用于基于全球定位系统对处于运行状态的目标车辆进行预定位,获取所述目标车辆在地图中的先验位置;
获取单元,用于获取所述目标车辆中的摄像头传感器在所述先验位置所在的目标区域内采集的行驶图像数据;
识别单元,用于利用视觉识别技术对所述行驶图像数据进行视觉识别,得到识别结果;将所述目标区域的矢量图与所述识别结果进行匹配,以确定所述行驶图像数据中目标车辆当前所在区域的道路信息,其中所述道路信息包括道路网络和位于道路旁边的固定道路对象;根据所述道路信息获取目标车辆当前位置的横向位置信息;在获取所述横向位置信息时,根据所述道路信息获取与所述目标车辆所在的目标车道对应的拟合车道的车道参数,其中所述车道参数包括目标车道半径;从所述矢量图中读取所述目标车道的参考车道半径;比较所述目标车道半径与所述参考车道半径;根据比较结果确定所述目标车辆在所述目标车道内的行驶位置,以获取所述目标车辆的纵向位置信息;
定位单元,用于根据所述横向位置信息确定所述目标车辆所在的目标车道,并根据所述纵向位置信息定位所述目标车辆在所述目标车道中的行驶位置。
7.一种计算机可读存储介质,其中所述计算机可读存储介质包括存储的程序,其中,所述程序运行时执行根据权利要求1所述的方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/142,212 US11951992B2 (en) | 2021-01-05 | 2021-01-05 | Vehicle positioning method and apparatus, storage medium, and electronic device |
US17/142,212 | 2021-01-05 | ||
PCT/CN2021/086687 WO2022147924A1 (zh) | 2021-01-05 | 2021-04-12 | 车辆定位方法和装置、存储介质及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115038934A CN115038934A (zh) | 2022-09-09 |
CN115038934B true CN115038934B (zh) | 2025-03-07 |
Family
ID=82219860
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180003892.9A Active CN115038934B (zh) | 2021-01-05 | 2021-04-12 | 车辆定位方法和装置、存储介质及电子设备 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11951992B2 (zh) |
CN (1) | CN115038934B (zh) |
WO (1) | WO2022147924A1 (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US12214785B2 (en) * | 2021-09-13 | 2025-02-04 | Aptiv Technologies AG | Vehicle localization to map data |
CN115359436B (zh) * | 2022-08-18 | 2023-04-28 | 中国人民公安大学 | 基于遥感图像的排查方法、装置、设备及存储介质 |
CN115311867B (zh) * | 2022-10-11 | 2023-01-10 | 腾讯科技(深圳)有限公司 | 隧道场景的定位方法、装置、计算机设备、存储介质 |
CN115583243B (zh) * | 2022-10-27 | 2023-10-31 | 阿波罗智联(北京)科技有限公司 | 确定车道线信息的方法、车辆控制方法、装置和设备 |
CN115782926B (zh) * | 2022-12-29 | 2023-12-22 | 苏州市欧冶半导体有限公司 | 一种基于道路信息的车辆运动预测方法及装置 |
CN116124129A (zh) * | 2023-01-12 | 2023-05-16 | 腾讯科技(深圳)有限公司 | 定位信息处理方法、装置、设备和介质 |
CN116153082B (zh) * | 2023-04-18 | 2023-06-30 | 安徽省中兴工程监理有限公司 | 一种基于机器视觉的高速公路路况采集分析处理系统 |
CN116704458A (zh) * | 2023-04-19 | 2023-09-05 | 江苏大学 | 一种自动驾驶商用车横向定位方法 |
CN116503482B (zh) * | 2023-06-26 | 2023-10-20 | 小米汽车科技有限公司 | 车辆位置的获取方法、装置及电子设备 |
CN118171889A (zh) * | 2024-04-16 | 2024-06-11 | 北京鸿游科技有限公司 | 一种基于装载区域识别的运输车辆调度方法和系统 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107643086A (zh) * | 2016-07-22 | 2018-01-30 | 北京四维图新科技股份有限公司 | 一种车辆定位方法、装置及系统 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10406981B2 (en) | 2014-03-20 | 2019-09-10 | Magna Electronics Inc. | Vehicle vision system with curvature estimation |
CN107438754A (zh) * | 2015-02-10 | 2017-12-05 | 御眼视觉技术有限公司 | 用于自主车辆导航的稀疏地图 |
US10248124B2 (en) * | 2016-07-21 | 2019-04-02 | Mobileye Vision Technologies, Inc. | Localizing vehicle navigation using lane measurements |
CN108303103B (zh) * | 2017-02-07 | 2020-02-07 | 腾讯科技(深圳)有限公司 | 目标车道的确定方法和装置 |
JP6982430B2 (ja) * | 2017-08-03 | 2021-12-17 | 株式会社Subaru | 車両の走行車線特定装置 |
JP6859927B2 (ja) * | 2017-11-06 | 2021-04-14 | トヨタ自動車株式会社 | 自車位置推定装置 |
JP6975255B2 (ja) * | 2017-12-27 | 2021-12-01 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、およびプログラム |
JP6755071B2 (ja) * | 2018-06-08 | 2020-09-16 | 株式会社Subaru | 車両の走行制御装置 |
KR102611927B1 (ko) * | 2018-07-11 | 2023-12-08 | 르노 에스.아.에스. | 주행 환경 정보의 생성 방법, 운전 제어 방법, 주행 환경 정보 생성 장치 |
KR20200039853A (ko) * | 2018-09-28 | 2020-04-17 | 전자부품연구원 | 벡터맵과 카메라를 이용한 자율주행 차량이 위치한 차선 추정 방법 |
CN111046709B (zh) * | 2018-10-15 | 2021-02-09 | 广州汽车集团股份有限公司 | 车辆车道级定位方法、系统、车辆及存储介质 |
KR102483649B1 (ko) * | 2018-10-16 | 2023-01-02 | 삼성전자주식회사 | 차량 위치 결정 방법 및 차량 위치 결정 장치 |
CN109635737B (zh) | 2018-12-12 | 2021-03-26 | 中国地质大学(武汉) | 基于道路标记线视觉识别辅助车辆导航定位方法 |
CN111380538B (zh) * | 2018-12-28 | 2023-01-24 | 沈阳美行科技股份有限公司 | 一种车辆定位方法、导航方法及相关装置 |
CN110784680B (zh) * | 2019-08-09 | 2021-02-02 | 中国第一汽车股份有限公司 | 一种车辆定位方法、装置、车辆和存储介质 |
-
2021
- 2021-01-05 US US17/142,212 patent/US11951992B2/en active Active
- 2021-04-12 WO PCT/CN2021/086687 patent/WO2022147924A1/zh active Application Filing
- 2021-04-12 CN CN202180003892.9A patent/CN115038934B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107643086A (zh) * | 2016-07-22 | 2018-01-30 | 北京四维图新科技股份有限公司 | 一种车辆定位方法、装置及系统 |
Also Published As
Publication number | Publication date |
---|---|
WO2022147924A1 (zh) | 2022-07-14 |
CN115038934A (zh) | 2022-09-09 |
US11951992B2 (en) | 2024-04-09 |
US20220212672A1 (en) | 2022-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115038934B (zh) | 车辆定位方法和装置、存储介质及电子设备 | |
EP3640599B1 (en) | Vehicle localization method and apparatus | |
US20210311490A1 (en) | Crowdsourcing a sparse map for autonomous vehicle navigation | |
KR102595897B1 (ko) | 차선 결정 방법 및 장치 | |
US10248124B2 (en) | Localizing vehicle navigation using lane measurements | |
EP2372304B1 (en) | Vehicle position recognition system | |
EP2372309B1 (en) | Vehicle position detection system | |
KR101454153B1 (ko) | 가상차선과 센서 융합을 통한 무인 자율주행 자동차의 항법시스템 | |
EP3524936A1 (en) | Method and apparatus providing information for driving vehicle | |
CN102208012B (zh) | 风景匹配参考数据生成系统及位置测量系统 | |
KR101919366B1 (ko) | 차량 내부 네트워크 및 영상 센서를 이용한 차량 위치 인식 장치 및 그 방법 | |
US8791996B2 (en) | Image processing system and position measurement system | |
EP3843001A1 (en) | Crowdsourcing and distributing a sparse map, and lane measurements for autonomous vehicle navigation | |
EP2372611A2 (en) | Scene matching reference data generation system and position measurement system | |
CN113316706A (zh) | 路标位置估计设备和方法以及存储被编程为执行该方法的计算机程序的计算机可读记录介质 | |
WO2017199369A1 (ja) | 地物認識装置、地物認識方法およびプログラム | |
WO2018180247A1 (ja) | 出力装置、制御方法、プログラム及び記憶媒体 | |
JP2020003463A (ja) | 自車位置推定装置 | |
CN116543043A (zh) | 用于在行驶期间在环境中定位机动车辆的方法和处理器设备以及相应配备的机动车辆 | |
JP4596566B2 (ja) | 自車情報認識装置及び自車情報認識方法 | |
JP2020008462A (ja) | 自車位置推定装置 | |
Abarghooei et al. | Improvement of Image-based Lane Marker Detection Algorithm using Sensor Fusion | |
JP5962331B2 (ja) | 速度推定装置及び速度推定方法 | |
Svasta et al. | Autonomous multi-sensor platform with stereo vision |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |