[go: up one dir, main page]

CN110869797A - 一种高清地图采集系统 - Google Patents

一种高清地图采集系统 Download PDF

Info

Publication number
CN110869797A
CN110869797A CN201880002191.1A CN201880002191A CN110869797A CN 110869797 A CN110869797 A CN 110869797A CN 201880002191 A CN201880002191 A CN 201880002191A CN 110869797 A CN110869797 A CN 110869797A
Authority
CN
China
Prior art keywords
vehicle
sensor
data
captured data
installation angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880002191.1A
Other languages
English (en)
Other versions
CN110869797B (zh
Inventor
马腾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Didi Infinity Technology and Development Co Ltd
Original Assignee
Beijing Didi Infinity Technology and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Didi Infinity Technology and Development Co Ltd filed Critical Beijing Didi Infinity Technology and Development Co Ltd
Publication of CN110869797A publication Critical patent/CN110869797A/zh
Application granted granted Critical
Publication of CN110869797B publication Critical patent/CN110869797B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4811—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • G01S7/4813—Housing arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of Optical Distance (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本申请的实施例提供了用于获取地图数据的方法和系统。该系统可以包括被配置为可调节地将传感器安装至车辆上的安装结构。其中，所述传感器被配置为捕获可表明所述车辆沿路径行驶时的至少一个周边对象的数据。该系统还可以包括控制器，被配置为根据所述捕获的数据动态确定安装角度，并使安装结构根据动态确定的安装角度调整传感器。

Description

一种高清地图采集系统
本申请涉及一种高清地图采集系统，更具体地说，涉及一种动态调整激光雷达(LiDAR)的安装角度的高清地图采集系统，该激光雷达用于获取地图数据。
背景技术
自主驾驶技术在很大程度上依赖于精确的地图。例如，导航地图的准确性对于自动驾驶车辆的功能是关键的，例如定位、环境识别、决策制定和控制。高清地图可以通过聚集车辆行驶途中的图像和信息来获取，该图像和信息可以由车辆上的各种传感器、检测器和其他装置来获取。例如，车辆可以配备有一个或以上传感器(如激光雷达或高清摄像机)以捕获车辆正在行驶的道路的特征和周边对象的特征。例如，所捕获的数据可以包括车道的中心线或车道的边界线坐标、对象的坐标和图像。例如，对象可以包括建筑物、另一车辆、地标、行人或交通标志。
传感器通常安装在车辆的车身上，例如车辆的顶部。传感器取向与车辆表面之间的角度称为安装角度。现有的安装方法采用固定的安装角度。例如，在水平安装中，传感器取向与车辆顶部表面平行(即，0度安装角)，使得传感器指向与传感器相同高度处的场景。在该高度处，传感器通常捕获诸如其他车辆、建筑物的下部、房屋、树木和行人的对象。在倾斜安装中，传感器与车辆顶部表面成一定角度(即，安装角度>0度)。传感器可以指向下以捕获道路的特征，例如车道、转弯标志、路边等。传感器还可以指向捕获交通灯、交通标志、树顶和建筑物的较高部分。然而，在固定的安装角度下，传感器只能在固定高度处捕获感兴趣的区域，因此，并不总是捕获包含稍后构建高清地图所需的最有价值的地图数据的场景。因此，需要一种用于获取地图数据的改进系统和方法。
本申请的实施例通过用于动态调整传感器安装角度以获取高清地图数据的方法和系统来解决上述问题。
发明内容
本申请的实施例提供了一种用于获取地图数据的系统。该系统可以包括被配置为可调节地将传感器安装至车辆上的安装结构。传感器可以被配置为捕获可表明所述车辆沿路径行驶时的至少一个周边对象的数据。该系统还可以包括控制器，被配置为根据捕获的数据动态确定安装角度，并使安装结构根据动态确定的安装角度调整传感器。
本申请的实施例还公开了一种获取地图数据的方法。该方法可以包括：使用可调节地安装在车辆上的传感器捕获可表明车辆沿路径行驶时的至少一个周边对象的数据。该方法还可以包括由控制器根据捕获的数据动态确定安装角度。该方法还可以包括根据动态确定的安装角度调节传感器。
本申请的实施例还公开了一种车辆。车辆可包括至少一个车轮和由至少一个车轮支撑的车身。车辆可以进一步包括被配置为捕获可表明所述车辆沿路径行驶时的至少一个周边对象的数据。车辆还可以进一步包括将传感器可调节地安装至车身上的安装结构。车辆还可以包括控制器，被配置为根据捕获的数据动态确定安装角度，并使安装结构根据动态确定的安装角度调整传感器。
应当理解，前面的一般性描述和下面的详细描述都只是示例性和说明性的，并不是对要求保护的本发明的限制。
附图说明
图1示出了根据本申请的实施例的具有可调节地安装在其上的传感器的示例性车辆的示意图。
图2示出了根据本申请的实施例的示例性传感器安装的示意图。
图3示出了根据本申请的实施例的用于调整传感器的示例性控制器的框图。
图4示出了根据本申请的实施例的基于示例性图像检测对象。
图5示出了根据本申请的实施例的基于示例性点云检测对象。
图6示出了根据本申请的实施例的用于获取地图数据的示例性方法的流程图。
具体实施方式
现在将详细参考示例性实施例，其示例在附图中示出。只要有可能，在所有附图中将使用相同的附图标记来表示相同或相似的部分。
图1示出了根据本申请的实施例示例性车辆100的示意图，该车辆100具有可调节地安装在其上的传感器140。与一些实施例一致，车辆100可以被配置为用于获取构建高清地图数据的勘测车辆。可以预计的是，车辆100可以是电动车辆、燃料电池车辆、混合动力车辆或传统的内燃机车辆。车辆100可具有车身110和至少一个车轮120。车身110可以是任何车身类型，例如运动车辆、轿跑车、轿车、皮卡车、旅行车、运动型多功能车(Sports UtilityVehicle，SUV)、小型货车或转换车。如图1所示，在一些实施例中，车辆100可包括一对前轮和一对后轮。然而，可以预计的是，车辆100可具有较少的车轮或使车辆100能够四处移动的等同结构。车辆100可以被配置为全轮驱动(All Wheel Drive，AWD)、前轮驱动(FrontWheel Drive，FWR)或后轮驱动(Rear Wheel Drive，RWD)。在一些实施例中，车辆100可以被配置为由占用车辆的操作员操作，远程控制和/或自主。
如图1所示，车辆100可配备经由安装结构130安装到车身110上的传感器140。与一些实施例一致，当车辆100沿路径行进时，传感器140可被配置为捕获数据。例如，传感器140可以是拍摄照片或以其他方式收集图像数据的相机。又例如，传感器140可以被配置为扫描周围并获取点云的激光雷达。激光雷达通过用脉冲激光照射目标并用传感器测量反射脉冲的方式测量到目标的距离。然后可以使用激光返回时间和波长的差异来生成目标的数字三维(3-D)表示。用于激光雷达扫描的光可以是紫外线、可见光或近红外线。因为窄激光束可以以非常高的分辨率映射物理特征，所以激光雷达特别适用于高清地图勘测。在一些实施例中，激光雷达可以捕获点云。当车辆100沿着路径行进时，传感器140可以连续地捕获数据。在特定时间点捕获的每组场景数据被称为数据帧。
在一些实施例中，传感器140可包括激光雷达和3-D相机的组合。当车辆100沿着路径行进时，可以获取数字图像和点云。从激光雷达获取的点云可以稍后与扫描区域的数字图像匹配，所述数字图像在扫描仪的位置拍摄扫描区域，以创建逼真的3-D模型。例如，点云中的每个点可以从拍摄的图像中给出像素点的颜色，该图像位于与产生该点的激光束相同的角度。
与本申请一致，安装结构130可以是安装或以其他方式附属于车辆100的车身110的机电装置。安装结构130可包括各种组件(图1中未示出)。例如，安装结构130可包括一个用于将其自身连接到车身110的安装端，以及另一个用于安装传感器140的安装端。在一些实施例中，安装结构130可以使用螺钉、粘合剂或其他安装机制。
与本申请一致，传感器140可以可调节地安装到安装结构130上，使传感器140可以转动、滑动、提升或以其他方式移动。在一些实施例中，安装结构130可包括用于调节传感器140的安装角度的枢轴131。枢轴131可包括任何枢轴部件或使用任何合适的枢轴机构。例如，枢轴131可包括轴、铰链或使传感器140转动以增加或减小安装角度的销。当传感器140转动时，激光束的方向发生改变以聚焦在不同的视野。安装结构130可以额外地包括致动器，例如电动机(图1中未示出)，以驱动枢轴，从而调节传感器140。
图2示出了根据本申请的实施例的示例性传感器安装200的示意图。传感器安装200可以安装在车辆100的车身110上，并且可调节地支撑激光雷达210。如图2所示，传感器安装200可包括用于支撑激光雷达210的支架220。支架220可以垂直延伸以将激光雷达210提升到期望位置。枢轴部件240可以可调节地附接在支架220的端部，并且激光雷达210可以安装到枢轴部件240的顶部表面。枢轴结构可围绕轴250转动，从而使激光雷达210指向上、水平或下。传感器安装200还可包括由控制器280远程控制的致动器230。控制器280可以经由有线或无线的方式与致动器230通信。致动器230可包括电动机以驱动枢轴部件240转动。可以想到，传感器安装200仅是说明性的并且构成安装结构130的一个实施例。
图3示出了根据本申请实施例的用于调节传感器140的示例性控制器280的框图。与本申请一致，传感器140的安装角度可以基于传感器140捕获的数据动态地改变。在一些实施例中，如图3所示，控制器280可以包括通信界面302、处理器304、内存312和存储器314。在一些实施例中，控制器280可以在单个设备中具有不同的模块，例如，处理器304(实现为专用集成电路(Application-Specific Integrated Circuit，ASIC)或现场可编程门阵列(Field-Programmable Gate Array，FPGA)或具有专用功能的分离设备。在一些实施例中，控制器280的一个或以上组件可以位于车辆100内部(如图所示)，或者可以替代地位于移动设备中、位于云中或位于另一个远程位置。控制器280的组件可以位于单个集成设备中或者分布在不同位置，但是通过网络(未示出)彼此通信。例如，处理器304可以是车辆100的车载处理器，移动设备内的处理器或云处理器，或其任何组合。
通信界面302可以经由通信电缆、无线局域网(Wireless Local Area Network，WLAN)、广域网(Wide Area Network，WAN)、诸如无线电波、全国范围的蜂窝网络、和/或本地无线网络(例如，BluetoothTM或WiFi)的无线网络，或其他通信方法向诸如传感器140和致动器230的组件发送数据和从其接收数据。在一些实施例中，通信界面302可以是综合业务数字网(Integrated Services Digital Network，ISDN)卡、电缆调制解调器、卫星调制解调器或调制解调器，以提供数据通信连接。又例如，通信界面302可以是局域网(LAN)卡，以提供与兼容LAN的数据通信连接。无线链路也可以由通信界面302实现。在这样的实现中，通信界面302可以经由网络发送和接收携带表示各种类型信息的数字数据流的电信号、电磁信号或光信号。
与本申请的一些实施例一致，通信界面302可以接收由传感器140捕获的数据，例如数字图像和点云数据321，并将接收的数据提供给存储器314进行存储或提供给处理器304进行处理。通信界面302还可以接收由处理器304生成的控制信号，并将控制信号提供给致动器230，致动器230将相应地调整传感器140的安装角度。
处理器304可以包括任何适当类型的通用或专用微处理器、数字信号处理器或微控制器。处理器304可以被配置为单独的处理器模块，专用于在车辆100沿着路径行进时获取地图数据。或者，处理器304可以被配置为共享处理器模块，用于执行与获取地图数据无关的其他功能。
如图3所示，处理器304可以包括多个模块，例如数据处理单元306、安装角度确定单元308、控制信号生成单元310等。这些模块(以及任何对应的子模块或子单元)可以是处理器304的硬件单元(例如，集成电路的部分)，其被设计用于与其他组件一起使用或执行程序的一部分。程序可以存储在计算机可读介质上，并且当由处理器304执行时，它可以执行一个或以上的功能。尽管图3示出了所有单元306-310在单个处理器304内，但是可以预计的是，这些单元可以分布在彼此靠近或远离的多个处理器之间。
数据处理单元306可以被配置为用于处理由传感器140捕获的数据。所捕获的数据表示当车辆100沿着路径(例如街道)行进时围绕着车辆100的对象。在一些实施例中，数据处理单元306可以从由高清摄像机捕获的数字图像中检测对象。例如，图4示出了根据本申请的实施例的基于示例性图像410检测到的对象。图像410可以是由相机捕获的数字图像。与本申请一致，可以使用各种图像处理方法来检测对象，例如图像分割、图像配准、模式识别、分类等。在处理之后，可以对图像410进行分割并且可以检测各种对象，例如，如检测结果420所示，车辆、路灯、树木等。
数据处理单元306可以进一步被配置为用于检测由激光雷达捕获的点云的对象。例如，图5示出了根据本申请的实施例的基于示例性点云500检测的对象。点云500可以在围绕其对象的外表面上包含一组数据点。可以处理点云以构建对象的3-D模型。例如，如图5所示，诸如车辆、行人和建筑物之类的物体是由点云500构成的。在一些实施例中，机器学习可以应用于自动识别对象。可以使用合适的学习方法，例如监督学习、半监督学习或无监督学习。在一些实施例中，物体检测可以使用机器学习实现分类或聚类问题。在一些实施例中，可以使用诸如卷积神经网络(Convolutional Neural Network，CNN)的学习模型。可以用样本点云和对象训练模型，然后应用于新捕获的点云。
在一些实施例中，数据处理单元306可以被配置为检测静态对象，例如建筑物、树木、交通标志、交通信号灯、车道和移动对象，例如车辆和行人。在一些实施例中，当数字图像和点云都可用时，数据处理单元306可以集成数据以辅助检测过程。因为图像数据和点云数据是相同基础场景的表示，所以它们可以基于时间戳和/或车辆位置以及数据中的冗余进行关联以帮助增强检测结果。在一个示例性方法中，数据处理单元306可以用激光雷达从相机处校准彩色图像。然后可以基于距传感器的距离和局部平面将点分成若干组。例如，前景对象可以与背景对象分离。然后，数据处理单元306可以对3-D点执行聚类以生成准确的兴趣区域(Region-of-Interests，RoIs)。可以基于聚类来检测对象，并且可以在不同的帧之间跟踪移动对象。
一旦检测到物体，数据处理单元306可以将检测结果传递给安装角度确定单元308，以确定安装传感器140的合适角度。在一些实施例中，基于捕获的场景中存在的对象来确定安装角度。例如，当场景主要具有静态对象时，例如高层建筑，可以增加安装角度，使得传感器140指向更高的位置以捕获具有更高对象的场景。另外，通过使用更大的安装角度，捕获的场景通常包含更少的移动对象，这通常会干扰地图构建过程。
又例如，如果场景包含最小数量的移动对象或高层建筑，则可以减小安装角度，使得传感器140水平指向以捕获基本上彼此重叠的点云的帧。例如，安装角度确定单元308可以将移动对象和高层建筑的数量与预定阈值进行比较。因为高清地图通常使用诸如同时定位和映射(Simultaneous Localization And Mapping，SLAM)之类的方法构建，其依赖于帧之间的数据变化，所获取的点云中的更多重叠可以向SLAM算法提供更多信息，并使算法更加稳健。
再例如，如果捕获的场景主要包含移动对象，例如车辆和行人，则有价值的地图信息可能被与地图无关的这些对象严重阻挡。例如，安装角度确定单元308可以确定移动对象的数量是否超过预定阈值。在那种情况下，安装角度确定单元308可以确定单独调整安装角度可能是不够的。安装角度确定单元308可以附加地或替代地确定车辆100应该减速或停止以使移动对象移出场景。
然后，安装角度确定单元308可以将其确定的结果传送至控制信号生成单元310。控制信号生成单元310可以被配置为相应地生成控制信号。在一些实施例中，可以生成致动器控制信号以使致动器230将传感器140调节到安装角度确定单元308确定的安装角度322。附加地或可替代地，控制信号生成单元310可以生成速度控制信号以使发动机控制单元(Engine Control Unit，ECU)340降低车辆100的速度或使车辆100停止。控制信号可以经由通信界面302发送到致动器230或ECU 340。
内存312和存储器314可以包括任何适当类型的大容量存储器，其被提供以存储处理器304可能需要操作的任何类型的信息。内存312和存储器314可以是易失性或非易失性、磁性、半导体、磁带、光学的、可移动的、不可移动的或其他类型的存储设备或包括但不限于ROM、闪存、动态RAM和静态RAM的有形的(即，非暂时性)计算机可读介质。内存312和/或存储器314可以被配置为存储计算机程序，该计算机程序可以由处理器304执行本申请中公开的地图数据获取功能。例如，内存312和/或存储器314可以被配置为存储程序，其可以由处理器304执行以控制传感器140在车辆100沿着路径行进时捕获场景数据，并且处理捕获的数据以检测场景中的静态或移动对象。此外，处理器304可执行程序以调整传感器140的安装角度或以其他方式调整车辆100的操作。
内存312和/或存储器314可以进一步被配置为存储信息和处理器304使用的数据。例如，内存312和/或存储器314可以被配置用于存储由传感器140捕获的数字图像和点云数据，用于物体检测的机器学习模型(模型参数)以及特征图和其他处理过程中创建的中间数据。这些数据可以被永久地存储、周期性地移除或者在处理每个数据帧之后立即被忽略。
图6示出了根据本申请的实施例的用于获取地图数据的示例性方法600的流程图。例如，方法600可以由车辆100的地图数据采集系统实现，其包括控制器280、传感器140和安装结构130等。方法600可以包括如下所述的步骤S602-S620。
在步骤S602，当车辆100沿着诸如街道的路径行进时，传感器140可以被配置为捕获场景数据。车辆100可以是配备有传感器140的测量车辆，例如激光雷达和/或高清相机。传感器140可以可调节地安装到车辆100，其中，安装角度是动态可调节的。捕获的场景数据包含场景中存在的对象的信息。该对象可以包括静态对象，例如建筑物、树木、交通标志、交通灯、街灯、车道等，以及移动对象，例如街道上的车辆和行人。捕获的场景数据可以包括由高清摄像机捕获的数字图像和/或由激光雷达捕获的点云数据。当车辆100沿着路径行进时，传感器140可以在不同时间点连续捕获场景数据帧。
在步骤S604，可以分析捕获的场景数据(例如，通过控制器280)以检测场景中的对象。场景数据可以由传感器140发送到控制器280并存储在其存储器314中。数据处理单元306可以被配置为分析场景数据并检测其中的静态和/或移动对象。在一些实施例中，当场景数据包含由高清相机捕获的数字图像时，可以使用各种图像处理方法来检测对象，诸如图像分割、图像配准、模式识别、分类等。在处理之后，可以对图像410进行分割并且可以检测各种对象，例如，图4示例中所示的车辆、路灯、树木等。
在一些其他实施例中，如图5中所示的示例，如果场景数据包含由激光雷达捕获的点云，则数据处理单元306可基于点云构建对象的3-D模型。在一些实施例中，机器学习可以应用于从点云自动检测对象。可以使用任何合适的学习方法，例如监督学习、半监督学习或无监督学习。在一些实施例中，可以使用诸如CNN的学习模型。数据处理单元306可以用样本点云和对象实时训练学习模型，然后应用于新捕获的点云。或者，可以使用相同或不同的处理器提前训练学习模型。在一些实施例中，当数字图像和点云都可用时，数据处理单元306可以集成数据以增强检测准确度。
一旦检测到对象，数据处理单元306可以将检测结果传送给安装角度确定单元308，以确定安装传感器140的适当角度或确定其他控制参数以其他方式控制车辆100。在一些实施例中，基于捕获的场景中存在的对象确定安装角度。例如，在步骤S606，如果安装角度确定单元308确定场景主要具有静态对象，例如高层建筑，则可以决定增加安装角度，使得传感器140指向更高位置以捕获有更高的对象和更少移动的对象的场景(步骤S608)。
在步骤S610，如果安装角度确定单元308确定场景包含最小数量的移动对象或高层建筑，则可以减小安装角度，使得传感器140水平指向以捕获重叠更多的点云的帧(步骤S612)。例如，可以将移动对象和高层建筑的数量与预定阈值进行比较。所获取的点云中的更多重叠可以使SLAM算法更稳健和准确。
在步骤S614，控制信号生成单元310可以根据在步骤S608或S612中确定的安装角度生成致动器控制信号。控制信号可以由通信界面302发送到致动器230。因此，致动器230可以驱动安装结构130的枢轴131以将传感器140转动到所确定的安装角度。
在步骤S616，如果捕获的场景主要包含移动对象，例如车辆和行人，则安装角度确定单元308可以附加地或可替代地确定车辆100应该减速或停止以便移动对象移出场景(步骤S618)。例如，安装角度确定单元308可以确定移动对象的数量是否超过预定阈值。因此，控制信号可以由通信界面302发送到ECU 340以施加制动并降低车辆100的速度。
一旦在步骤S614中动态调整了安装角度或者在步骤S618中车辆100减速了或停止了，可以使传感器140在调整的安装角度继续捕获场景数据。
方法600可以在整个调查过程中连续应用。也就是说，控制器280可以基于捕获的场景数据的每个帧或一组相邻帧动态地确定是否应该调整安装角度，如果应该调整安装角度，应该调整多少。因此，如果需要，传感器140的安装角度可以被动态且连续地调整，以将传感器140自适应地聚焦在包含更多地图信息的场景上，从而提高后续构建的高清地图的质量。当调整安装角度不再有益于数据获取时，例如，当场景主要包含移动对象时，方法600可以控制车辆100减速或停止，以便从场景移除移动对象。
本申请的另一方面涉及一种存储指令的非暂时性计算机可读介质，所述指令在被执行时使得一个或以上处理器执行如上所述的方法。计算机可读介质可包括易失性或非易失性、磁性、半导体、磁带、光学的、可移动的、不可移动的或其他类型的计算机可读介质或计算机可读存储设备。例如，如所公开的，计算机可读介质可以是存储设备或其上存储有计算机指令的存储器模块。在一些实施例中，计算机可读介质可以是其上存储有计算机指令的盘或闪存驱动器。
对于本领域技术人员显而易见的是，可以对所公开的系统和相关方法进行各种修改和变化。考虑到所公开的系统和相关方法的说明和实践，其他实施例对于本领域技术人员是显而易见的。
本公开的意图是说明书和示例仅被视为示例性的，真实范围由所附权利要求及其等同物指示。

Claims (20)

1.一种获取地图数据的系统，包括：
被配置为可调节地将传感器安装至车辆上的安装结构，其中，所述传感器被配置为捕获可表明所述车辆沿路径行驶时的至少一个周边对象的数据；以及
控制器，被配置为：
根据所述捕获的数据动态确定安装角度；以及
使所述安装结构根据动态确定的安装角度调整所述传感器。
2.根据权利要求1所述的系统，其中，所述传感器包括相机或激光雷达。
3.根据权利要求2所述的系统，其中，所述捕获的数据包括图像数据或点云数据。
4.根据权利要求1所述的系统，其中，所述安装结构包括被配置为将所述传感器转至所述动态确定的安装角度的枢轴。
5.根据权利要求1所述的系统，其中，为了根据所述捕获的数据确定所述安装角度，所述控制器进一步被配置为：
基于所述捕获的数据检测一组静态对象；以及
增加所述安装角度。
6.根据权利要求1所述的系统，其中，为了根据所述捕获的数据确定所述安装角度，所述控制器进一步被配置为：
根据所述捕获的数据检测移动对象的阈值数；以及
使所述车辆减速。
7.根据权利要求5所述的系统，其中，所述静态对象是所述车辆行驶路径的沿途的高层建筑。
8.根据权利要求6所述的系统，其中，所述移动对象包括行人或其他车辆。
9.一种获取地图数据的方法，包括：
使用可调节地安装在车辆上的传感器捕获可表明所述车辆沿路径行驶时的至少一个周边对象的数据；
由控制器根据所述捕获的数据动态确定安装角度；以及
根据动态确定的安装角度调整所述传感器。
10.根据权利要求9所述的方法，其中，所述传感器包括相机或激光雷达。
11.根据权利要求10所述的方法，其中，所述捕获的数据包括图像数据或点云数据。
12.根据权利要求9所述的方法，其中，所述传感器通过安装结构安装在所述车辆上，所述安装结构包括被配置为将所述传感器转至所述动态确定的安装角度的枢轴。
13.根据权利要求9所述的方法，其中，基于所述捕获的数据确定所述安装角度进一步包括：
基于所述捕获的数据检测一组静态对象；以及
增加所述安装角度。
14.根据权利要求9所述的方法，其中，基于所述捕获的数据确定所述安装角度进一步包括：
基于所述捕获的数据检测移动对象的阈值数量；以及
使所述车辆减速。
15.根据权利要求13所述的方法，其中，所述静态对象是所述车辆行驶路径的沿途的高层建筑。
16.根据权利要求14所述的方法，其中，所述移动对象包括行人或其他车辆。
17.一种车辆，包括：
至少一个车轮；
由所述至少一个车轮所支撑的车身；
被配置为捕获可表明所述车辆沿路径行驶时的至少一个周边对象的数据的传感器；
被配置为可调节地将所述传感器安装至所述车身上的安装结构；以及
控制器，被配置为：
根据所述捕获的数据动态确定安装角度；以及
使所述安装结构根据动态确定的安装角度调整所述传感器。
18.根据权利要求17所述的车辆，其中，所述传感器包括相机或激光雷达。
19.根据权利要求17所述的车辆，其中，所述安装结构包括被配置为将所述传感器转至所述动态确定的安装角度的枢轴。
20.根据权利要求17所述的车辆，其中，为了根据所述捕获的数据确定所述安装角度，所述控制器进一步被配置为：
基于所述捕获的数据检测一组静态对象；以及
增加所述安装角度。
CN201880002191.1A 2018-06-25 2018-06-25 一种高清地图采集系统 Active CN110869797B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/092668 WO2020000141A1 (en) 2018-06-25 2018-06-25 A high-definition map acquisition system

Publications (2)

Publication Number Publication Date
CN110869797A true CN110869797A (zh) 2020-03-06
CN110869797B CN110869797B (zh) 2023-09-05

Family

ID=68981907

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880002191.1A Active CN110869797B (zh) 2018-06-25 2018-06-25 一种高清地图采集系统

Country Status (9)

Country Link
US (1) US11061122B2 (zh)
EP (1) EP3612857A4 (zh)
JP (1) JP6898363B2 (zh)
CN (1) CN110869797B (zh)
AU (2) AU2018286580B2 (zh)
CA (1) CA3028288C (zh)
SG (1) SG11201811609RA (zh)
TW (1) TWI746915B (zh)
WO (1) WO2020000141A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112758024A (zh) * 2021-01-13 2021-05-07 西安中通巡天科技有限公司 电子地图信息采集存储设备
CN113568997A (zh) * 2021-07-30 2021-10-29 京东鲲鹏(江苏)科技有限公司 点云地图更新方法、装置、电子设备和计算机可读介质
CN116027375A (zh) * 2023-03-29 2023-04-28 智道网联科技(北京)有限公司 自动驾驶车辆的定位方法、装置及电子设备、存储介质

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112136021B (zh) * 2018-12-29 2024-07-26 北京嘀嘀无限科技发展有限公司 用于构建基于地标的高清地图的系统和方法
US11157692B2 (en) * 2019-03-29 2021-10-26 Western Digital Technologies, Inc. Neural networks using data processing units
US11134201B2 (en) * 2019-08-20 2021-09-28 International Business Machines Corporation Vision assisted driving system using a vertically extendable camera
US11556127B2 (en) * 2020-04-03 2023-01-17 Baidu Usa Llc Static obstacle map based perception system
US11532098B2 (en) * 2020-09-01 2022-12-20 Ford Global Technologies, Llc Determining multi-degree-of-freedom pose to navigate a vehicle
CN113682319B (zh) * 2021-08-05 2023-08-01 地平线(上海)人工智能技术有限公司 摄像头调整方法及装置、电子设备和存储介质
US12132986B2 (en) * 2021-12-12 2024-10-29 Avanti R&D, Inc. Computer vision system used in vehicles
CN116794666A (zh) * 2022-03-17 2023-09-22 北京图森智途科技有限公司 数据采集装置和用于确定传感器的姿态的方法
USD1062498S1 (en) * 2022-09-09 2025-02-18 Waymo Llc Vehicle sign

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102150008A (zh) * 2008-09-12 2011-08-10 罗伯特·博世有限公司 用于调整或校准车辆环境传感器的方法以及车辆环境传感器调整或校准装置
CN104006789A (zh) * 2014-06-11 2014-08-27 中国人民解放军总装备部军械技术研究所 空间动态角度测量装置和测量方法
US8977491B1 (en) * 2007-09-06 2015-03-10 Rockwell Collins, Inc. System and method for verifying displayed terrain information
CN104797970A (zh) * 2012-10-29 2015-07-22 脱其泰有限责任公司 采用针对对象分类的角度分辨散射和光谱分辨测量的系统、设备和方法
CN105398389A (zh) * 2015-12-23 2016-03-16 安徽安凯汽车股份有限公司 一种汽车安全驾驶辅助检测系统及方法
CN105818747A (zh) * 2016-03-11 2016-08-03 乐卡汽车智能科技（北京）有限公司 用于采集车辆外部图像的图像采集系统及图像采集方法
CN105981368A (zh) * 2014-02-13 2016-09-28 谷歌公司 在成像装置中的照片构图和位置引导
CN108062864A (zh) * 2016-11-09 2018-05-22 奥迪股份公司 一种用于车辆的交通场景可视化系统和方法及车辆
CN108196535A (zh) * 2017-12-12 2018-06-22 清华大学苏州汽车研究院（吴江） 基于增强学习和多传感器融合的自动驾驶系统

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19957186A1 (de) * 1999-11-27 2001-05-31 Volkswagen Ag Verfahren zum Justieren eines Abstands- und Richtungssensors eines Fahrzeuges
US6810330B2 (en) * 2001-07-31 2004-10-26 Omron Corporation Apparatus for and method of detecting object on road
US6762790B1 (en) * 2002-12-20 2004-07-13 Bendix Commercial Vehicle Systems Llc Universal camera bracket that allows 180 degree of pitch adjustment
US8996172B2 (en) 2006-09-01 2015-03-31 Neato Robotics, Inc. Distance sensor system and method
JP2011123551A (ja) * 2009-12-08 2011-06-23 Toyota Central R&D Labs Inc 死角領域推定装置及びプログラム
US9254846B2 (en) 2013-05-03 2016-02-09 Google Inc. Predictive reasoning for controlling speed of a vehicle
US9121703B1 (en) * 2013-06-13 2015-09-01 Google Inc. Methods and systems for controlling operation of a laser device
KR20150047215A (ko) * 2013-10-24 2015-05-04 현대모비스 주식회사 회전형 라이다 센서를 이용한 타겟 차량 감지 장치 및 회전형 라이다 센서
WO2015088396A1 (en) * 2013-12-11 2015-06-18 Volvo Truck Corporation Adjustable bracket and method for mounting a detector on a vehicle
JP6386794B2 (ja) 2014-06-04 2018-09-05 日立建機株式会社 運搬車両
US20150362587A1 (en) * 2014-06-17 2015-12-17 Microsoft Corporation Lidar sensor calibration using surface pattern detection
US9625582B2 (en) * 2015-03-25 2017-04-18 Google Inc. Vehicle with multiple light detection and ranging devices (LIDARs)
US9880263B2 (en) * 2015-04-06 2018-01-30 Waymo Llc Long range steerable LIDAR system
CN106394555A (zh) * 2016-08-29 2017-02-15 无锡卓信信息科技股份有限公司 基于3d摄像头的无人驾驶汽车避障系统及方法
KR102782006B1 (ko) * 2016-09-20 2025-03-14 이노비즈 테크놀로지스 엘티디 Lidar 시스템 및 방법
US10942272B2 (en) * 2016-12-13 2021-03-09 Waymo Llc Power modulation for a rotary light detection and ranging (LIDAR) device
JP6880822B2 (ja) * 2017-02-24 2021-06-02 株式会社リコー 装置、移動体装置及び方法
JP7031137B2 (ja) * 2017-04-10 2022-03-08 凸版印刷株式会社 レーザ走査装置
CN207045253U (zh) * 2017-08-21 2018-02-27 百度在线网络技术（北京）有限公司 无人驾驶汽车的传感器组合装置
CN107728646B (zh) * 2017-09-05 2020-11-10 百度在线网络技术（北京）有限公司 对自动驾驶车辆的摄像头进行自动控制的方法和系统
CN207455096U (zh) * 2017-10-26 2018-06-05 成都极点芯联科技有限公司 便于调整摄像头安装角度的支撑设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8977491B1 (en) * 2007-09-06 2015-03-10 Rockwell Collins, Inc. System and method for verifying displayed terrain information
CN102150008A (zh) * 2008-09-12 2011-08-10 罗伯特·博世有限公司 用于调整或校准车辆环境传感器的方法以及车辆环境传感器调整或校准装置
CN104797970A (zh) * 2012-10-29 2015-07-22 脱其泰有限责任公司 采用针对对象分类的角度分辨散射和光谱分辨测量的系统、设备和方法
CN105981368A (zh) * 2014-02-13 2016-09-28 谷歌公司 在成像装置中的照片构图和位置引导
CN104006789A (zh) * 2014-06-11 2014-08-27 中国人民解放军总装备部军械技术研究所 空间动态角度测量装置和测量方法
CN105398389A (zh) * 2015-12-23 2016-03-16 安徽安凯汽车股份有限公司 一种汽车安全驾驶辅助检测系统及方法
CN105818747A (zh) * 2016-03-11 2016-08-03 乐卡汽车智能科技（北京）有限公司 用于采集车辆外部图像的图像采集系统及图像采集方法
CN108062864A (zh) * 2016-11-09 2018-05-22 奥迪股份公司 一种用于车辆的交通场景可视化系统和方法及车辆
CN108196535A (zh) * 2017-12-12 2018-06-22 清华大学苏州汽车研究院（吴江） 基于增强学习和多传感器融合的自动驾驶系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112758024A (zh) * 2021-01-13 2021-05-07 西安中通巡天科技有限公司 电子地图信息采集存储设备
CN113568997A (zh) * 2021-07-30 2021-10-29 京东鲲鹏(江苏)科技有限公司 点云地图更新方法、装置、电子设备和计算机可读介质
CN116027375A (zh) * 2023-03-29 2023-04-28 智道网联科技(北京)有限公司 自动驾驶车辆的定位方法、装置及电子设备、存储介质

Also Published As

Publication number Publication date
TW202001821A (zh) 2020-01-01
CA3028288C (en) 2022-05-03
US20190392232A1 (en) 2019-12-26
CN110869797B (zh) 2023-09-05
WO2020000141A1 (en) 2020-01-02
EP3612857A1 (en) 2020-02-26
AU2018286580A1 (en) 2020-01-16
JP6898363B2 (ja) 2021-07-07
CA3028288A1 (en) 2019-12-25
AU2020257083A1 (en) 2020-11-19
SG11201811609RA (en) 2020-01-30
JP2020528021A (ja) 2020-09-17
TWI746915B (zh) 2021-11-21
AU2018286580B2 (en) 2020-10-15
EP3612857A4 (en) 2020-02-26
US11061122B2 (en) 2021-07-13

Similar Documents

Publication Publication Date Title
CN110869797B (zh) 一种高清地图采集系统
CN111448478B (zh) 用于基于障碍物检测校正高清地图的系统和方法
US11373532B2 (en) Pothole detection system
EP3598874B1 (en) Systems and methods for updating a high-resolution map based on binocular images
JP6825569B2 (ja) 信号処理装置、信号処理方法、およびプログラム
US11474247B2 (en) Methods and systems for color point cloud generation
WO2022246851A1 (zh) 基于航测数据的自动驾驶感知系统测试方法、系统及存储介质
CN111033316B (zh) 识别传感器及其控制方法、汽车、车辆用灯具、对象识别系统、对象的识别方法
CN117082332A (zh) 使用雷达的相机设置的自动配置
US11138448B2 (en) Identifying a curb based on 3-D sensor data
US20230098440A1 (en) Imaging device, imaging system, and imaging method
US11827216B2 (en) Optimal sensor reading for low latency object detection
WO2020110802A1 (ja) 車載用物体識別システム、自動車、車両用灯具、分類器の学習方法、演算処理装置
CN119445510A (zh) 一种基于4d毫米波雷达融合摄像头的识别方法
JP2024024422A (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant