CN110779534A - 用于创建车辆环境模型的系统 - Google Patents
用于创建车辆环境模型的系统 Download PDFInfo
- Publication number
- CN110779534A CN110779534A CN201910669159.5A CN201910669159A CN110779534A CN 110779534 A CN110779534 A CN 110779534A CN 201910669159 A CN201910669159 A CN 201910669159A CN 110779534 A CN110779534 A CN 110779534A
- Authority
- CN
- China
- Prior art keywords
- information
- merged
- vehicle
- position information
- objects
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3667—Display of a road map
- G01C21/367—Details, e.g. road map scale, orientation, zooming, illumination, level of detail, scrolling of road map or positioning of current position marker
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/51—Relative positioning
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
- G01C21/32—Structuring or formatting of map data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3807—Creation or updating of map data characterised by the type of data
- G01C21/3815—Road data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/13—Receivers
- G01S19/14—Receivers specially adapted for specific applications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
- G06F17/13—Differential equations
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Automation & Control Theory (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Algebra (AREA)
- Operations Research (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
Abstract
用于创建车辆环境模型的系统与或能够与以下连接:导航单元,配备为在时间和空间上提供关于车辆瞬时位置的信息和关于车辆前面的道路段的信息,以及以数字地图格式和/或以绝对位置信息来提供信息;接口,配备为与车辆的周围环境中待合并的物体通信,由接口接收的信息包括关于待合并物体的绝对位置信息;和/或传感器单元,配备为检测车辆周围环境中的待合并物体及提供关于待合并物体相对于车辆的相对位置信息。系统通过使用由导航单元提供的关于车辆前方道路段的信息来确定车辆前方道路段的几何形状,并基于由此确定的道路几何形状将关于待合并物体的绝对和/或相对位置信息与由导航单元提供的数字地图格式的信息合并以创建车辆周围环境模型。
Description
背景技术
本文提出了用于为车辆周围环境创建车辆周围环境模型的方法和系统。在车辆中使用各种传感器和信息源,以满足驾驶员辅助系统和无人驾驶车辆的复杂需求。这些传感器包括例如一个或多个相机、雷达传感器和激光雷达传感器。此外,车辆还可以从云或从与其它物体的通信接收信息。车辆和物体之间的通信常常也被称为“车辆到一切通信”(V2X)。该术语是指一个车辆与该车辆所接触的物体之间的通信。因此,该术语包括一个车辆与其它车辆、与基础设施物体以及与人(行人)的通信。基础设施物体可以包括例如交通灯、交通标志、移动和固定道路边缘标记、建筑物、标志和广告牌。此外,来自数字地图的信息作为数据源也起着越来越重要的作用。例如,关于道路拓扑、速度限制、交通标志以及道路的坡度和曲率的信息可以存储在数字地图中。此外,还有所谓的HD地图,其包含关于道路路线的信息以及具有非常高精度的附加数据。此外,常规车辆传感器无法检测到的信息可以存储在数字地图中。例如,可以从地图读出道路的坡度和曲率,以便能够自动调整驾驶动态。
现有技术
DE 10 2014 111 126 A1公开了一种用于创建机动车辆周围区域的环境地图的方法。借助于机动车辆中/上的传感器设备可以检测周围区域中的物体,其中描述物体位置的位置值由机动车辆的控制设备基于来自传感器的数据确定。由此确定的位置值被传送到周围环境的地图,其中确定物体与机动车辆的预定参考点之间的向量,从而形成车辆坐标系的原点。将在车辆坐标系中确定的向量变换为车辆周围地图的全局坐标系,并且基于变换后的向量确定车辆周围地图中的位置值。
US 2017/371349 A1公开了一种包括通信单元的车辆控制设备。通信单元检测车辆上的位置信息,并且可以与外部服务器和另一个车辆通信。处理器控制通信单元以从外部服务器接收地图信息,并从该另一个车辆接收关于该另一个车辆的位置信息。处理器将检测到的关于车辆的位置信息和接收的关于另一个车辆的位置信息与接收的地图信息组合,以便基于经组合的信息控制车辆。
发明内容
目标
针对此背景,本公开涉及提供用于创建车辆周围环境模型的改进系统和改进方法的目标,利用该系统和方法可以合并不同格式的位置信息以创建车辆周围环境的模型,无论可用信息的密度如何。
提出的技术方案
提出了专利权利要求1中限定的用于创建车辆周围环境模型的系统作为技术方案。该用于创建车辆周围环境模型的系统与至少一个导航单元、至少一个接口和/或至少一个传感器单元相关联。所述至少一个导航单元被配备为在空间和时间中提供关于车辆的瞬时位置的信息和关于车辆前方的至少一个道路段的信息,其中导航单元以数字地图格式和/或以绝对位置信息提供信息。所述至少一个接口被配备为与车辆周围环境中待合并的至少一个物体通信,其中由接口接收的信息包括关于待合并的至少一个物体的绝对位置信息。所述至少一个传感器单元被配备为检测车辆周围环境中待合并的至少一个物体,其中所述至少一个传感器单元还被配备为提供关于待合并的至少一个物体相对于车辆的相对位置信息。该系统被配备为通过使用由至少一个导航单元提供的关于车辆前方的道路段的信息来确定车辆前方的道路段的道路几何形状,其中该系统被配备为基于由此确定的道路几何形状,合并关于待合并的至少一个物体的绝对位置信息和/或相对位置信息与至少一个导航单元以数字地图格式提供的信息,以创建车辆的周围环境的模型。
在本公开中,来自数字地图的信息(例如,关于车辆的瞬时位置的信息和关于车辆前方的路段的信息)被称为数字地图格式的信息。
可以合并来自各种信息源的信息,例如车辆中的数字地图、来自云、V2X的数据和来自传感器单元(相机、雷达等)的信息。通过使用这种合并的信息,有可能创建由所有这些源填充的周围环境的模型。驾驶员辅助系统和用于无人驾驶车辆的系统可以访问周围环境的该合并模型。使用所提出的系统,即使数据密度相对低(即在车辆前方的道路段上存在具有已知位置信息的相对较少的物体或点),也可以合并来自各种信息源的信息。由于所提出的系统可以确定车辆前方的道路段的几何形状,因此即使车辆前方的该段道路的数据密度相对低,也可以基于由此确定的道路几何形状合并信息本身。
例如,相对位置信息可以由诸如相机单元、雷达单元和超声波传感器单元之类的传感器单元提供。来自各个单元的这种相对位置信息的示例包括:
-雷达单元:与车辆前方物体的距离和可选的角度
-相机单元:距交通标志、交通灯和行人的距离
-超声波传感器单元:与平行车道上的车辆的距离
例如,绝对位置信息(例如,在世界坐标中)可以由诸如交通灯、交通标志等的物体发送。
用于合并信息以创建车辆周围环境模型的应用的一个示例可以是作为待合并的物体的交通灯。交通灯由传感器单元检测,例如由相机单元检测。交通灯经由接口以绝对位置信息(例如以世界坐标)将其位置发送到系统。该信息可以在例如以下两种情况下合并,以创建周围环境的统一模型:
1.交通灯列在车辆周围环境模型中,并且由传感器单元检测到的待合并的物体(即交通灯)应当与周围环境模型中的现有物体正确关联。
2.检测到的物体不存在于周围环境的模型中,并且应当通过合并来自各个信息源的信息而插入到周围环境的模型中。
该系统可以被配备为以数字地图格式变换待合并的物体的相对位置信息或绝对位置信息。因而,可以创建基于数字地图格式的信息的周围环境模型。附加地或可替代地,该系统可以被配备为将关于待合并的物体的相对位置信息或绝对位置信息以及数字地图格式的信息变换为预定义的坐标格式。因此,也可能创建符合另一种坐标格式的周围环境模型。
该系统可以被配备为根据关于待合并的至少一个物体的相对位置信息确定绝对位置信息。
如果相对位置信息限于与待合并的物体的距离,则该系统可以被配备为基于该距离和关于道路段和/或待合并物体的附加信息来确定绝对位置信息。可以通过以下步骤确定或检测此附加信息,例如:
-例如通过评估传感器信息(例如,相机单元)和/或位置信息,确定待合并的物体的类型(例如,交通标志、其它交通参与者)。
-计算待合并的物体的位置的若干可能的替代点,其中当车辆与待合并的物体之间的距离已知时,可能的替代点位于车辆周围的圆上。
-使用来自待合并的物体的不同类型物体的已知信息。例如,道路标志位于道路的边缘处,使得道路的边缘可以用作用于确定道路几何形状的参考几何形状。例如,对于作为待合并的物体的车辆,车道分界线可以是用于确定道路几何形状的合适的参考几何形状。
数字地图格式的信息可以是路径/偏移格式的信息。数字地图格式可以是例如根据ADASIS协议的路径/偏移格式。机动车辆中的驾驶员辅助系统常常没有足够的存储器来存储大型数字地图。为此,车辆中的单元之一和/或系统通常具有相对大的存储器单元。例如,这种单元可以是车辆的导航单元。取决于瞬时车辆位置,可以从存储器单元中从地图读出相关细节,并以预定义格式将其传送到驾驶员辅助系统之一。例如,这种传送可以通过车辆总线系统或借助于诸如共享存储器之类的其它技术进行。可以接收这种数据的驾驶员辅助系统可以根据其创建周围环境的模型,即所谓的电子视野(electronic horizon)。这个车辆周围环境模型和/或这个电子视野仅包含总数字地图的一部分,因此这肯定地减少了对资源的需求。ADASIS是用于这种信息传送和显示的已知协议。为了传送信息,该信息不作为原始数据发送,诸如完整的地理坐标,而是以特殊显示形式发送。
该系统可以被配备为通过合并以路径/偏移格式的关于车辆的瞬时位置的信息与待合并的物体的绝对位置信息或相对位置信息来确定待合并的物体的偏移。所提出的系统可以将相对位置信息或绝对位置信息与路径/偏移格式的信息合并。首先,可以使至少一个接口的绝对位置信息和/或至少一个传感器单元的相对位置信息可用于系统。导航单元可以以路径/偏移格式提供关于车辆的瞬时位置和关于车辆前方的道路段的信息。可以根据所提供的信息确定瞬时车辆位置、路径/偏移格式以及待合并的物体的相对位置信息或绝对位置信息之间的偏移。
该系统可以被配备为通过使用由至少一个导航单元提供的信息来确定其绝对位置信息和/或其数字地图格式的位置是已知的一个或多个几何点,以确定道路的几何形状。
该系统可以被配备为通过使用由此确定的(一个或多个)几何点来确定待合并的物体的偏移。如果存在多个几何点(高数据密度),则在最简单的情况下几何点可以直接与待合并的物体相关联。可以使用与待合并的物体处于最短距离的几何点。在这种情况下,由此确定的几何点的偏移可以用作待合并的物体的偏移。如果待合并的物体与最近的几何点的距离大于预定阈值,则不会存在直接关联。如果几何点与待合并的物体之间的距离大于预定阈值,则可以通过两个或更多个几何点之间的内插(或外推)来确定更靠近待合并的物体的中性几何点。取决于道路的几何形状,几何点G的密度和所需的精度、线性方法、高阶多项式或一些其它合适的方法可以用于内插和/或外推。由此确定的几何点的绝对位置信息可以在世界坐标中已知,并且偏移的过程也可以是已知的。为此,待合并的物体的偏移可以对应于几何点的偏移。
该系统可以被配备为通过使用由至少一个导航单元提供的信息来确定节点,以确定道路的几何形状,使得关于该节点的绝对位置信息和/或其以路径/偏移格式的位置是已知的。
该系统可以被配备为估计待合并的物体与最靠近待合并的物体的节点之间的道路段的几何形状,其中该系统还被配备为基于道路段的估计的几何形状来估计待合并的物体与节点之间的距离。
可以配备该系统以基于估计的距离确定节点和待合并的物体之间的偏移。
该系统可以被配备为基于由一个或至少一个传感器单元检测到的至少一个信息项和/或基于由至少一个接口提供的至少一个信息项或信息来估计道路段的路线。估计中可以包括以下信息:
-评估来自传感器单元的信息,诸如相机单元的图像,例如关于道路标记的过程、检测到的物体相对于彼此的位置等,
-使用来自传感器单元(诸如雷达单元和/或激光雷达单元)的距离和角度信息,
-存储最近驾驶的车辆轨迹,例如通过存储(一个或多个)GPS位置,
-使用转向角和车速,以及
-使用来自数字地图的节点,从其知晓世界坐标。
该系统可以被配备为确定待合并的物体是否在与车辆相同的路径上或在同一车道中。以这种方式,可以存在待合并的物体的路径和车道的正确关联。如果待合并的物体位于不同的路径上或不同的车道上,则必须相应地校正偏移,因为每条路径都有其自己的偏移原点。来自数字地图的路径/偏移格式的数据和由至少一个传感器单元检测的数据可以用于这个目的。
该系统可以被配备为借助于从关于车辆的瞬时绝对位置信息开始的相对位移向量来确定待合并的物体的数字地图格式的信息,其绝对位置信息是已知的。
作为另一个替代方案,提出了根据权利要求15所述的机动车辆,其包括根据前述任一提出的方案的系统。
对于另一种方法,提出了一种根据权利要求16所述的用于创建机动车辆的环境模型的方法。该方法包括以下步骤:在时间和空间两者上提供关于车辆的瞬时位置的信息和关于车辆前方的至少一个道路段的信息,其中以数字地图格式和/或以绝对位置信息提供信息;与车辆周围环境中待合并的至少一个物体通信,其中接收到的信息包括关于待合并的至少一个物体的绝对位置信息,和/或检测车辆周围环境中待合并的至少一个物体,其中关于待合并的至少一个物体提供相对于车辆的相对位置信息;使用关于车辆前方的道路段的信息确定车辆前方的道路段的几何形状,所述信息由至少一个导航单元提供;合并关于至少一个物体的绝对位置信息和/或相对位置信息与由所述至少一个导航单元以数字地图格式提供的信息,以基于由此确定的道路的几何形状来创建车辆周围环境模型。
该方法可以包括以下步骤:将关于待合并的物体的相对位置信息或绝对位置信息变换为数字地图格式的信息和/或将关于待合并的物体的相对位置信息或绝对位置信息以及数字地图格式的信息变换为预定义的坐标格式。
可以根据关于待合并的至少一个物体的相对位置信息确定绝对位置信息。
如果相对位置信息限于距待合并的物体的距离,则可以基于该距离和关于道路段和/或待合并的物体的附加信息来确定绝对位置信息。
可以使用由至少一个导航单元提供的信息来确定其绝对位置信息和/或其数字地图格式的位置已知的一个或多个几何点,以便确定道路几何形状。
数字地图格式的信息可以是路径/偏移格式的信息。
可以通过合并数字地图格式的关于车辆的瞬时位置的信息和关于待合并的物体的绝对位置信息或相对位置信息来确定待合并的物体的偏移。
可以利用确定的(一个或多个)几何点来确定待合并的物体的偏移。
可以通过使用由至少一个导航单元提供的信息来确定其绝对位置信息或相对位置信息和/或其数字地图格式的位置已知的至少一个节点,用于确定道路几何形状。
可以估计待合并的物体与最接近待合并的物体的节点之间的道路段,其中可以基于所估计的道路段的几何形状来估计待合并的物体与节点之间的距离。
基于估计的距离,可以确定节点和待合并的物体之间的偏移。
可以基于由至少一个传感器或至少一个传感器单元检测到的信息和/或基于由至少一个接口或所述至少一个接口提供的信息来估计道路段的路线。
可以确定待合并的物体是在与车辆相同的路径上还是在与车辆相同的车道中。
可以借助于从关于车辆的瞬时绝对位置信息开始的相对位移向量来确定其绝对位置信息已知的待合并的物体的数字地图格式的信息。
附图说明
这里描述的方法和设备的附加细节、特征、优点和效果可以从以下对当前优选的变体以及附图的描述中得出,其中:
图1示出了用于为车辆创建周围环境模型的系统的示意图;
图2示出了图示路径/偏移格式的逻辑地图格式的视图的示例;
图3示出了图示路径/偏移格式的信息与相对位置信息的合并的示图的示例;
图4示出了图示路径/偏移格式的信息与相对位置信息的合并的另一个示图的示例;
图5示出了图示根据待合并物体与车辆之间的距离确定绝对位置信息的过程的示图的示例;
图6示出了用于针对通过使用多个几何点确定道路的几何形状的情况确定待合并的物体的偏移的示图的示例;
图7示出了通过使用具有已知绝对位置信息的节点确定道路几何形状的示图的示例;
图8示出了图示借助于节点确定待合并的物体的偏移的示图的示例;
图9示出了其中道路以车辆、节点和待合并的物体之间的曲线延伸的示图的示例;
图10示出了估计的道路几何形状和/或道路的估计路线的示例;
图11示出了图示在具有已知绝对位置信息的交通灯系统的示例上如何以路径/偏移格式确定位置信息的示图的示例;
图12示出了图示在弯曲道路路线的情况下路径/偏移格式的位置信息与绝对位置信息的合并中的问题的示图的示例;
图13和14各自示出了用于合并数据以创建车辆周围环境模型的不同可能性的示图;以及
图15示出了图示具有合并的位置信息的车辆周围环境模型的优点的示图。
具体实施方式
图1示意性地示出了传感器单元110、系统120、导航单元130和接口140,其中传感器单元110、系统120、导航单元130和接口可以结合到机动车辆(未示出)中。传感器单元110、导航单元130和接口140可以连接到系统120,系统120进而连接到导航单元130。
传感器单元110可以是例如相机单元、雷达单元、激光雷达单元等。但是,系统120也可以连接到多个传感器单元110,即系统120可以连接到相机单元、雷达单元和激光雷达单元。传感器单元110将关于车辆周围的待合并物体(未示出)的相对位置信息提供给系统120。如果传感器单元110是相机单元,那么它可以是飞行时间(TOF)相机单元。飞行时间相机可以基于其执行的距离测量方法而以3D检测车辆的周围环境。飞行时间相机用光脉冲照亮车辆周围环境,相机单元为每个像素测量光线行进到物体并返回所需的时间。然后使用所需时间来确定与检测到的物体的距离。可以附加地配备传感器单元110以检测道路边界和/或车道标记的路线。此外,传感器单元110可以被配备为检测道路的宽度。
导航单元130被配备为基于关于车辆的位置信息和/或地图信息在时间和空间上提供关于车辆的瞬时位置和车辆前方的至少一段道路的信息。这个信息可以以数字地图格式提供。导航单元130可以相应地配备为基于信号,特别是GPS信号,确定机动车辆的瞬时位置。此外,导航单元130可以访问导航单元130中的存储器中所存储的数字地图格式的地图数据,其以外部数据介质和/或云系统的形式提供。地图数据也可以包含关于道路边界的路线和/或车道标记的路线和/或道路的宽度的信息。可以以数字地图格式将当前车辆位置提供给导航单元130。地图数据还可以包括关于道路的几何形状和车辆前方道路段的拓扑的信息。
接口140被配备为与车辆周围环境中待合并的至少一个物体通信。由接口140接收的信息包括关于待合并的至少一个物体的绝对位置信息。接口140也可以是用于所谓的“V2X”通信的接口。V2X是指车辆与物体的通信。因此,这种表述包括车辆与其它车辆、与基础设施物体以及与人(行人)的通信。基础设施物体可以是例如交通灯、交通标志、移动和固定路面边界、建筑物、标志、广告牌等。
系统120被配备为利用已知的绝对位置信息和/或利用来自由导航单元130提供的信息的路径/偏移格式的已知位置信息确定几何点和/或节点。利用由此确定的几何点和/或节点,系统120可以确定车辆前方的道路段的几何形状。该系统还被配备为基于由此确定的道路的几何形状将关于待合并的至少一个物体的绝对位置信息和/或相对位置信息与路径/偏移格式的由至少一个导航单元130提供的信息合并,以便创建车辆周围环境模型。地图数据还可以包括关于道路边界的路线和/或车道标记的路线和/或道路的宽度的信息。
图2示出了图示根据ADASIS协议用于数字地图中关于物体(诸如车辆和交通标志、铭牌和交叉点)的位置信息的路径/偏移格式的示意图。道路由路径表示,并由路径ID明确标记。对于每条路径,存在以米(或cm、mm等)给出的偏移,并因此定义物体的位置和附加信息,例如路径上的道路曲率值和梯度值。借助于路径/偏移信息来定义当前车辆位置。例如,通常在相对位置信息中给出源自传感器单元(诸如车辆中的相机单元、雷达单元或激光雷达单元)的位置信息。例如,相机或雷达可以因此指示相关物体和/或待合并的物体(例如,交通标志或其它车辆)位于距车辆的一定距离处。与此相比,经由V2X技术接收的数据可用作绝对位置信息(例如,WGS84世界坐标)。例如,路灯可以将瞬时开关状态与WGS84格式的绝对位置信息一起发送到路灯。
例如,下面参考图3至图11描述可以由系统120执行的用于创建车辆的周围环境模型的方法的实施例。在下面描述的实施例中,将解释根据ADASIS协议将来自各种信息源的相对或绝对位置信息与路径/偏移格式的信息合并。在本公开中,来自数字地图的位置信息被称为路径/偏移格式的信息,或者也被称为数字地图格式的信息。路径/偏移格式是数字地图格式的示例。
图3示出了路径/偏移格式的信息与相对位置信息的合并的示图的示例。自我车辆10在道路12上行驶。路径ID 8被指派给数字地图中的道路12。路径8的偏移在虚线箭头P的方向上具有线性增加。例如,自我车辆10上的相机单元和/或雷达单元(未示出)检测到车道18中的施工现场14和车辆16。可以根据相机和雷达信息确定与施工现场14和车辆16的距离。此外,从相机和雷达信息可知物体14和16处于哪个车道18和20中。为此,可以将施工现场14和车辆16以及自我车辆10指派给路径8。物体的偏移是从与自我车辆的相对距离ΔOffset和自我车辆的瞬时偏移值获得的:
Offsetobject=Offsetego vehicle+ΔOffset
以上解释了路径/偏移格式的信息与相对位置信息合并的一般过程。根据图2所示的示例,合并的先决条件是道路必须不具有或几乎不具有曲率。路径/偏移信息与相对位置信息的合并在下面描述,而不限于道路的特定路线。
图4示出了车辆状况图的另一个示例,其中路径/偏移格式的信息与相对位置信息的合并是优选的。图4示出了道路12上的自我车辆10,其在这个示例性图中仅具有单个车道。与图2不同,这里的道路12不是直的而是具有曲率。交叉路口是个特例。在交叉路口处,行进方向可以与之前的行进方向相差90°。同样在交叉路口的特殊情况下,可以根据以下描述将路径/偏移格式的信息与相对位置信息合并。
自我车辆10具有传感器单元(未示出),诸如相机单元或雷达单元,例如其用于检测待合并的物体,诸如交通标志22(速度限制60km/h)。根据这个示例,交通标志表示待合并的物体22。但是,待合并的物体也可以是另一个交通参与者、路灯、交通标志或行人。
传感器单元(未示出)可以用相对于待合并的物体22的仅一个坐标来提供相对位置信息。这个位置信息可以是例如物体22相对于自我车辆10的距离(例如,物体距离10米远)。但是,传感器单元也有可能用至少两个坐标来提供更准确的位置信息。例如,可以在极坐标或笛卡尔坐标中给出这样的坐标。位置信息则可以包括距离和角度,例如,物体为50米远与行进方向成5°角度。
使用下表中示出的变量。
例如,数字地图可以提供关于道路几何形状的信息,通常是绝对位置信息,诸如在世界坐标中。除了其它方面,道路的几何形状还包括道路标记的几何形状和车道标记的几何形状。车道标记的几何点G在图4中示出。关于几何点G,关于相应路径G(xo)的世界坐标G(xw,yw)和偏移值都是已知的。在根据图4的示例中,信息以足够高的密度可用,即各个点G(xw,yw)之间的距离很小,使得多个几何点G(xw,yw)位于待合并的物体22的紧邻区域中。来自自我车辆10的世界坐标E(xw,yw)中的位置信息和偏移值E(xo)也是已知的。
传感器单元检测待合并的物体22并且或者一维地(仅指定距自我车辆10的距离)或者通过更准确的位置信息(例如,相对于自我车辆10的角度和距离以及具有位移向量)表示其相对于自身车辆10的相对位置信息。
首先,根据由传感器单元提供的关于物体22的相对位置信息确定绝对位置信息。绝对位置信息可以以世界坐标给出。从关于物体22的相对位置信息确定物体22的世界坐标(O(xwo,ywo))。世界坐标通常不作为笛卡尔坐标给出,而是在第一近似中作为球坐标给出。WGS84模型使用扁球体来描述地球表面。为了更简单地说明合并,假设地球的球面表示。这种近似对于车辆和待合并的物体之间的短距离是足够准确的。
如果传感器单元提供与待合并的物体22的角度α和距离d,那么结果是根据自我车辆的世界坐标E(xwE,ywE)的物体22的世界坐标(O(xwo,ywo)):
其中d是从自我车辆10到物体22的距离,α是从自我车辆和北极之间的连接线测得的物体22方向上的角度,并且R是地球半径。
α=αF+αO
图5示出了图示用于根据自我车辆10和待合并的物体22之间的距离d确定待合并的物体22的绝对位置信息的过程的示图的示例。
传感器单元(未示出)提供自我车辆10和待合并的物体22之间的距离d,待合并的物体22根据图5中的示图的示例是交通标志。用于指示物体22的绝对位置信息的可能的点Opossible(xw,yw)位于具有半径d的自我车辆10周围的圆上,即半径与距离d对应。基于从传感器单元确定的信息或来自多个传感器单元的信息的组合(例如,由雷达单元和相机单元提供的信息的组合),可以确定待合并的物体22是交通标志。由于待合并的物体22是交通标志,因此可以借助于道路边界的几何形状确定道路的几何形状作为参考几何形状。几何点G(xw,yw)和G(xo)从道路边界的几何形状中已知。物体22在世界坐标中的绝对位置信息O(xwo,ywo)可以利用具有待合并的物体22的所有可能物体点Opossible(xw,yw)的半径d的曲线与由此确定的道路G(xw,yw)的几何形状的交叉点来确定。
如果如上所述,由于传感器信息不充分,不能直接在世界坐标中确定关于待合并的物体22的绝对位置信息O(xwo,ywo),那么可以使用各种类型的附加信息来确定关于待合并的物体22的绝对位置信息的最佳可能的替代点。可以通过以下步骤确定或检测这个附加信息,例如:
-例如,通过评估相机信息和/或位置信息,确定待合并的物体的类型(例如,交通标志/其它交通参与者)。
-为Opossible(xw,yw)计算可能的多个可能的替代点。这在上面参考根据图5的示图的示例进行了描述,其中如果与待合并的物体22的距离d是已知的,那么可能的替代点Opossible(xw,yw)位于围绕自我车辆10的圆上(参见图5)。
-使用待合并的物体的不同物体类型的已知信息。例如,这包括诸如以下的信息:街道标志位于车道边缘处,因此道路边缘最适合用作参考几何体。当待合并的物体是另一个车辆时,车道标记可以用作合适的参考几何体以确定道路的几何形状。
借助于这种信息,从可能的替代点中选择合适的替代点。
图6示出了用于在使用其绝对位置信息已知的多个几何点G确定道路的几何形状的情况下确定待合并的物体22的偏移的示图的示例。在这种情况下,具有已知绝对位置信息的几何点G彼此相距短的距离。
例如,在计算待合并的物体的世界坐标中的绝对位置信息O(xwo,ywo)之后,必须选择合适的几何点Gsearch并且其必须尽可能地与O(xwo,ywo)对应。如果它们确实对应,那么可以预期例如距O(xwo,ywo)距离最短的几何点G。如果存在大量的几何点G(高数据密度),那么在最简单的情况下,几何点G可以直接指派给待合并的物体O(xwo,ywo):
O(xwo,ywo)=Gsearch(xw,yw)
如果待合并的物体O(xwo,ywo)距最近的几何点G的距离大于预定阈值,那么不能找到直接的对应关系。在这种情况下,可以通过在两个或更多个几何点之间插值(或外推)来确定与物体点O具有更好对应关系的新几何点Ginterpol(xwo,ywo),从而可以确定:
O(xwo,ywo)=Ginterpolo(xw,yw)
取决于道路几何形状的路线、几何点G的密度、所需的精度和附加标准,线性方法或更高阶多项式或某种其它合适的方法可以用于内插和/或外推。由于这里描述的先决条件,世界坐标xw,yw中的绝对位置信息和偏移xo的路线都是从几何点Gsearch中得知的。为此,待合并的物体22的偏移与Gsearch的偏移对应:
Gsearch(xo)=O(xoo)
以这种方式确定待合并的物体的物体点O的偏移。如果使用内插或外插的几何点Ginterpol作为参考,那么必须首先对Ginterpol的偏移进行内插和外推。基础是道路几何形状的一个或多个已知的相邻几何点。然后可以进行以下指派:
Ginterpol(xo)=O(xoo)
参考图6,可以将上述步骤作为示例进行解释。几何点G105(xw105,yw105)与待合并的物体22(O(xwo,ywo))具有良好的对应关系;为了简化示图,这在图6中没有示出,但它处于图5中所示的位置。换句话说,几何点G105(xw105,yw105)的位置基本上与待合并的物体22的位置(O(xwo,ywo))对应(参见图5)。为此,几何点G105(xw105,yw105)的偏移G105(xo,105)可以与待合并的物体22(O(xwo,ywo))的偏移相关联:
G105(xo,105)=O(xoo)
图7示出了示图的示例,其中借助于具有已知绝对位置信息的节点确定道路几何形状。可以存在道路几何形状无法通过几何点确定的情况。在这些情况下,可能只有几个具有已知绝对位置信息的几何点或者根本没有几何点和/或已知的几何点可能彼此相距太远。换句话说,数据密度非常低,以至于利用已知几何点的简单内插或外推方法不会产生足够准确的结果。此外,可能发生数据点不能被内插或外推。例如,如果道路或车道根本没有几何点,而是只有绝对位置信息可用,例如,在诸如交通灯之类的物体和其它不规则分布的物体的世界坐标中,情况就是这样。
图8示出了具有低数据密度的合并中的起始情况的示例,即具有少数已知的几何点和/或彼此相距太远的几何点。例如,节点S1、S2和Sn可以是道路上的几何点。节点S1、S2和Sn之间大的距离不允许合理的插值。例如,节点S3可以是地标、路灯或具有V2X能力的交通标志,其可以发送它们的绝对位置信息。
同样在当前情况下,如果不知道,那么在当前情况下也可以首先确定关于待合并的物体O(xwo,ywo)的绝对位置信息。这已在上面详细描述。
在确定关于待合并的物体O(xwo,ywo)的绝对位置信息之后,可以找到表示距物体O(xwo,ywo)的最小距离的节点Ssearch(xw,yw)。在根据图8的示例中,为此目的选择节点S3。通过使用节点S(xw,yw)和物体O(xwo,ywo)的已知世界坐标,计算从物体O(xwo,ywo)到可用节点的距离d:
对于这些等式,假设具有半径R的地球的球形模型作为基础。预期这种地球模型满足大多数应用的精度要求。如果仍然需要更高的精度,那么可以使用其它地球模型(例如,旋转椭圆体)。对于许多应用,如果在自我车辆10的周围环境中参考笛卡尔坐标系中的节点和物体就足够了。对于自我车辆10周围的近圆中的节点和物体尤其如此。当使用笛卡尔坐标系时,从如下获得d
在节点和物体中使用哪个地球模型和哪个坐标系用于参考将主要取决于相应应用的精度要求以及可用资源(处理器速度、存储器、可用计算时间等)。待合并的物体O(xwo,ywo)和节点Sn之间的距离d是选择合适的节点Sn的重要标准。例如,可以选择与待合并的物体O(xwo,ywo)的最小距离处的节点Sn,但是其它参数也可以对合适的节点Sn的选择产生影响。因此,节点Sn可以具有一个(或多个)置信度指示符。这个指示符可以指示,例如,节点实际位于所存储位置处的置信度有多高。例如,通过官方机构报告节点Sn的位置(例如,公路管理局报告世界坐标中的限速标志的位置)或当节点Sn的位置已被许多不同的参与者确认时,获得高置信度。如果置信水平低,那么可以排除节点用于进一步处理,并且可以选择较大距离d处但具有较高置信度的节点Sn。由数据提供者提供的一个或多个置信度参数可以用作置信区间。此外,有可能在使用节点自身之前计算置信度参数。例如,时间戳(例如,节点Sn的位置的最后确认)、控制参数(例如,测得的节点位置的方差)、数据源的类型(例如,其它交通参与者或公共权力机构)和节点Sn的类型(例如,临时或永久竖立的交通标志)可以用作用于计算置信度参数的输入变量。
由于节点S的数据密度低,因此可以预期待合并的物体O(xwo,ywo)的偏移O(xo,o)不能从所选节点S的偏移Sn(xo)推导出来。因此,在大多数情况下,将所选节点S的偏移分配为待合并的物体O(xwo,ywo)的偏移是不可能的,使得满足以下条件:
Ssearch(xo)≠O(xo,o)
图8示出了用于确定要与节点S合并的物体的偏移的示图的示例,其中根据图8的示图中道路是直的。为了提高物体的偏移确定的精度,有必要估计道路的几何形状以及偏移如何沿着道路行进。如果道路在节点Ssearch和物体之间是直的,那么可以通过使用待合并的物体22与节点Ssearch之间的已知距离如下计算待合并的物体22的偏移O(xo,o):
可选地,可以考虑以下事实:待合并的物体22和节点Ssearch不位于道路的同一侧。在图7中,例如,节点Ssearch位于道路的左侧,并且待合并的物体22位于道路的右侧。在这种情况下,必须根据几何关系计算沿着道路的距离用于确定的所需参数可以从数据库获取(例如,道路宽度broad存储在数字地图中)或者可以借助于车辆传感器确定(例如,借助于车辆相机确定道路宽度broad)。在已知道路宽度和的情况下,这产生:
在broad的情况下,除了道路的宽度之外,这还可以涉及其它几何变量,诸如车道宽度或可以从由至少一个传感器单元检测到的传感器信息或从数字地图导出的其它距离。此外,车辆上的传感器单元(例如,相机单元、雷达单元)可以用于核实是否满足直线道路的先决条件。如果道路是小半径曲线,那么OSsearch,road的确定会导致结果不准确,如图8中所示。在这种情况下,有必要基于具有已知绝对位置信息和/或路径/偏移格式的已知信息的节点借助于估计来确定道路的几何形状并因此确定沿着道路的偏移路线。因此,主要来自车辆传感器的信息用作输入。因此,可以例如利用来自至少一个传感器单元的信息来估计Ssearch和待合并的物体之间的道路几何形状。例如,至少一个传感器单元可以是相机单元。可以在由相机单元拍摄的图像中评估车道标记的路线。作为支持,例如,可以使用例如已经被行驶和记录的转向角和车辆轨迹。因此,可以从已经行驶一定距离的道路的路线外推出剩余的道路路线。
图9示出了示图的示例,其中道路在自我车辆10、节点Ssearch和待合并的物体22之间具有曲率。可以利用自我车辆10的一个或多个传感器单元(相机单元、里程表、GPS等)来估计自我车辆10和待合并的物体22之间的道路几何形状。因此可以估计Ssearch和待合并的物体22之间的距离,使得待合并的物体22的偏移O(xo,o)可以如下计算:
-评估相机图像,例如,相对于道路标记的路线、检测到的物体相对于彼此的位置等,
-使用来自诸如雷达单元和/或激光雷达单元之类的传感器单元的距离信息和角度信息,
-例如,通过存储GPS位置数据来存储最近行驶的车辆轨迹,
-使用转向角和车速,以及
-使用来自数字地图的节点,其世界坐标是已知的。
图10示出了估计的道路几何形状和/或估计的道路路线的示例。如果可以估计道路的几何形状,那么如下获得自我车辆10和待合并的物体22之间(或者节点Sn和待合并的物体22之间)的偏移差ΔOffset:
其中a表示路径积分的起始点(例如,节点、车辆),并且b表示待合并的物体22的位置。对于这个问题的方案,可以使用不同的坐标系(例如,笛卡尔坐标系、极坐标系)。坐标系的选择取决于各自的条件,即,特别是哪些输入参数可以用于估计道路几何形状的路线。
如图10中所示,自我车辆10的相机单元(未示出)检测车辆的周围环境,特别是车辆前方的周围环境。借助于相机单元检测到的信息来估计道路的几何形状和/或道路的路线。例如,可以通过评估相机图像中的车道标记来获得估计。在这种布置中,建议根据笛卡尔车辆坐标系中的纵向坐标xF给出道路12的估计路径sg:
sg=f(xF)
在目前的情况下,这产生:
如果待合并的物体22距自我车辆10的距离d和角度α是已知的(例如,根据来自诸如雷达单元之类的至少一个传感器单元的信息),那么对于车辆坐标系中的b保持以下:
b=d cosα
图11示出了在具有已知绝对位置信息的交通灯系统的示例中如何以路径/偏移格式确定位置信息。交通灯系统24表示待合并的物体。例如,这在从V2X基站发送到车辆的位置信息的情况下主要是绝对位置信息。因此,例如,交通灯系统将瞬时开关状态连同其绝对位置信息一起以WGS84坐标(即以世界坐标)发送到交通灯24。对于绝对位置信息与路径/偏移格式的位置信息的合并,使用瞬时绝对车辆位置(或一些其它合适的参考)。例如,从车辆10中的GPS接收器知晓关于车辆10的绝对位置信息。同样,路径/偏移格式(例如,ADASIS)的车辆位置也是已知的。
可以以不同方式找到相关物体24(例如,交通灯系统)的路径/偏移显示。在最简单的情况下,例如,当车辆和相对物体之间的距离小并且当道路的路线近似笔直时,可以从车辆的绝对位置和待合并的物体24的绝对位置计算相对位移向量(车辆10到待合并的物体24)。因此已知车辆10和物体24之间的相对位移。上面参考图3至图10解释了如何根据路径/偏移格式的已知绝对位置信息确定位置信息。
路径/偏移格式的位置信息和世界坐标中的绝对位置信息(WGS84坐标)都是自我车辆10已知的。自我车辆10与交通灯系统24之间的相对位移向量可以从自我车辆10和交通灯系统24的这些世界坐标计算,交通灯系统24表示待合并的物体。然后,这个向量可以用于根据自我车辆10的路径/偏移格式的位置信息计算路径/偏移格式的交通灯系统的位置信息。在计算出路径/偏移格式的位置信息之后,可以将交通灯系统插入到车辆的周围环境模型中。例如,这个车辆周围环境模型可以是电子视野(例如,根据ADASIS协议)。
图12示出了图示在弯曲道路路线的情况下路径/偏移格式的位置信息与绝对位置信息的合并中的问题的示图的示例。当道路的路线弯曲时,可以计算自我车辆10与相关物体或待合并的物体26之间的位移向量。但是,如果然后将其添加到自我车辆10的偏移值,那么结果是待合并的物体26的偏移(并且可能是路径)的假值,因为道路的偏移值不遵循位移向量(参见图10)。实际偏移路线与沿着箭头P的路径积分对应,这是图11中的虚线,如上所述。然后,附加过程和绝对位置信息与路径/偏移格式中的位置信息的合并对应,如上所述。为了避免重复,参考上面给出的图3至图10的详细描述。
图13和14示出了由本公开创建的合并可能性,以便能够创建车辆周围环境模型。上述示例涉及将相对位置信息和绝对位置信息(相对和世界坐标格式)与逻辑地图显示(路径/偏移格式)中的位置信息合并。这在图13中示出。由车辆的传感器单元检测的位置信息可以是例如来自相机单元和/或雷达单元的信息。例如,逻辑地图显示可以是根据ADASIS协议的电子范围。因此,上述实施例尤其涉及将相对或绝对位置信息整合到数字视野中。对于ADAS/AD应用,这产生的优点是无论位置信息的来源如何,都会创建统一的和合并的环境模型。
除了这种方法之外,如图14中所示,还可以不将相对或绝对位置信息集成到电子视野中,而是将相对和/或绝对位置信息与来自电子视野的位置信息(以路径/偏移格式)合并以产生具有不同坐标系的附加车辆周围环境模型。在根据图14的合并中,相对和/或绝对位置信息和关于电子视野的位置信息(以路径/偏移格式)被合并到附加的环境模型中,该模型使用与以路径/偏移的电子视野不同的坐标系。这可以是例如笛卡尔坐标系或极坐标系,其也与自我车辆一起移动。这里公开的和上面描述的位置信息的合并包括根据图13和14的两种可能性。当根据图14使用时,必须首先执行相同的步骤,如在上述实施例中那样。在这些步骤之后,合并的位置信息可以被传送到另一个坐标系(例如,笛卡尔坐标系和/或极坐标系)。
根据参考图1至图12描述的用于创建车辆的周围环境模型的方法的实施例,相对于自我车辆的相对位置信息或绝对位置信息(世界坐标,例如WGS84坐标)与路径/偏移格式的信息合并。例如,由于信息的这种合并,以下信息可以集成到电子视野和/或车辆的周围环境模型中:
-关于交通灯系统瞬时状况的信息。通过这里描述的信息合并,
可以将源自V2X数据源的交通灯系统的开关状态的实时更新与来自交通灯系统的位置信息合并,该位置信息源自数字地图。只有通过合并这些信息,才可以将实时信息与来自数字地图的静态数据合并。没有这样的合并,就不可能确定实时信息如何可以与电子视野中的物体相关联。利用这种相关性,(自驾)车辆可以适当地响应相应的交通灯。
-关于可变速度显示的瞬时状况的信息(例如,高速公路上的LED速度显示)。上面所述的内容在这里也适用于交通灯系统的实时数据。例如,在没有信息合并的情况下,V2X接收的关于速度限制的实时数据不可以与来自数字地图和/或电子视野的静态物体相关联。
-关于其它交通参与者(例如,其它交通工具、行人等)的位置和速度的信息。信息的合并使得将其它交通参与者的位置集成到数字视野中成为可能。因此,来自数字地图的信息以及来自车辆传感器的信息可在共享周围环境模型中获得。这导致关于许多ADAS/AD功能的情况的更好评估。
-关于道路路线最近变化的信息(例如,在建筑工地)。例如,建筑工地上更改的车道指南的路线可以通过V2X发送到车辆。通过合并信息,这个信息可以集成到数字视野中。
-关于交通障碍(例如,事故、路障)的信息。在这种情况下,将来自不同来源的位置信息整合到共享电子视野中可能是有帮助的。
图15示出了基于交通灯系统的示例合并来自不同信息源的信息的优点。在没有来自不同源(例如,数字地图、车辆传感器和V2X数据源)的数据的集成和相关性的情况下,不能获得统一的环境模型。不可能将来自不同数据源的相同物体关联起来并组合它们的信息。
通过将这些不同类型的信息集成到环境模型(例如,ADASIS)中,可以在ADAS/AD范围中实现以下应用,例如:
-沿着行进路径警告危险场所或交通障碍的驾驶员。由于信息的合并,有可能确定危险位置是否在当前正在行驶的路径上以及这些是否与车辆相关。
-考虑关于交通灯的瞬时状况的信息和关于智能巡航控制(例如,绿色ACC)的速度选择中的可变速度限制的信息。通过信息的合并,来自诸如V2X之类的源的实时数据不能与来自数字地图的其它物体(交通灯、交通标志)合并并相关联以形成共享环境模型和/或视野。如果没有这种关联,那么无法解释从V2X数据源接收的信息。
-在车辆的人机界面(HMI)上显示有关瞬时交通灯状况的信息和有关可变速度限制的信息。通过合并信息,可以在共享环境模型中关联和解释来自不同源的数据。
-由于交通障碍而选择替代路线。通过合并信息,有可能确定交通障碍物是否与车辆相关。
上述方法或设备的变体以及它们的功能方面和操作方面仅用于提供对结构、功能和特性的更好理解。它们不将本公开限制于这些实施例。附图部分地示意性绘制,在一些情况下明确强调重要特性和效果,以说明功能、有效原理、技术实施例和特征。任何功能、任何原理,任何技术实施例以及在图中或文本中公开的任何特征都可以自由地并且随意地与任何权利要求、文本和/或其它图中的任何特征、其它功能、原则、本公开中包含的或由其衍生的技术实施例和特征相结合,使得所有可想到的组合可归因于所描述的方法和/或设备并与之相关联。这也包括文本中所有各个实施例的组合,即,在说明书的任何部分、权利要求以及文本、权利要求和附图中的不同变体的组合。对于这里给出的值范围,它保持其间的所有数值也被公开。
权利要求也不限制公开内容,因此也不限制这里呈现的所有特征的可能组合。所公开的所有特征也明确地单独公开并与任何其它特征组合公开。
Claims (29)
1.一种用于创建机动车辆(10)的周围环境模型的系统(120),所述系统(120)与以下连接或能够与以下连接:
至少一个导航单元(130),被配备为在时间和空间上提供关于车辆的瞬时位置的信息和关于车辆(10)前方的至少一个道路段的信息,其中导航单元(130)以数字地图格式和/或以绝对位置信息来提供信息,
至少一个接口(140),被配备为与车辆的周围环境中的至少一个待合并的物体(14,22,24)通信,其中由接口(140)接收的信息包括关于所述至少一个待合并的物体(14,22,24)的绝对位置信息,和/或
至少一个传感器单元(110),被配备为检测车辆的周围环境中的至少一个待合并的物体(14,22,24),其中所述至少一个传感器单元(110)还被配备为提供关于所述至少一个待合并的物体(14,22,24)相对于车辆(10)的相对位置信息,
其中所述系统(120)被配备为通过使用由所述至少一个导航单元(130)提供的关于车辆前方的道路段的信息来确定车辆(10)前方的该道路段的几何形状,
其中所述系统(120)被配备为基于由此确定的道路几何形状将关于所述至少一个待合并的物体(14,22,24)的绝对位置信息和/或相对位置信息与由所述至少一个导航单元(130)提供的数字地图格式的信息合并,以创建车辆周围环境模型。
2.如权利要求1所述的系统(120),其中数字地图格式的信息是路径/偏移格式的信息。
3.如权利要求1或2所述的系统(120),其中所述系统(120)被配备为将关于待合并的物体(14,22,24)的相对位置信息或绝对位置信息变换为数字地图格式的信息,以及/或者其中所述系统被配备为将关于待合并的物体(14,22,24)的相对位置信息或绝对位置信息以及数字地图格式的信息变换为预定义的坐标格式。
4.如权利要求1至3中任一项所述的系统(120),其中所述系统(120)被配备为根据关于所述至少一个待合并的物体(14,22,24)的相对位置信息确定绝对位置信息。
5.如权利要求4所述的系统(120),其中所述系统(120)被配备为在相对位置信息限于与待合并的物体(14,22,24)的距离的情况下,基于所述距离和关于该道路段和/或待合并的物体(14,22,24)的附加信息来确定绝对位置信息。
6.如权利要求1至5中任一项所述的系统(120),其中所述系统(120)被配备为通过使用由所述至少一个导航单元(30)提供的信息确定其绝对位置信息和/或其数字地图格式的位置是已知的一个或多个几何点(G),以便确定道路的几何形状。
7.如权利要求2至6中任一项所述的系统(120),其中所述系统(120)被配备为通过合并关于车辆(10)的数字地图格式的瞬时位置的信息与关于待合并的物体(14,22,24)的绝对位置信息或相对位置信息来确定待合并的物体(14,22,24)的偏移。
8.如权利要求7所述的系统(120),其中所述系统(120)被配备为通过使用由此确定的一个几何点(G)或由此确定的多个几何点(G)来确定待合并的物体(14,22,24)的偏移。
9.如权利要求1至8中任一项所述的系统(120),其中所述系统(120)被配备为通过使用由所述至少一个导航单元(130)提供的信息来确定其绝对位置信息或相对位置信息和/或其数字地图格式的位置是已知的至少一个节点(S),以便确定道路的几何形状。
10.如权利要求9所述的系统(120),其中所述系统(120)被配备为估计待合并的物体(14,22,24)与最接近待合并的物体(14,22,24)的节点(S)之间的道路段的几何形状,其中所述系统(120)还被配备为基于该道路段的估计的几何形状估计待合并的物体(14,22,24)与节点(S)之间的距离(d)。
11.如权利要求10所述的系统(120),其中所述系统(120)被配备为基于估计的距离(d)来确定节点(S)和待合并的物体(14,22,24)之间的偏移。
12.如权利要求10或11所述的系统(120),其中所述系统(120)被配备为基于由至少一个或所述至少一个传感器单元(110)检测到的信息和/或基于由至少一个或所述至少一个接口(140)提供的信息来估计道路段的路线。
13.如权利要求1至12中任一项所述的系统(120),其中所述系统(120)被配备为确定待合并的物体(14,22,24)是否位于与车辆(10)相同的路径上或相同的车道(12)中。
14.如权利要求1至13中任一项所述的系统(120),其中所述系统(120)被配备为借助于从关于车辆(10)的瞬时绝对位置信息开始的相对位移向量确定其绝对位置信息是已知的待合并的物体(14,22,24)的数字地图格式的信息。
15.一种车辆(10),包括如权利要求1至14中任一项所述的系统(120)。
16.一种用于创建车辆的周围环境模型的方法,其中所述方法包括以下步骤:
在时间和空间上提供关于车辆(10)的瞬时位置的信息和关于车辆(10)前面的至少一个道路段的信息,其中信息以数字地图格式和/或绝对位置信息提供,
与车辆周围环境中的待合并的至少一个物体通信,其中接收到的信息包括关于所述所述至少一个待合并的物体(14,22,24)的绝对位置信息,和/或
检测车辆的周围环境中的待合并的至少一个物体,其中相对于车辆(10)提供关于所述至少一个待合并的物体(14,22,24)的相对位置信息,
通过使用关于车辆(10)前方的道路段的信息来确定车辆(10)前方的道路段的几何形状,所述信息由所述至少一个导航单元提供,基于由此确定的道路的几何形状,合并关于所述至少一个待合并的物体(14,22,24)的绝对位置信息和/或相对位置信息与数字地图格式的信息,以创建车辆周围环境模型。
17.如权利要求16所述的方法,其中数字地图格式的信息是路径/偏移格式的信息。
18.如权利要求16或17所述的方法,其中所述方法包括以下步骤中的至少一个:
将关于待合并的物体(14,22,24)的相对位置信息或绝对位置信息变换为数字地图格式的信息,和/或
将关于待合并的物体(14,22,24)的相对位置信息或绝对位置信息以及数字地图格式的信息变换为预定义的坐标格式。
19.如权利要求16至18中任一项所述的方法,其中根据关于所述至少一个待合并的物体(14,22,24)的相对位置信息确定绝对位置信息。
20.如权利要求19所述的方法,其中,如果相对位置信息限于与待合并的物体(14,22,24)的距离,则基于所述距离和关于道路段和/或待合并的物体(14,22,24)的附加信息来确定绝对位置信息。
21.如权利要求16至20中任一项所述的方法,其中通过使用由所述至少一个导航单元(30)提供的信息确定其绝对位置信息和/或其数字地图格式的位置是已知的一个或多个几何点(G),以便确定道路的几何形状。
22.如权利要求17至21中任一项所述的方法,其中通过合并关于车辆(10)的数字地图格式的瞬时位置的信息与关于待合并的物体(14,22,24)的绝对位置信息或相对位置信息来确定待合并的物体(14,22,24)的偏移。
23.如权利要求22所述的方法,其中通过使用由此确定的一个或多个几何点(G)来确定待合并的物体(14,22,24)的偏移。
24.如权利要求16至23中任一项所述的方法,其中通过使用由所述至少一个导航单元提供的信息来确定其绝对位置信息或相对位置信息和/或其数字地图格式的位置是已知的至少一个节点点(S),以便确定道路的几何形状。
25.如权利要求24所述的方法,其中估计待合并的物体(14,22,24)与最接近待合并的物体(14,22,24)的节点(S)之间的道路段的几何形状,使得基于该道路段的估计的几何形状估计待合并的物体(14,22,24)与节点(S)之间的距离(d)。
26.如权利要求25所述的方法,其中基于估计的距离(d)来确定节点(S)和待合并的物体(14,22,24)之间的偏移。
27.如权利要求25或26所述的方法,其中基于由至少一个或所述至少一个传感器单元(110)检测到的信息和/或基于由至少一个或所述至少一个接口(140)提供的至少一个信息项来估计道路段的路线。
28.如权利要求16至27中任一项所述的方法,其中确定待合并的物体(14,22,24)是否位于与车辆(10)相同的路径上或相同的车道(12)中。
29.如权利要求16至28中任一项所述的方法,其中借助于从关于车辆(10)的瞬时绝对位置信息开始的相对位移向量确定其绝对位置信息是已知的待合并的物体的数字地图格式的信息。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102018005869.8 | 2018-07-25 | ||
DE102018005869.8A DE102018005869A1 (de) | 2018-07-25 | 2018-07-25 | System zur Erstellung eines Umgebungsmodells eines Fahrzeugs |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110779534A true CN110779534A (zh) | 2020-02-11 |
CN110779534B CN110779534B (zh) | 2025-01-03 |
Family
ID=69148588
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910669159.5A Active CN110779534B (zh) | 2018-07-25 | 2019-07-24 | 用于创建车辆环境模型的系统 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11530931B2 (zh) |
CN (1) | CN110779534B (zh) |
DE (1) | DE102018005869A1 (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113587941A (zh) * | 2020-05-01 | 2021-11-02 | 华为技术有限公司 | 高精度地图的生成方法、定位方法及装置 |
CN113626545A (zh) * | 2020-05-08 | 2021-11-09 | 大众汽车股份公司 | 用于确定合并环境地图的车辆、装置、方法和计算机程序 |
CN113781838A (zh) * | 2020-06-05 | 2021-12-10 | 大众汽车股份公司 | 用于合并对象信息的车辆、方法、计算机程序和设备 |
CN113806380A (zh) * | 2020-06-16 | 2021-12-17 | 财团法人车辆研究测试中心 | 路口动态图像资源更新共享系统及方法 |
CN114783214A (zh) * | 2020-04-28 | 2022-07-22 | 上海波若智能科技有限公司 | 路网动态数据采集方法及路网动态数据采集系统 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102018216562A1 (de) * | 2018-09-27 | 2020-04-02 | Conti Temic Microelectronic Gmbh | Verfahren zum Detektieren von Lichtverhältnissen in einem Fahrzeug |
WO2020091111A1 (ko) * | 2018-11-01 | 2020-05-07 | 엘지전자 주식회사 | 차량용 전자 장치, 차량용 전자 장치의 동작 방법 및 시스템 |
WO2020141493A1 (en) * | 2019-01-04 | 2020-07-09 | Visteon Global Technologies, Inc. | Ehorizon upgrader module, moving objects as ehorizon extension, sensor detected map data as ehorizon extension, and occupancy grid as ehorizon extension |
DE102019211174A1 (de) * | 2019-07-26 | 2021-01-28 | Robert Bosch Gmbh | Verfahren zum Ermitteln eines Modells zur Beschreibung mindestens eines umgebungsspezifischen GNSS-Profils |
DE102019133613B3 (de) * | 2019-12-10 | 2020-12-31 | Audi Ag | Verfahren zum Bereitstellen einer dreidimensionalen Landkarte in einem Kraftfahrzeug |
CN113447031A (zh) * | 2020-03-24 | 2021-09-28 | 厦门雅迅网络股份有限公司 | 坡度点筛选方法、终端设备及介质和坡度计算方法及系统 |
DE102021207515A1 (de) | 2021-07-14 | 2023-01-19 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zum Bereitstellen eines elektronischen Horizonts für ein autonomes Kraftfahrzeug |
US20230032998A1 (en) * | 2021-07-30 | 2023-02-02 | Magna Electronics Inc. | Vehicular object detection and door opening warning system |
JP2023078605A (ja) * | 2021-11-26 | 2023-06-07 | 本田技研工業株式会社 | 車両制御装置 |
FR3132588B1 (fr) * | 2022-02-07 | 2024-07-19 | Renault Sas | Procédé d’élaboration d’un horizon artificiel |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030078720A1 (en) * | 2000-12-08 | 2003-04-24 | Shinya Adachi | Method for transmitting information on position on digital map and device used for the same |
CN1830010A (zh) * | 2003-08-04 | 2006-09-06 | 松下电器产业株式会社 | 数字地图位置信息通信方法、执行该方法的程序、程序产品、系统以及设备 |
US20060233424A1 (en) * | 2005-01-28 | 2006-10-19 | Aisin Aw Co., Ltd. | Vehicle position recognizing device and vehicle position recognizing method |
US20070050134A1 (en) * | 2005-08-24 | 2007-03-01 | Denso Corporation | Navigation apparatus, method and program for vehicle |
CN101641610A (zh) * | 2007-02-21 | 2010-02-03 | 电子地图北美公司 | 用于包含绝对及相对坐标的车辆导航及领航的系统及方法 |
CN101776766A (zh) * | 2008-12-30 | 2010-07-14 | 通用汽车环球科技运作公司 | 用于普遍定位性能的gps与其他传感器的测量水平集成 |
DE102010049215A1 (de) * | 2010-10-21 | 2011-07-28 | Daimler AG, 70327 | Verfahren zur Bestimmung einer Fahrzeugumgebung |
US20120323474A1 (en) * | 1998-10-22 | 2012-12-20 | Intelligent Technologies International, Inc. | Intra-Vehicle Information Conveyance System and Method |
CN105393087A (zh) * | 2013-07-15 | 2016-03-09 | 奥迪股份公司 | 用于运行导航设备的方法、导航设备和机动车 |
CN107077794A (zh) * | 2015-01-14 | 2017-08-18 | 日立汽车系统株式会社 | 车载用控制装置、本车位置姿势确定装置、车载用显示装置 |
US20170261995A1 (en) * | 2014-08-05 | 2017-09-14 | Valeo Schalter Und Sensoren Gmbh | Method for generating a surroundings map of a surrounding area of a motor vehicle, driver assistance system and motor vehicle |
WO2017215964A1 (de) * | 2016-06-14 | 2017-12-21 | Robert Bosch Gmbh | Verfahren und vorrichtung zum erstellen einer optimierten lokalisierungskarte und verfahren zum erstellen einer lokalisierungskarte für ein fahrzeug |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102009017731A1 (de) | 2008-04-30 | 2009-11-05 | Continental Teves Ag & Co. Ohg | Selbstlernende Karte auf Basis von Umfeldsensoren |
US10223380B2 (en) * | 2016-03-23 | 2019-03-05 | Here Global B.V. | Map updates from a connected vehicle fleet |
US10133280B2 (en) | 2016-06-23 | 2018-11-20 | Lg Electronics Inc. | Vehicle control device mounted on vehicle and method for controlling the vehicle |
US10197413B2 (en) * | 2016-11-26 | 2019-02-05 | Thinkware Corporation | Image processing apparatus, image processing method, computer program and computer readable recording medium |
US10521913B2 (en) * | 2018-03-29 | 2019-12-31 | Aurora Innovation, Inc. | Relative atlas for autonomous vehicle and generation thereof |
-
2018
- 2018-07-25 DE DE102018005869.8A patent/DE102018005869A1/de active Pending
-
2019
- 2019-06-14 US US16/441,247 patent/US11530931B2/en active Active
- 2019-07-24 CN CN201910669159.5A patent/CN110779534B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120323474A1 (en) * | 1998-10-22 | 2012-12-20 | Intelligent Technologies International, Inc. | Intra-Vehicle Information Conveyance System and Method |
US20030078720A1 (en) * | 2000-12-08 | 2003-04-24 | Shinya Adachi | Method for transmitting information on position on digital map and device used for the same |
CN1830010A (zh) * | 2003-08-04 | 2006-09-06 | 松下电器产业株式会社 | 数字地图位置信息通信方法、执行该方法的程序、程序产品、系统以及设备 |
US20060233424A1 (en) * | 2005-01-28 | 2006-10-19 | Aisin Aw Co., Ltd. | Vehicle position recognizing device and vehicle position recognizing method |
US20070050134A1 (en) * | 2005-08-24 | 2007-03-01 | Denso Corporation | Navigation apparatus, method and program for vehicle |
CN101641610A (zh) * | 2007-02-21 | 2010-02-03 | 电子地图北美公司 | 用于包含绝对及相对坐标的车辆导航及领航的系统及方法 |
CN101776766A (zh) * | 2008-12-30 | 2010-07-14 | 通用汽车环球科技运作公司 | 用于普遍定位性能的gps与其他传感器的测量水平集成 |
DE102010049215A1 (de) * | 2010-10-21 | 2011-07-28 | Daimler AG, 70327 | Verfahren zur Bestimmung einer Fahrzeugumgebung |
CN105393087A (zh) * | 2013-07-15 | 2016-03-09 | 奥迪股份公司 | 用于运行导航设备的方法、导航设备和机动车 |
US20170261995A1 (en) * | 2014-08-05 | 2017-09-14 | Valeo Schalter Und Sensoren Gmbh | Method for generating a surroundings map of a surrounding area of a motor vehicle, driver assistance system and motor vehicle |
CN107077794A (zh) * | 2015-01-14 | 2017-08-18 | 日立汽车系统株式会社 | 车载用控制装置、本车位置姿势确定装置、车载用显示装置 |
WO2017215964A1 (de) * | 2016-06-14 | 2017-12-21 | Robert Bosch Gmbh | Verfahren und vorrichtung zum erstellen einer optimierten lokalisierungskarte und verfahren zum erstellen einer lokalisierungskarte für ein fahrzeug |
CN109313646A (zh) * | 2016-06-14 | 2019-02-05 | 罗伯特·博世有限公司 | 用于创建经优化的定位地图的方法和设备和用于创建用于车辆的定位地图的方法 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114783214A (zh) * | 2020-04-28 | 2022-07-22 | 上海波若智能科技有限公司 | 路网动态数据采集方法及路网动态数据采集系统 |
CN113587941A (zh) * | 2020-05-01 | 2021-11-02 | 华为技术有限公司 | 高精度地图的生成方法、定位方法及装置 |
WO2021218388A1 (zh) * | 2020-05-01 | 2021-11-04 | 华为技术有限公司 | 高精度地图的生成方法、定位方法及装置 |
CN113626545A (zh) * | 2020-05-08 | 2021-11-09 | 大众汽车股份公司 | 用于确定合并环境地图的车辆、装置、方法和计算机程序 |
CN113626545B (zh) * | 2020-05-08 | 2024-08-09 | 大众汽车股份公司 | 用于确定合并环境地图的车辆、装置、方法和计算机程序 |
CN113781838A (zh) * | 2020-06-05 | 2021-12-10 | 大众汽车股份公司 | 用于合并对象信息的车辆、方法、计算机程序和设备 |
US12087157B2 (en) | 2020-06-05 | 2024-09-10 | Volkswagen Aktiengesellschaft | Vehicle, method, computer program and device for merging object information about one or more objects in the surroundings of a vehicle |
CN113806380A (zh) * | 2020-06-16 | 2021-12-17 | 财团法人车辆研究测试中心 | 路口动态图像资源更新共享系统及方法 |
CN113806380B (zh) * | 2020-06-16 | 2024-01-26 | 财团法人车辆研究测试中心 | 路口动态图像资源更新共享系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
US20200033153A1 (en) | 2020-01-30 |
DE102018005869A1 (de) | 2020-01-30 |
US11530931B2 (en) | 2022-12-20 |
CN110779534B (zh) | 2025-01-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110779534B (zh) | 用于创建车辆环境模型的系统 | |
US12140446B2 (en) | Automatic annotation of environmental features in a map during navigation of a vehicle | |
CN106352867B (zh) | 用于确定车辆自身位置的方法和设备 | |
CN108351218B (zh) | 用于生成数字地图的方法和系统 | |
US11940804B2 (en) | Automated object annotation using fused camera/LiDAR data points | |
CN108351647B (zh) | 用于生成针对行车道的车道精确的占用地图的方法和系统 | |
US11333762B2 (en) | Merging data from multiple LiDAR devices | |
US11085774B2 (en) | System and method of matching of road data objects for generating and updating a precision road database | |
Schreiber et al. | Laneloc: Lane marking based localization using highly accurate maps | |
CN111351494B (zh) | 导航系统及计算机可读介质 | |
EP3137850B1 (en) | Method and system for determining a position relative to a digital map | |
US20200133272A1 (en) | Automatic generation of dimensionally reduced maps and spatiotemporal localization for navigation of a vehicle | |
CN113196011A (zh) | 运动图构建和车道级路线规划 | |
US20160259814A1 (en) | Map data processing device for vehicle | |
US20210197861A1 (en) | Object tracking supporting autonomous vehicle navigation | |
JP6870475B2 (ja) | 車線情報出力方法および車線情報出力装置 | |
JP2010519550A (ja) | 絶対座標及び相対座標を含む車両ナビゲーション及び案内のためのシステム及び方法 | |
CN111508276B (zh) | 基于高精地图的v2x逆向超车预警方法、系统和介质 | |
CN112884892B (zh) | 基于路侧装置的无人矿车位置信息处理系统和方法 | |
US11885893B2 (en) | Localization based on predefined features of the environment | |
JPWO2016093028A1 (ja) | 自車位置推定装置 | |
US12196560B2 (en) | Localization device for visually determining the location of a vehicle | |
WO2021240884A1 (ja) | 車両制御装置、および、自車位置推定方法 | |
WO2023040684A1 (zh) | 一种交通信息获取方法、装置及存储介质 | |
CN114216469B (zh) | 一种对高精地图进行更新的方法、智慧基站及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |