DE102021111014A1 - Determination of a vertical position of a calibration object with a LiDAR-based environment sensor and calibration of a LiDAR-based environment sensor with a scan plane - Google Patents
Determination of a vertical position of a calibration object with a LiDAR-based environment sensor and calibration of a LiDAR-based environment sensor with a scan plane Download PDFInfo
- Publication number
- DE102021111014A1 DE102021111014A1 DE102021111014.9A DE102021111014A DE102021111014A1 DE 102021111014 A1 DE102021111014 A1 DE 102021111014A1 DE 102021111014 A DE102021111014 A DE 102021111014A DE 102021111014 A1 DE102021111014 A1 DE 102021111014A1
- Authority
- DE
- Germany
- Prior art keywords
- calibration
- lidar
- positions
- calibration object
- vertical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007613 environmental effect Effects 0.000 claims abstract description 119
- 238000000034 method Methods 0.000 claims abstract description 51
- 230000003287 optical effect Effects 0.000 claims description 18
- 230000005540 biological transmission Effects 0.000 claims 1
- 238000002310 reflectometry Methods 0.000 description 16
- 238000001514 detection method Methods 0.000 description 13
- 230000009466 transformation Effects 0.000 description 5
- 239000011248 coating agent Substances 0.000 description 4
- 238000000576 coating method Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- BUHVIAUBTBOHAG-FOYDDCNASA-N (2r,3r,4s,5r)-2-[6-[[2-(3,5-dimethoxyphenyl)-2-(2-methylphenyl)ethyl]amino]purin-9-yl]-5-(hydroxymethyl)oxolane-3,4-diol Chemical compound COC1=CC(OC)=CC(C(CNC=2C=3N=CN(C=3N=CN=2)[C@H]2[C@@H]([C@H](O)[C@@H](CO)O2)O)C=2C(=CC=CC=2)C)=C1 BUHVIAUBTBOHAG-FOYDDCNASA-N 0.000 description 1
- 241001463014 Chazara briseis Species 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
- G01S7/4972—Alignment of sensor
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
Die Erfindung betrifft ein Verfahren zur Bestimmung einer vertikalen Position (h) eines Kalibrierobjekts (32), das wenigstens drei längliche Einzelobjekte (28, 30) umfasst, die in einer Ebene angeordnet sind, wobei zwei erste Einzelobjekte (28) parallel zueinander angeordnet sind und ein zweites Einzelobjekt (30) sich zwischen den zwei ersten Einzelobjekten (28) erstreckt, mit einer Scanebene (24) eines LiDAR-basierten Umgebungssensors (14), insbesondere zur Kalibrierung des LiDAR-basierten Umgebungssensors (14), umfassend die Schritte Positionieren des Kalibrierobjekts (32) in der Scanebene (24) des LiDAR-basierten Umgebungssensors (14), Bestimmen der Positionen (38) der Einzelobjekte (28, 30) in der Scanebene (24) des LiDAR-basierten Umgebungssensors (14) mit dem LiDAR-basierten Umgebungssensor (14), und Bestimmen der vertikalen Position (h) des Kalibrierobjekts (32) basierend auf den Positionen der Einzelobjekte (28, 30) in der Scanebene (24) des LiDAR-basierten Umgebungssensors (14). Die Erfindung betrifft außerdem ein Verfahren zum Kalibrieren eines LiDAR-basierten Umgebungssensors (14) mit einer Scanebene (24) unter Verwendung von wenigstens einem Kalibrierobjekt (32), wobei das Kalibrierobjekt (32) wenigstens drei längliche Einzelobjekte (28, 30) umfasst, die in einer Ebene angeordnet sind, und wobei zwei erste Einzelobjekte (28) parallel zueinander angeordnet sind und ein zweites Einzelobjekt (30) sich zwischen den zwei ersten Einzelobjekten (28) erstreckt, und das Kalibrierobjekt (32) in der Scanebene (24) des LiDAR-basierten Umgebungssensors (14) positioniert ist.The invention relates to a method for determining a vertical position (h) of a calibration object (32), which comprises at least three elongated individual objects (28, 30) arranged in one plane, with two first individual objects (28) being arranged parallel to one another and a second individual object (30) extends between the two first individual objects (28), with a scanning plane (24) of a LiDAR-based surroundings sensor (14), in particular for calibrating the LiDAR-based surroundings sensor (14), comprising the steps of positioning the calibration object (32) in the scan plane (24) of the LiDAR-based environment sensor (14), determining the positions (38) of the individual objects (28, 30) in the scan plane (24) of the LiDAR-based environment sensor (14) with the LiDAR-based Environmental sensor (14), and determining the vertical position (h) of the calibration object (32) based on the positions of the individual objects (28, 30) in the scan plane (24) of the LiDAR-based environmental sensor (14 ). The invention also relates to a method for calibrating a LiDAR-based environmental sensor (14) with a scan plane (24) using at least one calibration object (32), the calibration object (32) comprising at least three elongated individual objects (28, 30) which are arranged in one plane, and wherein two first individual objects (28) are arranged parallel to one another and a second individual object (30) extends between the two first individual objects (28), and the calibration object (32) in the scanning plane (24) of the LiDAR -based environmental sensor (14) is positioned.
Description
Die vorliegende Erfindung betrifft ein Verfahren zur Bestimmung einer vertikalen Position eines Kalibrierobjekts mit einem LiDAR-basierten Umgebungssensor, insbesondere zur Kalibrierung des LiDAR-basierten Umgebungssensors.The present invention relates to a method for determining a vertical position of a calibration object using a LiDAR-based environmental sensor, in particular for calibrating the LiDAR-based environmental sensor.
Auch betrifft die vorliegende Erfindung ein Verfahren zum Kalibrieren eines LiDAR-basierten Umgebungssensors, umfassend ein Bestimmen einer vertikalen Position des wenigstens einen Kalibrierobjekts nach dem obigen Verfahren für wenigstens drei unterschiedliche Kalibrierpositionen.The present invention also relates to a method for calibrating a LiDAR-based environmental sensor, comprising determining a vertical position of the at least one calibration object according to the above method for at least three different calibration positions.
Des Weiteren betrifft die vorliegende Erfindung ein Fahrunterstützungssystem mit einem LiDAR-basierten Umgebungssensor und einer Steuereinheit, die über eine Datenverbindung miteinander verbunden sind, wobei der LiDAR-basierte Umgebungssensor ausgeführt ist, mit einer Scanebene Reflektionen von ausgesendeten Laserpulsen zu empfangen und über eine Datenverbindung an die Steuereinheit zu übertragen, wobei das Fahrunterstützungssystem ausgeführt ist, das obige Verfahren zur Kalibirierung des LiDAR-basierten Umgebungssensors durchzuführen.Furthermore, the present invention relates to a driving support system with a LiDAR-based environment sensor and a control unit, which are connected to one another via a data connection, wherein the LiDAR-based environment sensor is designed to receive reflections of emitted laser pulses with a scan plane and to the Transfer control unit, wherein the driving support system is designed to perform the above method for calibrating the LiDAR-based environment sensor.
LiDAR-basierte Umgebungssensoren (Light Detection And Ranging) gewinnen mehr und mehr an Bedeutung in aktuellen Fahrzeugen, um deren Umgebung zu überwachen und Fahrunterstützungssysteme für verschiedene Unterstützungsfunktionen bis hin zum autonomen Fahren zu realisieren. Eine extrinsische Kalibrierung von LiDAR-basierten Umgebungssensoren ist für viele Verwendungszwecke Grundvoraussetzung für deren Einsatz. Ziel ist dabei die Position und Ausrichtung der LiDAR-basierten Umgebungssensoren so genau wie möglich zu bestimmen.LiDAR-based environmental sensors (Light Detection And Ranging) are becoming more and more important in current vehicles in order to monitor their surroundings and implement driving support systems for various support functions up to and including autonomous driving. An extrinsic calibration of LiDAR-based environmental sensors is a prerequisite for their use for many purposes. The aim is to determine the position and orientation of the LiDAR-based environmental sensors as precisely as possible.
Die Kalibirierung ist insbesondere wichtig, wenn an dem Fahrzeug weitere Umgebungssensoren angebracht sind, beispielsweise Kameras, so dass sichergestellt werden kann, dass die Information der verschiedenen Umgebungssensoren in Bezug auf die Umgebung des Fahrzeugs konsistent ist. Die verschiedenen Umgebungssensoren können beispielsweise nacheinander oder gleichzeitig kalibriert werden.The calibration is particularly important when other environmental sensors are fitted to the vehicle, for example cameras, so that it can be ensured that the information from the various environmental sensors is consistent in relation to the vehicle's surroundings. For example, the various environmental sensors can be calibrated sequentially or simultaneously.
Die Kalibrierung kann sowohl im fahrenden Fahrzeug als auch auf einem Kalibrierstand geschehen. Die Kalibrierung im fahrenden Fahrzeug basiert meist auf einem Feature-Tracking-Ansatz basierend auf erkannten Objekten („Features“). Es können beispielsweise besondere Kalibrierobjekte eigens für die Kalibrierung platziert werden. Alternativ können „Alltags“-Objekte, wie Verkehrszeichen, Leitplanken, etc. zur Kalibirierung verwendet werden, die vorzugsweise eine bekannte Ausrichtung (horizontal oder vertikal) aufweisen. Dabei muss die Bewegung des Fahrzeugs mit größtmöglicher Genauigkeit bestimmt werden. Dies erfordert zusätzliche Sensoren, wodurch die Kalibrierung sehr aufwendig wird. Außerdem bergen die Identifikation statischer Objekte und deren Tracking weitere Fehlerquellen.The calibration can take place both in the moving vehicle and on a calibration stand. Calibration in the moving vehicle is mostly based on a feature tracking approach based on detected objects (“features”). For example, special calibration objects can be placed specifically for the calibration. Alternatively, "everyday" objects such as traffic signs, crash barriers, etc. can be used for calibration, which preferably have a known orientation (horizontal or vertical). The movement of the vehicle must be determined with the greatest possible accuracy. This requires additional sensors, which makes the calibration very complex. In addition, the identification of static objects and their tracking contain further sources of error.
Bei der statischen Kalibrierung werden Kalibrierobjekte im Sichtbereich des LiDAR-basierten Umgebungssensors platziert. Durch die Kenntnis der Positionen der Kalibrierobjekte in einem Referenzkoordinatensystem und deren Darstellung in der Punktwolke des LiDAR-basierten Umgebungssensors im LiDAR-Koordinatensystem können die Position und die Ausrichtung des LiDAR-basierten Umgebungssensors im Referenzkoordinatensystem ermittelt werden.With static calibration, calibration objects are placed in the field of view of the LiDAR-based environmental sensor. By knowing the positions of the calibration objects in a reference coordinate system and their representation in the point cloud of the LiDAR-based environmental sensor in the LiDAR coordinate system, the position and alignment of the LiDAR-based environmental sensor in the reference coordinate system can be determined.
Für das Kalibrieren der Umgebungssensoren werden in beiden Fällen vorzugsweise spezielle Kalibrierobjekte verwendet, die durch ihre Gestaltung eine Erfassung durch die Umgebungssensoren und eine exakte Ermittlung von deren Position mit dem zu kalibrierenden Umgebungssensor erleichtern. Vorzugsweise sind die Kalibrierobjekte sowohl zur Erfassung mit LiDAR-basierten Umgebungssensoren wie auch mit Kameras geeignet, um die verschiedenen Umgebungssensoren mit den gleichen Kalibrierobjekten kalibrieren zu können. Zusätzlich können die Kalibrierobjekte zur Erfassung mit Radarsensoren geeignet sein, wenn das Fahrzeug solche Sensoren aufweist.In both cases, special calibration objects are preferably used for calibrating the environmental sensors, which, due to their design, facilitate detection by the environmental sensors and exact determination of their position with the environmental sensor to be calibrated. The calibration objects are preferably suitable both for detection with LiDAR-based environmental sensors and with cameras, in order to be able to calibrate the various environmental sensors with the same calibration objects. In addition, the calibration objects can be suitable for detection with radar sensors if the vehicle has such sensors.
Bei den unterschiedlichen Ansätzen können die Position der Kalibrierobjekte und/oder eindeutige Punkte auf dem Kalibrierobjekt in beiden Koordinatensystemen eindeutig bestimmt werden. Durch einen sogenannten Point-Matching-Algorithmus wird eine Transformation zwischen den beiden Koordinatensystemen und damit die extrinsische Kalibrierung zwischen den Koordinatensystemen bestimmt.With the different approaches, the position of the calibration objects and/or unique points on the calibration object can be uniquely determined in both coordinate systems. A transformation between the two coordinate systems and thus the extrinsic calibration between the coordinate systems is determined by a so-called point-matching algorithm.
Für die Erfassung von Kalibrierobjekten mit dem LiDAR-basierten Umgebungssensor ist das zugrundeliegende Messprinzip der LiDAR-basierten Umgebungssensoren von Bedeutung. In aktuellen Fahrzeugen verwendete LiDAR-basierte Umgebungssensoren sollen üblicherweise einen großen horizontalen Bereich um das Fahrzeug erfassen. In vertikaler Richtung ist weniger Information erforderlich. Typische LiDAR-basierte Umgebungssensoren erfassen die Umgebung daher in mehreren Scanebenen (Layern). Für jede Scanebene wird eine Reihe von Scanpunkten erzeugt, die Laufzeitinformationen von empfangenen Reflektionen und bei neueren LiDAR-basierten Umgebungssensoren zusätzlich eine Intensität der empfangenen Reflektionen enthalten. Die Anzahl an Scanebenen bestimmt hierbei die vertikale Polarwinkel-Auflösung. Die azimutale Auflösung in den einzelnen Scanebenen ist typischerweise signifikant höher. Auch Radarsensoren können nach dem gleichen Funktionsprinzip arbeiten.For the detection of calibration objects with the LiDAR-based environmental sensor, the underlying measurement principle of the LiDAR-based environmental sensors is important. LiDAR-based environmental sensors used in current vehicles are typically designed to capture a large horizontal area around the vehicle. Less information is required in the vertical direction. Typical LiDAR-based environmental sensors therefore capture the environment in several scan planes (layers). A series of scan points are generated for each scan plane, which contain runtime information from received reflections and, in the case of newer LiDAR-based environmental sensors, also an intensity of the received reflections. The number of scan planes determines the vertical polar angle resolution. The azimuthal resolution in the individual scan planes is typically significantly higher. Radar sensors can also work according to the same functional principle.
Für Multilayer-LiDAR-Sensoren mit hoher polarer Auflösung, d.h. mit mehreren Scanebenen, existiert eine Vielzahl von bekannten Kalibrierobjekten, welche beispielsweise für die statische Kalibrierung verwendet werden können. Zum Beispiel werden Quadrate, Dreiecke oder kreisrunde Ausschnitte verwendet um deren Positionen im Raum mit dem LiDAR-basierten Umgebungssensor eindeutig zu bestimmen.For multilayer LiDAR sensors with high polar resolution, i.e. with multiple scan planes, there is a large number of known calibration objects that can be used, for example, for static calibration. For example, squares, triangles or circular sections are used to clearly determine their positions in space with the LiDAR-based environment sensor.
Im Bereich des autonomen Fahrens und Industrieanwendungen werden aus Kostengründen allerdings häufig LiDAR-basierte Umgebungssensoren mit wenigen Scanebenen verwendet. Besonders kostengünstige LiDAR-basierte Umgebungssensoren arbeiten mit nur einer Scanebene. Weniger Scanebenen haben zwar den zusätzlichen Vorteil, dass die Umgebung mit einer höheren Frequenz abgetastet werden kann. Allerdings können diese LiDAR-basierten Umgebungssensoren mit solchen bekannten Kalibrierobjekten nicht mit ausreichender Genauigkeit extrinsisch kalibriert werden. Je geringer die vertikale Auflösung der LiDAR-basierten Umgebungssensoren ist, desto schwieriger ist die Bestimmung aller sechs Freiheitsgrade im Rahmen der Kalibrierung. Bei LiDAR-basierten Umgebungssensoren mit nur einer Scanebene ist die Kalibrierung mit solchen bekannten Kalibrierobjekten deutlich erschwert oder sogar ausgeschlossen. Um Formen und Ausrichtungen der Kalibrierobjekte abschätzen zu können, müssen typischerweise mindestens zwei ScanEbenen die Kalibrierobjekte schneiden.In the field of autonomous driving and industrial applications, however, LiDAR-based environmental sensors with few scan planes are often used for cost reasons. Particularly cost-effective LiDAR-based environmental sensors work with just one scan plane. Fewer scan planes have the additional advantage that the environment can be scanned at a higher frequency. However, these LiDAR-based environmental sensors cannot be extrinsically calibrated with sufficient accuracy using such known calibration objects. The lower the vertical resolution of the LiDAR-based environmental sensors, the more difficult it is to determine all six degrees of freedom during calibration. In the case of LiDAR-based environmental sensors with only one scan plane, calibration with such known calibration objects is significantly more difficult or even impossible. In order to be able to estimate the shapes and alignments of the calibration objects, typically at least two scan planes must intersect the calibration objects.
Zusätzlich besteht das Problem, dass übliche LiDAR-basierte Umgebungssensoren an Kanten von Einzelobjekten ungenaue Laufzeitinformationen liefern, so dass die Zuordnung zu dem Kalibrierobjekt erschwert ist. Eine binäre Ausgabe (Kalibrierobjekt ja/nein) der diskreten Abtastung der Scanebene mit den Scanpunkten hat zur Folge, dass die Lage der Kanten und darüber die Position des Kalibrierobjekts nur diskret geschätzt werden können. Besonders im Rahmen einer Kalibrierung sind aber besonders hohe Anforderungen an die Positionsbestimmung der Kalibrierobjekte zu stellen.There is also the problem that conventional LiDAR-based environmental sensors provide inaccurate runtime information at the edges of individual objects, making assignment to the calibration object more difficult. A binary output (calibration object yes/no) of the discrete scanning of the scan plane with the scan points means that the position of the edges and above them the position of the calibration object can only be estimated discretely. Particularly in the context of a calibration, however, particularly high demands are made on the position determination of the calibration objects.
In diesem Zusammenhang ist aus der
Ausgehend von dem oben genannten Stand der Technik liegt der Erfindung somit die Aufgabe zugrunde, ein Verfahren zur Bestimmung einer vertikalen Position eines Kalibrierobjekts mit einem LiDAR-basierten Umgebungssensor, ein Verfahren zum Kalibrieren eines LiDAR-basierten Umgebungssensors, und ein Fahrunterstützungssystem mit einem LiDAR-basierten Umgebungssensor anzugeben, die eine einfache und zuverlässige Kalibrierung von LiDAR-basierten Umgebungssensors mit einer Scanebene ermöglichen.Based on the prior art mentioned above, the invention is therefore based on the object of a method for determining a vertical position of a calibration object with a LiDAR-based environment sensor, a method for calibrating a LiDAR-based environment sensor, and a driving support system with a LiDAR-based Specify environmental sensors that enable easy and reliable calibration of LiDAR-based environmental sensors with a scan plane.
Die Lösung der Aufgabe erfolgt erfindungsgemäß durch die Merkmale der unabhängigen Ansprüche. Vorteilhafte Ausgestaltungen der Erfindung sind in den Unteransprüchen angegeben.The object is achieved according to the invention by the features of the independent claims. Advantageous refinements of the invention are specified in the dependent claims.
Erfindungsgemäß ist somit ein Verfahren zur Bestimmung einer vertikalen Position eines Kalibrierobjekts, das wenigstens drei längliche Einzelobjekte umfasst, die in einer Ebene angeordnet sind, wobei zwei erste Einzelobjekte parallel zueinander angeordnet sind und ein zweites Einzelobjekt sich zwischen den zwei ersten Einzelobjekten erstreckt, mit einer Scanebene eines LiDAR-basierten Umgebungssensors, insbesondere zur Kalibrierung des LiDAR-basierten Umgebungssensors, angegeben, umfassend die Schritte Positionieren des Kalibrierobjekts in der Scanebene des LiDAR-basierten Umgebungssensors, Bestimmen der Positionen der Einzelobjekte in der Scanebene des LiDAR-basierten Umgebungssensors mit dem LiDAR-basierten Umgebungssensor, und Bestimmen der vertikalen Position des Kalibrierobjekts basierend auf den Positionen der Einzelobjekte in der Scanebene des LiDAR-basierten Umgebungssensors. So wird mit hoher Präzision in horizontaler und vertikaler Richtung ein Punkt auf dem Objekt im Objektkoordinatensystem und im Lidar-Koordinatensystem bestimmt.According to the invention is therefore a method for determining a vertical position of a calibration object, which comprises at least three elongated individual objects that are arranged in one plane, with two first individual objects being arranged parallel to one another and a second individual object extending between the two first individual objects, with a scanning plane a LiDAR-based environmental sensor, in particular for calibrating the LiDAR-based environmental sensor, including the steps of positioning the calibration object in the scan plane of the LiDAR-based environmental sensor, determining the positions of the individual objects in the scan plane of the LiDAR-based environmental sensor with the LiDAR-based environmental sensor, and determining the vertical position of the calibration object based on the positions of the individual objects in the scan plane of the LiDAR-based environmental sensor. A point on the object in the object coordinate system and in the lidar coordinate system is determined with high precision in the horizontal and vertical directions.
Erfindungsgemäß ist außerdem ein Verfahren zum Kalibrieren eines LiDAR-basierten Umgebungssensors mit einer Scanebene unter Verwendung von wenigstens einem Kalibrierobjekt, wobei das Kalibrierobjekt wenigstens drei längliche Einzelobjekte umfasst, die in einer Ebene angeordnet sind, und wobei zwei erste Einzelobjekte parallel zueinander angeordnet sind und ein zweites Einzelobjekt sich zwischen den zwei ersten Einzelobjekten erstreckt, und das Kalibrierobjekt in der Scanebene des LiDAR-basierten Umgebungssensors positioniert ist, angegeben, umfassend die Schritte Bestimmen einer vertikalen Position des wenigstens einen Kalibrierobjekts nach dem obigen Verfahren für wenigstens drei unterschiedliche Kalibrierpositionen, Bestimmen einer horizontalen Position des wenigstens einen Kalibrierobjekts in der Scanebene des LiDAR-basierten Umgebungssensors für die wenigstens drei unterschiedlichen Kalibrierpositionen, Ermitteln einer vertikalen und horizontalen Referenzposition des wenigstens einen Kalibrierobjekts für die wenigstens drei unterschiedlichen Kalibrierpositionen, und Kalibrieren des LiDAR-basierten Umgebungssensors basierend auf den bestimmten vertikalen und horizontalen Positionen und den vertikalen und horizontalen Referenzpositionen des wenigstens einen Kalibrierobjekts für die wenigstens drei unterschiedliche Kalibrierpositionen. Also according to the invention is a method for calibrating a LiDAR-based environmental sensor with a scan plane using at least one calibration object, the calibration object comprising at least three elongated individual objects which are arranged in one plane, and wherein two first individual objects are arranged parallel to one another and a second Single object extends between the first two single objects, and the calibration object in the scan plane of the LiDAR-based environmental sensor, including the steps of determining a vertical position of the at least one calibration object according to the above method for at least three different calibration positions, determining a horizontal position of the at least one calibration object in the scanning plane of the LiDAR-based environmental sensor for the at least three different calibration positions, determining a vertical and horizontal reference position of the at least one calibration object for the at least three different calibration positions, and calibrating the LiDAR-based environmental sensor based on the determined vertical and horizontal positions and the vertical and horizontal reference positions of the at least one calibration object for the at least three different calibration positions.
Weiter ist erfindungsgemäß ein Fahrunterstützungssystem mit einem LiDAR-basierten Umgebungssensor und einer Steuereinheit angegeben, die über eine Datenverbindung miteinander verbunden sind, wobei der LiDAR-basierte Umgebungssensor ausgeführt ist, mit einer Scanebene Reflektionen von ausgesendeten Laserpulsen zu empfangen und über eine Datenverbindung an die Steuereinheit zu übertragen, wobei das Fahrunterstützungssystem ausgeführt ist, das obige Verfahren zur Kalibirierung des LiDAR-basierten Umgebungssensors durchzuführen.Furthermore, according to the invention, a driving support system with a LiDAR-based environment sensor and a control unit is specified, which are connected to one another via a data connection, the LiDAR-based environment sensor being designed to receive reflections of emitted laser pulses with a scan plane and to the control unit via a data connection transferred, wherein the driving support system is designed to carry out the above method for calibrating the LiDAR-based environment sensor.
Grundidee der vorliegenden Erfindung ist es also, ausgehend von den mit dem LiDAR-basierten Umgebungssensor empfangenen Reflektionen bereits basierend auf nur einer Scanebene eine zuverlässige Kalibrierung durchzuführen. Dabei wird durch eine Verwendung eines geeigneten Kalibrierobjekts zusammen mit den Eigenschaften des LiDAR-basierten Umgebungssensors zum Empfangen von Reflektionen in einer Scanebene eine zuverlässige vertikale Verortung der Kalibrierobjekte ermöglicht lediglich basierend auf der Position der Einzelobjekte in der horizontalen Richtung. Zusätzlich ist aufgrund der Ausrichtung der Scanebene bei üblichen LiDAR-basierten Umgebungssensoren in einer horizontalen Richtung in dieser Richtung eine ausreichende Auflösung vorhanden, um Objekte und damit auch Kalibrierobjekte zu verorten, d.h. um deren Position in horizontaler Richtung zu bestimmen. Das verwendete Kalibierobjekt ermöglicht durch seine Form mit den Einzelobjekten, die wie angegeben angeordnet sind, dass allein basierend auf den Positionen der Einzelobjekte die vertikale Position des durch diese Einzelobjekte gebildeten Kalibrierobjekts bestimmt werden kann.The basic idea of the present invention is therefore to carry out a reliable calibration based on just one scan plane, starting from the reflections received with the LiDAR-based environmental sensor. Using a suitable calibration object together with the properties of the LiDAR-based environmental sensor for receiving reflections in a scan plane enables reliable vertical localization of the calibration objects based solely on the position of the individual objects in the horizontal direction. In addition, due to the orientation of the scanning plane in a horizontal direction in conventional LiDAR-based environmental sensors, there is sufficient resolution in this direction to locate objects and thus also calibration objects, i.e. to determine their position in the horizontal direction. Due to its shape with the individual objects, which are arranged as specified, the calibration object used allows the vertical position of the calibration object formed by these individual objects to be determined solely based on the positions of the individual objects.
Die große Herausforderung einer Kalibrierung von LiDAR-basierten Umgebungssensoren besteht bei der Verwendung von nur einer Scanebene darin, die vertikale Position der Kalibrierobjekte zu bestimmen. Im Stand der Technik ist es nicht möglich, mit nur einer Scanebene die vertikale Position von Kalibrierobjekten unmittelbar zu bestimmen. Dieses Problem existiert im Stand der Technik prinzipiell in identischer Weise für LiDAR-basierte Umgebungssensoren mit wenigen Scanebenen, die eine geringe Auflösung in vertikaler Richtung aufweisen. Auch damit ist es im Stand der Technik praktisch nicht oder nur sehr eingeschränkt möglich, vertikale Positionen von üblichen Objekten bzw. Kalibrierobjekten unmittelbar zu bestimmen. Erst ab einer Verwendung von LiDAR-basierten Umgebungssensoren mit einer erhöhten Anzahl Scanebenen kann auch die vertikale Position von Kalibrierobjekten mit einer hinreichenden Genauigkeit unmittelbar bestimmt werden. Diese Probleme werden durch das erfindungsgemäße Verfahren überwunden, das eine indirekte Bestimmung der vertikalen Positionen der Kalibrierobjekte allein basierend auf den horizontalen Positionen der Einzelobjekte ermöglicht.The major challenge of calibrating LiDAR-based environmental sensors when using only one scan plane is to determine the vertical position of the calibration objects. In the prior art, it is not possible to directly determine the vertical position of calibration objects with just one scan plane. In principle, this problem exists in the prior art in an identical manner for LiDAR-based environmental sensors with few scan planes, which have a low resolution in the vertical direction. With this, too, in the prior art it is practically impossible or only possible to a very limited extent to directly determine the vertical positions of conventional objects or calibration objects. The vertical position of calibration objects can only be determined directly with sufficient accuracy once LiDAR-based environmental sensors with an increased number of scan planes are used. These problems are overcome by the method according to the invention, which enables the vertical positions of the calibration objects to be determined indirectly solely based on the horizontal positions of the individual objects.
Bei LiDAR-basierten Umgebungssensoren mit mehreren Scanebenen kann das angegebene Verfahren auf die gleiche Weise durchgeführt werden, um so die vertikalen und/oder horizontalen Positionen der Objekte bzw. Kalibrierobjekte mit einer erhöhten Genauigkeit basierend auf mehreren Scanebenen oder für jede der Scanebenen zu bestimmen. Alternativ können mehrere vertikale und horizontale Positionen des wenigstens einen Kalibrierobjekts für mehrere Scanebenen oder für jede der Scanebenen bestimmt werden, um darauf basierend die Kalibrierung durchzuführen. Es können beispielsweise Mittelwerte über die für die jeweiligen Scanebenen bestimmten vertikalen Positionen der Objekte bzw. Kalibrierobjekte gebildet werden. Im Ergebnis kann die Kalibrierung basierend auf mehreren Scanebenen mit einer erhöhten Genauigkeit durchgeführt werden.In the case of LiDAR-based environmental sensors with multiple scan planes, the specified method can be carried out in the same way in order to determine the vertical and/or horizontal positions of the objects or calibration objects with increased accuracy based on multiple scan planes or for each of the scan planes. Alternatively, multiple vertical and horizontal positions of the at least one calibration object can be determined for multiple scan planes or for each of the scan planes in order to carry out the calibration based thereon. For example, mean values can be formed over the vertical positions of the objects or calibration objects determined for the respective scan planes. As a result, calibration can be performed with increased accuracy based on multiple scan planes.
Das erfindungsgemäße Verfahren ist auf identische Weise anwendbar für LiDAR-basierte Umgebungssensoren, deren Scanebenen nicht horizontal ausgerichtet sind. In diesem Fall kann die „vertikale“ Position des Kalibrierobjekts senkrecht zu der entsprechenden Scanebene des LiDAR-basierten Umgebungssensors bestimmt werden. Die „horizontale“ Position entspricht dann der Position in der Scanebene und die „vertikale“ Position der Position senkrecht zu der Scanebene. Im Bereich von Fahrzeugen und Fahrunterstützungssystemen ist jedoch eine Ausrichtung der LiDAR-basierten Umgebungssensoren mit der Scanebene in horizontaler Richtung bevorzugt.The method according to the invention can be used in an identical manner for LiDAR-based environmental sensors whose scanning planes are not aligned horizontally. In this case, the "vertical" position of the calibration object can be determined perpendicular to the corresponding scan plane of the LiDAR-based environmental sensor. The "horizontal" position then corresponds to the position in the scan plane and the "vertical" position to the position perpendicular to the scan plane. In the field of vehicles and driving support systems, however, alignment of the LiDAR-based environmental sensors with the scan plane in a horizontal direction is preferred.
Vorzugsweise ist das Kalibrierobjekt mit einer dreidimensionalen Struktur ausgeführt, die durch die Einzelobjekte gebildet wird. Die länglichen Einzelobjekte können beispielsweise als Balken oder Leisten ausgebildet und gemeinsam angeordnet sein. Die länglichen Einzelobjekte können an ihren Enden zur Bildung des Kalibrierobjekts miteinander verbunden sein. Zusätzlich oder alternativ kann das Kalibrierobjekt beispielsweise eine Rahmenstruktur oder eine Stützstruktur aufweisen, an der die Einzelobjekte zur Bildung des Kalibrierobjekts gehalten sind. Alternative Anordnungen der Einzelobjekte sind ebenfalls möglich. Die Rahmenstruktur oder Stützstruktur ist vorzugsweise mit gegenüber den Einzelobjekten geringen Abmessungen ausgeführt, um Reflektionen daran zu reduzieren bzw. zu vermeiden.The calibration object is preferably designed with a three-dimensional structure that is formed by the individual objects. The elongated individual objects can, for example, as beams or strips be formed and arranged together. The elongated individual objects can be connected to one another at their ends to form the calibration object. Additionally or alternatively, the calibration object can have a frame structure or a support structure, for example, on which the individual objects are held to form the calibration object. Alternative arrangements of the individual objects are also possible. The frame structure or support structure is preferably designed with small dimensions compared to the individual objects in order to reduce or avoid reflections on them.
Vorzugsweise weist das Kalibrierobjekt zumindest an der Seite der Ebene für die Einzelobjekte eine Oberfläche, insbesondere als Beschichtung, mit einer hohen Reflektivität für abgestrahlte Laserpulse auf. Wenn die abgestrahlten Laserpulse auf die Oberfläche mit der hohen Reflektivität treffen, werden starke Reflektionen der Laserpulse erzeugt, die zuverlässig empfangen werden können. Dadurch kann beispielsweise eine einfache Erkennung der Einzelobjekte erfolgen, wenn diese gegenüber Oberflächen mit „natürlichen“ Reflektivitäten eine besonders hohe Reflektivität aufweisen. Zusätzlich oder alternativ ist es möglich, einen großen Dynamikbereich der Intensitäten der Reflektionen zu erzeugen und entsprechend auszuwerten, so dass die Positionen der Einzelobjekte zuverlässig ermittelt werden können. Solche hohen Reflektivitäten betreffen insbesondere Reflektivitäten, die in „natürlichen“ Umgebungen praktisch nicht erreicht werden.The calibration object preferably has a surface, in particular as a coating, with a high reflectivity for emitted laser pulses, at least on the side of the plane for the individual objects. When the emitted laser pulses hit the surface with the high reflectivity, strong reflections of the laser pulses are generated, which can be reliably received. As a result, for example, the individual objects can be easily recognized if they have a particularly high reflectivity compared to surfaces with “natural” reflectivities. In addition or as an alternative, it is possible to generate a large dynamic range of the intensities of the reflections and to evaluate them accordingly, so that the positions of the individual objects can be reliably determined. Such high reflectivities relate in particular to reflectivities that are practically unachievable in “natural” environments.
Das Kalibrierobjekt kann alternativ oder zusätzlich als Kalibriertafel ausgeführt sein. Die Einzelobjekte können durch die Oberfläche mit einer hohen Reflektivität für abgestrahlte Laserpulse auf der Kalibriertafel ausgebildet sein, d.h. die Einzelobjekte können allein durch das Aufbringen einer Beschichtung mit einer hohen Reflektivität auf der Kalibriertafel gebildet werden. Alternativ kann die Kalibriertafel aus Einzelobjekten mit einer Oberfläche mit einer hohen Reflektivität und Objekten mit einer Oberfläche mit einer niedrigen Reflektivität zusammengesetzt sein. Die Reflektionen an der Kalibriertafel weisen dann alle die gleiche Laufzeit auf und unterscheiden sich in Ihrer Intensität für Reflektionen von den Einzelobjekten und von restlichen Bereichen der Kalibriertafel.Alternatively or additionally, the calibration object can be designed as a calibration panel. The individual objects can be formed by the surface with a high reflectivity for emitted laser pulses on the calibration board, i.e. the individual objects can be formed solely by applying a coating with a high reflectivity on the calibration board. Alternatively, the calibration panel can be composed of individual objects with a surface with a high reflectivity and objects with a surface with a low reflectivity. The reflections on the calibration panel then all have the same transit time and differ in their intensity for reflections from the individual objects and from the remaining areas of the calibration panel.
Die Einzelobjekte können auf unterschiedliche Weise zur Bildung des Kalibrierobjekts zusammen angeordnet sein. Vorzugsweise sind alle Einzelobjekte schräg zu der Scanebene angeordnet. Vorzugsweise weisen die Einzelobjekte einen flachen Schnittwinkel mit der Scanebene auf. Von einem flachen Schnittwinkel wird ausgegangen, wenn eine Abweichung von einem rechten Winkel vorliegt, so dass eine Schnittlänge der Einzelobjekte mit der Scanebene erhöht wird. Bei einer größeren Abweichung vom rechten Winkel ergibt sich eine größere Schnittlänge, so dass mehr Reflektionen von dem Einzelobjekt empfangen werden und die Positionsermittlung verbessert wird. Allerdings muss der Schnittwinkel der Einzelobjekte bei dem Kalibrierobjekt so gewählt sein, dass er von der erwarteten Scanebene unterscheidbar ist, d.h. er ist beispielsweise bei einer erwarteten horizontalen Scanebene mit einem Toleranzbereich größer als der Toleranzbereich. Beispielsweise ist der Schnittwinkel doppelt so groß gewählt wie der Toleranzbereich. Die ersten Einzelobjekte und das zweite Einzelobjekt können unabhängige Schnittwinkel aufweisen.The individual objects can be arranged together in different ways to form the calibration object. All individual objects are preferably arranged at an angle to the scanning plane. The individual objects preferably have a shallow angle of intersection with the scan plane. A flat intersection angle is assumed if there is a deviation from a right angle, so that an intersection length of the individual objects with the scan plane is increased. A larger deviation from the right angle results in a larger cut length, so that more reflections are received from the individual object and the determination of the position is improved. However, the intersection angle of the individual objects in the calibration object must be selected in such a way that it can be distinguished from the expected scan plane, i.e. it is larger than the tolerance range for an expected horizontal scan plane with a tolerance range, for example. For example, the cutting angle is twice as large as the tolerance range. The first individual objects and the second individual object can have independent angles of intersection.
Jedes der Einzelobjekte hat vorzugsweise eine jeweils gleichmäßige Erstreckung quer zu seiner Längsrichtung, d.h. die Einzelobjekte haben jeweils eine Breite, die sich über ihre Länge nicht ändert. Die Breite der Einzelobjekte kann dabei unterschiedlich gewählt sein.Each of the individual objects preferably has a uniform extension transversely to its longitudinal direction, i.e. the individual objects each have a width that does not change over their length. The width of the individual objects can be chosen differently.
Bei dem Kalibrierobjekt können die Einzelobjekte zumindest teilweise miteinander verbunden sein. Alternativ können die Einzelobjekte separat angeordnet sein und zusammen das Kalibrierobjekt bilden. Es ergibt sich zumindest in gedachter Verlängerung der Einzelobjekte ein Schnittpunkt des zweiten Einzelobjekts mit den zwei ersten Einzelobjekten.In the case of the calibration object, the individual objects can be at least partially connected to one another. Alternatively, the individual objects can be arranged separately and together form the calibration object. At least in the imaginary extension of the individual objects, there is an intersection of the second individual object with the two first individual objects.
Die Abmessungen des wenigstens einen Kalibrierobjekts und/oder Positionen der Einzelobjekte sind vorzugsweise bekannt, um die vertikale und/oder horizontale Position des Kalibrierobjekts zu bestimmen und die Kalibrierung des LiDAR-basierten Umgebungssensors durchzuführen.The dimensions of the at least one calibration object and/or positions of the individual objects are preferably known in order to determine the vertical and/or horizontal position of the calibration object and to calibrate the LiDAR-based environmental sensor.
Bei der Bestimmung der vertikalen Position des Kalibrierobjekts ist es erforderlich, dass die Scanebene das Kalibrierobjekt schneidet, wobei die Scanebene zumindest die drei minimal erforderlichen Einzelobjekte schneiden muss. Das Kalibrierobjekt muss daher entsprechend ausgerichtet und positioniert werden.When determining the vertical position of the calibration object, it is necessary for the scan plane to intersect the calibration object, with the scan plane having to intersect at least the three minimum required individual objects. The calibration object must therefore be aligned and positioned accordingly.
Für die Kalibrierung ist eine Bestimmung von wenigstens drei Positionen von Kalibrierobjekten erforderlich, um den LiDAR-basierten Umgebungssensor in allen Freiheitsgraden zu kalibrieren, d.h. um Positionsinformation für drei Achsen und Rotationsinformation um drei Achsen zu bestimmen. Als Einschränkung ergibt sich, dass die drei Positionen von Kalibrierobjekten nicht auf einer geraden Linie liegen dürfen, weil dadurch nicht genug Information gewonnen werden kann, um die Positionsinformation für drei Achsen und die Rotationsinformation um drei Achsen zu bestimmen.The calibration requires at least three positions of calibration objects to be determined in order to calibrate the LiDAR-based environmental sensor in all degrees of freedom, i.e. to determine position information for three axes and rotation information about three axes. As a constraint, the three positions of calibration objects must not lie on a straight line, because this does not provide enough information to determine the three-axis position information and the three-axis rotation information.
Das Positionieren des Kalibrierobjekts in der Scanebene des LiDAR-basierten Umgebungssensors betrifft eine entsprechende Positionierung des wenigstens einen Kalibrierobjekts an verschiedenen Kalibrierpositionen, die vorgegeben sein können. Beim Ermitteln der vertikalen und horizontalen Referenzposition des wenigstens einen Kalibrierobjekts mit einem weiteren Umgebungssensor kann das wenigstens eine Kalibrierobjekt prinzipiell frei in der Umgebung des Fahrzeugs positioniert werden, so dass das wenigstens einen Kalibrierobjekt von der Scanebene erfasst wird.The positioning of the calibration object in the scan plane of the LiDAR-based environmental sensor affects a corresponding positioning of the at least one calibration object at different calibration positions that can be specified. When determining the vertical and horizontal reference position of the at least one calibration object with a further environment sensor, the at least one calibration object can in principle be freely positioned in the environment of the vehicle, so that the at least one calibration object is detected by the scanning plane.
Das Bestimmen der Positionen der Einzelobjekte in der Scanebene des LiDAR-basierten Umgebungssensors wird mit dem LiDAR-basierten Umgebungssensor durchgeführt. Die Positionen können als Winkelpositionen zwischen den Einzelobjekten bestimmt werden und können somit unabhängig von einer Entfernung zu dem jeweiligen Kalibrierobjekt sein. Alternativ können die Positionen der Einzelobjekte als Positionen entlang einer Scanlinie oder im Raum bestimmt werden. Basierend auf den Winkelpositionen und dem Abstand des Kalibrierobjekts können Abstände bzw. Längen ermittelt werden.The determination of the positions of the individual objects in the scan plane of the LiDAR-based environment sensor is carried out with the LiDAR-based environment sensor. The positions can be determined as angular positions between the individual objects and can therefore be independent of a distance from the respective calibration object. Alternatively, the positions of the individual objects can be determined as positions along a scan line or in space. Distances or lengths can be determined based on the angular positions and the distance of the calibration object.
Das Bestimmen der vertikalen Position des Kalibrierobjekts basierend auf den Positionen der Einzelobjekte in der Scanebene des LiDAR-basierten Umgebungssensors kann basierend auf geometrischen Zusammenhängen abhängig von dem wenigstens einen Kalibrierobjekt erfolgen. Dabei können geometrische Beziehungen zwischen den Einzelobjekten ausgenutzt werden. Die vertikale Position wird dabei zunächst als relative Position bestimmt. Daraus kann bei der nachfolgenden Kalibrierung durch die Referenzposition des Kalibrierobjekts eine absolute vertikale Position bestimmt werden.The determination of the vertical position of the calibration object based on the positions of the individual objects in the scanning plane of the LiDAR-based environmental sensor can be based on geometric relationships depending on the at least one calibration object. In doing so, geometric relationships between the individual objects can be exploited. The vertical position is initially determined as a relative position. From this, an absolute vertical position can be determined during the subsequent calibration using the reference position of the calibration object.
Das Bestimmen der horizontalen Position des jeweiligen Kalibrierobjekts in der Scanebene des LiDAR-basierten Umgebungssensors für die wenigstens drei unterschiedlichen Kalibrierpositionen erfolgt abhängig von der Art des jeweiligen Kalibrierobjekts. Beispielsweise kann die horizontale Position des jeweiligen Kalibrierobjekts in der Scanebene basierend auf einer Position oder mehreren Positionen der Einzelobjekte des Kalibrierobjekts oder auch basierend auf einer Position einer Kalibriertafel bestimmt werden. Durch die hohe Auflösung des LiDAR-basierten Umgebungssensors in der horizontalen Richtung kann die horizontale Position des jeweiligen Kalibrierobjekts einfach und zuverlässig bestimmt werden. Basierend auf einem Abstand zu dem Kalibrierobjekt, der sich unmittelbar aus der Laufzeit der mit dem LiDAR-basierten Umgebungssensor empfangenen Reflektion ergibt, kann die Position des Kalibrierobjekts vollständig ermittelt werden.The horizontal position of the respective calibration object in the scanning plane of the LiDAR-based environmental sensor for the at least three different calibration positions is determined depending on the type of the respective calibration object. For example, the horizontal position of the respective calibration object in the scan plane can be determined based on a position or multiple positions of the individual objects of the calibration object or also based on a position of a calibration table. Due to the high resolution of the LiDAR-based environmental sensor in the horizontal direction, the horizontal position of the respective calibration object can be determined easily and reliably. The position of the calibration object can be fully determined based on a distance to the calibration object, which results directly from the propagation time of the reflection received with the LiDAR-based environmental sensor.
Das Ermitteln einer vertikalen und horizontalen Referenzposition des wenigstens einen Kalibrierobjekts wird für die wenigstens drei unterschiedlichen Kalibrierpositionen durchgeführt, um den LiDAR-basierten Umgebungssensor zu kalibrieren. Ausgehend von den wenigstens drei unterschiedlichen Kalibrierpositionen können die Position und Ausrichtung des LiDAR-basierten Umgebungssensors hinreichend definiert werden.A vertical and horizontal reference position of the at least one calibration object is determined for the at least three different calibration positions in order to calibrate the LiDAR-based environmental sensor. Based on the at least three different calibration positions, the position and alignment of the LiDAR-based environmental sensor can be adequately defined.
Das Kalibrieren des LiDAR-basierten Umgebungssensors erfolgt basierend auf den bestimmten vertikalen und horizontalen Positionen und den vertikalen und horizontalen Referenzpositionen des wenigstens einen Kalibrierobjekts für die wenigstens drei unterschiedliche Kalibrierpositionen. Es kann eine mechanische Anpassung des LiDAR-basierten Umgebungssensors durchgeführt werden, indem der LiDAR-basierte Umgebungssensor an dem Fahrzeug ausgerichtet wird. Alternativ oder zusätzlich kann bei der Kalibrierung ausgehend von den Abweichungen zwischen den bestimmten vertikalen und horizontalen Positionen des wenigstens einen Kalibrierobjekts und den dazugehörigen vertikalen und horizontalen Referenzpositionen eine Abbildung ermittelt werden, um die Kalibrierung durchzuführen.The LiDAR-based environmental sensor is calibrated based on the determined vertical and horizontal positions and the vertical and horizontal reference positions of the at least one calibration object for the at least three different calibration positions. A mechanical adjustment of the LiDAR-based environmental sensor may be performed by aligning the LiDAR-based environmental sensor with the vehicle. Alternatively or additionally, an image can be determined during the calibration based on the deviations between the determined vertical and horizontal positions of the at least one calibration object and the associated vertical and horizontal reference positions in order to carry out the calibration.
Die Steuereinheit umfasst einen Prozessor und einen Speicher, um ein Programm zur Durchführung einer Unterstützungsfunktion des Fahrunterstützungssystems auszuführen. Die Steuereinheit verarbeitet von dem LiDAR-basierten Umgebungssensor bereitgestellte Sensorinformation.The control unit includes a processor and a memory to execute a program for performing an assistance function of the driving assistance system. The control unit processes sensor information provided by the LiDAR-based environmental sensor.
Die Datenverbindung ist beispielsweise nach der Art eines im Automobilbereich üblichen Bussystems ausgeführt. Verschiedene Bussysteme wie CAN, FlexRay, LON oder andere sind in diesem Zusammenhang bekannt.The data connection is designed, for example, in the manner of a bus system that is customary in the automotive sector. Various bus systems such as CAN, FlexRay, LON or others are known in this context.
LiDAR-basierte Umgebungssensoren sind als solche bekannt. Das Verfahren kann mit LiDAR-basierten Umgebungssensoren mit einer oder mit mehreren Scanebenen durchgeführt werden. Bei LiDAR-basierten Umgebungssensoren mit mehreren Scanebenen ist die Verwendung nur einer der Scanebenen ausreichend.LiDAR-based environmental sensors are known as such. The method can be performed with LiDAR-based environmental sensors with one or more scan planes. For LiDAR-based environmental sensors with multiple scan planes, using only one of the scan planes is sufficient.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Bestimmen der vertikalen Position des Kalibrierobjekts basierend auf den Positionen der Einzelobjekte in der Scanebene des LiDAR-basierten Umgebungssensors ein Bestimmen der vertikalen Position des Kalibrierobjekts basierend auf dem Verhältnis der Abstände der beiden ersten Einzelobjekte zu dem zweiten Einzelobjekt und einer Höhe des Kalibrierobjekts zu der vertikalen Position des Kalibrierobjekts. Das Verhältnis ermöglicht beispielsweise basierend auf dem Strahlensatz das Bestimmen der vertikalen Position des Kalibrierobjekts. Dies geschieht unabhängig vom Winkel der Scanebene mit dem Objektkoordinatensystem. Die Höhe des Kalibrierobjekts ist dabei vorgegeben, während die Abstände der beiden ersten Einzelobjekte zu dem zweiten Einzelobjekt mit dem LiDAR-basierten Umgebungssensor bestimmt werden, nämlich basierend auf den Positionen der Einzelobjekte in der Scanebene. Durch die Betrachtung des Verhältnisses der Abstände der beiden ersten Einzelobjekte zu dem zweiten Einzelobjekt und einer Höhe des Kalibrierobjekts zu der vertikalen Position kann die vertikale Position des Kalibrierobjekts basierend auf bekannten bzw. ermittelten Werten zuverlässig bestimmt werden.In an advantageous embodiment of the invention, determining the vertical position of the calibration object based on the positions of the individual objects in the scanning plane of the LiDAR-based environmental sensor includes determining the vertical position of the calibration object based on the ratio of the distances between the two first individual objects and the second individual object and one Height of the calibration object to the vertical position of the calibration object. The ratio enables the vertical position of the calibration object to be determined based, for example, on the theorem of rays. This happens regardless of the angle of the scan plane with the object coordinate system. The height of the calibration object is predetermined, while the distances between the first two individual objects and the second individual object are determined using the LiDAR-based environmental sensor, namely based on the positions of the individual objects in the scan plane. By considering the ratio of the distances between the two first individual objects and the second individual object and a height of the calibration object to the vertical position, the vertical position of the calibration object can be reliably determined based on known or ascertained values.
Dabei können ausgehend von den bestimmten Positionen der Einzelobjekte in der Scanebene des LiDAR-basierten Umgebungssensors Abstände zwischen den Einzelobjekten in der Scanebene bestimmt werden. Alternativ können die Abstände zwischen den Einzelobjekten als Entfernungen bestimmt werden.Based on the determined positions of the individual objects in the scan plane of the LiDAR-based environmental sensor, distances between the individual objects in the scan plane can be determined. Alternatively, the distances between the individual objects can be determined as distances.
Die Höhe des Kalibrierobjekts kann der Ausdehnung des physikalischen Kalibrierobjekts entsprechen oder einer Höhe, die durch die Anordnung der Einzelobjekte definiert ist. Ausgehend von dem Verhältnis der genannten Strecken können auch „virtuelle“ Schnittpunkte der Einzelobjekte die Abmessungen, insbesondere die Höhe des Kalibrierobjekts, definieren.The height of the calibration object can correspond to the extent of the physical calibration object or to a height that is defined by the arrangement of the individual objects. Based on the ratio of the distances mentioned, "virtual" intersections of the individual objects can also define the dimensions, in particular the height of the calibration object.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Bestimmen der Positionen der Einzelobjekte in der Scanebene des LiDAR-basierten Umgebungssensors mit dem LiDAR-basierten Umgebungssensor Schritte zum Aussenden von einer Mehrzahl Laserpulsen in der Scanebene des LiDAR-basierten Umgebungssensors, Empfangen von Reflektionen der ausgesendeten Laserpulse aus der Scanebene, Ermitteln von zu den Einzelobjekten gehörenden Reflektionen, und Ermitteln der Positionen der Einzelobjekte basierend auf den zu dem jeweiligen Einzelobjekt gehörenden empfangenen Reflektionen.In an advantageous embodiment of the invention, the determination of the positions of the individual objects in the scan plane of the LiDAR-based surroundings sensor with the LiDAR-based surroundings sensor includes steps for emitting a plurality of laser pulses in the scan plane of the LiDAR-based surroundings sensor, receiving reflections of the emitted laser pulses from the scanning plane, determining reflections belonging to the individual objects, and determining the positions of the individual objects based on the received reflections belonging to the respective individual object.
Einzelne Reflektionen der ausgesendeten Laserpulse aus der Scanebene, die mit dem LiDAR-basierten Umgebungssensor empfangen werden, werden im Weiteren auch als Scanpunkte bezeichnet.Individual reflections of the emitted laser pulses from the scan plane, which are received with the LiDAR-based environmental sensor, are also referred to as scan points in the following.
Das Aussenden der Mehrzahl Laserpulse erfolgt in der Scanebene des LiDAR-basierten Umgebungssensors, d.h. die Scanebene wird jeweils durch eine Ausbreitung der Laserpulse sowie deren Reflektionen und den Detektionsbereich der Empfangseinheit definiert. Die ausgesendeten Laserpulse haben vorzugsweise die gleiche Intensität. Die Laserpulse können in einer beliebigen Reihenfolge in der Scanebene ausgesendet werden. Es kann jeweils ein Laserpuls zu einem Zeitpunkt ausgesendet werden, so dass ausgehend davon eine Reflektion empfangen wird. Alternativ können mehrere Laserpulse gleichzeitig ausgesendet und davon ausgehend mehrere Reflektionen gleichzeitig empfangen werden. Dazu kann beispielsweise ein einzelner Laserpuls in mehrere Laserpulse aufgesplittet werden. Bei LiDAR-basierten Umgebungssensoren mit mehreren Scanebenen können Scanpunkte der einzelnen Scanebenen nacheinander oder in einer beliebigen Reihenfolge auch zwischen den verschiedenen Scanebenen erfasst werden.The majority of laser pulses are emitted in the scan plane of the LiDAR-based environmental sensor, i.e. the scan plane is defined by a propagation of the laser pulses and their reflections and the detection range of the receiving unit. The emitted laser pulses preferably have the same intensity. The laser pulses can be emitted in any order in the scan plane. One laser pulse can be emitted at a time so that a reflection is received based on it. Alternatively, multiple laser pulses can be emitted simultaneously and, based on this, multiple reflections can be received simultaneously. For this purpose, for example, a single laser pulse can be split into several laser pulses. In the case of LiDAR-based environmental sensors with multiple scan planes, scan points of the individual scan planes can be recorded one after the other or in any order, also between the different scan planes.
Die Scanebene ist typischerweise eine im Wesentlichen horizontal ausgerichtete Ebene, wobei aber basierend auf einer fehlerhaften Ausrichtung des LiDAR-basierten Umgebungssensors an dem Fahrzeug und/oder von Abweichungen bei Herstellung und Montage des LiDAR-basierten Umgebungssensors Abweichungen der Scanebene aus der Horizontalen möglich sind.The scan plane is typically a substantially horizontally oriented plane, however, deviations in the scan plane from horizontal are possible based on misalignment of the LiDAR-based environmental sensor on the vehicle and/or variations in manufacturing and assembly of the LiDAR-based environmental sensor.
Das Empfangen von Reflektionen der ausgesendeten Laserpulse aus der Scanebene umfasst typischerweise eine Laufzeiterfassung von dem Aussenden der Laserpulse bis zum Empfang der davon erzeugten Reflektionen, um basierend auf der erfassten Laufzeit einen Abstand zu einem Objekt, an dem der Laserpuls reflektiert wurde, zu bestimmen.Receiving reflections of the emitted laser pulses from the scan plane typically includes a runtime detection from the emission of the laser pulses to the receipt of the reflections generated by them, in order to determine a distance from an object on which the laser pulse was reflected based on the detected runtime.
In vorteilhafter Ausgestaltung umfasst das Ermitteln von zu dem Einzelobjekt gehörenden Reflektionen ein Vergleichen von Laufzeiten der empfangenen Reflektionen. Beispielsweise kann eine Reflektion als zu einem Einzelobjekt gehörend ermittelt werden, wenn diese Reflektion eine abweichende Laufzeit vom Aussenden des Laserpulses bis zum Empfang der Reflektion verglichen mit benachbarten Reflektionen aufweist. Entsprechend kann eine Gruppe von benachbarten Reflektionen aus der Scanebene als zu dem jeweiligen Einzelobjekt gehörend ermittelt werden, wenn diese Reflektionen die gleiche Laufzeit aufweisen und/oder wenn diese Reflektionen eine abweichende Laufzeit verglichen mit benachbarten Reflektionen aufweisen. Insbesondere bei der Kalibirierung kann das Kalibrierobjekt in einem Bereich positioniert sein, in dem es keine weiteren Objekte in einem bestimmten Entfernungsbereich gibt. Dies kann insbesondere helfen, um eine automatische Erkennung des Kalibrierobjekts mit den jeweiligen Einzelobjekten und eine automatische Ermittlung von zu dem Kalibrierobjekt und jeweiligen Einzelobjekten gehörenden Reflektionen durchzuführen.In an advantageous embodiment, the determination of reflections belonging to the individual object includes a comparison of propagation times of the received reflections. For example, a reflection can be determined as belonging to an individual object if this reflection has a different propagation time from the emission of the laser pulse to the receipt of the reflection compared to neighboring reflections. Correspondingly, a group of adjacent reflections from the scan plane can be determined as belonging to the respective individual object if these reflections have the same propagation time and/or if these reflections have a deviating propagation time compared to neighboring reflections. In particular during the calibration, the calibration object can be positioned in an area in which there are no other objects within a specific distance range. This can help in particular to carry out automatic recognition of the calibration object with the respective individual objects and automatic determination of reflections belonging to the calibration object and respective individual objects.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Bestimmen der Positionen der Einzelobjekte in der Scanebene des LiDAR-basierten Umgebungssensors mit dem LiDAR-basierten Umgebungssensor ein Bestimmen von Intensitäten der empfangenen Reflektionen der ausgesendeten Laserpulse aus der Scanebene, und das Ermitteln der Positionen der Einzelobjekte umfasst ein Ermitteln der Positionen der Einzelobjekte basierend auf den Intensitäten der zu dem jeweiligen Einzelobjekt gehörenden empfangenen Reflektionen. Durch die Betrachtung der Intensitäten der empfangenen Reflektionen können Scanpunkte, die nur teilweise die Einzelobjekte erfassen, dazu beitragen, die Positionen der Einzelobjekte zu bestimmen und deren Bestimmung sogar zu verbessern. Es erfolgt also nicht nur eine binäre Unterscheidung zwischen Scanpunkten, die die Einzelobjekte erfassen, und Scanpunkten, die das Einzelobjekt nicht erfassen, sondern es kann auch - basierend auf einer endlichen Ausdehnung der Laserpulse - ein Grad der Abdeckung des Einzelobjekts bestimmt werden. Im Ergebnis ergibt sich eine erhöhte Zahl von Scanpunkten, die zur Ermittlung der Positionen der Einzelobjekte beitragen und die Ermittlung der Positionen der Einzelobjekte mit einer verbesserten Genauigkeit ermöglichen. In Kombination mit der Ausrichtung der Einzelobjekte mit einem flachen Schnittwinkel kann sichergestellt werden, dass eine erhöhte Anzahl von Reflektionen der Laserpulse an den Einzelobjekten erfasst wird. Die Reflektionen in Randbereichen der Einzelobjekte können mit ihren unterschiedlichen Intensitäten zur Ermittlung der Position des jeweiligen Einzelobjekts beitragen. In an advantageous embodiment of the invention, the determination of the positions of the individual objects in the scanning plane of the LiDAR-based surroundings sensor with the LiDAR-based surroundings sensor includes a determination of intensities received reflections of the emitted laser pulses from the scan plane, and determining the positions of the individual objects includes determining the positions of the individual objects based on the intensities of the received reflections belonging to the respective individual object. By looking at the intensities of the received reflections, scan points that only partially cover the individual objects can help to determine the positions of the individual objects and even improve their determination. There is not only a binary distinction between scan points that capture the individual objects and scan points that do not capture the individual object, but also—based on a finite extension of the laser pulses—a degree of coverage of the individual object can be determined. The result is an increased number of scan points, which contribute to determining the positions of the individual objects and enable the positions of the individual objects to be determined with improved accuracy. In combination with the alignment of the individual objects with a flat angle of intersection, it can be ensured that an increased number of reflections of the laser pulses on the individual objects is recorded. With their different intensities, the reflections in the edge areas of the individual objects can contribute to determining the position of the respective individual object.
Entsprechendes gilt prinzipiell für das Bestimmen der horizontalen Position des wenigstens einen Kalibrierobjekts in der Scanebene des LiDAR-basierten Umgebungssensors.The same applies in principle to the determination of the horizontal position of the at least one calibration object in the scanning plane of the LiDAR-based environmental sensor.
Das Bestimmen von Intensitäten der empfangenen Reflektionen erfolgt vorzugsweise als integraler Schritt beim Empfangen der Reflektionen der ausgesendeten Laserpulse aus der Scanebene.The intensities of the received reflections are preferably determined as an integral step when receiving the reflections of the emitted laser pulses from the scan plane.
Alternativ oder zusätzlich umfasst das Ermitteln von zu dem Einzelobjekt gehörenden Reflektionen ein Vergleichen der Intensitäten der empfangenen Reflektionen. Reflektionen mit ähnlichen Intensitäten können zusammen dem jeweiligen Einzelobjekt zugerechnet werden. Beispielsweise kann eine Gruppe von benachbarten Reflektionen aus der Scanebene als zu dem jeweiligen Einzelobjekt gehörend ermittelt werden, wenn diese Reflektionen näherungsweise die gleiche Intensität aufweisen. Alternativ oder zusätzlich kann eine Gruppe von benachbarten Reflektionen aus der Scanebene als zu dem jeweiligen Einzelobjekt gehörend ermittelt werden, wenn diese Reflektionen gegenüber benachbarten Reflektionen eine erhöhte Intensität aufweisen. Reflektionen mit besonders hohen Intensitäten können somit als zu dem Einzelobjekt gehörend erkannt werden, insbesondere wenn die Einzelobjekte mit einer hohen Reflektivität ausgeführt sind. Weiter alternativ oder zusätzlich kann ein Verlauf der Intensitäten der empfangenen Reflektionen betrachtet werden, um zu dem Einzelobjekt gehörende Reflektionen zu ermitteln. Dadurch können insbesondere Scanpunkte an Rändern oder Kanten der jeweiligen Einzelobjekte erkannt und dem entsprechenden Einzelobjekt zuverlässig zugeordnet werden. Insbesondere kann eine automatische Ermittlung der Reflektionen, die zu dem Einzelobjekt gehören, durchgeführt werden. Wenn die Einzelobjekte eine besonders hohe Reflektivität für die abgestrahlten Laserpulse aufweisen, können Reflektionen an den Einzelobjekten von Reflektionen an „natürlichen“ Objekten, die üblicherweise eine geringere Intensität aufweisen, unterschieden werden.Alternatively or additionally, the determination of reflections belonging to the individual object includes a comparison of the intensities of the received reflections. Reflections with similar intensities can be attributed together to the respective individual object. For example, a group of adjacent reflections from the scan plane can be determined as belonging to the respective individual object if these reflections have approximately the same intensity. Alternatively or additionally, a group of adjacent reflections from the scan plane can be determined as belonging to the respective individual object if these reflections have an increased intensity compared to adjacent reflections. Reflections with particularly high intensities can thus be recognized as belonging to the individual object, in particular if the individual objects are designed with a high level of reflectivity. As a further alternative or in addition, a profile of the intensities of the received reflections can be considered in order to determine reflections belonging to the individual object. In this way, in particular, scan points on edges or borders of the respective individual objects can be recognized and reliably assigned to the corresponding individual object. In particular, the reflections that belong to the individual object can be determined automatically. If the individual objects have a particularly high reflectivity for the emitted laser pulses, reflections on the individual objects can be distinguished from reflections on "natural" objects, which usually have a lower intensity.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Ermitteln der Position des jeweiligen Einzelobjekts basierend auf den Intensitäten der zu dem Einzelobjekt gehörenden empfangenen Reflektionen ein Ermitteln der zu dem Einzelobjekt gehörenden empfangenen Reflektion mit der höchsten Intensität als Position des Einzelobjekts. Die Reflektion mit der höchsten Intensität wird als eine Mittelposition des jeweiligen Einzelobjekts angesehen. Insbesondere wenn nur wenige Reflektionen von dem entsprechenden Einzelobjekt empfangen werden, kann dessen Position auf einfache und genaue Weise ermittelt werden.In an advantageous embodiment of the invention, determining the position of the respective individual object based on the intensities of the received reflections belonging to the individual object includes determining the received reflection belonging to the individual object with the highest intensity as the position of the individual object. The reflection with the highest intensity is regarded as a middle position of the respective individual object. In particular, if only a few reflections are received from the corresponding individual object, its position can be determined in a simple and precise manner.
Alternativ oder zusätzlich kann die Position jedes jeweiligen Einzelobjekts basierend auf den Intensitäten der zu dem entsprechenden Einzelobjekt gehörenden empfangenen Reflektionen als Mittelpunkt zwischen Rändern oder Kanten des Einzelobjekts ermittelt werden. Dies kann vorteilhaft sein, wenn mehrere Laserpulse vollständig auf das jeweilige Einzelobjekt treffen, so dass beispielsweise kein scharfer Peak des Verlaufs der Intensität mit einem scharfen Maximum entsteht.Alternatively or additionally, the position of each respective individual object can be determined based on the intensities of the received reflections belonging to the corresponding individual object as the center point between edges or edges of the individual object. This can be advantageous if several laser pulses hit the respective individual object completely, so that, for example, no sharp peak of the intensity profile with a sharp maximum occurs.
Weiter alternativ oder zusätzlich umfasst das Ermitteln der Position des jeweiligen Einzelobjekts basierend auf den Intensitäten der zu dem Einzelobjekt gehörenden empfangenen Reflektionen ein Ermitteln eines Verlaufs der Intensität über die zu dem entsprechenden Einzelobjekt gehörenden empfangenen Reflektionen und eines Höchstwerts des ermittelten Verlaufs der Intensität als Position des jeweiligen Einzelobjekts. Der Verlauf der Intensität kann beispielsweise als Interpolation der Intensitäten der zu dem Einzelobjekt gehörenden Reflektionen ermittelt werden.As a further alternative or in addition, determining the position of the respective individual object based on the intensities of the received reflections belonging to the individual object includes determining a course of the intensity over the received reflections belonging to the corresponding individual object and a maximum value of the determined course of the intensity as the position of the respective single object. The course of the intensity can be determined, for example, as an interpolation of the intensities of the reflections belonging to the individual object.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Ermitteln einer vertikalen und horizontalen Referenzposition des wenigstens einen Kalibrierobjekts ein Ermitteln der vertikalen und horizontalen Referenzposition des wenigstens einen Kalibrierobjekts mit einem weiteren Umgebungssensor, insbesondere einer optischen Kamera. Durch das Ermitteln der vertikalen und horizontalen Referenzposition mit einem weiteren Umgebungssensor, der vorzugsweise Teil des Fahrunterstützungssystems ist und an dem Fahrzeug angebracht ist, kann eine Kalibrierung der beiden Umgebungssensoren relativ zueinander erfolgen. Eine absolute Referenz ist in dem Fall nicht erforderlich zur Kalibrierung. Durch die Kalibrierung der Umgebungssensoren relativ zueinander wird sichergestellt, dass das Fahrzeug und insbesondere das Fahrunterstützungssystem eine zuverlässige Basis zur Überwachung der Umgebung aufweist. Erfassungen von Objekten mit mehreren Umgebungssensoren können somit einander zugeordnet werden, so dass eine konsistente Information in Bezug auf die Umgebung des Fahrzeugs erzeugt werden kann. Darüber hinaus können die Objekte basierend auf der konsistenten Information der verschiedenen Umgebungssensoren üblicherweise mit einer verbesserten Genauigkeit lokalisiert und ggf. klassifiziert werden. Prinzipiell kann die Kalibrierung auf weitere Umgebungssensoren erweitert werden, beispielsweise einen Radarsensor oder andere. In dem Fall ist es vorteilhaft, wenn Kalibrierobjekte derart ausgeführt sind, dass sie beispielsweise eine Beschichtung mit einer hohen Reflektivität für Radarstrahlung aufweisen.In an advantageous embodiment of the invention, determining a vertical and horizontal reference position of the at least one calibration object includes determining the vertical and horizontal reference position of the at least one calibration object with a further environment sensor, in particular an optical camera. Through the Hermit Using the vertical and horizontal reference position with a further environment sensor, which is preferably part of the driving support system and is attached to the vehicle, the two environment sensors can be calibrated relative to one another. In this case, an absolute reference is not required for calibration. The calibration of the environmental sensors relative to each other ensures that the vehicle and in particular the driving assistance system has a reliable basis for monitoring the environment. Detections of objects with multiple environment sensors can thus be assigned to one another, so that consistent information can be generated in relation to the environment of the vehicle. In addition, based on the consistent information from the various environmental sensors, the objects can usually be localized and possibly classified with improved accuracy. In principle, the calibration can be extended to other environmental sensors, for example a radar sensor or others. In this case it is advantageous if calibration objects are designed in such a way that they have a coating with a high reflectivity for radar radiation, for example.
Entsprechend weist das Fahrunterstützungssystem in vorteilhafter Ausgestaltung der Erfindung wenigstens einen weiteren Umgebungssensor, insbesondere eine optische Kamera, auf. Darauf basierend kann das Fahrunterstützungssystem die Kalibrierung der beiden Umgebungssensoren relativ zueinander durchführen. Alternativ oder zusätzlich können weitere Umgebungssensoren verwendet werden, beispielsweise ein weiterer LiDAR-basierter Umgebungssensor und/oder eine oder mehrere weitere Kamera(s) und/oder Radarsensoren.Accordingly, in an advantageous embodiment of the invention, the driving support system has at least one additional environment sensor, in particular an optical camera. Based on this, the driving support system can calibrate the two environmental sensors relative to one another. Alternatively or additionally, further surroundings sensors can be used, for example a further LiDAR-based surroundings sensor and/or one or more further camera(s) and/or radar sensors.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Ermitteln einer vertikalen und horizontalen Referenzposition des wenigstens einen Kalibrierobjekts ein Ermitteln der Kalibrierpositionen als Referenzpositionen. Die Referenzpositionen ergeben sich also durch das Positionieren des wenigstens einen Kalibrierobjekts an den vorgegebenen vertikalen und horizontalen Referenzpositionen. Es erfolgt eine Kalibrierung des LiDAR-basierten Umgebungssensors bezogen auf absolute Positionen, indem die Kalibrierobjekte an den Referenzpositionen positioniert werden. Zusätzlich kann der LiDAR-basierte Umgebungssensor mit dem Fahrzeug ebenfalls an einer vorgegebenen Kalibrierungsposition positioniert werden. Die Kalibrierpositionen als Referenzpositionen können als Voreinstellung in dem Fahrunterstützungssystem gespeichert sein oder dort eingegeben oder daran übertragen werden.In an advantageous embodiment of the invention, determining a vertical and horizontal reference position of the at least one calibration object includes determining the calibration positions as reference positions. The reference positions are thus obtained by positioning the at least one calibration object at the specified vertical and horizontal reference positions. The LiDAR-based environmental sensor is calibrated in relation to absolute positions by positioning the calibration objects at the reference positions. In addition, the LiDAR-based environment sensor can also be positioned with the vehicle at a specified calibration position. The calibration positions as reference positions can be stored as a preset in the driving support system or entered there or transferred to it.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Verfahren einen zusätzlichen Schritt zum Umwandeln der bestimmten vertikalen und horizontalen Positionen des wenigstens einen Kalibrierobjekts aus einem LiDAR-basierten Koordinatensystem in ein Referenzkoordinatensystem mit den vertikalen und horizontalen Referenzpositionen des wenigstens einen Kalibrierobjekts, oder das Verfahren umfasst einen zusätzlichen Schritt zum Umwandeln der vertikalen und horizontalen Referenzpositionen des wenigstens einen Kalibrierobjekts aus einem Referenzkoordinatensystem in ein LiDAR-basiertes Koordinatensystem mit den bestimmten vertikalen und horizontalen Positionen des wenigstens einen Kalibrierobjekts. Es wird also ein gemeinsamer Bezug für die mit dem LiDAR-basierten Umgebungssensor bestimmten vertikalen und horizontalen Positionen und die vertikalen und horizontalen Referenzpositionen gebildet, um die Kalibrierung effizient durchführen zu können. Das LiDAR-basierte Koordinatensystem ist ein auf den LiDAR-basierten Umgebungssensor bezogenes Koordinatensystem. Das Referenzkoordinatensystem kann ein Koordinatensystem des weiteren Umgebungssensors sein. Die Koordinatensysteme der Umgebungssensoren haben üblicherweise einen Ursprung an dem Fahrzeug. Bei der Verwendung einer Kamera als weiterem Umgebungssensor ist zusätzlich eine Transformation der 2D Information der Kamera in das Referenzkoordinatensystem durchzuführen, um dreidimensionale Information basierend auf der Kamera bereitzustellen, oder umgekehrt. Das Referenzkoordinatensystem kann auch ein externes Koordinatensystem sein, das nicht auf das Fahrzeug bezogen ist, insbesondere wenn die Kalibrierpositionen als Referenzpositionen verwendet werden. Auch können das LiDAR-basierte Koordinatensystem und das Referenzkoordinatensystem in ein weiteres Koordinatensystem überführt werden, insbesondere bei einer Verwendung von weiteren Umgebungssensoren.In an advantageous embodiment of the invention, the method includes an additional step for converting the determined vertical and horizontal positions of the at least one calibration object from a LiDAR-based coordinate system into a reference coordinate system with the vertical and horizontal reference positions of the at least one calibration object, or the method includes an additional step for converting the vertical and horizontal reference positions of the at least one calibration object from a reference coordinate system into a LiDAR-based coordinate system with the determined vertical and horizontal positions of the at least one calibration object. A common reference is therefore formed for the vertical and horizontal positions determined with the LiDAR-based environmental sensor and the vertical and horizontal reference positions in order to be able to carry out the calibration efficiently. The LiDAR-based coordinate system is a coordinate system related to the LiDAR-based environment sensor. The reference coordinate system can be a coordinate system of the additional environmental sensor. The coordinate systems of the environment sensors usually have an origin on the vehicle. When using a camera as an additional environment sensor, the 2D information of the camera must also be transformed into the reference coordinate system in order to provide three-dimensional information based on the camera, or vice versa. The reference coordinate system can also be an external coordinate system that is not related to the vehicle, especially when the calibration positions are used as reference positions. The LiDAR-based coordinate system and the reference coordinate system can also be converted into a further coordinate system, in particular when using further environmental sensors.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Kalibrieren des LiDAR-basierten Umgebungssensors basierend auf den bestimmten vertikalen und horizontalen Positionen und den vertikalen und horizontalen Referenzpositionen des wenigstens einen Kalibrierobjekts für die wenigstens drei unterschiedliche Kalibrierpositionen ein Minimieren von Abständen zwischen den bestimmten vertikalen und horizontalen Positionen und den vertikalen und horizontalen Referenzpositionen für die wenigstens drei unterschiedlichen Kalibrierpositionen. Das Minimieren der Abstände kann auf verschiedene Weisen erfolgen. Die mathematischen Prinzipien sind als solche bekannt, beispielsweise basierend auf quadratischen Abständen. Durch die Minimierung der Abstände wird eine beste Anpassung zwischen den bestimmten vertikalen und horizontalen Positionen und den vertikalen und horizontalen Referenzpositionen für die wenigstens drei unterschiedlichen Kalibrierpositionen durchgeführt, so dass alle Freiheitsgrade des LiDAR-basierten Umgebungssensors kalibriert werden können. Für die Kalibrierung kann eine Transformation gesucht werden, welche die vertikalen und horizontalen Positionen und den vertikalen und horizontalen Referenzpositionen des wenigstens einen Kalibrierobjekts für die wenigstens drei unterschiedliche Kalibrierpositionen in das Referenzkoordinatensystem transformiert. Bei der Kalibrierung bezogen auf eine optische Kamera, die eine zweidimensionale Matrix mit Bildpunkten bereitstellt, ist zusätzlich eine Transformation zwischen dem LiDAR-basierten Koordinatensystem bzw. dem Referenzkoordinatensystem, welche dreidimensionale Information enthalten, und der zweidimensionalen Matrix der optischen Kamera erforderlich. Bei einer Minimierung der Abstände in der zweidimensionalen Matrix mit Bildpunkten können die Abstände einfach minimiert werden. Entsprechende Projektionsvorschriften sind beispielsweise basierend auf dem sogenannten Pinhole-Kameramodell bekannt.In an advantageous embodiment of the invention, the calibration of the LiDAR-based environmental sensor based on the determined vertical and horizontal positions and the vertical and horizontal reference positions of the at least one calibration object for the at least three different calibration positions includes minimizing distances between the determined vertical and horizontal positions and the vertical and horizontal reference positions for the at least three different calibration positions. Minimizing the distances can be done in different ways. The mathematical principles are known as such, for example based on square distances. By minimizing the distances, a best fit between the determined vertical and horizontal positions and the vertical and horizontal reference positions for the at least three different calibration positions is performed, so that all freedom grade of the LiDAR-based environmental sensor can be calibrated. A transformation can be sought for the calibration, which transforms the vertical and horizontal positions and the vertical and horizontal reference positions of the at least one calibration object for the at least three different calibration positions into the reference coordinate system. When calibrating with reference to an optical camera that provides a two-dimensional matrix with pixels, a transformation between the LiDAR-based coordinate system or the reference coordinate system, which contain three-dimensional information, and the two-dimensional matrix of the optical camera is also required. When minimizing the distances in the two-dimensional matrix with pixels, the distances can simply be minimized. Corresponding projection rules are known, for example based on the so-called pinhole camera model.
In vorteilhafter Ausgestaltung der Erfindung umfasst das Verfahren ein Positionieren jeweils eines Kalibrierobjekts an jeder der wenigstens drei unterschiedlichen Kalibrierpositionen und das im Wesentlichen gleichzeitige Bestimmen der vertikalen und horizontalen Positionen der Kalibrierobjekte für die wenigstens drei unterschiedlichen Kalibrierpositionen, oder das Verfahren umfasst ein Positionieren eines Kalibrierobjekts an jeweils einer der wenigstens drei unterschiedlichen Kalibrierpositionen und das Bestimmen der vertikalen und horizontalen Positionen des Kalibrierobjekts die jeweils ein der wenigstens drei unterschiedlichen Kalibrierpositionen und ein Wechseln des Kalibrierobjekts zwischen den wenigstens drei unterschiedlichen Kalibrierpositionen. Bei einer Verwendung von wenigstens drei Kalibrierobjekten kann die Kalibrierung besonders schnell durchgeführt werden, wenn die Kalibrierobjekte gleichzeitig von dem LiDAR-basierten Umgebungssensor erfasst werden, um deren Positionen zu bestimmen. Gleichzeitig bedeutet dabei, dass die Kalibrierobjekte vorzugsweise bei einer Erfassung der Scanebene mit dem LiDAR-basierten Umgebungssensor erfasst werden können. Alternativ ist es erforderlich, das Fahrzeug mit dem Fahrunterstützungssystem und dem dazugehörenden LiDAR-basierten Umgebungssensor an verschiedenen Positionen zu positionieren, um die Kalibrierobjekte an allen Kalibrierpositionen zu erfassen. Alternativ kann die Kalibirierung mit beispielsweise nur einem Kalibrierobjekt durchgeführt werden, indem das Kalibrierobjekt zunächst an einer Kalibrierposition positioniert wird und die Position davon bestimmt wird. Im Anschluss kann das Kalibrierobjekt relativ zu dem Fahrzeug bzw. dem LiDAR-basierten Umgebungssensor an weiteren Kalibrierpositionen positioniert werden, bis alle für die Kalibrierung erforderlichen vertikalen und horizontalen Positionen des Kalibrierobjekts bestimmt wurden.In an advantageous embodiment of the invention, the method includes positioning a calibration object at each of the at least three different calibration positions and essentially simultaneously determining the vertical and horizontal positions of the calibration objects for the at least three different calibration positions, or the method includes positioning a calibration object at each one of the at least three different calibration positions and determining the vertical and horizontal positions of the calibration object each one of the at least three different calibration positions and changing the calibration object between the at least three different calibration positions. If at least three calibration objects are used, the calibration can be carried out particularly quickly if the calibration objects are detected simultaneously by the LiDAR-based environmental sensor in order to determine their positions. At the same time, this means that the calibration objects can preferably be detected when the scan plane is detected with the LiDAR-based environmental sensor. Alternatively, it is necessary to position the vehicle with the driving support system and the associated LiDAR-based environmental sensor at different positions in order to detect the calibration objects at all calibration positions. Alternatively, the calibration can be carried out with only one calibration object, for example, by initially positioning the calibration object at a calibration position and determining the position of it. The calibration object can then be positioned at further calibration positions relative to the vehicle or the LiDAR-based environmental sensor, until all of the vertical and horizontal positions of the calibration object required for the calibration have been determined.
Nachfolgend wird die Erfindung unter Bezugnahme auf die anliegende Zeichnung anhand bevorzugter Ausführungsformen näher erläutert. Die dargestellten Merkmale können sowohl jeweils einzeln als auch in Kombination einen Aspekt der Erfindung darstellen. Merkmale verschiedener Ausführungsbeispiele sind übertragbar von einem Ausführungsbeispiel auf ein anderes.The invention is explained in more detail below with reference to the attached drawing based on preferred embodiments. The features shown can represent an aspect of the invention both individually and in combination. Features of different exemplary embodiments can be transferred from one exemplary embodiment to another.
Es zeigt
-
1 eine schematische Ansicht eines Fahrzeugs mit einem Fahrunterstützungssystem mit einem LiDAR-basierten Umgebungssensor und einer Steuereinheit, die über eine Datenverbindung miteinander verbunden sind, gemäß einer ersten, bevorzugten Ausführungsform, -
2 eine schematische Darstellung eines Kalibierobjekts gemäß einer zweiten Ausführungsform mit drei länglichen Einzelobjekten, wobei die Einzelobjekte in einer Ebene angeordnet sind und zwei erste Einzelobjekte parallel zueinander angeordnet sind, und ein zweites Einzelobjekt sich zwischen den zwei ersten Einzelobjekten erstreckt, -
3 eine schematische Darstellung von zwei unterschiedlich ausgerichteten Einzelobjekten des Kalibrierobjekts aus2 in Bezug auf eine Scanebene des LiDAR-basierten Umgebungssensors der ersten Ausführungsform, mit jeweils einer Kurve eines Verlaufs einer Intensität von empfangenen Reflektionen in der Scanebene, -
4 eine schematische Darstellung des Kalibierobjekts aus2 mit einer zusätzlichen Kurve eines Verlaufs einer Intensität von empfangenen Reflektionen in der Scanebene über eine gesamte horizontale Erstreckung des Kalibrierobjekts mit den drei Einzelobjekten, -
5 eine schematische Darstellung eines Kalibierobjekts gemäß einer dritten Ausführungsform mit drei länglichen Einzelobjekten, wobei die Einzelobjekte in einer Ebene angeordnet sind und zwei erste Einzelobjekte parallel zueinander angeordnet sind, und ein zweites Einzelobjekt sich zwischen den zwei ersten Einzelobjekten erstreckt, mit einer Kurve eines Verlaufs einer Intensität von empfangenen Reflektionen in einer Scanebene, -
6 eine schematische Darstellung eines Kalibierobjekts gemäß einer vierten Ausführungsform mit drei länglichen Einzelobjekten, wobei die Einzelobjekte in einer Ebene angeordnet sind und zwei erste Einzelobjekte parallel zueinander angeordnet sind, und ein zweites Einzelobjekt sich zwischen den zwei ersten Einzelobjekten erstreckt, und wobei die Einzelobjekte an ihren Enden miteinander verbunden sind, -
7 eine schematische Darstellung eines Kalibierobjekts gemäß einer fünften Ausführungsform mit drei länglichen Einzelobjekten, wobei die Einzelobjekte in einer Ebene angeordnet sind und zwei erste Einzelobjekte parallel zueinander angeordnet sind, und ein zweites Einzelobjekt sich zwischen den zwei ersten Einzelobjekten erstreckt, und wobei die Einzelobjekte miteinander verbunden sind, -
8 ein Ablaufdiagramm eines Verfahrens zum Kalibrieren des LiDAR-basierten Umgebungssensors des Fahrzeugs aus1 unter Verwendung von Kalibrierobjekten aus einer der2 bis7 , -
9 ein Ablaufdiagramm eines Verfahrens zur Bestimmung einer vertikalen Position eines der Kalibrierobjekte aus den2 bis7 , und -
10 ein Ablaufdiagramm eines Verfahrens zum Bestimmen einer Position von Einzelobjekten in einer Scanebene des LiDAR-basierten Umgebungssensors des ersten Ausführungsbeispiels.
-
1 a schematic view of a vehicle with a driving support system with a LiDAR-based environment sensor and a control unit, which are connected to one another via a data connection, according to a first preferred embodiment, -
2 a schematic representation of a calibration object according to a second embodiment with three elongated individual objects, the individual objects being arranged in one plane and two first individual objects being arranged parallel to one another, and a second individual object extending between the two first individual objects, -
3 shows a schematic representation of two differently aligned individual objects of the calibration object2 in relation to a scan plane of the LiDAR-based surroundings sensor of the first embodiment, each with a curve of a course of an intensity of received reflections in the scan plane, -
4 a schematic representation of the calibration object2 with an additional curve of a course of an intensity of received reflections in the scan plane over an entire horizontal extent of the calibration object with the three individual objects, -
5 a schematic representation of a calibration object according to a third embodiment with three elongated individual objects, wherein the individual objects are arranged in one plane and two first individual objects are arranged parallel to one another, and a second individual object extends between the two first individual objects, with a curve of a course of an intensity from received reflections in a scan plane, -
6 a schematic representation of a calibration object according to a fourth embodiment with three elongated individual objects, the individual objects being arranged in one plane and two first individual objects being arranged parallel to one another, and a second individual object extending between the two first individual objects, and the individual objects projects are connected at their ends, -
7 a schematic representation of a calibration object according to a fifth embodiment with three elongated individual objects, the individual objects being arranged in one plane and two first individual objects being arranged parallel to one another, and a second individual object extending between the two first individual objects, and the individual objects being connected to one another , -
8th Figure 12 shows a flowchart of a method for calibrating the vehicle's LiDAR-basedenvironmental sensor 1 using calibration objects from one of the2 until7 , -
9 a flowchart of a method for determining a vertical position of one of the calibration objects from2 until7 , and -
10 a flowchart of a method for determining a position of individual objects in a scan plane of the LiDAR-based surroundings sensor of the first embodiment.
Die
Das Fahrunterstützungssystem 12 umfasst einen LiDAR-basierten Umgebungssensor 14, eine optische Kamera 15 und eine Steuereinheit 16, die über eine Datenverbindung 18 miteinander verbunden sind.The driving
Der LiDAR-basierte Umgebungssensor 14 ist ausgeführt, eine Umgebung 20 des Fahrzeugs 10 zu erfassen. Die Erfassung erfolgt mit Scanpunkten 22 in einer Scanebene 24, indem Laserpulse in der Scanebene 24 ausgesendet werden und Reflektionen der ausgesendeten Laserpulse in der Scanebene 24 empfangen werden. Die Scanpunkte 22 werden durch die empfangenen Reflektionen der ausgesendeten Laserpulse in der Scanebene 24. Die Scanebene 24 wird durch die ausgesendeten Laserpulse und die empfangenen Reflektionen aufgespannt. In der Scanebene 24 werden die Laserpulse mit einem gleichmäßigen Winkelabstand ausgesendet. Zusätzlich könne mit dem LiDAR-basierten Umgebungssensor 14 Intensitäten 26 der empfangenen Reflektionen bestimmt werden. Entsprechende LiDAR-basierte Umgebungssensoren 14 sind als solche bekannt.The LiDAR-based
Auch die optische Kamera 15 ist ausgeführt, die Umgebung 20 des Fahrzeugs 10 zu erfassen. Die Erfassung erfolgt in bekannter Weise basierend auf einer Punktmatrix mit einzelnen Bildpunkten, die auch als Pixel bezeichnet werden und jeweils eine Helligkeitsinformation und/oder Farbinformation umfassen.
Die Steuereinheit 16 umfasst einen Prozessor und einen Speicher, um ein Programm zur Durchführung einer Unterstützungsfunktion des Fahrunterstützungssystems 12 auszuführen. Die Steuereinheit 16 führt eine Ansteuerung des LiDAR-basierten Umgebungssensors 14 und/oder der optischen Kamera 15 durch und empfängt und verarbeitet von dem LiDAR-basierten Umgebungssensor 14 und/oder von der optischen Kamera 15 bereitgestellte Sensorinformation.The
Die Datenverbindung 18 ist beispielsweise nach der Art eines im Automobilbereich üblichen Bussystems ausgeführt. Verschiedene Bussysteme wie CAN, FlexRay, LON oder andere sind in diesem Zusammenhang bekannt.The
Nachstehend wird unter zusätzlichem Bezug auf die Ablaufdiagramme der
Das Verfahren wird beispielhaft mit dem Kalibierobjekt 32 durchgeführt, das in den
Das Kalibrierobjekt 32 ist derart positioniert, dass die Scanebene 24 alle Einzelobjekte 28, 30 davon schneidet, wie in den
Das Verfahren beginnt in Schritt S100 mit einem Positionieren jeweils eines Kalibrierobjekts 32 an drei unterschiedlichen Kalibrierpositionen. Die Bestimmung der horizontalen und vertikalen Koordinaten der Schnittpunkte kann getrennt oder gleichzeitig mit unterschiedlichen Positionen erfolgen Die Positionierung der drei Kalibrierobjekte 32 erfolgt derart, dass die Kalibrierobjekte 32 gleichzeitig sowohl von dem LiDAR-basierten Umgebungssensor 14 wie auch von der optischen Kamera 15 erfasst werden können. Die Positionierung erfolgt relativ zu dem Fahrzeug 10 bzw. dem LiDAR-basierten Umgebungssensor 14 sowie der optischen Kamera 15. Es ergeben sich drei Kalibrierpositionen für die drei Kalibrierobjekte 32.In step S100, the method starts with positioning a
Schritt S110 betrifft ein Bestimmen einer vertikalen Position h des Kalibrierobjekts 32 für drei unterschiedliche Kalibrierpositionen. Das Bestimmen der vertikalen Positionen der drei Kalibrierobjekte 32 erfolgt zeitgleich für die drei unterschiedlichen Kalibrierpositionen, d.h. basierend auf einem einfachen Scan der Scanebene 24. Die vertikale Position h ist beispielsweise in
Die Details zum Bestimmen der vertikalen Position h jedes Kalibrierobjekts 32 sind nachstehend unter Bezug auf das Ablaufdiagramm der
Schritt S120 betrifft ein Bestimmen einer horizontalen Position der drei Kalibrierobjekte 32 in der Scanebene 24 des LiDAR-basierten Umgebungssensors 14 für die drei unterschiedlichen Kalibrierpositionen. Das Bestimmen der horizontalen Positionen der drei Kalibrierobjekte 32 erfolgt zeitgleich für die drei unterschiedlichen Kalibrierpositionen, d.h. basierend auf einem einfachen Scan der Scanebene 24.Step S120 relates to determining a horizontal position of the three
Das Bestimmen der horizontalen Position der drei Kalibrierobjekte 32 in der Scanebene 24 des LiDAR-basierten Umgebungssensors 14 basiert auf der Erfassung der Umgebung 20 in den nachfolgend erörterten Schritten S300 bis S340. Es ist keine erneute Erfassung der Umgebung 20 erforderlich.Determining the horizontal position of the three
Vorliegend sind die Kalibrierobjekte 32 als Kalibriertafeln ausgeführt. Damit kann die horizontale Position des jeweiligen Kalibrierobjekts 32 in der Scanebene 24 basierend auf Positionen der ersten Einzelobjekte 28 des Kalibrierobjekts 32 oder auch basierend auf einer Position der Kalibriertafel selber bestimmt werden. Basierend auf einem Abstand zu dem Kalibrierobjekt 32, der sich unmittelbar aus der Laufzeit der mit dem LiDAR-basierten Umgebungssensor 14 empfangenen Reflektion ergibt, kann zum Beispiel die Position des Kalibrierobjekts 32 vollständig ermittelt werden.In the present case, the calibration objects 32 are designed as calibration panels. The horizontal position of the
Schritt S130 betrifft ein Ermitteln einer vertikalen und horizontalen Referenzposition des jeweiligen Kalibrierobjekts 32 für die drei Kalibrierpositionen.Step S130 relates to determining a vertical and horizontal reference position of the
Das Ermitteln einer vertikalen und horizontalen Referenzposition des wenigstens einen Kalibrierobjekts 32 umfasst ein Ermitteln der vertikalen und horizontalen Referenzposition des jeweiligen Kalibrierobjekts 32 mit der optischen Kamera 15.Determining a vertical and horizontal reference position of the at least one
Alternativ werden die vertikalen und horizontalen Referenzpositionen basierend auf den entsprechenden Kalibrierpositionen ermittelt. Die Referenzpositionen ergeben sich also durch das Positionieren der Kalibrierobjekte 32 an den vorgegebenen vertikalen und horizontalen Referenzpositionen. Es erfolgt zusätzlich eine entsprechende Positionierung des Fahrzeugs 10 mit dem LiDAR-basierten Umgebungssensor 14.Alternatively, the vertical and horizontal reference positions are determined based on the corresponding calibration positions. The reference positions are thus obtained by positioning the calibration objects 32 at the specified vertical and horizontal reference positions. In addition, the
Schritt S140 betrifft ein Umwandeln der bestimmten vertikalen und horizontalen Positionen h des entsprechenden Kalibrierobjekts 32 aus einem LiDAR-basierten Koordinatensystem in ein Referenzkoordinatensystem mit den vertikalen und horizontalen Referenzpositionen des jeweiligen Kalibrierobjekts 32, oder ein Umwandeln der vertikalen und horizontalen Referenzpositionen des entsprechenden Kalibrierobjekts 32 aus einem Referenzkoordinatensystem in ein LiDAR-basiertes Koordinatensystem mit den bestimmten vertikalen und horizontalen Positionen h des jeweiligen Kalibrierobjekts 32. Das LiDAR-basierte Koordinatensystem ist ein auf den LiDAR-basierten Umgebungssensor 14 bezogenes Koordinatensystem. Das Referenzkoordinatensystem ist vorliegend ein Koordinatensystem der optischen Kamera 15. Die Koordinatensysteme haben einen Ursprung an dem Fahrzeug 10. Zusätzlich wird eine Transformation zwischen den 2D Information der optischen Kamera 15 und dem Referenzkoordinatensystem durchgeführt, um dreidimensionale Information basierend auf der zweidimensionalen Information der optischen Kamera 15 bereitzustellen, oder umgekehrt.Step S140 relates to converting the determined vertical and horizontal positions h of the corresponding
Schritt S150 betrifft ein Kalibrieren des LiDAR-basierten Umgebungssensors 14 basierend auf den bestimmten vertikalen und horizontalen Positionen h und den vertikalen und horizontalen Referenzpositionen des Kalibrierobjekts 32 für die drei unterschiedlichen Kalibrierpositionen.Step S150 relates to calibrating the LiDAR-based
Das Kalibrieren des LiDAR-basierten Umgebungssensors 14 erfolgt basierend auf den bestimmten vertikalen und horizontalen Positionen h und den vertikalen und horizontalen Referenzpositionen des Kalibrierobjekts 3 für die drei unterschiedlichen Kalibrierpositionen. Durch die drei unterschiedlichen Kalibrierpositionen können die Position und Ausrichtung des LiDAR-basierten Umgebungssensors 14 hinreichend definiert werden. Ausgehend von den Abweichungen zwischen den bestimmten vertikalen und horizontalen Positionen h des Kalibrierobjekts 32 und den dazugehörigen vertikalen und horizontalen Referenzpositionen wird eine Abbildung ermittelt, um die Kalibrierung durchzuführen.The LiDAR-based
Dabei erfolgt ein Minimieren von Abständen zwischen den bestimmten vertikalen und horizontalen Positionen h und den vertikalen und horizontalen Referenzpositionen für die drei Kalibrierpositionen. Das Minimieren der Abstände kann auf verschiedene Weisen erfolgen. Es wird eine Transformation gesucht, welche die vertikalen und horizontalen Positionen h und die vertikalen und horizontalen Referenzpositionen des Kalibrierobjekts 32 für die drei unterschiedlichen Kalibrierpositionen in das Referenzkoordinatensystem transformiert. Basierend auf den ermittelten Positionen der drei Kalibrierobjekte 32 können alle Freiheitsgrade des LiDAR-basierten Umgebungssensors 14 relativ zu der optischen Kamera 15 kalibriert werden.In this case, the distances between the determined vertical and horizontal positions h and the vertical and horizontal reference positions for the three calibration positions are minimized. Minimizing the distances can be done in different ways. A transformation is sought which transforms the vertical and horizontal positions h and the vertical and horizontal reference positions of the
Nachfolgend wird zusätzlich das Verfahren zur Bestimmung der vertikalen Position h eines jeweiligen Kalibrierobjekts 32, das wenigstens drei längliche Einzelobjekte 28, 30 umfasst, die in einer Ebene angeordnet sind, wobei zwei erste Einzelobjekte 28 parallel zueinander angeordnet sind und ein zweites Einzelobjekt 30 sich zwischen den zwei ersten Einzelobjekten 28 erstreckt, mit einer Scanebene 24 des LiDAR-basierten Umgebungssensors 14 gemäß dem obigen Schritt S110 im Detail beschrieben.The method for determining the vertical position h of a
Das Verfahren beginnt in Schritt S200 mit dem Positionieren des jeweiligen Kalibrierobjekts 32 in der Scanebene 24 des LiDAR-basierten Umgebungssensors 14. Dadurch schneidet die Scanebene 24 die Einzelobjekte 28, 30 des jeweiligen Kalibrierobjekts 32.The method begins in step S200 with the positioning of the
Schritt S210 betrifft ein Bestimmen der Positionen der jeweiligen Einzelobjekte 28, 30 in der Scanebene 24 des LiDAR-basierten Umgebungssensors 14 mit dem LiDAR-basierten Umgebungssensor 14.Step S210 relates to determining the positions of the respective
Details sind nachstehend in Bezug auf die Schritte S300 bis S340 angegebenDetails are given below in relation to steps S300 to S340
Schritt S220 betrifft ein Bestimmen der vertikalen Position h des Kalibrierobjekts 32 basierend auf den Positionen der Einzelobjekte 28, 30 in der Scanebene 24 des LiDAR-basierten Umgebungssensors 14.Step S220 relates to determining the vertical position h of the
Die vertikale Position h des jeweiligen Kalibrierobjekts 32 wird dabei zunächst als relative Position bestimmt. Daraus kann bei der nachfolgenden Kalibrierung durch die Referenzposition des Kalibrierobjekts 32 eine absolute vertikale Position h bestimmt werden.The vertical position h of the
Ausgehend von den bestimmten Positionen der Einzelobjekte 28, 30 in der Scanebene 24 des LiDAR-basierten Umgebungssensors 14 werden Abstände a, b zwischen den Einzelobjekten 28, 30 in der Scanebene 24 bestimmt. Die Bestimmung erfolgt basierend auf geometrischen Zusammenhängen abhängig von dem jeweiligen Kalibrierobjekt 32. So kann zum Beispiel unter Anwendung des Strahlensatzes die vertikale Position h des Kalibrierobjekts 32 bestimmt werden. Durch zum Beispiel die Betrachtung des Verhältnisses der Abstände a, b der beiden ersten Einzelobjekte 28 zu dem zweiten Einzelobjekt 30 und einer Höhe des Kalibrierobjekts 32 zu der vertikalen Position h kann die vertikale Position h des Kalibrierobjekts 32 basierend auf bekannten bzw. ermittelten Werten zuverlässig bestimmt werden. Die Höhe hTafel des Kalibrierobjekts 32 ist dabei vorgegeben. Die Höhe hTafel des Kalibrierobjekts 32 kann der Ausdehnung des physikalischen Kalibrierobjekts 32 entsprechen oder einer Höhe, die durch die Anordnung der Einzelobjekte 28, 30 definiert ist. Bei dem Kalibrierobjekt 32 der
Nachfolgend wird das Verfahren aus Schritt S210 zum Bestimmen einer Position von Einzelobjekten 28, 30 in der Scanebene 24 des LiDAR-basierten Umgebungssensors 14 und zur Verortung eines Kalibierobjekts 32 mit den Einzelobjekten 28, 30 zur Kalibirierung des LiDAR-basierten Umgebungssensors 14 im Detail beschrieben.The method from step S210 for determining a position of
Das Verfahren beginnt mit Schritt S300, der ein Aussenden von einer Mehrzahl Laserpulsen 22 in der Scanebene 24 des LiDAR-basierten Umgebungssensors 14 umfasst. Die die ausgesendeten Laserpulse haben jeweils die gleiche Pulsintensität, wobei in diesem Ausführungsbeispiel von dem LiDAR-basierten Umgebungssensor 14 jeweils ein Laserpuls zu einem Zeitpunkt ausgesendet wird.The method begins with step S300, which includes emitting a plurality of
Schritt S310 betrifft ein Empfangen von Reflektionen der ausgesendeten Laserpulse aus der Scanebene 24. Die Reflektionen werden von dem LiDAR-basierten Umgebungssensor 14 empfangen. Das Empfangen der Reflektionen der ausgesendeten Laserpulse aus der Scanebene 24 umfasst eine Laufzeiterfassung von dem Aussenden der Laserpulse bis zum Empfang der entsprechenden Reflektionen, so dass für jeden Scanpunkt 22 eine Abstandsinformation für die Reflektion des ausgesendeten Laserpulses bestimmt wird.Step S310 relates to receiving reflections of the emitted laser pulses from the
Die Laserpulse werden dabei nacheinander ausgesendet, so dass auch die Reflektionen nacheinander empfangen werden, so dass sich im Detail eine Abfolge von Wiederholungen der Schritte S300 und S310 ergibt, um alle Scanpunkte 22 in der Scanebene 24 zu erfassen. Prinzipiell kann es aber ausreichend sein, Scanpunkte 22 im Bereich des jeweiligen Einzelobjekts 28, 30 zu erfassen, beispielsweise wenn dessen Position näherungsweise vorab bekannt ist oder zuerst eine Groberfassung zur ungefähren Bestimmung der Position durchgeführt wird.In this case, the laser pulses are emitted one after the other, so that the reflections are also received one after the other, so that in detail a sequence of repetitions of steps S300 and S310 results in order to find all scan points 22 in the
Schritt S320 betrifft ein Bestimmen der Intensitäten 26 der empfangenen Reflektionen. Das Bestimmen der Intensitäten 26 der empfangenen Reflektionen erfolgt in diesem Ausführungsbeispiel als integraler Schritt beim Empfangen der Reflektionen der ausgesendeten Laserpulse aus der Scanebene 26 in Schritt S110.Step S320 relates to determining the
Schritt S330 betrifft ein Ermitteln von zu dem jeweiligen Einzelobjekt 28, 30 gehörenden Reflektionen. Somit können Scanpunkte 22 dem Einzelobjekt 28, 30 für eine weitere Verarbeitung zugeordnet werden.Step S330 relates to determining reflections belonging to the respective
Das Ermitteln von zu dem Einzelobjekt 28, 30 gehörenden Reflektionen erfolgt zunächst basierend auf den Laufzeiten der empfangenen Reflektionen. Dadurch können Reflektionen von dem Kalibrierobjekt 32 aufgrund Ihrer gleichen Laufzeiten identifiziert werden. Es wird also eine Gruppe von benachbarten Reflektionen aus der Scanebene 24 als zu dem jeweiligen Einzelobjekt 28, 30 gehörend ermittelt, wenn diese Reflektionen die gleiche Laufzeit aufweisen und wenn diese Reflektionen eine abweichende Laufzeit verglichen mit benachbarten Reflektionen aufweisen.Reflections belonging to the
In einem zusätzlichen Schritt wird ein Vergleich der Intensitäten 26 der empfangenen Reflektionen im Bereich des Kalibrierobjekts 32 durchgeführt. Durch die hohe Reflektivität weisen Reflektionen an den Einzelobjekten 28, 30 eine erhöhte Intensität 26 gegenüber Reflektionen aus anderen Bereichen des Kalibrierobjekts 32 auf. Es werden also benachbarte Reflektionen erhöhten Intensitäten 26 zusammen dem jeweiligen Einzelobjekt 28, 32 zugerechnet. Dies umfasst Scanpunkte 26 an Rändern der jeweiligen Einzelobjekte 28, 30, bei denen die Laserpulse nur teilweise auf das jeweilige Einzelobjekt 28, 30 treffen und somit deren Intensität erhöht ist gegenüber Reflektionen, die nicht von den jeweiligen Einzelobjekten 28, 30 stammen.In an additional step, the
Schritt S340 betrifft ein Ermitteln der Position 38 des jeweiligen Einzelobjekts 28, 30 basierend auf den Intensitäten 26 der zu dem Einzelobjekt 28, 30 gehörenden empfangenen Reflektionen.Step S340 relates to determining the
Dazu wird basierend auf den Intensitäten 26 der zu dem jeweiligen Einzelobjekt 28, 30 gehörenden empfangenen Reflektionen ein Verlauf 34 der Intensität 26 über die zu dem Einzelobjekt 28, 30 gehörenden empfangenen Reflektionen ermittelt. Der Verlauf 34 der Intensität 26 wird basierend auf den zu dem jeweiligen Einzelobjekt 28, 30 gehörenden Reflektionen interpoliert. Verschiedene mathematische Methoden der Interpolation sind als solche dem Fachmann bekannt und können verwendet werden. Für das vorliegend verwendet Kalibrierobjekt 32 sind die Verläufe 34 der Intensität 26 in den
Basierend auf den Positionen 38 der Einzelobjekte 28, 30 kann eine Positionsbestimmung für das Kalibrierobjekt 32 erfolgen, wie beispielhaft in
Alternativ kann das Verfahren mit dem in
Die länglichen Einzelobjekte 28, 30 können beispielsweise als Balken oder Leisten ausgebildet und gemeinsam angeordnet sein. Zusätzlich oder alternativ kann das Kalibrierobjekt 32 eine Rahmenstruktur oder eine Stützstruktur aufweisen, an der die Einzelobjekte 28, 30 zur Bildung des Kalibrierobjekts 32 gehalten sind. Die Rahmenstruktur oder Stützstruktur ist mit gegenüber den Einzelobjekten 28, 30 geringen Abmessungen ausgeführt.The elongate
Bei dem Kalibrierobjekt 32 aus
Das oben beschriebene Verfahren wird vorzugsweise mit einem Kalibrierobjekt 32 durchgeführt, dass in
Auch das Kalibrierobjekt 32 aus
Bezugszeichenlistereference list
- 1010
- Fahrzeugvehicle
- 1212
- Fahrunterstützungssystemdriving support system
- 1414
- LiDAR-basierter UmgebungssensorLiDAR-based environmental sensor
- 1515
- weiterer Umgebungssensor, optische Kamerafurther environment sensor, optical camera
- 1616
- Steuereinheitcontrol unit
- 1818
- DatenverbindungData Connection
- 2020
- Umgebungvicinity
- 2222
- Scanpunktscan point
- 2424
- Scanebenescan plane
- 2626
- Intensitätintensity
- 2828
- erstes Einzelobjektfirst single object
- 3030
- zweites Einzelobjektsecond single object
- 3232
- Kalibrierobjektcalibration object
- 3434
- Verlauf der Intensitätcourse of the intensity
- 3636
- Maximummaximum
- 3838
- Positionposition
- 4040
- Schnittpunkt intersection
- αa
- Schnittwinkelcutting angle
- hH
- vertikale Positionvertical position
- hTafelhboard
- Höhe (Kalibrierobjekt)height (calibration object)
- aa
- AbstandDistance
- bb
- AbstandDistance
ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturPatent Literature Cited
- DE 102015118874 A1 [0014]DE 102015118874 A1 [0014]
Claims (12)
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102021111014.9A DE102021111014A1 (en) | 2021-04-29 | 2021-04-29 | Determination of a vertical position of a calibration object with a LiDAR-based environment sensor and calibration of a LiDAR-based environment sensor with a scan plane |
PCT/EP2022/060834 WO2022229062A1 (en) | 2021-04-29 | 2022-04-25 | Determination of a vertical position of a calibration object using a lidar-based surroundings sensor and calibration of a lidar-based surroundings sensor having a scanning plane |
EP22725415.8A EP4330717A1 (en) | 2021-04-29 | 2022-04-25 | Determination of a vertical position of a calibration object using a lidar-based surroundings sensor and calibration of a lidar-based surroundings sensor having a scanning plane |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102021111014.9A DE102021111014A1 (en) | 2021-04-29 | 2021-04-29 | Determination of a vertical position of a calibration object with a LiDAR-based environment sensor and calibration of a LiDAR-based environment sensor with a scan plane |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102021111014A1 true DE102021111014A1 (en) | 2022-11-03 |
Family
ID=81846222
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102021111014.9A Pending DE102021111014A1 (en) | 2021-04-29 | 2021-04-29 | Determination of a vertical position of a calibration object with a LiDAR-based environment sensor and calibration of a LiDAR-based environment sensor with a scan plane |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP4330717A1 (en) |
DE (1) | DE102021111014A1 (en) |
WO (1) | WO2022229062A1 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102010062696A1 (en) | 2010-12-09 | 2012-06-14 | Robert Bosch Gmbh | Method and device for calibrating and adjusting a vehicle environment sensor. |
DE102015118874A1 (en) | 2015-11-04 | 2017-05-04 | Valeo Schalter Und Sensoren Gmbh | Method for operating a sensor system of a motor vehicle, driver assistance system and system for calibrating a sensor system of a motor vehicle |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1584946A3 (en) * | 2004-04-02 | 2006-03-22 | Omron Corporation | Method of adjusting monitor axis of optical sensors |
DE102004033114A1 (en) * | 2004-07-08 | 2006-01-26 | Ibeo Automobile Sensor Gmbh | Method for calibrating a distance image sensor |
JP2009168472A (en) * | 2008-01-10 | 2009-07-30 | Zenrin Co Ltd | Calibration device and calibration method of laser scanner |
DE102017212002A1 (en) * | 2017-07-13 | 2019-01-17 | Robert Bosch Gmbh | Method and arrangement for determining the orientation of a stationary laser scanner |
US11435456B2 (en) * | 2017-12-28 | 2022-09-06 | Lyft, Inc. | Sensor calibration facility |
-
2021
- 2021-04-29 DE DE102021111014.9A patent/DE102021111014A1/en active Pending
-
2022
- 2022-04-25 EP EP22725415.8A patent/EP4330717A1/en not_active Withdrawn
- 2022-04-25 WO PCT/EP2022/060834 patent/WO2022229062A1/en active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102010062696A1 (en) | 2010-12-09 | 2012-06-14 | Robert Bosch Gmbh | Method and device for calibrating and adjusting a vehicle environment sensor. |
DE102015118874A1 (en) | 2015-11-04 | 2017-05-04 | Valeo Schalter Und Sensoren Gmbh | Method for operating a sensor system of a motor vehicle, driver assistance system and system for calibrating a sensor system of a motor vehicle |
Also Published As
Publication number | Publication date |
---|---|
EP4330717A1 (en) | 2024-03-06 |
WO2022229062A1 (en) | 2022-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1664838B1 (en) | Method and computer program for the detection of the contour of an obstacle in the surroundings of a vehicle | |
WO2018069405A1 (en) | Motor vehicle and method for a 360° detection of the surroundings | |
DE102004033114A1 (en) | Method for calibrating a distance image sensor | |
DE102015118874A1 (en) | Method for operating a sensor system of a motor vehicle, driver assistance system and system for calibrating a sensor system of a motor vehicle | |
WO2021001341A1 (en) | Calibrating an active optical sensor system with the aid of a calibration target | |
DE102017212371B4 (en) | Determination of a mark in a data record with three-dimensional surface coordinates of a scene detected by means of at least one laser scanner | |
DE102017105209A1 (en) | Determination of inclination angles with a laser scanner | |
DE102017106484A1 (en) | Determining a pitch angle of an environmental sensor of a vehicle | |
EP3788405B1 (en) | Method for determining the angular position of an optoelectronic sensor, and test stand | |
DE102021111014A1 (en) | Determination of a vertical position of a calibration object with a LiDAR-based environment sensor and calibration of a LiDAR-based environment sensor with a scan plane | |
EP3759517B1 (en) | Method and device for estimating the height of a reflector of a vehicle | |
DE102005037094B3 (en) | Calibration method for a sensor for measuring distances such as for detecting the distance of an object from e.g. a vehicle | |
DE102021111013A1 (en) | Calibration object and method for determining a position of an individual object in a scan plane of a LiDAR-based environmental sensor | |
EP3990944B1 (en) | Determining a pitch angle position of an active optical sensor system | |
DE102021000474A1 (en) | Device and method for calibrating a laser scanner | |
DE102017101791A1 (en) | Optoelectronic sensor device for a motor vehicle and motor vehicle | |
EP3788406B1 (en) | Method for determining the alignment of an optoelectronic sensor using scanning points of a sensor image, and optoelectronic sensor | |
DE102019118481A1 (en) | Calibrating an active optical sensor system | |
DE102019210129A1 (en) | Method for checking a calibration of several sensors and a motor vehicle with several sensors | |
EP4357808A1 (en) | Method for determining markers for a position and/or orientation of a mobile device in an environment | |
DE102021002795A1 (en) | Method and device for detecting a blockage of a lidar system, and vehicle | |
DE102022201421A1 (en) | Method for determining a position and/or orientation of a mobile device in an environment | |
EP3555657A1 (en) | Synthetic-aperture radar method and synthetic-aperture radar system | |
EP4318036A1 (en) | Monitoring of the alignment of a laser scanner | |
DE102023205156A1 (en) | Device and method for determining sampling gaps in a sampling area of a lidar sensor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R163 | Identified publications notified |