[go: up one dir, main page]

WO2021160444A1 - Verfahren zur kalibrierung eines lidarsensors - Google Patents

Verfahren zur kalibrierung eines lidarsensors Download PDF

Info

Publication number
WO2021160444A1
WO2021160444A1 PCT/EP2021/052102 EP2021052102W WO2021160444A1 WO 2021160444 A1 WO2021160444 A1 WO 2021160444A1 EP 2021052102 W EP2021052102 W EP 2021052102W WO 2021160444 A1 WO2021160444 A1 WO 2021160444A1
Authority
WO
WIPO (PCT)
Prior art keywords
lidar sensor
intensity
lidar
camera
laser radiation
Prior art date
Application number
PCT/EP2021/052102
Other languages
English (en)
French (fr)
Inventor
Alexander Braun
Philipp SCHINDLER
Original Assignee
Daimler Ag
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler Ag, Robert Bosch Gmbh filed Critical Daimler Ag
Priority to CN202180013225.9A priority Critical patent/CN115066629B/zh
Priority to US17/760,327 priority patent/US20230076693A1/en
Publication of WO2021160444A1 publication Critical patent/WO2021160444A1/de

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4868—Controlling received signal intensity or exposure of sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning

Definitions

  • the invention relates to a method for calibrating a lidar sensor of a vehicle or a robot.
  • a method for calibrating a camera of a vehicle is known from DE 102016009327 A1, images of a vehicle environment being recorded by means of the camera.
  • a defined pattern is transmitted into the vehicle environment in at least one section of a detection area of the camera, which is detected by the camera.
  • distance values are determined for the pattern contained in the images captured by the camera, and the camera is calibrated on the basis of the distance values.
  • the lidar sensor is designed to be self-calibrating, the self-calibration being based on object tracking.
  • a laser distance determination device with a pulse laser, a light deflection device, a photo-receiving arrangement having an optoelectronic photoreceiver and control and evaluation electronics is known, the pulse laser emitting light pulses in a controlled manner and the successively emitted light pulses via the light deflection device at changing angles in one Measuring range can be steered.
  • Light pulses thrown back from an object located in the measurement area are received by the photoreceiver arrangement and in the control and evaluation electronics a scanning signal representative of the distance of the object from the light deflection device is generated from the time between the emission and reception of a light pulse, taking into account the speed of light determined and a compensation for transit time measurement errors occurring due to the signal dynamics is carried out.
  • the control and evaluation electronics comprise means for measuring a total electrical charge that has flowed through the photoreceiver during the reception of a light pulse and for measuring a pulse width of the received light pulse, the compensation of the transit time measurement errors occurring due to the signal dynamics depending on the measured electrical charge and pulse width on the basis of the respective correction values.
  • the correction values are determined by the control and evaluation electronics on the basis of charges and pulse widths and pulse transit times, which were measured with respect to a reference object having different reflectivities and arranged at a defined distance from the light deflection device.
  • the reference object is scanned before and during normal operation of the laser radar.
  • the invention is based on the object of specifying a novel method for calibrating a lidar sensor of a vehicle or of a robot.
  • a lidar sensor of a vehicle or a robot in a reference calibration, laser radiation from the lidar sensor is applied to a reference object having a predetermined reflectivity and located at a predetermined distance from the lidar sensor. Furthermore, laser radiation reflected from the reference object is received by means of a lidar receiver of the lidar sensor and the lidar sensor generates a sensor signal that correlates with the laser radiation and has a reference intensity, a sensitivity of the lidar receiver being calibrated as a function of the reference intensity.
  • an operational calibration during operation of the vehicle or robot, it is detected by means of at least one camera whether at least one object is present in the detection area of the lidar sensor, the reflectivity of which corresponds to that of a reference object of the reference calibration. If such an object is present, a distance to the object is determined by means of the lidar sensor. Furthermore, an intensity of a sensor signal generated on the basis of a laser radiation reflected from the object is determined, the determined intensity with an associated one Reference intensity is compared and, depending on the comparison of the intensity with the reference intensity, the sensitivity of the lidar receiver, for example a photon detector arrangement, is calibrated.
  • the named robot is designed, for example, as a moving, swimming or lying robot.
  • the robot is also designed as a vehicle, for example as a highly or fully automated passenger car, as a highly or fully automated transport vehicle or as a highly or fully automated truck.
  • the robot can also be an industrial robot, automated lawnmower, vacuum robot, mopping robot or automated watercraft.
  • the sensitivity of the lidar receiver and / or a transmission power of the lidar sensor are modified in such a way that the lidar receiver outputs a sensor signal that has the same intensity as the reference calibration at the same distance as in the reference calibration.
  • the transmission power and receiver sensitivity are adjusted, for example, in such a way that an object with a certain reflectivity is represented identically by all transceiver units of the Udar or via a deflection of individual transceiver units.
  • a truck often has a painted, metallic surface on its rear, which is surrounded by a highly reflective strip.
  • the truck has rear lights and a license plate. Since a lidar does not recognize colors but only backscatter intensities of monochromatic lighting, the described characteristics of the rear of the truck are reflected in characteristic distributions of the intensity or a calibrated reflectivity.
  • the intensity of reflections is also of interest for algorithms.
  • an object reflects differently so that characteristics for objects can be derived, similar to so-called HOC classifications in cameras.
  • lidars often have a plurality of, at least partially, independent lasers and lidar receivers, which are subject to manufacturing fluctuations, the intensity of the same object is different depending on the laser / receiver combination.
  • a calibration to objective reference targets during production can help here, but it is complex and cannot be easily checked and corrected during the service life.
  • the method enables the lidar sensor to be calibrated even while the vehicle or robot is in operation.
  • a calibration option is thus made possible over the service life of the lidar sensor in order to also detect aging effects, dependencies on environmental conditions, for example temperature dependencies, and / or contamination and / or fluctuations or fluctuations over time in an energy supply to the lidar sensor, as well as dynamic changes in a resistance in the semiconductor of the lidar sensor .
  • a calibration can thus also be carried out and made up for when the lidar sensor is in operation, which is also advantageous in particular in the case of automated, in particular highly automated, autonomous or partially autonomous vehicles or robots that are operated.
  • the calibration then enables the sensitivity of the lidar receiver and / or the transmission power of the lidar sensor to be adjusted in such a way that the intensity of the sensor signals is adapted.
  • the reported intensity or reflectivity values of the lidar are overlapped with the color and contour evaluations of the camera, so that homogeneous surfaces are identified.
  • the intensities to be expected are then derived from mean values of the built-in sensors and can also be refined using map data that contain information from other vehicles or robots with corresponding sensors and can thus provide additional measurement points for the area.
  • the method enables the camera and the lidar sensor to be calibrated relative to one another, so that objects recognized by means of the camera and the lidar sensor can be better assigned to one another and accuracy increases.
  • the camera and the lidar sensor are calibrated directly to one another, a relative error between them is reduced.
  • a direct calibration of the camera to the lidar sensor and vice versa a direct fusion of raw data from the camera and the lidar sensor can be carried out.
  • the fusion of independent data from the camera and the lidar sensor is also improved. The result of taking the calibration into account is that the camera and the lidar sensor see the same object at the same location.
  • the calibration process of an intensity output of the lidar sensor significantly improves the performance of classifiers and thus of recognition algorithms.
  • this process can also be carried out over the life of the lidar sensor in order to check the calibration and, if necessary, to correct it and to compensate for aging effects.
  • this can be carried out in an automated, in particular highly automated, autonomous or partially autonomous, operated vehicle or robot when it is parked and, for example, is charging at a charging station.
  • an intensity is compared with the reference intensity that was determined at a distance that corresponds to the distance between the associated reference object and the lidar sensor.
  • This enables the sensitivity of the lidar receiver and / or the transmission power of the lidar sensor to be controlled in such a way that the intensity of a currently determined sensor signal matches the reference intensity, that is, the deviation between the compared intensities is minimized.
  • Physical properties of the lidar receiver can thus be influenced in such a way that a current intensity of the sensor signal matches the reference intensity of the sensor signal that was determined during the previous reference calibration for a reference object of the same reflectivity and for the same object distance.
  • an intensity is compared with the reference intensity that was determined by extrapolating intensities that were determined at different distances between the lidar sensor and the object. This enables reliable calibration of the lidar sensor even if the detected object is not at the same distance from the lidar sensor as the reference object.
  • the extrapolated intensity is compared with the reference intensity and the sensitivity of the lidar receiver and / or the transmission power of the lidar sensor are or is controlled in such a way that a deviation between the compared intensities is minimal.
  • the laser radiation emitted by the lidar sensor is deflected by means of a rotating mirror of the lidar sensor. This enables a particularly simple and reliable application of the laser radiation to the reference object.
  • infrared laser radiation is used as the laser radiation directed onto the object, so that it is possible to detect the reflected laser radiation by means of the camera.
  • light radiation striking the camera is filtered at least during the operational calibration by means of a camera's own infrared light filter.
  • the infrared light filter reduces interference and increases color quality.
  • an infrared light filter is used which is permeable to infrared laser radiation emitted by the lidar sensor and reflected by the object, so that it is possible to detect the reflected infrared laser radiation.
  • an infrared light filter is used which, in a calibration mode of the camera, is switched to be transparent to infrared laser radiation emitted by the lidar sensor and reflected by the object.
  • the infrared light filter can be used during normal operation of the camera to reduce the interference and to increase the color quality and are deactivated in the calibration mode for optimized detection of the infrared laser radiation emitted by the lidar sensor and reflected by the object.
  • an integration is carried out over several successively recorded images of the camera.
  • This integration increases the resolution of the camera in the infrared range, which is advantageous because a camera designed as a conventional color camera has its highest sensitivity in the visible light range and, on the other hand, has a rather low sensitivity in the infrared range. Small fluctuations in the lighting are also compensated for. If a single image is used by the camera and is not temporally integrated, then, due to the different lighting times of the camera and lidar, a beating can occur that causes a rolling shutter effect. This rolling shutter effect is mitigated through the temporal integration over several frames, for example at a standstill.
  • the method is also designed so that sensors that scan without gaps can also be calibrated, that is to say not only areas within an image are compared, but also with active and inactive lidar between different frames.
  • the camera records many laser pulses from the Udar, so that synchronization deviations in the recording of the images by means of the camera and an optical pulse from the lidar are also compensated for.
  • the camera uses it to detect reflection patterns from the lidar.
  • the intensity of the reflection pattern can also be determined from the images from the camera. Due to the very high resolution of the imagers in terms of intensity and a high dynamic range, additionally combined, for example, with a method such as High Dynamic Range (HDR for short), the smallest differences in intensity between the various lines can be determined and thus calibration to relative intensities in the lidar can be carried out.
  • HDR High Dynamic Range
  • the camera for calibrating the lidar sensor is switched to a calibration mode.
  • the distance to the object is determined on the basis of a measurement of a transit time between a point in time when the laser radiation is emitted and a point in time when the laser radiation reflected by the object is received. Such a determination of the distance can be implemented very easily and reliably and provides exact results.
  • FIG. 1 schematically shows a perspective illustration of a vehicle
  • FIG. 3 schematically shows a sequence of an operational calibration of a lidar sensor.
  • FIG. 1 a perspective view of a vehicle 1 is shown.
  • the vehicle 1 comprises a lidar 2 with at least one lidar sensor 2.1 and a camera 3, the lidar 2 and the camera 3 being designed to detect a vehicle environment.
  • FIG. 2 shows a schematic representation of a lidar receiver 2.1.1 of a lidar sensor 2.1, designed as a photodetector arrangement and for receiving laser radiation, and illustrates a mode of operation of the same.
  • the surroundings of the vehicle 1 are scanned by means of the lidar sensor 2.1, the scanning being based on the emission of infrared laser radiation, in particular infrared laser pulses P, and the detection of infrared laser radiation, in particular infrared laser pulses P, reflected back from objects.
  • a distance of the lidar sensor 2.1 to the object on which the corresponding infrared laser pulse P was reflected is determined from a transit time between the emission of an infrared laser pulse P and the detection of an infrared laser pulse P.
  • the lidar sensor 2.1 comprises a laser arrangement for emitting the infrared laser pulses P, a rotating mirror for deflecting the infrared laser pulses P emitted by the laser arrangement onto a detection area to be scanned and the lidar receiver 2.1.1 for detecting the infrared laser pulses reflected back on objects from the detection area P.
  • the lidar receiver 2.1.1 converts infrared radiation of the received infrared laser pulses P into corresponding electrical or digital sensor signals S.
  • An intensity I that is to say a pulse height or pulse amplitude or an integral over the infrared laser pulse P, of the sensor signals S can be varied by controlling a sensitivity of the lidar receiver 2.1.1 and / or a transmission power of the lidar sensor 2.1.
  • the control of the sensitivity and / or transmission power can be based on an operating point setting, a gain setting or digital signal processing and takes place via a corresponding control signal C.
  • a calibration of the lidar sensor 2.1 takes place, for example, on a test bench and is carried out as a reference calibration.
  • a reference object with a predetermined reflectivity is positioned at a predetermined longitudinal distance or a predetermined distance, i.e. a reference distance, at different positions of a detection area of the lidar sensor 2.1 and reference measurements are carried out in which the infrared laser pulses P reflected back to the lidar receiver 2.1.1 can be detected.
  • the sensitivity of the lidar receiver 2.1.1 and / or the transmission power of the lidar sensor 2.1 are modified in such a way that the same intensity I arises over the entire detection range of the lidar sensor 2.1 for the sensor signals S originating from the same reference object at the same reference distance . These steps can be repeated with a modified reference distance and / or with further reference objects with different reflectivities.
  • the sensitivity of the lidar receiver 2.1.1 is, however, dependent on environmental conditions, for example a temperature and / or contamination, and on aging effects. These environmental dependencies, contamination and / or aging effects can lead to undesired changes in the intensity I of the sensor signals S. These changes cannot be taken into account in the reference calibration.
  • the camera 3 of the vehicle 1 which is provided for the detection of the surroundings, is used to calibrate the intensity I of the sensor signals S of the lidar sensor 2.1 during the operation of the vehicle 1.
  • a recalibration can thus take place during operation of the lidar sensor 2.1.
  • the camera 3 is switched to a calibration mode, for example.
  • the camera 3 detects whether objects exist in the detection area of the lidar sensor 2.1 which correspond to one of the reference objects in terms of their reflectivity. This detection is possible by means of the camera 3, since the camera 3 recognizes colors and the colors allow conclusions to be drawn about the reflectivity of an object. For example, a white object is strong and a black object is weakly reflective. If the detection carried out by means of the camera 3 shows that such an object exists, a distance to this object is determined by means of the lidar sensor 2.1. Furthermore, an intensity I of the sensor signal S is determined, which results from the reflection of an infrared laser pulse P on this object.
  • the intensity I of the sensor signal S which was determined during the reference calibration for the corresponding reference object with the same reflectivity, i.e. a reference intensity, and the corresponding distance between the reference object and the lidar sensor 2.1 are retrieved from the memory.
  • the distance to the object is determined by means of the lidar sensor 2.1.
  • the intensity I of the sensor signal S determined at this distance is matched with the off compared to the memory retrieved reference intensity.
  • the sensitivity of the lidar receiver 2.1.1 and / or the transmission power of the lidar sensor 2.1 are or is then controlled in such a way that the intensity I of the currently determined sensor signal S matches the reference intensity, that is, the deviation between the compared intensities I is minimized.
  • lidar receiver 2.1.1 physical properties of the lidar receiver 2.1.1 are influenced in such a way that the current intensity I of the sensor signal S corresponds to the intensity I of the sensor signal S that was generated during the previous reference calibration for a reference object of the same reflectivity and for the same object distance, i.e. the same distance between lidar sensor 2.1 and reference object.
  • a second method can use intensities I des determined at different object distances Sensor signal S that intensity I can be determined by extrapolation, which would be determined at the reference distance.
  • This extrapolated intensity I is compared with the reference intensity retrieved from the memory and the sensitivity of the lidar receiver 2.1.1 and / or the transmission power of the lidar sensor 2.1 are or is in turn controlled in such a way that the deviation between the compared intensities I is minimal.
  • the sensitivity of the lidar receiver 2.1.1 is thus calibrated as a function of the comparison of the intensity I with the reference intensity.
  • the camera 3 In order for the camera 3 to be able to detect objects in the detection area of the lidar sensor 2.1, it is necessary for the camera 3 to be designed to detect the reflected infrared laser pulses P.
  • the camera 3 has, for example, an infrared light filter in order to reduce interference and / or to increase a color quality.
  • This infrared light filter is designed, for example, in such a way that it is either transparent to the reflected infrared light laser pulses P or that it can be switched into a state which is transparent to the infrared light laser pulses P in the calibration mode.
  • the camera Since the camera is intended for the detection of the surroundings, it has its highest sensitivity in the visible light range. Their sensitivity is low in the infrared light range. In order to still achieve a high resolution in the infrared light range, the measurements of the camera 3 are integrated in one possible embodiment over several images of the camera.
  • FIG. 1 A possible embodiment of an operational calibration is shown in more detail in FIG. 1
  • a first method step V1 the camera 3 and the lidar 2 are activated.
  • the camera 3 is switched to calibration mode, for example.
  • an integration takes place over several, for example at least ten, successively acquired images of the camera 3.
  • a ground truth which includes a position, shape and distribution of an illumination generated by the lidar 2.
  • the vehicle environment is taken into account, which is either known is, for example, at a test stand at the end of a production facility, or by triangulation, for example when using multiple cameras and a disparity measurement, and / or distance measurement, direct determination by the lidar 2, is determined.
  • highly accurate maps can be used to determine the geometry of the environment.
  • An expected reflection pattern, i.e. a distribution of the intensity I is again obtained from a construction in the test stand.
  • a fourth method step V4 regions in the images of the camera 3 and frames with detected laser radiation of the lidar sensor 2.1 are determined.
  • a white balance and / or a luminescence measurement is carried out.
  • a light intensity and a white value are determined intraline by means of the camera 3 and the Udar 2.
  • a light intensity and a white value are determined interline by means of the camera 3.
  • the light intensities and white values determined in the sixth and seventh method steps V6, V7 are then compared with one another and / or subtracted from one another in an eighth method step V8.
  • a ninth method step V9 associated values of the intensity I of the sensor signal S of the lidar sensor 2.1 and an associated sensitivity of the camera 3 are stored.
  • a tenth method step V10 settings for the transmission power of the lidar sensor 2.1 and the sensitivity of the lidar receiver 2.1.1 are stored.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Kalibrierung eines Lidarsensors (2.1) eines Fahrzeugs (1) oder eines Roboters. Erfindungsgemäß wird in einer Referenzkalibrierung ein, eine vorgegebene Reflektivität aufweisendes und in einer vorgegebenen Entfernung zum Lidarsensor (2.1) befindliches Referenzobjekt mit Laserstrahlung des Lidarsensors (2.1) beaufschlagt. Von dem Referenzobjekt reflektierte Laserstrahlung wird mittels eines Lidarempfängers (2.1.1) des Lidarsensors (2.1) empfangen, wobei der Lidarsensor (2.1) ein mit der Laserstrahlung korrelierendes und eine Referenzintensität aufweisendes Sensorsignal (S) erzeugt und eine Empfindlichkeit des Lidarempfängers (2.1.1) in Abhängigkeit der Referenzintensität kalibriert wird. In einer Betriebskalibrierung wird während eines Betriebs des Fahrzeugs (1) oder Roboters mittels zumindest einer Kamera (3) erfasst, ob im Erfassungsbereich des Lidarsensors (2.1) zumindest ein Objekt vorhanden ist, dessen Reflektivität der eines Referenzobjekts der Referenzkalibrierung entspricht. Bei Vorhandensein eines solchen Objekts wird mittels des Lidarsensors (2.1) eine Entfernung zu dem Objekt ermittelt. Weiterhin wird eine Intensität (I) eines aufgrund einer von dem Objekt reflektierten Laserstrahlung erzeugten Sensorsignals (S) ermittelt, wobei die ermittelte Intensität (I) mit einer zugehörigen Referenzintensität verglichen wird und in Abhängigkeit des Vergleichs der Intensität (I) mit der Referenzintensität die Empfindlichkeit des Lidarempfängers (2.1.1) kalibriert wird.

Description

Verfahren zur Kalibrierung eines Lidarsensors
Die Erfindung betrifft ein Verfahren zur Kalibrierung eines Lidarsensors eines Fahrzeugs oder eines Roboters.
Aus der DE 102016009327 A1 sind ist ein Verfahren zur Kalibrierung einer Kamera eines Fahrzeugs bekannt, wobei mittels der Kamera Bilder einer Fahrzeugumgebung erfasst werden. Mittels zumindest eines Lidarsensors wird ein definiertes Muster in die Fahrzeugumgebung in zumindest einen Abschnitt eines Erfassungsbereichs der Kamera ausgesendet, welches mittels der Kamera erfasst wird. Mittels einer mit der Kamera gekoppelten oder in diese integrierten Auswerteeinheit werden zu dem in mittels der Kamera erfassten Bildern enthaltenen Muster Entfernungswerte ermittelt und anhand der Entfernungswerte wird die Kalibrierung der Kamera durchgeführt. Der Lidarsensor ist selbstkalibrierend ausgebildet, wobei die Selbstkalibrierung auf einer Objektverfolgung basiert.
Weiterhin ist aus der DE 19607345 A1 eine Laserabstandsermittlungsvorrichtung mit einem Impulslaser, einer Lichtablenkeinrichtung, einer einen optoelektronischen Photoempfänger aufweisenden Photoempfangsanordnung und einer Steuer- und Auswerteelektronik bekannt, wobei der Impulslaser gesteuert Lichtimpulse aussendet und die aufeinanderfolgend ausgesendeten Lichtimpulse über die Lichtablenkeinrichtung unter sich verändernden Winkeln in einen Messbereich gelenkt werden. Von einem im Messbereich befindlichen Objekt zurückgeworfene Lichtimpulse werden von der Photoempfangsanordnung empfangen und in der Steuer- und Auswerteelektronik wird nach dem Impulslaufzeitverfahren aus der Zeit zwischen dem Aussenden und dem Empfang eines Lichtimpulses unter Berücksichtigung der Lichtgeschwindigkeit ein für den Abstand des Objekts von der Lichtablenkeinrichtung repräsentatives Abtastsignal ermittelt sowie eine Kompensation von aufgrund der Signaldynamik auftretenden Laufzeitmessfehlern durchgeführt. Die Steuer- und Auswerteelektronik umfasst Mittel zum Messen einer während des Empfangs eines Lichtimpulses insgesamt über den Photoempfänger geflossenen elektrischen Ladung und zum Messen einer Impulsbreite des empfangenen Lichtimpulses, wobei die Kompensation der aufgrund der Signaldynamik auftretenden Laufzeitmessfehler in Abhängigkeit von der gemessenen elektrischen Ladung und Impulsbreite auf der Basis von jeweiligen Korrekturwerten erfolgt. Die Korrekturwerte werden durch die Steuer- und Auswerteelektronik anhand von Ladungen und Impulsbreiten und Impulslaufzeiten ermittelt, die bezüglich eines in definiertem Abstand von der Lichtablenkeinrichtung angeordneten, unterschiedliche Reflektivitäten aufweisenden Referenzobjekts gemessen wurden. Hierbei wird Das Referenzobjekt vor und während eines normalen Betriebs des Laserradars abgetastet.
Der Erfindung liegt die Aufgabe zu Grunde, ein neuartiges Verfahren zur Kalibrierung eines Lidarsensors eines Fahrzeugs oder eines Roboters anzugeben.
Die Aufgabe wird erfindungsgemäß mit einem Verfahren gelöst, welches die im Anspruch 1 angegebenen Merkmale aufweist.
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
In dem Verfahren zur Kalibrierung eines Lidarsensors eines Fahrzeugs oder eines Roboters wird erfindungsgemäß in einer Referenzkalibrierung ein, eine vorgegebene Reflektivität aufweisendes und in einer vorgegebenen Entfernung zum Lidarsensor befindliches Referenzobjekt mit Laserstrahlung des Lidarsensors beaufschlagt. Weiterhin wird von dem Referenzobjekt reflektierte Laserstrahlung mittels eines Lidarempfängers des Lidarsensors empfangen und der Lidarsensor erzeugt ein mit der Laserstrahlung korrelierendes und eine Referenzintensität aufweisendes Sensorsignal, wobei eine Empfindlichkeit des Lidarempfängers in Abhängigkeit der Referenzintensität kalibriert wird. In einer Betriebskalibrierung wird während eines Betriebs des Fahrzeugs oder Roboters mittels zumindest einer Kamera erfasst, ob im Erfassungsbereich des Lidarsensors zumindest ein Objekt vorhanden ist, dessen Reflektivität der eines Referenzobjekts der Referenzkalibrierung entspricht. Bei Vorhandensein eines solchen Objekts wird mittels des Lidarsensors eine Entfernung zu dem Objekt ermittelt. Ferner wird eine Intensität eines aufgrund einer von dem Objekt reflektierten Laserstrahlung erzeugten Sensorsignals ermittelt, wobei die ermittelte Intensität mit einer zugehörigen Referenzintensität verglichen wird und in Abhängigkeit des Vergleichs der Intensität mit der Referenzintensität die Empfindlichkeit des Lidarempfängers, beispielsweise einer Photonendetektoranordnung, kalibriert wird.
Der genannte Roboter ist beispielsweise als fahrender, schwimmender oder liegender Roboter ausgebildet. Beispielsweis ist der Roboter ebenfalls als Fahrzeug, beispielsweise als hoch- oder vollautomatisierter Personenkraftwagen, als hoch- oder vollautomatisiertes Transportfahrzeug oder als hoch- oder vollautomatisierter Lastkraftwagen ausgebildet. Auch kann der Roboter ein Industrieroboter, automatisierter Rasenmäher, Saugroboter, Wischroboter oder automatisiertes Wasserfahrzeug sein.
Beispielsweise werden bzw. wird in Abhängigkeit der Kalibrierung die Empfindlichkeit des Lidarempfängers und/oder eine Sendeleistung des Lidarsensors derart modifiziert, dass der Lidarempfänger ein Sensorsignal ausgibt, das bei gleichem Abstand wie bei der Referenzkalibrierung die gleiche Intensität wie bei der Referenzkalibrierung aufweist. Die Sendeleistung und Empfängerempfindlichkeit werden dabei beispielsweise derart angeglichen, dass ein Objekt mit einer gewissen Reflektivität von allen Sende- Empfangseinheiten des Udars oder über eine Ablenkung einzelner Sende- Empfangseinheiten gleich dargestellt wird.
Am Beispiel einer Kalibrierfläche mit einer definierten Lambertsche Reflektivität von 10 % muss in einer gegebenen Entfernung in jedem Abschnitt eines Sichtbereiches des Lidars die gleiche Intensität ermittelt werden, so dass das Objekt überall als das selbige erkannt werden kann. Da die Intensität der Reflexion entfernungsabhängig ist, wird sehr oft auf die Reflektivität kalibriert. In einem konkreten Anwendungsbeispiel weist ein Lastkraftwagen an seinem Heck oft eine lackierte, metallische Fläche, welche von einem hochreflektiven Streifen umrandet ist. Zusätzlich weist der Lastkraftwagen Rückleuchten und ein Nummernschild auf. Da ein Lidar keine Farben erkennt sondern nur Rückstreuintensitäten einer monochromatischen Beleuchtung, spiegelt sich die beschriebene Charakteristik des Hecks des Lastkraftwagen in charakteristischen Verteilungen der Intensität bzw. einer kalibrierten Reflektivität wieder. Diese Eigenheiten sollten sich in allen Abschnitten des Sichtbereichs des Lidars und auch über die Entfernung monoton verhalten, das heißt gleichmäßig skalieren. Wenn nun die Sende-Empfangseinheiten des Lidars unterschiedliche Werte zurückmelden, ändert sich dieses Muster, wodurch das Objekt schwieriger für die Algorithmik zu erkennen ist. Vergleichbare Probleme treten auf, wenn die Intensitätsausgabe einer einzelnen, beispielsweise mittels eines Spiegels über den Sichtbereich abgelenkten Sende-Empfangseinheit schwankt. Die mittels des vorliegenden Verfahrens durchgeführte Kalibrierung der Intensitätsausgabe und damit der daraus abgeleiteten Reflektivität weist diese Probleme nicht auf und ist somit essentiell für eine Verlässlichkeit einer Objekterkennung mittels Lidaren.
Neben einer räumlichen Information von Detektionen eines Udars ist auch eine Intensität von Reflexionen für Algorithmen von Interesse. Je nach Farbe, Material und Orientierung reflektiert ein Objekt unterschiedlich stark, so dass Charakteristika für Objekte abgeleitet werden können, ähnlich zu so genannten HOC-Klassifizierungen in Kameras. Da Lidare häufig eine Mehrzahl an, zumindest teilweise, unabhängigen Lasern und Lidarempfängern hat, welche Fertigungsschwankungen unterliegen, ist die Intensität eines gleichen Objektes je nach Laser/Empfänger-Kombination unterschiedlich. Eine Kalibrierung auf objektive Referenzziele während der Produktion leistet hier Abhilfe, ist aber Komplex und während der Nutzungsdauer nicht ohne weiteres nachprüfbar und korrigierbar.
Das Verfahren ermöglicht eine Kalibrierung des Lidarsensors auch während eines Betriebs des Fahrzeugs oder Roboters. Es wird somit eine Kalibriermöglichkeit über eine Nutzungsdauer des Lidarsensors ermöglicht, um auch Alterungseffekte, Abhängigkeiten von Umgebungsbedingungen, beispielsweise Temperaturabhängigkeiten, und/oder Verunreinigungen und/oder Fluktuationen bzw. zeitlichen Schwankungen einer Energieversorgung des Lidarsensors sowie dynamische Änderungen eines Widerstandes im Halbleiter des Lidarsensensors zu erfassen. Somit kann auch im Betrieb des Lidarsensors eine Kalibrierung ausgeführt und nachgeholt werden, was insbesondere auch bei automatisiert, insbesondere hochautomatisiert, autonom oder teilautonom, betriebenen Fahrzeugen oder Robotern vorteilhaft ist. Die Kalibrierung ermöglicht dann eine Einstellung der Empfindlichkeit des Lidarempfängers und/oder der Sendeleistung des Lidarsensors in der Art, dass die Intensität der Sensorsignale angepasst ist.
Da im Betrieb des Fahrzeugs oder Roboters von einer vorhandenen Grundkalibrierung des Lidars ausgegangen werden kann, ist nur eine so genannte Nachkalibrierung in der Betriebskalibrierung erforderlich. Hierbei werden beispielsweise die zurückgemeldeten Intensitäts- oder Reflektivitätswerte des Lidars mit Färb- und Konturauswertungen der Kamera überlappt, so dass homogene Flächen identifiziert werden. Zu erwartende Intensitäten werden dann aus Mittelwerten der verbauten Sensoren abgeleitet und können zusätzlich durch Kartendaten verfeinert werden, die die Informationen von anderen Fahrzeugen oder Roboter mit entsprechender Sensorik beinhalten und somit weitere Messpunkte für die Fläche bereitstellen können. Weiterhin ermöglicht das Verfahren eine Kalibrierung der Kamera und des Lidarsensors relativ zueinander, so dass mittels der Kamera und des Lidarsensors erkannte Objekte einander besser zugeordnet werden können und eine Genauigkeit steigt. Wenn die Kamera und der Lidarsensors direkt aufeinander kalibriert werden, reduziert sich ein relativer Fehler zwischen diesen. Durch eine somit erzeugte direkte Kalibrierung der Kamera auf den Lidarsensor und andersherum kann eine direkte Fusion von Rohdaten der Kamera und des Lidarsensors durchgeführt werden. Darüber hinaus wird auch die Fusion von unabhängigen Daten der Kamera und des Lidarsensors verbessert. Ergebnis einer Berücksichtigung der Kalibrierung ist, dass die Kamera und der Lidarsensor das gleiche Objekt am gleichen Ort sehen.
Durch den Kalibrierprozess einer Intensitätsausgabe des Lidarsensors wird eine Performance von Klassifikatoren und damit von Erkennungsalgorithmen signifikant verbessert. Durch die Nutzung der Kamera, die mit dem Lidarsensor am oder im Fahrzeug oder Roboter verbaut sind, kann dieser Prozess auch über die Lebensdauer des Lidarsensors durchgeführt werden, um die Kalibrierung zu überprüfen sowie gegebenenfalls zu korrigieren und Alterungseffekte auszugleichen. Beispielsweise kann dies in einem automatisiert, insbesondere hochautomatisiert, autonom oder teilautonom, betriebenen Fahrzeug oder Roboter durchgeführt werden, wenn dieses gerade parkt und beispielsweise an einer Ladestation lädt.
In einer möglichen Ausgestaltung des Verfahrens wird während des Betriebs des Fahrzeugs oder Roboters bei sich ändernden Entfernungen des Lidarsensors zu dem Objekt eine Intensität mit der Referenzintensität verglichen, welche bei einer Entfernung ermittelt wurde, die der Entfernung des zugehörigen Referenzobjekts zum Lidarsensor entspricht. Dies ermöglicht, dass die Empfindlichkeit des Lidarempfängers und/oder die Sendeleistung des Lidarsensors derart gesteuert werden können bzw. kann, dass die Intensität eines aktuell ermittelten Sensorsignals mit der Referenzintensität übereinstimmt, das heißt die Abweichung zwischen den verglichenen Intensitäten wird minimiert. Somit können physikalische Eigenschaften des Lidarempfängers derart beeinflusst werden, dass eine aktuelle Intensität des Sensorsignals mit der Referenzintensität des Sensorsignals übereinstimmt, das während der vorangegangenen Referenzkalibrierung für ein Referenzobjekt gleicher Reflexivität und für den gleichen Objektabstand ermittelt wurde. In einerweiteren möglichen Ausgestaltung des Verfahrens wird während des Betriebs des Fahrzeugs oder Roboters bei sich ändernden Entfernungen des Lidarsensors zu dem Objekt eine Intensität mit der Referenzintensität verglichen, welche durch Extrapolation von Intensitäten ermittelt wurde, die bei verschiedenen Entfernungen des Lidarsensors zum Objekt ermittelt wurden. Dies ermöglicht auch dann eine zuverlässige Kalibrierung des Lidarsensors, wenn sich das erfasste Objekt nicht in der gleichen Entfernung zum Lidarsensor befindet wie das Referenzobjekt. Dabei wird beispielsweise die extrapolierte Intensität mit der Referenzintensität verglichen und die Empfindlichkeit des Lidarempfängers und/oder die Sendeleistung des Lidarsensors werden bzw. wird derart gesteuert, dass eine Abweichung zwischen den verglichenen Intensitäten minimal wird.
In einerweiteren möglichen Ausgestaltung des Verfahrens wird zur Beaufschlagung des Referenzobjekts und des Objekts die mittels des Lidarsensors ausgesendete Laserstrahlung mittels eines rotierenden Spiegels des Lidarsensors abgelenkt. Dies ermöglicht eine besonders einfache und zuverlässige Beaufschlagung des Referenzobjekts mit der Laserstrahlung.
In einerweiteren möglichen Ausgestaltung des Verfahrens wird als auf das Objekt gerichtete Laserstrahlung Infrarot-Laserstrahlung verwendet, so dass eine Erfassung der reflektierten Laserstrahlung mittels der Kamera möglich ist.
In einerweiteren möglichen Ausgestaltung des Verfahrens wird zur Erzeugung mittels der Kamera erfasster Bilder zumindest während der Betriebskalibrierung mittels eines kameraeigenen Infrarotlichtfilters auf die Kamera treffende Lichtstrahlung gefiltert. Mittels des Infrarotlichtfilters werden Interferenzen verringert und eine Farbqualität erhöht.
In einerweiteren möglichen Ausgestaltung des Verfahrens wird ein Infrarotlichtfilter verwendet, welcher durchlässig für eine von dem Lidarsensor ausgesendete und von Objekt reflektierte Infrarot-Laserstrahlung ist, so dass eine Erfassung der reflektierten Infrarot-Laserstrahlung möglich ist.
In einerweiteren möglichen Ausgestaltung des Verfahrens wird ein Infrarotlichtfilter verwendet, welcher in einem Kalibriermodus der Kamera durchlässig für eine von dem Lidarsensor ausgesendete und von dem Objekt reflektierte Infrarot-Laserstrahlung geschaltet wird. Somit kann der Infrarotlichtfilter während eines normalen Betriebs der Kamera zur Verringerung der Interferenzen und zur Erhöhung der Farbqualität verwendet werden und im Kalibriermodus zur optimierten Erfassung der mittels des Lidarsensors ausgesendeten und von dem Objekt reflektierten Infrarot-Laserstrahlung deaktiviert werden.
In einerweiteren möglichen Ausgestaltung des Verfahrens wird bei der Erfassung des Objekts mittels der Kamera eine Integration über mehrere nacheinander erfasste Bilder der Kamera durchgeführt. Durch diese Integration wird eine Auflösung der Kamera im Infrarot-Bereich erhöht, was vorteilhaft ist, da eine Kamera herkömmliche Farbkamera ausgebildete Kamera ihre höchste Empfindlichkeit im sichtbaren Lichtbereich aufweist und im Infrarot-Bereich dagegen eine eher geringe Empfindlichkeit aufweist. Weiterhin werden kleine Schwankungen in der Beleuchtung kompensiert. Wenn ein einzelnes Bild von der Kamera genutzt wird und nicht zeitlich integriert wird, so kann aufgrund unterschiedlicher Beleuchtungszeiten von Kamera und Lidar eine Schwebung auftreten, die einen Rolling Shutter Effekt hervorruft. Durch die zeitliche Integration über mehrere Frames, beispielsweise im Stillstand, wird eben dieser Rolling Shutter Effekt mitigiert. Dabei ist es aufgrund der Vielzahl von Messungen über die Frames nicht von Bedeutung, wann die Kamera und das Lidar relativ zueinander gestartet haben und wie genau sie ablaufen. Insbesondere ist das Verfahren auch dazu ausgebildet, dass auch lückenlos scannende Sensoren kalibrierbar sind, das heißt nicht nur Bereiche innerhalb eines Bilds verglichen werden sondern auch mit aktivem und inaktivem Lidar zwischen verschiedenen Frames.
Aufgrund der zeitlichen Integration nimmt die Kamera viele Laserimpulse des Udars auf, so dass Synchronisierungsabweichungen in der Aufnahme der Bilder mittels der Kamera und einem optischem Puls des Lidars ebenfalls ausgeglichen werden. Die Kamera detektiert damit Reflexionsmuster des Lidars. Aus den Bildern der Kamera kann weiterhin die Intensität der Reflexionsmuster ermittelt werden. Aufgrund einer sehr hohen Auflösung von Imagern in der Intensität und einem hohen Dynamikbereich, zusätzlich beispielsweise kombiniert mit einem Verfahren wie High Dynamic Range (kurz: HDR), sind kleinste Intensitätsunterschiede zwischen den verschiedenen Linien ermittelbar und somit eine Kalibrierung auf relative Intensitäten im Lidar vornehmbar. Diese relativen Intensitäten sind sehr wichtig für Objekterkennungsalgorithmen und ähnliches, damit Objekte immer eine vergleichbare Intensität haben, egal, welcher Laserstrahl sie aktuell trifft.
In einerweiteren möglichen Ausgestaltung des Verfahrens wird die Kamera zur Kalibrierung des Lidarsensors in einen Kalibriermodus geschaltet. In einerweiteren möglichen Ausgestaltung des Verfahrens wird die Entfernung zu dem Objekt anhand einer Messung einer Laufzeit zwischen einem Zeitpunkt eines Aussendens der Laserstrahlung und einem Zeitpunkt eines Empfangs der vom Objekt reflektierten Laserstrahlung ermittelt. Eine solche Entfernungsermittlung ist sehr einfach und zuverlässig realisierbar und liefert exakte Ergebnisse.
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
Dabei zeigen:
Fig. 1 schematisch eine perspektivische Darstellung eines Fahrzeugs,
Fig. 2 schematisch eine Darstellung eines Lidarempfängers und
Fig. 3 schematisch einen Ablauf einer Betriebskalibrierung eines Lidarsensors.
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
In Figur 1 ist eine perspektivische Darstellung eines Fahrzeugs 1 dargestellt. Das Fahrzeug 1 umfasst ein Lidar 2 mit zumindest einem Lidarsensor 2.1 und eine Kamera 3, wobei das Lidar 2 und die Kamera 3 zur Erfassung einer Fahrzeugumgebung ausgebildet sind.
Die folgenden Ausführungen sind analog auch auf Roboter, welche zumindest eine Kamera 3 und/oder zumindest einen Lidarsensor 2.1 umfassen, übertragbar. Solche Roboter sind beispielsweise als fahrender, schwimmender oder liegender Roboter ausgebildet. Beispielsweis sind die Roboter ebenfalls als Fahrzeug, beispielsweise als hoch- oder vollautomatisierter Personenkraftwagen, als hoch- oder vollautomatisiertes Transportfahrzeug oder als hoch- oder vollautomatisierter Lastkraftwagen ausgebildet. Auch können die Roboter Industrieroboter, automatisierte Rasenmäher, Saugroboter, Wischroboter oder automatisierte Wasserfahrzeuge sein. Figur 2 zeigt eine schematische Darstellung eines als Photodetektoranordnung und zum Empfang von Laserstrahlung ausgebildeten Lidarempfängers 2.1.1 eines Lidarsensors 2.1 und verdeutlicht eine Funktionsweise desselben.
Mittels des Lidarsensors 2.1 wird eine Umgebung des Fahrzeugs 1 abgetastet, wobei die Abtastung auf einem Aussenden von Infrarot-Laserstrahlung, insbesondere Infrarot- Laserimpulsen P, und der Detektion einer von Objekten zurückreflektierten Infrarot- Laserstrahlung, insbesondere Infrarot-Laserimpulsen P, beruht. Aus einer Laufzeit zwischen dem Aussenden eines Infrarot-Laserimpulses P und dem Detektieren eines Infrarot-Laserimpulses P wird eine Entfernung des Lidarsensors 2.1 zu dem Objekt ermittelt, an dem der entsprechende Infrarot-Laserimpuls P reflektiert wurde.
Der Lidarsensor 2.1 umfasst eine Laseranordnung zum Aussenden der Infrarot- Laserimpulse P, einen rotierenden Spiegel zur Ablenkung der von der Laseranordnung ausgesendeten Infrarot-Laserimpulse P auf einen abzutastenden Erfassungsbereich und den Lidarempfänger 2.1.1 zur Detektion der an Objekten aus dem Erfassungsbereich zurückreflektierten Infrarot-Laserimpulse P. Der Lidarempfänger 2.1.1 wandelt dabei Infrarotstrahlung der empfangenen Infrarot-Laserimpulse P in entsprechende elektrische oder digitale Sensorsignale S um. Eine Intensität I, das heißt eine Impulshöhe bzw. Impulsamplitude oder ein Integral über den Infrarot-Laserimpuls P, der Sensorsignale S kann dabei durch Steuerung einer Empfindlichkeit des Lidarempfängers 2.1.1 und/oder einer Sendeleistung des Lidarsensors 2.1 variiert werden. Die Steuerung der Empfindlichkeit und/oder Sendeleistung kann dabei auf einer Arbeitspunkteinstellung, einer Verstärkungseinstellung oder einer digitalen Signalverarbeitung beruhen und erfolgt über ein entsprechendes Steuersignal C.
Eine Kalibrierung des Lidarsensors 2.1, beispielsweise während einer Fahrzeugproduktion, erfolgt beispielsweise an einem Prüfstand und wird als Referenzkalibrierung durchgeführt. Dazu wird ein Referenzobjekt mit vorgegebener Reflektivität in einem vorgegebenen Längsabstand bzw. einer vorgegebenen Entfernung, das heißt einem Referenzabstand, an verschiedenen Positionen eines Erfassungsbereichs des Lidarsensors 2.1 positioniert und es werden Referenzmessungen durchgeführt, bei denen die zum Lidarempfänger 2.1.1 zurückreflektierten Infrarot- Laserimpulse P detektiert werden. In Abhängigkeit der Kalibrierung werden bzw. wird die Empfindlichkeit des Lidarempfängers 2.1.1 und/oder die Sendeleistung des Lidarsensors 2.1 derart modifiziert, dass für die vom gleichen Referenzobjekt bei gleichem Referenzabstand herrührenden Sensorsignale S über den gesamten Erfassungsbereich des Lidarsensors 2.1 die gleiche Intensität I entsteht. Diese Schritte können mit modifiziertem Referenzabstand und/oder mit weiteren Referenzobjekten mit unterschiedlicher Reflektivität wiederholt werden.
Die Empfindlichkeit des Lidarempfängers 2.1.1 ist jedoch von Umgebungsbedingungen, beispielsweise einer Temperatur und/oder einer Verschmutzung, sowie von Alterungseffekten abhängig. Diese Umgebungsabhängigkeiten, Verunreinigungen und/oder Alterungseffekte können zu unerwünschten Änderungen der Intensität I der Sensorsignale S führen. Diese Änderungen können in der Referenzkalibrierung nicht berücksichtigt werden.
Um unerwünschte Änderungen der Intensität I der Sensorsignale S zu vermeiden, erfolgt zusätzlich zur Referenzkalibrierung eine Betriebskalibrierung während eines Betriebs des Fahrzeugs 1.
In der Betriebskalibrierung wird die für die Umgebungserfassung vorgesehene Kamera 3 des Fahrzeugs 1 verwendet, um die Intensität I der Sensorsignale S des Lidarsensors 2.1 während des Betriebs des Fahrzeugs 1 zu kalibrieren. Somit kann eine Nachkalibrierung im Betrieb des Lidarsensors 2.1 erfolgen.
Voraussetzung ist hierfür, dass die Intensitäten I der Sensorsignale S, die bei der Referenzkalibrierung für die verschiedenen Referenzobjekte und für den jeweiligen Referenzabstand ermittelt werden, als Referenzwerte gespeichert werden.
Zur Betriebskalibrierung wird die Kamera 3 beispielsweise in einen Kalibriermodus geschaltet. In diesem Kalibriermodus wird mittels der Kamera 3 detektiert, ob im Erfassungsbereich des Lidarsensors 2.1 Objekte existieren, die bezüglich ihrer Reflektivität einem der Referenzobjekte entsprechen. Diese Detektion ist mittels der Kamera 3 möglich, da die Kamera 3 Farben erkennt und die Farben einen Rückschluss auf die Reflektivität eines Objekts erlauben. Beispielsweise ist weißes Objekt stark und ein schwarzes Objekt schwach reflektierend. Wenn die mittels der Kamera 3 durchgeführte Detektion ergibt, dass ein derartiges Objekt existiert, wird eine Entfernung zu diesem Objekt mittels des Lidarsensors 2.1 ermittelt. Weiterhin wird eine Intensität I des Sensorsignals S ermittelt, das von der Reflexion eines Infrarot-Laserimpulses P an diesem Objekt herrührt. Zusätzlich werden wird die Intensität I des Sensorsignals S, das während der Referenzkalibrierung für das entsprechende Referenzobjekt mit gleicher Reflektivität erhalten ermittelt wurde, das heißt eine Referenzintensität, und die zugehörige Entfernung zwischen dem Referenzobjekt und dem Lidarsensor 2.1 aus dem Speicher abgerufen.
Somit existiert ein aktueller Messwert der Intensität I des Sensorsignals S sowie ein zugehöriger gespeicherter Referenzwert. Diese beiden Werte sind miteinander vergleichbar, weil sie von Objekten gleicher Reflektivität herrühren. Für einen direkten Vergleich muss aber berücksichtigt werden, dass die Intensität I vom Objektabstand, das heißt der Entfernung des Lidarsensors 2.1 vom Objekt bzw. Referenzobjekt, abhängig ist.
Aus diesem Grund wird mittels des Lidarsensors 2.1 die Entfernung zu dem Objekt ermittelt.
Da sich während einer Bewegung des Fahrzeugs 1 die Entfernung zum Objekt ändert, wird in einer ersten Methode dann, wenn eine Situation auftritt, in der die Entfernung zum Objekt gleich der Referenzentfernung ist, die bei dieser Entfernung ermittelte Intensität I des Sensorsignals S mit der aus dem Speicher abgerufenen Referenzintensität verglichen. Die Empfindlichkeit des Lidarempfängers 2.1.1 und/oder die Sendeleistung des Lidarsensors 2.1 werden bzw. wird anschließend derart gesteuert, dass die Intensität I des aktuell ermittelten Sensorsignals S mit der Referenzintensität übereinstimmt, das heißt die Abweichung zwischen den verglichenen Intensitäten I minimiert ist. Hierbei werden physikalische Eigenschaften des Lidarempfängers 2.1.1 derart beeinflusst, dass die aktuelle Intensität I des Sensorsignals S mit der Intensität I des Sensorsignals S übereinstimmt, das während der vorangegangenen Referenzkalibrierung für ein Referenzobjekt gleicher Reflexivität und für den gleichen Objektabstand, das heißt die gleiche Entfernung zwischen Lidarsensor 2.1 und Referenzobjekt, erhalten wurde.
Tritt während der Betriebskalibrierung beispielsweise keine Situation auf, in welcher die Entfernung zum Objekt gleich der Referenzentfernung ist, kann in einer zweiten Methode anhand von bei verschiedenen Objektentfernungen ermittelten Intensitäten I des Sensorsignals S durch eine Extrapolation diejenige Intensität I ermittelt werden, die bei der Referenzentfernung ermittelt werden würde. Diese extrapolierte Intensität I wird mit der aus dem Speicher abgerufenen Referenzintensität verglichen und die Empfindlichkeit des Lidarempfängers 2.1.1 und/oder die Sendeleistung des Lidarsensors 2.1 werden bzw. wird wiederum derart gesteuert, dass die Abweichung zwischen den verglichenen Intensitäten I minimal ist.
Somit wird in Abhängigkeit des Vergleichs der Intensität I mit der Referenzintensität die Empfindlichkeit des Lidarempfängers 2.1.1 kalibriert.
Damit die Kamera 3 Objekte im Erfassungsbereich des Lidarsensors 2.1 erkennen kann, ist es erforderlich, dass die Kamera 3 ausgebildet ist, die reflektierten Infrarot- Laserimpulse P zu erkennen. Die Kamera 3 weist beispielsweise einen Infrarotlichtfilter auf, um Interferenzen zu verringern und/oder eine Farbqualität zu erhöhen. Dieser Infrarotlichtfilter ist beispielsweise derart ausgelegt, dass er entweder durchlässig für die reflektierten Infrarotlicht-Laserimpulse P ist oder dass er im Kalibriermodus in einen für die Infrarotlicht-Laserimpulse P durchlässigen Zustand schaltbar ist.
Da die Kamera für die Umgebungserfassung vorgesehen ist, weist diese ihre höchste Empfindlichkeit im sichtbaren Lichtbereich auf. Im Infrarotlicht-Bereich ist ihre Empfindlichkeit gering. Um im Infrarotlicht-Bereich dennoch eine hohe Auflösung zu erzielen, werden die Messungen der Kamera 3 in einer möglichen Ausgestaltung über mehrere Bilder der Kamera integriert.
Ein mögliches Ausführungsbeispiel einer Betriebskalibrierung ist in Figur 3 näher dargestellt.
In einem ersten Verfahrensschritt V1 werden die Kamera 3 und das Lidar 2 aktiviert. Die Kamera 3 wird hierbei beispielsweise in den Kalibriermodus geschaltet.
In einem zweiten Verfahrensschritt V2 erfolgt eine Integration über mehrere, beispielsweise mindestens zehn, nacheinander erfasste Bilder der Kamera 3.
In einem dritten Verfahrensschritt V3 wird eine so genannte Ground Truth ermittelt, welche eine Position, Form und Verteilung einer durch das Lidar 2 erzeugten Beleuchtung umfasst. Hierbei wird die Fahrzeugumgebung berücksichtigt, welche entweder bekannt ist, beispielsweise bei einem Prüfstand am Ende einer Produktionsstätte, oder durch Triangulation, beispielsweise bei einer Verwendung mehrerer Kameras und einer Disparitätsmessung, und/oder Entfernungsmessung, direkte Ermittlung durch das Lidar 2, ermittelt wird. Zusätzlich können hochgenaue Karten herangezogen werden, um eine Geometrie der Umgebung zu ermitteln. Ein zu erwartendes Reflexionsmuster, das heißt eine Verteilung der Intensität I, ergibt sich im Prüfstand erneut aus einer Konstruktion.
Anschließend werden in einem vierten Verfahrensschritt V4 Regionen in den Bildern der Kamera 3 und Frames mit erfasster Laserstrahlung des Lidarsensors 2.1 ermittelt.
In einem Verfahrensschritt V5 werden bzw. wird ein Weißabgleich und/oder eine Lumineszenz-Messung durchgeführt.
In einem sechsten Verfahrensschritt V6 werden eine Lichtintensität und ein Weißwert mittels der Kamera 3 und des Udars 2 intraline ermittelt.
In einem siebten Verfahrensschritt V7 werden eine Lichtintensität und ein Weißwert mittels der Kamera 3 interline ermittelt.
Anschließend werden die im sechsten und siebten Verfahrensschritt V6, V7 ermittelten Lichtintensitäten und Weißwerte in einem achten Verfahrensschritt V8 miteinander verglichen und/oder voneinander subtrahiert.
In einem neunten Verfahrensschritt V9 erfolgt eine Speicherung zusammengehöriger Werte der Intensität I des Sensorsignals S des Lidarsensors 2.1 und einer zugehörigen Empfindlichkeit der Kamera 3.
In einem zehnten Verfahrensschritt V10 erfolgt eine Speicherung von Einstellungen der die Sendeleistung des Lidarsensors 2.1 und der Empfindlichkeit des Lidarempfängers 2.1.1. Bezugszeichenliste
1 Fahrzeug
2 Lidar
2.1 Lidarsensor
2.1.1 Lidarempfänger
3 Kamera
C Steuersignal
I Intensität
P Infrarot-Laserimpuls
S Sensorsignal
V1 bis V10 Verfahrensschritt

Claims

Patentansprüche
1. Verfahren zur Kalibrierung eines Lidarsensors (2.1) eines Fahrzeugs (1) oder eines Roboters, dadurch gekennzeichnet, dass in einer Referenzkalibrierung
- ein, eine vorgegebene Reflektivität aufweisendes und in einer vorgegebenen Entfernung zum Lidarsensor (2.1) befindliches Referenzobjekt mit Laserstrahlung des Lidarsensors (2.1) beaufschlagt wird,
- von dem Referenzobjekt reflektierte Laserstrahlung mittels eines Lidarempfängers (2.1.1) des Lidarsensors (2.1) empfangen wird,
- der Lidarsensor (2.1) ein mit der Laserstrahlung korrelierendes und eine Referenzintensität aufweisendes Sensorsignal (S) erzeugt und
- eine Empfindlichkeit des Lidarempfängers (2.1.1) in Abhängigkeit der Referenzintensität kalibriert wird, in einer Betriebskalibrierung während eines Betriebs des Fahrzeugs (1) oder Roboters
- mittels zumindest einer Kamera (3) erfasst wird, ob im Erfassungsbereich des Lidarsensors (2.1) zumindest ein Objekt vorhanden ist, dessen Reflektivität der eines Referenzobjekts der Referenzkalibrierung entspricht,
- bei Vorhandensein eines solchen Objekts mittels des Lidarsensors (2.1) eine Entfernung zu dem Objekt ermittelt wird
- eine Intensität (I) eines aufgrund einer von dem Objekt reflektierten Laserstrahlung erzeugten Sensorsignals (S) ermittelt wird,
- die ermittelte Intensität (I) mit einer zugehörigen Referenzintensität verglichen wird und
- in Abhängigkeit des Vergleichs der Intensität (I) mit der Referenzintensität die Empfindlichkeit des Lidarempfängers (2.1.1) kalibriert wird.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass während des Betriebs des Fahrzeugs (1) oder Roboters bei sich ändernden Entfernungen des Lidarsensors (2.1) zu dem Objekt eine Intensität (I) mit der Referenzintensität verglichen wird, welche bei einer Entfernung ermittelt wurde, die der Entfernung des zugehörigen Referenzobjekts zum Lidarsensor (2.1) entspricht.
3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass während des Betriebs des Fahrzeugs (1) oder Roboters bei sich ändernden Entfernungen des Lidarsensors (2.1) zu dem Objekt eine Intensität (I) mit der Referenzintensität verglichen wird, welche durch Extrapolation von Intensitäten (I) ermittelt wurde, die bei verschiedenen Entfernungen des Lidarsensors (2.1) zum Objekt ermittelt wurden.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Beaufschlagung des Referenzobjekts und des Objekts die mittels des Lidarsensors (2.1) ausgesendete Laserstrahlung mittels eines rotierenden Spiegels des Lidarsensors (2.1) abgelenkt wird.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als auf das Objekt gerichtete Laserstrahlung Infrarot- Laserstrahlung verwendet wird.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Erzeugung mittels der Kamera (3) erfasster Bilder zumindest während der Betriebskalibrierung mittels eines kameraeigenen Infrarotlichtfilters auf die Kamera (3) treffende Lichtstrahlung gefiltert wird.
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass
- ein Infrarotlichtfilter verwendet wird, welcher durchlässig für eine von dem Lidarsensor (2.1) ausgesendete und von Objekt reflektierte Infrarot-Laserstrahlung ist und/oder
- der Infrarotlichtfilter in einem Kalibriermodus der Kamera (3) durchlässig für eine von dem Lidarsensor (2.1) ausgesendete und von dem Objekt reflektierte Infrarot- Laserstrahlung geschaltet wird.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei der Erfassung des Objekts mittels der Kamera (3) eine Integration über mehrere nacheinander erfasste Bilder der Kamera (3) durchgeführt wird.
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Kamera (3) zur Kalibrierung des Lidarsensors (2.1) in einen Kalibriermodus geschaltet wird.
10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Entfernung zu dem Objekt anhand einer Messung einer Laufzeit zwischen einem Zeitpunkt eines Aussendens der Laserstrahlung und einem Zeitpunkt eines Empfangs der vom Objekt reflektierten Laserstrahlung ermittelt wird.
PCT/EP2021/052102 2020-02-13 2021-01-29 Verfahren zur kalibrierung eines lidarsensors WO2021160444A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202180013225.9A CN115066629B (zh) 2020-02-13 2021-01-29 用于校准激光雷达传感器的方法
US17/760,327 US20230076693A1 (en) 2020-02-13 2021-01-29 Method for calibrating a lidar sendor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020103794.5A DE102020103794B4 (de) 2020-02-13 2020-02-13 Verfahren zur Kalibrierung eines Lidarsensors
DE102020103794.5 2020-02-13

Publications (1)

Publication Number Publication Date
WO2021160444A1 true WO2021160444A1 (de) 2021-08-19

Family

ID=74505225

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2021/052102 WO2021160444A1 (de) 2020-02-13 2021-01-29 Verfahren zur kalibrierung eines lidarsensors

Country Status (4)

Country Link
US (1) US20230076693A1 (de)
CN (1) CN115066629B (de)
DE (1) DE102020103794B4 (de)
WO (1) WO2021160444A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220239159A1 (en) * 2021-01-26 2022-07-28 Tdk Corporation Object detection apparatus, power transmission apparatus, and power transmission system

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020119116B3 (de) 2020-07-21 2021-12-16 Daimler Ag Verfahren zur Detektion von Verunreinigungen einer optischen Sensoranordnung
US11814067B2 (en) 2021-12-14 2023-11-14 Gm Cruise Holdings Llc Periodically mapping calibration scene for calibrating autonomous vehicle sensors
US20230204739A1 (en) * 2021-12-23 2023-06-29 Yandex Self Driving Group Llc Lidar system and a method of calibrating the lidar system
US20250018983A1 (en) * 2023-07-13 2025-01-16 Torc Robotics, Inc. Systems and methods for sensor calibration at an energy supply station

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19607345A1 (de) 1996-02-27 1997-08-28 Sick Ag Laserabstandsermittlungsvorrichtung
DE102016009327A1 (de) 2016-07-30 2017-02-02 Daimler Ag Vorrichtung und Verfahren zur Kalibrierung einer Kamera
US20170124781A1 (en) * 2015-11-04 2017-05-04 Zoox, Inc. Calibration for autonomous vehicle operation
US20190056484A1 (en) * 2017-08-17 2019-02-21 Uber Technologies, Inc. Calibration for an autonomous vehicle lidar module

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010062378B4 (de) * 2010-12-03 2024-06-06 Robert Bosch Gmbh Verfahren und Einrichtung für die Umfelderfassung mit einer Lidarsensorik
US9470520B2 (en) * 2013-03-14 2016-10-18 Apparate International C.V. LiDAR scanner
DE102014211071A1 (de) * 2014-06-11 2015-12-17 Robert Bosch Gmbh Fahrzeug-Lidar-System
US10359507B2 (en) * 2016-12-30 2019-07-23 Panosense Inc. Lidar sensor assembly calibration based on reference surface
US10630913B2 (en) * 2017-04-27 2020-04-21 Aptiv Technologies Limited Lidar and camera data fusion for automated vehicle
US11435456B2 (en) * 2017-12-28 2022-09-06 Lyft, Inc. Sensor calibration facility
US10721393B2 (en) * 2017-12-29 2020-07-21 Axis Ab Laser ranging and illumination
DE102018212984A1 (de) * 2018-08-03 2020-02-06 Robert Bosch Gmbh Vorrichtung zur Detektion eines Objekts

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19607345A1 (de) 1996-02-27 1997-08-28 Sick Ag Laserabstandsermittlungsvorrichtung
US20170124781A1 (en) * 2015-11-04 2017-05-04 Zoox, Inc. Calibration for autonomous vehicle operation
DE102016009327A1 (de) 2016-07-30 2017-02-02 Daimler Ag Vorrichtung und Verfahren zur Kalibrierung einer Kamera
US20190056484A1 (en) * 2017-08-17 2019-02-21 Uber Technologies, Inc. Calibration for an autonomous vehicle lidar module

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220239159A1 (en) * 2021-01-26 2022-07-28 Tdk Corporation Object detection apparatus, power transmission apparatus, and power transmission system
US11616405B2 (en) * 2021-01-26 2023-03-28 Tdk Corporation Object detection apparatus, power transmission apparatus, and power transmission system

Also Published As

Publication number Publication date
CN115066629B (zh) 2025-05-27
DE102020103794B4 (de) 2021-10-21
DE102020103794A1 (de) 2021-08-19
CN115066629A (zh) 2022-09-16
US20230076693A1 (en) 2023-03-09

Similar Documents

Publication Publication Date Title
DE102020103794B4 (de) Verfahren zur Kalibrierung eines Lidarsensors
DE10229334B4 (de) Verfahren und Vorrichtung zur Kalibrierung von Sensoren im Kraftfahrzeug mittels eines Kalibrierobjekts mit Triple-Spiegel als Bezugsmerkmal
DE19607345A1 (de) Laserabstandsermittlungsvorrichtung
DE102019102669A1 (de) Zielobjekterfassungsvorrichtung
DE102017222969A1 (de) Verfahren zur verbesserten Nah- und Ferndetektion einer LIDAR Empfangseinheit
DE102015217912A1 (de) Verfahren zur Laufzeitkalibrierung eines Lidarsensors
WO2021151572A1 (de) Verfahren zur kalibrierung einer kamera und/oder eines lidarsensors eines fahrzeugs oder eines roboters
DE10140096A1 (de) Verfahren zum Betrieb eines aktiven Hinderniswarnsystem
DE102005037094B3 (de) Kalibrierverfahren für einen Sensor zur Abstandsmessung
WO2021001181A1 (de) Anpassungsvorrichtung und lidar-messvorrichtung
DE102019100929A1 (de) Langstreckendetektor für LIDAR
DE102021129091A1 (de) Verfahren zum Betreiben einer Detektionsvorrichtung zur ortsaufgelösten Überwachung wenigstens eines Überwachungsbereichs, Detektionsvorrichtung, Fahrzeug mit wenigstens einer Detektionsvorrichtung
EP4241111A1 (de) Verfahren zur ermittlung einer änderung einer reichweite eines lidarsensors
DE102020131288A1 (de) Verfahren zum Betreiben einer Detektionsvorrichtung zur Bestimmung von Entfernungsgrößen, Detektionsvorrichtung und Fahrzeug mit wenigstens einer Detektionsvorrichtung
EP1456687B1 (de) Verfahren zur abstandsmessung
EP4249950B1 (de) Erfassung und abstandsbestimmung eines objekts
DE102019128437A1 (de) Kalibriervorrichtung zur Kalibrierung wenigstens einer optischen Detektionsvorrichtung
DE102023108881A1 (de) Optische empfangseinheit für ein lidar-system, lidar-system für ein fahrzeug sowie verfahren zu betreiben eines lidar-systems
DE102023111738A1 (de) Verfahren und system zum kalibrieren einer fahrzeugerfas-sungsvorrichtung
WO2023247395A1 (de) Verfahren zum betreiben eines lidar-systems mit streulicht-korrektur, entsprechendes lidar-system und fahrzeug
WO2025002877A1 (de) Verfahren zum identifizieren zumindest eines bereiches in optischen bildinformationen, optisches erfassungssystem sowie fahrzeug
DE102022130410A1 (de) Lidar-System zur Entfernungsermittlung, Verfahren zum Betreiben eines Lidar-Systems sowie Verwendung des Lidar-Systems
DE102023110728A1 (de) Lidar-system und verfahren zur umgebungserfassung
WO2022189371A1 (de) Lidar-system zur entfernungsbestimmung von objekten
DE102023117113A1 (de) Verfahren und setup zum bestimmen von kalibrierungsdaten und optische strahllenkungsvorrichtung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21702938

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21702938

Country of ref document: EP

Kind code of ref document: A1