[go: up one dir, main page]

WO2019238319A1 - Verfahren und vorrichtung zum erfassen einer umgebung, sowie fahrzeug mit einer solchen vorrichtung - Google Patents

Verfahren und vorrichtung zum erfassen einer umgebung, sowie fahrzeug mit einer solchen vorrichtung Download PDF

Info

Publication number
WO2019238319A1
WO2019238319A1 PCT/EP2019/061904 EP2019061904W WO2019238319A1 WO 2019238319 A1 WO2019238319 A1 WO 2019238319A1 EP 2019061904 W EP2019061904 W EP 2019061904W WO 2019238319 A1 WO2019238319 A1 WO 2019238319A1
Authority
WO
WIPO (PCT)
Prior art keywords
laser scanner
exposure
detection area
exposure time
camera
Prior art date
Application number
PCT/EP2019/061904
Other languages
English (en)
French (fr)
Inventor
Manuel Schäfer
Markus Gressmann
Helmuth Eggers
Philipp Lehner
Martin Meinke
Original Assignee
Daimler Ag
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler Ag, Robert Bosch Gmbh filed Critical Daimler Ag
Priority to CN201980039872.XA priority Critical patent/CN112352169B/zh
Priority to US17/252,368 priority patent/US11443529B2/en
Publication of WO2019238319A1 publication Critical patent/WO2019238319A1/de

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time

Definitions

  • the invention relates to a method and a device for detecting a
  • Lane boundary which has a camera on the one hand and a lidar detector on the other, a first probabilistic model for the lane boundary being determined from camera data, a second probabilistic model for the lane boundary being ascertained from the lidar data, and the probabilistic model thus determined Models are merged with each other in order to obtain a merged probabilistic model and to use this to estimate the lane boundary.
  • Camera system originates, is received and is further processed.
  • the data obtained in this way can be merged with other sensor data, for example from lidar sensors, in order to improve detection accuracy and classification accuracy and reliability.
  • optical cameras offer a high resolution of recorded images of the captured environment, but without distance information.
  • Detect laser scanner in contrast, 3D point clouds of the scanned environment, whereby they are able to provide highly accurate distance information. But you have a much lower resolution.
  • Camera images are preferably also to be used for recognizing light signals, for example traffic lights, traffic signs designed as light signals, brake lights, turn signals and the like. This is due in particular to the fact that modern light signals are typically operated with light-emitting diodes which only emit short light pulses which follow one another in rapid succession, in particular being operated by means of pulse width modulation. If the exposure times are too short, there is therefore a risk that the exposure may lie between the light pulses of the light signal - i.e. during a dark phase - the state of the light signal, for example the switching state of a traffic light, the type of traffic sign displayed and the like, no longer in the image is recognizable.
  • light signals for example traffic lights, traffic signs designed as light signals, brake lights, turn signals and the like.
  • the invention has for its object to provide a method and a device for detecting an environment, in particular a vehicle with such a device, wherein the disadvantages mentioned do not occur.
  • the object is achieved in particular by a method for detecting a
  • Environment in particular an environment of a vehicle, is created, the environment being periodically captured in a first detection area by means of a laser scanner, the environment being captured in a second detection area by means of an optical camera.
  • the detection area at least overlap with each other.
  • An optical sensor of the camera is exposed at least twice within a period of the laser scanner, and a first exposure time for a first exposure of the at least two exposures of the optical sensor is selected and synchronized with the laser scanner such that the first exposure within a first Time window takes place in which the laser scanner detects the first detection area.
  • the first exposure time within the first time window is chosen to be sufficiently short to obtain sharp images from the camera even when the vehicle is moving.
  • the exposure of the camera is therefore synchronized with the laser scanner, and the camera is exposed at least twice within the period of the laser scanner, one of the exposures simultaneously with the scanning of the surroundings by the laser scanner, in particular simultaneously with the detection of the common, overlapping detection area.
  • the fact that a second exposure of the optical sensor is provided within the period of the laser scanner enables reliable detection even of light-signal signals operated with pulse width modulation, since a second exposure time for the second exposure is basically arbitrary within the period of the laser scanner and thus in particular can be selected longer than the first exposure time within the first time window.
  • both data can be obtained that show a semantic segmentation of the optical camera image and the 3D point cloud captured by the laser scanner enable, as well as optical data, which a reliable detection of
  • a detection range is understood here to mean in particular an angular range around a vertical axis, in particular the vertical axis of a vehicle, and consequently an azimuth angular range.
  • the first detection area is a corresponding one
  • the first detection area is preferably smaller than a scan area of the laser scanner that the laser scanner sweeps over a period.
  • the laser scanner it is possible for the laser scanner to be designed as a laser scanner rotating about an axis, which preferably rotates about a vertical axis, that is to say a vertical axis, wherein it scans a scanning area of 360 ° within a period.
  • it preferably does not capture data in the entire scan area, but only in the smaller, first capture area.
  • the second detection range is accordingly an angle range given by an opening angle of the optics of the optical camera.
  • first detection area and the second detection area at least overlap means that they are congruent at least in some areas.
  • the detection areas are preferably substantially congruent, particularly preferably they overlap completely, in particular a detection area selected from the first detection area and the second detection area can lie entirely within the other detection area selected from the second detection area and the first detection area. It is also possible for the detection areas to be completely congruent by overlapping with one another everywhere.
  • overlap and congruent are used in particular with reference to the azimuth.
  • a vertical axis or a vertical axis is understood here to mean, in particular, an axis which points in the direction of a gravitational vector and / or which is perpendicular to a contact plane or roadway plane on which a vehicle which is set up to carry out the method stands or drives.
  • a lidar detector (Lidar - Light Detection And Ranging) is preferably used as the laser scanner.
  • An optical camera is understood to mean an optical image recording device that is set up to record static or moving images, in particular two-dimensional static or moving images, wherein the optical camera can be designed in particular as a photo camera or video camera. But it is also possible to use an optical 3D camera.
  • the laser scanner preferably periodically scans the surroundings continuously.
  • the optical sensor of the camera is preferably exposed at least twice in a plurality of periods of the laser scanner.
  • the optical sensor is particularly preferably exposed at least twice in each period of the laser scanner.
  • the optical sensor of the camera is preferably exposed more than twice within a period of the laser scanner. Multiple exposure can advantageously be used to provide additional or more accurate information about the
  • more than one exposure can be provided outside the first time window.
  • Exposure time may be provided that is longer than the first exposure time within the first time window.
  • the second exposure of the at least two exposures of the optical sensor takes place outside the first time window in a second time window, the laser scanner preferably not capturing the first detection area in the second time window.
  • the laser scanner preferably not capturing the first detection area in the second time window.
  • any time window within the period of the laser scanner can be selected for the second exposure, since no synchronization with the detection by the laser scanner is necessary.
  • a temporal positioning of the second exposure outside the first time window enables a particularly clean separation between those data which are intended for synchronization with the scanning by the laser scanner and those data which are not intended for this purpose.
  • the first exposure time takes place temporally in a central region of the first time window, in particular symmetrically to one half of the first time window. Since the laser scanner according to a preferred embodiment, the first detection area with constant
  • this selection means that the first exposure takes place precisely when the laser Scanner passes the middle of the first detection area. This results in a particularly good correspondence between the recorded optical image on the one hand and the detected 3D points of the laser scanner on the other. This is particularly the case, even if the optical camera with its second
  • Detection area is centered on the first detection area.
  • the second exposure time for the second exposure is selected to be longer than the first exposure time for the first exposure.
  • the second exposure time for the second exposure is chosen so long that pulse-width-modulated light signals, in particular traffic lights, illuminated traffic signs, brake lights, turn signals and the like, can be reliably detected, so that at least one bright is also available for the shortest known pulse-width-modulated traffic signal Phase is detected within the second exposure time.
  • the first exposure time is preferably chosen to be so short that sufficiently sharp images are acquired even when the vehicle is moving, which enables meaningful semantic segmentation and its assignment to the 3D point clouds that are recorded by the laser scanner.
  • the first exposure time and / or the second exposure time is / are adapted to the period of the laser scanner. In this way, precise synchronization of the optical detection with the laser scanner is ensured on the one hand, and on the other hand it is ensured that in particular the second exposure time does not exceed the period of the laser scanner.
  • the first exposure time is preferably at most 10 ms, preferably at most 8 ms, preferably at most 7 ms, preferably at most 6 ms, preferably at most 5 ms, preferably at most 4 ms, preferably 4 ms.
  • the second exposure time is preferably at most 45 ms, preferably at most 40 ms, preferably at most 30 ms, preferably at most 20 ms, preferably at most 15 ms, preferably 12 ms, preferably more than 10 ms, preferably from at least 11 ms to at most 45 ms, preferably from at most 11 ms to at most 40 ms, preferably from at least 11 ms to at most 30 ms, preferably from at least 11 ms to at most 20 ms, preferably from at least 11 ms to at most 15 ms.
  • the period of the laser scanner is 90 ms, the laser scanner covering a scanning range of 360 ° in these 90 ms.
  • the first detection range is preferably an angular range of 120 °, which is consequently scanned within 30 ms at a constant angular velocity of the laser scanner.
  • the laser scanner needs the remaining 60 ms of the period to complete the rotation.
  • the first detection area was one without restriction of generality
  • Detecting pulse-width-modulated light signals a duration of 12 ms is advantageous for the second exposure time.
  • a new measuring cycle begins after 90 ms.
  • the exposure and the exposure time of the optical camera and the scanning by the laser scanner are thus coordinated as follows: during a scanning of the laser scanner, the optical camera is exposed briefly if and only if the currently scanned area of the laser scanner and the viewing direction the camera
  • the period of the laser scanner due to the rotating units is usually longer than the exposure time and dead time between two exposures of the optical camera, the camera can be exposed again with a long exposure time when the laser scanner is not in the vicinity detected
  • Detection area does not perform an environmental detection. Rather, the laser can basically scan the surroundings within the entire scan area. In this case, however, the first detection area is the area of scanning by the laser scanner that overlaps the second detection area of the optical camera.
  • At least one image of the optical sensor recorded with the first exposure time is segmented semantically, the semantic segmentation being applied to data from the laser scanner.
  • the semantic segmentation of an image recorded with the first exposure time is applied to those data of the laser scanner which were recorded in the same period of the laser scanner in which the image recorded with the first exposure time was also recorded. This enables an exact assignment of the semantic segmentation of the optical image to the data of the laser scanner.
  • the sematical segmentation is preferably carried out using a neural network, in particular a so-called folded neural network (convolutional neural network), in particular using deep learning.
  • a neural network in particular a so-called folded neural network (convolutional neural network), in particular using deep learning.
  • the object is also achieved by creating a device for detecting an environment, in particular an environment of a vehicle, which has a laser scanner which is set up to periodically detect a first detection area of the environment, the device further comprising an optical one Camera that is set up to capture the surroundings in a second detection area, wherein the first detection area and the second detection area at least overlap.
  • the device also has a control device, on the one hand with the optical camera and on the other hand with the laser scanner
  • control device is operatively connected to control the optical camera and the laser scanner, the control device being set up to carry out a method according to the invention or a method according to one of the ones described above
  • the optical camera and the laser scanner are preferably related to them
  • the main axes are those Axes pointing in the direction of the detection areas.
  • the main axis of the laser scanner is an axis which points symmetrically into the first detection area.
  • the main axis of the optical camera is in particular the optical axis of the optics of the camera. If the main axes of the optical camera and the laser scanner are oriented parallel to each other, they have the same viewing direction.
  • the object is also achieved by creating a vehicle which has a device according to the invention or a device according to one of the preceding
  • the vehicle is designed as a motor vehicle, in particular as a passenger car, as a truck or as a commercial vehicle.
  • Fig. 1 is a schematic representation of an embodiment of a device for detecting an environment
  • Fig. 2 is a schematic representation of an embodiment of a method for
  • Figure 1 shows a schematic representation of an embodiment of a device 1 for detecting an environment, in particular the environment of a schematically indicated vehicle 3, preferably as a motor vehicle, in particular as
  • Cars, as trucks or as commercial vehicles, can be designed.
  • the device 1 has a laser scanner 5, which is set up to periodically detect the surroundings - here the surroundings of the vehicle 3 - in a first detection area 7. Furthermore, the device 1 has an optical camera 9, which is set up to capture the surroundings in a second detection area 11. The first detection area 7 and the second detection area 11 overlap at least partially.
  • the device 1 also has a control device 13 which is operatively connected on the one hand to the laser scanner 5 and on the other hand to the optical camera 9, so that the control device 13 the laser scanner 5 and the optical one Camera 9 can control.
  • the control device 13 is set up for
  • the optical camera 9 and the laser scanner 5 are aligned parallel to one another with respect to their main axes.
  • 1 shows a first main axis 15 of the laser scanner 5 and a second main axis 17 of the camera 9, which are oriented parallel to one another, so that the laser scanner 5 on the one hand and the optical camera 9 on the other have the same viewing direction.
  • the detection ranges 7, 11 are each angular ranges of an azimuth angle.
  • the laser scanner 5 in particular has a scan area that is larger than the first detection area 7.
  • the scan area of the laser scanner comprises a full azimuth angle range of 360 °.
  • the laser scanner periodically sweeps the entire scanning area, scanning the first detection area 7 of the environment within such a period.
  • the first detection range here is, for example, an angular range of 120 °, wherein it extends from 0 ° to 120 ° in FIG. 1 without restricting generality.
  • the first main axis 15 divides the first detection area 7 in half, that is, at 60 °.
  • the laser scanner 5 preferably sweeps over the scan area with a constant one
  • an optical sensor 19 of the camera 9 is exposed at least twice within a period of the laser scanner 5.
  • a first exposure time for a first exposure of the at least two exposures of the optical sensor 19 is selected and synchronized with the laser scanner 5 such that the first exposure takes place within a first time window in which the laser scanner 5 covers the first detection area 7 and thus captured.
  • the second exposure of the at least two exposures of the optical sensor 19 can take place outside the first time window in a second time window in which the laser scanner 5 preferably does not sweep over the first detection area 7.
  • the first exposure preferably takes place temporally in a central region of the first time window, in particular symmetrically to one half of the first time window. This ensures that the first exposure takes place when the laser scanner 5 is just the middle area of the first detection area 7, preferably in FIG. 1 - in particular symmetrically - around the 60 ° marking, that is to say in particular symmetrically to the first main axis 15.
  • the second exposure time for the second exposure is preferably chosen to be longer than the first exposure time for the first exposure. In particular, it can be ensured through specific selection of the exposure times that, on the one hand, the first
  • Exposure time is short enough to produce sufficiently sharp images for semantic purposes
  • the second exposure time is chosen long enough to also reliably detect pulse-width-modulated light signals.
  • the first exposure time and / or the second exposure time is / are adapted to the period of the laser scanner 5.
  • At least one image of the optical sensor 19 or of the optical camera 9 taken at the first exposure time is segmented semantically, this semantic segmentation being applied to data from the laser scanner 5, in particular to data obtained in the same period of the laser scanner 5 like the picture taken at the first exposure.
  • Figure 2 shows a schematic representation of an embodiment of the method.
  • the time t in ms is plotted on the lowest axis.
  • An exposure K of the camera 9 is shown on an uppermost axis; on the second axis from above, the scanning of the surroundings by the laser scanner 5 in the first detection area 7 is shown as laser scanning L; The scanning angle S of the laser scanner 5 is plotted on the third axis from above over the entire scanning range from 0 ° to 360 °.
  • the period of the laser scanner 5 here is 90 ms, within which the full scan range from 0 ° to 360 ° is covered.
  • the first detection area 7 of 120 ° is covered within 30 ms. The first begins without restricting generality
  • the device 1 and the vehicle 3 a meaningful semantic segmentation of camera images as well as 3D data from the laser scanner 5 can be carried out, and pulse-width-modulated light signals can be reliably detected.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Erfassen einer Umgebung, insbesondere eines Fahrzeugs, wobei die Umgebung in einem ersten Erfassungsbereich mittels eines Laser-Scanners L periodisch erfasst wird, wobei die Umgebung in einem zweiten Erfassungsbereich mittels einer optischen Kamera K erfasst wird, wobei der erste Erfassungsbereich und der zweite Erfassungsbereich zumindest überlappen, wobei ein optischer Sensor der Kamera K innerhalb einer Periode des Laser-Scanners L zumindest zweimal belichtet wird, und wobei eine erste Belichtungszeit für eine erste Belichtung der wenigstens zwei Belichtungen des optischen Sensors der Kamera K so gewählt und mit dem Laser-Scanner L synchronisiert wird, dass die erste Belichtung innerhalb eines ersten Zeitfensters erfolgt, in dem der Laser-Scanner L den ersten Erfassungsbereich erfasst. Die Periode des Laser-Scanners L beträgt in einem Beispiel 90 ms, innerhalb derer der volle Scanbereich von 0° bis 360° überstrichen wird. Der erste Erfassungsbereich von 120° wird dabei innerhalb von 30 ms überstrichen. Ohne Beschränkung der Allgemeinheit beginnt der erste Erfassungsbereich hier bei 0° und endet bei 120°. Die erste Belichtungszeit für den optischen Sensor der Kamera K ist zeitlich in einem mittleren Bereich des ersten Zeitfensters angeordnet. Die zweite Belichtungszeit ist außerhalb des ersten Zeitfensters in der Periode des Laser-Scanners L angeordnet. Nach 90 ms beziehungsweise 360° des Scanwinkels S wird das Verfahren periodisch fortgesetzt. Die zweite Belichtungszeit für die zweite Belichtung wird bevorzugt länger gewählt als die erste Belichtungszeit für die erste Belichtung. Insbesondere kann dadurch sichergestellt werden, dass einerseits die erste Belichtungszeit kurz genug ist, um hinreichend scharfe Bilder zur semantischen Segmentierung und zur Anwendung dieser semantischen Segmentierung auf die durch den Laser-Scanner L erfassten 3D-Daten ermöglicht, wobei andererseits die zweite Belichtungszeit lang genug gewählt wird, um auch pulsweitenmodulierte Lichtsignale, beispielsweise mit Leuchtdioden betriebene Ampeln, sicher zu erfassen.

Description

Verfahren und Vorrichtung zum Erfassen einer Umgebung, sowie Fahrzeug
mit einer solchen Vorrichtung
Die Erfindung betrifft ein Verfahren sowie eine Vorrichtung zum Erfassen einer
Umgebung, insbesondere einer Fahrzeugumgebung, sowie ein Fahrzeug mit einer solchen Vorrichtung.
Es ist bekannt, zur Umgebungserfassung, insbesondere in Fahrzeugen, optische Kameras mit Laser-Scan-Verfahren beziehungsweise Laser-Scannern zu kombinieren. Beispielsweise geht aus der US-amerikanischen Patentanmeldung US 2016/0180177 A1 ein in einem Kraftfahrzeug angeordnetes System zur Abschätzung einer
Fahrbahnbegrenzung hervor, welches einerseits eine Kamera und andererseits einen Lidar-Detektor aufweist, wobei aus Kameradaten ein erstes probabilistisches Modell für die Fahrbahnbegrenzung ermittelt wird, wobei aus den Lidar-Daten ein zweites probabilistisches Modell für die Fahrbahnbegrenzung ermittelt wird, und wobei die derart ermittelten probabilistischen Modelle miteinander fusioniert werden, um ein fusioniertes probabilistisches Modell zu erhalten, und aus diesem die Fahrbahnbegrenzung abzuschätzen.
Aus der deutschen Offenlegungsschrift DE 10 2017 108 248 A1 ist ein
computerimplementiertes Verfahren zur Straßenmerkmalserkennung bekannt, bei dem ein Bild, welches von einem mit einem Fahrzeug auf einer Straße verbundenen
Kamerasystem stammt, empfangen und weiterverarbeitet wird. Die so erhaltenen Daten können mit anderen Sensordaten, beispielsweise von Lidar-Sensoren, verschmolzen werden, um eine Detektions- und Klassifizierungsgenauigkeit und -Zuverlässigkeit zu verbessern.
Generell bieten optische Kameras eine hohe Auflösung aufgenommener Bilder der erfassten Umgebung, allerdings ohne Abstandsinformation. Laser-Scanner ermitteln demgegenüber 3D-Punktwolken der abgetasteten Umgebung, wobei sie in der Lage sind, hochgenaue Abstandsinformationen bereitzustellen. Sie haben dafür aber eine deutlich geringere Auflösung.
Es ist außerdem bekannt, von optischen Kameras aufgenommene Bilder insbesondere mittels neuronaler Netze semantisch zu segmentieren, wobei Objekte in den Bildern erkannt werden, und wobei jedem Pixel ein Klassen-Label, beispielsweise„Fahrbahn“, „Fahrzeug“ oder„Fußgänger“, zugeordnet wird. Auf diese Weise wird das Bild in semantische Segmente aufgeteilt. Vorteilhaft wäre es, diese Informationen der semantischen Segmentierung mit den 3D-Punktewolken, die durch einen Laser-Scanner gewonnen werden, kombinieren zu können, sodass auch den 3D-Punkten der
Punktewolken entsprechende Klassen-Labels zugeordnet werden. Dies würde die Szene- Interpretation in einem Fahrzeug sowie die Prädiktion des Verhaltens anderer
Verkehrsteilnehmer deutlich verbessern. Notwendig hierzu ist allerdings eine genaue Synchronisation der Abtastung der Umgebung mittels des Laser-Scanners einerseits und der Abbildung der Umgebung in der optischen Kamera andererseits, sowie die Wahl einer möglichst geringen Belichtungszeit für die optische Kamera, um auch bei bewegtem Fahrzeug ausreichend scharfe Bilder zu erhalten.
Solche kurze Belichtungszeiten sind aber wiederum problematisch, wenn die
Kamerabilder in bevorzugter Weise auch zur Erkennung von Lichtsignalen, beispielsweise Ampeln, als Lichtsignale ausgestalteten Verkehrszeichen, Bremslichtern, Blinkern und dergleichen verwendet werden sollen. Dies liegt insbesondere daran, dass moderne Lichtsignale typischerweise mit Leuchtdioden betrieben werden, die lediglich kurze, schnell hintereinander folgende Lichtimpulse aussenden, wobei sie insbesondere mittels Pulsweitenmodulation betrieben werden. Bei zu kurzen Belichtungszeiten besteht daher die Gefahr, dass die Belichtung zwischen den Lichtimpulsen des Lichtsignals liegen kann - also während einer Dunkelphase -, wobei der Zustand des Lichtsignals, beispielsweise der Schaltzustand einer Ampel, die Art des angezeigten Verkehrszeichens und dergleichen, im Bild nicht mehr erkennbar ist.
Eine sichere semantische Segmentierung von 3D-Punktewolken unter Rückgriff auf Kamerabilder einerseits und eine sichere Erkennung von Lichtzeichen andererseits erscheinen daher als entgegengesetzte, miteinander unvereinbare Ziele. Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren sowie eine Vorrichtung zum Erfassen einer Umgebung, insbesondere eines Fahrzeugs mit einer solchen Vorrichtung, zu schaffen, wobei die genannten Nachteile nicht auftreten.
Die Aufgabe wird gelöst, indem die Gegenstände der unabhängigen Ansprüche geschaffen werden. Vorteilhafte Ausgestaltungen ergeben sich aus den Unteransprüchen.
Die Aufgabe wird insbesondere gelöst, indem ein Verfahren zum Erfassen einer
Umgebung, insbesondere einer Umgebung eines Fahrzeugs, geschaffen wird, wobei die Umgebung in einem ersten Erfassungsbereich mittels eines Laser-Scanners periodisch erfasst wird, wobei die Umgebung in einem zweiten Erfassungsbereich mittels einer optischen Kamera erfasst wird. Der erste Erfassungsbereich und der zweite
Erfassungsbereich überlappen dabei zumindest miteinander. Ein optischer Sensor der Kamera wird innerhalb einer Periode des Laser-Scanners zumindest zweimal belichtet, und eine erste Belichtungszeit für eine erste Belichtung der wenigstens zwei Belichtungen des optischen Sensors wird so gewählt und mit dem Laser-Scanner synchronisiert, dass die erste Belichtung innerhalb eines ersten Zeitfensters erfolgt, in dem der Laser-Scanner den ersten Erfassungsbereich erfasst. Auf diese Weise wird gewährleistet, dass die Bildaufnahme mittels der optischen Kamera synchronisiert zu der Erfassung des mit dem zweiten Erfassungsbereich zumindest überlappenden ersten Erfassungsbereichs erfolgt, sodass der Laser-Scanner einerseits und die optische Kamera andererseits zumindest teilweise den gleichen Bereich der Umgebung abbilden. Die erste Belichtungszeit innerhalb des ersten Zeitfensters wird hinreichend kurz gewählt, um auch bei bewegtem Fahrzeug scharfe Bilder von der Kamera zu erhalten. Die Belichtung der Kamera wird also mit dem Laser-Scanner synchronisiert, und die Kamera wird zumindest zweimal innerhalb der Periode des Laser-Scanners belichtet, wobei eine der Belichtungen gleichzeitig mit der Abtastung der Umgebung durch den Laser-Scanner, insbesondere gleichzeitig mit der Erfassung des gemeinsamen, überlappenden Erfassungsbereichs, erfolgt. Dadurch, dass eine zweite Belichtung des optischen Sensors innerhalb der Periode des Laser-Scanners vorgesehen ist, wird eine sichere Erfassung auch von pulsweitenmoduliert betriebenen Lichtsignalen ermöglicht, da eine zweite Belichtungszeit für die zweite Belichtung grundsätzlich innerhalb der Periode des Laser-Scanners beliebig und damit insbesondere länger gewählt werden kann, als die erste Belichtungszeit innerhalb des ersten Zeitfensters. Somit können innerhalb einer Periode des Laser- Scanners sowohl Daten erhalten werden, die eine semantische Segmentierung des optischen Kamerabildes und der durch den Laser-Scanner erfassten 3D-Punktewolke ermöglichen, als auch optische Daten, welche eine zuverlässige Erkennung von
Lichtsignalen erlauben.
Unter einem Erfassungsbereich wird hier insbesondere ein Winkelbereich um eine Hochachse, insbesondere die Hochachse eines Fahrzeugs, verstanden, mithin ein Azimut-Winkelbereich. Dabei ist der erste Erfassungsbereich ein entsprechender
Winkelbereich, in dem der Laser-Scanner die Umgebung tatsächlich erfasst. Der erste Erfassungsbereich ist dabei bevorzugt kleiner als ein Scanbereich des Laser-Scanners, den der Laser-Scanner innerhalb einer Periode überstreicht. Insbesondere ist es möglich, dass der Laser-Scanner als um eine Achse rotierender Laser-Scanner ausgebildet ist, der vorzugsweise um eine Hochachse, das heißt eine vertikale Achse, rotiert, wobei er innerhalb einer Periode einen Scanbereich von 360° überstreicht. Dabei erfasst er jedoch bevorzugt nicht in dem gesamten Scanbereich Daten, sondern lediglich in dem kleineren, ersten Erfassungsbereich.
Der zweite Erfassungsbereich ist entsprechend ein durch einen Öffnungswinkel der Optik der optischen Kamera gegebener Winkelbereich.
Dass der erste Erfassungsbereich und der zweite Erfassungsbereich zumindest überlappen bedeutet, dass diese zumindest bereichsweise deckungsgleich sind.
Vorzugsweise sind die Erfassungsbereiche im Wesentlichen deckungsgleich, besonders bevorzugt überlappen sie vollständig, wobei insbesondere ein Erfassungsbereich, ausgewählt aus dem ersten Erfassungsbereich und dem zweiten Erfassungsbereich, vollständig innerhalb des anderen Erfassungsbereichs, ausgewählt aus dem zweiten Erfassungsbereich und dem ersten Erfassungsbereich, liegen kann. Es ist auch möglich, dass die Erfassungsbereiche vollständig deckungsgleich sind, indem sie überall miteinander überlappen. Die Begriffe„überlappen“ und„deckungsgleich“ werden dabei insbesondere mit Bezug auf den Azimut verwendet.
Unter einer Hochachse oder einer vertikalen Achse wird hier insbesondere eine Achse verstanden, die in Richtung eines Gravitationsvektors zeigt, und/oder die senkrecht zu einer Aufstandsebene oder Fahrbahnebene, auf der ein Fahrzeug, welches eingerichtet ist zur Durchführung des Verfahrens, aufsteht oder fährt.
Als Laser-Scanner wird vorzugsweise ein Lidar-Detektor (Lidar - Light Detection And Ranging) verwendet. Unter einer optischen Kamera wird eine optische Bildaufnahmeeinrichtung verstanden, die eingerichtet ist zur Aufnahme statischer oder bewegter Bilder, insbesondere zweidimensionaler statischer oder bewegter Bilder, wobei die optische Kamera insbesondere als Fotokamera oder Videokamera ausgebildet sein kann. Es ist aber auch möglich, eine optische 3D-Kamera zu verwenden.
Der Laser-Scanner tastet die Umgebung vorzugsweise fortlaufend periodisch ab. Der optische Sensor der Kamera wird dabei bevorzugt in einer Mehrzahl von Perioden des Laser-Scanners jeweils zumindest zweimal belichtet. Besonders bevorzugt wird der optische Sensor in jeder Periode des Laser-Scanners zumindest zweimal belichtet.
Vorzugsweise wird der optische Sensor der Kamera innerhalb einer Periode des Laser- Scanners mehr als zweimal belichtet. Eine mehrfache Belichtung kann in vorteilhafter Weise verwendet werden, um zusätzliche oder genauere Informationen über die
Umgebung zu erhalten, insbesondere um Totzeiten für die Bilderfassung zu reduzieren. Dabei können insbesondere mehr als eine Belichtung außerhalb des ersten Zeitfensters vorgesehen sein. Insbesondere können mehr als eine Bildaufnahme mit einer
Belichtungszeit vorgesehen sein, die länger ist als die erste Belichtungszeit innerhalb des ersten Zeitfensters.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass die zweite Belichtung der wenigstens zwei Belichtungen des optischen Sensors außerhalb des ersten Zeitfensters in einem zweiten Zeitfenster erfolgt, wobei der Laser-Scanner bevorzugt in dem zweiten Zeitfenster den ersten Erfassungsbereich nicht erfasst. Generell kann für die zweite Belichtung ein beliebiges Zeitfenster innerhalb der Periode des Laser-Scanners gewählt werden, da insoweit keine Synchronisation mit der Erfassung durch den Laser-Scanner nötig ist. Eine zeitliche Positionierung der zweiten Belichtung außerhalb des ersten Zeitfensters ermöglicht aber eine besonders saubere Trennung zwischen denjenigen Daten, die zur Synchronisation mit der Abtastung durch den Laser-Scanner bestimmt sind, und denjenigen Daten, die hierzu nicht bestimmt sind.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass die erste Belichtungszeit zeitlich in einem mittleren Bereich des ersten Zeitfensters, insbesondere symmetrisch zu einer Hälfte des ersten Zeitfensters, erfolgt. Da der Laser-Scanner gemäß einer bevorzugten Ausgestaltung den ersten Erfassungsbereich mit konstanter
Erfassungsgeschwindigkeit, insbesondere mit konstanter Winkelgeschwindigkeit, erfasst, führt diese Wahl dazu, dass die erste Belichtung genau dann stattfindet, wenn der Laser- Scanner die Mitte des ersten Erfassungsbereichs passiert. Somit ergibt sich eine besonders gute Übereinstimmung zwischen dem aufgenommenen optischen Bild einerseits und den erfassten 3D-Punkten des Laser-Scanners andererseits. Dies ist insbesondere der Fall, wenn auch die optische Kamera mit ihrem zweiten
Erfassungsbereich mittig auf den ersten Erfassungsbereich ausgerichtet ist.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass die zweite Belichtungszeit für die zweite Belichtung länger gewählt wird als die erste Belichtungszeit für die erste Belichtung. Dabei wird die zweite Belichtungszeit für die zweite Belichtung insbesondere so lang gewählt, dass pulsweitenmoduliert betriebene Lichtzeichen, insbesondere Ampeln, leuchtende Verkehrszeichen, Bremslichter, Blinker und dergleichen, sicher erkannt werden können, sodass insbesondere also auch für das kürzeste bekannte, pulsweitenmodulierte Verkehrssignal mindestens eine Hell-Phase innerhalb der zweiten Belichtungszeit erfasst wird.
Die erste Belichtungszeit wird bevorzugt so kurz gewählt, dass auch bei bewegtem Fahrzeug hinreichend scharfe Bilder erfasst werden, die eine sinnvolle semantische Segmentierung und deren Zuordnung zu den 3D-Punktewolken ermöglicht, die durch den Laser-Scanner erfasst werden.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass die erste Belichtungszeit und/oder die zweite Belichtungszeit an die Periode des Laser-Scanners angepasst wird/werden. Auf diese Weise wird zum einen eine genaue Synchronisation der optischen Erfassung mit dem Laser-Scanner gewährleistet, zum anderen wird gewährleistet, dass insbesondere die zweite Belichtungszeit die Periode des Laser-Scanners nicht überschreitet.
Die erste Belichtungszeit beträgt bevorzugt höchstens 10 ms, vorzugsweise höchstens 8 ms, vorzugsweise höchstens 7 ms, vorzugsweise höchstens 6 ms, vorzugsweise höchstens 5 ms, vorzugsweise höchstens 4 ms, vorzugsweise 4 ms.
Die zweite Belichtungszeit beträgt bevorzugt höchstens 45 ms, vorzugsweise höchstens 40 ms, vorzugsweise höchstens 30 ms, vorzugsweise höchstens 20 ms, vorzugsweise höchstens 15 ms, vorzugsweise 12 ms, vorzugsweise mehr als 10 ms, vorzugsweise von mindestens 11 ms bis höchstens 45 ms, vorzugsweise von höchstens 11 ms bis höchstens 40 ms, vorzugsweise von mindestens 11 ms bis höchstens 30 ms, vorzugsweise von mindestens 1 1 ms bis höchstens 20 ms, vorzugsweise von mindestens 11 ms bis höchstens 15 ms.
In einer bevorzugten Ausgestaltung beträgt die Periode des Laser-Scanners 90 ms, wobei der Laser-Scanner in diesen 90 ms einen Scannbereich von 360° überstreicht. Der erste Erfassungsbereich ist bevorzugt ein Winkelbereich von 120°, der folglich, bei konstanter Winkelgeschwindigkeit des Laser-Scanners, innerhalb von 30 ms abgetastet wird. Die restlichen 60 ms der Periode benötigt der Laser-Scanner zum Vollenden der Rotation. Der erste Erfassungsbereich liege ohne Beschränkung der Allgemeinheit in einem
Winkelbereich von 0° bis 120°. Beträgt die erste Belichtungszeit 4 ms, erfolgt die erste Belichtung der optischen Kamera bevorzugt dann, wenn der Laser-Scanner sich bei cirka 60° befindet, also mittig in dem ersten Erfassungsbereich. Beginnt der Laser-Scanner beispielsweise ohne Beschränkung der Allgemeinheit zu einem Zeitpunkt t = 0 mit der Abtastung bei 0°, beginnt die Belichtung der Kamera bevorzugt zum Zeitpunkt t = 13 ms und dauert 4 ms. Während dieser Zeit passiert der Laser-Scanner - bei t = 15 ms - die Mitte des ersten Erfassungsbereichs. Nach 30 ms ist der komplette erste
Erfassungsbereich abgetastet.
Wann die zweite Belichtung des optischen Sensors erfolgt, ist prinzipiell irrelevant.
Beginnt die zweite Belichtung beispielsweise bei t = 58 ms, kann eine konstante
Kamerazykluszeit von 45 ms umgesetzt werden. Um derzeit bekannte,
pulsweitenmodulierte Lichtsignale zu erfassen, ist eine Dauer von 12 ms für die zweite Belichtungszeit vorteilhaft. Nach 90 ms beginnt jeweils ein neuer Messzyklus.
Die Belichtung und die Belichtungszeit der optischen Kamera und die Abtastung durch den Laser-Scanner werden also wie folgt koordiniert: Während einer Abtastung des Laser-Scanners wird die optische Kamera genau dann kurz belichtet, wenn der aktuell abgescannte Bereich des Laser-Scanners und die Blickrichtung der Kamera
übereinstimmen. Da die Periode des Laser-Scanners aufgrund der rotierenden Einheiten in der Regel länger ist als die Belichtungszeit und Totzeit zwischen zwei Belichtungen der optischen Kamera, kann die Kamera ein weiteres Mal mit einer langen Belichtungszeit belichtet werden, wenn der Laser-Scanner gerade nicht die Umgebung erfasst
beziehungsweise Bereiche außerhalb des zweiten Erfassungsbereichs der Kamera abscannt. Dadurch ergeben sich ein kürzer belichtetes, zum Laser-Scanner
synchronisiertes Bild, und ein für die Lichtzeichenerkennung länger belichtetes Bild. Es ist nicht zwingend erforderlich, dass der Laser-Scanner außerhalb des ersten
Erfassungsbereichs keine Umgebungserfassung durchführt. Vielmehr kann der Laser grundsätzlich auch innerhalb des gesamten Scanbereichs die Umgebung abtasten. In diesem Fall ist der erste Erfassungsbereich allerdings derjenige Bereich der Abtastung durch den Laser-Scanner, der mit dem zweiten Erfassungsbereich der optischen Kamera überlappt.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass zumindest ein mit der ersten Belichtungszeit aufgenommenes Bild des optischen Sensors semantisch segmentiert wird, wobei die semantische Segmentierung auf Daten des Laser-Scanners angewendet wird. Insbesondere wird die semantische Segmentierung eines mit der ersten Belichtungszeit aufgenommenen Bildes auf diejenigen Daten des Laser-Scanners angewendet, die in derselben Periode des Laser-Scanners erfasst wurden, in der auch das mit der ersten Belichtungszeit aufgenommene Bild aufgenommen wurde. Dies ermöglicht eine genaue Zuordnung der semantischen Segmentierung des optischen Bildes zu den Daten des Laser-Scanners.
Die sematische Segmentierung erfolgt bevorzugt mittels eines neuronalen Netzes, insbesondere eines sogenannten gefalteten neuronalen Netzes (Convolutional Neural Network), insbesondere mittels Deep Learning.
Die Aufgabe wird schließlich auch gelöst, indem eine Vorrichtung zur Erfassung einer Umgebung, insbesondere einer Umgebung eines Fahrzeugs geschaffen wird, die einen Laser-Scanner aufweist, der eingerichtet ist, um einen ersten Erfassungsbereich der Umgebung periodisch zu erfassen, wobei die Vorrichtung weiter eine optische Kamera aufweist, die eingerichtet ist, um die Umgebung in einem zweiten Erfassungsbereich zu erfassen, wobei der erste Erfassungsbereich und der zweite Erfassungsbereich zumindest überlappen. Die Vorrichtung weist außerdem eine Steuereinrichtung auf, die einerseits mit der optischen Kamera und andererseits mit dem Laser-Scanner
wirkverbunden ist, um die optische Kamera und den Laser-Scanner anzusteuern, wobei die Steuereinrichtung eingerichtet ist zur Durchführung eines erfindungsgemäßen Verfahrens oder eines Verfahrens gemäß einer der zuvor beschriebenen
Ausführungsformen. In Zusammenhang mit der Vorrichtung ergeben sich insbesondere die Vorteile, die bereits in Zusammenhang mit dem Verfahren erläutert wurden.
Die optische Kamera und der Laser-Scanner sind vorzugsweise bezüglich ihrer
Hauptachsen parallel zueinander ausgerichtet. Die Hauptachsen sind dabei diejenigen Achsen, die in Richtung der Erfassungsbereiche weisen. Insbesondere ist die Hauptachse des Laser-Scanners eine Achse, die symmetrisch in den ersten Erfassungsbereich weist. Die Hauptachse der optischen Kamera ist insbesondere die optische Achse der Optik der Kamera. Sind die Hauptachsen der optischen Kamera und des Laser-Scanners parallel zueinander orientiert, haben diese die gleiche Blickrichtung.
Die Aufgabe wird auch gelöst, indem ein Fahrzeug geschaffen wird, welches eine erfindungsgemäße Vorrichtung oder eine Vorrichtung nach einem der zuvor
beschriebenen Ausführungsbeispiele aufweist. In Zusammenhang mit dem Fahrzeug ergeben sich insbesondere die Vorteile, die bereits in Zusammenhang mit dem Verfahren beschrieben wurden.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass das Fahrzeug als Kraftfahrzeug, insbesondere als Personenkraftwagen, als Lastkraftwagen oder als Nutzfahrzeug, ausgebildet ist.
Die Erfindung wird im Folgenden anhand von Zeichnungen näher erläutert.
Dabei zeigen:
Fig. 1 eine schematische Darstellung eines Ausführungsbeispiels einer Vorrichtung zur Erfassung einer Umgebung, und
Fig. 2 eine schematische Darstellung einer Ausführungsform eines Verfahrens zum
Erfassen einer Umgebung.
Figur 1 zeigt eine schematische Darstellung eines Ausführungsbeispiels einer Vorrichtung 1 zur Erfassung einer Umgebung, insbesondere der Umgebung eines schematisch angedeuteten Fahrzeugs 3, das bevorzugt als Kraftfahrzeug, insbesondere als
Personenkraftwagen, als Lastkraftwagen oder als Nutzfahrzeug, ausgebildet sein kann.
Die Vorrichtung 1 weist einen Laser-Scanner 5 auf, der eingerichtet ist, um die Umgebung - hier die Umgebung des Fahrzeugs 3 - in einem ersten Erfassungsbereich 7 periodisch zu erfassen. Weiterhin weist die Vorrichtung 1 eine optische Kamera 9 auf, die eingerichtet ist, um die Umgebung in einem zweiten Erfassungsbereich 11 zu erfassen. Dabei überlappen der erste Erfassungsbereich 7 und der zweite Erfassungsbereich 11 zumindest teilweise. Die Vorrichtung 1 weist außerdem eine Steuereinrichtung 13 auf, die einerseits mit dem Laser-Scanner 5 und andererseits mit der optischen Kamera 9 wirkverbunden ist, sodass die Steuereinrichtung 13 den Laser-Scanner 5 und die optische Kamera 9 ansteuern kann. Die Steuereinrichtung 13 ist dabei eingerichtet zur
Durchführung eines im Folgenden noch beschriebenen Verfahrens.
Die optische Kamera 9 und der Laser-Scanner 5 sind bezüglich ihrer Hauptachsen parallel zueinander ausgerichtet. Dabei ist in Figur 1 eine erste Hauptachse 15 des Laser- Scanners 5 sowie eine zweite Hauptachse 17 der Kamera 9 dargestellt, die parallel zueinander orientiert sind, sodass der Laser-Scanner 5 einerseits und die optische Kamera 9 andererseits dieselbe Blickrichtung haben.
Die Erfassungsbereiche 7, 1 1 sind jeweils Winkelbereiche eines Azimut-Winkels.
Der Laser-Scanner 5 weist insbesondere einen Scanbereich auf, der größer ist als der erste Erfassungsbereich 7. Insbesondere umfasst der Scanbereich des Laser-Scanners einen vollen Azimut-Winkelbereich von 360°. Der Laser-Scanner überstreicht dabei periodisch den gesamten Scanbereich, wobei er innerhalb einer solchen Periode den ersten Erfassungsbereich 7 der Umgebung abtastet.
Der erste Erfassungsbereich ist hier beispielhaft ein Winkelbereich von 120°, wobei er sich ohne Beschränkung der Allgemeinheit in Figur 1 von 0° bis 120° erstreckt. Die erste Hauptachse 15 teilt dabei den ersten Erfassungsbereich 7 in der Hälfte, das heißt bei 60°. Der Laser-Scanner 5 überstreicht den Scanbereich bevorzugt mit konstanter
Winkelgeschwindigkeit.
Im Rahmen des Verfahrens zum Erfassen der Umgebung wird ein optischer Sensor 19 der Kamera 9 innerhalb einer Periode des Laser-Scanners 5 zumindest zweimal belichtet. Eine erste Belichtungszeit für eine erste Belichtung der wenigstens zwei Belichtungen des optischen Sensors 19 wird dabei so gewählt und mit dem Laser-Scanner 5 synchronisiert, dass die erste Belichtung innerhalb eines ersten Zeitfensters erfolgt, in dem der Laser- Scanner 5 den ersten Erfassungsbereich 7 überstreicht und somit erfasst.
Die zweite Belichtung der wenigstens zwei Belichtungen des optischen Sensors 19 kann außerhalb des ersten Zeitfensters in einem zweiten Zeitfenster erfolgen, in dem der Laser-Scanner 5 den ersten Erfassungsbereich 7 vorzugsweise nicht überstreicht.
Bevorzugt erfolgt die erste Belichtung zeitlich in einem mittleren Bereich des ersten Zeitfensters, insbesondere symmetrisch zu einer Hälfte des ersten Zeitfensters. Dies stellt sicher, dass die erste Belichtung dann erfolgt, wenn der Laser-Scanner 5 gerade den mittleren Bereich des ersten Erfassungsbereichs 7, bevorzugt in Figur 1 - insbesondere symmetrisch - um die 60°-Markierung herum, das heißt insbesondere symmetrisch zu der ersten Hauptachse 15, erfasst.
Die zweite Belichtungszeit für die zweite Belichtung wird bevorzugt länger gewählt als die erste Belichtungszeit für die erste Belichtung. Insbesondere kann durch spezifische Auswahl der Belichtungszeiten sichergestellt werden, dass einerseits die erste
Belichtungszeit kurz genug ist, um hinreichend scharfe Bilder zur semantischen
Segmentierung und zur Anwendung dieser semantischen Segmentierung auf die durch den Laser-Scanner 5 erfassten 3D-Daten ermöglicht, wobei andererseits die zweite Belichtungszeit lang genug gewählt wird, um auch pulsweitenmodulierte Lichtsignale sicher zu erfassen.
Die erste Belichtungszeit und/oder die zweite Belichtungszeit wird/werden dabei an die Periode des Laser-Scanners 5 angepasst.
Zumindest ein mit der ersten Belichtungszeit aufgenommenes Bild des optischen Sensors 19 beziehungsweise der optischen Kamera 9 wird semantisch segmentiert, wobei diese semantische Segmentierung auf Daten des Laser-Scanners 5 angewendet wird, insbesondere auf Daten, die in derselben Periode des Laser-Scanners 5 gewonnen wurden, wie das mit der ersten Belichtungszeit aufgenommene Bild.
Figur 2 zeigt eine schematische Darstellung einer Ausführungsform des Verfahrens.
Dabei ist auf der untersten Achse die Zeit t in ms abgetragen. Auf einer obersten Achse ist eine Belichtung K der Kamera 9 dargestellt; auf der zweiten Achse von oben ist die Abtastung der Umgebung durch den Laser-Scanner 5 in dem ersten Erfassungsbereich 7 als Laser-Abtastung L dargestellt; auf der dritten Achse von oben ist der Scanwinkel S des Laser-Scanners 5 über den gesamten Scanbereich von 0° bis 360° abgetragen.
Rein beispielhaft und ohne Beschränkung der Allgemeinheit beträgt die Periode des Laser-Scanners 5 hier 90 ms, innerhalb derer der volle Scanbereich von 0° bis 360° überstrichen wird. Der erste Erfassungsbereich 7 von 120° wird dabei innerhalb von 30 ms überstrichen. Ohne Beschränkung der Allgemeinheit beginnt der erste
Erfassungsbereich 7 hier bei 0° und endet bei 120°.
Die erste Belichtungszeit für den optischen Sensor 19 beträgt hier 4 ms. Diese ist so positioniert, dass sie zeitlich in einem mittleren Bereich des ersten Zeitfensters, das heißt hier von t = 0 ms bis t = 30 ms, angeordnet ist, wobei die erste Belichtungszeit bei t = 13 ms beginnt und entsprechend bei t = 17 ms endet. Somit fällt die zeitliche Mitte der ersten Belichtungszeit gerade zusammen mit dem Zeitpunkt, zu dem der Laser-Scanner 5 die 60°-Marke des ersten Erfassungsbereichs 7 erreicht, nämlich t = 15 ms.
Die zweite Belichtungszeit beträgt 12 ms. Sie ist außerhalb des ersten Zeitfensters in der Periode des Laser-Scanners 5 angeordnet, wobei sie hier bei t = 58 ms beginnt, das heißt mit einem zeitlichen Abstand zum Beginn der ersten Belichtungszeit von 45 ms.
Nach 90 ms beziehungsweise 360° des Scanwinkels S wird das Verfahren periodisch fortgesetzt.
Insgesamt können mit dem hier vorgeschlagenen Verfahren, der Vorrichtung 1 und dem Fahrzeug 3 sowohl eine sinnvolle semantische Segmentierung von Kamerabildern wie auch 3D-Daten des Laser-Scanners 5 durchgeführt, als auch pulsweitenmodulierte Lichtsignale sicher erkannt werden.

Claims

Patentansprüche
1. Verfahren zum Erfassen einer Umgebung, insbesondere eines Fahrzeugs (3),
wobei
- die Umgebung in einem ersten Erfassungsbereich (7) mittels eines Laser- Scanners (5) periodisch erfasst wird, wobei
- die Umgebung in einem zweiten Erfassungsbereich (11 ) mittels einer
optischen Kamera (9) erfasst wird, wobei
- der erste Erfassungsbereich (7) und der zweite Erfassungsbereich (1 1 ) zumindest überlappen, wobei
- ein optischer Sensor (19) der Kamera (9) innerhalb einer Periode des Laser- Scanners (5) zumindest zweimal belichtet wird, und wobei
- eine erste Belichtungszeit für eine erste Belichtung der wenigstens zwei Belichtungen des optischen Sensors (9) so gewählt und mit dem Laser- Scanner (5) synchronisiert wird, dass
- die erste Belichtung innerhalb eines ersten Zeitfensters erfolgt, in dem der Laser-Scanner (5) den ersten Erfassungsbereich (7) erfasst.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass eine zweite Belichtung der wenigstens zwei Belichtungen des optischen Sensors (19) außerhalb des ersten Zeitfensters in einem zweiten Zeitfenster erfolgt, in dem der Laser-Scanner (15) vorzugsweise den ersten Erfassungsbereich (7) nicht erfasst.
3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die erste Belichtung zeitlich in einem mittleren Bereich des ersten Zeitfensters, insbesondere symmetrisch zu einer Hälfte des ersten Zeitfensters, erfolgt.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine zweite Belichtungszeit für die zweite Belichtung größer gewählt wird als die erste Belichtungszeit für die erste Belichtung.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die erste Belichtungszeit und/oder die zweite Belichtungszeit an die Periode des Laser-Scanners (5) angepasst wird/werden.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zumindest ein mit der ersten Belichtungszeit aufgenommenes Bild des optischen Sensors (19) semantisch segmentiert wird, wobei die so erhaltene semantische Segmentierung auf Daten des Laser-Scanners (5) angewendet wird.
7. Vorrichtung (1 ) zur Erfassung einer Umgebung, insbesondere eines Fahrzeugs (3), mit
- einem Laser-Scanner (5), der eingerichtet ist, um die Umgebung in einem ersten Erfassungsbereich (7) periodisch zu erfassen,
- einer optischen Kamera (9), die eingerichtet ist, um die Umgebung in einem zweiten Erfassungsbereich (11 ) zu erfassen, wobei
- der erste Erfassungsbereich (7) und der zweite Erfassungsbereich (1 1 ) zumindest überlappen, und mit
- einer Steuereinrichtung (13), die mit dem Laser-Scanner (5) und mit der optischen Kamera (9) wirkverbunden ist, um den Laser-Scanner (5) und die optische Kamera (9) anzusteuern, wobei
- die Steuereinrichtung (13) eingerichtet ist zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 6.
8. Vorrichtung (1 ) nach Anspruch 7, dadurch gekennzeichnet, dass die optische
Kamera (9) und der Laser-Scanner (5) bezüglich ihrer jeweiligen Hauptachsen (15,17) parallel zueinander ausgerichtet sind.
9. Fahrzeug (3), mit einer Vorrichtung (1 ) nach einem der Ansprüche 7 oder 8.
10. Fahrzeug (3) nach Anspruch 9, dadurch gekennzeichnet, dass das Fahrzeug als Kraftfahrzeug, insbesondere als Personenkraftwagen, als Lastkraftwagen oder als Nutzfahrzeug, ausgebildet ist.
PCT/EP2019/061904 2018-06-15 2019-05-09 Verfahren und vorrichtung zum erfassen einer umgebung, sowie fahrzeug mit einer solchen vorrichtung WO2019238319A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201980039872.XA CN112352169B (zh) 2018-06-15 2019-05-09 用于检测环境的方法和设备以及具有这种设备的车辆
US17/252,368 US11443529B2 (en) 2018-06-15 2019-05-09 Method and apparatus for detecting surroundings, and vehicle with such an apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018004782.3A DE102018004782A1 (de) 2018-06-15 2018-06-15 Verfahren und Vorrichtung zum Erfassen einer Umgebung, sowie Fahrzeug mit einer solchen Vorrichtung
DE102018004782.3 2018-06-15

Publications (1)

Publication Number Publication Date
WO2019238319A1 true WO2019238319A1 (de) 2019-12-19

Family

ID=66484057

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2019/061904 WO2019238319A1 (de) 2018-06-15 2019-05-09 Verfahren und vorrichtung zum erfassen einer umgebung, sowie fahrzeug mit einer solchen vorrichtung

Country Status (4)

Country Link
US (1) US11443529B2 (de)
CN (1) CN112352169B (de)
DE (1) DE102018004782A1 (de)
WO (1) WO2019238319A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4061683A4 (de) * 2019-12-30 2023-12-06 Waymo LLC Close-in-sensorkamerasystem
US11880200B2 (en) 2019-12-30 2024-01-23 Waymo Llc Perimeter sensor housings

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023509292A (ja) * 2020-01-03 2023-03-08 モービルアイ ビジョン テクノロジーズ リミテッド 信号機を検出するためのシステムおよび方法
CN112040213B (zh) * 2020-09-11 2021-09-14 梅卡曼德（北京）机器人科技有限公司 一种用于成像扫描信号同步的调制方法、装置及系统
CN114035201B (zh) * 2021-09-23 2024-12-24 阿里巴巴达摩院(杭州)科技有限公司 多传感器同步方法、装置及车载控制系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2389007A2 (de) * 2010-05-20 2011-11-23 Samsung Electronics Co., Ltd. Verfahren und Vorrichtung zur zeitlichen Interpolation eines dreidimensionalen Tiefenbildes
US20160116593A1 (en) * 2014-10-23 2016-04-28 Hyundai Mobis Co., Ltd. Object detecting apparatus, and method of operating the same
US20160180177A1 (en) 2014-12-23 2016-06-23 Volkswagen Ag Fused raised pavement marker detection for autonomous driving using lidar and camera
DE102017108248A1 (de) 2016-04-19 2017-10-19 GM Global Technology Operations LLC Strassenmerkmalserkennung mit einem fahrzeugkamerasystem
US20180136332A1 (en) * 2016-11-15 2018-05-17 Wheego Electric Cars, Inc. Method and system to annotate objects and determine distances to objects in an image
WO2019079511A1 (en) * 2017-10-19 2019-04-25 DeepMap Inc. CAMERA AND LIDAR SYNCHRONIZATION

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6600168B1 (en) * 2000-02-03 2003-07-29 Genex Technologies, Inc. High speed laser three-dimensional imager
JP4206978B2 (ja) * 2004-07-07 2009-01-14 日産自動車株式会社 赤外線撮像装置、並びに車両
US9897688B2 (en) * 2013-11-30 2018-02-20 Bae Systems Information And Electronic Systems Integration Inc. Laser detection and image fusion system and method
US9819889B2 (en) * 2015-08-07 2017-11-14 Omnivision Technologies, Inc. Method and system to implement a stacked chip high dynamic range image sensor
CN204944431U (zh) * 2015-08-12 2016-01-06 杭州思看科技有限公司 采用闪烁方式投影的手持激光三维扫描仪
EP3159711A1 (de) * 2015-10-23 2017-04-26 Xenomatix NV System und verfahren zur bestimmung einer distanz zu einem objekt

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2389007A2 (de) * 2010-05-20 2011-11-23 Samsung Electronics Co., Ltd. Verfahren und Vorrichtung zur zeitlichen Interpolation eines dreidimensionalen Tiefenbildes
US20160116593A1 (en) * 2014-10-23 2016-04-28 Hyundai Mobis Co., Ltd. Object detecting apparatus, and method of operating the same
US20160180177A1 (en) 2014-12-23 2016-06-23 Volkswagen Ag Fused raised pavement marker detection for autonomous driving using lidar and camera
DE102017108248A1 (de) 2016-04-19 2017-10-19 GM Global Technology Operations LLC Strassenmerkmalserkennung mit einem fahrzeugkamerasystem
US20180136332A1 (en) * 2016-11-15 2018-05-17 Wheego Electric Cars, Inc. Method and system to annotate objects and determine distances to objects in an image
WO2019079511A1 (en) * 2017-10-19 2019-04-25 DeepMap Inc. CAMERA AND LIDAR SYNCHRONIZATION

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4061683A4 (de) * 2019-12-30 2023-12-06 Waymo LLC Close-in-sensorkamerasystem
US11880200B2 (en) 2019-12-30 2024-01-23 Waymo Llc Perimeter sensor housings
US11887378B2 (en) 2019-12-30 2024-01-30 Waymo Llc Close-in sensing camera system
US12260650B2 (en) 2019-12-30 2025-03-25 Waymo Llc Close-in sensing camera system

Also Published As

Publication number Publication date
CN112352169B (zh) 2024-03-19
CN112352169A (zh) 2021-02-09
US11443529B2 (en) 2022-09-13
US20210271908A1 (en) 2021-09-02
DE102018004782A1 (de) 2019-12-19

Similar Documents

Publication Publication Date Title
WO2019238319A1 (de) Verfahren und vorrichtung zum erfassen einer umgebung, sowie fahrzeug mit einer solchen vorrichtung
DE102009023326B4 (de) Vorrichtung und Verfahren zum Detektieren eines kritischen Bereiches und Fußgängerdetektionsvorrichtung unter Verwendung derselben
DE60037360T2 (de) Verfahren und Vorrichtung zur Geschwindigkeitsmessung von Fahrzeugen mit ein Bildverarbeitungssystem
DE102017203838A1 (de) Verfahren und System zur Umfelderfassung
DE102006010295B4 (de) Kamerasystem mit zumindest zwei Bildaufnehmern
EP1589484A1 (de) Verfahren zur Erkennung und/oder Verfolgung von Objekten
WO2018177484A1 (de) Verfahren und system zur vorhersage von sensorsignalen eines fahrzeugs
EP2033165B1 (de) Verfahren für die erfassung eines verkehrsraums
DE102013104443A1 (de) Verkehrsüberwachungssystem zur Geschwindigkeitsmessung und Zuordnung von bewegten Fahrzeugen bei einem Mehrziel-Aufnahmemodul
DE102009031319A1 (de) Verfahren und System zur Bestimmung einer Fahrzeugklasse
EP1460454A2 (de) Verfahren zur gemeinsamen Verarbeitung von tiefenaufgelösten Bildern und Videobildern
WO2021239323A1 (de) Verfahren zur erkennung von bildartefakten, steuereinrichtung zur durchführung eines solchen verfahrens, erkennungsvorrichtung mit einer solchen steuereinrichtung und kraftfahrzeug mit einer solchen erkennungsvorrichtung
DE102018005969A1 (de) Verfahren zum Betreiben eines Fahrerassistenzsvstems mit zwei Erfassungseinrichtungen
DE102007025147B4 (de) System zur Spurverlassenswarnung und/oder Spurhaltefunktion
EP3642758A1 (de) Verfahren zum auswerten eines optischen erscheinungsbildes in einer fahrzeugumgebung und fahrzeug
EP2799903B1 (de) Verfahren zur Erfassung von Geschwindigkeitsverstößen mit restriktiver Datenspeicherung
DE102011082477A1 (de) Verfahren und System zur Erstellung einer digitalen Abbildung eines Fahrzeugumfeldes
DE102009038406B4 (de) Verfahren und Vorrichtung zur Vermessung des Umfeldes eines Kraftfahrzeugs
EP3082119B1 (de) Abstandsmessung von fahrzeugen
DE102018200754A1 (de) Verfahren und Vorrichtung zum Auswerten von Sensordaten mittels Kameradaten und Fahrerassistenzsystem
EP2656335A2 (de) Verfahren zur sicheren identifikation eines durch einen strahlungssensor erfassten fahrzeuges in einer bildaufnahme
DE102011083745A1 (de) Verfahren zum monokularen Motion-Stereo-basierten automatischen Vermessen von freien Parkplätzen
WO2022167120A1 (de) Verfahren und vorrichtung zur erkennung von beeinträchtigungen im optischen pfad einer stereokamera
EP1962245B1 (de) Verfahren und Vorrichtung zum Ermitteln des Bewegungszustands von Objekten
DE102015012873B4 (de) Verfahren und Vorrichtung zum Dokumentieren eines Regelverstoßes eines Fahrzeugs durch einen Erfassungsbereich einer Objekt-Tracking-Einrichtung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19723389

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19723389

Country of ref document: EP

Kind code of ref document: A1