DE102019129463A1

DE102019129463A1 - Method and device for recognizing and tracking a dynamic object

Info

Publication number: DE102019129463A1
Application number: DE102019129463.0A
Authority: DE
Inventors: Vinzenz Dallabetta; Georg Tanzmeister; Johannes Niedermayer
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2019-10-31
Filing date: 2019-10-31
Publication date: 2021-05-06

Abstract

Es wird eine Vorrichtung zur Erkennung und zur Nachverfolgung eines dynamischen Objektes in einem Umfeld eines Fahrzeugs beschrieben. Die Vorrichtung umfasst eine Maschinen-erlernte Objekterkennungseinheit, die eingerichtet ist, auf Basis von Sensordaten von ein oder mehreren Umfeldsensoren des Fahrzeugs für einen aktuellen Zeitpunkt eine Objekt-Hypothese für ein dynamisches Objekt in dem Umfeld des Fahrzeugs zu ermitteln. Außerdem umfasst die Vorrichtung eine Rastereinheit, die eingerichtet ist, auf Basis von Sensordaten von ein oder mehreren Umfeldsensoren des Fahrzeugs für den aktuellen Zeitpunkt ein dynamisches Belegungsraster für das Umfeld des Fahrzeugs zu ermitteln. Die Vorrichtung umfasst ferner eine Nachverfolgungseinheit, die eingerichtet ist, das durch die Objekt-Hypothese angezeigte dynamische Objekt unter Berücksichtigung des dynamischen Belegungsrasters für das Umfeld des Fahrzeugs ausgehend von dem aktuellen Zeitpunkt an einer Sequenz von nachfolgenden Zeitpunkten nachzuverfolgen.A device for recognizing and tracking a dynamic object in the surroundings of a vehicle is described. The device comprises a machine-learned object recognition unit which is set up to determine an object hypothesis for a dynamic object in the surroundings of the vehicle for a current point in time on the basis of sensor data from one or more environment sensors of the vehicle. In addition, the device comprises a grid unit which is set up to determine a dynamic occupancy grid for the area around the vehicle for the current point in time on the basis of sensor data from one or more environment sensors of the vehicle. The device further comprises a tracking unit which is set up to track the dynamic object indicated by the object hypothesis, taking into account the dynamic occupancy grid for the surroundings of the vehicle, starting from the current point in time at a sequence of subsequent points in time.

Description

Die Erfindung betrifft ein Verfahren und eine entsprechende Vorrichtung, die es z.B. einem Fahrzeug ermöglichen, auf Basis von Sensordaten von ein oder mehreren Umfeldsensoren ein (zumindest potentiell) dynamisches Umgebungs-Objekt zu detektieren und nachzuverfolgen.The invention relates to a method and a corresponding device that enable a vehicle, for example, to detect and track an (at least potentially) dynamic environmental object on the basis of sensor data from one or more surroundings sensors.

Ein Fahrzeug umfasst typischerweise eine Mehrzahl von unterschiedlichen Umfeldsensoren, die eingerichtet sind, unterschiedliche Sensordaten bezüglich eines Umfelds des Fahrzeugs zu erfassen. Beispielhafte Umfeldsensoren sind Radarsensoren, Ultraschallsensoren, Lidarsensoren, Bildsensoren bzw. Bildkameras, etc. Auf Basis der Sensordaten der ein oder mehreren Umfeldsensoren eines Fahrzeugs können ein oder mehrere Umgebungs-Objekte (z.B. ein oder mehrere andere Fahrzeuge) in einem Umfeld des Fahrzeugs detektiert und nachverfolgt werden.A vehicle typically comprises a plurality of different environment sensors which are set up to record different sensor data relating to an environment of the vehicle. Exemplary surroundings sensors are radar sensors, ultrasonic sensors, lidar sensors, image sensors or image cameras, etc. On the basis of the sensor data of the one or more surroundings sensors of a vehicle, one or more surrounding objects (e.g. one or more other vehicles) in an area around the vehicle can be detected and tracked become.

Für den Betrieb eines Fahrzeugs ist es typischerweise von besonderer Bedeutung, dass dynamische (Umgebungs-) Objekte (insbesondere andere Fahrzeuge) in der Umgebung des Fahrzeugs erkannt und über der Zeit nachverfolgt werden können. For the operation of a vehicle, it is typically of particular importance that dynamic (surrounding) objects (in particular other vehicles) in the vicinity of the vehicle can be recognized and tracked over time.

Das vorliegende Dokument befasst sich mit der technischen Aufgabe, dynamische Objekt mit besonders hoher Zuverlässigkeit und Genauigkeit zu erkennen und nachzuverfolgen.This document deals with the technical task of recognizing and tracking dynamic objects with particularly high reliability and accuracy.

Die Aufgabe wird durch jeden der unabhängigen Ansprüche gelöst. Vorteilhafte Ausführungsformen werden u.a. in den abhängigen Ansprüchen beschrieben. Es wird darauf hingewiesen, dass zusätzliche Merkmale eines von einem unabhängigen Patentanspruch abhängigen Patentanspruchs ohne die Merkmale des unabhängigen Patentanspruchs oder nur in Kombination mit einer Teilmenge der Merkmale des unabhängigen Patentanspruchs eine eigene und von der Kombination sämtlicher Merkmale des unabhängigen Patentanspruchs unabhängige Erfindung bilden können, die zum Gegenstand eines unabhängigen Anspruchs, einer Teilungsanmeldung oder einer Nachanmeldung gemacht werden kann. Dies gilt in gleicher Weise für in der Beschreibung beschriebene technische Lehren, die eine von den Merkmalen der unabhängigen Patentansprüche unabhängige Erfindung bilden können.The problem is solved by each of the independent claims. Advantageous embodiments are described, inter alia, in the dependent claims. It is pointed out that additional features of a patent claim dependent on an independent patent claim without the features of the independent patent claim or only in combination with a subset of the features of the independent patent claim can form a separate invention independent of the combination of all features of the independent patent claim, which can be made the subject of an independent claim, a divisional application or a subsequent application. This applies equally to technical teachings described in the description, which can form an invention that is independent of the features of the independent patent claims.

Gemäß einem Aspekt wird eine Vorrichtung zur Erkennung und zur Nachverfolgung eines dynamischen (Umgebungs-) Objektes in einem Umfeld eines Fahrzeugs (insbesondere eines Kraftfahrzeugs) beschrieben. Ein von der Vorrichtung erkanntes dynamisches Objekt kann z.B. dazu verwendet werden, eine Fahrfunktion innerhalb des Fahrzeugs bereitzustellen, z.B. um das Fahrzeug zumindest teilweise oder vollständig automatisiert zu führen. Die Vorrichtung kann somit eingerichtet sein, auf Basis des erkannten und über der Zeit nachverfolgten dynamischen Objektes eine Fahrfunktion des Fahrzeugs bereitzustellen.According to one aspect, a device for recognizing and tracking a dynamic (surrounding) object in the surroundings of a vehicle (in particular a motor vehicle) is described. A dynamic object recognized by the device can, for example, be used to provide a driving function within the vehicle, for example to guide the vehicle at least partially or completely automatically. The device can thus be set up to provide a driving function of the vehicle on the basis of the dynamic object recognized and tracked over time.

Die Vorrichtung umfasst eine Maschinen-erlernte Objekterkennungseinheit, die eingerichtet ist, auf Basis von Sensordaten von ein oder mehreren Umfeldsensoren des Fahrzeugs für einen aktuellen Zeitpunkt eine Objekt-Hypothese für ein dynamisches Objekt in dem Umfeld des Fahrzeugs zu ermitteln. Die Objekterkennungseinheit kann z.B. eingerichtet sein, eine Objekt-Hypothese auf Basis der Sensordaten von ein oder mehreren Bildkameras des Fahrzeugs zu ermitteln. Des Weiteren kann die Objekterkennungseinheit eingerichtet sein, eine Objekt-Hypothese auf Basis der Sensordaten von ein oder mehreren abstandssensierenden Umfeldsensoren (z.B. einem Lidarsensor und/oder einem Radarsensor) zu ermitteln. So kann die Güte der Objekt-Hypothesen weiter erhöht werden.The device comprises a machine-learned object recognition unit which is set up to determine an object hypothesis for a dynamic object in the surroundings of the vehicle for a current point in time on the basis of sensor data from one or more environment sensors of the vehicle. The object recognition unit can be set up, for example, to determine an object hypothesis on the basis of the sensor data from one or more image cameras of the vehicle. Furthermore, the object recognition unit can be set up to determine an object hypothesis on the basis of the sensor data from one or more distance-sensing surroundings sensors (e.g. a lidar sensor and / or a radar sensor). In this way, the quality of the object hypotheses can be further increased.

In einem bevorzugten Beispiel umfasst die Objekterkennungseinheit zumindest ein maschinell angelerntes künstliches neuronales Netz, insbesondere ein Deep Neural Network. Die Objekterkennungseinheit kann dann eingerichtet sein, die Objekt-Hypothese für ein dynamisches Objekt mittels des maschinell angelernten künstlichen neuronalen Netzes zu ermitteln.In a preferred example, the object recognition unit comprises at least one machine-learned artificial neural network, in particular a deep neural network. The object recognition unit can then be set up to determine the object hypothesis for a dynamic object by means of the machine-learned artificial neural network.

Die Verwendung einer Maschinen-erlernten Objekterkennungseinheit zur Ermittlung von ein oder mehreren Objekt-Hypothesen für ein oder mehrere entsprechende dynamische Objekte ermöglicht es, die ein oder mehreren dynamischen Objekte in besonders zuverlässiger und robuster Weise zu erkennen.The use of a machine-learned object recognition unit to determine one or more object hypotheses for one or more corresponding dynamic objects makes it possible to recognize the one or more dynamic objects in a particularly reliable and robust manner.

Die Vorrichtung umfasst ferner eine Rastereinheit, die eingerichtet ist, auf Basis von Sensordaten von ein oder mehreren Umfeldsensoren des Fahrzeugs für den aktuellen Zeitpunkt ein dynamisches Belegungsraster für das Umfeld des Fahrzeugs zu ermitteln. Das Belegungsraster kann das Umfeld des Fahrzeugs in eine Vielzahl von Zellen unterteilen. Das Belegungsraster kann dann für die Vielzahl von Zellen jeweils eine Wahrscheinlichkeit dafür anzeigt, dass die jeweilige Zelle durch ein Objekt belegt ist oder nicht. Des Weiteren kann das Belegungsraster ggf. für zumindest einen Teil der Vielzahl von Zellen jeweils Bewegungsinformation in Bezug auf die Bewegungsgeschwindigkeit und/oder in Bezug auf die Bewegungsrichtung der jeweiligen Zelle anzeigen.The device further comprises a grid unit which is set up to determine a dynamic occupancy grid for the area around the vehicle for the current point in time on the basis of sensor data from one or more environment sensors of the vehicle. The occupancy grid can subdivide the area around the vehicle into a large number of cells. The occupancy grid can then indicate a probability for the plurality of cells that the respective cell is or is not occupied by an object. Furthermore, the occupancy grid can optionally display movement information in relation to the movement speed and / or in relation to the direction of movement of the respective cell for at least some of the plurality of cells.

Die Rastereinheit kann eingerichtet sein, das Belegungsraster für den aktuellen Zeitpunkt auf Basis von Sensordaten zumindest eines Radarsensors des Fahrzeugs, auf Basis von Sensordaten zumindest eines Lidarsensors des Fahrzeugs, und/oder auf Basis von Sensordaten zumindest einer Bildkamera des Fahrzeugs zu ermitteln. Die Bewegungsinformation für einzelne Zellen kann dabei z.B. auf Basis der Sensordaten zumindest eines Radarsensors des Fahrzeugs ermittelt werden.The grid unit can be set up, the occupancy grid for the current point in time on the basis of sensor data of at least one radar sensor of the vehicle, on the basis of sensor data to determine at least one lidar sensor of the vehicle and / or based on sensor data of at least one image camera of the vehicle. The movement information for individual cells can be determined, for example, on the basis of the sensor data of at least one radar sensor of the vehicle.

Die Rastereinheit kann eingerichtet sein, das Belegungsraster für einen vorhergehenden Zeitpunkt auf Basis der Sensordaten von ein oder mehreren Umfeldsensoren des Fahrzeugs (für den aktuellen Zeitpunkt) zu aktualisieren, um das Belegungsraster für den aktuellen Zeitpunkt zu ermitteln. Mit anderen Worten, das Belegungsraster kann iterativ für eine Sequenz von Zeitpunkten jeweils aktualisiert werden. So kann in besonders zuverlässiger und präziser Weise die Belegung von einzelnen Zellen des Umfelds des Fahrzeugs ermittelt werden.The grid unit can be set up to update the occupancy grid for a previous point in time on the basis of the sensor data from one or more environment sensors of the vehicle (for the current point in time) in order to determine the occupancy grid for the current point in time. In other words, the allocation grid can be updated iteratively for a sequence of points in time. The occupancy of individual cells around the vehicle can thus be determined in a particularly reliable and precise manner.

Die Vorrichtung umfasst ferner eine Nachverfolgungseinheit, die eingerichtet ist, das durch die Objekt-Hypothese angezeigte dynamische Objekt unter Berücksichtigung des dynamischen Belegungsrasters ausgehend von dem aktuellen Zeitpunkt an einer Sequenz von nachfolgenden Zeitpunkten nachzuverfolgen. Insbesondere können dabei die Position und/oder der dynamische Bewegungszustand des dynamischen Objektes an einer Sequenz von nachfolgenden Zeitpunkten ermittelt werden.The device further comprises a tracking unit which is set up to track the dynamic object indicated by the object hypothesis, taking into account the dynamic occupancy grid based on the current point in time at a sequence of subsequent points in time. In particular, the position and / or the dynamic state of movement of the dynamic object can be determined at a sequence of subsequent times.

Es wird somit eine kombinierte Nutzung einer auf neuronalen Netzen basierenden Objekterkennung und einer auf einem iterativ ermittelten dynamischen Belegungsraster basierenden dynamischen Objekterkennung und Nachverfolgung von Objekten ermöglicht. So können dynamische Objekte in besonders präziser, robuster und zuverlässiger Weise erkannt und nachverfolgt werden.A combined use of an object recognition based on neural networks and a dynamic object recognition and tracking of objects based on an iteratively determined dynamic occupancy grid is thus made possible. In this way, dynamic objects can be recognized and tracked in a particularly precise, robust and reliable manner.

Die Vorrichtung kann eingerichtet sein, an einer Sequenz von Zeitpunkten, die Objekterkennung zu wiederholen, und das Belegungsraster sowie die Nachverfolgung zu aktualisieren. Mit anderen Worten, die Objekterkennung und die Nachverfolgung von ein oder mehreren dynamischen Objekten kann an einer Sequenz von Zeitpunkten wiederholt werden. So kann quasi-kontinuierlich ein jeweils aktuelles Bild (insbesondere ein Belegungsraster) mit den zu berücksichtigenden dynamischen Objekten ermittelt werden (und ggf. für eine Fahrfunktion verwendet werden).The device can be set up to repeat the object recognition at a sequence of points in time and to update the occupancy grid and the tracking. In other words, the object recognition and the tracking of one or more dynamic objects can be repeated at a sequence of points in time. A current image (in particular an occupancy grid) with the dynamic objects to be taken into account can thus be determined quasi-continuously (and possibly used for a driving function).

Die Objekterkennungseinheit kann eingerichtet sein, eine Objekt-Hypothese für ein dynamisches Objekt zu ermitteln, das sich an dem aktuellen Zeitpunkt tatsächlich bewegt. Des Weiteren kann die Objekterkennungseinheit eingerichtet sein, eine Objekt-Hypothese für ein dynamisches Objekt zu ermitteln, das sich an dem aktuellen Zeitpunkt nicht bewegt, sich aber an einem nachfolgenden Zeitpunkt bewegen könnte. Insbesondere kann die Objekterkennungseinheit eingerichtet sein, Sensordaten derart auszuwerten, dass auch semantische Aspekte in Bezug auf ein oder mehrere erkannte Objekte berücksichtigt werden. Insbesondere kann der Typ eines erkannten Objekts ermittelt werden (wie z.B. ein Fahrzeug, ein Fußgänger, ein Fahrradfahrer oder eine Wand bzw. eine Fahrbahnbegrenzung). Auf Basis des ermittelten Typs des Objekts kann dann entschieden werden, ob das detektierte Objekt dauerhaft statisch ist (und somit auch in Zukunft nicht mit einer Bewegung des Objektes gerechnet werden kann), oder über das detektierte Objekt prinzipiell dynamisch ist, und sich zumindest in Zukunft bewegen könnte (auch wenn sich das detektierte Objekt an dem aktuellen Zeitpunkt nicht bewegt). Eine von der Objekterkennungseinheit bereitgestellte Objekt-Hypothese kann somit ein dynamisches Objekt anzeigen, das zumindest potentiell dynamisch ist (wie z.B. ein Fahrzeug, ein Fußgänger, ein Fahrradfahrer, etc.).The object recognition unit can be set up to determine an object hypothesis for a dynamic object that is actually moving at the current point in time. Furthermore, the object recognition unit can be set up to determine an object hypothesis for a dynamic object that is not moving at the current point in time, but could move at a subsequent point in time. In particular, the object recognition unit can be set up to evaluate sensor data in such a way that semantic aspects relating to one or more recognized objects are also taken into account. In particular, the type of a recognized object can be determined (such as a vehicle, a pedestrian, a cyclist or a wall or a lane boundary). On the basis of the determined type of the object, it can then be decided whether the detected object is permanently static (and therefore movement of the object cannot be expected in the future), or whether the detected object is principally dynamic, and at least in the future could move (even if the detected object is not moving at the current point in time). An object hypothesis provided by the object recognition unit can thus indicate a dynamic object that is at least potentially dynamic (such as a vehicle, a pedestrian, a cyclist, etc.).

Dies ist ein wesentlicher Vorteil der Verwendung einer Maschinen-erlernten Objekterkennungseinheit, da potentiell dynamische Objekt (die sich an dem aktuellen Zeitpunkt nicht bewegen, sich aber zukünftig bewegen könnten) mit einem dynamischen Belegungsraster typischerweise nicht erkannt werden können (oder erst dann erkannt werden können, wenn sich das dynamische Objekt bereits in der Vergangenheit, zumindest zeitweise, bewegt hat). Durch die Verwendung einer Maschinen-erlernten Objekterkennungseinheit wird somit in robuster Weise die Nachverfolgung bzw. das Tracking von potentiell dynamischen Objekten ermöglicht (die sich ggf. an dem aktuellen Zeitpunkt nicht bewegen, sich aber an einem nachfolgenden Zeitpunkt bewegen könnten, und somit nachverfolgt bzw. getrackt werden sollten).This is an essential advantage of using a machine-learned object recognition unit, since potentially dynamic objects (which are not moving at the current point in time, but could move in the future) typically cannot be recognized with a dynamic occupancy grid (or can only be recognized then, if the dynamic object has already moved in the past, at least temporarily). The use of a machine-learned object recognition unit enables the tracking or tracking of potentially dynamic objects (which may not move at the current point in time, but could move at a subsequent point in time, and thus tracked or tracked) in a robust manner. should be tracked).

Die Rastereinheit kann eingerichtet sein, ein oder mehrere Zell-Cluster für ein oder mehrere entsprechende (dynamische) Objekte innerhalb des Belegungsrasters zu ermitteln. Das Zell-Cluster für ein Objekt kann die Mehrzahl von Zellen des Belegungsrasters anzeigen, die durch das Objekt belegt sind. Insbesondere können einzelne Objekte im Umfeld des Fahrzeugs innerhalb des Belegungsrasters jeweils als Zell-Cluster repräsentiert werden. Dabei kann ein Zell-Cluster eine Objekt-Hypothese für ein (statisches oder zumindest potentiell dynamisches) Objekt darstellen. Ein Zell-Cluster für ein Objekt kann durch Verwendung eines Clustering-Algorithmus (autark) innerhalb der Rastereinheit ermittelt werden. Ein von der Rastereinheit ermitteltes Zell-Cluster kann als Objekt-Hypothese für ein (potentiell) dynamisches Objekt innerhalb der Nachverfolgungseinheit berücksichtigt werden. Alternativ oder ergänzend kann ein Zell-Cluster auf Basis einer durch die Objekterkennungseinheit bereitgestellten Objekt-Hypothese ermittelt werden. Das Bilden von Zell-Clustern ermöglicht eine präzise Nachverfolgung von Objekten innerhalb eines dynamischen Belegungsrasters.The grid unit can be set up to determine one or more cell clusters for one or more corresponding (dynamic) objects within the occupancy grid. The cell cluster for an object can display the plurality of cells of the occupancy grid that are occupied by the object. In particular, individual objects in the vicinity of the vehicle can each be represented as a cell cluster within the occupancy grid. A cell cluster can represent an object hypothesis for a (static or at least potentially dynamic) object. A cell cluster for an object can be determined within the grid unit by using a clustering algorithm (self-sufficient). A cell cluster determined by the grid unit can be taken into account as an object hypothesis for a (potentially) dynamic object within the tracking unit. Alternatively or in addition, a cell cluster can be determined on the basis of an object hypothesis provided by the object recognition unit. The formation of cell clusters enables precise tracking of Objects within a dynamic allocation grid.

Die ein oder mehreren Zell-Cluster können in iterativer Weise zusammen mit dem Belegungsraster aktualisiert werden, um die jeweils aktuellen Positionen der ein oder mehreren Zell-Cluster innerhalb des Belegungsrasters an einer Sequenz von Zeitpunkten zu beschreiben. Zur Aktualisierung der Position eines Zell-Clusters kann die Bewegungsinformation der Zellen berücksichtigt werden, die zu dem Zell-Cluster gehören. Dabei kann bei der Aktualisierung der Position eines Zell-Clusters z.B. ein Partikelfilter verwendet werden. So kann in präziser Weise die Position eines Zell-Clusters (und damit die Position des mit dem Zell-Cluster assoziierten Objektes) nachverfolgt werden, was eine präzise Nachverfolgung eines dynamischen Objektes ermöglicht.The one or more cell clusters can be updated iteratively together with the occupancy grid in order to describe the current positions of the one or more cell clusters within the occupancy grid at a sequence of points in time. To update the position of a cell cluster, the movement information of the cells that belong to the cell cluster can be taken into account. A particle filter, for example, can be used when updating the position of a cell cluster. In this way, the position of a cell cluster (and thus the position of the object associated with the cell cluster) can be traced in a precise manner, which enables precise tracing of a dynamic object.

Die Rastereinheit kann eingerichtet sein, die für den aktuellen Zeitpunkt von der Objekterkennungseinheit ermittelte Objekt-Hypothese bei der Ermittlung des Belegungsrasters für einen auf den aktuellen Zeitpunkt nachfolgenden Zeitpunkt zu berücksichtigen. Insbesondere kann auf Basis der Objekt-Hypothese (z.B. auf Basis der durch die Objekt-Hypothese angezeigte Bounding Box des dynamischen Objektes) ein Zell-Cluster innerhalb des Belegungsrasters für das erkannte dynamische Objekt gebildet und über der Zeit nachverfolgt werden. So kann das dynamische Objekt in besonders präziser Weise über der Zeit (d.h. an der Sequenz von nachfolgenden Zeitpunkten) nachverfolgt werden.The grid unit can be set up to take into account the object hypothesis determined by the object recognition unit for the current point in time when determining the occupancy grid for a point in time subsequent to the current point in time. In particular, on the basis of the object hypothesis (e.g. on the basis of the bounding box of the dynamic object indicated by the object hypothesis), a cell cluster can be formed within the occupancy grid for the identified dynamic object and tracked over time. In this way, the dynamic object can be tracked in a particularly precise way over time (i.e. on the sequence of subsequent points in time).

Die Nachverfolgungseinheit (und/oder die Rastereinheit) kann eingerichtet sein, ein dynamisches Objekt mittels eines Unscented Kalman Filters (UKF) an der Sequenz von nachfolgenden Zeitpunkten nachzuverfolgen. Eine beispielhafte Methode zur Nachverfolgung eines dynamischen Objektes mittels eines UKF ist in Steyer et al., „Grid-Based Object Tracking with Nonlinear Dynamic State and Shape Estimation“, IEEE Transactions on Intelligent Transportation Systems, June 2019 , beschrieben, und wird durch Referenz in dieses Dokument eingebunden.The tracking unit (and / or the raster unit) can be set up to track a dynamic object by means of an unscented Kalman filter (UKF) at the sequence of subsequent points in time. An exemplary method for tracking a dynamic object using a UKF is shown in Steyer et al., "Grid-Based Object Tracking with Nonlinear Dynamic State and Shape Estimation," IEEE Transactions on Intelligent Transportation Systems, June 2019 , and is incorporated into this document by reference.

Alternativ oder ergänzend kann die Nachverfolgungseinheit (und/oder die Rastereinheit) eingerichtet sein, auf Basis der Bewegungsinformation in Bezug auf die Bewegung der einzelnen Zellen in dem Belegungsraster die Position des durch die Objekt-Hypothese angezeigten dynamischen Objekts (insbesondere des entsprechenden Zell-Clusters) innerhalb des Belegungsrasters für einen nachfolgenden Zeitpunkt (aus der Sequenz von nachfolgenden Zeitpunkten) zu prädizieren. Zu diesem Zweck kann (wie oben dargelegt) ein Partikelfilter genutzt werden, bei dem einzelne Bewegungs-Hypothesen gestreut werden).Alternatively or in addition, the tracking unit (and / or the grid unit) can be set up to determine the position of the dynamic object indicated by the object hypothesis (in particular the corresponding cell cluster) on the basis of the movement information in relation to the movement of the individual cells in the occupancy grid. within the allocation grid for a subsequent point in time (from the sequence of subsequent points in time). For this purpose (as explained above) a particle filter can be used, in which individual motion hypotheses are scattered).

Die prädizierte Position des dynamischen Objektes (bzw. des entsprechenden Zell-Clusters) kann dann anhand von Sensordaten von ein oder mehreren Umfeldsensoren (z.B. eines Radarsensors, eines Lidarsensors und/oder einer Bildkamera) des Fahrzeugs für den nachfolgenden Zeitpunkt und/oder anhand des Belegungsrasters für den nachfolgenden Zeitpunkt korrigiert und/oder abgeglichen werden. So kann ein dynamisches Objekt in besonders präziser und robuster Weise nachverfolgt werden.The predicted position of the dynamic object (or the corresponding cell cluster) can then be based on sensor data from one or more environment sensors (e.g. a radar sensor, a lidar sensor and / or an image camera) of the vehicle for the subsequent point in time and / or based on the occupancy grid be corrected and / or adjusted for the subsequent point in time. In this way, a dynamic object can be tracked in a particularly precise and robust manner.

Die Objekterkennungseinheit kann eingerichtet sein, die Objekt-Hypothese (für das dynamische Objekt) für den aktuellen Zeitpunkt auf Basis von Raster-Information in Bezug auf das Belegungsraster für den aktuellen Zeitpunkt zu ermitteln. Die Raster-Information kann dabei als Eingangswerte an ein neuronales Netz der Objekterkennungseinheit übergeben werden. Die Raster-Information kann insbesondere die Bewegungsinformation in Bezug auf die Bewegungsgeschwindigkeit und/oder in Bezug auf die Bewegungsrichtung von ein oder mehreren Zellen des Belegungsrasters umfassen. Durch die Berücksichtigung von Raster-Information bei der Objekterkennung kann die Güte der ermittelten Objekt-Hypothesen erhöht werden.The object recognition unit can be set up to determine the object hypothesis (for the dynamic object) for the current point in time on the basis of grid information in relation to the occupancy grid for the current point in time. The raster information can be transferred as input values to a neural network of the object recognition unit. The raster information can in particular comprise the movement information in relation to the speed of movement and / or in relation to the direction of movement of one or more cells of the occupancy raster. By taking raster information into account when recognizing the object, the quality of the object hypotheses determined can be increased.

Gemäß einem weiteren Aspekt wird ein (Straßen-)Kraftfahrzeug (insbesondere ein Personenkraftwagen oder ein Lastkraftwagen oder ein Bus oder ein Motorrad) beschrieben, das die in diesem Dokument beschriebene Vorrichtung umfasst.According to a further aspect, a (road) motor vehicle (in particular a passenger car or a truck or a bus or a motorcycle) is described which comprises the device described in this document.

Gemäß einem weiteren Aspekt wird ein Verfahren zur Erkennung und zur Nachverfolgung eines dynamischen Objektes in einem Umfeld eines Fahrzeugs beschrieben. Das Verfahren umfasst das Ermitteln, anhand einer Maschinen-erlernten Objekterkennungseinheit, einer Objekt-Hypothese für ein dynamisches Objekt in dem Umfeld des Fahrzeugs für einen aktuellen Zeitpunkt, auf Basis von Sensordaten von ein oder mehreren Umfeldsensoren des Fahrzeugs. Des Weiteren umfasst das Verfahren das Ermitteln eines dynamischen Belegungsrasters für das Umfeld des Fahrzeugs für den aktuellen Zeitpunkt, auf Basis von Sensordaten von ein oder mehreren Umfeldsensoren des Fahrzeugs. Das Verfahren umfasst ferner das Nachverfolgen des durch die Objekt-Hypothese angezeigten dynamischen Objekts ausgehend von dem aktuellen Zeitpunkt an einer Sequenz von nachfolgenden Zeitpunkten, unter Berücksichtigung des dynamischen Belegungsrasters für das Umfeld des Fahrzeugs.According to a further aspect, a method for recognizing and tracking a dynamic object in the surroundings of a vehicle is described. The method comprises determining, using a machine-learned object recognition unit, an object hypothesis for a dynamic object in the surroundings of the vehicle for a current point in time, based on sensor data from one or more surroundings sensors of the vehicle. Furthermore, the method includes the determination of a dynamic occupancy grid for the surroundings of the vehicle for the current point in time, on the basis of sensor data from one or more surroundings sensors of the vehicle. The method further comprises tracking the dynamic object indicated by the object hypothesis, starting from the current point in time at a sequence of subsequent points in time, taking into account the dynamic occupancy grid for the surroundings of the vehicle.

Gemäß einem weiteren Aspekt wird ein Software (SW) Programm beschrieben. Das SW Programm kann eingerichtet werden, um auf einem Prozessor (z.B. auf einem Steuergerät eines Fahrzeugs) ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen.According to a further aspect, a software (SW) program is described. The software program can be set up to run on a processor (e.g. on a control unit of a vehicle) to perform the procedure described in this document.

Gemäß einem weiteren Aspekt wird ein Speichermedium beschrieben. Das Speichermedium kann ein SW Programm umfassen, welches eingerichtet ist, um auf einem Prozessor ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen.According to a further aspect, a storage medium is described. The storage medium can comprise a software program which is set up to be executed on a processor and thereby to execute the method described in this document.

Es ist zu beachten, dass die in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systeme sowohl alleine, als auch in Kombination mit anderen in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen verwendet werden können. Des Weiteren können jegliche Aspekte der in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen in vielfältiger Weise miteinander kombiniert werden. Insbesondere können die Merkmale der Ansprüche in vielfältiger Weise miteinander kombiniert werden.It should be noted that the methods, devices and systems described in this document can be used both alone and in combination with other methods, devices and systems described in this document. Furthermore, any aspects of the methods, devices and systems described in this document can be combined with one another in diverse ways. In particular, the features of the claims can be combined with one another in diverse ways.

Im Weiteren wird die Erfindung anhand von Ausführungsbeispielen näher beschrieben. Dabei zeigen

1 ein beispielhaftes Fahrzeug mit einer Mehrzahl von unterschiedlichen Umfeldsensoren;
2 ein beispielhaftes Belegungsraster einer Umgebung eines Fahrzeugs;
3 eine beispielhafte Vorrichtung zur Erkennung und zur Nachverfolgung eines dynamischen Objektes; und
4 ein Ablaufdiagramm eines beispielhaften Verfahrens zur Erkennung und zur Nachverfolgung eines dynamischen Objektes.

The invention is described in more detail below on the basis of exemplary embodiments. Show it

1 an exemplary vehicle with a plurality of different environment sensors;
2 an exemplary occupancy grid of an area around a vehicle;
3 an exemplary device for recognizing and tracking a dynamic object; and
4th a flowchart of an exemplary method for recognizing and tracking a dynamic object.

Wie eingangs dargelegt, befasst sich das vorliegende Dokument mit der Detektion und der Nachverfolgung zumindest eines dynamischen Umgebungs-Objektes auf Basis von Sensordaten von ein oder mehreren Umfeldsensoren. In diesem Zusammenhang zeigt 1 ein Fahrzeug 100 mit ein oder mehreren Umfeldsensoren 111, 112 zur Erfassung von Sensordaten. Das Fahrzeug 100 umfasst weiter eine Vorrichtung (bzw. eine Verarbeitungseinheit) 101, die eingerichtet ist, auf Basis der Sensordaten ein Objekt 150 im Umfeld des Fahrzeugs 100 zu detektieren. Ein detektiertes Objekt 150 kann dann in einer Fahrzeugfunktion 102 (z.B. für das teilautomatisierte oder hochautomatisierte Fahren des Fahrzeugs 100) berücksichtigt werden.As stated at the outset, the present document deals with the detection and tracking of at least one dynamic environmental object on the basis of sensor data from one or more environmental sensors. In this context shows 1 a vehicle 100 with one or more environment sensors 111 , 112 for the acquisition of sensor data. The vehicle 100 further comprises a device (or a processing unit) 101 which is set up to use an object on the basis of the sensor data 150 around the vehicle 100 to detect. A detected object 150 can then function in a vehicle 102 (e.g. for the partially automated or highly automated driving of the vehicle 100 ) must be taken into account.

Das vorliegende Dokument befasst sich insbesondere mit der konsistenten multisensoriellen Modellierung der Umgebung eines Fahrzeuges 100. Dabei kann die lokale Umgebung als Occupancy Grid Map bzw. (Belegungs-) Raster 200 geschätzt bzw. dargestellt werden (siehe 2). 2 zeigt ein beispielhaftes Raster 200 einer Umgebung des Fahrzeugs 100 mit einer Vielzahl von Rasterzellen oder kurz Zellen 201. Das Raster 200 kann die Umgebung bzw. das Umfeld des Fahrzeugs 100 in die Vielzahl von zwei- (2D) oder dreidimensionalen (3D) Zellen 201 aufteilen. Eine zwei-dimensionale Zelle 201 kann dabei eine Rechteckform aufweisen (beispielsweise mit einer Kantenlänge von 10cm, 5cm, 2cm, 1cm oder weniger).This document deals in particular with the consistent multisensory modeling of the environment of a vehicle 100 . The local environment can be used as an occupancy grid map or (occupancy) grid 200 estimated or represented (see 2 ). 2 shows an exemplary grid 200 an environment of the vehicle 100 with a multitude of grid cells or cells for short 201 . The grid 200 can be the surroundings or the surroundings of the vehicle 100 into the multitude of two- (2D) or three-dimensional (3D) cells 201 split up. A two-dimensional cell 201 can have a rectangular shape (for example with an edge length of 10 cm, 5 cm, 2 cm, 1 cm or less).

Die Verarbeitungseinheit 101 des Fahrzeugs 100 kann eingerichtet sein, auf Basis der Sensordaten für ein oder mehrere der Zellen 201 (insbesondere für jede Zelle 201) Messdaten zu ermitteln, die anzeigen, ob eine Zelle 201 an einem bestimmten Zeitpunkt t belegt ist oder nicht. Insbesondere können die Messdaten z_c für eine Zelle c 201 anzeigen $z_{c} = (m (S D_{z, t}), m (F_{z, t})),$

wobei m({SD}) eine Evidenz bzw. Evidenzmasse dafür ist, dass die Zelle c 201 durch ein Objekt 150, 250 belegt ist (z.B. ein statisches oder ein dynamisches Objekt), und wobei m(F) eine Evidenz dafür ist, dass die Zelle c 201 frei ist, und somit nicht durch ein Objekt 150, 250 belegt ist. Die Evidenz dafür, dass die Zelle 201 durch eine Objekt 150, 250 belegt ist, kann als Objekt-Wahrscheinlichkeit dafür betrachtet werden, dass die Zelle 201 durch ein Objekt 150, 250 belegt ist (insbesondere im Sinne der Dempster-Shafer Theorie).The processing unit 101 of the vehicle 100 can be set up on the basis of the sensor data for one or more of the cells 201 (especially for each cell 201 ) Determine measurement data indicating whether a cell 201 is occupied or not at a certain point in time t. In particular, the measurement data z _c for a cell c 201 Show

z_{c} = (m (S. {D.}_{z, t}), m ({F.}_{z, t})),

where m ({SD}) is evidence or evidence that cell c 201 through an

object

150 , 250 is occupied (e.g. a static or a dynamic object), and where m (F) is evidence that cell c 201 is free, and therefore not through an

object

150 , 250 is occupied. The evidence that the cell 201 through an

object

150 , 250 is occupied can be viewed as the object probability that the cell 201 through an

object

150 , 250 is proven (especially in terms of the Dempster-Shafer theory).

Typischerweise können auf Basis einer zeitlich isolierten Messung an einem bestimmten Zeitpunkt t nur die Evidenzen bzw. Evidenzmassen m(SD), m(F) ermittelt werden, da nicht festgestellt werden kann, ob das Objekt durch ein statisches Objekt 250 oder durch ein dynamisches Objekt 150 belegt ist. Es kann jedoch auf Basis einer Sequenz von Messungen (durch die Sensoren 111, 112) an einer entsprechenden Sequenz von Zeitpunkten an dem aktuellen Zeitpunkt t ein Belegungsraster M_t 200 bereitgestellt werden, das für die unterschiedlichen Zellen 201 unterschiedliche Evidenzen für unterschiedliche Hypothesen anzeigt, z.B. $M_{t} = {m (S_{t}), m (D_{t}), m (S D_{t}), m (F_{t})},$

wobei m(S_t) die Evidenz bzw. Evidenzmasse dafür anzeigt, dass die Zelle c 201 am Zeitpunkt t durch ein statisches Objekt 250 belegt ist. Außerdem zeigt m(D_t) die Evidenz bzw. Evidenzmasse dafür an, dass die Zelle c 201 am Zeitpunkt t durch ein dynamisches Objekt 150 belegt ist. Das Belegungsraster M_t 200 beschreibt den Status bzw. den Zustand der Zellen 201 des Rasters 200 an einem bestimmten Zeitpunkt t. Eine beispielhafte Methode zur Ermittlung eines dynamischen Belegungsrasters 200 wird in Steyer et al, „Object Tracking Based on Evidential Dynamic Occupancy Grids in Urban Environments“, IEEE Intelligent Vehicles Symposium (IV), 2017 , beschrieben, und wird durch Referenz in dieses Dokument eingebunden.Typically, only the evidence or evidence m (SD), m (F) can be determined on the basis of a temporally isolated measurement at a specific point in time t, since it cannot be determined whether the object is a static object 250 or by a dynamic object 150 is occupied. However, it can be based on a sequence of measurements (by the sensors 111 , 112 _{) an occupancy grid M t} at a corresponding sequence of times at the current time t 200 provided that for the different cells 201 shows different evidence for different hypotheses, e.g.

{M.}_{t} = {m ({S.}_{t}), m ({D.}_{t}), m (S. {D.}_{t}), m ({F.}_{t})},

where m (S _t ) indicates the evidence or evidence base that cell c 201 at time t by a static object 250 is occupied. In addition, m (D _t ) shows the evidence or evidence base that cell c 201 at time t by a dynamic object 150 is occupied. The allocation grid M _t 200 describes the status or the condition of the cells 201 of the grid 200 at a certain point in time t. An exemplary method for determining a dynamic allocation grid 200 is in Steyer et al, "Object Tracking Based on Evidential Dynamic Occupancy Grids in Urban Environments", IEEE Intelligent Vehicles Symposium (IV), 2017 , and is incorporated into this document by reference.

Ein Problem bei der rasterbasierten Auswertung von Sensordaten ist die Erkennung von einzelnen Objekten 150, 250 auf Basis der Evidenzmassen der einzelnen Zellen 201. Dabei kann es insbesondere schwierig sein, die einzelnen belegten Zellen 201 entweder einem dynamischen Objekt 150 oder einem statischen Objekt 250 zuzuweisen, insbesondere dann, wenn ein dynamisches Objekt 150 direkt an ein statisches Objekt 250 angrenzt.One problem with the grid-based evaluation of sensor data is the detection of individual objects 150 , 250 based on the evidence of the individual cells 201 . It can be particularly difficult to identify the individual occupied cells 201 either a dynamic object 150 or a static object 250 assign, especially if a dynamic object 150 directly to a static object 250 adjoins.

Wie oben dargelegt, kann ein dynamisches Objekt 150 ein potentiell dynamisches Objekt 150 sein, das sich zwar an einem bestimmten Betrachtungszeitpunkt des Belegungsrasters 200 nicht bewegt, das aber beweglich ist und sich in Zukunft bewegen könnte (wie z.B. ein stehendes Fahrzeug). Ein solches (potentiell) dynamisches Objekt 150 kann typischerweise mit einem dynamischen Belegungsraster 200 nicht (zuverlässig) erkannt werden, da die einzelnen Zellen 201 des Objektes 150 innerhalb des Belegungsrasters 200 keine Bewegung aufweisen, und das Objekt 150 daher als „statisch“ gesehen wird. Ein aktuell stehendes dynamisches Objekt 150 kann somit ggf. nicht durch ein Belegungsraster 200 erkannt und für die Nachverfolgung bzw. für das Tracking selektiert werden.As stated above, a dynamic object 150 a potentially dynamic object 150 be that at a certain point in time of the occupancy grid 200 not moving, but which is mobile and could move in the future (such as a stationary vehicle). Such a (potentially) dynamic object 150 can typically with a dynamic allocation grid 200 cannot be (reliably) recognized because the individual cells 201 of the property 150 within the allocation grid 200 exhibit no movement, and the object 150 therefore it is seen as "static". A currently standing dynamic object 150 can therefore possibly not through an allocation grid 200 recognized and selected for follow-up or for tracking.

Eine Möglichkeit zur Erkennung von einzelnen Objekten 150, 250 und zur Unterscheidung von statischen Objekten 250 und (potentiell) dynamischen Objekten 150 ist die Verwendung eines maschinell angelernten neuronalen Netzes (NN), insbesondere eines sogenannten Deep Neural Network (DNN), mit einer relativ hohen Anzahl von Schichten mit künstlichen Neuronen. Ein NN kann angelernt werden, um in robuster Weise auf Basis der Sensordaten der ein oder mehreren Umfeldsensoren 111, 112, insbesondere auf Basis der Sensordaten einer Bildkamera, Objekte 150, 250 zu detektieren. Die einzelnen detektierten Objekte 150, 250 können dann als Objekt-Hypothesen jeweils in Form einer sogenannten Bounding-Box, d.h. einer ein Objekt 150, 250 umgebenden Box, ausgegeben werden. Ein NN kann in Kombination mit einem Belegungsraster 200 dazu verwendet werden, um in robuster Weise Objekt-Hypothesen für dynamische Objekte 150 zu ermitteln, die dann in ein Belegungsraster 200 übernommen und anhand des Belegungsrasters 200 über der Zeit nachverfolgt werden können. So kann eine besonders zuverlässige und robuste Erkennung und Nachverfolgung von dynamischen Objekten 150 ermöglicht werden.One way of recognizing individual objects 150 , 250 and to distinguish between static objects 250 and (potentially) dynamic objects 150 is the use of a machine-trained neural network (NN), in particular a so-called Deep Neural Network (DNN), with a relatively high number of layers with artificial neurons. An NN can be learned in a robust manner on the basis of the sensor data of the one or more environment sensors 111 , 112 , in particular on the basis of the sensor data of an image camera, objects 150 , 250 to detect. The individual detected objects 150 , 250 can then be used as object hypotheses in the form of a so-called bounding box, ie one an object 150 , 250 surrounding box. An NN can be combined with an allocation grid 200 used to robustly generate object hypotheses for dynamic objects 150 to determine which is then in an allocation grid 200 adopted and based on the allocation grid 200 can be tracked over time. This enables particularly reliable and robust detection and tracking of dynamic objects 150 be made possible.

3 zeigt eine beispielhafte Vorrichtung 300 zur Erkennung und zur Nachverfolgung von dynamischen Objekten 150. Die Vorrichtung 300 umfasst eine Rastereinheit 320, die eingerichtet ist, auf Basis der Sensordaten der ein oder mehreren Umfeldsensoren 111, 112 ein (dynamisches) Belegungsraster 200 zu ermitteln, das für eine Vielzahl von Zellen 201 Evidenzmassen für unterschiedliche Belegungshypothesen anzeigt. Das Belegungsraster 200 kann für einen bestimmten Zeitpunkt t ein oder mehrere Zell-Cluster 322 mit Zellen 201 für ein oder mehrere entsprechende Objekte 150, 250, insbesondere für ein oder mehrere dynamische Objekte 150, umfassen. 3 shows an exemplary device 300 for the detection and tracking of dynamic objects 150 . The device 300 comprises a grid unit 320 that is set up on the basis of the sensor data of the one or more environment sensors 111 , 112 a (dynamic) allocation grid 200 to determine this for a variety of cells 201 Shows evidence for different occupancy hypotheses. The allocation grid 200 can be one or more cell clusters for a specific point in time t 322 with cells 201 for one or more corresponding objects 150 , 250 , especially for one or more dynamic objects 150 , include.

Die ein oder mehreren Zell-Cluster 322 für die ein oder mehreren (dynamischen) Objekte 150 können an eine Nachverfolgungs- (bzw. Tracking) Einheit 330 übergeben werden. Die Nachverfolgungseinheit 330 ist eingerichtet, die Bewegung der ein oder mehreren Objekte 150 über der Zeit nachzuverfolgen. Dabei können Informationen in Bezug auf die Bewegungsgeschwindigkeit und/oder die Bewegungsrichtung der einzelnen Zellen 201, die sich z.B. aus den Sensordaten eines Radarsensors 111, 112 ergeben, berücksichtigt werden.The one or more cell clusters 322 for the one or more (dynamic) objects 150 can be sent to a tracking (or tracking) unit 330 be handed over. The tracking unit 330 is set up, the movement of one or more objects 150 tracked over time. Information relating to the speed of movement and / or the direction of movement of the individual cells can be used 201 which can be obtained, for example, from the sensor data of a radar sensor 111 , 112 should be taken into account.

Die Vorrichtung 300 umfasst ferner eine Objekterkennungseinheit 310, die ein neuronales Netz umfasst, und die eingerichtet ist, auf Basis der Sensordaten der ein oder mehreren Umfeldsensoren 111, 112, insbesondere auf Basis der Sensordaten von z.B. ein oder mehreren Bildkameras und/oder Lidarsensoren und/oder Radarsensoren (etwa ein oder mehreren distanzgebenden Sensoren), für den Zeitpunkt t ein oder mehrere Objekt-Hypothesen 312 für ein oder mehrere entsprechende (dynamische) Objekte 150, 250 zu ermitteln. Eine Objekt-Hypothese 312 für ein Objekt 150 kann dabei eine Bounding Box um einen Teilbereich von Zellen 201 in dem Belegungsraster 200 für den Zeitpunkt t umfassen bzw. sein. Die ein oder mehreren Objekt-Hypothesen 312 können an die Nachverfolgungseinheit 330 übergeben werden.The device 300 furthermore comprises an object recognition unit 310 which comprises a neural network and which is set up on the basis of the sensor data of the one or more environment sensors 111 , 112 , in particular on the basis of the sensor data from, for example, one or more image cameras and / or lidar sensors and / or radar sensors (for example one or more distance-providing sensors), one or more object hypotheses for the time t 312 for one or more corresponding (dynamic) objects 150 , 250 to determine. An object hypothesis 312 for an object 150 can create a bounding box around a sub-area of cells 201 in the allocation grid 200 for the time t include or be. The one or more object hypotheses 312 can be sent to the tracking unit 330 be handed over.

Die Objekterkennungseinheit 310 kann eingerichtet sein, Raster-Information 321 in Bezug auf das Belegungsraster 200 als Eingangswerte bei der Ermittlung von ein oder mehreren Objekt-Hypothesen 312 zu berücksichtigen. Insbesondere kann Information in Bezug auf die Bewegung (z.B. die Geschwindigkeit und/oder die Bewegungsrichtung) der einzelnen Zellen 201 an die Objekterkennungseinheit 310 übergeben werden. Durch die Berücksichtigung von Information in Bezug auf die Bewegung (z.B. die Geschwindigkeit und/oder die Bewegungsrichtung) der einzelnen Zellen 201 kann die Güte der Objekterkennung weiter erhöht werden.The object recognition unit 310 can be set up raster information 321 in relation to the allocation grid 200 as input values when determining one or more object hypotheses 312 to consider. In particular, information relating to the movement (for example the speed and / or the direction of movement) of the individual cells can be used 201 to the object recognition unit 310 be handed over. By taking into account information relating to the movement (e.g. the speed and / or the direction of movement) of the individual cells 201 the quality of the object recognition can be further increased.

Alternativ oder ergänzend kann die Objekterkennungseinheit 310 eingerichtet sein, Objekt-Information 311 in Bezug auf die ein oder mehreren Objekt-Hypothesen 312 an die Rastereinheit 320 zu übergeben. Die Objekt-Information 311 kann z.B. bei der Bildung von Zell-Clustern 322 für ein oder mehrere Objekte 150 berücksichtigt werden, um die Güte der ermittelten Zell-Cluster 322 zu erhöhen.As an alternative or in addition, the object recognition unit 310 set up object information 311 in relation to the one or more object hypotheses 312 to the grid unit 320 to hand over. The object information 311 can be used, for example, in the formation of cell clusters 322 for one or more objects 150 must be taken into account to the quality of the determined cell clusters 322 to increase.

Die Nachverfolgungseinheit 330 kann eingerichtet sein, eine von der Objekterkennungseinheit 310 bereitgestellte Objekt-Hypothese 312 als dynamisches Objekt 150 über der Zeit nachzuverfolgen. Insbesondere kann für eine Objekt-Hypothese 312 ein Zell-Cluster 322 im Belegungsraster 200 gebildet werden, und es kann auf Basis der Bewegungsinformation der Zellen 201 des Zell-Clusters 322 die Bewegung des Objektes 150 prädiziert werden. Eine von der Objekterkennungseinheit 310 bereitgestellte Objekt-Hypothese 312 kann somit als Zell-Cluster 322 für ein dynamisches Objekt 150 innerhalb des Belegungsrasters 200 berücksichtigt und über der Zeit nachverfolgt werden. So kann die Schwäche einer Raster-basierten Umfeldmodellierung in Bezug auf die Erkennung von dynamischen Objekten 150 (insbesondere in Bezug auf die Erkennung von stehenden dynamischen Objekten) kompensiert werden.The tracking unit 330 can be set up one of the object recognition unit 310 provided object hypothesis 312 as a dynamic object 150 tracked over time. In particular, it can be for an object hypothesis 312 a cell cluster 322 in the allocation grid 200 and it can be based on the movement information of the cells 201 of the cell cluster 322 the movement of the object 150 be predicted. One from the object recognition unit 310 provided object hypothesis 312 can thus as a cell cluster 322 for a dynamic object 150 within the allocation grid 200 taken into account and tracked over time. For example, the weakness of a grid-based environment modeling with regard to the detection of dynamic objects 150 (especially with regard to the detection of stationary dynamic objects).

Die Rastereinheit 320 kann eingerichtet sein, ein Belegungsraster 200 für das Umfeld des Fahrzeugs 100 mit mehreren unterschiedlichen Information-Ebenen zu ermitteln und an einer Sequenz von aufeinanderfolgenden Zeitpunkten zu aktualisieren. Beispielhafte Informationen-Ebenen sind

• eine Ebene für die Reflektions- und/oder Intensitätsdaten eines Lidar- und/oder Radarsensors 111, 112;
• eine Ebene für Information in Bezug auf die Höhe der einzelnen Zellen 201;
• eine Ebene für Bewegungsinformation in Bezug auf die Bewegungsgeschwindigkeit und/oder die Bewegungsrichtung der einzelnen Zellen 201; und/oder
• eine Ebene für ein oder mehrere Zell-Cluster 322, die jeweils ein Objekt 150, 250 repräsentieren.

Durch die Bereitstellung eines Belegungsrasters 200 mit mehreren Information-Ebenen kann das Umfeld des Fahrzeugs 100 in präziser Weise modelliert werden.The grid unit 320 can be set up an allocation grid 200 for the area around the vehicle 100 to determine with several different information levels and to update at a sequence of successive points in time. Exemplary information levels are

• a plane for the reflection and / or intensity data of a lidar and / or radar sensor 111 , 112 ;
• a level for information on the height of each cell 201 ;
• a level for movement information in relation to the speed of movement and / or the direction of movement of the individual cells 201 ; and or
• one level for one or more cell clusters 322 each one object 150 , 250 represent.

By providing an allocation grid 200 with several information levels can the environment of the vehicle 100 be modeled in a precise manner.

4 zeigt ein Ablaufdiagramm eines beispielhaften (Computer-implementierten) Verfahrens 400 zur Erkennung und zur Nachverfolgung eines dynamischen Objektes 150 in einem Umfeld eines Fahrzeugs 100. Das Verfahren 100 kann durch eine Vorrichtung bzw. Verarbeitungseinheit 101, 300 des Fahrzeugs 100 implementiert werden. 4th shows a flowchart of an exemplary (computer-implemented) method 400 for the detection and tracking of a dynamic object 150 in an environment of a vehicle 100 . The procedure 100 can by a device or processing unit 101 , 300 of the vehicle 100 implemented.

Das Verfahren 400 umfasst das Ermitteln 401, anhand einer Maschinen-erlernten Objekterkennungseinheit 310 (insbesondere anhand eines neuronalen Netzes), einer Objekt-Hypothese für ein dynamisches Objekt 150 in dem Umfeld des Fahrzeugs 100 für einen aktuellen Zeitpunkt t, auf Basis von Sensordaten von ein oder mehreren Umfeldsensoren 111, 112 des Fahrzeugs 100 (für den aktuellen Zeitpunkt). Die Objekt-Hypothese kann insbesondere auf Basis der Sensordaten von ein oder mehreren Bildkameras 111, 112 und/oder ein oder mehreren abstandssensierenden Sensoren (z.B. Lidarsensoren und/oder Radarsensoren) des Fahrzeugs 100 ermittelt werden. Die Objekt-Hypothese kann insbesondere eine Bounding Box umfassen, wobei die Bounding Box Zellen 201 aus dem das Umfeld des Fahrzeugs 100 beschreibenden Belegungsrasters 200 umschließen kann.The procedure 400 includes determining 401 , based on a machine-learned object recognition unit 310 (in particular using a neural network), an object hypothesis for a dynamic object 150 in the vicinity of the vehicle 100 for a current point in time t, based on sensor data from one or more environmental sensors 111 , 112 of the vehicle 100 (for the current time). The object hypothesis can in particular be based on the sensor data from one or more image cameras 111 , 112 and / or one or more distance-sensing sensors (for example lidar sensors and / or radar sensors) of the vehicle 100 be determined. The object hypothesis can in particular comprise a bounding box, the bounding box being cells 201 from the surroundings of the vehicle 100 descriptive allocation grid 200 can enclose.

Das Verfahren 400 umfasst ferner das Ermitteln 402 des dynamischen Belegungsrasters 200 für das Umfeld des Fahrzeugs 100 für den aktuellen Zeitpunkt, auf Basis von Sensordaten von ein oder mehreren Umfeldsensoren 111, 112 des Fahrzeugs 100. Das Belegungsraster 200 kann z.B. teilweise auf Basis der gleichen Sensordaten ermittelt werden, wie die Objekt-Hypothese. Insbesondere kann das Belegungsraster 200 auf Basis der Sensordaten von ein oder mehreren Radarsensoren 111, 112 und/oder von ein oder mehreren Lidarsensoren 111, 112 des Fahrzeugs 100 ermittelt werden. Das Belegungsraster 200 kann dabei iterativ an einer Sequenz von Zeitpunkten auf Basis der jeweils aktuellen Sensordaten aktualisiert werden. Das Belegungsraster 200 kann für eine Vielzahl von Zellen 201 jeweils die Belegungswahrscheinlichkeit durch ein (dynamisches oder statisches) Objekt 150, 250 anzeigen.The procedure 400 further comprises determining 402 the dynamic allocation grid 200 for the area around the vehicle 100 for the current point in time, based on sensor data from one or more environmental sensors 111 , 112 of the vehicle 100 . The allocation grid 200 can for example be determined partly on the basis of the same sensor data as the object hypothesis. In particular, the allocation grid 200 based on sensor data from one or more radar sensors 111 , 112 and / or from one or more lidar sensors 111 , 112 of the vehicle 100 be determined. The allocation grid 200 can be updated iteratively at a sequence of times on the basis of the current sensor data. The allocation grid 200 can for a wide variety of cells 201 the probability of occupancy by a (dynamic or static) object 150 , 250 Show.

Des Weiteren umfasst das Verfahren 400 das Nachverfolgen 403 des durch die Objekt-Hypothese 312 angezeigten dynamischen Objekts 150 ausgehend von dem aktuellen Zeitpunkt an einer Sequenz von nachfolgenden Zeitpunkten, unter Berücksichtigung des dynamischen Belegungsrasters 200 für das Umfeld des Fahrzeugs 100. Die Objekt-Hypothese 312 kann z.B. dazu verwendet werden, um für das dynamische Objekt 150 ein Zell-Cluster 312 innerhalb des Belegungsrasters 200 zu identifizieren. Das Zell-Cluster 312 kann dann auf Basis der Bewegungsinformation für die einzelnen Zellen 201 des dynamischen Belegungsrasters 200 an der Sequenz von nachfolgenden Zeitpunkten nachverfolgt werden.The method also includes 400 the tracking 403 des by the object hypothesis 312 displayed dynamic object 150 starting from the current point in time at a sequence of subsequent points in time, taking into account the dynamic occupancy grid 200 for the area around the vehicle 100 . The object hypothesis 312 can eg be used to for the dynamic object 150 a cell cluster 312 within the allocation grid 200 to identify. The cell cluster 312 can then be based on the movement information for the individual cells 201 the dynamic allocation grid 200 can be followed up on the sequence of subsequent time points.

Die in diesem Dokument beschriebene kombinierte Nutzung der Objekterkennung von dynamischen Objekten 150 mittels einer Maschinen-erlernten Objekterkennungseinheit 310 und der Bewegungsinformation aus einem dynamischen Belegungsraster 200 ermöglichen es, dynamische Objekt 150 in zuverlässiger Weise zu identifizieren und anschließend nachzuverfolgen.The combined use of the object recognition of dynamic objects described in this document 150 by means of a machine-learned object recognition unit 310 and the Movement information from a dynamic allocation grid 200 allow dynamic object 150 to be reliably identified and subsequently tracked.

Die vorliegende Erfindung ist nicht auf die gezeigten Ausführungsbeispiele beschränkt. Insbesondere ist zu beachten, dass die Beschreibung und die Figuren nur beispielhaft das Prinzip der vorgeschlagenen Verfahren, Vorrichtungen und Systeme veranschaulichen sollen.The present invention is not restricted to the exemplary embodiments shown. In particular, it should be noted that the description and the figures are only intended to illustrate the principle of the proposed methods, devices and systems by way of example.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte Nicht-PatentliteraturNon-patent literature cited

Steyer et al., "Grid-Based Object Tracking with Nonlinear Dynamic State and Shape Estimation", IEEE Transactions on Intelligent Transportation Systems, June 2019 [0021]
Steyer et al, "Object Tracking Based on Evidential Dynamic Occupancy Grids in Urban Environments", IEEE Intelligent Vehicles Symposium (IV), 2017 [0034]

Claims

Device (300) for recognizing and tracking a dynamic object (150) in the surroundings of a vehicle (100); wherein the device (300) comprises, - A machine-learned object recognition unit (310) which is set up on the basis of sensor data from one or more environment sensors (111, 112) of the vehicle (100) for a current point in time an object hypothesis (312) for a dynamic object (150 ) to determine in the surroundings of the vehicle (100); - A grid unit (320) which is set up to determine a dynamic occupancy grid (200) for the area around the vehicle (100) for the current point in time on the basis of sensor data from one or more environment sensors (111, 112) of the vehicle (100) , and - A tracking unit (330), which is set up, the dynamic object (150) indicated by the object hypothesis (312) taking into account the dynamic occupancy grid (200) for the surroundings of the vehicle (100) based on the current point in time in a sequence to be tracked from subsequent points in time.

Device (300) according to Claim 1 - the occupancy grid (200) for a plurality of cells (201) in each case indicating a probability that the respective cell (201) is or is not occupied by an object (150, 250); and - the occupancy grid (200) for at least some of the plurality of cells (201) each displays movement information in relation to a movement speed and / or in relation to a movement direction of the respective cell (201).

Device (300) according to one of the preceding claims, wherein the object recognition unit (310) is set up to generate the object hypothesis (312) for the current point in time on the basis of grid information (321) in relation to the occupancy grid (200) for the current one To determine the point in time.

Device (300) according to Claim 3 wherein the raster information (321) comprises movement information in relation to a movement speed and / or in relation to a movement direction of one or more cells (201) of the occupancy raster (200).

Device (300) according to one of the preceding claims, wherein - the grid unit (320) is set up to determine one or more cell clusters (322) for one or more corresponding objects (150, 250) within the occupancy grid (200) and to provide them to the tracking unit (330); and - A cell cluster (322) for an object (150, 250) displays a plurality of cells (201) of the occupancy grid (200) which are occupied by the object (150, 250).

Device (300) according to one of the preceding claims, wherein the object recognition unit (310) is set up to determine an object hypothesis (312) by means of a machine-learned artificial neural network, in particular by means of a deep neural network.

Device (300) according to one of the preceding claims, wherein the object recognition unit (310) is set up - to determine an object hypothesis (312) on the basis of the sensor data from one or more image cameras (111, 112) of the vehicle (100); and or - To determine an object hypothesis (312) on the basis of the sensor data from one or more distance-sensing sensors (111, 112) of the vehicle (100).

Device (300) according to one of the preceding claims, wherein the object recognition unit (310) is set up - to determine an object hypothesis (312) for a dynamic object (150) which is actually moving at the current point in time; and or - to determine an object hypothesis (312) for a dynamic object (150) which is not moving at the current point in time, but could move at a subsequent point in time.

Device (300) according to one of the preceding claims, wherein the grid unit (320) is set up to determine the occupancy grid (200) for the current point in time, - On the basis of sensor data from a radar sensor (111, 112) of the vehicle (100); - On the basis of sensor data from a lidar sensor (111, 112) of the vehicle (100); and or - On the basis of sensor data from an image camera (111, 112) of the vehicle (100).

Device (300) according to one of the preceding claims, wherein the grid unit (320) is set up to update the occupancy grid (200) for a previous point in time on the basis of the sensor data from one or more environment sensors (111, 112) of the vehicle (100), to determine the occupancy grid (200) for the current point in time.

Device (300) according to one of the preceding claims, wherein the grid unit (320) is set up to use the object hypothesis (312) determined by the object recognition unit (310) for the current point in time when determining the occupancy grid (200) for a Point in time, subsequent point in time, in particular as a cell cluster (322) within the occupancy grid (200), to be taken into account.

Device (300) according to one of the preceding claims, wherein the tracking unit (330) is set up to track a dynamic object (150) by means of an unscented Kalman filter at the sequence of subsequent points in time.

Device (300) according to one of the preceding claims, wherein the tracking unit (330) is set up - On the basis of movement information in relation to a movement of individual cells (201) in the occupancy grid (200), a position of the dynamic object (150) indicated by the object hypothesis (312) within the occupancy grid (200) for a subsequent point in time predict the sequence of subsequent times; and - Correct and / or compare the predicted position using sensor data from one or more environment sensors (111, 112) of the vehicle (100) for the subsequent point in time and / or using the occupancy grid (200) for the subsequent point in time.

Method (400) for recognizing and tracking a dynamic object (150) in the surroundings of a vehicle (100); wherein the method (400) comprises, - Determining (401), using a machine-learned object recognition unit (310), an object hypothesis (312) for a dynamic object (150) in the surroundings of the vehicle (100) for a current point in time, based on sensor data from one or more several environment sensors (111, 112) of the vehicle (100); - Determination (402) of a dynamic occupancy grid (200) for the surroundings of the vehicle (100) for the current point in time, on the basis of sensor data from one or more surroundings sensors (111, 112) of the vehicle (100); and - Tracking (403) the dynamic object (150) indicated by the object hypothesis (312) starting from the current point in time at a sequence of subsequent points in time, taking into account the dynamic occupancy grid (200) for the surroundings of the vehicle (100).