DE102020120845A1

DE102020120845A1 - Method and system for monitoring the surroundings of an at least partially electrically powered vehicle

Info

Publication number: DE102020120845A1
Application number: DE102020120845.6A
Authority: DE
Inventors: Benaya Christo; Marcel Philipp Mayer; Jannick Dominik Herbert Altherr
Original assignee: Schaeffler Technologies AG and Co KG
Current assignee: Schaeffler Technologies AG and Co KG
Priority date: 2020-08-07
Filing date: 2020-08-07
Publication date: 2022-02-10

Abstract

Die Erfindung betrifft ein Verfahren sowie ein System zur Umfeldüberwachung eines wenigstens teilweise elektrisch angetriebenen Fahrzeugs (1), wobei mittels einer Sensorik (2) mindestens eines Objekterkennungssystems (3) wenigstens ein RGB-Bild und/oder wenigstens eine Tiefenaufnahme eines Umfeldes (5) des Fahrzeugs (1) erzeugt wird, wobei das jeweilige Objekterkennungssystem (3) anhand des wenigstens einen RGB-Bildes und/oder der wenigstens einen Tiefenaufnahme das Vorhandensein sowie die Position eines Objekts (4) relativ zum Fahrzeug (1) im Raum erfasst, wobei das Objekt (4) zumindest in Abhängigkeit der Fahrzeuggeschwindigkeit und/oder der Position des Objekts (4) relativ zum Fahrzeug (1) in eine von zumindest zwei dynamischen Sicherheitszonen (6a, 6b, 6c) kategorisiert wird, und wobei ein Assistenzsystem (7) in Abhängigkeit der Informationen über das lokalisierte und kategorisierte Objekt (4) zumindest eine sichere Höchstgeschwindigkeit des Fahrzeugs (1) an einen Fahrzeugnutzer ausgibt. Ferner betrifft die Erfindung ein Computerprogrammprodukt.The invention relates to a method and a system for monitoring the surroundings of an at least partially electrically driven vehicle (1), with at least one RGB image and/or at least one depth recording of a surroundings (5) of the vehicle (1), wherein the respective object recognition system (3) uses the at least one RGB image and/or the at least one depth image to detect the presence and the position of an object (4) in space relative to the vehicle (1), the Object (4) is categorized into one of at least two dynamic safety zones (6a, 6b, 6c) at least depending on the vehicle speed and/or the position of the object (4) relative to the vehicle (1), and wherein an assistance system (7) in Depending on the information about the localized and categorized object (4), at least one safe maximum speed of the vehicle (1) to a vehicle user there are. The invention also relates to a computer program product.

Description

Die Erfindung betrifft ein Verfahren und ein System Umfeldüberwachung eines wenigstens teilweise elektrisch angetriebenen Fahrzeugs, insbesondere eines Elektro-Kleinfahrzeugs. Ferner betrifft die Erfindung ein Computerprogrammprodukt.The invention relates to a method and a system for monitoring the surroundings of an at least partially electrically powered vehicle, in particular a small electric vehicle. Furthermore, the invention relates to a computer program product.

Aus der US 2019/0042865 A1 geht ein Verfahren zum Erfassen von Objekten hervor, wobei Bilddaten von einer oder mehreren Kameras durch ein Computersystem empfangen werden, das ein oder mehrere elektronische Geräte umfasst. Anschließend erzeugt das Computersystem aus den Bilddaten eine mehrskalige Bildpyramide aus mehreren Bildproben mit unterschiedlichen Skalierungsfaktoren, wobei ein oder mehrere Regionsvorschläge innerhalb jeder Bildprobe durch das Computersystem bestimmt werden, und wobei jeder Regionsvorschlag eine kleinere Fläche als seine entsprechende Bildprobe aufweist. Die aufeinanderfolgenden Bildfelder innerhalb jedes Regionsvorschlags werden durch das Computersystem unter Verwendung eines Schiebefensters fester Größe analysiert, um zu bestimmen, ob die aufeinanderfolgenden Bildfelder ein interessierendes Objekt enthalten. Letztlich werden Bildfelder durch das Computersystem bereitgestellt, die bestimmt sind, um das interessierende Objekt für eine Objektklassifizierungsanwendung einzuschließen.From the US 2019/0042865 A1 discloses a method for capturing objects wherein image data is received from one or more cameras by a computer system that includes one or more electronic devices. The computer system then uses the image data to generate a multi-scale image pyramid from a plurality of image samples with different scaling factors, with one or more suggested regions within each image sample being determined by the computer system, and with each suggested region having a smaller area than its corresponding image sample. The successive frames within each suggested region are analyzed by the computer system using a fixed-size sliding window to determine whether the successive frames contain an object of interest. Ultimately, frames are provided by the computer system that are designed to enclose the object of interest for an object classification application.

Die Aufgabe der vorliegenden Erfindung besteht darin, ein Verfahren und ein System zur Umfeldüberwachung eines wenigstens teilweise elektrisch angetriebenen Fahrzeugs weiterzuentwickeln, wobei insbesondere der Betrieb eines solchen Fahrzeugs sowohl für den Nutzer des Fahrzeugs als auch für die umliegenden Personen bzw. Fußgänger sicherer gestaltet werden soll.The object of the present invention is to further develop a method and a system for monitoring the surroundings of an at least partially electrically powered vehicle, with the operation of such a vehicle being designed to be safer both for the user of the vehicle and for the surrounding people and pedestrians.

Diese Aufgabe wird durch ein Verfahren zur Umfeldüberwachung eines wenigstens teilweise elektrisch angetriebenen Fahrzeugs mit den Merkmalen des Anspruchs 1 sowie durch ein System zur Umfeldüberwachung des Fahrzeugs mit den Merkmalen des Anspruchs 6 gelöst. Bevorzugte oder vorteilhafte Ausführungsformen der Erfindung ergeben sich aus den Unteransprüchen der nachfolgenden Beschreibung sowie den beigefügten Figuren.This object is achieved by a method for monitoring the area surrounding an at least partially electrically powered vehicle having the features of claim 1 and by a system for monitoring the area surrounding the vehicle having the features of claim 6 . Preferred or advantageous embodiments of the invention result from the subclaims of the following description and the attached figures.

In einem erfindungsgemäßen Verfahren zur Umfeldüberwachung eines wenigstens teilweise elektrisch angetriebenen Fahrzeugs wird mittels einer Sensorik mindestens eines Objekterkennungssystems wenigstens ein RGB-Bild und/oder wenigstens eine Tiefenaufnahme eines Umfeldes des Fahrzeugs erzeugt, wobei das jeweilige Objekterkennungssystem anhand des wenigstens einen RGB-Bildes und/oder der wenigstens einen Tiefenaufnahme das Vorhandensein sowie die Position eines Objekts relativ zum Fahrzeug im Raum erfasst, wobei das Objekt zumindest in Abhängigkeit der Fahrzeuggeschwindigkeit und/oder der Position des Objekts relativ zum Fahrzeug in eine von zumindest zwei dynamischen Sicherheitszonen kategorisiert wird, und wobei ein Assistenzsystem in Abhängigkeit der Informationen über das lokalisierte und kategorisierte Objekt zumindest eine sichere Höchstgeschwindigkeit des Fahrzeugs an einen Fahrzeugnutzer ausgibt. Mit anderen Worten wird ein kostengünstiges und einfaches Verfahren realisiert, das auf Endgeräten mit vergleichsweise geringem Bauraumbedarf energiesparsam ausführbar ist.In a method according to the invention for monitoring the surroundings of an at least partially electrically powered vehicle, at least one RGB image and/or at least one depth recording of the surroundings of the vehicle is generated by means of a sensor system of at least one object recognition system, with the respective object recognition system using the at least one RGB image and/or the at least one depth recording detects the presence and the position of an object relative to the vehicle in space, with the object being categorized into one of at least two dynamic safety zones at least depending on the vehicle speed and/or the position of the object relative to the vehicle, and with an assistance system outputs at least one safe maximum speed of the vehicle to a vehicle user depending on the information about the localized and categorized object. In other words, a cost-effective and simple method is implemented that can be carried out in an energy-saving manner on terminal devices with a comparatively small installation space requirement.

Teilweise elektrisch angetriebene Fahrzeuge im Sinne dieser Erfindung sind insbesondere elektrische Kleinstfahrzeuge, sogenannte PMD („Personal Mobility Device“), also E-Scooter (elektrisch angetriebener Scooter), E-Roller (elektrisch angetriebener Roller), E-Skateboards oder Longboards (elektrisch angetriebene Skateboards oder Longboards), die zumindest teilweise, also entweder permanent oder temporär elektrisch betrieben werden, um einen Fahrer des Fahrzeugs körperlich zu entlasten. Des Weiteren eignet sich das Verfahren für Nutzfahrzeuge, die mit geringen Geschwindigkeiten angetrieben werden, wie beispielsweise zumindest teilweise elektrisch betriebene Gabelstapler, Hubwagen oder Hebebühnen. Das Fahrzeug weist bevorzugt wenigstens zwei oder mehr Räder auf, wovon mindestens eines der Räder mittels einer elektrischen Maschine elektrisch antreibbar ist. Die elektrische Maschine ist wiederum von einer Spannungsquelle, insbesondere einer Batterie, mit elektrischer Energie versorgbar. Das jeweilige Objekterkennungssystem, insbesondere die dazugehörige Sensorik sowie das Assistenzsystem des Fahrzeugs sind ebenfalls mit der Batterie oder mit einer separaten Spannungsquelle elektrisch verbunden.Partially electrically powered vehicles within the meaning of this invention are in particular small electric vehicles, so-called PMD ("Personal Mobility Device"), i.e. e-scooters (electrically powered scooters), e-scooters (electrically powered scooters), e-skateboards or longboards (electrically powered Skateboards or longboards) that are at least partially, ie either permanently or temporarily operated electrically to relieve a driver of the vehicle physically. Furthermore, the method is suitable for commercial vehicles that are driven at low speeds, such as at least partially electrically operated forklifts, pallet trucks or lifting platforms. The vehicle preferably has at least two or more wheels, of which at least one of the wheels can be driven electrically by means of an electric machine. The electrical machine can in turn be supplied with electrical energy from a voltage source, in particular a battery. The respective object recognition system, in particular the associated sensors and the assistance system of the vehicle are also electrically connected to the battery or to a separate voltage source.

Die Sensorik des jeweiligen Objekterkennungssystems ist dazu ausgebildet, eine Aufnahme oder eine Vielzahl von Aufnahmen des Umfeldes des Fahrzeugs, insbesondere des Umfeldes in Fahrtrichtung oder quer zur Fahrtrichtung des Fahrzeugs zu erstellen, und zwar ein oder mehrere RGB-Bilder und/oder eine oder mehrere Tiefenaufnahmen.The sensor system of the respective object recognition system is designed to create a recording or a large number of recordings of the surroundings of the vehicle, in particular of the surroundings in the direction of travel or transversely to the direction of travel of the vehicle, specifically one or more RGB images and/or one or more depth recordings .

RGB-Bilder umfassen Aufnahmen, die die drei Grundfarben Rot, Grün und Blau aufweisen, die von der Sensorik oder vom Objekterkennungssystem zur Erstellung des jeweiligen RGB-Bildes in beliebigem Verhältnis miteinander mischbar bzw. kombinierbar sind. Die jeweilige Tiefenaufnahme ist als Tiefenkarte ausgebildet, mittels derer ein relativer Abstand des Objekts oder einer Kontur des Objekts zur Sensorik beispielsweise farblich abbildbar ist. Somit ist eine Tiefensensierung des Umfelds in der vom Umfeld erzeugten Tiefenaufnahme realisierbar.RGB images include recordings that have the three primary colors red, green and blue, which can be mixed or combined with one another in any ratio by the sensors or by the object recognition system to create the respective RGB image. The respective depth recording is embodied as a depth map, by means of which a relative distance of the object or a contour of the object from the sensor system can be depicted in color, for example. Depth sensing of the surroundings can thus be realized in the depth recording generated from the surroundings.

Werden das RGB-Bild und die Tiefenaufnahme miteinander kombiniert bzw. übereinandergelegt, das heißt wird von einem identischen Umfeld wenigstens ein RGB-Bild sowie wenigstens eine Tiefenaufnahme erzeugt, kann anhand des jeweiligen Objekterkennungssystems zunächst ein Vorhandensein mindestens eines Objekts bestimmt werden und anschließend eine Erfassung der Position des jeweiligen erkannten Objekts im Raum bzw. bezogen auf die Position der Sensorik erfolgen.If the RGB image and the depth image are combined or superimposed, i.e. if at least one RGB image and at least one depth image are generated from an identical environment, the presence of at least one object can first be determined using the respective object recognition system and then the detection of the Position of the respective detected object in space or based on the position of the sensors.

Unter einem Objekt im Sinne der Erfindung ist vorzugsweise eine Person, insbesondere ein Fußgänger, oder ein Tier zu verstehen. Das Verfahren eignet sich jedoch auch zur Erkennung von unbeweglichen oder beweglichen Gegenständen. Welche Art von Objekten vom Objekterkennungssystem erkannt werden, ist im Wesentlichen davon abhängig, in welchem Anwendungsgebiet das Fahrzeug eingesetzt wird. Dabei erfolgt in einem vorgelagerten Prozess ein Antrainieren des Objekterkennungssystems auf das jeweilige Anwendungsgebiet des Fahrzeugs, sei es der normale Straßenverkehr oder der Gewerbebetrieb, insbesondere der Verkehr in Lagerhallen oder Verkaufsräumen. Dabei wird das jeweilige System auf die zu erkennenden Objekte angelernt, indem bestimmte Aufnahmen, welche das zu erkennende Objekt umfasst, in das System eingespielt werden, und die darin dargestellten Objekte als solche gekennzeichnet werden.An object within the meaning of the invention is preferably understood to mean a person, in particular a pedestrian, or an animal. However, the method is also suitable for detecting stationary or moving objects. The type of objects recognized by the object recognition system essentially depends on the area of application in which the vehicle is used. In an upstream process, the object recognition system is trained for the respective area of application of the vehicle, be it normal road traffic or commercial operations, in particular traffic in warehouses or sales rooms. In this case, the respective system is trained for the objects to be recognized by certain recordings, which include the object to be recognized, being imported into the system and the objects represented therein being marked as such.

Erkennt das jeweilige Objekterkennungssystem durch Auswertung des jeweiligen RGB-Bildes und/oder der Tiefenaufnahme eines oder mehrere Objekte im Umfeld des Fahrzeugs, erfolgt eine Markierung des jeweiligen Objekts, insbesondere in Form eines Begrenzungsrahmens, dessen Position relativ zur Sensorik von dem Objekterkennungssystem erfasst, gespeichert sowie ausgegeben werden kann. Anders gesagt zeigt der Begrenzungsrahmen an, dass das Objekterkennungssystem das Vorhandensein eines Objekts bestätigt hat.If the respective object recognition system recognizes one or more objects in the vicinity of the vehicle by evaluating the respective RGB image and/or the depth recording, the respective object is marked, in particular in the form of a bounding box, the position of which relative to the sensor system is recorded, stored and stored by the object recognition system can be issued. In other words, the bounding box indicates that the object detection system has confirmed the presence of an object.

Die Objekterkennung erfolgt vorzugsweise anhand eines Zuverlässigkeitsgrenzwertes. Für jedes potenzielle Objekt wird ein Zuverlässigkeitswert generiert, wobei insbesondere dann, wenn der Zuverlässigkeitsgrenzwert bei der Auswertung des jeweiligen RGB-Bildes und der Tiefenaufnahme übertroffen wird, ein Objekt als erkannt und im Umfeld befindlich gilt und somit auf einer, mehreren oder allen Aufnahmen des Umfeldes markiert wird. Für jedes analysierte Bild kann zudem ein Zuverlässigkeitswert ausgegeben und/oder gespeichert werden.The object is preferably recognized using a reliability limit value. A reliability value is generated for each potential object, whereby in particular if the reliability limit value is exceeded during the evaluation of the respective RGB image and the depth image, an object is considered to be recognized and to be in the area and thus on one, several or all images of the area is marked. A reliability value can also be output and/or stored for each analyzed image.

Nach den Objekterkennung erfolgt eine Kategorisierung des jeweiligen erkannten Objekts in eine von wenigstens zwei dynamischen Sicherheitszonen. Über die Sicherheitszone wird bestimmt, in welchem Gefahrenbereich sich das Objekt relativ zum Fahrzeug befindet. Die Form und Größe der jeweiligen Sicherheitszone sind dabei im Wesentlichen abhängig von der zu erreichenden Maximalgeschwindigkeit sowie dem Anwendungsgebiet des Fahrzeugs und können sich je nach aktueller Fahrzeuggeschwindigkeit verändern, das heißt vergrößern oder verkleinern. Das jeweilige Objekterkennungssystem kann dazu mit einem Geschwindigkeitssensor oder einem mit dem Geschwindigkeitssensor kommunizierenden Gerät des Fahrzeugs verbunden sein, um die Sicherheitszonen in Abhängigkeit der Geschwindigkeitsänderungen anzupassen.After the object has been recognized, the respective recognized object is categorized into one of at least two dynamic security zones. The safety zone is used to determine the danger area in which the object is located relative to the vehicle. The shape and size of the respective safety zone are essentially dependent on the maximum speed to be reached and the area of application of the vehicle and can change depending on the current vehicle speed, i.e. increase or decrease. For this purpose, the respective object recognition system can be connected to a speed sensor or to a device in the vehicle that communicates with the speed sensor, in order to adapt the safety zones depending on the changes in speed.

Die Sicherheitszonen sind vorzugsweise in dynamisch variierende Distanzgruppen unterteilt. Anhand der Distanzgruppen lassen sich ebenfalls eine Gefährdungseinstufung des Objekts für das Fahrzeug realisieren. In Abhängigkeit der Fahrzeuggeschwindigkeit können diese ebenfalls in Größe und Form dynamisch variieren. Die Distanzgruppen können beispielsweise in Fahrtrichtung des Fahrzeugs in „nah“ oder „fern“ unterteilt werden, wobei ein in der Distanzgruppe „nah“ eingestuftes Objekt eine höhere Gefährdung für das Fahrzeug darstellt, als ein in die Distanzgruppe „fern“ eingestuftes Objekt, da der maximal zulässige Bremsweg im Fall einer Notsituation geringer ist. Die Ausbildung der Sicherheitszonen und/oder der Distanzgruppen können ferner von der aktuellen Witterung, dem Zustand des befahrenen Untergrunds sowie dem aktuellen Zustand der Räder, insbesondere der Reifen des Fahrzeugs sein, wobei das jeweilige Objekterkennungssystem mit jeweiligen Sensoren und/oder Steuergeräten verbunden ist.The security zones are preferably divided into dynamically varying distance groups. A risk classification of the object for the vehicle can also be implemented on the basis of the distance groups. Depending on the vehicle speed, these can also vary dynamically in size and shape. The distance groups can, for example, be divided into "near" or "far" in the direction of travel of the vehicle, with an object classified in the "near" distance group representing a higher risk for the vehicle than an object classified in the "far" distance group, since the maximum permissible braking distance in the event of an emergency is less. The formation of the safety zones and/or the distance groups can also depend on the current weather, the condition of the surface being traveled on and the current condition of the wheels, in particular the tires of the vehicle, with the respective object recognition system being connected to the respective sensors and/or control units.

Bevorzugt erfolgt das Erfassen und die Kategorisierung jedes Objekts nur einmalig durch ein neuronales Netzwerk im Objekterkennungssystem. Das neuronale Netzwerk basiert vorzugsweise auf einem YOLO v2 Algorithmus (YOLO - „You Only Look Once“). Der YOLO v2 Algorithmus ist ein schnelle Methode zur Bildkategorisierung, bei der jedes Bild bzw. jede Aufnahme nur ein einziges Mal analysiert wird. Vorteilhaft bei diesem Algorithmus ist, dass die Anzahl von Layern und/oder Variablen reduziert sind, was den Algorithmus zu einem energiesparenden und schnellen Mittel macht, Objekte in Bildern bzw. Aufnahmen zu kategorisieren. Die Genauigkeit des Algorithmus wird insbesondere dadurch realisiert, dass das kleiner gestaltete Modell in geeigneter Weise auf die zu erkennenden Objekte angelernt wird.Each object is preferably detected and categorized only once by a neural network in the object recognition system. The neural network is preferably based on a YOLO v2 algorithm (YOLO - "You Only Look Once"). The YOLO v2 algorithm is a fast image categorization method in which each image or recording is analyzed only once. The advantage of this algorithm is that the number of layers and/or variables is reduced, which makes the algorithm an energy-saving and quick means of categorizing objects in images or recordings. The accuracy of the algorithm is achieved in particular by training the smaller model in a suitable manner for the objects to be recognized.

Die Daten über die Objekterkennung werden an das Assistenzsystem übermittelt oder davon abgerufen, wobei, je nachdem in welche Sicherheitszone und/oder Distanzgruppe das Fahrzeug kategorisiert wurde, mittels des Assistenzsystems zumindest eine sichere Höchstgeschwindigkeit des Fahrzeugs an einen Fahrzeugnutzer ausgegeben wird. Mit anderen Worten wird dem Fahrzeugnutzer ein Vorschlag für eine für das Fahrzeug sichere Maximalgeschwindigkeit übermittelt. Auch weitere Vorschläge für Sicherungsmaßnahmen können durch das Assistenzsystem eingeleitet, vorbereitet, bereitgestellt und/oder ausgegeben werden.The data on the object recognition is transmitted to the assistance system or retrieved from it, with at least one safe maximum driving speed being determined by the assistance system, depending on the safety zone and/or distance group into which the vehicle was categorized vehicle is issued to a vehicle user. In other words, a suggestion for a maximum speed that is safe for the vehicle is transmitted to the vehicle user. Further suggestions for security measures can also be initiated, prepared, provided and/or output by the assistance system.

Die Ausgabe an den Fahrzeugnutzer durch das Assistenzsystem erfolgt vorzugsweise haptisch, akustisch und/oder visualisiert. Dazu weist das Assistenzsystem bevorzugt Mittel zur haptischen Ausgabe, Mittel zur akustischen Ausgabe und/oder Mittel zur optischen Ausgabe an den Fahrzeugnutzer auf. Mittel zur haptischen Ausgabe können beispielsweise vibrierende Elemente an einem Lenkrad, an einem Lenkergriff oder an einer Haltevorrichtung des Fahrzeugs sein. Mittel zur akustischen Ausgabe sind insbesondere Lautsprecher, Sirenen und/oder andere Geräte zur Erzeugung von Schallzeichen bzw. Warnungen sein. Mittel zur optischen Ausgabe können Bildschirme, Monitore, Scheinwerfer, Rundumleuchten oder weitere Leuchtmittel sein.The output to the vehicle user by the assistance system is preferably haptic, acoustic and/or visualized. For this purpose, the assistance system preferably has means for haptic output, means for acoustic output and/or means for visual output to the vehicle user. Means for haptic output can be, for example, vibrating elements on a steering wheel, on a handlebar grip or on a holding device of the vehicle. Means for acoustic output are, in particular, loudspeakers, sirens and/or other devices for generating acoustic signals or warnings. Means for optical output can be screens, monitors, headlights, all-round lights or other light sources.

Nach einem Ausführungsbeispiel wird die Position des Objekts relativ zum Fahrzeug auf einem zweidimensionalen Radarkegel dargestellt, der mehrere dynamisch variierende Sicherheitszonen aufweist. Des Weiteren weist der Radarkegel Distanzgruppen auf, welche die Sicherheitszonen im Wesentlichen in Längsrichtung bzw. in Fahrtrichtung des Fahrzeugs weiter unterteilen, um eine genauere Kategorisierung des jeweiligen erkannten Objekts zu ermöglichen. Sowohl die Sicherheitszonen als auch die Distanzgruppen sind dynamisch variabel, und zwar insbesondere in Abhängigkeit der Fahrzeuggeschwindigkeit. Der Radarkegel kann virtuell auf dem Objekterkennungssystem und/oder dem Assistenzsystem hinterlegt sein oder auf einem Monitor für den Fahrzeugnutzer dargestellt werden.According to one exemplary embodiment, the position of the object relative to the vehicle is represented on a two-dimensional radar cone which has a number of dynamically varying safety zones. Furthermore, the radar cone has distance groups which further subdivide the safety zones essentially in the longitudinal direction or in the direction of travel of the vehicle in order to enable a more precise categorization of the respective detected object. Both the safety zones and the distance groups are dynamically variable, in particular as a function of vehicle speed. The radar cone can be stored virtually on the object recognition system and/or the assistance system or displayed on a monitor for the vehicle user.

Ein erfindungsgemäßes System zur Umfeldüberwachung eines wenigstens teilweise elektrisch angetriebenen Fahrzeugs, wobei mittels einer Sensorik mindestens eines Objekterkennungssystems wenigstens ein RGB-Bild und/oder wenigstens eine Tiefenaufnahme eines Umfeldes des Fahrzeugs erzeugbar ist, wobei das jeweilige Objekterkennungssystem anhand des wenigstens einen RGB-Bildes und/oder der wenigstens einen Tiefenaufnahme das Vorhandensein sowie die Position eines Objekts, relativ zum Fahrzeug im Raum erfasst, wobei das Objekt zumindest in Abhängigkeit der Fahrzeuggeschwindigkeit und/oder der Position des Objekts relativ zum Fahrzeug in eine von zumindest zwei dynamischen Sicherheitszonen kategorisierbar ist, und wobei ein Assistenzsystem in Abhängigkeit der Informationen über das lokalisierte und kategorisierte Objekt zumindest eine sichere Höchstgeschwindigkeit des Fahrzeugs an einen Fahrzeugnutzer ausgibt.A system according to the invention for monitoring the surroundings of an at least partially electrically powered vehicle, wherein at least one RGB image and/or at least one depth recording of the surroundings of the vehicle can be generated by means of a sensor system of at least one object recognition system, the respective object recognition system using the at least one RGB image and/or or the at least one depth image captures the presence and position of an object in space relative to the vehicle, wherein the object can be categorized into one of at least two dynamic safety zones at least as a function of the vehicle speed and/or the position of the object relative to the vehicle, and wherein an assistance system outputs at least one safe maximum speed of the vehicle to a vehicle user depending on the information about the localized and categorized object.

Die Sensorik umfasst vorzugsweise eine RGB-Kamera und/oder eine Stereo-Infrarotkamera. Die RGB-Kamera ist dazu ausgebildet ein oder mehrere RGB-Bilder des Umfeldes des Fahrzeugs aufzunehmen und an das Objekterkennungssystem zur Speicherung und/oder Weiterverarbeitung zu übermitteln. Die Stereo-Infrarotkamera ist demgegenüber dazu ausgebildet eine oder mehrere Tiefenaufnahmen des Umfeldes des Fahrzeugs zu erstellen. Dies kann beispielsweise in einer farblichen Aufnahme resultieren, die in Form eines Wärmebildes Objekte, insbesondere Personen farblich darstellt, beispielsweise in einer Farbskala zwischen Blau für weit entfernte Objekte und Rot für sich nah an der Sensorik befindliche Objekte. Zur Erzeugung des jeweiligen RGB-Bildes sowie der jeweiligen Tiefenaufnahme kann ferner ein Infrarotstreuungsprojektor genutzt werden.The sensor system preferably includes an RGB camera and/or a stereo infrared camera. The RGB camera is designed to record one or more RGB images of the area surrounding the vehicle and to transmit them to the object recognition system for storage and/or further processing. In contrast, the stereo infrared camera is designed to create one or more depth recordings of the surroundings of the vehicle. This can result, for example, in a color recording that represents objects, in particular people, in color in the form of a thermal image, for example in a color scale between blue for objects that are far away and red for objects that are close to the sensor system. An infrared scattering projector can also be used to generate the respective RGB image as well as the respective depth recording.

Vorzugsweise umfasst das System ferner eine Schnittstelle, die dazu ausgebildet ist, die Informationen über die Position des lokalisierten und kategorisierten Objekts relativ zum Fahrzeug an eine Steuereinheit des Fahrzeugs zu übermitteln. Somit können die mittels der Sensorik erfassten und mittels dem Objekterkennungssystem generierten Information dazu genutzt werden, den wenigstens teilweise erfolgenden elektrischen Fahrbetrieb des Fahrzeugs anzupassen. Insbesondere kann, wenn der Fahrbetrieb wenigstens teilweise autonom erfolgt, eine Trajektorie des Fahrzeugs entsprechend den ausgewerteten Daten angepasst werden. Die Schnittstelle kann am Assistenzsystem und/oder am Objekterfassungssystem vorgesehen sein, um mit weiteren Geräten des Fahrzeugs und/oder mit externen Geräten drahtgebunden oder drahtlos verbunden zu sein bzw. zu werden.The system preferably also includes an interface which is designed to transmit the information about the position of the localized and categorized object relative to the vehicle to a control unit of the vehicle. The information recorded by the sensor system and generated by the object recognition system can thus be used to adapt the at least partially electric driving operation of the vehicle. In particular, if the driving operation takes place at least partially autonomously, a trajectory of the vehicle can be adjusted according to the evaluated data. The interface can be provided on the assistance system and/or on the object detection system in order to be or become wired or wirelessly connected to other devices in the vehicle and/or to external devices.

Das Verfahren gemäß der Erfindung kann beispielsweise von einem Computer beziehungsweise von einem Steuergerät ausgeführt werden. Somit kann das Verfahren in Software implementiert sein. Die entsprechende Software ist insofern ein eigenständig verkaufsfähiges Produkt. Daher bezieht sich die Erfindung auch auf ein Computerprogrammprodukt, enthaltend maschinenlesbare Anweisungen, die, wenn sie auf einem Computer, und/oder auf einem Steuergerät ausgeführt werden, den Computer und/oder das Steuergerät zu einer Bedienungslogik des Systems zur Umfeldüberwachung eines wenigstens teilweise elektrisch angetriebenen Fahrzeugs aufwerten, und/oder dazu veranlassen, ein Verfahren gemäß der Erfindung auszuführen.The method according to the invention can be carried out, for example, by a computer or by a control device. Thus, the method can be implemented in software. In this respect, the corresponding software is an independently salable product. The invention therefore also relates to a computer program product containing machine-readable instructions which, when executed on a computer and/or on a control unit, convert the computer and/or the control unit into an operating logic of the system for monitoring the surroundings of an at least partially electrically driven Upgrade the vehicle and/or cause it to carry out a method according to the invention.

Die vorhergehenden Ausführungen zum Verfahren gelten gleichermaßen für das erfindungsgemäße System sowie für das erfindungsgemäße Computerprogrammprodukt, und umgekehrt.The above statements on the method apply equally to the erfindungsge Measured system and for the computer program product according to the invention, and vice versa.

Weitere die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung bevorzugter Ausführungsbeispiele der Erfindung anhand der Figuren näher dargestellt. In den Figuren sind gleiche oder ähnliche Elemente mit dem gleichen Bezugszeichen versehen. Hierbei zeigt

1 eine schematische Perspektivdarstellung eines elektrisch angetriebenen Fahrzeugs mit einem erfindungsgemäßen System zur Umfeldüberwachung des Fahrzeugs nach einer ersten Ausführungsform,
2 eine Draufsicht des Fahrzeugs gemäß 1,
3 eine schematische Draufsicht des Fahrzeugs mit dem System zur Umfeldüberwachung des Fahrzeugs gemäß einer zweiten Ausführungsform,
4a eine Darstellung eines RGB-Bildes eines Fahrzeugumfelds,
4b eine Darstellung einer Tiefenaufnahme eines Fahrzeugumfelds,
4c eine Darstellung einer anhand des RGB-Bildes nach 4a und anhand der Tiefenaufnahme nach 4b ausgewerteten Aufnahme nach einem ersten Beispiel,
5a eine Darstellung einer ausgewerteten Aufnahme nach einem zweiten Beispiel, und
5b eine schematische Darstellung eines Radarkegels nach einer Kategorisierung von erkannten Objekten.

Further measures improving the invention are presented in more detail below together with the description of preferred exemplary embodiments of the invention with reference to the figures. Identical or similar elements are provided with the same reference symbols in the figures. Here shows

1 a schematic perspective view of an electrically driven vehicle with a system according to the invention for monitoring the surroundings of the vehicle according to a first embodiment,
2 a plan view of the vehicle according to FIG 1 ,
3 a schematic plan view of the vehicle with the system for monitoring the vehicle's surroundings according to a second embodiment,
4a a representation of an RGB image of a vehicle environment,
4b a representation of a depth recording of a vehicle environment,
4c a display based on the RGB image 4a and based on the depth image 4b evaluated recording according to a first example,
5a a representation of an evaluated recording according to a second example, and
5b a schematic representation of a radar cone after a categorization of detected objects.

Gemäß den 1 und 2 ist ein als E-Scooter ausgebildetes Fahrzeug 1 dargestellt, welches ein System zur Umfeldüberwachung umfasst. Das System ist dazu ausgebildet, Objekte 4, in diesem Fall insbesondere Personen und Tiere, im Umfeld 5 des Fahrzeugs 1 zu erkennen und dem Fahrzeugnutzer eine Empfehlung für eine sichere Höchstgeschwindigkeit bereitzustellen.According to the 1 and 2 a vehicle 1 designed as an e-scooter is shown, which includes a system for monitoring the surroundings. The system is designed to recognize objects 4, in this case in particular people and animals, in the surroundings 5 of the vehicle 1 and to provide the vehicle user with a recommendation for a safe maximum speed.

Nach 2 umfasst das Fahrzeug 1 in diesem Ausführungsbeispiel ein Objekterkennungssystem 3 mit einer Sensorik 2 sowie ein Assistenzsystem 7. Die Sensorik 2 des Objekterfassungssystems 3 ist vorliegend an einem Lenkergriff 11 des Fahrzeugs 1 angeordnet, mittels dessen der Fahrzeugnutzer eine Richtungsänderung manuell vornehmen kann. Die Sensorik 2 weist eine RGB-Kamera 2a zur Erstellung von RGB-Bildern des Umfeldes 5 des Fahrzeugs 1 sowie eine Stereo-Infrarotkamera 2b zur Erstellung von Tiefenaufnahmen des Umfeldes 5 des Fahrzeugs 1 auf. Ein derartiges RGB-Bild ist exemplarisch in 4 a) gezeigt, wobei das Objekt 4 bzw. die Person hier als RGB-Darstellung abgebildet ist. Eine Tiefenaufnahme des Umfeldes 5 des Fahrzeugs 1 ist in 4 b) exemplarisch abgebildet, wobei hier lediglich die Kontur des Objekts 4 bzw. der Person sowie die jeweilige Kontur weiterer markanter Merkmale im Umfeld 5 des Fahrzeugs 1 in gestrichelter Darstellung abgebildet sind. Mittels der Tiefenaufnahme wird der jeweilige Abstand von im Umfeld 5 des Fahrzeugs 1 befindlicher Objekte 4 relativ zum Fahrzeug 1 dargestellt, wobei je nach Abstand und/oder Position des Objekts 4 relativ zum Fahrzeug 1 ein variierender Farbton oder eine andere Farbe verwendet werden kann. Anhand des jeweiligen RGB-Bildes und der jeweiligen Tiefenaufnahme ist das jeweilige Objekterkennungssystem 3 in der Lage, in einem ersten Schritt ein Objekt 4 zu erkennen sowie in einem zweiten Schritt eine Position dieses erkannten Objekts 4 relativ zum Fahrzeug 1, beispielsweise durch die Bereitstellung von Koordinaten oder Abstandswerten, zu ermitteln. Nach der Auswertung wird vorliegend eine ausgewertete Aufnahme gemäß 4 c) erzeugt, anhand dessen das Vorhandensein eines Objekts 4 oder mehrerer Objekte 4 im Umfeld des Fahrzeugs 1 dargestellt wird. Mit anderen Worten erfolgt eine Überlagerung des jeweiligen RGB-Bildes sowie der Tiefenaufnahme zur Erzeugung einer ausgewerteten Aufnahme.To 2 In this exemplary embodiment, the vehicle 1 comprises an object recognition system 3 with a sensor system 2 and an assistance system 7. The sensor system 2 of the object detection system 3 is presently arranged on a handlebar grip 11 of the vehicle 1, by means of which the vehicle user can change direction manually. The sensor system 2 has an RGB camera 2a for creating RGB images of the surroundings 5 of the vehicle 1 and a stereo infrared camera 2b for creating depth recordings of the surroundings 5 of the vehicle 1 . Such an RGB image is exemplary in 4 a) shown, the object 4 or the person being shown here as an RGB representation. A deep image of the surroundings 5 of the vehicle 1 is in 4 b) shown as an example, with only the contour of the object 4 or the person and the respective contour of other prominent features in the area 5 of the vehicle 1 being shown in broken lines. The respective distance between objects 4 in the surroundings 5 of the vehicle 1 relative to the vehicle 1 is represented by means of the depth recording, with a varying hue or another color being able to be used depending on the distance and/or position of the object 4 relative to the vehicle 1 . Based on the respective RGB image and the respective depth recording, the respective object recognition system 3 is able to recognize an object 4 in a first step and a position of this recognized object 4 relative to the vehicle 1 in a second step, for example by providing coordinates or distance values. After the evaluation, an evaluated recording according to 4 c) generated, based on which the presence of an object 4 or multiple objects 4 in the vicinity of the vehicle 1 is shown. In other words, the respective RGB image and the depth image are superimposed to generate an evaluated image.

Auf dem Objekterfassungssystem 3 ist ein YOLO-Algorithmus (YOLO = „You Only Look Once“) bereitgestellt, welcher derart ausgebildet und antrainiert ist, dass Personen und Tiere im Umfeld 5 des Fahrzeugs 1 erkannt werden, wobei der YOLO-Algorithmus zudem derart ausgebildet ist, dass jedes Objekts 4 nur einmalig durch ein neuronales Netzwerk erkannt und analysiert wird. Der YOLO-Algorithmus bildet ein neuronales Netzwerk aus, welches ein einfaches und schnelles Mittel zur Erkennung von Objekten im Umfeld des Fahrzeugs anhand von Bildaufnahmen ist.A YOLO algorithm (YOLO=“You Only Look Once”) is provided on the object detection system 3, which is designed and trained in such a way that people and animals in the area surrounding 5 of the vehicle 1 are recognized, with the YOLO algorithm also being designed in such a way that each object 4 is recognized and analyzed only once by a neural network. The YOLO algorithm forms a neural network, which is a simple and quick means of recognizing objects in the vehicle's surroundings based on image recordings.

Das Objekterfassungssystem 3 gibt nach der Auswertung des RGB-Bildes sowie der Tiefenaufnahme einen Zuverlässigkeitswert für jedes potenziell erkannte Objekt 4 aus, wobei der Zuverlässigkeitswert, wenn ein Zuverlässigkeitsgrenzwert überschritten wird, das Vorhandensein des Objekts 4 im Umfeld 5 des Fahrzeugs 1 bestätigt. Ist der Zuverlässigkeitsgrenzwert für das potenzielle Objekt 4 nicht erreicht oder überschritten, so wird das Vorhandensein des jeweiligen Objekts 4 verneint. Eine erneute Analyse desselben Objekts 4 bzw. des potenziellen Objekts 4 erfolgt zu einem späteren Zeitpunkt nicht mehr. Anders gesagt werden die Aufnahmen, das heißt das jeweilige RGB-Bild und die jeweilige Tiefenaufnahme, überlagert, was durch den Pfeil 8 dargestellt ist, wobei das Objekterkennungssystem 3 mittels des YOLO-Algorithmus eine Lokalisierung des Objekts relativ zur Sensorik 2 bzw. zum Fahrzeug 1 durchführt. Dazu wird, wie in 4 c) dargestellt, ein Begrenzungsrahmen 12 zur Markierung um das erkannte Objekt 4 erzeugt, dessen Koordinaten relativ zur Sensorik 2 dazu genutzt werden, die Position des Objekts 4 relativ zum Fahrzeug 1 im Raum zu erfassen. Der Begrenzungsrahmen 12 zeigt zudem, dass das jeweilige Objekt 4 als solches erkannt wurde. Ferner kann am Begrenzungsrahmen 12 der Zuverlässigkeitswert angegeben bzw. dargestellt werden. Der Begrenzungsrahmen 12 kann außerdem virtuell auf dem System als Koordinatendatensatz abgespeichert oder in einem nachfolgenden Schritt über Mittel zur visuellen Darstellung an den Fahrzeugnutzer ausgegeben werden.After evaluating the RGB image and the depth recording, the object detection system 3 outputs a reliability value for each potentially detected object 4, the reliability value confirming the presence of the object 4 in the surroundings 5 of the vehicle 1 if a reliability limit value is exceeded. If the reliability limit value for the potential object 4 is not reached or exceeded, then the presence of the respective object 4 is denied. The same object 4 or the potential object 4 is no longer analyzed again at a later point in time. In other words, the recordings, ie the respective RGB image and the respective depth recording, are superimposed, which is represented by the arrow 8, with the object recognition system 3 using the YOLO algorithm Localization of the object relative to the sensors 2 and the vehicle 1 performs. For this purpose, as in 4 c) shown, a bounding box 12 is generated for marking around the detected object 4, the coordinates of which are used relative to the sensor system 2 to detect the position of the object 4 relative to the vehicle 1 in space. The bounding box 12 also shows that the respective object 4 has been recognized as such. Furthermore, the reliability value can be specified or displayed on the delimiting frame 12 . The boundary frame 12 can also be stored virtually on the system as a coordinate data record or can be output to the vehicle user in a subsequent step via means for visual representation.

In Anschluss an die Objekterkennung erfolgt eine Kategorisierung des jeweiligen erkannten Objekts 4 in eine von drei dynamisch variierende Sicherheitszonen 6a, 6b, 6c sowie in eine von drei innerhalb jeder Sicherheitszone 6a, 6b, 6c definierten, dynamisch variierende Distanzgruppen 10a, 10b, 10c. Eine erste Sicherheitszone 6a liegt in Fahrtrichtung 14 unmittelbar vor dem Fahrzeug 1, wobei jeweils eine weitere Sicherheitszone 6b, 6c in Fahrtrichtung 14 links bzw. rechts neben der ersten Sicherheitszone 6a liegen. Die Gefahr eines Zusammenstoßes des Fahrzeugs 1 mit dem Objekt 4 ist, wenn sich das Objekt 4 in der ersten Sicherheitszone 6a befindet, höher als wenn sich das Objekt 4 in der zweiten oder dritten Sicherheitszone 6b, 6c befindet, da sich das Objekt 4 in Fahrtrichtung 14 direkt vor dem Fahrzeug 1 liegt. Auch mehr als drei Sicherheitszonen 6a, 6b, 6c sind je nach Anwendungsfall denkbar. Jede Sicherheitszone 6a, 6b, 6c ist ausgehend von der Sensorik 2 in Längsrichtung in jeweils drei Distanzgruppen 10a, 10b, 10c unterteilt, und zwar in die Gruppen „nah“, „fern“ und „weit entfernt“.Subsequent to the object detection, the respective detected object 4 is categorized into one of three dynamically varying security zones 6a, 6b, 6c and into one of three dynamically varying distance groups 10a, 10b, 10c defined within each security zone 6a, 6b, 6c. A first safety zone 6a is located directly in front of the vehicle 1 in the direction of travel 14, with another safety zone 6b, 6c lying to the left and right of the first safety zone 6a in the direction of travel 14. The risk of the vehicle 1 colliding with the object 4 is higher when the object 4 is in the first safety zone 6a than when the object 4 is in the second or third safety zone 6b, 6c, since the object 4 is in the direction of travel 14 is directly in front of the vehicle 1. Depending on the application, more than three security zones 6a, 6b, 6c are also conceivable. Starting from the sensor system 2, each safety zone 6a, 6b, 6c is divided in the longitudinal direction into three distance groups 10a, 10b, 10c, specifically into the groups “near”, “far” and “far away”.

Mittels des YOLO-Algorithmus erfolgt eine Kategorisierung der erkannten Objekte 4 in die Sicherheitszonen 6a, 6b, 6c und in die Distanzgruppen 10a, 10b, 10c. Vorliegend ist ein erstes Objekt 4 der ersten Sicherheitszone 6a sowie der dazugehörigen zweiten Distanzgruppe 10b „fern“ zugeordnet. Ein zweites Objekt 4 ist der zweiten Sicherheitszone 6b sowie der dazugehörigen dritten Distanzgruppe 10c „weit entfernt“ zugeordnet, und ein drittes Objekt 4 ist der dritten Sicherheitszone 6c sowie der dazugehörigen ersten Distanzgruppe 10a zugeordnet.The detected objects 4 are categorized into the safety zones 6a, 6b, 6c and into the distance groups 10a, 10b, 10c by means of the YOLO algorithm. In the present case, a first object 4 is assigned to the first security zone 6a and the associated second distance group 10b “far away”. A second object 4 is assigned to the second safety zone 6b and the associated third distance group 10c “far away”, and a third object 4 is assigned to the third safety zone 6c and the associated first distance group 10a.

Sowohl die Form und Größe der jeweiligen Sicherheitszone 6a, 6b, 6c als auch die Form und Größe der jeweiligen Distanzgruppe 10a, 10b, 10c sind im Wesentlichen abhängig von der aktuellen Fahrzeuggeschwindigkeit sowie dem Anwendungsgebiet des Fahrzeugs 1. Mithin sind sowohl die Sicherheitszonen 6a, 6b, 6c als auch die Distanzgruppen 10a, 10b, 10c dynamisch variierbar. Das Objekterfassungssystem 3 ist dazu mit einem - hier nicht dargestellten - Geschwindigkeitssensor des Fahrzeugs 1 verbunden, welcher Informationen über die Fahrzeuggeschwindigkeit zur Bestimmung der Form und Größe der Sicherheitszonen 6a, 6b, 6c bzw. der Distanzgruppen 10a, 10b, 10c bereitstellt.Both the shape and size of the respective safety zone 6a, 6b, 6c and the shape and size of the respective distance group 10a, 10b, 10c are essentially dependent on the current vehicle speed and the area of application of the vehicle 1. Consequently, both the safety zones 6a, 6b , 6c and the spacer groups 10a, 10b, 10c can be varied dynamically. For this purpose, the object detection system 3 is connected to a speed sensor--not shown here--of the vehicle 1, which provides information about the vehicle speed for determining the shape and size of the safety zones 6a, 6b, 6c or the distance groups 10a, 10b, 10c.

Die Koordinaten des Begrenzungsrahmens 12 sowie die Daten zur Kategorisierung des jeweiligen Objekts 4 werden dem Assistenzsystem 7 zur weiteren Verarbeitung zur Verfügung gestellt, wobei das Assistenzsystem 7 anhand dieser Informationen wenigstens eine sichere Höchstgeschwindigkeit des Fahrzeugs 1 an einen Fahrzeugnutzer ausgibt. Das System kann ferner eine - hier nicht gezeigte - Schnittstelle aufweisen, die dazu ausgebildet ist, die Informationen über die Position des lokalisierten und kategorisierten Objekts 4 bzw. der Objekte 4 an eine - hier ebenfalls nicht dargestellte - Steuereinheit des Fahrzeugs 1 zu übermitteln.The coordinates of the boundary frame 12 and the data for categorizing the respective object 4 are made available to the assistance system 7 for further processing, with the assistance system 7 using this information to output at least one safe maximum speed of the vehicle 1 to a vehicle user. The system can also have an interface--not shown here--which is designed to transmit the information about the position of the localized and categorized object 4 or objects 4 to a control unit of the vehicle 1--also not shown here.

Die Ausgabe der sicheren Höchstgeschwindigkeit an den Fahrzeugnutzer durch das Assistenzsystem 7 erfolgt vorliegend visuell über einen Bildschirm 13, der ebenfalls am Lenkergriff 11, und zwar vorliegend im Blickfeld des Fahrzeugnutzers befestigt ist, wobei ein zweidimensionaler Radarkegel 9 dargestellt wird, der sich aus den Sicherheitszonen 6a, 6b, 6c und den Distanzgruppen 10a, 10b, 10c zusammensetzt. In dem so erzeugten Raster werden die erkannten bzw. kategorisierten Objekten 4 eingefügt und entsprechend abgebildet. Ein solcher Radarkegel 9 ist exemplarisch in 5 b) gezeigt, der aus einer ausgewerteten Aufnahme nach 5 a) mit Informationen über das jeweilige Objekt 4 versorgt wird. Die ausgewertete Aufnahme nach 5 a) wird, analog zu 4 a), aus einem jeweiligen RGB-Bild und, analog zu 4 b), aus einer jeweiligen Tiefenaufnahme generiert. Anders gesagt erzeugt das Objekterkennungssystem 3 den Radarkegel 9, welcher Daten aus der ausgewerteten Aufnahme beinhaltet und entsprechend darstellt.The safe maximum speed is output to the vehicle user by the assistance system 7 visually via a screen 13, which is also attached to the handlebar grip 11, in the present case in the vehicle user's field of vision, with a two-dimensional radar cone 9 being displayed, which consists of the safety zones 6a , 6b, 6c and the spacer groups 10a, 10b, 10c. The recognized or categorized objects 4 are inserted into the grid generated in this way and displayed accordingly. Such a radar cone 9 is an example in 5b) shown after from an evaluated recording 5 a) is supplied with information about the respective object 4. The evaluated recording after 5 a) will, analogous to 4 a) , from a respective RGB image and, analogously to 4 b) , generated from a respective depth image. In other words, the object recognition system 3 generates the radar cone 9, which contains data from the evaluated recording and displays it accordingly.

Der zweidimensionale Radarkegel 9 weist die zuvor beschriebenen Sicherheitszonen 6a, 6b, 6c und die dazugehörigen Distanzgruppen 10a, 10b, 10c auf, wobei die Objekte 4, wie anhand der Bezugsrahmen 12 zu sehen ist, erfasst, erkannt und deren Koordinaten abgespeichert wurden und die Objekte 4 anschließend in Abhängigkeit ihrer Position relativ zum Fahrzeug 1 in die Sicherheitszonen 6a, 6b, 6c sowie die Distanzgruppen 10a, 10b, 10c kategorisiert werden. Alternativ oder ergänzend können dem Fahrzeugnutzer auch durch geeignete Mittel haptisch und/oder akustisch bestimmte Informationen bezüglich der Position des Objekts 4 relativ zum Fahrzeug 1 übermittelt werden. Beispielsweise können durch Anpassung einer Vibrationsstärke einer am Lenkergriff 11 angeordneten, haptischen Ausgabeeinheit Informationen über die Position und/oder Entfernung eines Objekts 4 relativ zum Fahrzeug 1 wiedergegeben bzw. bereitgestellt werden.The two-dimensional radar cone 9 has the safety zones 6a, 6b, 6c described above and the associated distance groups 10a, 10b, 10c, with the objects 4, as can be seen from the reference frame 12, being detected, recognized and their coordinates stored and the objects 4 are then categorized into safety zones 6a, 6b, 6c and distance groups 10a, 10b, 10c depending on their position relative to vehicle 1. As an alternative or in addition, information relating to the position of the object 4 relative to the vehicle 1 can also be transmitted to the vehicle user by suitable means that are determined haptically and/or acoustically. For example, by adjusting a vibration intensity of a haptic output unit arranged on the handlebar grip 11, information about the position and/or distance of an object 4 relative to the vehicle 1 are reproduced or provided.

Das System gemäß dem alternativen Ausführungsbeispiel nach 3 ist im Wesentlichen identisch zur ersten Ausführungsform nach den 1 und 2 in Verbindung mit den 4 a) bis 5 b) ausgebildet. Der Unterschied besteht vorliegend im Wesentlichen darin, dass das Objekterkennungssystem 3 drei separate Sensoriken 2, jeweils mit einer RGB-Kamera 2a zur Erstellung von RGB-Bildern des Umfeldes 5 des Fahrzeugs 1 sowie eine Stereo-Infrarotkamera 2b zur Erstellung von Tiefenaufnahmen des Umfeldes 5 des Fahrzeugs 1, umfasst. Das Objekterkennungssystem 3 wertet die Messgrößen jeder Sensorik 2 aus und stellt dem Assistenzsystem 7 die entsprechenden Information zur Verfügung. Vorliegend ist eine erste Sensorik 2 identisch zu den 1 und 2 in Fahrtrichtung 14 des Fahrzeugs 1 ausgerichtet, wobei die beiden weiteren Sensoriken 2 quer zur Fahrtrichtung 14 und in entgegengesetzte Richtungen ausgerichtet sind, um auch die seitlichen Bereiche des Fahrzeugs 1 zu überwachen. Die drei Sensoriken 2 überwachen jeweils ein als Radarkegel 9 ausgeformtes Umfeld 5 des Fahrzeugs 1, wobei der Bildschirm 13 entsprechend derart ausgelegt ist, dass alle drei Radarkegel 9 in geeigneter visualisiert werden. Ein derartiges System eignet sich insbesondere für als Hebebühne ausgebildete Fahrzeuge 1, für die aufgrund ihres Anwendungsgebietes und der unterschiedlichen Sicherheitsanforderungen auch die seitlichen Bereiche des Umfelds 5 des Fahrzeugs 1 überwacht werden müssen.The system according to the alternative embodiment according to FIG 3 is essentially identical to the first embodiment according to FIG 1 and 2 in connection with the 4 a) until 5b) educated. The difference here is essentially that the object recognition system 3 has three separate sensors 2, each with an RGB camera 2a for creating RGB images of the surroundings 5 of the vehicle 1 and a stereo infrared camera 2b for creating depth recordings of the surroundings 5 of the Vehicle 1 includes. The object recognition system 3 evaluates the measured variables of each sensor system 2 and makes the corresponding information available to the assistance system 7 . In the present case, a first sensor system 2 is identical to the 1 and 2 aligned in the direction of travel 14 of the vehicle 1, with the two further sensors 2 being aligned transversely to the direction of travel 14 and in opposite directions in order to also monitor the lateral areas of the vehicle 1. The three sensors 2 each monitor an environment 5 of the vehicle 1 in the form of a radar cone 9, with the screen 13 being designed in such a way that all three radar cones 9 are visualized in a suitable manner. Such a system is particularly suitable for vehicles 1 designed as a lifting platform, for which the lateral areas of the surroundings 5 of the vehicle 1 must also be monitored due to their field of application and the different safety requirements.

Alternativ ist denkbar, dass das System drei separate Objekterkennungssysteme 3 umfasst, die jeweils eine Sensorik 2 mit einer RGB-Kamera 2a zur Erstellung von RGB-Bildern des Umfeldes 5 des Fahrzeugs 1 sowie eine Stereo-Infrarotkamera 2b zur Erstellung von Tiefenaufnahmen des Umfeldes 5 des Fahrzeugs 1 umfasst. Die Objekterkennungssysteme 3 können in geeigneter Weise mit dem Assistenzsystem 7 kommunizieren, welches die Informationen entsprechend empfängt und in der zuvor beschriebenen Weise weiterverarbeitet.Alternatively, it is conceivable that the system comprises three separate object recognition systems 3, each of which has a sensor system 2 with an RGB camera 2a for creating RGB images of the surroundings 5 of the vehicle 1 and a stereo infrared camera 2b for creating depth recordings of the surroundings 5 of the Vehicle 1 includes. The object recognition systems 3 can communicate in a suitable manner with the assistance system 7, which receives the information accordingly and processes it further in the manner described above.

BezugszeichenlisteReference List

11: Fahrzeugvehicle
22: Sensoriksensors
2a2a: RGB-KameraRGB camera
2b2 B: Stereo-InfrarotkameraStereo infrared camera
33: Objekterkennungssystemobject detection system
44: Objektobject
55: Umfeld des Fahrzeugsenvironment of the vehicle
6a, 6b, 6c6a, 6b, 6c: Sicherheitszonesafety zone
77: Assistenzsystemassistance system
88th: Pfeilarrow
99: Radarkegelradar cone
10a, 10b, 10c10a, 10b, 10c: Distanzgruppedistance group
1111: Lenkergriffhandlebar grip
1212: Begrenzungsrahmenbounding box
1313: Bildschirmscreen
1414: Fahrtrichtungdriving direction

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

US 2019/0042865 A1 [0002]

Claims

Method for monitoring the surroundings of an at least partially electrically driven vehicle (1), wherein at least one RGB image and/or at least one depth recording of a surroundings (5) of the vehicle (1) is generated by means of a sensor (2) of at least one object recognition system (3), wherein the respective object recognition system (3) uses the at least one RGB image and/or the at least one depth image to detect the presence and position of an object (4) in space relative to the vehicle (1), the object (4) being at least dependent on the vehicle speed and/or the position of the object (4) relative to the vehicle (1) is categorized into one of at least two dynamic safety zones (6a, 6b, 6c), and wherein an assistance system (7) depending on the information about the localized and categorized object (4) outputs at least one safe maximum speed of the vehicle (1) to a vehicle user.

procedure after claim 1 , characterized in that each object (4) is detected and categorized only once by a neural network in the object recognition system (3).

Method according to one of the preceding claims, characterized in that the output to the vehicle user by the assistance system (7) takes place haptically, acoustically and/or visually.

procedure after claim 3 , characterized in that the position of the object (4) relative to the vehicle (1) is represented on a two-dimensional radar cone (9) which has a number of dynamically varying safety zones (6a, 6b, 6c).

Method according to one of the preceding claims, characterized in that the safety zones (6a, 6b, 6c) are subdivided into dynamically varying distance groups (10a, 10b, 10c).

System (3) for monitoring the surroundings of an at least partially electrically powered vehicle (1), with at least one RGB image and/or at least one depth recording of a surroundings (5) of the vehicle (1) being created by means of a sensor (2) of at least one object recognition system (3). can be generated, wherein the respective object recognition system (3) uses the at least one RGB image and/or the at least one depth image to detect the presence and the position of an object (4) relative to the vehicle (1) in space, the object (4) can be categorized into one of at least two dynamic safety zones (6a, 6b, 6c) at least depending on the vehicle speed and/or the position of the object (4) relative to the vehicle (1), and wherein an assistance system (7) depending on the information about the localized and categorized object (4) outputs at least one safe maximum speed of the vehicle (1) to a vehicle user.

system (3) after claim 6 , characterized by an interface which is designed to transmit the information about the position of the localized and categorized object (4) relative to the vehicle (1) to a control unit of the vehicle (1).

System (3) according to one of Claims 6 or 7 , characterized in that the sensor system (2) comprises an RGB camera (2a) and/or a stereo infrared camera (2b).

System (3) according to one of Claims 6 until 8th , characterized in that the assistance system (7) comprises means for haptic output, means for acoustic output and/or means for visual output to the vehicle user.

Computer program product containing machine-readable instructions that, when they are executed on a computer and/or on a control unit, the computer and/or the control unit become an operating logic of the system for monitoring the surroundings of a vehicle (1) according to claims 6 until 9 enhance, and / or cause a method according to one of Claims 1 until 5 to execute.