DE102024207183A1

DE102024207183A1 - Computer-implemented vehicle-side method for driver assistance, computer program, control unit for a vehicle, vehicle, computer-implemented server-side method for determining the driving trajectory, server computer program and server device

Info

Publication number: DE102024207183A1
Application number: DE102024207183.8A
Authority: DE
Inventors: Markus Vogelgesang; Stephan Eschke; Joerg Tessmer; Tobias Mueller; Holger Maris Gilbergs; Armin Karle; Merce Mueller-Gorchs; Dirk ELIAS; Andreas Heyl; Philipp Mundhenk
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2024-07-30
Filing date: 2024-07-30
Publication date: 2026-02-05

Abstract

Computerimplementiertes Verfahren zur Fahrassistenz, umfassend die folgenden Schritte: Erfassung von Sensordaten der Umgebung des Fahrzeugs mittels wenigstens eines Fahrzeugsensors; Aussendung eines Ausgangsfunksignals, welches zumindest einen Teil der erfassten Sensordaten repräsentiert; Empfang eines Ergebnisfunksignals, welches zumindest eine für die Fahrt des Fahrzeugs in Abhängigkeit des Ausgangsfunksignals ermittelte Fahrtrajektorie repräsentiert; und Anzeige der wenigstens einen empfangenen Fahrtrajektorie und/oder Ansteuerung wenigstens eines Lenkmotors des Fahrzeugs und/oder wenigstens eines Antriebs des Fahrzeugs zur Fahrt des Fahrzeugs entlang der empfangenen Fahrtrajektorie.A computer-implemented method for driver assistance, comprising the following steps: acquisition of sensor data from the vehicle's environment using at least one vehicle sensor; transmission of an output radio signal representing at least a part of the acquired sensor data; reception of a result radio signal representing at least one driving trajectory determined for the vehicle's journey as a function of the output radio signal; and display of the at least one received driving trajectory and/or control of at least one steering motor of the vehicle and/or at least one drive of the vehicle to drive the vehicle along the received driving trajectory.

Description

Die vorliegende Erfindung betrifft ein computerimplementiertes fahrzeugseitiges Verfahren zur Fahrassistenz beziehungsweise zur Anzeige einer empfangenen Fahrtrajektorie und/oder zur Steuerung eines Fahrzeugs entlang der empfangenen Fahrtrajektorie. Die Erfindung betrifft auch ein Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, die Schritte dieses fahrzeugseitigen Verfahrens auszuführen. Die Erfindung betrifft des Weiteren ein Steuergerät für ein Fahrzeug, umfassend eine Recheneinheit, die so konfiguriert ist, dass sie die Schritte dieses fahrzeugseitigen Verfahrens ausführt. Darüber hinaus betrifft die Erfindung auch ein Fahrzeug, umfassend das erfindungsgemäße Steuergerät. Die Erfindung betrifft ferner ein computerimplementiertes serverseitiges Verfahren zur Bestimmung der Fahrttrajektorie des Fahrzeugs mittels einer Servervorrichtung. Außerdem betrifft die Erfindung ein Servercomputerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch eine Servervorrichtung diese veranlassen, die Schritte dieses serverseitigen Verfahrens auszuführen. Die Erfindung betrifft des Weiteren eine Servervorrichtung mit einer Serverrecheneinheit, die so konfiguriert ist, dass sie die Schritte dieses serverseitigen Verfahrens ausführt.The present invention relates to a computer-implemented, vehicle-side method for driver assistance, specifically for displaying a received driving trajectory and/or controlling a vehicle along that trajectory. The invention also relates to a computer program comprising instructions that, when executed by a computer, cause the computer to perform the steps of this vehicle-side method. Furthermore, the invention relates to a vehicle control unit comprising a processing unit configured to perform the steps of this vehicle-side method. The invention also relates to a vehicle comprising the control unit according to the invention. The invention further relates to a computer-implemented, server-side method for determining the vehicle's driving trajectory using a server device. The invention also relates to a server computer program comprising instructions that, when executed by a server device, cause the server device to perform the steps of this server-side method. Finally, the invention relates to a server device with a server processing unit configured to perform the steps of this server-side method.

Stand der TechnikState of the art

Die Schrift WO 2019/050873 A1 offenbart ein System bestehend aus einen Datenverarbeiter; und einem Trajektorienplanungsmodul, welche dazu konfiguriert ist,
einen Trajektorienvorschlag für ein autonomes Fahrzeug zu generieren.The writing WO 2019/050873 A1 reveals a system consisting of a data processor and a trajectory planning module configured to
to generate a trajectory proposal for an autonomous vehicle.

Das Dokument DE 10 2020 111 938 A1 offenbart ein Verfahren zum Planen und Aktualisieren einer Fahrzeugtrajektorie.The document DE 10 2020 111 938 A1 discloses a method for planning and updating a vehicle trajectory.

Die Schrift EP 3 616 182 A1 offenbart ein Berechnungssystem, aufweisend eine Recheneinrichtung eines Kraftfahrzeugs und eine Recheneinrichtung umfassende Cloud. Die aus Eingangsdaten Ausgangsdaten berechnende Applikation, welche teilweise durch die kraftfahrzeugseitige Recheneinrichtung und teilweise cloudseitig ausführbar ist.The writing EP 3 616 182 A1 Disclosure reveals a computing system comprising a computing unit in a motor vehicle and a cloud-based computing unit. The application calculates output data from input data and is partially executable by the vehicle's computing unit and partially in the cloud.

Das Dokument DE 10 2022 119 206 A1 offenbart ein Verfahren, aufweisend Identifizieren eines Szenarios für ein erstes Fahrzeug mindestens basierend auf der Analyse von Sensordaten, die von mindestens einem Sensor des ersten Fahrzeugs in einer Umgebung erzeugt wurden; Empfangen eines Warteelements, das mit dem Szenario verbunden ist, wobei das Warteelement einen ersten Weg für das erste Fahrzeug zum Durchqueren eines Bereichs in der Umgebung und einen zweiten Weg für ein zweites Fahrzeug zum Durchqueren des Bereichs codiert; Bestimmen, aus dem ersten Weg, einer ersten Trajektorie in dem Gebiet für das erste Fahrzeug, mindestens basierend auf einer ersten Position des ersten Fahrzeugs zu einem Zeitpunkt; Bestimmen, aus dem zweiten Weg, einer zweiten Trajektorie in dem Gebiet für das zweite Fahrzeug, mindestens basierend auf einem zweiten Standort des zweiten Fahrzeugs zu dem Zeitpunkt; Beurteilen, ob es einen Konflikt zwischen der ersten Trajektorie und der zweiten Trajektorie gibt; und Übertragen von Daten, die das erste Fahrzeug veranlassen, gemäß einem Wartezustand zu arbeiten, mindestens basierend auf der Beurteilung, wobei der Wartezustand ein Vorfahrtsverhalten für das erste Fahrzeug definiert.The document DE 10 2022 119 206 A1 Disclosing a method comprising: identifying a scenario for a first vehicle based at least on the analysis of sensor data generated by at least one sensor of the first vehicle in an environment; receiving a wait element associated with the scenario, wherein the wait element encodes a first path for the first vehicle to traverse an area in the environment and a second path for a second vehicle to traverse the area; determining, from the first path, a first trajectory in the area for the first vehicle, based at least on a first position of the first vehicle at a given time; determining, from the second path, a second trajectory in the area for the second vehicle, based at least on a second position of the second vehicle at that time; assessing whether there is a conflict between the first trajectory and the second trajectory; and transmitting data that causes the first vehicle to operate according to a wait state, based at least on the assessment, wherein the wait state defines a right-of-way behavior for the first vehicle.

Gemäß des Dokuments Addendum 78: UN Regulation No. 79, betreffend Lenksysteme für Fahrzeuge, soll für Parkassistenzsysteme, die ein Hindernis (z. B. Fahrzeuge, Fußgänger) im Manövrierbereich erkennen, das Fahrzeug sofort zum Stillstand gebracht werden, um einen Zusammenstoß zu vermeiden. Die Latenzanforderungen nach ISO 17386 MALSO (Manoeuvring Aids for Low Speed Operation) und UNECE R158 beziehen sich auf die Reaktionszeiten von Fahrerassistenzsystemen, die bei niedrigen Geschwindigkeiten, wie beim Einparken oder Rangieren, unterstützen. Diese Normen und Regelungen legen fest, wie schnell diese Systeme auf Sensordaten reagieren und entsprechende Warnungen oder Eingriffe ausführen müssen, um die Sicherheit und Effektivität der Fahrerassistenzsysteme zu gewährleisten. Diese Latenzanforderungen stellen sicher, dass die Systeme schnell genug reagieren, um potenzielle Kollisionen zu verhindern oder deren Schwere zu mindern. Eine zu lange Latenz könnte dazu führen, dass Warnungen zu spät kommen oder das System nicht rechtzeitig eingreift, um eine Kollision zu vermeiden. Die genauen Latenzwerte können je nach spezifischer Anwendung und den Details der jeweiligen Norm oder Regelung variieren. Generell wird jedoch eine möglichst geringe Latenz angestrebt, um die Sicherheit und Wirksamkeit der Fahrerassistenzsysteme zu maximieren. Eine Latenzzeit für Einparkassistenten könnte demnach beispielsweise 500 Millisekunden betragen, wobei diese Latenzzeit nur für die Kollisionsvermeidung benötigt wird. Mit anderen Worten darf die Bestimmung einer Einparktrajektorie nach Erkennung beispielsweise einer in Fahrtrichtung vorausliegenden Parklücke durchaus länger dauern, wobei dies insbesondere während einer langsamen Fahrt des Fahrzeugs dem Nutzer kaum auffallen dürfte.According to Addendum 78 of UN Regulation No. 79, concerning steering systems for vehicles, parking assistance systems that detect an obstacle (e.g., vehicles, pedestrians) in the maneuvering area must immediately bring the vehicle to a standstill to avoid a collision. The latency requirements of ISO 17386 MALSO (Maneuvering Aids for Low Speed Operation) and UNECE R158 relate to the reaction times of driver assistance systems that provide support at low speeds, such as during parking or maneuvering. These standards and regulations define how quickly these systems must react to sensor data and issue appropriate warnings or interventions to ensure the safety and effectiveness of the driver assistance systems. These latency requirements ensure that the systems react quickly enough to prevent potential collisions or mitigate their severity. Excessive latency could result in warnings arriving too late or the system failing to intervene in time to avoid a collision. The exact latency values can vary depending on the specific application and the details of the respective standard or regulation. Generally, however, the aim is to achieve the lowest possible latency to maximize the safety and effectiveness of driver assistance systems. For example, a latency of 500 milliseconds for parking assistants could be required, with this latency being needed solely for collision avoidance. In other words, determining a parking trajectory after detecting, for example, a parking space ahead in the direction of travel, may well take longer, although this is unlikely to be noticeable to the user, especially during slow vehicle travel.

Im Kontext der fortwährenden Evolution drahtloser Technologien erweitern die fünfte (5G) als die sechste Generation (6G) das Spektrum der Kommunikationsmöglichkeiten. Die Einführung von 5G in 2019 erlaubt theoretische Übertragungsgeschwindigkeiten von bis zu 10 Gigabit pro Sekunde, was eine mehr als dreißigfache Steigerung im Vergleich zu den 4G LTE-Technologien darstellt. Die fünfte Generation nutzt Frequenzbänder im Bereich von 24 GHz bis 66 GHz. Die Markteinführung der sechsten Generation (6G) wird für das Jahr 2030 erwartet. Die sechste Generation erreicht in Testversuchen Übertragungsgeschwindigkeiten von 206,25 Gigabit pro Sekunde. 6G zielt auf eine Nutzung von Frequenzbändern im Spektrum von 30 GHz bis 300 GHz. Während 5G Latenzzeiten von circa 5 Millisekunden erreicht, wird für 6G eine weitere Reduktion auf nur eine Millisekunde erwartet.In the context of the ongoing evolution of wireless technologies, the fifth generation (5G) and the sixth generation (6G) expand the spectrum of Communication capabilities. The introduction of 5G in 2019 allows for theoretical transmission speeds of up to 10 gigabits per second, representing a more than thirty-fold increase compared to 4G LTE technologies. The fifth generation uses frequency bands in the range of 24 GHz to 66 GHz. The market launch of the sixth generation (6G) is expected in 2030. In test trials, the sixth generation achieves transmission speeds of 206.25 gigabits per second. 6G aims to utilize frequency bands in the spectrum from 30 GHz to 300 GHz. While 5G achieves latency times of approximately 5 milliseconds, a further reduction to just one millisecond is expected for 6G.

Verarbeitungszeiten auf einem Server beziehungsweise einer Cloud beziehen sich auf die Zeit, die benötigt wird, um eine Anfrage zu verarbeiten und eine Antwort zu generieren. Diese Zeitdauer ist abhängig von der Komplexität der Anfrage, der aktuellen Auslastung des Servers, der Effizienz der Algorithmen und der Leistungsfähigkeit der Hardware. Sie kann beispielsweise im Bereich von Millisekunden bis zu mehreren Sekunden liegen.Processing times on a server or cloud refer to the time required to process a request and generate a response. This duration depends on the complexity of the request, the current server load, the efficiency of the algorithms, and the performance of the hardware. It can range from milliseconds to several seconds.

Das Dokument Drews, F. et al. (2022) „DeepFusion: A Robust and Modular 3D Object Detector for Lidars, Cameras and Radars“, arXiv:2209.12729v2 [cs.CV] offenbart eine Sensorfusion als sogenannte DeepFusion, welche eine modulare multimodale Architektur angelernter maschineller Erkennungsverfahren beziehungsweise neuronaler Netze umfasst, um unterschiedliche Sensortypen in verschiedenen Kombinationen für die 3D-Objekterkennung und die Kartenerstellung zu nutzen. Aus den neuronalen Netzen extrahierte Merkmale beziehungsweise Ausgabewerte werden dabei vorteilhafterweise segmentiert und/oder abstandsbasiert einer räumlichen Karte in Vogelperspektive zugeordnet, was einem Merkmalsraum entspricht. Die aus dem neuronalen Netz ermittelten Merkmale beziehungsweise Featurevektoren werden also transformiert und in einem gemeinsamen Raum in Vogelperspektive zugeordnet, wobei einzelne Zellen des Raumes vorgesehen sein können, welche eine Vielzahl an Features beziehungsweise Merkmalen und beispielsweise auch jeweils eine Höheninformation zu den Merkmalen umfassen können. Schließlich nutzt ein übergeordnetes angelerntes maschinelles Erkennungsverfahren als Erkennungskopf die multimodalen Merkmale aus diesem Merkmalsraum für eine Erkennung von Objekten und/oder zur Erstellung einer Karte, der Erkennungskopf kann beispielsweise eine Transformer-Architektur oder ähnliche Ansätze umfassen.The document Drews, F. et al. (2022) “DeepFusion: A Robust and Modular 3D Object Detector for Lidars, Cameras and Radars,” arXiv:2209.12729v2 [cs.CV] discloses a sensor fusion technology called DeepFusion, which comprises a modular, multimodal architecture of trained machine recognition methods or neural networks to utilize different sensor types in various combinations for 3D object recognition and map generation. Features or output values extracted from the neural networks are advantageously segmented and/or distance-based and assigned to a spatial map in a bird's-eye view, corresponding to a feature space. The features or feature vectors determined from the neural network are thus transformed and assigned to a common space in a bird's-eye view, where individual cells of the space can be defined, each containing a multitude of features and, for example, elevation information for each feature. Finally, a higher-level trained machine recognition method, acting as a recognition head, uses the multimodal features from this feature space for object recognition and/or map generation. The recognition head can, for example, comprise a transformer architecture or similar approaches.

Die Aufgabe der vorliegenden Erfindung ist es, die Kosten eines Fahrzeugs, welches Fahrassistenzsysteme mit höheren Automatisierungsgraden aufweist, zu reduzieren und/oder die Fahrassistenz zu verbessern, beispielsweise bezüglich eines automatischen Ein- oder Ausparkens.The object of the present invention is to reduce the costs of a vehicle which has driver assistance systems with higher levels of automation and/or to improve the driver assistance, for example with regard to automatic parking or unparking.

Offenbarung der ErfindungDisclosure of the invention

Die vorstehende Aufgabe wird erfindungsgemäß entsprechend der unabhängigen Ansprüche 1, 9 bis 12, 17 und 18 gelöst.The above problem is solved according to the invention in accordance with independent claims 1, 9 to 12, 17 and 18.

Die Erfindung betrifft ein computerimplementiertes fahrzeugseitiges Verfahren zur Fahrassistenz beziehungsweise zur Anzeige einer empfangenen Fahrtrajektorie und/oder zur Steuerung eines Fahrzeugs entlang der empfangenen Fahrtrajektorie. Zunächst kann in einem optionalen ersten Schritt des Verfahrens ein Anmeldeverfahren zwischen dem Fahrzeug und einer Servervorrichtung durchgeführt werden, vorteilhafterweise in einem Mobilfunk-Kommunikationsstandard, wobei die Durchführung des Anmeldeverfahrens insbesondere in Abhängigkeit eines Starts eines Antriebs des Fahrzeugs erfolgt. The invention relates to a computer-implemented, vehicle-side method for driver assistance or for displaying a received driving trajectory and/or for controlling a vehicle along the received driving trajectory. Initially, in an optional first step of the method, a registration process can be carried out between the vehicle and a server device, advantageously using a mobile communication standard, wherein the execution of the registration process is particularly dependent on the vehicle's drive system being started.

Das Anmeldeverfahren ist vorteilhafterweise dazu eingerichtet, dem Fahrzeug Rechenkapazitäten auf der Servervorrichtung zur Bestimmung einer Fahrttrajektorie für das Fahrzeug zur Verfügung zu stellen, so dass bei einer entsprechenden Anfrage des Fahrzeug beziehungsweise während der Fahrt des Fahrzeugs die Fahrttrajektorie schnell mittels der Servervorrichtung berechnet werden kann beziehungsweise eine geringe Latenzzeit bezüglich der Kommunikation zwischen dem Fahrzeug und der Servervorrichtung resultiert. Das Verfahren umfasst die Erfassung von Sensordaten der Umgebung des Fahrzeugs mittels wenigstens eines Fahrzeugsensors. Bevorzugt werden die Sensordaten von einem Fahrzeugsensorsystem erfasst, welches wenigstens zwei Fahrzeugsensoren, beispielsweise jeweils wenigstens einen Kamerasensor, Radarsensor, und/oder Ultraschallsensor umfasst. Besonders bevorzugt umfasst das Fahrzeugsensorsystem jeweils einen Radarsensoren an jeder Fahrzeugecke, das heißt in Summe vier Radarsensoren, eine Fahrzeugfrontkamera, welche die Umgebung vor dem Fahrzeug erfasst, und eine in Richtung der Längsachse des Fahrzeugs nach hinten gerichtete Rückwärtskamera sowie jeweils mindestens zwei Ultraschallsensoren vorne und hinten oder alternativ jeweils mindestens einen Ultraschallsensorarray vorne und hinten. Die Sensordaten werden von den jeweiligen Sensoren vorteilhafterweise mittels wenigstens eines Bussystems des Fahrzeugs an ein Steuergerät des Fahrzeugs, insbesondere eine zentrale Rechenvorrichtung des Fahrzeugs, gesendet und vorzugsweise zumindest für eine vorgegebene Zeitspanne gespeichert. In einem weiteren Schritt des Verfahrens wird ein Ausgangsfunksignal ausgesendet, welches zumindest einen Teil der erfassten Sensordaten repräsentiert. Es kann vorgesehen sein, dass das Ausgangsfunksignal in Abhängigkeit einer basierend auf den erfassten Sensordaten erkannten Parklücke und/oder in Abhängigkeit einer basierend auf den erfassten Sensordaten erkannten Engstelle in Fahrtrichtung des Fahrzeugs und basierend auf Navigationsdaten des Fahrzeugs, insbesondere der Position des Fahrzeugs, gesendet wird. Mit anderen Worten wird das Ausgangsfunksignal vorteilhafterweise automatisch in Abhängigkeit einer erkannten Fahrsituation des Fahrzeugs gesendet, wobei die Fahrsituation insbesondere basierend auf den erfassten Sensordaten und/oder einer erfassten Eingabe des Nutzers und/oder erfassten Betriebsparametern des Fahrzeugs erkannt wird. Das Ausgangsfunksignal repräsentiert die erfassten Sensordaten beispielsweise als Rohdaten (digital oder analog), wobei eine Vorprozessierung beziehungsweise Aufbereitung der Rohdaten und/oder eine Komprimierung der Rohdaten durchgeführt werden kann. Das Ausgangsfunksignal kann die erfassten Sensordaten alternativ oder zusätzlich als Hüllkurven, als aus den erfassten Sensordaten ermittelten Abstandsdaten und/oder weiteren Betriebsdaten repräsentieren. Das Ausgangsfunksignal entspricht insbesondere zumindest dem 5G- oder 6G-Mobilfunkstandard und wird vorteilhafterweise zu den entsprechenden Mobilfunkmasten der 5G- oder 6G-Infrastruktur gesendet. Vorzugsweise repräsentiert das Ausgangsfunksignal lediglich die Sensordaten, welche optional vorprozessiert sind, sowie insbesondere den basierend auf den Sensordaten ermittelten Featurevektor. Das Ausgangsfunksignal repräsentiert aber vorteilhafterweise noch keine erkannten Objekte und/oder Segmentierungen, wie eine Parklücke. Anschließend wird ein Ergebnisfunksignal empfangen, welches insbesondere ebenfalls zumindest dem 5G- oder 6G-Mobilfunkstandard entspricht. Zwischen der Aussendung des Ausgangsfunksignal und dem Empfang des Ergebnisfunksignals resultiert eine Zeitspanne beziehungsweise Latenzzeit von kleiner oder gleich 3 Sekunden, kleiner oder gleich 2 Sekunden, kleiner oder gleich 1 Sekunde oder besonders bevorzugt kleiner oder gleich 500 Millisekunden. Das Ergebnisfunksignal repräsentiert zumindest eine für die Fahrt des Fahrzeugs in Abhängigkeit des Ausgangsfunksignals ermittelte Fahrtrajektorie. Die Fahrtrajektorie wird insbesondere zum Ein- oder Ausparken des Fahrzeugs und/oder zur Manöverassistenz des Fahrzeugs bei niedrigen Geschwindigkeiten ermittelt. IM Anschluss erfolgt in einem weiteren Schritt des Verfahrens eine Anzeige der wenigstens einen empfangenen Fahrtrajektorie. Dadurch wird der Fahrer beim Fahren des Fahrzeugs unterstützt, insbesondere beim Einparken, beispielsweise kann er vorteilhafterweise der angezeigten Fahrttrajektorie folgen. Alternativ oder zusätzlich erfolgt eine Ansteuerung wenigstens eines Lenkmotors des Fahrzeugs und/oder wenigstens eines Antriebs des Fahrzeugs zur teilautomatischen oder autonomen Fahrt des Fahrzeugs entlang der empfangenen Fahrtrajektorie. Dadurch wird die Fahrt des Fahrzeugs für den Nutzer sehr komfortabel, insbesondere bezüglich des Ein- oder Ausparkens des Fahrzeugs. Vorteilhafterweise werden jedenfalls durch das Verfahren Rechenressourcen in einem Steuergerät des Fahrzeugs beziehungsweise in der zentralen Rechenvorrichtung des Fahrzeugs eingespart, wodurch Hardwarekosten zur Bereitstellung von automatischen Fahrassistenzfunktionen reduziert werden. Außerdem erlaubt das Verfahren die laufende Verbesserung der Trajektorienermittlung, die automatische Anpassung der Trajektorie an weitere Verkehrsteilnehmer und/oder die automatische Anpassung der Trajektorie an andere Serverdaten, wie Kartendaten und/oder veröffentlichte freie Parklücken, sowie die zunehmende Bereitstellung von zusätzlichen Fahrassistenzfunktionen bei gleichem Steuergerät beziehungsweise zentraler Rechenvorrichtung des Fahrzeugs beziehungsweise gleicher Hardware im Fahrzeug. Dadurch werden somit auch neue Geschäftsmodelle langfristig verbessert erschlossen.The registration process is advantageously configured to provide the vehicle with computing resources on the server device for determining a driving trajectory, so that, upon a corresponding request from the vehicle or during the vehicle's journey, the driving trajectory can be calculated quickly by the server device, resulting in low latency in the communication between the vehicle and the server device. The process includes the acquisition of sensor data from the vehicle's surroundings using at least one vehicle sensor. Preferably, the sensor data is acquired by a vehicle sensor system comprising at least two vehicle sensors, for example, at least one camera sensor, radar sensor, and/or ultrasonic sensor each. Particularly preferably, the vehicle sensor system comprises one radar sensor at each corner of the vehicle, i.e., a total of four radar sensors, a front-facing camera that captures the area in front of the vehicle, and a rear-facing camera directed along the longitudinal axis of the vehicle, as well as at least two ultrasonic sensors at the front and rear, or alternatively, at least one ultrasonic sensor array at the front and rear. The sensor data are advantageously transmitted from the respective sensors to a vehicle control unit, in particular a central computing device of the vehicle, via at least one vehicle bus system and preferably stored for at least a predetermined period of time. In a further step of the method, an output radio signal is transmitted, which contains at least a part of the The output radio signal represents the acquired sensor data. It can be provided that the output radio signal is sent depending on a parking space detected based on the acquired sensor data and/or a narrow passage detected based on the acquired sensor data in the vehicle's direction of travel, and based on the vehicle's navigation data, in particular the vehicle's position. In other words, the output radio signal is advantageously sent automatically depending on a detected driving situation of the vehicle, whereby the driving situation is detected in particular based on the acquired sensor data and/or a detected user input and/or detected operating parameters of the vehicle. The output radio signal represents the acquired sensor data, for example, as raw data (digital or analog), whereby preprocessing or preparation of the raw data and/or compression of the raw data can be carried out. Alternatively or additionally, the output radio signal can represent the acquired sensor data as envelopes, as distance data determined from the acquired sensor data, and/or other operating data. The output radio signal preferably conforms to at least the 5G or 6G mobile communication standard and is advantageously transmitted to the corresponding mobile communication masts of the 5G or 6G infrastructure. Preferably, the output radio signal represents only the sensor data, which is optionally preprocessed, and in particular the feature vector determined based on the sensor data. Advantageously, the output radio signal does not yet represent any detected objects and/or segmentations, such as a parking space. Subsequently, a result radio signal is received, which preferably also conforms to at least the 5G or 6G mobile communication standard. The time interval or latency between the transmission of the output radio signal and the reception of the result radio signal is less than or equal to 3 seconds, less than or equal to 2 seconds, less than or equal to 1 second, or, most preferably, less than or equal to 500 milliseconds. The result radio signal represents at least one driving trajectory determined for the vehicle's journey as a function of the output radio signal. The vehicle trajectory is determined, in particular, for parking maneuvers and/or for providing maneuvering assistance at low speeds. In a subsequent step of the process, the at least one received trajectory is displayed. This assists the driver while driving the vehicle, especially when parking; for example, the driver can advantageously follow the displayed trajectory. Alternatively or additionally, at least one steering motor and/or at least one drive unit can be controlled to enable semi-automatic or autonomous driving along the received trajectory. This makes driving the vehicle very comfortable for the user, especially when parking. Advantageously, the process saves computing resources in the vehicle's control unit or central processing unit, thereby reducing hardware costs for providing automatic driver assistance functions. Furthermore, the process allows for the continuous improvement of trajectory determination, the automatic adaptation of the trajectory to other road users and/or the automatic adaptation of the trajectory to other server data, such as map data and/or published available parking spaces, as well as the increasing provision of additional driver assistance functions with the same control unit or central computing device of the vehicle or the same hardware in the vehicle. This also opens up new business models in the long term.

In einer besonders bevorzugten Ausgestaltung der Erfindung wird wenigstens ein Featurevektor beziehungsweise Merkmalsvektor in Abhängigkeit wenigstens eines Teils der erfassten Sensordaten durch eine Recheneinheit des Fahrzeugs bestimmt. Es kann optional vorgesehen sein, dass die Komponenten beziehungsweise Merkmale des Featurevektors segmentiert und/oder abstandsbasiert einem zwei- oder dreidimensionalen Raum zugeordnet werden. Der Featurevektor kann also als zwei- oder dreidimensionalen Raum repräsentiert sein, in welchem die Komponenten abstandsbasiert zugeordnet sind. Der Featurevektor wird insbesondere mittels eines angelernten maschinellen Erkennungsverfahrens bestimmt, vorzugsweise durch jeweils wenigstens ein neuronales Netz pro Sensortyp. Vorteilhafterweise wird jeweils wenigstens ein Featurevektor pro Sensortyp bestimmt, vorzugsweise durch jeweils wenigstens ein neuronales Netz pro Sensortyp. Das neuronale Netz zur Bestimmung eines Featurevektors umfasst dabei insbesondere eine pyramidale Architektur (feature pyramid network, FPN). Jeder bestimmte Featurevektor ist vorteilhafterweise mehrdimensional, insbesondere nicht-menschlich interpretierbar, und repräsentiert ein Verständnis des angelernten maschinellen Erkennungsverfahrens der erfassten Sensordaten, welches dem angelernten maschinellen Erkennungsverfahren vorteilhafterweise durch Training mit gelabelten und/oder ungelabelten Trainingsdaten antrainiert wurde, vorteilhafterweise durch ein gemeinsames Training mit Sensordaten mehrerer Sensortypen und/oder durch ein gemeinsames Training über die nächsthöhere menschlich interpretierbare Schicht, umfassend ein zweites angelerntes maschinelles Erkennungsverfahren als Erkennungskopf zur Erkennung von statischen und/oder beweglichen Objekten und/oder der Erstellung einer Karte der Umgebung. Die Trainingsdaten umfassen vorteilhafterweise in der Vergangenheit erfasste Sensordaten einer Vielzahl von Fahrten unterschiedlicher Fahrzeuge, insbesondere allerdings des gleichen Fahrzeugtyps. Das ausgesendete Ausgangsfunksignal umfasst zumindest den bestimmten Featurevektor als Repräsentation der erfassten Sensordaten, insbesondere einen Featurevektor pro Sensortyp. Durch diese Ausgestaltung werden die Sensordaten komprimiert beziehungsweise die Datenmenge des Ausgangsfunksignals reduziert, wodurch die Dauer der Aussendung des Ausgangsfunksignals reduziert wird, was wiederum vorteilhafterweise eine den sicherheitskritischen Anforderungen entsprechende schnelle Trajektorienermittlung ermöglicht, beispielsweise zum Spurwechsel und/oder Abbiegen auf einer Fahrt bei höheren Geschwindigkeiten. Gegenüber der obigen Grundausführung wird vorteilhafterweise die Reaktionszeit des Fahrzeugs erhöht, da die Fahrttrajektorie schneller empfangen wird.In a particularly preferred embodiment of the invention, at least one feature vector is determined by a vehicle processing unit based on at least a portion of the acquired sensor data. Optionally, the components or features of the feature vector can be segmented and/or assigned to a two- or three-dimensional space based on distance. The feature vector can thus be represented as a two- or three-dimensional space in which the components are assigned based on distance. The feature vector is determined, in particular, by means of a trained machine recognition method, preferably by at least one neural network per sensor type. Advantageously, at least one feature vector is determined for each sensor type, preferably by at least one neural network per sensor type. The neural network for determining a feature vector particularly comprises a pyramidal architecture (feature pyramid network, FPN). Each specific feature vector is advantageously multidimensional, particularly non-human interpretable, and represents an understanding of the learned machine recognition method of the acquired sensor data, which was advantageously trained on the learned machine recognition method by training with labeled and/or unlabeled training data, advantageously by joint training with sensor data from multiple sensor types and/or by joint training across the next higher human-interpretable layer, comprising a second learned A machine recognition method serves as a recognition head for detecting static and/or moving objects and/or creating a map of the environment. The training data advantageously comprises previously acquired sensor data from numerous journeys of different vehicles, particularly of the same vehicle type. The transmitted output radio signal includes at least the specified feature vector as a representation of the acquired sensor data, in particular one feature vector per sensor type. This configuration compresses the sensor data and reduces the amount of data in the output radio signal, thereby reducing the transmission time. This, in turn, advantageously enables rapid trajectory determination that meets safety-critical requirements, for example, for lane changes and/or turns during travel at higher speeds. Compared to the basic design described above, the vehicle's reaction time is advantageously increased because the driving trajectory is received more quickly.

In einer vorteilhaften alternativen Ausgestaltung der Erfindung erfolgt eine Ermittlung von statischen und/oder dynamischen Objekten und/oder einer aktuellen Karte der Umgebung basierend auf dem wenigstens einen bestimmten Featurevektor mittels einer zweiten Recheneinheit des Fahrzeugs, insbesondere durch ein zweites angelerntes maschinelles Erkennungsverfahrens, vorzugsweise durch ein zweites neuronales Netz, welches beispielsweise Transformerarchitekturen oder damit verwandte Netzarchitekturen umfassen kann. Das ausgesendete Ausgangsfunksignal repräsentiert in dieser Ausgestaltung zumindest die statischen und/oder dynamischen Objekten und/oder die ermittelte Karte der Umgebung als Repräsentation der erfassten Sensordaten. Mit anderen Worten repräsentiert das ausgesendete Ausgangsfunksignal in dieser alternativen Ausgestaltung nicht unbedingt den Featurevektor. In dieser Ausgestaltung werden die notwendigen Rechenressourcen im Fahrzeug erhöht, aber die Sensordaten stärker komprimiert als in der vorherigen Ausführung beziehungsweise die Datenmenge des Ausgangsfunksignals stark reduziert, wodurch die Dauer der Aussendung des Ausgangsfunksignals weiter reduziert werden kann. Dadurch erhöht sich die Reaktionszeit des Fahrzeugs, da die Fahrttrajektorie sehr schnell empfangen wird.In an advantageous alternative embodiment of the invention, static and/or dynamic objects and/or a current map of the environment are determined based on at least one specific feature vector by means of a second computing unit in the vehicle, in particular by a second trained machine recognition method, preferably by a second neural network, which may, for example, comprise transformer architectures or related network architectures. In this embodiment, the transmitted output radio signal represents at least the static and/or dynamic objects and/or the determined map of the environment as a representation of the acquired sensor data. In other words, in this alternative embodiment, the transmitted output radio signal does not necessarily represent the feature vector. In this embodiment, the necessary computing resources in the vehicle are increased, but the sensor data is compressed more strongly than in the previous embodiment, or the data volume of the output radio signal is significantly reduced, which further reduces the transmission time of the output radio signal. This increases the vehicle's reaction time, as the driving trajectory is received very quickly.

In einer vorteilhaften Ausführung der Erfindung umfasst das fahrzeugseitige Verfahren nach der Aussendung des Ausgangsfunksignals eine Reduktion der Geschwindigkeit des Fahrzeugs bis zum Empfang des Ergebnisfunksignals. Die Reduktion der Geschwindigkeit erfolgt insbesondere basierend auf einem vorgegebenen Geschwindigkeitswert. Die Reduktion der Geschwindigkeit erfolgt alternativ basierend auf einer der aktuellen Fahrsituation zugeordneten erwarteten Berechnungszeit, wobei die aktuelle Fahrsituation in Abhängigkeiten der erfassten Sensordaten erkannt wird. Alternativ oder zusätzlich erfolgt die Reduktion der Geschwindigkeit in Abhängigkeit der aktuellen Serverauslastung, welche vorteilhafterweise von der Servervorrichtung per Funksignal in regelmäßigen Abständen empfangen wird. Für Berechnungen einer Einparktrajektorie kann daher beispielsweise die Geschwindigkeit relativ stärker reduziert werden als für die Berechnung einer Trajektorie zur Durchfahrt einer Engstelle in Fahrtrichtung. Durch diese Ausführung wird vorteilhafterweise erreicht, dass der Startpunkt der Trajektorie beim Empfang des Ergebnisfunksignals nicht frühzeitig erreicht oder passiert wird und das Fahrzeug nicht zum Warten auf den Empfang des Ergebnisfunksignals in den Stillstand gebracht werden muss.In an advantageous embodiment of the invention, the vehicle-side method, after the transmission of the output radio signal, comprises a reduction of the vehicle's speed until the receipt of the result radio signal. The speed reduction is based, in particular, on a predetermined speed value. Alternatively, the speed reduction is based on an expected calculation time associated with the current driving situation, wherein the current driving situation is recognized as a function of the acquired sensor data. Alternatively or additionally, the speed reduction depends on the current server load, which is advantageously received by the server device via radio signal at regular intervals. For example, the speed can be reduced more significantly for calculating a parking trajectory than for calculating a trajectory for navigating a narrow passage in the direction of travel. This embodiment advantageously ensures that the starting point of the trajectory is not reached or passed prematurely upon receipt of the result radio signal, and the vehicle does not have to be brought to a standstill while waiting for the signal to be received.

In einer bevorzugten Weiterführung des fahrzeugseitigen Verfahrens ist es vorgesehen, eine Notbremssituation in Abhängigkeit der erfassten Sensordaten durch einen Notbremsalgorithmus zu bestimmten, wobei die Bestimmung der Notbremssituation mittels einer Recheneinrichtung des Fahrzeugs durchgeführt wird. Anschließend erfolgt eine Ansteuerung wenigstens einer Bremseinrichtung des Fahrzeugs in Abhängigkeit der bestimmten Notbremssituation. Mit anderen Worten wird ein fahrzeugbasierter Notbremsassistent aktiviert, welcher unabhängig von der Kommunikation mit der Servervorrichtung ist, so dass auch bei einer hohen Latenzzeit bzw. Wartezeit auf das Ergebnissignal Kollisionen zuverlässig verhindert werden können. Optional wird anschließend eine automatische Rückführung des Fahrzeugs entlang der bereits abgefahrenen Fahrttrajektorie in umgekehrter Richtung in Abhängigkeit der bestimmten Notbremssituation durch Ansteuerung des Lenkmotors und/oder des Antriebs durchgeführt. Durch diese Weiterführung wird die Sicherheit des Fahrzeugs erhöht. Mit anderen Worten verbleibt die Durchführung des Notbremsassistenten vollständig im Fahrzeug, nur die Trajektorien für nicht kollisionsrelevante Fahrassistenzfunktionen werden serverbasiert durchgeführt. Vorteilhafterweise wird der Notbremsassistent dabei vor der Durchführung anderer Fahrassistenzfunktionen priorisiert, das heißt, dass der Notbremsassistent beispielsweise während des Einparkvorgangs oder während eines Spurwechsels mit jeweils einer empfangenen Trajektorie eingreifen kann, falls basierend auf den erfassten Sensordaten eine Notbremssituation bestimmt ist.In a preferred extension of the vehicle-based procedure, an emergency braking situation is determined by an emergency braking algorithm based on the acquired sensor data. This determination is performed by a computer within the vehicle. Subsequently, at least one of the vehicle's braking systems is activated based on the determined emergency braking situation. In other words, a vehicle-based emergency braking assistant is activated, which operates independently of communication with the server device, thus ensuring reliable collision prevention even with high latency or waiting times for the result signal. Optionally, the vehicle is then automatically guided back along its previously traveled trajectory in the opposite direction, based on the determined emergency braking situation, by controlling the steering motor and/or the drive system. This extension enhances vehicle safety. In other words, the execution of the emergency braking assistant remains entirely within the vehicle; only the trajectories for non-collision-related driver assistance functions are handled by a server. Advantageously, the emergency braking assistant is prioritized over other driver assistance functions, meaning that the emergency braking assistant can intervene, for example, during the parking process or during a lane change with a received trajectory, if an emergency braking situation is determined based on the recorded sensor data.

In einer anderen Weiterführung wird eine aktuelle Geschwindigkeit des Fahrzeugs erfasst. Alternativ oder zusätzlich wird eine erste Eingabe des Fahrers zur Durchführung einer gewünschten autonomen Fahrfunktion des Fahrzeugs mittels einer Eingabevorrichtung des Fahrzeugs erfasst. Alternativ oder zusätzlich wird eine Position des Fahrzeugs mittels eines Positionssensors erfasst. Die Erfassung der Sensordaten, die Aussendung des Ausgangsfunksignals, die Anzeige der Fahrtrajektorie und/oder die Ansteuerung des Lenkmotors und/oder die Ansteuerung des Antriebs wird in dieser Weiterführung jeweils zusätzlich basierend auf der erfassten Geschwindigkeit, insbesondere wenn der Betrag der erfassten Geschwindigkeit kleiner oder gleich einem Geschwindigkeitsschwellenwert ist, basierend auf der ersten Eingabe des Fahrers zur Durchführung einer gewünschten autonomen Fahrfunktion und/oder in Abhängigkeit der erfassten Position des Fahrzeugs durchgeführt, insbesondere wenn die Position innerhalb eines vorgegebenen Umgebungsbereiches liegt. Dadurch resultiert der Vorteil, dass beispielsweise die Rechenressourcen des Servers reduziert werden, da das Verfahren nur vollständig durchgeführt wird, wenn dies potenziell benötigt ist. Alternativ resultiert der Vorteil, dass der Nutzer nur unterstützt wird, wenn dies potenziell benötigt ist. Somit wird die Ablenkung des Nutzers reduziert beziehungsweise der Komfort des Nutzers erhöht.In another approach, the vehicle's current speed is recorded. Alternatively or additionally, an initial input from the driver is used to initiate a desired autonomous driving function of the vehicle. The vehicle's position is detected via an input device. Alternatively or additionally, the vehicle's position is detected using a position sensor. In this further development, the acquisition of sensor data, the transmission of the output radio signal, the display of the driving trajectory, and/or the control of the steering motor and/or the drive system are each additionally performed based on the detected speed, particularly if the detected speed is less than or equal to a speed threshold, based on the driver's initial input to execute a desired autonomous driving function, and/or depending on the detected vehicle position, particularly if the position lies within a predefined area. This results in the advantage that, for example, the server's computing resources are reduced, as the process is only fully executed when potentially required. Alternatively, the advantage is that the user is only supported when potentially needed. Thus, user distraction is reduced, and/or user comfort is increased.

In einer weiteren Ausgestaltung wird eine zweite Eingabe des Fahrers zur Bestätigung der Durchführung der gewünschten autonomen Fahrfunktion des Fahrzeugs mittels der ersten Eingabevorrichtung und/oder einer zweiten Eingabevorrichtung des Fahrzeugs durchgeführt. Die Ansteuerung des Lenkmotors und/oder des Antriebs erfolgt in dieser Ausgestaltung zusätzlich in Abhängigkeit der erfassten zweiten Eingabe. Die erste Eingabevorrichtung kann beispielsweise als Touchscreen einer Anzeigevorrichtung oder durch eine Taste, insbesondere am Lenkrad, ausgestaltet sein. Die zweite Eingabevorrichtung kann beispielsweise als Blinkerhebel oder durch eine andere Taste, insbesondere am Lenkrad, ausgestaltet sein. Dadurch kann der Fahrerwunsch stärker berücksichtigt werden. Beispielsweise wird nach der Anzeige der empfangenen Trajektorie die zweite Eingabe erfasst, was einer Bestätigung beziehungsweise Aktivierung der Ansteuerung des Lenkmotors des Fahrzeugs und/oder des Antriebs des Fahrzeugs zur Fahrt des Fahrzeugs entlang der empfangenen Fahrtrajektorie repräsentiert. In dieser Ausführung wird folglich eine ungewünschte Steuerung des Fahrzeugs oder eine Steuerung des Fahrzeugs entlang einer empfangenen, aber ungewünschten Trajektorie vermieden.In a further embodiment, a second input from the driver is made to confirm the execution of the desired autonomous driving function of the vehicle using the first input device and/or a second input device on the vehicle. In this embodiment, the control of the steering motor and/or the drive system is additionally dependent on the detected second input. The first input device can be, for example, a touchscreen on a display device or a button, particularly on the steering wheel. The second input device can be, for example, a turn signal lever or another button, particularly on the steering wheel. This allows the driver's wishes to be taken into account more effectively. For example, after the received trajectory is displayed, the second input is detected, which represents confirmation or activation of the control of the vehicle's steering motor and/or drive system to drive the vehicle along the received trajectory. Consequently, this embodiment avoids unwanted steering of the vehicle or steering the vehicle along a received but unwanted trajectory.

Vorzugsweise wird die Position des Fahrzeugs mittels eines Positionssensors erfasst, beispielsweise eines Sensors zu einem sattelitengestützten Navigationssystem (GPS, Galileo etc.). Das ausgesendete Ausgangsfunksignal repräsentiert in dieser Ausführung zusätzlich die Position des Fahrzeugs. Die Trajektorie wird in dieser Ausführung von der Servervorrichtung vorteilhafterweise zusätzlich basierend auf der Position des Fahrzeugs und beispielsweise Kartendaten und/oder des Verkehrsaufkommens in der Umgebung dieser Position bestimmt, wodurch die Trajektorie besser an die aktuelle Fahrsituation angepasst und/oder automatisch basierend auf der Fahrzeugposition validiert werden kann, wodurch die Zufriedenheit beziehungsweise das Akzeptanzniveau mit der empfangenen Trajektorie steigt.Preferably, the vehicle's position is detected by means of a position sensor, for example, a sensor for a satellite-based navigation system (GPS, Galileo, etc.). In this embodiment, the transmitted output radio signal also represents the vehicle's position. Advantageously, the trajectory is further determined by the server device based on the vehicle's position and, for example, map data and/or the traffic volume in the vicinity of that position. This allows the trajectory to be better adapted to the current driving situation and/or automatically validated based on the vehicle's position, thereby increasing satisfaction with and acceptance of the received trajectory.

Die Erfindung betrifft auch ein Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, die Schritte des computerimplementierten fahrzeugseitigen Verfahrens durchzuführen.The invention also relates to a computer program comprising commands which, when the program is executed by a computer, cause it to carry out the steps of the computer-implemented vehicle-side method.

Die Erfindung betrifft außerdem das Steuergerät beziehungsweise die zentrale Rechenvorrichtung für ein Fahrzeug, umfassend mindestens einen ersten Signaleingang zur Bereitstellung eines ersten Signals, welches mittels wenigstens eines Fahrzeugsensors erfasste Sensordaten repräsentiert. Vorteilhafterweise weist das Steuergerät beziehungsweise die zentrale Rechenvorrichtung mehrere erste Signaleingänge für ein Bussystem des jeweiligen Sensortyps eines Sensorsystems des Fahrzeugs auf. Das Steuergerät umfasst des Weiteren eine Sendeeinheit zur Aussendung eines Ausgangsfunksignals an eine Servervorrichtung, wobei das Ausgangsfunksignals zumindest einen Teil der am ersten Signaleingang bereitgestellten Sensordaten repräsentiert, insbesondere entspricht das Ausgangsfunksignal zumindest dem 5G- oder 6G-Standard. Das Steuergerät umfasst auch eine Empfangseinheit zum Empfang eines Ergebnisfunksignals, welches zumindest eine für die Fahrt des Fahrzeugs mittels der Servervorrichtung berechnete Fahrtrajektorie repräsentiert, insbesondere zum Ein- oder Ausparken und/oder zur Manöverassistenz bei niedrigen Geschwindigkeiten des Fahrzeugs. Das Ergebnisfunksignals entspricht insbesondere zumindest dem 5G- oder 6G-Standard. Das Steuergerät weist ferner wenigstens einen Signalausgang zur Ausgabe eines Steuersignals basierend auf dem empfangenen Ergebnisfunksignal auf, wobei das Steuersignal dazu eingerichtet ist, einen Lenkmotor des Fahrzeugs und/oder wenigstens einen Antrieb des Fahrzeugs zur Fahrt des Fahrzeugs entlang der empfangenen Fahrtrajektorie anzusteuern. Darüber hinaus umfasst das Steuergerät beziehungsweise die zentrale Rechenvorrichtung eine Recheneinheit, insbesondere ein Prozessor, die so konfiguriert ist, dass sie die Schritte des fahrzeugseitigen Verfahrens ausführt.The invention further relates to the control unit or central computing device for a vehicle, comprising at least one first signal input for providing a first signal representing sensor data acquired by means of at least one vehicle sensor. Advantageously, the control unit or central computing device has several first signal inputs for a bus system of the respective sensor type of a sensor system of the vehicle. The control unit further comprises a transmitter for sending an output radio signal to a server device, wherein the output radio signal represents at least a part of the sensor data provided at the first signal input; in particular, the output radio signal conforms to at least the 5G or 6G standard. The control unit also comprises a receiver for receiving a result radio signal, which represents at least one driving trajectory calculated for the vehicle's journey by means of the server device, in particular for parking maneuvers and/or for maneuvering assistance at low vehicle speeds. The result radio signal conforms to at least the 5G or 6G standard. The control unit further comprises at least one signal output for outputting a control signal based on the received result radio signal, wherein the control signal is configured to actuate a steering motor of the vehicle and/or at least one drive of the vehicle to propel the vehicle along the received trajectory. In addition, the control unit or the central computing device includes a computing unit, in particular a processor, configured to execute the steps of the vehicle-side procedure.

Die Erfindung betrifft ferner ein Fahrzeug, umfassend das erfindungsgemäße Steuergerät.The invention further relates to a vehicle comprising the control unit according to the invention.

Die Erfindung betrifft auch ein computerimplementiertes serverseitiges Verfahren zur Bestimmung der Fahrttrajektorie eines Fahrzeugs mittels einer Servervorrichtung. Das serverseitige Verfahren umfasst den Empfang des Ausgangsfunksignals mittels einer Empfangseinheit der Servervorrichtung. Anschließend erfolgt eine Berechnung zumindest einer Fahrtrajektorie für das Fahrzeug basierend auf dem empfangenen Ausgangsfunksignal mittels der Servervorrichtung, insbesondere mittels wenigstens einer Recheneinheit der Servervorrichtung. Anschließend wird ein Ergebnisfunksignals mittels einer Sendeeinheit der Servervorrichtung an das Fahrzeug ausgesendet, welches zumindest eine für die Fahrt des Fahrzeugs berechnete Fahrtrajektorie repräsentiert.The invention also relates to a computer-implemented, server-side method for determining Determination of a vehicle's trajectory using a server device. The server-side method comprises receiving the output radio signal via a receiver unit of the server device. Subsequently, at least one trajectory for the vehicle is calculated based on the received output radio signal using the server device, in particular using at least one processing unit of the server device. A resulting radio signal, representing at least one calculated trajectory for the vehicle's journey, is then transmitted to the vehicle via a transmitter unit of the server device.

Vorzugsweise umfasst das serverseitige Verfahren in einer Ausführung eine Bestimmung wenigstens eines statischen und/oder dynamischen Objektes in der Umgebung des Fahrzeugs, die Bestimmung einer Bewegung des dynamischen Objektes und/oder die Bestimmung einer Karte der Umgebung des Fahrzeugs jeweils basierend auf dem empfangenen Ausgangsfunksignal. Anschließend wird die Berechnung der Fahrtrajektorie für das Fahrzeug zusätzlich basierend auf dem wenigstens einen bestimmten statischen und/oder dynamischen Objekt, der bestimmten Bewegung des dynamischen Objektes und/oder basierend auf der bestimmten Karte durchgeführt. Optional kann in dieser Ausführung das ausgesendete Ergebnisfunksignals zusätzlich das bestimmte statische und/oder dynamische Objekt in der Umgebung des Fahrzeugs und/oder die bestimmte Karte der Umgebung des Fahrzeugs repräsentieren.Preferably, in one embodiment, the server-side method comprises determining at least one static and/or dynamic object in the vicinity of the vehicle, determining the movement of the dynamic object, and/or determining a map of the vehicle's vicinity, each based on the received output radio signal. Subsequently, the calculation of the vehicle's trajectory is performed based on the at least one identified static and/or dynamic object, the identified movement of the dynamic object, and/or the identified map. Optionally, in this embodiment, the transmitted result radio signal can additionally represent the identified static and/or dynamic object in the vicinity of the vehicle and/or the identified map of the vehicle's vicinity.

In einer weiteren Ausgestaltung des serverseitigen Verfahrens werden wenigstens zwei Fahrtrajektorien für das Fahrzeug durch wenigstens einen Algorithmus und/oder ein neuronales Netz berechnet. In dieser Ausgestaltung repräsentiert das ausgesendete Ergebnisfunksignal die wenigstens zwei Fahrtrajektorien oder es erfolgt eine Auswahl einer der wenigstens zwei Fahrtrajektorien entsprechend einem Sicherheitskriterium. Das Sicherheitskriterium kann vorgegeben sein oder von dem Nutzer durch Eingabe erfasst werden. Beispielsweise wird als Sicherheitskriterium eine prognostizierte Kollisionszeit mit einem anderen statischen und/oder beweglichen Objekt ermittelt und diejenige Fahrttrajektorie ausgewählt, welche die maximale Kollisionszeit aufweist. Alternativ oder zusätzlich wird als Sicherheitskriterium eine maximaler Lenkwinkelausschlag gegenüber der Geradeausfahrt und/oder die Anzahl der benötigten Fahrtzüge zur Durchführung der Fahrtassistenz entlang jeder berechneten Fahrttrajektorie ermittelt, beispielsweise zum Einparken des Fahrzeugs in einer basierend auf den Sensordaten erkannten Parklücke. Anschließend wird diejenige Fahrttrajektorie ausgewählt, welche den minimalen Lenkwinkelausschlag und/oder die kleinste Anzahl an Fahrtzügen aufweist. Alternativ kann das Sicherheitskriterium für jede berechnete Fahrttrajektorie basierend auf einer Position des Fahrzeugs und/oder wenigstens einem bestimmten statischen und/oder dynamischen Objekt, der bestimmten Bewegung des dynamischen Objektes und/oder basierend auf der bestimmten Karte ermittelt werden. Als Sicherheitskriterium kann beispielsweise die Zeitdauer zur Fahrt entlang jeder Fahrttrajektorie bestimmt werden, wobei insbesondere Wartezeiten entsprechend des Verkehrs berücksichtigt werden. Anschließend wird diejenige Fahrtrajektorie ausgewählt, für welche die kürzeste Zeitdauer resultiert.In a further embodiment of the server-side method, at least two vehicle trajectories are calculated by at least one algorithm and/or a neural network. In this embodiment, the transmitted result radio signal represents the at least two trajectories, or one of the at least two trajectories is selected according to a safety criterion. The safety criterion can be predefined or entered by the user. For example, a predicted collision time with another static and/or moving object is determined as a safety criterion, and the trajectory with the maximum collision time is selected. Alternatively or additionally, a maximum steering angle deflection relative to straight-ahead driving and/or the number of maneuvers required to execute the driving assistance along each calculated trajectory is determined as a safety criterion, for example, to park the vehicle in a parking space detected based on sensor data. Subsequently, the trajectory with the minimum steering angle deflection and/or the fewest maneuvers is selected. Alternatively, the safety criterion for each calculated trajectory can be determined based on the vehicle's position and/or at least one specific static and/or dynamic object, the specific movement of the dynamic object, and/or based on the specific map. For example, the travel time along each trajectory can be determined as a safety criterion, taking into account waiting times due to traffic. The trajectory with the shortest travel time is then selected.

Die berechnete Fahrttrajektorie umfasst in einer Ausgestaltung des serverseitigen Verfahrens eine Kommando-Kette, wobei die Kommando-Kette eine Abfolge von Lenkwinkeln und Antriebsparametern aufweist. Dadurch werden die benötigten Rechenressourcen auf dem Steuergerät beziehungsweise der zentralen Rechenvorrichtung des Fahrzeugs reduziert.In one embodiment of the server-side method, the calculated driving trajectory comprises a command chain, which consists of a sequence of steering angles and drive parameters. This reduces the required computing resources on the control unit or the vehicle's central computing device.

Die Berechnung der Fahrttrajektorie im serverseitigen Verfahren kann zusätzlich basierend auf der Position des Fahrzeugs, aktuellen Betriebsdaten anderer Fahrzeuge, statischen Auswertungen des Verkehrs in der Umgebung des Fahrzeugs, Parkplatzbelegungskarten und/oder Kartendaten erfolgen.The calculation of the driving trajectory in the server-side process can additionally be based on the position of the vehicle, current operating data of other vehicles, static evaluations of the traffic in the vicinity of the vehicle, parking occupancy maps and/or map data.

Die Erfindung betrifft auch ein Servercomputerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch eine Servervorrichtung diese veranlassen, die Schritte des serverseitigen Verfahrens auszuführen.The invention also relates to a server computer program comprising commands which, when the program is executed by a server device, cause it to perform the steps of the server-side method.

Die vorliegende Erfindung betrifft des Weiteren noch die Servervorrichtung, umfassend
eine Serverempfangseinheit zum Empfang des Ausgangsfunksignals von einem Fahrzeug. Die Servervorrichtung weist außerdem eine Serversendeeinheit zur Aussendung eines Ergebnisfunksignals an das Fahrzeug auf. Außerdem weist die Servervorrichtung eine Serverrecheneinheit auf, die so konfiguriert ist, dass sie die Schritte des serverseitigen Verfahrens ausführt.The present invention further relates to the server device, comprising
A server receiving unit for receiving the output radio signal from a vehicle. The server device also includes a server transmitting unit for sending a result radio signal to the vehicle. Furthermore, the server device includes a server processing unit configured to execute the steps of the server-side procedure.

Weitere Vorteile ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen mit Bezug zu den Figuren.

1: Ablaufschema des fahrzeugseitigen Verfahrens als Blockdiagramm
2: Ablaufschema des serverseitigen Verfahrens als Blockdiagramm

Further advantages will become apparent from the following description of exemplary embodiments with reference to the figures.

1 Flowchart of the vehicle-side procedure as a block diagram
2 : Flowchart of the server-side procedure as a block diagram

AusführungsbeispieleExamples of implementation

In 1 ist ein Ablaufschema des computerimplementierten fahrzeugseitigen Verfahrens als Blockdiagramm dargestellt. Zunächst kann in einem optionalen Schritt 110 eine Durchführung eines Anmeldeverfahrens zwischen dem Fahrzeug und der Servervorrichtung zur Bereitstellung beziehungsweise Vorhaltung von Rechenkapazitäten der Servervorrichtung für die Berechnung von Fahrttrajektorien für das Fahrzeug vorgesehen sein, wodurch vorteilhafterweise eine spätere Berechnung der Fahrttrajektorien beschleunigt wird, das heißt nicht auf andere Berechnungen gewartet werden muss und ein späterer schneller Empfang von Ergebnisfunksignalen mit geringer Latenzzeit sichergestellt wird. Das Anmeldeverfahren kann in bekannten Mobilfunk-Kommunikationsstandards zwischen dem Fahrzeug und der Servereinrichtung und beispielsweise beim Start eines Antriebs des Fahrzeugs beziehungsweise bei Fahrtbeginn durchgeführt werden. Im weiteren optionalen Schritt 111 wird eine aktuelle Geschwindigkeit des Fahrzeugs erfasst. Zusätzlich oder alternativ kann ebenfalls optional eine erste Eingabe des Fahrers zur Durchführung einer gewünschten autonomen Fahrfunktion des Fahrzeugs mittels einer Eingabevorrichtung des Fahrzeugs erfasst werden. In einem weiteren optionalen Schritt 113 wird alternativ oder zusätzlich eine Position des Fahrzeugs mittels eines Positionssensors erfasst. Anschließend werden im erfindungsgemäßen Schritt 120 Sensordaten der Umgebung des Fahrzeugs mittels wenigstens eines Fahrzeugsensors erfasst. Als Sensordaten werden insbesondere Kamerabilder mittels wenigstens einer Fahrzeugkamera als Fahrzeugsensor, insbesondere mittels einer Frontkamera, wenigstens einer Weitwinkelkamera und/oder einer Rückfahrkamera erfasst. Alternativ oder zusätzlich werden Ultraschallsensordaten als Sensordaten mittels wenigstens eines Ultraschallsensors als Fahrzeugsensor erfasst, insbesondere mittels eines Ultraschallsensorarrays. Alternativ oder zusätzlich werden Radardaten als Sensordaten mittels wenigstens eines Radarsensors des Fahrzeugs als Fahrzeugsensor erfasst, insbesondere mittels wenigstens zwei Eckradarsensoren, welche durch variierende angepasste Frequenzmodulationen dazu eingerichtet sind, sowohl im Nah- als auch im mittleren Entfernungsbereich und/oder im Fernbereich Abstände von Objekten zum Fahrzeug zu erfassen. Die Erfassung 120 der Sensordaten kann zusätzlich in Abhängigkeit der erfassten Geschwindigkeit und/oder in Abhängigkeit des Sensortyps durchgeführt werden, insbesondere wenn der Betrag der erfassten Geschwindigkeit kleiner oder gleich einem Geschwindigkeitsschwellenwert ist. Beispielsweise erfolgt die Erfassung von Ultraschallsensordaten nicht bei einer Fahrzeuggeschwindigkeit oberhalb von 30 km/h. Die Erfassung 120 der Sensordaten kann alternativ oder zusätzlich außerdem basierend auf der erfassten ersten Eingabe erfolgen, beispielsweise, wenn eine Aktivierung der Einparkassistenz durch Betätigung eines Tasters oder einer anderen Eingabevorrichtung durch den Fahrer beziehungsweise Nutzer als erste Eingabe erfasst wird. Die Erfassung 120 der Sensordaten kann des Weiteren alternativ oder zusätzlich optional in Abhängigkeit der erfassten Position des Fahrzeugs erfolgen, insbesondere wenn die Position des Fahrzeugs innerhalb eines vorgegebenen Umgebungsbereiches liegt. Mit anderen Worten kann das Verfahren basierend auf der erfassten Geschwindigkeit des Fahrzeugs und/oder basierend auf der erfassten ersten Eingabe des Fahrers beziehungsweise Nutzers und/oder basierend auf der erfassten Position des Fahrzeugs, das heißt beispielsweise automatisch basierend auf vorgegebenen und/oder erfassten Umgebungs- und/oder Betriebsparametern und/oder der ersten Eingabe gestartet werden. Dadurch wird beispielsweise der Stromverbrauch zur Erfassung der Sensordaten und der Ressourcenaufwand und Stromverbrauch auf der Servervorrichtung reduziert, da das Verfahren für eine spezifische benötigte Fahrfunktion und somit nicht permanent durchgeführt wird, sondern eben nur, wenn die spezifische Fahrfunktion gewünscht oder mit ihr zu rechnen ist. Beispielsweise würde das Verfahren für ein Einpark- oder Ausparkmanöver als Fahrassistenz also nicht bei einer Fahrzeugposition auf einer Autobahn und/oder bei einer erfassten Fahrzeuggeschwindigkeit größer oder gleich 30 km/h und das Verfahren für einen Spurwechsel als Fahrassistenz nicht auf einer einspurigen Straße oder einem Parkplatz durchgeführt. Es kann in einem nicht dargestellten optionalen Schritt des Verfahrens außerdem vorgesehen sein, dass die erfassten Sensordaten noch in einem optionalen nicht dargestellten Schritt 120a vorverarbeitet werden, beispielsweise können mittels einer Weitwinkeloptik erfasste Kamerabilder durch die Vorverarbeitung entzerrt und/oder in ein Grauwertwild umgewandelt werden. In einem anderen Beispiel können erfasste Radar- oder Ultraschalldaten als Sensordaten durch die nicht dargestellte Vorverarbeitung 120a gefiltert und/oder geglättet und/oder gemittelt werden. In einer besonders bevorzugten Ausgestaltung der Erfindung wird im optionalen Schritt 121 wenigstens ein Featurevektor beziehungsweise Featuretensor beziehungsweise Merkmalsraum in Abhängigkeit wenigstens eines Teils der erfassten Sensordaten mittels einer Recheneinheit des Fahrzeugs bestimmt. Es kann beispielsweise vorgesehen sein, dass Randbereiche der Erfassungsbereiche in den jeweiligen Sensordaten bei der Bestimmung 121 des Featurevektors ignoriert werden. Die Bestimmung 121 des mindestens einen Featurevektors erfolgt insbesondere separat basierend auf den Sensordaten jedes Sensortyps, beispielsweise ein erster Featurevektor für die Kameradaten, ein zweiter Featurevektor für die Radardaten und/oder ein dritter Featurevektor für die Ultraschalldaten. Es können mehrere Featurevektoren für die Sensordaten jedes Sensortyp vorgesehen sein. Die Bestimmung eines Featurevektors erfolgt vorteilhafterweise durch ein angelerntes maschinelles Erkennungsverfahren, vorzugsweise durch ein neuronales Netz. Die Bestimmung des Featurevektors erfolgt vorteilhafterweise mittels einer ersten Recheneinheit. Das neuronale Netz wird vorteilhafterweise mit gelabelten und/oder ungelabelten Trainingsdaten und optional im Zusammenhang mit der Erkennung von Objekten und/oder dem Mapping trainiert, wobei beim Training mit ungelabelten Trainingsdaten (selfsupervised) beispielsweise eine Maskierung der Trainingsdaten und die Vorhersage der maskierten Bereiche der Ursprungsdaten erfolgen kann. Jeder bestimmte Featurevektor ist insbesondere mehrdimensional und repräsentiert vorteilhafterweise ein nicht-menschlich interpretierbares Verständnis der erfassten Sensordaten eines Sensortyps, wobei der Featurevektor keine Objekte und/oder eine Karte beziehungsweise ein Mapping der Umgebung des Fahrzeugs repräsentiert. Es kann aber vorgesehen sein, dass die Komponenten des Featurevektors abstandsbasiert einem zwei- oder dreidimensionalen Raum zugeordnet sein können. Der Featurevektor ist mit anderen Worten eine Zwischenstufe in der Sensordatenanalyse vor der und zum Zweck der späteren Erkennung von Objekten und/oder einer Kartenerstellung zu der aktuellen Umgebung des Fahrzeugs. Basierend auf dem wenigstens einen bestimmten Featurevektor können in einem weiteren Schritt 122 statische und/oder dynamische Objekte und/oder eine aktuelle Karte der Umgebung ermittelt werden. Der Schritt 122 erfolgt vorteilhafterweise mittels einer zweiten Recheneinheit des Fahrzeugs, insbesondere durch ein zweites angelerntes maschinelles Erkennungsverfahrens beziehungsweise dem Erkennungskopf, vorzugsweise eines zweites neuronales Netz. Anschließend wird erfindungsgemäß im Schritt 130 ein Ausgangsfunksignal ausgesendet, welches zumindest einen Teil der erfassten Sensordaten und/oder den mindestens einen Featurevektor als Repräsentation der erfassten Sensordaten beziehungsweise den Merkmalsraum und/oder optional das wenigstens eine ermittelte statische und/oder dynamische Objekt und/oder optional die ermittelte Karte der Umgebung als Repräsentation der erfassten Sensordaten und/oder die Position des Fahrzeugs repräsentiert. Das Ausgangsfunksignal wird vorteilhafterweise in dem 5G- oder 6G-Standard versendet. Das Ausgangsfunksignal wird vorteilhafterweise in Abhängigkeit einer erkannten Fahrsituation des Fahrzeugs gesendet, wobei die Fahrsituation insbesondere basierend auf den erfassten Sensordaten und/oder einer erfassten ersten Eingabe des Nutzers und/oder erfassten Betriebsparametern des Fahrzeugs, beispielsweise der erfassten Geschwindigkeit des Fahrzeugs und/oder der Position des Fahrzeugs, erkannt wird. Beispielsweise erfolgt die Aussendung 130 insbesondere wenn der Betrag der erfassten Geschwindigkeit kleiner oder gleich einem Geschwindigkeitsschwellenwert ist, basierend auf der ersten Eingabe des Fahrers zur Durchführung einer gewünschten autonomen Fahrfunktion und/oder in Abhängigkeit der erfassten Position des Fahrzeugs, insbesondere wenn die Position innerhalb eines vorgegebenen Umgebungsbereiches liegt. Im optionalen Schritt 140 wird eine selbsterrechnete Fahrttrajektorie zur zukünftigen Fahrt des Fahrzeugs in der mittels der Fahrzeugsensoren erfassten aktuellen Umgebung des Fahrzeugs mittels einer Recheneinheit des Fahrzeugs berechnet, wobei die Recheneinheit beziehungsweise die selbsterrechnete Fahrttrajektorie insbesondere für vorgegebene, vergleichsweise einfach zu steuernde Fahrsituationen beziehungsweise Fahrassistenzfunktionen verwendet wird, beispielsweise zum Spurhalten. Im optionalen Schritt 145 wird die Geschwindigkeit des Fahrzeugs bis zum Empfang des Ergebnisfunksignals, reduziert, insbesondere in Abhängigkeit der aktuellen Serverauslastung, welche von der Servervorrichtung per Funksignal in regelmäßigen Abständen empfangen wird, und/oder basierend auf einer der aktuellen Fahrsituation zugeordneten erwarteten Berechnungszeit, wobei die aktuelle Fahrsituation in Abhängigkeiten der erfassten Sensordaten und/oder des bestimmten Featurevektors und/oder der ermittelten Objekte und/oder der ermittelten Karte und/oder der aktuellen Fahrzeugposition erkannt wird. Anschließend wird im Schritt 150 ein Ergebnisfunksignal empfangen, welches zumindest eine für die Fahrt des Fahrzeugs in Abhängigkeit des Ausgangsfunksignals ermittelte Fahrtrajektorie repräsentiert, insbesondere zum Ein- oder Ausparken des Fahrzeugs und/oder zur Manöverassistenz des Fahrzeugs bei niedrigen Geschwindigkeiten. In einem optionalen nicht dargestellten Schritt 155 wird die selbsterrechnete Fahrttrajektorie durch die von der Servereinrichtung empfangene Fahrttrajektorie validiert und/oder ersetzt, wobei insbesondere bei einer Abweichung zwischen der selbsterrechnete Fahrttrajektorie und der von der Servereinrichtung empfangenen Fahrttrajektorie die selbsterrechnete Fahrttrajektorie durch die von der Servereinrichtung empfangenen Fahrttrajektorie ersetzt beziehungsweise die empfangenen Fahrttrajektorie priorisiert wird. Der optional Ersatz 155 der selbsterrechneten Fahrttrajektorie kann auch basierend auf der erfassten ersten Eingabe und/oder basierend auf der erfassten Geschwindigkeit des Fahrzeugs und/oder basierend auf der erfassten Position des Fahrzeugs erfolgen. Im Schritt 160 wird die wenigstens eine empfangene Fahrtrajektorie angezeigt. In einem optionalen Schritt 170 wird eine zweite Eingabe des Fahrers zur Bestätigung der Durchführung der gewünschten autonomen Fahrfunktion des Fahrzeugs mittels der ersten Eingabevorrichtung und/oder einer zweiten Eingabevorrichtung des Fahrzeugs erfasst. Anschließend erfolgt zusätzlich oder alternativ zur Anzeige 160 der empfangenen Fahrttrajektorie die Ansteuerung 180 wenigstens eines Lenkmotors des Fahrzeugs und/oder wenigstens eines Antriebs des Fahrzeugs zur Fahrt des Fahrzeugs entlang der empfangenen Fahrtrajektorie. Die Ansteuerung des Lenkmotors und/oder des Antriebs erfolgt optional in Abhängigkeit der erfassten zweiten Eingabe, insbesondere nur dann, wenn die zweite Eingabe eine Bestätigung zur Fahrt entlang der angezeigten empfangenen Fahrttrajektorie durch den Nutzer repräsentiert. Die Anzeige 160 der Fahrtrajektorie und/oder die Ansteuerung 180 des Lenkmotors und/oder die Ansteuerung des Antriebs können optional jeweils zusätzlich basierend auf der erfassten Geschwindigkeit, insbesondere wenn der Betrag der erfassten Geschwindigkeit kleiner oder gleich einem Geschwindigkeitsschwellenwert ist, basierend auf der ersten Eingabe des Fahrers zur Durchführung einer gewünschten autonomen Fahrfunktion und/oder in Abhängigkeit der erfassten Position des Fahrzeugs erfolgen, insbesondere wenn die Position innerhalb eines vorgegebenen Umgebungsbereiches liegt. In einer bevorzugten Ausführungsform wird parallel und unabhängig zur Aussendung 130 des Ausgangsfunksignals und zum Empfang 150 des Ergebnisfunksignals sowie unabhängig zur optionalen Ansteuerung 180 des Lenkmotors und/oder der Ansteuerung des Antriebs im optionalen Schritt 190 eine Notbremssituation in Abhängigkeit der erfassten Sensordaten durch einen Notbremsalgorithmus bestimmt, welcher mittels einer anderen Recheneinrichtung des Fahrzeugs durchgeführt wird. Anschließend wird vorteilhafterweise im optionalen Schritt 191 wenigstens eine Bremseinrichtung des Fahrzeugs in Abhängigkeit der bestimmten Notbremssituation angesteuert. Optional kann im Schritt 192 das Fahrzeug entlang der bereits abgefahrenen Fahrttrajektorie in umgekehrter Richtung in Abhängigkeit der bestimmten Notbremssituation durch Ansteuerung des Lenkmotors und/oder des Antriebs automatische rückgeführt werden.In 1 A flowchart of the computer-implemented, vehicle-side procedure is shown as a block diagram. First, in an optional step 110, a registration procedure can be performed between the vehicle and the server device to provide or reserve computing capacity for calculating the vehicle's driving trajectories. This advantageously accelerates subsequent calculations of the driving trajectories, meaning there is no need to wait for other calculations and ensures fast, low-latency reception of the resulting radio signals. The registration procedure can be performed using known mobile communication standards between the vehicle and the server device, for example, when the vehicle's engine is started or when driving begins. In a further optional step 111, the vehicle's current speed is recorded. Additionally or alternatively, an initial input from the driver to initiate a desired autonomous driving function can also be recorded via an input device in the vehicle. In a further optional step 113, the vehicle's position is recorded using a position sensor. Subsequently, in step 120 according to the invention, sensor data from the vehicle's surroundings are acquired using at least one vehicle sensor. In particular, camera images are acquired using at least one vehicle camera as a vehicle sensor, especially a front camera, at least one wide-angle camera, and/or a reversing camera. Alternatively or additionally, ultrasonic sensor data is acquired using at least one ultrasonic sensor as a vehicle sensor, especially an ultrasonic sensor array. Alternatively or additionally, radar data is acquired using at least one radar sensor of the vehicle as a vehicle sensor, especially at least two corner radar sensors, which are configured by varying, adapted frequency modulations to detect distances of objects to the vehicle in the near, medium, and/or far ranges. The acquisition of the sensor data can additionally be carried out depending on the detected speed and/or the sensor type, especially if the magnitude of the detected speed is less than or equal to a speed threshold. For example, ultrasonic sensor data is not acquired when the vehicle speed exceeds 30 km/h. The acquisition of sensor data can alternatively or additionally be based on the initial input, for example, if the activation of the parking assist system by pressing a button or other input device by the driver or user is recorded as the initial input. Furthermore, the acquisition of sensor data can optionally be based on the vehicle's position, particularly if the vehicle's position is within a predefined environmental area. In other words, the process can be started automatically based on the vehicle's speed, the initial input from the driver or user, or the vehicle's position, meaning it can be triggered automatically based on predefined and/or recorded environmental and/or operating parameters and/or the initial input. This reduces, for example, the power consumption for acquiring sensor data and the resource and power consumption on the server, as the process is performed for a specific required driving function and therefore not continuously, but only when that specific driving function is desired or anticipated. For example, the method for a parking or unparking maneuver as a driver assistance system would not be performed if the vehicle was on a highway and/or if the detected vehicle speed was greater than or equal to 30 km/h, and the method for a lane change as a driver assistance system would not be performed on a single-lane road or in a parking lot. In an optional step of the method (not shown), the acquired sensor data may also be preprocessed in an optional step 120a (not shown). For example, camera images acquired using a wide-angle lens could be rectified and/or converted into a grayscale image. In another example, acquired radar or ultrasound data could be filtered, smoothed, and/or averaged by the preprocessing step 120a (not shown). In a particularly preferred embodiment of the invention, in optional step 121, at least one feature vector, feature tensor, or feature space is determined as a function of at least a portion of the acquired sensor data by means of a computing unit in the vehicle. For example, it may be provided that the boundary areas of the detection zones in the respective sensor data are ignored when determining feature vector 121. The determination 121 of the at least one feature vector is carried out separately based on the sensor data of each sensor type, for example, a first feature vector for the camera data, a second feature vector for the Radar data and/or a third feature vector for the ultrasound data. Multiple feature vectors can be provided for the sensor data of each sensor type. The determination of a feature vector is advantageously performed by a trained machine recognition method, preferably a neural network. The feature vector is advantageously determined by a first processing unit. The neural network is advantageously trained with labeled and/or unlabeled training data and optionally in connection with object detection and/or mapping. When training with unlabeled (self-supervised) training data, for example, masking of the training data and prediction of the masked areas of the source data can be performed. Each specific feature vector is particularly multidimensional and advantageously represents a non-human-interpretable understanding of the acquired sensor data of a sensor type, wherein the feature vector does not represent objects and/or a map or mapping of the vehicle's environment. However, it can be provided that the components of the feature vector can be assigned to a two- or three-dimensional space based on distance. In other words, the feature vector is an intermediate stage in sensor data analysis prior to and for the purpose of subsequent object recognition and/or map creation of the vehicle's current environment. Based on the at least one specific feature vector, static and/or dynamic objects and/or a current map of the environment can be determined in a further step. Step 122 is advantageously performed by means of a second processing unit of the vehicle, in particular by a second trained machine recognition method or recognition head, preferably a second neural network. Subsequently, according to the invention, in step 130, an output radio signal is transmitted, which represents at least a part of the acquired sensor data and/or the at least one feature vector as a representation of the acquired sensor data or the feature space and/or optionally the at least one determined static and/or dynamic object and/or optionally the determined map of the environment as a representation of the acquired sensor data and/or the position of the vehicle. The output radio signal is advantageously transmitted using the 5G or 6G standard. The output radio signal is advantageously transmitted depending on a detected driving situation of the vehicle, whereby the driving situation is detected in particular based on the acquired sensor data and/or an acquired initial user input and/or acquired vehicle operating parameters, such as the acquired vehicle speed and/or the vehicle position. For example, transmission 130 occurs in particular when the amount of the acquired speed is less than or equal to a speed threshold, based on the driver's initial input to execute a desired autonomous driving function and/or depending on the acquired vehicle position, especially if the position is within a predefined environmental area. In the optional step 140, a self-calculated driving trajectory for the future journey of the vehicle in the current environment of the vehicle, as detected by the vehicle sensors, is calculated by a processing unit of the vehicle, whereby the processing unit or the self-calculated driving trajectory is used in particular for predefined, relatively easy-to-control driving situations or driver assistance functions, such as lane keeping. In optional step 145, the vehicle's speed is reduced until the result radio signal is received, particularly depending on the current server load, which is received by the server device via radio signal at regular intervals, and/or based on an expected calculation time assigned to the current driving situation. The current driving situation is determined based on the acquired sensor data, the specific feature vector, the identified objects, the determined map, and/or the current vehicle position. Subsequently, in step 150, a result radio signal is received, which represents at least one driving trajectory determined for the vehicle based on the output radio signal, particularly for parking or maneuvering the vehicle at low speeds. In an optional step 155 (not shown), the self-calculated trajectory is validated and/or replaced by the trajectory received from the server device. In particular, if there is a discrepancy between the self-calculated trajectory and the trajectory received from the server device, the self-calculated trajectory is replaced by the trajectory received from the server device, or the received trajectory is prioritized. The optional replacement 155 of the self-calculated trajectory can also be based on the initial input, the vehicle's recorded speed, and/or the vehicle's recorded position. In step 160, the at least one received trajectory is displayed. In an optional step 170, a second input from the driver is required to confirm the execution of the desired autonomous driving function of the vehicle, using the first input device and/or a second input device. The vehicle's movement is detected. Subsequently, in addition to or as an alternative to the display 160 of the received driving trajectory, at least one steering motor and/or at least one drive unit of the vehicle is controlled 180 to drive the vehicle along the received driving trajectory. The control of the steering motor and/or the drive unit is optionally dependent on the detected second input, in particular only if the second input represents confirmation by the user to drive along the displayed received driving trajectory. The display 160 of the driving trajectory and/or the control 180 of the steering motor and/or the control of the drive unit can optionally each also be based on the detected speed, in particular if the value of the detected speed is less than or equal to a speed threshold, based on the first input of the driver to execute a desired autonomous driving function, and/or dependent on the detected position of the vehicle, in particular if the position is within a predefined environmental area. In a preferred embodiment, in optional step 190, an emergency braking situation is determined based on the acquired sensor data by an emergency braking algorithm, which is performed by another computing unit of the vehicle, in parallel and independently of the transmission 130 of the output radio signal and the reception 150 of the result radio signal, as well as independently of the optional control 180 of the steering motor and/or the control of the drive. This determination is carried out by means of another computing unit of the vehicle. Subsequently, advantageously, in optional step 191, at least one braking device of the vehicle is controlled based on the determined emergency braking situation. Optionally, in step 192, the vehicle can be automatically guided back along the already traveled trajectory in the opposite direction based on the determined emergency braking situation by controlling the steering motor and/or the drive.

In 2 ist ein Ablaufschema des computerimplementierten serverseitigen Verfahrens als Blockdiagramm dargestellt, welches mittels einer Servervorrichtung durchgeführt wird. Das serverseitige Verfahren beginnt mit dem Empfang 210 des Ausgangsfunksignals mittels einer Empfangseinheit der Servervorrichtung. Das Ausgangsfunksignals repräsentiert zumindest einen Teil von mittels wenigstens eines Fahrzeugsensors erfassten Sensordaten. Das Ausgangsfunksignals entspricht vorteilhafterweise zumindest dem 5G- oder 6G-Standard. Vorzugsweise wird im optionalen Schritt 220 wenigstens ein statisches und/oder dynamisches Objekt in der Umgebung des Fahrzeugs, eine Bewegung des dynamischen Objektes und/oder eine Karte der Umgebung des Fahrzeugs jeweils basierend auf dem empfangenen Ausgangsfunksignal mittels der Servervorrichtung ermittelt. Anschließend wird im Schritt 230 zumindest eine Fahrtrajektorie für das Fahrzeug basierend auf dem empfangenen Ausgangsfunksignal mittels der Servervorrichtung berechnet. Die Berechnung 230 der Fahrtrajektorie für das Fahrzeug erfolgt zusätzlich basierend auf dem wenigstens einen bestimmten statischen und/oder dynamischen Objekt, der bestimmten Bewegung des dynamischen Objektes und/oder basierend auf der bestimmten Karte. Dabei kann die Berechnung 230 der Fahrttrajektorie durch wenigstens einen Algorithmus und/oder ein neuronales Netz erfolgen. Im Schritt 230 werden des Weiteren vorteilhafterweise wenigstens zwei Fahrtrajektorien oder auch eine Vielzahl von Trajektorien für das Fahrzeug berechnet. Im Schritt 230 kann dann eine Auswahl der auszusenden Fahrtrajektorie unter den wenigsten zwei oder der Vielzahl der berechneten Trajektorie erfolgen, insbesondere basierend auf einem Sicherheitskriterium, welches beispielsweise eine möglichst lange Kollisionszeit zu benachbarten bewegten Objekten und/oder eine möglichst geringe Lenk- und/oder Beschleunigungsbewegung zu der jeweiligen Trajektorie umfasst. Der Vergleich beziehungsweise das Sicherheitskriterium kann vorgegeben sein oder von dem Nutzer durch Eingabe erfasst werden. Alternativ oder zusätzlich kann das Sicherheitskriterium für jede berechnete Fahrttrajektorie basierend auf einer Position des Fahrzeugs und/oder wenigstens einem bestimmten statischen und/oder dynamischen Objekt, der bestimmten Bewegung des dynamischen Objektes, einer bestimmten Eigenbewegung des Fahrzeugs und/oder basierend auf der bestimmten Karte ermittelt werden. Somit wird diejenige Fahrttrajektorie ausgewählt, welche nach einem Vergleich bezüglich des Sicherheitskriterium vorteilhaft erscheint. Beispielsweise wird die berechnete Trajektorie der zwei oder der Vielzahl an berechneten Trajektorien mit der längsten Kollisionszeit zu benachbarten bewegten Objekten und/oder der geringsten Lenk- und/oder Beschleunigungsbewegung ausgewählt.In 2 Figure 2 shows a flowchart of the computer-implemented, server-side method, which is executed by means of a server device. The server-side method begins with the reception of the output radio signal by means of a receiver unit of the server device. The output radio signal represents at least a portion of sensor data acquired by means of at least one vehicle sensor. The output radio signal advantageously conforms to at least the 5G or 6G standard. Preferably, in the optional step 220, at least one static and/or dynamic object in the vicinity of the vehicle, a movement of the dynamic object, and/or a map of the vehicle's vicinity are determined by means of the server device, each based on the received output radio signal. Subsequently, in step 230, at least one driving trajectory for the vehicle is calculated by means of the server device, based on the received output radio signal. The calculation 230 of the driving trajectory for the vehicle is additionally based on the at least one specific static and/or dynamic object, the specific movement of the dynamic object, and/or based on the specific map. The calculation of the vehicle trajectory (230) can be performed by at least one algorithm and/or a neural network. In step 230, at least two or even a multitude of trajectories for the vehicle are advantageously calculated. In step 230, a selection of the trajectory to be sent can then be made from among the two or the multitude of calculated trajectories, in particular based on a safety criterion, which includes, for example, the longest possible collision time with adjacent moving objects and/or the smallest possible steering and/or acceleration movement relative to the respective trajectory. The comparison or safety criterion can be predefined or entered by the user. Alternatively or additionally, the safety criterion for each calculated trajectory can be determined based on the vehicle's position and/or at least one specific static and/or dynamic object, the specific movement of the dynamic object, a specific movement of the vehicle itself, and/or based on the specific map. Thus, the trajectory that appears advantageous after a comparison with regard to the safety criterion is selected. For example, the calculated trajectory with the longest collision time to adjacent moving objects and/or the least steering and/or acceleration movement is selected from the two or multiple calculated trajectories.

Die im Schritt 230 berechnete Fahrttrajektorie umfasst beispielsweise eine Kommando-Kette, wobei die Kommando-Kette eine Abfolge von Lenkwinkeln und Antriebsparametern aufweist. Im nachfolgenden Schritt 240 wird das Ergebnisfunksignals an das Fahrzeug mittels einer Sendeeinheit der Servervorrichtung ausgesendet, welches zumindest eine für die Fahrt des Fahrzeugs berechnete Fahrtrajektorie repräsentiert. Das Ergebnisfunksignal entspricht insbesondere zumindest dem 5G- oder 6G-Standard. Optional repräsentiert das ausgesendete Ergebnisfunksignals zusätzlich das bestimmte statische und/oder dynamische Objekt in der Umgebung des Fahrzeugs und/oder die bestimmte Karte der Umgebung des Fahrzeugs. Es kann optional vorgesehen sein, dass das im Schritt 240 ausgesendete Ergebnisfunksignal wenigstens zwei berechnete Fahrtrajektorien repräsentiert, wobei das Fahrzeug dann dazu eingerichtet ist, eine der berechneten Fahrttrajektorien auszuwählen.The driving trajectory calculated in step 230 includes, for example, a command chain, where the command chain comprises a sequence of steering angles and drive parameters. In the subsequent step 240, the resulting radio signal is transmitted to the vehicle via a transmitter unit of the server device, representing at least one driving trajectory calculated for the vehicle's journey. The resulting radio signal conforms, in particular, to at least the 5G or 6G standard. Optionally, the transmitted resulting radio signal additionally represents the specific static and/or dynamic object in the vehicle's environment and/or the specific map of the vehicle's environment. It can optionally be provided that the signal transmitted in step 240 The result radio signal represents at least two calculated driving trajectories, and the vehicle is then configured to select one of the calculated driving trajectories.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was automatically generated and is included solely for the reader's convenience. The list is not part of the German patent or utility model application. The DPMA accepts no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

WO 2019/050873 A1 [0002]
DE 10 2020 111 938 A1 [0003]
EP 3 616 182 A1 [0004]
DE 10 2022 119 206 A1 [0005]

Zitierte Nicht-PatentliteraturCited non-patent literature

Drews, F. et al. (2022) “DeepFusion: A Robust and Modular 3D Object Detector for Lidars, Cameras and Radars”, arXiv:2209.12729v2 [0009]

Claims

A computer-implemented, vehicle-based method for driver assistance, comprising the following steps: • Optional execution (110) of a registration procedure between the vehicle and a server device, • Acquisition (120) of sensor data from the vehicle's environment using at least one vehicle sensor, • Transmission (130) of an output radio signal to the server device, representing at least a portion of the acquired sensor data, • Reception (150) of a result radio signal from the server device, representing at least one driving trajectory determined for the vehicle's journey based on the output radio signal, and • Display (160) of the at least one received driving trajectory, and/or • Control (180) at least one steering motor of the vehicle and/or at least one drive of the vehicle to drive the vehicle along the received driving trajectory.

Vehicle-side procedure according to Claim 1 , wherein the following step is carried out: • Determination (121) of at least one feature vector as a function of at least one part of the acquired sensor data by a computing unit of the vehicle, in particular by means of a trained machine recognition method, preferably a neural network, and wherein • the emitted output radio signal includes at least the determined feature vector as a representation of the acquired sensor data.

Vehicle-side procedure according to Claim 1 , wherein the following steps are performed: • Determination (121) of at least one feature vector as a function of at least one part of the acquired sensor data by means of a first computing unit of the vehicle, in particular by means of a first trained machine recognition method, preferably a first neural network, and • Determination (122) of static and/or dynamic objects and/or a current map of the environment based on the at least one determined feature vector by means of a second computing unit of the vehicle, in particular by means of a second trained machine recognition method, preferably a second neural network, and wherein • the emitted output radio signal comprises at least the static and/or dynamic objects and/or the determined map of the environment as a representation of the acquired sensor data.

Vehicle-side method according to one of the preceding claims, wherein the following step is performed: • Reduction (145) of the vehicle's speed until the result radio signal is received, in particular depending on the current server load, which is received by the server device via radio signal at regular intervals, and/or based on an expected calculation time assigned to the current driving situation, wherein the current driving situation is recognized depending on the acquired sensor data.

A vehicle-side method according to one of the preceding claims, wherein the following steps are performed: • Determination (190) of an emergency braking situation based on the detected sensor data by an emergency braking algorithm, which is performed by means of a computing unit of the vehicle, and • Control (191) of at least one braking device of the vehicle based on the determined emergency braking situation, wherein • optionally, automatic return (193) of the vehicle along the already traveled trajectory in the reverse direction based on the determined emergency braking situation is carried out by controlling the steering motor and/or the drive.

Vehicle-side method according to one of the preceding claims, wherein the following steps are performed: • Detection (111) of the current speed of the vehicle, and/or • Detection (112) of a first input from the driver to execute a desired autonomous driving function of the vehicle by means of an input device of the vehicle, and/or • Detection (113) of a position of the vehicle by means of a position sensor, and wherein • the detection (120) of the sensor data, the transmission (130) of the output radio signal, the display (160) of the driving trajectory and/or the control (180) of the steering motor and/or the drive are each additionally based on the detected speed, based on the first input from the driver to execute a desired autonomous driving function and/or depending on the detected position of the vehicle.

Vehicle-side procedure according to Claim 6 , wherein the following step is performed • recording (170) a second input from the driver to confirm the execution of the desired autonomous driving function of the vehicle by means of the first input device and/or a second input device of the vehicle, and wherein • the control (180) of the steering motor and/or the drive is additionally carried out depending on the detected second input.

Vehicle-side method according to one of the preceding claims, wherein the following steps are performed: • Detection (113) of the position of the vehicle by means of the position sensor, and wherein • the emitted output radio signal additionally represents the position of the vehicle.

Computer program comprising commands which, when the program is executed by a computer, cause it to perform the steps of the vehicle-side method according to one of the preceding claims.

A control unit for a vehicle, comprising at least the following components: • a first signal input for providing a first signal representing sensor data acquired by means of at least one vehicle sensor; • a transmitter unit for sending an output radio signal to a server device, wherein the output radio signal represents at least a part of the sensor data provided at the first signal input; • a receiver unit for receiving a result radio signal representing at least one driving trajectory calculated for the vehicle by means of the server device; and • a signal output for outputting a control signal based on the received result radio signal, wherein the control signal is configured to control a steering motor of the vehicle and/or at least one drive of the vehicle for driving the vehicle along the received driving trajectory; and • a computing unit, in particular a processor, configured to perform the steps of the vehicle-side procedure according to one of the Claims 1 until 8 executes.

vehicle, comprising a control unit according to Claim 10 .

A computer-implemented, server-side method for determining the driving trajectory of a vehicle using a server device, comprising the following steps: • Receiving (210) an output radio signal using a receiving unit of the server device, which represents at least a part of sensor data acquired by at least one vehicle sensor; in particular, the output radio signal conforms to at least the 5G or 6G standard; • Calculating (230) at least one driving trajectory for the vehicle based on the received output radio signal using the server device; and • Transmitting (240) a result radio signal to the vehicle using a transmitting unit of the server device, which represents at least one driving trajectory calculated for the vehicle's journey; in particular, the result radio signal conforms to at least the 5G or 6G standard.

Server-side procedure according to Claim 12 , wherein the following step is performed: • Determination (220) of at least one static and/or dynamic object in the vicinity of the vehicle, a movement of the dynamic object and/or a map of the vicinity of the vehicle, each based on the received output radio signal by means of the server device, and wherein • the calculation (230) of the driving trajectory for the vehicle is additionally performed based on the at least one specific static and/or dynamic object, the specific movement of the dynamic object and/or based on the specific map, and wherein • optionally the transmitted result radio signal additionally represents the specific static and/or dynamic object in the vicinity of the vehicle and/or the specific map of the vicinity of the vehicle.

Server-side procedure according to one of the Claims 12 or 13 , wherein at least two vehicle trajectories are calculated by at least one algorithm and/or a neural network, wherein the transmitted result radio signal represents the at least two vehicle trajectories or a selection of the vehicle trajectory to be transmitted is made according to a safety criterion.

Server-side procedure according to one of the Claims 12 until 14 , wherein the calculated driving trajectory includes a command chain, wherein the command chain includes a sequence of steering angles and drive parameters.

Server-side procedure according to one of the Claims 12 until 15 , wherein the calculation (230) of the journey trajectory is additionally based on the position of the vehicle, current operating data of other vehicles, static evaluations of traffic in the vicinity of the vehicle, parking occupancy maps and/or map data.

Server computer program, comprising commands which, when the program is executed by a server device, cause it to perform the steps of the procedure according to one of the Claims 12 until 16 to execute.

Server device comprising at least the following components: • a server receiving unit for receiving an output radio signal from a vehicle, which represents at least part of sensor data acquired by means of at least one vehicle sensor, in particular the output radio signal conforms to at least the 5G or 6G standard, • a server transmitting unit for transmitting a result radio signal to the vehicle, which represents at least one driving trajectory calculated for the vehicle's journey, in particular the result radio signal conforms to at least the 5G or 6G standard, and • a server computing unit configured to execute the steps of the server-side procedure according to one of the Claims 12 until 16 executes.