-
Die Erfindung betrifft ein Verfahren zum Verarbeiten mittels Ultraschall erhaltener Daten, mit folgenden Verfahrensschritten:
- - Aussenden eines jeweiligen Ultraschallsignals mittels einer Mehrzahl von in einem Fahrzeug angeordneter Ultraschallsensoren,
- - Empfangen von reflektierten Ultraschallsignalen mittels der Ultraschallsensoren und
- - Eingeben von auf den empfangenen reflektierten Ultraschallsignalen basierenden Signalen in ein künstliches neuronales Netzwerk.
-
Insbesondere im Automotive-Bereich werden entsprechende Ultraschall-Systeme zur Abstandsschätzung verwendet, z.B. im Rahmen von Einparkhilfesystemen. Für die Auswertung bei derartigen Ultraschall-Systemen wird das Echo eines Sensors von einem bestimmten Objekt analysiert. Ein Echo eines Objektes wird meist über den Vergleich der Empfangsamplitude des Echos mit einem Schwellwert detektiert.
-
Die Erstellung von Karten zur Darstellung der mittels Ultraschall detektierten Ergebnisse ist heutzutage im Automotive-Bereich vorwiegend das Ziel aller Verarbeitungsschritte. Zu dieser Verarbeitung zählen, neben der klassischen Zieldetektion und Mustererkennung in einzelnen Sensoren, auch Algorithmen, die die Anordnung mehrerer Sensoren gezielt ausnutzen. Dabei werden meist Verfahren wie Triangulation oder Trilateration genutzt.
-
Bereits die Zieldetektion besteht heutzutage aus komplexen Algorithmen, die über die Anwendung von Schwellwerten hinausgehen und z.B. Tracking-Verfahren nutzen. Erkannte Echos werden detailliert analysiert, um Eigenschaften wie die Höhe oder Beschaffenheit eines detektierten Objektes zu ermitteln. Bei der Verwendung mehrerer Sensoren müssen die erkannten Echos den einzelnen detektierten Objekten zugeordnet werden. Anschließend wird die Position der einzelnen Objekte bestimmt.
-
Daraus ergeben sich verschiedene Nachteile:
- Als Basis für alle weiteren Verarbeitungsschritte dient die Echoerkennung. Fehler in der Echodetektion beeinflussen alle weiteren Schritte und können die Funktionsfähigkeit des Systems insgesamt stark einschränken. Darüber hinaus werden bei herkömmlichen Verfahren nur einzelne Objekte herausgegriffen, wodurch lediglich bestimmte Bereiche einer Karte ausgefüllt werden können. Vollständige Informationen der Umgebungen werden somit bisher nicht bereitgestellt.
-
Die einzelnen Objekte müssen zusätzlich mit aufwändigen Verarbeitungsschritten analysiert werden, was nicht nur zu hohem Rechenaufwand führt, sondern bei Fehlklassifikationen auch die Positionsbestimmung negativ beeinflussen. Für die Fusion der Ultraschalldaten mit Daten von anderen Sensoren, wie Radarsensoren oder Kameras, ist neben der hohen Fehleranfälligkeit auch die geringe Informationsdichte der ermittelten Karten problematisch.
-
Die
DE 10 2017 006 599 A1 beschreibt ein Verfahren zum Betrieb eines zumindest teilautomatisiert fahrenden Fahrzeugs, wobei zumindest drei künstliche neuronale Netzwerke in disjunkten Trainingsfahrten des Fahrzeugs unabhängig voneinander jeweils mittels eines Ende-zu-Ende-Ansatzes anhand von während der Trainingsfahrten aufgezeichneten Trainings-Aktordaten einer Fahrzeugaktorik und anhand von mit den Trainings-Aktordaten korrelierten Trainings- Sensordaten einer Fahrzeugsensorik trainiert werden und im zumindest teilautomatisierten Betrieb des Fahrzeugs Ist-Sensordaten als Eingangsdaten der neuronalen Netzwerke erfasst werden, den Ist-Sensordaten anhand eines Vergleichs mit den Trainings-Sensordaten Trainings-Aktordaten als Ausgangsdaten der neuronalen Netzwerke zugeordnet werden, die Trainings-Aktordaten aller neuronalen Netzwerke einem Fusionsmodul zugeführt werden, das Fusionsmodul die Trainings-Aktordaten aller neuronalen Netzwerke nach einer vorgegebenen Regel fusioniert und anhand eines Ergebnisses der Fusion Ist-Aktordaten ermittelt, wobei eine Quer- und/ oder Längssteuerung des Fahrzeugs anhand einer Ansteuerung der Fahrzeugaktorik mit den ermittelten Ist-Aktordaten zumindest teilautomatisiert durchgeführt wird.
-
Gemäß der
DE 10 2017 101 106 A1 wird ein Maschinenlernmodell durch Definieren eines Szenarios trainiert, das Modelle von Fahrzeugen und einer typischen Fahrumgebung umfasst. Zu dem Szenario wird ein Modell eines betreffenden Fahrzeugs hinzugefügt und es werden Sensororte an dem betreffenden Fahrzeug definiert. Es wird eine Wahrnehmung des Szenarios durch Sensoren an den Sensororten simuliert. Das Szenario umfasst ferner ein Modell eines lane-splitting ausführenden Fahrzeugs. Der Ort des lane-splitting ausführenden Fahrzeugs und die simulierten Ausgaben der das Szenario wahrnehmenden Sensoren werden in einen Maschinenlernalgorithmus eingegeben, der ein Modell trainiert, den Ort eines lane-splitting ausführenden Fahrzeugs auf der Basis der Sensorausgaben zu erfassen. Eine Fahrzeugsteuerung enthält dann das Maschinenlernmodell und schätzt die Anwesenheit und/oder den Ort eines lane-splitting ausführenden Fahrzeugs auf der Basis tatsächlicher Sensorausgaben, die in das Maschinenlernmodell eingegeben werden. Die
US 2012/0293356 A1 beschreibt, dass bei einem Verfahren zum Erkennen von Objekten mindestens ein Sensor einen Sendeimpuls als Welle aussendet, insbesondere als akustische oder elektromagnetische Welle, wobei die Welle von Objekten im Ausbreitungsraum zumindest teilweise reflektiert wird und die reflektierte Welle von einem Empfänger als Empfangssignal wieder erfasst wird. Das empfangene Signal der reflektierten Welle wird in Segmente aufgeteilt, und aus den einzelnen Segmenten werden Daten gesammelt, die zur Bestimmung einer Objekthypothese herangezogen werden.
-
Es ist die Aufgabe der Erfindung, eine Möglichkeit anzugeben, mittels Ultraschall erhaltene Daten für ein Fahrzeug effektiver nutzen zu können.
-
Diese Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Bevorzugte Weiterbildungen der Erfindung sind in den Unteransprüchen beschrieben.
-
Erfindungsgemäß ist somit ein Verfahren zum Verarbeiten mittels Ultraschall erhaltener Daten mit folgenden Verfahrensschritten vorgesehen:
- - Aussenden eines jeweiligen Ultraschallsignals mittels einer Mehrzahl von in einem Fahrzeug angeordneter Ultraschallsensoren,
- - Empfangen von reflektierten Ultraschallsignalen mittels der Ultraschallsensoren,
- - Eingeben von auf den empfangenen reflektierten Ultraschallsignalen basierenden Signalen in ein künstliches neuronales Netzwerk und
- - Ausgeben einer 3D-Punktwolke und/oder einer Tiefenkarte durch das künstliche neuronale Netzwerk.
-
Es ist somit ein wesentlicher Aspekt der Erfindung, dass - anders als im Stand der Technik - nicht die erkannten Echos den einzelnen detektierten Objekten zugeordnet werden, um anschließend deren Position zu bestimmen. Vielmehr wird von dem künstlichen neuronalen Netzwerk direkt ein 3D-Punktwolke bzw. eine Tiefenkarte ausgebeben, wobei die 3D-Punktwolke bzw. die Tiefenkarte die von den Ultraschallsensoren abgetastete Umgebung des Fahrzeugs wiedergeben. Es wird also ein dreidimensionale Karte der abgetasteten Umgebung des Fahrzeugs erstellt, die - in Rasterform - ein dreidimensionales Abbild dieser Umgebung wiedergibt. Damit kann vermieden werden, dass Fehler in der Echodetektion die herkömmlicherweise erforderlichen weiteren Schritte bei der Verarbeitung der Signale beeinflussen, so dass auch die Funktionsfähigkeit des Systems insgesamt sichergestellt werden kann. Anders als bei den herkömmlichen Verfahren werden auch nicht nur einzelne Objekte herausgegriffen, so dass grundsätzlich alle Bereiche der erstellten Karte ausgefüllt werden können. Auf diese Weise können vollständige Informationen der Umgebungen bereitgestellt werden.
-
Grundsätzlich können die reflektierten Ultraschallsignale in unterschiedlichen Formen bereitgestellt und weiterverarbeitet werden. Gemäß einer bevorzugten Weiterbildung der Erfindung werden die Ultraschallsignale jedoch in Form der Rohdaten oder der Einhüllenden für die Weiterarbeitung bereitgestellt. Wenn die Ultraschallsignale in Form der Rohdaten oder der Einhüllenden für die Weiterverarbeitung verwendet werden, also für die Erstellung der Daten, die dem künstlichen neuronalen Netzwerk zugeführt werden, damit dieses aus diesen Daten die 3D-Punktwolke die Tiefenkarte erstellen kann, so ist dies insofern besonders effektiv, als dass damit unnötige Verarbeitungsschritte vermieden werden und grundsätzlich alle Möglichkeiten der Weiterverarbeitung offen stehen.
-
Die Signale, die dem künstlichen neuronalen Netzwerk zugeführt werden, können grundsätzlich verschiedener Art sein. Gemäß einer bevorzugten Weiterbildung der Erfindung sieht das Verfahren konkret jedoch folgende zusätzliche Schritte vor:
- - Konvertieren der empfangenen reflektierten Ultraschallsignale in ein Bildformat und
- - Eingeben der Bildsignale in das künstliche neuronale Netzwerk.
Die Verwendung von Bildsignalen als Eingangsdaten für künstliche neuronale Netzwerke kann sehr effektiv sein, insbesondere wenn gemäß einer weiteren bevorzugten Ausgestaltung der Erfindung das künstliche neuronale Netzwerk ein Convolutional Neural Network oder ein Mulitlayer Perceptron oder ein Capsule Neural Network ist.
-
Grundsätzlich ist es möglich, dass die Anzahl der Eingangswerte, die dem künstlichen neuronalen Netzwerk zugeführt werden, die Anzahl der Ausgangswerte, die von dem künstlichen neuronalen Netzwerk ausgegeben werden nicht übersteigt. Gemäß einer bevorzugten Weiterbildung der Erfindung gilt jedoch, dass das künstliche neuronale Netzwerk ein generatives Netzwerk ist. Generativ bedeutet dabei, dass das künstliche neuronale Netzwerk mehr Ausgangswerte aufweist als Eingangswerte. Da gerade bei der Nutzung der Einhüllenden nur eine geringe Anzahl an Abtastpunkten vorhanden ist, aber vorzugsweise, nämlich zur Erstellung einer dichten Karte, eine Vielzahl von Reflexionspunkten berechnet werden soll, sind generative Ansätze besonders vorteilhaft. Ganz besonders bevorzugt werden im Übrigen direkt die Rohdaten der reflektierten Ultraschallsignale verwendet, da somit eine höhere Abtastrate bereitgestellt werden kann, womit eine höhere Anzahl von Eingangswerten generiert werden kann.
-
Die Erfindung erfordert grundsätzlich keine Eingabe weiterer Daten in das künstliche neuronale Netzwerk, die über die oben genannten Ultraschalldaten hinausgehen. Gemäß einer bevorzugten Weiterbildung der Erfindung weist das Verfahren jedoch den zusätzlichen Verfahrensschritt auf:
- - Eingeben von Daten betreffend die Einbauparameter der Ultraschallsensoren in das künstliche neuronale Netzwerk.
Derartige Einbauparameter können die Einbauhöhe der Ultraschallsensoren, wie die Höhe über dem Boden, auf dem sich das Fahrzeug befindet bzw. bewegt und/oder der Abtastwinkel der Ultraschallsensoren sein, also der Winkel, unter dem die Umgebung des Fahrzeugs von dem jeweiligen Ultraschallsensor erfasst wird. Auf diese Weise kann die Erstellung einer der tatsächlichen Umgebung des Fahrzeugs möglichst nahkommende Tiefenkarte bzw. 3D-Punktwolke innerhalb des künstlichen neuronalen Netzwerks weiter verbessert werden.
-
In entsprechender Weist ist gemäß einer bevorzugten Weiterbildung der Erfindung vorgesehen, dass das Verfahren den zusätzlichen Verfahrensschritt aufweist:
- - Eingeben von Daten betreffend die Umgebungsbedingungen des Fahrzeugs in das künstliche neuronale Netzwerk.
Derartige Umgebungsbedingungen sind vorzugsweise die Umgebungstemperatur des Fahrzeugs oder andere Wetterparameter, wie auch der Feuchtegrad der Oberfläche, auf der sich das Fahrzeug befindet. Auch auf diese Weise kann die Erstellung einer der tatsächlichen Umgebung des Fahrzeugs möglichst nahkommende Tiefenkarte bzw. 3D-Punktwolke innerhalb des künstlichen neuronalen Netzwerks weiter verbessert werden.
-
Gemäß einer bevorzugten Weiterbildung der Erfindung weist das Verfahren den zusätzlichen Verfahrensschritt auf:
- - Eingeben von Daten betreffend den Zustand des Fahrzeugs in das künstliche neuronale Netzwerk.
Derartige Daten betreffend den Zustand des Fahrzeugs sind vorzugsweise Geschwindigkeitsdaten für das Fahrzeug, aber auch Daten zur Beschleunigung usw. In analoger Weise, wie oben beschrieben, kann damit die Effektivität bei der Erstellung der 3D-Punktwolke bzw. der Tiefenkarte durch das künstliche neuronale Netzwerk verbessert werden.
-
Die Erfindung ermöglicht es grundsätzlich, die 3D-Punktwolke bzw. die Tiefenkarte direkt aus den Rohdaten ohne einen Zwischenschritte bzw. ohne die Zwischenschaltung eines weiteren künstlichen neuronalen Netzwerks zu erstellen. Die Erfindung umfasst jedoch auch eine derartige Ausgestaltung, gemäß derer das künstliche neuronale Netzwerk als gegensätzliches Netzwerk ausgebildet ist. Auf diese Weise kann eine Überprüfung der Ergebnisse des künstlichen neuronalen Netzwerks erzielt werden, vorzugsweise über die Verschachtelung von mehreren Netzwerken. Dabei transformiert ein Netzwerk Daten, im vorliegenden Fall vorzugsweise die Ultraschallrohdaten aller Ultraschallsensoren, in eine Punktewolke. Ein zweites Netzwerk vergleicht die erzeugten Daten mit der zu erwartenden Ground Truth. Der Begriff „Ground Truth“ beschreibt dabei die Lerndaten, also praktisch das Grundwissen um die tatsächlichen Gegebenheiten. Trainiert man nun beide Netzwerke immer wieder nach einander, wird zum einen die Transformation immer realitätsgetreuer und zum anderen wird aber auch die Fähigkeit des zweiten Netzwerks immer besser, künstliche Daten von echten Daten zu unterscheiden.
-
Insofern weist ein Verfahren gemäß einer bevorzugten Weiterbildung der Erfindung folgende Verfahrensschritte auf:
- - Eingeben der ausgegebenen 3D-Punktwolke bzw. der ausgegebenen Tiefenkarte in ein zweites künstliches neuronales Netzwerk und
- - Überprüfen der Ground Truth der 3D-Punktwolke bzw. der Tiefenkarte in dem zweiten künstlichen neuronalen Netzwerk.
-
Dieses Verfahren ist vorzugsweise ferner derart ausgestaltet, dass es folgende Schritte aufweist:
- - Erfassen des von den Ultraschallsensoren einsehbaren Bereichs mit einem Referenzsensor,
- - Erstellen einer Referenz-3D-Punktwolke bzw. einer Referenz-Tiefenkarte auf der Grundlage des von dem Referenzsensor erfassten Bereichs und
- - Eingeben der Referenz-3D-Punktwolke bzw. der Referenz-Tiefenkarte in das zweite künstliche neuronale Netzwerk zum Überprüfen der Ground Truth der von dem anderen künstlichen neuronalen Netzwerk erstellten 3D-Punktwolke bzw. Tiefenkarte.
Als Referenzsensoren kommen insbesondere Sensoren in Betracht, die eine direkte Tiefenabtastung der Umgebung des Fahrzeugs erlauben, also z.B. LIDAR-Sensoren oder Time-of-Flight-Kameras.
-
Diese Verfahren umfassen vorzugsweise ferner den Schritt:
- - Umwandeln der Referenz-3D-Punktwolke bzw. der Referenz-Tiefenkarte derart, dass deren Punkte den tatsächlichen Reflexionspunkten der von dem anderen künstlichen neuronalen Netzwerk erstellten 3D-Punktwolke bzw. Tiefenkarte entsprechen.
-
Gemäß einer bevorzugten Weiterbildung der Erfindung ist somit wenigstens ein weiteres künstliches neuronales Netzwerk vorgesehen, das Tiefenkarten bzw. 3D-Punktwolken von einem Referenzsensor so umwandelt, dass diese den tatsächlichen Reflexionspunkten des Ultraschallsignals entsprechen. Diese bevorzugte Ausgestaltung rührt daher, dass eine LIDAR-Punktwolke typischerweise deutlich mehr Reflexionspunkte besitzt als über Ultraschall generierbar.
-
Eine weitere bevorzugte Ausgestaltung der Erfindung liegt darin, die Realitätsnähe der künstlich erzeugten Punktwolke nicht selbst zu überprüfen, sondern eine weiteres Netzwerk einzufügen, das Objekte in der Ultraschallpunktwolke erkennt. Dadurch können dann Objektlisten miteinander vergleichen werden, woraus Rückschlüsse gezogen werden können, wie gut die ermittelte 3D-Punktwolke bzw. die Tiefenkarte zur Realität passt.
-
Die Erfindung betrifft auch ein nichtflüchtiges, computerlesbares Speichermedium mit darauf abgespeicherten Befehlen, die bei ihrer Ausführung auf einem Prozessor ein Verfahren, wie zuvor beschrieben, bewirken.
-
Die Erfindung betrifft außerdem eine Sensoranordnung, die zum Betrieb mittels eines Verfahrens, wie zuvor beschrieben, eingerichtet ist. Vorzugsweise weist eine solche Sensoranordnung als Sensoreinheiten Ultraschallsensoreinheiten auf, die zum Senden und/oder Empfangen von Ultraschallsignalen ausgebildet sind.
-
Nachfolgend wird die Erfindung anhand eines bevorzugten Ausführungsbeispiels unter Bezugnahme auf die Zeichnungen weiter im Detail erläutert.
-
In den Zeichnungen zeigen:
- 1 schematisch ein Fahrzeug, das mit einem System zur Durchführung eines Arbeitsverfahrens nach einem bevorzugten Ausführungsbeispiel ausgerüstet ist,
- 2 schematisch ein Arbeitsverfahren gemäß einem bevorzugten Ausführungsbeispiel der Erfindung,
- 3 schematisch ein Fahrzeug, das mit einem System zur Durchführung eines Trainingsverfahrens nach einem bevorzugten Ausführungsbeispiel ausgerüstet ist,
- 4 schematisch das Fahrzeug aus 3 mit der Verarbeitungseinrichtung im Detail,
- 5 schematisch ein Trainingsverfahren gemäß einem bevorzugten Ausführungsbeispiel der Erfindung,
- 6 schematisch ein Fahrzeug, das mit einem System zur Durchführung eines Arbeitsverfahrens nach einem anderen bevorzugten Ausführungsbeispiel ausgerüstet ist, und
- 7 schematisch ein Arbeitsverfahren gemäß einem bevorzugten Ausführungsbeispiel der Erfindung, das mit dem in 6 dargestellten System durchführbar ist.
-
Aus 1 ist schematisch ein Fahrzeug 1 ersichtlich, das mit einem System zur Durchführung eines Verfahrens nach einem bevorzugten Ausführungsbeispiel ausgerüstet ist. Dieses System umfasst sechs Ultraschallsensoren 21, 22, 23, 24, 25, 26 im Frontbereich des Fahrzeugs 3 sowie eine Verarbeitungseinrichtung 5, die mit einem künstlichen neuronalen Netzwerk 6 ausgerüstet ist. Genauso kann das System alternativ oder zusätzlich Ultraschallsensoren im Heckbereich des Fahrzeugs 1 aufweisen.
-
Die Ultraschallsensoren 21 bis 26 sind zum Senden und zum Empfangen von Ultraschallsignalen eingerichtet, was in 1 mit einer Mehrzahl von Doppelpfeilen angedeutet ist. Auf diese Weise können von den Ultraschallsensoren 21 bis 16 Ultraschallsignale in die Umgebung vor dem Frontbereich 3 des Fahrzeugs 1 ausgesandt werden. Die Anteile dieser Ultraschallsignale, die von Objekten 2, 2', 2", die sich vor dem Frontbereich 3 des Fahrzeugs 1 befinden, in Richtung zu den Ultraschallsensoren 21 bis 16 reflektiert werden, können von diesen wieder empfangen werden.
-
Damit wird folgendes, in 2 schematisch dargestelltes Verfahren ermöglicht:
- In einem ersten Verfahrensschritt S1 werden von jedem Ultraschallsensor 21 bis 26 Ultraschallsignale in die Umgebung vor dem Frontbereich 3 des Fahrzeugs 1 ausgesandt. An den Objekten 2, 2', 2" reflektierte Anteile dieser Ultraschallsignale werden mittels der Ultraschallsensoren 21 bis 26 in Verfahrensschritt S2 wieder empfangen. Diese Signale sind Ultraschallrohdaten bzw. deren Einhüllende. In dem darauf folgenden Verfahrensschritt S3 werden auf den empfangenen reflektierten Ultraschallsignalen basierende Signale generiert, also Signale, die aus den Ultraschallrohdaten bzw. deren Einhüllender erzeugt werden. Vorliegend sind dies Bilddaten in einem Bilddatenformat, die nachfolgend in Verfahrensschritt S4 in das künstliche neuronale Netzwerk 6 eingegeben werden.
-
Bei dem künstlichen neuronalen Netzwerk 6 handelt es sich vorliegend um ein Convolutional Neural Network, das in besonderem Maße für die Verarbeitung von Bilddaten geeignet ist. In dem künstlichen neuronalen Netzwerk 6 erfolgt schließlich eine derartige Verarbeitung der Bilddaten, dass es letztlich in Verfahrensschritt S5 zur Ausgabe einer 3D-Punktwolke und/oder einer Tiefenkarte durch das künstliche neuronale Netzwerk 6 kommt.
-
Das zuvor beschriebene Verfahren stellt den Arbeitsmodus des Systems dar, also einen Modus, in dem das künstliche neuronale Netzwerk 6 bereits gelernt hat, die aus den Ultraschalldaten generierten Bilddaten derart zu interpretieren, dass damit eine 3D-Punktwolke bzw. eine Tiefenkarte generiert werden kann, die ein gutes Abbild der Umgebung vor dem Frontbereich 3 des Fahrzeugs 1 darstellt und damit mit einer gewissen Genauigkeit auch die Form und Lage der Objekte 2, 2', 2" vor dem Frontbereich 3 des Fahrzeugs 1 wiedergibt.
-
Um zu einem solchen Arbeitsmodus zu gelangen, kann gemäß einem bevorzugten Ausführungsbeispiel der Erfindung ein Trainingsverfahren durchgeführt werden, wie schematisch in den 3 und 4 dargestellt. 3 zeigt dabei, dass das Fahrzeug 1 einerseits ausgerüstet ist, wie in 1 dargestellt, darüber hinaus aber mit einem Referenzsensor 4 versehen ist, und zwar in Form eines LIDAR-Sensors. Der Referenzsensor ist derart am Fahrzeug 1 angeordnet, dass er jedenfalls auch den Bereich einsieht, der von den Ultraschallsensoren 21 bis 26 im Frontbereich 3 des Fahrzeugs 1 abtastbar ist. Dies ist in 3 mit zwei gestrichelten Linien gezeigt, die den von dem Referenzsensor 4 einsehbaren Sichtbereich andeuten. Der Referenzsensor 4 ist, ebenso wie die Ultraschallsensoren 21 bis 26, mit der Verarbeitungseinrichtung 5 verbunden, so dass von dem Referenzsensor 4 erfasste Signale ebenfalls an die Verarbeitungseinrichtung 5 übermittelt werden können. Aufgrund der Ausgestaltung des Referenzsensors 4 als LIDAR-Sensor handelt es sich bei den von dem Referenzsensor 4 erfassten Daten um Tiefendaten zu dem von ihm erfassten Bereich, also dem Bereich vor dem Frontbereich 3 des Fahrzeugs 1, in dem sich auch die Objekte 2, 2', 2" befinden.
-
Auf diese Weise stehen dem System Informationen zu dem Bereich vor dem Frontbereich 3 des Fahrzeugs 1 auf zwei verschiedene Weisen zur Verfügung, nämlich einerseits aufgrund der Ultraschallsensoren 21 bis 26 und andererseits aufgrund des als LIDAR-Sensor ausgebildeten Referenzsensors 4. Dies eröffnet die Möglichkeit, mit Hilfe eines zweiten, ebenfalls als Convolutional Neural Network ausgebildeten künstlichen neuronalen Netzwerks 7 folgendes Verfahren durchzuführen, wie schematisch in den 4 und 5 illustriert:
- Die von den Ultraschallsensoren 21 bis 26 erfassten Signale werden, als Bildsignale verarbeitet, dem künstlichen neuronalen Netzwerk 6 zugeführt, so wie oben anhand des Arbeitsmodus beschrieben. Außerdem werden die von dem Referenzsensor 4 erfassten Tiefendaten ebenfalls in ein Bildformat umgewandelt und in dieser Form an das zweite künstlichen neuronale Netzwerk 7 gegeben. Die Verarbeitung der von den Ultraschallsensoren 21 bis 26 herrührenden Daten entspricht der Verarbeitung wie sie weiter oben anhand 2 erläutert worden ist (Verfahrensschritte S1 bis S5).
-
Parallel dazu wird der von den Ultraschallsensoren einsehbare Bereich mit dem als LIDAR-Sensor ausgestalteten Referenzsensor 4 erfasst (Verfahrensschritt S11), auf der Grundlage der erfassten LIDAR-Daten wird eine Referenz-3D-Punktwolke bzw. einer Referenz-Tiefenkarte erstellt (Verfahrensschritt S12), diese Referenz-3D-Punktwolke bzw. Referenz-Tiefenkarte wird dann in ein Bildformat umgewandelt (Verfahrensschritt S13) und in dieser Form dann in das zweite künstliche neuronale Netzwerk 7 eingegeben (Verfahrensschritt S14).
-
Um nun die Ground Truth der von dem ersten künstlichen neuronalen Netzwerk 6 erstellten 3D-Punktwolke bzw. Tiefenkarte überprüfen zu können, wird die von dem ersten neuronalen Netzwerk 6 erstellte 3D-Punktwolke bzw. Tiefenkarte in das zweites künstliche neuronales Netzwerk 7 eingegeben, so das in Verfahrensschritt S15 die eigentliche Überprüfung der Ground Truth der 3D-Punktwolke bzw. der Tiefenkarte in dem zweiten künstlichen neuronalen Netzwerk 7 erfolgen kann. Vorzugsweise ist in diesem Rahmen vorgesehen, dass die Referenz-3D-Punktwolke bzw. die Referenz-Tiefenkarte derart umgewandelt wird, dass deren Punkte den tatsächlichen Reflexionspunkten der von dem ersten künstlichen neuronalen Netzwerk 6 erstellten 3D-Punktwolke bzw. Tiefenkarte entsprechen. Der als LIDAR-Sensor ausgebildete Referenzsensor 4 generiert nämlich konstruktionsbedingt mehr Reflexionspunkte als die Ultraschallsensoren 21 bis 26. Trainiert man nun die beiden künstlichen neuronalen Netzwerke 6, 7 immer wieder nach einander, wird zum einen die Transformation immer realitätsgetreuer, so dass letztlich ein Status erzielbar ist, bei dem dann weiter oben beschriebene Arbeitsmodus erreicht worden ist, so dass das System dann in der Praxis und insbesondere ohne Unterstützung durch den Referenzsensor 4 eingesetzt werden kann.
-
Schließlich ist in den 6 und 7 noch schematisch gezeigt, wie das System gemäß einem bevorzugten Ausführungsbeispiel zusätzlich ausgestaltet sein kann, um bei der Ermittlung der 3D-Punktwolke bzw. der Tiefenkarte in dem ersten künstlichen neuronalen Netzwerk 6 zusätzliche Parameter berücksichtigen zu können. 6 zeigt dazu, dass das Fahrzeug 1 zusätzlich zu den in 1 gezeigten Einrichtungen mit einem Speicher 8 versehen ist, in dem Einbauparameter der Ultraschallsensoren 21 bis 26 abgelegt sind, mit einem Umgebungssensor 9, mit dem Umgebungsbedingungen des Fahrzeugs 1 erfassbar sind, und mit einem Zustandssensor 10, mit dem verschiedene Zustandsparameter des Fahrzeugs 1 erfassbar sind.
-
Als Einbauparameter der Ultraschallsensoren 21 bis 26 können die Einbauhöhe der Ultraschallsensoren 21 bis 26, wie die Höhe über dem Boden, auf dem sich das Fahrzeug 1 befindet bzw. bewegt, und/oder der Abtastwinkel der Ultraschallsensoren 21 bis 26 berücksichtigt werden, also der Winkel, unter dem die Umgebung des Fahrzeugs 1 von dem jeweiligen Ultraschallsensor 21 bis 26 erfasst wird. Umgebungsbedingungen des Fahrzeugs 1 sind vorzugsweise die Umgebungstemperatur des Fahrzeugs 1 oder andere Wetterparameter, wie auch der Feuchtegrad der Oberfläche, auf der sich das Fahrzeug 1 befindet. Daten betreffend den Zustand des Fahrzeugs 1 sind vorzugsweise Geschwindigkeitsdaten für das Fahrzeug 1, aber auch Daten zur Beschleunigung usw.
-
Wie schematisch aus 7 ersichtlich, umfasst das Verfahren gemäß dem vorliegend beschriebenen bevorzugten Ausführungsbeispiel der Erfindung daher - zusätzlich zu dem in 2 gezeigten Verfahren - die Verfahrensschritte des Eingebens der in dem Speicher 8 abgelegten Daten betreffend die Einbauparameter der Ultraschallsensoren 21 bis 26 in das erste künstliche neuronale Netzwerk 6 (Verfahrensschritt S21), das Eingeben der von dem Umgebungssensor 9 erfassten Daten betreffend die Umgebungsbedingungen des Fahrzeugs 1 in das erste künstliche neuronale Netzwerk 6 (Verfahrensschritt S22) und das Eingeben der von dem Zustandssensor 10 erfassten Daten betreffend den Zustand des Fahrzeugs 1 in das erste künstliche neuronale Netzwerk 6. Auf diese Weise, nämlich durch die Berücksichtigung zusätzlicher Parameter im Verfahrensschritt S4, wird die Erstellung einer der tatsächlichen Umgebung des Fahrzeugs möglichst nahkommenden und in Verfahrensschritt S5 ausgegebenen Tiefenkarte bzw. 3D-Punktwolke innerhalb des ersten künstlichen neuronalen Netzwerks 6 weiter verbessert.
-
Bezugszeichenliste
-
- 1
- Fahrzeug
- 2, 2', 2"
- Objekte vor dem Frontbereich des Fahrzeugs
- 3
- Frontbereich des Fahrzeugs
- 4
- Referenzsensor
- 5
- Verarbeitungseinrichtung
- 6
- erstes künstliches neuronales Netzwerk
- 7
- zweites künstliches neuronales Netzwerk
- 8
- Speicher
- 9
- Umgebungssensor
- 10
- Zustandssensor
- 21 bis 26
- Ultraschallsensoren
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102017006599 A1 [0007]
- DE 102017101106 A1 [0008]
- US 2012/0293356 A1 [0008]
