-
Technisches Gebiet
-
Die Anmeldung betrifft ein Verfahren zum Identifizieren zumindest eines Bereiches in optischen Bildinformationen sowie ein optisches Erfassungssystem für ein Fahrzeug.
-
Hintergrund
-
Moderne Fahrzeuge (Autos, Transporter, Lastwagen, Motorräder etc.) verfügen über eine Vielzahl an Sensor-Systemen, deren Daten zur Fahrerinformation dienen und/oder Fahrerassistenzsystemen zur Verfügung gestellt werden. Über die Sensor-Systeme werden die Umgebung des Fahrzeugs sowie andere Verkehrsteilnehmer erfasst. Basierend auf den erfassten Daten kann ein Modell der Fahrzeugumgebung erzeugt werden und auf Veränderungen in dieser Fahrzeugumgebung reagiert werden.
-
Sensor-Systeme werden für verschiedene Funktionen ständig weiterentwickelt, z. B. für die Erfassung von Umgebungsinformationen im Nah- und Fernbereich von Fahrzeugen, wie Personenkraftwaren oder Nutzfahrzeugen. Sensor-Systeme können auch für Fahrerassistenzsysteme, insbesondere Assistenzsysteme zur autonomen oder teilautonomen Fahrzeugsteuerung, eingesetzt werden. Sie können insbesondere zur Erkennung von Hindernissen und/oder anderen Verkehrsteilnehmern im Front-, Heck- oder im Totwinkel-Bereich eines Fahrzeuges genutzt werden. Sensor-Systeme können auf verschiedenen Sensor-Prinzipien, wie z. B. Radar, Ultraschall, Optik beruhen.
-
Ein optisches Erfassungssystem zur Umgebungserfassung, z. B. von Fahrzeugen, kann auf der Lidartechnik (Lidar engl. Light Detection and Ranging) basieren. Ein Lidar-System weist eine optische Sendeeinrichtung und eine optische Empfangseinrichtung auf. Die Sendeeinrichtung kann ein optisches Sendesignal in Form von Licht aussenden, das kontinuierlich oder gepulst sein kann. Zudem kann das optische Sendesignal moduliert sein. In einem Lidar-Sensor kann insbesondere Licht in Form von Laserstrahlen im ultravioletten, visuellen oder infraroten Bereich zum Einsatz kommen. Durch die Empfangseinrichtung kann das Licht nach Reflexion an einem Objekt in einem Erfassungsbereich in der Umgebung des Lidar-Sensors empfangen werden. Das optische Empfangssignal kann unter Verwendung des optischen Sendesignals z. B. nach einem Lichtlaufzeitverfahren ausgewertet werden und es können die räumliche Lage und der Abstand des Objekts, an dem die Reflexion erfolgte, ermittelt werden. Unter Reflexion oder reflektiertem Licht wird vorliegend jegliches zurückgeworfenes Licht verstanden und soll insbesondere auch durch Streuung oder Absorptions-Emission zurückgeworfenes Licht umfassen.
-
In
US10564267B2 wird ein optisches Erfassungssystem beschrieben, bei dem eine Lichtquelle Lichtimpulse in die Umgebung emittiert, und ein pixelbasierter Bildsensor reflektierte Impulse empfängt und ein Hauptbild erzeugt. Ein Bildprozessor identifiziert übersättigte Bildteile des Hauptbildes und interpretiert die übersättigten Bildteile unter Verwendung von vom Bildsensor erfassten zusätzlichen Bildinformationen. Die zusätzlichen Bildinformationen können aus einem sekundären Bild mit geringer Beleuchtung gewonnen werden.
-
Übersicht
-
Ein Verfahren zum Identifizieren zumindest eines Bereiches in optischen Bildinformationen weist auf:
- Ermitteln einer ersten optischen Bildinformation einer Umgebung unter Verwendung eines ausgesendeten und empfangenen optischen Signals, wobei die erste optische Bildinformation ein Distanzbild der Umgebung umfasst,
- Ermitteln einer zweiten optischen Bildinformation der Umgebung durch empfangenes Licht, wobei die zweite optische Bildinformation ein zweidimensionales Bild der Umgebung umfasst,
- Ermitteln einer Kontur zumindest eines Objektes in der ersten und in der zweiten Bildinformation,
- Identifizieren des zumindest einen Bereiches unter Verwendung eines Vergleiches der Kontur in der ersten und in der zweiten Bildinformation.
-
Die Kontur des Objektes, auch Umriss oder Silhouette genannt, bezeichnet eine Kurve, die das Objekt von seiner Umgebung abgrenzt. Die Kontur bezieht sich auf die äußere Grenze oder Umrisse des Objekts. Es ist die Linie, die den Rand oder die Form eines Objekts definiert und von seiner Umgebung abgrenzt. In Bildinformationen kann die Kontur als eine Abfolge von Punkten oder Vektoren betrachtet werden, die den Umriss eines Objekts beschreiben. Die Kontur kann z. B. durch mathematische Algorithmen gewonnen werden und kann Teil einer Objekterkennung sein. Die Konturerkennung in Bildinformationen kann z. B. auf kantenbasierten oder schwellenwertbasierten Algorithmen basieren, welche Intensitätswerte oder Amplitudenwerte von Bildinformationen verwenden.
-
Die erste und die zweite Bildinformation bezieht sich dabei zumindest teilweise auf die gleiche Szene der Umgebung. Hierdurch kann sowohl in der ersten Bildinformation als auch in der zweiten Bildinformation die gleiche zumindest eine Kante identifiziert werden und es kann zumindest ein Bereich identifiziert werden, der die gleiche Szene der Umgebung, z. B. das gleiche Objekt abbildet.
-
Zu Identifikation des zumindest einen interessierenden Bereiches wird zumindest ein mit aktiver Beleuchtung durch ein optisches Signal erzeugtes Distanzbild und zumindest ein mittels empfangenen Lichts ermitteltes zweidimensionales Bild verwendet. Das empfangene Licht kann sich dabei insbesondere von dem optischen Signal unterschieden. Die Unterschiede in einer Belichtung zur Ermittlung der ersten und zweiten Bildinformation können dann genutzt werden, um den zumindest einen interessierenden Bereich zu identifizieren. Hierfür wird die gleiche Kontur des gleichen Objektes in der Umgebung in der ersten und der zweiten Bildinformation ermittelt und verglichen. Dies erleichtert die Identifikation von Bereichen mit unerwünschten optischen Artefakten.
-
Der Begriff Artefakt bezieht sich auf unerwünschte Effekte oder Störungen, die in optischen Systemen auftreten können und die Qualität oder Genauigkeit von Bildern oder Messungen beeinflussen. Diese Artefakte können verschiedene Ursachen haben, einschließlich der Eigenschaften der optischen Komponenten, des Designs des Systems oder der Art und Weise, wie das Licht erfasst und verarbeitet wird. Optische Artefakte in optischen Erfassungssystemen können beispielsweise Blooming und/oder Ghosting sein.
-
Ungewollte Blooming oder Ghosting" Effekte können bei optischen Erfassungssystemen, welche mit ausgesendeten optischen Signalen arbeiten, wie z. B. Lidar-Systemen z. B. durch hochreflektive oder retroreflektive Objekte in der Umgebung und/oder durch Objekte, welche sehr nah an dem Erfassungssystem sind, auftreten.
-
Solche, z. B. hochreflektiven, retroreflektiven oder nahen, Objekte können dabei durch übermäßige Reflexionen in der Bildinformation Bereiche, die größer sind als sie selbst überscheinen, so dass ein heller Lichthof um das stark reflektierende Objekt in der Bildinformation erscheint. Andere Objekte in der unmittelbaren Umgebung des hochreflektiven oder retroreflektiven Objektes können dann ebenfalls nicht mehr sichtbar sein. Dieser Effekt wird als Blooming bezeichnet. Die hochreflektiven oder retroreflektiven Objekte können auch in der Bildinformation in Form von Phantomkopien an einer anderen Stelle auftreten, als sie eigentlich existieren. Dieser Effekt wird als Ghosting bezeichnet.
-
In einer Ausführungsform des Verfahrens weist der identifizierte Bereich die Kontur zumindest teilweise auf. Die Unterschiede in der Belichtung zur Ermittlung der ersten und zweiten Bildinformation können genutzt werden, um den zumindest einen interessierenden Bereich anhand der ermittelten Kontur zu identifizieren. Z. B. kann die zweite Bildinformation so gewählt sein, dass eine Sättigung eines Empfangssensors unwahrscheinlich ist. Bei in der zweiten Bildinformation erkannten Konturen kann damit von einem hohen Grad an Korrektheit ausgegangen werden. Dies erleichtert die Identifikation von Bereichen mit Konturen, in denen unerwünschte Artefakte, wie z. B. Blooming und/oder Ghosting auftreten können.
-
Insbesondere kann durch den Vergleich ein Unterschied der Kontur in der ersten Bildinformation im Vergleich zur Kontur in der zweiten Bildinformation ermittelt werden. Über den Unterschied in der Kontur kann dabei z. B. erkannt werden, das die erste und/oder die zweite Bildinformation zu korrigieren ist. Mit der Kenntnis über mögliche Überbelichtungen in der ersten Bildinformation, können die zusätzlichen Informationen in der zweiten Bildinformation hilfreich für die weitere Bildverarbeitung sein.
-
Unterschiede der zumindest einen Kontur zwischen der ersten Bildinformation und der zweiten Bildinformation können z. B. dadurch ermittelt werden, dass die erste Bildinformation im Bereich der zumindest einen Kontur und die zweite Bildinformation in Bereich der zumindest einen Kontur einen bestimmten Distanzwert überschreitet. Alternativ oder zusätzlich können auch andere Methoden der Bildverarbeitung angewendet werden, um Unterschiede in den Bildinformationen zu ermitteln.
-
Durch den Vergleich der zumindest einen Kontur kann z. B. ein optisches Artefakt in der ersten und/oder der zweiten Bildinformation ermittelt werden. Die Kontur in z. B. der ersten Bildinformation kann damit z. B. als zu korrigierend erkannt werden, da z. B. ein optisches Artefakt in dem Bereich, der zumindest einen Teil der Kontur aufweist, vorliegt. Die zweite Bildinformation kann zu dieser Korrektur herangezogen werden.
-
In einer Ausführungsform des Verfahrens wird nach dem Identifizieren des zumindest einen Bereiches eine dritte Bildinformation unter Verwendung der ersten und der zweiten Bildinformation ermittelt. Die dritte Bildinformation kann z. B. mit dem Ziel berechnet werden, ein in der ersten und/oder zweiten Bildinformation vorliegendes Artefakt unter Heranziehung der jeweils anderen Bildinformation zu korrigieren.
-
Die dritte Bildinformation kann insbesondere die erste Bildinformation aufweisen, welche in dem identifizierten Bereich unter Verwendung der zweiten Bildinformation verändert ist. Insbesondere kann beispielsweise ein in der ersten Bildinformation, z. B. in dem Distanzbild, vorliegendes Artefakt durch Informationen der zweiten Bildinformation korrigiert werden.
-
In einer Ausführungsform des Verfahrens weist die zweite Bildinformation ein Graubild der Umgebung auf. Ein Graubild ist ein zweidimensionales Bild, das nur Grautöne enthält, ohne Farbinformationen. Es kann auch als Schwarz-Weiß-Bild oder Monochrombild bezeichnet werden. Im Gegensatz zu einem Farbbild besteht ein Graubild nur aus verschiedenen Abstufungen von Grautönen, wobei jeder Pixel einen Helligkeitswert zwischen Schwarz (keine Helligkeit) und Weiß (volle Helligkeit) aufweist. Durch die Konzentration auf die Helligkeitswerte können Graubilder z. B. verwendet werden, wenn Details, Kontraste oder insbesondere Konturen einer Szene wichtig sind.
-
Verfahren nach einem der vorhergehenden Ansprüche, wobei das empfangene Licht Hintergrundlicht aufweist und die zweite Bildinformation durch eine pixelweise Rauschmessung ermittelt wird. Das empfangene Licht kann dabei z. B. das Hintergrundlicht der Umgebung umfassen, und das zweidimensionale Bild kann ein passives Bild sein, das ohne aktive Beleuchtung erzeugt wird.
-
Der Empfang des optischen Signals und des Lichts erfolgt über den Empfangssensor, welcher ein Feld von Pixeln aufweist, welcher zum Empfang das optische Signal und das Licht in elektrische Sensorsignale wandelt. Hierfür kann der jeweilige Pixel z. B. fotosensitive Elemente, z. B. fotosensitive Halbleiterelemente, aufweisen. Ein Pixel kann auch als Bildpunkt bezeichnet werden. Die pixelbasierte Auswertung umfasst dabei die Auswertung zumindest eines Pixels des Sensorsignals, also die Auswertung zumindest eines jeweiligen elektrischen Sensorsignals des zumindest einen Pixels. Ein jeweiliger Pixel oder eine jeweilige Gruppe von Pixeln des Empfangssensors kann dabei insbesondere zum Empfang von Licht aus einer bestimmten Richtung ausgebildet sein. Diese Richtungsinformation kann auch als Winkelinformation bezeichnet, werden, da sie die Winkelrichtung im Raum angibt, von der die Reflexion des empfangenen Lichts erfolgte. Aus z. B. Richtung und Entfernung des Ortes, wo die Reflexion erfolgte, lässt sich eine 3D-Punktwolke der Umgebung des Lidar-Systems zusammensetzen.
-
Bei der pixelbasierten Rauschmessung wird die Verteilung der Punkte in dem Pixelfeld des Empfangssensors analysiert. Dabei werden die Punkte der Punktwolke innerhalb jedes Pixels gezählt und statistische ausgewertet. Durch die Analyse dieser statistischen Werte kann ein pixelweises Rauschniveau ermittelt werden. Eine höhere Anzahl von Punkten in einem Pixel kann auf eine höhere Messgenauigkeit hindeuten, während eine größere Variation der Punktdichte auf Rauschen hindeuten kann.
-
Vorliegend umfasst die zweite Bildinformation also ein Graubild, welches durch eine pixelbasiert Rauschmessung gewonnen wird. Dabei kann die Rauschmessung z. B. auf Hintergrundlicht basieren und ohne passiv, also ohne zusätzliche Lichtquelle gewonnen werden. In dieser Ausführungsform entspricht das empfangene Licht also Hintergrundlicht.
-
In einer Ausführungsform weist das empfangene Licht das empfangene optische Signal auf und die zweite Bildinformation wird unter Verwendung der ersten Bildinformation ermittelt. Dies hat den Vorteil, dass die Auswertung des optischen Signals zugleich zur Ermittlung der zweiten Bildinformation verwendet werden kann. Es muss kein zusätzlicher Empfangsvorgang durchgeführt werden. Die Auswertung des optischen Signals zur Ermittlung der zweiten Bildinformation kann insbesondere so gewählt werden, dass die Artefakte in der zweiten Bildinformation vermieden werden. Hierbei kann die Ermittlung der zweiten Bildinformation z. B. eine Mittelung von empfangenen Amplitudenwerten des optischen Signals über einen Abschnitt der Messdistanz, insbesondere über die gesamte Messdistanz, umfassen.
-
Ein optisches Erfassungssystem weist eine optische Sendeeinrichtung auf, welche zum Aussenden des optischen Signals eingerichtet ist. Das optische Erfassungssystem weist weiter eine optische Empfangseinrichtung auf, welche zum Empfang des optischen Signals eingerichtet ist und hierfür den Empfangssensor aufweisen kann. Das optische Erfassungssystem weist weiter eine Recheneinrichtung auf.
-
Die Recheneinrichtung ist eingerichtet, die erste optische Bildinformation der Umgebung unter Verwendung des ausgesendeten und empfangenen optischen Signals zu ermitteln, wobei die erste optische Bildinformation das Distanzbild der Umgebung umfasst. Die Recheneinrichtung ist weiter eingerichtet, die zweite optische Bildinformation der Umgebung in Abhängigkeit von empfangenem Licht zu ermitteln, wobei die zweite optische Bildinformation ein zweidimensionales Bild der Umgebung, z. B. ein Graubild, umfasst. Die Recheneinrichtung ist eingerichtet, eine Kontur des zumindest einen Objektes in der ersten und in der zweiten Bildinformation zu ermitteln, und den zumindest einen Bereich unter Verwendung eines Vergleiches der Kontur in der ersten und in der zweiten Bildinformation zu ermitteln.
-
Die optische Empfangseinrichtung kann eingerichtet sein, das Licht zur Ermittlung der zweiten Bildinformation zu empfangen. Die optische Empfangseinrichtung kann hierfür den Empfangssensor aufweisen, welcher ein Pixelfeld zum Empfang des Lichts und des optischen Signals aufweisen kann.
-
Die optische Sendeeinrichtung kann eingerichtet sein, das Licht zur Ermittlung der zweiten Bildinformation zu auszusenden. Das von der optischen Sendeeinrichtung ausgesendete optische Signal kann dabei insbesondere das Licht zur Ermittlung der zweiten Bildinformation umfassen. Die optische Sendeeinrichtung kann eine Laser-Lichtquelle aufweisen, die zum Aussenden des optischen Signals eingerichtet ist. Die optische Sendeeinrichtung kann optional eine weitere Laser-Lichtquelle aufweisen, die zum Aussenden eines weiteren optischen Signals eingerichtet ist. Das empfangene Licht, das verwendet wird, um die zweiten Bilddaten zu ermitteln, kann dabei das weitere optische Signal aufweisen. Bevorzugt ist das weitere optische Signal schwächer als das optische Signal.
-
Das optische Erfassungssystem kann zur Verwendung in einem Fahrzeug vorgesehen sein, wobei das Fahrzeug eine zusätzliche Lichtquelle aufweisen kann, z. B. seine Frontscheinwerfer. Das Licht von dieser zusätzlichen Lichtquelle kann vorgesehen sein, als das Licht empfangen zu werden, das zur Ermittlung der zweiten Bildinformation verwendet wird.
-
Ein Computerprogrammprodukt beinhaltet Befehle, die von der Recheneinrichtung des optischen Erfassungssystems ausgeführt werden können, so dass das beschriebene Verfahren durch die Recheneinrichtung ausgeführt wird.
-
Figurenliste
-
Im Folgenden werden Ausführungsbeispiele dieser Anmeldung anhand der Figuren weiter erläutert und beschrieben. Es zeigen
- 1 schematisch ein Verfahren zum Identifizieren eines Bereiches in Bildinformationen,
- 2 schematisch ein Fahrzeug mit optischem Erfassungssystem,
- 3 +4 beispielhafte Bildinformationen.
-
Es werden in den Figuren die gleichen Bezugszeichen für gleiche oder ähnliche Elemente verwendet. Darstellungen in den Figuren können nicht maßstäblich sein.
-
Fiqurenbeschreibung
-
In 1 ist schematisch ein Verfahren zum Identifizieren eines Bereiches in ersten und zweiten Bildinformationen illustriert.
-
In A wird eine erste optische Bildinformation einer Umgebung 22 unter Verwendung eines ausgesendeten und empfangenen optischen Signals LS ermittelt. Die erste optische Bildinformation umfasst ein Distanzbild 34 der Umgebung 22. Ein Distanzbild 34 ist ein dreidimensionales Bild, bei dem jedem Bildpunkt (Pixel), ein Entfernungswert zugeordnet ist.
-
In B wird eine zweite optische Bildinformation der Umgebung 22 durch empfangenes Licht L ermittelt, wobei die zweite optische Bildinformation ein Graubild 36 der Umgebung 22 umfasst.
-
In C wird eine Kontur zumindest eines Objektes O in der ersten und in der zweiten Bildinformation ermittelt.
-
In D wird die Kontur in der ersten und in der zweiten Bildinformation vergleichen und der Bereich 44, 46 unter Verwendung des Vergleiches identifiziert. Der identifizierte Bereich 44, 46 weist dabei die Kontur zumindest teilweise auf. Durch den Vergleich wird ein optisches Artefakt in der ersten und/oder der zweiten Bildinformation ermittelt.
-
In E wird das Artefakt korrigiert, indem eine dritte Bildinformation unter Verwendung der ersten und der zweiten Bildinformation so ermittelt wird, dass in der dritten Bildinformation das Artefakt korrigiert ist.
-
Das beschriebene Verfahren erlaubt es, Fehlmessungen von optischen Erfassungssystemen 10, insbesondere Lidar-Systemen zu identifizieren und zu korrigieren. Solche Fehlmessungen können z. B. aufgrund von Blooming- und/oder Ghosting-Effekten z. B. an hochreflektiven, retroreflektiven und/oder nahen Objekten O entstehen. Hierfür wird zumindest ein mit aktiver Beleuchtung durch ein optisches Signal LS erzeugtes Distanzbild 34 und zumindest ein mittels empfangenen Lichts L ermitteltes Graubild 36 verwendet.
-
Das Graubild 36, das unter Verwendung des empfangenen Lichts L ermittelt wird, ist dabei so gewählt, dass die Fehlmessungen, die korrigiert werden sollen, bei dem Graubild 36 nicht auftreten. Z. B. kann ein passives Graubild 36 verwendet werden, welches ohne die Verwendung einer aktiven Beleuchtung erzeugt wurde. Dieses passive Graubild 36 wird dann unter Verwendung von empfangenem Licht L erzeugt, welches z. B. das Hintergrundlicht umfasst. Es ist ebenfalls möglich, dass das empfangene Licht L zur Erzeugung des Graubilds 36 reflektiertes Licht umfasst, welches aus einer anderen Lichtquelle stammt, z. B. den Scheinwerfern eines Fahrzeuges. Es ist ebenfalls möglich, dass das empfangene Licht L zur Erzeugung des Graubilds 36 reflektiertes Licht L umfasst, das reflektierte optische Signal LS umfasst. In diesem Fall erfolgt die Auswertung durch die Empfangseinrichtung 14 so, dass die zu korrigierende Fehlmessung in dem Graubild 36 nicht auftritt.
-
2 zeigt schematisch ein Fahrzeug 20, zum Beispiel einen Personenkraftwagen, mit einem optischen Erfassungssystem 10, z. B. einem Lidar-System. Das optische Erfassungssystem 10 ist im vorderen Bereich des Fahrzeugs 20 angeordnet. Die durch das optische Erfassungssystem 10 erfasste Umgebung 22 befindet sich in Fahrtrichtung vor dem Fahrzeug 20. In der Umgebung 22 ist schematisch ein Objekt O dargestellt. Das optische Erfassungssystem 10 weist eine optische Sendeeinrichtung 12 zum Aussenden des optischen Signals LS auf. Die Sendeeinrichtung 12 kann insbesondere eine Lichtquelle zum Aussenden von Laserlicht aufweisen. Das optische Erfassungssystem 10 weist weiter eine optische Empfangseinrichtung 14 zum Empfang des reflektierten optischen Signals LS auf und optional anderem Licht L auf. In einer Recheneinrichtung 18 können das gesendete optische Signal LS und das empfangene optische Signal LS ausgewertet werden, um eine Erfassung der Umgebung 22 durchzuführen und z. B. das Objekt O zu erfassen.
-
Das dargestellte optische Erfassungssystem 10 ist als abtastendes (engl. scanning) Erfassungssystem 10 ausgebildet. Das optische Erfassungssystem 10 weist eine optische Ablenkeinrichtung 16 auf, welche das von der Sendeeinrichtung 12 gesendete optische Signal LS ablenkt und das aus der Umgebung 22 reflektierte optische Signal LS und optional anderes Licht L in Richtung der Empfangseinrichtung 14 ablenkt. Die Ablenkeinrichtung 16 kann den Winkel, mit dem das optische Signal LS abgelenkt wird, verändern und so ein z. B. schrittweises Abtasten Umgebung 22 realisieren. Eine mögliche Abtastbewegung des optischen Signals LS ist in 2 durch den Pfeil 24 dargestellt. Das beschriebene Verfahren kann auch bei optischen Erfassungssystemen 10 angewendet werden, welche nicht abtastend sind und/oder keine optische Ablenkeinrichtung 16 aufweisen.
-
Die Empfangseinheit 14 weist zum Empfang des optischen Signals LS und optional des Lichts L einen Empfangssensor auf. Der Empfangssensor weist Pixel auf, mittels welcher Licht L und/oder optische Signale LS in elektrische Sensorsignale gewandelt werden können.
-
In der Recheneinrichtung 18 kann das mit Bezug auf 1 beschriebene Verfahren ausgeführt werden. In der Recheneinrichtung 18 kann ebenfalls der Sendevorgang in der Sendeeinrichtung 12, der Empfangsvorgang in der Empfangseinrichtung 14 sowie ggf. die Ablenkwirkung der Ablenkeinrichtung 16 kontrolliert und gesteuert werden.
-
Im dargestellten Beispiel kann die Umgebung 22 in Fahrtrichtung vor dem Fahrzeug 20 überwacht werden. Es ist ebenfalls möglich, das optische Erfassungssystem 10 in anderen Bereichen des Fahrzeuges 20 anzuordnen, zum Beispiel im Heckbereich und/oder in Seitenbereichen. Es ist ebenfalls möglich, mehrere optische Erfassungssysteme 10 an dem Fahrzeug 20 anzuordnen, insbesondere auch in Eckbereichen des Fahrzeuges 20.
-
Mit dem optischen Erfassungssystem 10 können stehende oder bewegte Objekte O, insbesondere Fahrzeuge, Personen, Tiere, Pflanzen, Hindernisse, Fahrbahnunebenheiten, insbesondere Schlaglöcher oder Steine, Fahrbahnbegrenzungen, Verkehrszeichen, Freiräume, insbesondere Parklücken, Niederschlag oder dergleichen, in der Umgebung 22 erfasst werden.
-
In dem Fahrzeug 20 können die durch das optische Erfassungssystem 10 erzeugten Informationen zur Realisierung von autonomen oder teilautonomen Fahrfunktionen verwendet werden.
-
In 3 sind beispielhaft Bildinformationen dargestellt, welche mit dem optischen Erfassungssystem 10 ermittelt werden können.
-
Ein Amplituden-Bild 32 stellt die Umgebung 22 in Bezug auf die Signalamplitude dar. Es wird also zu jedem Bildpunkt die Amplitude des empfangenen optischen Signals LS dargestellt. Insbesondere bei einem Lidar-System wird ein solches Bild 32 mit der Signalamplitude auch als Intensitätsbild 32 bezeichnet. Es liefert Informationen über die Stärke des reflektierten optischen Signals LS, das von verschiedenen Objekten O zurückgeworfen wird. Durch die Analyse der Signalamplitude kann man Informationen über die Reflexionseigenschaften verschiedener Objekte O erhalten. Das Intensitätsbild 32 kann zusammen mit dem Distanzbild 34 verwendet werden, um bessere Informationen über die Umgebung 22 zu erhalten.
-
In 3 ist außerdem das Distanzbild 34 und das Graubild 36 dargestellt. In dem Distanzbild 34 ist jedem Bildpunkt (Pixel) ein Entfernungswert zugeordnet. Der Entfernungswert kann z. B. in der Recheneinrichtung 18 durch Auswertung des optischen Signals LS ermittelt werden. Der Entfernungswert bezieht sich dabei auf die Entfernung von dem optischen Erfassungssystem 10, in der das ausgesendete optische Signal LS reflektiert wurde.
-
Um das Graubild 36 zu erzeugen, wird das empfangene Licht L ausgewertet. Das empfangene Licht L kann dabei zum Beispiel Umgebungslicht aufweisen, woraus dann ein passives Graubild 36 erzeugt werden kann, dessen Erzeugung ohne zusätzliche Lichtquelle auskommt.
-
Das empfangene Licht L kann außerdem Licht aufweisen, das von einer externen Lichtquelle, wie z. B. einem Frontscheinwerfer des Fahrzeuges 20, stammt. Hierbei kann es dann zu mehr Helligkeit im Graubild 36 kommen, als bei einem passiven Graubild 36.
-
Außerdem kann das empfangene Licht L in dem optischen Signal LS enthalten sein, das sowieso von der optischen Empfangseinrichtung 14 ausgewertet wird. Dies ist besonders vorteilhaft, da das Graubild 36 direkt über gleichen Signalpfad aufgenommen wird, wie er auch für die Ermittlung des Distanzbildes 34 und/oder des Intensitätsbildes 32 verwendet wird. Dies kann sich sowohl auf den optischen als auch den elektrischen Anteil des Signalpfades beziehen. Durch die Verwendung können Effekte ausgeschlossen werden, die sich durch die Verwendung von anderen Signalpfaden ergeben würden. Außerdem ist diese Methode vorteilhaft bei scannenden Erfassungssystemen 10, bei denen sich die erfasste Umgebung 22 z. B. in die Richtung 24 weiterdreht.
-
Hierfür kann z. B. das Graubild 36 aus dem Intensitätsbild 32 generiert werden. In dem Intensitätsbild 32 sind bereits Helligkeitsinformationen enthalten. Ist das Intensitätsbild 32 ein Bild mit räumlichen Informationen, so können die Amplitudenwerte über einen gewissen Distanzbereich, z. B. den gesamten erfassten Distanzbereich der Umgebung 22 statistisch verarbeitet werden. Dies kann zum Beispiel durch eine Mittelung der Amplitudenwerte über die gesamte erfasste Distanz in der Umgebung 22 erfolgen.
-
Es ist ebenfalls möglich, das Graubild 36 aus einem weiteren optischen Signal zu erzeugen, das schwächer ist als das optische Signal LS. Die Laser-Lichtquelle der optischen Sendeeinrichtung 12 kann hierfür neben dem optischen Signal LS z. B. zusätzlich das weitere optische Signal aussenden. Alternativ oder zusätzlich kann die optische Sendeeinrichtung 12 z. B. eine weitere Laser-Lichtquelle aufweisen, welche das weitere optische Signal ausstrahlt. Das weitere optische Signal kann z. B. als schwaches Dauerlicht ausgesendet werden. Das weitere optische Signal kann dann von der optischen Empfangseinrichtung 14 ausgewertet werden, um das Graubild 36 zu erzeugen. In diesem Ausführungsbeispiel umfasst das empfangene Licht L das weitere optische Signal.
-
Die Konturen von einem Objekt O oder mehreren Objekten O, die durch das Graubild 36, geliefert werden, werden mit dem zumindest einen Distanzbild 34 kombiniert. Hierfür werden die Bereiche 44, 46 mit den Konturen identifiziert und die jeweiligen Bereiche 44, 46 aus Distanzbild und zweidimensionalem Bild verglichen. Durch den Vergleich können die aufgrund von z. B. Blooming und Ghosting entstehenden durch Artefakte hervorgerufenen Fehlmessungen identifiziert und in der Folge korrigiert werden. Insbesondere bei passiven Graubildern 36 treten die zu korrigierenden Fehlmessungen, z. B. Blooming oder Ghosting, aufgrund der fehlenden Beleuchtung nicht oder schwächer auf.
-
Beispielhafte Bereiche 42, 44, 46 sind in 4 dargestellt. Diese Bereiche 42, 44, 46 entsprechen den Bereichen am linken Rand der Bilder 32, 34, 36. Diese Bereiche 42, 44, 46 weisen die Kontur des Objektes O auf, welches ein Verkehrsschild mit Pfosten umfasst.
-
Da das Graubild 36 über das empfangene Licht L erfasst wird, kann es sein, dass es nicht so anfällig für Artefakte ist, die durch die Verwendung des optischen Signals LS zur Ermittlung des Distanzbildes 34 entstehen können und die zu Fehlmessungen führen können. Insbesondere Objekte O mit hohen Reflektivität und/oder Objekte O in der Nähe des optischen Erfassungssystems 10 sind im Graubild 36 also weniger anfällig für die Fehlmessungen.
-
Im Distanzbild 34 wird in dem Bereich 44 bei dem Objekt O der Pfahl des Verkehrsschildes von der Reflexion der retroreflektiven Fläche des Schildes selbst überstrahlt. Dieses Artefakt führt zu Fehlmessungen werden, die im Graubild 36 im Bereich 46 z. B. aufgrund der fehlenden oder viel geringeren Beleuchtung nicht generiert werden. Dies führt dazu, dass im Graubild 36 im Bereich 46 der Pfahl des Schildes von Objekt O erkennbar ist. Somit ist es möglich die Konturen, welche das Graubild 36 im Bereich 46 liefert mit dem Bereich 44 des Distanzbildes 34 zu kombinieren und die z. B. durch Blooming und/oder Ghosting entstehenden Fehlmessungen entsprechend zu identifizieren. Nach der Identifikation können diese dann herausgerechnet und damit korrigiert werden.
-
Amplitudenwerte oder Rauschmessungen zur Ermittlung des Graubildes 36 können auch aus akkumulierten Messungen aus den gleichen oder nebeneinanderliegenden Bereichen 44, 46 der Umgebung 22 rekonstruiert werden. Dies kann insbesondere bei scannenden Erfassungssystemen 10 vorteilhaft sein, wo sich der aktuell erfasste Bereich kontinuierlich ändert.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
