[go: up one dir, main page]

DE102022107253A1 - Verfahren, computerprogrammprodukt, parkassistenzsystem und gebäude - Google Patents

Verfahren, computerprogrammprodukt, parkassistenzsystem und gebäude Download PDF

Info

Publication number
DE102022107253A1
DE102022107253A1 DE102022107253.3A DE102022107253A DE102022107253A1 DE 102022107253 A1 DE102022107253 A1 DE 102022107253A1 DE 102022107253 A DE102022107253 A DE 102022107253A DE 102022107253 A1 DE102022107253 A1 DE 102022107253A1
Authority
DE
Germany
Prior art keywords
assistance system
parking assistance
area
image
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022107253.3A
Other languages
English (en)
Inventor
Nicolas Jecker
Lasse Schnepel
Malte Joos
Fabian Fuchs
Thirumalai Kumarasamy Ayyappan
Ludovic Mosnier-Thoumas
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Schalter und Sensoren GmbH
Original Assignee
Valeo Schalter und Sensoren GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter und Sensoren GmbH filed Critical Valeo Schalter und Sensoren GmbH
Priority to DE102022107253.3A priority Critical patent/DE102022107253A1/de
Priority to PCT/EP2023/057455 priority patent/WO2023186693A1/de
Publication of DE102022107253A1 publication Critical patent/DE102022107253A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)

Abstract

Es ist ein Verfahren zum Betreiben eines Parkassistenzsystems (100) vorgeschlagen. Das Parkassistenzsystem ist zum autonomen Steuern eines Fahrzeugs (200) in einem vorbestimmten Bereich (110) eingerichtet, wobei das Parkassistenzsystem (100) eine Anzahl von in einer Infrastruktur des Bereichs (110) angeordneten optischen Bildsensoren (120A - 120L) umfasst, wobei der jeweilige optische Bildsensor (120A - 120L) zum Erfassen eines Bildes eines jeweiligen Erfassungsbereichs (121 A - 121 L) und zum Ausgeben des erfassten Bildes eingerichtet ist. Das Verfahren umfasst:Empfangen (S1) des jeweiligen erfassten Bildes von dem jeweiligen optischen Bildsensor (120A - 120L),Ermitteln (S2) eines jeweiligen Ist-Wertes (B1 - B3) für eine bestimmte Eigenschaft des jeweiligen empfangenen Bildes,Vergleichen (S3) des jeweiligen ermittelten Ist-Wertes (B1 - B3) mit einem jeweiligen vorbestimmten Intervall (IB), undVeranlassen (S4) einer vorbestimmten Maßnahme, wenn der ermittelte Ist-Wert (B1 - B3) außerhalb des vorbestimmten Intervalls (IB) liegt, wobei die vorbestimmte Maßnahme ein Ansteuern einer technischen Einrichtung (210 - 212) umfasst, welche technische Einrichtung (210 - 212) zum Anpassen einer Erfassungsbedingung für den jeweiligen optischen Bildsensor (120A - 120L) eingerichtet ist, und/oder wobei die vorbestimmte Maßnahme ein Ausschließen des jeweiligen Erfassungsbereichs (121 A - 121 L) aus einem Bahnplanungsbereich des Parkassistenzsystems (100) umfasst.

Description

  • Die vorliegende Erfindung betrifft ein Verfahren zum Betreiben eines Parkassistenzsystems, ein Computerprogrammprodukt, ein Parkassistenzsystem und ein Gebäude mit einem Parkassistenzsystem.
  • Es sind Fahrzeuge bekannt, die eine automatisierte Parkfunktion aufweisen, die insbesondere zum automatischen Parken des Fahrzeugs in einem geeigneten Parkhaus oder auf einem geeigneten Parkplatz eingerichtet ist. Derartige Systeme werden beispielsweise als automatisierte Valet-Parksysteme (AVP, engl. „automated valet parking“) bezeichnet. Hierbei wird zwischen zwei Typen unterschieden. Bei einem ersten Typ steuert sich das Fahrzeug selbst, wobei das Parkhaus beispielsweise über geeignete Merkmale verfügt, die von einem System des Fahrzeugs erfasst werden und zur Orientierung des Fahrzeugs dienen, wie beispielsweise ARUCO-Codes. Bei einem zweiten Typ ist das Fahrzeug fernsteuerbar, wobei das Parkhaus beispielsweise über Sensorik und Pfadplanungsmittel verfügt, um das Fahrzeug zu steuern. Zwischen diesen beiden Typen kann es verschiedene Zwischenstufen geben, bei denen sich die Funktionen unterschiedlich auf Fahrzeug und Parkhaus verteilen. Bei autonom gesteuerten Fahrzeugen hat Sicherheit die höchste Priorität. Die Sicherheit ist insbesondere auch bei einem Teilausfall der Systeme zu gewährleisten.
  • DE 10 2018 213 485 A1 offenbart ein Verfahren zum Überwachen eines Bereichs einer Kraftfahrzeuginfrastruktur, wobei sich innerhalb der Kraftfahrzeuginfrastruktur ein Umfeldsensor zum Überwachen des Bereichs befindet, umfassend die folgenden Schritte: ansprechend auf eine Detektion einer Fehlfunktion des Umfeldsensors Erzeugen und Ausgeben eines Auftragssignals, welches einen Auftrag zum manuellen Analysieren einer Hilfserfassung des Bereichs repräsentiert, und, nach dem Ausgeben des Auftragssignals Empfangen eines Ergebnisanalysesignals, welches ein Ergebnis der beauftragten manuell durchgeführten Analyse der Hilfserfassung des Bereichs repräsentiert.
  • Vor diesem Hintergrund ist es eine Aufgabe der vorliegenden Erfindung, den Betrieb eines Parkassistenzsystems zu verbessern.
  • Gemäß einem ersten Aspekt wird ein Verfahren zum Betreiben eines Parkassistenzsystems vorgeschlagen. Das Parkassistenzsystem ist zum autonomen Steuern eines Fahrzeugs in einem vorbestimmten Bereich eingerichtet. Das Parkassistenzsystem umfasst eine Anzahl von in einer Infrastruktur des Bereichs angeordneten optischen Bildsensoren, wobei der jeweilige optische Bildsensor zum Erfassen eines Bildes eines jeweiligen Erfassungsbereichs und zum Ausgeben des erfassten Bildes eingerichtet ist. Das Verfahren umfasst:
    • Empfangen des jeweiligen erfassten Bildes von dem jeweiligen optischen Bildsensor,
    • Ermitteln eines jeweiligen Ist-Wertes für eine bestimmte Eigenschaft des jeweiligen empfangenen Bildes,
    • Vergleichen des jeweiligen ermittelten Ist-Wertes mit einem jeweiligen vorbestimmten Intervall, und
    • Veranlassen einer vorbestimmten Maßnahme, wenn der ermittelte Ist-Wert außerhalb des vorbestimmten Intervalls liegt, wobei die vorbestimmte Maßnahme ein Ansteuern einer technischen Einrichtung umfasst, welche technische Einrichtung zum Anpassen einer Erfassungsbedingung für den jeweiligen optischen Bildsensors eingerichtet ist und/oder wobei die vorbestimmte Maßnahme ein Ausschließen des jeweiligen Erfassungsbereichs aus einem Bahnplanungsbereich des Parkassistenzsystems umfasst.
  • Dieses Verfahren hat den Vorteil, dass in Situationen, in denen der jeweilige optische Sensor ein eingeschränkte Funktionsfähigkeit aufweist, das Parkassistenzsystem im Übrigen weiterbetrieben werden kann. Zudem kann durch das Ansteuern der technischen Einrichtung die Funktionsfähigkeit des jeweiligen optischen Sensors wieder hergestellt werden. Somit ist der Betrieb des Parkassistenzsystems robuster und zuverlässiger gegenüber herkömmlichen Parkassistenzsystemen.
  • Das Parkassistenzsystem ist insbesondere als ein automatisches Valet-Parkassistenzsystem gemäß Typ 2 ausgebildet. Das heißt, dass das Parkassistenzsystem in der Infrastruktur angeordnet ist und alle Sensorik sowie Datenverarbeitungslogik umfasst, um ein Fahrzeug in dem vorbestimmten Bereich zu erfassen, zu lokalisieren und sicher in dem Bereich zu steuern. Der vorbestimmte Bereich ist hierbei insbesondere durch einen Überwachungsbereich des Parkassistenzsystems gegeben. Der Überwachungsbereich umfasst den Bereich, in dem des Parkassistenzsystem zum Erfassen von Fahrzeugen eingerichtet ist. Beispielsweise ergibt sich der Überwachungsbereich als die Überlagerung aller Erfassungsbereiche der Sensoren des Parkassistenzsystems.
  • Das Parkassistenzsystem weist in Bezug auf die automatische Steuerungsfähigkeit insbesondere Level-4 gemäß dem SAE-Klassifikationssystem auf. Das SAE-Klassifikationssystem wurde 2014 von SAE International, einer Standardisierungsorganisation für Kraftfahrzeuge, als J3016, „Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems“ veröffentlicht. Level-4 bedeutet hierbei, dass das Parkassistenzsystem zum vollautonomen Steuern des Fahrzeugs in dem vorbestimmten Bereich eingerichtet ist, ohne dass ein Nutzer des Fahrzeugs oder ein Operator des Parkassistenzsystems das System überwacht.
  • Das Parkassistenzsystem umfasst eine Anzahl von in der Infrastruktur des Bereichs angeordneten optischen Bildsensoren. Die optischen Bildsensoren können ortsfest angeordnet sein, es kann sich aber auch um beweglich angeordnete Sensoren handeln. Beispielsweise kann ein optischer Bildsensor auf einem Schlitten oder einer Schiene angeordnet sein und kann in unterschiedliche Positionen bewegt werden. Ferner kann ein optischer Bildsensor verschwenkbar sein, so dass dieser unterschiedliche Ausrichtungen (Blickwinkel) einnehmen kann. Der Erfassungsbereich eines beweglich angeordneten optischen Bildsensors hängt insbesondere von der aktuellen Position und Ausrichtung ab.
  • Die Anzahl umfasst mindestens einen optischen Bildsensor und umfasst vorzugsweise eine Vielzahl optischer Bildsensoren.
  • Der jeweilige optische Bildsensor ist zum Erfassen eines Bildes eines jeweiligen Erfassungsbereichs und zum Ausgeben des erfassten Bildes eingerichtet. Beispielsweise handelt es sich bei dem optischen Bildsensor um eine Kamera, die zum Erfassen und Ausgeben eines kontinuierlichen Bilderstroms eingerichtet ist. Ein Bilderstrom ist beispielsweise eine zeitliche Abfolge von Einzelbildern. Der optische Bildsensor umfasst vorzugsweise einen digitalen Bildsensor mit einer Optik, die zum Abbilden des jeweiligen Erfassungsbereichs auf den Bildsensor eingerichtet ist. In diesem Fall ist das erfasste Bild ein zweidimensionales Abbild des Erfassungsbereichs. Das zweidimensionale Abbild umfasst beispielsweise eine zweidimensionale Pixelmatrix.
  • Der optische Bildsensor kann zum Erfassen von Bildinformationen in einem über den visuellen Spektralbereich hinausgehenden erweiterten Spektralbereich eingerichtet sein. Der erweiterte Spektralbereich umfasst beispielsweise Wellenlängen zwischen etwa 200 nm - 2500 nm.
  • In Ausführungsformen ist der optische Bildsensor als ein Lidar-Sensor (engl. „light detection and ranging“) ausgebildet. Ein Lidar ist beispielsweise dazu eingerichtet, die Umgebung mit einem gepulsten Laserstrahl abzutasten, wobei auf Basis eine Signallaufzeit eines jeweiligen Laserpulses eine Tiefeninformation ermittelbar ist. Das Lidar ist beispielsweise zum Erfassen einer dreidimensionalen Punktwolke der Umgebung eingerichtet. Außer der Richtungsinformation und der Tiefeninformation kann eine Intensitätsinformation des reflektierten Laserpulses erfasst werden. Verschiedene Oberflächen reflektieren das Laserlicht in Abhängigkeit einer Oberflächenbeschaffenheit, optischen Eigenschaften des Oberflächenmaterial und einer relativen Ausrichtung der Oberfläche zu der Einstrahlrichtung unterschiedlich stark. Auf Basis der dreidimensionalen Punktwolke kann ein Bild der Umgebung erzeugt werden, wobei die Intensitätsinformation, sofern diese erfasst wird, in dem Bild ebenfalls enthalten sein kann. Das Erzeugen des Bildes der Umgebung kann von einem in dem optischen Sensor integrierten Bildprozessor durchgeführt werden, oder aber von einer Erzeugungseinheit des Parkassistenzsystems.
  • In einer Ausführungsform umfasst der optische Bildsensor sowohl eine Kamera als auch ein Lidar. In dieser Konfiguration kann das erfasste, zweidimensionale Kamerabild als Textur für die dreidimensionale Punktwolke genutzt werden, so dass ein dreidimensionales Abbild des Erfassungsbereichs aus dem Blickwinkel des optischen Bildsensors zur Verfügung steht.
  • In Ausführungsformen kann eine Objekterkennung oder Objektklassifizierung auf Basis des erfassten Bildes durchgeführt werden. Die Objekterkennung oder Objektklassifizierung kann vorteilhaft von einem entsprechend trainierten neuronalen Netzwerk durchgeführt werden. Die Objekterkennung oder Objektklassifizierung hat insbesondere zum Ziel, Lebewesen von toter Materie zu unterscheiden. Die Objekterkennung oder Objektklassifizierung kann ferner geeignet sein, um bewegliche Objekte von feststehenden Objekten zu unterscheiden. Die Klassifizierung eines jeweiligen Objekts kann eine Bahnplanung in einem Bereich nahe des jeweiligen Objekts beeinflussen. Beispielsweise kann vorgesehen sein, dass zu einem sich bewegenden Lebewesen ein größerer Sicherheitsabstand als zu einem statischen toten Objekt einzuhalten ist, und/oder eine Passiergeschwindigkeit wird nahe zu einem Lebewesen herabgesetzt und dergleichen. Damit kann eine Sicherheit des Parkassistenzsystems erhöht sein.
  • Das Empfangen des jeweiligen erfassten Bildes von dem jeweiligen optischen Bildsensor kann über eine kabelgebundene Kommunikationsverbindung oder auch drahtlos erfolgen. Beispielsweise stellt der jeweilige optische Bildsensor das zuletzt erfasste Bild, also das zu einem jeweiligen Zeitpunkt aktuelle Bild, dem Parkassistenzsystem bereit, beispielsweise in Form einer Push-Nachricht. Dies erfolgt insbesondere „live“, also ohne eine zeitliche Verzögerung oder nur einer geringfügigen zeitlichen Verzögerung von weniger als einigen Sekunden, bevorzugt weniger als einer Sekunde, weiter bevorzugt weniger als etwa 200 ms. Eine drahtlose Übertragung erfolgt beispielsweise über ein WLAN-Netzwerk, ein Mobilfunknetzwerk (3G, 4G, 5G oder auch gemäß einem zukünftigen Standard) oder dergleichen.
  • Das Ermitteln eines jeweiligen Ist-Wertes für eine bestimmte Eigenschaft des jeweiligen empfangenen Bildes umfasst insbesondere ein elektronisches Verarbeiten des empfangenen Bildes, beispielsweise unter Verwendung von Bildverarbeitungsalgorithmen, die pixelbasiert, bereichsbasiert und/oder inhaltsbasiert arbeiten können. Ferner kann ein Bildverarbeitungsalgorithmus Methoden des maschinellen Lernens anwenden, wobei beispielsweise ein geeignet trainiertes neuronales Netzwerk zur Anwendung kommt. Der ermittelte Ist-Wert ist vorzugsweise eine skalare Größe, die durch eine Zahl repräsentiert werden kann. In Ausführungsformen kann der Ist-Wert auch einen Vektor, eine Matrix oder auch einen mehrdimensionalen Tensor umfassen und damit mehrdimensional sein.
  • Durch das Vergleichen des jeweiligen ermittelten Ist-Wertes mit einem jeweiligen vorbestimmten Intervall wird ermittelt, ob der jeweilige Ist-Wert in dem vorbestimmten Intervall liegt oder nicht. Das vorbestimmte Intervall kann ein geschlossenes oder ein offenes Intervall sein. Ein geschlossenes Intervall für einen skalaren Wert umfasst einen oberen und einen unteren Intervall-Grenzwert. Ein offenes Intervall für einen skalaren Wert umfasst beispielsweise nur einen oberen Intervall-Grenzwert (dann ist das Intervall nach unten hin offen) oder nur einen unteren Intervall-Grenzwert (dann ist das Intervall nach oben hin offen). Wenn der Ist-Wert mehr als eine Dimension umfasst, also beispielsweise durch einen zweidimensionalen Vektor gegeben ist, ist ein geschlossenes Intervall beispielsweise durch einen Ausschnitt einer Ebene bestimmt. Der Ausschnitt der Ebene kann durch vier Geraden festgelegt sein. Durch Weglassen von einer oder auch von zwei Geraden wird das Intervall hierbei geöffnet. Entsprechendes gilt für höherdimensionale Ist-Werte.
  • Das vorbestimmte Intervall ist für die jeweilige bestimmte Eigenschaft insbesondere so festgelegt, dass sichergestellt ist, dass das empfangene Bild für die autonome Steuerung des Fahrzeugs geeignet ist. Das heißt, dass das Bild für die Steuerung relevante Informationen bezüglich der Umgebung, in der das Fahrzeug fährt, als Bildinformationen enthält und diese Informationen auf Basis des Bildes durch das Parkassistenzsystem ermittelbar sind. Beispielsweise betrifft die bestimmte Eigenschaft eine Helligkeit, einen Kontrast, eine effektive Auflösung, eine in dem Bild erkennbare Struktur und dergleichen mehr.
  • Das Veranlassen der vorbestimmten Maßnahme erfolgt in Abhängigkeit des Vergleichs, wobei die Maßnahme insbesondere dann veranlasst wird, wenn der ermittelte Ist-Wert außerhalb des vorbestimmten Intervalls liegt. Die vorbestimmte Maßnahme umfasst das Ansteuern einer technischen Einrichtung und/oder ein Anpassen der Funktionsweise des Parkassistenzsystems.
  • Die technische Einrichtung, die angesteuert wird, ist zum Anpassen einer Erfassungsbedingung für den jeweiligen optischen Bildsensor eingerichtet. Insbesondere wird die Erfassungsbedingung so angepasst, dass der Ist-Wert eines nach der Anpassung erfassten Bildes in dem vorbestimmten Intervall liegt. Die technische Einrichtung kann beispielsweise eine Steuerelektronik des optischen Bildsensors umfassen, welche das Erfassen des Bildes durch den optischen Bildsensor direkt kontrolliert, sie kann eine dem optischen Bildsensor zugeordnete Einrichtung umfassen, wie beispielsweise eine Optikeinheit, mit der eine Fokuslage, eine Blende und dergleichen einstellbar sein kann, eine Reinigungseinheit zum Reinigen des optischen Bildsensors und/oder der Optikeinheit, eine Verschwenkeinheit zum Verschwenken einer Ausrichtung des optischen Bildsensors, eine Beleuchtungseinheit zum Beleuchten des Erfassungsbereichs und dergleichen mehr, und/oder sie kann eine weitere, in der Infrastruktur angeordnete technische Einrichtung sein, wie beispielsweise eine Allgemeinbeleuchtung zum Beleuchten des jeweiligen Erfassungsbereichs oder auch eine Beschattungseinrichtung, über die eine Beleuchtung des jeweiligen Erfassungsbereichs gesteuert werden kann.
  • Über das Ansteuern der technischen Einrichtung kann somit insbesondere erreicht werden, dass die Erfassungsbedingungen für den optischen Bildsensor derart angepasst werden, dass der Ist-Wert der bestimmten Eigenschaft nach dem Anpassen in dem für die bestimmte Eigenschaft vorbestimmten Intervall liegt.
  • Zusätzlich oder alternativ umfasst die vorbestimmte Maßnahme ein Ausschließen des jeweiligen Erfassungsbereichs aus einem Bahnplanungsbereich des Parkassistenzsystems. Damit ist die Sicherheit des Parkassistenzsystems weiterhin gewährleistet. Es sei angemerkt, dass, wenn das Parkassistenzsystem für einen Erfassungsbereich mehrere redundante Sensoren aufweist und/oder sich Erfassungsbereiche verschiedener Sensoren überlappen, diese Maßnahme abgeschwächt sein kann, so dass beispielsweise nicht der gesamte Erfassungsbereich des jeweiligen Sensors als unsicher gilt und ausgeschlossen wird.
  • Der jeweilige Erfassungsbereich ist derjenige, der von dem optischen Bildsensor erfasst wird, von dem das Bild empfangen wurde, dessen bestimmte Eigenschaft außerhalb des vorbestimmten Intervalls liegt.
  • Zum Steuern von Fahrzeugen umfasst das Parkassistenzsystem beispielsweise eine Bahnplanungseinheit und eine Steuereinheit. Die Bahnplanungseinheit ist dazu eingerichtet, für ein jeweiliges Fahrzeug in Abhängigkeit der empfangenen Bilder eine individuelle Bahnplanung durchzuführen. Zunächst wird hierbei ein zu steuerndes Fahrzeug auf Basis der empfangenen Bilder lokalisiert, also eine aktuelle Position des Fahrzeugs ermittelt. Anschließend ermittelt die Bahnplanungseinheit beispielsweise eine Trajektorie für das jeweilige Fahrzeug, welche von der aktuellen Position des Fahrzeugs zu einer Zielposition führt. Die Zielposition ist insbesondere ein Stellplatz oder ein Parkplatz, oder auch eine Position in einem Übergabebereich, in dem das Fahrzeug von dem Parkassistenzsystem an einen Nutzer des Fahrzeugs übergeben wird. Die Bahnplanungseinheit führt die Bahnplanung insbesondere auf Basis einer digitalen Karte des vorbestimmten Bereichs durch. Die digitale Karte umfasst insbesondere Informationen zu Fahrspuren, Parkplätzen, Einfahrten, Ausfahrten und/oder weiteren Bereichen innerhalb des vorbestimmten Bereichs. Zudem umfasst die digitale Karte beispielsweise eine Zuordnung eines jeweiligen Erfassungsbereichs zu einem jeweiligen Bereich in der digitalen Karte.
  • Das Parkassistenzsystem ist ferner zum Erfassen von anderen Objekten, wie Menschen, Tieren oder sonstigen Hindernissen in dem vorbestimmten Bereich auf Basis der empfangenen Bilder eingerichtet. Damit ist sichergestellt, dass das Parkassistenzsystem ein gesteuertes Fahrzeug sicher und kollisionsfrei durch den vorbestimmten Bereich steuern kann.
  • Die Steuereinheit gibt dann Steuerbefehle an das Fahrzeug aus, das diese ausführt. Hierfür umfasst das Parkassistenzsystem eine Übertragungseinheit zum Übertragen der Steuerbefehle an das Fahrzeug, und das Fahrzeug umfasst eine Empfangseinheit zum Empfangen der Steuerbefehle. Das Fahrzeug bewegt sich dementsprechend durch den vorbestimmten Bereich, wobei es permanent von den optischen Bildsensoren erfasst wird, so dass die Position des Fahrzeugs ständig überwacht wird. Wenn das Fahrzeug von der geplanten Trajektorie abweicht, werden entsprechende Steuerbefehle übertragen, um das Fahrzeug zurück auf die Trajektorie zu führen. In dieser Weise führt das Parkassistenzsystem das Fahrzeug von einer Startposition zu einer Zielposition. Wenn entlang der Trajektorie ein Hindernis, wie beispielsweise ein Mensch, die Trajektorie blockiert, wird das Fahrzeug gestoppt, um eine Kollision zu vermeiden, und anschließend wieder in Bewegung gesetzt, wenn die Trajektorie wieder frei ist.
  • Wenn alle optischen Bildsensoren des Parkassistenzsystems wie vorgesehen funktionieren, umfasst der Bahnplanungsbereich und Steuerungsbereich insbesondere die gesamte digitale Karte und/oder alle Erfassungsbereiche. Wenn nun einer der optischen Bildsensoren ausfällt oder von diesem ein Bild empfangen wird, das nicht geeignet ist, um ein Fahrzeug in dem jeweiligen Erfassungsbereich zu lokalisieren und zu steuern, was beispielsweise daran erkennbar ist, dass der ermittelte Ist-Wert der bestimmten Eigenschaft des Bildes außerhalb des vorbestimmten Intervalls liegt, dann ist ein Betrieb des Parkassistenzsystems in dem betreffenden Erfassungsbereich nicht mehr sichergestellt, da das Fahrzeug in dem Erfassungsbereich nicht mehr ausreichend überwacht wäre. Um dennoch das Parkassistenzsystem weiter zu betreiben, wird für den weiteren Betrieb der betroffene Bereich von der Bahnplanung und Steuerung ausgenommen. Somit kann für ein Fahrzeug beispielsweise eine Trajektorie ermittelt werden, die um den betroffenen Bereich herum führt. Die Sicherheit des Parkassistenzsystems ist daher weiterhin gewährleistet.
  • In Ausführungsformen ist vorgesehen, dass die vorbestimmte Maßnahme nur dann veranlasst wird, wenn der ermittelte Ist-Wert für zwei bestimmte Eigenschaften außerhalb einem jeweiligen vorbestimmten Intervall liegt.
  • Die beiden gemeinsam betrachteten Eigenschaften können auch als gekoppelte oder abhängige oder korrelierte Eigenschaften bezeichnet werden. Insbesondere kann hierbei eine Abhängigkeit des jeweiligen vorbestimmten Intervalls von dem Ist-Wert der gekoppelten Eigenschaft vorliegen. Wenn beispielsweise der Ist-Wert für die Helligkeit in dem vorbestimmten Intervall liegt, kann ein vorbestimmtes Intervall für den Ist-Wert des Kontrasts größer sein, als wenn der Ist-Wert der Helligkeit außerhalb des vorbestimmten Intervalls liegt. Umgekehrt kann es entsprechend vorgesehen sein. Mit anderen Worten kann, je besser eine erste Eigenschaft des Bildes ist, eine mit der ersten Eigenschaft gekoppelte zweite Eigenschaft schlechter ausfallen, ohne dass dies zu einem Problem bei der Erkennung von Objekten in dem Bild führt.
  • Gemäß einer Ausführungsform des Verfahrens umfasst die bestimmte Eigenschaft des empfangenen Bildes eine Helligkeit eines Teilbereichs des Bildes.
  • Das heißt, dass der Ist-Wert, der ermittelt wird, die Helligkeit des Teilbereichs des Bildes betrifft. Der Ist-Wert kann hierbei als ein Wert auf einer absoluten Skala, wie beispielsweise einer von dem Bildsensor abhängigen Helligkeitsskala, oder auch als ein Wert auf einer relativen Skala, ermittelt werden. Wenn beispielsweise der Bildsensor 16 Bit Helligkeitsstufen unterscheidet, dann umfasst die absolute Skala die Werte 0 - 65536. Durch Normierung auf den höchsten Wert kann man eine relative Skala mit Werten zwischen 0 - 1 erhalten. Auch eine Prozentskala (0 - 100%) ist eine relative Skala.
  • Die Helligkeit des Teilbereichs ist insbesondere eine mittlere Helligkeit des Teilbereichs. Es können hierbei unterschiedliche Verfahren zum Bilden des Mittelwerts zum Einsatz kommen. Beispiele sind das arithmetische, das geometrische oder auch das quadratische Mittel.
  • Der Teilbereich des Bildes kann das gesamte Bild, einen zusammenhängen Ausschnitt, oder auch mehrere disjunkte Ausschnitte des Bildes umfassen.
  • Das vorbestimmte Intervall für die Helligkeit weist vorzugsweise eine untere Grenze und eine obere Grenze auf. Damit ist sichergestellt, dass das Bild nicht unterbelichtet (zu dunkel) und auch nicht überbelichtet (zu hell) ist.
  • Gemäß einer weiteren Ausführungsform des Verfahrens umfasst die vorbestimmte Maßnahme ein Ausgeben eines Steuersignals an eine in der Infrastruktur angeordnete Beleuchtungseinheit zum Erhöhen oder zum Reduzieren der Helligkeit in dem jeweiligen Erfassungsbereich.
  • Wenn der ermittelte Ist-Wert der Helligkeit nicht in dem vorbestimmten Intervall für die Helligkeit liegt, wird als vorbestimmte Maßnahme beispielsweise eine Sensoreigenschaft des optischen Bildsensors verändert. Beispielsweise wird die Belichtungszeit zum Erfassen eines Bilde verlängert oder verkürzt, eine elektronische Signalverstärkung (Gain) erhöht oder reduziert und/oder es wird ein Pixelbinning verändert (Pixelbinning bezeichnet ein Zusammenfassen mehrerer physikalischer Pixel zu einem Bildpixel). Weiterhin kann eine Allgemeinbeleuchtung und/oder eine separate Hilfsbeleuchtung zu- oder abgeschaltet werden. Zudem können weitere, eine Beleuchtung steuernde Maßnahmen ergriffen werden, wie beispielsweise ein Heben oder Senken einer Jalousie oder eines Rollladens.
  • Gemäß einer weiteren Ausführungsform des Verfahrens umfasst die bestimmte Eigenschaft des empfangenen Bildes ein Kontrast eines Teilbereichs des Bildes.
  • Der Kontrast eines Bildes ist wesentlich für die Erkennbarkeit von Bildinhalten. Ein geringer Kontrast kann darauf hindeuten, dass der Bildsensor und/oder eine Optik verschmutzt ist, oder auch auf eine Fehlfokussierung. Ein zu helles oder eine zu dunkles Bild hat beispielsweise ebenfalls einen reduzierten Kontrast. Man kann auch von dem Kontrastumfang des Bildes sprechen.
  • Der Kontrast ist insbesondere ein Helligkeitsunterschied zwischen unterschiedlichen Bildbereichen. Die Bildbereiche können benachbart zueinander sein, müssen dies aber nicht sein.
  • Der Kontrast ist umso höher, je schärfer oder steiler eine Helligkeitsänderung in dem Bild ist. Der Kontrast kann sich auf eine bestimmte Wellenlänge oder Wellenlängenbereiche (zum Beispiel Farbkanäle) beziehen.
  • Wenn der Kontrast nicht in dem vorbestimmten Intervall liegt, kann als vorbestimmte Maßnahme beispielsweise eine Reinigungseinrichtung zur Reinigung des Bildsensors oder einer Optik des Bildsensors aktiviert werden. Ferner kann beispielsweise eine Autofokus-Routine angestoßen werden.
  • Gemäß einer weiteren Ausführungsform des Verfahrens umfasst die bestimmte Eigenschaft des empfangenen Bildes eine Ähnlichkeit eines Teilbereichs des Bildes mit einem vorbestimmten Bild.
  • Das vorbestimmte Bild kann ein vorbestimmtes Muster umfassen.
  • Eine Ähnlichkeit zwischen Bildern kann beispielsweise durch Anwendung einer zweidimensionalen Kreuzkorrelationsfunktion ermittelt werden.
  • Gemäß einer weiteren Ausführungsform des Verfahrens umfasst das vorbestimmte Bild einen Teilbereich eines bei einer Eichung des jeweiligen optischen Bildsensors von dem jeweiligen optischen Bildsensor erfassten Bildes.
  • Mit anderen Worten ist das Vergleichsbild ein Ausschnitt aus einem zu einem früheren Zeitpunkt erfassten Bild des Bildsensors. Dies lässt sich insbesondere nutzen, um kurzfristige zeitliche Veränderungen, wie ein Beschlagen des Bildsensors oder auch ein Verkippen, so dass der Bildsensor nicht mehr den vorgesehenen Erfassungsbereich erfasst, festzustellen.
  • Die Eichung des Bildsensors kann hierbei bei einer erstmaligen Inbetriebnahme oder auch bei einem routinemäßigen Neustart des Bildsensors, der beispielsweise einmal täglich oder wöchentlich vorgesehen ist, vorgenommen werden. Das hierbei erfasste Bild wird beispielsweise in einem Speicher für den Ähnlichkeitsvergleich vorgehalten.
  • Gemäß einer weiteren Ausführungsform des Verfahrens umfasst die vorbestimmte Maßnahme ein Stoppen eines aktuell von dem Parkassistenzsystem gesteuerten Fahrzeugs.
  • Dies ist insbesondere dann sinnvoll, wenn sich das Fahrzeug zu dem jeweiligen Zeitpunkt bei oder in dem Erfassungsbereich befindet, der von dem optischen Bildsensor erfasst wird, von dem des Bild empfangen wurde, dessen Ist-Wert außerhalb des vorbestimmten Intervalls liegt.
  • Gemäß einer weiteren Ausführungsform des Verfahrens ist vorgesehen, dass, wenn als die vorbestimmte Maßnahme ein Ausschließen des jeweiligen Erfassungsbereichs aus einem Bahnplanungsbereich des Parkassistenzsystems durchgeführt wurde, der ausgeschlossene Erfassungsbereich wieder in den Bahnplanungsbereich aufgenommen wird, sobald der Ist-Wert für ein später erfasstes Bild des jeweiligen optischen Bildsensors innerhalb des vorbestimmten Intervalls liegt.
  • Das heißt, dass das Parkassistenzsystem nach einer Wiederherstellung der vollen Funktionalität in Bezug auf den jeweiligen betroffenen Erfassungsbereich vollautomatisch in den regulären Betriebsmodus zurückwechselt.
  • Gemäß einem zweiten Aspekt wird ein Computerprogrammprodukt vorgeschlagen, welches Befehle umfasst, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren gemäß dem ersten Aspekt auszuführen.
  • Der Computer ist insbesondere als ein Steuerrechner eines Parkassistenzsystems ausgebildet.
  • Ein Computerprogrammprodukt, wie z.B. ein Computerprogramm-Mittel, kann beispielsweise als Speichermedium, wie z.B. Speicherkarte, USB-Stick, CD-ROM, DVD, oder auch in Form einer herunterladbaren Datei von einem Server in einem Netzwerk bereitgestellt oder geliefert werden. Dies kann zum Beispiel in einem drahtlosen Kommunikationsnetzwerk durch die Übertragung einer entsprechenden Datei mit dem Computerprogrammprodukt oder dem Computerprogramm-Mittel erfolgen.
  • Gemäß einem dritten Aspekt wird ein Parkassistenzsystem vorgeschlagen, welches zum autonomen Steuern eines Fahrzeugs in einem vorbestimmten Bereich eingerichtet ist. Das Parkassistenzsystem umfasst eine Anzahl von in einer Infrastruktur des Bereichs angeordneten optischen Bildsensoren, wobei der jeweilige optische Bildsensor zum Erfassen eines Bildes eines jeweiligen Erfassungsbereichs und zum Ausgeben des erfassten Bildes eingerichtet ist. Das Parkassistenzsystem weist ferner auf:
    • eine Empfangseinheit zum Empfangen des jeweiligen erfassten Bildes von dem jeweiligen optischen Bildsensor,
    • eine Ermittlungseinheit zum Ermitteln eines jeweiligen Ist-Wertes für eine bestimmte Eigenschaft des jeweiligen empfangenen Bildes,
    • eine Vergleichseinheit zum Vergleichen des jeweiligen ermittelten Ist-Wertes mit einem jeweiligen vorbestimmten Intervall, und
    • eine Steuereinheit zum Veranlassen einer vorbestimmten Maßnahme, wenn der ermittelte Ist-Wert außerhalb des vorbestimmten Intervalls liegt, wobei die vorbestimmte Maßnahme ein Ansteuern einer technischen Einrichtung umfasst, welche technische Einrichtung zum Anpassen einer Erfassungsbedingung für den jeweiligen optischen Bildsensor eingerichtet ist, und/oder wobei die vorbestimmte Maßnahme ein Ausschließen des jeweiligen Erfassungsbereichs aus einem Bahnplanungsbereich des Parkassistenzsystems umfasst.
  • Dieses Parkassistenzsystem weist die gleichen Vorteile auf, die für das Verfahren gemäß dem ersten Aspekt beschrieben wurden. Die für das vorgeschlagene Verfahren beschriebenen Ausführungsformen und Merkmale gelten für das vorgeschlagene Parkassistenzsystem entsprechend.
  • Die jeweilige Einheit des Parkassistenzsystems kann hardwaretechnisch und/oder softwaretechnisch implementiert sein. Bei einer hardwaretechnischen Implementierung kann die jeweilige Einheit zum Beispiel als Computer oder als Mikroprozessor ausgebildet sein. Bei einer softwaretechnischen Implementierung kann die jeweilige Einheit als Computerprogrammprodukt, als eine Funktion, als eine Routine, als ein Algorithmus, als Teil eines Programmcodes oder als ausführbares Objekt ausgebildet sein. Ferner kann jede der vorliegend genannten Einheiten auch als Teil eines übergeordneten Steuerungssystems des Fahrzeugs, wie beispielsweise einer zentralen elektronischen Steuereinrichtung und/oder einem elektronischen Steuergerät (ECU: Electronic Control Unit), ausgebildet sein.
  • Das Parkassistenzsystem wird insbesondere gemäß dem Verfahren des ersten Aspekts betrieben.
  • Gemäß einem vierten Aspekt wird ein Gebäude mit einem Parkassistenzsystem gemäß dem dritten Aspekt vorgeschlagen.
  • Das Gebäude ist beispielsweise ein Parkhaus oder eine Parkfläche. Es kann sich auch um ein Werksgelände mit einer Produktionsanlage oder einer Warenhalle handeln. Der vorbestimmte Bereich umfasst in diesem Fall beispielsweise das gesamte Parkhaus, die gesamte Parkfläche, das gesamte Werksgelände oder auch nur einen Teil der jeweiligen Fläche.
  • Gemäß einer Ausführungsform des Gebäudes umfasst dieses eine Anzahl von Beleuchtungseinheiten, die durch die Steuereinheit des Parkassistenzsystems steuerbar sind.
  • Gemäß einer weiteren Ausführungsform des Gebäudes umfassen die Beleuchtungseinheiten eine Lichtquelle und/oder ein Lichtleitelement und/oder eine Beschattungsvorrichtung.
  • Das Lichtleitelement umfasst beispielsweise einen verschwenkbar gehaltenen Spiegel, eine Mikrospiegelanordnung oder dergleichen. Die Beschattungsvorrichtung umfasst beispielsweise einen schaltbaren optischen Diffusor, eine Jalousie und/oder einen Rollladen an einem Fenster.
  • Weitere mögliche Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele beschriebenen Merkmale oder Ausführungsformen. Dabei wird der Fachmann auch Einzelaspekte als Verbesserungen oder Ergänzungen zu der jeweiligen Grundform der Erfindung hinzufügen.
  • Weitere vorteilhafte Ausgestaltungen und Aspekte der Erfindung sind Gegenstand der Unteransprüche sowie der im Folgenden beschriebenen Ausführungsbeispiele der Erfindung. Im Weiteren wird die Erfindung anhand von bevorzugten Ausführungsformen unter Bezugnahme auf die beigelegten Figuren näher erläutert.
    • 1 zeigt ein schematisches Ausführungsbeispiel eines Parkassistenzsystems;
    • 2 zeigt ein schematisches Beispiel einer Steuerung eines Fahrzeugs und einer Bahnplanung für ein Fahrzeug durch ein Parkassistenzsystem;
    • 3 zeigt ein weiteres schematisches Beispiel einer Bahnplanung für ein Fahrzeug durch ein Parkassistenzsystem;
    • 4 zeigt ein schematisches erstes Beispiel für einen Vergleich eines Ist-Werts einer bestimmten Eigenschaft mit einem vorbestimmten Intervall;
    • 5 zeigt ein schematisches zweites Beispiel für einen Vergleich eines Ist-Werts einer bestimmten Eigenschaft mit einem vorbestimmten Intervall;
    • 6 zeigt ein schematisches drittes Beispiel für einen Vergleich eines Ist-Werts einer bestimmten Eigenschaft mit einem vorbestimmten Intervall;
    • 7 zeigt ein schematisches Blockdiagramm eines Ausführungsbeispiels eines Parkassistenzsystems; und
    • 8 zeigt ein schematisches Blockschaltbild eines Ausführungsbeispiels für ein Verfahren zum Betreiben eines Parkassistenzsystems.
  • In den Figuren sind gleiche oder funktionsgleiche Elemente mit denselben Bezugszeichen versehen worden, sofern nichts anderes angegeben ist.
  • 1 zeigt ein schematisches Ausführungsbeispiel eines Parkassistenzsystems 100, welches einen vorbestimmten Bereich 110 umfasst. Beispielsweise ist der vorbestimmte Bereich 110 ein Parkdeck eines Parkhauses, mit einer Einfahrt 110A und einer Ausfahrt 110B. Es handelt sich um ein automatisches Valet-Parksystem vom Typ 2, das heißt, dass alle Sensorik und Logik, die zur Steuerung von Fahrzeugen 100 (siehe 2 oder 3) in dem vorbestimmten Bereich 110 benötigt ist, in der Infrastruktur (und nicht in dem Fahrzeug) angeordnet ist. Das zu steuernde Fahrzeug 200 muss daher lediglich durch das Parkassistenzsystem 100 fernsteuerbar sein.
  • Das Parkassistenzsystem 100 umfasst in diesem Beispiel zwölf optische Bildsensoren 120A - 120L, welche jeweils einen zugeordneten Erfassungsbereich 121 A - 121 L aufweisen. Der jeweilige optische Bildsensor 120A - 120L ist insbesondere als eine Kamera oder auch als ein Lidar ausgebildet. Die optischen Bildsensoren 120A - 120L übertragen die erfassten Bilder an eine Empfangseinheit 130 des Parkassistenzsystem 100, welche die Bilder zur Weiterverarbeitung empfängt. In der 1 sind die Erfassungsbereiche 121 A - 121L disjunkt zueinander dargestellt, es sei jedoch angemerkt, dass diese sich auch überlappen können. Der gesamte vorbestimmte Bereich 110 wird von den Kameras 120A - 120L erfasst. Daher kann ein Fahrzeug 200 an jeder Position in dem vorbestimmten Bereich 110 lokalisiert und gesteuert werden, solange die von den optischen Bildsensoren 120A - 120L erfassten Bilder eine ausreichende Bildqualität aufweisen, wobei die Bildqualität von unterschiedlichen Einflussfaktoren, insbesondere Umgebungsbedingungen, abhängen kann. Um dies für jeden optischen Bildsensor 120A - 120L zu überwachen oder für jedes empfangene Bild zu überprüfen, weist das Parkassistenzsystem 110 eine Ermittlungseinheit 140 auf, die zum Ermitteln eines jeweiligen Ist-Wertes B1 - B3 (siehe 4 - 6) für eine bestimmte Eigenschaft des jeweiligen empfangenen Bildes eingerichtet ist.
  • Die bestimmte Eigenschaft ist beispielsweise eine Helligkeit, ein Kontrast, eine effektive Auflösung, eine Erkennbarkeit einer bestimmten Struktur oder eines bestimmten Musters in dem jeweiligen und dergleichen mehr. Die Eigenschaften Helligkeit, Kontrast und Auflösung können sich dabei auf das gesamte Bild beziehen oder auch nur auf einen Teilbereich oder Ausschnitt des Bildes. Zum Ermitteln der bestimmten Eigenschaft nutzt die Ermittlungseinheit 130 insbesondere Bildverarbeitungsalgorithmen, die auf das gesamte Bild oder Teilbereiche des Bilds anwendbar sein können. Insbesondere kann die Ermittlungseinheit 140 vor dem Ermitteln der bestimmten Eigenschaft eine Bildoptimierung des jeweiligen Bildes durchführen, wie ein Schärfen, eine Histogramm-Anpassung, eine Anpassung einer Tonwertkurve und dergleichen mehr. Der jeweilige ermittelte Ist-Wert B1 - B3 ist insbesondere eine skalare Größe, wie beispielsweise eine Zahl, wobei der Ist-Wert gemäß einer vorbestimmten Skala ermittelt wird. Die Skala kann absolute Werte umfassen oder auch auf relativen Werten basieren. Der Ist-Wert kann aber auch mehrdimensional sein.
  • Eine Vergleichseinheit 150 ist zum Vergleichen des jeweiligen ermittelten Ist-Wertes B1 - B3 mit zumindest einem jeweiligen vorbestimmten Intervall IB (siehe 4 - 6) eingerichtet. In den 4 - 6 ist dies am Beispiel eines skalaren Ist-Werts und einer relativen Skala erläutert.
  • Eine Steuereinheit 160 ist zum Veranlassen einer vorbestimmten Maßnahme eingerichtet, falls der ermittelte Ist-Wert B1 - B3 außerhalb des vorbestimmten Intervalls IB liegt. Wenn der Ist-Wert für ein empfangenes außerhalb des vorbestimmten Intervalls IB liegt, dann ist das jeweilige Bild nicht mehr zuverlässig dazu geeignet, das Fahrzeug 200 und/oder andere Objekte in dem jeweiligen Erfassungsbereich 121 A - 121L zu erfassen.
  • Die vorbestimmte Maßnahme umfasst ein Ansteuern einer technischen Einrichtung 210 - 212 (siehe 7). Die technische Einrichtung 210 - 212 ist insbesondere dazu eingerichtet, eine Erfassungsbedingung für den jeweiligen optischen Bildsensor 120A - 120L anzupassen, zu beeinflussen oder zu verändern. Beispielsweise ist die angesteuerte technische Einrichtung 210 eine Allgemeinbeleuchtung zur Beleuchtung des jeweiligen Erfassungsbereichs 121A- 121L, die technische Einrichtung 211 ist eine Jalousie oder ein Rollladen, der zum Beschatten des jeweiligen Erfassungsbereichs 121A - 121 L eingerichtet ist und die technische Einrichtung 212 ist eine Reinigungseinheit, die zum Reinigen des jeweiligen optischen Bildsensors 120A - 120L oder einer dem optischen Bildsensor 120A - 120L zugeordneten Optik eingerichtet ist. Ferner kann die Steuereinheit 160 auch zum Ansteuern des optischen Bildsensors 120A - 120L oder eines Controllers für diesen eingerichtet sein, um beispielsweise Aufnahmeeinstellungen, wie einen Fokuspunkt, eine Empfindlichkeit (Gain), eine Belichtungszeit und dergleichen, mit denen der optische Bildsensor die Bilder erfasst, einzustellen. Zudem kann die Steuereinheit 160 dazu eingerichtet sein, den Betrieb des Parkassistenzsystems 100 zu beeinflussen, indem beispielsweise als die vorbestimmte Maßnahme ein Ausschließen des jeweiligen Erfassungsbereichs 121 A - 121L aus einem Bahnplanungsbereich des Parkassistenzsystems 100 vorgenommen wird. Das heißt, dass von dem Parkassistenzsystem 100 gesteuerte Fahrzeuge 200 nicht mehr in den betroffenen Erfassungsbereich 120A - 120L gesteuert werden, sondern diese werden auf Ausweichtrajektorien um betroffene Erfassungsbereiche 121 A - 121L geführt.
  • Die 2 zeigt ein schematisches Beispiel einer Steuerung eines Fahrzeugs 200 und einer Bahnplanung für das Fahrzeug 200 durch ein Parkassistenzsystem 100. Es handelt sich beispielsweise um das anhand der 1 erläuterte Parkassistenzsystem 100, weshalb dieses nicht erneut beschrieben ist. Das Fahrzeug 200 wurde beispielsweise an einer Position P1 bei der Einfahrt 110A von dem Nutzer des Fahrzeugs 200 an das Parkassistenzsystem 100 übergeben, wobei dieses die Kontrolle und Steuerung des Fahrzeugs 200 übernommen hat. Das Fahrzeug 200 wurde von dem Parkassistenzsystem 100 entlang der Trajektorie TR1 zu einer Zielposition P2, beispielsweise einen Parkplatz, gesteuert.
  • Ebenfalls angedeutet ist eine bereits geplante Trajektorie TR2, entlang der das Parkassistenzsystem 100 das Fahrzeug 200 plant zu steuern, wenn der Nutzer das Fahrzeug 200 an der Ausfahrt 110B wieder entgegennehmen möchte.
  • Wenn nun aufgrund eines technischen Defekts oder sonstiger verschlechterter Umgebungsbedingungen von einem der optischen Bildsensoren 120A - 120L ein Bild empfangen wird, auf dem das Fahrzeug 200 und/oder weitere Objekte, wie Menschen, Tiere oder Hindernisse, nicht mehr zuverlässig erkennbar und erfassbar sind, darf das Fahrzeug 200 aus Sicherheitsgründen nicht mehr in jeweiligen Erfassungsbereich 121A - 121L einfahren. Es sei angemerkt, dass dies bei mehreren redundanten Sensoren für einen jeweiligen Erfassungsbereich und/oder sich überlappenden Erfassungsbereichen abgeschwächt sein kann, so dass beispielsweise nicht der gesamte Erfassungsbereich des jeweiligen Sensors als unsicher gilt.
  • Die 3 zeigt ein Beispiel für einen solchen Vorfall. In der 3 ist das Parkassistenzsystem 100 der 1 und 2 dargestellt. Der optische Bildsensor 120H weist einen Defekt auf. Das heißt, dass entweder gar kein Bild von dem Sensor 120H empfangen wird, oder aber das empfangene Bild eignet sich nicht zuverlässig dazu, Objekte in dem korrespondierenden Erfassungsbereich 121H zu erkennen und zu erfassen. Damit kann der Erfassungsbereich 121H als unsicher bezeichnet werden. Um die Sicherheit des Parkassistenzsystems 100 zu gewährleisten, wird der Erfassungsbereich 121H daher aus dem vorbestimmten Bereich 110 ausgenommen. Diese Maßnahme wird insbesondere von der Steuereinheit 160 veranlasst. Das heißt, dass eine geplante Trajektorie TR2 (siehe 2) nicht durch den Erfassungsbereich 121H verlaufen darf, zumindest solange von dem Sensor 120H kein aktuelles und zuverlässiges Bild vorliegt. Dementsprechend plant das Parkassistenzsystem 100 anstelle der in der 2 dargestellten Trajektorie TR2 eine neue Trajektorie TR2*, die den ausgeschlossenen Bereich 121H umfährt.
  • Je nach der Ursache für das ungeeignete Bild kann die Steuereinheit 160 auch eine technische Einrichtung 210 - 212 (siehe 7) ansteuern. Wenn beispielsweise das empfangene Bild zu dunkel ist (siehe auch 5) kann beispielsweise eine Beleuchtung für den betroffenen Erfassungsbereich 121H zum Einschalten angesteuert werden und/oder es kann eine Abschattungseinrichtung zum Erhöhen der Beleuchtung in dem betroffenen Bereich 121 H angesteuert werden. Wenn das empfangene Bild zu hell ist (siehe 6) kann eine Abschattungseinrichtung angesteuert werden, um eine Beleuchtung des betroffenen Bereichs 121 H zu reduzieren.
  • Die 4 - 6 zeigen jeweils ein schematisches Beispiel für einen Vergleich eines Ist-Werts B1 - B3 einer bestimmten Eigenschaft mit einem vorbestimmten Intervall IB für die bestimmte Eigenschaft. Es handelt sich beispielhaft um eine Helligkeit des empfangenen Bildes oder eines Ausschnitts davon. Der Ist-Wert für die Helligkeit wird beispielsweise als ein relativer Wert auf einer Skala von 0 - 100 bestimmt, wobei „0“ ein komplett schwarzes Bild (oder Bildausschnitt) und „100“ ein komplett weißes Bild (oder Bildausschnitt) bedeutet. Diese Ska-Ia wird beispielsweise durch Normierung einer von dem jeweiligen optischen Bildsensor bereitgestellten absoluten Skala auf den größten Wert der absoluten Skala erhalten.
  • Das vorbestimmte Intervall IB ist in diesen Beispielen durch einen unteren Grenzwert bei 25 und einen oberen Grenzwert bei 85 begrenzt.
  • In der 4 liegt der ermittelte Ist-Wert B1 für die Helligkeit innerhalb des vorbestimmten Intervalls IB, somit ist das Bild für die weitere Verarbeitung durch das Parkassistenzsystem 100 geeignet (in Bezug auf die Helligkeit; weitere bestimmte Eigenschaften für das Bild, wie ein Kontrast und dergleichen, können unabhängig von der Helligkeit ebenfalls überprüft werden).
  • In der 5 ist der ermittelte Ist-Wert B2 unter dem unteren Grenzwert und damit außerhalb des Intervalls IB. Das Bild ist damit zu dunkel und nicht für die weitere Verarbeitung geeignet. In diesem Fall veranlasst die Steuereinheit 160 (siehe 1 - 3 oder 7) wie zuvor beschrieben vorbestimmte Maßnahmen, um diesen Zustand zu beheben und die Sicherheit des Parkassistenzsystems 100 sicherzustellen.
  • In der 6 ist der ermittelte Ist-Wert B3 über dem oberen Grenzwert und damit außerhalb des Intervalls IB. Das Bild ist damit zu hell und nicht für die weitere Verarbeitung geeignet. Auch in diesem Fall veranlasst die Steuereinheit 160 wie zuvor beschrieben vorbestimmte Maßnahmen, um diesen Zustand zu beheben und die Sicherheit des Parkassistenzsystems 100 sicherzustellen.
  • 7 zeigt ein schematisches Blockdiagramm eines Ausführungsbeispiels eines Parkassistenzsystems 100, welches zum autonomen Steuern eines Fahrzeugs 200 (siehe 2 oder 3) in einem vorbestimmten Bereich 110 (siehe 1 - 3) eingerichtet ist, wobei das Parkassistenzsystem 100 eine Anzahl von in einer Infrastruktur des Bereichs angeordneten optischen Bildsensoren 120A - 120L umfasst, wobei der jeweilige optische Bildsensor 120A - 120L zum Erfassen eines Bildes eines jeweiligen Erfassungsbereichs 121 A - 121L (seihe 1 - 3) und zum Ausgeben des erfassten Bildes eingerichtet ist. Das Parkassistenzsystem weist ferner auf:
    • eine Empfangseinheit 130 zum Empfangen des jeweiligen erfassten Bildes von dem jeweiligen optischen Bildsensor 120A - 120L,
    • eine Ermittlungseinheit 140 zum Ermitteln eines jeweiligen Ist-Wertes B1 - B3 (siehe 4 - 6) für eine bestimmte Eigenschaft des jeweiligen empfangenen Bildes,
    • eine Vergleichseinheit 140 zum Vergleichen des jeweiligen ermittelten Ist-Wertes B1 - B3 mit einem jeweiligen vorbestimmten Intervall IB (siehe 4 - 6), und
    • eine Steuereinheit 160 zum Veranlassen einer vorbestimmten Maßnahme, wenn der ermittelte Ist-Wert B1 - B3 außerhalb des vorbestimmten Intervalls IB liegt, wobei die vorbestimmte Maßnahme ein Ansteuern einer technischen Einrichtung 210 - 212 umfasst, welche technische Einrichtung 210 - 212 zum Anpassen einer Erfassungsbedingung für den jeweiligen optischen Bildsensor 120A - 120L eingerichtet ist, und/oder wobei die vorbestimmte Maßnahme ein Ausschließen des jeweiligen Erfassungsbereichs 121 A - 121L aus einem Bahnplanungsbereich des Parkassistenzsystems 100 umfasst.
  • 8 zeigt ein schematisches Blockschaltbild eines Ausführungsbeispiels für ein Verfahren zum Betreiben eines Parkassistenzsystems 100, welches zum autonomen Steuern eines Fahrzeugs 200 (siehe 2 oder 3) in einem vorbestimmten Bereich 110 (siehe 1 - 3) eingerichtet ist, wobei das Parkassistenzsystem 100 eine Anzahl von in einer Infrastruktur des Bereichs angeordneten optischen Bildsensoren 120A - 120L (siehe 1 - 3) umfasst, wobei der jeweilige optische Bildsensor 120A - 120L zum Erfassen eines Bildes eines jeweiligen Erfassungsbereichs 121 A - 121L und zum Ausgeben des erfassten Bildes eingerichtet ist. In einem ersten Schritt S1 wird das jeweilige erfasste Bild von dem jeweiligen optischen Bildsensor 120A - 120L empfangen. In einem zweiten Schritt S2 wird ein jeweiliger Ist-Wert B1 - B3 (siehe 4 - 6) für eine bestimmte Eigenschaft des jeweiligen empfangenen Bildes ermittelt. In einem dritten Schritt S3 wird der jeweilige ermittelte Ist-Wertes B1 - B3 mit einem jeweiligen vorbestimmten Intervall IB (siehe 4 - 6) verglichen. In einem vierten Schritt S4 wird eine vorbestimmte Maßnahme veranlasst, wenn der ermittelte Ist-Wert B1 - B3 außerhalb des vorbestimmten Intervalls IB liegt. Die vorbestimmte Maßnahme umfasst ein Ansteuern einer technischen Einrichtung 210 - 212 (siehe 7), welche technische Einrichtung 210 - 212 zum Anpassen einer Erfassungsbedingung für den jeweiligen optischen Bildsensor 120A - 120L eingerichtet ist, und/oder die vorbestimmte Maßnahme umfasst ein Ausschließen des jeweiligen Erfassungsbereichs 121A - 121L aus einem Bahnplanungsbereich des Parkassistenzsystems 100.
  • Obwohl die vorliegende Erfindung anhand von Ausführungsbeispielen beschrieben wurde, ist sie vielfältig modifizierbar.
  • BEZUGSZEICHENLISTE
  • 100
    Parkassistenzsystem
    110
    vorbestimmter Bereich
    110A
    Einfahrt
    110B
    Ausfahrt
    120A-L
    optischer Bildsensor
    121A-L
    Erfassungsbereich
    130
    Empfangseinheit
    140
    Ermittlungseinheit
    150
    Vergleichseinheit
    160
    Steuereinheit
    200
    Fahrzeug
    210
    technische Einrichtung
    211
    technische Einrichtung
    212
    technische Einrichtung
    B1
    Ist-Wert
    B2
    Ist-Wert
    B3
    Ist-Wert
    IB
    Intervall
    P1
    Position
    P2
    Position
    S1
    Verfahrensschritt
    S2
    Verfahrensschritt
    S3
    Verfahrensschritt
    S4
    Verfahrensschritt
    TR1
    Trajektorie
    TR2
    Trajektorie
    TR2*
    Trajektorie
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102018213485 A1 [0003]

Claims (13)

  1. Verfahren zum Betreiben eines Parkassistenzsystems (100), welches zum autonomen Steuern eines Fahrzeugs (200) in einem vorbestimmten Bereich (110) eingerichtet ist, wobei das Parkassistenzsystem (100) eine Anzahl von in einer Infrastruktur des Bereichs (110) angeordneten optischen Bildsensoren (120A - 120L) umfasst, wobei der jeweilige optische Bildsensor (120A - 120L) zum Erfassen eines Bildes eines jeweiligen Erfassungsbereichs (121 A - 121 L) und zum Ausgeben des erfassten Bildes eingerichtet ist, das Verfahren umfassend: Empfangen (S1) des jeweiligen erfassten Bildes von dem jeweiligen optischen Bildsensor (120A - 120L), Ermitteln (S2) eines jeweiligen Ist-Wertes (B1 - B3) für eine bestimmte Eigenschaft des jeweiligen empfangenen Bildes, Vergleichen (S3) des jeweiligen ermittelten Ist-Wertes (B1 - B3) mit einem jeweiligen vorbestimmten Intervall (IB), und Veranlassen (S4) einer vorbestimmten Maßnahme, wenn der ermittelte Ist-Wert (B1 - B3) außerhalb des vorbestimmten Intervalls (IB) liegt, wobei die vorbestimmte Maßnahme ein Ansteuern einer technischen Einrichtung (210 - 212) umfasst, welche technische Einrichtung (210 - 212) zum Anpassen einer Erfassungsbedingung für den jeweiligen optischen Bildsensor (120A - 120L) eingerichtet ist, und/oder wobei die vorbestimmte Maßnahme ein Ausschließen des jeweiligen Erfassungsbereichs (121A - 121 L) aus einem Bahnplanungsbereich des Parkassistenzsystems (100) umfasst.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die bestimmte Eigenschaft des empfangenen Bildes eine Helligkeit eines Teilbereichs des Bildes umfasst.
  3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die vorbestimmte Maßnahme ein Ausgeben eines Steuersignals an eine in der Infrastruktur angeordnete Beleuchtungseinheit zum Erhöhen oder zum Reduzieren der Helligkeit in dem jeweiligen Erfassungsbereich (121A - 121 L) umfasst.
  4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die bestimmte Eigenschaft des empfangenen Bildes ein Kontrast eines Teilbereich des Bildes umfasst.
  5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die bestimmte Eigenschaft des empfangenen Bildes eine Ähnlichkeit eines Teilbereichs des Bildes mit einem vorbestimmten Bild umfasst.
  6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass das vorbestimmte Bild einen Teilbereich eines bei einer Eichung des jeweiligen optischen Bildsensors von dem jeweiligen optischen Bildsensor (120A - 120L) erfassten Bildes umfasst.
  7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die vorbestimmte Maßnahme ein Stoppen eines aktuell von dem Parkassistenzsystem (100) gesteuerten Fahrzeugs (200) umfasst.
  8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass, wenn als die vorbestimmte Maßnahme ein Ausschließen des jeweiligen Erfassungsbereichs (121A - 121L) aus einem Bahnplanungsbereich des Parkassistenzsystems (100) durchgeführt wurde, der ausgeschlossene Erfassungsbereich (121A - 121L) wieder in den Bahnplanungsbereich aufgenommen wird, sobald der Ist-Wert (B1 - B3) für ein später erfasstes Bild des jeweiligen optischen Bildsensors (120A - 120L) innerhalb des vorbestimmten Intervalls (IB) liegt.
  9. Computerprogrammprodukt, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren nach einem der Ansprüche 1-8 auszuführen.
  10. Parkassistenzsystem (100), welches zum autonomen Steuern eines Fahrzeugs (200) in einem vorbestimmten Bereich (110) eingerichtet ist, wobei das Parkassistenzsystem (100) eine Anzahl von in einer Infrastruktur des Bereichs angeordneten optischen Bildsensoren (120A - 120L) umfasst, wobei der jeweilige optische Bildsensor (120A - 120L) zum Erfassen eines Bildes eines jeweiligen Erfassungsbereichs (121A - 121 L) und zum Ausgeben des erfassten Bildes eingerichtet ist, und wobei das Parkassistenzsystem (100) ferner aufweist: eine Empfangseinheit (130) zum Empfangen des jeweiligen erfassten Bildes von dem jeweiligen optischen Bildsensor (120A - 120L), eine Ermittlungseinheit (140) zum Ermitteln eines jeweiligen Ist-Wertes (B1 - B3) für eine bestimmte Eigenschaft des jeweiligen empfangenen Bildes, eine Vergleichseinheit (150) zum Vergleichen des jeweiligen ermittelten Ist-Wertes (B1 - B3) mit einem jeweiligen vorbestimmten Intervall (IB), und eine Steuereinheit (160) zum Veranlassen einer vorbestimmten Maßnahme, wenn der ermittelte Ist-Wert (B1 - B3) außerhalb des vorbestimmten Intervalls (IB) liegt, wobei die vorbestimmte Maßnahme ein Ansteuern einer technischen Einrichtung (210 - 212) umfasst, welche technische Einrichtung (210 - 212) zum Anpassen einer Erfassungsbedingung für den jeweiligen optischen Bildsensor (120A - 120L) eingerichtet ist, und/oder wobei die vorbestimmte Maßnahme ein Ausschließen des jeweiligen Erfassungsbereichs (121 A - 121L) aus einem Bahnplanungsbereich des Parkassistenzsystems (100) umfasst.
  11. Gebäude mit einem Parkassistenzsystem (100) nach Anspruch 10.
  12. Gebäude nach Anspruch 11, dadurch gekennzeichnet, dass das Gebäude eine Anzahl von Beleuchtungseinheiten umfasst, die von der Steuereinheit (160) des Parkassistenzsystems (100) steuerbar sind.
  13. Gebäude nach Anspruch 12, dadurch gekennzeichnet, dass die Beleuchtungseinheiten eine Lichtquelle und/oder ein Lichtleitelement und/oder eine Beschattungsvorrichtung umfassen.
DE102022107253.3A 2022-03-28 2022-03-28 Verfahren, computerprogrammprodukt, parkassistenzsystem und gebäude Pending DE102022107253A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102022107253.3A DE102022107253A1 (de) 2022-03-28 2022-03-28 Verfahren, computerprogrammprodukt, parkassistenzsystem und gebäude
PCT/EP2023/057455 WO2023186693A1 (de) 2022-03-28 2023-03-23 Verfahren, computerprogrammprodukt, parkassistenzsystem und gebäude

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102022107253.3A DE102022107253A1 (de) 2022-03-28 2022-03-28 Verfahren, computerprogrammprodukt, parkassistenzsystem und gebäude

Publications (1)

Publication Number Publication Date
DE102022107253A1 true DE102022107253A1 (de) 2023-09-28

Family

ID=86006751

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022107253.3A Pending DE102022107253A1 (de) 2022-03-28 2022-03-28 Verfahren, computerprogrammprodukt, parkassistenzsystem und gebäude

Country Status (2)

Country Link
DE (1) DE102022107253A1 (de)
WO (1) WO2023186693A1 (de)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016223180A1 (de) 2016-11-23 2018-05-24 Robert Bosch Gmbh Verfahren und System zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts
DE102018213485A1 (de) 2018-08-10 2020-02-13 Robert Bosch Gmbh Verfahren zum Überwachen eines Bereichs einer Kraftfahrzeuginfrastruktur
DE102020107108A1 (de) 2020-03-16 2021-09-16 Kopernikus Automotive GmbH Verfahren und System zum autonomen Fahren eines Fahrzeugs

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016223171A1 (de) * 2016-11-23 2018-05-24 Robert Bosch Gmbh Verfahren und System zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts
JP7318545B2 (ja) * 2020-01-27 2023-08-01 株式会社デンソー 自動駐車システム、マーカ不具合判定方法、及びマーカ不具合判定プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016223180A1 (de) 2016-11-23 2018-05-24 Robert Bosch Gmbh Verfahren und System zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts
DE102018213485A1 (de) 2018-08-10 2020-02-13 Robert Bosch Gmbh Verfahren zum Überwachen eines Bereichs einer Kraftfahrzeuginfrastruktur
DE102020107108A1 (de) 2020-03-16 2021-09-16 Kopernikus Automotive GmbH Verfahren und System zum autonomen Fahren eines Fahrzeugs

Also Published As

Publication number Publication date
WO2023186693A1 (de) 2023-10-05

Similar Documents

Publication Publication Date Title
DE60213715T2 (de) Bildüberwachungsvorrichtung, -verfahren und -verarbeitungsprogramm
DE102005003871A1 (de) Verfahren und Vorrichtung zum durch Bilderkennung erleichterten Betrieb einer beweglichen Schranke
EP3014569B1 (de) Inspektion der konturierten fläche des unterbodens eines kraftfahrzeugs
EP3291172B1 (de) Verfahren zur ermittlung von ergebnisbilddaten
WO1999026816A1 (de) Verfahren zum detektieren von auf einer windschutzscheibe befindlichen objekten sowie vorrichtung
WO2010057661A1 (de) Verfahren und vorrichtung zur überwachung eines an einem werkstück durchzuführenden laserbearbeitungsvorgangs sowie laserbearbeitungskopf mit einer derartigen vorrichtung
EP1928687A1 (de) Verfahren und fahrerassistenzsystem zur sensorbasierten anfahrtsteuerung eines kraftfahrzeugs
DE102009048849A1 (de) Fahrzeugerfassungseinrichtung, Fahrzeugerfassungsprogramm und Lichtregelungseinrichtung
DE102005012118A1 (de) Bewegbare Absperrungseinrichtung mit einem Hindernisdetektor
EP3727936B1 (de) Verfahren zum erkennen von zumindest einem an einem kraftfahrzeug anliegenden objekt sowie steuervorrichtung und kraftfahrzeug
DE102009036844A1 (de) Belichtungsbestimmungsvorrichtung und Bildverarbeitungsvorrichtung
DE102010003804A1 (de) Multifunktionale Sensoreinheit zum Ermitteln von Kontrollinformationen für die Lichtsteuerung
EP2915922A1 (de) Verfahren zum Betreiben einer Fahrzeugschranke
DE102007054139A1 (de) Verfahren und System zur kombinierten Innenraumüberwachung und Innenraumbeleuchtung in einem Kraftfahrzeug
WO2020229186A1 (de) 3D SENSORSYSTEM, BETREIBBAR IN VERSCHIEDENEN BETRIEBSMODI IN ABHÄNGIGKEIT EINES BETRIEBSZUSTANDES EINES VERSCHLIEßKÖRPERS
DE19916175A1 (de) Einrichtung zur Einstellung der Richtung des von wenigstens einm Scheinwerfer eines Fahrzeugs ausgesandten Lichtbündels
DE102019117620A1 (de) Strassenlicht mit infrarotbeleuchtung
DE102021117613A1 (de) Verfahren zum betreiben eines parkassistenzsystems, computerprogrammprodukt und parkassistenzsystem
DE10018366A1 (de) Optoelektronische Sensoranordnung sowie Verfahren zum Betreiben einer optoelektronischen Sensoranordnung
DE102022107253A1 (de) Verfahren, computerprogrammprodukt, parkassistenzsystem und gebäude
EP0448803A2 (de) Videokontroll-Einrichtung
DE102019114904A1 (de) Vorausschauende Erkennung einer Fahrbahnbeschaffenheit mittels eines Laserscanners und einer Kameraeinheit
DE102006004770A1 (de) Verfahren zur bildgestützten Erkennung von Fahrzeugen im Umfeld eines Sraßenfahrzeugs
WO2023156144A1 (de) Verfahren zum ansteuern einer beleuchtungsvorrichtung eines fahrzeugs
WO2022200482A1 (de) Verfahren zum betreiben eines parkassistenzsystems, computerprogrammprodukt, parkassistenzsystem sowie fahrzeug

Legal Events

Date Code Title Description
R163 Identified publications notified