[go: up one dir, main page]

DE102020123976A1 - Verfahren, System und Computerprogrammprodukt zur Bestimmung von sicherheitskritischen Verkehrsszenarien für Fahrerassistenzsysteme (FAS) und hochautomatisierte Fahrfunktionen (HAF) - Google Patents

Verfahren, System und Computerprogrammprodukt zur Bestimmung von sicherheitskritischen Verkehrsszenarien für Fahrerassistenzsysteme (FAS) und hochautomatisierte Fahrfunktionen (HAF) Download PDF

Info

Publication number
DE102020123976A1
DE102020123976A1 DE102020123976.9A DE102020123976A DE102020123976A1 DE 102020123976 A1 DE102020123976 A1 DE 102020123976A1 DE 102020123976 A DE102020123976 A DE 102020123976A DE 102020123976 A1 DE102020123976 A1 DE 102020123976A1
Authority
DE
Germany
Prior art keywords
data
scenario
sensors
images
driver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102020123976.9A
Other languages
English (en)
Inventor
Nadine Drollinger
Phillip Mielke
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dr Ing HCF Porsche AG
Original Assignee
Dr Ing HCF Porsche AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dr Ing HCF Porsche AG filed Critical Dr Ing HCF Porsche AG
Priority to DE102020123976.9A priority Critical patent/DE102020123976A1/de
Priority to US17/364,840 priority patent/US11801843B2/en
Priority to CN202110942628.3A priority patent/CN114261394B/zh
Priority to KR1020210120839A priority patent/KR102658770B1/ko
Publication of DE102020123976A1 publication Critical patent/DE102020123976A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0011Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04Traffic conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0015Planning or execution of driving tasks specially adapted for safety
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872Driver physiology
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/089Driver voice
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/0075Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083Setting, resetting, calibration
    • B60W2050/0088Adaptive recalibration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/12Brake pedal position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/18Steering angle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/21Voice
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/221Physiology, e.g. weight, heartbeat, health or special needs
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/05Type of road, e.g. motorways, local streets, paved or unpaved roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20Ambient conditions, e.g. wind or rain
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • B60W2556/50External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2756/00Output or target parameters relating to data
    • B60W2756/10Involving external transmission of data to or from the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0013Planning or execution of driving tasks specially adapted for occupant comfort
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00Special features of vehicle units
    • B60Y2400/30Sensors
    • B60Y2400/304Acceleration sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00Special features of vehicle units
    • B60Y2400/30Sensors
    • B60Y2400/306Pressure sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Bestimmung von sicherheitskritischen Verkehrsszenarien für Fahrerassistenzsysteme und hochautomatisierte Fahrfunktionen für zumindest ein sich bewegendes Objekt, wie insbesondere ein Kraftfahrzeug, wobei ein sicherheitskritisches Verkehrsszenarium zumindest einen Szenarium-Typ einen mittels geographischer Koordinaten bestimmbaren Ort und einen Sicherheitswert aufweist, umfassend die folgenden Verfahrensschritte:- Aufnehmen von ersten Daten von Detektoren eines Fahrzeugs beim Fahren entlang einer Route, wobei den ersten Daten jeweils geographische Koordinaten zugeordnet werden;- Aufnehmen von zweiten Daten von Sensoren zur Erfassung von physiologischen und physischen Reaktionen eines Fahrers eines Fahrzeugs während des Fahrens entlang der Route, wobei den zweiten Daten jeweils geographische Koordinaten zugeordnet werden;- Senden der ersten und zweiten Daten an eine Datenauswertungseinheit;- Kombinieren der ersten Daten und der zweiten Daten mit den gleichen geographischen Koordinaten miteinander, so dass sie Daten an einem bestimmten geographischen Ort repräsentieren;- Identifizieren eines Szenariums für den bestimmten geographischen Ort aufgrund der ersten und zweiten Daten;- Klassifizieren des identifizierten Szenariums mit einem Schwierigkeitswert.

Description

  • Die Erfindung betrifft ein Verfahren, ein System und ein Computerprogrammprodukt zur Bestimmung von sicherheitskritischen Verkehrsszenarien für Fahrerassistenzsysteme (FAS) und hochautomatisierte Fahrfunktionen (HAF) für zumindest ein sich bewegendes Objekt, wie insbesondere ein Kraftfahrzeug, wobei ein sicherheitskritisches Verkehrsszenarium zumindest einen Szenarium-Typ, einen mittels geographischer Koordinaten bestimmbaren Ort und einen Sicherheitswert aufweist.
  • Der Trend zu Fahrerassistenzsystemen (FAS) und hochautomatisierten Fahrfunktionen (HAF) bei Kraftfahrzeugen, aber auch bei Luftfahrzeugen oder Wasserfahrzeugen erfordert umfangreiche Absicherungsstrategien, da die Verantwortung über die Fahrzeugführung nicht mehr uneingeschränkt beim Fahrer liegt, sondern aktive Funktionen von Rechnereinheiten im Fahrzeug übernommen werden. Daher muss sichergestellt werden, dass autonom sich bewegende Objekte nur eine sehr geringere Fehlerrate beim Fahrverhalten aufweisen. Die Erkennung und Klassifizierung von Objekten und die Interpretation von Verkehrsszenarien im Umfeld eines Fahrzeugs sind wichtige Voraussetzungen für eine sichere Funktionsfähigkeit von Fahrerassistenzsystemen. Hierfür ist das gezielte Testen sowohl von Extrem- und Ausnahmesituationen (engl. Corner-Cases) als auch von alltäglichen Situationen erforderlich. Derartige Extremsituationen ergeben sich durch eine besondere Kombination von verschiedenen Faktoren. Beispiele hierfür sind infrastrukturelle Besonderheiten wie beispielsweise der Straßentyp, die Randbebauung an einer Straße, die Qualität der Markierungen aber auch Umgebungsbedingungen wie beispielsweise Witterungsbedingungen, die Tages- und die Jahreszeit. Zudem ist das Verhalten der anderen Verkehrsteilnehmer bedeutsam. Bei Luftfahrzeugen und Wasserfahrzeugen spielen insbesondere die geographische Topographie und die Wetterverhältnisse eine große Rolle.
  • Verkehrstechnische Ausnahmesituationen sind jedoch in der realen Welt schwierig zu finden, da einige Ereignisse und Situationen nur selten auftreten. Darüber hinaus ist eine Auswertung von verfügbaren Verkehrsdaten, beispielsweise der Daten von Testfahrzeugen, die zur Datensammlung eingesetzt werden, schwierig, da die relevanten Daten oftmals nicht ausreichend klassifiziert und damit auffindbar sind.
  • Allerdings reagiert ein menschlicher Fahrer häufig sehr intuitiv und schnell auf eine bestimmte Gefahrensituation und zeigt dabei typische physiologische Reaktionen wie eine Erhöhung der Herzfrequenz und erweiterte Pupillen sowie physische Reaktionen im Fahrzeug wie ein plötzliches Betätigen der Bremsvorrichtung.
  • Die DE102016201939A1 beschreibt ein System zur Erfassung einer plötzlich gesteigerten Aufmerksamkeit des Fahrers durch geeignete Sensoren. Zusätzlich kann durch Sensoren die Blickrichtung des Fahrers in dieser Situation registriert werden. Diese Daten werden verwendet, um ein Objekt im Umfeld des Fahrers zu bestimmen und Eingriffe in das Fahrverhalten des Fahrzeugs zu rechtfertigen.
  • Die DE102018206666A1 beschreibt ein Verfahren zum Warnen eines Fahrers eines Fahrzeugs vor einer Situation, bei der eine geringe Leistungsfähigkeit des Fahrers auftritt. Hierzu wird ein Fahrsituationssignal eingelesen, das eine aktuelle Fahrsituation repräsentiert. Unter Verwendung des Fahrsituationssignals und eines zu erwartenden Leistungsabfalls des Fahrers wird ein Warnsignal ausgegeben, wenn die aktuelle Fahrsituation einer Fahrsituation mit zu erwartendem Leistungsabfall entspricht.
  • Die der Erfindung zu Grunde liegende Aufgabe besteht somit darin, ein Verfahren, ein System und ein Computerprogrammprodukt zur Bestimmung von sicherheitsrelevanten Szenarien für Fahrerassistenzsysteme (FAF) und hochautomatisierte Fahrfunktionen (HAF) für zumindest ein sich bewegendes Objekt, wie insbesondere ein Kraftfahrzeug zu schaffen, das mögliche auftretende sicherheitsrelevante Szenarien entlang einer Route umfassend identifiziert und klassifiziert.
  • Gemäß der vorliegenden Erfindung wird ein Verfahren, ein System und ein Computerprogrammprodukt vorgeschlagen, durch das eine umfassende Bestimmung von sicherheitsrelevanten Verkehrsszenarien ermöglicht wird, um hierdurch beispielsweise die Grundlage für die Bereitstellung von Fahrerassistenzsystemen und hochautomatisierten Fahrfunktionen und/oder Flugsituationen zu schaffen, die sich sowohl in alltäglichen Situationen als auch in fahrtechnischen Extremsituationen durch ein hohes Maß an Sicherheit und Zuverlässigkeit auszeichnen.
  • Diese Aufgabe wird hinsichtlich eines Verfahrens durch die Merkmale des Patentanspruchs 1, hinsichtlich eines Systems durch die Merkmale des Patentanspruchs 8 erfindungsgemäß, und hinsichtlich eines Computerprogrammprodukts durch die Merkmale des Patentanspruchs 15 gelöst. Die weiteren Ansprüche betreffen bevorzugte Ausgestaltungen der Erfindung.
  • Gemäß einem ersten Aspekt betrifft die Erfindung ein Verfahren zur Bestimmung von sicherheitskritischen Verkehrsszenarien S1, S2, ..., Sn für Fahrerassistenzsysteme (FAS) und hochautomatisierte Fahrfunktionen (HAF) für zumindest ein sich bewegendes Objekt, wie insbesondere ein Kraftfahrzeug, wobei ein sicherheitskritisches Verkehrsszenarium Si(x,y,z) zumindest einen Szenarium-Typ Si einen mittels geographischer Koordinaten bestimmbaren Ort und einen Sicherheitswert Wi aufweist, umfassend die folgenden Verfahrensschritte:
    • - Aufnehmen von ersten Daten und/oder Bildern von Detektoren und Sensoren eines Fahrzeugs beim Fahren entlang einer Route, wobei den ersten Daten und/oder Bildern jeweils geographische Koordinaten zugeordnet werden;
    • - Senden der ersten Daten und/oder Bilder an eine Datenauswertungseinheit;
    • - Aufnehmen von zweiten Daten und/oder Bildern von Sensoren zur Erfassung von physiologischen und physischen Reaktionen eines Fahrers eines Fahrzeugs während des Fahrens entlang der Route, wobei den zweiten Daten und/oder Bildern jeweils geographische Koordinaten zugeordnet werden;
    • - Senden der zweiten Daten und/oder Bilder an eine Datenauswertungseinheit;
    • - Kombinieren der ersten Daten und der zweiten Daten mit den gleichen geographischen Koordinaten miteinander, so dass sie Daten an einem bestimmten geographischen Ort repräsentieren;
    • - Identifizieren eines Szenariums Si(x,y,z) für den bestimmten geographischen Ort aufgrund der ersten und zweiten Daten;
    • - Klassifizieren des identifizierten Szenariums Si(x,y,z) mit einem Schwierigkeitswert Wi.
  • In einer Weiterentwicklung ist vorgesehen, dass die Eigenschaften von möglichen Szenarien-Typen S1, S2,..., Sn aus den übermittelten ersten und zweiten Daten in einem Extraktionsmodul der Datenauswertungseinheit extrahiert werden.
  • In einer weiteren Ausführungsform ist vorgesehen, dass die Eigenschaften von dem Extraktionsmodul an ein Klassifizierungsmodul mit Algorithmen zur Klassifizierung übermittelt werden, und dass das Klassifizierungsmodul den extrahierten Eigenschaften ein oder mehrere vordefinierte Szenarien-Typen S1, S2,..., Sn zuordnet und zumindest einen passenden Szenarium-Typ Si identifiziert. Das identifizierte reale Szenarium Sj(x,y,z) wird mit geographischen Koordinaten und/oder weiteren Metadaten wie dem Zeitpunkt der Datenaufnahme in einem Speichermodul gespeichert.
  • Vorteilhaftweise werden als weitere Datenquellen kartographische Informationen, Daten zu Verkehrszahlen, Luftbildaufnahmen und/oder Daten zu Wetterinformationen und/oder Daten aus einem Schattenmodul verwendet.
  • Insbesondere sind die Sensoren für die zweiten Daten als Herzfrequenzmessgeräte, Infrarotkameras, Brillen mit optischen Sensoren, Innenraumkameras, Bewegungssensoren, Beschleunigungssensoren, Drucksensoren und/oder Mikrofone ausgebildet zur Aufnahme von physiologischen und physischen Messdaten des Fahrers und/oder der Insassen wie der Herzfrequenz und/oder der Hauttemperatur und/oder Bilder der Pupillen des Fahrers und/oder plötzliche Bremsbetätigungen und/oder Lenkaktivitäten und/oder Sprachäußerungen.
  • In einer Weiterbildung ist vorgesehen, dass in der Datenauswertungseinheit Grenzwerte für die zweiten Daten festgelegt werden und ein Überschreiten eines Grenzwerts für eine Klassifizierung des identifizierten Szenariums Si(x,y,z) mit einem Schwierigkeitswert Wi verwendet wird.
  • Insbesondere stellt ein Szenarium-Typ Sj einen Straßenschauplatz und/oder eine Verkehrssituation dar.
  • Gemäß einem zweiten Aspekt betrifft die Erfindung ein System zur Bestimmung von sicherheitskritischen Verkehrsszenarien S1, S2, ..., Sn für Fahrerassistenzsysteme (FAS) und hochautomatisierte Fahrfunktionen (HAF) für zumindest ein sich bewegendes Objekt, wie insbesondere ein Kraftfahrzeug. Ein sicherheitskritisches Verkehrsszenarium Si(x,y,z) weist zumindest einen Szenarium-Typ S1, einen mittels geographischer Koordinaten bestimmbaren Ort und einen Sicherheitswert Wi auf. Das System umfasst Detektoren und Sensoren eines Fahrzeugs, die ausgebildet sind, beim Fahren des Fahrzeugs entlang einer Route erste Daten und/oder Bilder aufzunehmen, und die ersten Daten und/oder Bilder an eine Datenauswertungseinheit zu senden. Den ersten Daten und/oder Bildern werden jeweils geographische Koordinaten zugeordnet. Des Weiteren sind Sensoren vorgesehen, die ausgebildet sind, zweite Daten und/oder Bilder von physiologischen und physischen Reaktionen eines Fahrers eines Fahrzeugs während des Fahrens entlang der Route zu erfassen, und die zweiten Daten und/oder Bilder an eine Datenauswertungseinheit zu senden. Den zweiten Daten und/oder Bildern werden jeweils geographische Koordinaten zugeordnet. Die Datenauswertungseinheit ist ausgebildet, die ersten Daten und die zweiten Daten mit den gleichen geographischen Koordinaten miteinander zu kombinieren, so dass sie Daten an einem bestimmten geographischen Ort repräsentieren, und ein Szenarium Si(x,y,z) für den bestimmten geographischen Ort aufgrund der ersten und zweiten Daten zu identifizieren, und das identifizierte Szenarium Si(x,y,z) mit einem Schwierigkeitswert Wi zu klassifizieren.
  • Vorteilhafterweise weist die Datenauswertungseinheit ein Extraktionsmodul, ein Klassifizierungsmodul und ein Speichermodul auf, wobei das Extraktionsmodul ausgebildet ist, Eigenschaften von möglichen Szenarien-Typen S1, S2,..., Sn aus den übermittelten ersten und zweiten Daten zu extrahieren.
  • In einer Weiterbildung ist vorgesehen, dass die Eigenschaften von dem Extraktionsmodul an ein Klassifizierungsmodul mit Algorithmen zur Klassifizierung übermittelt werden, das Klassifizierungsmodul den extrahierten Eigenschaften ein oder mehrere vordefinierte Szenarien-Typen S1, S2,..., Sn zuordnet und zumindest einen passenden Szenarium-Typ Si identifiziert, und dass das identifizierte reale Szenarium Sj(x,y,z) mit geographischen Koordinaten und/oder weiteren Metadaten wie dem Zeitpunkt der Datenaufnahme in einem Speichermodul gespeichert wird.
  • In einer weiteren Ausführungsform werden als weitere Datenquellen kartographische Informationen, Daten zu Verkehrszahlen, Luftbildaufnahmen und/oder Daten zu Wetterinformationen und/oder Daten aus einem Schattenmodul verwendet.
  • Insbesondere sind die Sensoren für die zweiten Daten als Herzfrequenzmessgeräte, Infrarotkameras, Brillen mit optischen Sensoren, Innenraumkameras, Bewegungssensoren, Beschleunigungssensoren, Drucksensoren und/oder Mikrofonen ausgebildet zur Aufnahme von physiologischen und physischen Messdaten des Fahrers und/oder der Insassen wie der Herzfrequenz und/oder der Hauttemperatur und/oder Bilder der Pupillen des Fahrers und/oder plötzliche Bremsbetätigungen und/oder Lenkaktivitäten und/oder Sprachäußerungen.
  • In einer Weiterentwicklung sind in der Datenauswertungseinheit Grenzwerte für die zweiten Daten festgelegt und ein Überschreiten eines Grenzwerts wird für eine Klassifizierung des identifizierten Szenariums Si(x,y,z) mit einem Schwierigkeitswert Wi verwendet.
  • Insbesondere stellt ein Szenarium-Typ Sj einen Straßenschauplatz und/oder eine Verkehrssituation dar.
  • Gemäß einem dritten Aspekt stellt die Erfindung ein Computerprogrammprodukt bereit, das einen ausführbaren Programmcode umfasst, der so konfiguriert ist, dass er bei seiner Ausführung das Verfahren gemäß dem ersten Aspekt ausführt.
  • Nachfolgend wird die Erfindung anhand von in der Zeichnung dargestellten Ausführungsbeispielen näher erläutert.
  • Dabei zeigt:
    • 1 ein Blockdiagramm zur Erläuterung eines Ausführungsbeispiels eines erfindungsgemäßen Systems;
    • 3 ein Flussdiagramm zur Erläuterung der einzelnen Verfahrensschritte des erfindungsgemäßen Verfahrens;
    • 2 schematisch ein Computerprogrammprodukt gemäß einer Ausführungsform des dritten Aspekts der Erfindung.
  • Zusätzliche Kennzeichen, Aspekte und Vorteile der Erfindung oder ihrer Ausführungsbeispiele werden durch die ausführliche Beschreibung in Verbindung mit den Ansprüchen ersichtlich.
  • Fahrerassistenzsysteme greifen teilautonom oder autonom in den Antrieb, die Steuerung oder Signalisierungseinrichtungen eines Fahrzeuges ein oder warnen durch geeignete Mensch-Maschine-Schnittstellen den Fahrer kurz vor oder während kritischer Situationen. Die Erkennung und die Klassifikation von Verkehrssituationen und Objekten sowie die Interpretation des Verkehrsszenarios im Umfeld des Fahrzeugs sind bedeutsam für die Leistungsfähigkeit von Fahrerassistenzsystemen (FAS) und hochautomatisierten Fahrfunktionen (HAF).
  • Den verschiedenen Verkehrssituationen können Szenarien-Typen S1, S2,..., Sn zugordnet werden, die sich durch bestimmte Eigenschaften (engl. features) charakterisieren lassen. Durch die Kombination bestimmter Eigenschaften wird somit ein Szenarium-Typ bestimmt. Beispiele von Eigenschaften sind die Beschilderung oder die Straßeninfrastruktur wie die Art des Straßenbelags, die Anzahl der Fahrspuren, mögliche Baustellen. So ist der Szenarium-Typ einer Brücke durch Eigenschaften wie ein Geländer links und rechts der Straße und ein sichtbarer Übergang auf der Straße bestimmt. Der Szenarium-Typ eines Autobahntunnels kann durch Eigenschaften wie Deckenleuchten, eine Wand mit Türen und ein insgesamt dunkles Bildfeld charakterisiert werden.
  • Neben einer Erkennung von Szenarien-Typen wie beispielsweise ein bestimmter Schauplatz wie eine Brücke, ein Tunnel, ein mehrspuriger Kreisverkehr oder Ampeln auf der Autobahn, ist der Schwierigkeitsgrad Wi eines konkreten Verkehrsszenarios von Bedeutung. So kann das Szenarium eines Tunnels an einem Ort X für ein Fahrerassistenzsystem einfach zu beherrschen sein, während ein Tunnel an einem Ort Y einen erheblichen Schwierigkeitsgrad aufweist und damit mit höheren Sicherheitsanforderungen verbunden ist. Es daher erforderlich, die jeweiligen Verkehrssituationen bzw. Szenarien hinsichtlich ihrer Sicherheitsanforderungen zu klassifizieren. Neben einer generellen Klassifizierung einer Verkehrssituation bzw. eines Szenariums als Extremsituation erfolgt darüber hinaus vorzugsweise eine spezifische Klassifizierung. Beispielsweise kann eine Extremsituation die erhöhte Wahrscheinlichkeit einer Kollision mit einem anderen Kraftfahrzeug auf einem bestimmten Autobahnabschnitt beinhalten, während eine andere Extremsituation die Wahrscheinlichkeit eines Wildschadens in einem Straßenabschnitt durch ein bewaldetes Gebiet aufweist.
  • 1 zeigt ein erfindungsgemäßes System 100 zur Bestimmung von sicherheitskritischen Verkehrssituationen bzw. Szenarien für Fahrerassistenzsysteme (FAS) und hochautomatisierten Fahrfunktionen (HAF) für ein sich bewegendes Objekt auf einer Route. Bei dem sich bewegenden Objekt kann es sich um ein Kraftfahrzeug wie ein Personenfahrzeug oder ein Lastkraftfahrzeug, ein Flugfahrzeug oder ein Wasserfahrzeug handeln, wobei es sich bei den Flugfahrzeugen insbesondere um unbemannte Flugfahrzeuge (Drohnen) und bei den Wasserfahrzeugen insbesondere um Schiffe, Boote und Fähren handelt.
  • Erfindungsgemäß werden erste Daten und Bilder 10 von Straßenschauplätze und/oder Verkehrssituationen oder geographische Topographien einer Route mit verschiedenen Detektoren 11 und Sensoren 12 erfasst, die beispielsweise in einem Testfahrzeug angebracht sind. Bei den Detektoren 11 und Sensoren 12 handelt es sich vorzugsweise um ein oder mehrere Kameras, die einen bestimmten Schauplatz und/oder eine Verkehrssituation abbilden. Es kann sich aber auch um akustische Sensoren, LIDAR (Light detection and ranging)-Systeme mit optischer Abstands- und Geschwindigkeitsmessung, stereoskopische optische Kamerasysteme, Ultraschallsysteme oder Radarsysteme handeln. Die Daten 10 bestehen daher vorzugsweise aus Sensordaten und Kamerabildern. Die Bilder und Daten 10 können von Testobjekten wie Testfahrzeugen oder Testdrohnen aufgenommen werden, die eine bestimmte Route oder Strecke abfahren oder abfliegen und diese Route mit den Detektoren 11 und Sensoren 12 aufnehmen. Darüber hinaus können Daten 10 auch durch Kommunikation mit dem Fahrzeugumfeld, insbesondere mit anderen Fahrzeugen wie der Car2Car-Kommunikation, oder stationären Informationssystemen, zur Verfügung gestellt werden.
  • Die ersten Daten und Bilder 10 werden gespeichert, entweder in entsprechenden Speichereinheiten oder Modulen der Detektoren 11 und Sensoren 12 oder in externen Speichermodulen wie einer Cloud-Computing Speichereinheit. Insbesondere werden die erfassten Daten und Bilder 10 mit den geographischen Koordinaten, dem Zeitpunkt der Datenerfassung und anderen Metadaten gespeichert.
  • Unter einer „Speichereinheit“ oder „Speichermodul“ und dergleichen kann im Zusammenhang mit der Erfindung beispielsweise ein flüchtiger Speicher in Form von einem Arbeitsspeicher (engl. Random-Access Memory, RAM) oder ein dauerhafter Speicher wie eine Festplatte oder ein Datenträger oder beispielsweise ein wechselbares Speichermodul oder eine cloudbasierte Speicherlösung verstanden werden.
  • Unter einem „Modul“ kann im Zusammenhang mit der Erfindung beispielsweise ein Prozessor und/oder eine Speichereinheit zum Speichern von Programmbefehlen verstanden werden. Beispielsweise ist der Prozessor und/oder die Steuereinheit speziell dazu eingerichtet, die Programmbefehle derart auszuführen, damit der Prozessor und/oder die Steuereinheit Funktionen ausführt, um das erfindungsgemäße Verfahren oder einen Schritt des erfindungsgemäßen Verfahrens zu implementieren oder zu realisieren.
  • Darüber hinaus werden erfindungsgemäß zweite Daten 40, die vom Fahrer des sich bewegenden Objekts, insbesondere eines Kraftfahrzeugs selbst beim Abfahren der Route erzeugt werden, erfasst und ausgewertet. Der Hintergrund hierfür ist, dass im allgemeinen gefährliche Situationen im Straßenverkehr für einen Fahrer eines Kraftfahrzeugs eine besondere Belastung und damit Stresssituation darstellen und zu körperlichen und psychischen Stressreaktionen führen, um diese Situation zu bewältigen. Auf der biochemischen Ebene führt eine Stresssituation binnen Sekunden zu einer Ausschüttung von Stresshormonen wie Adrenalin, Noradrenalin, Kortisol und Kortison, wodurch eine vegetative Wirkungskette ausgelöst wird, die zu einer Erhöhung des Blutsdrucks, des Blutzuckers sowie allgemein des Muskeltonus führt. Durch das sympathische Nervensystem wird die Herzfrequenz und Pulsfrequenz erhöht und die Herzkranzgefäße erweitern sich. Die Blutgefäße der Haut und der inneren Organe verengen sich und die Pupillen erweitern sich, um besser sehen zu können. Hierdurch wird der Körper auf Kampf oder Flucht vorbereitet.
  • Erfindungsgemäß werden die physiologischen und physischen Reaktionen des Fahrers mittels geeigneter Sensoren erfasst und für eine Klassifizierung von Fahrsituationen verwendet. Darüber hinaus können auch die Reaktionen der Fahrzeuginsassen erfasst werden. Als Sensoren 41 können Messbänder wie Fitness Tracker beispielsweise von FITBIT® oder anderen Herstellern verwendet werden, die die Herzfrequenz kontinuierlich messen. Diese Fitnessbänder können am Handgelenk des Fahrers oder der Insassen befestigt werden und die gemessenen Daten können einfach ausgelesen werden. Der Puls und damit die Herzfrequenz wird bei diesen Geräten im allgemeinen optisch mittels des geänderten Reflexionsverhaltens von ausgesandtem LED-Licht bei einer Veränderung des Blutflusses aufgrund des Zusammenziehens der Blutkapillargefäße beim Herzschlag gemessen. Das Gerät emittiert typischerweise Licht im grünen Wellenlängenbereich in das Gewebe am Handgelenk und misst das reflektierte Licht. Da Blut das Licht in diesem Wellenlängenbereich stark absorbiert, schwankt beim Pulsieren der Blutgefäße die gemessene Lichtintensität, woraus die Herzfrequenz bestimmt werden kann. In einer Stresssituation beschleunigt sich die Herzfrequenz, so dass die geänderte Herzfrequenz ein guter Indikator für das Auftreten einer Stresssituation ist.
  • Es können aber auch mit Sensoren ausgestattete Kleidungsstücke oder Smart Watches oder entsprechende Brillen verwendet werden. Darüber hinaus können optische Sensoren 42 wie Innenraumkameras eingesetzt werden, um die Änderung der Mimik und Gestik eines Fahrers aufzuzeichnen, wie erweiterte Pupillen als Kennzeichen einer Angstreaktion. Denkbar sind auch Infrarotkameras 43 zur Messung der Hautoberflächentemperatur und Sensoren zur Ermittlung von Schweißbildung. Auch sind körperinterne Sensoren, wie sogenannte Smart Pills denkbar, die in Pillenform ausgebildet und schluckbar sind. Sie können chemische Reaktionen im Körper ermitteln und beispielsweise per Funkverbindung die ermittelten Daten an eine externe Speichereinrichtung senden.
  • Eine plötzliche Änderung eines Parameters wie die Herzfrequenz deuten auf das Erkennen einer Gefahrensituation durch den Fahrer hin. Vorteilhafterweise wird daher eine charakteristische Abweichung von einem Normalwert als Grenzwert definiert, der auf eine solche Extremsituation hinweist.
  • Des Weiteren können direkte physischen Reaktionen des Fahrers wie die Lenkaktivität und die Bremspedalbetätigung sowie der Insassen im Kraftfahrzeug erfasst werden. Hierbei kann es sich um das plötzliche und kraftvolle Betätigen der Bremsvorrichtung durch den Fahrer handeln, wenn er beispielsweise der Gefahr einer Kollision mit einem anderen Fahrzeug ausweichen will. Die Bremsvorrichtung ist mit Bremssensoren 43 versehen, die eine schnelle und plötzliche Änderung im Bremsverhalten registrieren. Die Sensoren 44 können als kapazitive Beschleunigungssensoren ausgebildet sein. Darüber hinaus sind Drucksensoren 45 am Lenkrad und im Fahrersitz denkbar, die einen festeren Griff am Lenkrad und eine größere Druckausübung auf die Sitzfläche durch den Fahrer und/oder die Insassen feststellen, wenn dieser das Lenkrad fester umfasst und sich stärker in den Sitz hineinpresst aufgrund der während der Stresssituation auftretenden Verstärkung des Muskeltonus. Auch schnelle und ruckartige Lenkbewegungen des Lenkrads können mit entsprechenden Bewegungssensoren 46 erfasst werden. Auch hier weisen charakteristische Abweichungen von einem Normalwert auf eine solche Extremsituation hin.
  • Eine Gefahrensituation kann aber auch zu spontanen Sprachäußerungen des Fahrers beispielsweise als Ausdruck einer Verärgerung führen oder von Warnungsmitteilungen eines Beifahrers begleitet sein. Diese akustischen Signale können von einem Mikrofon 47 aufgezeichnet werden.
  • Darüber hinaus können weitere Daten 20 verwendet werden, die von einem Schattenmodul 22 in einem Fahrzeug erfasst werden. Das Schattenmodul 22 weist eigene Datenerfassungssysteme auf oder ist mit den Detektoren 11 und Sensoren 12 verbunden.
  • Das Schattenmodul 22 löst die Datenerfassungssysteme und/oder Detektoren 11 und Sensoren 12 durch Hintergrundfunktionen bei einem fahrenden Fahrzeug aus und arbeitet daher in einem sogenannten Schattenmodus (engl. shadow mode). Bei den Fahrzeugen kann es sich um Testfahrzeuge oder auch um Kundenfahrzeugen handeln. Dies gilt in gleicher Weise im Fall von Flugfahrzeugen oder Wasserfahrzeugen. In dem Schattenmodul 22 sind Trigger vorgesehen, die auf ein spezifisches Verhalten einzelner Komponenten des Fahrzeugs ansprechen. So kann beispielsweise das Überschreiten bestimmter Beschleunigungswerte einen Trigger auslösen, so dass dann die entsprechenden Datenerfassungssysteme einen Straßenschauplatz oder eine Verkehrssituation erfassen. Die von den Detektoren 11, Sensoren 12 und den Datenerfassungssystemen des Schattenmoduls 22 aufgezeichneten Daten und Bilder 10, 20 werden entweder in einem Datenspeicher der Detektoren 11 und Sensoren 12 gespeichert oder direkt an das Schattenmodul 22 übermittelt. Dabei werden auch diese erfassten Daten und Bilder 10, 20 jeweils mit räumlichen Koordinaten, dem Zeitpunkt der Datenerfassung und anderen Metadaten gespeichert.
  • Darüber hinaus können zusätzliche Datenquellen 30 beziehungsweise Datenbanken verwendet werden. Hierzu zählen insbesondere Datenbanken, die Daten über das Straßennetz mit Straßenspezifikationen wie beispielsweise Fahrspuren und Brücken, die Straßeninfrastruktur wie beispielsweise der Straßenbelag, die Randbebauung, die Straßenführung beinhalten und von Behörden zur Verfügung gestellt werden. Aber auch die bundesweite Datenbank zur Erfassung aller Unfälle mit schweren Verletzungen, die vom Statistischen Bundesamt zur Verfügung gestellt wird, ist eine wichtige Datenquelle. Ähnliche Datensätze gibt es auch in vielen anderen Ländern.
  • Zudem sind Verkehrszahlen wie das reale stündliche Verkehrsaufkommen an einem bestimmten Verkehrsschauplatz für bestimmte Szenarien-Typen wie beispielsweise ein Stau von Interesse. Die Daten werden von der Bundesanstalt für Straßenwesen frei zugänglich zur Verfügung gestellt.
  • Eine weitere Datenquelle 30 bilden Luftbildaufnahmen beispielsweise von Google Maps. Für Straßenbilder kann aber auch Mapillary verwendet werden. Mapillary sammelt benutzergenerierte Straßenbilder mit Geo-Tags, die von Dashcams und Smartphones aufgezeichnet wurden. Diese Bilder stehen unter einer Open-Source-Lizenz zur Verfügung.
  • Da auch die Wetterverhältnisse einen Szenarium-Typ definieren können, sind Wetterdaten eine weitere Datenquelle 30. Dabei umfassen Wetterdaten historische Wettermessungen und zukünftige Wettervorhersagen.
  • Die Berechnung und Speicherung aller geografischen Objekte erfolgt vorzugsweise im EPSG 25832-Koordinatensystem (Universal Transverse Mercator (UTM) Zone 32N). Dieses System wird auch von Behörden in Deutschland eingesetzt. Die laterale und die longitudinale Position werden in Metern dargestellt. Darüber hinaus können globale Referenzsysteme wie das „World Geodetic System 1984 (WGS 84)“ verwendet werden, das auch in GPS-Empfängern (Global Positioning System) Verwendung findet. So kann beispielsweise der gesamte Karteninhalt von Deutschland importiert werden.
  • Diese erfassten und teilweise aufbereiteten Daten 10, 20, 30 werden einer Datenauswertungseinheit 50 zugeführt.
  • Die von den Sensoren 41, 42, 43, 44, 45, 46, 47 aufgenommenen zweiten Daten 40 über die physischen und physiologischen Reaktionen des Fahrers und/oder der Insassen eines Kraftfahrzeugs werden in Speichereinheiten der Sensoren 41, 42, 43, 44, 45, 46, 47 und/oder oder in externen Speichermodulen gespeichert und ebenfalls der Datenauswertungseinheit 50 zugeführt.
  • In der Datenauswertungseinheit 50 werden Szenarien und Verkehrssituationen, die für Fahrassistenzsysteme (FAS) und hochautomatisierten Fahrfunktionen (HAF) bei Kraftfahrzeugen relevant sind, erkannt. Dabei werden die ersten Daten der Detektoren 11 und 12 mit den zweiten Daten der Sensoren 41, 42, 43, 44, 45, 46, 47, und/oder der Daten 20, die im Schattenmodus 22 erzeugt wurden, und/oder mit weiteren Daten 30 kombiniert, um die Wahrscheinlichkeit des Erkennens von Verkehrsszenarien, die Extremsituationen darstellen, zu erhöhen.
  • Insbesondere kann die Datenauswertungseinheit 50 ein Extraktionsmodul 60, ein Klassifizierungsmodul 70 und ein Speichermodul 80 aufweisen. Das Extraktionsmodul 60 extrahiert aus den ersten Daten 10 von den Detektoren 11, Sensoren 12, den zweiten Daten 40 der Sensoren 41, 42, 43, 44, 45, 46, 47, die physiologische und physische Reaktionen des Fahrers und/oder der Insassen erfassen, sowie der Daten 20 des Schattenmodul 22 und den anderen Datenquellen 30 relevante Eigenschaften zur Charakterisierung von Verkehrsszenarien. Diese Eigenschaften werden vorzugsweise an ein Klassifizierungsmodul 70 weitergegeben.
  • Das Klassifizierungsmodul 70 weist Algorithmen der künstlichen Intelligenz zur Klassifizierung auf und ordnet den Eigenschaften ein oder mehrere passende Szenarien-Typen S1, S2,..., Sn sowie einen Schwierigkeitsgrad Wi zu. Diese Szenarien-Typen S1, S2,..., Sn wurden vordefiniert und sind in einer Datenbank 75 gespeichert. So können beispielsweise plötzliche und starke Lenkbewegungen auf andere Arten von Extremsituationen hindeuten als etwa Schimpfäußerungen des Fahrers.
  • Ein identifiziertes reales Szenarium Si(x,y,z) wird zusammen mit einem berechneten Schwierigkeitswert Wi sowie der geographischen Position und anderen Metadaten wie dem Zeitpunkt der Datenerfassung in dem Speichermodul 80 gespeichert. Aus dem Speichermodul 80 kann es von Fahrerassistenzsystemen (FAS) und hochautomatisierten Fahrfunktionen (HAF) 90 aufgerufen werden, beispielsweise beim Befahren einer Route.
  • Darüber hinaus können die identifizierten realen Szenarien Si(x,y,z) von einem Ausgabemodul 95 verwendet werden. Das Ausgabemodul 95 weist Routenplanungs- und Navigationsalgorithmen auf und kann auf das Speichermodul 80 zugreifen. Vorzugsweise weist das Ausgabemodul 95 einen Bildschirm 97 und Benutzerschnittstehen auf, um beispielsweise eine digitale Karte einer geplanten Route darzustellen. Auf der digitalen Karte können die Szenarien Si(x,y,z), die einen hohen Schwierigkeitswert Wi aufweisen und damit als sicherheitsrelevant identifiziert und klassifiziert wurden, entsprechend markiert sein. Insbesondere handelt es sich bei dem Bildschirm 97 des Ausgabemoduls 95 um den Bildschirm des Navigationssystems des Fahrzeugs. Es ist aber auch denkbar, dass ein mobiles Endgerät des Nutzers wie ein Smartphone als Ausgabemodul 95 und Nutzerschnittstelle allein oder zusätzlich verwendet wird. Auch ist es denkbar, dass ein Computer beispielsweise in einem Test- und Entwicklungszentrum als Ausgabemodul 95 vorgesehen ist.
  • In der 2 sind die Verfahrensschritte des erfindungsgemäßen Verfahrens dargestellt.
  • In einem Schritt S10 werden beim Fahren eines Fahrzeugs entlang einer Route von Detektoren 11 und Sensoren 12 erste Daten 10 und/oder Bilder aufgenommen, wobei den ersten Daten 10 und Bildern jeweils geographische Koordinaten zugeordnet werden.
  • In einem Schritt S20 werden die von den Detektoren 11 und Sensoren 12 aufgenommen ersten Daten und/oder Bilder 10 an eine Datenauswertungseinheit 50 gesandt.
  • In einem Schritt S30 werden beim Fahren entlang der Route von Sensoren 41, 42, 43, 44, 45, 46, 47 zweite Daten und/oder Bilder 40 aufgenommen, die physiologische und/oder physische Reaktionen eines Fahrers des Fahrzeugs erfassen, wobei den zweiten Daten und/oder Bildern 40 jeweils geographische Koordinaten zugeordnet werden.
  • In einem Schritt S40 werden die von den Sensoren 41, 42, 43, 44, 45, 46, 47 aufgenommen zweiten Daten und/oder Bilder 40 an eine Datenauswertungseinheit 50 gesandt.
  • In einem Schritt S50 werden die ersten Daten 10 und die zweiten Daten 40 mit den gleichen geographischen Koordinaten miteinander kombiniert, so dass sie Daten an einem bestimmten geographischen Ort repräsentieren.
  • In einem Schritt S60 werden den ersten und zweiten Daten 10, 40 an einem bestimmten geographischen Ort zumindest ein passender Szenarium-Typ Si zugeordnet und ein reales Szenarium Si(x,y,z) identifiziert.
  • In einem Schritt S70 wird dem identifizierten realen Szenarium Si(x,y,z) ein Schwierigkeitswert Wi zugeordnet.
  • 3 stellt schematisch ein Computerprogrammprodukt 200 dar, das einen ausführbaren Programmcode 205 umfasst, der konfiguriert ist, um das Verfahren gemäß dem ersten Aspekt der vorliegenden Erfindung auszuführen, wenn es ausgeführt wird.
  • Mit dem Verfahren gemäß der vorliegenden Erfindung können durch die Erfassung der physiologischen und physischen Reaktionen des Fahrers sowie der Insassen Verkehrsszenarien, die einen hohen Schwierigkeitswert aufweisen und damit eine Extremsituation darstellen, besser identifiziert und klassifiziert werden. Treten beispielsweise an bestimmten geographischen Orten derartige Situationen vermehrt auf, so ist die Wahrscheinlichkeit hoch, dass bisherige FAS- und HAF-Systeme dort Schwächen zeigen werden. Diese Szenarien mit einem hohen Schwierigkeitsgrad können auf einer digitalen Karte markiert werden, um diese Orte noch besser für Testfahrten auszuwählen.
  • Bezugszeichenliste
  • 10
    Daten
    11
    Detektor
    12
    Sensor
    20
    Daten
    22
    Schattenmodul
    30
    Daten
    40
    Daten
    41
    Sensor
    42
    Sensor
    43
    Sensor
    44
    Sensor
    45
    Sensor
    46
    Sensor
    47
    Sensor
    50
    Datenauswertungseinheit
    60
    Extraktionsmodul
    70
    Klassifizierungsmodul
    75
    Datenbank
    80
    Speichermodul
    90
    FAS- und HAF-Systeme
    95
    Ausgabemodul
    97
    Bildschirm
    100
    System
    200
    Computerprogrammprodukt
    205
    Programmcode
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102016201939 A1 [0005]
    • DE 102018206666 A1 [0006]

Claims (15)

  1. Verfahren zur Bestimmung von sicherheitskritischen Verkehrsszenarien (S1, S2, ..., Sn) für Fahrerassistenzsysteme (FAS) und hochautomatisierte Fahrfunktionen (HAF) für zumindest ein sich bewegendes Objekt, wie insbesondere ein Kraftfahrzeug, wobei ein sicherheitskritisches Verkehrsszenarium (Si(x,y,z)) zumindest einen Szenarium-Typ (Si), einen mittels geographischer Koordinaten bestimmbaren Ort und einen Sicherheitswert (Wi) aufweist, umfassend die folgenden Verfahrensschritte: - Aufnehmen (S10) von ersten Daten und/oder Bildern (10) von Detektoren (11) und Sensoren (12) eines Fahrzeugs beim Fahren entlang einer Route, wobei den ersten Daten und/oder Bildern (10) jeweils geographische Koordinaten zugeordnet werden; - Senden (S20) der ersten Daten und/oder Bilder (10) an eine Datenauswertungseinheit (50); - Aufnehmen (S30) von zweiten Daten und/oder Bildern (40) von Sensoren (41, 42, 43, 44, 45, 46, 47) zur Erfassung von physiologischen und physischen Reaktionen eines Fahrers eines Fahrzeugs während des Fahrens entlang der Route, wobei den zweiten Daten und/oder Bildern (40) jeweils geographische Koordinaten zugeordnet werden; - Senden (S40) der zweiten Daten und/oder Bilder (40) an eine Datenauswertungseinheit (50); - Kombinieren (S50) der ersten Daten (10) und der zweiten Daten (40) mit den gleichen geographischen Koordinaten miteinander, so dass sie Daten (10, 40) an einem bestimmten geographischen Ort repräsentieren; - Identifizieren (S60) eines Szenariums (Si(x,y,z)) für den bestimmten geographischen Ort aufgrund der ersten und zweiten Daten (10, 40); - Klassifizieren (S70) des identifizierten Szenariums (Si(x,y,z)) mit einem Schwierigkeitswert (Wi).
  2. Verfahren nach Anspruch 1, wobei Eigenschaften von möglichen Szenarien-Typen (S1, S2,..., Sn) aus den übermittelten ersten und zweiten Daten (10, 40) in einem Extraktionsmodul (60) der Datenauswertungseinheit (50) extrahiert werden.
  3. Verfahren nach Anspruch 2, wobei die Eigenschaften von dem Extraktionsmodul (60) an ein Klassifizierungsmodul (70) mit Algorithmen zur Klassifizierung übermittelt werden, das Klassifizierungsmodul (70) den extrahierten Eigenschaften ein oder mehrere vordefinierte Szenarien-Typen (S1, S2,..., Sn) zuordnet und zumindest einen passenden Szenarium-Typ (Si) identifiziert, und das identifizierte reale Szenarium (Sj(x,y,z)) mit geographischen Koordinaten und/oder weiteren Metadaten wie dem Zeitpunkt der Datenaufnahme in einem Speichermodul (80) gespeichert wird.
  4. Verfahren nach einem der Ansprüche 1 bis 3, wobei als weitere Datenquellen (30) kartographische Informationen, Daten zu Verkehrszahlen, Luftbildaufnahmen und/oder Daten zu Wetterinformationen und/oder Daten aus einem Schattenmodul (20) verwendet werden.
  5. Verfahren nach einem der Ansprüche 1 bis 4, wobei die Sensoren (41, 42, 43, 44, 45, 46, 47) für die zweiten Daten (40) als Herzfrequenzmessgeräte, Infrarotkameras, Brillen mit optischen Sensoren, Innenraumkameras, Bewegungssensoren, Beschleunigungssensoren, Drucksensoren und/oder Mikrofonen ausgebildet sind zur Aufnahme von physiologischen und physischen Messdaten des Fahrers und/oder der Insassen wie der Herzfrequenz und/oder der Hauttemperatur und/oder Bilder der Pupillen des Fahrers und/oder plötzliche Bremsbetätigungen und/oder Lenkaktivitäten und/oder Sprachäußerungen.
  6. Verfahren nach Anspruch 5, wobei in der Datenauswertungseinheit (50) Grenzwerte für die zweiten Daten (40) festgelegt werden und ein Überschreiten eines Grenzwerts für eine Klassifizierung des identifizierten Szenariums (Si(x,y,z)) mit einem Schwierigkeitswert (Wi) verwendet wird.
  7. Verfahren nach einem der vorangehenden Ansprüche, wobei ein Szenarium-Typ (Sj) einen Straßenschauplatz und/oder eine Verkehrssituation darstellt.
  8. System (100) zur Bestimmung von sicherheitskritischen Verkehrsszenarien (S1, S2, ..., Sn) für Fahrerassistenzsysteme (FAS) und hochautomatisierte Fahrfunktionen (HAF) für zumindest ein sich bewegendes Objekt, wie insbesondere ein Kraftfahrzeug, wobei ein sicherheitskritisches Verkehrsszenarium (Si(x,y,z)) zumindest einen Szenarium-Typ (Si), einen mittels geographischer Koordinaten bestimmbaren Ort und einen Sicherheitswert (Wi) aufweist, umfassend Detektoren (11) und Sensoren (12) eines Fahrzeugs, die ausgebildet sind, beim Fahren des Fahrzeugs entlang einer Route erste Daten und/oder Bilder (10) aufzunehmen, und die ersten Daten und/oder Bilder (10) an eine Datenauswertungseinheit (50) zu senden, wobei den ersten Daten und/oder Bildern (10) jeweils geographische Koordinaten zugeordnet werden; Sensoren (41, 42, 43, 44, 45, 46, 47), die ausgebildet sind, zweite Daten und/oder Bilder (40) von physiologischen und physischen Reaktionen eines Fahrers eines Fahrzeugs während des Fahrens entlang der Route zu erfassen, und die zweiten Daten und/oder Bilder (40) an eine Datenauswertungseinheit (50) zu senden, wobei den zweiten Daten und/oder Bildern (40) jeweils geographische Koordinaten zugeordnet werden; und wobei die Datenauswertungseinheit (50) ausgebildet ist, die ersten Daten (10) und die zweiten Daten (40) mit den gleichen geographischen Koordinaten miteinander zu kombinieren, so dass sie Daten (10, 40) an einem bestimmten geographischen Ort repräsentieren, ein Szenarium (Si(x,y,z)) für den bestimmten geographischen Ort aufgrund der ersten und zweiten Daten (10,40) zu identifizieren, und das identifizierte Szenarium (Si(x,y,z)) mit einem Schwierigkeitswert (Wi) zu klassifizieren.
  9. System (100) nach Anspruch 8, die Datenauswertungseinheit (50) ein Extraktionsmodul (60), ein Klassifizierungsmodul (70) und ein Speichermodul (80) aufweist, wobei das Extraktionsmodul (60) ausgebildet ist, Eigenschaften von möglichen Szenarien-Typen (S1, S2,..., Sn) aus den übermittelten ersten und zweiten Daten (10, 40) zu extrahieren.
  10. System (100) nach Anspruch 9, wobei die Eigenschaften von dem Extraktionsmodul (60) an ein Klassifizierungsmodul (70) mit Algorithmen zur Klassifizierung übermittelt werden, das Klassifizierungsmodul (70) den extrahierten Eigenschaften ein oder mehrere vordefinierte Szenarien-Typen (S1, S2,..., Sn) zuordnet und zumindest einen passenden Szenarium-Typ (Si) identifiziert, und das identifizierte reale Szenarium (Sj(x,y,z)) mit geographischen Koordinaten und/oder weiteren Metadaten wie dem Zeitpunkt der Datenaufnahme in einem Speichermodul (80) gespeichert wird.
  11. System (100) nach einem der Ansprüche 8 bis 10, wobei als weitere Datenquellen (30) kartographische Informationen, Daten zu Verkehrszahlen, Luftbildaufnahmen und/oder Daten zu Wetterinformationen und/oder Daten aus einem Schattenmodul (20) verwendet werden.
  12. System (100) nach einem der Ansprüche 8 bis 11, wobei die Sensoren (41, 42, 43, 44, 45, 46, 47) für die zweiten Daten (40) als Herzfrequenzmessgeräte, Infrarotkameras, Brillen mit optischen Sensoren, Innenraumkameras, Bewegungssensoren, Beschleunigungssensoren, Drucksensoren und/oder Mikrofonen ausgebildet sind zur Aufnahme von physiologischen und physischen Messdaten des Fahrers und/oder der Insassen wie der Herzfrequenz und/oder der Hauttemperatur und/oder Bilder der Pupillen des Fahrers und/oder plötzliche Bremsbetätigungen und/oder Lenkaktivitäten und/oder Sprachäußerungen.
  13. System (100) nach einem der Ansprüche 8 bis 12, wobei in der Datenauswertungseinheit (50) Grenzwerte für die zweiten Daten (40) festgelegt sind und ein Überschreiten eines Grenzwerts für eine Klassifizierung des identifizierten Szenariums (Si(x,y,z)) mit einem Schwierigkeitswert (Wi) verwendet wird.
  14. System (100) nach einem der Ansprüche 8 bis 13, wobei ein Szenarium-Typ (Sj) einen Straßenschauplatz und/oder eine Verkehrssituation darstellt.
  15. Computerprogrammprodukt (200) mit einem ausführbaren Programmcode (205), der konfiguriert ist, wenn er ausgeführt wird, das Verfahren nach Anspruch 1 auszuführen.
DE102020123976.9A 2020-09-15 2020-09-15 Verfahren, System und Computerprogrammprodukt zur Bestimmung von sicherheitskritischen Verkehrsszenarien für Fahrerassistenzsysteme (FAS) und hochautomatisierte Fahrfunktionen (HAF) Pending DE102020123976A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE102020123976.9A DE102020123976A1 (de) 2020-09-15 2020-09-15 Verfahren, System und Computerprogrammprodukt zur Bestimmung von sicherheitskritischen Verkehrsszenarien für Fahrerassistenzsysteme (FAS) und hochautomatisierte Fahrfunktionen (HAF)
US17/364,840 US11801843B2 (en) 2020-09-15 2021-06-30 Method, system, and computer program product for determining safety-critical traffic scenarios for driver assistance systems (DAS) and highly automated driving functions (HAD)
CN202110942628.3A CN114261394B (zh) 2020-09-15 2021-08-17 用于确定交通场景的方法、系统和计算机可读存储介质
KR1020210120839A KR102658770B1 (ko) 2020-09-15 2021-09-10 운전자 보조 시스템(das) 및 고도 자율 주행 기능(had)을 위한 안전 필수 교통 시나리오를 결정하기 위한 방법, 시스템 및 컴퓨터 프로그램 제품

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102020123976.9A DE102020123976A1 (de) 2020-09-15 2020-09-15 Verfahren, System und Computerprogrammprodukt zur Bestimmung von sicherheitskritischen Verkehrsszenarien für Fahrerassistenzsysteme (FAS) und hochautomatisierte Fahrfunktionen (HAF)

Publications (1)

Publication Number Publication Date
DE102020123976A1 true DE102020123976A1 (de) 2022-03-17

Family

ID=80351539

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020123976.9A Pending DE102020123976A1 (de) 2020-09-15 2020-09-15 Verfahren, System und Computerprogrammprodukt zur Bestimmung von sicherheitskritischen Verkehrsszenarien für Fahrerassistenzsysteme (FAS) und hochautomatisierte Fahrfunktionen (HAF)

Country Status (4)

Country Link
US (1) US11801843B2 (de)
KR (1) KR102658770B1 (de)
CN (1) CN114261394B (de)
DE (1) DE102020123976A1 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023232605A1 (de) * 2022-06-02 2023-12-07 Porsche Ebike Performance Gmbh Verfahren, system und computerprogrammprodukt zur interaktiven kommunikation zwischen einem sich bewegenden objekt und einem benutzer
DE102022131651A1 (de) * 2022-11-30 2024-06-06 Bayerische Motoren Werke Aktiengesellschaft Computerimplementiertes Verfahren zur Auswertung einer Interaktion zwischen einem Nutzer und einem Fahrzeug, computerlesbares Speichermedium und System
DE102023205792A1 (de) 2023-06-21 2024-12-24 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Betreiben eines Fahrzeugs

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114722931A (zh) * 2022-04-02 2022-07-08 福思(杭州)智能科技有限公司 车载数据处理方法、装置、数据采集设备和存储介质
US20230356750A1 (en) * 2022-05-09 2023-11-09 Motional Ad Llc Autonomous Vehicle Validation using Real-World Adversarial Events

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016201939A1 (de) 2016-02-09 2017-08-10 Volkswagen Aktiengesellschaft Vorrichtung, Verfahren und Computerprogramm zur Verbesserung der Wahrnehmung bei Kollisionsvermeidungssystemen
US20180293449A1 (en) 2016-09-14 2018-10-11 Nauto Global Limited Systems and methods for near-crash determination
DE102017212908A1 (de) 2017-07-27 2019-01-31 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Verbesserung der Quer- und/oder Längsführung eines Fahrzeugs
US20190156134A1 (en) 2017-11-20 2019-05-23 Ashok Krishnan Training of vehicles to improve autonomous capabilities
DE102018206666A1 (de) 2018-04-30 2019-10-31 Robert Bosch Gmbh Verfahren zum Anlegen eines Prädikationsprofils eines Fahrers eines Fahrzeugs und Verfahren zum Warnen eines Fahrers eines Fahrzeugs vor einer Situation mit einer zu geringen Leistungsfähigkeit des Fahrers
DE102019000060A1 (de) 2019-01-03 2020-07-09 Preh Car Connect Gmbh Steuern eines Fahrzeugs unter Verwendung eines Steuerungssystems

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101276770B1 (ko) * 2011-08-08 2013-06-20 한국과학기술원 사용자 적응형 특이행동 검출기반의 안전운전보조시스템
DE102012022150A1 (de) * 2012-11-10 2014-05-15 Audi Ag Kraftfahrzeug und Verfahren zum Betrieb eines Kraftfahrzeugs
US10055964B2 (en) * 2014-09-09 2018-08-21 Torvec, Inc. Methods and apparatus for monitoring alertness of an individual utilizing a wearable device and providing notification
KR102480390B1 (ko) * 2015-07-01 2022-12-26 한국전자통신연구원 운전자의 주의 환기 장치 및 그 방법
US10963741B2 (en) * 2016-06-07 2021-03-30 Toyota Motor Europe Control device, system and method for determining the perceptual load of a visual and dynamic driving scene
KR20180039900A (ko) * 2016-10-11 2018-04-19 주식회사 만도 진행경로 시나리오에 따라 충돌가능성을 판단하고 차량을 제어하는 장치 및 방법
CN110087965B (zh) * 2016-12-21 2022-09-27 大陆-特韦斯贸易合伙股份公司及两合公司 用于车辆的系统
US10710590B2 (en) * 2017-12-19 2020-07-14 PlusAI Corp Method and system for risk based driving mode switching in hybrid driving
US11328219B2 (en) * 2018-04-12 2022-05-10 Baidu Usa Llc System and method for training a machine learning model deployed on a simulation platform
US11699309B2 (en) * 2019-03-04 2023-07-11 Speedgauge, Inc. Dynamic driver and vehicle analytics based on vehicle tracking and driving statistics
KR102051888B1 (ko) * 2019-05-15 2019-12-09 주식회사 라이드플럭스 기 설정된 주행규칙에 기반하여 차량의 주행을 제어하는 방법, 장치 및 프로그램
US10625748B1 (en) * 2019-06-28 2020-04-21 Lyft, Inc. Approaches for encoding environmental information
US11550325B2 (en) * 2020-06-10 2023-01-10 Nvidia Corp. Adversarial scenarios for safety testing of autonomous vehicles
DE102020210261B4 (de) * 2020-08-12 2023-02-02 obsurver UG (haftungsbeschränkt) Verfahren zum Betrieb eines in einer Umgebung beweglichen technischen Systems, mit Zuweisung von Steuerungsqualitätsstufen

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016201939A1 (de) 2016-02-09 2017-08-10 Volkswagen Aktiengesellschaft Vorrichtung, Verfahren und Computerprogramm zur Verbesserung der Wahrnehmung bei Kollisionsvermeidungssystemen
US20180293449A1 (en) 2016-09-14 2018-10-11 Nauto Global Limited Systems and methods for near-crash determination
DE102017212908A1 (de) 2017-07-27 2019-01-31 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Verbesserung der Quer- und/oder Längsführung eines Fahrzeugs
US20190156134A1 (en) 2017-11-20 2019-05-23 Ashok Krishnan Training of vehicles to improve autonomous capabilities
DE102018206666A1 (de) 2018-04-30 2019-10-31 Robert Bosch Gmbh Verfahren zum Anlegen eines Prädikationsprofils eines Fahrers eines Fahrzeugs und Verfahren zum Warnen eines Fahrers eines Fahrzeugs vor einer Situation mit einer zu geringen Leistungsfähigkeit des Fahrers
DE102019000060A1 (de) 2019-01-03 2020-07-09 Preh Car Connect Gmbh Steuern eines Fahrzeugs unter Verwendung eines Steuerungssystems

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023232605A1 (de) * 2022-06-02 2023-12-07 Porsche Ebike Performance Gmbh Verfahren, system und computerprogrammprodukt zur interaktiven kommunikation zwischen einem sich bewegenden objekt und einem benutzer
DE102022113992A1 (de) 2022-06-02 2023-12-07 Porsche Ebike Performance Gmbh Verfahren, System und Computerprogrammprodukt zur interaktiven Kommunikation zwischen einem sich bewegenden Objekt und einem Benutzer
DE102022131651A1 (de) * 2022-11-30 2024-06-06 Bayerische Motoren Werke Aktiengesellschaft Computerimplementiertes Verfahren zur Auswertung einer Interaktion zwischen einem Nutzer und einem Fahrzeug, computerlesbares Speichermedium und System
DE102023205792A1 (de) 2023-06-21 2024-12-24 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Betreiben eines Fahrzeugs

Also Published As

Publication number Publication date
US20220080975A1 (en) 2022-03-17
US11801843B2 (en) 2023-10-31
CN114261394B (zh) 2024-10-18
KR102658770B1 (ko) 2024-04-22
KR20220036870A (ko) 2022-03-23
CN114261394A (zh) 2022-04-01

Similar Documents

Publication Publication Date Title
DE102020123976A1 (de) Verfahren, System und Computerprogrammprodukt zur Bestimmung von sicherheitskritischen Verkehrsszenarien für Fahrerassistenzsysteme (FAS) und hochautomatisierte Fahrfunktionen (HAF)
DE102016114754B4 (de) Fokussiersystem zum Verbessern einer Fahrzeugsichtleistung
DE102017115318A1 (de) Heads-Up-Anzeige zum Beobachten von Fahrzeugwahrnehmungsaktivität
DE102014206623A1 (de) Lokalisierung eines Head-mounted Displays (HMD) im Fahrzeug
DE102018104801A1 (de) Unterstützen von fahrern bei fahrbahnspurwechseln
DE112014006721T5 (de) Adaptive Warnungsverwaltung für das fortschrittiiche Fahrerassistenzsystem (ADAS)
DE102017112567A1 (de) Totwinkel-erkennungssysteme und verfahren
DE112016007238T5 (de) Verfahren und vorrichtung zum darstellen von spur- und fahrzeugtyp-spezifischen verkehrsinformationen auf einer karte
EP3008711B1 (de) Verfahren und vorrichtung zum signalisieren eines visuell zumindest teilweise verdeckten verkehrsobjekts für einen fahrer eines fahrzeugs
EP3649519B1 (de) Verfahren zur verifizierung einer digitalen karte eines höher automatisierten fahrzeugs, entsprechende vorrichtung und computerprogramm
DE102018107756A1 (de) Systeme zum ausgeben eines warnsignals von einem fahrzeug, um in der nähe befindliche entitäten zu warnen
DE102018213230A1 (de) Verfahren und Steuervorrichtung zum Warnen eines Fahrers eines Kraftfahrzeugs sowie Kraftfahrzeug mit einer derartigen Steuervorrichtung
DE112018004953T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren, programm und sich bewegender körper
DE112015004579T5 (de) Sicherheitssystem zum Verstärken von Straßenobjekten auf einer Blickfeldanzeige
DE102021107602A1 (de) Fahrassistenzvorrichtung und datensammelsystem
DE102018108361A1 (de) Laubwerkerfassungstrainingssysteme und -verfahren
DE112021002953T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm
WO2009030525A1 (de) Informationseinrichtung zur angepassten informationsdarstellung in einem fahrzeug
DE102012213466A1 (de) Verfahren und Vorrichtung zum Überwachen eines Fahrzeuginsassens
DE102017111468A1 (de) Fahrzeugsystem und Verfahren zum Bestimmen, ob ein Fahrzeuginsasse ein fahrzeugexternes Objekt wahrgenommen hat
DE102019122267A1 (de) Blickrichtungsnachverfolgung eines fahrzeuginsassen
DE112018003180T5 (de) Risikoinformations-sammeleinrichtung
EP3963504A1 (de) Verfahren zur erfassung von bildmaterial zur überprüfung von bildauswertenden systemen, vorrichtung und fahrzeug zur verwendung bei dem verfahren sowie computerprogramm
DE102018008407B4 (de) Verfahren und Steueranordnung in einem Bus
DE102019217642A1 (de) Verfahren zur Erfassung von Bildmaterial zur Überprüfung von bildauswertenden Systemen, Vorrichtung und Fahrzeug zur Verwendung bei dem Verfahren sowie Computerprogramm

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication