[go: up one dir, main page]

DE102010045678A1 - Method for monitoring driver condition, involves determining driver condition on basis of track information and comparing track information with deposited samples of track information - Google Patents

Method for monitoring driver condition, involves determining driver condition on basis of track information and comparing track information with deposited samples of track information Download PDF

Info

Publication number
DE102010045678A1
DE102010045678A1 DE102010045678A DE102010045678A DE102010045678A1 DE 102010045678 A1 DE102010045678 A1 DE 102010045678A1 DE 102010045678 A DE102010045678 A DE 102010045678A DE 102010045678 A DE102010045678 A DE 102010045678A DE 102010045678 A1 DE102010045678 A1 DE 102010045678A1
Authority
DE
Germany
Prior art keywords
track information
data
lane
vehicle
track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102010045678A
Other languages
German (de)
Inventor
Werner Dr.-Ing. Bernzen
Frauke Dr.-Ing. Driewer
Fabian Dipl.-Ing. Friedrichs
Wiebke Dipl.-Ing. Müller
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aumovio Autonomous Mobility Germany GmbH
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE102010045678A priority Critical patent/DE102010045678A1/en
Publication of DE102010045678A1 publication Critical patent/DE102010045678A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • B60W2520/105Longitudinal acceleration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/12Lateral speed
    • B60W2520/125Lateral acceleration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/28Wheel speed

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

The method involves determining the driver condition on the basis of track information and comparing the track information with the deposited samples of track information for the determination of the driver condition. The track information is determined from vehicle data, which is determined by an inertial sensor detected sensor data.

Description

Die Erfindung betrifft ein Verfahren zur Überwachung eines Fahrerzustands, bei dem der Fahrerzustand anhand von mit dem Fahrerzustand korrelierenden Spurinformationen ermittelt wird, wobei zur Ermittlung des Fahrerzustand die Spurinformationen mit hinterlegten Mustern von Spurinformationen verglichen werden.The invention relates to a method for monitoring a driver state, in which the driver state is determined on the basis of track information correlated with the driver state, the lane information being compared with stored patterns of lane information for determining the driver state.

Es ist allgemein bekannt, dass die Mehrzahl an Straßenunfällen primär auf ein Fehlverhalten des Fahrers des Fahrzeugs zurückzuführen ist. Bei vorhandener Schläfrigkeit des Fahrers wird das Risiko eines Zusammenstoßes oder eines Beinahe-Zusammenstoßes um ein Vielfaches erhöht.It is well-known that the majority of road accidents are primarily due to a misconduct of the driver of the vehicle. If the driver is drowsy, the risk of a collision or near collision is increased many times over.

Aus dem Stand der Technik sind deshalb verschiedene Verfahren zur Überwachung eines Fahrerzustands bekannt, bei welchen die Schläfrigkeit bzw. Müdigkeit des Fahrers erfasst werden. Die Schläfrigkeit wird dabei anhand einer Analyse des aktuellen Fahrstils des Fahrers erfasst. Zur Bewertung von Maßen der Schläfrigkeit werden Spurinformationen ermittelt, welche mit dem durch die Schläfrigkeit beeinträchtigten Fahren besonders korrelieren.From the prior art, therefore, various methods for monitoring a driver's condition are known, in which the drowsiness or fatigue of the driver are detected. The drowsiness is detected by an analysis of the current driving style of the driver. To assess sleepiness, lane information is determined which is particularly correlated with drowsiness-impaired driving.

Derartige Verfahren zur Bewertung von Maßen der Schläfrigkeit anhand von Spurinformationen, welche mit dem durch die Schläfrigkeit beeinträchtigten Fahren besonders korrelieren, sind aus „F. Friedrichs und B. Yang: Camera-based drowsiness reference for driver state classification under real driving conditions; In: Proceedings of the IEEE Intelligent Vehicles Symposium, 2010” und „F. Friedrichs und B. Yang: Drowsiness Monitoring by steering and lane data based features under real driving conditions; In: EUSIPCO, 2010” bekannt. Hierbei wird eine Fahrerüberwachung basierend auf einem Lenkverhalten, einer Spurhaltung und einem Lidschlagverhalten durchgeführt.Such methods of assessing sleepiness from lane information which are particularly correlated with drowsiness impaired driving are lacking "F. Friedrichs and B. Yang: Camera-based drowsiness reference for driver classification under real driving conditions; In: Proceedings of the IEEE Intelligent Vehicles Symposium, 2010 and "F. Friedrichs and B. Yang: Drowsiness Monitoring by steering and lane based on driving conditions; In: EUSIPCO, 2010 " known. In this case, a driver monitoring based on a steering behavior, a tracking and a blink behavior is performed.

Aus „C. Hasberg und S. Hensel: Online-estimation of road map elements using spline curves; In: 12th International Conference on Information Fusion, 2009” werden Spline und ein Kalman-Filter für eine Online-Bewertung von Zuggleisen verwendet. In „M. Bühren: Simulation und Verarbeitung von Radarziellisten im Automobil; Ph. D. dissertation, In: Chair of System Theory and Signal Processing, 2008” wird eine Verfolgung von Fahrzeugziellisten mittels eines Radars beschrieben. Ferner beschreibt „M. Miksch, B. Yang und K. Zimmermann: Motion compensation for obstacle detection based on homography and odometric data with virtual camera perspectives; In: Proceedings of the IEEE Conference on Intelligent Vehicles, 2010” die Nutzung eines Fahrzeugbewegungs-Modells, um die Fahrzeugtrajektorie zur Bewegungskompensation in Videodaten zu bestimmen.Out "C. Hasberg and S. Hensel: Online estimation of road map elements using spline curves; In: 12th International Conference on Information Fusion, 2009 " Spline and a Kalman filter are used for online evaluation of train tracks. In "M. Fees: simulation and processing of radar target lists in automobiles; Ph. D. dissertation, Chair of System Theory and Signal Processing, 2008 " a tracking of vehicle destination lists by means of a radar is described. Further describes "M. Miksch, B. Yang and K. Zimmermann: Motion compensation for obstacle detection based on homography and odometric data with virtual camera perspectives; In: Proceedings of the IEEE Conference on Intelligent Vehicles, 2010 the use of a vehicle motion model to determine the vehicle trajectory for motion compensation in video data.

Der Erfindung liegt die Aufgabe zugrunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zur Überwachung eines Fahrerzustands anzugeben.The invention has for its object to provide a comparison with the prior art improved method for monitoring a driver's condition.

Die Aufgabe wird erfindungsgemäß mit einem Verfahren gelöst, welches die in Anspruch 1 angegebenen Merkmale aufweist.The object is achieved by a method having the features specified in claim 1.

Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.Advantageous embodiments of the invention are the subject of the dependent claims.

In einem Verfahren zur Überwachung eines Fahrerzustands wird der Fahrerzustand anhand von mit dem Fahrerzustand korrelierenden Spurinformationen ermittelt, wobei zur Ermittlung des Fahrerzustands die Spurinformationen mit hinterlegten Mustern von Spurinformationen verglichen werden.In a method for monitoring a driver state, the driver state is determined on the basis of track information correlated with the driver state, the lane information being compared with stored patterns of lane information for determining the driver state.

Erfindungsgemäß werden die Spurinformationen aus odometrischen Fahrzeugdaten ermittelt, welche aus mittels zumindest eines Inertialsensors erfassten Sensordaten ermittelt werden. Allgemein soll der Begriff „Spurinformation” den Bewegungsverlauf des Fahrzeugs bezüglich der Fahrbahn mit umfassen.According to the invention, the lane information is determined from odometric vehicle data which is determined from sensor data acquired by means of at least one inertial sensor. Generally, the term "lane information" is intended to include the course of movement of the vehicle with respect to the roadway.

Unter Intertialsensoren werden dabei Sensoren verstanden, mittels welchen translatorische und rotatorische Beschleunigungskräfte oder Bewegungsabläufe messbar sind. So sind Beschleunigungssensoren denkbar aber auch die Auswertung von Raddrehzahlen. Es können auch mehrere Inertialsensoren zu einer so genannten inertialen Messeinheit kombiniert werden, so dass die Beschleunigungen bis zu sechs Freiheitsgraden gemessen werden können. Unter der Annahme einer planaren Bewegung auf einer Fahrbahn, kann man weniger Freiheitsgrade annehmen, weil das Fahrzeug nur gieren kann und sich nicht nach unten oder oben bewegen kann.Intertial sensors are understood to be sensors by means of which translatory and rotational acceleration forces or motion sequences can be measured. So acceleration sensors are conceivable but also the evaluation of wheel speeds. It is also possible to combine several inertial sensors into a so-called inertial measuring unit, so that the accelerations can be measured up to six degrees of freedom. Assuming a planar movement on a roadway, one can assume less degrees of freedom because the vehicle can only yaw and can not move up or down.

Daraus resultiert in besonders vorteilhafter Weise, dass eine Verwendung von optischen Sensoren, insbesondere von kostenintensiven Spurkameras oder Laserscanner (LIDAR), zur Ermittlung der Spurinformationen (Spurmarkierungen) nicht erforderlich ist. Vielmehr werden als Inertialsensoren insbesondere bereits im Fahrzeug 1 vorhandene Sensoren von Fahrerassistenzvorrichtungen, vorzugsweise Sensoren, welche zum Betrieb eines Elektronischen Stabilitätsprogramms (kurz: ESP) vorgesehen sind, verwendet. Somit werden zum einen die Kosten zur Realisierung des Verfahrens zur Überwachung des Fahrerzustands verringert und zum anderen ist die erfindungsgemäße Ermittlung der Spurinformationen aus den odometrischen Fahrzeugdaten im Gegensatz zu der Ermittlung aus mittels einer Spurkamera erfassten Daten auch bei fehlenden und unvollständigen Fahrbahnmarkierungen, geringem Lichteinfall und bei schlechten Sichtverhältnissen möglich. Auch zeichnen sich Inertialsensoren im Allgemeinen gegenüber Spurkameras durch eine größere Robustheit bezüglich Fehlkalibrierungen aus, so dass aus Fehlkalibrierungen resultierende Fehler bei der Ermittlung der Spurinformationen minimiert werden.This results in a particularly advantageous manner that a use of optical sensors, in particular costly track cameras or laser scanner (LIDAR), to determine the Track information is not required. Rather, as inertial sensors, in particular already in the vehicle 1 existing sensors of driver assistance devices, preferably sensors, which are provided for the operation of an Electronic Stability Program (ESP for short) used. Thus, on the one hand, the costs for implementing the method for monitoring the driver status are reduced and, on the other hand, the determination of the track information from the odometric vehicle data according to the invention is in contrast to the determination from data acquired by means of a track camera even with missing and incomplete road markings, low incidence of light and at poor visibility possible. Also, inertial sensors are generally distinguished from track cameras by greater robustness to misregistrations, thereby minimizing errors in misalignment detection of track information.

Somit werden mittels des erfindungsgemäßen Verfahrens die Verfügbarkeit und die Erkennungsrate von Spurinformationen ohne die Verwendung von Spurkameras zur Verbesserung der Überwachung des Fahrerzustands verbessert.Thus, by means of the method according to the invention, the availability and the recognition rate of lane information are improved without the use of lane cameras for improving the monitoring of the driver's condition.

Es könnten die Signale der Inertialsensoren aber auch ergänzend dazu verwendet werden, vorhandene Spursignale aus einer Kamera aufzubereiten, um die Spurwarnung zu verbessern. Spurwechsel könnten auch bei schlechter Spurqualität zuverlässig erkannt werden. Insgesamt können die Spurdaten verbessert werden.However, the signals of the inertial sensors could also be used in addition to prepare existing track signals from a camera in order to improve the track warning. Lane changes could be detected reliably even with poor track quality. Overall, the lane data can be improved.

Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.Embodiments of the invention are explained in more detail below with reference to drawings.

Dabei zeigen:Showing:

1 schematisch ein Bewegungsmodell eines Fahrzeugs, 1 schematically a movement model of a vehicle,

2 schematisch zwei Schritte zur Bewertung einer linearen Kalman-Filter-Lage, 2 schematically two steps for evaluating a linear Kalman filter layer,

3 schematisch zwei Schritte zur erweiterten Bewertung mittels Kalman-Filter, 3 schematically two steps for advanced evaluation using Kalman filters,

4 schematisch mittels spurbasierten Sensoren und Inertialsensoren erfasste laterale Positionen und 4 schematically by means of track-based sensors and inertial sensors detected lateral positions and

5 schematisch einen Verlauf eines Korrelationskoeffizienten zwischen den mittels spurbasierten Sensoren und Inertialsensoren erfassten lateralen Positionen gemäß 4. 5 schematically a curve of a correlation coefficient between the detected by means of track-based sensors and inertial lateral positions according to 4 ,

Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.Corresponding parts are provided in all figures with the same reference numerals.

In 1 ist schematisch ein Bewegungsmodell eines Fahrzeugs 1 dargestellt.In 1 is schematically a movement model of a vehicle 1 shown.

Die Fahrzeugtrajektorie umfasst ein Schlingern zwischen Spurmarkierungen und einen Störeinfluss der Spur- oder Straßenkrümmung. Daher werden diese Krümmungen durch ein Tiefpass-Filter entfernt, dessen Grenzfrequenz zwischen der Frequenz des Schlingerns und über der Frequenz der stärksten Kurvenkrümmung liegt. Die stärkste Kurvenkrümmung ist abhängig von der zulässigen Geschwindigkeit. Weiterhin wird die Korrelation zwischen spurbasierten und auf odometrischen Daten basierten Merkmalen sowie deren Verbindung zu Schläfrigkeit verglichen. Hierzu wurde ein Auszug einer Attention Assist Datenbank mit 294 Fahrern und über 76 000 km genutzt. Viele spurbasierte Merkmale lassen sich gut angleichen. Die odometrie-basierte Nulldurchgang-Rate liefert bessere Ergebnisse als eine kamerabasierte Ermittlung der Daten.The vehicle trajectory includes a lurching between lane markers and a disturbance of the lane or road curvature. Therefore, these bends are removed by a low-pass filter whose cut-off frequency is between the frequency of the roll and the frequency of the strongest curve curvature. The strongest curve curvature depends on the permissible speed. Furthermore, the correlation between track-based and odometric data-based features as well as their connection to drowsiness is compared. An extract of an Attention Assist database with 294 drivers and over 76,000 km was used for this purpose. Many track-based features blend well. The odometry-based zero-crossing rate gives better results than a camera-based determination of the data.

Mit den ermittelten Daten sind Fahrerüberwachungssysteme ansteuerbar. Diese Systeme zielen mittels Standardsensoren auf die Reduzierung von schläfrigkeitsbedingten Straßenunfällen ab, welche durch ermüdete und abgelenkte Fahrer verursacht wurden. Um derartige Systeme zu entwickeln und optimieren, ist eine verlässliche und akkurate Referenz für Müdigkeit oder Schläfrigkeit erforderlich. Ein bekanntes Referenzmaß für die Schläfrigkeit ist die subjektive Selbsteinschätzung eines Fahrers gemäß Karolinska Sleepiness Scale (= KSS), wie in Tabelle 1 und „T. Akerstedt, M. Gillberg: Subjective and objective sleepiness in the active individual: In: International Journal of Neuroscience, vol. 52, Seite 2937, 1980” dargestellt. Karolinska Sleepiness Scale: Beschreibung: 1 Extrem aufmerksam 2 Sehr aufmerksam 3 aufmerksam 4 Ziemlich aufmerksam 5 Weder aufmerksam noch schläfrig 6 Anzeichen von Schläfrigkeit 7 Schläfrig – geringe Anstrengung, um wach zu bleiben 8 Schläfrig – einige Anstrengung, um wach zu bleiben 9 Schläfrig – hohe Anstrengung, um wach zu bleiben, bekämpft die Schläfrigkeit Tabelle 1: Karolinska Sleepiness Scale Driver monitoring systems can be controlled with the data determined. These systems use standard sensors to reduce sleepiness related road accidents caused by tired and distracted drivers. To develop and optimize such systems requires a reliable and accurate reference to fatigue or drowsiness. A well-known reference for drowsiness is the subjective self-assessment of a driver according to Karolinska Sleepiness Scale (= KSS), as in Table 1 and "T. Akerstedt, M. Gillberg: Subjective and objective sleepiness in the active individual: In: International Journal of Neuroscience, vol. 52, page 2937, 1980 " shown. Karolinska Sleepiness Scale: Description: 1 Extremely attentive 2 Very attentive 3 attentively 4 Pretty attentive 5 Neither alert nor sleepy 6 Signs of drowsiness 7 Sleepy - Little effort to stay awake 8th Sleepy - some effort to stay awake 9 Sleepy - high effort to stay awake, fights drowsiness Table 1: Karolinska Sleepiness Scale

Aus „F. Friedrichs und B. Yang: Camera-based drowsiness reference for driver state classification under real driving conditions; In: Proceedings of the IEEE Intelligent Vehicles Symposium, 2010” und „F. Friedrichs und B. Yang: Drowsiness Monitoring by steering and lane data based features under real driving conditions; In: EUSIPCO, 2010” ist eine Bewertung von Merkmalen von Spurendaten bekannt, welche Spurdaten ergibt, die besonders mit beeinträchtigtem Fahren korrelieren.Out "F. Friedrichs and B. Yang: Camera-based drowsiness reference for driver classification under real driving conditions; In: Proceedings of the IEEE Intelligent Vehicles Symposium, 2010 and "F. Friedrichs and B. Yang: Drowsiness Monitoring by steering and lane based on driving conditions; In: EUSIPCO, 2010 " is an evaluation of features of trace data known which gives trace data that correlate particularly with impaired driving.

Im Gegensatz zu diesen bekannten Ansätzen, welche eine Spurkamera zur Ermittlung der Spurdaten verwenden, werden beim erfindungsgemäßen Verfahren und dessen Weiterbildungen odometrische Fahrzeugdaten mittels Inertialsensoren ermittelt, so dass die klassischen spurbasierten Merkmale ohne den Bedarf einer Spurkamera kalkulierbar sind. Die Hauptannahme hinter diesem Ansatz ist, dass die Straßenkrümmungen durch die odometrischen Daten bewertet werden können. Wie in „Clayton: Klothoide, 2006, Verfügbar unter: http://ww3.cad.de/foren/ubb/uploads/Clayton/Klothoide-Formeln.pdf” beschrieben, gibt es für jedes Tempolimit einen Mindestkrümmungsradius. Beispielsweise beträgt der Mindestkrümmungsradius bei 120 km/h 750 Meter. Im Allgemeinen wird dies beim Straßenbaus beachtet, indem sich die Straßenkrümmung nur langsam ändert, wenn die Straße mit hoher Geschwindigkeit befahren wird.In contrast to these known approaches, which use a tracking camera to determine the lane data, odometric vehicle data are determined by means of inertial sensors in the method and its developments, so that the classic track-based features are calculable without the need for a tracking camera. The main assumption behind this approach is that the road curvatures can be evaluated by the odometric data. As in "Clayton: Clothoid, 2006, Available at: http://ww3.cad.de/foren/ubb/uploads/Clayton/Klothoide-Formeln.pdf" described, there is a minimum radius of curvature for each speed limit. For example, the minimum radius of curvature at 120 km / h is 750 meters. In general, this is considered in road construction, in that the road curvature changes only slowly when the road is traveled at high speed.

Es ist beobachtbar, dass das Schlingern in der Spur bei viel höheren Frequenzen stattfindet, so dass sie durch Hochpassfilter extrahiert werden kann. Für die Bewertung der Fahrzeugtrajektorie werden ein Kalman-Filter, ein erweiterter Kalman-Filter und/oder ein Partikelfilter sowie optional ein Fahrzeugbewegungs-Modell verwendet. Die Verwendung eines Kalman-Filters ist nicht notwendig und es gibt noch viele andere Möglichkeiten zur Ausführung einer Filterfunktion.It can be observed that the lurching in the track takes place at much higher frequencies so that it can be extracted by high pass filters. For the evaluation of the vehicle trajectory, a Kalman filter, an extended Kalman filter and / or a particle filter and optionally a vehicle motion model are used. The use of a Kalman filter is not necessary and there are many other ways to perform a filter function.

Zusätzlich zur gemessenen Gierrate (psi_Punkt) und Fahrzeuggeschwindigkeit wird auch die GPS-Position des Fahrzeugs 1 einbezogen. GPS wurde in UTM konvertiert, um dasselbe metrische Koordinatensystem zu verwenden wie die gekoppelte odometrische Position. Dies ist für die Visualisierung sowie für die Bewertung der Systemleistung wertvoll, wird jedoch nicht im Onlinesystem benötigt.In addition to the measured yaw rate (psi_point) and vehicle speed, the GPS position of the vehicle also becomes 1 included. GPS was converted to UTM to use the same metric coordinate system as the coupled odometric position. This is valuable for visualization and system performance evaluation, but is not needed in the online system.

Somit sind die Spurdatensignale auch bei fehlenden Spurmarkierungen, schlechten Wetterbedingungen und Lichtbedingungen sicher erfassbar. Manche spurbasierte Merkmale; wie LANEDEV, ZIGZAGS und andere, verlangen keine absolute Position gegenüber der Spurmarkierungen. Es ist deshalb hinreichend, den Verlauf oder das Schlingern (Pendeln) innerhalb der Spur zu kennen.Thus, the track data signals are surely detectable even in the absence of lane markings, bad weather conditions and lighting conditions. Some track-based features; like LANEDEV, ZIGZAGS and others, do not require an absolute position relative to the lane markings. It is therefore sufficient to know the course or the lurching (commuting) within the lane.

Viele weitere Aspekte bezüglich der Erkennung von Schläfrigkeit profitieren von dieser verbesserten Fahrzeugposition. Kurze Fehler bei der Spurverkennung mittels Kamera können ausgefüllt werden und Straßenbedingungsanalysen profitieren von dieser verbesserten Auflösung.Many other aspects of drowsiness detection benefit from this improved vehicle position. Short errors in lane-locking with the camera can be filled in and road condition analyzes benefit from this improved resolution.

Zur Ermittlung der erforderlichen Informationen wurden, wie bereits erläutert, Testfahrten durchgeführt und mit den erfassten Daten eine Datenbank erstellt, welche über 17 800 reale Straßenfahrten mit einer gefahrenen Strecke von über 1,67 Mio. km abdeckt. Nach einer Filterung dieser Datenbank für Fahrten über 30 km, bei vorliegender und plausibler Schläfrigkeits-Selbsteinschätzung nach der Karolinska Sleepiness Scale, gültigen Spurverfolgungsdaten und ohne Messfehler, verblieben 76 215 km reale Fahrten.To determine the required information, as already explained, test drives were carried out and a database was created with the collected data, covering more than 17,800 real road trips with a driven distance of more than 1.67 million km. After filtering this database for trips over 30 km, with present and plausible drowsiness self-assessment according to the Karolinska Sleepiness Scale, valid tracking data and no measurement errors, remained 76 215 km real trips.

Die Durchführung dieser Fahrten, welche insbesondere auch Nachtexperimente umfassten, erfolgte insbesondere gemäß der in „F. Friedrichs und B. Yang: Drowsiness Monitoring by steering and lane data based features under real driving conditions; In: EUSIPCO, 2010” und „E. Schmidt: Drivers misjudgement of vigilance state during prolonged monotonous daytime driving; In: Accident Analysis & Prevention, vol. 41, Seiten 1087–1093, 2009” beschriebenen Verfahren.The carrying out of these trips, which in particular also included post-experiments, was carried out in particular according to the method described in "F. Friedrichs and B. Yang: Drowsiness Monitoring by steering and lane based on driving conditions; In: EUSIPCO, 2010 " and "E. Schmidt: Drivers misjudgment of vigilance state during prolonged monotonous daytime driving; In: Accident Analysis & Prevention, vol. 41, pages 1087-1093, 2009 " described method.

Um das laterale Spurpositionssignal von den odometrischen Daten zu erhalten, werden die Durchführungsschritte im Folgenden präsentiert. Der zur Ermittlung erforderliche Gierratensensor hat eine Musterfrequenz von z. B. FS = 1/T ≈ 50 Hz. Die GPS-Signale waren mit einer Abtastrate von z. B. FS = 1/T ≈ 1 Hz verfügbar. Wenn neue GPS-Daten verfügbar waren, wird jede Sekunde eine zusätzliche modifizierte Kalman-Iteration abgerufen, um die Position gemäß den GPS-Daten zu aktualisieren. Somit übernimmt der Kalman-Filter das Gewichten zwischen intertialsensorbasierten Daten und GPS-Daten.In order to obtain the lateral track position signal from the odometric data, the performing steps are presented below. The yaw rate sensor required for the determination has a pattern frequency of z. B. F S = 1 / T ≈ 50 Hz. The GPS signals were at a sampling rate of z. B. F S = 1 / T ≈ 1 Hz available. When new GPS data became available, an additional modified Kalman iteration is called every second to update the position according to the GPS data. Thus, the Kalman filter takes over the weighting between intertial sensor-based data and GPS data.

Die im dargestellten Modell gezeigte Fahrzeugbewegung x wird gemäß „M. Bühren: Simulation und Verarbeitung von Radarziellisten im Automobil; In: Ph. D. dissertation; Chair of System Theory and Signal Processing, 2008” und „M. Miksch, B. Yang, and K. Zimmermann: Motion compensation for obstacle detection based on homography and odometric data with virtual camera perspectives; In: Proceedings of the IEEE Conference on Intelligent Vehicles, 2010” ermittelt und als Model dargestellt.The vehicle movement x shown in the illustrated model is performed according to "M. Fees: simulation and processing of radar target lists in automobiles; In: Ph. D. dissertation; Chair of System Theory and Signal Processing, 2008 " and "M. Miksch, B. Yang, and K. Zimmermann: Motion compensation for obstacle detection based on homography and odometric data with virtual camera perspectives; In: Proceedings of the IEEE Conference on Intelligent Vehicles, 2010 determined and presented as a model.

Dabei weist das Systemmodell einen Lagewechselausgleich gemäß x(k + 1) = Ax(k) [1] mit dem Lagevektor x(k) im Moment k und einer Zustands-Übergangs-Matrix A auf.In this case, the system model according to a position change compensation x (k + 1) = Ax (k) [1] with the position vector x (k) at the moment k and a state transition matrix A.

Ein zweiter Teil des Systemmodels stellt einen Messausgleich gemäß z(k + 1) = Hx(k) [2] mit dem Messvektor z(k) im Moment k dar. Die Bewegung des Fahrzeugs 1 kann dann beschrieben werden als

Figure 00070001
A second part of the system model provides a measurement equalization z (k + 1) = Hx (k) [2] with the measuring vector z (k) at the moment k. The movement of the vehicle 1 can then be described as
Figure 00070001

Dabei ist v+ wie folgt definiert:

Figure 00070002
mit der Durchlaufzeit T und dem Lagevektor x(k + 1) gemäß
Figure 00080001
Where v + is defined as follows:
Figure 00070002
with the cycle time T and the position vector x (k + 1) according to
Figure 00080001

Die Gierrate psi_Punkt, d. h. die zeitliche Ableitung von Ψ, wird gemessen und ist von zentraler Bedeutung.The yaw rate psi_point, d. H. the time derivative of Ψ is measured and is of central importance.

Letztendlich ergibt sich der folgende Ausgleich, der den Lagewechsel beschreibt:

Figure 00080002
Finally, the following compensation results, which describes the change of position:
Figure 00080002

Da das System noch nicht-linear ist, wird ein erweiterter Kalman-Filter benötigt. Für den erweiterten Kalman-Filter wird eine nicht-lineare differenzierbare Funktion f in jedem Arbeitsschritt linearisiert, woraus eine aktuelle Systemlage x(k) resultiert. Für die Linearisierung wird die so genannte Jacobi-Matrix der differenzierbaren Funktion

Figure 00080003
verwendet und durch
Figure 00080004
definiert. Somit ist
Figure 00090001
Since the system is still non-linear, an extended Kalman filter is needed. For the extended Kalman filter, a non-linear differentiable function f is linearized in each work step, resulting in a current system position x (k). For linearization, the so-called Jacobi matrix becomes the differentiable function
Figure 00080003
used and through
Figure 00080004
Are defined. Thus is
Figure 00090001

Dann sind die Messmatrix H und der Vektor z(k)

Figure 00090002
Then the measurement matrix H and the vector z (k)
Figure 00090002

Für den Fall, dass ein neues GPS-Muster verfügbar ist, wird die Messmatrix H und der Vektor z(k) erweitert gemäß

Figure 00090003
wobei Ue und Un ostwärts und nordwärts gerichtete UTM-Koordinaten sind. Die Kovarianz-Matrizen Q und R wurden durch den Gebrauch von Hochpass-Maßen ausgewählt.In the event that a new GPS pattern is available, the measurement matrix H and the vector z (k) are expanded according to
Figure 00090003
where U e and U n are eastbound and northbound UTM coordinates. The covariance matrices Q and R were selected through the use of high-pass metrics.

Um eine optimale Lagebewertung zu realisieren, wird ein Kalman-Filter verwendet. Der Kalman-Filter für lineare Systeme ist ein Werkzeug für die Bewertung des Lagevektors, der durch indirekte Messungen, die durch eine Störung unterbrochen werden, wie folgt beobachtet werden kann: x(k + 1) = Ax(k) + Bu(k) + w(k), [11] z(k + 1) = Hx(k) + v(k). [12] To realize an optimal positional evaluation, a Kalman filter is used. The Kalman filter for linear systems is a tool for the evaluation of the position vector, which can be observed by indirect measurements, which are interrupted by a disturbance, as follows: x (k + 1) = Ax (k) + Bu (k) + w (k), [11] z (k + 1) = Hx (k) + v (k). [12]

Die Modelstörung w(k) und die Messstörung v(k) wurden als zusätzliche normal verteilte weiße Verzerrung ermittelt gemäß: E⌊w(n)wT(k)⌋ = Wδnk E[v(n)vT(k)] = Vδnk p(w) ∝ N(o, Q) p(w) ∝ N(o, R) [13] mit einem Durchschnitt mit dem Wert Null. E[w(n)] = 0 E[v(n)] = 0 [14] The model perturbation w (k) and the measurement perturbation v (k) were determined as additional normally distributed white distortion according to: E⌊w (n) w T (k) ⌋ = Wδ nk E [v (n) v T (k)] = Vδ nk p (w) α N (o, Q) p (w) α N (o, R) [13] with an average of zero. E [w (n)] = 0 E [v (n)] = 0 [14]

Modelstörungen, Messstörungen und anfängliche Lagen sind unkorreliert: E[w(n)vT(n)] = 0 E[w(n)zT(n)] = 0 E[v(n)zT(n)] = 0. [15] Model disturbances, measurement errors and initial positions are uncorrelated: E [w (n) v T (n)] = 0 E [w (n) z T (n)] = 0 E [v (n) z T (n)] = 0. [15]

Die Gültigkeit von Anforderungen für die Kalman-Filter der Gierrate, Fahrzeuggeschwindigkeit und Beschleunigungssensoren bestimmt sich gemäß „M. Bühren: Simulation und Verarbeitung von Radarziellisten im Automobil; In: Ph. D. dissertation; Chair of System Theory and Signal Processing, 2008” .The validity of requirements for the yaw rate Kalman filters, vehicle speed and acceleration sensors is determined according to "M. Fees: simulation and processing of radar target lists in automobiles; In: Ph. D. dissertation; Chair of System Theory and Signal Processing, 2008 " ,

Die Bewertung der linearen Kalman-Filter-Lage wird in zwei Schritten errechnet, wie in 2 dargestellt. Die Berechung erfolgt gemäß der Beschreibung in „ M. Bühren: Simulation und Verarbeitung von Radarziellisten im Automobil; In: Ph. D. dissertation; Chair of System Theory and Signal Processing, 2008” und „G. Welch, G. Bishop: An introduction to the kalman filter; University of North Carolina at Chapel Hill, Department of Computer Science, 2006” . Die Schritte umfassen eine Prognose und Korrektur.The evaluation of the Kalman linear filter location is calculated in two steps, as in 2 shown. The calculation is carried out as described in " M. Bühren: Simulation and processing of radar target lists in automobiles; In: Ph. D. dissertation; Chair of System Theory and Signal Processing, 2008 " and "G. Welch, G. Bishop: An introduction to the kalman filter; University of North Carolina at Chapel Hill, Department of Computer Science, 2006 " , The steps include a forecast and correction.

Der erweiterte Kalman-Filter wird verwendet, wenn der Lagewechsel nicht-linear ist, wie im vorliegenden Fall. Dabei wird das System von den nicht-linearen, differenzierbaren Funktionen f und h beschrieben gemäß: x(k + 1) = f(x(k), u(k), w(k) = Jx(k) + w(k), [16] z(k + 1) = h(x(k + 1), v(k + 1)). [17] The extended Kalman filter is used when the position change is non-linear, as in the present case. The system is described by the non-linear, differentiable functions f and h according to: x (k + 1) = f (x (k), u (k), w (k) = Jx (k) + w (k), [16] z (k + 1) = h (x (k + 1), v (k + 1)). [17]

In vorliegenden Fall bleibt der Messausgleich wie in Gleichung [12]. Die erweiterte Kalman-Filter-Lagebewertung wird wiederum, wie in 3 dargestellt, in den zwei Schritten „Prognose” und „Korrektur” berechnet, jedoch mit der linearisierten Funktion. In the present case, the measurement compensation remains as in equation [12]. The extended Kalman filter attitude assessment will turn, as in 3 shown, calculated in the two steps "forecast" and "correction", but with the linearized function.

Für die aufgezeichneten Fahrten war ein Standard-GPS-Sensor verfügbar. Die zeitliche Auflösung mit 1 Hz ist nicht sehr hoch. Auch die absolute Position ist nicht sehr akkurat. Die in „C. Hasberg, S. Hensel: Online-estimation of road map elements using spline curves; In: 12th International Conference on Information Fusion, 2009” und „LVGB: Abbildung und UTM-Koordinaten; Landesamt für Vermessung und Geoinformation Bayern, 2009” beschriebene UTM-Darstellung von GPS-Daten hat den Vorteil, dass die Einheiten ein metrisches Welt-Koordinatensystem nutzen, was den Informationen, die durch die Fahrzeugdaten erhalten werden, ähnelt.A standard GPS sensor was available for the recorded rides. The temporal resolution at 1 Hz is not very high. Also the absolute position is not very accurate. In the "C. Hasberg, S. Hensel: Online estimation of road map elements using spline curves; In: 12th International Conference on Information Fusion, 2009 " and "LVGB: figure and UTM coordinates; State Office for Surveying and Geoinformation Bavaria, 2009 " described UTM representation of GPS data has the advantage that the units use a metric world coordinate system, which is similar to the information obtained by the vehicle data.

Wie im Bewegungsmodell dargestellt, muss der Gierwinkel φ(k) zwischen dem Fahrzeug 1 und der Spur bekannt sein, um den lateralen Abstand l(k) zu kalkulieren. Die Spur wird von einer niedrigpass-gefilterten Fahrzeugtrajektorie bewertet, indem ein so genannter 2nd-order Butterworth Filter mit einer Grenzfrequenz von 0,05 Hz genutzt wird. Der relative laterale Abstand Δl zur Spur wird für jeden Abtastzeitpunkt T kalkuliert. Man erhält dann den lateralen Abstand, indem man die bewertete laterale Position zu jedem Abtastzeitpunkt aktualisiert: l(k + 1) = l(k) + Δl, [18] mit der anfänglichen Bedingung l(0) = 0. Das vom Fahrzeugmodell erhaltene Lateralabstandssignal wird wieder hochpass-gefiltert, um akkumulierende Fehler zu beheben. Weiterhin wird es niedrigpass-gefiltert, um Störungen und Straßeneinwirkungen mit einem 2nd-order Butterworth Filter mit einer Abschaltungsfrequenz von 0,1 Hz zu beheben.As shown in the motion model, the yaw angle φ (k) must be between the vehicle 1 and the track to calculate the lateral distance l (k). The track is evaluated by a low-pass filtered vehicle trajectory using a so-called 2nd-order Butterworth filter with a cut-off frequency of 0.05 Hz. The relative lateral distance Δl to the track is calculated for each sampling time T. One then obtains the lateral distance by updating the weighted lateral position at each sample time: l (k + 1) = l (k) + Δl, [18] with the initial condition I (0) = 0. The lateral distance signal obtained from the vehicle model is again high-pass filtered to eliminate accumulating errors. It is also low-pass filtered to correct interference and road effects with a 2nd-order Butterworth filter with a cut-off frequency of 0.1 Hz.

Die Extrahierung von Merkmalen aus dem ermittelten spurbasierten Daten erfolgt insbesondere gemäß „F. Friedrichs und B. Yang: Drowsiness Monitoring by steering and lane data based features under real driving conditions; In: EUSIPCO, 2010” .The extraction of features from the determined track-based data takes place in particular according to "F. Friedrichs and B. Yang: Drowsiness Monitoring by steering and lane based on driving conditions; In: EUSIPCO, 2010 " ,

In der folgenden Tabelle 2 sind die ausgewählten Merkmale für das Ausführungsbeispiel aufgelistet. Die Auswahl ist nur beispielhaft, es gibt noch mehr Merkmale. Spurdatenbasierte und odometrische Merkmale sind mit denselben Algorithmen errechnet worden. Nummer: Merkmalsname: Beschreibung: 15 LANEDEV Spurabweichung 17 ZIGZAGS Anzahl von Zick-Zack Ereignissen beim Fahrzeugschlingern 29 LNMNSQ Quadratischer Fahrspurmittelwert 34 ORA Überschrittener Bereich 16 LATPOSZCR Längsposition ZCR 30 LNIQR IRQ der Längsposition 37 DELTADUR Laufzeit zwischen den Beugungspunkten 38 DELTALATPOS Mittlere Längsamplitude 39 DELTALATVELMAX Maximale Längsgeschwindigkeit Tabelle 2: Auswahl spurbasierter Merkmale Table 2 below lists the features selected for the embodiment. The selection is only an example, there are even more features. Track data-based and odometric features have been calculated using the same algorithms. Number: Feature Name: Description: 15 LANEDEV offtrack 17 ZigZags Number of zig zag events when rolling the vehicle 29 LNMNSQ Square lane mean 34 ORA Exceeded range 16 LATPOSZCR Longitudinal position ZCR 30 LNIQR IRQ of the longitudinal position 37 DELTADUR Runtime between the diffraction points 38 DELTALATPOS Mean longitudinal amplitude 39 DELTALATVELMAX Maximum longitudinal speed Table 2: Selection of track-based features

Da Spurwechsel nicht von der Spurkamera, sondern von den Inertialsensoren ermittelt werden, wurde das Blinkerbetätigungssignal genutzt, um gewollte Spurwechsel auszublenden. Drei Sekunden vor und zehn Sekunden nach der Hebeloperation wurden ausgeblendet. Gierraten von mehr als 3°/s wurden ebenfalls verworfen. Weiterhin wurde das System so definiert, dass es nur bei Geschwindigkeiten von über 80 km/h aktiv ist.Since lane changes are not determined by the track camera, but by the inertial sensors, the turn signal signal was used to hide intentional lane changes. Three seconds before and ten seconds after the lever operation disappeared. Yaw rates of more than 3 ° / s were also discarded. Furthermore, the system has been defined to be active only at speeds in excess of 80 km / h.

In 4 wird ein Vergleich von auf spurdatenbasierenden Daten basierenden Signalen S1 und auf Inertialdaten basierenden Signalen S2 auf physikalischer Basis näher erläutert. Das Signale S1 ist die laterale Spurposition aus der Spuererkennungskamera oder alternative Sensoren und Signal S2 ist das laterale Spurpositionssignal, welches aus Inertialdaten (Gierrate und Geschwindigkeit) geschätzt wurde, wobei die als Inertialdaten grundsätzlich auch die Signale anderer geeigneter Sensoren z. B. Querbeschleunigung, Raddrehzahlen oder Correvit sein können.In 4 A comparison of track data-based data-based signals S1 and inertial-data based signals S2 on a physical basis will be explained. The signal S1 is the lateral track position from the spur detection camera or alternative sensors, and signal S2 is the lateral track position signal estimated from inertial data (yaw rate and velocity) using the Inertialdaten basically the signals of other suitable sensors z. As lateral acceleration, wheel speeds or Correvit can be.

Die Korrelation von spurbasierten und odometrischen Merkmalen wird gezeigt, ebenso wie die Korrelation zwischen den odometrischen Merkmalen und der Karolinska Sleepiness Scale, der Bezug zur Schläfrigkeit, indem die Pearson und Spearman Korrelationkoeffizienten genutzt werden.The correlation of trace-based and odometric features is shown, as well as the correlation between the odometric features and the Karolinska Sleepiness Scale, the reference to drowsiness, by using the Pearson and Spearman correlation coefficients.

Dargestellt ist das laterale Differenz-(„Abstands-”)Signal, das man nach dem Entfernen des Offsets erhalten hat. Die Spearman-Korrelationskoeffizienten ρs zwischen den gierratenverzweigten Merkmalen und den ursprünglichen spurbasierten Merkmalen werden in Tabelle 3 gezeigt. Nummer: Merkmalsname: ρp ρs 15 LANEDEV 0,006 0,323 17 ZIGZAGS 1,000 0,515 29 LNMNSQ 0,064 0,670 34 ORA 0,443 0,416 16 LATPOSZCR 1,000 0,770 30 LNIQR 0,359 0,693 37 DELTADUR 0,573 0,389 38 DELTALATPOS 0,198 0,429 39 DELTALATVELMAX 0,593 0,536 Tabelle 3: Spearman-Korrelationskoeffizienten und Bravais-Pearson Korrelationskoeffizient Shown is the lateral difference ("distance") signal obtained after removing the offset. The Spearman correlation coefficients ρ s between the yaw rate branched features and the original track-based features are shown in Table 3. Number: Feature Name: p ρ s 15 LANEDEV 0,006 0.323 17 ZigZags 1,000 0.515 29 LNMNSQ 0.064 0,670 34 ORA 0.443 0.416 16 LATPOSZCR 1,000 0,770 30 LNIQR 0.359 0.693 37 DELTADUR 0.573 0.389 38 DELTALATPOS 0.198 0,429 39 DELTALATVELMAX 0.593 0.536 Table 3: Spearman correlation coefficients and Bravais-Pearson correlation coefficient

Die Merkmale wurden mit mehreren Methoden berechnet und optimiert. Neben statistischen Tests wurden als Metriken der Bravais-Pearson Korrelationskoeffizient ρp, der Spearman Korrelationskoeffizient ρs und die Fisher-Metrik MDA gemäß „M. Welling: Fisher linear discriminant analysis; University of Toronto, Department of Computer Science, Tech. Rep., 2005” genutzt. Der Bravais-Pearson Korrelationskoeffizient wird kalkuliert, um die lineare Korrelation zwischen dem Merkmal Fi und der interpolierten gefilterten Karolinska Sleepiness Scale gemäß folgender Gleichung zu bewerten,

Figure 00130001
wobei cov die Kovarianz und var die Varianz darstellen. Hohe positive oder negative Werte bedeuten eine starke positive oder negative Korrelation, während ein Wert nahe Null ein Zufallsverhältnis anzeigt. Die Spearman Korrelationskoeffizienten arbeiten auf ähnliche Weise, nur mit dem Unterschied, dass eine nicht-lineare Korrelation auch zu hohen Korrelationseffizienten führt. Die Spearman Korrelationskoeffizienten zwischen den gierratenverzweigten Merkmalen und den ursprünglichen spurbasierten Merkmalen werden in Tabelle 4 gezeigt. Nummer: Merkmalsname: ρs Lane vs. KSS ρs Odometrie vs. KSS 15 LANEDEV 0,211 0,046 17 ZIGZAGS 0,318 0,080 29 LNMNSQ 0,177 0,080 34 ORA 0,325 0,105 16 LATPOSZCR 0,223 0,300 30 LNIQR 0,187 0,100 37 DELTADUR 0,220 0,117 38 DELTALATPOS 0,239 0,079 39 DELTALATVELMAX 0,214 0,106 Tabelle 4: Spearman-Korrelationskoeffizienten The features were calculated and optimized using several methods. In addition to statistical tests, the metrics used were the Bravais-Pearson correlation coefficient ρ p , the Spearman correlation coefficient ρ s, and the Fisher metric MDA "M. Welling: Fisher linear discriminant analysis; University of Toronto, Department of Computer Science, Tech. Rep., 2005 " used. The Bravais-Pearson correlation coefficient is calculated to evaluate the linear correlation between the feature F i and the interpolated filtered Karolinska Sleepiness Scale according to the following equation.
Figure 00130001
where cov is the covariance and var is the variance. High positive or negative values mean a strong positive or negative correlation, while a value near zero indicates a random ratio. The Spearman correlation coefficients work in a similar way, except that a nonlinear correlation also leads to high correlation coefficients. The Spearman correlation coefficients between the yaw rate-branched features and the original track-based features are shown in Table 4. Number: Feature Name: ρ s Lane Vs. KSS ρ s Odometry vs. KSS 15 LANEDEV 0.211 0.046 17 ZigZags 0,318 0,080 29 LNMNSQ 0.177 0,080 34 ORA 0,325 0.105 16 LATPOSZCR 0.223 0,300 30 LNIQR 0,187 0,100 37 DELTADUR 0,220 0,117 38 DELTALATPOS 0.239 0.079 39 DELTALATVELMAX 0.214 0.106 Table 4: Spearman correlation coefficients

5 zeigt das Merkmal der Spurabweichung LANEDEV für eine Fahrt. Die Hauptkorrelation zwischen diesen Merkmalen kann man grob in der 5 sehen. 5 shows the lane departure feature LANEDEV for a ride. The main correlation between these characteristics can roughly be found in the 5 see.

Einige der Merkmale, wie z. B. ZIGZAGS, LATPOSZCR und/oder die Nulldurchgangsrate, korrelieren besonders mit dem spurbasierten Pendant. Insbesondere das Merkmal LATPOSZCR funktioniert sehr gut zur Schläfrigkeitserkennung.Some of the features, such as ZIGZAGS, LATPOSZCR and / or the zero-crossing rate correlate particularly with the track-based counterpart. In particular, the feature LATPOSZCR works very well for drowsiness detection.

Die Hauptmotivation des vorliegenden Verfahrens besteht darin, klassische spurbasierte Merkmale von inertialsensorbasierten Daten anstelle von kamerabasierten Spurdaten zu bewerten. Dies hat den Vorteil, dass odometrische Daten, als ein Beispiel für inertialbasierte Daten, heutzutage in fast jedem Fahrzeug 1 gefunden werden. Im Gegensatz dazu sind Spurverfolgungskameras Sonderausstattungen und sind somit immer noch selten im heutigen Fuhrpark verfügbar. Ein weiterer großer Vorteil der Verwendung von innertialsensorbasierten Daten ist ihre Unabhängigkeit von Wetter, Kamerakalibrierung und der Qualität der Spurmarkierung. Dieses Objekt erhöht die Funktionsfähigkeit des Systems enorm.The main motivation of the present method is to evaluate classical track-based features of inertial sensor-based data rather than camera-based lane data. This has the advantage of providing odometrical data, as an example of inertial-based data, in almost every vehicle nowadays 1 being found. In contrast, tracking cameras are optional equipment and are thus still rarely available in today's fleet. Another major benefit of using inertial sensor-based data is their independence from weather, camera calibration, and the quality of lane marking. This object enormously increases the functionality of the system.

Das Bewegungsmodell ist für inertialbasierte Sensorsignale vorgesehen, wobei das Bewegungsmodell einen erweiterten Kalman-Filter nutzt, um die laterale Spurdifferenz mit den odometrischen Daten zu schätzen. GPS-Daten können zusätzlich verwendet werden, um die Spurdaten und die von Inertialsensor geschätzten Daten zu vergleichen und zu visualisieren. Da das GPS-Signal nur jede Sekunde verfügbar ist, während die CAN-Daten eine Durchlaufzeit von mehreren ms aufweisen, wird eine Methode zum Einbeziehen von GPS-Messungen in das Bewegungsmodel aufgestellt. Inertialbasierte und GPS-Daten werden in ein UTM-Koordinatensystem konvertiert, um dieselbe metrische Darstellung zu erzielen. Das Verfahren zeigt, dass die aus odometrischen Daten extrahierten Merkmale besonders mit den spurbasierten Merkmalen korrelieren, wobei zur Ermittlung eine große Datenmenge verglichen wurde. Allgemein gesprochen können sich einige spurbasierte Merkmale sehr gut an odometrische Daten annähern, andere können dies jedoch nicht. Insbesondere LATPOSZCR, d. h. die Nulldurchgangsrate der lateralen Position funktioniert aufgrund der kontinuierlichen Systemverfügbarkeit der inerstialsensorbasierten Daten sehr gut.The motion model is for inertial-based sensor signals, and the motion model uses an extended Kalman filter to estimate the lateral track difference with the odometric data. GPS data can also be used to compare and visualize the trace data and the data estimated by inertial sensor. Since the GPS signal is only available every second while the CAN data has a throughput time of several ms, a method for incorporating GPS measurements into the motion model is established. Inertial-based and GPS data are converted to a UTM coordinate system to achieve the same metric representation. The method shows that the features extracted from odometric data correlate particularly with the track-based features, comparing a large amount of data to determine. Generally speaking, some track-based features can approximate very well to odometric data, but others can not. In particular, LATPOSZCR, d. H. the zero-crossing rate of the lateral position works very well due to the continuous system availability of the in-star sensor-based data.

Zusammenfassend ermöglicht das erfindungsgemäße Verfahren und dessen Weiterbildungen eine Bewertung oder Schätzung der relativen lateralen Spurposition (Differenz innerhalb der Spur) durch Nutzung odometrischer CAN-Daten wie der Gierrate und der Geschwindigkeit der Umsetzung der Räder. Weiterhin umfasst das Verfahren mathematische Grundlagen für die Bewertung der Fahrzeugtrajektorie. Wichtige spurbasierte Merkmale können ohne den Bedarf einer Spurkamera ermittelt werden.In summary, the method and its developments according to the invention make it possible to evaluate or estimate the relative lateral track position (difference within the track) by using odometric CAN data such as the yaw rate and the speed of the conversion of the wheels. Furthermore, the method comprises mathematical foundations for the evaluation of the vehicle trajectory. Important track-based features can be determined without the need for a track camera.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte Nicht-PatentliteraturCited non-patent literature

  • „F. Friedrichs und B. Yang: Camera-based drowsiness reference for driver state classification under real driving conditions; In: Proceedings of the IEEE Intelligent Vehicles Symposium, 2010” [0004] "F. Friedrichs and B. Yang: Camera-based drowsiness reference for driver classification under real driving conditions; In: Proceedings of the IEEE Intelligent Vehicles Symposium, 2010 " [0004]
  • „F. Friedrichs und B. Yang: Drowsiness Monitoring by steering and lane data based features under real driving conditions; In: EUSIPCO, 2010” [0004] "F. Friedrichs and B. Yang: Drowsiness Monitoring by steering and lane based on driving conditions; In: EUSIPCO, 2010 " [0004]
  • „C. Hasberg und S. Hensel: Online-estimation of road map elements using spline curves; In: 12th International Conference on Information Fusion, 2009” [0005] "C. Hasberg and S. Hensel: Online estimation of road map elements using spline curves; In: 12th International Conference on Information Fusion, 2009 " [0005]
  • „M. Bühren: Simulation und Verarbeitung von Radarziellisten im Automobil; Ph. D. dissertation, In: Chair of System Theory and Signal Processing, 2008” [0005] "M. Fees: simulation and processing of radar target lists in automobiles; Ph. D. dissertation, Chair of System Theory and Signal Processing, 2008 " [0005]
  • „M. Miksch, B. Yang und K. Zimmermann: Motion compensation for obstacle detection based on homography and odometric data with virtual camera perspectives; In: Proceedings of the IEEE Conference on Intelligent Vehicles, 2010” [0005] "M. Miksch, B. Yang and K. Zimmermann: Motion compensation for obstacle detection based on homography and odometric data with virtual camera perspectives; In: Proceedings of the IEEE Conference on Intelligent Vehicles, 2010 " [0005]
  • „T. Akerstedt, M. Gillberg: Subjective and objective sleepiness in the active individual: In: International Journal of Neuroscience, vol. 52, Seite 2937, 1980” [0025] "T. Akerstedt, M. Gillberg: Subjective and objective sleepiness in the active individual: In: International Journal of Neuroscience, vol. 52, page 2937, 1980 " [0025]
  • „F. Friedrichs und B. Yang: Camera-based drowsiness reference for driver state classification under real driving conditions; In: Proceedings of the IEEE Intelligent Vehicles Symposium, 2010” [0026] "F. Friedrichs and B. Yang: Camera-based drowsiness reference for driver classification under real driving conditions; In: Proceedings of the IEEE Intelligent Vehicles Symposium, 2010 " [0026]
  • „F. Friedrichs und B. Yang: Drowsiness Monitoring by steering and lane data based features under real driving conditions; In: EUSIPCO, 2010” [0026] "F. Friedrichs and B. Yang: Drowsiness Monitoring by steering and lane based on driving conditions; In: EUSIPCO, 2010 " [0026]
  • „Clayton: Klothoide, 2006, Verfügbar unter: http://ww3.cad.de/foren/ubb/uploads/Clayton/Klothoide-Formeln.pdf” [0027] "Clayton: Clothoid, 2006, Available at: http://ww3.cad.de/foren/ubb/uploads/Clayton/Klothoide-Formeln.pdf" [0027]
  • „F. Friedrichs und B. Yang: Drowsiness Monitoring by steering and lane data based features under real driving conditions; In: EUSIPCO, 2010” [0033] "F. Friedrichs and B. Yang: Drowsiness Monitoring by steering and lane based on driving conditions; In: EUSIPCO, 2010 " [0033]
  • „E. Schmidt: Drivers misjudgement of vigilance state during prolonged monotonous daytime driving; In: Accident Analysis & Prevention, vol. 41, Seiten 1087–1093, 2009” [0033] "E. Schmidt: Drivers misjudgment of vigilance state during prolonged monotonous daytime driving; In: Accident Analysis & Prevention, vol. 41, pages 1087-1093, 2009 " [0033]
  • „M. Bühren: Simulation und Verarbeitung von Radarziellisten im Automobil; In: Ph. D. dissertation; Chair of System Theory and Signal Processing, 2008” [0035] "M. Fees: simulation and processing of radar target lists in automobiles; In: Ph. D. dissertation; Chair of System Theory and Signal Processing, 2008 " [0035]
  • „M. Miksch, B. Yang, and K. Zimmermann: Motion compensation for obstacle detection based on homography and odometric data with virtual camera perspectives; In: Proceedings of the IEEE Conference on Intelligent Vehicles, 2010” [0035] "M. Miksch, B. Yang, and K. Zimmermann: Motion compensation for obstacle detection based on homography and odometric data with virtual camera perspectives; In: Proceedings of the IEEE Conference on Intelligent Vehicles, 2010 " [0035]
  • „M. Bühren: Simulation und Verarbeitung von Radarziellisten im Automobil; In: Ph. D. dissertation; Chair of System Theory and Signal Processing, 2008” [0047] "M. Fees: simulation and processing of radar target lists in automobiles; In: Ph. D. dissertation; Chair of System Theory and Signal Processing, 2008 " [0047]
  • M. Bühren: Simulation und Verarbeitung von Radarziellisten im Automobil; In: Ph. D. dissertation; Chair of System Theory and Signal Processing, 2008” [0048] M. Bühren: Simulation and processing of radar target lists in automobiles; In: Ph. D. dissertation; Chair of System Theory and Signal Processing, 2008 " [0048]
  • „G. Welch, G. Bishop: An introduction to the kalman filter; University of North Carolina at Chapel Hill, Department of Computer Science, 2006” [0048] "G. Welch, G. Bishop: An introduction to the kalman filter; University of North Carolina at Chapel Hill, Department of Computer Science, 2006 " [0048]
  • „C. Hasberg, S. Hensel: Online-estimation of road map elements using spline curves; In: 12th International Conference on Information Fusion, 2009” [0051] "C. Hasberg, S. Hensel: Online estimation of road map elements using spline curves; In: 12th International Conference on Information Fusion, 2009 " [0051]
  • „LVGB: Abbildung und UTM-Koordinaten; Landesamt für Vermessung und Geoinformation Bayern, 2009” [0051] "LVGB: figure and UTM coordinates; State Office for Surveying and Geoinformation Bavaria, 2009 " [0051]
  • „F. Friedrichs und B. Yang: Drowsiness Monitoring by steering and lane data based features under real driving conditions; In: EUSIPCO, 2010” [0053] "F. Friedrichs and B. Yang: Drowsiness Monitoring by steering and lane based on driving conditions; In: EUSIPCO, 2010 " [0053]
  • „M. Welling: Fisher linear discriminant analysis; University of Toronto, Department of Computer Science, Tech. Rep., 2005” [0059] "M. Welling: Fisher linear discriminant analysis; University of Toronto, Department of Computer Science, Tech. Rep., 2005 " [0059]

Claims (6)

Verfahren zur Überwachung eines Fahrerzustands, bei dem der Fahrerzustand anhand von mit dem Fahrerzustand korrelierenden Spurinformationen ermittelt wird, wobei zur Ermittlung des Fahrerzustands die Spurinformationen mit hinterlegten Mustern von Spurinformationen verglichen werden, dadurch gekennzeichnet, dass die Spurinformationen aus odometrischen Fahrzeugdaten ermittelt werden, welche aus mittels zumindest eines Inertialsensors erfassten Sensordaten ermittelt werden.A method for monitoring a driver state in which the driver state is determined on the basis of correlated with the driver state lane information, wherein for determining the driver state, the lane information is compared with stored patterns of lane information, characterized in that the lane information from odometric vehicle data are determined, which by means of At least one inertial sensor detected sensor data are determined. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass mittels des zumindest einen Inertialsensors als Sensordaten eine Giergeschwindigkeit, eine Gierbeschleunigung, ein Gierwinkel (φ(k), Ψ), eine Längsbeschleunigung, eine Querbeschleunigung, ein Lenkradwinkel und/oder eine Raddrehzahl zumindest eines Rades des Fahrzeugs erfasst werden.A method according to claim 1, characterized in that by means of the at least one inertial sensor as sensor data, a yaw rate, a yaw acceleration, a yaw angle (φ (k), eine), a longitudinal acceleration, a lateral acceleration, a steering wheel angle and / or a wheel speed of at least one wheel of the Vehicle are detected. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass als Spurinformationen eine Spurabweichung des Fahrzeugs, ein Pendeln des Fahrzeugs in einer Fahrspur, eine Spurhaltefrequenz und/oder Zick-Zack-Fahrten ermittelt werden.A method according to claim 1 or 2, characterized in that as lane information, a lane departure of the vehicle, a commuting of the vehicle in a lane, a lane keeping frequency and / or zig-zag travels are determined. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die odometrischen Fahrzeugdaten aus den Sensordaten anhand von Berechnungen von Klothoiden, Kreisbögen und/oder Splines ermittelt werden.Method according to one of the preceding claims, characterized in that the odometric vehicle data are determined from the sensor data based on calculations of clothoids, circular arcs and / or splines. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei der Ermittlung der odometrischen Fahrzeugdaten aus den Sensordaten ein oder mehrere Filter verwendet werden.Method according to one of the preceding claims, characterized in that one or more filters are used in the determination of the odometric vehicle data from the sensor data. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei der Überwachung des Fahrerzustands aus den Spurinformationen ein Wachheitsgrad des Fahrers ermittelt wird.Method according to one of the preceding claims, characterized in that in the monitoring of the driver state from the lane information a wakefulness of the driver is determined.
DE102010045678A 2010-09-17 2010-09-17 Method for monitoring driver condition, involves determining driver condition on basis of track information and comparing track information with deposited samples of track information Pending DE102010045678A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102010045678A DE102010045678A1 (en) 2010-09-17 2010-09-17 Method for monitoring driver condition, involves determining driver condition on basis of track information and comparing track information with deposited samples of track information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102010045678A DE102010045678A1 (en) 2010-09-17 2010-09-17 Method for monitoring driver condition, involves determining driver condition on basis of track information and comparing track information with deposited samples of track information

Publications (1)

Publication Number Publication Date
DE102010045678A1 true DE102010045678A1 (en) 2011-05-12

Family

ID=43853176

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102010045678A Pending DE102010045678A1 (en) 2010-09-17 2010-09-17 Method for monitoring driver condition, involves determining driver condition on basis of track information and comparing track information with deposited samples of track information

Country Status (1)

Country Link
DE (1) DE102010045678A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012012667A1 (en) 2012-06-23 2013-12-24 Daimler Ag Method for monitoring driver condition based on track information, involves determining driver condition by using track information determined by registered signals of satellite-based navigation system or by vehicle stored digital map data

Non-Patent Citations (15)

* Cited by examiner, † Cited by third party
Title
"C. Hasberg und S. Hensel: Online-estimation of road map elements using spline curves; In: 12th International Conference on Information Fusion, 2009"
"C. Hasberg, S. Hensel: Online-estimation of road map elements using spline curves; In: 12th International Conference on Information Fusion, 2009"
"Clayton: Klothoide, 2006, Verfügbar unter: http://ww3.cad.de/foren/ubb/uploads/Clayton/Klothoide-Formeln.pdf"
"E. Schmidt: Drivers misjudgement of vigilance state during prolonged monotonous daytime driving; In: Accident Analysis & Prevention, vol. 41, Seiten 1087-1093, 2009"
"F. Friedrichs und B. Yang: Camera-based drowsiness reference for driver state classification under real driving conditions; In: Proceedings of the IEEE Intelligent Vehicles Symposium, 2010"
"F. Friedrichs und B. Yang: Drowsiness Monitoring by steering and lane data based features under real driving conditions; In: EUSIPCO, 2010"
"G. Welch, G. Bishop: An introduction to the kalman filter; University of North Carolina at Chapel Hill, Department of Computer Science, 2006"
"LVGB: Abbildung und UTM-Koordinaten; Landesamt für Vermessung und Geoinformation Bayern, 2009"
"M. Bühren: Simulation und Verarbeitung von Radarziellisten im Automobil; In: Ph. D. dissertation; Chair of System Theory and Signal Processing, 2008"
"M. Bühren: Simulation und Verarbeitung von Radarziellisten im Automobil; Ph. D. dissertation, In: Chair of System Theory and Signal Processing, 2008"
"M. Miksch, B. Yang und K. Zimmermann: Motion compensation for obstacle detection based on homography and odometric data with virtual camera perspectives; In: Proceedings of the IEEE Conference on Intelligent Vehicles, 2010"
"M. Miksch, B. Yang, and K. Zimmermann: Motion compensation for obstacle detection based on homography and odometric data with virtual camera perspectives; In: Proceedings of the IEEE Conference on Intelligent Vehicles, 2010"
"M. Welling: Fisher linear discriminant analysis; University of Toronto, Department of Computer Science, Tech. Rep., 2005"
"T. Akerstedt, M. Gillberg: Subjective and objective sleepiness in the active individual: In: International Journal of Neuroscience, vol. 52, Seite 2937, 1980"
M. Bühren: Simulation und Verarbeitung von Radarziellisten im Automobil; In: Ph. D. dissertation; Chair of System Theory and Signal Processing, 2008"

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012012667A1 (en) 2012-06-23 2013-12-24 Daimler Ag Method for monitoring driver condition based on track information, involves determining driver condition by using track information determined by registered signals of satellite-based navigation system or by vehicle stored digital map data

Similar Documents

Publication Publication Date Title
DE102010005293B4 (en) System and method for tracking path estimation using a sensor combination
DE102010039634B4 (en) Arrangement and method for traffic sign recognition
EP3465090B1 (en) Method for providing vehicle trajectory information and method for determining the location of a pothole
DE102014215570B4 (en) Vehicle navigation system
DE102014118414A1 (en) Speed limit threshold detection device and navigation data updating device and method using same
DE112018001569T5 (en) Information processing device and information processing system
DE102009046913A1 (en) Method for detecting fatigue of driver of e.g. lorry during driving, involves evaluating information about steering movement and surrounding information for determining whether information about steering movement indicates fatigue of driver
EP0915350A2 (en) Apparatus for determining data indicating traffic lane evolution
DE102011004946A1 (en) Device for detecting a lane marking on a road
DE112017007631T5 (en) Display system and display method
DE102012220146A1 (en) Method for characterizing driving behavior of driver of e.g. motor car, involves obtaining accumulation information of trends over deviation time and providing accumulation information for characterizing driving behavior
DE102015203793A1 (en) Driver fatigue detection
DE102015116268A1 (en) Track boundary line information acquisition device
DE102017208239B4 (en) Method for determining a shape property of a single obstacle on a road that a motor vehicle has driven over, as well as a control device and motor vehicle
DE102011007608A1 (en) Method for active chassis controlling of vehicle i.e. car, involves determining gear control information for regulating wheel suspension system, and performing active controlling of suspension system based on regulated control information
DE102017222017A1 (en) Method and system for determining and providing a soil profile
DE102014218806B4 (en) Method, device, system, computer program and computer program product for displaying factors influencing route sections on a vehicle
DE102009004487A1 (en) Method for recognizing tiredness of driver of vehicle, involves constantly updating summation of weighed steering errors during averaging when current measured value for weighed steering error is added to past averaged association result
DE102018213378B4 (en) Driver assistance system for a vehicle, vehicle with the same and driver assistance method for a vehicle
DE10359241A1 (en) Driver assistance system, driver assistance device, and driver assistance method for a vehicle
DE102007034196A1 (en) Method and device for track detection with a driver assistance system
DE102017205973A1 (en) Method for determining an offset contained in a yaw rate signal of a yaw rate sensor of a motor vehicle and control device and motor vehicle
DE102010048263A1 (en) Method for supporting driver of vehicle, involves planning automatic systemation by plan-interference parameter, and determining actual location parameter of location of vehicle
DE102004028404A1 (en) Method for estimating the course of a lane of a motor vehicle
DE102016220581A1 (en) METHOD AND DEVICE FOR DETERMINING A ENVIRONMENTAL MODEL

Legal Events

Date Code Title Description
OAV Publication of unexamined application with consent of applicant
R012 Request for examination validly filed
R081 Change of applicant/patentee

Owner name: CONTI TEMIC MICROELECTRONIC GMBH, DE

Free format text: FORMER OWNER: DAIMLER AG, 70327 STUTTGART, DE

R016 Response to examination communication
R081 Change of applicant/patentee

Owner name: AUMOVIO AUTONOMOUS MOBILITY GERMANY GMBH, DE

Free format text: FORMER OWNER: CONTI TEMIC MICROELECTRONIC GMBH, 90411 NUERNBERG, DE