[go: up one dir, main page]

WO2013113500A1 - Driver assistance system and method for virtual representation of a road layout under obscured visibility and/or poor visibility conditions - Google Patents

Driver assistance system and method for virtual representation of a road layout under obscured visibility and/or poor visibility conditions Download PDF

Info

Publication number
WO2013113500A1
WO2013113500A1 PCT/EP2013/000284 EP2013000284W WO2013113500A1 WO 2013113500 A1 WO2013113500 A1 WO 2013113500A1 EP 2013000284 W EP2013000284 W EP 2013000284W WO 2013113500 A1 WO2013113500 A1 WO 2013113500A1
Authority
WO
WIPO (PCT)
Prior art keywords
driver
vehicle
road
lane
data
Prior art date
Application number
PCT/EP2013/000284
Other languages
German (de)
French (fr)
Inventor
Paul Sprickmann Kerkerinck
Original Assignee
Audi Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi Ag filed Critical Audi Ag
Publication of WO2013113500A1 publication Critical patent/WO2013113500A1/en

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/365—Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3647—Guidance involving output of stored or live camera images or video streams
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/103—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using camera systems provided with artificial illumination device, e.g. IR light source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen

Definitions

  • the present invention relates to a driver assistance system and a method for the virtual representation of a road course in the event of occlusion and / or poor visibility.
  • driver assistance systems it is possible to show relevant information to a driver of a vehicle, for example via a head-up display or data glasses directly into his field of vision.
  • Such information may include, for example, route guidance instructions (typically directional arrows), information based on a traffic sign recognized by a sensor system, information about buildings at the edge of the lane, or information relating to a hazardous situation (for example, an imminent danger of collision with another road user or a traffic obstruction).
  • route guidance instructions typically directional arrows
  • information about buildings at the edge of the lane for example, information about buildings at the edge of the lane.
  • information relating to a hazardous situation for example, an imminent danger of collision with another road user or a traffic obstruction.
  • the aim in recent developments is to keep the information in a correct position, ie. in the correct position and perspective correct way in the field of view of the driver.
  • EP 1 586 861 B1 discloses a method for displaying driver information in which route guidance signals are generated from input destination data signals, position signals and map signals, from which route guidance signals, map signals and position signals of at least one first route guidance object are created from the route guidance object Target guidance display object and its coordinates for the correct position display in a display panel is determined, and the at least one target guide display object is output on the display panel.
  • the display panel may be a transparent area in the field of vision between the driver and a driving area of his vehicle, for example a head-up display or data glasses.
  • information objects with, for example, information about buildings can be displayed in the driver's field of vision.
  • a driving assistance device for a motor vehicle having at least one navigation device, an imaging sensor, an image reproduction device and a control device is also known, wherein at least the navigation device, the imaging sensor and the image reproduction device are connected to the control device.
  • the control unit for detecting the lane and the road course processes the images captured by the imaging sensor and determines at least the other, lying outside the field of view of the imaging sensor road from the navigation device available road map data to merge by merging both information, a prediction of the road in Form of a correct position display to produce on the image display device, this display with the image visible to the driver of the current traffic and driving situation is positionally correct and perspective correctly superimposed.
  • the further course of the road for example, due to dense traffic, for example by located in the run-up to his own motor vehicle other road users, often at least partially obscured.
  • the further course of the road is often difficult to recognize for a driver of a road vehicle in poor weather conditions. This is disadvantageous insofar as a driver may be impaired in his orientation and driving behavior.
  • the driver assistance system according to the invention for the virtual representation of the course of the road for a driver of a vehicle comprises a device for satellite position determination provided in the vehicle, a digital road map whose data comprises the position of the vehicle determined by the satellite-supported position determination, a display device provided in the vehicle and a control device , The control device is set up to
  • a vehicle-mounted satellite positioning device (be it a fixed or a portable device) also contains the required information about the longitudinal axis of a vehicle, i. in which direction the front end of a vehicle is oriented, or the orientation of the vehicle can be entered into such a device.
  • the inventively provided control device can calculate a virtual image of the road ahead substantially lying ahead of the vehicle and located in the driver's field of vision with road edges and possibly lane markings in real time.
  • a suspected position of the head of a be taken into account within the vehicle.
  • the actual position of the head of the driver can also be detected, for example, with the aid of a head tracking device and taken into account by the control device in the calculation of the image.
  • a digital road map can either be in the form of an interchangeable data carrier (e.g., CD, DVD, memory card) in the vehicle or stored on a fixed, preferably rewritable, data memory stored in the vehicle.
  • a digital road map may also be available or updatable via wireless data transmission. In particular, by the latter alternatives can be ensured that always up-to-date map data are available for the driver assistance system according to the invention.
  • the data of the digital road map can be read or processed by a suitable device.
  • data from the digital road map is used for the calculation of the virtual image.
  • This data includes, for example, information about the course of the further road course substantially ahead of the vehicle (width and number of lanes of the road, junctions and intersections, direction and altitude of the road, information about buildings on the roadside, underpasses, etc.).
  • the control system present in the driver assistance system can calculate a virtual image of the lane course substantially ahead of the vehicle and located in the driver's field of vision with lane edges and possibly lane markings in real time.
  • the expression "substantially ahead of the driver in the driver's lane” is to be understood here as meaning the lane course (ie the roadway with the lane edges and possibly road markings, such as center markings, turn-off arrows, stop lines), which the driver assumes in a substantially normal manner Sitting position in the vehicle through the windshield of his vehicle can see or see if the view of this road course would not be at least partially obscured by at least one other road user and / or provided for him this road course due to poor visibility conditions (eg at night, fog, Rain or snow, at least partially snow-covered road) would not or only incompletely recognizable from this expression may also include the road course, the driver has or would have in a substantially normal sitting position in the vehicle by looking through front side windows of the vehicle.
  • the view of a driver on the other road course is limited not only, for example, by the direction and altitude of the road, but that the view of the other road course, for example, by at or overlying the roadway building or facilities may be at least partially obscured.
  • lane markings is to be understood in particular as meaning markings for dividing the lane into individual lanes, road boundaries, directional arrows and advance notice arrows as well as stop lines.
  • a virtual representation of at least part of the calculated road edges and optionally of at least part of the lane markings by means of the display device can be displayed to the driver in real-time and in perspective correctly overlapping the driver's real-world view in real time become.
  • the display device may comprise a head-up display and / or data goggles.
  • a head-up display for a vehicle an image is projected into the windshield and / or a side window or to a partially transmissive glass in the driver's field of vision.
  • the lens of data glasses serves as a projection screen.
  • a positionally correct and perspectively correct virtual representation of at least part of the calculated road edges and optionally of at least part of the calculated lane markings by means of the display device takes place while superposing the driver's real view.
  • the driver in addition to the view of the real environment that he sees, additionally sees virtually represented road edges and optionally lane markings, for example when looking through the windshield of his vehicle.
  • GPS Global Positioning System
  • the driver assistance system according to the invention further at least one provided in or on the vehicle imaging sensor device for detecting the vehicle substantially ahead roadway course and one with the imaging Having sensor device connected evaluation device.
  • control device is set up (a) to determine the position of the vehicle by means of the device for satellite-based position determination, (b) in real time a virtual image of the roadway substantially ahead of the vehicle and located in the driver's field of vision Lane edges and optionally lane markings based on the determined position of the vehicle to calculate data of the digital road map and data evaluated by the evaluation device of the imaging sensor device, and (c) in real time a virtual representation of at least one part the calculated road edges and optionally of at least a part of the calculated lane markings by means of the display device to the driver in the correct position and in perspective correctly display overlapping the real view of the driver.
  • the imaging sensor device in the driver assistance system comprises a camera for recording images by means of light visible to a human eye, a camera for recording images by means of light in the infrared range, a radar and / or a lidar. Contraption.
  • the imaging sensor device comprises more than one type of sensor device. Data from different sensor devices can be evaluated by the evaluation device and the results of the various evaluations can be correlated or mutually adjusted.
  • the present invention is intended to enable a driver of a vehicle always to see the road edges that are helpful to him and, if appropriate, lane markings.
  • a virtual reflection or representation of this information can take place according to the invention during the entire driving course. Often this is not necessary. For example, in good visibility, at relatively low traffic and / or undisturbed traffic flow, a driver sees roadsides and possibly lane markings sufficiently clear even without support from the driver assistance system according to the invention.
  • control device in the driver assistance system is set up to calculate data of the digital road map and data of the imaging sensor device on the basis of the determined position of the vehicle whether a driver at least partial concealment of road edges and optional lane markers of the vehicle lying substantially ahead and located in the driver's field of road course is given by at least one other road users, and a virtual representation of road edges and optional lane markers by means of the display device the driver in the correct position and perspectively correct under superposition of the driver's real view only in the presence of at least partial occlusion.
  • control device in the driver assistance system can be set up on the basis of data from at least one imaging sensor device the distance from at least one other road user located substantially in front of the vehicle determine and / or determine whether a situation with daytime and / or weather-dependent limited visibility for the driver is given, and a virtual representation of road edges and possibly lane markers by means of the display device to the driver in the correct position and in perspective properly overlapping the real View of the driver only if the distance between the at least one other road user has fallen below or has fallen below a specifiable minimum distance and / or if the driver's visibility is and / or weather-dependent circumstances have fallen below or below a predefinable minimum quality.
  • the minimum quality of visibility, from which falls below one virtual representation of road edges and possibly lane markings by means of the display device can be determined, for example, on the basis of the ambient brightness, the determined by the at least one sensor device contrast range of the recorded image, etc. If, for example, the range of contrast determined in a recorded image falls below a predefinable minimum value, it can be assumed that a fog layer is present and a virtual representation of the roadway edges and optionally of lane markings is carried out by means of the display device. The same can be provided if an ambient brightness limit is undershot. Of course, these examples are not meant to be exhaustive.
  • the control device may be further configured to additionally display by the display device to the driver at least one destination guidance display object serving for route guidance by the navigation device.
  • a route guidance display object may comprise, for example, a landmark directional arrow and / or the insertion of the name of a road into which should be turned off for optimal route guidance. This information can be displayed to the driver through the display device in the correct position and in the right perspective way, overlaying his real view.
  • control device of the driver assistance system can also be equipped with at least one further display object based on the determined position of the vehicle and data of the digital road map by the display device in addition to the calculated road edges and possibly lane markings an information in relation to the vehicle substantially lying ahead and located in the driver's field of view roadway presentation.
  • a display object may include, for example, a speed limit or the display of shops, restaurants, gas stations, etc.
  • the present invention also comprises a method for virtual representation of the road course for a driver of a vehicle, which comprises a vehicle-provided device for satellite position determination, a digital road map, the data of which determines the position of the vehicle determined by the satellite-based position determination. holds, has provided in the vehicle display device and a control device.
  • the method according to the invention comprises the following steps:
  • This embodiment of the method according to the invention can be further modified such that in step (b) on the basis of the determined position of the vehicle, data of the digital road map and data of the imaging sensor device is calculated, whether for a driver at least partially occlusion of lane edges and optionally lane markings of the lane substantially lying ahead of the vehicle and located in the field of vision of the driver is given by at least one other road user, and in step (c) the virtual representation of lane edges and optionally of lane markings by means of the display device Driver correct position and perspective correctly displayed with superimposition of the driver's real view only in the presence of at least partial occlusion.
  • the distance between at least one other road user located substantially in front of the vehicle can be determined by the control device on the basis of data from the at least one imaging sensor device and / or it can be determined whether a situation with dailytime and / or weather-dependent limited visibility conditions for the driver, and in step (c) a virtual representation of lane edges and optional lane markings by means of the display device to the driver in the correct position and perspective correctly displayed with superimposition of the driver's real view only when the Distance of the at least one other road user falls below a predetermined minimum distance or has fallen below and / or if the visibility of the driver due to daytime and / or weather-dependent circumstances below a predetermined minimum quality ode r have fallen below.
  • the method according to the invention may include the step of additionally displaying to the driver at least one destination guidance display object serving for route guidance from a navigation device present in the vehicle. Furthermore, the method according to the invention can also include the step of additionally displaying to the driver at least one further display object with information relating to the road course substantially ahead of the vehicle and located in the field of vision of the driver.
  • the virtual representation may include either all lane edges and optionally lane markers that are substantially in front of the vehicle and within the driver's field of vision, or the illustration may be limited to those portions of the lane edges and optionally lane markings, for example due to the given traffic situation there is a concealment and / or in which due to the current visibility conditions a bad or no recognizability for the driver is given.
  • the present invention includes the cases where the virtual presentation is automatic or due to a requesting action by the driver.
  • the representation takes place continuously or discontinuously. In the case of a discontinuous representation, for example, an illustration can only take place if predefinable criteria are fulfilled, as has already been described above.
  • Figure 1 is a view through a windshield of a vehicle without a preceding other road users.
  • FIG. 2 shows a view through a windshield of a vehicle with a preceding other road user
  • FIG. 3 is a view through a windshield of a vehicle with a driving ahead of other road users and showing the hidden by the leading other road users road edges and lane markings.
  • FIG. 1 illustrates a schematic view through a windscreen (1) of a road vehicle without a preceding other road user.
  • a driver's view of the environment substantially in front of him is limited by the edges (2) of the windscreen.
  • These windscreen edges are usually formed by the A-pillars (left and right edges), the vehicle roof (upper edge) and the dashboard (lower edge).
  • some obscuring of a driver's view of his be present exposed environment through parts of the steering wheel (3) or an interior mirror (4).
  • the driver's view through the windshield comprises a two-lane road (5) running in front of him and, at some distance, a road also branching off to the right, also having two lanes (6).
  • the road edges (7) are recognizable to the driver.
  • the two roads have lane markings (8) for the optical subdivision of the carriageway into two lanes.
  • the field of vision of the driver includes a certain area to the right and left of the respective road edges (7).
  • Such concealment can occur in a wide variety of traffic situations, for example in dense traffic, congestion, waiting situation in front of a traffic light.
  • the driver in his field of view for example by a head-up display (10) is a virtual representation of the further roadway (5, 6) with the road edges ( 7) and optionally also the lane markings (8) in real time position correct and perspective correctly superimposed superimposing his real view.
  • the insertion can either comprise the entire further course of the lane (5, 6), i. the entire further course of the lane, which he would see - as shown in FIG. 1 - without at least partial obscuring by another traffic participant (9), or the insertion can be limited to the area of the further lane course (5, 6), which is covered by the other road users (9) in front of their own vehicle.
  • the driver knows from the navigation system that he should turn right from the road (5) to the road (6) branching off at some distance, he can not actually see the turn by the other road user (9) in front of him.
  • the branch is virtually displayed to him where he would see it without the other road user (9).
  • the other road user thus, in a sense, the driver becomes "transparent" so that he can better adjust to the turn.
  • a similar situation can occur, for example, when navigating in city traffic.
  • the view of a driver through the windshield is often covered by driving ahead of other road users.
  • the distance to the front vehicle is often so small that the view to the front is clearly limited.
  • an intersection in such a traffic situation, for example, an intersection can be virtually displayed to the driver where he would really see her without the presence of other road users.
  • the virtual display of these multiple lanes together with directional arrows if necessary, timely classification of the vehicle on the right lane (lane change) and greatly facilitate a required turning maneuver for a driver.
  • Another traffic situation in which the present invention is of great advantage is driving in poor visibility, e.g. at night, in fog, rain or snow, or in other weather conditions where road edges are difficult to see for a driver (e.g., on snowy roads).
  • the road edges that are really difficult to recognize for a driver and possibly lane markings are overlaid by virtual boundary lines and possibly virtual markings for identifying the lanes, so that tracking is facilitated.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Navigation (AREA)

Abstract

The present invention relates to a driver assistance system and a method for virtual representation of a road layout for a driver of a vehicle. A device for satellite-assisted position determination, a digital road map, a display device (10) and a control device are provided in the vehicle. The control device of the driver assistance system according of the invention is designed to: (a) determine the position of the vehicle by means of the device for satellite-assisted position determination; (b) calculate in real time a virtual image of the road layout (5, 6) substantially in front of the driver and in the field of view thereof, with road boundaries (7) and optionally lane markers (8), on the basis of the determined position of the vehicle and data from the digital road map; and (c) display in real time a virtual representation of at least one part of the calculated road boundaries (7), and optionally at least one part of the calculated lane markers (8), to the driver by means of the display device (10), with the correct position and the correct perspective, overlaying the actual view of the driver.

Description

Fahrerassistenzsystem und Verfahren zur virtuellen Darstellung eines Straßenverlaufs bei Verdeckung und/oder schlechten Sichtverhältnissen  Driver assistance system and method for the virtual representation of a road course in case of occlusion and / or poor visibility
BESCHREIBUNG: DESCRIPTION:
Die vorliegende Erfindung betrifft ein Fahrerassistenzsystem und ein Verfahren zur virtuellen Darstellung eines Straßenverlaufs bei Verdeckung und/oder schlechten Sichtverhältnissen. Durch moderne Fahrerassistenzsysteme ist es möglich, einem Fahrer eines Fahrzeugs relevante Informationen beispielsweise über ein Head-Up-Display oder eine Datenbrille direkt in sein Sichtfeld einzublenden. The present invention relates to a driver assistance system and a method for the virtual representation of a road course in the event of occlusion and / or poor visibility. By modern driver assistance systems, it is possible to show relevant information to a driver of a vehicle, for example via a head-up display or data glasses directly into his field of vision.
Derartige Informationen können beispielsweise Zielführungsanweisungen (typischerweise Richtungspfeile), Informationen aufgrund von einem von einem Sensorsystem erkannten Verkehrszeichen, Informationen zu Gebäuden am Fahrbahnrand oder Informationen bezüglich einer Gefahrensituation (beispielsweise bei einer drohenden Kollisionsgefahr mit einem anderen Verkehrsteilnehmer oder einem Verkehrshindernis) umfassen. Such information may include, for example, route guidance instructions (typically directional arrows), information based on a traffic sign recognized by a sensor system, information about buildings at the edge of the lane, or information relating to a hazardous situation (for example, an imminent danger of collision with another road user or a traffic obstruction).
Um die kognitive Belastung des Fahrers beim Erkennen und Verarbeitung der in sein Sichtfeld eingeblendeten Informationen möglichst gering zu halten und eine möglichst kurze Reaktionszeit des Fahrers auf die eingeblendeten Informationen zu erreichen, wird bei neueren Entwicklungen angestrebt, die Informationen in einer lagerichtigen, d.h. positionsrichtigen und perspektivisch richtigen Weise in das Sichtfeld des Fahrers einzublenden. In order to minimize the cognitive load on the driver when detecting and processing the information displayed in his field of view and to achieve the shortest possible reaction time of the driver to the information displayed, the aim in recent developments is to keep the information in a correct position, ie. in the correct position and perspective correct way in the field of view of the driver.
So ist beispielsweise aus EP 1 586 861 B1 ein Verfahren zur Darstellung von Fahrerinformationen bekannt, bei dem Zielführungssignale aus eingegebe- nen Zieldatensignalen, Positionssignalen und Kartensignalen erstellt werden, aus den Zielführungssignalen, Kartensignalen und Positionssignalen mindestens eines erstes Zielführungsobjekt erstellt wird, aus dem Zielführungsobjekt ein Zielführungs-Anzeigeobjekt und seine Koordinaten zur lagerichtigen Darstellung in einem Anzeigefeld ermittelt wird, und das mindestens eine Ziel- führungs-Anzeigeobjekt auf dem Anzeigefeld ausgegeben wird. Das Anzeigefeld kann insbesondere eine transparente Fläche im Sichtbereich zwischen dem Fahrer und einem Fahrbereich seines Fahrzeugs sein, z.B. ein Head-Up-Display oder eine Datenbrille. Zusätzlich können Informationsobjek- te mit z.B. Angaben über Gebäude im Sichtbereich des Fahrers dargestellt werden. Des Weiteren können die angezeigten Objekte durch Entfernen von Teilbereichen beschnitten werden, wodurch teilweise Verdeckungen durch Verdeckungsobjekte berücksichtigt werden können. Aus der DE 10 2004 048 347 A1 ist weiter eine Fahrassistenzvorrichtung für ein Kraftfahrzeug mit mindestens einer Navigationsvorrichtung, einem bildgebenden Sensor, einer Bildwiedergabevorrichtung und einem Steuergerät bekannt, wobei mindestens die Navigationsvorrichtung, der bildgebende Sensor und die Bildwiedergabevorrichtung mit dem Steuergerät verbunden sind. Das Steuergerät zur Erkennung der Fahrbahn und des Straßenverlaufs verarbeitet die von dem bildgebenden Sensor erfassten Bilder und ermittelt mindestens den weiteren, außerhalb des Sichtfeldes des bildgebenden Sensors liegenden Straßenverlauf aus den der Navigationsvorrichtung zur Verfügung stehenden Straßenkartendaten, um durch Zusammenführen beider Informationen eine Vorhersage des Straßenverlaufs in Form einer positionsrichtigen Anzeige auf der Bildwiedergabevorrichtung zu erzeugen, wobei diese Anzeige mit dem für den Fahrer sichtbaren Bild der aktuellen Verkehrsund Fahrsituation positionsrichtig und perspektivisch richtig überlagerbar ist. Beim Fahren mit Straßenfahrzeugen ist für einen Fahrer der weitere Straßenverlauf beispielsweise aufgrund dichten Verkehrs, etwa durch im Vorfeld des eigenen Kraftfahrzeugs befindliche andere Verkehrsteilnehmer, oftmals zumindest teilweise verdeckt. Auch ist der weitere Straßenverlauf für einen Fahrer eines Straßenfahrzeugs bei wetterbedingten schlechten Sichtverhält- nissen oftmals schlecht erkennbar. Dies ist insoweit von Nachteil, als ein Fahrer hierdurch in seiner Orientierung und seinem Fahrverhalten beeinträchtigt sein kann. Thus, for example, EP 1 586 861 B1 discloses a method for displaying driver information in which route guidance signals are generated from input destination data signals, position signals and map signals, from which route guidance signals, map signals and position signals of at least one first route guidance object are created from the route guidance object Target guidance display object and its coordinates for the correct position display in a display panel is determined, and the at least one target guide display object is output on the display panel. In particular, the display panel may be a transparent area in the field of vision between the driver and a driving area of his vehicle, for example a head-up display or data glasses. In addition, information objects with, for example, information about buildings can be displayed in the driver's field of vision. Furthermore, the displayed objects can be trimmed by removing subregions, which can partially account for occlusion obscurations. From DE 10 2004 048 347 A1 a driving assistance device for a motor vehicle having at least one navigation device, an imaging sensor, an image reproduction device and a control device is also known, wherein at least the navigation device, the imaging sensor and the image reproduction device are connected to the control device. The control unit for detecting the lane and the road course processes the images captured by the imaging sensor and determines at least the other, lying outside the field of view of the imaging sensor road from the navigation device available road map data to merge by merging both information, a prediction of the road in Form of a correct position display to produce on the image display device, this display with the image visible to the driver of the current traffic and driving situation is positionally correct and perspective correctly superimposed. When driving with road vehicles for a driver, the further course of the road, for example, due to dense traffic, for example by located in the run-up to his own motor vehicle other road users, often at least partially obscured. Also, the further course of the road is often difficult to recognize for a driver of a road vehicle in poor weather conditions. This is disadvantageous insofar as a driver may be impaired in his orientation and driving behavior.
Diese Nachteile, die durch den vorbekannten Stand der Technik nicht gelöst werden, werden durch das erfindungsgemäße Fahrerassistenzsystem mit den Merkmalen von Anspruch 1 und das erfindungsgemäße Verfahren mit den Merkmalen von Anspruch 9 überwunden. Vorteilhafte Weiterbildungen der Erfindung sind Gegenstand der Unteransprüche. Das erfindungsgemäße Fahrerassistenzsystem zur virtuellen Darstellung des Straßenverlaufs für einen Fahrer eines Fahrzeugs umfasst eine im Fahrzeug vorgesehene Vorrichtung zur satellitengestützten Positionsbestimmung, eine digitale Straßenkarte, deren Daten die durch die satellitengestützte Positi- onsbestimmung ermittelte Position des Fahrzeugs umfasst, eine im Fahrzeug vorgesehene Anzeigevorrichtung und eine Steuervorrichtung. Die Steuervorrichtung ist dazu eingerichtet, These disadvantages, which are not solved by the known prior art, are overcome by the driver assistance system according to the invention having the features of claim 1 and the method according to the invention having the features of claim 9. Advantageous developments of the invention are the subject of the dependent claims. The driver assistance system according to the invention for the virtual representation of the course of the road for a driver of a vehicle comprises a device for satellite position determination provided in the vehicle, a digital road map whose data comprises the position of the vehicle determined by the satellite-supported position determination, a display device provided in the vehicle and a control device , The control device is set up to
(a) die Position des Fahrzeugs mittels der Vorrichtung zur satellitengestützten Positionsbestimmung zu bestimmen;  (a) determine the position of the vehicle by means of the satellite positioning device;
(b) in Echtzeit ein virtuelles Bild des dem Fahrzeug im Wesentlichen vorausliegenden und im Blickfeld des Fahrers befindlichen Fahrbahn Verlaufs mit Fahrbahnrändern und optional Spurmarkierungen auf Grundlage der ermittelten Position des Fahrzeugs und Daten der digitalen Straßenkarte zu berechnen, und (b) calculate, in real time, a virtual image of the lane substantially ahead of the vehicle and located in the driver's field of vision with lane edges and optionally lane markings based on the detected position of the vehicle and digital road map data;
(c) in Echtzeit eine virtuelle Darstellung von wenigstens einem Teil der berechneten Fahrbahnränder und optional von wenigstens einem Teil der berechneten Spurmarkierungen mittels der Anzeigevorrichtung dem Fahrer positionsrichtig und perspektivisch richtig unter Überlagerung der realen Sicht des Fahrers anzuzeigen. (c) display in real time a virtual representation of at least part of the calculated road edges and optionally of at least part of the calculated lane markings by the display device to the driver in the correct position and in perspective correctly superimposing the driver's real view.
Bereits seit mehreren Jahren ist eine genaue Positionsbestimmung eines (Straßen)Fahrzeugs mittels einer satellitengestützten Positionsbestimmungsvorrichtung, beispielsweise unter Verwendung von GPS oder DGPS, möglich. Zukünftige Entwicklungen versprechen eine hochgenaue satelliten- gestützte Positionsbestimmung mit einer Abweichung von nur wenigen Zentimetern zwischen ermittelter und tatsächlicher Position. Eine in einem Fahrzeug vorhandene Vorrichtung zur satellitengestützten Positionsbestimmung (sei es eine fest eingebaute oder eine transportable Vorrichtung) enthält auch die erforderliche Information über die Längsachse eines Fahrzeugs, d.h. in welche Richtung die Frontpartie eines Fahrzeugs orientiert ist, oder es kann die Ausrichtung des Fahrzeugs in eine derartige Vorrichtung eingegeben werden. Exact positioning of a (road) vehicle by means of a satellite-supported position-determining device, for example using GPS or DGPS, has already been possible for several years. Future developments promise a highly accurate satellite-based position determination with a deviation of only a few centimeters between the determined and the actual position. A vehicle-mounted satellite positioning device (be it a fixed or a portable device) also contains the required information about the longitudinal axis of a vehicle, i. in which direction the front end of a vehicle is oriented, or the orientation of the vehicle can be entered into such a device.
Wenn man diese Informationen mit Daten einer digitalen Straßenkarte ab- gleicht, kann durch die erfindungsgemäß vorgesehene Steuervorrichtung ein virtuelles Bild des dem Fahrzeug im Wesentlichen vorausliegenden und im Blickfeld des Fahrers befindlichen Fahrbahnverlaufs mit Fahrbahnrändern und gegebenenfalls Spurmarkierungen in Echtzeit berechnet werden. Bei der Berechnung des Bildes kann eine vermutete Position des Kopfes eines Fah- rers innerhalb des Fahrzeugs berücksichtigt werden. Die tatsächliche Position des Kopfes des Fahrers kann aber beispielsweise auch mit Hilfe einer Head-Tracking-Vorrichtung erfasst und von der Steuervorrichtung bei der Berechnung des Bildes berücksichtigt werden. If one compares this information with the data of a digital road map, the inventively provided control device can calculate a virtual image of the road ahead substantially lying ahead of the vehicle and located in the driver's field of vision with road edges and possibly lane markings in real time. When calculating the image, a suspected position of the head of a be taken into account within the vehicle. However, the actual position of the head of the driver can also be detected, for example, with the aid of a head tracking device and taken into account by the control device in the calculation of the image.
Eine digitale Straßenkarte kann entweder in Form eines auswechselbaren Datenträgers (z.B. CD, DVD, Speicherkarte) im Fahrzeug vorhanden oder auf einem fest eingebauten, vorzugsweise überschreibbaren Datenspeicher gespeichert im Fahrzeug vorliegen. Eine digitale Straßenkarte kann jedoch auch mittels drahtloser Datenübertragung verfügbar oder aktualisierbar sein. Insbesondere durch die letztgenannten Alternativen kann sichergestellt werden, dass für das erfindungsgemäße Fahrerassistenzsystem immer aktuelle Kartendaten zur Verfügung stehen. Die Daten der digitalen Straßenkarte sind von einer geeigneten Vorrichtung ausles- bzw. verarbeitbar. A digital road map can either be in the form of an interchangeable data carrier (e.g., CD, DVD, memory card) in the vehicle or stored on a fixed, preferably rewritable, data memory stored in the vehicle. However, a digital road map may also be available or updatable via wireless data transmission. In particular, by the latter alternatives can be ensured that always up-to-date map data are available for the driver assistance system according to the invention. The data of the digital road map can be read or processed by a suitable device.
Auf Grundlage der ermittelten Position (und Orientierung) des Fahrzeugs werden für die Berechnung des virtuellen Bildes Daten aus der digitalen Straßenkarte verwendet. Diese Daten umfassen beispielsweise Informationen über den Verlauf des weiteren, dem Fahrzeug im Wesentlichen vorauslie- genden Straßenverlaufs (Breite und Anzahl der Spuren der Straße, Abzweigungen und Kreuzungen, Richtungs- und Höhenverlauf der Straße, Informationen über Gebäude am Straßenrand, Unterführungen, etc.). On the basis of the determined position (and orientation) of the vehicle, data from the digital road map is used for the calculation of the virtual image. This data includes, for example, information about the course of the further road course substantially ahead of the vehicle (width and number of lanes of the road, junctions and intersections, direction and altitude of the road, information about buildings on the roadside, underpasses, etc.). ,
Unter Verwendung dieser Daten kann die im erfindungsgemäßen Fahreras- sistenzsystem vorhandene Steuervorrichtung ein virtuelles Bild des dem Fahrzeug im Wesentlichen vorausliegenden und im Blickfeld des Fahrers befindlichen Fahrbahnverlaufs mit Fahrbahnrändern und gegebenenfalls Spurmarkierungen in Echtzeit berechnen. Mit dem Ausdruck„im Wesentlichen vorausliegender und im Blickfeld des Fahrers befindlicher Fahrbahnver- lauf" ist vorliegend der Fahrbahnverlauf (d.h. Straßenverlauf mit den Fahrbahnrändern und gegebenenfalls Straßenmarkierungen, wie beispielsweise Mittelmarkierungen, Abbiegepfeilen, Haltelinien) zu verstehen, den der Fahrer bei einer im wesentlichen normalen Sitzhaltung im Fahrzeug durch die Windschutzscheibe seines Fahrzeugs sehen kann bzw. sehen könnte, sofern ihm der Blick auf diesen Fahrbahnverlauf nicht durch zumindest einen anderen Verkehrsteilnehmer zumindest teilweise verdeckt wäre und/oder sofern für ihn dieser Fahrbahnverlauf aufgrund schlechter Sichtverhältnissee (z.B. bei Nacht, Nebel, Regen- oder Schneefall; zumindest teilweise schneebedeckte Fahrbahn) nicht oder nur unvollständig erkennbar wäre. Ferner kann von diesem Ausdruck gegebenenfalls auch der Fahrbahnverlauf umfasst sein, den der Fahrer bei einer im Wesentlichen normalen Sitzhaltung im Fahrzeug durch einen Blick durch vordere Seitenscheiben des Fahrzeugs hat oder hätte. Bei der Berechnung des virtuellen Bildes durch die Steuervor- richtung wird auch berücksichtigt, dass die Sicht eines Fahrers auf den weiteren Fahrbahnverlauf nicht nur beispielsweise durch den Richtungs- und Höhenverlauf der Straße begrenzt ist, sondern dass die Sicht auf den weiteren Fahrbahnverlauf auch beispielsweise durch am oder über dem Fahrbahnverlauf befindliche Gebäude oder Einrichtungen zumindest teilweise verdeckt sein kann. Using these data, the control system present in the driver assistance system according to the invention can calculate a virtual image of the lane course substantially ahead of the vehicle and located in the driver's field of vision with lane edges and possibly lane markings in real time. The expression "substantially ahead of the driver in the driver's lane" is to be understood here as meaning the lane course (ie the roadway with the lane edges and possibly road markings, such as center markings, turn-off arrows, stop lines), which the driver assumes in a substantially normal manner Sitting position in the vehicle through the windshield of his vehicle can see or see if the view of this road course would not be at least partially obscured by at least one other road user and / or provided for him this road course due to poor visibility conditions (eg at night, fog, Rain or snow, at least partially snow-covered road) would not or only incompletely recognizable from this expression may also include the road course, the driver has or would have in a substantially normal sitting position in the vehicle by looking through front side windows of the vehicle. When calculating the virtual image by the Steuervor- direction is also taken into account that the view of a driver on the other road course is limited not only, for example, by the direction and altitude of the road, but that the view of the other road course, for example, by at or overlying the roadway building or facilities may be at least partially obscured.
Unter dem Begriff„Spurmarkierungen" sind vorliegend insbesondere Markierungen zur Aufteilung der Fahrbahn in einzelne Fahrspuren, Fahrbahnbegrenzungen, Richtungspfeile und Vorankündigungspfeile sowie Haltelinien zu verstehen. In the present case, the term "lane markings" is to be understood in particular as meaning markings for dividing the lane into individual lanes, road boundaries, directional arrows and advance notice arrows as well as stop lines.
Durch die im erfindungsgemäßen Fahrerassistenzsystem vorhandene Steuervorrichtung kann nach Berechnung des virtuellen Bildes eine virtuelle Darstellung von wenigstens einem Teil der berechneten Fahrbahnränder und optional von wenigstens einem Teil der Spurmarkierungen mittels der Anzeigevorrichtung dem Fahrer positionsrichtig und perspektivisch richtig unter Überlagerung der realen Sicht des Fahrers in Echtzeit angezeigt werden. By virtue of the control device present in the driver assistance system according to the invention, after the virtual image has been calculated, a virtual representation of at least part of the calculated road edges and optionally of at least part of the lane markings by means of the display device can be displayed to the driver in real-time and in perspective correctly overlapping the driver's real-world view in real time become.
Wie dies gemäß einer ersten vorteilhaften Weiterbildung der Erfindung vor- gesehen ist, kann die Anzeigevorrichtung ein Head-Up-Display und/oder eine Datenbrille umfassen. Bei einem Head-Up-Display für ein Fahrzeug wird ein Bild in die Windschutzscheibe und/oder eine Seitenscheibe oder auf eine teildurchlässige Scheibe im Sichtfeld des Fahrers projiziert. In ähnlicher Weise dient die Sichtscheibe einer Datenbrille als Projektionsfläche. As is provided according to a first advantageous development of the invention, the display device may comprise a head-up display and / or data goggles. In a head-up display for a vehicle, an image is projected into the windshield and / or a side window or to a partially transmissive glass in the driver's field of vision. Similarly, the lens of data glasses serves as a projection screen.
Erfindungsgemäß ist vorgesehen, dass eine positionsrichtige und perspektivisch richtige virtuelle Darstellung von wenigstens einem Teil der berechneten Fahrbahnränder und optional von wenigstens einem Teil der berechneten Spurmarkierungen mittels der Anzeigevorrichtung unter Überlagerung der realen Sicht des Fahrers erfolgt. Dies bedeutet, dass der Fahrer, beispielsweise bei einem Blick durch die Windschutzscheibe seines Fahrzeugs neben dem sich ihm bietenden Blick auf die reale Umwelt zusätzlich virtuell dargestellte Fahrbahnränder und optional Spurmarkierungen sieht. Um eine Irritation des Fahrers zu vermeiden ist es erforderlich, dass der Fahrer diese vir- tuell dargestellten Fahrbahnränder und optionalen Spurmarkierungen möglichst deckungsgleich zu den von ihm tatsächlich gesehenen Fahrbahnrändern und Spurmarkierungen sieht, bzw. dass im Fall einer vollständigen Ver- deckung und/oder von schlechten Sichtverhältnissen dem Fahrer die virtuell dargestellten Fahrbahnränder und optional Spurmarkierungen so in sein Sichtfeld hinein projiziert werden, dass der Ort, an dem er diese Fahrbahnränder und gegebenenfalls Spurmarkierungen sieht, möglichst genau der Realität entspricht. Bei dem derzeit verfügbaren globalen Positionsbestimmungssystem (GPS) wird eine Genauigkeit der Positionsbestimmung im zivilen Bereich von etwa 8 m garantiert, die tatsächlich erreichbare Genauigkeit ist in der Regel jedoch besser und kann den Bereich von bis zu beispielsweise 80 cm oder 60 cm erreichen. Dieses derzeit gegebene Maß an Genauigkeit bei der satelliten- gestützten Positionsbestimmung kann für eine exakte positionsrichtige und perspektivisch richtige Darstellung der berechneten Straßenränder und gegebenenfalls Spurmarkierungen jedoch unzureichend sein. Für eine exakte Berechnung des virtuellen Bildes wäre es beispielsweise wünschenswert, nicht nur zu wissen, auf welcher Spur einer Fahrbahn sich ein Fahrzeug be- findet, sondern auch wo innerhalb der Spur (z.B. eher am rechten oder eher am linken Rand). According to the invention, it is provided that a positionally correct and perspectively correct virtual representation of at least part of the calculated road edges and optionally of at least part of the calculated lane markings by means of the display device takes place while superposing the driver's real view. This means that the driver, in addition to the view of the real environment that he sees, additionally sees virtually represented road edges and optionally lane markings, for example when looking through the windshield of his vehicle. To avoid irritating the driver it is necessary for the driver to the lane edges and lane markings as shown in the figure as closely as possible to the lane edges and lane markings actually seen by the driver, or that in the case of complete coverage and / or poor visibility, the driver virtually visualises the lane edges and optionally lane markers in his field of vision be that the place where he sees these road edges and possibly lane markings, as closely as possible corresponds to reality. The currently available Global Positioning System (GPS) guarantees a civil position accuracy of about 8 meters, but the accuracy actually achievable is usually better and can reach up to, for example, 80 cm or 60 cm. However, this currently given degree of accuracy in the satellite-based position determination can be insufficient for an exact positionally accurate and perspective correct representation of the calculated road edges and possibly lane markings. For an exact calculation of the virtual image, it would be desirable, for example, not only to know on which lane of a lane a vehicle is located, but also where within the lane (eg, rather on the right or rather on the left edge).
Vor diesem Hintergrund kann es von Vorteil sein, wenn - wie dies gemäß einer weiteren vorteilhaften Weiterbildung der Erfindung vorgesehen ist - das erfindungsgemäße Fahrerassistenzsystem weiter wenigstens eine im oder am Fahrzeug vorgesehene bildgebende Sensorvorrichtung zur Erfassung des dem Fahrzeug im Wesentlichen vorausliegenden Fahrbahnverlaufs und eine mit der bildgebenden Sensorvorrichtung verbundene Auswertungsvorrichtung aufweist. Against this background, it may be advantageous if - as provided according to a further advantageous embodiment of the invention - the driver assistance system according to the invention further at least one provided in or on the vehicle imaging sensor device for detecting the vehicle substantially ahead roadway course and one with the imaging Having sensor device connected evaluation device.
Bei dieser Weiterbildung der vorliegenden Erfindung ist die Steuervorrichtung eingerichtet (a) die Position des Fahrzeugs mittels der Vorrichtung zur satellitengestützten Positionsbestimmung zu bestimmen, (b) in Echtzeit ein virtuelles Bild des dem Fahrzeug im Wesentlichen vorausliegenden und im Blick- feld des Fahrers befindlichen Fahrbahnverlaufs mit Fahrbahnrändern und optional Spurmarkierungen auf Grundlage der ermittelten Position des Fahrzeugs, Daten der digitalen Straßenkarte und von der Auswertungsvorrichtung ausgewerteten Daten der bildgebenden Sensorvorrichtung zu berechnen, und (c) in Echtzeit eine virtuelle Darstellung von wenigsten einem Teil der berechneten Fahrbahnränder und optional von wenigsten einem Teil der berechneten Spurmarkierungen mittels der Anzeigevorrichtung dem Fahrer positionsrichtig und perspektivisch richtig unter Überlagerung der realen Sicht des Fahrers anzuzeigen. In this development of the present invention, the control device is set up (a) to determine the position of the vehicle by means of the device for satellite-based position determination, (b) in real time a virtual image of the roadway substantially ahead of the vehicle and located in the driver's field of vision Lane edges and optionally lane markings based on the determined position of the vehicle to calculate data of the digital road map and data evaluated by the evaluation device of the imaging sensor device, and (c) in real time a virtual representation of at least one part the calculated road edges and optionally of at least a part of the calculated lane markings by means of the display device to the driver in the correct position and in perspective correctly display overlapping the real view of the driver.
Es ist bekannt, dass Fahrbahnränder und gegebenenfalls Spurmarkierungen durch bildgebende Sensorvorrichtungen erfasst und mittels einer Auswertungsvorrichtung (Bildverarbeitung) mathematisch modelliert werden können. Die so ermittelten Informationen werden dann z.B. für einen Spurverlas- senswarner verwendet. Diese Daten können erfindungsgemäß jedoch auch in Echtzeit mit Daten aus digitalen Straßenkarten abgeglichen werden, um so die Präzision der virtuellen Darstellung der Fahrbahnränder und gegebenenfalls der Spurmarkierungen zu verbessern. Gemäß einer weitern vorteilhaften Weiterbildung der vorliegenden Erfindung umfasst die bildgebende Sensorvorrichtung in dem erfindungsgemäßen Fahrerassistenzsystem eine Kamera zur Aufnahme von Bildern mittels für ein menschliches Auge sichtbarem Licht, eine Kamera zur Aufnahme von Bildern mittels Licht im Infrarotbereich, eine Radar- und/oder eine Lidar- Vorrichtung. Insbesondere bei schlechten Sichtverhältnissen, wie beispielsweise Dämmerung, Dunkelheit, Nebel, Regen und/oder Schneefall, oder zur Bestimmung des Abstands eines anderen Verkehrsteilnehmers kann es von Vorteil oder gar erforderlich sein, dass die bildgebende Sensorvorrichtung mehr als eine Art von Sensoreinrichtung umfasst. Daten von verschiedenen Sensoreinrichtungen können von der Auswertungsvorrichtung ausgewertet und die Ergebnisse der verschiedenen Auswertungen miteinander in Beziehung gesetzt oder gegenseitig abgeglichen werden. It is known that road edges and possibly lane markings can be detected by imaging sensor devices and mathematically modeled by means of an evaluation device (image processing). The information thus obtained is then e.g. used for a lane departure warning. However, according to the invention, these data can also be compared in real time with data from digital road maps, so as to improve the precision of the virtual representation of the road edges and possibly of the lane markings. According to a further advantageous development of the present invention, the imaging sensor device in the driver assistance system according to the invention comprises a camera for recording images by means of light visible to a human eye, a camera for recording images by means of light in the infrared range, a radar and / or a lidar. Contraption. Especially in poor visibility conditions, such as twilight, darkness, fog, rain and / or snowfall, or to determine the distance of another road user, it may be advantageous or even necessary that the imaging sensor device comprises more than one type of sensor device. Data from different sensor devices can be evaluated by the evaluation device and the results of the various evaluations can be correlated or mutually adjusted.
Die vorliegende Erfindung soll es ermöglichen, dass ein Fahrer eines Fahr- zeugs stets die für ihn hilfreichen Straßenränder und gegebenenfalls Spurmarkierungen sieht. Eine virtuelle Einspiegelung bzw. Darstellung dieser Informationen kann erfindungsgemäß während des gesamten Fahrverlaufs erfolgen. Dies ist oftmals jedoch nicht erforderlich. Beispielsweise bei guten Sichtverhältnissen, bei vergleichsweise geringem Verkehrsaufkommen und/oder bei ungestörtem Verkehrsfluss sieht ein Fahrer Straßenränder und gegebenenfalls Spurmarkierungen auch ohne eine Unterstützung durch das erfindungsgemäße Fahrerassistenzsystem ausreichend deutlich. Daher kann es - wie es gemäß einer weiteren vorteilhaften Weiterbildung der Erfindung vorgesehen ist - ausreichend sein, wenn die Steuervorrichtung im erfindungsgemäßen Fahrerassistenzsystem dazu eingerichtet ist, auf Grundlage der ermittelten Position des Fahrzeugs, Daten der digitalen Stra- ßenkarte und Daten der bildgebenden Sensorvorrichtung zu berechnen, ob für einen Fahrer eine zumindest teilweise Verdeckung von Fahrbahnrändern und optional Spurmarkierungen des dem Fahrzeug im Wesentlichen vorausliegenden und im Blickfeld des Fahrers befindlichen Fahrbahnverlaufs durch wenigstens einen anderen Verkehrsteilnehmer gegeben ist, und eine virtuelle Darstellung von Fahrbahnrändern und optional Spurmarkierungen mittels der Anzeigevorrichtung dem Fahrer positionsrichtig und perspektivisch richtig unter Überlagerung der realen Sicht des Fahrers nur bei Vorliegen einer zumindest teilweisen Verdeckung anzuzeigen. Auch kann - wie es gemäß einer weiteren vorteilhaften Weiterbildung der Erfindung vorgesehen ist — die Steuervorrichtung im erfindungsgemäßen Fahrerassistenzsystem dazu eingerichtet sein, auf Grundlage von Daten von wenigstens der einen bildgebenden Sensorvorrichtung den Abstand von wenigstens einem sich im Wesentlichen vor dem Fahrzeug befindlichen ande- ren Verkehrsteilnehmer zu ermitteln und/oder zu ermitteln, ob eine Situation mit tageszeit- und/oder wetterabhängigen eingeschränkten Sichtverhältnissen für den Fahrer gegeben ist, und eine virtuelle Darstellung von Fahrbahnrändern und gegebenenfalls Spurmarkierungen mittels der Anzeigevorrichtung dem Fahrer positionsrichtig und perspektivisch richtig unter Überlage- rung der realen Sicht des Fahrers nur anzuzeigen, wenn der Abstand des wenigstens einen anderen Verkehrsteilnehmer einen vorgebbaren Mindestabstand unterschreitet oder unterschritten hat und/oder wenn die Sichtverhältnisse für den Fahrer aufgrund tageszeit- und/oder wetterabhängiger Umstände eine vorgebbare Mindestqualität unterschreiten oder unterschritten haben. The present invention is intended to enable a driver of a vehicle always to see the road edges that are helpful to him and, if appropriate, lane markings. A virtual reflection or representation of this information can take place according to the invention during the entire driving course. Often this is not necessary. For example, in good visibility, at relatively low traffic and / or undisturbed traffic flow, a driver sees roadsides and possibly lane markings sufficiently clear even without support from the driver assistance system according to the invention. Therefore, as is provided according to a further advantageous development of the invention, it may be sufficient if the control device in the driver assistance system according to the invention is set up to calculate data of the digital road map and data of the imaging sensor device on the basis of the determined position of the vehicle whether a driver at least partial concealment of road edges and optional lane markers of the vehicle lying substantially ahead and located in the driver's field of road course is given by at least one other road users, and a virtual representation of road edges and optional lane markers by means of the display device the driver in the correct position and perspectively correct under superposition of the driver's real view only in the presence of at least partial occlusion. Also, as provided in accordance with a further advantageous development of the invention, the control device in the driver assistance system according to the invention can be set up on the basis of data from at least one imaging sensor device the distance from at least one other road user located substantially in front of the vehicle determine and / or determine whether a situation with daytime and / or weather-dependent limited visibility for the driver is given, and a virtual representation of road edges and possibly lane markers by means of the display device to the driver in the correct position and in perspective properly overlapping the real View of the driver only if the distance between the at least one other road user has fallen below or has fallen below a specifiable minimum distance and / or if the driver's visibility is and / or weather-dependent circumstances have fallen below or below a predefinable minimum quality.
Auch in diesen Situationen besteht eine zumindest gewisse Wahrscheinlichkeit dafür, dass der Fahrer eines Fahrzeugs nachteiliger Weise die Fahrbahnränder und gegebenenfalls die Spurmarkierungen nicht oder nicht aus- reichend gut erkennen kann. Dieser Nachteil wird durch das erfindungsgemäße Fahrerassistenzsystem beseitigt. Even in these situations, there is at least some probability that the driver of a vehicle can not or not sufficiently well recognize the road edges and possibly the lane markings. This disadvantage is eliminated by the driver assistance system according to the invention.
Als Mindestabstand können beispielsweise 10 m, 15 m oder 20 m vorgebbar sein. Die Mindestqualität der Sichtverhältnisse, ab deren Unterschreiten eine virtuelle Darstellung von Fahrbahnrändern und gegebenenfalls Spurmarkierungen mittels der Anzeigevorrichtung erfolgt, kann beispielsweise auf Grundlage der Umgebungshelligkeit, den durch die zumindest eine Sensorvorrichtung ermittelten Kontrastumfang des aufgenommenen Bildes, etc. er- mittelt werden. Wenn beispielsweise der in einem aufgenommenen Bild festgestellte Kontrastumfang einen vorgebbaren Mindestwert unterschreitet, kann angenommen werden, dass eine Nebellage vorliegt und es erfolgt mittels der Anzeigevorrichtung eine virtuelle Darstellung der Fahrbahnränder und gegebenenfalls von Spurmarkierungen. Gleiches kann bei Unterschrei- ten eines Grenzwerts für die Umgebungshelligkeit vorgesehen sein. Diese Beispiele sind selbstverständlich nicht abschließend zu verstehen. As a minimum distance, for example 10 m, 15 m or 20 m can be specified. The minimum quality of visibility, from which falls below one virtual representation of road edges and possibly lane markings by means of the display device can be determined, for example, on the basis of the ambient brightness, the determined by the at least one sensor device contrast range of the recorded image, etc. If, for example, the range of contrast determined in a recorded image falls below a predefinable minimum value, it can be assumed that a fog layer is present and a virtual representation of the roadway edges and optionally of lane markings is carried out by means of the display device. The same can be provided if an ambient brightness limit is undershot. Of course, these examples are not meant to be exhaustive.
Sofern das erfindungsgemäße Fahrerassistenzsystem weiter eine Navigationsvorrichtung umfasst, kann die Steuervorrichtung weiter dazu eingerichtet sein, durch die Anzeigevorrichtung dem Fahrer zusätzlich zumindest ein zur Zielführung durch die Navigationsvorrichtung dienendes Zielführungs- Anzeigeobjekt darzustellen. Ein solches Zielführungs-Anzeigeobjekt kann beispielsweise einen wegweisenden Richtungspfeil und oder die Einblendung des Namens einer Straße umfassen, in die zur optimalen Zielführung abgebogen werden sollte. Auch diese Informationen können dem Fahrer durch die Anzeigvorrichtung in positionsrichtiger und perspektivisch richtiger Weise unter Überlagerung seiner realen Sicht angezeigt werden. If the driver assistance system according to the invention further comprises a navigation device, the control device may be further configured to additionally display by the display device to the driver at least one destination guidance display object serving for route guidance by the navigation device. Such a route guidance display object may comprise, for example, a landmark directional arrow and / or the insertion of the name of a road into which should be turned off for optimal route guidance. This information can be displayed to the driver through the display device in the correct position and in the right perspective way, overlaying his real view.
Erfindungsgemäß ist weiter vorgesehen, dass die Steuervorrichtung des er- findungsgemäßen Fahrerassistenzsystems auch dazu eingerichtet sein kann, auf Grundlage der ermittelten Position des Fahrzeugs und von Daten der digitalen Straßenkarte durch die Anzeigevorrichtung dem Fahrer zusätzlich zu den berechneten Fahrbahnrändern und gegebenenfalls Spurmarkierungen wenigstens ein weiteres Anzeigeobjekt mit einer Information in Bezug auf den dem Fahrzeug im Wesentlichen vorausliegenden und im Blickfeld des Fahrers befindlichen Fahrbahnverlauf darzustellen. Ein solches Anzeigeobjekt kann beispielsweise eine Geschwindigkeitsbegrenzung oder die Anzeige von Geschäften, Lokalen, Tankstellen, etc. umfassen. Die vorliegende Erfindung umfasst auch ein Verfahren zur virtuellen Darstellung des Straßen Verlaufs für einen Fahrer eines Fahrzeugs, das eine im Fahrzeug vorgesehenen Vorrichtung zur satellitengestützten Positionsbestimmung, eine digitale Straßenkarte, deren Daten die die durch die satellitengestützte Positionsbestimmung ermittelte Position des Fahrzeugs um- fasst, eine im Fahrzeug vorgesehenen Anzeigevorrichtung und eine Steuervorrichtung aufweist. Das erfindungsgemäße Verfahren umfasst die folgenden Schritte: According to the invention, it is further provided that the control device of the driver assistance system according to the invention can also be equipped with at least one further display object based on the determined position of the vehicle and data of the digital road map by the display device in addition to the calculated road edges and possibly lane markings an information in relation to the vehicle substantially lying ahead and located in the driver's field of view roadway presentation. Such a display object may include, for example, a speed limit or the display of shops, restaurants, gas stations, etc. The present invention also comprises a method for virtual representation of the road course for a driver of a vehicle, which comprises a vehicle-provided device for satellite position determination, a digital road map, the data of which determines the position of the vehicle determined by the satellite-based position determination. holds, has provided in the vehicle display device and a control device. The method according to the invention comprises the following steps:
(a) Bestimmen der Position des Fahrzeugs mittels der Vorrichtung zur satelli- tengestützten Positionsbestimmung durch die Steuervorrichtung;  (A) determining the position of the vehicle by means of the device for satellite-based position determination by the control device;
(b) in Echtzeit Berechnen eines virtuellen Bildes des dem Fahrzeug im Wesentlichen vorausliegenden und im Blickfeld des Fahrers befindlichen Fahrbahnverlaufs mit Fahrbahnrändern und optional Spurmarkierungen auf Grundlage der ermittelten Position des Fahrzeugs und Daten der digitalen Straßenkarte durch die Steuervorrichtung, und  (b) in real time, calculating a virtual image of the lane substantially ahead of the vehicle and located in the driver's field of vision with lane edges and optionally lane markings based on the detected position of the vehicle and digital map data by the controller, and
(c) in Echtzeit Anzeigen dem Fahrer unter Überlagerung seiner realen Sicht in positionsrichtiger und perspektivisch richtiger Weise eine virtuelle Darstellung von wenigstens einem Teil der berechneten Fahrbahnränder und optional von wenigstens einem Teil der berechneten Spurmarkierungen mittels der Anzeigevorrichtung.  (c) in real time display to the driver, superimposing his real view in the correct position and in the right perspective, a virtual representation of at least part of the calculated road edges and optionally of at least part of the calculated lane markings by means of the display device.
Sofern im oder am Fahrzeug wenigstens eine bildgebende Sensorvorrichtung zur Erfassung des dem Fahrzeug im Wesentlichen vorausliegenden Fahrbahnverlaufs vorhanden ist, ist gemäß einer ersten vorteilhaften Weiter- bildung des erfindungsgemäßen Verfahrens vorgesehen, dass in Schritt (a) die Bestimmung der Position des Fahrzeugs mittels der Vorrichtung zur satellitengestützten Positionsbestimmung, Daten der digitalen Straßenkarte und Daten der bildgebenden Sensorvorrichtung durch die Steuervorrichtung erfolgt; und dass in Schritt (b) ein virtuelles Bild des dem Fahrzeug im We- sentlichen vorausliegenden und im Blickfeld des Fahrers befindlichen Fahrbahnverlaufs mit Fahrbahnrändern und optional Spurmarkierungen auf Grundlage der ermittelten Position des Fahrzeugs, Daten der digitalen Straßenkarte und Daten der bildgebenden Sensorvorrichtung durch die Steuervorrichtung in Echtzeit berechnet wird, und dass in Schritt (c) dem Fahrer in Echtzeit unter Überlagerung seiner realen Sicht in positionsrichtiger und perspektivisch richtiger Weise eine virtuelle Darstellung von wenigstens einem Teil der berechneten Fahrbahnränder und optional von wenigstens einem Teil der berechneten Spurmarkierungen mittels der Anzeigevorrichtung angezeigt wird. If there is at least one imaging sensor device in or on the vehicle for detecting the roadway substantially ahead of the vehicle, according to a first advantageous further development of the method according to the invention, the determination of the position of the vehicle by means of the device for satellite-based position determination, data of the digital road map and data of the imaging sensor device by the control device; and in step (b), a virtual image of the lane substantially ahead of the vehicle and in the driver's field of vision with lane edges and optionally lane markings based on the determined position of the vehicle, digital map data and imaging sensor device data by the controller is calculated in real time, and that in step (c) to the driver in real time with overlapping his real view in the correct position and perspective correct way a virtual representation of at least a portion of the calculated road edges and optionally displayed by at least a portion of the calculated lane markers by the display device becomes.
Diese Ausführungsform des erfindungsgemäßen Verfahrens kann weiter dahin modifiziert werden, dass in Schritt (b) weiter auf Grundlage der ermittelten Position des Fahrzeugs, Daten der digitalen Straßenkarte und Daten der bildgebenden Sensorvorrichtung berechnet wird, ob für einen Fahrer eine zumindest teilweise Verdeckung von Fahrbahnrändern und optional Spurmarkierungen des dem Fahrzeug im Wesentlichen vorausliegenden und im Blickfeld des Fahrers befindlichen Fahrbahnverlaufs durch wenigstens einen anderen Verkehrsteilnehmer gegeben ist, und in Schritt (c) die virtuelle Dar- Stellung von Fahrbahnränder und optional von Spurmarkierungen mittels der Anzeigevorrichtung dem Fahrer positionsrichtig und perspektivisch richtig unter Überlagerung der realen Sicht des Fahrers nur bei Vorliegen einer zumindest teilweisen Verdeckung angezeigt wird. Auch kann beim erfindungsgemäßen Verfahren in Schritt (b) durch die Steuervorrichtung auf Grundlage von Daten der wenigstens einen bildgebenden Sensorvorrichtung der Abstand von wenigstens einem sich im Wesentlichen vor dem Fahrzeug befindlichen anderen Verkehrsteilnehmer ermittelt werden und/oder ermittelt werden, ob eine Situation mit tageszeit- und/oder wetter- abhängigen eingeschränkten Sichtverhältnissen für den Fahrer gegeben ist, und in Schritt (c) eine virtuelle Darstellung von Fahrbahnrändern und optional Spurmarkierungen mittels der Anzeigevorrichtung dem Fahrer positionsrichtig und perspektivisch richtig unter Überlagerung der realen Sicht des Fahrers nur angezeigt werden, wenn der Abstand des wenigstens einen anderen Verkehrsteilnehmers einen vorgebbaren Mindestabstand unterschreitet oder unterschritten hat und/oder wenn die Sichtverhältnisse für den Fahrer aufgrund tageszeit- und/oder wetterabhängiger Umstände eine vorgebbare Mindestqualität unterschreiten oder unterschritten haben. Ebenso kann das erfindungsgemäße Verfahren den Schritt umfassen, durch die Anzeigevorrichtung dem Fahrer zusätzlich wenigstens ein zur Zielführung dienendes Zielführungs-Anzeigeobjekt von einer im Fahrzeug vorhandenen Navigationsvorrichtung anzuzeigen. Des Weiteren kann das erfindungsgemäße Verfahren auch den Schritt umfassen, durch die Anzeigevorrichtung dem Fahrer zusätzlich wenigstens ein weiteres Anzeigeobjekt mit einer Information in Bezug auf den dem Fahrzeug im Wesentlichen vorausliegenden und im Blickfeld des Fahrers befindlichen Fahrbahnverlauf darzustellen. This embodiment of the method according to the invention can be further modified such that in step (b) on the basis of the determined position of the vehicle, data of the digital road map and data of the imaging sensor device is calculated, whether for a driver at least partially occlusion of lane edges and optionally lane markings of the lane substantially lying ahead of the vehicle and located in the field of vision of the driver is given by at least one other road user, and in step (c) the virtual representation of lane edges and optionally of lane markings by means of the display device Driver correct position and perspective correctly displayed with superimposition of the driver's real view only in the presence of at least partial occlusion. Also, in the method according to the invention in step (b), the distance between at least one other road user located substantially in front of the vehicle can be determined by the control device on the basis of data from the at least one imaging sensor device and / or it can be determined whether a situation with dailytime and / or weather-dependent limited visibility conditions for the driver, and in step (c) a virtual representation of lane edges and optional lane markings by means of the display device to the driver in the correct position and perspective correctly displayed with superimposition of the driver's real view only when the Distance of the at least one other road user falls below a predetermined minimum distance or has fallen below and / or if the visibility of the driver due to daytime and / or weather-dependent circumstances below a predetermined minimum quality ode r have fallen below. Likewise, the method according to the invention may include the step of additionally displaying to the driver at least one destination guidance display object serving for route guidance from a navigation device present in the vehicle. Furthermore, the method according to the invention can also include the step of additionally displaying to the driver at least one further display object with information relating to the road course substantially ahead of the vehicle and located in the field of vision of the driver.
In allen Ausführungsformen der vorliegenden Erfindung kann die virtuelle Darstellung entweder sämtliche Fahrbahnränder und optional Spurmarkierungen umfassen, die dem Fahrzeug im Wesentlichen vorausliegen und sich im Blickfeld des Fahrers befinden, oder es kann die Darstellung beispielsweise auf diejenigen Teile der Fahrbahnränder und optional Spurmarkierungen beschränkt sein, bei denen aufgrund der gegebenen Verkehrssituation eine Verdeckung gegeben ist und/oder bei denen aufgrund der aktuellen Sichtbedingungen eine schlechte oder keine Erkennbarkeit für den Fahrer gegeben ist. Auch umfasst die vorliegende Erfindung die Fälle, bei denen die virtuelle Darstellung automatisch oder aufgrund einer Anforderungshandlung durch den Fahrer erfolgt. Ebenso von der vorliegenden Erfindung umfasst sind Ausführungsformen, bei denen die Darstellung kontinuierlich oder diskontinuierlich erfolgt. Bei einer diskontinuierlichen Darstellungsweise kann bei- spielsweise eine Darstellung nur dann erfolgen, wenn vorgebbare Kriterien erfüllt sind, wie dies oben bereits beschrieben wurde. In all embodiments of the present invention, the virtual representation may include either all lane edges and optionally lane markers that are substantially in front of the vehicle and within the driver's field of vision, or the illustration may be limited to those portions of the lane edges and optionally lane markings, for example due to the given traffic situation there is a concealment and / or in which due to the current visibility conditions a bad or no recognizability for the driver is given. Also, the present invention includes the cases where the virtual presentation is automatic or due to a requesting action by the driver. Likewise encompassed by the present invention are embodiments in which the representation takes place continuously or discontinuously. In the case of a discontinuous representation, for example, an illustration can only take place if predefinable criteria are fulfilled, as has already been described above.
Die vorliegende Erfindung wird nachfolgend noch durch die Beschreibung eines Ausführungsbeispiels unter Bezugnahme auf die Figuren näher erläu- tert. Dieses Ausführungsbeispiel dient ausschliefilich dem möglicherweise noch besseren Verständnis der vorliegenden Erfindung, die Erfindung ist selbstverständlich nicht auf dieses Ausführungsbeispiel beschränkt. The present invention will be explained in more detail below by the description of an embodiment with reference to the figures. This embodiment serves exclusively to possibly better understand the present invention, the invention is of course not limited to this embodiment.
Dabei zeigen rein schematisch und nicht maßstabsgerecht: Here are purely schematic and not true to scale:
Fig. 1 eine Ansicht durch eine Windschutzscheibe eines Fahrzeugs ohne einen vorausfahrenden anderen Verkehrsteilnehmer; Figure 1 is a view through a windshield of a vehicle without a preceding other road users.
Fig. 2 eine Ansicht durch eine Windschutzscheibe eines Fahrzeugs mit ei- nem vorausfahrenden anderen Verkehrsteilnehmer; FIG. 2 shows a view through a windshield of a vehicle with a preceding other road user; FIG.
Fig. 3 eine Ansicht durch eine Windschutzscheibe eines Fahrzeugs mit einem vorausfahrenden anderen Verkehrsteilnehmer und Einblendung der durch den vorausfahrenden anderen Verkehrsteilnehmer verdeckten Stra- ßenränder und Spurmarkierungen. 3 is a view through a windshield of a vehicle with a driving ahead of other road users and showing the hidden by the leading other road users road edges and lane markings.
Fig. 1 stellt eine schematische Ansicht durch eine Windschutzscheibe (1 ) eines Straßenfahrzeugs ohne einen vorausfahrenden anderen Verkehrsteilnehmer dar. Die Sicht eines Fahrers auf die ihm im Wesentlichen vorauslie- gende Umgebung ist durch die Ränder (2) der Windschutzscheibe begrenzt. Diese Ränder der Windschutzscheibe werden üblicherweise gebildet durch die A-Säulen (linker und rechter Rand), das Fahrzeugdach (oberer Rand) und durch das Armaturenbrett (unterer Rand). Des Weiteren kann eine gewisse Verdeckung der Sicht eines Fahrers auf die ihm im Wesentlichen vor- ausliegende Umgebung durch Teile des Lenkrads (3) oder einen Innenspiegel (4) gegeben sein. FIG. 1 illustrates a schematic view through a windscreen (1) of a road vehicle without a preceding other road user. A driver's view of the environment substantially in front of him is limited by the edges (2) of the windscreen. These windscreen edges are usually formed by the A-pillars (left and right edges), the vehicle roof (upper edge) and the dashboard (lower edge). Furthermore, some obscuring of a driver's view of his be present exposed environment through parts of the steering wheel (3) or an interior mirror (4).
Im ausgewählten Beispiel umfasst der Ausblick des Fahrers durch die Wind- schutzscheibe eine vor ihm verlaufende zweispurige Straße (5) und in einiger Entfernung eine davon nach rechts abzweigende, ebenfalls zweispurige Straße (6). Die Straßenränder (7) sind für den Fahrer erkennbar. Des Weiteren weisen die beiden Straßen Spurmarkierungen (8) zur optischen Unterteilung der Fahrbahn in zwei Fahrspuren auf. Auch umfasst der Sichtbereich des Fahrers einen gewissen Bereich rechts und links der jeweiligen Straßenränder (7). In the example chosen, the driver's view through the windshield comprises a two-lane road (5) running in front of him and, at some distance, a road also branching off to the right, also having two lanes (6). The road edges (7) are recognizable to the driver. Furthermore, the two roads have lane markings (8) for the optical subdivision of the carriageway into two lanes. Also, the field of vision of the driver includes a certain area to the right and left of the respective road edges (7).
Wenn nun, wie dies in Fig. 2 dargestellt ist, sich ein anderer Verkehrsteilnehmer (9), beispielsweise ein Lastkraftwagen in kürzerer Entfernung vor dem Fahrzeug befindet, ist der Blick des Fahrers auf den weiteren Fahrbahnverlauf (5, 6) durch diesen anderen Verkehrsteilnehmer (9) zumindest teilweise verdeckt. Eine solche Verdeckung kann bei verschiedensten Verkehrssituationen auftreten, beispielsweise bei dichtem Verkehr, Stau, Wartesituation vor einer Ampel. If, as shown in FIG. 2, another road user (9), for example a truck, is located in front of the vehicle at a shorter distance, the driver's view of the further roadway (5, 6) is determined by this other road user (FIG. 9) at least partially hidden. Such concealment can occur in a wide variety of traffic situations, for example in dense traffic, congestion, waiting situation in front of a traffic light.
Wie in Fig. 3 dargestellt ist, ist es durch die vorliegende Erfindung nun möglich, dass dem Fahrer in sein Sichtfeld, beispielsweise durch ein Head-Up- Display (10) eine virtuelle Darstellung des weiteren Fahrbahnverlaufs (5, 6) mit den Straßenrändern (7) und gegebenenfalls auch den Spurmarkierungen (8) in Echtzeit positionsrichtig und perspektivisch richtig unter Überlagerung seiner realen Sicht eingeblendet wird. Hierbei kann die Einblendung entweder den gesamten weiteren Fahrbahnverlauf (5, 6) umfassen, d.h. den gesamten weiteren Fahrbahnverlauf, den er - wie in Fig. 1 dargestellt - ohne eine zumindest teilweise Verdeckung durch einen anderen Verkehrsteilneh- mer (9) sehen würde, oder die Einblendung kann sich auf den Bereich des weiteren Fahrbahnverlaufs (5, 6) beschränken, der durch den vor dem eigenen Fahrzeug befindlichen anderen Verkehrsteilnehmer (9) verdeckt ist. As shown in Fig. 3, it is now possible by the present invention that the driver in his field of view, for example by a head-up display (10) is a virtual representation of the further roadway (5, 6) with the road edges ( 7) and optionally also the lane markings (8) in real time position correct and perspective correctly superimposed superimposing his real view. In this case, the insertion can either comprise the entire further course of the lane (5, 6), i. the entire further course of the lane, which he would see - as shown in FIG. 1 - without at least partial obscuring by another traffic participant (9), or the insertion can be limited to the area of the further lane course (5, 6), which is covered by the other road users (9) in front of their own vehicle.
Wenn der Fahrer beispielsweise vom Navigationssystem weiß, dass er von der Straße (5) in die in einiger Entfernung abzweigende Straße (6) rechts abbiegen soll, kann er die Abzweigung durch den vor ihm befindlichen anderen Verkehrsteilnehmer (9) nicht real sehen. Durch die vorliegende Erfindung wird ihm u.a. die Abzweigung virtuell dort angezeigt, wo er diese ohne den anderen Verkehrsteilnehmer (9) sehen würde. Der andere Verkehrsteilneh- mer wird somit in gewisser Weise für den Fahrer„transparent", so dass er sich besser auf den Abbiegevorgang einstellen kann. For example, if the driver knows from the navigation system that he should turn right from the road (5) to the road (6) branching off at some distance, he can not actually see the turn by the other road user (9) in front of him. By means of the present invention, inter alia, the branch is virtually displayed to him where he would see it without the other road user (9). The other road user Thus, in a sense, the driver becomes "transparent" so that he can better adjust to the turn.
Eine ähnliche Situation kann beispielsweise bei einem Navigieren im Stadt- verkehr auftreten. Hierbei ist der Blick eines Fahrers durch die Windschutzscheibe oftmals durch vorausfahrende andere Verkehrsteilnehmer verdeckt. Insbesondere bei langsamen Geschwindigkeiten (Stop-and-Go, vor Ampeln, etc.) ist der Abstand zum Vorderfahrzeug oftmals so klein, dass die Sicht nach vorne deutlich eingeschränkt ist. A similar situation can occur, for example, when navigating in city traffic. Here, the view of a driver through the windshield is often covered by driving ahead of other road users. Especially at slow speeds (stop-and-go, traffic lights, etc.), the distance to the front vehicle is often so small that the view to the front is clearly limited.
Durch die vorliegende Erfindung kann dem Fahrer in einer solchen Verkehrssituation beispielsweise eine Kreuzung virtuell dort angezeigt werden, wo er sie ohne die Anwesenheit von anderen Verkehrsteilnehmern real sehen würde. Insbesondere bei Kreuzungen mit mehreren Spuren, von denen einige oftmals nur eine Weiterfahrt in eine bestimmte Richtung (z.B. Linksabbieger- und Rechtsabbiegerspur) zulassen, kann die virtuelle Anzeige dieser mehreren Spuren gegebenenfalls zusammen mit Richtungspfeilen eine rechtzeitige Einordnung des Fahrzeugs auf die richtige Spur (Spurwechsel) und einen erforderlichen Abbiegevorgang für einen Fahrer wesentlich er- leichtern. By means of the present invention, in such a traffic situation, for example, an intersection can be virtually displayed to the driver where he would really see her without the presence of other road users. In particular, at intersections with multiple lanes, some of which often allow only a further journey in a particular direction (eg left turn and right turn lane), the virtual display of these multiple lanes, together with directional arrows if necessary, timely classification of the vehicle on the right lane (lane change) and greatly facilitate a required turning maneuver for a driver.
Eine weitere Verkehrssituation, bei der die vorliegende Erfindung von großem Vorteil ist, ist Fahren bei schlechter Sicht, z.B. in der Nacht, bei Nebel, Regen oder Schneefall, oder bei anderen Wetterverhältnissen, bei denen Fahrbahnränder für einen Fahrer schlecht erkennbar sind (z.B. bei schneebedeckter Fahrbahn). Erfindungsgemäß werden die für einen Fahrer real schlecht erkennbaren Fahrbahnränder und gegebenenfalls Spurmarkierungen durch virtuelle Randlinien und gegebenenfalls virtuelle Markierungen zur Kenntlichmachung der Fahrspuren überlagert, so dass ihm das Spurhalten erleichtert wird. Another traffic situation in which the present invention is of great advantage is driving in poor visibility, e.g. at night, in fog, rain or snow, or in other weather conditions where road edges are difficult to see for a driver (e.g., on snowy roads). According to the invention, the road edges that are really difficult to recognize for a driver and possibly lane markings are overlaid by virtual boundary lines and possibly virtual markings for identifying the lanes, so that tracking is facilitated.

Claims

PATENTANSPRÜCHE: CLAIMS:
1 . Fahrerassistenzsystem zur virtuellen Darstellung des Straßen Verlaufs für einen Fahrer eines Fahrzeugs mit einer im Fahrzeug vorgesehenen Vor- richtung zur satellitengestützten Positionsbestimmung, einer digitalen Straßenkarte, deren Daten die durch die satellitengestützte Positionsbestimmung ermittelte Position des Fahrzeugs umfasst, einer im Fahrzeug vorgesehenen Anzeigevorrichtung (10) und einer Steuervorrichtung, 1 . Driver assistance system for virtual representation of the road course for a driver of a vehicle with a provided in the vehicle device for satellite positioning, a digital road map whose data includes the determined by the satellite positioning position of the vehicle, a vehicle provided in the display device (10) and a control device,
dadurch gekennzeichnet, dass characterized in that
die Steuervorrichtung eingerichtet ist, the control device is set up,
(a) die Position des Fahrzeugs mittels der Vorrichtung zur satellitengestützten Positionsbestimmung zu bestimmen;  (a) determine the position of the vehicle by means of the satellite positioning device;
(b) in Echtzeit ein virtuelles Bild des dem Fahrzeug im Wesentlichen vorausliegenden und im Blickfeld des Fahrers befindlichen Fahrbahnverlaufs (5, 6) mit Fahrbahnrändern (7) und optional Spurmarkierungen (8) auf Grundlage der ermittelten Position des Fahrzeugs und Daten der digitalen Straßenkarte zu berechnen, und  (b) in real time, a virtual image of the vehicle substantially lying ahead and located in the driver's field of view roadway (5, 6) with lane edges (7) and optional lane markers (8) based on the determined position of the vehicle and data of the digital road map to calculate, and
(c) in Echtzeit eine virtuelle Darstellung von wenigstens einem Teil der berechneten Fahrbahnränder (7) und optional von wenigstens einem Teil der berechneten Spurmarkierungen (8) mittels der Anzeigevorrichtung (10) dem Fahrer positionsrichtig und perspektivisch richtig unter Überlagerung der realen Sicht des Fahrers anzuzeigen.  (c) display in real time a virtual representation of at least a portion of the calculated lane edges (7) and optionally of at least a portion of the calculated lane markers (8) by the display device (10) to the driver in the correct position and in perspective correctly overlaying the driver's real vision ,
2. Fahrerassistenzsystem nach Anspruch 1 , 2. driver assistance system according to claim 1,
dadurch gekennzeichnet, dass characterized in that
die Anzeigevorrichtung ein Head-Up-Display (10) und/oder eine Datenbrille umfasst. the display device comprises a head-up display (10) and / or a data goggles.
3. Fahrerassistenzsystem nach Anspruch 1 oder 2, weiter umfassend wenigstens eine im oder am Fahrzeug vorgesehene bildgebende Sensorvorrichtung zur Erfassung des dem Fahrzeug im Wesentlichen vorausliegenden Fahrbahnverlaufs und eine mit der bildgebenden Sensorvorrichtung verbundene Auswertungsvorrichtung, 3. driver assistance system according to claim 1 or 2, further comprising at least one provided in or on the vehicle imaging sensor device for detecting the substantially ahead of the vehicle road course and connected to the imaging sensor device evaluation device,
dadurch gekennzeichnet, dass characterized in that
die Steuervorrichtung eingerichtet ist, the control device is set up,
(a) die Position des Fahrzeugs mittels der Vorrichtung zur satellitengestützten Positionsbestimmung zu bestimmen;  (a) determine the position of the vehicle by means of the satellite positioning device;
(b) in Echtzeit ein virtuelles Bild des dem Fahrzeug im Wesentlichen vorausliegenden und im Blickfeld des Fahrers befindlichen Fahrbahnverlaufs (5, 6) mit Fahrbahn rändern (7) und optional Spurmarkierungen (8) auf Grundlage der ermittelten Position des Fahrzeugs, Daten der digitalen Straßenkarte und von der Auswertungsvorrichtung ausgewerteten Daten der bildgebenden Sensorvorrichtung zu berechnen, und (b) in real time a virtual image of the road ahead of the vehicle substantially ahead and in the driver's field of vision (5, 6) with road edges (7) and optional lane markers (8) on the basis of the determined position of the vehicle to calculate data of the digital road map and evaluated by the evaluation device data of the imaging sensor device, and
(c) in Echtzeit eine virtuelle Darstellung von wenigstens einem Teil der berechneten Fahrbahnränder (7) und optional von wenigstens einem Teil der berechneten Spurmarkierungen (8) mittels der Anzeigevorrichtung dem Fahrer positionsrichtig und perspektivisch richtig unter Überlagerung der realen Sicht des Fahrers anzuzeigen. (c) display in real time a virtual representation of at least a portion of the calculated lane edges (7) and optionally of at least a portion of the calculated lane markings (8) by the display device to the driver in the correct position and in perspective correctly overlaying the driver's real vision.
4. Fahrerassistenzsystem nach Anspruch 3, 4. driver assistance system according to claim 3,
dadurch gekennzeichnet, dass characterized in that
die bildgebende Sensorvorrichtung eine Kamera zur Aufnahme von Bildern mittels für ein menschliches Auge sichtbaren Lichts, eine Kamera zur Auf- nähme von Bildern mittels Licht im Infrarotbereich, eine Radar- und/oder eine Lidar-Vorrichtung umfasst. the imaging sensor device comprises a camera for recording images by means of light visible to a human eye, a camera for recording images by means of light in the infrared region, a radar and / or a lidar device.
5. Fahrerassistenzsystem nach Anspruch 3 oder 4, 5. driver assistance system according to claim 3 or 4,
dadurch gekennzeichnet, dass characterized in that
die Steuervorrichtung weiter dazu eingerichtet ist, the control device is further configured to
auf Grundlage der ermittelten Position des Fahrzeugs, Daten der digitalen Straßenkarte und Daten der bildgebenden Sensorvorrichtung zu berechnen, ob für einen Fahrer eine zumindest teilweise Verdeckung von Fahrbahnrändern (7) und optional Spurmarkierungen (8) des dem Fahrzeug im Wesentli- chen vorausliegenden und im Blickfeld des Fahrers befindlichen Fahrbahnverlaufs (5, 6) durch wenigstens einen anderen Verkehrsteilnehmer (9) gegeben ist, und on the basis of the determined position of the vehicle, to calculate data of the digital road map and data of the imaging sensor device, for a driver at least partial concealment of road edges (7) and optionally lane markings (8) of the vehicle substantially ahead and in the field of vision the driver of the roadway course (5, 6) is given by at least one other road user (9), and
eine virtuelle Darstellung von Fahrbahnrändem (7) und optional Spurmarkierungen (8) mittels der Anzeigevorrichtung (10) dem Fahrer positionsrichtig und perspektivisch richtig unter Überlagerung der realen Sicht des Fahrers nur bei Vorliegen einer zumindest teilweisen Verdeckung anzuzeigen. a virtual representation of Fahrbahnrändem (7) and optional lane markers (8) by means of the display device (10) to the driver in the correct position and in perspective correctly display overlapping the driver's real view only in the presence of at least partial obscuration.
6. Fahrerassistenzsystem nach einem der Ansprüche 3 bis 5, 6. driver assistance system according to one of claims 3 to 5,
dadurch gekennzeichnet, dass characterized in that
die Steuervorrichtung weiter eingerichtet ist,  the control device is further set up,
auf Grundlage von Daten von wenigstens der einen bildgebenden Sensorvorrichtung den Abstand von wenigstens einem sich im Wesentlichen vor dem Fahrzeug befindlichen anderen Verkehrsteilnehmer (9) zu ermitteln und/oder zu ermitteln, ob eine Situation mit tageszeit- und/oder wetterabhängigen eingeschränkten Sichtverhältnissen für den Fahrer gegeben ist, und eine virtuelle Darstellung der Fahrbahnränder (7) und optional von Spurmarkierungen (8) mittels der Anzeigevorrichtung (10) dem Fahrer positionsrichtig und perspektivisch richtig unter Überlagerung der realen Sicht des Fahrers nur anzuzeigen, wenn der Abstand des wenigstens einen anderen Verkehrsteilnehmer (9) einen vorgebbaren Mindestabstand unterschreitet oder unterschritten hat und/oder wenn die Sichtverhältnisse für den Fahrer aufgrund tageszeit- und/oder wetterabhängiger Umstände eine vorgebbare Min- destqualität unterschreiten oder unterschritten haben. on the basis of data from at least one imaging sensor device to determine the distance from at least one located in front of the vehicle other road users (9) and / or to determine whether a situation with daytime and / or weather-dependent limited visibility for the driver is given, and a virtual representation of the road edges (7) and optionally of lane markers (8) by means of the display device (10) the driver in the correct position and View correctly correctly under superimposition of the driver's real view only if the distance between the at least one other road user (9) has fallen below or has fallen below a predefinable minimum distance and / or if the visibility for the driver due to daytime and / or weather-dependent circumstances, a predeterminable min - have fallen below or fallen below the minimum quality.
7. Fahrerassistenzsystem nach einem der vorhergehenden Ansprüche, zusätzlich umfassend eine Navigationsvorrichtung, 7. Driver assistance system according to one of the preceding claims, additionally comprising a navigation device,
dadurch gekennzeichnet, dass characterized in that
die Steuervorrichtung weiter eingerichtet ist, the control device is further set up,
durch die Anzeigevorrichtung (10) dem Fahrer zusätzlich zumindest ein zur Zielführung durch die Navigationsvorrichtung dienendes Zielführungs- Anzeigeobjekt darzustellen. by the display device (10) in addition to the driver at least represent a destination guidance by the navigation device serving destination guidance display object.
8. Fahrerassistenzsystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass 8. driver assistance system according to one of the preceding claims, characterized in that
die Steuervorrichtung weiter eingerichtet ist, the control device is further set up,
auf Grundlage von Daten der digitalen Straßenkarte durch die Anzeigevorrichtung dem Fahrer zusätzlich wenigstens ein weiteres Anzeigeobjekt mit einer Information in Bezug auf den dem Fahrzeug im Wesentlichen vorausliegenden und im Blickfeld des Fahrers befindlichen Fahrbahnverlauf (5, 6) darzustellen. on the basis of data from the digital road map by the display device, the driver additionally display at least one further display object with information relating to the road course (5, 6) substantially ahead of the vehicle and located in the field of vision of the driver.
9. Verfahren zur virtuellen Darstellung des Straßenverlaufs für einen Fahrer eines Fahrzeugs, das eine im Fahrzeug vorgesehenen Vorrichtung zur satellitengestützten Positionsbestimmung, eine digitale Straßenkarte, deren Daten die die durch die satellitengestützte Positionsbestimmung ermittelte Position des Fahrzeugs umfasst, eine im Fahrzeug vorgesehenen Anzeigevorrichtung (10) und eine Steuervorrichtung aufweist, die folgenden Schritte umfassend: 9. A method for virtual representation of the course of the road for a driver of a vehicle, which comprises a vehicle-provided device for satellite position determination, a digital road map whose data includes the position determined by the satellite-based position determination of the vehicle, a display device (10) provided in the vehicle. and a control device, comprising the following steps:
(a) Bestimmen der Position des Fahrzeugs mittels der Vorrichtung zur satellitengestützten Positionsbestimmung durch die Steuervorrichtung;  (A) determining the position of the vehicle by means of the device for satellite positioning by the control device;
(b) in Echtzeit Berechnen eines virtuellen Bildes des dem Fahrzeug im Wesentlichen vorausliegenden und im Blickfeld des Fahrers befindlichen Fahr- bahnverlaufs (5, 6) mit Fahrbahnrändern (7) und optional Spurmarkierungen (8) auf Grundlage der ermittelten Position des Fahrzeugs und Daten der digitalen Straßenkarte durch die Steuervorrichtung, und (b) calculating in real-time a virtual image of the vehicle substantially ahead of the vehicle and located in the field of view of the driver. lane course (5, 6) with lane edges (7) and optionally lane markings (8) on the basis of the determined position of the vehicle and data of the digital road map by the control device, and
(c) in Echtzeit Anzeigen dem Fahrer unter Überlagerung seiner realen Sicht in positionsrichtiger und perspektivisch richtiger Weise eine virtuelle Darstellung von wenigstens einem Teil der berechneten Fahrbahnränder (7) und optional von wenigstens einem Teil der berechneten Spurmarkierungen (8) mittels der Anzeigevorrichtung (10).  (c) in real time display to the driver superimposing his real view in positionally correct and perspective correct way a virtual representation of at least a part of the calculated road edges (7) and optionally of at least part of the calculated track markings (8) by means of the display device (10) ,
10. Verfahren zur virtuellen Darstellung des Straßenverlaufs für einen Fahrer eines Fahrzeugs gemäß Anspruch 9, wobei zusätzlich im oder am Fahrzeug wenigstens eine bildgebende Sensorvorrichtung zur Erfassung des dem Fahrzeug im Wesentlichen vorausliegenden Fahrbahnverlaufs (5, 6) vorhanden ist, die folgenden Schritte umfassend: 10. A method for virtual representation of the course of the road for a driver of a vehicle according to claim 9, wherein additionally in or on the vehicle at least one imaging sensor device for detecting the substantially ahead of the vehicle lane course (5, 6) is present, comprising the following steps:
(a) Bestimmen der Position des Fahrzeugs mittels der Vorrichtung zur satellitengestützten Positionsbestimmung, Daten der digitalen Straßenkarte und Daten der bildgebenden Sensorvorrichtung durch die Steuervorrichtung; (A) determining the position of the vehicle by means of the satellite positioning device, digital road map data and data of the imaging sensor device by the control device;
(b) in Echtzeit Berechnen eines virtuellen Bildes des dem Fahrzeug im Wesentlichen vorausliegenden und im Blickfeld des Fahrers befindlichen Fahr- bahnverlaufs (5, 6) mit Fahrbahnrändern (7) und optional Spurmarkierungen (8) auf Grundlage der ermittelten Position des Fahrzeugs, Daten der digitalen Straßenkarte und Daten der bildgebenden Sensorvorrichtung durch die Steuervorrichtung, und  (b) real-time calculation of a virtual image of the course of the track (5, 6) substantially ahead of the vehicle and with track edges (7) and optionally lane markings (8) on the basis of the determined position of the vehicle; digital road map and data of the imaging sensor device by the control device, and
(c) in Echtzeit Anzeigen dem Fahrer unter Überlagerung seiner realen Sicht in positionsrichtiger und perspektivisch richtiger Weise eine virtuelle Darstellung von wenigstens einem Teil der berechneten Fahrbahnränder (7) und optional von wenigstens einem Teil der berechneten Spurmarkierungen (8) mittels der Anzeigevorrichtung (10).  (c) in real time display to the driver superimposing his real view in positionally correct and perspective correct way a virtual representation of at least a part of the calculated road edges (7) and optionally of at least part of the calculated track markings (8) by means of the display device (10) ,
1 1. Verfahren nach Anspruch 10, wobei in Schritt (b) weiter auf Grundlage der ermittelten Position des Fahrzeugs, Daten der digitalen Straßenkarte und Daten der bildgebenden Sensorvorrichtung berechnet wird, ob für einen Fahrer eine zumindest teilweise Verdeckung von Fahrbahnrändern (7) und optional Spurmarkierungen (8) des dem Fahrzeug im Wesentlichen vorauslie- genden und im Blickfeld des Fahrers befindlichen Fahrbahnverlaufs (5, 6) durch wenigstens einen anderen Verkehrsteilnehmer gegeben ist, und in Schritt (c) die virtuelle Darstellung von Fahrbahnränder (7) und optional von Spurmarkierungen (8) mittels der Anzeigevorrichtung (10) dem Fahrer positionsrichtig und perspektivisch richtig unter Überlagerung der realen Sicht des Fahrers nur bei Vorliegen einer zumindest teilweisen Verdeckung angezeigt wird. 1 1. The method of claim 10, wherein in step (b) on the basis of the determined position of the vehicle, data of the digital road map and data of the imaging sensor device is calculated, whether for a driver at least partial concealment of road edges (7) and optionally Lane markings (8) of the lane course (5, 6) substantially ahead of the vehicle and provided in the driver's field of vision by at least one other road user, and in step (c) the virtual representation of lane edges (7) and optionally lane markers (8) by means of the display device (10) to the driver in the correct position and in perspective correctly superimposed on the real View of the driver is displayed only in the presence of at least partial occlusion.
12. Verfahren nach Anspruch 10 oder 1 1 , wobei in Schritt (b) durch die Steuervorrichtung auf Grundlage von Daten der zumindest einen bildgebenden Sensorvorrichtung der Abstand von wenigstens einem sich im Wesentlichen vor dem Fahrzeug befindlichen anderen Verkehrsteilnehmer (9) ermittelt wird und/oder ermittelt wird, ob eine Situation mit tageszeit- und/oder wetterabhängigen eingeschränkten Sichtverhältnissen für den Fahrer gege- ben ist, und 12. The method of claim 10 or 1 1, wherein in step (b) is determined by the control device based on data of the at least one imaging sensor device, the distance from at least one located in front of the vehicle other road users (9) and / or It is determined whether a situation with daytime and / or weather dependent limited visibility conditions is given for the driver, and
in Schritt (c) eine virtuelle Darstellung von Fahrbahnrändern (7) und optional Spurmarkierungen (8) mittels der Anzeigevorrichtung (10) dem Fahrer positionsrichtig und perspektivisch richtig unter Überlagerung der realen Sicht des Fahrers nur angezeigt wird, wenn der Abstand des wenigstens einen ande- ren Verkehrsteilnehmers (9) einen vorgebbaren Mindestabstand unterschreitet oder unterschritten hat und/oder wenn die Sichtverhältnisse für den Fahrer aufgrund tageszeit- und/oder wetterabhängiger Umstände eine vorgebbare Mindestqualität unterschreiten oder unterschritten haben. in step (c) a virtual representation of lane edges (7) and optionally lane markings (8) by means of the display device (10) the driver only in the correct position and in perspective correctly displayed overlapping the driver's real view only if the distance of the at least one other ren road user (9) has fallen below or below a predetermined minimum distance and / or if the visibility of the driver due to daytime and / or weather-dependent circumstances below a predetermined minimum quality or have fallen below.
1 3. Verfahren nach einem der Ansprüche 9 bis 12, wobei durch die Anzeigevorrichtung (10) dem Fahrer zusätzlich wenigstens ein zur Zielführung dienendes Zielführungs-Anzeigeobjekt von einer im Fahrzeug vorhandenen Navigationsvorrichtung angezeigt wird. 1 3. The method according to any one of claims 9 to 12, wherein the driver is additionally displayed by the display device (10) at least one serving for route guidance route guidance display object of an existing in the vehicle navigation device.
1 4. Verfahren nach einem der Ansprüche 9 bis 13, wobei durch die Anzeigevorrichtung (10) dem Fahrer zusätzlich wenigstens ein weiteres Anzeigeobjekt mit einer Information in Bezug auf den dem Fahrzeug im Wesentlichen vorausliegenden und im Blickfeld des Fahrers befindlichen Fahrbahnverlauf (5, 6) dargestellt wird. 1 4. The method according to any one of claims 9 to 13, wherein the driver additionally by the display device (10) at least one further display object with information relating to the vehicle substantially ahead and located in the driver's field of view roadway course (5, 6). is pictured.
PCT/EP2013/000284 2012-02-02 2013-01-31 Driver assistance system and method for virtual representation of a road layout under obscured visibility and/or poor visibility conditions WO2013113500A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102012001955 2012-02-02
DE102012001955.6 2012-02-02

Publications (1)

Publication Number Publication Date
WO2013113500A1 true WO2013113500A1 (en) 2013-08-08

Family

ID=47678687

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2013/000284 WO2013113500A1 (en) 2012-02-02 2013-01-31 Driver assistance system and method for virtual representation of a road layout under obscured visibility and/or poor visibility conditions

Country Status (1)

Country Link
WO (1) WO2013113500A1 (en)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2524514A (en) * 2014-03-25 2015-09-30 Jaguar Land Rover Ltd Navigation system
DE102014205489A1 (en) * 2014-03-25 2015-10-01 Conti Temic Microelectronic Gmbh Method and system for providing all-round visibility including invisible objects
WO2015144751A1 (en) * 2014-03-25 2015-10-01 Jaguar Land Rover Limited Navigation system
DE102015006612A1 (en) * 2015-05-21 2016-11-24 Audi Ag Method for operating data glasses in a motor vehicle and system with data glasses
DE102015007131A1 (en) 2015-06-05 2016-12-08 Audi Ag A method of operating a display system and display system
DE102015007491A1 (en) * 2015-06-11 2016-12-15 Audi Ag Method for operating a driver information system of a motor vehicle and motor vehicle
WO2017042385A1 (en) * 2015-09-11 2017-03-16 Hella Kgaa Hueck & Co. Method and device for projecting a temporary traffic lane marking on a traffic lane
US9713956B2 (en) 2015-03-05 2017-07-25 Honda Motor Co., Ltd. Vehicle-to-vehicle communication system providing a spatiotemporal look ahead and method thereof
EP3318441A1 (en) * 2016-10-15 2018-05-09 MAN Truck & Bus AG Device for supporting a driver of a vehicle with a projection device
CN110392644A (en) * 2017-03-07 2019-10-29 奥迪股份公司 Provides light functions for assisting the driver in driving a motor vehicle
DE102015007246B4 (en) 2015-06-05 2019-12-05 Audi Ag A method of operating a display system and display system for a motor vehicle
US10870351B2 (en) 2018-12-12 2020-12-22 Here Global B.V. Method and apparatus for augmented reality based on localization and environmental conditions
CN112562061A (en) * 2020-11-28 2021-03-26 山西省交通科技研发有限公司 Driving vision enhancement system and method based on laser radar image
CN112888604A (en) * 2018-10-03 2021-06-01 金泰克斯公司 Backward lane detection coverage
DE112017000437B4 (en) 2016-01-20 2021-12-30 Panasonic Intellectual Property Management Co., Ltd. Display device
CN115335725A (en) * 2020-05-14 2022-11-11 奥迪股份公司 Method for locating a lane marking in a motor vehicle and motor vehicle
DE102018214346B4 (en) 2017-08-29 2024-03-07 Yazaki Corporation Vehicle display device and display control method
DE102015017339B4 (en) 2015-05-21 2025-01-16 Audi Ag Method for operating data glasses in a motor vehicle and system with a motor vehicle and data glasses

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040066376A1 (en) * 2000-07-18 2004-04-08 Max Donath Mobility assist device
DE102004048347A1 (en) 2004-10-01 2006-04-20 Daimlerchrysler Ag Driving assistance device for opposite the field of view of the driver of a motor vehicle positionally correct representation of the further course of the road on a vehicle display
EP1586861B1 (en) 2004-04-15 2008-02-20 Robert Bosch Gmbh Method and apparatus for displaying information for the driver taking into account other movable objects
DE102010013532A1 (en) * 2009-04-02 2010-10-14 GM Global Technology Operations, Inc., Detroit Improved street view on head-up display for entire windshield
WO2012131871A1 (en) * 2011-03-28 2012-10-04 パイオニア株式会社 Information display device, control method, program, and storage medium

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040066376A1 (en) * 2000-07-18 2004-04-08 Max Donath Mobility assist device
EP1586861B1 (en) 2004-04-15 2008-02-20 Robert Bosch Gmbh Method and apparatus for displaying information for the driver taking into account other movable objects
DE102004048347A1 (en) 2004-10-01 2006-04-20 Daimlerchrysler Ag Driving assistance device for opposite the field of view of the driver of a motor vehicle positionally correct representation of the further course of the road on a vehicle display
DE102010013532A1 (en) * 2009-04-02 2010-10-14 GM Global Technology Operations, Inc., Detroit Improved street view on head-up display for entire windshield
WO2012131871A1 (en) * 2011-03-28 2012-10-04 パイオニア株式会社 Information display device, control method, program, and storage medium

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10408634B2 (en) 2014-03-25 2019-09-10 Jaguar Land Rover Limited Navigation system
GB2524514B (en) * 2014-03-25 2017-08-16 Jaguar Land Rover Ltd Navigation system
WO2015144751A1 (en) * 2014-03-25 2015-10-01 Jaguar Land Rover Limited Navigation system
DE102014205489B4 (en) 2014-03-25 2021-10-28 Conti Temic Microelectronic Gmbh Method and system for providing an all-round view including invisible objects
GB2524514A (en) * 2014-03-25 2015-09-30 Jaguar Land Rover Ltd Navigation system
DE102014205489A1 (en) * 2014-03-25 2015-10-01 Conti Temic Microelectronic Gmbh Method and system for providing all-round visibility including invisible objects
AU2015238339B2 (en) * 2014-03-25 2018-02-22 Jaguar Land Rover Limited Navigation system
US9713956B2 (en) 2015-03-05 2017-07-25 Honda Motor Co., Ltd. Vehicle-to-vehicle communication system providing a spatiotemporal look ahead and method thereof
DE102015017339B4 (en) 2015-05-21 2025-01-16 Audi Ag Method for operating data glasses in a motor vehicle and system with a motor vehicle and data glasses
US10868976B2 (en) 2015-05-21 2020-12-15 Audi Ag Method for operating smartglasses in a motor vehicle, and system comprising smartglasses
DE102015006612A1 (en) * 2015-05-21 2016-11-24 Audi Ag Method for operating data glasses in a motor vehicle and system with data glasses
DE102015006612B4 (en) 2015-05-21 2020-01-23 Audi Ag Method for operating data glasses in a motor vehicle and system with data glasses
DE102015007131A1 (en) 2015-06-05 2016-12-08 Audi Ag A method of operating a display system and display system
DE102015007131B4 (en) 2015-06-05 2018-09-06 Audi Ag A method of operating a display system and display system
DE102015007246B4 (en) 2015-06-05 2019-12-05 Audi Ag A method of operating a display system and display system for a motor vehicle
DE102015007491A1 (en) * 2015-06-11 2016-12-15 Audi Ag Method for operating a driver information system of a motor vehicle and motor vehicle
WO2017042385A1 (en) * 2015-09-11 2017-03-16 Hella Kgaa Hueck & Co. Method and device for projecting a temporary traffic lane marking on a traffic lane
DE112017000437B4 (en) 2016-01-20 2021-12-30 Panasonic Intellectual Property Management Co., Ltd. Display device
EP3318441A1 (en) * 2016-10-15 2018-05-09 MAN Truck & Bus AG Device for supporting a driver of a vehicle with a projection device
CN110392644A (en) * 2017-03-07 2019-10-29 奥迪股份公司 Provides light functions for assisting the driver in driving a motor vehicle
DE102018214346B4 (en) 2017-08-29 2024-03-07 Yazaki Corporation Vehicle display device and display control method
CN112888604A (en) * 2018-10-03 2021-06-01 金泰克斯公司 Backward lane detection coverage
EP3860881A4 (en) * 2018-10-03 2021-08-11 Gentex Corporation REVERSE TRACK DETECTION OVERLAY
CN112888604B (en) * 2018-10-03 2024-02-02 金泰克斯公司 Backward lane detection coverage
US10870351B2 (en) 2018-12-12 2020-12-22 Here Global B.V. Method and apparatus for augmented reality based on localization and environmental conditions
CN115335725A (en) * 2020-05-14 2022-11-11 奥迪股份公司 Method for locating a lane marking in a motor vehicle and motor vehicle
CN112562061A (en) * 2020-11-28 2021-03-26 山西省交通科技研发有限公司 Driving vision enhancement system and method based on laser radar image

Similar Documents

Publication Publication Date Title
WO2013113500A1 (en) Driver assistance system and method for virtual representation of a road layout under obscured visibility and/or poor visibility conditions
EP3160813B1 (en) Method for producing a model of the surroundings of a vehicle
DE102017202115B4 (en) VEHICLE DEVICE, METHOD FOR CONTROLLING A VEHICLE DEVICE AND COMPUTER READABLE STORAGE MEDIUM
EP1994366B1 (en) Method and system for displaying navigation instructions
DE102013110332B4 (en) VISUAL GUIDANCE SYSTEM
EP2289058B1 (en) Method for combined output of an image and a piece of local information and corresponding motor vehicle
DE112019006171T5 (en) Display controller, display control program and non-transitory tangible computer readable storage medium
DE102015116043A1 (en) Line of sight guiding device for vehicles
WO2006037402A1 (en) Driving aid device for the representation of the subsequent road trajectory on a vehicle display which is positionally-accurate relative to the field of view of a driver of a motor vehicle
DE112018004521T5 (en) Overlay image display device and computer program
DE102014117751A1 (en) System and method for dynamically focusing vehicle sensors
DE10138719A1 (en) Method and device for displaying driving instructions, especially in car navigation systems
DE102021103149A1 (en) METHOD AND DEVICE FOR DETERMINING THE OPTIMAL CROSSING LANE IN AN ASSISTED DRIVING SYSTEM
DE102013200862A1 (en) Optimal viewing position on display for entire windscreen
DE10050741A1 (en) Vehicle lighting device
DE112017007019T5 (en) Vehicle display control device
DE112015006370T5 (en) Driver assistance system
DE102017223284A1 (en) A method of assisting a vehicle and vehicle assistant system
DE112022000380T5 (en) SYSTEMS AND METHODS FOR UNIFORM SPEED MAPPING AND NAVIGATION
DE102016220647A1 (en) A method of presenting at least one supplementary difference lane equipment
WO2005090918A1 (en) Method and device for precisely indicating driving instructions of a navigation system
DE102014220199B3 (en) Method for a motor vehicle with a camera, device and system
DE102006019111A1 (en) Driver assistance system for use during driving of e.g. lorry, has data processing mechanism producing position data, which characterizes position of vehicle relative to traffic lane on basis of driving side data and data of mechanism
DE102019133613B3 (en) Method for providing a three-dimensional map in a motor vehicle
EP2654027B1 (en) Method for emitting a warning before an overtaking procedure

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13702911

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 13702911

Country of ref document: EP

Kind code of ref document: A1