[go: up one dir, main page]

DE102016107421A1 - Method for displaying surrounding areas, which can not be detected by a detection device, in the surroundings of a motor vehicle, driver assistance system and motor vehicle - Google Patents

Method for displaying surrounding areas, which can not be detected by a detection device, in the surroundings of a motor vehicle, driver assistance system and motor vehicle Download PDF

Info

Publication number
DE102016107421A1
DE102016107421A1 DE102016107421.7A DE102016107421A DE102016107421A1 DE 102016107421 A1 DE102016107421 A1 DE 102016107421A1 DE 102016107421 A DE102016107421 A DE 102016107421A DE 102016107421 A1 DE102016107421 A1 DE 102016107421A1
Authority
DE
Germany
Prior art keywords
motor vehicle
environment
image
assistance system
driver assistance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102016107421.7A
Other languages
German (de)
Other versions
DE102016107421B4 (en
Inventor
Frank Blinkle
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Schalter und Sensoren GmbH
Original Assignee
Valeo Schalter und Sensoren GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter und Sensoren GmbH filed Critical Valeo Schalter und Sensoren GmbH
Priority to DE102016107421.7A priority Critical patent/DE102016107421B4/en
Publication of DE102016107421A1 publication Critical patent/DE102016107421A1/en
Application granted granted Critical
Publication of DE102016107421B4 publication Critical patent/DE102016107421B4/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Anzeigen von Bildern auf einer Anzeigeeinrichtung (6) eines Fahrerassistenzsystems (2) in einem Kraftfahrzeug (1), mit einem Erfassen von Bilddaten, die eine Umgebung (7) des Kraftfahrzeugs (1) repräsentieren, durch zumindest eine optische Erfassungseinrichtung (3) des Fahrerassistenzsystems (2), mit einem Verarbeiten von aktuell erfassten Bilddaten und zusätzlich von zuvor erfassten Bilddaten zu einem Bild (17), welches von oberhalb des Kraftfahrzeugs (1) eine Draufsicht auf zumindest einen Bereich des Kraftfahrzeug (1) und auf einen Umgebungsbereich des Kraftfahrzeugs (1) zeigt und mit einem Anzeigen des Bildes (17) auf der Anzeigeeinrichtung (6), wobei das Bild (17) einen Nahbereich (8) der Umgebung (7) zeigt, welcher in einer aktuellen Position des Kraftfahrzeugs (1) unter dem Kraftfahrzeug (1) liegt, um dem Fahrer eines Kraftfahrzeugs einen verbesserten Überblick über die Umgebung des Kraftfahrzeugs zu verschaffen. Die Erfindung betrifft auch ein entsprechendes Fahrerassistenzsystem (2).The invention relates to a method for displaying images on a display device (6) of a driver assistance system (2) in a motor vehicle (1), comprising capturing image data representing an environment (7) of the motor vehicle (1) by at least one optical Detection device (3) of the driver assistance system (2), with a processing of currently acquired image data and additionally from previously acquired image data to an image (17), which from above the motor vehicle (1) is a plan view of at least a portion of the motor vehicle (1) and to a surrounding area of the motor vehicle (1) and with the image (17) being displayed on the display device (6), the image (17) showing a vicinity (8) of the surroundings (7) which is in a current position of the motor vehicle (1) under the motor vehicle (1) to give the driver of a motor vehicle an improved overview of the environment of the motor vehicle. The invention also relates to a corresponding driver assistance system (2).

Description

Die Erfindung betrifft ein Verfahren zum Anzeigen von Bildern auf einer Anzeigeeinrichtung eines Fahrerassistenzsystems in einem Kraftfahrzeug, sowie ein Fahrerassistenzsystem für ein Kraftfahrzeug mit einer optischen Erfassungseinrichtung zum Erfassen von Bilddaten, welche eine Umgebung des Kraftfahrzeugs repräsentieren, mit einer Steuereinrichtung zum Verarbeiten von jeweils aktuell erfassten Bilddaten und zusätzlich von zuvor erfassten Bilddaten zu einem Bild, welches von oberhalb des Kraftfahrzeugs eine Draufsicht auf zumindest einen Bereich des Kraftfahrzeugs und auf einen Umgebungsbereich des Kraftfahrzeugs zeigt, und mit einer Anzeigeeinrichtung zum Anzeigen des Bildes. The invention relates to a method for displaying images on a display device of a driver assistance system in a motor vehicle, and to a driver assistance system for a motor vehicle having an optical detection device for capturing image data representing an environment of the motor vehicle, with a control device for processing respectively currently acquired image data and additionally from previously acquired image data to an image showing from above the motor vehicle a plan view of at least a region of the motor vehicle and to a surrounding region of the motor vehicle, and with a display device for displaying the image.

Bekannte automatische Einparksysteme von Kraftfahrzeugen, die typischerweise auf Abstandssensoren wie beispielsweise Ultraschallsensoren basieren, zeigen dem Fahrer erkannte Parklücken auf einem kleinen Display als Anzeigeeinrichtung an. Falls solch ein System mehrere Parklücken erkennt, werden diese oft alle angezeigt. Speziell im Falle einer Parklückenerkennung mit der zusätzlichen Erkennung von Straßenmarkierungen, können viele Parklücken auf einem Display dargestellt werden. Ohne ein reales Bild, welches allerdings aus den Daten der Abstandssensoren nicht gewonnen werden kann, ist eine korrekte Zuordnung einer jeweiligen Parklücke auf dem Display zu einer Parklücke in der realen Welt für den Fahrer oft schwierig. Known automatic parking systems of motor vehicles, which are typically based on distance sensors, such as ultrasonic sensors, display parking spaces identified by the driver on a small display as a display device. If such a system detects several parking spaces, these are often all displayed. Especially in the case of parking space detection with the additional recognition of road markings, many parking spaces can be displayed on a display. Without a real image, which, however, can not be obtained from the data of the distance sensors, a correct assignment of a respective parking space on the display to a parking space in the real world for the driver is often difficult.

Alternativ gibt es sogenannte Top-View-Systeme, bei denen auf der Anzeigeeinrichtung ein Erfassungsbereich einer Kamera oder eines anderen optischen Bilderfassungssystems dargestellt wird. Dabei werden die Kameradaten für eine Darstellung in einer Vogelperspektive umgerechnet, das heißt der Fahrer kann auf dem Display das von ihm gesteuerte Fahrzeug als Symboldarstellung in der realen Umgebung aus einer Vogelperspektive betrachten. Dabei ist problematisch, dass die Darstellung von dem aktuellen Sichtbereich der Kamera abhängt und mögliche Parklücken in größerer Entfernung, also außerhalb eines Nahbereichs des Kraftfahrzeugs, beispielsweise Parklücken, an denen das Kraftfahrzeug bereits vorbeigefahren ist, nicht dargestellt werden können. Alternatively, there are so-called top-view systems in which a detection range of a camera or another optical image acquisition system is displayed on the display device. In this case, the camera data for a representation in a bird's eye view are converted, that is, the driver can view the vehicle controlled by him on the display as a symbol representation in the real environment from a bird's eye view. It is problematic that the representation of the current field of view of the camera depends and possible parking spaces at a greater distance, so outside a vicinity of the motor vehicle, such as parking spaces where the motor vehicle has already passed, can not be displayed.

In diesem Zusammenhang offenbart die DE 10 2010 034 127 A1 ein Verfahren zum Anzeigen von Bildern auf einer Anzeigeeinrichtung eines Fahrerassistenzsystems in einem Kraftfahrzeug, bei welchem eine Draufsicht auf zumindest einen Bereich des Kraftfahrzeugs und einen Umgebungsbereich neben dem Kraftfahrzeug aus jeweils aktuell erfassten Bilddaten einer optischen Erfassungseinrichtung und zusätzlich aus zuvor erfassten Bilddaten erzeugt wird. Damit können zum Beispiel auch Parklücken, an denen das Kraftfahrzeug bereits vorbeigefahren ist, dargestellt werden. In this context, the DE 10 2010 034 127 A1 a method for displaying images on a display device of a driver assistance system in a motor vehicle, in which a plan view of at least one area of the motor vehicle and a surrounding area next to the motor vehicle is respectively generated from currently acquired image data of an optical detection device and additionally from previously acquired image data. Thus, for example, parking spaces at which the motor vehicle has already passed, can be displayed.

Die DE 10 2005 013 706 A1 offenbart eine Vorrichtung zur Unterstützung des Einparkens eines Fahrzeuges, mit einer Einrichtung zur Erfassung eines Bildes eines Umgebungsbereichs des Fahrzeugs in Form von Bilddaten und einer Einrichtung zur Wiedergabe der Bilddaten. Durch eine Bildüberlagerungseinrichtung werden weitere Bildinformationen, die aus Abstandsinformationen einer Abstandsmesseinrichtung gewonnen werden, über die Wiedergabe der Bilddaten im Bild überlagert. The DE 10 2005 013 706 A1 discloses an apparatus for assisting the parking of a vehicle, comprising means for acquiring an image of a surrounding area of the vehicle in the form of image data and means for displaying the image data. By means of an image superimposition device, further image information obtained from distance information of a distance measuring device is superimposed on the reproduction of the image data in the image.

Es ist die Aufgabe der Erfindung, ein Verfahren, ein Fahrerassistenzsystem und ein Kraftfahrzeug zu schaffen, bei welchem, dem Fahrer eines Kraftfahrzeugs ein verbesserter Überblick über die Umgebung des Kraftfahrzeugs verschafft ist. It is the object of the invention to provide a method, a driver assistance system and a motor vehicle, in which the driver of a motor vehicle is provided with an improved overview of the surroundings of the motor vehicle.

Diese Aufgabe wird durch die unabhängigen Patentansprüche gelöst. Vorteilhafte Ausführungsformen ergeben sich aus den abhängigen Patentansprüchen, der Beschreibung und den Figuren. This object is solved by the independent claims. Advantageous embodiments will become apparent from the dependent claims, the description and the figures.

Ein erfindungsgemäßes Verfahren zum Anzeigen von Bildern auf einer Anzeigeeinrichtung eines Fahrerassistenzsystems in einem Kraftfahrzeug umfasst eine Reihe von Schritten. Ein Schritt ist ein Erfassen von Bilddaten, die eine Umgebung des Kraftfahrzeugs präsentieren, durch zumindest eine optische Erfassungseinrichtung des Fahrerassistenzsystems. Ein weiterer Schritt ist das Verarbeiten von aktuell erfassten Bilddaten und zusätzlich von zuvor erfassten Bilddaten zu einem Bild, welches von oberhalb des Kraftfahrzeugs eine Draufsicht auf zumindest einen Bereich des Kraftfahrzeugs und auf einen Umgebungsbereich des Kraftfahrzeugs zeigt. Die Draufsicht kann also den zumindest einen Bereich des Kraftfahrzeugs oder das Kraftfahrzeug und auf den Umgebungsbereich des Kraftfahrzeugs aus einer Vogelperspektive darstellen. Das Erfassen und/oder das Verarbeiten kann hier auch in einem iterativen Prozess erfolgen, ähnlich wie es bei Panoramen aus Einzelbildern erfolgt. Beispielsweise können also im Rahmen des Verarbeitens ständig neue Bilddaten erfasst und neue Bilder erzeugt werden. Ein weiterer Schritt ist das Anzeigen des Bildes auf der Anzeigeeinrichtung. A method according to the invention for displaying images on a display device of a driver assistance system in a motor vehicle comprises a series of steps. One step is to acquire image data representing an environment of the motor vehicle by at least one optical detection device of the driver assistance system. A further step is the processing of currently acquired image data and additionally of previously acquired image data for an image, which shows a top view of at least one region of the motor vehicle and an environmental region of the motor vehicle from above the motor vehicle. The top view can therefore represent the at least one area of the motor vehicle or the motor vehicle and the surrounding area of the motor vehicle from a bird's eye view. Capturing and / or processing can also take place here in an iterative process, similar to the panoramas of individual images. For example, as part of the processing constantly new image data can be captured and new images are generated. Another step is to display the image on the display device.

Dabei kann das angezeigte Bild die Draufsicht aus einer Blickrichtung zeigen, die mit einer Fahrzeughochachse zusammenfällt. Alternativ kann die Draufsicht aus einer Blickrichtung gezeigt werden, die leicht zu der Fahrzeughochachse geneigt ist. Leicht kann hier weniger als 15, weniger als 10, weniger als 5 oder weniger als 3 Grad bedeuten. In this case, the displayed image can show the top view from a viewing direction, which coincides with a vehicle vertical axis. Alternatively, the plan view may be shown from a viewing direction that is slightly inclined to the vehicle vertical axis. Light weight can be less than 15, less than 10, less than 5, or less than 3 degrees.

Dabei zeigt das Bild einen Nahbereich der Umgebung, welcher in der aktuellen Position des Kraftfahrzeugs unter dem Kraftfahrzeug liegt. Der Nahbereich kann zusätzlich zu einem oder meheren anderen Bereichen der Umgebung gezeigt werden. Die Umgebung unter dem Kraftfahrzeug kann sich hier in der Draufsicht also hinter dem Kraftfahrzeug befinden und beispielsweise eine Straße oder einen sonstigen Boden unter dem Kraftfahrzeug darstellen. In dem Bild wird die dargestellte Umgebung von den zusätzlich zuvor erfassten Bilddaten repräsentiert und nicht von aktuell, also in der aktuellen Position des Kraftfahrzeugs erfassten Bilddaten. Der Nahbereich unter dem Kraftfahrzeug kann hier einen ersten Umgebungsbereich umfassen, welcher in Richtung der Fahrzeughochachse geometrisch unter dem Kraftfahrzeug liegt, und/oder einen zweiten Umgebungsbereich, welcher an den ersten Umgebungsbereich angrenzt und in Richtung der Fahrzeughochachse geometrisch neben dem Kraftfahrzeug liegt, jedoch außerhalb des aktuellen Erfassungsbereiches der zumindest einen optischen Erfassungseinrichtung liegt. Der erste Umgebungsbereich entspricht somit einer Projektion parallel zur Fahrzeughochachse auf einem Untergrund und der zweite Umgebungsbereich einem an den ersten Umgebungsbereich angrenzenden Rand. Der gezeigte Nahbereich kann auch dynamisch an jeweilige vorbestimmte Bedingungen angepasst werden, sodass in unterschiedlichen Bedingungen unterschiedliche Teile des ersten und/oder zweiten Umgebungsbereichs gezeigt werden. The image shows a near area of the environment, which is in the current position of the Motor vehicle is under the motor vehicle. The near zone may be shown in addition to one or more other areas of the environment. The surroundings under the motor vehicle can therefore be located behind the motor vehicle in plan view and represent, for example, a road or another floor under the motor vehicle. In the image, the represented environment is represented by the additionally previously acquired image data and not by current image data, that is to say in the current position of the motor vehicle. The vicinity under the motor vehicle may here comprise a first surrounding area which lies geometrically under the motor vehicle in the direction of the vertical axis of the vehicle and / or a second surrounding area which adjoins the first surrounding area and lies geometrically next to the motor vehicle in the direction of the vehicle vertical axis, but outside the vehicle current detection range of the at least one optical detection device is located. The first surrounding area thus corresponds to a projection parallel to the vehicle vertical axis on a substrate, and the second surrounding area corresponds to an edge adjoining the first surrounding area. The shown short range can also be adapted dynamically to respective predetermined conditions, so that different parts of the first and / or second surrounding area are shown in different conditions.

Das hat den Vorteil, dass der Fahrer Bodenmarkierungen oder überfahrbare Hindernisse wie Bordsteine wahrnehmen kann und so einen verbesserten Überblick über die Umgebung des Kraftfahrzeugs erhält. Infolge kann er beispielsweise ein Verhalten des Fahrzeugs besser einschätzen, wenn er über einen Bordstein fährt, oder eine Gefahrenstelle im Ausstiegsbereich, beispielsweise einen Gully, neben oder unter einem Türbereich des Kraftfahrzeugs leichter bemerken. Gerade an unübersichtlichen Stellen, in denen es meist eng ist und in denen gerade die nahe Umgebung des Kraftfahrzeugs, welche sich oft genug außerhalb eines direkten Blickfelds des Fahrers befindet, von besonderem Interesse ist, um Kollisionen und dergleichen zu vermeiden, ist das beschriebene Verfahren vorteilhaft. Der Fahrer kann somit genau prüfen, wie weit er in speziellen Fällen fahren kann, wenn der entsprechende Bereich der Umgebung, der Nahbereich, nicht mehr im Erfassungsbereich des Fahrzeuges oder im Sichtbereich des Fahrers ist. This has the advantage that the driver can perceive floor markings or obstacles that can be driven over, such as curbs, and thus obtain an improved overview of the surroundings of the motor vehicle. As a result, he can for example better estimate a behavior of the vehicle when he drives over a curb, or notice a danger point in the exit area, such as a gully, next to or under a door area of the motor vehicle easier. Especially at confusing places, where it is usually tight and in which just the vicinity of the motor vehicle, which is often enough outside a direct field of view of the driver, is of particular interest to avoid collisions and the like, the described method is advantageous , The driver can thus check exactly how far he can drive in special cases, when the corresponding area of the environment, the vicinity, is no longer in the detection range of the vehicle or in the field of vision of the driver.

In einer vorteilhaften Ausführungsform ist vorgesehen, dass der in der aktuellen Position des Kraftfahrzeugs unter dem Kraftfahrzeug liegende Nahbereich der Umgebung außerhalb eines aktuellen Erfassungsbereichs der zumindest einen optischen Erfassungseinrichtung liegt. Die optische Erfassungseinrichtung kann eine oder mehrere Kameras umfassen, beispielsweise eine 360 Grad-Kamera. Da die außerhalb eines aktuellen Erfassungsbereiches der üblichen optischen Erfassungseinrichtungen liegenden Umgebungen gerade Umgebungsbereiche sind, welche dem Kraftfahrzeug sehr nahe sind, ist eine optische Anzeige dieser Umgebung vorteilhaft. Im Stand der Technik wird dieser Nahbereich typischerweise ausschließlich durch Abstandssensoren wie beispielsweise Ultraschallsensoren erfasst, bei welchen naturgemäß viele für den Fahrer interessante Informationen nicht erfasst und entsprechend nicht wiedergegeben werden können. Diese Nachteile werden durch die geschilderte Ausführungsform vermieden. In an advantageous embodiment, it is provided that the near region of the environment lying in the current position of the motor vehicle below the motor vehicle lies outside a current detection range of the at least one optical detection device. The optical detection device may comprise one or more cameras, for example a 360-degree camera. Since the surroundings outside of a current detection range of the conventional optical detectors are just surrounding areas which are very close to the automobile, an optical indication of this environment is advantageous. In the prior art, this near range is typically detected exclusively by distance sensors, such as ultrasonic sensors, in which naturally many information of interest to the driver can not be detected and correspondingly can not be reproduced. These disadvantages are avoided by the described embodiment.

Bei der optischen Erfassungseinrichtung kann es sich um eine Erfassungseinrichtung handeln, welche in einem vorgegebenen Spektralbereich, insbesondere in dem für Menschen sichtbaren Spektralbereich, sensitiv ist. Alternativ oder ergänzend kann jedoch eine Sensitivität in einem weiteren Spektralbereich, beispielsweise im Bereich von Radarwellen vorhanden sein. Das hat den Vorteil, dass das Bild eine besonders genaue Darstellung der Umgebung des Kraftfahrzeugs liefert und dem Fahrer weitere Dimensionen oder nicht sichtbare Aspekte der Umgebung, welche mit oder nur mit der weiteren Erfassungseinrichtung erschließbar sind, eröffnen. The optical detection device may be a detection device which is sensitive in a predetermined spectral range, in particular in the spectral range visible to humans. Alternatively or additionally, however, a sensitivity may be present in a further spectral range, for example in the range of radar waves. This has the advantage that the image provides a particularly accurate representation of the environment of the motor vehicle and the driver further dimensions or non-visible aspects of the environment, which are openable with or only with the other detection device open.

In einer weiteren Ausführungsform ist vorgesehen, dass das Kraftfahrzeug oder der zumindest eine Bereich des Kraftfahrzeugs in dem Bild zumindest teilweise, also teil- oder bereichsweise oder vollständig, zumindest semi-transparent, also semi-transparent oder transparent, gezeigt wird. Semi-transparent soll hier heißen, dass das darunter angezeigte, durch das dargestellte Kraftfahrzeug oder den dargestellten Bereich des Kraftfahrzeugs hindurch erkennbar dargestellt wird. Dabei wird zumindest der Bereich des Kraftfahrzeugs zumindest semi-transparent dargestellt, indem vorbestimmte Objekte, beispielsweise Markierungen oder eingelassene Objekte wie Gullydeckel oder überfahrbare Hindernisse wie Bordsteine angeordnet sind und/oder erkannt wurden. Insbesondere wird jedoch eine Kontur des Kraftfahrzeugs nicht-transparent gezeigt. Eine Kontur kann hier ein Umriss sein. Unter Nichttransparenz kann hier opak verstanden werden. Das hat den Vorteil, dass die Umgebung unter dem Kraftfahrzeug durch den Fahrer auf besonders intuitive Weise in Relation zu der realen Umgebung und dem Verhalten des Kraftfahrzeugs gesetzt werden kann. Außerdem können so Objekte in der Umgebung für den Fahrer leicht erkennbar sein und gleichzeitig das Kraftfahrzeug oder der Bereich des Kraftfahrzeugs ohne weiteres noch als solches erkannt werden. Somit wird auch hierdurch der Überblick des Fahrers über die Umgebung des Kraftfahrzeugs verbessert. In a further embodiment, it is provided that the motor vehicle or the at least one region of the motor vehicle in the image at least partially, that is partially or partially or completely, at least semi-transparent, ie semi-transparent or transparent, is shown. Semi-transparent is to be understood here as meaning that the one indicated below is recognizable through the illustrated motor vehicle or the illustrated area of the motor vehicle. In this case, at least the region of the motor vehicle is shown at least semi-transparent by predetermined objects, such as markers or recessed objects such as manhole cover or overflow obstacles such as curbs are arranged and / or were recognized. In particular, however, a contour of the motor vehicle is shown non-transparent. A contour can be an outline here. Non-transparency can be understood here as opaque. This has the advantage that the environment under the motor vehicle can be set by the driver in a particularly intuitive manner in relation to the real environment and the behavior of the motor vehicle. In addition, objects in the environment can thus be easily recognizable to the driver and, at the same time, the motor vehicle or the area of the motor vehicle can easily be recognized as such. Thus, this also improves the overview of the driver about the environment of the motor vehicle.

In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass in dem Bild zumindest ein Umgebungsbereich mit vorgegebenen Eigenschaften optisch hervorgehoben wird. Insbesondere kann ein Umgebungsbereich hervorgehoben werden, in welchem durch das Fahrerassistenzsystem eine Parkmöglichkeit und/oder ein Parkverbot und/oder eine Bodenmarkierung, zum Beispiel eine Parkplatznummer oder eine Schraffierung oder ein Verbotssignal, und/oder ein überfahrbares Hindernis, zum Beispiel ein Bordstein, und/oder ein nicht überfahrbares Hindernis, zum Beispiel ein anderes Kraftfahrzeug und/oder ein Poller, und/oder eine Gefahrenstelle, zum Beispiel ein Gully und/oder eine Böschung, erkannt wurde. Der zumindest eine Umgebungsbereich kann hier auch signalisierend markiert werden. Das hat den Vorteil, dass gerade auf einer Anzeigeeinrichtung mit begrenzter Größe die Übersichtlichkeit verbessert wird, da so auch kleine Hindernisse, Gefahrenstellen oder Markierungen, welche sonst auf der Anzeigeeinrichtung leicht übersehen werden, für den Fahrer oder einen sonstigen Benutzer besonders einfach erfassbar sind. In a further advantageous embodiment, it is provided that at least one surrounding area with predetermined properties is optically highlighted in the image. In particular, a surrounding area can be highlighted, in which by the driver assistance system a parking space and / or a parking prohibition and / or a ground mark, for example a parking lot number or hatching or a prohibition signal, and / or a drive-over obstacle, for example a curb, and / or a non-drivable obstacle, for example another motor vehicle and / or a bollard, and / or a danger spot, for example a gully and / or an embankment, has been detected. The at least one surrounding area can also be marked here signaling. This has the advantage that the clarity is improved, especially on a display device with a limited size, since even small obstacles, danger spots or markings, which are otherwise easily overlooked on the display device, are particularly easy to detect for the driver or another user.

In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass abhängig von den durch die optische Erfassungseinrichtung erfassten Bilddaten eine erste Umgebungskarte erzeugt wird und das Bild eine Darstellung dieser Umgebungskarte oder zumindest eines Teils der Umgebungskarte umfasst. In einer solchen Umgebungskarte können eine Vielzahl von Objekten mit jeweiligen räumlichen Bezügen zueinander und jeweiligen Abmessungen hinterlegt werden. Insbesondere kann in der Umgebungskarte auch eine Metrik im Sinne eines metrischen Raumes definiert sein. Das hat den Vorteil, dass die Wiedergabe der Umgebung auf dem Bild besonders genau ist und die Integration weiterer Daten bezüglich der Umgebung des Kraftfahrzeugs auf besonders einfache Art und Weise möglich ist und dabei genaue Ergebnisse liefert. Auch können so weitere Transformationen, beispielsweise ein Skalieren, besonders einfach und schnell mit wenig Rechenaufwand erfolgen. In a further advantageous embodiment it is provided that, depending on the image data acquired by the optical detection device, a first environment map is generated and the image comprises a representation of this environment map or at least a part of the environment map. In such an environment map, a plurality of objects with respective spatial references to each other and their respective dimensions can be deposited. In particular, a metric in the sense of a metric space can also be defined in the environment map. This has the advantage that the reproduction of the environment on the image is particularly accurate and the integration of further data with respect to the environment of the motor vehicle in a particularly simple manner is possible and provides accurate results. In addition, further transformations, for example scaling, can be carried out particularly simply and quickly with little computation effort.

In einer weiteren vorteilhaften Ausführungsform kann vorgesehen sein, dass weitere Informationen aus der Umgebung des Kraftfahrzeugs durch eine weitere Erfassungseinrichtung erfasst werden, und bei dem Verarbeiten der Bilddaten zu dem Bild die weiteren Informationen berücksichtigt werden. Die weiteren Informationen können insbesondere Abstandsdaten umfassen. Alternativ können Abstandsdaten auch aus den erfassten Bilddaten direkt generiert werden, beispielsweise über Bilderkennungsroutinen. Derartige Bilderkennungsroutinen sind bevorzugt zu nutzen, wenn die optische Erfassungseinrichtung eine Stereo-Kamera umfasst. In diesem letzten Fall können die weiteren Informationen auch ohne weitere Erfassungseinrichtung bei dem Verarbeiten der Bilddaten zu dem Bild berücksichtigt werden. In a further advantageous embodiment it can be provided that further information from the environment of the motor vehicle is detected by a further detection device, and in the processing of the image data to the image, the further information is taken into account. The further information may in particular include distance data. Alternatively, distance data can also be generated directly from the acquired image data, for example via image recognition routines. Such image recognition routines are preferable to use when the optical detection device comprises a stereo camera. In this last case, the further information can also be taken into account in the processing of the image data for the image without further detection device.

Bei der weiteren Erfassungseinrichtung handelt es sich insbesondere um eine zur optischen Erfassungseinrichtung funktionell verschiedene Erfassungseinrichtung. Das hat den Vorteil, dass der visuelle Eindruck, den der Fahrer aus dem Bild der optischen Erfassungseinrichtung erhält, zusätzlich quantifiziert bzw. konkretisiert werden kann, beispielsweise durch eine Anzeige von Abstandsdaten, was sowohl in Zahlenform als auch in der etablierten Form von Schwellwerten oder Schwellwertbalkenanzeigen geschehen kann. Auch kann so beispielsweise eine Größe eines Parkplatzes oder einer Parklücke angezeigt werden. The further detection device is, in particular, a detection device functionally different from the optical detection device. This has the advantage that the visual impression which the driver receives from the image of the optical detection device can be additionally quantified or concretized, for example by an indication of distance data, which is displayed both in numerical form and in the established form of threshold values or threshold value bars can happen. Also, for example, a size of a parking space or a parking space can be displayed.

Dabei kann vorgesehen sein, dass die weitere Erfassungseinrichtung eine Abstandsmesseinrichtung umfasst und die weiteren Informationen Abstandsdaten des Kraftfahrzeugs zu einem oder mehreren Objekten in der Umgebung umfassen. Bei der Abstandsmesseinrichtung kann es sich um eine Ultraschallabstandsmesseinrichtung handeln. Das hat den Vorteil, dass die in modernen Fahrzeugen üblicherweise bereits verwendeten Parksensoren, welche oft auf Ultraschallsensoren basieren, genutzt werden können und so zusätzlich ohne großen Mehraufwand die Genauigkeit des Bildes und der Überblick des Fahrers über die Umgebung verbessert werden kann. Überdies sind durch derartige Abstandsmesseinrichtungen auch gerade dem Kraftfahrzeug nahe Bereiche, welche oft außerhalb eines Erfassungsbereiches einer optischen Erfassungseinrichtung liegen, gut erfassbar. Damit kann auch der Nahbereich des Kraftfahrzeugs, welcher in einer aktuellen Position des Kraftfahrzeugs bereits außerhalb des Erfassungsbereichs der optischen Erfassungseinrichtung liegt, erfasst und somit basierend auf aktuellen oder zumindest aktuelleren Daten in dem Bild dargestellt werden, als wenn lediglich die Bilddaten bei dem Verarbeiten der Bilddaten zu dem Bild berücksichtigt würden. It can be provided that the further detection device comprises a distance measuring device and the further information includes distance data of the motor vehicle to one or more objects in the environment. The distance measuring device may be an ultrasonic distance measuring device. This has the advantage that the parking sensors which are usually already used in modern vehicles and which are often based on ultrasonic sensors can be used, and thus the accuracy of the image and the driver's overview of the surroundings can be improved without much additional effort. Moreover, by means of such distance measuring devices, regions which are close to the motor vehicle and often lie outside a detection range of an optical detection device can easily be detected. Thus, the proximity region of the motor vehicle, which is already outside the detection range of the optical detection device in a current position of the motor vehicle, can be detected and thus represented in the image based on current or at least more recent data than if only the image data were processed during the processing of the image data would be considered to the picture.

In einer weiteren Ausführungsform ist vorgesehen, dass abhängig von den weiteren Informationen eine zweite Umgebungskarte erzeugt wird, die beiden Umgebungskarten überlagert werden, und ein aus den überlagerten Umgebungskarten erzeugtes Bild auf der Anzeigeeinrichtung angezeigt wird. Das hat den Vorteil, dass das Bild eine nochmals genauere Darstellung der Umgebung zeigt. Überdies sind weitere Transformationen, beispielsweise ein Skalieren oder ein dynamisches Anzeigen der Umgebung so von der konkreten Darstellung auf dem Bild unabhängig und mathematisch besonders leicht handhabbar, sodass auch mit wenig Rechenaufwand in unterschiedlichen Situationen die jeweils für den bestmöglichen Überblick über die Umgebung des Kraftfahrzeugs geeignete Darstellung durch eine Steuereinrichtung oder den Fahrer gewählt werden kann. In a further embodiment it is provided that, depending on the further information, a second environment map is generated, the two environment maps are superimposed, and an image generated from the superimposed environment maps is displayed on the display device. This has the advantage that the picture shows an even more accurate representation of the environment. Moreover, further transformations, for example scaling or dynamic display of the environment, are thus independent of the concrete representation on the image and very easy to handle mathematically, so that the representation is suitable for the best possible overview of the surroundings of the motor vehicle, even with little computational effort in different situations can be selected by a controller or the driver.

In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass in dem erzeugten Bild die erste Umgebungskarte nicht-transparent dargestellt wird und die zweite Umgebungskarte zumindest bereichsweise semi-transparent oder transparent erzeugt wird und die zweite Umgebungskarte der ersten Umgebungskarte in dem Bild überlagert wird. Das erzeugte Bild kann somit eine nicht-transparente Darstellung der ersten Umgebungskarte umfassen sowie eine zumindest bereichsweise transparente und/oder semi-transparente Darstellung der zweiten Umgebungskarte, welche auf dem Bild über die Darstellung der ersten Umgebungskarte gelegt werden kann. Das hat den Vorteil, dass die Zuordnung von in der zweiten Umgebungskarte erkannten Objekten, beispielsweise Parklücken zur realen Welt, welche in der ersten Umgebungskarte abgebildet ist, besonders einfach ist. In a further advantageous embodiment, it is provided that in the generated image, the first environment map is displayed non-transparent and the second environment map is generated at least partially semi-transparent or transparent and the second environment map of the first environment map is superimposed in the image. The generated image may thus comprise a non-transparent representation of the first environment map and an at least partially transparent and / or semi-transparent representation of the second environment map, which can be placed on the image on the representation of the first map of the area. This has the advantage that the assignment of objects detected in the second environment map, for example parking spaces to the real world, which is depicted in the first environment map, is particularly simple.

In einer weiteren Ausführungsform kann hier vorgesehen sein, dass ein mit der weiteren Erfassungseinrichtung identifizierbarer Bereich in der Umgebung ortsgenau in der Darstellung der Umgebung in der ersten Umgebungskarte überlagert dargestellt wird. Der identifizierbare Bereich kann auch als identifizierbare Zone bezeichnet werden. Die identifizierbare Zone kann dabei insbesondere nur mit der weiteren Erfassungseinrichtung identifizierbar sein. Die weitere Erfassungseinrichtung erkennt für die identifizierbare Zone oder den identifizierbaren Bereich deren oder dessen Art beziehungsweise Typ. Dabei kann die weitere Erfassungseinrichtung beispielsweise auch auf externe Dienste, wie beispielsweise ein Internet zugreifen, um Eigenschaften über die Umgebung zu erfassen und eine jeweilige Zone zu identifizieren. Durch die ortsgenaue Überlagerung wird eine zuvor nur in der zweiten Umgebungskarte hinterlegte präzise Information, beispielsweise mit genaueren Abmessungen als die optische Erfassungseinrichtung dies ermöglicht, der ersten Umgebungskarte für den Fahrer intuitiv nachvollziehbar zugeordnet. Damit wird für den Fahrer ein besserer Überblick über die Umgebung des Kraftfahrzeugs realisiert, sodass er hier die in der zweiten Umgebungskarte durch das Fahrerassistenzsystem erkannten Merkmale einfach und schnell der realen Welt zuordnen kann. In a further embodiment, it may be provided here that an area identifiable with the further detection device is shown superimposed in the surroundings in the location in the representation of the surroundings in the first environment map. The identifiable region may also be referred to as an identifiable zone. The identifiable zone may in particular be identifiable only with the further detection device. The further detection device recognizes its or its type or type for the identifiable zone or the identifiable area. In this case, the further detection device can, for example, also access external services, such as for example an Internet, in order to detect properties about the environment and to identify a respective zone. Due to the location-specific overlay, a precise information previously stored only in the second environment map, for example with more accurate dimensions than the optical detection device, is assigned to the first environment map in an intuitively comprehensible manner for the driver. This provides the driver with a better overview of the surroundings of the motor vehicle, so that he can easily and quickly assign the features recognized in the second environment map by the driver assistance system to the real world.

Insbesondere wird somit eine Zone, die in der Umgebungskarte der optischen Erfassungseinrichtung erfasst bzw. dargestellt ist, jedoch in ihrer Funktion und Eignung durch die optische Erfassungseinrichtung nicht bewertet werden kann, dann auch funktional identifiziert. Dies ist dann durch die weitere Erfassungseinrichtung ermöglicht. In dem Bild ist dann die Zone insbesondere redundant dargestellt und durch die ortsgenaue Überlagerung wird durch die Darstellung der Zone in der zweiten Umgebungskarte auch eine funktionelle Signalisierung dieser Zone erreicht und dem Beobachter optische entsprechend signalisiert bzw. präsentiert. In particular, a zone that is detected in the environment map of the optical detection device but can not be evaluated in its function and suitability by the optical detection device is thus also functionally identified. This is then made possible by the further detection device. In the image, the zone is then shown in particular redundant and by the local superposition is achieved by the representation of the zone in the second environment map also a functional signaling of this zone and the observer optically signaled or presented accordingly.

In einer weiteren Ausführungsform ist vorgesehen, dass ein nichtlinearer Maßstab, insbesondere ein logarithmischer Maßstab, für das Anzeigen des Bildes verwendet wird. Dabei können Objekte in den der Darstellung des Kraftfahrzeugs näheren Bildbereichen größer dargestellt werden als Objekte, in den der Darstellung des Kraftfahrzeugs ferneren Bildbereichen. Es wird somit eine große, detailreiche Darstellung eines Nahbereichs des Kraftfahrzeugs kombiniert mit dem Überblick, den eine Darstellung auch des Fernbereichs in dem Bild liefert. Gleichzeitig leidet die Darstellung des Nahbereichs, welche für das Vermeiden von Kollisionen von besonderer Bedeutung ist, also nicht unter der Bereitstellung eines Überblicks über einen großen Umgebungsbereich des Kraftfahrzeugs. Auch ist eine relativ zum Fernbereich vergrößerte Darstellung des Nahbereichs vorteilhaft, da gerade die im Nahbereich interessanten Merkmale der Umgebung (z.B. ein Gully oder ein Bordstein) typischerweise kleiner sind, als die Merkmale im Fernbereich (z.B. Parkmöglichkeiten oder weitere Fahrzeuge). In a further embodiment it is provided that a non-linear scale, in particular a logarithmic scale, is used for displaying the image. In this case, objects in the representation of the motor vehicle closer image areas can be displayed larger than objects in the representation of the motor vehicle more distant image areas. Thus, a large, detailed representation of a close-up of the motor vehicle is combined with the overview provided by a representation of the long-range in the image. At the same time, the representation of the proximity area, which is of particular importance for the avoidance of collisions, does not suffer from the provision of an overview of a large surrounding area of the motor vehicle. Also, a close-up representation that is enlarged relative to the far-end area is advantageous, as it is precisely those features of the environment (e.g., gullies or curbs) of interest in the vicinity that are typically smaller than the far-range features (e.g., parking or other vehicles).

In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass das Bild in Abhängigkeit von einer Fahrgeschwindigkeit und/oder einer Fahrtrichtung des Kraftfahrzeugs skaliert wird. Das hat den Vorteil, dass beispielsweise bei einer langsamen Fahrgeschwindigkeit nur die nähere Umgebung des Kraftfahrzeugs dargestellt wird, und bei einer höheren Fahrgeschwindigkeit ein größerer Umgebungsbereich. Auch kann gerade bei einer Rückwärtsfahrt ein kleinerer Ausschnitt der Umgebung dargestellt werden. Gerade bei einer Rückwärtsfahrt ist auch die Anzeige einer unter dem Kraftfahrzeug befindlichen Umgebung hilfreich, da sich die rückwärtige Umgebung oftmals für einen Fahrer nur schwer einsehen lässt, sodass Hindernisse oder Objekte am Boden sowie Markierungen am Boden leicht übersehen werden können. Es kann somit stets ein relevanter Bereich der Umgebung dem Fahrer angezeigt werden. Dabei kann auch auf einen nichtlinearen Maßstab verzichtet werden, welcher u.U. für einen Fahrer gewöhnungsbedürftig sein könnte. In a further advantageous embodiment, it is provided that the image is scaled as a function of a driving speed and / or a direction of travel of the motor vehicle. This has the advantage that, for example, at a slow driving speed, only the nearer surroundings of the motor vehicle are displayed, and at a higher driving speed, a larger surrounding area. Also, especially during a reverse drive, a smaller section of the environment can be displayed. Especially when reversing the display of an under the vehicle environment is helpful because the rear environment is often difficult for a driver to see, so that obstacles or objects on the ground and markers on the ground can be easily overlooked. Thus, a relevant area of the environment can always be displayed to the driver. It can also be on a non-linear scale are omitted, which could be used to a driver might need.

In einer anderen vorteilhaften Ausführungsform ist vorgesehen, dass der zumindest eine Bereich des Kraftfahrzeugs oder das Kraftfahrzeug auf dem Bild abhängig von der Fahrgeschwindigkeit und/oder der Fahrtrichtung und/oder einer Routenführung durch das Fahrerassistenzsystem und/oder einer Parkführung durch das Fahrerassistenzsystem und/oder einer aktivierten Fahrtrichtungsänderungsanzeigeeinrichtung des Kraftfahrzeugs zentral oder dezentral im Bild angezeigt wird. Auch hier kann so jeweils der Bereich der Umgebung des Kraftfahrzeugs angezeigt werden, welcher aller Erfahrung oder Voraussicht nach für den Fahrer von besonderer Relevanz ist. Auch hier kann auf einen nichtlinearen Maßstab verzichtet werden, welcher u.U. für einen Fahrer gewöhnungsbedürftig sein könnte. In another advantageous embodiment it is provided that the at least one region of the motor vehicle or the motor vehicle in the image depends on the driving speed and / or the direction of travel and / or a route guidance by the driver assistance system and / or a park guidance by the driver assistance system and / or a activated direction change display device of the motor vehicle is displayed centrally or decentralized in the image. Here as well, the region of the surroundings of the motor vehicle can be displayed, which is of particular relevance to the driver for all experience or foresight. Again, can be dispensed with a non-linear scale, which u.U. could get used to for a driver.

Die Erfindung betrifft auch ein Fahrerassistenzsystem für ein Kraftfahrzeug, mit zumindest einer optischen Erfassungseinrichtung zum Erfassen von Bilddaten, welche eine Umgebung des Kraftfahrzeugs repräsentieren, mit einer Steuereinrichtung zum Verarbeiten von jeweils aktuell erfassten Bilddaten und zusätzlich von zuvor erfassten Bilddaten zu einem Bild, welches von oberhalb des Kraftfahrzeugs eine Draufsicht auf zumindest einen Bereich des Kraftfahrzeugs und auf einen Umgebungsbereich des Kraftfahrzeugs zeigt, sowie mit einer Anzeigeeinrichtung zum Anzeigen des Bildes. Dabei ist die Steuereinrichtung ausgelegt, in dem Bild auch einen Nahbereich der Umgebung zu zeigen, welcher in der aktuellen Position des Kraftfahrzeugs unter dem Kraftfahrzeug liegt. The invention also relates to a driver assistance system for a motor vehicle, having at least one optical detection device for acquiring image data representing an environment of the motor vehicle, with a control device for processing respectively currently acquired image data and additionally from previously acquired image data for an image which is from above of the motor vehicle shows a plan view of at least a portion of the motor vehicle and on a surrounding area of the motor vehicle, and with a display device for displaying the image. In this case, the control device is designed to also show in the image a proximity of the surroundings, which lies in the current position of the motor vehicle under the motor vehicle.

Vorteile und vorteilhafte Ausführungsformen des Fahrerassistenzsystems entsprechen hier Vorteilen und vorteilhaften Ausführungsformen des Verfahrens zum Anzeigen von Bildern auf einer Anzeigeeinrichtung des Fahrerassistenzsystems und umgekehrt. Advantages and advantageous embodiments of the driver assistance system here correspond to advantages and advantageous embodiments of the method for displaying images on a display device of the driver assistance system and vice versa.

In einer weiteren vorteilhaften Ausführungsform ist hier vorgesehen, dass das Fahrerassistenzsystem auf ein teilautonomes und/oder autonomes Parken ausgelegt ist. Unter einem teilautonomen Parken soll hier auch ein assistiertes Parken verstanden werden können, bei welchem beispielsweise ein Lenkeinschlag durch das Fahrerassistenzsystem und eine Stellung des Gaspedals durch einen Fahrer bestimmt wird. Das Parken kann dabei ein Ein- und/oder ein Ausparken umfassen. Das hat den Vorteil, dass durch das Anzeigen des unter dem Kraftfahrzeug befindlichen Nahbereichs und den verbesserten Überblick über die Umgebung Überraschungen für den Fahrer vermieden werden. So wird er beispielsweise bei dem Überfahren eines Bordsteines leichter einschätzen können, wie viel Gas er zu geben hat oder nicht erschrecken, wenn bei einem autonomen Parkvorgang das Fahrzeug plötzlich und ohne eine entsprechende Anzeige unvermittelt Gas gibt. In a further advantageous embodiment, it is provided here that the driver assistance system is designed for partially autonomous and / or autonomous parking. Under a semi-autonomous parking is also an assisted parking can be understood, in which, for example, a steering angle determined by the driver assistance system and a position of the accelerator pedal by a driver. Parking can include entry and / or parking. This has the advantage that surprises for the driver can be avoided by displaying the proximity area under the motor vehicle and the improved overview of the surroundings. For example, when driving over a curb, he will be able to more easily estimate how much gas he has to give or not to scare, if in an autonomous parking operation the vehicle suddenly suddenly and without a corresponding indication gas.

Die Erfindung betrifft auch ein Kraftfahrzeug mit einem derartigen Fahrerassistenzsystem. The invention also relates to a motor vehicle with such a driver assistance system.

Mit der Angabe „unter“ kann hier die bei bestimmungsgemäßem Gebrauch und bestimmungsgemäßem Anordnen das Fahrzeugs und bei einem dann vor dem Fahrzeug stehenden oder in dem Kraftfahrzeug sitzenden Beobachter gegebene Position und Orientierung gemeint sein. The term "below" may here mean the position and orientation given when the vehicle is used as intended and disposed of as intended and when an observer is seated in front of the vehicle or seated in the motor vehicle.

Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen. Further features of the invention will become apparent from the claims, the figures and the description of the figures. The features and feature combinations mentioned above in the description, as well as the features and feature combinations mentioned below in the description of the figures and / or shown alone in the figures, can be used not only in the respectively specified combination but also in other combinations without the scope of the invention leave. Thus, embodiments of the invention are to be regarded as encompassed and disclosed, which are not explicitly shown and explained in the figures, however, emerge and can be produced by separated combinations of features from the embodiments explained. Embodiments and combinations of features are also to be regarded as disclosed, which thus do not have all the features of an originally formulated independent claim. Moreover, embodiments and combinations of features, in particular by the embodiments set out above, are to be regarded as disclosed, which go beyond or deviate from the combinations of features set out in the back references of the claims.

Ausführungsbeispiele der Erfindung werden nachfolgend anhand schematischer Zeichnungen näher erläutert. Dabei zeigen: Embodiments of the invention are explained in more detail below with reference to schematic drawings. Showing:

1 eine schematische Draufsicht auf ein Kraftfahrzeug mit einem Fahrerassistenzsystem; 1 a schematic plan view of a motor vehicle with a driver assistance system;

2 eine Ausführungsform einer Anzeigeeinrichtung, mit einer beispielhaften Darstellung einer ersten Umgebungskarte in einer beispielhaften Verkehrssituation; 2 an embodiment of a display device, with an exemplary representation of a first area map in an exemplary traffic situation;

3 die Anzeigeeinrichtung aus 2 in einer auf die erste Verkehrssituation folgenden Verkehrssituation; 3 the display device off 2 in a traffic situation following the first traffic situation;

4 die Anzeigeeinrichtung aus 2 in einer weiteren, auf die ersten beiden Verkehrssituationen folgenden Verkehrssituation; 4 the display device off 2 in a further traffic situation following the first two traffic situations;

5 die Anzeigeeinrichtung aus 2 in der dortigen Verkehrssituation mit einer beispielhaften Darstellung einer zweiten Umgebungskarte; und 5 the display device off 2 in the local traffic situation with an exemplary representation of a second area map; and

6 eine beispielhafte Überlagerung der beiden Umgebungskarten aus 2 und 5. 6 an exemplary overlay of the two environment maps 2 and 5 ,

In den Figuren werden gleiche oder funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen. In the figures, identical or functionally identical elements are provided with the same reference numerals.

1 zeigt eine schematische Darstellung eines Kraftfahrzeugs 1 mit einem Fahrerassistenzsystem 2. Das Fahrerassistenzsystem 2 umfasst hier eine optische Erfassungseinrichtung 3, welche vorliegend mehrere, gezeigt vier, Kameras 3a, 3b, 3c und 3d aufweist. Die optische Erfassungseinrichtung 3 könnte jedoch beispielsweise auch mehr oder weniger Kameras aufweisen, z.B. eine einzige 360° Kamera. Zusätzlich zu der optischen Erfassungseinrichtung 3 weist das Fahrerassistenzsystem 2 hier auch eine weitere Erfassungseinrichtung 5, vorliegend mit den weiteren Sensoren 5a, 5b, 5c, 5d, 5e, 5f, 5g, 5h auf, die hier als Ultraschallsensoren ausgeführt sind. Das Fahrerassistenzsystem 2 umfasst ferner eine Steuereinrichtung 3, welche mit der optischen Erfassungseinrichtung 3 sowie mit einer Anzeigeeinrichtung 6 gekoppelt ist. 1 shows a schematic representation of a motor vehicle 1 with a driver assistance system 2 , The driver assistance system 2 here comprises an optical detection device 3 , which present several, shown four, cameras 3a . 3b . 3c and 3d having. The optical detection device 3 could, however, for example, more or have fewer cameras, eg a single 360 ° camera. In addition to the optical detection device 3 has the driver assistance system 2 here also another detection device 5 , present with the other sensors 5a . 5b . 5c . 5d . 5e . 5f . 5g . 5h on, which are designed here as ultrasonic sensors. The driver assistance system 2 further comprises a control device 3 , which with the optical detection device 3 as well as with a display device 6 is coupled.

Die optische Erfassungseinrichtung 3 dient hier dem Erfassen von Bilddaten, welche eine Umgebung 7 des Kraftfahrzeugs 1 repräsentieren. Diese Bilddaten werden in der Steuereinrichtung 4 zu einem Bild verarbeitet. Hierfür nutzt die Steuereinrichtung 4 sowohl aktuell erfasste Bilddaten als auch zusätzlich dazu zuvor erfasste Bilddaten. Das aus den Bilddaten erzeugte Bild zeigt eine Draufsicht, beispielsweise aus einer Vogelperspektive, auf zumindest einen Bereich des Kraftfahrzeugs 1 und auf einen Umgebungsbereich des Kraftfahrzeugs 1. The optical detection device 3 here serves to capture image data representing an environment 7 of the motor vehicle 1 represent. This image data is stored in the controller 4 processed into a picture. For this purpose, the controller uses 4 both currently captured image data and in addition to previously captured image data. The image generated from the image data shows a plan view, for example from a bird's eye view, of at least one area of the motor vehicle 1 and to a surrounding area of the motor vehicle 1 ,

Im vorliegenden Ausführungsbeispiel kann durch die Steuereinrichtung 4 aus den über die optische Erfassungseinrichtung 3 erfassten Bilddaten eine erste Umgebungskarte 9 (24) erzeugt werden. Das in der Anzeigeeinrichtung 6 dargestellte Bild ist dann eine Darstellung dieser ersten Umgebungskarte 9. In the present embodiment, by the control device 4 from the via the optical detection device 3 captured image data a first map of the area 9 ( 2 - 4 ) be generated. That in the display 6 The picture displayed is then a representation of this first map of the surroundings 9 ,

Zusätzlich verarbeitet die Steuereinrichtung 4 in diesem Beispiel auch weitere Informationen aus der Umgebung 7 des Kraftfahrzeugs 1, die durch die weitere Erfassungseinrichtung 5 erfasst werden. Vorliegend handelt es sich bei der weiteren Erfassungseinrichtung 5 um eine Ultraschallabstandsmesseinrichtung, welche Informationen in Form von Abstandsdaten des Kraftfahrzeugs 1 zu jeweiligen Objekten in der Umgebung 7 erfassen. Die Steuereinrichtung 4 verarbeitet in diesem Beispiel die weiteren Informationen zu einer zweiten Umgebungskarte 9’ (5). Die Steuereinrichtung 4 ist entsprechend ausgelegt, die beiden Umgebungskarten 9, 9’ ortsgenau zu überlagern und ein aus den überlagerten Umgebungskarten 9, 9’ erzeugtes Bild 17 (6) auf der Anzeigeeinrichtung 6 anzuzeigen. In addition, the controller processes 4 in this example also more information from the environment 7 of the motor vehicle 1 passing through the further detection device 5 be recorded. In the present case, the further detection device is concerned 5 an ultrasonic distance measuring device, which information in the form of distance data of the motor vehicle 1 to respective objects in the environment 7 to capture. The control device 4 processes in this example the further information about a second environment map 9 ' ( 5 ). The control device 4 is designed accordingly, the two environment maps 9 . 9 ' to be superimposed in the exact location and one from the superimposed environment maps 9 . 9 ' generated image 17 ( 6 ) on the display device 6 display.

Ein Nahbereich 8 der Umgebung 7 des Kraftfahrzeugs 1, welcher die Umgebung unter dem Kraftfahrzeug sowie einen sich an den geometrisch unter dem Kraftfahrzeug befindlichen Bereich der Umgebung anschließenden Randbereich umfasst, befindet sich hier außerhalb des Erfassungsbereichs des optischen Erfassungssystems 3. Vorliegend werden in der ersten Umgebungskarte 9 somit die Informationen im Nahbereich 8 der Umgebung 7 stets nur aus zuvor erfassten Bilddaten und nicht aus den aktuell erfassten Bilddaten erzeugt. Hier ist der Nahbereich 8 von rechteckiger Form, er kann jedoch auch in Abhängigkeit des Erfassungsbereichs des optischen Erfassungssystems 3 und auch des weiteren Erfassungsbereichs des weiteren Erfassungssystems 5 eine andere Form annehmen. A close range 8th the environment 7 of the motor vehicle 1 , which comprises the surroundings under the motor vehicle and an edge region adjoining the region of the surroundings which is geometrically located below the motor vehicle, is here outside the detection range of the optical detection system 3 , Present in the first map of the area 9 thus the information at close range 8th the environment 7 always generated only from previously acquired image data and not from the currently acquired image data. Here is the close range 8th However, it may also vary depending on the detection range of the optical detection system 3 and also the further detection range of the further detection system 5 take a different form.

2 zeigt eine Ausführungsform einer Anzeigeeinrichtung 6, mit einer beispielhaften Darstellung der ersten Umgebungskarte 9 in einer beispielhaften Verkehrssituation. Die Umgebungskarte 9 entspricht hier bei einer Verwendung der optischen Erfassungseinrichtung 3 ohne weitere Erfassungseinrichtung(en) 5 dem dargestellten Bild 17 (6). Allerdings kann die Umgebungskarte 9 allgemein auch Elemente umfassen, die vorliegend bzw. auf dem Bild 17 als Ausschnitt einer Karte nicht gezeigt sind. 2 shows an embodiment of a display device 6 , with an exemplary representation of the first map of the area 9 in an exemplary traffic situation. The environment map 9 corresponds here with a use of the optical detection device 3 without further detection device (s) 5 the picture shown 17 ( 6 ). However, the area map can 9 also generally include elements present or in the picture 17 as a section of a map are not shown.

Gezeigt ist ein Abbild 1’ des Kraftfahrzeugs 1 und ein Abbild 7’ der Umgebung 7 des Kraftfahrzeugs 1 aus einer Vogelperspektive. Zum besseren Verständnis ist hier auch ein Erfassungsbereich 10 der optischen Erfassungseinrichtung 3 sowie der Nahbereich 8 dargestellt. In der Darstellung befindet sich das Abbild 1’ des Kraftfahrzeugs 1 auf einer Fahrbahn neben einer Reihe von quer zur Fahrtrichtung geparkten weiteren Kraftfahrzeugen 11a, 11b, 11c. Zwischen Fahrbahn und den weiteren Kraftfahrzeugen 11a, 11b, 11c verläuft vorliegend ein Bordstein als überfahrbares Hindernis 14. Der Bordstein wird vorliegend auch als überfahrbares Hindernis 14 erfasst und ist daher in den aktuellen Bilddaten repräsentiert. Die Darstellung der sich innerhalb des Erfassungsbereichs 10 befindlichen Objekte basiert hier auf aktuell erfassten Bilddaten, die Darstellung der Objekte außerhalb des Erfassungsbereichs 10 sowie innerhalb des Nahbereichs 8 auf zuvor erfassten Bilddaten. Zum besseren Verständnis des Lesers sind die weiteren Kraftfahrzeuge 11a, 11b, 11c vollständig dargestellt, auch wenn sie in der Umgebungskarte 9 in einer realen Situation möglicherweise nur teilweise erfasst werden. Shown is an image 1' of the motor vehicle 1 and an image 7 ' the environment 7 of the motor vehicle 1 from a bird's eye view. For better understanding here is also a detection area 10 the optical detection device 3 as well as the close range 8th shown. The illustration shows the image 1' of the motor vehicle 1 on a roadway next to a number of parked across the direction of travel other vehicles 11a . 11b . 11c , Between the carriageway and the other motor vehicles 11a . 11b . 11c In the present case, a curb runs as a drive-over obstacle 14 , In the present case, the curb is also considered as an overridden obstacle 14 is detected and is therefore represented in the current image data. The appearance of itself within the coverage 10 Objects located here based on currently captured image data, the representation of objects outside the detection area 10 as well as within the vicinity 8th on previously acquired image data. For a better understanding of the reader are the other motor vehicles 11a . 11b . 11c fully illustrated, even if they are in the area map 9 in a real situation may be only partially captured.

Der Fahrer möchte nun im gezeigten Beispiel gemäß dem hier nur zur Verdeutlichung eingezeichneten gestrichelten Pfeil 12 rückwärts in eine Parkmöglichkeit 13 einbiegen, an der er just vorbeigefahren ist. Entsprechend wurde das Kraftfahrzeug 11c beziehungsweise die leere Parkmöglichkeit 13 bereits zuvor von der optischen Erfassungseinrichtung 3 erfasst und kann auf der Anzeigeeinrichtung 6 wie dargestellt gezeigt werden. The driver now wants in the example shown according to the dashed arrow shown here only for clarity 12 backwards in a parking possibility 13 turn in, he just passed by. Accordingly, the motor vehicle 11c or the empty parking space 13 previously by the optical detection device 3 captured and can on the display device 6 as shown.

3 und 4 zeige nun einen weiteren Verlauf der beispielhaften Verkehrssituation aus 2. In 3 ist der Fahrer nun bereits halb rückwärts in die freien Parkmöglichkeit 13 eingefahren. Die Umgebung 7 des Kraftfahrzeugs 1 wird hier durch die aktuellen Bilddaten repräsentiert, sodass die Umgebungskarte 9 innerhalb des Erfassungsbereiches 10 entsprechend ständig aktualisiert wird. Außerhalb des aktuellen Erfassungsbereichs 10 basiert die Darstellung 7’ der Umgebung 7 auf den zuvor erfassten Bilddaten. Die aktuellen Bilddaten repräsentieren nun auch weitere Merkmale der Umgebung 7, nämlich eine Gefahrenstelle 15 in Form eines Gullys sowie eine Markierung 16, nämlich der Nummer der Parkmöglichkeit 13. Die Darstellung des Teils des als Bordstein vorliegenden überfahrbaren Hindernisses 14, welcher sich unterhalb des Kraftfahrzeug 1 befindet, basiert nun auf den zuvor, beispielsweise in der in 2 dargestellten Situation, erfassten Bilddaten. 3 and 4 now show a further course of the exemplary traffic situation 2 , In 3 the driver is now halfway back in the free parking 13 retracted. The environment 7 of the motor vehicle 1 is represented here by the current image data, so the environment map 9 within the coverage area 10 accordingly constantly updated. Outside the current coverage 10 based the presentation 7 ' the environment 7 on the previously captured image data. The current image data now also represent other features of the environment 7 namely a danger point 15 in the form of a gully and a marker 16 namely, the number of parking 13 , The representation of the part of the curb-mounted obstacle 14 , which is below the motor vehicle 1 is now based on the previously, for example in the in 2 illustrated situation, captured image data.

Vorliegend wird also das Abbild 1’ des Kraftfahrzeugs 1 semi-transparent, also durchscheinend über die Darstellung 7’ der Umgebung 7 des Kraftfahrzeugs 1 gezeigt. In the present case, therefore, is the image 1' of the motor vehicle 1 semi-transparent, so translucent about the presentation 7 ' the environment 7 of the motor vehicle 1 shown.

Der Fahrer weiß somit genau, wann beispielsweise das Kraftfahrzeugs 1 mit seinen Rädern 18 über den Bordstein fährt und kann entsprechend das Gas dosieren. Dies ist gerade bei einem unterstützten Einparkvorgang, bei welchem beispielsweise der Lenkeinschlag von dem Fahrerassistenzsystem 2 bestimmt wird, hilfreich. The driver thus knows exactly when, for example, the motor vehicle 1 with his wheels 18 drives over the curb and can dose the gas accordingly. This is just in a supported parking operation, in which, for example, the steering angle of the driver assistance system 2 is determined, helpful.

In 4 steht das Kraftfahrzeug 1 nunmehr in der Parkmöglichkeit 13. Der Bordstein als überfahrbares Hindernis 14 ist vollständig überfahren und befindet sich wieder im Erfassungsbereich 10 der optischen Erfassungseinrichtung 3. Allerdings sind sowohl die Bodenmarkierung 16 als auch die Gefahrenstelle 15 nunmehr außerhalb des Erfassungsbereiches 10, nämlich in dem Nahbereich 8 des Kraftfahrzeugs 1 beziehungsweise unter dem Kraftfahrzeug. Entsprechend werden diese Bereiche des Bildes nun aus den zuvor erfassten Bilddaten verarbeitet beziehungsweise erzeugt. Derartige Hindernisse, Gefahrenstellungen oder Markierungen können auch im Wege einer Bildverarbeitung noch zusätzlich optisch hervorgehoben oder signalisierend markiert werden. Im gezeigten Beispiel kann so der Fahrer, auch wenn er beispielsweise zuvor hierauf nicht geachtet hat, ohne Weiteres erkennen, dass er auf der Parkmöglichkeit 13 mit der Nummer „Dreizehn“ steht und dass er beim Aussteigen mit erhöhter Vorsicht aussteigen sollte, um einen Sturz oder einen Verlust eines Gegenstandes in dem Gully zu vermeiden. In 4 is the motor vehicle 1 now in the parking 13 , The curb as a traversable obstacle 14 is completely overrun and is back in the detection area 10 the optical detection device 3 , However, both the ground marking 16 as well as the danger spot 15 now outside the coverage area 10 namely in the vicinity 8th of the motor vehicle 1 or under the motor vehicle. Accordingly, these areas of the image are now processed or generated from the previously acquired image data. Such obstacles, danger positions or markings can also be visually highlighted or signalized by way of image processing. In the example shown, the driver, even if he has not paid attention to this, for example, can easily recognize that he is on the parking 13 with the number "Thirteen" and that he should get out with increased caution when disembarking to avoid a fall or a loss of an object in the gully.

Festzustellen ist auch, dass in den drei 2 bis 4 der Ausschnitt des Umgebungskarte 9 jeweils anders skaliert wurde und auch die Position des Abbildes 1’ des Kraftfahrzeugs 1 an die aktuelle Situation angepasst wurde, um eine optimale Wahrnehmung der Umgebung 7 beziehungsweise das Abbild 7’ der Umgebung 7 zu erzielen. So ist in 1 der Bereich der Umgebung 7 dargestellt, in welchem das Kraftfahrzeug 1 sich bewegt, in 2 vor allem der Bereich dargestellt, in welchen das Kraftfahrzeug 1 einbiegt und in 4, bei dem stehenden Fahrzeug die Umgebung des Kraftfahrzeugs 1 gleichmäßig dargestellt und das Abbild 1’ des Kraftfahrzeugs 1 zentral angeordnet. In 3 und 4 sind die aus zuvor erfassten Bilddaten erzeugten Darstellungen im Nahbereich 8 gestrichelt wiedergegeben. It should also be noted that in the three 2 to 4 the section of the environment map 9 was scaled differently and also the position of the image 1' of the motor vehicle 1 adapted to the current situation, for optimal perception of the environment 7 or the image 7 ' the environment 7 to achieve. So is in 1 the area of the environment 7 represented in which the motor vehicle 1 moves, in 2 especially the area shown in which the motor vehicle 1 turns in and out 4 in the stationary vehicle, the environment of the motor vehicle 1 evenly displayed and the image 1' of the motor vehicle 1 centrally located. In 3 and 4 are the representations generated from previously acquired image data in the near field 8th dashed lines reproduced.

In 5 ist die Anzeigeeinrichtung aus 2 in der dortigen Verkehrssituation mit einer beispielhaften Darstellung einer zweiten Umgebungskarte 9’ gezeigt. Diese Darstellung der zweite Umgebungskarte 9’ könnte also aus einer alleinigen Verwendung der weiteren Erfassungseinrichtung 5 erzeugt werden. Sie ist hier allerdings nur gezeigt, um die Funktionsweise der zweiten Umgebungskarte 9’ zu verdeutlichen. In 5 is the display off 2 in the local traffic situation with an exemplary representation of a second area map 9 ' shown. This illustration of the second environment map 9 ' So could from a sole use of the other detection device 5 be generated. However, it is only shown here for the operation of the second environment map 9 ' to clarify.

Die Verkehrssituation ist in dem gewählten Beispiel identisch zu der in 2 gezeigten Verkehrssituation. Da jedoch über die weitere Erfassungseinrichtung 5 Abstandsinformationen und keine optischen Informationen gewonnen werden, werden vorliegend in der Umgebung des Kraftfahrzeugs nur das überfahrbare Hindernis 14 in Form des Bordsteines sowie die weiteren Kraftfahrzeuge 11 in Form eines nicht überfahrbaren Hindernisses detektiert. Auch die Parkmöglichkeit 13 wurde von der weiteren Erfassungseinrichtung 5 als solche erkannt. Beispielsweise kann dies über eine Vermessung jeweiliger Abstände und einem Vergleich mit in der Steuereinrichtung 4 hinterlegten Mindestabständen realisiert werden. Entsprechend sind die jeweiligen Bereiche oder Zonen in der zweiten Umgebungskarte 9’ als jeweils nicht-überfahrbarer Bereich 11’, überfahrbares Hindernis 14’ und beparkbarer Bereich 13’ identifiziert und markiert. The traffic situation in the example chosen is identical to that in 2 shown traffic situation. However, because of the additional detection device 5 Distance information and no optical information are obtained, in the present case in the environment of the motor vehicle, only the drivable obstacle 14 in the form of the curb and the other motor vehicles 11 detected in the form of a non-traversable obstacle. Also the parking possibility 13 was from the other detection device 5 recognized as such. For example, this can be done by measuring respective distances and comparing them with in the control device 4 deposited minimum distances can be realized. Accordingly, the respective areas or zones are in the second environment map 9 ' as each non-drivable area 11 ' , overrun obstacle 14 ' and payable area 13 ' identified and marked.

Diese Zonen, die auch in der ersten Umgebungskarte 9 der optischen Erfassungseinrichtung 3 erfasst bzw. dargestellt sind, jedoch hier in ihrer Funktion und Eignung durch die optische Erfassungseinrichtung 3 nicht bewertet werden konnten, wurden entsprechend vorliegend durch die weitere Erfassungseinrichtung 5 funktional identifiziert. In dem aus den beiden Umgebungskarten 9, 9’ resultierenden Bild 17 (6) sind dann in Folge die jeweiligen Zone redundant dargestellt, einmal als nicht-transparente Darstellung im Hintergrund und einmal als semi-transparente Darstellung dem Hintergrund überlagert. Die beiden Darstellungen tragen dann unabhängig voneinander zur verbesserten Information des Fahrers bei. These zones, which are also in the first map of the area 9 the optical detection device 3 are detected or represented, but here in their function and suitability by the optical detection device 3 could not be evaluated were accordingly present by the further detection device 5 functionally identified. In the from the two environment maps 9 . 9 ' resulting image 17 ( 6 ), the respective zones are then displayed redundantly in succession, once as a non-transparent representation in the background and once as a semi-transparent representation superimposed on the background. The two representations then independently contribute to improved driver information.

In 6 wird nun eine beispielhafte Überlagerung der beiden Umgebungskarte 9, 9’ aus 2 und 5 als Bild 17 dargestellt. So ist vorliegend die optisch erfasste, bereits aus 2 bekannte Information zu sehen. Zusätzlich sind die in 5 markierten Bereiche 14’ des Bordstein als überfahrbares Hindernis 14 sowie der Bereich 11’ der weiteren Kraftfahrzeuge 11a, 11b, 11c als nicht überfahrbares Hindernis 11 und der beparkbare Bereich 13’ der Parkmöglichkeit 13 entsprechend der jeweiligen Erkennung markiert. Möglich ist eine derartige genaue und verlässliche Markierung durch die ortsgenaue Überlagerung der beiden Umgebungskarten 9 und 9’. Hierdurch wird eine zuvor nur in der zweiten Umgebungskarte 9’ hinterlegte präzise Information, beispielsweise mit genaueren Abmessungen als die optische Erfassungseinrichtung 3 dies ermöglicht, der ersten Umgebungskarte 9 zugeordnet. Damit wird für den Fahrer ein besserer Überblick über die Umgebung 7 des Kraftfahrzeugs 1 realisiert, sodass er hier die in der zweiten Umgebungskarte 9’ durch das Fahrerassistenzsystem 2 erkannten Merkmale einfach und schnell der realen Welt bzw. Umgebung 7 zuordnen kann. Durch die ortsgenaue Überlagerung dient die Darstellung der Zone in der zweiten Umgebungskarte 9’ auchals eine funktionelle Signalisierung dieser Zone. Dem Fahrer oder Beobachter wird diese Zone dann optische entsprechend signalisiert bzw. präsentiert. Die semi-transparente Darstellung wirkt hier also ähnlich einer Markierung oder Hervorhebung. Durch die funktionelle Verschiedenheit der beiden Erfassungseinrichtungen 3, 5 wird hierbei eine besondere Zuverlässigkeit bei dem Verschaffen eines verbesserten Überblickes über die Umgebung des Kraftfahrzeugs erreicht. In 6 will now be an example overlay of the two map 9 . 9 ' out 2 and 5 as a picture 17 shown. Thus, in the present case, the optically detected, already off 2 to see known information. In addition, the in 5 marked areas 14 ' of the curb as a traversable obstacle 14 as well as the area 11 ' the other motor vehicles 11a . 11b . 11c as a non-negotiable obstacle 11 and the parking area 13 ' the parking possibility 13 according to the respective Detection marked. Such an accurate and reliable marking is possible by the local superposition of the two environment maps 9 and 9 ' , As a result, a previously only in the second environment map 9 ' deposited precise information, for example, with more accurate dimensions than the optical detection device 3 this allows the first environment map 9 assigned. This will give the driver a better overview of the environment 7 of the motor vehicle 1 realized, so he here in the second map of the area 9 ' through the driver assistance system 2 recognized features easily and quickly the real world or environment 7 can assign. Due to the local overlay, the representation of the zone in the second environment map is used 9 ' also as a functional signaling of this zone. The driver or observer is then optically signaled or presented this zone accordingly. The semi-transparent representation acts here thus similar to a marking or emphasis. Due to the functional diversity of the two detection devices 3 . 5 In this case, a particular reliability is achieved in providing an improved overview of the environment of the motor vehicle.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 102010034127 A1 [0004] DE 102010034127 A1 [0004]
  • DE 102005013706 A1 [0005] DE 102005013706 A1 [0005]

Claims (15)

Verfahren zum Anzeigen von Bildern auf einer Anzeigeeinrichtung (6) eines Fahrerassistenzsystems (2) in einem Kraftfahrzeug (1), mit den Schritten: – Erfassen von Bilddaten, die eine Umgebung (7) des Kraftfahrzeugs (1) repräsentieren, durch zumindest eine optische Erfassungseinrichtung (3) des Fahrerassistenzsystems (2); – Verarbeiten von aktuell erfassten Bilddaten und zusätzlich von zuvor erfassten Bilddaten zu einem Bild (17), welches von oberhalb des Kraftfahrzeugs (1) eine Draufsicht auf zumindest einen Bereich des Kraftfahrzeug (1) und auf einen Umgebungsbereich des Kraftfahrzeugs (1) zeigt; und – Anzeigen des Bildes (17) auf der Anzeigeeinrichtung (6); dadurch gekennzeichnet, dass das Bild (17) einen Nahbereich (8) der Umgebung (7) zeigt, welcher in einer aktuellen Position des Kraftfahrzeugs (1) unter dem Kraftfahrzeug (1) liegt. Method for displaying images on a display device ( 6 ) of a driver assistance system ( 2 ) in a motor vehicle ( 1 ), with the steps: - Capturing image data that an environment ( 7 ) of the motor vehicle ( 1 ) by at least one optical detection device ( 3 ) of the driver assistance system ( 2 ); Processing of currently captured image data and additionally of previously acquired image data to an image ( 17 ), which from above the motor vehicle ( 1 ) is a plan view of at least a portion of the motor vehicle ( 1 ) and on a surrounding area of the motor vehicle ( 1 ) shows; and - displaying the image ( 17 ) on the display device ( 6 ); characterized in that the image ( 17 ) a close range ( 8th ) the environment ( 7 ), which in a current position of the motor vehicle ( 1 ) under the motor vehicle ( 1 ) lies. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der in der aktuellen Position des Kraftfahrzeugs (1) unter dem Kraftfahrzeug (1) liegende Nahbereich (8) außerhalb eines aktuellen Erfassungsbereichs (10) der zumindest einen optischen Erfassungseinrichtung (3) liegt. A method according to claim 1, characterized in that in the current position of the motor vehicle ( 1 ) under the motor vehicle ( 1 ) lying near area ( 8th ) outside of a current coverage area ( 10 ) of the at least one optical detection device ( 3 ) lies. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Kraftfahrzeug (1) in dem Bild (17) zumindest teilweise zumindest semi-transparent gezeigt wird, insbesondere jedoch eine Kontur des Kraftfahrzeugs (1) nichttransparent gezeigt wird. Method according to one of the preceding claims, characterized in that the motor vehicle ( 1 ) in the picture ( 17 ) is shown at least partially at least semi-transparent, but in particular a contour of the motor vehicle ( 1 ) is shown non-transparent. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in dem Bild (17) zumindest ein Umgebungsbereich (11’, 13’, 14’) mit vorgegebenen Eigenschaften optisch hervorgehoben wird, insbesondere Umgebungsbereiche, in welchen durch das Fahrerassistenzsystem (2) eine Parkmöglichkeit (13) und/oder ein Parkverbot und/oder eine Bodenmarkierung (16) und/oder ein überfahrbares Hindernis (14) und/oder ein nicht-überfahrbares Hindernis (11) und/oder eine Gefahrstelle (15) erkannt wurde. Method according to one of the preceding claims, characterized in that in the image ( 17 ) at least one surrounding area ( 11 ' . 13 ' . 14 ' ) is highlighted visually with predetermined properties, in particular surrounding areas, in which by the driver assistance system ( 2 ) a parking space ( 13 ) and / or a parking ban and / or a ground mark ( 16 ) and / or a drivable obstacle ( 14 ) and / or a non-drivable obstacle ( 11 ) and / or a hazardous point ( 15 ) was detected. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass abhängig von den durch die optische Erfassungseinrichtung (3) erfassten Bilddaten eine erste Umgebungskarte (9) erzeugt wird und das Bild (17) eine Darstellung dieser Umgebungskarte (9) umfasst. Method according to one of the preceding claims, characterized in that, depending on the optical detection means ( 3 ) captured image data a first environment map ( 9 ) and the image ( 17 ) a representation of this map of the surroundings ( 9 ). Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass weitere Informationen aus der Umgebung (7) des Kraftfahrzeugs (1) durch eine weitere Erfassungseinrichtung (5), insbesondere zur optischen Erfassungseinrichtung (3) funktionell verschiedene Erfassungseinrichtung, erfasst werden, und bei dem Verarbeiten der Bilddaten zu dem Bild (17) die weiteren Informationen berücksichtigt werden. Method according to one of the preceding claims, characterized in that further information from the environment ( 7 ) of the motor vehicle ( 1 ) by a further detection device ( 5 ), in particular to the optical detection device ( 3 ) functionally different detection means are detected, and in the processing of the image data to the image ( 17 ) the further information is considered. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass die weitere Erfassungseinrichtung (5) eine Abstandsmesseinrichtung, insbesondere eine Ultraschall-Abstandsmesseinrichtung, umfasst und die weiteren Informationen Abstandsdaten des Kraftfahrzeugs (1) zu einem Objekt in der Umgebung (7) umfassen. Method according to claim 6, characterized in that the further detection device ( 5 ) comprises a distance measuring device, in particular an ultrasonic distance measuring device, and the further information distance data of the motor vehicle ( 1 ) to an object in the environment ( 7 ). Verfahren nach Anspruch 5 und Anspruch 6 oder 7, dadurch gekennzeichnet, dass abhängig von den weiteren Informationen eine zweite Umgebungskarte (9’) erzeugt wird, die beiden Umgebungskarten (9, 9’) überlagert werden, und ein aus den überlagerten Umgebungskarten (9, 9’) erzeugtes Bild (17) auf der Anzeigeeinrichtung (6) angezeigt wird. Method according to claim 5 and claim 6 or 7, characterized in that, depending on the further information, a second environment map (9 ') is generated, the two environment maps ( 9 . 9 ' ) and one from the superimposed environment maps ( 9 . 9 ' ) generated image ( 17 ) on the display device ( 6 ) is shown. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass in dem erzeugten Bild (17) die erste Umgebungskarte (9) nicht-transparent dargestellt wird und die zweite Umgebungskarte (9’) zumindest bereichsweise semi-transparent erzeugt wird und die zweite Umgebungskarte (9’) der ersten Umgebungskarte (9) in dem Bild (17) überlagert wird. Method according to claim 8, characterized in that in the generated image ( 17 ) the first map of the area ( 9 ) is rendered non-transparent and the second environment map ( 9 ' ) is generated at least partially semi-transparent and the second environment map ( 9 ' ) of the first environment map ( 9 ) in the picture ( 17 ) is superimposed. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass ein mit der weiteren Erfassungseinrichtung (5) identifizierbarer Bereich in der Umgebung (7) ortsgenau in der Darstellung (7’) der Umgebung (7) in der ersten Umgebungskarte (9) überlagert dargestellt wird. A method according to claim 9, characterized in that a with the further detection device ( 5 ) identifiable area in the environment ( 7 ) Locally accurate in the representation ( 7 ' ) the environment ( 7 ) in the first environment map ( 9 ) is superimposed. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Bild (17) in Abhängigkeit von einer Fahrgeschwindigkeit und/oder einer Fahrtrichtung des Kraftfahrzeugs (1) skaliert wird. Method according to one of the preceding claims, characterized in that the image ( 17 ) in dependence on a driving speed and / or a direction of travel of the motor vehicle ( 1 ) is scaled. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der zumindest eine Bereich des Kraftfahrzeugs (1) oder das Kraftfahrzeug (1) auf dem Bild (17) abhängig von der Fahrgeschwindigkeit und/oder der Fahrtrichtung und/oder einer Routenführung durch das Fahrerassistenzsystem und/oder einer Parkführung durch das Fahrerassistenzsystem und/oder einer aktivierten Fahrtrichtungsänderungsanzeigeeinrichtung des Kraftfahrzeugs (1) zentral oder dezentral im Bild (17) angezeigt wird. Method according to one of the preceding claims, characterized in that the at least one region of the motor vehicle ( 1 ) or the motor vehicle ( 1 ) in the picture ( 17 ) depending on the driving speed and / or the direction of travel and / or a route guidance by the driver assistance system and / or parking guidance by the driver assistance system and / or an activated change of direction display device of the motor vehicle ( 1 ) central or decentralized in the picture ( 17 ) is shown. Fahrerassistenzsystem (2) für ein Kraftfahrzeug (1), mit: – zumindest einer optischen Erfassungseinrichtung (3) zum Erfassen von Bilddaten, welche eine Umgebung (7) des Kraftfahrzeugs (1) repräsentieren; – einer Steuereinrichtung (4) zum Verarbeiten von jeweils aktuell erfassten Bilddaten und zusätzlich von zuvor erfassten Bilddaten zu einem Bild (17), welches von oberhalb des Kraftfahrzeugs (1) eine Draufsicht auf zumindest einen Bereich des Kraftfahrzeugs (1) und auf einen Umgebungsbereich des Kraftfahrzeug (1) zeigt; und – einer Anzeigeeinrichtung (6) zum Anzeigen des Bildes (17); dadurch gekennzeichnet, dass die Steuereinrichtung (4) ausgelegt ist, in dem Bild (17) auch einen Nahbereich (8) der Umgebung (7) zu zeigen, welcher in einer aktuellen Position des Kraftfahrzeugs (1) unter dem Kraftfahrzeug (1) liegt. Driver assistance system ( 2 ) for a motor vehicle ( 1 ), comprising: - at least one optical detection device ( 3 ) for capturing image data representing an environment ( 7 ) of the motor vehicle ( 1 represent); A control device ( 4 ) for processing each currently captured image data and additionally from previously captured image data to an image ( 17 ), which from above the motor vehicle ( 1 ) a plan view of at least a portion of the motor vehicle ( 1 ) and on a surrounding area of the motor vehicle ( 1 ) shows; and a display device ( 6 ) to display the image ( 17 ); characterized in that the control device ( 4 ), in the image ( 17 ) also a close range ( 8th ) the environment ( 7 ), which in a current position of the motor vehicle ( 1 ) under the motor vehicle ( 1 ) lies. Fahrerassistenzsystem (2) nach Anspruch 13, dadurch gekennzeichnet, dass das Fahrerassistenzsystem (2) auf ein teilautonomes und/oder autonomes Parken ausgelegt ist. Driver assistance system ( 2 ) according to claim 13, characterized in that the driver assistance system ( 2 ) is designed for semi-autonomous and / or autonomous parking. Kraftfahrzeug (1) mit einem Fahrerassistenzsystem (2) nach Anspruch 13 oder 14. Motor vehicle ( 1 ) with a driver assistance system ( 2 ) according to claim 13 or 14.
DE102016107421.7A 2016-04-21 2016-04-21 Method for displaying environmental areas in the surroundings of a motor vehicle that cannot be detected by a detection device, driver assistance system and motor vehicle Active DE102016107421B4 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102016107421.7A DE102016107421B4 (en) 2016-04-21 2016-04-21 Method for displaying environmental areas in the surroundings of a motor vehicle that cannot be detected by a detection device, driver assistance system and motor vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102016107421.7A DE102016107421B4 (en) 2016-04-21 2016-04-21 Method for displaying environmental areas in the surroundings of a motor vehicle that cannot be detected by a detection device, driver assistance system and motor vehicle

Publications (2)

Publication Number Publication Date
DE102016107421A1 true DE102016107421A1 (en) 2017-10-26
DE102016107421B4 DE102016107421B4 (en) 2025-09-18

Family

ID=60020754

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102016107421.7A Active DE102016107421B4 (en) 2016-04-21 2016-04-21 Method for displaying environmental areas in the surroundings of a motor vehicle that cannot be detected by a detection device, driver assistance system and motor vehicle

Country Status (1)

Country Link
DE (1) DE102016107421B4 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019200118A1 (en) * 2019-01-08 2020-07-09 Audi Ag Method for operating a motor vehicle to protect an operating unit of a charging cable
DE102019212124A1 (en) * 2019-08-13 2021-02-18 Audi Ag Motor vehicle and method for operating a motor vehicle
DE102020129781A1 (en) 2020-11-11 2022-05-12 Audi Aktiengesellschaft Underbody sensor arrangement with basic element that can be universally fastened to different components with minimum space requirements for carrying a sensor unit; motor vehicle; procedure
DE102024100295A1 (en) * 2023-11-20 2025-05-22 GM Global Technology Operations LLC DETERMINING THE HORIZONTAL CLEARANCE FOR A VEHICLE

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005013706A1 (en) 2005-03-24 2006-09-28 Daimlerchrysler Ag Motor vehicle parking assisting device, has distance measuring device measuring distance between vehicle and object and image overlapping device outputting distance information as image information for reproduction of image data
DE102010005501A1 (en) * 2010-01-23 2011-07-28 Audi Ag, 85057 Method for evaluating sensor data relating to the surroundings of a motor vehicle of at least one environment sensor and motor vehicle
DE102010034127A1 (en) 2010-08-12 2012-02-16 Valeo Schalter Und Sensoren Gmbh Method for displaying images on a display device in a motor vehicle, driver assistance system and motor vehicle
DE102013207906A1 (en) * 2013-04-30 2014-10-30 Bayerische Motoren Werke Aktiengesellschaft Guided vehicle positioning for inductive charging with the help of a vehicle camera

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005013706A1 (en) 2005-03-24 2006-09-28 Daimlerchrysler Ag Motor vehicle parking assisting device, has distance measuring device measuring distance between vehicle and object and image overlapping device outputting distance information as image information for reproduction of image data
DE102010005501A1 (en) * 2010-01-23 2011-07-28 Audi Ag, 85057 Method for evaluating sensor data relating to the surroundings of a motor vehicle of at least one environment sensor and motor vehicle
DE102010034127A1 (en) 2010-08-12 2012-02-16 Valeo Schalter Und Sensoren Gmbh Method for displaying images on a display device in a motor vehicle, driver assistance system and motor vehicle
DE102013207906A1 (en) * 2013-04-30 2014-10-30 Bayerische Motoren Werke Aktiengesellschaft Guided vehicle positioning for inductive charging with the help of a vehicle camera

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019200118A1 (en) * 2019-01-08 2020-07-09 Audi Ag Method for operating a motor vehicle to protect an operating unit of a charging cable
DE102019212124A1 (en) * 2019-08-13 2021-02-18 Audi Ag Motor vehicle and method for operating a motor vehicle
US11161454B2 (en) 2019-08-13 2021-11-02 Audi Ag Motor vehicle
DE102019212124B4 (en) 2019-08-13 2023-09-14 Audi Ag Motor vehicle and method for operating a motor vehicle
DE102020129781A1 (en) 2020-11-11 2022-05-12 Audi Aktiengesellschaft Underbody sensor arrangement with basic element that can be universally fastened to different components with minimum space requirements for carrying a sensor unit; motor vehicle; procedure
DE102020129781B4 (en) 2020-11-11 2024-07-18 Audi Aktiengesellschaft Underbody sensor arrangement with a base element that can be universally attached to different components with minimal installation space requirements for carrying a sensor unit; motor vehicle; method
DE102024100295A1 (en) * 2023-11-20 2025-05-22 GM Global Technology Operations LLC DETERMINING THE HORIZONTAL CLEARANCE FOR A VEHICLE

Also Published As

Publication number Publication date
DE102016107421B4 (en) 2025-09-18

Similar Documents

Publication Publication Date Title
DE102021104290B3 (en) Method for at least partially automated parking of a motor vehicle, driver assistance system and motor vehicle
DE102013205882A1 (en) Method and device for guiding a vehicle around an object
DE102017212432A1 (en) Method and device for operating a driver assistance system of a motor vehicle and driver assistance systems
DE102015203016A1 (en) Method and device for optical self-localization of a motor vehicle in an environment
DE102009046726A1 (en) Method for detecting and selecting e.g. longitudinal parking spaces, for aiding driver of car for transporting persons or materials, involves displaying surfaces as possible parking spaces, and selecting suitable parking spaces
WO2015000882A1 (en) Assistance system and assistance method for support when controlling a motor vehicle
DE102012213344A1 (en) Method for driver assistance on board of motor vehicle, particularly for traffic sign recognition, involves determining direction change of motor vehicle, selecting camera image as function of direction change, and determining traffic sign
WO2010025792A1 (en) Method and device for monitoring an environment of a vehicle
DE102018216110A1 (en) Method and device for providing an environment image of an environment of a mobile device and motor vehicle with such a device
DE102014111012A1 (en) A method for assisting a driver of a motor vehicle when parking out, driver assistance system and motor vehicle
DE102019216348A1 (en) VEHICLE SUPPORT SYSTEM
DE102015115012A1 (en) Method for generating an environment map of an environment of a motor vehicle based on an image of a camera, driver assistance system and motor vehicle
DE102005054972A1 (en) Motor vehicle`s dead angle monitoring method, involves accomplishing checking of whether lanes change is accomplished based on infrastructure of traffic before warning, where driver warning is omitted if result of checking is not possible
WO2018014917A1 (en) Camera device for capturing a surrounding area of a driver's own vehicle and method for providing a driver assistance function
DE102014011613A1 (en) Method and device for supporting a parking process for a vehicle
EP3204889B1 (en) Method for a motor vehicle provided with a camera, device and system
DE102020213514A1 (en) Situation-dependent definition of observation areas for at least partially autonomously operated motor vehicles
EP3327698A1 (en) Method for assisting a driver of a motor vehicle when parking the motor vehicle in a parking lot, driver assistance system and motor vehicle
DE102019208507A1 (en) Method for determining the degree of overlap between an object and a lane
DE102016107421B4 (en) Method for displaying environmental areas in the surroundings of a motor vehicle that cannot be detected by a detection device, driver assistance system and motor vehicle
DE102018211368A1 (en) A method of describing an environment of a vehicle through the topology of the busy road
EP1642770B1 (en) Method for directing a vehicle driver's attention to objects in an image
DE102018202753A1 (en) Method for determining a distance between a motor vehicle and an object
DE102006037600B4 (en) Method for the resolution-dependent representation of the environment of a motor vehicle
DE102016212786A1 (en) Driver assistance system for an ego vehicle on a path of a road network and method for operating the driver assistance system

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division