[go: up one dir, main page]

DE102012219280A1 - Driver assistance system for motor car, has evaluating device selecting and displaying information of objects located outside of vehicle through display device in response to detected eye and pointing gesture of hand and/or finger of person - Google Patents

Driver assistance system for motor car, has evaluating device selecting and displaying information of objects located outside of vehicle through display device in response to detected eye and pointing gesture of hand and/or finger of person Download PDF

Info

Publication number
DE102012219280A1
DE102012219280A1 DE201210219280 DE102012219280A DE102012219280A1 DE 102012219280 A1 DE102012219280 A1 DE 102012219280A1 DE 201210219280 DE201210219280 DE 201210219280 DE 102012219280 A DE102012219280 A DE 102012219280A DE 102012219280 A1 DE102012219280 A1 DE 102012219280A1
Authority
DE
Germany
Prior art keywords
vehicle
eye
driver
driver assistance
assistance system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE201210219280
Other languages
German (de)
Inventor
Heiko Freienstein
Wolfgang Niem
Roland Galbas
Markus Sauer
Markus Koenning
Dietrich Manstetten
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE201210219280 priority Critical patent/DE102012219280A1/en
Priority to CN201310497705.4A priority patent/CN103770734A/en
Priority to FR1360322A priority patent/FR2997046B1/en
Publication of DE102012219280A1 publication Critical patent/DE102012219280A1/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3664—Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/176—Camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Optics & Photonics (AREA)
  • Traffic Control Systems (AREA)
  • Instrument Panels (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

The system has a gesture detection unit for detecting a pointing gesture of a hand and/or a finger of a person i.e. driver, of a vehicle. An environment detection unit i.e. navigation system, is connected outside of a vehicle, and determines objects (5-11) located outside of the vehicle. An eye detection unit detects eye of the person. An evaluating device selects and displays information of the objects located outside of the vehicle through a display device i.e. head up display, in response to the detected eye and the pointing gesture. The gesture detection unit and/or the eye detection unit comprise an optical sensor (16, 17), an approximation detector, a video camera, a radar device, an infrared sensor, a light barrier and/or an ultrasonic sensor. An independent claim is also included for a method for operating of a driver assistance system.

Description

Die Erfindung betrifft ein Fahrerassistenzsystem für ein Fahrzeug, insbesondere Kraftfahrzeug, mit einer Gestenerfassungseinrichtung zum Erfassen der Zeigegeste einer Hand- und/oder eines Fingers einer Person, insbesondere eines Fahrers des Fahrzeugs, und mit einer Umgebungserfassungseinrichtung, die außerhalb des Fahrzeugs befindliche Objekte bestimmt.The invention relates to a driver assistance system for a vehicle, in particular a motor vehicle, having a gesture detection device for detecting the pointing gesture of a hand and / or a finger of a person, in particular a driver of the vehicle, and with an environment detection device which determines objects located outside the vehicle.

Ferner betrifft die Erfindung ein Verfahren, insbesondere zum Betreiben des oben genannten Fahrerassistenzsystems, wobei eine Zeigegeste einer Hand und/oder eines Fingers einer Person, insbesondere eines Fahrers des Fahrzeugs, erfasst wird, und wobei außerhalb des Fahrzeugs befindliche Objekte bestimmt werden. Furthermore, the invention relates to a method, in particular for operating the above-mentioned driver assistance system, wherein a pointing gesture of a hand and / or a finger of a person, in particular a driver of the vehicle, is detected, and wherein objects located outside of the vehicle are determined.

Stand der TechnikState of the art

Fahrerassistenzsysteme sowie Verfahren der eingangs genannten Art sind aus dem Stand der Technik bekannt. So offenbart beispielsweise die Offenlegungsschrift DE 10 2009 046 376 A1 ein Fahrerassistenzsystem mit einem Head-Up-Display (HUD) zur Darstellung von Informationen auf einer Frontscheibe des Fahrzeugs und mit einer Eingabevorrichtung, die mindestens einen berührungslos arbeitenden Sensor aufweist, der in den Fahrzeuginnenraumbereich zur Registrierung von der Dateneingabe dienenden Hand- und/oder Fingergesten des Fahrers gerichtet ist. Außerdem ist eine Umgebungserfassungseinrichtung vorgesehen, die außerhalb des Fahrzeugs befindliche Umgebungsobjekte erfasst und symbolisch mittels des Head-Up-Displays im Sichtbereich des Fahrers darstellt. Dabei wird vorgeschlagen, dass für den Fahrer sichtbare Umgebungsobjekte derart markiert werden, dass diesen eine Funktion in Bezug auf das Fahrerassistenzsystem zukommt. Durch eine Zeigegeste kann der Fahrer beispielsweise ein Objekt, wie den Namen eines Ortes auf einem Straßenschild, auswählen, ohne dabei den Blick aus der eigentlichen Blickrichtung (Fahrtrichtung) abzuwenden. Dadurch soll die Sicherheit bei der Bedienung des Fahrerassistenzsystems erhöht werden. Driver assistance systems and methods of the type mentioned are known from the prior art. For example, the published patent application DE 10 2009 046 376 A1 a driver assistance system with a head-up display (HUD) for displaying information on a windshield of the vehicle and with an input device having at least one non-contact sensor in the vehicle interior area for registration of data input serving hand and / or finger gestures directed by the driver. In addition, an environment detection device is provided which detects surrounding objects outside of the vehicle and represents them symbolically by means of the head-up display in the field of vision of the driver. In this case, it is proposed that environment objects visible to the driver be marked in such a way that they have a function in relation to the driver assistance system. By means of a pointing gesture, for example, the driver can select an object, such as the name of a place on a road sign, without averting the view from the actual viewing direction (direction of travel). This should increase the safety of operating the driver assistance system.

Offenbarung der ErfindungDisclosure of the invention

Das erfindungsgemäße Fahrerassistenzsystem mit den Merkmalen des Anspruchs 1 hat den Vorteil, dass der Fahrer auf einfache Art und Weise Informationen über ein bestimmtes Objekt in seiner Umgebung erhalten kann, wobei die Genauigkeit der Objektauswahl im Vergleich zum Stand der Technik wesentlich höher ausfällt. Das erfindungsgemäße Fahrerassistenzsystem zeichnet sich durch eine Blickerfassungseinrichtung aus, die die Position und/oder Blickrichtung zumindest eines Auges der Person beziehungsweise des Fahrers erfasst, sowie durch eine Auswerteeinrichtung, die in Abhängigkeit von der erfassten Blickrichtung und/oder Position des Auges und der Zeigegeste eines der außerhalb des Fahrzeugs befindlichen Objekte auswählt und Informationen hierzu mittels einer Anzeigeeinrichtung anzeigt. Erfindungsgemäß findet eine Anzeige von Informationen also erst dann statt, wenn der Fahrer durch seine Geste und seinen Blick ein in der Umgebung des Fahrzeugs befindliches Objekt ausgewählt hat. Durch die Berücksichtigung von sowohl Blickrichtung und/oder Position als auch Zeigegeste ist es möglich, eine Richtungsachse zu bestimmen, welche von der Person beziehungsweise vom Fahrer auf das gewünschte Objekt gerichtet ist, sodass das Objekt im Weg der Richtungsachse liegt. Vorzugsweise wird als Zeigegeste die Position einer Fingerspitze durch die Gestenerfassungseinrichtung erfasst. Bevorzugt erzeugt die Auswerteeinrichtung anhand der Position der Fingerspitze und anhand der Position des Auges die Richtungsachse. Die Person muss somit zum Auswählen eines Objekts lediglich in seinem Blickfeld mit der Fingerspitze auf ein Objekt deuten, wodurch die Richtungsachse erzeugt und das entsprechende Objekt ausgewählt wird. Gemäß einer bevorzugten Weiterbildung der Erfindung ist vorgesehen, dass zusätzlich die Blickrichtung des Auges oder beider Augen der Person beziehungsweise des Fahrers erfasst und gegebenenfalls mit der Richtungsachse verglichen wird, um die Auswahl des Objektes zu plausibilisieren. The driver assistance system according to the invention with the features of claim 1 has the advantage that the driver can easily obtain information about a particular object in its environment, the accuracy of the object selection compared to the prior art is much higher. The driver assistance system according to the invention is characterized by a gaze detection device which detects the position and / or viewing direction of at least one eye of the person or the driver, as well as by an evaluation device which, depending on the detected viewing direction and / or position of the eye and the index of one of the selects objects located outside of the vehicle and displays information for this purpose by means of a display device. According to the invention, information is thus displayed only when the driver has selected by his gesture and his gaze an object located in the surroundings of the vehicle. By considering both the viewing direction and / or position as well as pointing gesture, it is possible to determine a directional axis, which is directed by the person or the driver to the desired object, so that the object is in the path of the direction axis. Preferably, the position of a fingertip is detected by the gesture detection device as a pointing gesture. The evaluation device preferably generates the directional axis on the basis of the position of the fingertip and on the basis of the position of the eye. In order to select an object, the person only has to point his finger tip at an object in order to generate the directional axis and select the corresponding object. According to a preferred embodiment of the invention, it is provided that in addition the line of vision of the eye or both eyes of the person or of the driver is detected and optionally compared with the directional axis in order to make the selection of the object plausible.

Gemäß einer bevorzugten Weiterbildung der Erfindung ist vorgesehen, dass die Umgebungserfassungseinrichtung ein Navigationssystem ist. Die Umgebungsdaten werden daher nicht wie bisher mittels einer Videokamera oder dergleichen erfasst, sondern rein virtuell durch ein Navigationssystem des Fahrzeugs bestimmt. Anhand der aktuellen Position des Fahrzeugs im globalen Koordinatensystem des Navigationssystems wird die Position des Fahrzeugs auf einer virtuellen Karte bestimmt und auf einfache Art und Weise werden in der Umgebung des Fahrzeugs befindliche Objekte anhand der Kartendaten des Navigationssystems ermittelt. Die Objekte selbst werden somit nicht für den Fahrer extra angezeigt. Es wird lediglich seine Richtungsachse erfasst, und mit den realen Objekten anhand der virtuellen Karte des Navigationssystems verglichen, um ein Objekt, das im Interesse des Fahrers liegt, auszuwählen. Die Auswerteeinrichtung ist daher vorzugsweise mit dem Navigationssystem verbunden, um die Kartendaten zu erfassen, und um bevorzugt die zuvor bestimmte Richtungsachse an das Navigationssystem weiterzugeben, welches die Richtungsachse in die virtuelle Karte ablegt und dadurch ein auf der Richtungsachse liegendes Objekt bestimmen kann.According to a preferred embodiment of the invention it is provided that the environment detection device is a navigation system. The environmental data are therefore not detected as before by means of a video camera or the like, but determined purely virtually by a navigation system of the vehicle. Based on the current position of the vehicle in the global coordinate system of the navigation system, the position of the vehicle is determined on a virtual map and easily located in the vicinity of the vehicle objects are determined based on the map data of the navigation system. The objects themselves are thus not displayed separately for the driver. It is only detected its directional axis, and compared with the real objects based on the virtual map of the navigation system to select an object that is in the interest of the driver. The evaluation device is therefore preferably connected to the navigation system in order to capture the map data, and preferably to pass on the previously determined directional axis to the navigation system, which stores the directional axis in the virtual map and thereby can determine an object lying on the directional axis.

Gemäß einer vorteilhaften Weiterbildung der Erfindung ist vorgesehen, dass die Gestenerfassungseinrichtung und/oder die Blickerfassungseinrichtung mindestens einen optischen Sensor, insbesondere einen Annäherungsdetektor, eine Videokamera, eine Radareinrichtung, einen Infrarotdetektor, eine Lichtschranke und/oder einen Ultraschallsensor aufweisen. Die dadurch ermöglichte berührungslose Bestimmung der Richtungsachse erleichtert das Auswählen bestimmter Umgebungsobjekte für den Fahrer erheblich. According to an advantageous embodiment of the invention it is provided that the Gesture detection device and / or the gaze detection device at least one optical sensor, in particular a proximity detector, a video camera, a radar device, an infrared detector, a light barrier and / or an ultrasonic sensor. The thus enabled non-contact determination of the directional axis facilitates the selection of specific environment objects for the driver considerably.

Bevorzugt ist vorgesehen, dass die Anzeigeeinrichtung als Display oder als Head-Up-Display ausgebildet ist. Da die Objekte selbst dem Fahrer nicht angezeigt werden müssen, reicht grundsätzlich ein einfaches Display zur Anzeige der gewünschten Informationen zu dem ausgewählten Objekt aus. Sollen die Informationen im Sinne eines kontaktanalogen Head-Up-Displays die reale Welt überlagernd angezeigt werden, ist das Head-Up-Display von Vorteil. It is preferably provided that the display device is designed as a display or as a head-up display. Since the objects themselves need not be displayed to the driver, basically a simple display is sufficient to display the desired information about the selected object. If the information is to be superimposed on the real world in the sense of a contact-analogue head-up display, the head-up display is an advantage.

Besonders bevorzugt ist vorgesehen, dass die Auswerteeinrichtung bei der Auswahl des Objektes die Fahrzeugposition, die Fahrtrichtung und/oder die Fahrtgeschwindigkeit des Fahrzeugs berücksichtigt. Durch die Berücksichtigung der genannten Größen, die beispielsweise ebenfalls dem Navigationssystem entnommen werden können, wird eine genaue Ausrichtung der Richtungsachse in der Karte des Navigationssystems gewährleistet. Bei der Auswahl wird außerdem in Abhängigkeit von der Position des Fahrzeugs berücksichtigt, dass nur vom Fahrer sichtbare Objekte ausgewählt werden können, sodass auf der Richtungsachse liegende Objekte nur dann ausgewählt werden, wenn sie im Sichtbereich des Fahrers liegen und beispielsweise nicht von anderen Objekten, die zwischen dem Fahrer und dem auszuwählenden Objekt liegen, verdeckt werden. It is particularly preferably provided that the evaluation device takes into account the vehicle position, the direction of travel and / or the travel speed of the vehicle when selecting the object. By taking into account the aforementioned variables, which can also be taken from the navigation system, for example, an exact alignment of the directional axis in the map of the navigation system is ensured. The selection also takes into account, depending on the position of the vehicle, that only objects visible by the driver can be selected so that objects lying on the directional axis are selected only if they are within the driver's field of vision and not, for example, other objects lie between the driver and the object to be selected, are covered.

Das erfindungsgemäße Verfahren mit den Merkmalen des Anspruchs 6 führt zu den oben bereits genannten Vorteilen. Es zeichnet sich dadurch aus, dass in Abhängigkeit der Position und/oder Blickrichtung mindestens eines Auges der Person und der Zeigegeste der Person eines der Objekte ausgewählt und Informationen zu dem ausgewählten Objekt aufgezeigt werden. Zeigt der Fahrer des Fahrzeugs also beispielsweise während der Fahrt auf ein Objekt in der Umgebung, so ermittelt insbesondere die zuvor genannte Auswerteeinrichtung, eine Richtungsachse, insbesondere wie zuvor beschrieben, in Abhängigkeit der Position und/oder Blickrichtung des Auges und der Zeigegeste, um ein auf der Richtungsachse liegendes Objekt als das auszuwählende Objekt zu bestimmen. Weitere Vorteile und Verfahrensschritte ergeben sich auch aus der obenstehenden Beschreibung des Fahrerassistenzsystems.The inventive method with the features of claim 6 leads to the advantages already mentioned above. It is characterized in that, depending on the position and / or viewing direction of at least one eye of the person and the pointing gesture of the person, one of the objects is selected and information about the selected object is displayed. If, for example, the driver of the vehicle points at an object in the surroundings while traveling, the aforementioned evaluation device determines a direction axis, in particular as described above, depending on the position and / or viewing direction of the eye and the pointing gesture determining the directional axis as the object to be selected. Further advantages and method steps also result from the above description of the driver assistance system.

Bevorzugt ist es vorgesehen, dass die Objekte mittels eines kartenbasierten Navigationssystems bestimmt werden. Ein Anzeigen des ausgewählten Objektes selbst oder aller im Sichtbereich des Fahrers befindlichen Objekte ist nicht notwendig. Auf Basis der in den meisten Kraftfahrzeugen sowieso bereits vorhandenen Kartendaten eines Navigationssystems lassen sich die in der Umgebung liegenden Objekte auf einfache Art und Weise bestimmen. Da häufig in den Navigationssystem-Karten auch bereits Informationen zu den jeweiligen Objekten hinterlegt sind, bedarf es zu der Anzeige dieser Informationen für den Fahrer keinen großen Aufwand. It is preferably provided that the objects are determined by means of a map-based navigation system. It is not necessary to display the selected object itself or all objects located in the field of vision of the driver. On the basis of the map data of a navigation system, which is already present in most motor vehicles, the surrounding objects can be determined in a simple manner. Since information on the respective objects is often already stored in the navigation system maps, it is not necessary for the driver to display this information.

Weiterhin ist bevorzugt vorgesehen, dass die ermittelte Richtungsachse in das Navigationssystem übertragen und das Objekt an dem Schnittpunkt der Richtungsachse mit einem in der Umgebung insbesondere sichtbaren Objekt bestimmt wird. Hierdurch lassen sich auf einfache Art und Weise die möglichen von dem Fahrer auswählbaren Objekte bestimmen. Im einfachsten Fall wird das dem Fahrer am nächsten stehende Objekt ausgewählt. Furthermore, it is preferably provided that the determined directional axis is transmitted to the navigation system and the object is determined at the intersection of the directional axis with an object that is particularly visible in the environment. In this way, the possible selectable by the driver objects can be determined in a simple manner. In the simplest case, the object closest to the driver is selected.

Gemäß einer vorteilhaften Weiterbildung der Erfindung ist vorgesehen, dass die Position und/oder Blickrichtung des Auges und die Zeigegeste, insbesondere die Position der Fingerspitze, in drei Raumdimensionen bestimmt wird. Es ist also vorgesehen, dass die resultierende Richtungsachse in allen drei Raumdimensionen bestimmt wird, sodass insbesondere auch ermittelt wird, auf welche Höhe die Person zeigt, um insbesondere bei hintereinander auf der Richtungsachse liegenden Objekte das Objekt auszuwählen, das der Anzeigehöhe des Fahrers entspricht. Dadurch ist es dem Fahrer beziehungsweise der Person auf einfache Art und Weise auch möglich, ein Objekt auszuwählen, das teilweise von einem davorstehenden Objekt verdeckt wird. According to an advantageous development of the invention, it is provided that the position and / or viewing direction of the eye and the pointing gesture, in particular the position of the fingertip, are determined in three spatial dimensions. It is thus provided that the resulting directional axis is determined in all three space dimensions, so that in particular it is determined to which height the person is pointing in order, in particular for objects lying behind each other on the directional axis, to select the object which corresponds to the display height of the driver. As a result, it is also possible for the driver or the person in a simple way to select an object that is partially hidden by an object in front of it.

Im Folgenden soll die Erfindung anhand der Zeichnung näher erläutert werden. In the following, the invention will be explained in more detail with reference to the drawing.

Dazu zeigen:To show:

1 ein Kraftfahrzeug in einer vereinfachten Draufsicht und 1 a motor vehicle in a simplified plan view and

2 ein Fahrerassistenzsystems des Kraftfahrzeugs in einer schematischen Darstellung. 2 a driver assistance system of the motor vehicle in a schematic representation.

1 zeigt ein Kraftfahrzeug 1, das sich auf einer Straße 2 in Richtung eines Pfeils 3 vorwärtsbewegt. In der näheren Umgebung des Kraftfahrzeugs 1 sind mehrere Gebäude 4, 5, 6 und 7 beispielhaft dargestellt, die jeweils ein Objekt 8, 9, 10 beziehungsweise 11 darstellen. 1 shows a motor vehicle 1 that is on a street 2 in the direction of an arrow 3 moves forward. In the immediate vicinity of the motor vehicle 1 are several buildings 4 . 5 . 6 and 7 exemplified, each one object 8th . 9 . 10 respectively 11 represent.

Das Kraftfahrzeug 1 weist ein Fahrerassistenzsystem 12 auf, das in 2 in einer schematischen Darstellung gezeigt ist. Das Fahrerassistenzsystem 12 weist eine Auswerteeinrichtung 13 auf, die beispielsweise von einem Steuergerät gebildet wird. Die Auswerteeinrichtung 13 ist mit einer Gestenerfassungseinrichtung 14 und mit einer Blickerfassungseinrichtung 15 verbunden, wobei die Gestenerfassungseinrichtung 14 sowie die The car 1 has a driver assistance system 12 on that in 2 is shown in a schematic representation. The driver assistance system 12 has an evaluation device 13 on the is formed for example by a control unit. The evaluation device 13 is with a gesture detection device 14 and with a gaze detection device 15 connected, wherein the gesture detection device 14 as well as the

Blickerfassungseinrichtung 15 auch in einer Fahrzeuginnenraumüberwachungseinrichtung zusammengefasst sein können. Looking detector 15 can also be combined in a vehicle interior monitoring device.

Die Blickerfassungseinrichtung 14 und die Gestenerfassungseinrichtung 15 weisen beide jeweils einen optischen Sensor 16 beziehungsweise 17 auf, um die Position und/oder Blickrichtung zumindest eines Auges des Fahrers und eine Zeigegeste anhand einer Hand- und/oder Finger-Position oder -Bewegung zu erfassen. Gemäß einem alternativen Ausführungsbeispiel, das hier nicht dargestellt ist, weisen die Blickrichtungserfassungseinrichtung 14 und/oder Zeigerichtungserfassungseinrichtung 15 einen gemeinsamen Sensor 16 oder 17 auf, welcher sowohl die Position und/oder Blickrichtung des Auges als auch die Zeigegeste des Fahrers erfasst. The eye-tracking device 14 and the gesture detection device 15 Both have an optical sensor each 16 respectively 17 in order to detect the position and / or viewing direction of at least one eye of the driver and a pointing gesture based on a hand and / or finger position or movement. According to an alternative embodiment, which is not shown here, the sight line detection device 14 and / or pointing sense detection means 15 a common sensor 16 or 17 on, which detects both the position and / or viewing direction of the eye as well as the pointing gesture of the driver.

Weiterhin ist die Auswerteeinrichtung 13 mit einem Navigationssystem 18 derart verbunden, um einen Datenaustausch durchführen zu können. Außerdem ist die Auswerteeinrichtung 13 mit einer Anzeigeeinrichtung 19 verbunden, die zur Anzeige von bestimmten Informationen genutzt werden kann. Die Anzeigeeinrichtung 19 ist beispielsweise als Display im Armaturenbrett des Kraftfahrzeugs 1 oder auch als Head-Up-Display ausgebildet. Furthermore, the evaluation device 13 with a navigation system 18 so connected to perform a data exchange can. In addition, the evaluation device 13 with a display device 19 which can be used to display certain information. The display device 19 is for example a display in the dashboard of the motor vehicle 1 or designed as a head-up display.

Zeigt der Fahrer des Kraftfahrzeugs 1, wie in 1 angedeutet, auf das Objekt 8, so erfasst der Sensor 16 die Position des zumindest einen Auges des Fahrers und der Sensor 17 die Zeigegeste. Dabei ist vorgesehen, dass beim Erfassen der Zeigegeste die Spitze eines Fingers der die Geste ausführenden Hand erfasst und ihre Position im Fahrzeuginnenraum bestimmt wird. Durch die Position des Auges und die Position der Fingerspitze wird eine Gerade bestimmt, die die Richtungsachse 20 bildet. so ist es für den Fahrer einfach möglich, ein bestimmtes Objekt auszuwählen, indem er aus seiner Sicht mit einer Fingerspitze darauf zeigt. Die Richtungsachse 20 wird dabei in Bezug auf das Kraftfahrzeug 1 bestimmt, wobei die Position des Kraftfahrzeugs 1, die aktuelle Fahrgeschwindigkeit sowie die Fahrtrichtung des Kraftfahrzeugs ebenfalls ermittelt werden. Die resultierende Richtungsachse 20 wird von der Auswerteeinrichtung 13 an das Navigationssystem 18 übergeben, um sie virtuell in einer Karte des Navigationssystems 18 abzulegen. Anhand der zuvor bestimmten Fahrzeugdaten, wie Fahrgeschwindigkeit, Fahrzeugposition und Fahrtrichtung wird die Richtungsachse 20 in der Karte des Navigationssystems 18 positioniert.Shows the driver of the motor vehicle 1 , as in 1 indicated on the object 8th , so the sensor detects 16 the position of the at least one eye of the driver and the sensor 17 the pointing gesture. It is provided that when detecting the pointing gesture, the tip of a finger of the gesture executing hand detected and their position in the vehicle interior is determined. The position of the eye and the position of the fingertip determine a straight line, which is the direction axis 20 forms. so it is easy for the driver to select a particular object by pointing from his point of view with a fingertip on it. The direction axis 20 is doing in relation to the motor vehicle 1 determines the position of the motor vehicle 1 , the current driving speed and the direction of travel of the motor vehicle are also determined. The resulting directional axis 20 is from the evaluation device 13 to the navigation system 18 pass to them virtually in a map of the navigation system 18 store. Based on the previously determined vehicle data, such as driving speed, vehicle position and direction of travel becomes the directional axis 20 in the map of the navigation system 18 positioned.

Das Navigationssystem 18 ist zweckmäßigerweise derart ausgebildet, dass es zusätzlich zu Straßeninformationen auch Objektinformationen bereithält. So sind heute bereits Navigationssystem bekannt, die eine Auswahl von POIs (Points of Interests) erlauben. Diese bestimmten Objekte sind in der Regel mit weitergehenden Informationen, wie beispielsweise Telefonnummer, Name oder gegebenenfalls sogar mit Hintergrundinformationen in den Karten des Navigationssystems hinterlegt, sodass sie bei Bedarf angezeigt werden können. Erfasst nun die Auswerteeinrichtung 13, dass die Richtungsachse 20 durch das Objekt 8 führt, so wird das Objekt 8 ausgewählt und es werden zu dem Objekt bekannte Informationen durch die Anzeigeeinrichtung 19 dargestellt. Das Fahrerassistenzsystem 12 bietet somit auf Basis einer kombinierten Blickrichtungs-Zeigegeste, bezogen auf Objekte in der realen Welt, eine Auswahl von weiterführenden Informationen bezüglich dieser Objekte, ohne dass der Fahrer das Objekt zunächst manuell (berührend) mittels eines entsprechenden Eingabesystems auswählen muss. Für den Fahrer wird durch den Bezug zur realen Umwelt besonders einfach eine Auswahlmöglichkeit zur Verfügung gestellt. The navigation system 18 is expediently designed such that it also holds object information in addition to road information. Thus, navigation systems are already known today, which allow a selection of POIs (Points of Interest). These particular items are usually backed up with additional information, such as phone number, name or possibly even background information in the maps of the navigation system, so that they can be displayed if necessary. Now capture the evaluation device 13 that the directional axis 20 through the object 8th leads, so does the object 8th selected and become known to the object information by the display device 19 shown. The driver assistance system 12 Thus, on the basis of a combined line of sight pointing, based on objects in the real world, a selection of further information regarding these objects, without the driver having to first manually select the object (touching) by means of a corresponding input system. For the driver, a reference to the real environment makes it particularly easy to make choices.

Bevorzugt wird die Richtungsachse 20, wie zuvor erwähnt, auf Basis der Position des Auges und der Fingerspitzenposition in allen drei Raumdimensionen bestimmt. Dadurch wird gewährleistet, dass der Fahrer auch auf ein Objekt zeigen kann, das hinter einem anderen Objekt liegt, aber größer als andere Objekte ausgebildet ist. Dadurch wird es dem Fahrer ermöglicht, auch ein weiter hinten liegendes Objekt auszuwählen, sofern es für ihn zum Teil noch sichtbar ist. Dazu wird die Höhe der Richtungsachse beziehungsweise der Höhenwinkel der Richtungsachse ebenfalls berücksichtigt. Vorzugsweise werden hierzu Höheninformationen des Navigationssystems mit ausgewertet.The directional axis is preferred 20 as previously mentioned, determined on the basis of the position of the eye and the fingertip position in all three space dimensions. This ensures that the driver can also point to an object that is behind another object, but is designed to be larger than other objects. This allows the driver to select an object further back, if it is still partially visible to him. For this purpose, the height of the directional axis or the elevation angle of the directional axis is also taken into account. For this purpose, height information of the navigation system is preferably evaluated.

Wurde ein Objekt ausgewählt und werden entsprechende Positionen angezeigt, kann beispielsweise mittels eines weiteren Sprachdialogs durch das Fahrerassistenzsystem die angezeigte Information weiter genutzt werden, beispielsweise um das Navigationssystem zu programmieren. If an object has been selected and corresponding positions are displayed, the displayed information can be further used, for example by means of a further speech dialogue by the driver assistance system, for example to program the navigation system.

Gemäß einem weiteren (nicht dargestellten) Ausführungsbeispiel ist vorgesehen, dass außer der Position auch noch die Blickrichtung des Auges oder beider Augen der Person/des Fahrers erfasst wird, um die Auswahl des Objektes zu plausibilisieren. So wird vorzugsweise die Blickrichtung als Blickachse ermittelt und ein Schnittpunkt der Blickachse mit der Richtungsachse mit der Position des ausgewählten Objektes verglichen. Weichen der Schnittpunkt und die Position des Objektes auffallend weit voneinander ab, so kann beispielsweise der Fahrer dazu aufgefordert werden, das Objekt erneut durch eine Zeigegeste auszuwählen. Da der Fahrer zum Ausführen der Zeigegeste auch den Blick auf das Objekt richten muss, wird dann automatisch auch die korrekte Position und/oder Blickrichtung des oder der Augen zum Bestimmen der Richtungsachse erfasst. According to another exemplary embodiment (not shown), it is provided that, in addition to the position, the line of sight of the eye or both eyes of the person / driver is detected in order to make the selection of the object plausible. Thus, the viewing direction is preferably determined as a viewing axis and an intersection of the visual axis with the directional axis is compared with the position of the selected object. If the point of intersection and the position of the object differ conspicuously far from each other, then the driver may for example be requested to repeat the object by means of a Select pointing gesture. Since the driver must also direct the view of the object in order to execute the pointing gesture, the correct position and / or viewing direction of the eye (s) for determining the directional axis is then automatically detected as well.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 102009046376 A1 [0003] DE 102009046376 A1 [0003]

Claims (10)

Fahrerassistenzsystem (12) für ein Fahrzeug, insbesondere Kraftfahrzeug (1), mit einer Gestenerfassungseinrichtung (14) zum Erfassen einer Zeigegeste einer Hand und/oder eines Fingers einer Person, insbesondere eines Fahrers des Fahrzeugs, und mit einer Umgebungserfassungseinrichtung, die außerhalb des Fahrzeugs befindliche Objekte (8 bis 11) bestimmt, gekennzeichnet durch eine Blickerfassungseinrichtung (15), die zumindest ein Auge der Person erfasst, und durch eine Auswerteeinrichtung (13), die in Abhängigkeit von dem erfassten Auge und der Zeigegeste eines der außerhalb des Fahrzeugs befindlichen Objekte (8 bis 11) auswählt und Informationen hierzu mittels einer Anzeigeeinrichtung (19) anzeigt. Driver assistance system ( 12 ) for a vehicle, in particular motor vehicle ( 1 ), with a gesture detection device ( 14 ) for detecting a pointing gesture of a hand and / or a finger of a person, in particular a driver of the vehicle, and with an environment detection device, the objects located outside the vehicle ( 8th to 11 ), characterized by a gaze detection device ( 15 ), which detects at least one eye of the person, and by an evaluation device ( 13 ) depending on the detected eye and the pointing gesture of one of the objects located outside the vehicle ( 8th to 11 ) and information on this by means of a display device ( 19 ). Fahrerassistenzsystem nach Anspruch 1, dadurch gekennzeichnet, dass die Umgebungserfassungseinrichtung ein Navigationssystem (18) ist. Driver assistance system according to claim 1, characterized in that the environment detecting means (a navigation system 18 ). Fahrerassistenzsystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Gestenerfassungseinrichtung (14) und/oder die Blickrichtungserfassungseinrichtung (15) mindestens einen optischen Sensor (16, 17), insbesondere einen Annäherungsdetektor, eine Videokamera, eine Radareinrichtung, einen Infrarotsensor, eine Lichtschranke und/oder einen Ultraschallsensor aufweisen. Driver assistance system according to one of the preceding claims, characterized in that the gesture detection device ( 14 ) and / or the sight line detection device ( 15 ) at least one optical sensor ( 16 . 17 ), in particular a proximity detector, a video camera, a radar device, an infrared sensor, a light barrier and / or an ultrasonic sensor. Fahrerassistenzsystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Anzeigeeinrichtung (19) als Display oder als Head-Up-Display ausgebildet ist.Driver assistance system according to one of the preceding claims, characterized in that the display device ( 19 ) is designed as a display or as a head-up display. Fahrerassistenzsystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Auswerteeinrichtung (13) bei der Auswahl des Objekts (8 bis 11) die Fahrtrichtung, die Fahrtgeschwindigkeit und/oder die Fahrzeugposition des Fahrzeugs berücksichtigt. Driver assistance system according to one of the preceding claims, characterized in that the evaluation device ( 13 ) when selecting the object ( 8th to 11 ) takes into account the direction of travel, the speed of travel and / or the vehicle position of the vehicle. Verfahren zum Betreiben eines Fahrerassistenzsystems (12), insbesondere nach einem oder mehreren der vorhergehenden Ansprüche, bei welchem eine Zeigegeste einer Hand und/oder eines Fingers einer Person, insbesondere eines Fahrers des Fahrzeugs, erfasst wird, und wobei außerhalb des Fahrzeugs befindliche Objekte (8 bis 11) bestimmt werden, dadurch gekennzeichnet, dass mindestens ein Auge der Person erfasst wird, und dass in Abhängigkeit des Auges und der Zeigegeste eines der Objekte (8 bis 11) ausgewählt und Informationen zu dem ausgewählten Objekt (8) angezeigt werden. Method for operating a driver assistance system ( 12 ), in particular according to one or more of the preceding claims, in which a pointing gesture of a hand and / or a finger of a person, in particular a driver of the vehicle, is detected, and wherein objects located outside the vehicle ( 8th to 11 ), characterized in that at least one eye of the person is detected, and that, depending on the eye and the pointing gesture, one of the objects ( 8th to 11 ) and information about the selected object ( 8th ) are displayed. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass die Objekte mittels eines Navigationssystems (18) bestimmt werden. A method according to claim 6, characterized in that the objects by means of a navigation system ( 18 ). Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in Abhängigkeit von einer erfassten Position und/oder Blickrichtung mindestens einen Auges und der Zeigegeste eine Richtungsachse (20) bestimmt wird. Method according to one of the preceding claims, characterized in that in dependence on a detected position and / or viewing direction of at least one eye and the pointing gesture a direction axis ( 20 ) is determined. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Richtungsachse (20) in das Navigationssystem (18) übertragen und das ausgewählte Objekt (8) an einem Schnittpunkt der Richtungsachse (20) mit einem in der Umgebung des Fahrzeugs befindlichen, insbesondere sichtbaren Objekts (8 bis 11) bestimmt wird. Method according to one of the preceding claims, characterized in that the directional axis ( 20 ) in the navigation system ( 18 ) and the selected object ( 8th ) at an intersection of the directional axis ( 20 ) with a particularly visible object located in the vicinity of the vehicle ( 8th to 11 ) is determined. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Position und/oder Blickrichtung des Auges und die Zeigegeste in drei Raumdimensionen bestimmt wird. Method according to one of the preceding claims, characterized in that the position and / or viewing direction of the eye and the pointing gesture is determined in three spatial dimensions.
DE201210219280 2012-10-23 2012-10-23 Driver assistance system for motor car, has evaluating device selecting and displaying information of objects located outside of vehicle through display device in response to detected eye and pointing gesture of hand and/or finger of person Ceased DE102012219280A1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE201210219280 DE102012219280A1 (en) 2012-10-23 2012-10-23 Driver assistance system for motor car, has evaluating device selecting and displaying information of objects located outside of vehicle through display device in response to detected eye and pointing gesture of hand and/or finger of person
CN201310497705.4A CN103770734A (en) 2012-10-23 2013-10-22 Driver assistance system and method
FR1360322A FR2997046B1 (en) 2012-10-23 2013-10-23 DRIVING ASSISTANCE SYSTEM AND METHOD FOR MANAGING IT

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE201210219280 DE102012219280A1 (en) 2012-10-23 2012-10-23 Driver assistance system for motor car, has evaluating device selecting and displaying information of objects located outside of vehicle through display device in response to detected eye and pointing gesture of hand and/or finger of person

Publications (1)

Publication Number Publication Date
DE102012219280A1 true DE102012219280A1 (en) 2014-04-24

Family

ID=50437041

Family Applications (1)

Application Number Title Priority Date Filing Date
DE201210219280 Ceased DE102012219280A1 (en) 2012-10-23 2012-10-23 Driver assistance system for motor car, has evaluating device selecting and displaying information of objects located outside of vehicle through display device in response to detected eye and pointing gesture of hand and/or finger of person

Country Status (3)

Country Link
CN (1) CN103770734A (en)
DE (1) DE102012219280A1 (en)
FR (1) FR2997046B1 (en)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150084854A1 (en) * 2012-03-23 2015-03-26 Audi Ag Method for operating an operating device of a motor vehicle
DE102014008687A1 (en) * 2014-06-12 2015-12-17 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Method for displaying vehicle surroundings information of a motor vehicle
WO2016064361A1 (en) * 2014-10-23 2016-04-28 Tofas Turk Otomobil Fabrikasi Anonim Sirketi A rear view system
DE102015201735A1 (en) 2015-02-02 2016-08-04 Bayerische Motoren Werke Aktiengesellschaft Gesture and eye position-based adjustment of the positioning position of a subject of a motor vehicle subsystem, in particular adjustment of the lower limit of the darkening portion of an electric-optical sun visor
DE102015201728A1 (en) 2015-02-02 2016-08-04 Bayerische Motoren Werke Aktiengesellschaft Method for selecting an operating element of a motor vehicle and operating system for a motor vehicle
DE102015201730A1 (en) 2015-02-02 2016-08-04 Bayerische Motoren Werke Aktiengesellschaft Method for selecting an operating element of a motor vehicle and operating system for a motor vehicle
DE102016007388A1 (en) 2016-06-17 2016-12-08 Daimler Ag Device and method for detecting gestures of a user of a vehicle
CN106585532A (en) * 2016-11-30 2017-04-26 惠州华阳通用电子有限公司 Automobile inside rearview mirror video switching method and device
GB2545526A (en) * 2015-12-17 2017-06-21 Jaguar Land Rover Ltd In vehicle system and method for providing information regarding points of interest
EP3252432A1 (en) * 2016-06-03 2017-12-06 Toyota Motor Sales, U.S.A., Inc. Information-attainment system based on monitoring an occupant
DE102017211089A1 (en) 2017-06-29 2019-01-03 Bayerische Motoren Werke Aktiengesellschaft Device for a motor vehicle for communication with another motor vehicle and / or for autonomous tracking of another motor vehicle
WO2020066269A1 (en) * 2018-09-28 2020-04-02 株式会社デンソー Gesture input device
WO2020200557A1 (en) * 2019-04-01 2020-10-08 Volkswagen Aktiengesellschaft Method and apparatus for interaction with an environment object in the surroundings of a vehicle
WO2021013469A1 (en) * 2019-07-19 2021-01-28 Volkswagen Aktiengesellschaft Provision and transmission of position data of the surroundings of a motor vehicle
CN112672924A (en) * 2018-08-03 2021-04-16 格雷斯诺特公司 Vehicle-based media system with audio advertising and navigation-related action synchronization
DE102015101358B4 (en) 2014-02-14 2023-12-07 Gm Global Technology Operations, Llc Method for detecting driver attention to objects
US12026961B2 (en) 2018-12-21 2024-07-02 Volkswagen Aktiengesellschaft Method and device for monitoring a passenger of a vehicle, and system for analyzing the perception of objects

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170088165A1 (en) * 2015-09-29 2017-03-30 GM Global Technology Operations LLC Driver monitoring
JP6439735B2 (en) * 2016-04-14 2018-12-19 トヨタ自動車株式会社 Driving support device
KR101887137B1 (en) * 2016-09-01 2018-09-10 현대자동차주식회사 Motion detecting apparatus, motion detecting method and motion detecting antenna
DE102017113763B4 (en) * 2017-06-21 2022-03-17 SMR Patents S.à.r.l. Method for operating a display device for a motor vehicle and motor vehicle
CN111284325B (en) * 2018-12-10 2022-04-15 博泰车联网科技(上海)股份有限公司 Vehicle, vehicle equipment and vehicle along-the-road object detailed information display method thereof
JP2020199848A (en) * 2019-06-07 2020-12-17 本田技研工業株式会社 Driver state detection device

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009046376A1 (en) 2009-11-04 2011-05-05 Robert Bosch Gmbh Driver assistance system for automobile, has input device including manually operated control element that is arranged at steering wheel and/or in area of instrument panel, where area lies in direct vicinity of wheel

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE602004011907D1 (en) * 2003-03-10 2008-04-03 Koninkl Philips Electronics Nv Display with multiple views
JP2005138755A (en) * 2003-11-07 2005-06-02 Denso Corp Virtual image display device and program
US20100274480A1 (en) * 2009-04-27 2010-10-28 Gm Global Technology Operations, Inc. Gesture actuated point of interest information systems and methods
EP2441635B1 (en) * 2010-10-06 2015-01-21 Harman Becker Automotive Systems GmbH Vehicle User Interface System

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009046376A1 (en) 2009-11-04 2011-05-05 Robert Bosch Gmbh Driver assistance system for automobile, has input device including manually operated control element that is arranged at steering wheel and/or in area of instrument panel, where area lies in direct vicinity of wheel

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150084854A1 (en) * 2012-03-23 2015-03-26 Audi Ag Method for operating an operating device of a motor vehicle
US9201502B2 (en) * 2012-03-23 2015-12-01 Audi Ag Method for operating an operating device of a motor vehicle using gaze detection
DE102015101358B4 (en) 2014-02-14 2023-12-07 Gm Global Technology Operations, Llc Method for detecting driver attention to objects
DE102014008687A1 (en) * 2014-06-12 2015-12-17 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Method for displaying vehicle surroundings information of a motor vehicle
US9802540B2 (en) 2014-06-12 2017-10-31 GM Global Technology Operations LLC Process for representing vehicle surroundings information of a motor vehicle
WO2016064361A1 (en) * 2014-10-23 2016-04-28 Tofas Turk Otomobil Fabrikasi Anonim Sirketi A rear view system
DE102015201735A1 (en) 2015-02-02 2016-08-04 Bayerische Motoren Werke Aktiengesellschaft Gesture and eye position-based adjustment of the positioning position of a subject of a motor vehicle subsystem, in particular adjustment of the lower limit of the darkening portion of an electric-optical sun visor
DE102015201728A1 (en) 2015-02-02 2016-08-04 Bayerische Motoren Werke Aktiengesellschaft Method for selecting an operating element of a motor vehicle and operating system for a motor vehicle
DE102015201730A1 (en) 2015-02-02 2016-08-04 Bayerische Motoren Werke Aktiengesellschaft Method for selecting an operating element of a motor vehicle and operating system for a motor vehicle
WO2016124473A1 (en) * 2015-02-02 2016-08-11 Bayerische Motoren Werke Aktiengesellschaft Method for selecting an operating element of a motor vehicle and operating system for a motor vehicle
GB2545526A (en) * 2015-12-17 2017-06-21 Jaguar Land Rover Ltd In vehicle system and method for providing information regarding points of interest
GB2545526B (en) * 2015-12-17 2020-03-11 Jaguar Land Rover Ltd In vehicle system and method for providing information regarding points of interest
EP3252432A1 (en) * 2016-06-03 2017-12-06 Toyota Motor Sales, U.S.A., Inc. Information-attainment system based on monitoring an occupant
DE102016007388A1 (en) 2016-06-17 2016-12-08 Daimler Ag Device and method for detecting gestures of a user of a vehicle
CN106585532A (en) * 2016-11-30 2017-04-26 惠州华阳通用电子有限公司 Automobile inside rearview mirror video switching method and device
DE102017211089A1 (en) 2017-06-29 2019-01-03 Bayerische Motoren Werke Aktiengesellschaft Device for a motor vehicle for communication with another motor vehicle and / or for autonomous tracking of another motor vehicle
CN112672924A (en) * 2018-08-03 2021-04-16 格雷斯诺特公司 Vehicle-based media system with audio advertising and navigation-related action synchronization
WO2020066269A1 (en) * 2018-09-28 2020-04-02 株式会社デンソー Gesture input device
US12026961B2 (en) 2018-12-21 2024-07-02 Volkswagen Aktiengesellschaft Method and device for monitoring a passenger of a vehicle, and system for analyzing the perception of objects
WO2020200557A1 (en) * 2019-04-01 2020-10-08 Volkswagen Aktiengesellschaft Method and apparatus for interaction with an environment object in the surroundings of a vehicle
WO2021013469A1 (en) * 2019-07-19 2021-01-28 Volkswagen Aktiengesellschaft Provision and transmission of position data of the surroundings of a motor vehicle
CN114127514A (en) * 2019-07-19 2022-03-01 大众汽车股份公司 Provision and transmission of position data of the surroundings of a motor vehicle
CN114127514B (en) * 2019-07-19 2025-02-07 大众汽车股份公司 Provision and transmission of position data of the vehicle's surroundings

Also Published As

Publication number Publication date
FR2997046A1 (en) 2014-04-25
FR2997046B1 (en) 2018-01-05
CN103770734A (en) 2014-05-07

Similar Documents

Publication Publication Date Title
DE102012219280A1 (en) Driver assistance system for motor car, has evaluating device selecting and displaying information of objects located outside of vehicle through display device in response to detected eye and pointing gesture of hand and/or finger of person
EP3762684A1 (en) Overlaying additional information on a display unit
EP3765324A1 (en) Method, device and computer-readable storage medium with instructions for controlling a display of an augmented reality display device for a motor vehicle
DE102012210145A1 (en) Method and device for assisting a driver in tracking a vehicle on a roadway
WO2017005400A1 (en) Motor vehicle with an automatic driving system
DE102011122616A1 (en) Method and device for providing a parking aid in a vehicle
DE112019007195T5 (en) DISPLAY CONTROL DEVICE, DISPLAY CONTROL METHOD AND DISPLAY CONTROL PROGRAM
EP3483654B1 (en) Detection and visualization of lack of system security in rendering augmented image content in head-up displays
DE102014211803A1 (en) Augmented reality system for a motor vehicle
DE102012208288A1 (en) Method for representing vehicle environment on display, involves detecting camera around vehicle, and determining environmental information from image of camera, where determined environmental information is stored and outputted on display
DE102013217558A1 (en) Method for controlling an information display device and device with an information display device
DE102015015676A1 (en) A method for automatically connecting an environmental image on a display unit of a vehicle
DE102013221201A1 (en) Method for assisting a driver when parking
DE102010003851A1 (en) Destination marking method for motor vehicle driver, involves determining position of destination relative to vehicle, and embedding virtual object in real vehicle environment that is visible to vehicle occupant on head-up display
DE102016225269A1 (en) Method and device for operating a display system with data glasses
DE102016122756A1 (en) A method for assisting a driver of a motor vehicle when parking the motor vehicle on a parking area, driver assistance system and motor vehicle
DE102015222844A1 (en) Method and control device for operating a field of view display device for a vehicle
DE102017209798A1 (en) Method and device for operating a display system in a motor vehicle
WO2019115340A1 (en) Method for operating an assistance system, and an assistance system for a motor vehicle
DE102014214088A1 (en) Driver information system in a vehicle
DE102008043155A1 (en) Driver information device for vehicle for displaying road sign in display device, has interface to camera unit for detecting road sign and course of traffic lane, where evaluation unit allocates road sign to traffic lane
DE102013013166A1 (en) Car with head-up display and associated gesture operation
DE102008060766A1 (en) Vehicle i.e. motor vehicle, has head-up-display-system coupled with navigation system in such manner that visual driving references of navigation system are represented dynamically on vehicle windscreen
DE102012005886B4 (en) Method for operating an operating device of a motor vehicle
DE102017002666A1 (en) Automatic driving maneuver

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final