[go: up one dir, main page]

JP6655036B2 - 車両の表示システム及び車両の表示システムの制御方法 - Google Patents

車両の表示システム及び車両の表示システムの制御方法 Download PDF

Info

Publication number
JP6655036B2
JP6655036B2 JP2017050349A JP2017050349A JP6655036B2 JP 6655036 B2 JP6655036 B2 JP 6655036B2 JP 2017050349 A JP2017050349 A JP 2017050349A JP 2017050349 A JP2017050349 A JP 2017050349A JP 6655036 B2 JP6655036 B2 JP 6655036B2
Authority
JP
Japan
Prior art keywords
vehicle
display
driver
outside
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017050349A
Other languages
English (en)
Other versions
JP2018155807A (ja
Inventor
武史 鳥居
武史 鳥居
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Subaru Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Subaru Corp filed Critical Subaru Corp
Priority to JP2017050349A priority Critical patent/JP6655036B2/ja
Priority to CN201810140068.8A priority patent/CN108621942B/zh
Priority to US15/898,269 priority patent/US10279683B2/en
Publication of JP2018155807A publication Critical patent/JP2018155807A/ja
Application granted granted Critical
Publication of JP6655036B2 publication Critical patent/JP6655036B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B60K35/233—Head-up displays [HUD] controlling the size or position in display areas of virtual images depending on the condition of the vehicle or the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B60K35/235—Head-up displays [HUD] with means for detecting the driver's gaze direction or eye points
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/654—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096716—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information does not generate an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096775—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/161—Explanation of functions, e.g. instructions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/186—Displaying information according to relevancy
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/25—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using haptic output
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/26—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using acoustic output
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Traffic Control Systems (AREA)
  • Instrument Panels (AREA)
  • Emergency Alarm Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Description

本発明は、車両の表示システム及び車両の表示システムの制御方法に関する。
従来、例えば下記の特許文献１には、ＨＵＤ（Ｈｅａｄ−ｕｐ Ｄｉｓｐｌａｙ）による表示に関し、ＡＣＣがオン状態である場合に通常モードの表示を運転者の前方視野に重畳された状態で表示させることが記載されている。
また、特許文献１には、ＡＣＣがオフ状態である場合、防犯モードの表示を車両外部の歩行者から読める状態でフロントガラス１１に表示させることが記載されている。
特開２０１６−１３６１９９号公報
しかしながら、上記特許文献に記載された技術では、ドライバが車両を運転しようとして車両に近づいた際に、ドライバに対して有用な情報を表示することは何ら想定していなかった。また、上記特許文献に記載された技術は、車両に対するドライバの位置に応じて、車両の表示を変化させることは何ら想定していなかった。このため、車両外のドライバが表示位置から移動した場合に、表示内容を視認することができないという問題が生じていた。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ドライバが車両を運転しようとして車両に近づいた際に、ドライバに対して有用な情報を提供することが可能な、新規かつ改良された車両の表示システム及び車両の表示システムの制御方法を提供することにある。
上記課題を解決するために、本発明のある観点によれば、車両の窓部に表示を行う表示装置と、前記車両にドライバが近づいたことを判定する判定部と、前記車両に前記ドライバが近づいたことが判定された場合に、車外に向けて表示を行うように前記表示装置を制御する表示制御部と、を備え、前記判定部は、車外における前記ドライバの位置を判定し、前記表示制御部は、車外における前記ドライバの動きに応じて、複数の前記窓部のうち前記ドライバに近い前記窓部に表示を行うように前記表示装置を制御する、車両の表示システムが提供される。
また、上記課題を解決するために、本発明の別の観点によれば、車両の窓部に表示を行う表示装置と、前記車両にドライバが近づいたことを判定する判定部と、前記車両に前記ドライバが近づいたことが判定された場合に、車外に向けて表示を行うように前記表示装置を制御する表示制御部と、前記車両に異常が発生しているか否かを判定する異常判定部と、を備え、前記表示制御部は、前記車両に異常が発生している場合は、異常が発生していることを警告する表示を行うように前記表示装置を制御する、車両の表示システムが提供される。
また、上記課題を解決するために、本発明の別の観点によれば、車両の窓部に表示を行う表示装置と、前記車両にドライバが近づいたことを判定する判定部と、前記車両に前記ドライバが近づいたことが判定された場合に、車外に向けて表示を行うように前記表示装置を制御する表示制御部と、を備え、前記表示制御部は、前記車両に異常が発生していない場合は、車外に向けて通常表示を行うように前記表示装置を制御する、車両の表示システムが提供される。
また、前記通常表示は、前記ドライバに対するメッセージ、天気予報、ニュース、及び経路情報のうちの少なくとも１つの表示を含むものであっても良い。
また、外部のサーバと通信を行う通信装置を備え、前記通常表示に関する情報は、前記通信装置により前記サーバから取得されるものであっても良い。
また、前記ドライバが前記車両に乗車したか否かを判定する乗車判定部を備え、前記表示制御部は、前記ドライバが前記車両に乗車したと判定された場合は、車内向けの表示を行うように前記表示装置を制御するものであっても良い。
また、前記表示制御部は、前記車外向けの表示の表裏を反転させて前記車内向けの表示を行うように前記表示装置を制御するものであっても良い。
また、前記ドライバに異常が生じているか否かを判定するドライバ状態判定部を備え、前記表示制御部は、前記ドライバに異常が発生している場合は、異常が発生していることを警告する表示を行うように前記表示装置を制御するものであっても良い。
また、上記課題を解決するために、本発明の別の観点によれば、車両の窓部に表示を行う表示装置と、カメラによって撮影された画像に基づいてドライバ情報取得部が取得したドライバの情報及びドア開閉センサから得られる情報に基づいて、前記車両にドライバが乗車しているか否かを判定する乗車判定部と、前記車両に前記ドライバが乗車している場合に車内向けの表示を行うように前記表示装置を制御し、前記車両から前記ドライバが降車した場合に車外向けの表示を行うように前記表示装置を制御する表示制御部と、車外における前記ドライバの位置を判定する判定部と、を備え、前記表示制御部は、複数の前記窓部のうち前記ドライバに近い前記窓部に表示を行うように前記表示装置を制御する、車両の表示システムが提供される。
また、前記表示制御部は、車外における前記ドライバの動きに応じて、複数の前記窓部のうち前記ドライバに近い前記窓部に表示を行うように前記表示装置を制御するものであっても良い。
また、上記課題を解決するために、本発明の別の観点によれば、車両の窓部に表示を行う表示装置を有する車両の表示システムの制御方法であって、前記車両にドライバが近づいたことを判定するステップと、前記車両に前記ドライバが近づいたことが判定された場合に、車外に向けて表示を行うように前記表示装置を制御するステップと、を備え、 前記判定するステップは、車外における前記ドライバの位置を判定し、前記表示装置を制御するステップは、車外における前記ドライバの動きに応じて、複数の前記窓部のうち前記ドライバに近い前記窓部に表示を行うように前記表示装置を制御する、車両の表示システムの制御方法が提供される。
本発明によれば、表示を視認するどの対象に向けたメッセージなのかを確実に判別することが可能となる。
本発明の一実施形態に係る車両システムの構成を示す模式図である。 自発光中間膜を用いたＨＵＤ装置を示す模式図である。 ドライバセンサがドライバを撮影している状態を示す模式図である。 ＨＵＤ装置による車両のフロントガラスへの表示の例を示す模式図である。 ＨＵＤ装置による車両のフロントガラスへの表示の例を示す模式図である。 ＨＵＤ装置による車両のフロントガラスへの表示の例を示す模式図である。 ドライバが車両に乗車する際に、車両に異常等が生じていない場合の表示例を示す模式図である。 図７の表示を行った際に、ドライバが車両に乗り込んだことを検知した場合に車内向けの表示を行った例を示す模式図である。 ドライバがイグニッションスイッチ（ＩＧ＿ＳＷ）をオフにした際に、車内のドライバ向けにフロントガラスに表示を行った例を示す模式図である。 図９の表示を行った際に、ドライバが降車したことを検知した場合に、車内向けの表示から車外向けの表示に切り換わる様子を示す模式図である。 ドライバが車両の周囲を移動した場合に、ドライバの位置に応じて、表示するガラスが切り換わる例を示す模式図である。 車外にいるドライバの検知方法を示す模式図である。 車外にいるドライバの検知方法を示す模式図である。 ドライバ状態判定部によりドライバの状態が判定される様子を示す模式図である。 ドライバ状態判定部によりドライバの顔の表情を判定する手法を示す模式図である。 ドライバに異常が生じている場合の警告表示を示す模式図である。 本実施形態の処理を示すフローチャートである。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
図１は、本発明の一実施形態に係る車両の表示システム１０００の構成を示す模式図である。車両の表示システム１０００は、基本的には自動車などの車両に構成されるシステムである。図１に示すように、車両の表示システム１０００は、車外センサ１００、ドライバセンサ２００、着座センサ３００、ドア開閉センサ３５０、制御装置４００、ＨＵＤ装置５００、スピーカ６００、通信装置７００、アンテナ８００を有して構成されている。
また、車両に構成される表示システム１０００の周辺には、車両の表示システム１０００と通信を行うワイヤレスキー１１００、クラウドサーバ１２００が備えられている。
車外センサ１００は、ステレオカメラ、単眼カメラ、ミリ波レーダ、赤外線センサ等から構成され、自車両周辺の人や車両などの位置、速度を測定する。車外センサ１００がステレオカメラから構成される場合、ステレオカメラは、ＣＣＤセンサ、ＣＭＯＳセンサ等の撮像素子を有する左右１対のカメラを有して構成され、車両外の外部環境を撮像し、撮像した画像情報を制御装置４００へ送る。一例として、ステレオカメラは、色情報を取得可能なカラーカメラから構成され、車両のフロントガラスの上部に設置される。
ＨＵＤ（Ｈｅａｄ−ｕｐ Ｄｉｓｐｌａｙ）装置５００は、人間の視野に直接情報を映し出す表示装置であって、自動車のフロントガラスやリアガラスなどのガラス上に実像を表示する。ＨＵＤは虚像を表示する装置が一般的に知られているが、本実施形態では、実像を映し出す表示装置を用いる。ＨＵＤ装置５００は、実像を表示しているため、視野角がほぼ３６０°あり、車内外から表示を視認することが可能である。
ＨＵＤ装置５００として、より具体的には、図２に示すような自発光中間膜５１０を用いる装置を用いることができる。この場合、車両のフロントガラス、リアガラス等において、表裏の２枚のガラス５２０で挟むように自発光中間膜５１０を配置する。自発光中間膜５１０には発光材料が含まれており、車内に設置するプロジェクター５３０からレーザ光を照射すると、照射された部分が発光し、文字や画像が表示される。表示物は全角度からの視認性を有し、運転席以外の席や、車両外部からも視認することができる。なお、ＨＵＤ装置５００は、自発光タイプのデバイスを車両のガラスに配置することで構成することもできる。この場合、例えば有機ＥＬ素子を用いた透明スクリーン、または透過型液晶装置等を用いることもできる。また、表示デバイスとして、ＨＵＤ装置５００以外のデバイスを用いても良く、例えばインパネに設置した大型液晶装置やＬＥＤ表示装置などを用いても良い。なお、以下では、表示装置として車両の窓部（ガラス）に表示を行うＨＵＤ装置５００を例に挙げて説明するが、本発明に係る表示装置はこれに限定されるものではなく、車両の内部又は外部に設けられた表示装置の全ての態様を含む。例えば、本実施形態に係る表示装置は、車両外部の窓部以外（ボディーなど）に設けられていても良く、車両内部の窓部以外（インパネ、座席など）に設けられていても良い。また、車両の内部に設けられた表示装置と車両の外部に設けられた表示装置は一体であっても良いし、別体であっても良い。
ドライバセンサ２００は、カメラ、視線センサ、モーションセンサ等から構成され、ドライバ（運転者）の頭や腕の動き、視線方向などを測定する。ドライバセンサ２００がカメラから構成される場合、カメラが撮像した画像を画像処理することで、頭や腕の動き、視線方向などを取得する。ドライバセンサ２００が視線センサから構成される場合、角膜反射法などの方法により視線検出を行う。着座センサ３００は、車両内の各座席に設けられ、座席に人が座ったか否かを判定する。ドア開閉センサ３５０は、ドアの開閉を検知するセンサである。スピーカ６００は、ＨＵＤ装置５００によって車両の内外へ警告を表示する際に、車両の内外へ警告音を発生させる。
制御装置４００は、車外センサ１００、ドライバセンサ２００等が検出した情報に基づいて、ＨＵＤ装置５００による表示を制御する。このため、制御装置４００は、環境情報取得部４０２、ドライバ情報取得部４０４、環境状態判定部４０７、ドライバ状態判定部４１２、ＨＵＤ制御部（表示制御部）４１４、異常判定部４１６を有している。なお、制御装置４００の各構成要素は、回路（ハードウェア）、またはＣＰＵなどの中央演算処理装置とこれを機能させるためのプログラム（ソフトウェア）によって構成されることができる。
環境情報取得部（位置取得部）４０２は、車外センサ１００を構成するステレオカメラの左右１組のカメラによって撮像した左右１組のステレオ画像対に対し、対応する位置のずれ量から三角測量の原理によって対象物までの距離情報を生成して取得することができる。同時に、環境情報取得部４０２は、画像情報から被写体の位置情報を取得することができる。また、環境情報取得部４０２は、三角測量の原理によって生成した距離情報に対して、周知のグルーピング処理を行い、グルーピング処理した距離情報を予め設定しておいた三次元的な立体物データ等と比較することにより、立体物データや白線データ等を検出する。これにより、制御装置４００は、人物、他車両、一時停止の標識、停止線、ＥＴＣゲートなどを認識することもできる。
また、環境情報取得部４０２は、三角測量の原理によって生成した人物、他車両との距離情報を用いて、人物や他車両との距離の変化量、相対速度を算出することができる。距離の変化量は、単位時間ごとに検知されるフレーム画像間の距離を積算することにより求めることができる。また、相対速度は、単位時間ごとに検知される距離を当該単位時間で割ることにより求めることができる。
このように、環境情報取得部４０２は、車外センサ１００から得られる車両外の画像情報を取得して画像分析処理を行い、画像情報を分析して車両外の環境情報を取得する。
アンテナ８００は、ワイヤレスキー１１００と通信を行う。ワイヤレスキー１１００がアンテナ８００に電波を送信し、アンテナ８００がワイヤレスキー１１００からの電波を受信すると、車両のドアがロックされ、またはドアのロックが解除される。また、後述するが、アンテナ８００がワイヤレスキー１１００からの電波を受信すると、電波の受信強度に基づいて車外にいるドライバの位置、車両からの距離が検知される。
通信装置７００は、車両の外部と通信を行う。クラウドサーバ１２００は、インターネットなどのネットワーク１３００を介して通信装置７００と接続されている。クラウドサーバ１２００は、通信装置７００へ天気予報、渋滞情報、ニュース、経路情報などの一般情報を送ることができる。通信装置７００に送られたこれらの情報は、ＨＵＤ制御部４１４がＨＵＤ装置５００に後述する通常表示を行う場合に使用される。
図３は、ドライバセンサ２００がカメラから構成される場合に、ドライバセンサ２００がドライバを撮影している状態を示す模式図である。図３に示すように、ドライバセンサ２００は、一例としてステアリングコラムの上部に設置される。
ドライバセンサ２００がカメラから構成される場合、ドライバセンサ２００によって撮影された画像は、制御装置４００に入力される。ドライバ情報取得部４０４は、入力画像からエッジ検出、顔検出等の画像処理技術を用いてドライバの顔や身体の領域など、ドライバの顔又は身体の情報を取得する。
制御装置４００の環境状態判定部４０７は、環境情報取得部４０２が取得した環境情報に基づいて、車両外の環境情報を判定する。特に、環境状態判定部４０７は、車両外の対象として人物の状態、位置、車両外の対象と車両との距離、対象同士の距離の大きさを判定することができる。また、環境状態判定部４０７は、アンテナ８００がワイヤレスキー１１００から受信した電波の受信強度に基づいて、車両外の対象の位置、車両外の対象の位置と車両との距離の大きさを判定することができる。
ドライバ状態判定部４１２は、環境情報取得部４０２が取得した環境情報に基づいて、ドライバの状態を判定する。なお、ドライバ判定部４１２による判定方法は後述する。
乗車判定部４１６は、ドライバ情報取得部４０４が取得したドライバの情報、ドア開閉センサ３５０から得られる情報に基づいて、ドライバが車両に乗車しているか否かを判定する。乗車判定部４１６は、ドア開閉センサ３５０から得られる情報によりドアが開閉したことが検知され、ドライバ情報取得部４０４から得られる情報によりドライバが運転席にいることが検知されると、ドライバが車両に乗車していると判定する。
ＨＵＤ制御部（表示制御部）４１４は、ＨＵＤ装置５００による表示を制御する。ＨＵＤ制御部４１４は、環境状態判定部４０７、ドライバ状態判定部４１２の判定結果に基づいて、ＨＵＤ装置５００による表示を制御することができる。
異常判定部４１６は、車両に異常が生じているか否かを判定する。異常判定部４１６は、例えば車両に備えられたＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）から得られる各種センサ情報に基づいて、異常を判定する。異常判定部４１６は、空気圧の低下、オイルの温度の低下、オイル量の不足、バッテリー低下など車両の様々な異常を判定することができる。
本実施形態では、ドライバが車両を運転するために車両に近づくと、ＨＵＤ装置５００が車両のガラスに表示を行う。図４〜図６は、ＨＵＤ装置５００による車両１０のフロントガラス５０への表示の例を示す模式図であって、ドライバの乗車時に、車両１０に異常などがあった場合の表示例を示している。図４は、車両外のドライバに対して車外向けの表示を行っている様子を示しており、タイヤの空気圧が低下していることをドライバに警告するための表示を行った例を示している。警告として、オイルの温度の低下、オイル量の不足、バッテリー低下など、様々な情報を表示することができる。なお、図４に示すような表示の制御は、環境状態判定部４０７が車両外のドライバが近づいたことを判定し、異常判定部４１６が車両に異常が生じていることを判定し、ＨＵＤ制御部４１４が環境状態判定部４０７及び異常判定部４１６の判定結果に基づいてＨＵＤ装置５００による表示を制御することで行われる。環境状態判定部４０７は、ドライバと車両１０の距離が所定のしきい値以内となった場合にドライバが車両１０に近づいたと判定する。
図５及び図６は、図４の表示を行った際に、ドライバが車両１０に乗り込んだことを検知した場合に車内向けの表示を行った例を示している。ここで、図５は車外から表示を見た状態を示しており、図６は車外から表示を見た状態を示している。図５及び図６に示す例では、図４に示した表示と同じものを反転してフロントガラス５０に表示している。このように、ドライバが車両１０に乗車した後は、図４と同じ表示を反転させたり、点滅させるなどして、ドライバが継続して警告を認識できるようにすることが望ましい。一方、ドライバが車両１０に乗車した後は、車外向けの表示とは別の表示に切り換えても良い。ＨＵＤ制御部４１４は、乗車判定部４１６によりドライバが車両１０に乗車したと判定された場合は、車外向けの表示から車内向けの表示に切り換えるようにＨＵＤ装置５００を制御する。
以上のように、車両１０に異常が生じている場合は、ドライバが車両１０に乗り込む前に車外に向けて警告を表示することで、異常をドライバにいち早く知らせることができる。図４の例の場合、警告を見たドライバは車両１０に乗り込む前に空気圧を確認することができる。このように、ドライバは運転前の早い段階で異常を確実に認識することができ、運転に有用な情報を得ることができる。
図７は、ドライバが車両に乗車する際に、車両１０に異常等が生じていない場合の表示例を示す模式図である。図７に示すように、車両１０に異常等が生じていない場合は、ＨＵＤ制御部４１４は、通常表示を行うようにＨＵＤ装置５００による表示を制御する。通常表示では、異常が無いことや、その他の一般情報（例えば、誕生日のお知らせ、写真、絵、天気予報、渋滞情報、経路情報、ニュース）を伝えるための表示を行なう。
図８は、図７の表示を行った際に、ドライバが車両１０に乗り込んだことを検知した場合に車内向けの表示を行った例を示している。図８に示す例では、経路情報６０をフロントガラス５０に表示した例を示している。ドライバが車両１０に乗車した後は、図７に示す表示を引き続き表示しても良いし、他の表示を行っても良い。図７に示す表示を引き続き行う場合は、表示の表裏が反転される。
図９は、ドライバがイグニッションスイッチ（ＩＧ＿ＳＷ）をオフにした際に、車内のドライバ向けにフロントガラス５０に表示を行った例を示す模式図である。図１０は、図９の表示を行った際に、ドライバ７０が降車したことを検知した場合に、車内向けの表示から車外向けの表示に切り換わる様子を示す模式図である。図１０に示す例では、運転席側のガラス５２に車外向けの表示を行っている。ＨＵＤ制御部４１４は、乗車判定部４１６によりドライバが車両１０から降車したと判定された場合は、車内向けの表示から車外向けの表示に切り換えるようにＨＵＤ装置５００を制御する。このように、ドライバ７０が降車した場合は車外向けの表示に切り換えることで、ドライバ７０に対して引き続きメッセージを伝えることができる。車外向けの表示は、一定時間の経過後に消される。
図１１は、ドライバ７０が車両１０の周囲を移動した場合に、ドライバ７０の位置に応じて、表示するガラスが切り換わる例を示す模式図である。図１１の右側の図に示すように、ドライバ７０が運転席の近くにいる場合は、運転席側のガラス５２に表示が行われる。一方、図１１の左側の図に示すように、ドライバ７０が車両１０の後方へ歩いていくと、車両後部のガラス５４に表示が行われる。同様に、ドライバ７０が車両１０の前方に歩いていくと、車両１０のフロントガラス５０に表示が行われる。これにより、例えばドライバ７０が車両１０の前方から車両に近づいていき、運転席から乗車する場合は、最初はフロントガラス５０に表示が行われ、ドライバ７０が運転席に近づくと運転席側のガラス５２に表示が行われることになる。従って、ドライバ７０は車外向けの表示を確実に視認することが可能である。図１１に示すような表示の制御は、環境状態判定部４０７が車両外の人物の位置を判定し、ＨＵＤ制御部４１４が環境状態判定部４０７の判定結果に基づいてＨＵＤ装置５００による表示を制御することで行われる。
図１２及び図１３は、車外にいるドライバの検知方法を示す模式図である。図１２は、車外センサ１００でドライバ７０を検知する方法を示す模式図である。この場合、図１２に示すように、車両の複数箇所に車外センサ１００を設け、環境情報取得部４０２による上述した画像認識で車外のドライバ７０を認識し、ドライバ７０までの距離を計測する。そして、環境状態判定部４０７によりドライバ７０までの距離が所定のしきい値以下であるか否かを判定し、ドライバ７０までの距離が所定のしきい値以下の場合に、車外向けの表示を行う。
また、環境状態判定部４０７は、環境情報取得部４０２が画像認識で認識したドライバ７０の位置情報に基づいてドライバ７０の位置を判定し、判定結果に応じて最もドライバ７０に近いガラスに車外向けの表示が行われる。
図１３は、ワイヤレスキー１１００でドライバを検知する方法を示している。この場合、図１３に示すように、車両の前後左右に設置したアンテナ８００でワイヤレスキー１１００からの電波を受信する。そして、アンテナ８００がワイヤレスキー１１００から受信する電波の受信強度が所定値以上であるか判定し、受信強度が所定値以上の場合はドライバが近づいていると判定し、車外向けの表示を行う。
図１４は、ドライバ状態判定部４１２によりドライバ７０の状態が判定される様子を示す模式図である。上述のように、ドライバ状態判定部４１２は、環境情報取得部４０２が取得した環境情報に基づいて、ドライバ７０の状態を判定する。図１４に示すように、ドライバ７０は、軌跡Ｔに沿ってふらつきながら車両１０に近づくものとする。この際、環境情報取得部４０２による画像認識でドライバ７０の位置及び車両１０までの距離が取得され、軌跡Ｔが取得される。ドライバ状態判定部４１２は、軌跡Ｔに基づいてドライバ７０の状態（挙動）を判定する。
そして、ドライバ状態判定部４１２は、ドライバ７０の左右のふらつき（一定時間内の左右の移動量）やドライバ７０の車両１０まで近づく速度について、所定のしきい値を超えた場合に異常と判定する。所定のしきい値は、予め定めた平均的な値とする。ドライバ状態判定部４１２は、ドライバ７０の一定時間内の左右の移動量、速度が所定のしきい値を超えた場合は、ドライバ７０が疲労していると判断し、異常と判定する。
また、車両１０を運転するドライバ７０が特定の人物に限られている場合は、そのドライバ７０の通常値から定まる値を所定のしきい値とする。例えば、特定のドライバ７０の通常値に所定の係数を乗じた値を所定のしきい値とする。特定のドライバ７０の通常値は、学習により取得することができる。ドライバ状態判定部４１２は、ドライバ７０の一定時間内の左右の移動量、速度が、そのドライバ７０の通常値から定まるしきい値を超えた場合は、ドライバ７０が疲労していると判断し、異常と判定する。
また、図１５は、ドライバ状態判定部４１２によりドライバ７０の顔の表情を判定する手法を示す模式図である。図１５に示すように、顔の表情の画像情報と、各画像情報に対応する感情（喜び、驚き、怒り、悲しみ）とが対応付けられて予め保持されている。ドライバ状態判定部４１２は、環境情報取得部４０２が取得したドライバ７０の顔の画像情報と、予め保持している図１６に示す画像情報とを対比し、図１５に示す画像情報の中からドライバ７０の画像情報との類似度が高いものを抽出し、抽出した画像情報に対応する感情に基づいてドライバ７０の状態（感情）を判定する。例えば、ドライバ状態判定部４１２は、ドライバ７０の感情が極度に怒っている場合、極度に悲しんでいる場合、極度に眠い場合等は、ドライバ７０が異常であると判定する。この場合、図１６に示すような表示（「安全運転を心がけてください」）を車外に向けて表示し、ドライバに警告を促す。図１６に示す表示は、ドライバ状態判定部４１２がドライバ７０の状態が異常であるか否かを判定し、ＨＵＤ制御部４１４がドライバ状態判定部４１２の判定結果に基づいてＨＵＤ装置５００による表示を制御することで行われる。
図１７は、本実施形態の処理を示すフローチャートである。先ず、ステップＳ１０では、車外センサ１００から得られる情報、またはワイヤレスキー１１００から得られる受信強度に基づいて、ドライバ７０が車両１０に近づいたか否かを判定する。次のステップＳ１２では、車外センサ１００から得られる情報、またはワイヤレスキー１１００から得られる受信強度に基づいて、車両１０の前後左右の何処にドライバ７０が近いかを判定する。
次のステップＳ１４では、車両１０またはドライバ７０に異常があるか否かを判定し、車両１０に異常がある場合はステップＳ１６へ進む。ステップＳ１６では、車両１０のガラスに異常を示す情報を車外に向けて表示する。この際、最もドライバ７０に近いガラスに車外向けの表示を行う。次のステップＳ１８では、ドライバ７０が車両１０に乗り込んだか否かを判定し、ドライバ７０が車両１０に乗り込んだことが判定された場合は、ステップＳ２０へ進む。ステップＳ２０では、車内向けの表示に切り換えて表示を行う。
次のステップＳ２２では、ドライバがイグニッションスイッチ（ＩＧ＿ＳＷ）をオフにして降車したか否かを判定し、ドライバがイグニッションスイッチをオフにして降車した場合はステップＳ２４へ進む。ステップＳ２４では、車内表示から車外表示に切り換え、一定時間が経過した後に表示を消す。ステップＳ２４の後は処理を終了する（ＥＮＤ）。
また、ステップＳ１４で車両に異常がない場合は、ステップＳ２６へ進む。ステップＳ２６では、車両１０のガラスに通常表示を表示する。ステップＳ２６の後はステップＳ１８へ進む。
また、ステップＳ１８でドライバ７０が車両１０に乗り込んでいない場合は、ステップＳ２８へ進む。ステップＳ２８では、異常が解消したか否かを判定し、異常が解消した場合はステップＳ３０へ進む。ステップＳ３０では、一定時間表示後、表示を消す。ステップＳ３０の後は処理を終了する（ＥＮＤ）。
以上説明したように本実施形態によれば、ドライバ７０が車両１０に近づいた際に車両１０のガラスに表示を行うようにしたため、ドライバ７０は運転前に様々な情報を認識することができる。また、車両外のドライバ７０の移動に応じて表示を行うガラスを切り換えるようにしたため、ドライバ７０が移動している場合であっても確実に情報を認識することができる。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
１００ 制御装置
４０７ 環境状態判定部
４１２ ドライバ状態判定部
４１４ ＨＵＤ制御部
５００ ＨＵＤ装置

Claims (11)

  1. 車両の窓部に表示を行う表示装置と、
    前記車両にドライバが近づいたことを判定する判定部と、
    前記車両に前記ドライバが近づいたことが判定された場合に、車外に向けて表示を行うように前記表示装置を制御する表示制御部と、
    を備え、
    前記判定部は、車外における前記ドライバの位置を判定し、
    前記表示制御部は、車外における前記ドライバの動きに応じて、複数の前記窓部のうち前記ドライバに近い前記窓部に表示を行うように前記表示装置を制御することを特徴とする、車両の表示システム。
  2. 車両の窓部に表示を行う表示装置と、
    前記車両にドライバが近づいたことを判定する判定部と、
    前記車両に前記ドライバが近づいたことが判定された場合に、車外に向けて表示を行うように前記表示装置を制御する表示制御部と、
    前記車両に異常が発生しているか否かを判定する異常判定部と、
    を備え、
    前記表示制御部は、前記車両に異常が発生している場合は、異常が発生していることを警告する表示を行うように前記表示装置を制御することを特徴とする、車両の表示システム。
  3. 車両の窓部に表示を行う表示装置と、
    前記車両にドライバが近づいたことを判定する判定部と、
    前記車両に前記ドライバが近づいたことが判定された場合に、車外に向けて表示を行うように前記表示装置を制御する表示制御部と、
    を備え、
    前記表示制御部は、前記車両に異常が発生していない場合は、車外に向けて通常表示を行うように前記表示装置を制御することを特徴とする、車両の表示システム。
  4. 前記通常表示は、前記ドライバに対するメッセージ、天気予報、ニュース、及び経路情報のうちの少なくとも１つの表示を含むことを特徴とする、請求項３に記載の車両の表示システム。
  5. 外部のサーバと通信を行う通信装置を備え、前記通常表示に関する情報は、前記通信装置により前記サーバから取得されることを特徴とする、請求項３又は４に記載の車両の表示システム。
  6. 前記ドライバが前記車両に乗車したか否かを判定する乗車判定部を備え、
    前記表示制御部は、前記ドライバが前記車両に乗車したと判定された場合は、車内向けの表示を行うように前記表示装置を制御することを特徴とする、請求項１〜５のいずれかに記載の車両の表示システム。
  7. 前記表示制御部は、前記車外向けの表示の表裏を反転させて前記車内向けの表示を行うように前記表示装置を制御することを特徴とする、請求項６に記載の車両の表示システム。
  8. 前記ドライバに異常が生じているか否かを判定するドライバ状態判定部を備え、
    前記表示制御部は、前記ドライバに異常が発生している場合は、異常が発生していることを警告する表示を行うように前記表示装置を制御することを特徴とする、請求項１〜７のいずれかに記載の車両の表示システム。
  9. 車両の窓部に表示を行う表示装置と、
    カメラによって撮影された画像に基づいてドライバ情報取得部が取得したドライバの情報及びドア開閉センサから得られる情報に基づいて、前記車両にドライバが乗車しているか否かを判定する乗車判定部と、
    前記車両に前記ドライバが乗車している場合に車内向けの表示を行うように前記表示装置を制御し、前記車両から前記ドライバが降車した場合に車外向けの表示を行うように前記表示装置を制御する表示制御部と、
    車外における前記ドライバの位置を判定する判定部と、
    を備え、
    前記表示制御部は、複数の前記窓部のうち前記ドライバに近い前記窓部に表示を行うように前記表示装置を制御することを特徴とする、車両の表示システム。
  10. 前記表示制御部は、車外における前記ドライバの動きに応じて、複数の前記窓部のうち前記ドライバに近い前記窓部に表示を行うように前記表示装置を制御することを特徴とする、請求項９に記載の車両の表示システム。
  11. 車両の窓部に表示を行う表示装置を有する車両の表示システムの制御方法であって、
    前記車両にドライバが近づいたことを判定するステップと、
    前記車両に前記ドライバが近づいたことが判定された場合に、車外に向けて表示を行うように前記表示装置を制御するステップと、
    を備え、
    前記判定するステップは、車外における前記ドライバの位置を判定し、
    前記表示装置を制御するステップは、車外における前記ドライバの動きに応じて、複数の前記窓部のうち前記ドライバに近い前記窓部に表示を行うように前記表示装置を制御することを特徴とする、車両の表示システムの制御方法。
JP2017050349A 2017-03-15 2017-03-15 車両の表示システム及び車両の表示システムの制御方法 Active JP6655036B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017050349A JP6655036B2 (ja) 2017-03-15 2017-03-15 車両の表示システム及び車両の表示システムの制御方法
CN201810140068.8A CN108621942B (zh) 2017-03-15 2018-02-11 车辆的显示系统及车辆的显示系统的控制方法
US15/898,269 US10279683B2 (en) 2017-03-15 2018-02-16 Vehicle display system and method of controlling vehicle display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017050349A JP6655036B2 (ja) 2017-03-15 2017-03-15 車両の表示システム及び車両の表示システムの制御方法

Publications (2)

Publication Number Publication Date
JP2018155807A JP2018155807A (ja) 2018-10-04
JP6655036B2 true JP6655036B2 (ja) 2020-02-26

Family

ID=63521462

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017050349A Active JP6655036B2 (ja) 2017-03-15 2017-03-15 車両の表示システム及び車両の表示システムの制御方法

Country Status (3)

Country Link
US (1) US10279683B2 (ja)
JP (1) JP6655036B2 (ja)
CN (1) CN108621942B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210197847A1 (en) * 2019-12-31 2021-07-01 Gm Cruise Holdings Llc Augmented reality notification system

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11417426B2 (en) 2017-02-24 2022-08-16 Masimo Corporation System for displaying medical monitoring data
US11024064B2 (en) 2017-02-24 2021-06-01 Masimo Corporation Augmented reality system for displaying patient data
CN110809804B (zh) 2017-05-08 2023-10-27 梅西莫股份有限公司 使用适配器将医疗系统与网络控制器配对的系统
JP7114906B2 (ja) * 2018-01-17 2022-08-09 トヨタ自動車株式会社 車両用表示装置
JP7005112B2 (ja) * 2018-03-05 2022-01-21 矢崎総業株式会社 表示システム、及び、車載システム
EP3670232B1 (en) * 2018-12-19 2024-01-24 Audi Ag A display device for a vehicle and a method for operating the display device
DE102019202862B4 (de) * 2019-03-04 2022-08-04 Audi Ag Vorrichtung zur Bereitstellung von Bilddaten
JP6816185B2 (ja) * 2019-03-07 2021-01-20 ソフトバンク株式会社 通信端末装置、並びに、その制御方法及びプログラム
JP7415394B2 (ja) * 2019-09-24 2024-01-17 スズキ株式会社 車両の表示装置
DE102019219272A1 (de) * 2019-12-10 2021-06-10 Continental Automotive Gmbh Fahrzeug mit einem Innenraum und Verfahren zur Steuerung einer Anzeigeeinheit in einem Fahrzeug
JP2021091305A (ja) * 2019-12-10 2021-06-17 本田技研工業株式会社 自動運転車用情報提示装置
WO2022038878A1 (en) * 2020-08-21 2022-02-24 Sony Group Corporation Information displaying apparatus, information displaying method, and program
JP2022039116A (ja) * 2020-08-27 2022-03-10 本田技研工業株式会社 自動運転車用情報提示装置
CN112078519A (zh) * 2020-09-09 2020-12-15 上海仙塔智能科技有限公司 车载全息投影仪控制系统及车载全息投影仪
JPWO2022091859A1 (ja) * 2020-11-02 2022-05-05
US20220254284A1 (en) * 2021-02-09 2022-08-11 Hyundai Mobis Co., Ltd. Smart mobility vehicle
DE102022118298A1 (de) 2022-07-21 2024-02-01 Bayerische Motoren Werke Aktiengesellschaft Fahrzeug mit Umfeldprojektion in Fahrzeugscheiben und entsprechendes Verfahren
JP2024120432A (ja) * 2023-02-24 2024-09-05 日本精機株式会社 表示システム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7028819B2 (en) * 1996-02-21 2006-04-18 Hitachi, Ltd. Device and method for supplying power to a vehicle, semi-conductor circuit device for use in the same and collective wiring device for a vehicle or an automobile
CA2351138A1 (en) * 2001-06-20 2002-12-20 Standard Tool & Mold Inc. Automobile proximity warning system
JP4025081B2 (ja) * 2002-01-31 2007-12-19 株式会社日立国際電気 移動広告表示システム
US7561966B2 (en) * 2003-12-17 2009-07-14 Denso Corporation Vehicle information display system
JP4059224B2 (ja) * 2004-04-13 2008-03-12 株式会社デンソー 運転者の外観認識システム
JP2006113230A (ja) * 2004-10-14 2006-04-27 Seiko Epson Corp 画像表示システム及びプロジェクタ、並びに広告表示方法
WO2006054542A1 (ja) * 2004-11-16 2006-05-26 Nihon University 疲労判定システム及び疲労判定方法
JP2007049561A (ja) * 2005-08-11 2007-02-22 Fujitsu Ten Ltd 車載通信システム、車載端末および携帯端末
JP4815943B2 (ja) * 2005-08-19 2011-11-16 株式会社デンソー 危険箇所情報表示装置
JP5119587B2 (ja) * 2005-10-31 2013-01-16 株式会社デンソー 車両用表示装置
US8629784B2 (en) * 2009-04-02 2014-01-14 GM Global Technology Operations LLC Peripheral salient feature enhancement on full-windshield head-up display
US8649533B2 (en) * 2009-10-02 2014-02-11 Ford Global Technologies, Llc Emotive advisory system acoustic environment
KR101101293B1 (ko) * 2011-04-15 2012-01-04 손순호 차량용 스마트키 이탈경보 시스템
US9082239B2 (en) * 2012-03-14 2015-07-14 Flextronics Ap, Llc Intelligent vehicle for assisting vehicle occupants
US20160185219A1 (en) * 2013-08-19 2016-06-30 Mitsubishi Electric Corporation Vehicle-mounted display control device
US9400564B2 (en) * 2013-09-17 2016-07-26 Toyota Motor Engineering & Manufacturing North America, Inc. Interactive vehicle window display system with a safe driving reminder system
JP2015209154A (ja) * 2014-04-28 2015-11-24 矢崎総業株式会社 車載警報装置
JP6331875B2 (ja) * 2014-08-22 2018-05-30 株式会社デンソー 車載制御装置
KR102241297B1 (ko) * 2014-08-27 2021-04-16 삼성전자주식회사 제어 방법 및 그 방법을 처리하는 전자장치
US9168869B1 (en) * 2014-12-29 2015-10-27 Sami Yaseen Kamal Vehicle with a multi-function auxiliary control system and heads-up display
US9639994B2 (en) * 2014-12-29 2017-05-02 Here Global B.V. Optimized parking system
JP6448387B2 (ja) * 2015-01-23 2019-01-09 三菱電機株式会社 表示装置
CN104709164B (zh) * 2015-02-09 2017-02-22 浙江吉利汽车研究院有限公司 基于驾驶行为的驾驶员状态提示方法和系统
JP2017177883A (ja) * 2016-03-28 2017-10-05 株式会社オートネットワーク技術研究所 車載報知装置
JP6458792B2 (ja) * 2016-11-04 2019-01-30 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210197847A1 (en) * 2019-12-31 2021-07-01 Gm Cruise Holdings Llc Augmented reality notification system
US11760370B2 (en) * 2019-12-31 2023-09-19 Gm Cruise Holdings Llc Augmented reality notification system
US20230391353A1 (en) * 2019-12-31 2023-12-07 Gm Cruise Holdings Llc Augmented reality notification system
US12091039B2 (en) * 2019-12-31 2024-09-17 Gm Cruise Holdings Llc Augmented reality notification system

Also Published As

Publication number Publication date
CN108621942B (zh) 2023-02-17
US10279683B2 (en) 2019-05-07
JP2018155807A (ja) 2018-10-04
CN108621942A (zh) 2018-10-09
US20180264945A1 (en) 2018-09-20

Similar Documents

Publication Publication Date Title
JP6655036B2 (ja) 車両の表示システム及び車両の表示システムの制御方法
CN108639055B (zh) 车辆的显示系统及车辆的显示系统的控制方法
US10882398B2 (en) System and method for correlating user attention direction and outside view
JP6470335B2 (ja) 車両の表示システム及び車両の表示システムの制御方法
CN109795413B (zh) 驾驶辅助装置和驾驶辅助方法
US10011216B1 (en) Auto turn signal initiation based on lane change and driver history
US11858424B2 (en) Electronic device for displaying image by using camera monitoring system (CMS) side display mounted in vehicle, and operation method thereof
US20200207358A1 (en) Contextual driver monitoring system
CN102712317B (zh) 使驾驶员与环境感测结合的车辆安全性系统
CN108621941B (zh) 车辆的显示系统及车辆的显示系统的控制方法
JP6453929B2 (ja) 車両の表示システム及び車両の表示システムの制御方法
JP2010143250A (ja) 後方視認装置
JP6525345B2 (ja) 車両の表示システム及び車両の表示システムの制御方法
US20230294706A1 (en) Systems and methods for eye gaze based alertness measurement
JP2005284797A (ja) 走行安全装置
JP7363377B2 (ja) 運転支援装置、運転支援方法、及び運転支援プログラム
JP2024082983A (ja) 仮想画像表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180911

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181030

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190412

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190415

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190416

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190903

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191004

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200131

R150 Certificate of patent or registration of utility model

Ref document number: 6655036

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250