[go: up one dir, main page]

CN104859540B - 车辆用显示控制装置 - Google Patents

车辆用显示控制装置 Download PDF

Info

Publication number
CN104859540B
CN104859540B CN201510084604.3A CN201510084604A CN104859540B CN 104859540 B CN104859540 B CN 104859540B CN 201510084604 A CN201510084604 A CN 201510084604A CN 104859540 B CN104859540 B CN 104859540B
Authority
CN
China
Prior art keywords
vehicle
driver
line
light stream
display control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510084604.3A
Other languages
English (en)
Other versions
CN104859540A (zh
Inventor
吉田诚
藤原由贵
岩下洋平
星野阳子
贝野彰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mazda Motor Corp
Original Assignee
Mazda Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mazda Motor Corp filed Critical Mazda Motor Corp
Publication of CN104859540A publication Critical patent/CN104859540A/zh
Application granted granted Critical
Publication of CN104859540B publication Critical patent/CN104859540B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333—Constructional arrangements; Manufacturing methods
    • G02F1/13338—Input devices, e.g. touch panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Nonlinear Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Physics (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Instrument Panels (AREA)
  • User Interface Of Digital Computer (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

一种车辆用显示控制装置(55)，用于具有车外摄像机(51)和显示部(57)的车辆，车外摄像机(51)拍摄自身车辆的前方风景，显示部(57)能够由驾驶员视认及操作，该车辆用显示控制装置包括：光流推定部(55a)，基于车外摄像机(51)拍摄的前方风景来推定光流；加饰线设定部(55c)，根据光流推定部(55a)推定出的光流来设定适用于显示部(67)的加饰线；显示控制部(55d)，基于加饰线设定部(55c)设定的加饰线来进行针对显示部(57)的显示控制。由此，能够恰当地缩短驾驶员的视认时间及操作时间。

Description

车辆用显示控制装置
技术领域
本发明涉及车辆用显示控制装置，尤其涉及一种用于具有显示部的车辆的车辆用显示控制装置，所示显示部能够由驾驶员视认及操作。
背景技术
近年来对车辆的人机界面(HMI)有如下的要求：驾驶员容易视认且容易操作。作为满足这样的要求的技术例如在日本专利公开公报特开2009-154647号中已有公开。该公报中公开了一种根据行驶状态将驾驶员确认频率高的对象显示在靠近驾驶员的位置的技术。
若如上述公报中公开的技术那样，将驾驶员确认频率高的对象显示在靠近驾驶员的位置，则驾驶员移动视线的距离变短，可以说视认时间得以缩短。但是，即使视认时间得以缩短，但有时会因视线在视线移动后的位置不稳定而导致操作时间变长。其结果，会导致驾驶员的视线离开行驶路线的时间变长。
发明内容
本发明为解决上述的以往技术的问题而作，其目的在于提供一种能够恰当地缩短驾驶员的视认时间及操作时间的车辆用显示控制装置。
为了实现上述目的，本发明的车辆用显示控制装置，用于具有车外摄像机和显示部的车辆的装置，所述车外摄像机拍摄所述车辆的前方风景，所述显示部能够由驾驶员视认及操作，该车辆用显示控制装置包括：光流推定单元，基于所述车外摄像机拍摄的前方风景来推定光流；加饰线设定单元，根据所述光流推定单元推定的光流来设定适用于所述显示部的加饰线；显示控制单元，基于所述加饰线设定单元设定的加饰线来进行针对所述显示部的显示控制，所述光流推定单元基于所述车外摄像机拍摄的前方风景来进行所述光流的消失点的推定，以作为所述光流的推定，所述加饰线设定单元基于所述光流推定单元推定的消失点与所述显示部之间的相对位置来求出假想流，并且将相对于该假想流的方向倾斜指定角度的线设定为所述加饰线，所述假想流是使所述光流延长到设置有所述显示部的位置而成的假想流。
在具有这样的技术方案的本发明中，由于根据基于前方风景所推定的光流来设定加饰线，并基于该加饰线来进行针对显示部的显示控制，因此能够使驾驶员认知已考虑了光流的加饰线，从而使驾驶员的注意容易投向显示部，能够缩短显示部的视认时间及操作时间。因此，能够恰当地缩短因对显示部的操作而驾驶员的视线离开驾驶中应注视的方向的时间。
并且，由于推定了光流的消失点，并基于该消失点与显示部之间的相对位置来求出假想流，因此能够恰当地求出与消失点的位置相应的假想流。具体而言，消失点的位置会基于转弯行驶或直线行驶等行驶状态而变化，但本发明能够恰当地求出与这样的消失点的位置变化相应的在设置有显示部的位置处的假想流，其结果，能够设定恰当的加饰线。
进一步，由于加饰线相对于使光流延长到设置有显示部的位置而成的假想流的方向而倾斜，因此能够恰当地考虑人的视认特性，能够有效缩短显示部的视认时间及操作时间。
本发明中较为理想的是，所述指定角度为50度以上。
在具有这样的技术方案的本发明中，由于加饰线相对于假想流的方向倾斜50度以上，因此能够更恰当地考虑人的视认特性，能够大幅度缩短显示部的视认时间及操作时间。
本发明中较为理想的是，还包括：驾驶员状态推定单元，基于设置在所述车辆中的车内摄像机所拍摄的驾驶员的图像来推定驾驶员状态，所述光流推定单元除了基于所述车外摄像机拍摄的前方风景以外，还基于所述驾驶员状态推定单元推定的驾驶员状态来推定所述消失点。
在具有这样的技术方案的本发明中，除了利用车外摄像机所拍摄的前方风景以外，还利用基于车内摄像机所拍摄的图像而被推定的驾驶员状态，来进行如上所述的消失点的推定，因此即使在前方风景中包含有先行车辆等从而难以仅基于前方风景来恰当地推定消失点的情况下，也能够利用驾驶员的视线方向等驾驶员的状态来进行补间，从而能够恰当地推定光流的消失点。而且，通过利用这样的驾驶员状态，能够推定已考虑了驾驶员的体格等个人差异的消失点，其结果，能够设定已考虑了驾驶员的个人差异的加饰线。
本发明中较为理想的是，所述显示控制单元使驾驶员能够操作的多个操作部显示在所述显示部上，并使所述多个操作部中的部分操作部以不同于其他操作部的显示形态来显示，以便在所述显示部上形成所述加饰线。
在具有这样的技术方案的本发明中，通过使多个操作部中的特定操作部的显示形态不同于其他操作部的显示形态，从而能够借助视觉效果使驾驶员恰当地认知与上述加饰线对应的假想的线部。
如上所述，根据本发明的车辆用显示控制装置，能够缩短用于该车辆用显示控制装置的车辆用操作装置的视认时间及操作时间，能够恰当地缩短因进行车辆用操作装置的操作而驾驶员的视线离开驾驶中应注视的方向的时间。
附图说明
图1表示用于说明本发明所涉及的实验的实验状况的图。
图2表示用于说明实验用操作装置的结构的图。
图3表示本实验的结果。
图4是表示本实施方式所涉及的车辆用显示控制装置的概略结构的方块图。
图5表示用于说明本实施方式所涉及的车辆用显示控制装置所进行的控制的基本概念的图。
图6表示本实施方式所涉及的车辆用显示控制装置所执行的流程图。
图7表示应用了本实施方式所涉及的车辆用显示控制装置的车辆用操作装置的第一例。
图8表示应用了本实施方式所涉及的车辆用显示控制装置的车辆用操作装置的第二例。
图9表示应用了本实施方式所涉及的车辆用显示控制装置的车辆用操作装置的第三例。
具体实施方式
以下，参照附图来说明本发明的实施方式所涉及的车辆用显示控制装置。
首先，在说明本发明的实施方式的内容之前，参照图1至图3来说明本发明的发明人所发现的现象。
图1表示用于说明本实验的实验状况的图。本实验是测定车辆的行驶中驾驶员对设置于仪表板的实验用操作装置1的操作时间。在实验用操作装置1上粘贴有长方形的加饰线2，该加饰线2是用于对实验用操作装置1附加加饰的线，其横跨实验用操作装置1正面前方。例如，加饰线2为白色的带。驾驶员在车辆的行驶中，视认图1中以实线箭头所示的光流。光流(Optical Flow)是指投影在人的视网膜上的外界的像整体的速度场(VelocityField)。尤其，图1所示的光流是在车辆进行自身直线运动时产生的光流，成为从位于行进方向上的放大中心(消失点)朝放射方向扩展的速度场。
图2表示用于具体说明实验用操作装置1的结构的图。如图2所示，实验用操作装置1具有标注有数字1～9的9个按钮1a，在其正面前方粘贴有加饰线2。本实验中利用加饰模式1～6来测定利用该加饰模式1～6时的驾驶员对实验用操作装置1的视认操作时间，所述加饰模式1～6是使粘贴于实验用操作装置1的加饰线2的粘贴角度予以各种变更而得到的模式。具体而言，使实验用操作装置1中的9个按钮1a中的任一个点亮，并且取得从该按钮1a点亮到驾驶员按下该按钮1a为止的时间，以作为视认操作时间。该视认操作时间是视认并操作实验用操作装置1所需的时间，是包含视认时间和操作时间的时间。
而且，在各加饰模式1～6中，加饰线2以假想流的方向(以虚线箭头所示)为基准，并以各自不相同的角度被倾斜地粘贴，所述假想流是与驾驶员行驶中所视认的光流相应的、在设置有实验用操作装置1的部位处的假想流。在加饰模式1中，加饰线2相对于假想流的方向而绕顺时针方向倾斜55度，在加饰模式2中，加饰线2相对于假想流的方向而绕顺时针方向倾斜35度，在加饰模式3中，加饰线2与假想流的方向一致，在加饰模式4中，加饰线2相对于假想流的方向而绕逆时针方向倾斜35度，在加饰模式5中，加饰线2相对于假想流的方向而绕逆时针方向倾斜50度，在加饰模式6中，加饰线2相对于假想流的方向而绕逆时针方向倾斜65度。
如上所述，假想流是在设置有实验用操作装置1的部位处的假想的光流。具体而言，假想流相当于如下的光流：在车辆的行驶中，在不存在实验用操作装置1的情况下在设置有实验用操作装置1的部位处产生的光流，亦即在透视过实验用操作装置1的情况下所视认到的光流。
图3表示上述的本实验的结果。图3中，横轴表示加饰线2相对于假想流而成的角度[度]，纵轴表示与未对实验用操作装置1附加加饰线2的情形相比得到的视认操作时间的缩短率[％]。而且，符号R1～R6表示在分别利用加饰模式1～6的情况下获得的实验结果。另外，纵轴所示的缩短率[％]在视认操作时间与未对实验用操作装置1附加加饰线2时相同的情况下为0[％]，与未对实验用操作装置1附加加饰线2时相比视认操作时间越短，则缩短率的值越大。有关横轴所示的角度[度]，以加饰线2相对于假想流绕顺时针方向倾斜时的角度作为正的角度，以绕逆时针方向倾斜时的角度作为负的角度。
根据图3所示的实验结果而判明：在对实验用操作装置1附加了加饰线2的情况下，比起未对实验用操作装置1附加加饰线2的情形，实验用操作装置1的视认操作时间得以缩短。而且判明，加饰线2相对于假想流的方向的角度越大，视认操作时间更为缩短。尤其判明，当加饰线2相对于假想流的方向的角度为顺时针方向50度以上或逆时针方向50度以上时，视认操作时间大幅度缩短(例如参照符号R1、R5、R6)。
根据以上所述的实验结果，本实施方式中，将起到与上述的加饰线2同样作用的、驾驶员能够视认的线部(相当于线状的部分，以下称作“线部”或“加饰线”)设定于作为车辆用操作装置的显示部。尤其，在本实施方式中，利用了假想的线部，该假想的线部是借助视觉效果让驾驶员认知到其如同存在般的线部，换言之，采用了利用视觉效果来让驾驶员视认的虚拟的线部。而且，本实施方式中，使该线部相对于假想流的方向倾斜地设置，该假想流是与驾驶员在行驶中所视认的光流相应的、在设置有显示部的部位处的假想流。较为理想的是，根据图3所示的实验结果，使线部相对于假想流的方向倾斜50度以上。
接下来，参照图4至图6，具体说明本实施方式所涉及的车辆用显示控制装置。
图4是表示本实施方式所涉及的车辆用显示控制装置的概略结构的方块图。
如图4所示，车辆用显示控制装置55在功能上具有光流推定部55a、驾驶员状态推定部55b、加饰线设定部55c及显示控制部55d。
车辆用显示控制装置55适用于仪表板等的作为设置在车内的车辆用操作装置(车载用导航装置或音响装置等)的显示部57，是能够进行针对显示部57的显示控制的控制器。而且，车辆用显示控制装置55具有未图示的CPU(Central Processing Unit：中央处理单元)、在CPU中被解释执行的各种程序(包含OS等基本控制程序及在OS中启动以实现特定功能的应用程序)、以及用于存储程序或各种数据的ROM(Read Only Memory：只读存储器)或RAM(Random Access Memory：随机访问存储器)之类的内部存储器等而构成。
光流推定部55a至少基于由拍摄自身车辆前方风景的车外摄像机51拍摄的图像(以下适当地称作“车外摄像机图像”)来推定驾驶员在车辆的行驶中所视认的光流。具体而言，光流推定部55a进行光流的消失点的推定，以作为光流的推定。驾驶员状态推定部55b基于由设置在车室内的拍摄驾驶员的车内摄像机53拍摄的图像(以下适当地称作“车内摄像机图像”)来推定驾驶员的脸的位置、眼睛的位置或视线方向等驾驶员状态。上述光流推定部55a除了利用由车外摄像机51拍摄的前方风景以外，还补充性地利用由驾驶员状态推定部55b推定的驾驶员状态来推定光流的消失点。
加饰线设定部55c基于由光流推定部55a推定的光流的消失点来设定适用于显示部57的加饰线。具体而言，加饰线设定部55c基于所推定出的光流的消失点与设置在车内的显示部57的相对位置，求出使光流延长到设置有显示部57的位置的假想流，将相对于该假想流的方向倾斜指定角度的线作为加饰线予以设定。较为理想的是，加饰线设定部55c根据图3所示的实验结果，将相对于假想流的方向倾斜50度以上的线作为加饰线予以设定。并且，显示控制部55d基于如此般由加饰线设定部55c设定的加饰线来进行针对显示部57的显示控制。
图5表示用于说明本实施方式所涉及的车辆用显示控制装置55所进行的控制的基本概念的图。
首先，车辆用显示控制装置55的光流推定部55a基于由车外摄像机51拍摄的前方风景，或者基于该前方风景及由驾驶员状态推定部55b所推定的驾驶员状态这两者，来推定驾驶员的视线范围61中产生的光流62的消失点63。接下来，车辆用显示控制装置55的加饰线设定部55c求出从光流推定部55a所推定的消失点63沿着与光流相同的方向延伸至显示部57的假想流65的方向(角度)。此时，加饰线设定部55c基于如符号64所示的、消失点63的位置与显示部57的位置(例如显示部57的中心点57C的位置)的相对位置关系来求出假想流65的方向。由此，来求出随消失点63与显示部57的位置关系而变化的假想流65的方向(基本上，显示部57的位置不变而消失点63的位置变化，因此因消失点63的位置变化而假想流65的方向发生变化)。而且，加饰线设定部55c将相对于如此般求出的假想流65的方向倾斜指定角度(例如50度以上)的线作为加饰线66予以设定。
图6表示本实施方式所涉及的车辆用显示控制装置55所执行的流程图。该流程由车辆用显示控制装置55以指定的周期反复执行。
首先，在步骤S1中，车辆用显示控制装置55的光流推定部55a获取由车外摄像机51拍摄的前方风景的图像(车外摄像机图像)。
接下来，在步骤S2中，光流推定部55a基于由车外摄像机51拍摄的前方风景，判定是否能够恰当地推定光流的消失点。在车外摄像机51所拍摄的前方风景(详细而言，前方风景中的与消失点对应的部分)中包含有先行车辆等的情况下，难以基于该前方风景来恰当地推定消失点。因此，光流推定部55a例如对车外摄像机51所拍摄的车外摄像机图像进行图像分析，来判断在该车外摄像机图像中是否包含有会妨碍到基于车外摄像机图像来推定消失点的对象物，由此，实施步骤S2的判定。
当步骤S2的判定结果是判定为能够恰当地推定光流的消失点时(步骤S2：“是”)，前进至步骤S5。此时，光流推定部55a对车外摄像机51所拍摄的车外摄像机图像进行图像分析，从而推定光流的消失点(步骤S5)。例如，光流推定部55a把在时间上连续的多个车外摄像机图像中图像的变化量最小的部分作为光流的消失点予以推定。另外，光流的消失点的位置对应于车辆的转弯行驶或直线行驶等行驶状态而变化。
另一方面，步骤S2的判定结果判定为无法恰当地推定出光流的消失点时(步骤S2：“否”)，前进至步骤S3，车辆用显示控制装置55的驾驶员状态推定部55b获取车内摄像机53所拍摄的图像(车内摄像机图像)。而且，前进至步骤S4，驾驶员状态推定部55b对车内摄像机图像进行图像分析，基于车内摄像机图像中所含的驾驶员的脸的位置或眼睛的位置等，来推定驾驶员的视线方向等驾驶员状态。
之后，在步骤S5中，光流推定部55a利用在步骤S4中所推定的视线方向等驾驶员状态对车外摄像机51所拍摄的前方风景(仅凭此无法恰当地推定消失点)进行补间，从而推定光流的消失点。例如，光流推定部55a假定驾驶员的视线方向朝向消失点，将与视线方向对应的前方风景上的位置作为光流的消失点予以推定。
在如上所述的步骤S5的处理后，前进至步骤S6，车辆用显示控制装置55的加饰线设定部55c求出步骤S5中所推定的消失点与设置在车内的显示部57的相对位置。此时，加饰线设定部55c利用事先存储的显示部57的位置(由于显示部57的位置基本上是固定的，因此可事先设定并存储)，求出消失点与显示部57的相对位置。
接下来，前进至步骤S7，加饰线设定部55c基于步骤S6中所求出的相对位置，求出从消失点的位置沿着与光流相同的方向延伸至显示部57的位置(例如显示部57的中心点57C的位置)的假想流65的方向(角度)。
接下来，前进至步骤S8，加饰线设定部55c把相对于步骤S7中求出的假想流的方向倾斜指定角度(例如50度以上)的线作为加饰线予以设定。之后，车辆用显示控制装置55的显示控制部55d基于如此般由加饰线设定部55c设定的加饰线，进行针对显示部57的显示控制。
接下来，对上述的本实施方式所涉及的车辆用显示控制装置55的作用效果进行说明。
本实施方式所涉及的车辆用显示控制装置55中，由于根据基于前方风景所推定的光流来设定加饰线，并基于该加饰线来进行针对显示部57的显示控制，因此能够使驾驶员认知已考虑了光流的装饰线，从而使驾驶员的注意容易投向显示部57，能够缩短显示部57的视认时间及操作时间。因此，能够恰当地缩短因对显示部57的操作而驾驶员的视线离开驾驶中应注视的方向的时间。
而且，本实施方式中，由于加饰线相对于使光流延长到设置有显示部57的位置而成的假想流的方向而倾斜，因此能够恰当地考虑人的视认特性，能够有效缩短显示部57的视认时间及操作时间。尤其，若使加饰线相对于假想流的方向倾斜50度以上，能够更恰当地考虑人的视认特性，能够大幅度缩短显示部57的视认时间及操作时间。
而且，本实施方式中，由于推定了光流的消失点，并基于该消失点与显示部57之间的相对位置来求出假想流，因此能够恰当地求出与消失点的位置相应的假想流。具体而言，消失点的位置会基于转弯行驶或直线行驶等行驶状态而变化，但本实施方式中能够恰当地求出与这样的消失点的位置变化相应的在设置有显示部57的位置处的假想流，其结果，能够设定恰当的加饰线。
而且，在本实施方式中，除了利用车外摄像机51所拍摄的前方风景以外，还利用基于车内摄像机53所拍摄的图像而被推定的驾驶员状态，来进行如上所述的消失点的推定，因此即使在前方风景中包含有先行车辆等从而难以仅基于前方风景来恰当地推定消失点的情况下，也能够利用驾驶员的视线方向等驾驶员的状态来进行补间，从而能够恰当地推定光流的消失点。而且，通过利用这样的驾驶员状态，能够推定已考虑了驾驶员的体格等个人差异考虑的消失点，其结果，能够设定已考虑了驾驶员的个人差异的加饰线。
以下，参照图7至图9，对车辆用显示控制装置55的显示控制部55d基于由车辆用显示控制装置55的加饰线设定部55c所设定的加饰线而执行的显示控制的具体例进行说明。本实施方式中，显示控制部55d进行显示控制，以使与如上所述的加饰线对应的假想的线部，基于视觉效果而让驾驶员认知到其如同存在般。此处，举一些应用了借助这样的显示控制部55d进行的显示控制的、作为显示部57的车辆用操作装置的例子。
首先，参照图7来说明应用了本实施方式所涉及的车辆用显示控制装置的车辆用操作装置的第一例。图7所示的车辆用操作装置10是具有由驾驶员能够操作的触控面板的液晶显示装置，被设置在仪表板上。而且，车辆用操作装置10显示选择用菜单，该选择用菜单包含通过触摸触控面板而能够选择的多个菜单按钮10a(相当于图标(icon))。此处例示了AV菜单。例如，车辆用操作装置10是车载用导航装置或音响装置等。
在本实施方式所涉及的第一例中，车辆用操作装置10如以符号A1所示般，对三个菜单按钮10a附加指定颜色的框来进行显示。具体而言，车辆用操作装置10对沿着该线部A2的三个菜单按钮10a附加框来进行显示，以使驾驶员认知到以虚线A2所示的假想的线部如同存在般。即，车辆用操作装置10仅对这三个菜单按钮10a附加框来进行显示，从而使假想的线部A2形成在车辆用操作装置10上。
详细而言，车辆用操作装置10应用了相对于假想流的方向而倾斜的线部A2，该假想流是会在设置有车辆用操作装置10的部位处产生的假想流。较为理想的是，可应用相对于假想流的方向倾斜50度以上的线部A2。另外，较为理想的是，对上述的三个菜单按钮10a附加蓝色的框来进行显示。这是因为其具有在周边的视野下容易视认到蓝色这一视认特性。
接下来，参照图8来说明应用了本实施方式所涉及的车辆用显示控制装置的车辆用操作装置的第二例。第二例中，也与第一例同样，使用具有触控面板的液晶显示装置亦即车辆用操作装置10。另外，标注了与图7相同的符号的要素具有与图7相同的含义，此处适当地省略它们的说明。
本实施方式所涉及的第二例中，车辆用操作装置10如以符号B1所示般，使三个菜单按钮10a附加与其他菜单按钮10a不同的指定颜色来进行显示。具体而言，车辆用操作装置10对沿着该线部B2的三个菜单按钮10a附加指定的颜色来进行显示，以使驾驶员认知到以虚线B2所示的假想的线部如同存在般。即，车辆用操作装置10对该三个菜单按钮10a附加与其他菜单按钮10a不同的指定颜色来进行显示，从而使假想的线部B2形成在车辆用操作装置10上。
详细而言，车辆用操作装置10应用了相对于假想流的方向而倾斜的线部B2，该假想流是会在设置有车辆用操作装置10的部位处产生的假想流。较为理想的是，可应用相对于假想流的方向倾斜50度以上的线部B2。另外，较为理想的是，对上述的三个菜单按钮10a附加蓝色来进行显示。其理由如第一例中所述。
另外，在上述的第一例及第二例中，表示了对沿着假想的线部A2的菜单按钮10a附加框来进行显示的例子、以及对沿着假想的线部B2的菜单按钮10a附加与其他菜单按钮10a不同的颜色来进行显示的例子，但本发明并不限定于此。总之，只要能够让驾驶员认知到假想的线部如同存在于车辆用操作装置10中，则应用于沿着该线部的菜单按钮10a的显示形态可以是任何的显示形态。具体而言，只要是沿着假想的线部的菜单按钮10a比其他菜单按钮10a更夺目的显示形态便可，换言之，只要是能够引起驾驶员注意的显示形态便可。
例如，在其他例子中，也可对沿着假想的线部的菜单按钮10a赋予层次，以使其比其他菜单按钮10a更夺目。此外，在其他例子中，也可对沿着假想的线部的菜单按钮10a附加指定的纹理，以使其比其他菜单按钮10a更夺目。此外，在其他例子中，也可使沿着假想的线部的菜单按钮10a的亮度高于其他菜单按钮10a。
接下来，参照图9来说明应用了本实施方式所涉及的车辆用显示控制装置的车辆用操作装置的第三例。图9所示的车辆用操作装置20是具有驾驶员能够操作的物理性的多个按钮20a(亦即开关)的装置，被设置在仪表板上。在各按钮20a中设置有LED20b。例如，车辆用操作装置20是车载用导航装置或音响装置等。
在本实施方式所涉及的第三例中，车辆用操作装置20使以符号C1所示的三个按钮20a的LED20b以与符号C2所示的其他按钮20a的LED20b不同的指定颜色发光。具体而言，车辆用操作装置20使沿着线部C3的三个按钮20a的LED20b以指定颜色发光，以使驾驶员认知到以该虚线C3所示的假想的线部如同存在般。即，车辆用操作装置20使该三个按钮20a的LED20b以与其他按钮20a的LED20b不同的指定颜色发光，从而使假想的线部C3形成在车辆用操作装置20上。
详细而言，车辆用操作装置20应用了相对于假想流的方向而倾斜的线部C3，该假想流是会在设置有车辆用操作装置20的部位处产生的假想流。较为理想的是，可应用相对于假想流的方向倾斜50度以上的线部C3。另外，较为理想的是，也可使上述的三个按钮20a的LED20b以蓝色来发光。其理由如第一例中所述。
另外，本发明并不限定于使沿着假想的线部C3的按钮20a的LED20b以与其他按钮20a的LED20b不同的指定颜色发光的情形。总之，只要能够让驾驶员认知到假想的线部C3如同存在于车辆用操作装置20中，则应用于沿着该线部C3的按钮20a的LED20b的发光形态可以是任何的发光形态。具体而言，只要是沿着假想的线部C3的按钮20a比其他按钮20a更夺目的发光形态便可，换言之，只要是能够引起驾驶员注意的发光形态便可。例如，在其他例子中，也可仅使沿着假想的线部C3的按钮20a的LED20b点亮，而使其他按钮20a的LED20b熄灭。
接下来，对上述的本实施方式的第一至第三例的作用效果进行说明。此处，为了便于说明，适当省略对各要素(例如车辆用操作装置等)的符号标注。
本实施方式中，通过在车辆用操作装置上形成借助视觉效果让驾驶员认知到其如同存在般的假想的线部，从而使驾驶员的注意容易投向车辆用操作装置，因此能够缩短车辆用操作装置的视认时间及操作时间。因此，能够恰当地缩短因对车辆用操作装置的操作而驾驶员的视线离开驾驶中应注视的方向的时间。
而且，本实施方式中，由于线部相对于与驾驶员在行驶中所视认的光流相应的、设置有车辆用操作装置的部位处的假想流的方向而倾斜，因此能够有效地缩短车辆用操作装置的视认时间及操作时间。尤其，通过使线部相对于假想流的方向倾斜50度以上，能够大幅度缩短车辆用操作装置的视认时间及操作时间。
此外，本实施方式中，如第一至第三例中所述，由于改变指定的菜单按钮10a的显示形态，或者改变指定的按钮20a的LED20b的发光形态，因此无须变更既有的显示菜单上的图标的设置结构，或者变更既有的装置的按钮设置等。因此，只要进行改变显示形态或发光形态的控制，便能够借助视觉效果让驾驶员恰当地认知到线部如同真的存在般。
另外，上述的实施方式中，采用了借助视觉效果让驾驶员认知到其如同存在般的假想的线部(参照图7至图9)，但在其他例子中，也可取代这样的假想的线部而采用驾驶员能够直接视认到的完全的线部(亦即在实验中所使用的加饰线2之类的线部)。具体而言，在其他例子中，在车辆用操作装置为显示装置的情况下，只要在画面上显示完全的线部即可，在车辆用操作装置为具有物理性开关的装置的情况下，只要将完全的线部作为外观设计而附加于装置的框体表面即可。此时，使该线部相对于假想流的方向倾斜便可，该假想流是与驾驶员在行驶中所视认的光流相应的在设置有车辆用操作装置的部位处的假想流。较为理想的是，使线部相对于假想流的方向倾斜50度以上便可。根据以上所述的其他例子，也能获得与上述的实施方式同样的作用效果。

Claims (5)

1.一种车辆用显示控制装置，其特征是用于具有车外摄像机和显示部的车辆的装置，所述车外摄像机拍摄所述车辆的前方风景，所述显示部能够由驾驶员视认及操作，该车辆用显示控制装置包括：
光流推定单元，基于所述车外摄像机拍摄的前方风景来推定光流；
加饰线设定单元，根据所述光流推定单元推定的光流来设定适用于所述显示部的加饰线；
显示控制单元，基于所述加饰线设定单元设定的加饰线来进行针对所述显示部的显示控制，
所述光流推定单元基于所述车外摄像机拍摄的前方风景来进行所述光流的消失点的推定，以作为所述光流的推定，
所述加饰线设定单元基于所述光流推定单元推定的消失点与所述显示部之间的相对位置来求出假想流，并且将相对于该假想流的方向倾斜指定角度的线设定为所述加饰线，所述假想流是使所述光流延长到设置有所述显示部的位置而成的假想流。
2.根据权利要求1所述的车辆用显示控制装置，其特征在于：
所述指定角度为50度以上。
3.根据权利要求1所述的车辆用显示控制装置，其特征在于还包括：
驾驶员状态推定单元，基于设置在所述车辆中的车内摄像机所拍摄的驾驶员的图像来推定驾驶员状态，
所述光流推定单元除了基于所述车外摄像机拍摄的前方风景以外，还基于所述驾驶员状态推定单元推定的驾驶员状态来推定所述消失点。
4.根据权利要求2所述的车辆用显示控制装置，其特征在于还包括：
驾驶员状态推定单元，基于设置在所述车辆中的车内摄像机所拍摄的驾驶员的图像来推定驾驶员状态，
所述光流推定单元除了基于所述车外摄像机拍摄的前方风景以外，还基于所述驾驶员状态推定单元推定的驾驶员状态来推定所述消失点。
5.根据权利要求1至4中任一项所述的车辆用显示控制装置，其特征在于：
所述显示控制单元使驾驶员能够操作的多个操作部显示在所述显示部上，并使所述多个操作部中的部分操作部以不同于其他操作部的显示形态来显示，以便在所述显示部上形成所述加饰线。
CN201510084604.3A 2014-02-25 2015-02-16 车辆用显示控制装置 Expired - Fee Related CN104859540B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2014-033947 2014-02-25
JP2014033947 2014-02-25
JP2014250666A JP6233599B2 (ja) 2014-02-25 2014-12-11 車両用表示制御装置
JP2014-250666 2014-12-11

Publications (2)

Publication Number Publication Date
CN104859540A CN104859540A (zh) 2015-08-26
CN104859540B true CN104859540B (zh) 2017-06-27

Family

ID=53782541

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510084604.3A Expired - Fee Related CN104859540B (zh) 2014-02-25 2015-02-16 车辆用显示控制装置

Country Status (4)

Country Link
US (1) US9639955B2 (zh)
JP (1) JP6233599B2 (zh)
CN (1) CN104859540B (zh)
DE (1) DE102015002118B4 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6256509B2 (ja) * 2016-03-30 2018-01-10 マツダ株式会社 電子ミラー制御装置
US10430671B2 (en) * 2017-04-22 2019-10-01 Honda Motor Co., Ltd. System and method for remapping surface areas of a vehicle environment
DE102017114450B4 (de) * 2017-06-29 2020-10-08 Grammer Aktiengesellschaft Vorrichtung und Verfahren zum Abbilden von Bereichen
EP3659849B1 (en) * 2017-08-25 2021-09-29 Mazda Motor Corporation Passenger compartment structure
JP6575935B2 (ja) * 2017-08-25 2019-09-18 マツダ株式会社 車室内構造
JP6575936B2 (ja) * 2017-08-25 2019-09-18 マツダ株式会社 車室内構造
JP6497424B2 (ja) 2017-09-20 2019-04-10 マツダ株式会社 車両の車室内構造
JP6666892B2 (ja) * 2017-11-16 2020-03-18 株式会社Ｓｕｂａｒｕ 運転支援装置及び運転支援方法
CN111340844B (zh) * 2020-02-24 2023-05-02 南昌航空大学 基于自注意力机制的多尺度特征光流学习计算方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3635591B2 (ja) * 1995-11-17 2005-04-06 矢崎総業株式会社 車両周辺監視装置
WO2005055189A1 (en) * 2003-12-01 2005-06-16 Volvo Technology Corporation Perceptual enhancement displays based on knowledge of head and/or eye and/or gaze position
US7190282B2 (en) * 2004-03-26 2007-03-13 Mitsubishi Jidosha Kogyo Kabushiki Kaisha Nose-view monitoring apparatus
WO2005121707A2 (en) * 2004-06-03 2005-12-22 Making Virtual Solid, L.L.C. En-route navigation display method and apparatus using head-up display
JP4848648B2 (ja) * 2005-03-14 2011-12-28 日産自動車株式会社 車載情報提供装置
JP2007210512A (ja) * 2006-02-10 2007-08-23 Nissan Motor Co Ltd 運転感覚調整装置
JP2007255977A (ja) * 2006-03-22 2007-10-04 Nissan Motor Co Ltd 物体検出方法および物体検出装置
JP2008003695A (ja) * 2006-06-20 2008-01-10 Toyota Motor Corp 画像処理装置
DE102007016868A1 (de) * 2007-04-10 2008-10-16 Robert Bosch Gmbh Verfahren zur Anzeige eines Fahrbahnverlaufs und Steuereinrichtung
JP2009154647A (ja) 2007-12-26 2009-07-16 Aisin Aw Co Ltd マルチ画面表示装置及びそのプログラム
JP5299026B2 (ja) * 2009-03-30 2013-09-25 マツダ株式会社 車両用表示装置
US9460601B2 (en) * 2009-09-20 2016-10-04 Tibet MIMAR Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance
CN102378998B (zh) 2009-12-10 2014-12-10 松下电器产业株式会社 信息显示设备和信息显示方法
JP5587032B2 (ja) * 2010-05-24 2014-09-10 矢崎総業株式会社 車両用表示装置
JP5724446B2 (ja) * 2011-02-21 2015-05-27 日産自動車株式会社 車両の運転支援装置

Also Published As

Publication number Publication date
DE102015002118A1 (de) 2015-08-27
JP6233599B2 (ja) 2017-11-22
CN104859540A (zh) 2015-08-26
JP2015180041A (ja) 2015-10-08
DE102015002118B4 (de) 2020-06-04
US20150243046A1 (en) 2015-08-27
US9639955B2 (en) 2017-05-02

Similar Documents

Publication Publication Date Title
CN104859540B (zh) 车辆用显示控制装置
US7559841B2 (en) Pose detection method, video game apparatus, pose detection program, and computer-readable medium containing computer program
US7785201B2 (en) Background image acquisition method, video game apparatus, background image acquisition program, and computer-readable medium containing computer program
US9905197B2 (en) Vehicle display device and vehicle display method
CN106132753B (zh) 信息显示系统
JP2008269588A (ja) 認識装置、認識方法及び認識プログラム
US10593227B2 (en) Evaluation program, storage medium, evaluation method, evaluation apparatus, and vehicle
CN108995590A (zh) 一种人车互动方法、系统及装置
CN108115695A (zh) 一种情感色彩表达系统及机器人
JP2007237986A (ja) 車両用入力装置
JP2021006805A5 (zh)
CN105915708A (zh) 呼吸灯的控制方法、装置和移动终端
JP2014209272A (ja) 車両用表示装置
JP4783047B2 (ja) 走行支援装置、走行支援方法、走行支援プログラム、および記録媒体
JP7015337B2 (ja) 情報処理システム、情報処理装置、情報処理プログラム、および情報処理方法
JPH0373223A (ja) ワイヤ放電加工機におけるワイヤ補正方向、テーパの傾き方向の指示および表示方法
WO2016185677A1 (ja) 車両周辺表示装置及び車両周辺表示方法
KR101806465B1 (ko) 헤드업 디스플레이의 정보 표시 장치 및 방법
JP6256509B2 (ja) 電子ミラー制御装置
JP2007196298A (ja) ディスプレイを備えたロボット
JP2019117433A (ja) 表示制御装置
JP7212092B2 (ja) 車両用表示装置
JP7548196B2 (ja) 画像表示システム
US20220129676A1 (en) Information providing method, non-transitory computer readable storage medium storing program, and information providing apparatus
JP2012050719A (ja) プログラム、オブジェクト制御方法およびゲーム装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170627

Termination date: 20220216

CF01 Termination of patent right due to non-payment of annual fee