CN109643439A - 周边监视装置 - Google Patents

Abstract

本发明涉及周边监视装置。周边监视装置具备：取得部，其取得表示路面的凹凸状态的三维模型图像，该三维模型图像包含：从拍摄包含车辆的行进方向的路面的周边图像的拍摄部输出的拍摄图像数据、和表示在上述周边图像中显示的路面的每个区域的高度的高度数据；以及控制部，其将表示基于高度数据的路面的高度的指标重叠于已取得的三维模型图像所包含的每个区域并显示于显示装置。

Description

周边监视装置

技术领域

本发明涉及周边监视装置。

背景技术

以往，提出了使用包含由航空照片取得的图像和高度信息的位置信息来制作能够立体观察的地图的技术。

专利文献1：日本特开2003-98957号公报

然而，上述那样的地图制作技术主要将广大范围作为显示对象，所以大多不适于例如在车载的显示装置中显示车辆周边的限定的区域的情况。另外，在车载的显示装置的情况下，由于配置空间受限，画面尺寸很难大型化，即使在将显示内容设为立体图像的情况下，也存在该立体感难以传递给利用者这样的问题。

发明内容

因此，本发明的课题之一提供一种在被配置于车室内的显示装置表示车辆的周边状况的周边图像的情况下，图像内容的立体感变得更明确，能够显示更容易掌握车辆的周边状况的周边监视装置。

本发明的实施方式的上述周边监视装置例如具备：取得部，其取得表示路面的凹凸状态的三维模型图像，该三维模型图像包含：从拍摄包含车辆的行进方向的上述路面的周边图像的拍摄部输出的拍摄图像数据、和表示在上述周边图像中显示的上述路面的每个区域的高度的高度数据；以及控制部，其将表示基于上述高度数据的上述路面的高度的指标重叠于已取得的上述三维模型图像所包含的每个上述区域并显示于显示装置。根据该构成，在三维模型图像所包含的每个区域重叠显示表示路面的高度的指标，所以例如容易直观地掌握路面的高度。

本发明的实施方式的上述周边监视装置的上述指标例如也可是表示上述路面的上述凹凸状态的线框。根据该构成，高度的变化由构成线框的线的倾斜的变化来表现，所以例如高度的变化被更显著地表现，容易更直观地掌握路面的高度。

本发明的实施方式的上述周边监视装置的上述指标例如也可是以上述路面的规定的面为基准连结相同高度的多个位置的等高线。根据该构成，例如路面的同程度的高度部分变得明确，所以容易更直观地掌握路面的高度结构。

本发明的实施方式的上述周边监视装置的上述指标例如也可是相应于上述三维模型图像的每个上述区域的梯度方向能够移动的多个移动标记，上述控制部也可相应于每个上述区域的梯度状态而使上述移动标记的移动速度不同。根据该构成，例如通过移动的移动标记的存在而路面的凹凸变得更明确，并且通过移动标记的移动速度来表现路面的梯度，所以容易更直观地掌握路面的梯度构成。

本发明的实施方式的上述周边监视装置的上述指标例如也可是表示基于上述高度数据的上述路面的高度的、在上述三维模型图像上向规定的方向移动的扫描线。根据该构成，相应于路面的形状，扫描线的形状一边变化一边在三维模型图像上向规定的方向移动，所以例如容易掌握局部的路面形状。此外，扫描线例如可以是一条也可是多条，使扫描线的条数减少，从而能够提高三维模型图像所显示的路面图像的可视性。

本发明的实施方式的上述周边监视装置的上述控制部例如也可用将上述指标重叠于上述三维模型图像的区域的上述路面的颜色的补色来显示上述指标。根据该构成，以三维模型图像所含的路面的显示颜色的补色来显示指标的显示颜色，由此例如进一步提高指标的识别性，更容易进行路面的形状掌握。

本发明的实施方式的上述周边监视装置的上述控制部例如也可相应于上述路面的高度而使上述指标的显示样态不同。根据该构成，例如能够更容易进行路面的高度的掌握。

本发明的实施方式的上述周边监视装置的上述控制部例如也可与上述指标一起将表示基于上述车辆的转向角的行进推断方向的行进路线指标重叠于上述三维模型图像。根据该构成，例如能够容易掌握车辆的行进推断方向的路面的高度(高低差)，能够更容易进行易于行驶的行进路的选择。

本发明的实施方式的上述周边监视装置的上述控制部例如也可在重叠上述行进路线指标的区域和其它区域中使上述指标的显示样态不同。根据该构成，能够更详细地提供车辆的行进预定方向的路面的高度信息，并且能够简化行进预定方向以外的区域的高度信息的显示，所以能够减少运算处理的负荷，并且能够提高画面整体的可视性。

附图说明

图1是表示搭载实施方式的周边监视装置的车辆的车室的一部分被透视了的状态的一个例子的立体图。

图2是表示搭载实施方式的周边监视装置的车辆的一个例子的俯视图。

图3是表示包含实施方式的周边监视装置的周边监视系统的一个例子的框图。

图4是为了显示在实施方式的周边监视装置的ECU内实现的指标而表示控制部(CPU)的结构的一个例子的框图。

图5是说明在实施方式的周边监视装置中，作为指标将线框重叠于三维模型图像的例子的显示例。

图6是说明在实施方式的周边监视装置中，未重叠指标的三维模型图像的例子的图像例。

图7是说明在实施方式的周边监视装置中，包含重叠于三维模型图像的高度信息的线框的样态的图像例。

图8是在实施方式的周边监视装置中，在三维模型图像中作为表示路面的高度的指标的一个例子，重叠了对应于路面的高度的等高线的情况下的显示例。

图9是在实施方式的周边监视装置中，在作为指标重叠了线框的三维模型图像中显示能够根据梯度方向移动的多个移动标记的显示例。

图10是说明在实施方式的周边监视装置中，作为指标在三维模型图像上在第一方向移动的扫描线的显示例的图。

图11是说明在实施方式的周边监视装置中，作为指标在三维模型图像上在第二方向移动的扫描线的显示例的图。

图12是表示在实施方式的周边监视装置中，与在决定指标的显示颜色时被参照的数据对应的色相环的例子的图。

图13是在实施方式的周边监视装置中，相应于路面的高度使指标的显示样态变化的显示例，是表示使由线框围起的区域中的超过规定高度的区域的显示颜色变化的例子的图。

图14是在实施方式的周边监视装置中，相应于路面的高度使指标的显示样态变化的显示例，是表示使由线框围起的区域的显示颜色以路面的高度为单位变化的情况下的图。

图15是表示在实施方式的周边监视装置中，在显示行进路线指标的情况下，仅在行进路线指标的显示部分重叠了表示线框的路面的高度的指标的例子的显示例。

图16是表示在实施方式的周边监视装置中，仅在车辆的行进路线方向的区域重叠了表示线框的路面的高度的指标的例子的显示例。

图17是在实施方式的周边监视装置中，将车辆的行进路线方向的区域的线框的线密度(间距)设为“密”，将其以外的区域的线框的线密度设为“稀疏”的显示例。

图18是说明在实施方式的周边监视装置中，在显示指标的情况下的处理顺序的前半部分的流程图。

图19是说明在实施方式的周边监视装置中，在显示指标的情况下的处理顺序的后半部分的流程图。

图20是在实施方式的周边监视装置中，作为指标将线框重叠于三维模型图像的例子，是以表示车辆的前方的分离距离的方式使由线框包围的区域的一部分的显示颜色变化的显示例。

图21是说明在实施方式的周边监视装置中，在显示指标的情况下的显示装置中的显示区域的其它布局例子的说明图。

具体实施方式

以下，公开本发明的示例性的实施方式。由以下所示的实施方式的构成以及该构成带来的作用、结果以及效果是一个例子。本发明也能够由以下的实施方式所公开的构成以外的构成实现，并且能够得到基于基本的构成的各种效果、派生的效果中的至少一个。

在本实施方式中，搭载周边监视装置(周边监视系统)的车辆1例如可以是将未图示的内燃机作为驱动源的汽车、即内燃机汽车，也可是将未图示的电动机作为驱动源的汽车、即电动车、燃料电池汽车等。另外，也可是将它们双方作为驱动源的混合动力汽车，也可是具备其它驱动源的汽车。另外，车辆1能够搭载各种变速装置，能够搭载为了驱动内燃机、电动机所需的各种装置、例如系统、部件等。车辆1例如除了在所谓的“路内”(主要是被铺设的道路和与其等效的道路)的行驶之外，也能够进行“路外”(主要是未被铺设的不平整路等)的行驶的车辆。作为驱动方式能够设为向全部四个车轮3传递驱动力，将全部四轮作为驱动轮使用的四轮驱动车辆。关于车轮3的驱动的装置的方式、数量、布局等能够进行各种设定。另外，驱动方式也不限定于四轮驱动方式，例如也可是前轮驱动方式、后轮驱动方式。

如图1例示那样，车体2构成未图示的乘客乘坐的车室2a。在车室2a内以与作为乘客的驾驶员的座席2b面对的状态，设置有转向操纵部4、加速操作部5、制动操作部6、变速操作部7等。转向操纵部4例如是从仪表盘24突出的方向盘，加速操作部5例如是位于驾驶员的脚下的加速器踏板，制动操作部6例如是位于驾驶员的脚下的制动踏板，变速操作部7例如是从中控台突出的变速杆。此外，转向操纵部4、加速操作部5、制动操作部6、变速操作部7等并不限定于此。

另外，在车室2a内设置有显示装置8、声音输出装置9。显示装置8例如是LCD(liquid crystal display：液晶显示器)、OELD(organic electroluminescent display：有机电致发光显示器)等。声音输出装置9例如是扬声器。另外，显示装置8例如被触摸面板等、透明的操作输入部10覆盖。乘客能够经由操作输入部10辨认被显示于显示装置8的显示画面的图像。另外，乘客能够在与显示装置8的显示画面所显示的图像对应的位置通过手指等触摸、按压、动作而对操作输入部10进行操作，从而进行操作输入。这些显示装置8、声音输出装置9、操作输入部10等例如被设置于位于仪表盘24的车宽方向即左右方向的中央部的监视器装置11。监视器装置11能够具有开关、转盘、操纵杆、按钮等未图示的操作输入部。另外，能够在与监视器装置11不同的车室2a内的其它位置设置未图示的声音输出装置，能够从监视器装置11的声音输出装置9和其它声音输出装置输出声音。此外，监视器装置11例如能够兼作导航系统、音频系统。

另外，如图1、图2例示的那样，车辆1例如是四轮汽车，具有左右两个前轮3F、和左右两个后轮3R。这些四个车轮3均构成为能够转向。如图3例示的那样，车辆1具有对至少两个车轮3进行转向操纵的转向操纵系统13。转向操纵系统13具有促动器13a、和扭矩传感器13b。转向操纵系统13被ECU14(electronic control unit：电子控制单元)等电控制，使促动器13a动作。转向操纵系统13例如是电动动力转向系统、SBW(steer by wire：线控转向)系统等。转向操纵系统13通过促动器13a对转向操纵部4施加扭矩、即辅助扭矩来辅助转向操纵力，或通过促动器13a使车轮3转向。在该情况下，促动器13a可以使一个车轮3转向，也可使多个车轮3转向。另外，扭矩传感器13b检测例如驾驶员向转向操纵部4施加的扭矩。

本实施方式的周边监视装置(周边监视系统)作为一个例子取得表示路面的凹凸(起伏)状态的三维模型图像，该三维模型图像包含从拍摄包含车辆1的行进方向的周边区域的拍摄部15输出的拍摄图像数据图像、和表示该图像所表示的每个路面的区域的高度的高度数据。此外，路面的区域是表示能够适当地设定的宽度的区域，例如可以是以构成画面的像素为单位规定的区域，也可是作为邻接的规定量的像素的集合而规定的区域。另外，也可是通过将画面分割为多个而规定的区域。而且，按照该三维模型图像所含的每个区域重叠表示路面的高度的指标(例如起伏状态基于表示高度的高度数据而变化的线框)并显示于显示装置8。周边监视装置在三维模型图像所含的每个区域重叠显示表示路面的高度的指标(例如线框)，由此能够使利用者(用户、驾驶员)直观且容易地掌握路面的高度。

如图2例示的那样，在车体2作为多个拍摄部15，例如设置有四个拍摄部15a～15d。拍摄部15例如是内置CCD(charge coupled device：电荷耦合器件)、CIS(CMOS imagesensor：CMOS图像传感器)等拍摄元件的数字照相机。拍摄部15能够以规定的帧速率输出动画数据(拍摄图像数据)。拍摄部15分别具有广角镜头或者鱼眼镜头，在水平方向例如能够拍摄140°～220°的范围。另外，拍摄部15的光轴也有被朝向斜下方设定的情况。因此，拍摄部15依次拍摄包含车辆1能够移动的路面、其周边的物体(障碍物、岩石、洼地等)的外部环境，并作为拍摄图像数据输出。

拍摄部15a例如位于车体2的后侧的端部2e，被设置于后舱门2h的后窗的下方的壁部。拍摄部15b例如位于车体2的右侧的端部2f，被设置于右侧的后视镜2g。拍摄部15c例如位于车体2的前侧、即车辆前后方向的前方侧的端部2c，被设置于前保险杠、前格栅等。此外，拍摄部15c也可被配置于车室2a的内部的例如后视镜的背面(与挡风玻璃对置的面)。在该情况下，优选以拍摄部15c的拍摄范围进入擦拭器的擦拭区域内的方式被设置。拍摄部15d例如位于车体2的左侧、即车宽方向的左侧的端部2d，被设置于左侧的后视镜2g。构成周边监视系统100的ECU14能够基于由多个拍摄部15得到的拍摄图像数据来执行运算处理、图像处理，生成更广视场角的图像，或生成从上方观察车辆1的假想的俯瞰图像。另外，ECU14对由拍摄部15得到的广角图像的数据执行运算处理、图像处理，生成切出了特定的区域的图像，或生成仅表示特定的区域的图像数据，或仅特定的区域被强调了那样的图像数据。另外，ECU14能够将拍摄图像数据转换为(视点转换)从与拍摄部15拍摄的视点不同的视点(假想视点)拍摄那样的假想图像数据。ECU14能够将已取得的图像数据显示于显示装置8，从而例如能够提供执行车辆1的右侧方、左侧方的安全确认，俯瞰车辆1而进行其周围的安全确认那样的周边监视信息。

如上所述，本实施方式的ECU14基于表示每个路面的区域的高度的高度数据，取得表示路面的凹凸状态(三维形状)的三维模型图像，将该三维模型图像与表示每个路面的区域的高度的指标(例如线框)一起显示于显示装置8。能够通过各种方法进行路面的凹凸状态的检测。例如使用立体照相机，由两台拍摄部(照相机)同时拍摄物体，根据由各照相机得到的物体的图像上的位置的不同(视差)，检测该物体的位置、立体的形状。因此，在取得车辆1的前方的路面的凹凸信息的情况下，也可将拍摄部15c作为立体照相机。在该情况下，拍摄部15c拍摄重叠指标的周边图像，并且能够取得该周边图像所含的路面的形状信息(三维信息)。另外，能够使用该路面的形状信息(三维信息)，决定作为指标的例如线框的样态。

此外，作为检测路面的凹凸状态(立体信息、三维信息)的其它实施例能够利用激光扫描仪28。在该情况下，拍摄部15c也可是单眼的照相机，拍摄用于重叠指标(例如线框)的周边图像(二维图像)。而且，对单眼照相机亦即拍摄部15c取得了的二维图像赋予激光扫描仪28取得了的路面的三维信息(凹凸信息)而作为三维模型图像。另外，使用激光扫描仪28取得了的路面的形状信息(三维信息)，决定作为指标的例如线框的样态。此外，在使用路面的三维信息(凹凸信息)生成三维模型图像的情况下，也可对路面的一部分进行三维显示，也可对整体进行三维显示。另外，在检测车辆1的后方的路面的凹凸状态(立体信息、三维信息)的情况下，只要将拍摄部15a设为立体照相机，或设置将车辆1的后方作为检测范围的激光扫描仪28即可。另外，也可同时采用激光扫描仪28和立体照相机，在该情况下，能够更高精度地检测路面的凹凸状态。

如图3例示的那样，在周边监视系统100(周边监视装置)中，除了ECU14、监视器装置11、转向操纵系统13等以外，制动器系统18、转向角传感器19、加速器传感器20、换挡传感器21、车轮速度传感器22、加速度传感器26(26a、26b)等也经由作为电气通信线路的车内网络23而电连接。车内网络23例如作为CAN(controller area network：控制器区域网络)而构成。ECU14通过车内网络23发送控制信号，从而能够控制转向操纵系统13、制动器系统18等。另外，ECU14能够经由车内网络23接受扭矩传感器13b、制动传感器18b、转向角传感器19、加速器传感器20、换挡传感器21、车轮速度传感器22、加速度传感器26等的检测结果、操作输入部10等的操作信号。此外，在将拍摄部15c设为单眼照相机的情况下，使车内网络23连接激光扫描仪28，ECU14能够基于激光扫描仪28的检测结果来进行路面的凹凸状态的检测。

ECU14例如具有CPU14a(central processing unit：中央处理单元)、ROM14b(readonly memory：只读存储器)、RAM14c(random access memory：随机存取存储器)、显示控制部14d、声音控制部14e、SSD14f(solid state drive(固态硬盘)、闪存)等。CPU14a例如作为与由显示装置8显示的图像相关的图像处理，进行三维模型图像的生成处理、作为重叠在该三维模型图像的指标的线框等的生成、指标的显示样态的决定处理等。而且CPU14a执行表示车辆1的行进推断方向的行进路线指标的计算处理、用于针对路面的凹凸状态进行提醒注意的引导(报告)处理等的各种运算和各种处理。CPU14a读出被存储于(被安装于)ROM14b等非易失性的存储装置的程序，根据该程序执行运算处理。

RAM14c暂时存储在CPU14a的运算中所使用的各种数据。另外，显示控制部14d主要执行ECU14的运算处理中的、使用由拍摄部15得到的拍摄图像数据的图像处理、由显示装置8显示的图像数据的图像处理(作为一个例子是图像合成)等。另外，声音控制部14e主要执行ECU14的运算处理中的、由声音输出装置9输出的声音数据的处理。另外，SSD14f是能够改写的非易失性的存储部，即使在ECU14的电源被关闭的情况下也能够存储数据。此外，CPU14a、ROM14b、RAM14c等能够被集成在同一封装内。另外，ECU14也可代替CPU14a，是使用DSP(digital signal processor：数字信号处理器)等的其它逻辑运算处理器、逻辑电路等的构成。另外，也可代替SSD14f而设置HDD(hard disk drive：硬盘驱动器)，SSD14f、HDD也可与周边监视用的ECU14不同而另外设置。

制动器系统18例如是抑制制动器的锁定的ABS(anti-lock brake system：防抱死制动系统)、抑制转弯时的车辆1的侧滑的侧滑防止装置(ESC：electronic stabilitycontrol(电子稳定控制))、增强(执行制动器辅助)制动力的电动制动器系统、BBW(brakeby wire：线控制动)等。制动器系统18经由促动器18a向车轮3进而向车辆1施加制动力。另外，制动器系统18能够根据左右的车轮3的旋转差等来检测制动器的锁定、车轮3的空转、侧滑的预兆等，执行各种控制。制动传感器18b例如是检测制动操作部6的可动部(例如制动踏板)的位置的传感器。制动传感器18b包含位移传感器。

转向角传感器19例如是检测方向盘等的转向操纵部4的转向操纵量的传感器。转向角传感器19例如使用霍尔元件等而构成。ECU14从转向角传感器19取得驾驶员对转向操纵部4的转向操纵量、自动转向操纵时的各车轮3的转向操纵量等来执行各种控制。此外，转向角传感器19检测转向操纵部4所含的旋转部分的旋转向角度。转向角传感器19是角度传感器的一个例子。此外，在转向角传感器19的检测结果表示行进路线指标的情况下，也在决定行进路线指标的方向时被利用。

加速器传感器20例如是检测加速操作部5的可动部(例如加速器踏板)的位置的传感器。加速器传感器20包含位移传感器。

换挡传感器21例如是检测变速操作部7的可动部的位置的传感器。换挡传感器21能够检测作为可动部的、杆、臂、按钮等的位置。换挡传感器21也可包含位移传感器，也可作为开关而构成。

车轮速度传感器22是检测车轮3的旋转量、每单位时间的转速的传感器。车轮速度传感器22被配置于各车轮3，将表示在各车轮3检测出的转速的车轮速度脉冲数作为传感器值输出。车轮速度传感器22例如能够使用霍尔元件等构成。ECU14基于从车轮速度传感器22取得的传感器值来运算车辆1的移动量等，执行各种控制。ECU14在基于各车轮速度传感器22的传感器值计算车辆1的车速是情况下，基于四个轮中的最小的传感器值的车轮3的速度决定车辆1的车速，执行各种控制。另外，ECU14在四个轮中与其它车轮3相比存在传感器值大的车轮3的情况下，例如与其它车轮3相比存在单位期间(单位时间、单位距离)的转速比规定量以上多的车轮3的情况下，视为该车轮3处于打滑状态(空转状态)，执行各种控制。此外，车轮速度传感器22也有被设置于制动器系统18的情况。在该情况下，ECU14经由制动器系统18取得车轮速度传感器22的检测结果。

加速度传感器26(26a、26b)例如在车辆1被设置有2个。ECU14基于来自加速度传感器26(26a、26b)的信号，计算车辆1的前后方向的倾斜(纵摆角)、左右方向的倾斜(侧摆角)。纵摆角是表示车辆1的绕左右轴的倾斜的角度，在车辆1存在于水平的面(地面、路面)上的情况下，纵摆角是0度。另外，侧摆角是表示车辆1的绕前后轴的倾斜的角度，在车辆1存在于水平的面(地面、路面)上的情况下，侧摆角是0度。即能够检测车辆1是否存在于水平的路面，或是否存在于倾斜面(上坡的路面或者下坡的路面)等。此外，在车辆1搭载ESC的情况下，也可使用在ESC中本来就搭载有的加速度传感器。本实施方式并不限于加速度传感器26，只要是能够检测车辆1的前后左右方向的加速度的传感器即可。

为了检测路面的凹凸状态，往往具备激光扫描仪28。激光扫描仪28例如被设置于车体2的前侧的车体(车辆前后方向的前方侧的端部2c)，取得表示车辆1的行进方向的路面的状态的状态信息。对于激光扫描仪28而言，若从传感器内部的光源(激光二极管等)照射的激光到达测定对象物(例如路面、立体物)则被反射，由受光元件受光。此时对接收到的反射光进行评价、运算，从而计算到反射了激光的位置的距离。其结果是，ECU14取得以路面的状态、例如凹凸(坡度)的有无、存在凹凸的位置(凹凸位置)、凹凸的大小(坡度值)、凹凸(坡度)的状态(上坡、下坡)等车辆1存在的路面为基准的该车辆1的前方的路面的相对的状态信息(凹凸信息、相对的倾斜等)。

此外，上述各种传感器、促动器的构成、配置、电连接形态等是一个例子，能够进行各种设定(改变)。

ECU14所含的CPU14a为了实现在上述那样的三维模型图像重叠显示表示高度的指标(线框、等高线、移动标记、扫描线等)，具备图4所示那样的各种模块。CPU14a作为模块包含周边信息取得部30、转向角取得部32、模型图像取得部34、指标控制部36、引导处理部38、输出部40等。而且，指标控制部36包含线框取得部42、等高线取得部44、移动标记设定部46、扫描线设定部48、显示样态设定部50、行进路线指标取得部52、重叠部54等。上述模块能够通过读出被安装、存储于ROM14b等存储装置的程序并执行而实现。CPU14a执行基于各种模块的处理，由此如图5所示那样在显示装置8显示在由三维模型图像显示的路面60重叠了作为指标的一个例子的线框62的状态的画面8a。

如图5所示，线框62是使将多个线呈丝网状排列而成的扁平的基准线框向基于三维信息的方向变形由此在二维画面上进行三维信息视觉化的内容。具体而言，基准线框例如按照使在第一方向(例如与车宽方向对应的方向)等间隔地配置了多根的第一线62a、与在不同于第一方向的第二方向(例如与车辆前后方向对应的方向)配置了多根的第二线62b例如分别正交的方式排列而形成。而且，例如使第一线62a与第二线62b的交点根据三维信息在上下方向、左右方向移动，由此由第一线62a和第二线62b围起的多个矩形的区域72的形状相应于三维信息而分别变形。通过整体地观察由该变形了的多个矩形的区域72构成的线框62而在二维画面上被三维信息视觉化。另外，如图5所示，在三维模型图像重叠被三维化了的线框62，由此能够更立体地观察三维模型图像。

周边信息取得部30取得与车辆1的行进方向的周边区域有关的信息，例如暂时保存于RAM14c等。在被配置于车辆1的前方的拍摄部15c是立体照相机的情况下，周边信息取得部30经由显示控制部14d从拍摄部15c取得表示周边图像的拍摄图像数据以及拍摄区域所含的三维信息。此时，周边信息取得部30取得由立体照相机拍摄的具有视差的两张二维图像(拍摄图像数据)，并且基于两张二维图像的视差取得拍摄区域的三维信息。另外，在拍摄部15c是单眼照相机，并具备激光扫描仪28的情况下，周边信息取得部30经由显示控制部14d从拍摄部15c取得二维图像(拍摄图像数据)，并且经由车内网络23从激光扫描仪28取得车辆1的前方的检测区域的三维信息。此外，在显示装置8仅显示车辆1的周围的图像的情况下，显示控制部14d也可将由拍摄部15拍摄的拍摄图像数据以保持原状的状态向显示装置8输出。另外，CPU14a也可使用操作输入部10、操作部14g等的输入装置使利用者选择希望的显示内容。即显示控制部14d能够显示通过操作输入部10、操作部14g的操作而选择的图像。例如能够使由拍摄部15a拍摄的车辆1的后方图像显示于显示装置8，或使显示装置8显示由拍摄部15d拍摄的左侧方图像。

转向角取得部32取得与从转向角传感器19输出的转向操纵部4(方向盘)的操作状态有关的信息(转向角)。即取得驾驶员现在欲使车辆1行驶的方向的转向角。

模型图像取得部34如图6所示，基于周边信息取得部30取得的拍摄图像数据和三维信息，取得能够立体观察路面60等的三维模型图像3DG。在拍摄部15c是立体照相机的情况下，对基于由两个照相机中的任一方的照相机拍摄到的拍摄图像数据的二维图像的各像素或者由规定量的像素构成的每个区域施加周边信息取得部30取得了的三维信息，生成三维模型图像3DG。此外，在该情况下，关于远景部分(图6中的山等)也可与近景相同实施三维化，也可省略三维化。通过限定执行三维化的处理的区域，能够减少运算负荷。

指标控制部36进行重叠在由模型图像取得部34生成的三维模型图像3DG的指标的取得以及与指标一起显示的各种附加信息的设定、处理。指标是基于按照三维模型图像3DG所含的每个区域表示路面的高度的高度数据，视觉化地显示该路面的高度的指标。作为指标例如是如图5、图7所示那样的由多个第一线62a以及第二线62b构成的线框62、如图8所示那样的连结相同的高度的多个位置的等高线64。另外，作为其它的指标，如图9所示，是相应于每个区域的梯度方向能够移动的多个移动标记66、如图10、图11所示，是三维模型图像3DG上规定的方向，例如是向第一方向移动的第一扫描线68或者向与第一方向不同的第二方向移动的第二扫描线70等。

线框取得部42在被要求了作为指标显示线框62的意思的情况下，对扁平且丝网状的基准线框的第一线62a与第二线62b相交的各交点赋予周边信息取得部30取得了的三维信息，取得模仿路面60的三维形状的样态的三维样态的线框62(参照图7)。另外，在其它实施方式中，也可使扁平的样态的基准线框重叠在由模型图像取得部34取得到的三维模型图像3DG，以模仿三维模型图像具备的三维信息的方式使基准线框变形，取得三维实施方式线框62。重叠部54将线框取得部42取得了的线框62重叠在模型图像取得部34取得了的三维模型图像3DG，从而生成图5所示那样的画面8a。此外，在画面8a的下端显示表示车辆1的本车图像J，所以能够容易识别车辆1(本车)与路面60的凹凸部分的位置关系。

等高线取得部44在被要求了作为指标显示等高线64的意思的情况下，基于周边信息取得部30取得了的三维信息，取得连结相同的高度信息表示的位置或者相同的高度范围所属的位置的、如图8所示那样的多个等高线64。在图8的情况下，作为等高线64，相应于路面60的高度形成了等高线64a、64b、64c。重叠部54将等高线取得部44取得的等高线64重叠于模型图像取得部34取得了的三维模型图像3DG而生成图8所示那样的画面8a。此外，重叠部54虽可以仅将等高线64重叠于三维模型图像3DG，但为了更容易识别高度的变化，显示样态设定部50也可按照每个等高线64a、64b、64c使显示样态变化。例如也可根据高度将各等高线64a、64b、64c分为“红色”、“黄色”、“绿色”等来显示。另外，如图8所示，也可对由等高线64a、64b、64c围起的区域进行着色。例如用“红色”显示比等高线64a高的区域，用“黄色”显示等高线64a与等高线64b之间的区域，“绿色”等显示等高线64b与等高线64c之间的区域。此外，在这样对区域着色的情况下，较高地设定该区域的透明度，由此能够确保三维模型图像3DG的内容的可视性。另外，在图8的情况下也在画面8a的下端显示表示车辆1的本车图像J，所以能够容易地识别车辆1(本车)与路面60的凹凸部分的位置关系。

移动标记设定部46在被要求了作为指标显示移动标记66的意思的情况下，基于周边信息取得部30取得的三维信息，相应于被设定于模型图像取得部34取得的三维模型图像3DG的每个区域的梯度方向设定能够移动的多个移动标记66。移动标记66从在三维信息表示高的位置的位置向低的位置移动。例如在三维信息在按照构成三维模型图像3DG的每个像素具有高度信息的情况下，依次比较邻接的像素的高度信息，以向更低的高度的方向移动的方式设定移动标记66。另外，在三维信息在按照构成三维模型图像3DG的多个像素而被规定的每个区域具有高度信息的情况下，依次比较邻接的区域的高度信息，以向更低的高度的方向移动的方式设定移动标记66。重叠部54将移动标记设定部46取得了的移动标记66重叠于模型图像取得部34取得了的三维模型图像3DG，从而生成图9所示那样的画面8a。另外，在图9的情况下也在画面8a的下端显示表示车辆1的本车图像J，所以能够容易地识别车辆1(本车)与路面60的凹凸部分的位置关系。

图9，作为一个例子示出了移动标记66沿着线框取得部42取得的线框62移动的例子。在该情况下，在线框62的第一线62a与第二线62b的交点反映了三维信息的高度信息，所以移动标记设定部46比较线框62的各交点的高度信息，由此设定移动标记66的移动方向。此外，在图9的情况下，为了明确移动方向，虽设为了带箭头的圆形的移动标记66，但移动标记66总是以朝向低的方向移动的方式显示，所以动态的变化容易识别。因此，移动标记66也可仅由省略了箭头等的圆形或者其它的形状的标记构成。这样，移动标记66能够动态地表示与移动距离短的部分相比，越是移动距离长的部分，路面60的高度越高的情况。此外，移动标记66以追随先行移动的移动标记66的方式以恒定间隔显示多个移动标记66，由此能够以“粒子”流动的方式被观察，从而能够更明确地表现路面60的形状、高度。另外，移动标记66也可相应于每个区域的梯度状态而使移动速度不同。例如梯度越陡，则也可使移动速度越大。相应于路面60的梯度状态来改变移动标记66的移动速度，由此能够更明确地显示路面60的起伏变化的部分，容易更直观地掌握路面60的形状。此外，在图9的情况下，虽示出了移动标记66在线框62的各第一线62a上以及各第二线62b上移动的例子，但在其它实施方式中，也可省略线框62的显示。在该情况下，移动标记66例如以在三维模型图像3DG上水从高的部分朝向低的部分流下的方式显示，能够使路面60的形状更显著，能够更容易地识别路面60的起伏状态。

扫描线设定部48在被要求了作为指标显示第一扫描线68或者第二扫描线70的意思的情况下，基于周边信息取得部30取得的三维信息，设定在三维模型图像3DG上向规定的方向、例如向第一方向移动的第一扫描线68或者向与第一方向不同的第二方向移动的第二扫描线70。

第一扫描线68是在模型图像取得部34取得了的三维模型图像3DG上向第一方向、例如车辆1的车宽方向以规定速度移动的线。在图10的情况下，第一扫描线68示出了一条第一扫描线68例如从画面8a的左端朝向右端移动的例子。第一扫描线68也可是与线框取得部42取得的线框62的第一线62a的一条相当的线。第一扫描线68基于周边信息取得部30取得了的三维信息被决定为模仿与第一方向的扫描位置对应的路面60的凹凸形状那样的形状。重叠部54将扫描线设定部48取得了的第一扫描线68重叠于模型图像取得部34取得了的三维模型图像3DG，从而生成图10所示那样的画面8a。即，一边以模仿路面60的凹凸的方式变形，第一扫描线68一边从画面8a的左端朝向右端移动。向右端移动了的第一扫描线68暂时成为非显示，再次被显示于左端并再次开始向右端的移动。第一扫描线68的移动方向也可相反。另外，在图10的情况下在画面8a的下端也显示表示车辆1的本车图像J，所以能够容易地识别车辆1(本车)与路面60的凹凸部分的位置关系。

第二扫描线70是在模型图像取得部34取得了的三维模型图像3DG上向与第一方向不同的第二方向、例如车辆1的前后方向以规定速度移动的线。在图11的情况下，第二扫描线70示出了一条第二扫描线70例如从画面8a的下端朝向上端移动的例子。第二扫描线70也可是与线框取得部42取得的线框62的第二线62b的一条相当的线。第二扫描线70基于周边信息取得部30取得了的三维信息被决定为模仿与第二方向的扫描位置对应的路面60的凹凸形状那样的形状。重叠部54将扫描线设定部48取得了的第二扫描线70重叠于模型图像取得部34取得了的三维模型图像3DG，从而生成图11所示那样的画面8a。即，一边以模仿路面60的凹凸的方式变形，第二扫描线70一边从画面8a的下端朝向上端移动。向上端移动了的第二扫描线70暂时成为非显示，再次被显示于下端并再次开始朝向上端移动。第二扫描线70的移动方向也可相反。另外，在图11的情况下在画面8a的下端也显示表示车辆1的本车图像J，所以能够容易地识别车辆1(本车)与路面60的凹凸部分的位置关系。

一边移动一边被显示的第一扫描线68以及第二扫描线70的条数也可是一条，也可是分离规定间隔显示的多条，例如三条。在该情况下，三条第一扫描线68(第二扫描线70)在维持了规定间隔的状态向第一方向(第二方向)移动。这样，通过显示少数条(例如一条～三条)的第一扫描线68(第二扫描线70)，能够掌握显示了第一扫描线68(第二扫描线70)的部分的路面60的凹凸形状而不降低三维模型图像3DG的可视性。另外，第一扫描线68(第二扫描线70)也可边残留残像边显示。在该情况下，为了确保三维模型图像3DG的可视性，优选第一扫描线68(第二扫描线70)的显示条数是少数，例如由一条来显示。通过第一扫描线68(第二扫描线70)边残留残像边显示，能够使详细表示路面60的凹凸状况的范围变广，能够更容易掌握路面60的形状。另外，作为其它实施方式也可根据路面60的状态使第一扫描线68(第二扫描线70)的扫描速度加快或减慢。例如在以车辆1的当前的位置为基准时的路面60的高度是规定值以上的情况下，使第一扫描线68(第二扫描线70)的扫描速度比路面60的高度小于规定值的情况减慢。相反地，在路面60的高度小于规定值的情况下，使第一扫描线68(第二扫描线70)的扫描速度比路面60的高度是规定值以上的情况加快。这样，使扫描速度变化，由此能够更容易识别需要注意的路面60的部分的形状。

显示样态设定部50在将指标重叠显示于三维模型图像3DG上的情况下设定其显示样态。例如决定指标的显示颜色、显示范围等，或为了提高指标的关注度而决定显示样态。例如能够根据路面60的高度，使指标的显示颜色、亮度变化，或使指标闪烁显示。

显示样态设定部50例如为了提高三维模型图像3DG的显示颜色(路面60的颜色)与重叠的指标的显示颜色的识别性，根据重叠指标的位置的路面60的颜色来决定指标的显示颜色。例如在ROM14b中保持与图12所示那样的色相环对应的数据。显示样态设定部50基于周边信息取得部30取得了的路面60的拍摄图像数据的颜色信息，以利用路面60的补色来进行显示的方式设定指标的显示颜色。图12作为一个例子，示出了以“C1”～“C12”的12等分表示了色相的RGB类型的色相环。例如在路面60中，在重叠指标的部分的颜色与图中符号“C6”对应的情况下，显示样态设定部50将指标的显示颜色设定为“C12”的颜色。这样，利用路面60的颜色的补色来显示指标的显示颜色，由此例如即使是线框62、第一扫描线68、第二扫描线70等那样由细线显示的指标、移动标记66那样由粒子那样的样态显示的指标，与路面60的识别变得容易，从而能够容易识别路面60的凹凸形状。此外，图12所示的色相环作为一个例子，例如也可是蒙赛尔(Munsell)类型、RYB类型。此外，路面60的颜色不规则且连续地变化，所以指标的显示颜色也根据被重叠的路面60的颜色而变化。因此，例如在线框62的情况下，构成该线框62的第一线62a(第二线62b)不是单色，即使在一条第一线62a(第二线62b)中局部显示色也不同。然而在观察被重叠于三维模型图像3DG上的线框62整体的情况下，容易进行与三维模型图像3DG的显示颜色的识别，容易识别第一线62a、第二线62b以及容易识别模仿路面60那样的凹凸形状。作为指标，与显示第一扫描线68、第二扫描线70的情况相同，显示样态设定部50相对于与扫描位置对应的三维模型图像3DG的显示颜色以补色决定第一扫描线68、第二扫描线70的显示颜色，能够与显示线框62的情况同样地得到提高识别性的效果。

作为指标，与显示移动标记66的情况相同，显示样态设定部50以成为移动到的位置的三维模型图像3DG的显示颜色的补色的方式决定移动的移动标记66的显示颜色。移动标记66也是一边显示颜色发生变化一边在三维模型图像3DG上移动。其结果是，容易进行与三维模型图像3DG的显示颜色的识别，能够容易进行移动标记66的识别以及路面60的起伏状态变化的识别。

另外，显示样态设定部50也可按照对在三维模型图像3DG上需要注意的部分进行强调显示的方式，使指标的显示样态变化。例如如图13所示，以车辆1(本车)当前存在的位置为基准使规定阈值以上的高度的区域的显示样态变化。在图13的情况下，例如为了明示具有比车辆1的车高值大的高低差的路面60的位置，对线框62的第一线62a和第二线62b围起的区域72中的、包含具有应注意的高低差的部分的区域72a(包含规定阈值以上的高度的部分的区域)进行着色。此外，在对区域72a进行着色的情况下，以容易引起注意的颜色，例如“红色”进行着色，并且提高透明度从而能够设为不妨碍三维模型图像3DG上的路面60的状态识别。另外，在其它实施方式中，也可相反使已着色的区域72a的透明度降低，强调不能通过。这样，显示强调路面60的凹凸(起伏)状态的指标(线框62)的同时，使特别需要注意的部分的显示样态变化，由此容易更直观地进行路面60的凹凸(起伏)状态的识别。此外，在图13的情况下也在画面8a的下端显示表示车辆1的本车图像J，所以能够容易识别车辆1(本车)与路面60的凹凸部分的位置关系、与应注意的区域72a的位置关系。

同样，在图14的情况下，显示样态设定部50例如以车辆1(本车)当前存在的位置为基准，相应于路面60的高度而阶段性地使区域的显示样态变化。例如显示样态设定部50例如以不同的显示颜色显示线框62的第一线62a和第二线62b围起的区域72中的、提醒注意“大”的第一区域74、和提醒注意“中”的第二区域76。这样，通过相应于路面60的凹凸(起伏)的高度以多个显示样态进行显示，容易更直观地进行路面60的凹凸(起伏)状态的识别。此外，在图14的情况下也在画面8a的下端显示表示车辆1的本车图像J，所以能够容易识别车辆1(本车)与路面60的凹凸部分的位置关系、与应注意的区域72a的位置关系。在图14的情况下，虽以两阶段显示提醒注意的区域，但并不局限于此，例如也可是三阶段以上。另外，在图13、图14的例子中，显示样态设定部50对于使显示样态变化的部分，除了显示颜色的变化以外，还可以通过使区域72a、第一区域74、第二区域76的亮度变化来强调。同样，也可通过使区域72a、第一区域74、第二区域76闪烁来强调。

另外，显示样态设定部50在作为指标显示线框62的情况下，也可设定为仅在三维模型图像3DG上的需要的部分显示该线框62。

例如如图15所示，ECU14在作为行进路线指标，接受沿前轮3F朝向的方向延伸的轮胎行进路线78(左前轮3F用的轮胎行进路线78L与右前轮3F用的轮胎行进路线78R)的显示要求的情况下，行进路线指标取得部52基于转向角取得部32取得了的转向角信息取得轮胎行进路线78。显示样态设定部50在三维模型图像3DG上设定重叠轮胎行进路线78的区域的线框80。重叠部54将行进路线指标取得部52取得了的轮胎行进路线78和显示样态设定部50设定了的线框80重叠于模型图像取得部34取得了的三维模型图像3DG，从而生成图15所示那样的画面8a。在该情况下，显示样态设定部50能够相对于线框取得部42取得了的线框62，切取与轮胎行进路线78对应的部分并显示为线框80。在利用者操作转向操纵部4并改变了转向角的情况下，行进路线指标取得部52取得与该改变方向对应的轮胎行进路线78。其结果是，显示样态设定部50也从线框62切取并显示与轮胎行进路线78的重叠位置对应的线框80。这样，与轮胎行进路线78一起显示与该轮胎行进路线78对应的部分的线框80，由此能够使画面8a整体的显示内容简化并提高画面8a的可视性，并且能够使具有车辆1朝向的可能性的方向的路面60的凹凸形状明确化。其结果是，能够容易使利用者直观地了解为了使车辆1行驶而成为必要的部分的路面60的状态。此外，在图15的情况下，也在画面8a的下端显示表示车辆1的本车图像J，所以能够容易识别车辆1(本车)与路面60的凹凸部分的位置关系、与轮胎行进路线78的关系。

此外，在图15的情况下，示出了轮胎行进路线78以模仿路面60的凹凸状态那样的显示样态进行显示的例子。这样以模仿路面60的凹凸状态那样的显示样态显示轮胎行进路线78，由此也能够通过该轮胎行进路线78的形状使路面60的凹凸形状更突出，利用与线框80的显示的协同效应，能够更容易识别路面60的凹凸形状。另外，在其它实施方式中，轮胎行进路线78不局限于路面60的凹凸状态，也可用直线来显示。在该情况下，能够通过线框80来识别路面60的凹凸形状，并且简单地显示轮胎行进路线78从而能够减少用于显示的计算处理的负荷。在另一其它实施方式中，线框取得部42也可取得并显示仅重叠轮胎行进路线78的部分、线框62(80)。另外，显示样态设定部50如在图13、图14中说明的那样，也可根据路面60的高度，对线框80的一部分进行着色，或使亮度变化，或进行闪烁显示，由此提醒注意。

如图16所示，行进路线指标取得部52作为行进路线指标，能够取得车辆1可容易行驶的推荐路径G。在该情况下，行进路线指标取得部52基于周边信息取得部30取得了的三维信息，例如在使车辆1行驶的情况下计算该车辆1的规定角度以上的倾斜的次数、摇摆的次数成为最小那样的推荐路径G。而且，显示样态设定部50在推荐路径G表示的方向上设定线框82。重叠部54将显示样态设定部50设定了的线框82重叠于模型图像取得部34取得了的三维模型图像3DG，从而生成图16所示那样的画面8a。在图16的情况下，是显示样态设定部50从线框取得部42取得了的线框62切取并显示与车辆1(本车图像J)的车宽度相同或者稍宽的宽度的线框82的例子。这样，在推荐路径G表示的方向上显示线框82，由此能够使画面8a整体的显示内容简化并提高画面8a的可视性，并且能够使具有车辆1朝向的可能性的方向的路面60的凹凸形状明确化。其结果是，能够容易使利用者直观地了解为了使车辆1行驶而成为必要的部分的路面60的状态。此外，在图16的情况下，推荐路径G虽作为一个例子示出了前进方向，但在推荐路径G向左方向或者右方向弯曲的情况下，线框80也以随着该方向弯曲的样态被显示。另外，在图16的情况下，也在画面8a的下端显示表示车辆1的本车图像J，所以能够容易识别车辆1(本车)与路面60的凹凸部分的位置关系、与推荐路径G的关系。在其它实施方式中，线框取得部42也可取得并显示仅与推荐路径G表示的方向的车宽度对应的区域、线框62(线框82)。另外，显示样态设定部50如在图13、图14中说明的那样，也可根据路面60的高度，对线框82的一部分进行着色，或使亮度变化，或进行闪烁显示，由此提醒注意。此外，显示样态设定部50不局限于车辆1推荐路径G的取得的有无，也可设定沿车辆1的前方延伸的线框82。

图17是图16所示的例子的变形例，显示样态设定部50在路面60中的要引起注意的区域和这以外的区域中使指标(线框62)的显示样态不同。具体而言，线框取得部42将包含推荐路径G的区域的线框62的线密度设为“密”，更详细而言取得模仿路面60的凹凸形状、使凹凸形状突出的线框84。另一方面，线框取得部42取得将不包含推荐路径G的区域的线框62的线密度设为比线框84“稀疏”的线框86。在图17的例子中，线框84的线密度是线框62的线密度的两倍，线框86的线密度是线框62的一半。在该情况下，线框取得部42取得线密度“密”的线框84和线密度“稀疏”的线框86，显示样态设定部50根据由推荐路径G表示的方向切取各个的区域，设定线框84和线框86。而且，重叠部54将显示样态设定部50设定了的线框84和线框86重叠于模型图像取得部34取得了的三维模型图像3DG，从而生成图17所示那样的画面8a。此外，在图17的情况下也在画面8a的下端显示表示车辆1的本车图像J，所以能够容易识别车辆1(本车)与路面60的凹凸部分的位置关系、车辆1(本车)与应注意的线框84的关系、车辆1(本车)与也可降低关注度的线框86的关系。

这样，使在车辆1进入可能性高的区域和车辆1进入可能性低的区域中线密度不同的线框84和线框86重叠显示于三维模型图像3DG，从而能够更容易掌握车辆1进入可能性高的区域的路面60的形状，并且与图16的例子的情况相比，容易掌握画面8a的路面60整体的凹凸状态。另外，与相对于三维模型图像3DG整体而提高丝网密度的情况相比，画面8a变得简单并容易观察，并且能够减少用于计算线框62(线框84、线框86)的处理负荷。此外，在图17所示的情况下，推荐路径G作为一个例子示出了直行前进方向，但在推荐路径G向左方向或者右方向弯曲的情况下，线框84、线框86的显示区域也根据推荐路径G而变化。在其它实施方式中，线框取得部42不局限于推荐路径G，关于在车辆1的前方与车宽度同等宽度的区域，也可取得线密度“密”的线框84，在这以外的区域也可取得线密度“稀疏”的线框86。另外，显示样态设定部50如在图13、图14中说明的那样，也可根据路面60的高度，对线框84、线框86的一部分进行着色，或使亮度变化，或进行闪烁显示，由此提醒注意。此外，也能够适当地设定线框62(线框84、线框86)的线密度的程度。另外，显示样态设定部50作为标准显示，也可设定线密度“稀疏”的线框86，仅对利用者例如通过操作输入部10、操作部14g指定了的区域设定线密度“密”的线框84。在该情况下，在三维模型图像3DG上能够仅提供利用者特别在意的部分详细的路面60的凹凸信息。

引导处理部38例如在显示指标时从ROM14b、SSD14f选择与需要提醒注意时显示的消息、输出的声音消息、警告音等相关的数据。另外，例如从ROM14b、SSD14f选择用于输出在根据行进路线指标(轮胎行进路线78)进行行驶的情况下、相反推荐以与引导指标不同的路径行驶的情况下等的车辆1的操作方法(转向操纵部4、加速操作部5、制动操作部6等的操作指示等)的数据。另外，引导处理部38在执行显示样态设定部50的强调表示的情况下，例如在提示了最好避开通过的区域的情况下，也可显示表示比该区域容易通过的区域那样的标记，或者表示该区域的方向那样的标记(例如箭头)。显示这样的标记，从而能够行驶的路径的搜索变得更容易。

输出部40将重叠部54的重叠结果(三维模型图像3DG与指标的重叠)、由显示样态设定部50设定了的显示样态、由引导处理部38选择的提醒注意的消息、操作顺序信息等向控制部14d输出。另外，在引导处理部38选择了声音的消息的情况下，向声音控制部14e输出消息数据。

使用图18以及图19的流程图来说明上述那样的指标的显示处理的一个例子。此外，图18是说明处理的前半部分的流程图，图19是说明处理的后半部分的流程图。

首先，CPU14a检测有无表示允许与指标(线框62、等高线64、移动标记66、第一扫描线68、第二扫描线70等)有关的信息提供的条件成立的信号(S100)。例如作为显示装置8的显示模式，选择了导航显示模式、音频画面显示模式的情况下、车辆1的速度是规定速度以上(例如20km/h以上)的情况下，判定为是不要求指标的显示，或者不希望指标的显示的行驶状态，CPU14a暂时结束该流程(S100的否)。此外，信息提供条件能够通过利用者等适当地改变。

在满足了信息提供条件的情况下(S100的是)，例如在利用者操作操作输入部10、操作部14g要求显示指标，并且车辆1的车速小于规定速度的情况下，周边信息取得部30取得车辆1的行行进路线方向的信息(S102)。例如周边信息取得部30在变速操作部7表示“后退”的位置以外的情况下，从拍摄部15c取得将车辆1的前方的周边区域作为拍摄范围的拍摄图像数据。在拍摄部15c是立体照相机的情况下，还同时取得拍摄范围的三维信息。另外，在拍摄部15c是单眼照相机的情况下，周边信息取得部30从拍摄部15c取得将车辆1的前方的周边区域作为拍摄范围的拍摄图像数据，并且从激光扫描仪28取得车辆1前方的三维信息。接着，CPU14a在与进行指标的显示一起取得了要求行进路线指标(例如轮胎行进路线78)的显示的意思的信号的情况下(S104的是)，经由转向角取得部32从转向角传感器19的检测结果取得当前的车辆1的转向角，并且经由行进路线指标取得部52取得基于当前的转向角的行进路线指标(例如轮胎行进路线78)(S106)。此外，CPU14a在规定期间内无法取得要求行进路线指标(例如轮胎行进路线78)的显示的意思的信号的情况下(S104的否)，跳过S106的处理。

接着，CPU14a基于周边信息取得部30取得的将车辆1的前方的周边区域作为拍摄范围的拍摄图像数据和三维信息，使模型图像取得部34生成三维模型图像(S108)。而且，CPU14a在经由操作输入部10或者操作部14g从利用者作为指标取得了要求“线框”的显示的信号的情况下(S110的是)，执行经由操作输入部10或者操作部14g从利用者接受线框的显示样态的处理(S112)。此时，在线框取得部42中，决定以图5、图15、图16、图17的哪一个显示样态来显示线框(62、80、82、84、86)。线框取得部42执行生成由S112决定了的显示样态的线框(62、80、82、84、86)的处理(S114)。

在S110中，CPU14a在经由操作输入部10或者操作部14g在规定期间内作为指标没有取得要求“线框”的显示的信号的情况下(S110的否)，取得了要求“等高线”的显示信号的情况下(S116的是)，等高线取得部44执行生成等高线64的处理(S118)。

在S116中，CPU14a在经由操作输入部10或者操作部14g在规定期间内作为指标没有取得要求“等高线”的显示的信号的情况下(S116的否)，取得了要求“移动标记”的显示的信号的情况下(S120的是)，移动标记设定部46执行生成移动标记66的处理(S122)。

在S120中，CPU14a在经由操作输入部10或者操作部14g在规定期间内作为指标没有取得要求“移动标记”的显示的信号的情况下(S120的否)，将显示“扫描线”的意思显示于显示装置8，并且例如经由操作输入部10或者操作部14g选择在显示装置8上使扫描线向横向扫描或向纵向扫描(S124)。在作为扫描线的扫描方向选择了横向(车宽方向)的情况下(S126的是)，扫描线设定部48执行生成第一扫描线68的处理(S128)。另外，在S126中作为扫描线的扫描方向选择了纵向(车辆前后方向)的情况下(S126的否)，扫描线设定部48执行生成第二扫描线70的处理(S130)。此外，在选择显示的指标的种类的过程中，在直接选择第一扫描线68或者第二扫描线70的情况下，能够省略S124的步骤。

在决定了被重叠表示于三维模型图像3DG的指标的情况下，显示样态设定部50以成为模型图像取得部34取得了的三维模型图像3DG的路面60的显示颜色的补色的方式决定指标的显示颜色。

接着，CPU14a在经由操作输入部10或者操作部14g取得了表示关注区域的显示要求的信号的情况下(S132的是)，显示样态设定部50执行显示颜色决定处理(S134)，该关注区域表示以车辆1的当前的位置为基准路面60的高度为规定阈值以上高的情况等。例如图13、图14所示，执行对被关注的区域72进行着色的处理。而且，重叠部54将被决定了的显示样态指标重叠于三维模型图像3DG，经由输出部40显示于显示装置(S136)。此外，在S132中，CPU14a在没有取得表示关注区域的显示要求的信号的情况下(S132的否)，跳过S134的处理。

CPU14a在将指标重叠显示于三维模型图像3DG的期间，检测有无表示信息提供解除条件成立了的信号(S138)。例如在作为显示装置8的显示模式，选择了导航画面显示模式、音频画面显示模式的情况下、车辆1的速度是规定速度以上(例如20km/h以上)的情况下，判定为指标的显示要求解除，或者向不希望指标的显示的行驶状态转移而信息提供解除条件成立(S138的是)。而且，CPU14a显示要求显示装置8的显示的导航画面、音频画面，或者即使在行驶中显示也不会妨碍的通常画面(S140)，暂时结束该流程。

另外，在S138中，CPU14a在判定为信息提供解除条件未成立的情况下(S138的否)，判定为利用者要求继续引导指标的显示，移至S100，执行指标的显示(更新)处理。

这样，本实施方式的周边监视系统100以能够更立体地观察路面60的凹凸状态的方式，而且以更容易掌握该立体感的方式，在已取得的三维模型图像3DG所含的每个区域重叠表示基于路面60的高度数据的路面60的高度的指标。其结果是，能够更容易掌握车辆1将要行驶的路面60的状态，例如能够容易地选择更易于行驶的路径，能够实现高效的行驶。另外，根据本实施方式的周边监视系统100，更容易掌握路面60的凹凸形状，所以例如还能够提供有意地选择危险路径(差路)而享受不平整路(路外)的行驶这样的行驶形态。另外，此时也能够适当地选择与路面60的凹凸状态对应的路径，所以能够提高路外行驶的乐趣。

图20是线框62的强调显示的变形例。图20所示的例子是，通过在三维模型图像3DG重叠显示线框62，由此在更立体且清楚地观察路面60的凹凸状态的同时，显示样态设定部50为了容易理解来自车辆1(本车图像J)的距离感而设定距离指标88的例子。在图20的情况下，在本车图像J的前方显示有距离指标88a、距离指标88b、距离指标88c。在构成线框62的第二线62b中作为三维信息，包含X方向(例如车宽方向)、Y方向(例如车辆前后方向)、Z方向(例如高度方向)的信息，所以CPU14a能够检测距车辆1(本车图像J)的距离。因此，显示样态设定部50在与距离车辆1例如1.0m的位置对应的三维模型图像3DG上的位置显示距离指标88a。而且在与从车辆1开始距离3.0m的位置对应的三维模型图像3DG上的位置显示距离指标88b。进而，而且在与从车辆1开始距离15.0m的位置对应的三维模型图像3DG上的位置显示距离指标88c。这样，能够通过显示距离指标88进一步明确能够立体地观察的三维模型图像3DG的纵深感，能够更正确地掌握路面60的凹凸状态。此外，距离指标88的显示条数能够适当地改变，可以小于三条也可比三条多。另外，在图20的情况下，对由构成线框62的第一线62a和第二线62b围起的区域72进行着色来显示距离指标88，但也可使第二线62b的显示颜色与其它显示颜色不同，或使亮度变化，或使第二线62b闪烁显示来显示距离指标88。

图21示出了在显示装置8中，包含其它附加信息的显示例。在上述各显示例中，画面8a示出了车辆1的前方区域(一个区域)的信息。另一方面，在图21所示的变形例的情况下，显示装置8将显示区域分割为多个而显示各种方向的图像、表示车辆1的姿势的倾斜仪90等。例如在显示装置8的显示区域的中央上部配置有前方显示区域FV，在其左斜下配置有左侧显示区域SVL，在前方显示区域FV的右斜下配置有右侧显示区域SVR。另外，在前方显示区域FV的下方配置有显示倾斜仪90的姿势显示区域PV。在前方显示区域FV能够显示图5、图8、图9～图11、图13～图17、图20的显示例中的任一个(图21的情况下，图5)或者多个。在左侧显示区域SVL显示基于由拍摄部15d取得的拍摄图像数据的车辆1的左侧方图像(例如左侧方俯视图像)，在右侧显示区域SVR显示基于由拍摄部15b取得的拍摄图像数据的车辆1的右侧方图像(例如右侧方俯视图像)。能够在左侧方图像以及右侧方图像中拍入车辆1的侧方的路面60和各个车轮3的一部分。另外，能够在左侧显示区域SVL、右侧显示区域SVR重叠显示表示距车体2的前方侧的端部2c的距离的参考值的前方参考线Qa、表示距车体2的侧方的端部2d、2f的距离的参考值的侧方参考线Pa等。

通过这样的显示，更容易了解车辆1的周围的路面60的状态。另外，以更容易理解前方显示区域FV与左侧显示区域SVL及右侧显示区域SVR的对应关系的方式进行显示。此外，对左侧显示区域SVL以及右侧显示区域SVR的侧方参考线Pa标注表示前轮3F的接地位置的接地线Pab，能够容易了解前轮3F的位置。

倾斜仪90基于来自加速度传感器26(26a、26b)的信号，以符号92的姿势显示车辆1的左右方向的倾斜(侧摆角)、前后方向的倾斜(纵摆角)。在同一画面显示符号92的姿势与指标(线框62等)，由此能够更容易掌握车辆1的周围的路面60的状况。

图21所示的显示装置8的标识区域的布局是一个例子，能够采用各种布局。例如也可放大左侧显示区域SVL以及右侧显示区域SVR的上下方向的尺寸，并延伸到前方显示区域FV的侧方。这样，以包围前方显示区域FV的方式配置左侧显示区域SVL以及右侧显示区域SVR，由此能够以更容易掌握以驾驶座为中心的车辆1的周围的状况的状态显示于显示装置8。

另外，在由立体照相机构成拍摄部15c的情况下，在被设置的两个照相机中的一个照相机产生了问题的情况下，无法取得三维信息。在该情况下，周边信息取得部30也可切换为将拍摄部15c设为周边图像取得专用，至少能够提供车辆1的周边图像(二维图像)。

另外，在图17中，示出了将包含推荐路径G的方向的区域的线密度设为“密”，将其以外的区域的线密度设为“稀疏”的例子。在其它实施方式中，也可根据路面60的梯度的大小而使线密度变化。例如在路面60的梯度是规定值以上的情况下，可以将线密度设为“密”，在小于规定值的情况下也可将线密度设为“稀疏”。在该情况下，通过线密度，容易掌握路面60的梯度状态，容易直观地掌握路面60的形状。

另外，在图15、图16中，示出了在行进路线指标表示的方向重叠线框62(线框80、线框82)的例子。在其它实施方式中，也可仅在可能与车辆1的车体2的底面接触的部分重叠线框62。在该情况下，能够将线框62的显示量设为最小限，所以能够在路面60上明确应加以注意的部分并且能够使画面8a的显示内容简化并提高三维模型图像3DG的可视性。

另外，在上述实施方式中，示出了为了显示三维模型图像3DG以及指标而将车辆1的速度小于规定速度的情况作为条件的例子。在其它实施方式中，也可在车辆1停止时显示三维模型图像3DG以及指标，在车辆1开始行驶的情况下，将指标设为非显示，直至到规定速度为止原样显示三维模型图像3DG。在该情况下，指标成为非显示，相应地能够使画面8a的显示内容简单化，能够掌握路面60的状况并且有助于低速行驶时的运转操作的集中力提高。

虽说明了本发明的实施方式以及变形例，但上述实施方式以及变形例是作为例子而提示的，并不旨在限定发明的范围。这些新的实施方式能够以其它的各种形态被实施，在不脱离发明的宗旨的范围内，能够进行各种省略、置换、改变。这些实施方式、其变形也包含在发明的范围、宗旨，并且包含于与技术方案所记载的发明等同的范围。

附图标记的说明

1…车辆，3…车轮，3F…前轮，4…转向操纵部，8…显示装置，8a…画面，10…操作输入部，11…监视器装置，14…ECU，14a…CPU，14b…ROM，14c…RAM，15…拍摄部，19…转向角传感器，26…加速度传感器，30…周边信息取得部，32…转向角取得部，34…模型图像取得部(取得部)，36…指标控制部(控制部)，38…引导处理部，40…输出部，42…线框取得部，44…等高线取得部，46…移动标记设定部，48…扫描线设定部，50…显示样态设定部，52…行进路线指标取得部，54…重叠部，60…路面，62、82、84、86…线框，62a…第一线，62b…第二线，64、64a、64b、64c…等高线，66…移动标记，68…第一扫描线，70…第二扫描线，78…轮胎行进路线(行进路线指标)，3DG…三维模型图像。

Claims (9)

1.一种周边监视装置，其具备：

取得部，其取得表示路面的凹凸状态的三维模型图像，该三维模型图像包含：从拍摄包含车辆的行进方向的上述路面的周边图像的拍摄部输出的拍摄图像数据、和表示在上述周边图像中显示的上述路面的每个区域的高度的高度数据；以及

控制部，其将表示基于上述高度数据的上述路面的高度的指标重叠于已取得的上述三维模型图像所包含的每个上述区域并显示于显示装置。

2.根据权利要求1所述的周边监视装置，其中，

上述指标是表示上述路面的上述凹凸状态的线框。

3.根据权利要求1所述的周边监视装置，其中，

上述指标是以上述路面的规定的面为基准连结相同高度的多个位置的等高线。

4.根据权利要求1所述的周边监视装置，其中，

上述指标是相应于上述三维模型图像的每个上述区域的梯度方向能够移动的多个移动标记，

上述控制部相应于每个上述区域的梯度状态而使上述移动标记的移动速度不同。

5.根据权利要求1所述的周边监视装置，其中，

上述指标是表示基于上述高度数据的上述路面的高度的、在上述三维模型图像上向规定的方向移动的扫描线。

6.根据权利要求1～权利要求5中任一项所述的周边监视装置，其中，

上述控制部以将上述指标重叠于上述三维模型图像的区域的上述路面的颜色的补色来显示上述指标。

7.根据权利要求1～权利要求6中任一项所述的周边监视装置，其中，

上述控制部相应于上述路面的高度而使上述指标的显示样态不同。

8.根据权利要求1～权利要求7中任一项所述的周边监视装置，其中，

上述控制部与上述指标一起将表示基于上述车辆的转向角的行进推断方向的行进路线指标重叠于上述三维模型图像。

9.根据权利要求8所述的周边监视装置，其中，

上述控制部在重叠上述行进路线指标的区域和其它区域中使上述指标的显示样态不同。