[go: up one dir, main page]

CN103121423A - 车外环境识别装置及车外环境识别方法 - Google Patents

车外环境识别装置及车外环境识别方法 Download PDF

Info

Publication number
CN103121423A
CN103121423A CN2012104618038A CN201210461803A CN103121423A CN 103121423 A CN103121423 A CN 103121423A CN 2012104618038 A CN2012104618038 A CN 2012104618038A CN 201210461803 A CN201210461803 A CN 201210461803A CN 103121423 A CN103121423 A CN 103121423A
Authority
CN
China
Prior art keywords
vehicle
light
image
unit
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012104618038A
Other languages
English (en)
Other versions
CN103121423B (zh
Inventor
齐藤彻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Fuji Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Heavy Industries Ltd filed Critical Fuji Heavy Industries Ltd
Publication of CN103121423A publication Critical patent/CN103121423A/zh
Application granted granted Critical
Publication of CN103121423B publication Critical patent/CN103121423B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开一种车外环境识别装置及车外环境识别方法,利用发光源点亮时的绝对的辉度高精度地判断发光源点亮与否。车外环境识别装置(130)从对应于车外环境的亮度的第一曝光形态中获取第一图像的同时,从能够判断发光源自发光与否的、曝光时间与第一曝光形态不同的第二曝光形态中获取第二图像,基于第一图像,确定在检测区域内前行的车辆所占据的车辆区域,基于第二图像的亮度,确定发光源的位置,使车辆区域和发光源的位置产生联系。

Description

车外环境识别装置及车外环境识别方法
技术领域
本发明涉及识别本车辆外的环境的车外环境识别装置及车外环境识别方法。
背景技术
以往,确定位于本车辆的前方的车辆或障碍物等对象物,并进行控制(巡航控制)以防止与被确定的对象物碰撞(碰撞回避控制)或使本车辆与前行车辆的车距保持在安全距离的技术已被广为人知(例如,专利文献1)。这种技术大部分构成为,追踪前行车辆而更新位置信息,以计算前行车辆的移动速度等,由此其结果应用于例如刹车(制动)控制器和巡航控制等。
但是,仅简单地计算前行车辆的举动则难以顺畅地进行巡航控制。因此,例如根据加入如人一样地目视确认前行车辆刹车灯的点亮与否等,以估计前行车辆的减速动作的处理,能够实现更加顺畅的巡航控制。
作为检测如此的前行车辆的刹车灯的点亮与否的技术,具有基于前行车辆的加减速区分刹车灯和尾灯的技术(例如,专利文献2)。而且,还公开有基于尾灯检测区域的辉度变化或面积变化来检测刹车灯的点亮,由此判断前行车辆的减速状态的技术(例如,专利文献3),以及使用红色区域中的明度的柱状图分布,通过标准偏差等,判断刹车灯的点亮的技术(例如,专利文献4)。
上述的专利文献2中,基于前行车辆的加减速区分刹车灯,但减速的原因并不一定局限在刹车动作。而且,从做出刹车动作到车辆实际减速为止,需要时间,因此导致刹车动作的判断相比实际刹车灯的点亮时间点更慢的结果。而且,专利文献3的技术中,如果不是夜间,尾灯将不会被点亮,因此并不一定能够时常获取尾灯和刹车灯的面积差。并且,专利文献4中,在阳光较强的场合,明度(辉度)达到上限,柱状图的分布不发生变化,因此存在由于车外环境而刹车灯的检测处理不稳定的问题。
【现有技术文献】
【专利文献】
【专利文献1】日本专利第3349060号
【专利文献2】日本特开2005-1425号公报
【专利文献3】日本专利第3872179号
【专利文献4】日本特开平9-267686号公报
发明内容
本发明是鉴于这种问题而提出的,其目的在于提供一种能够高度精确地判断发光源的点亮与否的车外环境识别装置及车外环境识别方法。
为了解决上述问题,本发明的车外环境识别装置其特征在于,包括:图像获取单元,从对应于车外环境的亮度的第一曝光形态中获取第一图像的同时,从能够判断发光源自发光与否的曝光时间与第一曝光形态不同的第二曝光形态中获取第二图像;车辆确定单元,基于第一图像,确定在检测区域内前行的车辆所占据的车辆区域;发光源确定单元,基于第二图像的辉度,确定发光源的位置;位置映射单元,使车辆区域和发光源的位置产生联系。
优选地,发光源确定单元基于成为发光源的候补的像素彼此的相对距离,将多个像素群组化为一个发光源候补,且仅在一个发光源候补的大小达到预定的第一阈值以上时,将一个发光源候补确定为发光源。
优选地,第一阈值对应于车外环境的亮度而等级性地设置为多个。
优选地,车外环境识别装置还具备布置判断单元,该布置判断单元判断通过位置映射单元产生联系的车辆区域和发光源的位置的相对布置是否为恰当的布置。
优选地,发光源至少为刹车灯、高位刹车灯、尾灯、指示灯(Winker)中的任意一个。
优选地,发光源包含刹车灯和尾灯,车外环境识别装置还具备刹车灯确定单元,该刹车灯确定单元基于尾灯的位置、刹车灯和尾灯的辉度关系,确定刹车灯的位置。
为了解决上述问题,本发明的车外环境识别方法包括如下步骤:从对应于车外环境的亮度的第一曝光形态中获取第一图像的同时,从能够判断发光源自发光与否的曝光时间与第一曝光形态不同的第二曝光形态中获取第二图像;基于第一图像,确定在检测区域内前行的车辆所占据的车辆区域;基于第二图像的辉度,确定发光源的位置;使车辆区域和发光源的位置产生联系。
根据本发明,可利用发光源点亮时的绝对的辉度高精度地判断发光源的点亮与否。
附图说明
图1为示出环境识别系统的连接关系的框图。
图2为用于说明辉度图像和距离图像的说明图。
图3为示出车外环境识别装置的概略的功能的功能方框图。
图4为用于说明特定物表格的说明图。
图5为用于说明通过位置信息获取单元变换为三维位置信息的说明图。
图6为用于说明分割区域和代表距离的说明图。
图7为用于说明分割区域群的说明图。
图8为用于说明借助第一曝光形态的摄像和借助第二曝光形态的摄像的不同之处的说明图。
图9为用于说明借助第一曝光形态的摄像和借助第二曝光形态的摄像的不同之处的说明图。
图10为示出车外环境识别方法的处理的大致流程的流程图。
图11为示出位置信息获取处理的流程的流程图。
图12为示出代表距离导出处理的流程的流程图。
图13为示出分割区域群生成处理的流程的流程图。
图14为示出群组化/特定物确定处理的流程的流程图。
图15为示出发光源确定处理的流程的流程图。
主要符号说明
1:车辆
110:摄像装置
122:检测区域
124:辉度图像
126:距离图像
130:车外环境识别装置
160:位置信息获取单元
162:代表距离导出单元
164:分割区域群生成单元
166:群组化单元
168:特定物确定单元
170:辉度获取单元
172:发光源确定单元
174:位置映射单元
176:布置判断单元
178:刹车灯确定单元
具体实施方式
以下,参照附图详细说明本发明的优选实施方式。所涉及的实施方式中所示的尺寸、材料、其他具体数值等仅仅是为了容易地理解发明而例示的,除了特别指定的情况,并不能限定本发明。在此,本说明书及附图中,对于具有实质上相同的功能、结构的要素,通过赋予相同的符号的方式省略重复性说明,而且对与本发明没有直接关系的要素省略了图示。
(环境识别系统100)
图1为示出环境识别系统100的连接关系的框图。环境识别系统100包含设置在车内1的多个(本实施方式中为两个)摄像装置110、图像处理装置120、车外环境识别装置130、车辆控制装置140。
摄像装置110包含电荷耦合器件(CCD,Charge-Coupled Device)或互补金属氧化物半导体(CMOS,Complementary Metal-Oxide Semiconductor)等摄像器件,能够获取彩色图像,即,像素单位中可获取三个色相(R(红)、G(绿)、B(蓝))的辉度。在此,由摄像装置110所拍摄的彩色图像称为辉度图像,区别于后述的距离图像。
而且,摄像装置110为两个,两个摄像装置110大致在水平方向分开布置,且在车辆1的行进方向侧使两个摄像装置110各自的光轴大致平行。摄像装置110每隔例如1/60秒(60fps)连续生成对存在于车辆1前方的检测区域的对象物进行拍摄的图像数据。在以下实施方式中的各个功能单元以这种图像数据的更新作为开端执行各种处理。
并且,在本实施方式中,摄像装置110从表示对应于车外环境的亮度的曝光时间和光圈的第一曝光形态中拍摄检测区域而获取第一图像。而且,摄像装置110从能够判断刹车灯等特定的发光源自发光与否的、曝光时间与第一曝光形态不同的第二曝光形态中拍摄检测区域而获取第二图像。例如,在白天,使第二曝光形态的曝光时间短于对应于明亮的车外环境的第一曝光状态的曝光时间,或者使光圈值(F值)变大而获取第二图像。在本实施方式中,第一图像和第二图像分别使用为辉度图像和距离图像。而且,上述第一曝光形态和第二曝光形态如下述地实现。
例如,将摄像装置110的周期性的拍摄时间进行分时,通过交替地执行根据第一曝光形态的拍摄和根据第二曝光形态的拍摄,能够依次获取第一图像和第二图像。而且,对每个像素设置两个电容器,在能够并行地对电容器进行电荷充电的摄像器件中,将一次曝光中充电的时间设置为不同,由此能够并行获得曝光状态不同的两个图像。并且,在一个电容器的电荷充电过程中,使时间不同而读取两次,由此并行获得曝光状态不同的两个图像,这也能够实现上述目的。而且,使曝光状态不同而预先准备两套摄像装置110(在此,两个拍摄装置110×两套),由此也能够从两套的摄像装置110分别获得图像。支配曝光形态的曝光时间适当地控制在例如1~60msec的范围。
在此,对象物不仅包括车辆、信号灯、道路、护栏等独立存在的立体物体,还包括刹车灯(尾灯)或指示灯、信号器的各个点亮部分等能够确定为立体物的部分的物体。本实施方式中,特别对于位于车辆后部的刹车灯(位置与尾灯相同)、高位刹车灯、尾灯、指示灯进行说明。
图像处理装置120从两个摄像装置110分别获取图像数据,并基于两个图像数据导出包含图像中的任意区块(集合预定数量的像素的区块)的视差以及表示任意区块在画面中的位置的画面位置的视差信息。图像处理装置120采用从另一个像素数据搜索对应于从一个图像数据任意抽出的区块(例如,水平4像素×垂直4像素的阵列)的区块的所谓的图案匹配而导出视差。在此,在区块的说明中所使用的“水平”是指所拍摄的图像的画面横向方向,相当于实际空间中的水平方向。而且,“垂直”是指所拍摄的图像的画面纵向方向,相当于实际空间中的竖直方向。
所述图案匹配是指,在两个图像数据之间以表示任意图像位置的区块单位比较辉度值(Y色差信号)的方法。例如,包括求出辉度值的差值的绝对差值和(SAD,Sum of Absolute Difference)、将差值平方后使用的差值的平方和(SSD,Sum of Squared intensity Difference)、求出从各个像素的辉度值减去了平均值的分散值的相似度的归一化互相关(NCC,NormalizedCross Correlation)等方法。图像处理装置120对于被显示在检索区域(例如,600像素×200像素)的全部区块执行这种区块单位的视差导出处理。在此,将区块设定为4像素×4像素,但区块内的像素数量可以任意地设定。
但是,在图像处理装置120中,虽然对作为检测分辨率的单位的每个区块能够导出视差,但无法识别该区块是哪种对象物的一部分。因此,视差信息不是以对象物单位,而是以检测区域的检测分辨率单位(例如区块单位)而被独立地导出。在此,将如此导出的视差信息(相当于后述的相对距离)映射到图像数据的图像称为距离图像。
图2为用于说明辉度图像124和距离图像126的说明图。例如,假设通过两个摄像装置110针对检测区域122生成图2(a)所示的辉度图像(图像数据)124。但是,在此,为了便于理解,仅模式性地示出两个亮度图像124中的一个。图像处理装置120从这种亮度图像124求出每个区块的视差,由此形成图2(b)所示的距离图像126。在距离图像126中的各个区块中,关联有该区块的视差。在此,为了便于说明,将导出视差的区块用黑点表示。
对于视差来说,容易在图像的边缘部分(相邻像素之间明暗的差值较大的部分)中确定,因此在距离图像126中,赋予黑点的、导出有视差的区块在亮度图像124中也大多形成边缘。因此,图2(a)所示的辉度图像124和图2(b)所示的距离图像126在各个对象物的轮廓上相互近似。本实施方式中,分别基于第一图像及第二图像生成这种辉度图像124和距离图像126。因此,在本实施方式中,使用基于第一图像的辉度图像124、基于第一图像的距离图像126、基于第二图像的辉度图像124、基于第二图像的距离图像126。
车外环境识别装置130从图像处理装置120获得基于第一图像和第二图像的辉度图像124和距离图像126,并依据从距离图像126导出的自本车辆的相对距离和辉度图像124中的辉度确定检测区域中的对象物对应于哪种特定物。例如,通过依据相对距离等确定前行车辆,而且,依据辉度确定该前行车辆的刹车灯,从而能够更加准确地掌握具有刹车灯的车辆。据此,能够迅速地掌握依据刹车灯的该车辆的减速,能够利用于碰撞回避控制或巡航控制。
其中,上述相对距离通过利用所谓的立体视觉法将距离图像126中的每个区块的视差信息变换为三维位置信息而求出。在此,立体视觉法是通过使用三角测量法从对象物的视差导出该对象物的相对于摄像装置110的相对距离的方法。对于这种车外环境识别装置130的处理将在后面详述。
车辆控制装置140执行避免本车辆与通过车外环境识别装置130确定的对象物碰撞或使本车辆与前行车辆的车间距保持在安全距离的控制。具体来说,车辆控制装置140通过用于检测转向的角度的舵角传感器142和用于检测车辆1的速度的车速传感器144等获得当前的车辆1的行驶状态,并通过控制致动器146将车辆1与前行车辆的车间距保持在安全距离。在此,致动器(actuator)146是用于控制刹车、节气阀、舵角等的车辆控制用致动器。而且,当推断出将与对象物产生碰撞时,车辆控制装置140在设置在驾驶者前方的显示器148上进行相应警告显示(报警)的同时,控制致动器146使车辆1自动地制动。这种车辆控制装置140也可以与车外环境识别装置130形成为一体。
(车外环境识别装置130)
图3为示出车外环境识别装置130的概略的功能的功能方框图。如图3所示,车外环境识别装置130包括I/F单元150、数据存储单元152、中央控制单元154。
I/F单元150是用于与图像处理装置120、车辆控制装置140双向进行信息交换的接口。这种I/F单元150起到图像获取单元的功能。数据存储单元152由RAM、闪存、HDD等构成,以用于保存特定物表格(映射)或以下所示各个功能单元的处理中所必要的各种信息,而且暂时保存从图像处理装置120接收的基于第一图像及第二图像的辉度图像124、距离图像126。在此,特定物表格的使用方式如下。
图4为用于说明特定物表格200的说明图。特定物表格200中,针对多个特定物对应赋予有(映射有)表示辉度的范围的辉度范围202、表示自道路表面的高度的范围的高度范围204、特定物的水平距离的幅度范围206、特定物的垂直距离的幅度范围208、与同一特定物的水平距离的差值210、与同一特定物的垂直距离的差值212、与同一特定物的面积比214。在此,作为特定物,可假设“刹车灯(红)”、“高位刹车灯(红)”、“尾灯(红)”、“指示灯(橙)”等在确定车辆时必要的各种物体。当然,特定物并不局限于图4记载的物体。特定物中,例如,在特定物“刹车灯(红)”中对应赋予有辉度范围(R)“200以上”,辉度范围(G)“50以下”,辉度范围(B)“50以下”,高度范围“0.3~2.0m”,水平距离的宽度范围“0.05~0.2m”,垂直距离的宽度范围“0.05~0.2m”,水平距离的差值“1.4~1.9m”,垂直距离的差值“0.3m以下”,面积比“50~200%”。
中央控制单元154由包括中央处理器(CPU)、存储有程序等的ROM、作为工作区的RAM等的半导体集成电路构成,通过系统总线156控制I/F单元150和数据存储单元152。而且,在本实施方式中,中央控制单元154具有作为位置信息获取单元160、代表距离导出单元162、分割区域群生成单元164、群组化单元166、特定物确定单元168、辉度获取单元170、发光源确定单元172、位置映射单元174、布置判断单元176、刹车灯确定单元178的功能。
而且,位置信息获取单元160、代表距离导出单元162、分割区域群生成单元164、群组化单元166以及特定物确定单元168具有作为在基于第一图像的检测区域内确定前行的车辆所占据的车辆区域的车辆确定单元的功能。
位置信息获取单元160使用前述立体视觉法将基于第一图像的距离图像126中的检测区域122内的每个区块的视差信息变换为包含水平距离x、高度y以及相对距离z的三维位置信息。在此,视差信息表示距离图像126中的各个区块的视差,而三维位置信息表示实际空间中的各个区块的相对距离的信息。而且,当视差信息并非以像素单位,而是以区块单位(即,以多个像素为单位)被导出时,该视差信息被视为属于区块的所有像素的视差信息,从而能够执行像素单位的计算。
图5为用于说明通过位置信息获取单元160变换为三维位置信息的说明图。位置信息获取单元160首先将距离图像126识别为如图5所示的像素单位的坐标系。在此,图5中,将左下角设定为原点(0,0),横向方向设定为i坐标轴,纵向方向设定为j坐标轴。因此,具有视差dp的像素能够由像素位置i、j和视差dp表示为(i,j,dp)。
将本实施方式中的实际空间上的三维坐标系假设为以车辆1为中心的相对坐标系。在此,将车辆1的行进方向右侧方设定为X轴的正方向,车辆1的上方设定为Y轴的正方向,车辆1的行进方向(前方)设定为Z轴的正方向,经过两个摄像装置110的中央的铅直线和道路表面的交点作为原点(0,0,0)。此时,假设道路为平面时,道路表面与X-Z平面(y=0)一致。位置信息获取单元160通过以下的数学式1~数学式3将距离图像126上的区块(i,j,dp)变换为实际空间上的三维的点坐标(x,y,z)。
x=CD/2+z·PW·(i-IV)…数学式1
y=CH+z·PW·(j-JV)…数学式2
z=KS/dp…数学式3
在此,CD为摄像装置110之间的间隔(基线长度),PW为每一个像素的视角,CH为摄像装置110自道路表面的布置高度,IV、JV为车辆1的正面方向无限远端的图像上的坐标(像素),KS为距离系数(KS=CD/PW)。
因此,位置信息获取单元160基于区块的相对距离、与区块处于相同的相对距离的道路表面上的点与区块之间的在距离图像126上的检测距离(例如,像素数),导出自道路表面的高度。
代表距离导出单元162首先将距离图像126的检测区域122对于水平方向分割为多个分割区域216。接着,代表距离导出单元162将位于道路表面上方的区块作为对象,基于位置信息对每个分割区域累计被划分为多个的预定距离中所包含的相对距离并生成柱状图。然后,代表距离导出单元162导出相当于累计的距离分布的顶点的代表距离。在此,相当于顶点是指在峰值或顶点附近满足任意的条件的值。
图6为用于说明分割区域216和代表距离220的说明图。如图5所示,沿水平方向将距离图像126分割为多个时,分割区域216变成图6(a)所示的短条状。这种短条状的分割区域216原本例如由水平宽度为4像素的区域排列150列而形成,但在此为了便于说明,将检测区域122分割为16等分而进行说明。
接着,代表距离导出单元162在各个分割区域216中参照全部区块的相对距离而制作柱状图(图6的(b)中,以横向延伸的四方形(条)表示)时,可得到如图6的(b)所示的距离分布218。在此,纵向表示区分的预定距离,横向表示在区分的各个预定距离中含有相对距离的区块的数量。其中,图6的(b)是在经过计算的基础上假想的画面,实际中不会随之产生视觉性的画面。而且,代表距离导出单元162参照如此导出的距离分布218确定作为相当于顶点的相对距离的代表距离(图6的(b)中,以涂满黑色的四方形表示)220。
分割区域生成单元164依次比较相邻分割区域216的代表距离,并对代表距离220相近(例如,位于1m以下)的分割区域216进行群组化而生成一个或多个分割区域群。此时,在三个以上的分割区域216中的代表距离220相近的情况下,也将连续的所有分割区域216作为分割区域群而汇集。
图7为用于说明分割区域群222的说明图。分割区域群生成单元164比较分割区域216,并如图7所示地对(群组化之后的假想的群224)代表距离220进行群组化。通过这种群组化,分割区域群生成单元164能够确定位于道路表面上方的立体物。而且,分割区域群生成单元164基于被群组化的该分割区域群222中的水平方向及竖直方向的相对距离的变化,能够识别是否为前行车辆的后部、侧部、或者护栏等沿着道路布置的结构物中的一个。
群组化单元166将分割区域群222内的、相对距离z相当于代表距离220的区块为基点,将该区块和与该区块的水平距离x的差值和高度y的差值以及相对距离z的差值处于预定范围(例如,0.1m)之内的区块假定为对应于同一特定物而进行群组化。上述范围用实际空间上的距离表示,能够由制造者或搭乘者设定为任意的值。而且,对于通过群组化而新增加的区块,群组化单元166也以该区块为基点,将水平距离x的差值和高度y的差值以及相对距离z的差值处于预定范围之内的区块进一步进行群组化。结果,能够被假设为同一特定物的所有区块都被群组化。
而且,在此,分别独立判断水平距离x的差值、高度y的差值及相对距离z的差值,且仅在所有差值被包含在预定范围时才作为同一群组,但还可以依据其他的计算。例如,当水平距离x的差值、高度y的差值及相对距离z的差值的欧氏距离
Figure BDA00002413837200101
被包含于预定范围之内时,也可以作为同一群组。通过所述计算,能够导出区块在实际空间上的正确的距离,能够提高群组化精度。
当由群组化单元166群组化的区块群满足预定的所定条件时,特定物确定单元168将该区块群确定为特定物。例如,当被群组化的区块群位于道路上时,特定物确定单元168判断该区块群的整体大小是否相当于特定物“车辆”的大小,当判断为相当于特定物“车辆”的大小时,将该区块群确定为特定物“车辆”。在此,将被确定为特定物“车辆”的区块群在画面上所占据的区域特称为车辆区域。
由此,在车外环境识别装置130中,能够从作为第一图像的距离图像126提取一个或多个区块群作为特定物,且能够将该信息应用于各种控制。例如,当检测区域内的任意的区块群被确定为是车辆时,能够控制为避免与确定的车辆(前行车辆)碰撞或将与前行车辆的车间距离保持在安全的距离。以下,对于为更迅速地确定这种前行车辆和更迅速地掌握前行车辆的举动而使用第二图像的处理进行说明。
辉度获取单元170根据后述的发光源确定单元172的控制指令,从基于第二图像的辉度图像124以像素单位获取辉度(在像素单位中获取三个色相(红、绿、蓝)的辉度)。这时,当检测区域处于例如雨天或阴天时,辉度获取单元170也可以调整白平衡之后获取辉度,以能够获取原始的辉度。
发光源确定单元172依据存储在数据存储单元152的特定物表格200和基于第二图像的辉度图像124的各个像素的辉度,确定所定的发光源的位置。具体来说,发光源确定单元172首先使辉度获取单元170获取基于第二图像的辉度图像124上的任意像素的辉度。接着,发光源确定单元172从登记在特定物表格200的特定物中选择与第二曝光形态形成联系的特定的发光源(在此为“刹车灯”),判断获取的一个像素的辉度是否包含于所选择的特定物的辉度范围202。然后,若包含于成为对象的辉度范围202之内,则将该像素假定为该特定物。
上述第二图像为在能够判断如上所述的确定的发光源,例如“刹车灯”是否在自发光的第二曝光形态中拍摄的图像。如“刹车灯”一样自发光的事物与太阳或街灯的亮度无关地能够获得较高的辉度。尤其,“刹车灯”的亮度在法规上大致进行了规定,因此通过在只能曝光所定的亮度的曝光形态(例如,短时间的曝光)下进行拍摄,能够容易地仅抽取相当于“刹车灯”的像素。
图8及图9为用于说明根据第一曝光形态的拍摄和根据第二曝光形态的拍摄之间的不同之处的说明图。图8示出根据第一曝光形态的第一像素,尤其图8中的(a)中尾灯被点亮,图8中的(b)中刹车灯被点亮。正如比较图8的(a)和图8的(b)而能够理解一样,对应于车外环境的亮度的第一曝光形态中,几乎不发生尾灯被点亮时(即,刹车灯没有点亮时)的尾灯位置230的辉度和刹车灯被点亮时的刹车灯位置232的辉度的差。这是因为,在曝光时间较长的第一曝光状态中,不论尾灯还是刹车灯,所有的RGB成分的辉度都形成饱和。
图9示出根据第二曝光形态的第二图像,尤其,图9的(a)中尾灯被点亮,图9的(b)中刹车灯被点亮。第二曝光形态被设定为仅能够获取刹车灯被点亮时的辉度。因此,正如比较图9的(a)和图9的(b)而能够理解一样,尾灯被点亮时(即,刹车灯没有点亮时)的尾灯位置230中,几乎无法获得依照于其亮度的辉度,而在刹车灯被点亮时的刹车灯位置232中,能够获得明显高的辉度。
优选地,这种第二曝光状态设置为,刹车灯的辉度在摄像器件中,R成分将要达到饱和的程度的曝光时间。摄像装置110通常的动态范围远低于人,因此在像傍晚那样较低明度下根据第一曝光形态进行摄像时,相对于车外环境,刹车灯的辉度将变高。由此,不仅是R成分,G成分和B成分也与R成分重叠而饱和为最大辉度(例如,辉度255),像素变白。因此,通过将第二曝光形态设置为刹车灯被点亮时R成分将要达到饱和的程度的曝光时间,由此不管外部环境如何,在抑制G成分和B成分的辉度的同时,以最大辉度仅提取R成分。据此,能够将与例如尾灯的辉度差确保为最大程度。
具体来讲,在夜间行驶时存在前行车辆的情况下,在尾灯被点亮的程度,例如,辉度范围R“50”、辉度范围G“50”、辉度范围B“50”的程度下,难以在第二图像中表示。相对于此,在刹车灯被点亮时,如图4的特定物表格200所示,辉度范围202变成辉度范围R“200以上”、辉度范围G“50以下”、辉度范围B“50以下”,因此即便以第二曝光形态进行拍摄,也能够以能够掌握其位置的程度被表示在第二图像中。据此,发光源确定单元172能够通过第二图像仅确定刹车灯等所定的发光源。而且,在此,根据第二曝光形态的曝光时间被固定,但也可以对应于车外环境自动或通过搭乘者的操作进行调整。
而且,发光源确定单元172在成为发光源候补的像素彼此的水平距离x的差值、高度y的差值以及相对距离z的差值处于所定范围时,将此多个像素作为一个发光源而进行群组化。据此,即便构成刹车灯的多个像素形成跨越,且车辆1的左右侧的刹车灯分别由多个灯构成,也能够将其识别为被区分在左右侧的刹车灯的一个。
而且,发光源确定单元172仅在该一个发光源候补的大小达到预定的第一阈值(例如,水平及垂直的宽度0.05m)以上时,将一个发光源候补确定为发光源。其中,发光源确定单元172可以将其发光源候补的形状连同大小作为条件。例如,在刹车灯为在车辆后部的左右端沿竖直方向延伸的形状时,不仅仅判断其大小,还判断是否为被视为刹车灯的形状。据此,能够排除原本不应视为所定的发光源的相当于干扰的发光源,从而能够抽取刹车灯等期望的发光源,因此能够高精度地确定特定物。
并且,上述第一阈值也可以对应于车外环境的亮度而预先等级性地设置为多个。例如,当车外环境的亮度小于第二阈值(例如,辉度200)时,作为第一阈值可参照0.05m,当车外环境的亮度达到第二阈值以上时,作为第一阈值可参照相比0.05m更大的0.1m。因此,发光源确定单元172在通过照度计等获得的车外环境的亮度小于预先设定的第二阈值时,仅在一个发光源候补的大小达到第一阈值(0.05m)以上时才确定为发光源,而且车外环境的亮度达到第二阈值以上时,仅在一个发光源候补的大小达到第一阈值(0.1m)以上时才确定为发光源。当由于太阳光等导致车外环境的亮度非常强时,例如存在这种情况,即,即使刹车灯没有点亮,仅通过其刹车灯的红色的盖反射太阳光,就能部分地检测到与刹车灯同等程度的辉度。在此情况下,根据第二曝光形态也存在将没有点亮的刹车灯误识别为点亮着的刹车灯的可能性,因此发光源确定单元172在车外环境的亮度达到预定的第二阈值以上时,例如通过将大小的条件严格设置为0.05m至0.1m,即便提取到本来不应被识别为刹车灯的候补,也能够将其排除。
但是,发光源确定单元172除了上述刹车灯之外还能够检测出高位刹车灯。高位刹车灯为设置在相比刹车灯更高的位置的灯,但并不与刹车灯不同地起到尾灯的功能。因此,通过检测高位刹车灯,能够提高刹车灯的检测精度。此时,发光源确定单元172也可以仅在发光源候补的大小达到预定的第三阈值(例如,0.1m)以上时,才将发光源候补确定为高位刹车灯。关于这种高位刹车灯,将在后面详细说明。
如此,通过发光源确定单元172能够高精度地仅提取刹车灯或高位刹车灯。但是,如果仅依赖根据第二曝光形态的第二图像,则由于在夜间等检测区域122整体的辉度变低(暗),因此除了刹车灯之外难以掌握任何事物。因此,同时使用上述的根据第一曝光形态的第一图像而确定作为特定物的“车辆”,并与该刹车灯的位置联合。
位置映射单元174使由特定物确定单元168作为特定物“车辆”而群组化的车辆区域和作为发光源的刹车灯或高位刹车灯的位置产生联系。由此,前行的车辆的外边缘和车辆的刹车灯或高位刹车灯的位置关系将变得明确。
布置判断单元176确定被假定为存在于同一前行车辆的两对刹车灯的组合,并基于图4所示的特定物表格200,判断根据位置映射单元174而产生联系的车辆区域和作为发光源的刹车灯的位置的相对布置是否恰当。布置判断单元176判断例如刹车灯其单体是否满足高度范围“0.3~2.0m”、水平距离的幅度范围“0.05~0.2m”、垂直距离的幅度范围“0.05~0.2m”的条件。并且,布置判断单元176判断两对的刹车灯的组合是否满足水平距离的差值“1.4~1.9m”、垂直距离的差值“0.3m以下”、面积比“50~200%”的条件。通过满足这种条件,确定前行车辆的刹车灯点亮。如此,根据仅在被假定为刹车灯的发光源对应于车辆的适当的位置时,才正式地确定为刹车灯的构成,因此能够防止对以同等的亮度仅由一个灯点亮的发光源误识别。
但是,当发光源确定单元172检测到高位刹车灯时,布置判断单元176识别前行车辆为具有高位刹车灯的车辆之后,将高位刹车灯的相对布置也考虑进去而判断刹车灯的点亮与否。例如,在相比两对的刹车灯位于上方,且与两对的刹车灯的距离相同时,将高位刹车灯视为等同于刹车灯。即使在刹车灯没有点亮而尾灯被点亮时,能够从该位置上识别一定程度的辉度。但是,高位刹车灯仅在刹车操作时才被点亮,因此相比刹车灯更能够准确地判断有无刹车动作。因此,对于一旦被判断为具有高位刹车灯的车辆而言,当没有检测到高位刹车灯时,布置判断单元176判断为刹车灯没有被点亮。据此,能够更可靠地确定刹车灯有没有点亮。
刹车灯确定单元178在通过上述发光源确定单元172无法确定刹车灯时,使用基于第一图像的辉度图像124,根据尾灯的位置、刹车灯与尾灯的辉度关系,确定刹车灯的位置。具体来讲,刹车灯确定单元178首先通过在基于第一图像的辉度图像124的车辆区域中确定R成分较高且高辉度的部位,由此检测出尾灯的位置。然后,刹车灯确定单元178使用该尾灯的位置信息,仅在基于第二图像的辉度图像124中的上述尾灯的位置的辉度值增加的情况下,才判断为刹车灯被点亮。根据这种构成,例如在刹车灯组合中的其中一个发生故障,使得只能够获取一个刹车灯的图像、摩托车等原本刹车灯就只有一个时,刹车灯确定单元178也能够恰当地判断刹车灯的点亮。
此时,在刹车灯没有点亮时,也有必要预先确定尾灯的位置,在白天,将车辆中R成分比较高的部位确定为刹车灯候补,而在夜间将辉度RGB都饱和为最大值的部位确定为刹车灯候补。而且,刹车灯确定单元178时常监视第二图像的尾灯的位置,检测出多个帧之间存在的辉度的变化(例如,R的辉度50(尾灯)至200(刹车灯))。但是,在白天对于红色的前行车辆难以进行对应等,存在无法充分发挥该功能的情况,因此最好是利用为补偿的逻辑操作。
(车外环境识别方法)
以下,基于图10~图15的流程图对于车外环境识别装置130的具体的处理进行说明。图10示出关于从图像处理装置120发送第一图像或第二图像时的中断处理的整体流程,图11至图15示出其中的个别的子流程。而且,在此,作为处理的对象部位举了区块和像素,且将辉度图像124或距离图像126的左下角作为原点,而且对于区块,在图像水平方向为1~150个区块,垂直方向为1~50个区块的范围,对于像素,在图像水平方向为1~600个像素,垂直方向为1~200个像素的范围内执行依据该车外环境识别方法的处理。
如图10所示,当发生依据该车外环境识别方法的中断时,判断第一图像标记是否接通(S300)。但是,在施加电源时,第一图像标记预先被设定为接通。这种第一图像标记是用于切换是依据第一曝光形态拍摄还是依据第二曝光形态拍摄的标记。接着,当第一图像标记被接通(S300的“是”)时,检测区域122内的每个区块的视差信息被变换为三维位置信息(S302),导出每个分割区域216的代表距离220(S304)。接着,分割区域216被群组化而生成分割区域群222(S306),且在该分割区域群222之内实现区块的群组化(S308)。接着,第一图像标记被关闭,为下一次的拍摄,曝光状态被设定为第二曝光形态(S310)。
第一图像标记被关闭(S300中的“否”)时,从第二图像确定发光源的同时(S312),第一图像标记被接通,为了下一次的拍摄,曝光形态被设定为第一曝光形态(S314)。
在此,交替地执行步骤S302~S310所示的车辆区域的确定处理和步骤S312、S314所示的发光源的确定处理,根据发光源的位置提高车辆区域的确定精度,而且根据车辆区域提高发光源的确定精度。如此,通过相互地使车辆区域和发光源的产生联系,由此能够更恰当地检测刹车灯。
然后,位置映射单元174使由特定物确定单元168群组化为特定物“车辆”的车辆区域和作为发光源的刹车灯和高位刹车灯的位置产生联系(S316)。
而且,布置判断单元176确定被假定为存在于同一前行车辆的两对的刹车灯和高位刹车灯组合,并判断车辆区域和两对的刹车灯和高位刹车灯的相对布置是否为适当的布置(S318)。当经过以上的处理也没有确定出刹车灯和高位刹车灯时,使用基于第一图像的辉度图像124,依据尾灯的位置、刹车灯和尾灯的辉度的关系确定刹车灯的位置。以下,具体说明上述的处理。
(位置信息获取处理S302)
参照图11,位置信息获取单元160初始化(代入“0”)用于确定区块的垂直变量j(S400)。接着,位置信息获取单元160在垂直变量j上加“1”的同时初始化水平变量i(代入“0”)(S402)。然后,位置信息获取单元160在水平变量i上加“1”(S404)。
位置信息获取单元160从基于第一图像的距离图像126的区块(i,j,dp)获取视差信息dp(S406)。然后,位置信息获取单元160使用上述数学式1~3将包含视差信息dp的区块(i,j,dp)坐标变换为实际空间上的点(x,y,z)而作为区块(i,j,dp,x,y,z)(S408)。
接着,位置信息获取单元160判断水平变量i是否超过作为水平区块的最大值的150(S410),若水平变量i没有超过最大值(S410的“否”),则从步骤S404的水平变量i的累加处理开始重复执行。而且,若水平变量i超过最大值(S410的“是”),则位置信息获取单元160判断垂直变量j是否超过作为垂直区块的最大值的50(S412)。然后,若垂直变量j没有超过最大值(S412的“否”),则从步骤S402的垂直变量j的累加处理开始重复执行。而且,若垂直变量j超过最大值(S412的“是”),则终止该位置信息获取处理S302。据此,距离图像126的视差信息dp被变换为三维的位置信息。
(代表距离导出处理S304)
参照图12,代表距离导出单元162读取道路形状参数(S450),并将检测区域122对水平方向以4像素单位分割为150个分割区域216(S452)。接着,代表距离导出单元162从分割的150个分割区域216中例如从水平方向左侧开始顺序地抽出一个分割区域216,并设定存在于该分割区域216内的任意的区块(i,j,dp,x,y,z)(S454)。
代表距离导出单元162计算出区块的实际空间上的坐标z的自道路表面的高度yr(S456),若是区块的实际空间上的坐标y达到自道路表面的高度yr以上的区块,则在以所定的距离间隔区分的柱状图中累计(投票)其相对距离(S458)。在此,即使区块的实际空间上的坐标y达到自道路表面的高度yr以上,对于自道路表面的高度在0.1m以下的区块来说,也会被视为道路上的白线或污渍、阴影等而从处理对象中去除。而且,对于位于相比自己的车辆1的高度更上方的位置的区块,视为步行桥或标识等从处理对象中去除。
代表距离导出单元162判断是否对于所抽出的1个分割区域216内的所有区块都执行了向该柱状图的累计处理(S460)。在此,若没有完成所有区块的累计处理(S460的“否”),则对于没有执行向柱状图的累计处理的区块,从设定处理S454开始重复执行。
若对于所有区块完成了累计处理(S460的“是”),则代表距离导出单元162参照如此生成的柱状图,当存在柱状图的频数(相对距离的数量)达到所定的阈值(适当地设定)以上的区间时,判断为在该分割区域216中存在立体物。然后,代表距离导出单元162将相当于顶点的相对距离作为代表距离220(S462)。
然后,代表距离导出单元162判断对于所有的多个分割区域216是否执行了该代表距离220的导出处理(S464)。在此,当判断为没有对于所有的分割区域216都执行了代表距离220的导出处理时(S464的“否”),设定新的分割区域216(S466),并对于新的分割区域216从区块的设定处理S454开始重复执行。另外,当判断为代表距离220的导出处理已经完成(S464的“是”)时,结束该代表距离导出处理S304。
(分割区域群生成处理S306)
参照图13,分割区域群生成单元164从多个分割区域216,例如从水平方向左侧依次确定任意的分割区域216,还确定相邻于该任意的分割区域216的水平方向右侧的分割区域216(S500)。而且,分割区域群生成单元164判断两个分割区域216中是否存在代表距离220(S502)。在此,若两个分割区域216中不存在代表距离220(S502的“否”),则将处理转移至完成分割区域的判断步骤S508。另外,若再两个分割区域216中存在代表距离220(S502的“是”),则比较两个分割区域216的代表距离220(S504)。
在此,当两个代表距离220的差值为预定的阈值(视为相同的立体物的值)以下时,视为两个代表距离220相近,据此分割区域群生成单元164将分割区域216彼此群组化而设定为分割区域群222(S506)。此时,若一侧的分割区域216已经设定为分割区域群222时,则另一侧的分割区域216被统合到该分割区域群222之中。
然后,分割区域群生成单元164判断是否对于全部的多个分割区域216都执行了该分割区域群222的生成处理S502、S504、S506(S508)。在此,若没有全部完成(S508的“否”),则设定新的分割区域216(S510),并对于新的分割区域216从确定处理S500开始重复执行。另外,若分割区域群222的生成处理全部完成(S508的“是”),则结束该分割区域群生成处理S306。
(群组化/特定物确定处理S308)
参照图14,群组化单元166从被群组化的多个分割区域群222中例如从水平方向左侧依次抽取一个分割区域群222,并设定存在于该分割区域群222的任意的区块(i,j,dp,x,y,z)(S550)。
群组化单元166比较所设定的区块(i,j,dp,x,y,z)和分割区域群222内的相对距离z相当于代表距离220的区块,并判断水平距离x的差值、高度y的差值以及相对距离z的差值是否处于预定的范围(例如,0.1m)之内(S552)。若处于预定的范围之内(S552的“是”),则假定为该区块对应于同一特定物而进行群组化(S554)。若不处于预定的范围之内(S552的“否”),则转移至判断区块的完成的步骤(S556)。
群组化单元166对于所抽取的一个分割区域群222内的所有区块判断是否执行了该群组化处理(S556)。在此,若对于所有的区块没有完成群组化处理(S556的“否”),则对于没有执行群组化处理的区块从设定处理550开始重复执行。
若对于全部的区块完成了群组化处理(S556的“是”),则特定物确定单元168判断如此群组化的区块群整体的大小是否相当于特定物“车辆”的大小(S558)。若判断为相当于特定物“车辆”的大小(S558的“是”),则将该区块群确定为特定物“车辆”(S560)。当判断为不相当于特定物“车辆”的大小(S558的“否”),则将处理转移至判断分割区域群222的完成的步骤S562。
然后,群组化单元166对于全部的多个分割区域群222判断是否执行了该特定物确定判断S558、S560(S562)。在此,若判断为全部的分割区域群222没有完成特定物确定判断(S562的“否”),则设定新的分割区域群222(S564),并对于新的分割区域群222从区块的设定处理S550开始重复执行。另外,若特定物确定判断S558、S560全部完成(S562的“是”),则结束该群组化/特定物确定处理S308。
对于上述的群组化来说,进一步对多个群判断相互的位置关系。例如,在相同种类的立体物的群之间,端点的位置接近且处于立体物中的水平方向和竖直方向的相对距离的变化大致相同(连续)时,判断为是同一立体物的同一面而将这些群统合为一个群。此时,立体物中的水平方向和竖直方向的相对距离的变化能够利用依据霍夫变换或最小二乘法的近似直线确定。而且,若是前行车辆,则可以依据相对于z坐标的相对移动速度相等的事实将多个群统合为一个群。
而且,至此的处理以区块单位执行时,通过在该区块内的全部的像素设定同一信息而变更为像素单位。
(发光源确定处理S312)
参照图15,发光源确定单元172对用于确定像素的垂直变量j(S600)进行初始化(代入“0”)。接着,发光源确定单元172在垂直变量j上加“1”的同时对水平变量i进行初始化(代入“0”)(S602)。然后,发光源确定单元172在水平变量i上加“1”(S604)。
发光源确定单元172从基于第二图像的辉度图像124的像素(i,j,br)获取辉度br(S606)。然后,发光源确定单元172比较特定物“刹车灯”的辉度范围202和取得的1个像素的辉度,并判断所取得的一个像素的辉度是否包含于特定物“刹车灯”的辉度范围202(S608)。若没有包含于辉度范围202(S608的“否”),则转移至水平区块判断处理S616。若包含于辉度范围202(S608的“是”),则发光源确定单元172将该像素假定为特定物“刹车灯”(S610)。
然后,发光源确定单元172判断与被假定为特定物“刹车灯”的其他像素的水平距离x的差值、高度y的差值以及相对距离z的差值是否处于预定范围(S612)。若处于预定范围(S612的“是”),则将两个像素1作为特定物“刹车灯”而进行群组化(S614)。若没有处于预定范围(S612的“否”),则转移至水平区块判断处理S616。
接着,发光源确定单元172判断水平变量i是否超过作为水平区块的最大值的600(S616),若水平变量i没有超过最大值(S616的“否”),则从步骤S604的水平变量i的累加处理开始重复执行。而且,若水平变量i超过最大值(S616的“是”),则发光源确定单元172判断垂直变量j是否超过作为垂直区块的最大值的200(S618)。然后,若垂直变量j没有超过最大值(S618的“否”),则从步骤S602的垂直变量j的累加处理开始重复执行。而且,若垂直变量j超过最大值(S618的“是”),则处理转移至明度判断处理S620。据此,生成被假定为特定物“刹车灯”的多个像素群。
然后,发光源确定单元172判断通过照度计等取得的车外环境的亮度是否小于预定的第二阈值(S620)。若车外环境的亮度小于第二阈值(S620的“是”),则设定低(不严格)值(例如,0.5m)作为第一阈值,若达到第二阈值以上(S620的“否”),则设定高(严格)值(例如,0.1m)作为第一阈值。
接着,发光源确定单元172从被假定为特定物“刹车灯”的被群组化的多个像素群中依次选择一个像素群(S626)。
接着,发光源确定单元172判断被设定的像素群的大小是否达到表示高位刹车灯的大小的第三阈值以上(S628)。当像素群的大小达到第三阈值以上(S628的“是”)时,将该像素群确定为高位刹车灯,将处理转移至完成像素群判断步骤S636(S630)。而且,若像素群的大小小于第三阈值(S628中的“否”),则发光源确定单元172判断被设定的像素群的大小是否达到表示刹车灯的大小的第一阈值(S632)以上。若像素群的大小达到第一阈值以上(S632的“是”),则将该像素群确定为刹车灯,将处理转移至完成像素群判断步骤S636(S634)。若像素群的大小小于第一阈值(S632的“否”),则将处理转移至完成像素群判断步骤S636。
发光源确定单元172判断是否对于全部的像素群执行了该像素群的大小判断处理(S636)。在此,若没有完成所有像素群的大小判断处理(S636的“否”),则从没有执行群组化处理的像素群的设定处理S626开始重复执行。另外,若所有像素群都完成像素群的大小判断处理(S636的“是”),则结束该发光源确定处理S312。
根据以上说明的车外环境识别装置130和车外环境识别方法,能够利用发光源点亮时的绝对的辉度高精度地判断发光源的点亮与否。因此,能够准确地掌握例如刹车灯的点亮,从而能够迅速且准确地推测前行车辆的减速动作。
而且,还提供将计算机起到车外环境识别装置130的功能的程序和记录该程序的计算机可读的软盘、光磁盘、ROM、CD、DVD、BD等存储介质。在此,程序是指利用任意的语言或记述方法记述的数据处理手段。
以上,虽然参照附图对本发明的优选实施方式进行了说明,但显然本发明并不局限于这些实施方式。对于本领域技术人员来说,在权利要求书中记载的范畴之内,显然能够想到各种变更例或修改例,但这些也都属于本发明的技术范围之内。
在上述的实施方式中,特别以刹车灯和高位刹车灯为例进行了说明,但不限于这些场合,作为通过变换曝光形态就能够掌握的发光源,也可以列举尾灯或指示灯。在此,通过检测尾灯就能够掌握前行车辆的夜间的平稳的行驶,且通过检测出指示灯,能够迅速地掌握为左转弯或右转弯而进行的减速。
而且,在上述的实施方式中,通过使用多个摄像装置110基于图像数据之间的视差而导出对于对象物的三维位置,但并不局限于此,例如可以使用激光雷达测距装置等已知的各种距离测量装置。在此,激光雷达测距装置通过向检测区域122发射激光光束,并接收该激光光束到达物体之后反射的光,从而根据所需时间测量出至物体的距离。
并且,在上述的实施方式中,使用距离图像126求出区块的相对距离,但当根据对象物在画面上的布置和大小,能够一定程度地确定特定物时,可利用单镜头摄像装置110实现本实施方式。而且,通过利用光流法导出移动矢量,也能够确定特定物。
而且,在上述的实施方式中,以由摄像装置110获取彩色图像为前提,但并不局限于所说明的情况,通过取得单色图像,也能够执行本实施方式。
而且,在上述的实施方式中,以位置信息获取单元160从图像处理装置120接收距离图像(视差信息)126而生成三维位置信息为例。但是,不限于这种情况,也可以由图像处理装置120预先生成三维位置信息,并由位置信息获取单元160获得所产生的三维位置信息。如此,通过谋求功能的分散,能够减轻车外环境识别装置130的处理负荷。
而且,在上述的实施方式中构成为,位置信息获取单元160、代表距离导出单元162、分割区域生成单元164、群组化单元166、特定物确定单元168、辉度获取单元170、发光源确定单元172、位置映射单元174、布置判断单元176、刹车灯确定单元178由中央控制器154通过软件进行操作。但是,上述的功能单元也可以由硬件构成。
在此,本说明书中的车外环境识别方法的各个步骤并不一定要按照流程图中记载的顺序按时间顺序进行处理,也可以包含并行处理或依据子流程的处理。
产业上的可利用性
本发明可利用为识别本车辆外的环境的车外环境识别装置以及车外环境识别方法。

Claims (7)

1.一种车外环境识别装置,其特征在于,包括:
图像获取单元,从对应于车外环境的亮度的第一曝光形态中获取第一图像的同时,从能够判断发光源自发光与否的、曝光时间与第一曝光形态不同的第二曝光形态中获取第二图像;
车辆确定单元,基于所述第一图像,确定在检测区域内前行的车辆所占据的车辆区域;
发光源确定单元,基于所述第二图像的辉度,确定所述发光源的位置;
位置映射单元,使所述车辆区域和所述发光源的位置产生联系。
2.根据权利要求1所述的车外环境识别装置,其特征在于,所述发光源确定单元基于成为发光源的候补的像素彼此的相对距离,将多个像素群组化为一个发光源候补,且仅在该一个发光源候补的大小达到预定的第一阈值以上时,将该一个发光源候补确定为发光源。
3.根据权利要求2所述的车外环境识别装置,其特征在于,所述第一阈值对应于所述车外环境的亮度而等级性地设置为多个。
4.根据权利要求1至3中的任一项所述的车外环境识别装置,其特征在于,所述车外环境识别装置还具备布置判断单元,该布置判断单元判断通过所述位置映射单元产生联系的所述车辆区域和所述发光源的位置的相对布置是否为恰当的布置。
5.根据权利要求1至3中的任一项所述的车外环境识别装置,其特征在于,所述发光源至少为刹车灯、高位刹车灯、尾灯、指示灯中的任意一个。
6.根据权利要求1至3中的任一项所述的车外环境识别装置,其特征在于,所述发光源包含刹车灯和尾灯,所述车外环境识别装置还具备刹车灯确定单元,该刹车灯确定单元基于所述尾灯的位置、所述刹车灯和所述尾灯的辉度关系,确定所述刹车灯的位置。
7.一种车外环境识别方法,其特征在于,包括如下步骤:
从对应于车外环境的亮度的第一曝光形态中获取第一图像的同时,从能够判断发光源自发光与否的、曝光时间与第一曝光形态不同的第二曝光形态中获取第二图像;
基于所述第一图像,确定在检测区域内前行的车辆所占据的车辆区域;基于所述第二图像的辉度,确定所述发光源的位置;使所述车辆区域和所述发光源的位置产生联系。
CN201210461803.8A 2011-11-17 2012-11-16 车外环境识别装置及车外环境识别方法 Active CN103121423B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-251588 2011-11-17
JP2011251588A JP5499011B2 (ja) 2011-11-17 2011-11-17 車外環境認識装置および車外環境認識方法

Publications (2)

Publication Number Publication Date
CN103121423A true CN103121423A (zh) 2013-05-29
CN103121423B CN103121423B (zh) 2015-12-23

Family

ID=48222166

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210461803.8A Active CN103121423B (zh) 2011-11-17 2012-11-16 车外环境识别装置及车外环境识别方法

Country Status (4)

Country Link
US (1) US8908924B2 (zh)
JP (1) JP5499011B2 (zh)
CN (1) CN103121423B (zh)
DE (1) DE102012110883B4 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295493A (zh) * 2015-06-26 2017-01-04 富士重工业株式会社 车外环境识别装置
CN106965739A (zh) * 2015-11-25 2017-07-21 株式会社斯巴鲁 车外环境识别装置
CN109523555A (zh) * 2017-09-18 2019-03-26 百度在线网络技术(北京)有限公司 用于无人驾驶车辆的前车刹车行为检测方法和装置
CN109587415A (zh) * 2017-09-29 2019-04-05 佳能株式会社 成像传感器、芯片、成像系统和移动体
US10322643B2 (en) 2017-05-15 2019-06-18 Ford Global Technologies, Llc Traction battery with reference supercapacitor for charge monitoring
CN110225846A (zh) * 2017-01-20 2019-09-10 株式会社小糸制作所 车辆用灯具系统、车辆用灯具的控制装置及车辆用灯具的控制方法
CN110298793A (zh) * 2018-03-22 2019-10-01 株式会社斯巴鲁 车外环境识别装置
CN113370911A (zh) * 2019-10-31 2021-09-10 北京百度网讯科技有限公司 车载传感器的位姿调整方法、装置、设备和介质
CN115136204A (zh) * 2020-02-27 2022-09-30 通用汽车巡航控股有限责任公司 多模态、多技术载具信号检测

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8260482B1 (en) 2010-04-28 2012-09-04 Google Inc. User interface for displaying internal state of autonomous driving system
US8346426B1 (en) 2010-04-28 2013-01-01 Google Inc. User interface for displaying internal state of autonomous driving system
WO2012145819A1 (en) 2011-04-25 2012-11-01 Magna International Inc. Image processing method for detecting objects using relative motion
US20140218535A1 (en) 2011-09-21 2014-08-07 Magna Electronics Inc. Vehicle vision system using image data transmission and power supply via a coaxial cable
WO2013048994A1 (en) 2011-09-26 2013-04-04 Magna Electronics, Inc. Vehicle camera image quality improvement in poor visibility conditions by contrast amplification
US10071687B2 (en) 2011-11-28 2018-09-11 Magna Electronics Inc. Vision system for vehicle
JP5480925B2 (ja) * 2012-03-05 2014-04-23 本田技研工業株式会社 車両周辺監視装置
US10609335B2 (en) 2012-03-23 2020-03-31 Magna Electronics Inc. Vehicle vision system with accelerated object confirmation
WO2013158592A2 (en) 2012-04-16 2013-10-24 Magna Electronics, Inc. Vehicle vision system with reduced image color data processing by use of dithering
US10089537B2 (en) 2012-05-18 2018-10-02 Magna Electronics Inc. Vehicle vision system with front and rear camera integration
TWI536326B (zh) * 2012-07-20 2016-06-01 緯創資通股份有限公司 車輛碰撞事故通報系統及方法
US9743002B2 (en) 2012-11-19 2017-08-22 Magna Electronics Inc. Vehicle vision system with enhanced display functions
US8825258B2 (en) 2012-11-30 2014-09-02 Google Inc. Engaging and disengaging for autonomous driving
US10025994B2 (en) 2012-12-04 2018-07-17 Magna Electronics Inc. Vehicle vision system utilizing corner detection
US9481301B2 (en) 2012-12-05 2016-11-01 Magna Electronics Inc. Vehicle vision system utilizing camera synchronization
US20140168415A1 (en) 2012-12-07 2014-06-19 Magna Electronics Inc. Vehicle vision system with micro lens array
US20140218529A1 (en) 2013-02-04 2014-08-07 Magna Electronics Inc. Vehicle data recording system
US10027930B2 (en) 2013-03-29 2018-07-17 Magna Electronics Inc. Spectral filtering for vehicular driver assistance systems
US9327693B2 (en) 2013-04-10 2016-05-03 Magna Electronics Inc. Rear collision avoidance system for vehicle
US10232797B2 (en) 2013-04-29 2019-03-19 Magna Electronics Inc. Rear vision system for vehicle with dual purpose signal lines
US10567705B2 (en) 2013-06-10 2020-02-18 Magna Electronics Inc. Coaxial cable with bidirectional data transmission
US9260095B2 (en) 2013-06-19 2016-02-16 Magna Electronics Inc. Vehicle vision system with collision mitigation
US9619716B2 (en) 2013-08-12 2017-04-11 Magna Electronics Inc. Vehicle vision system with image classification
US10326969B2 (en) 2013-08-12 2019-06-18 Magna Electronics Inc. Vehicle vision system with reduction of temporal noise in images
US10297155B2 (en) * 2013-09-27 2019-05-21 Hitachi Automotive Systems, Ltd. Object detector
US9988047B2 (en) 2013-12-12 2018-06-05 Magna Electronics Inc. Vehicle control system with traffic driving control
DE102014101073B4 (de) 2014-01-29 2016-06-16 Axel Finkler Aufsatz für eine Flasche
JP5961207B2 (ja) 2014-03-28 2016-08-02 富士重工業株式会社 車外環境認識装置
JP6329417B2 (ja) * 2014-03-31 2018-05-23 株式会社Subaru 車外環境認識装置
US9623878B2 (en) 2014-04-02 2017-04-18 Magna Electronics Inc. Personalized driver assistance system for vehicle
US9766628B1 (en) 2014-04-04 2017-09-19 Waymo Llc Vision-based object detection using a polar grid
JP6354356B2 (ja) * 2014-06-10 2018-07-11 株式会社デンソー 前方状況判定装置
JP6335037B2 (ja) * 2014-06-19 2018-05-30 株式会社Subaru 車外環境認識装置
JP6335065B2 (ja) * 2014-08-07 2018-05-30 株式会社Subaru 車外環境認識装置
US9925980B2 (en) 2014-09-17 2018-03-27 Magna Electronics Inc. Vehicle collision avoidance system with enhanced pedestrian avoidance
JP6420650B2 (ja) * 2014-12-10 2018-11-07 株式会社Subaru 車外環境認識装置
JP6350293B2 (ja) * 2015-01-14 2018-07-04 株式会社デンソー 点灯検出装置
US10286855B2 (en) 2015-03-23 2019-05-14 Magna Electronics Inc. Vehicle vision system with video compression
JP2016197795A (ja) * 2015-04-03 2016-11-24 日立オートモティブシステムズ株式会社 撮像装置
US10819943B2 (en) 2015-05-07 2020-10-27 Magna Electronics Inc. Vehicle vision system with incident recording function
JP6034923B1 (ja) 2015-06-26 2016-11-30 富士重工業株式会社 車外環境認識装置
JP6132412B2 (ja) 2015-09-24 2017-05-24 株式会社Subaru 車外環境認識装置
JP6654870B2 (ja) * 2015-11-19 2020-02-26 株式会社Subaru 車外環境認識装置
US10144419B2 (en) 2015-11-23 2018-12-04 Magna Electronics Inc. Vehicle dynamic control system for emergency handling
US11285878B2 (en) 2015-12-17 2022-03-29 Magna Electronics Inc. Vehicle vision system with camera line power filter
CN105740802A (zh) * 2016-01-28 2016-07-06 北京中科慧眼科技有限公司 基于视差图的障碍物检测方法和装置及汽车驾驶辅助系统
JP6890998B2 (ja) * 2016-03-04 2021-06-18 キヤノン株式会社 撮像素子、撮像装置及び移動体
JP6631691B2 (ja) 2016-03-10 2020-01-15 株式会社リコー 画像処理装置、機器制御システム、撮像装置、画像処理方法、及び、プログラム
SG10201912533UA (en) * 2016-03-31 2020-02-27 Agency Science Tech & Res Signal light detection
US10248874B2 (en) * 2016-11-22 2019-04-02 Ford Global Technologies, Llc Brake light detection
US10607094B2 (en) 2017-02-06 2020-03-31 Magna Electronics Inc. Vehicle vision system with traffic sign recognition
JP6921587B2 (ja) * 2017-03-31 2021-08-18 キヤノン株式会社 撮像装置、撮像システム、移動体
JP7066347B2 (ja) * 2017-07-25 2022-05-13 キヤノン株式会社 撮像装置、撮像システム、移動体
DE102017116849A1 (de) * 2017-07-25 2019-01-31 Mekra Lang Gmbh & Co. Kg Indirektes Sichtsystem für ein Fahrzeug
JP2019041352A (ja) * 2017-08-29 2019-03-14 キヤノン株式会社 撮像装置及び撮像システム
JP7046551B2 (ja) * 2017-10-03 2022-04-04 キヤノン株式会社 固体撮像装置及び撮像システム
JP7039310B2 (ja) * 2018-02-09 2022-03-22 キヤノン株式会社 光電変換装置及び撮像システム
JP7059031B2 (ja) * 2018-02-09 2022-04-25 キヤノン株式会社 撮像装置、撮像システム、移動体
JP7102159B2 (ja) * 2018-02-09 2022-07-19 キヤノン株式会社 光電変換装置、撮像システム、および、移動体
JP7043284B2 (ja) * 2018-02-15 2022-03-29 キヤノン株式会社 撮像装置および撮像システム、および移動体
JP7089390B2 (ja) * 2018-03-30 2022-06-22 キヤノン株式会社 光電変換装置及びその駆動方法
DE102018205199B4 (de) * 2018-04-06 2021-03-18 Volkswagen Aktiengesellschaft Ermittlung und Verwendung von Haltepunkten für Kraftfahrzeuge
JP7261006B2 (ja) * 2018-12-27 2023-04-19 株式会社Subaru 車外環境認識装置
JP6643517B2 (ja) * 2019-05-23 2020-02-12 日立オートモティブシステムズ株式会社 撮像装置
CN112307833A (zh) * 2019-07-31 2021-02-02 浙江商汤科技开发有限公司 识别智能行驶设备的行驶状态的方法及装置、设备
JP7356319B2 (ja) * 2019-10-17 2023-10-04 株式会社Subaru 車外環境認識装置
CN112766026B (zh) * 2019-11-05 2024-02-02 大富科技(安徽)股份有限公司 交通灯的检测方法、计算机存储介质、车载终端和车辆
KR20210149374A (ko) * 2020-06-02 2021-12-09 현대자동차주식회사 전방 차량 브레이킹 레벨 제공 장치 및 그의 브레이킹 레벨 제공 방법
JP7431698B2 (ja) * 2020-08-20 2024-02-15 株式会社Subaru 車外環境認識装置
US11968639B2 (en) 2020-11-11 2024-04-23 Magna Electronics Inc. Vehicular control system with synchronized communication between control units
US20220281451A1 (en) * 2021-03-04 2022-09-08 GM Global Technology Operations LLC Target vehicle state identification for automated driving adaptation in vehicles control
WO2023067867A1 (ja) * 2021-10-21 2023-04-27 日立Astemo株式会社 車載制御装置、および、3次元情報取得方法
US12249161B2 (en) * 2022-04-28 2025-03-11 Toyota Research Institute, Inc. Vehicle taillight recognition based on a velocity estimation

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10283461A (ja) * 1997-04-04 1998-10-23 Fuji Heavy Ind Ltd 車外監視装置
JP2005001425A (ja) * 2003-06-09 2005-01-06 Nissan Motor Co Ltd 車両用前照灯制御装置
CN1673679A (zh) * 2004-03-26 2005-09-28 三菱自动车工业株式会社 前视监视设备
JP2006059183A (ja) * 2004-08-20 2006-03-02 Matsushita Electric Ind Co Ltd 画像処理装置
US20080180528A1 (en) * 2007-01-31 2008-07-31 Toru Saito Preceding Vehicle Detection System
US20080181461A1 (en) * 2007-01-31 2008-07-31 Toru Saito Monitoring System

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09267686A (ja) 1996-04-01 1997-10-14 Mitsubishi Motors Corp 先行車制動識別装置および車両制御装置
JP3872179B2 (ja) 1997-07-17 2007-01-24 富士重工業株式会社 車両の衝突防止装置
KR20050037582A (ko) * 2002-08-21 2005-04-22 젠텍스 코포레이션 자동차량 외부 광 제어용 이미지 획득 및 처리 방법
TWI302879B (en) * 2006-05-12 2008-11-11 Univ Nat Chiao Tung Real-time nighttime vehicle detection and recognition system based on computer vision
JP4980970B2 (ja) * 2008-03-26 2012-07-18 富士重工業株式会社 撮像手段の調整装置および物体検出装置
JP2012226689A (ja) * 2011-04-22 2012-11-15 Fuji Heavy Ind Ltd 環境認識装置および環境認識方法
JP5272042B2 (ja) * 2011-05-12 2013-08-28 富士重工業株式会社 環境認識装置および環境認識方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10283461A (ja) * 1997-04-04 1998-10-23 Fuji Heavy Ind Ltd 車外監視装置
JP2005001425A (ja) * 2003-06-09 2005-01-06 Nissan Motor Co Ltd 車両用前照灯制御装置
CN1673679A (zh) * 2004-03-26 2005-09-28 三菱自动车工业株式会社 前视监视设备
JP2006059183A (ja) * 2004-08-20 2006-03-02 Matsushita Electric Ind Co Ltd 画像処理装置
US20080180528A1 (en) * 2007-01-31 2008-07-31 Toru Saito Preceding Vehicle Detection System
US20080181461A1 (en) * 2007-01-31 2008-07-31 Toru Saito Monitoring System

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295493A (zh) * 2015-06-26 2017-01-04 富士重工业株式会社 车外环境识别装置
CN106295493B (zh) * 2015-06-26 2019-01-04 株式会社斯巴鲁 车外环境识别装置
CN106965739A (zh) * 2015-11-25 2017-07-21 株式会社斯巴鲁 车外环境识别装置
CN106965739B (zh) * 2015-11-25 2018-11-06 株式会社斯巴鲁 车外环境识别装置
CN110225846B (zh) * 2017-01-20 2023-12-22 株式会社小糸制作所 车辆用灯具系统、车辆用灯具的控制装置及车辆用灯具的控制方法
CN110225846A (zh) * 2017-01-20 2019-09-10 株式会社小糸制作所 车辆用灯具系统、车辆用灯具的控制装置及车辆用灯具的控制方法
US10322643B2 (en) 2017-05-15 2019-06-18 Ford Global Technologies, Llc Traction battery with reference supercapacitor for charge monitoring
US10824885B2 (en) 2017-09-18 2020-11-03 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for detecting braking behavior of front vehicle of autonomous vehicle
CN109523555A (zh) * 2017-09-18 2019-03-26 百度在线网络技术(北京)有限公司 用于无人驾驶车辆的前车刹车行为检测方法和装置
CN109587415A (zh) * 2017-09-29 2019-04-05 佳能株式会社 成像传感器、芯片、成像系统和移动体
CN110298793A (zh) * 2018-03-22 2019-10-01 株式会社斯巴鲁 车外环境识别装置
CN113370911A (zh) * 2019-10-31 2021-09-10 北京百度网讯科技有限公司 车载传感器的位姿调整方法、装置、设备和介质
CN113370911B (zh) * 2019-10-31 2024-03-19 北京百度网讯科技有限公司 车载传感器的位姿调整方法、装置、设备和介质
CN115136204A (zh) * 2020-02-27 2022-09-30 通用汽车巡航控股有限责任公司 多模态、多技术载具信号检测

Also Published As

Publication number Publication date
DE102012110883B4 (de) 2015-12-24
US8908924B2 (en) 2014-12-09
DE102012110883A1 (de) 2013-05-23
JP5499011B2 (ja) 2014-05-21
CN103121423B (zh) 2015-12-23
US20130129150A1 (en) 2013-05-23
JP2013109391A (ja) 2013-06-06

Similar Documents

Publication Publication Date Title
CN103121423B (zh) 车外环境识别装置及车外环境识别方法
CN103810469B (zh) 车外环境识别装置
JP5386538B2 (ja) 環境認識装置
CN102842029B (zh) 环境识别装置及环境识别方法
JP5272041B2 (ja) 環境認識装置および環境認識方法
JP5254102B2 (ja) 環境認識装置
CN102774341B (zh) 环境识别装置及环境识别方法
CN106295494B (zh) 车外环境识别装置
JP5798011B2 (ja) 車外環境認識装置
JP5548667B2 (ja) 車外環境認識装置
JP5386539B2 (ja) 環境認識装置
CN102975678A (zh) 环境识别装置及环境识别方法
JP6236039B2 (ja) 車外環境認識装置
JP2012226689A (ja) 環境認識装置および環境認識方法
JP2012238243A (ja) 環境認識装置および環境認識方法
JP2016110539A (ja) 車外環境認識装置
JP2020107052A (ja) 車外環境認識装置
JP7229032B2 (ja) 車外物体検出装置
JP6329438B2 (ja) 車外環境認識装置
CN114572102B (zh) 一种适用于车灯的智能调节系统及方法
JP2016001434A (ja) 車外環境認識装置
JP2015156120A (ja) 歩行者認識装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: Tokyo, Japan

Patentee after: Subaru Co.

Address before: Tokyo, Japan

Patentee before: Fuji Heavy Industries, Ltd.

CP01 Change in the name or title of a patent holder