[go: up one dir, main page]

CN118830254A - 车载摄像机系统以及车载摄像机的曝光条件决定方法 - Google Patents

车载摄像机系统以及车载摄像机的曝光条件决定方法 Download PDF

Info

Publication number
CN118830254A
CN118830254A CN202280092269.XA CN202280092269A CN118830254A CN 118830254 A CN118830254 A CN 118830254A CN 202280092269 A CN202280092269 A CN 202280092269A CN 118830254 A CN118830254 A CN 118830254A
Authority
CN
China
Prior art keywords
vehicle
exposure
exposure condition
cameras
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280092269.XA
Other languages
English (en)
Inventor
的野春树
城户英彰
入江耕太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Astemo Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Astemo Ltd filed Critical Hitachi Astemo Ltd
Publication of CN118830254A publication Critical patent/CN118830254A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供一种能够不受车速影响地获取正确的三维信息和目标物识别信息的车载摄像机系统。车载摄像机系统具备：多个摄像机，其以具有视野区域的至少一部分重复的立体视觉区域的方式配置在本车辆上；移动量运算部，其根据本车辆的动作，求出多个摄像机拍摄的立体视觉区域的特征点的移动量；第1曝光条件决定部，其以移动量成为阈值以下的方式决定多个摄像机的第1曝光条件；第2曝光条件决定部，其根据车外的外光条件，决定多个摄像机的第2曝光条件；三维信息获取部，其使用在第1曝光条件下拍摄的图像，获取立体视觉区域的三维信息；目标物识别部，其使用在第2曝光条件下拍摄的图像，识别本车辆周边的目标物；以及曝光控制部，其将多个摄像机各自的曝光条件切换为第1曝光条件或第2曝光条件。

Description

车载摄像机系统以及车载摄像机的曝光条件决定方法
技术领域
本发明涉及并用多个摄像机来识别本车辆的外界的车载摄像机系统以及车载摄像机的曝光条件决定方法。
背景技术
作为驾驶辅助系统和自动驾驶系统的技术要素，已知有ACC(AdaptiveCruiseControl)、AEBS(AdvancedEmergencyBrakingSystem)、LKAS(LaneKeepingAssistSystem)等车辆控制技术。作为实现这些车辆控制技术的具体的构成，已知有基于由车载摄像机拍摄的图像，始终识别、追踪本车辆周边的目标物(例如，其他车辆、行人、骑车人、交通信号灯、交通标识、白线、障碍物等)，由此追随前方车辆行驶、或发动紧急制动、或以不超出行驶车道的方式进行转向控制。另外，通过以不仅监视本车辆的前后而且监视侧方的方式配置多个摄像机而能够自动停车的车辆也正在普及。
在此，作为控制车载摄像机的曝光时间的现有技术，已知有专利文献1。在该文献的摘要中，作为课题，记载了“考虑到车辆的行驶状态，拍摄并显示车辆周边的图像。”，作为解决手段，记载了“车载摄像机控制装置具备：获取搭载有车载摄像机的车辆的车速的车速获取单元、和根据由车速获取单元获取的车速来变更车载摄像机的曝光时间的摄像机控制单元。”。另外，在该文献的段落0036中有以下的记载：“在车辆正高速移动时，虽然不是清晰的图像，但能够实时地显示车辆周边的图像。”。
现有技术文献
专利文献
专利文献1：日本专利特开2008-174078号公报
发明内容
发明要解决的问题
如上所述，专利文献1的曝光时间控制是为了实时显示本车辆周边的图像而根据车速一律地变更车载摄像机的曝光时间，但由于该曝光时间控制，存在在高速移动时不能获取清晰的图像的问题。因此，如果利用由专利文献1的技术拍摄的不清晰的图像，则有可能无法正确识别本车辆周边的目标物，无法适当实现ACC、AEBS、LKAS等的车辆控制。
因此，在本发明中，目的在于提供一种分时切换距离测定用的曝光控制和目标物识别用的曝光控制来进行拍摄，从而能够不受车速影响地获取ACC、AEBS、LKAS等车辆控制所需要的正确的三维信息和目标物识别信息的车载摄像机系统、以及车载摄像机的曝光条件决定方法。
解决问题的技术手段
为了解决上述问题，本发明的车载摄像机系统具备：多个摄像机，其以具有视野区域的至少一部分重复的立体视觉区域的方式配置在本车辆上；移动量运算部，其根据本车辆的动作，求出所述多个摄像机拍摄的所述立体视觉区域的特征点的移动量；第1曝光条件决定部，其以所述移动量成为阈值以下的方式决定所述多个摄像机的第1曝光条件；第2曝光条件决定部，其根据车外的外光条件，决定所述多个摄像机的第2曝光条件；三维信息获取部，其使用在所述第1曝光条件下拍摄的图像，获取所述立体视觉区域的三维信息；目标物识别部，其使用在所述第2曝光条件下拍摄的图像，识别本车辆周边的目标物；以及曝光控制部，其将所述多个摄像机各自的曝光条件切换为所述第1曝光条件或所述第2曝光条件。
发明的效果
根据本发明的车载摄像机系统以及车载摄像机的曝光条件决定方法，分时切换距离测定用的曝光控制和目标物识别用的曝光控制来进行拍摄，从而能够不受车速影响地获取ACC、AEBS、LKAS等车辆控制所需要的正确的三维信息和目标物识别信息。
附图说明
图1是一实施例的车载摄像机系统的功能框图。
图2是表示各摄像机的视野区域和立体视觉区域的关系的俯视图。
图3是图1的摄像机控制部的功能框图。
图4是一实施例的车载摄像机系统的处理流程图。
图5是三维信息的运算线和特征点移动量的运算区域的具体例子。
具体实施方式
以下，使用附图说明本发明的一实施例的车载摄像机系统100。
图1是车载摄像机系统100的功能框图。该车载摄像机系统100是搭载在本车辆1上的系统，具备运算处理装置10、摄像机20(21～26)、车辆控制装置30和投光器40。以下，在概述摄像机20、车辆控制装置30、投光器40之后，详细说明运算处理装置10。
<摄像机20>
摄像机20是拍摄本车辆周边并输出拍摄数据P的传感器，在本实施例的本车辆1中，以能够拍摄车外全周的方式设置有多个摄像机20(21～26)。另外，各摄像机以拍摄范围的至少一部分与其他摄像机的拍摄范围重复的方式设置。
图2是本车辆1的俯视图，是例示各摄像机的视野区域C和立体视觉区域V的关系的图。在本实施例的本车辆1中，设置有拍摄实线所示的前方的视野区域C21的前方摄像机21、拍摄点划线所示的右前的视野区域C22的右前摄像机22、拍摄虚线所示的右后的视野区域C23的右后摄像机23、拍摄实线所示的后方的视野区域C24的后方摄像机24、拍摄点划线所示的左后的视野区域C25的左后摄像机25、以及拍摄虚线所示的左前的视野区域C26的左前摄像机26，通过这六个摄像机20，能够拍摄车外全周。
在多个视野区域C重复的区域中，能够从多个视线方向拍摄同一物体(立体拍摄)，如果使用公知的立体匹配技术，则能够生成拍摄物(本车辆周边的移动体、静止物、路面等)的三维信息。因此，将视野区域C重复的区域称为立体视觉区域V。
另外，在图2中，例示了前后左右的立体视觉区域V1～V4，但立体视觉区域V的数量和方向不限于该例子。另外，图2是将各摄像机的视野区域C简单化而图示的图，各摄像机的实际可拍摄距离不必是图示的大小关系。如果举一个例子，则各摄像机的实际可拍摄距离是前方摄像机21和后方摄像机24为200m左右，其他摄像机为50m左右。在这种情况下，立体视觉区域V的可拍摄距离为50m左右。
<车辆控制装置30>
车辆控制装置30是根据后述的目标物测距的结果等，控制未图示的操舵系统、驱动系统、制动系统，从而执行ACC、AEBS、LKAS、自动停车等车辆控制的控制装置。另外，车辆控制装置30还向后述的摄像机控制部12发送本车辆1的车速信息，或者请求优先发送所希望的信息(三维地图、本车姿势、目标物识别、目标物测距)。
<投光器40>
投光器40是为了能够由各摄像机拍摄更清晰的图像数据P而将可见光或近红外线以所希望的光量投射到立体视觉区域V的范围内的装置。另外，在本车辆1的外界足够明亮的情况下，也可以不使用投光器40。另外，在使用投光器40的情况下，也不需要始终投光，只要与各摄像机的拍摄时刻同步进行投光即可。
<运算处理装置10>
运算处理装置10是根据摄像机20的输出(图像数据P)，获取本车辆周边的三维信息，或者推定本车姿势，或者识别本车辆周边的目标物(例如，其他车辆、行人、骑车人、交通信号灯、交通标识、白线、障碍物等)，或者测量到目标物的距离的装置。另外，具体而言，该运算处理装置10是具备CPU等运算装置、半导体存储器等存储装置、以及通信装置等硬件的计算机。并且，运算装置通过执行规定的程序，实现后述的摄像机控制部12等各功能部，以下，适当省略这种公知技术进行说明。
如图1所示，本实施例的运算处理装置10包括：传感器接口11、摄像机控制部12、投光器控制部13、图像分配部14、特征点移动量运算部15、三维信息获取部16、三维地图存储部17、本车姿势推定部18、目标物识别部19、以及目标物测距部1a。以下，依次说明各部分的功能。
<<传感器接口11>>
传感器接口11是向摄像机20(21～26)发送摄像机控制部12的指令、且从摄像机20(21～26)接收图像数据P并向图像分配部14发送的功能部。由此，各摄像机能够以摄像机控制部12设定的曝光条件拍摄图像数据P。另外，曝光条件的详细情况在后面叙述。
<<摄像机控制部12>>
摄像机控制部12是经由传感器接口11控制摄像机20(21～26)、且经由投光器控制部13控制投光器40的功能部。如图3所示，该摄像机控制部12具有基准曝光条件存储部12a、第1曝光条件决定部12b、外光条件判定部12c、第2曝光条件决定部12d、曝光控制部12e、拍摄控制部12f、投光条件决定部12g。以下，详细说明各部分。
基准曝光条件存储部12a是存储在运算处理装置10启动时、或者车速、车外环境发生较大变化的情况下对各摄像机设定的基准曝光条件(基准曝光时间)的功能部。
第1曝光条件决定部12b是根据从后述的特征点移动量运算部15接收到的特征点移动量、或者从车辆控制装置30接收到的车速信息来决定第1曝光条件的功能部。该第1曝光条件规定了拍摄用于获取三维信息的图像数据P1时的曝光时间，设定了特征点移动量为规定的阈值(例如2像素)以下的曝光时间，或者与车速成反比的曝光时间。
外光条件判定部12c是根据从后述的图像分配部14接收到的图像数据P的亮度信息来判定车外的外光条件的功能部。另外，在判定外光条件时，例如考虑对各摄像机设定的增益和图像数据P内的平均亮度。因此，即使图像数据P的平均亮度相等，如果增益高则判定为外界暗，如果增益低则判定为外界亮。
第2曝光条件决定部12d是根据由外光条件判定部12c判定的外光条件来决定第2曝光条件的功能部。该第2曝光条件规定了拍摄用于识别目标物的图像数据P2时的曝光时间，设定了与外光量大致成反比的曝光时间。另外，外光量和第2曝光条件的关系可以根据规定的运算式求出，也可以参照预先准备的表。
另外，若比较第1曝光条件的曝光时间和第2曝光条件的曝光时间，则基本上处于前者短，后者长的关系。因此，在第1曝光条件下拍摄的图像数据P1由于图像暗因此具有不适于识别目标物的缺点，但由于采样周期短，所以具有能够快速地检测本车辆周边的环境变化的优点。另一方面，在第2曝光条件下拍摄的图像数据P2由于采样周期长，因此具有不适于快速地检测本车辆周边的环境变化的缺点，但由于图像明亮，因此具有能够正确识别目标物的优点。
曝光控制部12e是根据处理顺序、车速、识别出的目标物的种类、距离、碰撞可能性等，选择基准曝光条件、第1曝光条件、第2曝光条件中的某一个，并发送给拍摄控制部12f的功能部。另外，在本实施例中，由于考虑到各摄像机的当时的优先用途而分时设定各摄像机的曝光条件，所以从各摄像机以规定比率输出三维信息获取用的图像数据P1和目标物识别用的图像数据P2。例如，如果像本车辆1为高速行驶中的情况或检测到有碰撞可能性的目标物的情况等这样摄像机20的优先用途是三维信息的获取，则只要提高第1曝光条件的使用比例来拍摄多数的图像数据P1和少数的图像数据P2即可，如果是目标物识别，则只要提高第2曝光条件的使用比例来拍摄少数的图像数据P1和多数的图像数据P2即可。
另外，如果是考虑车速来设定曝光条件的情况，则如下设定曝光条件。例如，在本车辆1以一定速度(例如10km/h)以上移动的情况下，对各摄像机优先设定三维信息获取用的第1曝光条件。具体而言，提高对各摄像机设定第1曝光条件的比例(期间或次数)，抑制设定第2曝光条件的比例(期间或次数)。相反地，在本车辆1以小于一定速度移动的情况下，对各摄像机优先设定目标物识别用的第2曝光条件。
这里，对于与相同的立体视觉区域V对应的摄像机组需要设定相同的曝光条件，但如果是立体视觉区域V不同的摄像机之间，则也可以在同步时设定不同的曝光条件。例如，在本车辆1为前进中的情况下，对与前方的立体视觉区域V1对应的摄像机组(前方摄像机21、右前摄像机22、左前摄像机26)优先设定三维信息获取用的第1曝光条件，对与后方的立体视觉区域V3对应的摄像机组(右后摄像机23、后方摄像机24、左后摄像机25)优先设定目标物识别用的第2曝光条件。
拍摄控制部12f是使用由曝光控制部12e设定的曝光条件来控制各摄像机的拍摄时刻的功能部。这里，与相同的立体视觉区域V对应的摄像机组需要同步拍摄，但如果是立体视觉区域V不同的摄像机之间，则也可以使拍摄时刻不同。因此，例如在对与前方的立体视觉区域V1对应的摄像机组(21、22、26)和与后方的立体视觉区域V3对应的摄像机组(23、24、25)设定了相同的拍摄周期(例如50ms)的情况下，在前者和后者的拍摄时刻中，例如也可以设置半周期的时间差(例如25ms)。由此，能够使车外拍摄的采样周期实质上减半。
投光条件决定部12g是根据拍摄控制部12f的输出，决定投光器40的投光时刻和投光量，并发送给投光器控制部13的功能部。如上所述，投光器40只要在各摄像机的拍摄中进行投光即可，因此，如果以在各摄像机未进行拍摄的期间中不进行投光的方式进行控制，则能够抑制投光器40的消耗电力。
<<投光器控制部13>>
投光器控制部13是根据由投光条件决定部12g决定的投光时刻、投光量来控制投光器40的投光的功能部。
<<图像分配部14>>
图像分配部14是根据控制顺序、本车辆1的行驶状况、车辆控制装置30的请求内容等，将经由传感器接口11接收到的图像数据P分配给摄像机控制部12、特征点移动量运算部15、三维信息获取部16、或目标物识别部19的功能部。另外，以能够由图像分配部14区别图像数据P的类别的方式在图像数据P中附加了表示曝光条件(或曝光时间)的信息。
<<特征点移动量运算部15>>
特征点移动量运算部15是对从图像分配部14接收到的图像数据P内的任意特征点运算在该图像数据P内的移动量的功能部。
图4的(a)是图像数据P内的特征点的移动的一例。如图所示，在将在路面上划出的白线的里侧端部作为特征点的情况下，如果本车辆1停止，则由于白线的里侧端部和该里侧的路面的边界明确，所以能够判定为特征点的移动量小，但在从高速行驶中的本车辆1拍摄的图4的图像数据P中，由于白线的里侧端部与路面的边界变得模糊，因此能够判定为特征点的移动量大。因此，在特征点移动量运算部15中，根据特征点附近的图像的清晰度等，运算特征点的移动量。另外，由于特征点的移动量与车速成比例，因此也可以将特征点的移动量的运算看作车速的估算。
<<三维信息获取部16>>
三维信息获取部16是使用公知的立体匹配技术，对于对立体视觉区域V进行同步拍摄的一组图像数据P上的任意运算线上的各像素，获取三维信息的功能部。
图4的(b)是在图像数据P内例示的、用于获取三维信息的运算线。在图4所例示的图像数据P中，在大致上半部分拍摄天空，在大致下半部分拍摄路面，因此，在图像数据P的纵向上设定运算线，如果在该运算线上实施立体匹配时，则对图像数据P的下端的路面的像素运算最近的距离信息，对从图像数据P的下端到大致中央的路面的像素运算逐渐变远的距离信息，对从大致中央到上端的空的像素运算表示无效(不能测定距离)的距离信息。另外，在图4中，仅图示了一条运算线，但如果运算能力有余力，则也可以在图像数据P上设定多个数量、任意角度的运算线，并分别对其运算三维信息。
<<三维地图存储部17>>
三维地图存储部17是按时间序列蓄积由三维信息获取部16获取到的三维信息，从而生成并存储表示本车辆周边的路面坡度或目标物等的三维地图的功能部。另外，在三维地图存储部17中存储有被认为是移动体的目标物的过去的三维信息的情况下，优选对各摄像机优先设定第1曝光条件，能够更新该移动体的当前的三维信息，从而能够追踪该移动体。
<<本车姿势推定部18>>
本车姿势推定部18是根据存储在三维地图存储部17中的三维地图来推定本车辆1相对于路面的姿势的功能部。
<<目标物识别部19>>
目标物识别部19是使用公知的图案匹配技术来识别在图像数据P2中拍摄到的目标物的功能部。
图4的(c)例示了目标物识别部19从图像数据P中识别出的目标物。在该例中，识别出在本车辆行驶车道上行驶的先行车辆和在本车辆行驶车道的右车道上行驶的先行车辆。在这种情况下，前者通过与从后方拍摄车辆的图像图案的图案匹配而被识别为目标物(其他车辆)，后者通过与从左后方拍摄车辆的图像图案的图案匹配而被识别为目标物(其他车辆)。
<<目标物测距部1a>>
目标物测距部1a是根据目标物识别部19识别出的目标物在图像数据P内的全宽、全高等，推测到该目标物的距离的功能部。另外，在目标物位于立体视觉区域V内的情况下，可以使用立体匹配的技术来运算到目标物的距离，在到目标物的距离预先登记为三维地图的情况下，也可以采用三维地图所示的距离作为到目标物的距离。这里求出的到目标物的距离的信息被发送到车辆控制装置30，因此车辆控制装置30能够根据到目标物的距离来执行ACC、AEBS、自动停车等各种车辆控制。
<流程图>
接着，使用图5的流程图，依次说明上述车载摄像机系统100的各部的处理。另外，在此，为了简化说明，假设车外的亮度固定，并且车速也固定。
首先，在步骤S1中，摄像机控制部12(12a、12e、12f)对各个摄像机20设定基准曝光条件，拍摄图像数据P。
在步骤S2中，特征点移动量运算部15根据在步骤S1中拍摄的图像数据P，运算特征点移动量。
在步骤S3中，摄像机控制部12(12b)判定运算出的特征点移动量是否为规定的阈值以下。然后，如果特征点移动量为规定的阈值以下，则进入步骤S5，否则进入步骤S4。
在步骤S4中，摄像机控制部12(12b、12e、12f)对摄像机20设定进一步缩短的曝光时间，拍摄图像数据P。由于对新拍摄的图像数据P也执行上述步骤S2、S3的处理，所以最终决定特征点移动量为规定的阈值以下的曝光时间。
在步骤S5中，摄像机控制部12(12b)将特征点移动量为规定的阈值以下的曝光时间决定为第1曝光条件。
在步骤S6中，摄像机控制部12(12c)根据图像数据P，获取车外的外光条件。
在步骤S7中，摄像机控制部12(12d)根据外光条件决定第2曝光条件。
在步骤S8中，摄像机控制部12(12e)考虑对各摄像机优先设定的曝光条件等，设定下次拍摄的目的。然后，在下次拍摄目的是距离信息(三维信息、本车姿势信息)的获取的情况下，进入步骤S9，在下次拍摄目的是目标物信息(目标物识别信息、目标物测距信息)的获取的情况下，进入步骤S12。
在步骤S9中，摄像机控制部12(12b、12e、12f、12g)对摄像机20设定第1曝光条件，拍摄图像数据P1。
在步骤S10中，三维信息获取部16根据对相同的立体视觉区域V进行了同步拍摄的多个图像数据P1，获取三维信息。另外，所获取的三维信息作为三维地图存储在三维地图存储部17中。
在步骤S11中，本车姿势推定部18推定本车辆1的姿势。所推定的本车姿势被发送到车辆控制装置30，用于车辆控制。
另一方面，在步骤S12中，摄像机控制部12(12d、12e、12f、12g)对摄像机20设定第2曝光条件，拍摄图像数据P2。
在步骤S13中，目标物识别部19识别图像数据P2内的目标物。
在步骤S14中，目标物测距部1a测定到识别出的目标物的距离。测定出的到目标物的距离被发送到车辆控制装置30，用于所希望的车辆控制。
在步骤S15中，运算处理装置10判定行驶是否结束。然后，如果行驶没有结束，则返回步骤S8，继续拍摄。由此，各摄像机能够以规定比率拍摄图像数据P1、P2。另一方面，如果行驶结束，则结束图5的处理。另外，在车外的亮度或车速变化较大的情况下，只要再次执行从步骤S1开始的处理即可。
根据以上说明的本实施例的车载摄像机系统，分时切换距离测定用的曝光控制和目标物识别用的曝光控制来进行拍摄，从而能够不受车速影响地获取在ACC、AEBS、LKAS等车辆控制中所需要的正确的三维信息和目标物识别信息。
符号说明
1…本车辆，100…车载摄像机系统，10…运算处理装置，11…传感器接口，12…摄像机控制部，12a…基准曝光条件存储部，12b…第1曝光条件决定部，12c…外光条件判定部，12d…第2曝光条件决定部，12e…曝光控制部，12f…拍摄控制部，12g…投光条件决定部，13…投光器控制部，14…图像分配部，15…特征点移动量运算部，16…三维信息获取部，17…三维地图存储部，18…本车姿势推定部，19…目标物识别部，1a…目标物测距部，20(21～26)…摄像机，30…车辆控制装置，40…投光器，C…视野区域，V…立体视觉区域，P…图像数据。

Claims (8)

1.一种车载摄像机系统，其特征在于，具备：
多个摄像机，其以具有视野区域的至少一部分重复的立体视觉区域的方式配置在本车辆上；
移动量运算部，其根据本车辆的动作，求出所述多个摄像机拍摄的所述立体视觉区域的特征点的移动量；
第1曝光条件决定部，其以所述移动量成为阈值以下的方式决定所述多个摄像机的第1曝光条件；
第2曝光条件决定部，其根据车外的外光条件，决定所述多个摄像机的第2曝光条件；
三维信息获取部，其使用在所述第1曝光条件下拍摄的图像，获取所述立体视觉区域的三维信息；
目标物识别部，其使用在所述第2曝光条件下拍摄的图像，识别本车辆周边的目标物；以及
曝光控制部，其将所述多个摄像机各自的曝光条件切换为所述第1曝光条件或所述第2曝光条件。
2.根据权利要求1所述的车载摄像机系统，其特征在于，
所述曝光控制部在本车辆的车速为规定值以上的情况下，使所述第1曝光条件优先于所述第2曝光条件。
3.根据权利要求1所述的车载摄像机系统，其特征在于，
还具备存储部，所述存储部将所述三维信息获取部过去获取的立体视觉区域的三维信息与该立体视觉区域中包含的目标物相对应地存储，
所述曝光控制部在所述存储部中存储有在当前时刻所述立体视觉区域中包含的目标物的三维信息的情况下，使所述第1曝光条件优先于所述第2曝光条件。
4.根据权利要求1所述的车载摄像机系统，其特征在于，
所述多个摄像机配置成具有多个所述立体视觉区域，
所述曝光控制部对于拍摄各立体视觉区域的每个摄像机组切换所述第1曝光条件和所述第2曝光条件。
5.根据权利要求4所述的车载摄像机系统，其特征在于，
所述曝光控制部在多个立体视觉区域中的任意一个中存在有可能与本车辆碰撞的目标物的情况下，对于拍摄检测到所述目标物的立体视觉区域的摄像机，使所述第1曝光条件优先于所述第2曝光条件。
6.根据权利要求4所述的车载摄像机系统，其特征在于，
还具备拍摄时刻控制部，所述拍摄时刻控制部以所述多个摄像机中拍摄第1立体视觉区域的摄像机和拍摄第2立体视觉区域的摄像机的拍摄时刻错开规定时间的方式控制拍摄时刻，
所述三维信息获取部根据在所述第1立体视觉区域拍摄的图像和在所述第2立体视觉区域拍摄的图像，获取所述三维信息。
7.根据权利要求1所述的车载摄像机系统，其特征在于，
还具备与所述摄像机的拍摄同步地投光的投光器。
8.一种车载摄像机的曝光条件决定方法，其特征在于，具备：
拍摄步骤，拍摄多个摄像机的视野区域重复的立体视觉区域；
移动量运算步骤，根据本车辆的动作，求出所述多个摄像机拍摄的所述立体视觉区域的特征点的移动量；
第1曝光条件决定步骤，以所述移动量成为阈值以下的方式决定所述多个摄像机的第1曝光条件；
第2曝光条件决定步骤，根据车外的外光条件，决定所述多个摄像机的第2曝光条件；
三维信息获取步骤，使用在所述第1曝光条件下拍摄的图像，获取所述立体视觉区域的三维信息；
目标物识别步骤，使用在所述第2曝光条件下拍摄的图像，识别本车辆周边的目标物；以及
曝光控制步骤，将所述多个摄像机各自的曝光条件切换为所述第1曝光条件或所述第2曝光条件。
CN202280092269.XA 2022-03-07 2022-07-29 车载摄像机系统以及车载摄像机的曝光条件决定方法 Pending CN118830254A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2022034138A JP2023129847A (ja) 2022-03-07 2022-03-07 車載カメラシステム、および、車載カメラの露光条件決定方法
JP2022-034138 2022-03-07
PCT/JP2022/029253 WO2023170993A1 (ja) 2022-03-07 2022-07-29 車載カメラシステム、および、車載カメラの露光条件決定方法

Publications (1)

Publication Number Publication Date
CN118830254A true CN118830254A (zh) 2024-10-22

Family

ID=87936401

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280092269.XA Pending CN118830254A (zh) 2022-03-07 2022-07-29 车载摄像机系统以及车载摄像机的曝光条件决定方法

Country Status (4)

Country Link
JP (1) JP2023129847A (zh)
CN (1) CN118830254A (zh)
DE (1) DE112022006150T5 (zh)
WO (1) WO2023170993A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008174078A (ja) 2007-01-18 2008-07-31 Xanavi Informatics Corp 車載カメラ制御装置、車載カメラ制御方法
JP6244986B2 (ja) * 2014-03-05 2017-12-13 日産自動車株式会社 カメラ装置
JP6759460B2 (ja) * 2017-06-07 2020-09-23 日立オートモティブシステムズ株式会社 画像処理装置
US10798368B2 (en) * 2018-03-13 2020-10-06 Lyft, Inc. Exposure coordination for multiple cameras

Also Published As

Publication number Publication date
WO2023170993A1 (ja) 2023-09-14
DE112022006150T5 (de) 2025-01-02
JP2023129847A (ja) 2023-09-20

Similar Documents

Publication Publication Date Title
US11836989B2 (en) Vehicular vision system that determines distance to an object
US7957559B2 (en) Apparatus and system for recognizing environment surrounding vehicle
JP6649738B2 (ja) 駐車区画認識装置、駐車区画認識方法
US9151626B1 (en) Vehicle position estimation system
US7659835B2 (en) Method and apparatus for recognizing parking slot by using bird&#39;s eye view and parking assist system using the same
US9077907B2 (en) Image processing apparatus
WO2017014023A1 (ja) 車載環境認識装置
US11004233B1 (en) Intelligent vision-based detection and ranging system and method
KR20060021922A (ko) 두 개의 카메라를 이용한 장애물 감지 기술 및 장치
JP2009234344A (ja) 撮像手段の調整装置および物体検出装置
JP2012166705A (ja) 車載カメラレンズ用異物付着判定装置
RU2737641C1 (ru) Способ помощи при парковке и устройство помощи при парковке
CN108725318A (zh) 汽车安全预警方法、装置及计算机可读存储介质
CN113492850B (zh) 倾斜角检测装置及控制装置
JP2018073275A (ja) 画像認識装置
JP7003972B2 (ja) 距離推定装置、距離推定方法及び距離推定用コンピュータプログラム
CN111260538B (zh) 基于长基线双目鱼眼相机的定位及车载终端
CN118830254A (zh) 车载摄像机系统以及车载摄像机的曝光条件决定方法
CN116892949A (zh) 地上物检测装置、地上物检测方法以及地上物检测用计算机程序
JPH11205663A (ja) 車両用撮像装置の露光量制御装置
JP2024030951A (ja) 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム
JP7226986B2 (ja) 画像処理装置および画像処理方法
JP2006036048A (ja) 車両ライト制御装置
JP2007172504A (ja) 付着物検出装置及び付着物検出方法
WO2024150543A1 (ja) 車載カメラシステム、及び、画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination