[go: up one dir, main page]

CN108242044A - 图像处理装置以及图像处理方法 - Google Patents

图像处理装置以及图像处理方法 Download PDF

Info

Publication number
CN108242044A
CN108242044A CN201710733806.5A CN201710733806A CN108242044A CN 108242044 A CN108242044 A CN 108242044A CN 201710733806 A CN201710733806 A CN 201710733806A CN 108242044 A CN108242044 A CN 108242044A
Authority
CN
China
Prior art keywords
image
mentioned
parameter
image processing
distortion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710733806.5A
Other languages
English (en)
Inventor
小崎南羽
西山学
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of CN108242044A publication Critical patent/CN108242044A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689—Motion occurring during a rolling shutter mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及图像处理装置以及图像处理方法。提供一种能够检测出由视角或行扫描的角速度互不相同的两个相机拍摄而得的两个图像中的畸变的图像处理装置以及图像处理方法，根据实施方式，图像处理装置具备：特征点检测部，在由视角或行扫描的角速度互不相同的两个相机拍摄到的第一图像与第二图像中检测多个特征点；特征点对决定部，根据检测出的多个特征点，决定第一图像与第二图像间的多个特征点对；映射参数计算部，计算出表示第一图像与第二图像间的映射的第一参数；以及畸变参数计算部，根据第一参数求出表示第一图像以及第二图像的畸变的第二参数。

Description

图像处理装置以及图像处理方法
相关申请
本申请享受以日本专利申请2016－253950号(申请日：2016年12月27日)为基础申请的优先权。本申请通过参照该基础申请而包含基础申请的全部内容。
技术领域
实施方式涉及图像处理装置以及图像处理方法。
背景技术
以往以来，存在立体相机等使用了两个相机的图像处理系统。立体相机通过利用了视差的立体匹配等，能够进行距物体的距离的推定等。
但是，在这样的系统中，若两个相机的光学系统或行扫描速度互不相同，则存在距离的推定精度降低等问题。
例如，在两个相机中，在视角互不相同，或如卷帘快门那样每一行的曝光定时不同等的情况下，在拍摄实际空间时，在两个图像间，图像的畸变不同。若使用畸变不同的两个图像进行立体匹配等，则担心距离的推定精度降低，不能准确地进行立体匹配处理。
另外，为了检测图像的畸变，也提出了使用加速度传感器等的技术，但使用加速度传感器等在成本方面并不优选。
发明内容
实施方式提供一种能够检测出由视角或行扫描的角速度互不相同的两个相机拍摄而得的两个图像中的畸变的图像处理装置以及图像处理方法。
实施方式的图像处理装置具备：特征点检测部，在由视角或行扫描的角速度互不相同的两个相机拍摄到的第一图像与第二图像中检测多个特征点；特征点对决定部，根据检测出的上述多个特征点，决定上述第一图像与上述第二图像间的多个特征点对；映射参数计算部，计算表示上述第一图像与上述第二图像间的映射的第一参数；以及畸变参数计算部，根据上述第一参数求出表示上述第一图像以及上述第二图像的畸变的第二参数。
附图说明
图1是本实施方式所涉及的图像处理装置的框图。
图2是表示搭载有本实施方式所涉及的图像处理装置的对象的例子的图。
图3是表示本实施方式所涉及的、相机C1与C2对实际空间拍摄的区域的图。
图4是表示本实施方式所涉及的、由广角用的相机C1获得的图像WG与由窄角用的相机C2获得的图像NG的关系的图。
图5是表示本实施方式所涉及的、相机C1与C2在拍摄中向下方向变更拍摄方向时的、由相机C1与C2拍摄的范围的图。
图6是表示本实施方式所涉及的、相机C1与C2在拍摄中向下方向变更拍摄方向时的、由广角用的相机C1获得的图像WG1与由窄角用的相机C2获得的图像NG1的例子的图。
图7是表示本实施方式所涉及的、相机C1与C2在拍摄中向右方向变更拍摄方向时的、由相机C1与C2拍摄的范围的图。
图8是表示本实施方式所涉及的、相机C1与C2在拍摄中向右方向变更拍摄方向时的、由广角用的相机C1获得的图像WG2与由窄角用的相机C2获得的图像NG2的例子的图。
图9是表示本实施方式所涉及的、图像处理装置1的处理的流程的例子的流程图。
具体实施方式
以下，参照附图对实施方式进行说明。
(第一实施方式)
(构成)
图1是本实施方式所涉及的图像处理装置的框图。
图像处理装置1包含分别接收图像信号的接口电路(以下，简称为I/F)11以及12、图像取得电路13、中央处理装置(以下，简称为CPU)14、DRAM 15、图像处理器16、图案匹配电路17、立体匹配电路18、仿射转换电路19、以及输出用的I/F 20。图像取得电路13、CPU 14、DRAM 15、图像处理器16、图案匹配电路17、立体匹配电路18、仿射转换电路19、以及I/F 20连接于总线21，彼此之间能够进行数据的收发。
图像处理装置1是输入例如来自搭载于汽车(以下，称作车)等的两个相机C1、C2的映像信号即图像信号、进行规定的图像识别处理而输出识别结果信息的半导体装置。
I/F 11从第一相机C1输入串行传送的图像信号，并将图像信号向图像取得电路13输出。
I/F 12从第二相机C2输入串行传送的图像信号，并将图像信号向图像取得电路13输出。
图像取得电路13在CPU 14的控制下从I/F 11、12取得两个图像信号而保存于DRAM15。
CPU 14是控制图像处理电路1内的各电路以便对所取得的两个图像信号实施规定的处理而输出规定的输出信号的控制电路。CPU 14包含保存各种动作程序的ROM以及作业用的RAM。CPU 14通过执行保存于ROM的规定的程序，从而进行图像处理整体的处理以及后述的那种解开联立方程式等的运算。
DRAM 15是用于保存两个图像信号或保存各电路的处理结果的数据的主存储器。
此外，这里，DRAM 15包含在图像处理装置1的半导体芯片内，但也可以是与图像处理装置1的半导体芯片不同的其他芯片而连接于总线21。
图像处理器16包含特征点检测电路16a以及特征点匹配电路16b。特征点检测电路16a在CPU 14的控制下检测各图像的特征点。特征点匹配电路16b在CPU 14的控制下在两个图像中进行检测出的特征点的匹配。
图案匹配电路17与立体匹配电路18作为匹配部设于图像处理装置1内。
图案匹配电路17是用于识别规定的对象物的电路。例如识别人、车等对象物，将识别结果向DRAM 15输出。图案匹配电路17对畸变校正后的两个图像进行图案匹配，并输出图案匹配的结果的信息。
立体匹配电路18运算而求出相机C1、C2距所获得的图像中的任意点、或者识别出的物体的距离。立体匹配电路18对畸变校正后的两个图像进行立体匹配，并输出立体匹配的结果的信息。
此外，在本实施方式中，图像处理装置1具有图案匹配电路17与立体匹配电路18这两方，但也可以具有图案匹配电路17与立体匹配电路18中的某一个。
仿射转换电路19执行用于除去图像的畸变的仿射转换处理。
I/F 20连接于与其他系统之间的网络(N/W)等。I/F 20是输出匹配部的匹配结果的电路。经由I/F 20，输出人等识别出的对象的信息、距识别出的对象的距离的信息。网络与车的控制装置连接。车的控制装置使用来自图像处理装置1的信息进行车的控制。
图2是表示搭载有图像处理装置的对象的例子的图。
图像处理装置1在这里作为前方监视系统的一部分搭载于车X上。在车X上搭载有视角互不相同的相机C1、C2，来自该相机C1与C2的图像信号被输入到图像处理装置1。
相机C1与C2具有焦距以及视角互不相同的光学系统。相机C1具有视角θ1的第一光学系统，相机C2具有比相机C1的视角θ1小的视角θ2的第二光学系统。
相机C1用于检测出离车较近的障碍物、人从侧面突然出现的情况等。相机C2具有用于拍摄远方的规定范围的光学系统，用于检测远方的障碍物等。
以下，将通过相机C1而得的图像也称作广角图像，将通过相机C2而得的图像也称作窄角图像。对于广角图像以及窄角图像，分别通过图案匹配处理进行障碍物等的识别处理等。
并且，在相机C1与C2双方所拍摄的区域中，能够通过立体测量检测距物体的距离。关于广角图像以及窄角图像重叠的图像区域，通过立体匹配处理，检测距图案匹配所识别到的障碍物等的距离。
各相机C1、C2具有CMOS图像传感器等X－Y寻址型的固体摄像元件，以卷帘快门方式输出图像信号。
由于在卷帘快门方式的摄像传感器中按照每个像素行存在拍摄的时滞，因此存在由于摇摄而拍摄图像发生剪切变形、由于俯仰拍摄而拍摄图像发生纵向伸缩等问题。这些图像的畸变被称为通称卷帘快门畸变或焦平面畸变等。
各相机C1、C2的摄像元件具有多个像素行。相机C1将拍摄区域按照每个像素行逐个曝光而生成广角图像，相机C2将比相机C1的拍摄区域窄的拍摄区域按照每个像素行逐个曝光而生成窄角图像。
各相机C1、C2进行使曝光行沿与像素行正交的方向移动的行扫描，从而对实际空间的拍摄区域进行拍摄。
例如，在两个相机C1与C2中的摄像元件为相同类型的摄像元件且曝光时间等参数也相同时，广角的相机C1以比相机C2快的速度移动与曝光行对应的实际空间。即，相比于相机C2的拍摄区域，相机C1的拍摄区域被以更快的速度拍摄。
在利用所谓的异立体相机(ヘテロステレオカメラ)即相机C1与C2获得的图像中，包含透镜的失真(distortion)所导致的畸变和卷帘快门畸变，以下对卷帘快门畸变进行说明。
图3以及图4是用于说明由广角用的相机C1与窄角用的相机C2拍摄的范围的图。图3是表示相机C1与C2对实际空间拍摄的区域的图。
在图3所示的实际空间OG中，将相机C1与C2设置成，由相机C1拍摄实际空间OG内的区域WA，由相机C2拍摄区域WA中的区域NA。
图4是表示图像WG与图像NG的关系的图。图像WG是由相机C1获得的区域WA的图像，图像NG是由相机C2获得的区域NA的图像。图像NG是以与相机C1不同的视差拍摄区域NA而得的图像。
搭载有相机C1与C2的车X有时在行驶中上下方向晃动、或向左或者右方向变更行进路线。此时，在由各相机C1、C2获得的图像中，产生卷帘快门畸变。
首先，对相机C1与C2纵摇的情况进行说明。图5是表示相机C1与C2在拍摄中向下方向变更拍摄方向时的、由相机C1与C2拍摄的范围的图。图6是表示相机C1与C2在拍摄中向下方向变更拍摄方向时的、由广角用的相机C1获得的图像WG1与由窄角用的相机C2获得的图像NG1的例子的图。
例如，若车X纵摇，则相机C1与C2倾斜，拍摄的区域在上下方向上扩展。如图5所示，相机C1与C2分别对在上下方向上延伸后的区域WA1、NA1进行拍摄。因此，图像WG1与NG1如图6所示那样，成为被摄体像在上下方向上被压缩而失真的图像。在图像WG1与图像NG1中，图像在纵向上缩窄的现象同时出现，但程度互不相同。
另外，在相机C1与C2向左右方向变更了拍摄方向的情况下，宛如等同于将相机C1与C2向左方向或者右方向摇摄(pan)的情况。图7是表示相机C1与C2在拍摄中向右方向变更拍摄方向时拍摄的范围的图。图8是表示相机C1与C2在拍摄中向右方向变更拍摄方向时的图像WG2与图像NG2的例子的图。
例如，若车X因紧急转向而转向右方向，则如同对相机C1与C2进行摇摄那样，因此位于拍摄的区域WA2、NA2的被摄体像变形成菱形。如图7所示，相机C1与C2一边向右方向移动一边对区域进行拍摄。因此，图像WG2与NG2如图8所示那样成为被摄体像倾斜地变形的图像。
基于图6或图8所示的那种变形的图像，存在如下问题：即使想要进行物体识别用的图案识别、或者进行距离检测用的立体匹配，也会在识别或者检测中增大误差，或者无法识别或检测。
因此，本实施方式的图像处理装置生成对这些畸变进行校正的校正参数。而且，图像处理装置使用该校正参数，能够校正变形的图像而生成无卷帘快门畸变的图像。由于基于无卷帘快门畸变的图像进行图案匹配或者立体匹配，因此识别或者检测中误差不会变大，不能进行识别或者检测的问题也会消除。
(图像处理的说明)
将能够从某一点看到的实际空间中的P点的位置设为(x，y)。在将点P在相机C1的图像上映射的Pw点的位置设为(xw，yw)时，点P与点Pw的坐标转换式成为如下的仿射转换的式(1)。
这里，Aw是与卷帘快门畸变对应的转换矩阵。S是表示剪切变形的强度的参数，t是表示纵向、即行扫描方向的伸缩的强度的参数。另外，c1是x轴方向上的平行移动量值，c2是y轴方向上的平行移动量值。此外，c1、c2也可以是0。
同样地，在将点P在相机C2的图像上映射的Pn点的位置设为(xn，yn)时，点P与点Pn的坐标转换式成为如下的仿射转换的式(2)。
这里，C是用于与相机C1、C2的摄像元件的分辨率的差异对应的转换矩阵，An是用于与是卷帘快门畸变对应的转换矩阵。另外，c3是x轴方向上的平行移动量值，c4是y轴方向上的平行移动量值。此外，c3、c4也可以是0。
rw是水平方向上的相机C1相对于相机C2的空间分辨率之比，rh是垂直方向上的相机C1相对于相机C2的空间分辨率之比。
空间分辨率在这里是每像素的视角。在相机C1与C2的图像传感器的像素数(即分辨率)相同的情况下，图像整体的视角(视野)大的相机中，1个像素所担当的角度变大，因此作为空间分辨率而成为较大的值。例如，若将相机C1的视角(视野)设为120度，将相机C2的视角设为60度，拍摄而得的像素数相同，则rw、rh均为2。
rl是在相机C1和C2中使用相同的摄像元件并使曝光时间等参数相同的情况下的、相机C1相对于相机C2的视角之比(θ1/θ2)，例如，在将相机C1的视角(视野)设为120度，将相机C2的视角设为60度时为2。
此外，这里，相机C1、C2的视角互不相同，在视角相同的情况下，rl成为对按照每行逐渐曝光的行扫描的角速度之比。即，rl被设定为与像素行正交的方向上的扫描速度之比。
这里，若利用仿射转换下的线形转换将点Pw(xw，yw)和点Pn(xn，yn)的位置关系模型化，则由如下的式(3)表示。
这里，B是转换矩阵。式(3)示出了由相机C1与相机C2获得的两个图像间的坐标的关系。此外，这里，将矩阵B中的几个成分设定为0或者1，但这是为了减少参数的数量而稳定地求解，这些值也可以不是0或者1。
该矩阵B的各成分的值能够根据实际拍摄而得的图像来求出。
首先，对广角图像与窄角图像进行特征点检测处理，在检测到的特征点之间进行匹配。特征点检测处理由特征点检测电路16a来执行，特征点匹配处理由特征点匹配电路16b来执行。
作为该特征点检测以及特征点匹配的方法，期望的是高速且精度较高的方法，例如，使用AKAZE特征描述符。关于AKAZE特征描述符，公开于“Fast Explicit Diffusion forAccelerated Feature in Nonlinear Scale Spaces”Alcantarilla et al.BritishMachine Vision Conference(BMVC)，Bristol，UK，September 2013。此外，作为特征点检测以及特征点匹配的方法，并不局限于此，也可以使用其他任意的方法。
由此，能够使用特征点检测电路16a以及特征点匹配电路16b，检测实际拍摄到的两个图像中的特征点，并使用检测出的多个特征点的位置信息，求出矩阵B的多个成分的值。
将匹配后的第i(i是整数)特征点对在广角图像与窄角图像各自的坐标设为(xwi，ywi)、(xni，yni)。设为发现了N个特征点对，将各对的坐标值代入式(3)后导出N个方程式。
在式(3)的情况下，未知数为B00～B12这6个，因此通过解开6个联立方程式，能够计算出6个未知数。在N具有多个时，通过最小平方法解开联立方程式，从而能够决定矩阵B的各成分的值。
若求出矩阵B，则能够求出广角图像与窄角图像的转换式。
此外，这里，通过利用特征点检测与特征点匹配求出特征点的位置，并解开使用了多个特征点的位置信息的广角图像与窄角图像的映射的关系式(3)的联立方程式，求出矩阵B，但也可以通过其他方法来求出矩阵B。
例如，也可以通过Lucas－Kanade法下的重复优化法来求出矩阵B的各成分。关于Lucas－Kanade法，公开于“Pyramidal impletation of the affine lucas kanadefeature tracker description of the algorithm”，Bouguet 2001。
此外，也可以是，在矩阵B的成分中，进行仅限定为放大·缩小和剪切变形的参数约束而求出矩阵B的各成分。
若将式(1)与(2)代入式(3)，则可获得如下的式(4)，并导出式(5)。
Aw-BCAn＝0 …(5)
相对于未知数为s、t这两者，从式(5)的左边的第一行第二列与第二行第二列中求出共计两个方程式，因此通过解开该联立方程式，能够求出s、t。s与t分别由如下的式(6)与(7)表示。
通过使用推定出的s、t，能够除去式(1)与(2)各自中的卷帘快门畸变。具体而言，准备除去畸变后的图像平面，计算出该图像平面上的xw、yw、xn、yn，一边一点一点地改变x、y，一边对各x、y进行取得这些位置的像素数据而保存于除去畸变后的图像的坐标x、y处的处理，从而能够获得无畸变的广角图像与窄角图像。
(作用)
接下来，对图像处理装置1的动作进行说明。
图9是表示图像处理装置1的处理的流程的例子的流程图。图像处理装置1的整体控制由CPU 14来进行。
CPU 14控制图像取得电路13，取得广角图像与窄角图像(步骤(以下，简称为S)1)。广角图像与窄角图像的两个帧图像信号从图像取得电路13经由总线21被保存于DRAM 15。
CPU 14控制图像处理器16，进行各图像信号的特征点的检测(S2)，并进行特征点间的匹配，决定多个特征点对(S3)。
具体而言，经由总线21向图像处理器16传送两个图像信号。特征点检测电路16a进行图像信号各自的特征点的检测(S2)。检测出的多个特征点信息经由总线21被写入DRAM15。特征点匹配电路16b对检测出的多个特征点进行匹配。特征点匹配电路16b根据匹配的结果，进行两个图像间的多个特征点对的决定处理(S3)。检测出的多个特征点对信息经由总线21被写入DRAM 15。
由此，S2的处理构成对由视角(或行扫描的角速度)互不相同的两个相机拍摄到的第一图像与第二图像中的多个特征点进行检测的特征点检测部。S3的处理构成从检测出的多个特征点中决定第一图像与第二图像间的多个特征点对的特征点对决定部。
CPU 14根据基于多个特征点对的坐标的联立方程式计算矩阵B(S4)。CPU 14执行用于解开该联立方程式的程序而计算矩阵B。具体而言，CPU 14将多个特征点对的坐标代入式(3)，解开所得的联立方程式，计算出矩阵B的各成分。其结果，获得作为第一图像与第二图像间的映射参数的矩阵B的各成分的值。由此，S4的处理构成对第一图像与第二图像间的映射参数进行计算的映射参数计算部。
接下来，CPU 14计算s、t(S5)。CPU 14执行用于执行式(6)、(7)的运算的程序而计算s、t。即，S5的处理构成根据计算出的映射参数求出表示第一图像以及第二图像的畸变的参数即s、t的畸变参数计算部。
然后，CPU 14控制仿射转换电路19，使用计算出的s、t，除去两个图像的畸变(S6)。具体而言，仿射转换电路19基于计算出的s、t以及式(1)与式(2)，生成校正参数，并除去两个图像的畸变。无畸变的图像数据被写入DRAM 15。由此，CPU 14与仿射转换电路19构成使用表示畸变的参数即s、t、将广角图像与窄角图像的畸变除去的畸变除去部。
CPU 14进行图案匹配处理(S7)，使用图案匹配的信息进行立体匹配处理(S8)。
具体而言，CPU 14控制图案匹配电路17，进行无畸变的两个图像数据的图案匹配处理。对于广角图像以及窄角图像分别进行图案匹配处理，进行人、障碍物等的识别处理。
CPU 14控制立体匹配电路18，使用图案匹配处理的结果的一部分进行立体匹配处理。对于广角图像以及窄角图像重叠的图像区域进行立体匹配处理，并进行距图案识别出的人、障碍物等的距离检测处理。
CPU 14输出匹配信息(S9)。匹配信息包含作为图案匹配处理的结果的图案匹配信息以及作为立体匹配处理的结果的立体匹配信息。匹配信息经由I/F 20被输出。即，CPU 14将图案匹配信息以及立体匹配信息经由I/F 20向与图像处理装置1不同的其他车的控制装置发送。即，CPU 14将障碍物、人等的识别信息、以及距识别出的障碍物等的距离信息向车的控制装置发送。
此外，也可以是，CPU 14在输出匹配信息时，输出图案匹配信息以及立体匹配信息的至少一方。
车的控制装置能够获得使用无畸变的两个图像而利用图案匹配以及立体匹配获得的、精度更高的识别信息以及检测信息，因此能够进行更可靠的车的控制。
如以上那样，根据本实施方式，能够提供一种能够检测出由视角或行扫描的角速度互不相同的两个相机拍摄而得的图像中的畸变的图像处理装置以及图像处理方法。
另外，由于也无需用于检测图像的畸变量的加速度传感器等硬件，因此也能够抑制成本的上升。
此外，在本实施方式中，检测两个相机的两个图像中的畸变，但本实施方式也能够应用于对3个以上的相机的3个以上的图像中的畸变进行检测的情况。例如，在是3个图像的情况下，能够检测两个图像间的畸变，并以该检测出的畸变参数作为基准，检测出剩余的图像的畸变。
此外，在本实施方式中，使用计算出的s、t进行图像的畸变除去处理(S6)，但也可以预先设定s、t各自的阈值，在计算出的s、t的至少一个或者两方为阈值以上时，不执行畸变除去处理而是停止S6之后的处理。即，在表示畸变的参数为规定的阈值以上时，作为畸变除去部的仿射转换电路19不进行第一图像与第二图像的畸变的除去。在关于所输入的帧图像的s、t比阈值小时，进行S6之后的处理即可。
这是因为考虑到s、t为阈值以上的图像不适合之后的图像处理。s、t为阈值以上的图像有时即使进行畸变的除去处理也会降低品质，若使用品质降低的图像实施图像识别处理，则担心导致识别精度的降低。
由此，由于不对s、t为阈值以上的图像执行畸变除去处理以及匹配处理，因此能够防止图像识别处理的精度降低。
另外，在本实施方式中，在图像处理装置1中生成无畸变的广角图像与窄角图像，但也可以通过与图像处理装置1不同的其他控制电路、芯片等进行S6的处理。
另外，在本实施方式中，在图像处理装置1中进行了图案匹配处理与立体匹配处理，但也可以利用与图像处理装置1不同的其他控制电路、芯片等进行S7、S8中至少一方的处理。
由此，也可以是，S6～S8的处理的至少一个由与图像处理装置1不同的其他控制电路、芯片等来进行。在S6～S8的处理全部由与图像处理装置1不同的其他控制电路、芯片等进行的情况下，图像处理装置1也可以仅输出s、t的信息。在该情况下，图像处理装置1成为对以卷帘快门方式拍摄到的图像的畸变进行推定的装置。
另外，在本实施方式中，图像处理装置1是用于车用的前方监视系统的装置，但也能够应用于除前方监视以外的用途，而且，也能够应用于除车以外的用途中的立体摄像机、立体数字静态相机等。
本说明书中的各“部”是与实施方式的各功能对应的概念，并非必须与特定的硬件或软件程序1对1地对应。因此，在本说明书中，以下，设想具有实施方式的各功能的虚拟的电路块(部)说明了实施方式。另外，本实施方式中的各顺序的各步骤只要不违反其性质，也可以变更执行顺序、同时执行多个、或者以每次执行时都不同的顺序来执行。并且，也可以利用硬件来实现本实施方式中的各顺序的各步骤的全部或者一部分。
虽然说明了本发明的几个实施方式，但这些实施方式是作为例子而提出的，并非意图限定发明的范围。这些新的实施方式能够以其他各种方式来实施，在不脱离发明的主旨的范围内，能够进行各种省略、替换、变更。这些实施方式及其变形包含在发明的范围及主旨中，并且包含在权利要求书所记载的发明与其等效的范围内。

Claims (10)

1.一种图像处理装置，具备：
特征点检测部，在由视角或行扫描的角速度互不相同的两个相机拍摄到的第一图像与第二图像中检测多个特征点；
特征点对决定部，根据检测出的上述多个特征点，决定上述第一图像与上述第二图像间的多个特征点对；
映射参数计算部，计算表示上述第一图像与上述第二图像间的映射的第一参数；以及
畸变参数计算部，根据上述第一参数求出表示上述第一图像以及上述第二图像的畸变的第二参数。
2.如权利要求1所述的图像处理装置，其中，
上述第一图像是由具有第一视角的第一光学系统获得的图像，
上述第二图像是由视角与上述第一视角不同的第二光学系统获得的图像。
3.如权利要求1所述的图像处理装置，其中，
上述第二参数是表示剪切变形的强度的参数以及表示上述行扫描方向的伸缩的强度的参数中的至少一个。
4.如权利要求1所述的图像处理装置，其中，
具有使用上述第二参数将上述第一图像与上述第二图像的畸变除去的畸变除去部。
5.如权利要求1所述的图像处理装置，其中，
具有对于上述第一图像与上述第二图像进行图案匹配以及立体匹配中的至少一方的匹配部，
输出上述匹配部的上述图案匹配以及上述立体匹配中的上述至少一方的匹配结果。
6.一种图像处理方法，其中，
在由视角或行扫描的角速度互不相同的两个相机拍摄到的第一图像与第二图像中检测多个特征点，
根据检测出的上述多个特征点，决定上述第一图像与上述第二图像间的多个特征点对，
计算表示上述第一图像与上述第二图像间的映射的第一参数，
根据计算出的表示上述映射的第一参数，求出表示上述第一图像以及上述第二图像的畸变的第二参数。
7.如权利要求6所述的图像处理方法，其中，
上述第一图像是由具有第一视角的第一光学系统获得的图像，
上述第二图像是由视角与上述第一视角不同的第二光学系统获得的图像。
8.如权利要求6所述的图像处理方法，其中，
上述第二参数是表示剪切变形的强度的参数以及表示上述行扫描方向的伸缩的强度的参数中的至少一个。
9.如权利要求6所述的图像处理方法，其中，
使用上述第二参数将上述第一图像与上述第二图像的畸变除去。
10.如权利要求6所述的图像处理方法，其中，
对于上述第一图像与上述第二图像进行图案匹配以及立体匹配中的至少一方，
输出上述图案匹配以及上述立体匹配中的上述至少一方的匹配结果。
CN201710733806.5A 2016-12-27 2017-08-24 图像处理装置以及图像处理方法 Pending CN108242044A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016253950A JP6699902B2 (ja) 2016-12-27 2016-12-27 画像処理装置及び画像処理方法
JP2016-253950 2016-12-27

Publications (1)

Publication Number Publication Date
CN108242044A true CN108242044A (zh) 2018-07-03

Family

ID=59772390

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710733806.5A Pending CN108242044A (zh) 2016-12-27 2017-08-24 图像处理装置以及图像处理方法

Country Status (4)

Country Link
US (1) US10726528B2 (zh)
EP (1) EP3343511A1 (zh)
JP (1) JP6699902B2 (zh)
CN (1) CN108242044A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111650220A (zh) * 2020-07-15 2020-09-11 博科视(苏州)技术有限公司 一种基于视觉的图文缺陷检测方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7135339B2 (ja) * 2018-02-28 2022-09-13 株式会社デンソー 車両に搭載される撮像システム、対象物識別装置、および対象物識別方法
KR20240082886A (ko) * 2022-12-02 2024-06-11 한국전자통신연구원 듀얼 챠르코보드를 통한 광각-협각 렌즈간 캘리브레이션 장치 및 방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001024515A1 (en) * 1999-09-30 2001-04-05 Koninklijke Philips Electronics N.V. Tracking camera
US20020085744A1 (en) * 2000-11-17 2002-07-04 Molecular Diagnostics, Inc. Evaluation of microscope slides
US20020109833A1 (en) * 2000-11-27 2002-08-15 Naoki Chiba Apparatus for and method of calculating lens distortion factor, and computer readable storage medium having lens distortion factor calculation program recorded thereon
CN101276465A (zh) * 2008-04-17 2008-10-01 上海交通大学 广角图像自动拼接方法
CN102436660A (zh) * 2011-11-08 2012-05-02 北京新岸线网络技术有限公司 3d相机图像自动校正方法及装置
CN105308947A (zh) * 2013-06-13 2016-02-03 核心光电有限公司 双孔径变焦数字摄影机
CN105654502A (zh) * 2016-03-30 2016-06-08 广州市盛光微电子有限公司 一种基于多镜头多传感器的全景相机标定装置和方法
CN105744180A (zh) * 2014-12-26 2016-07-06 株式会社摩如富 图像生成装置、电子设备及图像生成方法

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1153551A (ja) * 1997-08-04 1999-02-26 Toyota Motor Corp ライン検出装置
JP4169462B2 (ja) * 1999-08-26 2008-10-22 株式会社リコー 画像処理方法及び装置、デジタルカメラ、画像処理システム、並びに、画像処理プログラムを記録した記録媒体
JP3924576B2 (ja) * 2004-10-18 2007-06-06 倉敷紡績株式会社 写真測量による３次元計測方法及び装置
JP4390068B2 (ja) 2004-12-28 2009-12-24 ソニー株式会社 撮像画像信号の歪み補正方法および撮像画像信号の歪み補正装置
JP4702233B2 (ja) 2006-09-11 2011-06-15 ソニー株式会社 画像データ処理装置および画像データ処理方法
US8824833B2 (en) * 2008-02-01 2014-09-02 Omnivision Technologies, Inc. Image data fusion systems and methods
US8553106B2 (en) * 2009-05-04 2013-10-08 Digitaloptics Corporation Dual lens digital zoom
JP2011118553A (ja) * 2009-12-01 2011-06-16 Keyence Corp 画像処理装置、画像処理方法及びコンピュータプログラム
US8810692B2 (en) * 2010-10-19 2014-08-19 Apple Inc. Rolling shutter distortion correction
JP5539250B2 (ja) 2011-03-23 2014-07-02 株式会社デンソーアイティーラボラトリ 接近物体検知装置及び接近物体検知方法
DE112012003685T5 (de) * 2011-09-05 2014-07-10 Mitsubishi Electric Corp. Bildverarbeitungsvorrichtung und Bildverarbeitungsverfahren
US20130188069A1 (en) * 2012-01-20 2013-07-25 Samsung Electronics Co., Ltd. Methods and apparatuses for rectifying rolling shutter effect
KR20130127868A (ko) * 2012-05-15 2013-11-25 삼성전자주식회사 점 대응을 찾기 위한 방법, 상기 방법을 수행할 수 있는 장치, 및 이를 포함하는 시스템
KR101692652B1 (ko) * 2012-10-24 2017-01-03 가부시키가이샤 모르포 화상 처리 장치, 화상 처리 방법, 및 기록 매체
WO2014068779A1 (ja) * 2012-11-05 2014-05-08 株式会社モルフォ 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
CN103856711A (zh) * 2012-12-05 2014-06-11 联咏科技股份有限公司 滚动快门的校正方法与图像处理装置
US9210404B2 (en) * 2012-12-14 2015-12-08 Microsoft Technology Licensing, Llc Calibration and registration of camera arrays using a single circular grid optical target
US10136063B2 (en) * 2013-07-12 2018-11-20 Hanwha Aerospace Co., Ltd Image stabilizing method and apparatus
KR102144394B1 (ko) * 2013-08-20 2020-08-13 한화테크윈 주식회사 영상 정합 장치 및 이를 이용한 영상 정합 방법
WO2015056105A1 (en) * 2013-10-14 2015-04-23 Mobileye Vision Technologies Ltd. Forward-facing multi-imaging system for navigating a vehicle
US9509979B2 (en) * 2013-11-26 2016-11-29 Mobileye Vision Technologies Ltd. Stereo auto-calibration from structure-from-motion
JP6034775B2 (ja) 2013-11-29 2016-11-30 クラリオン株式会社 カメラ校正装置
JP6316030B2 (ja) * 2014-03-12 2018-04-25 キヤノン株式会社 撮像装置及びその制御方法
IL231818A (en) * 2014-03-31 2017-10-31 Israel Aerospace Ind Ltd A method and system for correcting distortion in images
WO2015182771A1 (ja) 2014-05-30 2015-12-03 日本電産エレシス株式会社 撮像装置、画像処理装置、画像処理方法およびコンピュータプログラム
CN105205796A (zh) * 2014-06-30 2015-12-30 华为技术有限公司 广域图像获取方法和装置
US10198865B2 (en) * 2014-07-10 2019-02-05 Seiko Epson Corporation HMD calibration with direct geometric modeling
US9449397B2 (en) * 2014-10-15 2016-09-20 Caterpillar Inc. Real-time visual odometry system for determining motion of a machine with a range detection unit
KR101676656B1 (ko) * 2014-12-22 2016-11-16 현대모비스 주식회사 장애물 검출 장치 및 장애물 검출 방법
KR102143309B1 (ko) * 2015-08-13 2020-08-11 코어포토닉스 리미티드 비디오 지원 및 스위칭/비스위칭 동적 제어 기능이 있는 듀얼-애퍼처 줌 카메라
US9854170B2 (en) * 2015-12-29 2017-12-26 Oculus Vr, Llc Rolling shutter blur reduction using motion data
US10356343B2 (en) * 2016-03-18 2019-07-16 Raytheon Company Methods and system for geometric distortion correction for space-based rolling-shutter framing sensors
US10027893B2 (en) * 2016-05-10 2018-07-17 Nvidia Corporation Real-time video stabilization for mobile devices based on on-board motion sensing
US9639935B1 (en) * 2016-05-25 2017-05-02 Gopro, Inc. Apparatus and methods for camera alignment model calibration
US10109055B2 (en) * 2016-11-21 2018-10-23 Seiko Epson Corporation Multiple hypotheses segmentation-guided 3D object detection and pose estimation
WO2018095278A1 (zh) * 2016-11-24 2018-05-31 腾讯科技（深圳）有限公司 飞行器的信息获取方法、装置及设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001024515A1 (en) * 1999-09-30 2001-04-05 Koninklijke Philips Electronics N.V. Tracking camera
US20020085744A1 (en) * 2000-11-17 2002-07-04 Molecular Diagnostics, Inc. Evaluation of microscope slides
US20020109833A1 (en) * 2000-11-27 2002-08-15 Naoki Chiba Apparatus for and method of calculating lens distortion factor, and computer readable storage medium having lens distortion factor calculation program recorded thereon
CN101276465A (zh) * 2008-04-17 2008-10-01 上海交通大学 广角图像自动拼接方法
CN102436660A (zh) * 2011-11-08 2012-05-02 北京新岸线网络技术有限公司 3d相机图像自动校正方法及装置
CN105308947A (zh) * 2013-06-13 2016-02-03 核心光电有限公司 双孔径变焦数字摄影机
CN105744180A (zh) * 2014-12-26 2016-07-06 株式会社摩如富 图像生成装置、电子设备及图像生成方法
CN105654502A (zh) * 2016-03-30 2016-06-08 广州市盛光微电子有限公司 一种基于多镜头多传感器的全景相机标定装置和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
X KE 等: "Robust stereo vision and calibration methodology for accurate three-dimensional digital image correlation measurements on submerged objects", 《JOURNAL OF STRAIN ANALYSIS FOR ENGINEERING DESIGN》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111650220A (zh) * 2020-07-15 2020-09-11 博科视(苏州)技术有限公司 一种基于视觉的图文缺陷检测方法
CN111650220B (zh) * 2020-07-15 2022-08-09 博科视(苏州)技术有限公司 一种基于视觉的图文缺陷检测方法

Also Published As

Publication number Publication date
US20180182078A1 (en) 2018-06-28
US10726528B2 (en) 2020-07-28
JP2018107699A (ja) 2018-07-05
JP6699902B2 (ja) 2020-05-27
EP3343511A1 (en) 2018-07-04

Similar Documents

Publication Publication Date Title
US11272161B2 (en) System and methods for calibration of an array camera
CN109813251B (zh) 用于三维测量的方法、装置以及系统
JP4440341B2 (ja) キャリブレーション方法、キャリブレーション装置及びその装置を備えるキャリブレーションシステム
JP3983573B2 (ja) ステレオ画像特性検査システム
CN106548489B (zh) 一种深度图像与彩色图像的配准方法、三维图像采集装置
JP2018179981A (ja) カメラ校正方法、カメラ校正プログラム及びカメラ校正装置
JP6223169B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN106570899B (zh) 一种目标物体检测方法及装置
JP2015203652A (ja) 情報処理装置および情報処理方法
CN112184811B (zh) 单目空间结构光系统结构校准方法及装置
CN112470189B (zh) 光场系统的遮挡消除
JP7378219B2 (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
JP2008522268A (ja) 物体の位置をディジタル画像から特定する方法
CN108242044A (zh) 图像处理装置以及图像处理方法
JP3237414B2 (ja) ステレオカメラ校正装置
JP2022024688A (ja) デプスマップ生成装置及びそのプログラム、並びに、デプスマップ生成システム
JP6529360B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2018179577A (ja) 位置計測装置
CN110068308A (zh) 一种基于多目相机的测距方法及测距系统
JP7033294B2 (ja) 撮像システム、撮像方法
JP2015019346A (ja) 視差画像生成装置
TWI569642B (zh) 機器視覺中進行影像擷取之方法及裝置
CN109990756B (zh) 一种双目测距方法及系统
CN110686598A (zh) 一种双线阵结构光三维测量系统及其测量方法
CN111489384A (zh) 基于互视角的遮挡评估方法及装置、设备、系统和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180703