[go: up one dir, main page]

WO2017135081A1 - 車載カメラ用校正システム - Google Patents

車載カメラ用校正システム Download PDF

Info

Publication number
WO2017135081A1
WO2017135081A1 PCT/JP2017/002092 JP2017002092W WO2017135081A1 WO 2017135081 A1 WO2017135081 A1 WO 2017135081A1 JP 2017002092 W JP2017002092 W JP 2017002092W WO 2017135081 A1 WO2017135081 A1 WO 2017135081A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
camera
camera calibration
calibration system
calculation unit
Prior art date
Application number
PCT/JP2017/002092
Other languages
English (en)
French (fr)
Inventor
大介 木本
間藤 隆一
Original Assignee
パナソニックIpマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックIpマネジメント株式会社 filed Critical パナソニックIpマネジメント株式会社
Publication of WO2017135081A1 publication Critical patent/WO2017135081A1/ja
Priority to US15/997,806 priority Critical patent/US20180286078A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402Image calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Definitions

  • the present disclosure relates to an in-vehicle camera calibration system that calibrates a camera image using an image captured by a camera.
  • the situation immediately behind the vehicle which is a blind spot from the driver, can be visually recognized as an image displayed on the in-vehicle monitor, and viewed when the vehicle is moving backward It is done to improve the sex.
  • a calibration target is installed behind the vehicle in order to correct the mounting state of the in-vehicle camera on the vehicle. Then, while viewing the image of the calibration target reflected on the vehicle-mounted monitor, the mounting state of the vehicle-mounted camera is adjusted so that the image of the calibration target is appropriately projected.
  • an image displayed on the in-vehicle monitor is appropriately calibrated by applying a predetermined arithmetic processing based on the image of the calibration target to the image obtained by the in-vehicle camera.
  • the entire periphery of the vehicle is photographed by a plurality of in-vehicle cameras, and the plurality of images obtained by each in-vehicle camera are converted into images (overhead images) that look down from directly above the vehicle.
  • a single viewpoint-converted composite image is also obtained by performing mapping with adjusted positions between the images. In such a case, since it is necessary to perform alignment between two adjacent images with high accuracy, high-precision calibration is required.
  • the vehicle production line has been devised to improve the alignment accuracy between the vehicle and the calibration target by modifying the equipment at an expense.
  • the calibration target must be installed accurately each time. There is a need. For this reason, it takes much more work.
  • a white line grid is used as a calibration target, and features that are irrelevant to the stop state of the vehicle, such as linearity, parallelism, orthogonality, and spacing of the white line grid, are used. Techniques have been proposed for calibrating internal / distortion parameters and external parameters.
  • Patent Document 2 proposes a method of calibrating using a calibration target and a calibration accuracy evaluation target integrated.
  • Patent Documents 1 and 2 it is necessary to stop the vehicle in the calibration target. In the factory production line, for each vehicle, an operator stops the vehicle in the calibration target ( Cost).
  • the present disclosure has been made in view of such a point, and an object thereof is to provide an in-vehicle camera calibration system that can calibrate an in-vehicle camera without stopping the vehicle on a production line.
  • the in-vehicle camera calibration system includes a camera, a memory, a feature point extraction unit, a tracking point extraction unit, and a camera calibration parameter calculation unit.
  • the camera is attached to the vehicle and takes images of the road surface in time series.
  • the memory stores images taken by the camera in time series.
  • the feature point extraction unit extracts feature points from the captured image stored in the memory.
  • the tracking point extraction unit extracts a tracking point that is a destination of the feature point after a predetermined time has elapsed.
  • the camera calibration parameter calculation unit calculates camera calibration parameters from the feature points and tracking points.
  • FIG. 1 is a block diagram illustrating a functional configuration of a camera calibration device according to a first embodiment of the present disclosure.
  • saved at memory The figure which shows the image coordinate of the tracking point of the N + 1th image preserve
  • Flowchart for calculating camera calibration parameters Flowchart for converting feature point image coordinates and tracking point image coordinates stored in memory to world coordinates Diagram explaining the coordinate axes in world coordinates and rotation around each coordinate axis Diagram explaining the coordinate axes in world coordinates and rotation around each coordinate axis Diagram explaining the process of converting image coordinates of feature points and tracking points to world coordinates
  • the flowchart explaining the process of the moving body moving amount calculation part which calculates the moving amount of a moving body The figure explaining the
  • FIG. 1 is a block diagram illustrating a functional configuration of the camera calibration apparatus according to the first embodiment of the present disclosure.
  • the configuration and operation of the camera calibration apparatus according to the present embodiment will be described with reference to FIG.
  • the camera calibration device of the present embodiment is installed on a moving body such as a vehicle.
  • This camera calibration apparatus calibrates the camera 101, and includes a memory 102, a feature point extraction unit 103, a tracking point extraction unit 104, and a camera calibration parameter calculation unit 105.
  • FIG. 1 also shows a vehicle 106.
  • Each of the feature point extraction unit 103, the tracking point extraction unit 104, and the camera calibration parameter calculation unit 105 includes a CPU (Central Processing Unit) 107 in a camera calibration device in a ROM (Read Only Memory, not shown). This is realized by executing the stored program. Note that each unit may be realized by a dedicated circuit configured by hardware instead of using the CPU and ROM.
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • the camera 101 is installed in a vehicle and stores in the memory 102 images chronologically captured images of the road surface while the vehicle is moving.
  • the feature point extraction unit 103 extracts feature points from the Nth image stored in the memory 102 as shown in FIG. 2 and stores the image coordinates of the feature points in the memory 102.
  • the image coordinates are a two-dimensional coordinate system having the origin at the upper left of the image placed on the memory.
  • a feature point is a point at which a luminance information amount in a predetermined range including the point has a characteristic size. For example, a Harris corner point or the like is searched for as the feature point.
  • the tracking point extraction unit 104 extracts a point having the same feature as the feature point from the (N + 1) th image stored in the memory 102 as illustrated in FIG. 3 as a tracking point, and stores the image coordinates of the tracking point in the memory 102. To do.
  • the tracking point is extracted using a processing method such as the Kanade-Lucas-Tomasi method (the KLT).
  • the camera calibration parameter calculation unit 105 calculates camera calibration parameters. Hereinafter, the process performed by the camera calibration parameter calculation unit 105 will be described in detail with reference to FIG.
  • the camera calibration parameter calculation unit 105 sets the camera angle (pan, tilt, roll) and camera position of the camera mounting design value as initial camera parameters.
  • the camera calibration parameter calculation unit 105 converts the image coordinates of the feature points and the image coordinates of the tracking points stored in the memory 102 into world coordinates. Details of the processing in step 202 will be described later.
  • the camera calibration parameter calculation unit 105 calculates the movement amount of each feature point and tracking point on the world coordinates and the movement amount of the actual moving object stored in the memory 102. Is calculated as a shift in the movement amount. Details of the processing in step 203 will be described later.
  • the camera calibration parameter calculation unit 105 changes the camera parameters within a certain range, and repeats the processing of Step 202-203 (Step 204: NO, 205).
  • the camera calibration parameter calculation unit 105 uses the displacement of the movement amount as the evaluation value. To do. Then, the camera parameter (camera angle, position) that minimizes the evaluation value is used as a camera calibration parameter indicating the correspondence between the camera image and the actual road, and the camera calibration parameter is a camera image calibration device (not shown). Output to.
  • the camera image calibration apparatus appropriately calibrates an image displayed on an in-vehicle monitor (not shown) using camera calibration parameters.
  • step 202 feature point and tracking point coordinate conversion processing (step 202), that is, image coordinates of the feature point and tracking point stored in the memory 102 are converted into world coordinates. Details of the processing to be performed will be described.
  • the world coordinates are a three-dimensional coordinate system in the real world, and the expressions (1) to (4) are the world coordinates (X W , Y W , Z W ) and the camera coordinates (X C , Y C , Z C ).
  • the relationship between world coordinates and camera coordinates is determined by parameters of a rotation matrix R and a parallel progression T.
  • the X axis, the Y axis, and the Z axis are provided as shown in FIG. 6A.
  • FIG. 6A when the X-axis, Y-axis, and Z-axis are each viewed in the positive direction from the origin, the direction of rotating counterclockwise around each axis is defined as the positive direction of rotation.
  • Rx represents a rotation angle with respect to the X axis
  • Ry represents a rotation angle with respect to the Y axis
  • Rz represents a rotation angle with respect to the Z axis.
  • the direction turning counterclockwise with respect to the direction from the origin toward the positive direction is set as the positive direction of Rz.
  • Rx and Ry are the same applies.
  • the camera calibration parameter calculation unit 105 converts the input image coordinates (image x coordinate, image y coordinate) into distorted sensor coordinates (distorted sensor x coordinate, distorted sensor y coordinate).
  • Expressions (5) and (6) are expressions showing the relationship between image coordinates and sensor coordinates with distortion. For the pixel pitch and image center in the x and y directions, values stored in the memory 102 as camera internal parameters are used.
  • the camera calibration parameter calculation unit 105 converts the sensor coordinates with distortion into sensor coordinates without distortion (sensor x coordinates without distortion, sensor y coordinates without distortion).
  • Expressions (7) to (9) are expressions indicating the relationship between the sensor coordinates with distortion and the sensor coordinates without distortion.
  • kappa1 is a lens distortion correction coefficient, which is a known value.
  • the lens distortion correction coefficient uses a value stored in the memory 102 as an internal camera parameter.
  • step 303 the camera calibration parameter calculation unit 105 converts the sensor coordinates without distortion into world coordinates.
  • Expressions (10) to (14) are expressions showing the relationship between the sensor coordinates without distortion and the world coordinates.
  • Equation (10) can be converted into equation for camera x-coordinate X C.
  • Expression (12) can be converted into an expression for obtaining the camera y coordinate Y C.
  • the camera calibration parameter calculation unit 105 A three-dimensional equation in Expression (14) is derived from Expression (1), Expression (11), and Expression (13), and the world x coordinate Xw and the world z coordinate Zw can be calculated.
  • the image coordinates of each feature point and tracking point are converted into points of world coordinates as shown in FIG.
  • the point dropped from the vertex of the optical axis of the camera perpendicular to the road surface is used as the origin, and the image coordinate values shown in FIG. 2 are used as an example.
  • the camera calibration parameter calculation unit 105 calculates the movement amount on the world coordinate in the Z-axis direction and the X-axis direction from the feature point and the tracking point converted into the world coordinate by Expression (15).
  • the camera calibration parameter calculation unit 105 calculates the difference between the movement amount of each feature point and tracking point in the world coordinates and the movement amount of the actual moving object stored in the memory 102 by the equation (16). Calculated as the amount of deviation.
  • the actual amount of movement of the moving body is calculated based on information about the amount of movement acquired from the vehicle 106 (vehicle speed pulse, steering angle information, vehicle speed, etc.) and stored in the memory 102. If there is no deviation in the attachment of the camera, the deviation between the movement amount calculated using the camera parameters and the actual movement amount of the vehicle is “0”.
  • the displacement (evaluation value) of the moving amount is
  • 30.
  • the camera calibration parameter is calculated by calculating the movement amount in the real world using the feature point and the tracking point on the image taken while the vehicle is moving. Therefore, the camera calibration can be automatically performed when the vehicle moves on the production line without stopping the vehicle on the production line.
  • FIG. 9 is a block diagram illustrating a functional configuration of the camera calibration apparatus according to the second embodiment of the present disclosure.
  • the camera calibration apparatus shown in FIG. 9 employs a configuration in which a moving body movement amount calculation unit 806 is added in the CPU 107, as compared with the camera calibration apparatus shown in FIG.
  • the moving body moving amount calculation unit 806 calculates the moving amount of the moving body (vehicle).
  • vehicle vehicle
  • details of the processing of the moving body movement amount calculation unit 806 will be described with reference to FIG.
  • the moving body movement amount calculation unit 806 calculates the relative translation of the camera 101 from the basic matrix F and the focal length f according to Expression (18).
  • a matrix T (unit matrix) and a rotation matrix R are calculated.
  • Matrix-T ⁇ E is subjected to singular value decomposition as represented by (Equation 19).
  • step 903 the moving body movement calculation unit 806 calculates the movement in the real world from the relative parallel progression T and the rotation matrix R of the camera.
  • step 903 will be described in detail with reference to FIG.
  • a point (feature point) in the camera camera coordinates before movement is represented by P0
  • a point (tracking point) in the vehicle camera coordinates after movement is represented by P'0.
  • the relationship between P0 and P′0 is expressed by Expression (21).
  • Equation (22) The normal vector of the plane represented by Equation (22) is (a, b, c), and the equation of a straight line orthogonal to this plane is represented by Equation (23).
  • the moving body movement amount calculation unit 806 calculates a perpendicular line from the origin of the camera coordinates to the plane, and obtains the coordinates of the intersection C0 according to Expression (24).
  • the moving body moving amount calculating unit 806 extends a straight line connecting the camera coordinate origin and C1, and calculates a point C1 equal to the camera height using the formula (Equation 25) of the distance between the point and the plane. That is, the distance D between the plane p0 represented by the equation (22) and the point C0 (x0, y0, z0) is
  • the camera can be automatically calibrated when the vehicle moves on the production line without stopping the vehicle on the production line. .
  • the invention according to the present disclosure is used in an in-vehicle camera calibration system that calibrates a camera using an image taken by a camera.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mechanical Engineering (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

生産ライン上で車両を停車することなく、生産ラインを車両が移動する際に自動的にカメラ校正を行う車載カメラ用校正システムを提供する。車載カメラ用校正システムは、車両に取り付けられ時系列に路面の画像を撮影するカメラと、カメラで撮影された画像を時系列に保存するメモリと、メモリに保存された撮影画像から特徴点を抽出する特徴点抽出部と、特徴点の所定時間経過後の移動先である追跡点を抽出する追跡点抽出部と、特徴点と追跡点からカメラの校正パラメータを算出するカメラ校正パラメータ算出部と、を具備する。

Description

車載カメラ用校正システム
 本開示は、カメラにより撮影された画像を用いてカメラ画像の校正を行う車載カメラ用校正システムに関する。
 従来から、車載カメラで撮影された車両後方の画像を車載モニタに表示することで、運転者から死角になる車両後方直近の状況を車載モニタに表示された画像として視認し、車両後退時の視認性を向上させることが行われている。
 このような車載カメラの画像を車載モニタに表示するに際しては、車載カメラの車両への取り付け状態を是正するために、車両の後方に校正用のターゲットを設置する。そして、車載モニタに映った校正用ターゲットの像を見ながら、その校正用ターゲットの像が適正に映るように車載カメラの取り付け状態を調整することが行われる。
 また、車載カメラで得られた画像に対して、校正用ターゲットの像に基づいた所定の演算処理を施すことで車載モニタに映る画像を適正に校正することが行われている。
 また、車両の全周囲を複数の車載カメラで撮影し、各車載カメラで得られた複数の画像をそれぞれ車両の真上から見下ろしたような画像(俯瞰画像)に変換する。それとともに、各画像間での位置を調整したマッピングを行うことで、単一の視点変換合成画像を得ることも行われている。このような場合には、隣接する2つの画像間で精度よく位置合わせを行う必要があるため、高精度の校正が求められる。
 しかし、従来の校正方法は、校正用ターゲットと車両との相対的な位置関係を厳密に定める必要があった。そのため、車両を設置した後にその車両に対して精度よく校正用ターゲットを設置するか、または校正用ターゲットを設置した後にその校正用ターゲットに対して精度よく車両を設置する必要があった。
 このため、車両生産ラインでは費用をかけて設備を改造し、車両と校正用ターゲットとの位置合わせ精度を向上させる工夫がされている。さらに、生産現場から一旦出荷された後に販売・サービス会社の整備部門で校正をやり直す場合(修理等の場合や車載カメラ等を後付けする場合等)は、校正用ターゲットをその都度、精度良く設置する必要がある。そのため作業の手間が一層かかるものとなっている。
 このような状況から、車両と校正用ターゲットの相対的な設置精度をさほど要求されない校正方法が望まれており、従来においても幾つかの技術が提案されている。
 例えば、特許文献1には、白線格子を校正用ターゲットとし、白線格子の直線度、平行度、直交度、間隔といった、車両の停車状態とは無関係な特徴を利用して、複数台のカメラの内部/歪みパラメータ、および外部パラメータを校正する手法が提案されている。
 また、特許文献2には、校正用ターゲットと、校正精度評価用ターゲットが一体化したものを使用して校正する手法が提案されている。
特開2012-015576号公報 特開2009-118414号公報
 しかしながら、特許文献1、2は、校正ターゲット内に車両を停車することが必要となっており、工場の生産ラインにおいて、各車両に対して、作業員が車両を校正ターゲット内に停車する作業(コスト)が発生してしまう。
 本開示はかかる点に鑑みてなされたものであり、生産ライン上で車両を停車することなく、車載カメラの校正を行うことができる車載カメラ用校正システムを提供することを目的とする。
 本開示の車載カメラ用校正システムは、カメラと、メモリと、特徴点抽出部と、追跡点抽出部と、カメラ校正パラメータ算出部と、を具備する。カメラは、車両に取り付けられ時系列に路面の画像を撮影する。メモリは、カメラで撮影された画像を時系列に保存する。特徴点抽出部は、メモリに保存された撮影画像から特徴点を抽出する。追跡点抽出部は、特徴点の所定時間経過後の移動先である追跡点を抽出する。カメラ校正パラメータ算出部は、特徴点と追跡点からカメラの校正パラメータを算出する。
 本開示によれば、生産ライン上で車両を停車することなく、生産ラインを車両が移動する際に自動的にカメラ校正を行うことができる。従って、車両の位置決めが不要な車載カメラの校正を行うことができる。
本開示の実施の形態1に係るカメラ校正装置の機能構成を示すブロック図 メモリに保存されたN番目の画像の特徴点のイメージ座標を示す図 メモリに保存されたN+1番目の画像の追跡点のイメージ座標を示す図 カメラ校正パラメータを算出するフローチャート メモリに保存された特徴点のイメージ座標と追跡点のイメージ座標を世界座標に変換するフローチャート 世界座標における座標軸および各座標軸まわりの回転を説明する図 世界座標における座標軸および各座標軸まわりの回転を説明する図 特徴点、追跡点のイメージ座標を世界座標に変換する処理を説明する図 移動体の移動量のズレを算出する処理を説明する図 本発明の実施の形態2に係るカメラ校正装置の機能構成を示すブロック図 移動体の移動量を算出する移動体移動量算出部の処理を説明するフローチャート カメラの相対的な並進行列Tと回転行列Rから実世界上の移動量を算出する処理を説明する図
 (実施の形態1)
 以下、本開示の実施の形態について、図面を参照して詳細に説明する。図1は、本開示の実施の形態1に係るカメラ校正装置の機能構成を示すブロック図である。以下、図1を用いて、本実施の形態に係るカメラ校正装置の構成および動作を説明する。
 本実施の形態のカメラ校正装置は、車両などの移動体に設置される。このカメラ校正装置は、カメラ101の校正を行うものであって、メモリ102、特徴点抽出部103、追跡点抽出部104およびカメラ校正パラメータ算出部105を備えている。なお、図1には、車両106も示す。
 特徴点抽出部103、追跡点抽出部104およびカメラ校正パラメータ算出部105の各部は、カメラ校正装置内のCPU(中央処理装置、Central Processing Unit)107がROM(Read only Memory、図示せず)に格納されたプログラムを実行することで実現される。なお、CPU、ROMを用いる代わりにハードウェアで構成された専用回路で各部を実現してもよい。
 カメラ101は、車両に設置され、車両の移動中に路面を撮像した画像を時系列的にメモリ102に保存する。
 特徴点抽出部103は、図2に示すようなメモリ102に保存されたN番目の画像から特徴点を抽出し、その特徴点のイメージ座標をメモリ102に保存する。なお、イメージ座標とは、メモリ上に置かれた画像の左上を原点とする2次元の座標系である。また、特徴点とは、その点を含む所定の範囲における輝度の情報量が特徴的な大きさを持つような点である。例えば、ハリスコーナ点等が上記特徴点として探索される。
 追跡点抽出部104は、図3に示すようなメモリ102に保存されたN+1番目の画像から特徴点と同じ特徴を有する点を追跡点として抽出し、その追跡点のイメージ座標をメモリ102に保存する。追跡点の抽出は、カナデ・ルーカス・トマシ法(the Kanade-Lucas-Tomasi (KLT))などの処理方法を用いて行われる。
 カメラ校正パラメータ算出部105は、カメラ校正パラメータを算出する。以下、図4を用いてカメラ校正パラメータ算出部105が行う処理を詳細に説明する。
 まず、初期カメラパラメータ設定処理において(ステップ201)、カメラ校正パラメータ算出部105は、カメラ取り付け設計値のカメラ角度(パン、チルト、ロール)、カメラ位置を初期カメラパラメータと設定する。
 次に、特徴点、追跡点座標変換処理において(ステップ202)、カメラ校正パラメータ算出部105は、メモリ102に保存された特徴点のイメージ座標と追跡点のイメージ座標を世界座標に変換する。なお、ステップ202の処理の詳細については後述する。
 次に、移動量ズレ算出処理において(ステップ203)、カメラ校正パラメータ算出部105は、各特徴点、追跡点の世界座標上の移動量とメモリ102に保存された実際の移動体の移動量との差を、移動量のズレとして算出する。なお、ステップ203の処理の詳細については後述する。
 カメラ校正パラメータ算出部105は、一定の範囲でカメラパラメータを変更し、ステップ202-203の処理を繰り返す(ステップ204:NO、205)。
 そして、一定の範囲でステップ202-203の処理が完了した後(ステップ204:YES)、カメラ校正パラメータ出力処理において(ステップ206)、カメラ校正パラメータ算出部105は、移動量のズレを評価値とする。そして、この評価値が最少となるカメラパラメータ(カメラ角度、位置)を、カメラの画像と実際の道路との対応関係を示すカメラ校正パラメータとし、カメラ校正パラメータをカメラ画像校正装置(図示せず)に出力する。
 なお、カメラ画像校正装置は、カメラ校正パラメータを用いて、車載モニタ(図示せず)に映る画像を適正に校正する。
 次に、図5~図7を用いて、特徴点、追跡点座標変換処理(ステップ202)、すなわち、メモリ102に保存された特徴点のイメージ座標と追跡点のイメージ座標を、世界座標に変換する処理の詳細について説明する。
 なお、世界座標とは実世界上の3次元座標系のことであり、式(1)~式(4)は世界座標(XW,YW,ZW)とカメラ座標(XC,YC,ZC)の関係を示す式である。世界座標とカメラ座標の関係は、回転行列Rと並進行列Tというパラメータにより決定される。世界座標において、X軸、Y軸およびZ軸は図6Aのように設けられる。図6Aにおいて、X軸、Y軸、Z軸についてそれぞれ原点から正向きにみたときに、各軸のまわりを反時計回りに回る向きを回転の正の方向とする。なお、RxはX軸に対する回転角度を表し、RyはY軸に対する回転角度を表す。また、RzはZ軸に対する回転角度を表す。例えば、Z軸まわりの回転においては、図6Bに示すように、原点から正の方向に向かう方向に対して反時計まわりにまわる方向をRzの正の方向とする。Rx、Ryについても同様とする。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
 ステップ301において、カメラ校正パラメータ算出部105は、入力されたイメージ座標(イメージx座標,イメージy座標)を歪ありセンサー座標(歪ありセンサーx座標,歪ありセンサーy座標)に変換する。式(5)、式(6)は、イメージ座標と歪ありセンサー座標の関係を示す式である。なお、x,y方向の画素ピッチと画像中心は、カメラ内部パラメータとしてメモリ102に保存されている値を用いる。
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
 ステップ302において、カメラ校正パラメータ算出部105は、歪ありセンサー座標を歪なしセンサー座標(歪なしセンサーx座標,歪なしセンサーy座標)に変換する。式(7)~式(9)は、歪ありセンサー座標と歪なしセンサー座標の関係を示す式である。なお、kappa1はレンズ歪補正係数であり、既知の値である。レンズ歪補正係数は、カメラ内部パラメータとしてメモリ102に保存されている値を用いる。
Figure JPOXMLDOC01-appb-M000007
Figure JPOXMLDOC01-appb-M000008
Figure JPOXMLDOC01-appb-M000009
 ステップ303において、カメラ校正パラメータ算出部105は、歪なしセンサー座標を世界座標に変換する。式(10)~式(14)は、歪なしセンサー座標と世界座標の関係を示す式である。
Figure JPOXMLDOC01-appb-M000010
 式(10)は、カメラx座標XCを求める式に変換できる。
Figure JPOXMLDOC01-appb-M000011
Figure JPOXMLDOC01-appb-M000012
 式(12)は、カメラy座標YCを求める式に変換できる。
Figure JPOXMLDOC01-appb-M000013
 式(1)の回転行列Rと並進行列Tが既に決定している、および、特徴点、追跡点が路面である(世界y座標Yw=0)という条件によって、カメラ校正パラメータ算出部105は、式(1)、式(11)および式(13)から式(14)にある3次元方程式が導き出され、世界x座標Xw、世界z座標Zwを算出できる。
Figure JPOXMLDOC01-appb-M000014
 このように、図5のフローが実行されることにより、各特徴点、追跡点のイメージ座標は、図7に示すように世界座標の点に変換される。なお、図7では、カメラの光軸の頂点から路面に垂直に落とした点を原点としており、図2に示すイメージ座標の値を例として用いている。
 次に、図8を用いて、移動量ズレ算出処理(ステップ203)の詳細について説明する。
 カメラ校正パラメータ算出部105は、式(15)により、世界座標に変換された特徴点と追跡点からZ軸方向とX軸方向の世界座標上の移動量を算出する。
Figure JPOXMLDOC01-appb-M000015
 次に、カメラ校正パラメータ算出部105は、式(16)により、各特徴点、追跡点の世界座標上の移動量とメモリ102に保存された実際の移動体の移動量との差を、移動量のズレとして算出する。この場合、実際の移動体(車両)の移動量は、車両106から取得された移動量に関する情報(車速パルスや舵角情報、車速など)に基づいて計算され、メモリ102に保存される。カメラの取り付けにズレがなければ、カメラパラメータを用いて算出した移動量と実際の車両の移動量とのズレは「0」となる。
Figure JPOXMLDOC01-appb-M000016
 図8の例では、式(15)、式(16)を使用することにより、特徴点1のイメージ座標(x,y)=(250,350)が特徴点1の世界座標(X,Y,Z)=(500,0,650)に変換され、追跡点1のイメージ座標(x,y)=(270,300)が追跡点1の世界座標(X,Y,Z)=(600,0,900)に変換されている。
 また、図8の例においては、式(15)よりX方向の世界座標上の移動量は、追跡点1のX座標から特徴点1のX座標を減ずればよく、600-500=100となる。同様に、Z方向の世界座標上の移動量は、追跡点1のZ座標から特徴点1のZ座標を減ずることにより得られ、900-650=250となる。
 また、移動体の移動量が奥行き方向230、横方向90としたとき、式(16)より、移動量のズレ(評価値)は、|(230-250)|+|(90-100)|=30となる。
 以上説明したように、本実施の形態によれば、車両の移動中に撮影された画像上の特徴点と追跡点を用いて実世界上の移動量を算出することにより、カメラ校正パラメータを算出することができるので、生産ライン上で車両を停車することなく、生産ラインを車両が移動する際に自動的にカメラ校正を行うことができる。
 (実施の形態2)
 本開示は、上述した実施の形態1に限定されず、一部を変更した実施の形態も考えられる。以下、本開示の実施の形態2について、図面を参照して詳細に説明する。
 図9は、本開示の実施の形態2に係るカメラ校正装置の機能構成を示すブロック図である。なお、図9に示すカメラ校正装置において、図1に示したカメラ校正装置と共通する構成部分には図1と同一符号を付してその説明を省略する。図9に示すカメラ校正装置は、図1に示したカメラ校正装置と比較して、CPU107内に移動体移動量算出部806を追加した構成を採る。
 移動体移動量算出部806は、移動体(車両)の移動量を算出する。以下、図10を用いて、移動体移動量算出部806の処理の詳細を説明する。
 まず、基礎行列の算出処理において(ステップ901)、移動体移動量算出部806は、対応する特徴点と追跡点のイメージ座標の組(xα,yα), (x’α,y’α),α=1,…,N(≧8)を入力とし、式(17)によりF行列を算出する。
Figure JPOXMLDOC01-appb-M000017
 なお、行列F=(Fij)(i=1~3,j=1~3)は基礎行列であり、fは焦点距離である。
 次に、カメラの並進行列T、回転行列算出処理において(ステップ902)、移動体移動量算出部806は、基礎行列Fと焦点距離fから、式(18)により、カメラ101の相対的な並進行列T(単位行列)と回転行列Rを算出する。
Figure JPOXMLDOC01-appb-M000018
 ここで、焦点距離は、内部パラメータとして保持しているため、f=f=f’である。また、対称行列EEの最小固有値に対する単位固有ベクトルを並進行列Tとする。
 行列―T×Eは、(式19)で表すように特異値分解される。
Figure JPOXMLDOC01-appb-M000019
 また、回転行列Rは、(式20)で表すように計算される。
Figure JPOXMLDOC01-appb-M000020
 次に、実世界上の移動量算出処理において(ステップ903)、移動体移動量算出部806は、カメラの相対的な並進行列Tと回転行列Rから実世界上の移動量を算出する。以下、図11を用いて、ステップ903について詳細に説明する。なお、図11において、移動前における車両のカメラ座標での点(特徴点)はP0、移動後における車両のカメラ座標での点(追跡点)はP’0で表される。このとき、P0とP’0との関係は、式(21)で表される。
Figure JPOXMLDOC01-appb-M000021
 まず、移動体移動量算出部806は、特徴点のカメラ座標をPi(i=1,2,…,n)から、式(10)、式(11)により、平面の方程式を算出する。なお、特徴点は路面上の点なので、特徴点のカメラ座標Piは、一つの平面上にある。
Figure JPOXMLDOC01-appb-M000022
 式(22)で表される平面の法線ベクトルは(a,b,c)である、この平面と直交する直線の方程式は、式(23)で表される。
Figure JPOXMLDOC01-appb-M000023
 次に、移動体移動量算出部806は、カメラ座標の原点から平面への垂線を計算し、式(24)により、交点C0の座標を求める。
Figure JPOXMLDOC01-appb-M000024
 ただし、Tは単位行列なのでカメラ座標原点と交点C0間の距離は、カメラ高さに等しくない。そこで、移動体移動量算出部806は、カメラ座標原点とC1を結ぶ直線を延長し、カメラ高さに等しい点C1を、点と平面の距離の公式(式25)を用いて算出する。すなわち、式(22)で表される平面p0と、点C0(x0,y0,z0)との距離Dは、
Figure JPOXMLDOC01-appb-M000025
である。
 図11のC0P0とC1Q0は平行なのでQ0を求めることができる。同様に、Q'0も求めることができる。移動体移動量算出部806は、車両の移動前の点Q0と移動後の点Q'0を求め、すべての特徴点のカメラ座標をPi(i=1,2,…n)での移動ベクトルの平均を求めて実世界上の移動量とし、メモリ102に保存する。
 以上のように、本実施の形態によっても、実施の形態1と同様に、生産ライン上で車両を停車することなく、生産ラインを車両が移動する際に自動的にカメラ校正を行うことができる。
 本開示にかかる発明は、カメラにより撮影された画像を用いてカメラの校正を行う車載カメラ用校正システムに用いられる。
 101 カメラ
 102 メモリ
 103 特徴点抽出部
 104 追跡点抽出部
 105 カメラ校正パラメータ算出部
 106 車両
 107 CPU
 806 移動体移動量算出部

Claims (9)

  1.  車両に取り付けられ時系列に路面の画像を撮影するカメラと、
     前記カメラで撮影された画像を時系列に保存するメモリと、
     前記メモリに保存された撮影画像から特徴点を抽出する特徴点抽出部と、
     前記特徴点の所定時間経過後の移動先である追跡点を抽出する追跡点抽出部と、
     前記特徴点と前記追跡点から前記カメラの校正パラメータを算出するカメラ校正パラメータ算出部と、
     を具備する車載カメラ用校正システム。
  2.  前記特徴点抽出部は、CPUがプログラムを実行することにより抽出処理を行う、
     請求項1に記載の車載カメラ用校正システム。
  3.  前記追跡点抽出部は、CPUがプログラムを実行することにより抽出処理を行う、
     請求項1に記載の車載カメラ用校正システム。
  4.  前記カメラ校正パラメータ算出部は、CPUがプログラムを実行することにより算出処理を行う、
     請求項1に記載の車載カメラ用校正システム。
  5.  前記カメラ校正パラメータ算出部は、前記特徴点のイメージ座標と前記追跡点のイメージ座標を世界座標に変換することにより前記カメラの校正パラメータを算出する、
     請求項1に記載の車載カメラ用校正システム。
  6.  前記車両に関する車速情報と舵角情報を取得し、前記車両の移動量を算出して前記メモリに保存する、
     請求項5に記載の車載カメラ用校正システム。
  7.  前記特徴点抽出部が抽出する特徴点と前記追跡点抽出部が抽出する追跡点から基礎行列を算出し、算出した前記基礎行列から前記車両の移動量を算出する移動体移動量算出部を更に具備する、
     請求項5に記載の車載カメラ用校正システム。
  8.  前記カメラ校正パラメータ算出部は、前記車両の移動量と前記世界座標から前記カメラの校正パラメータを算出する、
     請求項6に記載の車載カメラ用校正システム。
  9.  前記カメラ校正パラメータ算出部は、前記車両の移動量と前記世界座標から前記カメラの校正パラメータを算出する、
     請求項7に記載の車載カメラ用校正システム。
PCT/JP2017/002092 2016-02-03 2017-01-23 車載カメラ用校正システム WO2017135081A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/997,806 US20180286078A1 (en) 2016-02-03 2018-06-05 Vehicle-mounted camera calibration system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-019072 2016-02-03
JP2016019072A JP2017139612A (ja) 2016-02-03 2016-02-03 車載カメラ用校正システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/997,806 Continuation US20180286078A1 (en) 2016-02-03 2018-06-05 Vehicle-mounted camera calibration system

Publications (1)

Publication Number Publication Date
WO2017135081A1 true WO2017135081A1 (ja) 2017-08-10

Family

ID=59499726

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/002092 WO2017135081A1 (ja) 2016-02-03 2017-01-23 車載カメラ用校正システム

Country Status (3)

Country Link
US (1) US20180286078A1 (ja)
JP (1) JP2017139612A (ja)
WO (1) WO2017135081A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020129286A1 (ja) * 2018-12-19 2020-06-25 クラリオン株式会社 キャリブレーション装置、キャリブレーション方法
CN113120080A (zh) * 2021-04-12 2021-07-16 沈阳中科创达软件有限公司 倒车辅助线的建立方法、装置、终端及存储介质
CN114347917A (zh) * 2021-12-28 2022-04-15 华人运通(江苏)技术有限公司 一种车辆、车载摄像系统的校准方法和装置

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10504241B2 (en) * 2016-12-19 2019-12-10 Magna Electronics Inc. Vehicle camera calibration system
US10435173B2 (en) * 2017-01-16 2019-10-08 The Boeing Company Remote optical control surface indication system
JP6846640B2 (ja) * 2017-09-15 2021-03-24 パナソニックIpマネジメント株式会社 車載カメラ校正装置
JP2019061510A (ja) * 2017-09-27 2019-04-18 国立研究開発法人農業・食品産業技術総合研究機構 車載カメラの取付高さパラメータ算出装置および取付高さパラメータ算出方法
JP6890293B2 (ja) * 2017-11-06 2021-06-18 パナソニックIpマネジメント株式会社 カメラ校正装置、カメラ校正システム、カメラ校正方法及びプログラム
CN108769576B (zh) * 2018-05-10 2021-02-02 郑州信大先进技术研究院 智能视频处理方法和系统
CN109859278B (zh) * 2019-01-24 2023-09-01 惠州市德赛西威汽车电子股份有限公司 车载相机系统相机外参的标定方法及标定系统
CN111508027B (zh) * 2019-01-31 2023-10-20 杭州海康威视数字技术股份有限公司 摄像机外参标定的方法和装置
JP7169227B2 (ja) * 2019-02-28 2022-11-10 株式会社デンソーテン 異常検出装置、および異常検出方法
JP7217577B2 (ja) * 2019-03-20 2023-02-03 フォルシアクラリオン・エレクトロニクス株式会社 キャリブレーション装置、キャリブレーション方法
CN112132902B (zh) * 2019-06-24 2024-01-16 上海安亭地平线智能交通技术有限公司 车载摄像头外参调整方法、装置、电子设备以及介质
JP7237773B2 (ja) * 2019-08-23 2023-03-13 株式会社デンソーテン 姿勢推定装置、異常検出装置、補正装置、および、姿勢推定方法
US12241960B1 (en) * 2019-09-06 2025-03-04 Apple Inc. Determining relative electronic device positioning based on fusing ultra-wideband data and visual data
CN110619664B (zh) * 2019-09-17 2023-06-27 武汉理工大学 基于激光图案辅助的摄像机距离姿态计算方法及服务器
CN110827358B (zh) * 2019-10-15 2023-10-31 深圳数翔科技有限公司 一种应用于自动驾驶汽车的相机标定方法
CN111223150A (zh) * 2020-01-15 2020-06-02 电子科技大学 一种基于双消失点的车载摄像头外参数标定方法
KR20220026422A (ko) * 2020-08-25 2022-03-04 삼성전자주식회사 카메라 캘리브레이션 장치 및 이의 동작 방법
CN112562014B (zh) * 2020-12-29 2024-07-02 纵目科技(上海)股份有限公司 相机标定方法、系统、介质及装置
CN114387350A (zh) * 2021-12-03 2022-04-22 江铃汽车股份有限公司 一种车载摄像机外参标定方法、装置、存储介质及设备
CN117597705A (zh) * 2022-06-13 2024-02-23 北京小米移动软件有限公司 一种摄像头的标定方法、装置及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007256029A (ja) * 2006-03-23 2007-10-04 Denso It Laboratory Inc ステレオ画像処理装置
JP2007263669A (ja) * 2006-03-28 2007-10-11 Denso It Laboratory Inc 3次元座標取得装置
JP2011217233A (ja) * 2010-04-01 2011-10-27 Alpine Electronics Inc 車載カメラ校正システム及びコンピュータプログラム
JP2014048803A (ja) * 2012-08-30 2014-03-17 Denso Corp 画像処理装置、及びプログラム
JP2014165810A (ja) * 2013-02-27 2014-09-08 Fujitsu Ten Ltd パラメータ取得装置、パラメータ取得方法及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009017462A (ja) * 2007-07-09 2009-01-22 Sanyo Electric Co Ltd 運転支援システム及び車両
JP4831374B2 (ja) * 2009-03-27 2011-12-07 アイシン・エィ・ダブリュ株式会社 運転支援装置、運転支援方法、及び運転支援プログラム
JP6107081B2 (ja) * 2012-11-21 2017-04-05 富士通株式会社 画像処理装置、画像処理方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007256029A (ja) * 2006-03-23 2007-10-04 Denso It Laboratory Inc ステレオ画像処理装置
JP2007263669A (ja) * 2006-03-28 2007-10-11 Denso It Laboratory Inc 3次元座標取得装置
JP2011217233A (ja) * 2010-04-01 2011-10-27 Alpine Electronics Inc 車載カメラ校正システム及びコンピュータプログラム
JP2014048803A (ja) * 2012-08-30 2014-03-17 Denso Corp 画像処理装置、及びプログラム
JP2014165810A (ja) * 2013-02-27 2014-09-08 Fujitsu Ten Ltd パラメータ取得装置、パラメータ取得方法及びプログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020129286A1 (ja) * 2018-12-19 2020-06-25 クラリオン株式会社 キャリブレーション装置、キャリブレーション方法
JP2020098550A (ja) * 2018-12-19 2020-06-25 クラリオン株式会社 キャリブレーション装置、キャリブレーション方法
JP7191671B2 (ja) 2018-12-19 2022-12-19 フォルシアクラリオン・エレクトロニクス株式会社 キャリブレーション装置、キャリブレーション方法
CN113120080A (zh) * 2021-04-12 2021-07-16 沈阳中科创达软件有限公司 倒车辅助线的建立方法、装置、终端及存储介质
CN114347917A (zh) * 2021-12-28 2022-04-15 华人运通(江苏)技术有限公司 一种车辆、车载摄像系统的校准方法和装置
CN114347917B (zh) * 2021-12-28 2023-11-10 华人运通(江苏)技术有限公司 一种车辆、车载摄像系统的校准方法和装置

Also Published As

Publication number Publication date
JP2017139612A (ja) 2017-08-10
US20180286078A1 (en) 2018-10-04

Similar Documents

Publication Publication Date Title
WO2017135081A1 (ja) 車載カメラ用校正システム
JP6154905B2 (ja) カメラ校正装置、カメラ校正システム、及びカメラ校正方法
JP7054803B2 (ja) カメラパラメタセット算出装置、カメラパラメタセット算出方法及びプログラム
US8452568B2 (en) Method for calibrating cameras installed on vehicle
US20130135474A1 (en) Automotive Camera System and Its Calibration Method and Calibration Program
JP6260891B2 (ja) 画像処理装置および画像処理方法
WO2015198930A1 (ja) 測距装置および補正パラメータを用いた測距補正装置
KR20120126016A (ko) 서라운드뷰 시스템 카메라 자동 보정 전용 외부 변수
JP2009042162A (ja) キャリブレーション装置及びその方法
KR101583663B1 (ko) 차량용 카메라의 교정판 제공 방법
EP3332387B1 (en) Method for calibration of a stereo camera
CN112967344B (zh) 相机外参标定的方法、设备、存储介质及程序产品
JP2013002820A (ja) カメラキャリブレーション装置
JP5959311B2 (ja) データ導出装置、及び、データ導出方法
JP2008205811A (ja) カメラ姿勢算出用ターゲット装置およびこれを用いたカメラ姿勢算出方法ならびに画像表示方法
JP5228614B2 (ja) パラメータ計算装置、パラメータ計算システムおよびプログラム
CN115880369A (zh) 线结构光3d相机和线阵相机联合标定的装置、系统及方法
JP5173551B2 (ja) 車両周辺監視装置およびこれに適用されるカメラ取り付け位置・姿勢情報の設定修正方法
WO2014181581A1 (ja) キャリブレーション装置、キャリブレーションシステム、及び撮像装置
JP2007533963A (ja) 物体の3d位置の非接触式光学的測定方法及び測定装置
KR101245529B1 (ko) 카메라 캘리브레이션 방법
CN114993266B (zh) 定位装置及定位系统
JP7308227B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2013024712A (ja) 複数カメラの校正方法及び校正システム
US11403770B2 (en) Road surface area detection device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17747240

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17747240

Country of ref document: EP

Kind code of ref document: A1