JP2009120135A

JP2009120135A - Imaging device

Info

Publication number: JP2009120135A
Application number: JP2007298862A
Authority: JP
Inventors: Tatsumaro Yamashita; 龍麿山下
Original assignee: Alps Electric Co Ltd
Current assignee: Alps Alpine Co Ltd
Priority date: 2007-11-19
Filing date: 2007-11-19
Publication date: 2009-06-04

Abstract

【課題】魚眼カメラの撮像素子で検知された受像画像の一部を拡大して表示画面に表示する際に、自動車の車外の景色を歪みが少ない状態で取り出して表示画面に表示できるようにした撮像装置を提供する。
【解決手段】魚眼カメラででは、魚眼レンズの光軸を、撮像素子１３の検知領域の中心Ｏａよりも下向きにずらす。その結果、撮像素子１３の中央部に自動車の車体の側方の地面２４の情報を広い範囲で取得できる。そのために、魚眼レンズの光軸を、地面に向けて水平面に対して大きな角度で傾斜させる必要がなくなる。そのため、撮像素子１３で検知された受像画像２０の一部の区画（ａ）（ｂ）から画像を切り出して表示画像を生成する際に、前記区画（ａ）（ｂ）が大きく歪むのを防止できる。
【選択図】図５PROBLEM TO BE SOLVED: To extract a scene outside a car with little distortion and display it on the display screen when a part of the received image detected by an image sensor of a fisheye camera is enlarged and displayed on the display screen. An imaging apparatus is provided.
In a fisheye camera, the optical axis of a fisheye lens is shifted downward from the center Oa of a detection area of an image sensor 13. As a result, information on the ground surface 24 on the side of the vehicle body of the automobile can be acquired in a wide range at the center of the image sensor 13. Therefore, it is not necessary to incline the optical axis of the fisheye lens at a large angle with respect to the horizontal plane toward the ground. Therefore, when the image is cut out from the partial sections (a) and (b) of the received image 20 detected by the image sensor 13 and the display image is generated, the sections (a) and (b) are prevented from being greatly distorted. it can.
[Selection] Figure 5

Description

本発明は、魚眼レンズや光学レンズなどのレンズで集光された光を撮像素子で検知し、撮像素子で検知された受像画像の一部を表示画面に表示させることができる撮像装置に関する。 The present invention relates to an imaging apparatus capable of detecting light collected by a lens such as a fisheye lens or an optical lens with an imaging element and displaying a part of an image received by the imaging element on a display screen.

魚眼レンズや広角レンズと撮像素子とを備えたカメラを使用して、外部の景色を撮影し、その画像を表示装置に表示する撮像装置は、車載用などとして使用されている。車載用の撮像装置では、前記カメラが車体に取り付けられて、車体の外部の広い範囲の景色が前記カメラで撮影される。ただし、魚眼レンズや広角レンズを使用したカメラに設けられた撮像素子に検知される受像画像は、レンズの光軸から画角が広がるにしたがって、画像の歪みが大きくなる。 2. Description of the Related Art An imaging device that captures an external scene using a camera provided with a fisheye lens, a wide-angle lens, and an imaging device and displays the image on a display device is used for in-vehicle use. In an in-vehicle imaging device, the camera is attached to a vehicle body, and a wide range of scenery outside the vehicle body is photographed by the camera. However, the received image detected by an image sensor provided in a camera using a fish-eye lens or a wide-angle lens is distorted as the angle of view increases from the optical axis of the lens.

そこで、以下の特許文献１には、この種のカメラで検知された受像画像に対して、歪曲収差の演算を行って画像の歪みを修正する発明が開示されている。 Therefore, Patent Document 1 below discloses an invention in which distortion of an image is corrected by calculating distortion aberration for a received image detected by this type of camera.

また、特許文献２に記載されている表示システムは、湾曲画像の歪みを矯正する変換テーブルを設定しておき、魚眼レンズなどを使用したカメラで検知された湾曲画像を、前記変換テーブルを用いて表示用データに変換するというものである。 Moreover, the display system described in Patent Document 2 sets a conversion table for correcting distortion of a curved image, and displays the curved image detected by a camera using a fisheye lens or the like using the conversion table. It is to convert to business data.

以下の特許文献３に記載には、予め表示領域に対応したマッチングテーブルを用意し、複数のカメラで検知した受像画像の画素を、マッピングテーブルの予め決められた座標位置に対応させて表示する発明が開示されている。
特開２０００−３２４３８６号公報特開２００４−４０４１１号公報特許第３３００３３４号公報 In the following Patent Document 3, a matching table corresponding to a display area is prepared in advance, and pixels of the received image detected by a plurality of cameras are displayed in correspondence with predetermined coordinate positions of the mapping table. Is disclosed.
JP 2000-324386 A Japanese Patent Laid-Open No. 2004-40411 Japanese Patent No. 3300334

従来の魚眼レンズなどを使用したカメラは、レンズの光軸と、撮像素子の検知領域の中心とがほぼ一致するように組み立てられている。そのため、自動車の車体に対して、レンズの光軸が水平に向くようにカメラが取り付けられると、撮像素子の下方の広い部分に空や遠方の景色が結像される。しかし、自動車に搭載する撮像装置は、自車の直近の状況や後方の情報を得るのを主な目的としているため、撮像素子で検知されている受像画像のほとんどの部分が不要になり、カメラで得た受像画像の利用効率が悪くなる。例えば、車体の側方の直近の情報を使用したくても、撮像素子で検知されている画像のみでは、側方の情報量が少なすぎて側方の情報量を明確に表示することが困難になる。 A camera using a conventional fisheye lens or the like is assembled so that the optical axis of the lens and the center of the detection area of the image sensor substantially coincide. Therefore, when a camera is attached to the body of an automobile so that the optical axis of the lens is oriented horizontally, a sky or distant scenery is imaged on a wide portion below the image sensor. However, the main purpose of the image pickup device mounted on a car is to obtain the latest situation and rear information of the own vehicle, so that most of the received image detected by the image sensor is unnecessary, and the camera The utilization efficiency of the received image obtained in (1) is deteriorated. For example, even if it is desired to use the latest information on the side of the vehicle body, it is difficult to clearly display the amount of information on the side because the amount of information on the side is too small with only the image detected by the image sensor. become.

そこで、車体に対して、レンズの光軸が地面に向けて下向きの傾き角度を有するようにカメラを取り付けることも考えられる。この場合、車体の側方の直近の情報を正確に把握するためには、レンズの光軸を水平面に対して４５度程度地面に向けて下向きに設定することが必要である。 Therefore, it is conceivable to attach the camera to the vehicle body so that the optical axis of the lens has a downward inclination angle toward the ground. In this case, in order to accurately grasp the latest information on the side of the vehicle body, it is necessary to set the optical axis of the lens downward to the ground by about 45 degrees with respect to the horizontal plane.

しかし、魚眼レンズや広角レンズの光軸を地面に向けて下向きに大きく傾けて設置すると、撮像素子で検知される受像画像は水平線が大きな曲率で湾曲するように歪んだものとなる。そのため、例えば車両の斜め後方の部分をフェンダーミラーを肉眼で見たときの射影と同様な状態で表示画面に表示しようとすると、撮像素子で検知された受像画像の一部を、大きく湾曲した領域で切り出して画像処理することが必要になり、画像処理が非常に難しくなる。 However, if the fish-eye lens or wide-angle lens is installed with its optical axis tilted downward toward the ground, the received image detected by the image sensor is distorted so that the horizontal line is curved with a large curvature. For this reason, for example, when an obliquely rear portion of a vehicle is displayed on the display screen in a state similar to the projection when the fender mirror is viewed with the naked eye, a part of the received image detected by the image sensor is a greatly curved region. Therefore, it is necessary to cut out and process the image, and image processing becomes very difficult.

また、車体の側方やフェンダーミラーの枠体などにカメラを取り付ける際に、凸形状の魚眼レンズや広角レンズの光軸を斜め下向きに取り付けるのは、車体の外観上好ましくはない。また、車体内でカメラを斜めの向きに取り付けようとすると、取付け角度の誤差が大きくなり、撮像素子で所望の画像を正確に検知できないことも生じやすい。 In addition, when attaching the camera to the side of the vehicle body or the frame of the fender mirror, it is not preferable in view of the appearance of the vehicle body to attach the optical axis of the convex fisheye lens or wide-angle lens obliquely downward. Further, if the camera is mounted in an oblique direction in the vehicle body, an error in the mounting angle increases, and it is likely that a desired image cannot be accurately detected by the image sensor.

本発明は、上記従来の課題を解決するものであり、カメラで検知した受像画像の一部を効率良く利用して表示画面に表示することができる撮像装置を提供することを目的としている。 SUMMARY OF THE INVENTION The present invention solves the above-described conventional problems, and an object thereof is to provide an imaging device that can efficiently display a part of a received image detected by a camera and display it on a display screen.

また、本発明は、自動車の車体にカメラをその光軸を大きく傾かせて設置しなくても、車体の側方の直近の情報や、後方の情報などを精度良く表示できる撮像装置を提供することを目的としている。 In addition, the present invention provides an imaging apparatus capable of accurately displaying the latest information on the side of the vehicle body, the information on the rear side, and the like without installing the camera on the vehicle body of the vehicle with the optical axis being greatly inclined. The purpose is that.

本発明は、レンズと、前記レンズで集光された光を検知する撮像素子と、前記撮像素子で検知された受像信号に基づいて表示画面に画像を表示させるための画像データを生成する画像処理部と、が設けられた撮像装置において、
前記レンズの光軸が、前記撮像素子の検知領域の中心から位置ずれした状態で、前記レンズと前記撮像素子とが組み合わされていることを特徴とするものである。 The present invention relates to a lens, an image sensor that detects light collected by the lens, and image processing that generates image data for displaying an image on a display screen based on an image reception signal detected by the image sensor. An imaging device provided with
The lens and the image sensor are combined in a state where the optical axis of the lens is displaced from the center of the detection area of the image sensor.

本発明の撮像装置では、魚眼レンズや広角レンズなどのレンズの光軸と撮像素子の検知領域の中心とが位置ずれしているため、得ようとする情報の多い側へ魚眼レンズの光軸をずらすことによって、必要とする情報を表示画面に明瞭に表示することが可能である。 In the image pickup apparatus of the present invention, the optical axis of the fish-eye lens or wide-angle lens is shifted from the center of the detection area of the image pickup element, so that the optical axis of the fish-eye lens is shifted to the side with the larger information to be obtained. Therefore, necessary information can be clearly displayed on the display screen.

また本発明は、前記レンズと前記撮像素子とが組み合わされたカメラが自動車の車体に取り付けられており、前記レンズの光軸が、前記撮像素子の検知領域の中心よりも地面の方向へ位置ずれしているものである。 According to the present invention, a camera in which the lens and the image sensor are combined is attached to a vehicle body of an automobile, and the optical axis of the lens is displaced in the direction of the ground from the center of the detection area of the image sensor. It is what you are doing.

上記構成の撮像装置では、レンズまたはレンズを搭載したカメラを車体に対して大きく傾けて取り付けなくても、車体の直近の地面側の情報を多く得ることができる。 In the imaging apparatus having the above-described configuration, a large amount of information on the ground side closest to the vehicle body can be obtained without mounting the lens or the camera equipped with the lens with a large inclination with respect to the vehicle body.

例えば、本発明は、前記レンズの光軸の地面方向へ向く傾き角度が水平面に対して、０度以上で４５度未満である。 For example, in the present invention, the inclination angle of the optical axis of the lens toward the ground is 0 degree or more and less than 45 degrees with respect to the horizontal plane.

レンズの光軸やカメラを大きく傾けて取り付ける必要が無いため、車体の外観を損なうことがなく、また車体へのカメラの取付けなども容易である。 Since there is no need to attach the optical axis of the lens or the camera at a large angle, the appearance of the vehicle body is not impaired, and the camera can be easily attached to the vehicle body.

例えば、本発明は、前記撮像素子で検知された受像画像のうちの光軸から水平方向にずれた側方区画が拡大されて前記表示画面に表示画像として表示されるものとして構成できる。 For example, the present invention can be configured such that a side section shifted in the horizontal direction from the optical axis in the received image detected by the image sensor is enlarged and displayed as a display image on the display screen.

この場合に、撮像素子で検知された受像画像のうちの側方区画が大きく湾曲しないために、側方区画の切り出しとその画像処理が容易である。 In this case, since the side section of the received image detected by the image sensor is not greatly curved, it is easy to cut out the side section and perform image processing thereof.

また、本発明は、前記魚眼レンズの光軸が車体の側方に向けられており、前記撮像素子で検知された受像画像のうちの光軸よりも地面側へずれた区画が拡大されて、前記表示画面に表示画像として車両の側方の地面が表示されるものとして構成できる。 Further, in the present invention, the optical axis of the fisheye lens is directed to the side of the vehicle body, and a section of the received image detected by the imaging device that is shifted to the ground side from the optical axis is enlarged. It can be configured that the ground on the side of the vehicle is displayed as a display image on the display screen.

この場合に、車両の側方の直近の領域の情報を明瞭に表示することができる。
本発明は、前記レンズが、魚眼レンズまたは広角レンズである。 In this case, it is possible to clearly display information on the nearest region on the side of the vehicle.
In the present invention, the lens is a fisheye lens or a wide-angle lens.

本発明の撮像装置は、魚眼レンズや広角レンズなどを備えたカメラの光軸を撮像素子の検知領域の中心からずらすことにより、ずらした方向の空間内に有る多くの情報を撮像素子に明確に表示することができる。よって、魚眼レンズや広角レンズを車体に設置したときに、車体の周囲の情報を効果的に得ることができ、表示画像データを得るための画像処理も容易である。 The image pickup apparatus of the present invention clearly displays a large amount of information in the space in the shifted direction on the image pickup device by shifting the optical axis of a camera equipped with a fisheye lens, a wide-angle lens, etc. from the center of the detection region of the image pickup device. can do. Therefore, when a fisheye lens or a wide-angle lens is installed on the vehicle body, information around the vehicle body can be obtained effectively, and image processing for obtaining display image data is easy.

図１は本発明の実施の形態の撮像装置のブロック図である。
撮像装置１０は魚眼カメラ１１を有している。魚眼カメラ１１は例えば自動車１の車体に取り付けられる。図１の実施の形態では、魚眼カメラ１１が自動車１のフェンダーミラー２に取り付けられており、その光軸は、前輪３と後輪４との間に位置している。また前記光軸は、図１の紙面の手前方向に向けられ、自動車１の車体の側方の画像を受像できるようになっている。 FIG. 1 is a block diagram of an imaging apparatus according to an embodiment of the present invention.
The imaging device 10 has a fisheye camera 11. The fisheye camera 11 is attached to the vehicle body of the automobile 1, for example. In the embodiment of FIG. 1, the fisheye camera 11 is attached to the fender mirror 2 of the automobile 1, and its optical axis is located between the front wheel 3 and the rear wheel 4. The optical axis is directed toward the front side of the page of FIG. 1 so that an image of the side of the vehicle body of the automobile 1 can be received.

図２（Ａ）に示すように、魚眼カメラ１１は、魚眼レンズ１２と、魚眼レンズ１２で集光された光を検知する複数の検知点を有する撮像素子１３とを有している。撮像素子１３は、ＣＣＤまたはＣＭＯＳである。 As shown in FIG. 2A, the fisheye camera 11 has a fisheye lens 12 and an image sensor 13 having a plurality of detection points for detecting light collected by the fisheye lens 12. The image sensor 13 is a CCD or a CMOS.

図１に示すように、撮像素子１３の各検知点で検知された受像信号（輝度信号）は、画像検出部１４でディジタル値に変換されて画像処理部１５に与えられる。画像処理部１５には記憶手段としてメモリ１６が併設され、画像処理部１５とメモリ１６は、制御部１７により制御される。画像処理部１５は、画像検出部１４から送られたディジタル値の画像信号の演算処理を行うことができる。制御部１７は、ＣＰＵを主体とするものであり、前記画像処理部１５を制御するとともに、表示ドライバ１８を制御することが可能である。画像処理部１５で処理されて得られた画像データは、表示ドライバ１８に送られ、車内に設けられた液晶表示パネルなどの表示パネル１９に画像が表示される。 As shown in FIG. 1, the received image signal (luminance signal) detected at each detection point of the image sensor 13 is converted into a digital value by the image detection unit 14 and is given to the image processing unit 15. The image processing unit 15 is provided with a memory 16 as a storage unit, and the image processing unit 15 and the memory 16 are controlled by the control unit 17. The image processing unit 15 can perform arithmetic processing on a digital image signal sent from the image detection unit 14. The control unit 17 is mainly composed of a CPU, and can control the image processing unit 15 and the display driver 18. Image data obtained by processing by the image processing unit 15 is sent to the display driver 18 and an image is displayed on a display panel 19 such as a liquid crystal display panel provided in the vehicle.

図４には、直交軸であるＸ軸とＹ軸を含む平面Ｈと、Ｘ軸とＹ軸との交点を起点として平面Ｈに垂直に延びるＺ軸を示している。平面Ｈを撮像素子の撮像面とし、平面の前方に位置するＡ１を撮像素子に映し出すべき空間点としたときに、この空間点Ａ１のＺ軸に対する天頂角はθｉであり、Ｘ軸を基準としたときの空間点Ａ１の方位角はΦ１である。 FIG. 4 shows a plane H including the X axis and Y axis, which are orthogonal axes, and a Z axis extending perpendicularly to the plane H from the intersection of the X axis and the Y axis. When the plane H is the imaging plane of the imaging device, and A1 positioned in front of the plane is a spatial point to be projected on the imaging device, the zenith angle of the spatial point A1 with respect to the Z axis is θi, and the X axis is the reference. In this case, the azimuth angle of the space point A1 is Φ1.

魚眼レンズの一般的なモデルは、等距離射影であり、像高をｒａとし焦点距離をｆとしたときに、ｒａ＝ｆ・θｉである。その他のモデルとして、等立体角射影は、ｒａ＝２ｆ・ｓｉｎ（θｉ／２）であり、正射影は、ｒａ＝ｆ・ｓｉｎθｉである。これら種々のタイプの魚眼レンズを１つのモデル式で表現すると、像高ｒａをｒ（θｉ）として、次のように表すことができる。
ｒ（θｉ）＝ｋ_１θｉ＋ｋ_２θｉ^３＋ｋ_３θｉ^５＋ｋ_４θｉ^７＋・・・・・ A general model of a fisheye lens is equidistant projection, where ra = f · θi when the image height is ra and the focal length is f. As another model, the equal solid angle projection is ra = 2f · sin (θi / 2), and the orthographic projection is ra = f · sin θi. When these various types of fisheye lenses are expressed by one model equation, the image height ra can be expressed as r (θi) as follows.
r (θi) = k ₁ θi + k ₂ θi ³ + k ₃ θi ⁵ + k ₄ θi ⁷ +.

この実施の形態では高次の項を省略して、以下の式が魚眼レンズのモデル式である多項式として使用されて、この多項式がメモリ１６内に記憶されている。
ｒ（θｉ）＝ｋ_１θｉ＋ｋ_２θｉ^３ In this embodiment, high-order terms are omitted, and the following expression is used as a polynomial that is a model expression of a fisheye lens, and this polynomial is stored in the memory 16.
r (θi) = k ₁ θi + k ₂ θi ³

図３は、ピンホールや収差のない理論的な凸レンズなどを使用した射影モデルである中心射影を示している。中心射影では、像高ｒと焦点距離ｆとの関係は以下の通りである。
ｒ＝ｆ・ｔａｎθ FIG. 3 shows a central projection which is a projection model using a theoretical convex lens having no pinhole or aberration. In the central projection, the relationship between the image height r and the focal length f is as follows.
r = f · tan θ

図３に示す中心射影のモデルでは、歪みのない画像を撮像できるが、限られた面積の撮像素子に対して投影できる画角は狭い。これに対し、図２（Ａ）に示す魚眼レンズ１２を使用した魚眼カメラ１１では、撮像素子１３の限られた検知領域に、広角の画像を結像させることができ、その画角はほぼ１８０度である。ただし、魚眼カメラ１１の撮像素子１３に結像する受像画像は、画角が広がるにしたがって画像の歪みが大きくなる。 In the central projection model shown in FIG. 3, an image without distortion can be captured, but the angle of view that can be projected onto an image sensor with a limited area is narrow. On the other hand, in the fisheye camera 11 using the fisheye lens 12 shown in FIG. 2A, a wide-angle image can be formed in a limited detection region of the image sensor 13, and the angle of view is approximately 180. Degree. However, the received image formed on the image sensor 13 of the fisheye camera 11 is distorted as the angle of view increases.

図２（Ａ）に実線で示すように、本発明の実施の形態の魚眼カメラ１１では、魚眼レンズ１２の光軸Ｏ２と、撮像素子１３の中心Ｏａ、すなわち撮像素子１３の検知領域の中心とが位置ずれしている。魚眼レンズ１２の光軸Ｏ２は、撮像素子１３の中心Ｏａに対して、下方向（地面の方向）へ距離δだけ位置ずれしている。位置ずれ距離δは、魚眼レンズ１２の有効径の１／４以上で１／２以下程度であり、実施の形態では、位置ずれ距離δは、魚眼レンズ１２の有効径のほぼ１／３である。 2A, in the fisheye camera 11 according to the embodiment of the present invention, the optical axis O2 of the fisheye lens 12 and the center Oa of the image sensor 13, that is, the center of the detection region of the image sensor 13 Is misaligned. The optical axis O2 of the fisheye lens 12 is displaced by a distance δ from the center Oa of the image sensor 13 in the downward direction (the direction of the ground). The misregistration distance δ is about ¼ or more and ½ or less of the effective diameter of the fisheye lens 12. In the embodiment, the misregistration distance δ is about ほぼ of the effective diameter of the fisheye lens 12.

自動車１に魚眼カメラ１１が取り付けられたときに、光軸Ｏ２は、水平面と平行、または地面に向けて水平面よりもやや斜め下向きに傾けられている。水平面に対する光軸Ｏ２の斜め下向きの傾き角度は０度以上で４５度未満である。魚眼レンズ１２の光軸Ｏ２を撮像素子１３の中心Ｏａよりも地面側にずらしているため、光軸Ｏ２の傾き角度が小さくても、自動車１の直近の地面の情報を取得しやすくなっている。そのため、前記傾き角度は３０度以下または２０度以下でも良く、実施の形態では光軸Ｏ２の水平面に対する下向きの傾き角度は１５度である。 When the fisheye camera 11 is attached to the automobile 1, the optical axis O2 is inclined parallel to the horizontal plane or slightly obliquely downward from the horizontal plane toward the ground. The oblique downward inclination angle of the optical axis O2 with respect to the horizontal plane is 0 degree or more and less than 45 degrees. Since the optical axis O2 of the fisheye lens 12 is shifted to the ground side with respect to the center Oa of the image sensor 13, it is easy to obtain information on the nearest ground of the automobile 1 even if the inclination angle of the optical axis O2 is small. Therefore, the inclination angle may be 30 degrees or less or 20 degrees or less. In the embodiment, the downward inclination angle of the optical axis O2 with respect to the horizontal plane is 15 degrees.

図５は、魚眼カメラ１１で撮像したときに撮像素子１３に結像している受像画像２０を示している。実際には撮像素子１３に結像する受像画像２０は光軸に対して点対称であり、天地が逆さまで左右も逆に結像する。しかし、図５では、説明の都合上、結像画像を上下逆向きとし、すなわち画像を１８０度回転させて、地面の映像が図面上で下側へ来るように示している。よって、図５においては、図面での上側が空間での下側領域であり、図面での下側が空間での上側領域である。 FIG. 5 shows the received image 20 that is imaged on the image sensor 13 when captured by the fisheye camera 11. In practice, the received image 20 formed on the image sensor 13 is point-symmetric with respect to the optical axis, and the left and right images are also reversed upside down until the top and bottom are reversed. However, in FIG. 5, for convenience of explanation, the formed image is turned upside down, that is, the image is rotated by 180 degrees, and the ground image is shown downward in the drawing. Therefore, in FIG. 5, the upper side in the drawing is the lower region in the space, and the lower side in the drawing is the upper region in the space.

図５に示す受像画像２０には、自動車１の車体の一部分２１と、前輪２２と後輪２３が写され、さらに自動車の側方に位置する地面２４の一部が写されている。また、地面２４と建物２６との境界線２４ａがやや湾曲して写されている。地面２４には、直線で格子状に記された白線表示２５が印されているが、この白線表示２５も湾曲して写されている。さらに、自動車１の車体から離れた位置に、建物２６、樹木２７、および他の自動車２８，２９，３０がそれぞれ湾曲して映し出されている。 In the received image 20 shown in FIG. 5, a part 21 of the vehicle body of the automobile 1, a front wheel 22 and a rear wheel 23 are photographed, and a part of the ground 24 located on the side of the automobile is photographed. In addition, the boundary line 24a between the ground 24 and the building 26 is shown with a slight curve. On the ground 24, a white line display 25 written in a grid pattern in a straight line is marked, and the white line display 25 is also curved and photographed. Further, the building 26, the tree 27, and the other automobiles 28, 29, and 30 are projected and curved at positions away from the vehicle body of the automobile 1.

図２（Ａ）に示すように、魚眼レンズ１２の光軸Ｏ２が、撮像素子１３の中心Ｏａよりも地面側（空間での下側）に位置ずれしているため、図５に示すように、撮像素子１３では、その中心Ｏａ付近に、魚眼レンズ１２で結像される景色のうちの地面側に寄った部分が映し出され、空の景色は撮像素子１３の中心Ｏａから大きく離れ、空の景色の一部は、撮像素子１３の検知領域から外れている。 As shown in FIG. 2A, the optical axis O2 of the fish-eye lens 12 is displaced to the ground side (lower side in the space) with respect to the center Oa of the image sensor 13, so as shown in FIG. In the image sensor 13, a portion of the scenery imaged by the fisheye lens 12 that is close to the ground is projected near the center Oa, and the sky scenery is far away from the center Oa of the image sensor 13, and the sky scenery A part is out of the detection area of the image sensor 13.

図５に示す受像画像２０では、自動車１の左斜め後方の領域、すなわち光軸Ｏ２および撮像素子１３の中心Ｏａよりも水平方向の後方へずれた領域に、側方区画（ａ）が設定されている。画像処理部１５では、側方区画（ａ）の画像が切り出され、拡大処理されて、図６に示すように、表示パネル１９の表示画面１９ａに表示画像２０Ａとして映し出される。表示画面１９ａに、図６に示す表示画像２０Ａを表示することで、自動車の運転者は、自動車１の左側のフェンダーミラーを肉眼で見たときと同等の景色の射影を画面上で確認できる。 In the received image 20 shown in FIG. 5, the side section (a) is set in a region diagonally to the left of the automobile 1, that is, in a region shifted rearward in the horizontal direction from the optical axis O <b> 2 and the center Oa of the image sensor 13. ing. In the image processing unit 15, the image of the side section (a) is cut out, enlarged, and displayed as a display image 20A on the display screen 19a of the display panel 19 as shown in FIG. By displaying the display image 20A shown in FIG. 6 on the display screen 19a, the driver of the car can confirm on the screen the same projection of the scenery as when viewing the fender mirror on the left side of the car 1 with the naked eye.

また、図５に示す受像画像２０では、地面側に寄った領域である台形の空間下方区画（ｂ）が設定されている。画像処理部１５では、空間下方区画（ｂ）の画像が切り出され、拡大処理されて、図７に示すように、表示パネル１９の表示画面１９ａに表示画像２０Ｂとして映し出される。この表示画像２０Ｂでは、車体の一部分２１と前輪２２および後輪２３のすぐ側方の地面の状態を表示することができる。なお、図７において、車体の一部分２１と前輪２２および後輪２３の部分に、予め作成された車体および車輪の形状のイラスト画像を貼り付けて表示してもよい。 Further, in the received image 20 shown in FIG. 5, a trapezoidal space lower section (b) that is an area close to the ground side is set. In the image processing unit 15, the image in the space lower section (b) is cut out, enlarged, and displayed as a display image 20 </ b> B on the display screen 19 a of the display panel 19 as shown in FIG. 7. In this display image 20B, it is possible to display the state of the ground immediately adjacent to the part 21 of the vehicle body, the front wheel 22 and the rear wheel 23. In FIG. 7, a preliminarily created illustration image of the shape of the vehicle body and the wheels may be pasted and displayed on the part 21 of the vehicle body and the front wheel 22 and the rear wheel 23.

表示パネル１９の表示画面１９ａの表示内容は、車室内のいずれかの操作スイッチなどで切換え可能であり、必要に応じて、図６（Ａ）に示す表示画像２０Ａと、図６（Ｂ）に示す表示画像２０Ｂとが切換えて表示される。あるいは、同じ画面上に、前記表示画像２０Ａと前記表示画像２０Ｂとを並べて表示してもよい。 The display content of the display screen 19a of the display panel 19 can be switched by any operation switch or the like in the passenger compartment. The display image 20A shown in FIG. 6A and the display image 20A shown in FIG. The displayed display image 20B is switched and displayed. Alternatively, the display image 20A and the display image 20B may be displayed side by side on the same screen.

図２（Ａ）に示すように、魚眼レンズ１２の光軸Ｏ２を撮像素子１３の中心Ｏａから地面側へずらした結果、光軸Ｏ２を下向きに大きな角度で傾斜させなくても、図５に示すように、撮像素子１３の検知領域の中央部分に車体の側方に位置する地面２４の情報を広く取得することができる。よって、撮像素子１３の中央部に比較的広い面積の空間下方区画（ｂ）を確保することで、図７に示すように、車体の側方の直近の地面２４の状態を写した表示画像２０Ｂを、鮮明に生成することができる。 As shown in FIG. 2A, as a result of shifting the optical axis O2 of the fisheye lens 12 from the center Oa of the image sensor 13 to the ground side, the optical axis O2 is not inclined downward at a large angle as shown in FIG. As described above, it is possible to widely acquire information on the ground 24 located on the side of the vehicle body at the center portion of the detection region of the image sensor 13. Therefore, by securing a space lower section (b) having a relatively large area at the center of the image pickup device 13, as shown in FIG. 7, a display image 20B showing the state of the ground 24 nearest to the side of the vehicle body. Can be generated clearly.

光軸Ｏ２の水平面に対する地面方向への下向きの傾斜角度を小さくでき、実施の形態では１５度程度に設定しているために、地面２４および白線表示２５、さらに他の自動車２８，２９，３０などの画像の歪みが小さくなる。そのため、側方区画（ａ）を、大きく湾曲して設定する必要はなく、台形をやや歪めた程度の側方区画（ａ）を設定することで、図６に示すように、左後方の自動車２８，２９などを含む表示画像２０Ａを容易に且つ鮮明に生成することができる。 Since the downward inclination angle of the optical axis O2 with respect to the horizontal plane with respect to the ground surface can be reduced and is set to about 15 degrees in the embodiment, the ground 24 and the white line display 25, and other automobiles 28, 29, 30, etc. The distortion of the image becomes smaller. Therefore, it is not necessary to set the side section (a) to be largely curved, and by setting the side section (a) that is slightly distorted in the trapezoid, as shown in FIG. The display image 20A including 28, 29, etc. can be generated easily and clearly.

図８は、本発明の実施の形態の特徴を明らかにするための比較例の受像画像１２０を示している。この比較例の受像画像も、実際の受像状態に対して上下逆で、すなわち１８０度回転させた状態で示している。 FIG. 8 shows a received image 120 of a comparative example for clarifying the characteristics of the embodiment of the present invention. The received image of this comparative example is also shown upside down with respect to the actual received state, that is, rotated 180 degrees.

比較例の魚眼カメラは、図２（Ａ）において破線で示すように、魚眼レンズ１２の光軸Ｏ１が撮像素子１３の中心Ｏａと一致している。そのため、光軸Ｏ１を水平に配置すると、自動車の外部の景色のうちの地面側の情報が、撮像素子１３の図８に示す下側の部分（実際の画像では上側の部分）に集中することになり、自動車の側方の直近の画像情報量が少なくなって、図７に示すような表示画像２０Ｂを鮮明に表示できなくなる。そのため、図８の比較例では、魚眼レンズ１２の光軸Ｏ１を、水平面よりも地面側に向けて下向きに４５度の角度で傾斜させて、自動車の側方の地面の情報の取得量を多くすることが必要である。そのため、図６に示すような斜め後方の景色の表示画像を作成しようとすると、図８において（ｃ）で示すように、大きな曲率で湾曲した区画（ｃ）から画像情報を切り出すことが必要になり、大きく湾曲した区画（ｃ）の画像を取り出すための画像処理が煩雑になる。さらに、図８に示すような湾曲した画像を図６に示すように、表示画面１９ａ上で平面的に展開させて表示するには、複雑な演算が必要になる。 In the fisheye camera of the comparative example, the optical axis O1 of the fisheye lens 12 coincides with the center Oa of the image sensor 13 as indicated by a broken line in FIG. Therefore, when the optical axis O1 is arranged horizontally, information on the ground side in the scenery outside the automobile is concentrated on the lower part (upper part in the actual image) of the image sensor 13 shown in FIG. As a result, the latest image information amount on the side of the vehicle is reduced, and the display image 20B as shown in FIG. 7 cannot be displayed clearly. Therefore, in the comparative example of FIG. 8, the optical axis O1 of the fish-eye lens 12 is inclined downward at an angle of 45 degrees toward the ground side with respect to the horizontal plane, thereby increasing the amount of acquisition of ground information on the side of the automobile. It is necessary. Therefore, when it is intended to create a display image of a landscape behind the diagonal as shown in FIG. 6, it is necessary to cut out image information from a section (c) curved with a large curvature as shown by (c) in FIG. Thus, the image processing for extracting the image of the greatly curved section (c) becomes complicated. Further, in order to display a curved image as shown in FIG. 8 in a flat manner on the display screen 19a as shown in FIG. 6, a complicated calculation is required.

これに対し、実施の形態の撮像装置１０では、魚眼レンズ１２の光軸Ｏ２を、撮像素子１３の中心Ｏａよりも地面側へずらしたため、撮像素子１３の中央の領域に、車両の側方の地面や他の自動車などの情報を結像させることができ、自動車の近くの外部画像を生成しやすくなる。また、光軸を地面に向けて下向きに大きく傾かせる必要がないため、側方区画（ａ）などを湾曲度の小さい領域の情報として切り出すことができる。 On the other hand, in the imaging apparatus 10 of the embodiment, the optical axis O2 of the fisheye lens 12 is shifted to the ground side from the center Oa of the imaging element 13, so that the ground on the side of the vehicle is located in the central area of the imaging element 13. It is possible to form an image of information on the vehicle and other automobiles, and to easily generate an external image near the automobile. In addition, since it is not necessary to tilt the optical axis greatly downward toward the ground, the side section (a) and the like can be cut out as information on a region with a low degree of curvature.

次に、図５に示す受像画像の側方区画（ａ）や空間下方区画（ｂ）を取り出して、図６に示す表示画像２０Ａや図７に示す表示画像２０Ｂを生成するための画像処理方法の一例を説明する。 Next, an image processing method for extracting the side section (a) and the space lower section (b) of the received image shown in FIG. 5 and generating the display image 20A shown in FIG. 6 and the display image 20B shown in FIG. An example will be described.

この画像処理では、図９に示すＸ軸方向の変化関数Ｔ（ｘ）が使用される。この変化関数Ｔ（ｘ）は、画像処理の補正のために予め決められたものであり、メモリ１６に保持されている。図９の横軸は、魚眼レンズ１２の光軸Ｏ２からＸ方向（横方向）へ離れる座標位置を、０、０．１、０．２、０．３、・・・で示している。縦軸には、横軸に示されているＸ軸方向のそれぞれの位置の画像の点の画角をどのくらい拡大して画像処理すべきかが数値化されて示されている。 In this image processing, the change function T (x) in the X-axis direction shown in FIG. 9 is used. This change function T (x) is predetermined for correction of image processing and is held in the memory 16. The horizontal axis in FIG. 9 indicates coordinate positions away from the optical axis O2 of the fisheye lens 12 in the X direction (horizontal direction) as 0, 0.1, 0.2, 0.3,. The vertical axis indicates how much the angle of view of the image point at each position in the X-axis direction shown on the horizontal axis should be enlarged and image processed.

図９に示す変化関数Ｔ（ｘ）は、例えば、Ｘ軸方向の「０．１」の座標位置に表示すべき情報を、Ｘ軸方向の「０．１８」の位置まで画角を拡大して処理することを示しており、また、Ｘ軸方向の「０・９」の座標位置に表示すべき情報を、Ｘ軸方向の「１．０」の位置まで画角を拡大して処理することを示している。同様に、メモリ１６には、Ｙ軸方向の画角の変化関数Ｔ（ｙ）も保持されている。このＹ軸方向の画角の変化関数Ｔ（ｙ）は、Ｘ軸方向の画角の変化関数Ｔ（ｘ）と相違する関数である。 The change function T (x) shown in FIG. 9 expands the angle of view of information to be displayed at a coordinate position of “0.1” in the X-axis direction to a position of “0.18” in the X-axis direction. In addition, the information to be displayed at the coordinate position “0 · 9” in the X-axis direction is processed with the angle of view enlarged to the position “1.0” in the X-axis direction. It is shown that. Similarly, the memory 16 also stores a view angle change function T (y) in the Y-axis direction. The angle-of-view change function T (y) in the Y-axis direction is a function different from the angle-of-view change function T (x) in the X-axis direction.

図９に示す変化関数Ｔ（ｘ）は、魚眼カメラ１１の受像画像２０の一部である側方区画（ａ）や下方区画（ｂ）の画像を拡大して図６または図７に示す表示画面１９ａに表示する際に、歪みを適度に除去するための一種の補正関数としての意味を有している。この変化関数Ｔ（ｘ）は、受像画像２０において画像を切り出す区画（ａ）（ｂ）の位置、区画（ａ）（ｂ）の面積、および区画（ａ）（ｂ）の画像を表示する際の拡大率などに応じて決められる。この変化関数Ｔ（ｘ）は、予め複数箇所の拡大率を決めておき、複数の拡大率をＢスプライン曲線などのパラメトリック曲線で結ぶことで生成される。 The change function T (x) shown in FIG. 9 is shown in FIG. 6 or FIG. 7 by enlarging the images of the side section (a) and the lower section (b) that are part of the received image 20 of the fisheye camera 11. When displaying on the display screen 19a, it has a meaning as a kind of correction function for removing distortion moderately. The change function T (x) is used when displaying the positions of the sections (a) and (b), the areas of the sections (a) and (b), and the images of the sections (a) and (b) in the received image 20. It is decided according to the enlargement rate of. The change function T (x) is generated by determining the enlargement rates at a plurality of locations in advance and connecting the plurality of enlargement rates with a parametric curve such as a B-spline curve.

画像処理方法は以下の手順で行われる。この画像処理では、図６または図７に示す表示画面１９ａの任意の画素Ｐｉに、撮像素子１３のどの検知点で検知された受像信号（輝度信号）を対応させて表示するかを決める。 The image processing method is performed according to the following procedure. In this image processing, it is determined which image receiving signal (luminance signal) detected at which detection point of the image sensor 13 is displayed corresponding to an arbitrary pixel Pi on the display screen 19a shown in FIG.

まず、画素ＰｉのＸ軸方向の位置を図９に示す変化関数Ｔ（ｘ）の横軸に代入して、正規化する画角αｘを求める。例えば画素ＰｉのＸ軸方向の位置が「０．１」であるとき、この「０．１」を図９の変化関数に代入すると、Ｘ軸方向の位置が「０．１８」である。画像処理部１５では、Ｘ軸方向の前記「０．１８」の位置が、Ｘ軸方向のどの程度の画角に相当するかが求められる。求められた値が正規化した受像画角αｘである。同様にして、Ｙ軸方向の変化関数Ｔ（ｙ）を用いて、画素ＰｉのＹ軸方向での正規化した受像画角αｙを求めることができる。 First, the angle of view αx to be normalized is obtained by substituting the position of the pixel Pi in the X-axis direction into the horizontal axis of the change function T (x) shown in FIG. For example, when the position of the pixel Pi in the X-axis direction is “0.1”, if this “0.1” is substituted into the change function of FIG. 9, the position in the X-axis direction is “0.18”. The image processing unit 15 determines how much the angle of view in the X-axis direction corresponds to the position of “0.18” in the X-axis direction. The obtained value is the normalized image receiving angle αx. Similarly, the normalized image receiving field angle αy of the pixel Pi in the Y-axis direction can be obtained using the change function T (y) in the Y-axis direction.

次に、正規化した受像画角αｘとαｙを使用し、図３に示すような歪みを伴なわない中心射影での受像面Ｈａ上の結像位置を求める。この演算では、図５に示す受像画像２０の区画（ａ）（ｂ）の画像を、図６に示す表示画像２０Ａや図７に示す表示画像２０Ｂとして表示するための倍率から得られる焦点距離ｆの値が使用される。中心射影に関する以下の式から、画素Ｐｉの中心射影に相当する正規化した座標位置ｒｘ、ｒｙを求めることができる。 Next, using the normalized image receiving field angles αx and αy, the imaging position on the image receiving surface Ha in the central projection without distortion as shown in FIG. 3 is obtained. In this calculation, the focal length f obtained from the magnification for displaying the image of the sections (a) and (b) of the received image 20 shown in FIG. 5 as the display image 20A shown in FIG. 6 and the display image 20B shown in FIG. The value of is used. Normalized coordinate positions rx and ry corresponding to the central projection of the pixel Pi can be obtained from the following expression relating to the central projection.

ｒｘ＝ｆ・ｔａｎ（αｘ）
ｒｙ＝ｆ・ｔａｎ（αｙ） rx = f · tan (αx)
ry = f · tan (αy)

前記のように正規化した座標位置ｒｘ，ｒｙを知ることにより、図４に示す天頂角θｉと、方位角Φｉを知ることができる。この天頂角θｉと方位角Φｉは、図９に示す変化関数Ｔ（ｘ）で補正された正規化した天頂角および方位角であり、画素Ｐｉに映し出されるべき空間点の天頂角および方位角である。 By knowing the coordinate positions rx and ry normalized as described above, the zenith angle θi and the azimuth angle Φi shown in FIG. 4 can be known. The zenith angle θi and the azimuth angle Φi are the normalized zenith angle and azimuth angle corrected by the change function T (x) shown in FIG. 9, and are the zenith angle and azimuth angle of the spatial point to be displayed on the pixel Pi. is there.

さらに、画像処理では、魚眼カメラ１１に使用されている魚眼レンズ１２のモデル式に、前記天頂角θｉを代入して、像点Ａ２の像高であるｒ（θｉ）を求める。
ｒ（θｉ）＝ｋ_１・θｉ＋ｋ_２・θｉ^３、 Further, in the image processing, r (θi), which is the image height of the image point A2, is obtained by substituting the zenith angle θi into the model equation of the fisheye lens 12 used in the fisheye camera 11.
r (θi) = k ₁ · θi + k ₂ · θi ³ ,

次に、前記像高ｒ（θｉ）と方位角Φｉとから、図５に示す受像画像２０内のどの位置の検知点の受像信号（輝度信号）を、表示画面１９ａの画素Ｐｉの画像データとして使用するかを求める。検知点の位置座標（ｍｘ，ｍｙ）は以下の演算で得られる。 Next, based on the image height r (θi) and the azimuth angle Φi, an image reception signal (luminance signal) at any position in the image reception image 20 shown in FIG. 5 is used as image data of the pixel Pi on the display screen 19a. Ask whether to use. The position coordinates (mx, my) of the detection point can be obtained by the following calculation.

ｍｘ＝ｒ（θｉ）・ｃｏｓ（Φｉ）
ｍｙ＝ｒ（θｉ）・ｓｉｎ（Φｉ）
前記処理が、表示画面１９ａ内の全ての画素Ｐｉに対して行われる。 mx = r (θi) · cos (Φi)
my = r (θi) · sin (Φi)
The process is performed on all the pixels Pi in the display screen 19a.

以上の画像処理方法では、魚眼カメラ１１の撮像素子１３に結像した画像を、中心射影映像に変換することで、図６に示す拡大された表示画像２０Ａおよび図８に示す表示画像２０Ｂにおいて歪みを修正できる。ただし、撮像素子１３で得られた広角の画像データを単純に中心射影の映像へ変換すると、表示画面に表示された映像は、光軸Ｏ１に近い領域が極端に縮小され、光軸Ｏ１から離れた領域が極端に拡大されて、視認性が著しく損なわれた画像となる。 In the image processing method described above, the image formed on the image sensor 13 of the fisheye camera 11 is converted into a central projected image, whereby the enlarged display image 20A shown in FIG. 6 and the display image 20B shown in FIG. Can correct distortion. However, when the wide-angle image data obtained by the image sensor 13 is simply converted into a central projection image, the image displayed on the display screen is extremely reduced in the area close to the optical axis O1 and separated from the optical axis O1. The image area is extremely enlarged, resulting in an image in which visibility is significantly impaired.

これに対し、前記画像処理では、図９に示すように予め決められた変化関数Ｔ（ｘ）を用いて、画素Ｐｉに対応する画像位置の正規化された画角αｘとαｙを求め、この画角αｘとαｙを用い、中心射影の式から天頂角θｉと方位角Φｉを求めている。そして、この天頂角θｉと方位角Φｉを、使用している魚眼レンズ１２のモデル式に代入して、表示画面１９ａの画素Ｐｉに与えるべき、受像画像２０上の検知点の位置（ｍｘ，ｍｙ）を算出している。 On the other hand, in the image processing, using the change function T (x) determined in advance as shown in FIG. 9, the normalized angle of view αx and αy of the image position corresponding to the pixel Pi is obtained. Using the angle of view αx and αy, the zenith angle θi and the azimuth angle Φi are obtained from the central projection formula. Then, the position (mx, my) of the detection point on the received image 20 to be given to the pixel Pi of the display screen 19a by substituting the zenith angle θi and the azimuth angle Φi into the model equation of the fisheye lens 12 being used. Is calculated.

前記変化関数を用いることにより、魚眼カメラの画像を直接に中心射影の映像に変換するときのような、極端な拡大領域と縮小領域が発生するのを補正でき、視認性の良い表示画像２０Ａ，２０Ｂを得ることができる。 By using the change function, it is possible to correct the occurrence of extreme enlargement and reduction areas, such as when a fisheye camera image is directly converted to a central projection image, and a display image 20A with good visibility. , 20B can be obtained.

なお、本発明は、魚眼レンズのみではなく、広角レンズや望遠レンズあるいは標準レンズを使用した撮像装置にも実施可能である。いずれの場合も、レンズの光軸を撮像素子の検知領域の中心から位置ずれさせることで、前記検知領域に対して得たい情報を多く取り込むことが可能である。 The present invention can be applied not only to fisheye lenses but also to imaging devices using wide-angle lenses, telephoto lenses, or standard lenses. In either case, by shifting the position of the optical axis of the lens from the center of the detection area of the image sensor, it is possible to capture a large amount of information desired for the detection area.

なお、広角レンズは、画角がおよそ６０度またはそれ以上であって、周辺部分に認識できる程度の歪みを生じるレンズである。本明細書では、広角レンズは魚眼レンズを含む概念である。 The wide-angle lens is a lens having an angle of view of about 60 degrees or more and causing distortion that can be recognized in the peripheral portion. In the present specification, the wide-angle lens is a concept including a fish-eye lens.

本発明の実施の形態の撮像装置を示すブロック図、1 is a block diagram showing an imaging apparatus according to an embodiment of the present invention; （Ａ）は魚眼レンズと撮像素子の側面図、（Ｂ）は撮像素子の正面図、(A) is a side view of the fisheye lens and the image sensor, (B) is a front view of the image sensor, 中心射影モデルの説明図、Illustration of the central projection model, 空間点と、天頂角および方位角の説明図、Explanatory diagram of spatial point, zenith angle and azimuth, 実施の形態での魚眼カメラの受像画像の一例を示す説明図、Explanatory drawing which shows an example of the received image of the fisheye camera in embodiment, 実施の形態の受像画像から切り出した表示画像の説明図、Explanatory drawing of the display image cut out from the received image of embodiment, 実施の形態の受像画像から切り出した表示画像の説明図、Explanatory drawing of the display image cut out from the received image of embodiment, 比較例の魚眼カメラの受像画像の一例を示す説明図、Explanatory drawing which shows an example of the received image of the fisheye camera of a comparative example, Ｘ軸方向の変化関数Ｔ（ｘ）の説明図、Explanatory drawing of the change function T (x) in the X-axis direction,

Explanation of symbols

１１魚眼カメラ
１２魚眼レンズ
１３撮像素子
１５画像処理部
１９表示パネル
１９ａ表示画面
２０受像画像
２０Ａ表示画像
２０Ｂ表示画像
（ａ）側方区画
（ｂ）下方区画 DESCRIPTION OF SYMBOLS 11 Fisheye camera 12 Fisheye lens 13 Image pick-up element 15 Image processing part 19 Display panel 19a Display screen 20 Received image 20A Display image 20B Display image (a) Side section (b) Lower section

Claims

A lens, an image sensor that detects light collected by the lens, and an image processing unit that generates image data for displaying an image on a display screen based on an image reception signal detected by the image sensor. In the provided imaging device,
An imaging apparatus, wherein the lens and the imaging device are combined in a state where an optical axis of the lens is displaced from a center of a detection region of the imaging device.

A camera in which the lens and the image sensor are combined is attached to a vehicle body of an automobile, and the optical axis of the lens is displaced in the direction of the ground from the center of the detection area of the image sensor. The imaging apparatus according to 1.

The imaging apparatus according to claim 1 or 2, wherein an inclination angle of the optical axis of the lens toward the ground is 0 degree or more and less than 45 degrees with respect to a horizontal plane.

The image pickup apparatus according to claim 2 or 3, wherein a side section of the received image detected by the image pickup element that is shifted in the horizontal direction from the optical axis is enlarged and displayed as a display image on the display screen.

The optical axis of the lens is directed to the side of the vehicle body, and a section of the received image detected by the image sensor that is shifted to the ground side from the optical axis is enlarged and displayed on the display screen as a display image. The imaging device according to claim 2 or 3, wherein a ground on a side of the vehicle is displayed.

The imaging apparatus according to claim 1, wherein the lens is a fish-eye lens or a wide-angle lens.