JP6701482B1 - Mobile object surroundings monitoring device - Google Patents
Mobile object surroundings monitoring device Download PDFInfo
- Publication number
- JP6701482B1 JP6701482B1 JP2018235267A JP2018235267A JP6701482B1 JP 6701482 B1 JP6701482 B1 JP 6701482B1 JP 2018235267 A JP2018235267 A JP 2018235267A JP 2018235267 A JP2018235267 A JP 2018235267A JP 6701482 B1 JP6701482 B1 JP 6701482B1
- Authority
- JP
- Japan
- Prior art keywords
- panoramic
- lens
- image
- light
- image pickup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012806 monitoring device Methods 0.000 title claims abstract description 27
- 238000003384 imaging method Methods 0.000 claims abstract description 67
- 230000003287 optical effect Effects 0.000 claims abstract description 64
- 238000012544 monitoring process Methods 0.000 claims abstract description 23
- 239000000463 material Substances 0.000 claims abstract description 6
- 238000010586 diagram Methods 0.000 abstract description 6
- 238000000034 method Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 125000004122 cyclic group Chemical group 0.000 description 2
- 239000005304 optical glass Substances 0.000 description 2
- 230000001154 acute effect Effects 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000008961 swelling Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 238000007740 vapor deposition Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B13/00—Optical objectives specially designed for the purposes specified below
- G02B13/06—Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B13/00—Optical objectives specially designed for the purposes specified below
- G02B13/18—Optical objectives specially designed for the purposes specified below with lenses having one or more non-spherical faces, e.g. for reducing geometrical aberration
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B17/00—Systems with reflecting surfaces, with or without refracting elements
- G02B17/08—Catadioptric systems
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/02—Bodies
- G03B17/17—Bodies with reflectors arranged in beam forming the photographic image, e.g. for reducing dimensions of camera
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Lenses (AREA)
- Structure And Mechanism Of Cameras (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
【課題】簡単な構成で、移動体の周囲の広い範囲を監視することができる移動体周辺監視装置を提供する。
【解決手段】光透過性の素材により形成され、レンズ中心の光軸回りに回転対称に形成されて、光軸に対して直交する360°全周から側方の光が入射可能な光入射面14を有したパノラマ撮像レンズ12を備える。パノラマ撮像レンズ12に入射して形成された画像36をとらえる撮像素子24と、パノラマ撮像レンズ12と撮像素子24との間に配置されパノラマ撮像レンズ12に入射した光を撮像素子24に結像させるリレーレンズ22とを有したパノラマ撮像装置10を備える。パノラマ撮像装置10の360°の視野の一方向に配置され、光軸方向周辺からの光をパノラマ撮像レンズ12の光入射面14の一部に導く反射鏡28を備える。
【選択図】図1PROBLEM TO BE SOLVED: To provide a mobile body periphery monitoring device capable of monitoring a wide range around a mobile body with a simple configuration.
A light incident surface formed of a light-transmissive material, formed rotationally symmetrically about an optical axis of a lens center, and capable of receiving side light from the entire 360° orthogonal to the optical axis. A panoramic image pickup lens 12 having 14 is provided. An image pickup element 24 that captures an image 36 formed by being incident on the panoramic image pickup lens 12, and light that is arranged between the panoramic image pickup lens 12 and the image pickup element 24 and that has entered the panoramic image pickup lens 12 is imaged on the image pickup element 24. The panoramic imaging device 10 having the relay lens 22 is provided. The panoramic imaging device 10 is provided with a reflecting mirror 28 which is arranged in one direction of a 360° field of view and guides light from the periphery of the optical axis direction to a part of the light incident surface 14 of the panoramic imaging lens 12.
[Selection diagram] Figure 1
Description
この発明は、広角の撮像レンズを用いて、より広範囲の視野方向を同時に撮影する車両等の移動体周辺監視装置に関する。 The present invention relates to a mobile body peripheral monitoring device such as a vehicle that simultaneously captures a wider field of view using a wide-angle imaging lens.
従来、360°のパノラマ撮影可能な光学系として、特許文献1に開示されているように、レンズの周囲360°の視界を一度に撮影できるパノラマ撮像レンズがある。このパノラマ撮像レンズは、特許文献1にあるように、光学ガラス等の光透過性の素材により、レンズの中心である光軸回りに回転対称に形成されている。そして、パノラマ撮像レンズは、360°全周から光が入射する環状の光入射面と、この光入射面と隣接し略対向するようにして環状に形成され、レンズ内へ光を反射する第一反射面と、光入射面の環内の中央部に設けられ第一反射面からの反射光を第一反射面の環の内側部分に向けて反射する第二反射面を備えている。第一反射面の環の内側部分である環内中央部には、第二反射面と対向する位置に第二反射面からの光を透過する光出射面が形成されている。 2. Description of the Related Art Conventionally, as an optical system capable of 360-degree panoramic photography, as disclosed in Patent Document 1, there is a panoramic imaging lens capable of photographing 360-degree visual field around the lens at one time. As described in Patent Document 1, this panoramic imaging lens is made of a light-transmissive material such as optical glass, and is rotationally symmetrical about the optical axis that is the center of the lens. The panoramic imaging lens is formed in an annular shape so that light is incident from the entire circumference of 360° and an annular light incident surface that is adjacent to and substantially opposed to the light incident surface. It is provided with a reflecting surface and a second reflecting surface which is provided in the center of the ring of the light incident surface and which reflects the reflected light from the first reflecting surface toward the inner part of the ring of the first reflecting surface. A light emitting surface that transmits light from the second reflecting surface is formed at a position facing the second reflecting surface in a center portion inside the ring that is an inner portion of the ring of the first reflecting surface.
環状の光入射面は、凸レンズ状に形成され、光入射面に対向した第一反射面は、側方に膨らんだ凸面状に形状され、第一反射面のレンズの内面側が、第二反射面の方向を向いた環状の凹面鏡の反射面となっている。光入射面の中心側に位置した第二反射面は、凹面状に形成され、レンズの内面側が凸面鏡の反射面となっている。また、光出射面は、適宜用途に応じて、凹面や凸面又は平面状に形成されている。 The ring-shaped light incident surface is formed in a convex lens shape, the first reflecting surface facing the light incident surface is formed in a convex shape swelling laterally, and the inner surface side of the lens of the first reflecting surface is the second reflecting surface. It is the reflecting surface of an annular concave mirror facing the direction. The second reflecting surface located on the center side of the light incident surface is formed in a concave shape, and the inner surface side of the lens is the reflecting surface of the convex mirror. Further, the light emitting surface is formed into a concave surface, a convex surface, or a flat surface, depending on the intended use.
このパノラマ撮像レンズを用いたパノラマ撮像装置は、その光軸上に設けられた結像用のリレーレンズとレンズホルダ、及び図示しないケース等から成るパノラマ撮像レンズユニットと、このパノラマ撮像レンズユニットが取り付けられたカメラから成る。そして、パノラマ撮像レンズによりとらえられた360°のパノラマ風景は、撮像装置の撮像素子に環状の画像として結像し、電気信号に変換されて、各種モニタ装置に映し出される。画像は、環状であり極座標系の画像であるので、最終的には図示しないコンピュータ等の画像処理装置により直交座標系に座標変換されて、展開パノラマ画像として表示される。 A panoramic image pickup device using this panoramic image pickup lens includes a panoramic image pickup lens unit including an image forming relay lens and a lens holder provided on its optical axis, and a case not shown, and the panoramic image pickup lens unit. It consists of a fixed camera. Then, the 360° panoramic view captured by the panoramic image pickup lens is formed as a ring-shaped image on the image pickup device of the image pickup device, converted into an electric signal, and displayed on various monitor devices. Since the image is a circular image in a polar coordinate system, it is finally converted into a rectangular coordinate system by an image processing device such as a computer (not shown) and displayed as a developed panoramic image.
一方、各種車両の運行の安全を担保するために、車両に取り付けられその周辺を監視するカメラを備えた車両周辺監視装置が種々提案されている。特許文献2に開示された装置は、多数のカメラを車両の周囲に配置し、ドライバの視認方向のカメラ画像を表示し、車両周辺の死角をなくすようにしたものである。 On the other hand, in order to ensure the safety of operation of various vehicles, various vehicle surroundings monitoring devices equipped with a vehicle and equipped with a camera for monitoring the surroundings have been proposed. The device disclosed in Patent Document 2 has a large number of cameras arranged around the vehicle to display a camera image in the driver's viewing direction, thereby eliminating blind spots around the vehicle.
また、特許文献3,4,5に開示されているように、カメラレンズの前方に配置され、視野方向を分割して、異なる方向の画像をカメラに導くプリズムや複数のミラーを設けた車両周辺監視装置も提案されている。これにより、一つのカメラで撮影する視野方向を増やし、より広範囲に車両周辺の監視を可能にし、車両の周囲の死角を減らしている。 In addition, as disclosed in Patent Documents 3, 4, and 5, a vehicle periphery provided with a prism or a plurality of mirrors arranged in front of a camera lens to divide a visual field direction and guide images in different directions to the camera. Monitoring devices have also been proposed. As a result, the field of view taken with one camera is increased, the surroundings of the vehicle can be monitored in a wider area, and the blind spot around the vehicle is reduced.
上記特許文献1に開示されたパノラマ撮像装置は、360°の視野を有するが、レンズの中心である光軸方向の遠方画像をとらえることができない光学系であり、通常は光軸を鉛直方向に向けて、水平方向の360°を監視する装置として使用される。従って、車両の側方や下方、後方を監視する監視装置には用いられていないものである。 The panoramic imaging device disclosed in Patent Document 1 is an optical system that has a field of view of 360° but cannot capture a distant image in the optical axis direction, which is the center of the lens. Normally, the optical axis is in the vertical direction. Used as a device to monitor 360° in the horizontal direction. Therefore, it is not used in a monitoring device that monitors the side, the lower side, or the rear of the vehicle.
特許文献2に開示された車両周辺監視装置は、使用するカメラの数が多く、装置が複雑でコストもかかるものであり、実用的な車両用監視装置ではない。さらに、特許文献2〜5に開示された車両周辺監視装置に用いられる光学系は、画角の広い広角レンズとプリズムやミラーを用いて、複数方向の視野を関し可能にしたものであるが、広角レンズの画角は比較的広いと言っても限られており、これを分割して表示すると、1方向の視野は狭いものとなり、単一のカメラで効果的に車両の広い範囲を監視可能な装置ではない。 The vehicle periphery monitoring device disclosed in Patent Document 2 is not a practical vehicle monitoring device because it uses a large number of cameras, the device is complicated, and the cost is high. Further, although the optical system used in the vehicle periphery monitoring device disclosed in Patent Documents 2 to 5 uses a wide-angle lens having a wide angle of view and a prism or a mirror to enable a field of view in a plurality of directions, The angle of view of a wide-angle lens is relatively wide, but when divided and displayed, the field of view in one direction is narrow, and a single camera can effectively monitor a wide range of vehicles. It is not a device.
この発明は、上記背景技術に鑑みてなされたもので、簡単な構成で、車両等の移動体周辺の広い範囲を監視することができる移動体周辺監視装置を提供することを目的とする。 The present invention has been made in view of the background art described above, and an object of the present invention is to provide a moving body surrounding area monitoring device capable of monitoring a wide range around a moving body such as a vehicle with a simple configuration.
この発明は、光透過性の素材により形成され、レンズ中心の光軸回りに回転対称に形成されて、前記光軸に対して直交する360°全周から側方の光が入射可能な光入射面を有したパノラマ撮像レンズと、前記パノラマ撮像レンズに入射して形成された画像をとらえる撮像素子と、前記パノラマ撮像レンズと前記撮像素子との間に配置され前記パノラマ撮像レンズに入射した光を前記撮像素子に結像させる撮像光学系とを有したパノラマ撮像装置を備え、前記パノラマ撮像装置の360°の視野の一方向に配置され、前記光軸方向周辺からの光を前記パノラマ撮像レンズの前記光入射面の一部に導く反射鏡を備えた移動体周辺監視装置である。 The present invention is made of a light-transmissive material, is formed in rotational symmetry about the optical axis of the lens center, and is capable of entering side light from the entire 360° orthogonal to the optical axis. A panoramic image pickup lens having a surface, an image pickup element for capturing an image formed by being incident on the panoramic image pickup lens, and light incident on the panoramic image pickup lens arranged between the panoramic image pickup lens and the image pickup element. A panoramic image pickup device having an image pickup optical system for forming an image on the image pickup device is arranged in one direction of a 360° field of view of the panoramic image pickup device, and light from the periphery of the optical axis direction of the panoramic image pickup lens is provided. It is a mobile body surroundings monitoring device provided with a reflecting mirror for guiding a part of the light incident surface.
前記パノラマ撮像レンズは、レンズ中心の光軸回りに回転対称に形成され、前記光入射面は、360°全周から側方の光が入射可能に凸レンズ状に形成され、前記光入射面と互いに対向する位置には前記パノラマ撮像レンズ表面の一部に環状に形成され、前記パノラマ撮像レンズ内へ光を反射するように外方に膨らんで凹面鏡状に形成された第一反射面が設けられ、前記光入射面の環内の中央部の前記パノラマ撮像レンズ表面には前記第一反射面からの反射光を前記第一反射面の環の内側部分に向けて反射する凸面鏡状の第二反射面が設けられ、前記第一反射面の環内中央部には前記第二反射面と対向して位置し前記第二反射面からの光を透過する光出射面を備えるものである。 The panoramic imaging lens is formed to be rotationally symmetric about the optical axis of the lens center, and the light incident surface is formed in a convex lens shape so that light from the entire circumference of 360° can enter, and the light incident surface and the light incident surface. At a position facing each other, a first reflecting surface is formed in an annular shape on a part of the surface of the panoramic image pickup lens, and bulges outward so as to reflect light into the panoramic image pickup lens and is formed into a concave mirror shape. On the surface of the panoramic imaging lens in the center of the ring of the light incident surface, the second reflecting surface in the shape of a convex mirror that reflects the reflected light from the first reflecting surface toward the inner part of the ring of the first reflecting surface. Is provided, and a light emitting surface that faces the second reflecting surface and that transmits light from the second reflecting surface is provided in the center of the ring of the first reflecting surface.
前記パノラマ撮像レンズ及び前記撮像光学系の前記光軸の方向と、前記反射鏡の視野角の範囲に含まれる方向の少なくとも一方が、水平方向以下の方向に一致して設けられ、前記パノラマ撮像レンズには、前記光軸に対して直交する下方と両側方及び前記反射鏡の前記視野角方向の画像が入射するものである。 At least one of the direction of the optical axis of the panoramic image pickup lens and the image pickup optical system and the direction included in the range of the viewing angle of the reflecting mirror is provided so as to coincide with a horizontal direction or less, and the panoramic image pickup lens is provided. Is incident on the lower and both sides orthogonal to the optical axis and the image in the viewing angle direction of the reflecting mirror.
前記撮像素子に入射した画像のうち、前記反射鏡でとらえられた前記光軸方向周辺の画像と、前記撮像素子に入射した他の画像とを、各々表示する表示装置及びそれらの画像を処理する画像処理装置の少なくとも一方を備えたものである。前記表示装置は、前記パノラマ撮像装置の水平方向側方の画像、下方の画像、及び前記光軸方向周辺の画像を一つの表示画面に表示するものである。 Of the images incident on the image sensor, a display device for displaying an image around the optical axis captured by the reflecting mirror and another image incident on the image sensor, and processing the images. At least one of the image processing devices is provided. The display device displays an image on the horizontal side of the panoramic image pickup device, an image below, and an image around the optical axis in one display screen.
特に、前記パノラマ撮像装置を車両等の移動体の前方又は後方に配置して、前記移動体の前方又は後方を監視可能にしたものである。また、前記パノラマ撮像装置を移動体の側方に配置して、前記移動体の側方と、前方又は後方を監視可能にしたものでも良い。さらに、前記パノラマ撮像装置を移動体の前方及び後方の少なくなくとも何れかの角部に配置し、移動体の側方と前方及び/又は後方を監視可能にしたものでも良い。 Particularly, the panoramic imaging device is arranged in front of or behind a moving body such as a vehicle so that the front or rear of the moving body can be monitored. Further, the panoramic image pickup device may be arranged on the side of the moving body so that the side of the moving body and the front or the rear can be monitored. Further, the panoramic image pickup device may be arranged at at least one of the corners of the front and rear of the moving body so that the side and front and/or rear of the moving body can be monitored.
この発明の移動体周辺監視装置によれば、簡単な装置で移動体の周囲をより広範囲に監視することができ、移動体の運転者の死角を無くし、安全な運転に貢献するものである。特に、360°の広い範囲を撮影可能なパノラマ撮像レンズを用いて、その撮影範囲の不用な部分を、反射鏡を用いて他の方向の画像の撮影に利用しているものであり、一つの撮像素子で必要な広範囲の監視を可能にする。 According to the moving body surroundings monitoring device of the present invention, it is possible to monitor the surroundings of a moving body in a wider range with a simple device, eliminate the blind spot of the driver of the moving body, and contribute to safe driving. In particular, a panoramic imaging lens capable of shooting a wide range of 360° is used, and an unnecessary portion of the shooting range is used for shooting an image in another direction using a reflecting mirror. It enables a wide range of monitoring required by the image sensor.
以下この発明の実施の形態について図面に基づいて説明する。図1〜図6はこの発明の一実施形態を示すもので、この実施形態の移動体周辺監視装置に用いられるパノラマ撮像装置10は、光学ガラスやレンズ用の透明樹脂等で形成され、レンズ中心の光軸x回りに回転対称に形成されたパノラマ撮像レンズ12を備えている。以下、光学系及び空間の方向をXYZの直交座標系において、X軸方向を水平方向とし、この実施形態では光軸x方向と一致している。さらに、X軸と直交した水平方向をY軸方向とし、X軸及びY軸と直交する垂直方向をZ軸方向とする。
Embodiments of the present invention will be described below with reference to the drawings. 1 to 6 show an embodiment of the present invention. A panoramic
パノラマ撮像レンズ12は、360°の視界を一度に撮像できるように360°全周から、光軸x上の面における画角θの範囲で、側方からの入射光Lが入射する環状の光入射面14を有する。画角θは、40°〜80°の範囲で、パノラマ撮像レンズ12の光軸xに対して直交する方向に対して、例えば−15°〜35°の範囲に設定されている。環状の光入射面14は、表面が膨出した凸レンズ状に形成されている。さらに、パノラマ撮像レンズ12は、光入射面14に対して所定の間隔を隔てて、光入射面14から入射した入射光Lを、パノラマ撮像レンズ12内へ反射する環状の第一反射面16を有する。環状の光入射面14の環内中央部には、第一反射面16からの反射光Rを、第一反射面16の環の内側部分に向けて反射する第二反射面18が、パノラマ撮像レンズ12の光軸xを中心に、光入射面14の環内中央部に設けられている。
The
第一反射面16は、パノラマ撮像レンズ12の表面の光入射面14と対向する位置に環状に形成され、パノラマ撮像レンズ12の表面が外側に膨らんだ凸面に形成されている。第一反射面16は、パノラマ撮像レンズ12の内面側が、第二反射面18の方向を向いた環状の凹面鏡の反射面となっている。第二反射面18は、凹面に形成されパノラマ撮像レンズ12の表面側が、凸面鏡の反射面として形成されている。第一反射面16及び第二反射面18は、パノラマ撮像レンズ12の表面にアルミニウム蒸着等により金属薄膜を形成して鏡面にしたものである。
The first reflecting
環状の第一反射面16の環内中央部には、第二反射面18と対向する位置に、第二反射面18からの光を透過する光出射面20が形成されている。光出射面20は、光学系に合わせて凹面、凸面又は平面状に形成される。光入射面14、第一反射面16、及び第二反射面18の各表面形状は、光入射面14から入射した360°のパノラマ画像が、光出射面20を経て得られるように、球面又は所定の式で設定される非球面形状に形成されている。
A light emitting surface 20 that transmits light from the second reflecting surface 18 is formed at a position facing the second reflecting surface 18 at the center of the annular first reflecting
パノラマ撮像レンズ12は、その光軸x上に位置し光出射面20と対向して設けられた撮像光学系である結像用のリレーレンズ22を備え、図示しないレンズホルダにより保持され、さらに図示しない筐体内に設けられている。リレーレンズ22の結像位置には、CMOS等の半導体による撮像素子24が設けられ、パノラマ撮像装置10を構成している。撮像素子24上に結像した画像は、図5に示すように、同心円状の極座標系の環状パノラマ画像として撮像されるので、図示しない画像処理装置により環状パノラマ画像が画像処理されて、直交座標系の画像に変換されて、例えば図6に示すように表示装置26に監視画像34として映し出される。
The panoramic
さらに、パノラマ撮像装置10の視野の一方向には、図1に示すように、パノラマ撮像レンズ12の光軸x方向側からの入射光Lを、パノラマ撮像レンズ12の光入射面14の所定の一部の範囲、例えば360°の範囲の内の90°程度の範囲を、光入射面14に導く反射鏡28を備える。反射鏡28の向きは、パノラマ撮像レンズ12の光軸x方向に近い方向の光をパノラマ撮像レンズ12の光入射面14に入射させるように、光軸x方向に対して所定の角度α、例えばα=20°〜50°程度に配置される。
Further, in one direction of the field of view of the panoramic
この実施形態では、パノラマ撮像レンズ12及びリレーレンズ22の光軸x方向と、反射鏡28の、上下方向であるZ軸方向を含むXZ平面上の視野角βの範囲に含まれる方向の少なくとも一方が、水平方向のX軸方向に一致して設けられている。これにより、パノラマ撮像レンズ12には、パノラマ撮像レンズ12の光軸xに対して直交する下方と、Y軸方向における±の水平方向の両側方、及び反射鏡28の上下方向の視野角β及び水平方向の視野角γの範囲内に入る方向の被写体からの光が入射する。なお、反射鏡28の視野角β、及び視野角βを決定する面と直交する面内であり、光軸xと平行な面内における反射鏡28の視野角γは、反射鏡28の大きさや曲率により適宜設定される。この実施形態の移動体周辺監視装置では反射鏡28は、パノラマ撮像レンズ12の光軸x方向に対してほぼ45°以下の鋭角で交差する方向の範囲の光を、パノラマ撮像レンズ12に入射させるように設置されている。
In this embodiment, at least one of the optical axis x direction of the
次に、この実施形態の移動体周辺監視装置を取り付けた車両30について説明する。移動体である車両30の種類は問わないものであり、図面ではワンボックスタイプの乗用車を示しているが、大型のバスやトラック、ショベルカーやブルドーザ、クレーン車、その他土木作業用機械、産業用のフォークリフトやトラクター等でも良く、各種の有人又は無人のカート等、適宜の移動体に取り付けて使用することができる。
Next, a
移動体周辺監視装置は、車両30において運転者の死角が生じる後部30aにパノラマ撮像装置10を取り付け、画像処理装置や表示装置26は、図示しない車内の適宜の位置に取り付けられる。画像処理装置は、車両30とネットワークで接続された外部のホストコンピュータに設けられていても良く、パノラマ画像を直交座標系の画像に変換する他、人や動物、その他各種の物体を検知した情報の処理や、光ビーコン、SLAM技術を使った自車位置測位のための処理行うものでも良い。さらに、車両30の運転席とは反対側のサイドミラー32やその他の側面の内部又は下部に、パノラマ撮像装置10を適宜取り付けても良い。各パノラマ撮像装置10は、パノラマ撮像レンズ12の光軸xが水平方向に取り付けられる。
The moving body surroundings monitoring device is mounted with the
ここで、パノラマ撮像装置10により監視可能な範囲について、図4を基に説明する。車両30の後部30aにパノラマ撮像装置10を取り付けた場合、図4(a)に示すように、反射鏡28の上下方向の視野角βと水平方向の視野角γの範囲は、車両30の進行方向をFwとすると、車両30の後方であって、例えば上下左右に90°の視野の範囲が監視可能となる。さらに、パノラマ撮像装置10の360°の撮影可能範囲の内の、反射鏡28からの光が入る部分以外の監視範囲δは、180°以上の例えば250°程度の範囲とすることができる。従って、パノラマ撮像装置10の画角θで、監視範囲δを監視することができる。車両30の後部30aにパノラマ撮像装置10を取り付けた場合、光軸x方向を含む後方、及び車両30の後部30aのY軸方向の左右方向及び左右の斜め上方、並びに後部30aのZ軸方向の下方の状況を含む監視範囲δを監視することができる。
Here, the range that can be monitored by the
同様に、車両30の側方であるサイドミラー32にパノラマ撮像装置10を取り付けた場合、反射鏡28の上下方向の視野角βと水平方向の視野角γの範囲は、車両30の進行方向Fwと直交する側方であり、例えば上下左右に90°の視野の範囲が監視可能となる。さらに、光軸x方向と直交するY軸方向においては、サイドミラー32が設けられた側の前後方向であり車両の進行方向FwであるY軸方向の前後及び前後の斜め上方、並びにサイドミラー32の下方の状況を含む監視範囲δを監視することができる。監視範囲δは、上記と同様に、180°以上の例えば250°程度の範囲とすることができる。
Similarly, when the
表示装置26に表示される監視画像34は、図5に示す円環状の極座標系のパノラマ画像36として撮像素子24により撮影されるので、撮影された極座標系の画像を、画像処理装置により画像処理して、図6に示すように、直交座標系の監視画像34として歪みが補正され、表示装置26の四角い表示画面上に表示される。
The
パノラマ撮像装置10は、パノラマ撮像レンズ12の光軸xが水平方向に取り付けられているので、図5に示す環状のパノラマ画像36は、左右の側方画像36a、36bと、車両30の後部30aの下部を撮した下部画像36cが連続的に撮影される。さらに、パノラマ画像36の上方のほぼ90°の視野角β及び視野角γの範囲には、反射鏡28で反射されて、パノラマ撮像レンズ12の光入射面14に入射した略水平方向に後方遠方の、後方遠方画像36dが撮影される。
Since the optical axis x of the panoramic
パノラマ撮像装置10の撮像素子24で撮影された、図5に示すパノラマ画像36は、図示しない画像処理装置により、図6に示す直交座標系の監視画像34に変換され、表示装置26に表示される。表示される監視画像34は、左右の側方画像34a、34bが両側に表示されるとともに、車両30の後部30aの下部画像34cが各々区切られて表示される。さらに、図5に示すパノラマ画像36の上方のほぼ90°の範囲にある、反射鏡28で反射された後方遠方画像36dは、図6に示す後方遠方画像34dとして表示される。
The
パノラマ撮像装置10で撮影されたパノラマ画像36の他の表示方法として、図7に示す監視画像38のように、パノラマ画像36の左右の側方画像34a、34bと下部画像34cを連続して、左右の側方画像38a、38bとして表示し、反射鏡28で反射された画像は、後方遠方画像38cとして、側方画像38a,38bの間に大きく表示しても良い。
As another display method of the
この移動体周辺監視装置によれば、360°の範囲を撮影することができるパノラマ撮像装置10を用いて、効果的に広範囲の画像を取得することができ、360°の範囲のうち、必要性のない範囲については、反射鏡28を使って必要な範囲の画像をパノラマ撮像レンズ12に入射させ、単一のパノラマ撮像装置10で、車両30の周囲の極めて広範囲の監視を行うことができるものである。特に、車両30の後部30aに設けた場合は、後部30aのY軸方向の左右には、光軸x方向と直交する水平方向を含む左右の斜め上方からZ軸方向下方を含む180°以上の監視範囲δで、パノラマ撮像レンズ12の画角θで車両30の後方を監視することができる。さらに、光軸x方向であり水平方向のX軸方向後方遠方の範囲を、視野角β,γで確実に監視することができる。また、サイドミラー32にパノラマ撮像装置10を設けた場合も、同様にサイドミラー32の前後方向であるY軸方向の斜め上方からZ軸方向下方を含む180°以上の監視範囲δで、パノラマ撮像レンズ12の画角θで車両30の前後方向を監視することができる。さらに、サイドミラー32のパノラマ撮像装置10の光軸x方向である水平方向のX軸方向側方の範囲を、視野角β,γで確実に監視することができる。
According to this mobile body periphery monitoring device, it is possible to effectively acquire a wide range of images by using the
なお、この発明の移動体周辺監視装置は上記実施形態に限定されるものではなく、図8(a)に示すように、このパノラマ撮像装置10を車両30の後部30aの角部に2台設けて、撮影することにより、車両30の両側の側方を前後方向に180°以上の水平方向及び下方、及び後方の監視を行うことができる。さらに、反射鏡28の向きを水平方向に、車両30の両角のうちの互いに反対側の角部方向の画像を撮影すると良い。これにより、反射鏡28に写る範囲を、後部30aの後方及び車両30の前後水平方向の側方を各々監視することができ、2台のパノラマ撮像装置10により、車両30の後部30aの後方全域を監視することができる。この実施形態では、車両30の後部30aの角部で、パノラマ撮像レンズ12の光軸x方向が、水平方向のX軸とY軸方向の中間方向を向いて配置され、XY平面に対して斜め上方からZ軸方向下方の180°以上の監視範囲δで、画角θで後部30aの角部を監視する。さらに、水平方向のX軸とY軸方向の中間方向の光軸x方向に、後方の側方の範囲を視野角β,γで確実に監視することができる。
It should be noted that the moving body surroundings monitoring device of the present invention is not limited to the above embodiment, and as shown in FIG. 8A, two panoramic
この実施形態の移動体周辺監視装置によれば、通常は前後左右の少なくとも3台のカメラを必要とするところ、2台のパノラマ撮像装置10のみで、車両30の左右両側方と、後方の上下及び後方遠方の全範囲を確実に監視することが可能となり、車両運転等の安全性を容易に高めることができる。
According to the mobile body surroundings monitoring device of this embodiment, at least three cameras (front, rear, left, and right) are usually required, but only two panoramic
その他、本願発明の構成は適宜選択可能なものであり、図8に示す例とは逆に、このパノラマ撮像装置10を車両30の前方の角部に設けて撮影することにより、車両30の側方を前後方向に180°以上の水平方向及び下方、並びに前方の監視を行うことができる。さらに、車両30の側方にパノラマ撮像装置10を設けて撮影することにより、車両30の側方を前後方向に180°以上の水平方向及び下方、並びに前方の監視を行うことができる。また、パノラマ撮像装置を移動体の後方と両側面に各々設けて、3台のパノラマ撮像装置により、移動体周辺の監視を行っても良く、設置する台数や監視する方向は適宜選択可能なものである。
In addition, the configuration of the invention of the present application can be appropriately selected. Contrary to the example shown in FIG. 8, the
さらに、パノラマ撮像レンズ12及びリレーレンズ22の光軸x方向は、用途に合わせて適宜設定可能なものである。光軸x方向が水平方向以下にする場合、パノラマ撮像レンズ12の光入射面14において、第二反射面18側の最大入射角を仰角とすると、仰角の方向が、鉛直方向の真下を向くような位置までの範囲で、光軸xの向きを適宜設定可能である。さらに、光軸x方向が水平方向より上方にする場合、パノラマ撮像レンズ12の光入射面14において、第一反射面14側の最大入射角を俯角とすると、俯角の方向が、鉛直方向の真下を向く位置までの範囲で、光軸xの向きを適宜設定可能である。また、反射鏡は、鏡面を有したものの他プリズムを利用した光学素子でも良く、その種類や材質は問わず、鏡面も、平面鏡のみならず凹面鏡や凸面鏡を用いても良い。パノラマ撮像レンズは、その配置位置や設置する場合の光軸の水平方向の角度は適宜設定されるもので、材質や視野角も適宜選択可能なものである。
Further, the optical axis x direction of the
10 パノラマ撮像装置
12 パノラマ撮像レンズ
14 光入射面
16 第一反射面
18 第二反射面
20 光出射面
22 リレーレンズ
24 撮像素子
26 表示装置
28 反射鏡
30 車両
30a 車両後部
32 サイドミラー
34 監視画像
36 パノラマ画像
10
Claims (8)
前記パノラマ撮像装置の360°の視野の一方向に配置され、前記光軸方向周辺からの光を前記パノラマ撮像レンズの前記光入射面の一部に導く反射鏡を備えたことを特徴とする移動体周辺監視装置。 It was made of a light-transmissive material, was formed in rotational symmetry around the optical axis of the lens center, and had a light incident surface on which side light could enter from the entire 360° orthogonal to the optical axis. A panoramic imaging lens, an imaging element that captures an image formed by being incident on the panoramic imaging lens, and light incident on the panoramic imaging lens disposed between the panoramic imaging lens and the imaging element to the imaging element. A panoramic image pickup device having an image pickup optical system for forming an image;
A movement including a reflecting mirror that is arranged in one direction of a 360° field of view of the panoramic image pickup device and guides light from the periphery of the optical axis direction to a part of the light incident surface of the panoramic image pickup lens. Body circumference monitoring device.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018235267A JP6701482B1 (en) | 2018-12-17 | 2018-12-17 | Mobile object surroundings monitoring device |
CN201980072655.0A CN113039485A (en) | 2018-12-17 | 2019-06-11 | Surveillance device around moving body |
PCT/JP2019/023028 WO2020129278A1 (en) | 2018-12-17 | 2019-06-11 | Moving body periphery monitoring device |
PCT/JP2019/041612 WO2020129398A1 (en) | 2018-12-17 | 2019-10-24 | Observation apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018235267A JP6701482B1 (en) | 2018-12-17 | 2018-12-17 | Mobile object surroundings monitoring device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6701482B1 true JP6701482B1 (en) | 2020-05-27 |
JP2020098228A JP2020098228A (en) | 2020-06-25 |
Family
ID=70776070
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018235267A Expired - Fee Related JP6701482B1 (en) | 2018-12-17 | 2018-12-17 | Mobile object surroundings monitoring device |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP6701482B1 (en) |
CN (1) | CN113039485A (en) |
WO (2) | WO2020129278A1 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111190274A (en) * | 2020-02-13 | 2020-05-22 | 浙江大学 | A panoramic annular optical imaging device with dual-channel co-image plane |
KR102544194B1 (en) | 2020-11-02 | 2023-06-15 | 삼성전기주식회사 | Optical Imaging System |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03266740A (en) * | 1990-03-16 | 1991-11-27 | Toshiba Corp | Rear view confirming camera loaded on car |
JPH11312300A (en) * | 1998-04-27 | 1999-11-09 | Matsushita Electric Ind Co Ltd | In-vehicle camera |
JP3377995B1 (en) * | 2001-11-29 | 2003-02-17 | 株式会社立山アールアンドディ | Panoramic imaging lens |
JP4005456B2 (en) * | 2002-09-10 | 2007-11-07 | 株式会社オートネットワーク技術研究所 | Camera device and vehicle periphery visual recognition device |
JP3709879B2 (en) * | 2003-05-01 | 2005-10-26 | 日産自動車株式会社 | Stereo image processing device |
JP5152901B2 (en) * | 2007-12-13 | 2013-02-27 | 国立大学法人富山大学 | Panorama imaging method and apparatus |
JP5245438B2 (en) * | 2008-02-07 | 2013-07-24 | 日産自動車株式会社 | Vehicle periphery monitoring device |
JP5018722B2 (en) * | 2008-10-01 | 2012-09-05 | トヨタ自動車株式会社 | Imaging device |
JP2011005930A (en) * | 2009-06-25 | 2011-01-13 | Panasonic Corp | Visibility supporting device |
JP2011182176A (en) * | 2010-03-01 | 2011-09-15 | Toyama Univ | Wide viewing angle image processing method, and wide viewing angle image photographing device |
-
2018
- 2018-12-17 JP JP2018235267A patent/JP6701482B1/en not_active Expired - Fee Related
-
2019
- 2019-06-11 WO PCT/JP2019/023028 patent/WO2020129278A1/en active Application Filing
- 2019-06-11 CN CN201980072655.0A patent/CN113039485A/en active Pending
- 2019-10-24 WO PCT/JP2019/041612 patent/WO2020129398A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
JP2020098228A (en) | 2020-06-25 |
WO2020129398A1 (en) | 2020-06-25 |
CN113039485A (en) | 2021-06-25 |
WO2020129278A1 (en) | 2020-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110178369B (en) | Camera device, camera system and display system | |
KR101295295B1 (en) | Image processing method and image processing apparatus | |
JP3627914B2 (en) | Vehicle perimeter monitoring system | |
JP3841621B2 (en) | Omnidirectional visual sensor | |
US10623618B2 (en) | Imaging device, display system, and imaging system | |
JP2018084802A (en) | Imaging device, imaging system, and distance information acquisition method | |
KR20150123534A (en) | Approach monitoring and operation control system for heavy equipment of industry and construction | |
WO2020153317A1 (en) | Vehicle-mounted camera | |
JP6701482B1 (en) | Mobile object surroundings monitoring device | |
CN109799514A (en) | Optical system, image capture apparatus, distance-measuring device and onboard system | |
JP3453960B2 (en) | Vehicle periphery monitoring device | |
US20180338095A1 (en) | Imaging system and moving body control system | |
US20250071232A1 (en) | Imaging apparatus and imaging system | |
WO2022230824A1 (en) | Image display device and image display method | |
JP2017181634A (en) | Imaging apparatus and on-vehicle camera system | |
US20240114253A1 (en) | Movable apparatus and installation method for imaging device | |
CN117774832A (en) | Method for installing movable equipment and camera device | |
JP2019521390A (en) | Image acquisition complex lens and its application | |
JPH0655871U (en) | Rear view camera with curvature hood glass | |
US20240314455A1 (en) | Movable apparatus, image processing apparatus, storage medium, and installation method for imaging apparatus | |
JPH02151828A (en) | All-azimuth observation device | |
US20170048455A1 (en) | Optic for enabling instantaneously 360° Degree Panoramic Video of the Surroundings | |
JP2011005930A (en) | Visibility supporting device | |
JP2010019924A (en) | Photographing apparatus | |
WO2021235255A1 (en) | Image display module |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200205 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200205 |
|
TRDD | Decision of grant or rejection written | ||
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200313 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200324 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200401 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6701482 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |