JP5500442B2 - Low light camera - Google Patents
Low light camera Download PDFInfo
- Publication number
- JP5500442B2 JP5500442B2 JP2010140696A JP2010140696A JP5500442B2 JP 5500442 B2 JP5500442 B2 JP 5500442B2 JP 2010140696 A JP2010140696 A JP 2010140696A JP 2010140696 A JP2010140696 A JP 2010140696A JP 5500442 B2 JP5500442 B2 JP 5500442B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- image data
- intensity
- light emitting
- emission intensity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Studio Devices (AREA)
Description
本発明は、比較的暗い撮像箇所の撮影に適した低照度対応カメラに関するものである。 The present invention relates to a low-illuminance camera suitable for photographing a relatively dark imaging location.
近年、タクシーなどでは車内監視のための小型カメラ(車内監視カメラ)が搭載されている。これは、車内で発生した乗客とのトラブルの状況把握に役立つだけでなく、抑止になる点でも有用だからである。このようなトラブルは昼間だけでなく深夜に発生することも多いため、車内監視カメラには、室内灯が点灯していない暗闇の中でも映像を取得できることが要求される。そのため、車内監視カメラとしては、低照度対応の受光素子(センサ)を搭載したカメラや、照明機能付きのカメラなどが用いられる。その中でも、低照度対応のセンサを搭載した車内監視カメラは比較的高価であるため、照明機能付きの車内監視カメラの方が普及している。照明機能付きの車内監視カメラは、一般に、LED等の発光手段を用いて被写体を照明し、その被写体からの反射光をセンサ(受光手段)で受光し、これにより得られる受光強度データを所定のフレーム周期(フレームレート)で取得してフレーム画像データを生成し、そのフレーム画像データに基づいて動画像データを作成する。 In recent years, taxis and the like are equipped with small cameras (in-vehicle monitoring cameras) for in-vehicle monitoring. This is because it is useful not only for grasping the situation of troubles with passengers occurring in the car but also for deterrence. Since such troubles often occur not only in the daytime but also at midnight, the in-vehicle monitoring camera is required to be able to acquire an image even in the dark where the room light is not lit. Therefore, a camera equipped with a light-receiving element (sensor) compatible with low illuminance, a camera with an illumination function, or the like is used as an in-vehicle monitoring camera. Among these, in-vehicle surveillance cameras equipped with low-illuminance sensors are relatively expensive, so in-vehicle surveillance cameras with illumination functions are more prevalent. An in-vehicle surveillance camera with an illumination function generally illuminates a subject using light emitting means such as an LED, receives reflected light from the subject with a sensor (light receiving means), and receives light reception intensity data obtained thereby by a predetermined amount. Frame image data is generated at a frame period (frame rate), and moving image data is created based on the frame image data.
車内監視カメラは、一般に、運転席前の上部に配置されたルームミラー付近に設置されることが多い。車内監視カメラでは、カメラから数十cm程度の距離にある運転席だけでなく、助手席の様子、さらに運転席や助手席のドア(車体前部ドア)からの不法侵入等に対する防犯対応も考えれば車体前部ドア付近の様子までも、撮像できることが望まれる。そのため、車内監視カメラには、この撮像を可能にするほどの広画角性が望まれる。一方で、車内監視カメラとして照明機能付きのものを用いる場合、運転者の視認性に与える影響等を考慮すると、その照明に可視光を用いることには大きな制限がある。そのため、その照明としては、センサの受光感度のある帯域のうち可視光外の波長帯域(例えば赤外波長帯域)で発光する光源(赤外LED等)を用いるものが多い。しかしながら、広画角性が望まれる車内監視カメラの撮像範囲に含まれる広い領域を照明できるほどの高パワータイプの赤外LED等の可視光外波長の光源は、用途が限られているので高価であり、照明機器として蛍光灯に置き換わってきている可視光LED等の可視光の光源とは違って安価に入手することが困難である。そのため、広画角性が望まれる照明機能付きの車内監視カメラを安価に提供するためには、その光源として、安価な低パワータイプの可視光外波長の光源を高パワータイプのものよりも多く搭載して広い領域を照明できるようにする構成が提案されている。 In-vehicle surveillance cameras are often installed in the vicinity of a rearview mirror disposed in front of the driver's seat. In-vehicle surveillance cameras can be used not only for the driver's seat at a distance of several tens of centimeters from the camera, but also for the passenger seat, and for crime prevention against illegal intrusion from the driver's seat and the passenger's seat door (front door of the vehicle body). In other words, it is desirable to be able to image even the situation near the front door of the vehicle body. Therefore, the in-vehicle surveillance camera is desired to have such a wide angle of view that enables this imaging. On the other hand, when using a camera with an illumination function as an in-vehicle monitoring camera, considering the influence on the visibility of the driver, etc., there is a great limitation in using visible light for the illumination. For this reason, as the illumination, a light source (infrared LED or the like) that emits light in a wavelength band outside the visible light (for example, an infrared wavelength band) among the bands having light receiving sensitivity of the sensor is often used. However, light sources with wavelengths outside visible light such as high-power infrared LEDs that can illuminate a wide area included in the imaging range of in-vehicle surveillance cameras that require a wide angle of view are expensive because their applications are limited. Unlike a visible light source such as a visible light LED that has been replaced by a fluorescent lamp as a lighting device, it is difficult to obtain it at low cost. Therefore, in order to provide an in-vehicle surveillance camera with an illumination function for which a wide angle of view is desired at a low price, as a light source there are more inexpensive low-power type light sources with a wavelength outside visible light than those of a high-power type. A configuration has been proposed that can be mounted to illuminate a wide area.
車内監視カメラは、自動車のバッテリー等を用いたバッテリー駆動であるため、その電力消費量をむやみに増やすことはできない。そのため、照明に用いる光源の発光量を照明に必要な最小限の量に抑えることが重要となる。しかしながら、電力消費量を抑えるために、車載監視カメラに近い運転席や助手席の様子を認識するために必要な最小限の光量で照明すると、後部座席(座席が3列以上ある自動車については2列目以降の座席)の様子を撮像するには光量が不足する。そのため、後部座席の様子を認識できるほどの画像が得られず、後部座席についての視認性が悪いという問題が生じる。また、運転席や助手席であっても比較的暗い手元や足元等の暗部箇所では光量不足となり、そのような箇所も視認性が悪いという問題が生じる。 The in-vehicle surveillance camera is battery-driven using a car battery or the like, and therefore, its power consumption cannot be increased unnecessarily. Therefore, it is important to suppress the light emission amount of the light source used for illumination to the minimum amount necessary for illumination. However, in order to reduce power consumption, the rear seats (2 for cars with more than two rows of seats) are illuminated with the minimum amount of light necessary for recognizing the driver's and passenger's seats close to the vehicle-mounted surveillance camera. The amount of light is insufficient to image the state of the seats in the rows and beyond. Therefore, the image which can recognize the mode of a backseat is not obtained, but the problem that the visibility about a backseat is bad arises. Further, even in a driver's seat or a passenger seat, there is a problem that the amount of light is insufficient in a dark portion such as a relatively dark hand or foot, and the visibility of such a portion is poor.
ここで、後部座席や暗部箇所などの視認性を高めるために、センサの感度(増幅率)を高めることも考えられるが、この場合にはセンサ出力に含まれるノイズが増大してしまい、かえって視認性を悪化させることになり得る。よって、後部座席や暗部箇所の視認性を高める場合には、照明の発光強度を高める方が好ましい。しかしながら、後部座席の様子や暗部箇所の様子を認識できるほどの光量で撮像可能範囲全体を照明することは、電力消費量を増大させるため、バッテリー駆動である車内監視カメラではその実現が難しい。 Here, in order to improve the visibility of the rear seats and dark places, it is conceivable to increase the sensitivity (amplification factor) of the sensor. However, in this case, the noise included in the sensor output increases, which is rather visually recognized. It can make your sex worse. Therefore, when increasing the visibility of the rear seat or the dark part, it is preferable to increase the light emission intensity of the illumination. However, illuminating the entire imageable range with an amount of light that can recognize the state of the rear seat and the state of the dark part increases the power consumption, so that it is difficult to realize it with a battery-driven in-vehicle monitoring camera.
上述した問題は、照明機能付きの車内監視カメラに限ったものではなく、低照度環境下において、照明機能付きのカメラにより、比較的遠い箇所の被写体あるいは比較的暗い箇所などのように強い発光強度の照明下において高い視認性が得られる撮像箇所について、低い消費電力で高い視認性を得ようとする場合には、その用途あるいは使用場所などに制限されず、同様に生じ得る問題である。 The above-mentioned problems are not limited to in-vehicle surveillance cameras with illumination functions. In low-light environments, strong illumination intensity such as subjects in relatively distant places or relatively dark places can be obtained with cameras with illumination functions. In the case of trying to obtain high visibility with low power consumption for an imaging location where high visibility can be obtained under the illumination, there is a problem that may occur in the same way without being limited to its use or place of use.
本発明は、以上の問題に鑑みなされたものであり、その目的とするところは、低照度環境下において、強い発光強度の照明下で高い視認性が得られる撮像箇所について、低い消費電力で高い視認性を得ることができる低照度対応カメラを提供することである。 The present invention has been made in view of the above problems, and the object of the present invention is high in low power consumption with respect to an imaging location where high visibility is obtained under illumination with strong light emission intensity in a low illumination environment. It is an object to provide a low-illuminance camera capable of obtaining visibility.
上記目的を達成するために、請求項1の発明は、発光手段と、該発光手段の発光波長帯域の少なくとも一部について受光感度を持つ受光手段と、該発光手段による照明下で被写体からの反射光を該受光手段へ集光する集光手段と、該受光手段により得られる受光強度データを所定のフレーム周期で取得してフレーム画像データを生成し、該フレーム画像データに基づいて動画像データを作成する動画像データ作成手段とを有する低照度対応カメラにおいて、上記発光手段は、所定の出射角及び所定の出射強度を有する第1発光部と、上記第1発光部の出射角よりも出射角が狭くかつ上記第1発光部の出射強度よりも出射強度が強い第2発光部とを含んだ複数の発光部を有しており、上記フレーム周期に同期させて、上記第1発光部の発光強度が上記第2発光部よりも大きいときと上記第2発光部の発光強度が上記第1発光部よりも大きいときが生じるように各発光部の発光強度を制御する発光強度制御手段を設け、上記動画像データ作成手段は、上記第1発光部の発光強度が上記第2発光部よりも大きいときの照明下で得られたフレーム画像データおよび上記第2発光部の発光強度が上記第1発光部よりも大きいときの照明下で得られたフレーム画像データを用いて1つの動画像データを作成することを特徴とするものである。
また、請求項2の発明は、請求項1の低照度対応カメラにおいて、上記第1発光部の出射角は120度であり、上記第2発光部の出射角は40度であることを特徴とするものである。
また、請求項3の発明は、発光手段と、該発光手段の発光波長帯域の少なくとも一部について受光感度を持つ受光手段と、該発光手段による照明下で被写体からの反射光を該受光手段へ集光する集光手段と、該受光手段により得られる受光強度データを所定のフレーム周期で取得してフレーム画像データを生成し、該フレーム画像データに基づいて動画像データを作成する動画像データ作成手段とを有する低照度対応カメラにおいて、上記発光手段は、撮像可能範囲内の互いに異なる箇所に向けて光を照射する第1発光部及び第2の発光部を含んだ複数の発光部を有しており、上記フレーム周期に同期させて、上記第1発光部の発光強度が上記第2発光部よりも大きいときと上記第2発光部の発光強度が上記第1発光部よりも大きいときが生じるように各発光部の発光強度を制御する発光強度制御手段を設け、上記動画像データ作成手段は、上記第1発光部の発光強度が上記第2発光部よりも大きいときの照明下で得られたフレーム画像データおよび上記第2発光部の発光強度が上記第1発光部よりも大きいときの照明下で得られたフレーム画像データを用いて1つの動画像データを作成することを特徴とするものである。
また、請求項4の発明は、請求項3の低照度対応カメラにおいて、上記複数の発光部は、非対称の発光強度分布を有する非対称分布発光部を含んでおり、所定の発光強度による照明下で高い視認性が得られる強発光強度被写体を該所定の発光強度で照明し、該所定の発光強度よりも小さい発光強度による照明下で高い視認性が得られる弱発光強度被写体を該所定の発光強度よりも小さい発光強度で照明するように、該非対称分布発光部の発光強度分布を設定したことを特徴とするものである。
また、請求項5の発明は、請求項1乃至4のいずれか1項に記載の低照度対応カメラにおいて、上記動画像データ作成手段は、少なくとも一部の撮像可能範囲について、上記少なくとも2つの発光部が上記複数の発光部の中で発光強度が最大となる時の照明下でそれぞれ得られる同一撮像箇所についての複数の受光強度データを合成して該同一撮像箇所についての1つの受光強度データを生成し、これにより生成した受光強度データを用いて上記動画像データを作成することを特徴とするものである。
また、請求項6の発明は、請求項1乃至5のいずれか1項に記載の低照度対応カメラにおいて、上記動画像データ作成手段は、撮像可能範囲を分割して得られる複数の撮像箇所について、それぞれ、上記第1発光部の発光強度が上記第2発光部よりも大きいときの照明下で得られる受光強度データおよび上記第2発光部の発光強度が上記第1発光部よりも大きいときの照明下で得られる受光強度データを用いて上記動画像データを作成することを特徴とするものである。
また、請求項7の発明は、請求項6の低照度対応カメラにおいて、複数のフレーム画像データそれぞれを格納可能な複数のメモリ領域を有するフレームメモリを有し、上記動画像データ作成手段は、上記少なくとも2つの発光部による照明下でそれぞれ得られる受光強度データのうち最初に得られた受光強度データから生成したフレーム画像データが格納されているメモリ領域に対し、上記複数の撮像箇所に対応するメモリ部分のデータを、高い視認性が得られる他の発光部による照明下で得られる受光強度データから生成したフレーム画像データのものに置き換える処理を行うことを特徴とするものである。
また、請求項8の発明は、請求項1乃至7のいずれか1項に記載の低照度対応カメラにおいて、上記発光手段は、発光波長帯域として赤外波長帯域を有するものであることを特徴とするものである。
In order to achieve the above object, the invention of claim 1 is directed to a light emitting means, a light receiving means having a light receiving sensitivity for at least a part of an emission wavelength band of the light emitting means, and reflection from an object under illumination by the light emitting means. Condensing means for condensing light on the light receiving means, received light intensity data obtained by the light receiving means is acquired at a predetermined frame period to generate frame image data, and moving image data is generated based on the frame image data In the low-illuminance camera having the moving image data creating means to be created, the light emitting means includes a first light emitting portion having a predetermined emission angle and a predetermined emission intensity, and an emission angle that is greater than the emission angle of the first light emitting portion. Having a plurality of light emitting parts including a second light emitting part having a narrow emission intensity and a stronger emission intensity than that of the first light emitting part, and emitting light from the first light emitting part in synchronization with the frame period. Strength Provided is a light emission intensity control means for controlling the light emission intensity of each light emitting part so that the light emission intensity of the second light emitting part and the light emission intensity of the second light emitting part are greater than those of the first light emitting part. The image data creation means is configured such that the frame image data obtained under illumination when the light emission intensity of the first light emitting unit is greater than that of the second light emitting unit and the light emission intensity of the second light emitting unit are greater than those of the first light emitting unit. One piece of moving image data is created using frame image data obtained under illumination when the size of the image is large.
According to a second aspect of the present invention, in the low-illuminance camera according to the first aspect, the emission angle of the first light emitting unit is 120 degrees, and the emission angle of the second light emitting unit is 40 degrees. To do.
According to a third aspect of the present invention, there is provided a light emitting means, a light receiving means having a light receiving sensitivity for at least a part of an emission wavelength band of the light emitting means, and reflected light from a subject under illumination by the light emitting means to the light receiving means. Condensing means for condensing, and received light intensity data obtained by the light receiving means at a predetermined frame period to generate frame image data, and create moving image data based on the frame image data The light emitting means has a plurality of light emitting parts including a first light emitting part and a second light emitting part that irradiate light toward different locations within the imageable range. In synchronization with the frame period, the light emission intensity of the first light emitting unit is greater than that of the second light emitting unit and the light emission intensity of the second light emitting unit is greater than that of the first light emitting unit. The light intensity control means for controlling the light emission intensity of each light emitting part is provided, and the moving image data creating means is obtained under illumination when the light emission intensity of the first light emitting part is larger than that of the second light emitting part. One moving image data is created using the frame image data obtained and the frame image data obtained under illumination when the light emission intensity of the second light emitting unit is larger than that of the first light emitting unit. Is.
According to a fourth aspect of the present invention, in the low-illuminance camera according to the third aspect, the plurality of light emitting portions include an asymmetric distributed light emitting portion having an asymmetric light emission intensity distribution, and under illumination with a predetermined light emission intensity. An object with high emission intensity that provides high visibility is illuminated with the predetermined emission intensity, and an object with low emission intensity that provides high visibility under illumination with an emission intensity smaller than the predetermined emission intensity is provided with the predetermined emission intensity. The light emission intensity distribution of the asymmetrically distributed light emitting part is set so that illumination is performed with a smaller light emission intensity.
According to a fifth aspect of the present invention, in the low-illuminance camera according to any one of the first to fourth aspects, the moving image data creating means includes the at least two light emission modes for at least a part of the imageable range. The unit synthesizes a plurality of received light intensity data for the same imaging location respectively obtained under illumination when the emission intensity is maximum among the plurality of light emitting portions, and obtains one received light intensity data for the same imaging location. The moving image data is generated using the received light intensity data generated.
According to a sixth aspect of the present invention, there is provided the low-illuminance camera according to any one of the first to fifth aspects, wherein the moving image data creating unit is configured to obtain a plurality of imaging locations obtained by dividing the imaging range. The received light intensity data obtained under illumination when the light emission intensity of the first light-emitting part is larger than that of the second light-emitting part and the light-emission intensity of the second light-emitting part are larger than those of the first light-emitting part, respectively. The moving image data is created using received light intensity data obtained under illumination.
Further, the invention of claim 7 is the low-illuminance camera according to claim 6, further comprising a frame memory having a plurality of memory areas capable of storing a plurality of frame image data, Memory corresponding to the plurality of imaging locations with respect to a memory area in which frame image data generated from received light intensity data obtained first among received light intensity data obtained under illumination by at least two light emitting units is stored The processing is performed by replacing the data of the portion with that of the frame image data generated from the received light intensity data obtained under illumination by another light emitting unit that provides high visibility.
The invention of claim 8 is the low-illuminance camera according to any one of claims 1 to 7, wherein the light emitting means has an infrared wavelength band as an emission wavelength band. To do.
請求項1に係る発明においては、第1発光部による照明下においては、第2発光部による照明下よりも、カメラから近い近距離被写体について広い範囲で視認性の高い画像を得ることができる。一方、第2発光部による照明下においては、第1発光部による照明下よりも、狭い範囲で、カメラから遠い遠距離被写体や暗部箇所に存在する暗部被写体について視認性の高い画像を得ることができる。これにより、請求項1に係る発明によれば、第1発光部によって近距離被写体について広い範囲で高い視認性を確保するとともに、所定の狭い範囲に存在する遠距離被写体や暗部被写体については第2発光部によって高い視認性を確保することができる。しかも、請求項1に係る発明においては、第1発光部の発光強度が第2発光部よりも大きいときと、第2発光部の発光強度が第1発光部よりも大きいときが生じるように各発光部の発行強度が制御されるので、第2発光部を第1発光部よりも大きい発光強度で常時発光させる場合よりも、少ない消費電力で、遠距離被写体や暗部被写体について同等の視認性をもつ動画像データを得ることができる。
ここで、第1発光部よりも出射強度が大きい第2発光部の出射角を当該第1発光部と同等の出射角とすると、消費電力を増大させるばかりか、次のように電力を無駄に消費させることにもなる。すなわち、第2発光部の出射角を第1発光部のものと同等に広げると、カメラから近い近距離被写体に強い光が当たり、近距離被写体にいわゆる白飛び(明るすぎてセンサの受光感度上限を超え真っ白くなる状態)が発生するおそれがある。このように近距離被写体に白飛びを発生させるほどの強い光は、その近距離被写体の視認性を向上させる効果がないので、無駄となる。
請求項1に係る発明では、第2発光部の出射角が第1発光部よりも狭く、その照明範囲が第1発光部よりも狭い範囲に制限されるため、近距離被写体に白飛びを発生させる無駄な電力消費を抑えることができる。特に、カメラから遠い遠距離被写体と第2発光部との間に近距離被写体が存在しないように設定すれば、近距離被写体に白飛びを発生させることないので、無駄な電力消費の削減効果が高い。
In the invention according to claim 1, under illumination by the first light-emitting portion, than under illumination by the second light emitting portion, it is possible to obtain an image having high visibility in a wide range for a short distance object near the camera. On the other hand, under illumination by the second light emitting part, than under illumination by the first light emitting portion, a narrow range, the dark area subject existing distant far subject and dark portion portion from a camera to obtain a high visibility images it can. Thus, according to the first aspect of the invention, the first light emitting unit secures high visibility in a wide range for a short-distance subject, and the second subject for a long-distance subject and a dark subject in a predetermined narrow range. High visibility can be ensured by the light emitting portion. In addition, in the invention according to claim 1, each of the first light-emitting part and the second light-emitting part has a light emission intensity greater than that of the second light-emitting part and a light emission intensity of the second light-emitting part larger than that of the first light-emitting part. Since the emission intensity of the light emitting unit is controlled , the second light emitting unit has a lower power consumption than the case where the second light emitting unit always emits light with a light emission intensity higher than that of the first light emitting unit , and has the same visibility for a long-distance subject and a dark subject. The moving image data can be obtained.
Here, if the emission angle of the second light emitting unit, which has a higher emission intensity than the first light emitting unit, is set to an emission angle equivalent to that of the first light emitting unit, it not only increases power consumption but also wastes power as follows. It will also be consumed. That is, when the emission angle of the second light emitting unit is increased to be equal to that of the first light emitting unit, strong light hits a near-distance subject close to the camera, and the near-distance subject is so-called whiteout (too bright and the light receiving sensitivity upper limit of the sensor May be in a state of exceeding white and whitening). Light that is strong enough to cause overexposure in a short-distance subject is not useful because it does not improve the visibility of the short-distance subject.
In the invention according to claim 1, since the emission angle of the second light emitting unit is narrower than that of the first light emitting unit , and the illumination range thereof is limited to a range narrower than that of the first light emitting unit , whiteout occurs in a short-distance subject. It is possible to suppress wasteful power consumption. In particular, if setting is made so that there is no short-distance subject between the long-distance subject far from the camera and the second light-emitting unit, whiteout will not occur in the short-distance subject, so there is an effect of reducing wasteful power consumption. high.
請求項3に係る発明においては、撮像可能範囲内の互いに異なる撮像箇所に向けて光を照射する複数の発光部の中で、第1発光部の発光強度が第2発光部よりも大きいときと第2発光部の発光強度が第1発光部よりも大きいときが生じるように各発光部の発光強度を制御する。これにより、撮像可能範囲内の互いに異なる複数の撮像箇所を、遠距離被写体や暗部被写体について高い視認性が得られる比較的大きな発光強度で、順次照明することができる。その結果、撮像可能範囲の全体を遠距離被写体や暗部被写体について高い視認性が得られる比較的大きな発光強度で常時照明する場合よりも、少ない消費電力で、遠距離被写体や暗部被写体について高い視認性をもつ動画像データを得ることができる。 In the invention which concerns on Claim 3, when the light emission intensity | strength of a 1st light emission part is larger than a 2nd light emission part among the several light emission parts which irradiate light toward the mutually different imaging location within an imaging possible range, The light emission intensity of each light emitting part is controlled so that the time when the light emission intensity of the second light emitting part is greater than that of the first light emitting part occurs . Accordingly, a plurality of different imaging locations within the imageable range can be sequentially illuminated with a relatively large light emission intensity that provides high visibility for a long-distance subject and a dark subject. As a result, high visibility for long-distance subjects and dark subjects is achieved with less power consumption than when constantly illuminating the entire imageable range with a relatively large light emission intensity that provides high visibility for long-distance subjects and dark subjects. Can be obtained.
請求項1及び3の発明において、上記第1発光部の発光強度が上記第2発光部よりも大きいときの照明下で得られたフレーム画像データおよび上記第2発光部の発光強度が上記第1発光部よりも大きいときの照明下で得られるフレーム画像データを用いて、動画像データに用いる1つのフレーム画像データを作成する場合、その動画像データのフレームレートは、受光手段により得られる受光強度データを取得する上記所定のフレーム周期のフレームレートよりも落ちることになる。この場合でも、映像のなめらかさは落ちるものの、遠距離被写体や暗部被写体についての視認性が落ちるわけではない。 In the first and third aspects of the invention, the frame image data obtained under illumination when the light emission intensity of the first light-emitting part is larger than the second light-emitting part and the light emission intensity of the second light-emitting part are the first light-emitting part. using frame image data that is obtained under the illumination is greater than the light emitting portion, to create a single frame image data used in the moving image data, the frame rate of the moving image data is obtained by the light receiving means It falls below the frame rate of the predetermined frame period for acquiring the received light intensity data. Even in this case, the smoothness of the image is reduced, but the visibility of a long-distance subject and a dark subject is not reduced.
なお、特許文献1には、レンズから入射する被写体の光学像を2方向に分光する分光光学系と、2方向に分光された光学像のそれぞれを電気信号に変換する2個の固体撮像素子と、同2個の固体撮像素子を1フレーム期間ごとに1/2フレームに相当する時間以内で、かつ相互に重複しない間隔で順次露光制御する電子シャッタ制御手段と、同電子シャッタ制御手段の順次露光制御に同期して発光用同期信号を出力する発光用同期信号出力手段とを備えたカラーカメラと、同カラーカメラの上記発光用同期信号を受け上記固体撮像素子の露光制御に同期して波長帯域の異なる複数色の光を順次切り替えて発光する照明装置が開示されている。この照明装置は、固体撮像素子の露光制御に同期して、波長帯域の異なる複数色の光を順次切り替えて発光させるが、その出射強度やその照明箇所はいずれも同じものである。したがって、この照明装置を用いても、強い発光強度の照明下で高い視認性が得られる撮像箇所について低い消費電力で高い視認性を得ることはできない。 In Patent Document 1, a spectroscopic optical system that splits an optical image of a subject incident from a lens in two directions, two solid-state imaging devices that convert each of the optical images split in two directions into electric signals, and Electronic shutter control means for sequentially controlling the exposure of the two solid-state imaging devices within a time corresponding to ½ frame for each frame period and at intervals not overlapping with each other, and sequential exposure by the electronic shutter control means A color camera having a light emission synchronization signal output means for outputting a light emission synchronization signal in synchronization with the control, and a wavelength band in synchronization with the exposure control of the solid-state imaging device that receives the light emission synchronization signal of the color camera A lighting device that emits light by sequentially switching light of a plurality of different colors is disclosed. This illuminating device synchronizes with the exposure control of the solid-state imaging device and sequentially emits light of a plurality of colors having different wavelength bands, and the emission intensity and the illumination location are the same. Therefore, even if this illuminating device is used, it is impossible to obtain high visibility with low power consumption for an imaging location where high visibility is obtained under illumination with strong light emission intensity.
以上、本発明によれば、低照度環境下において、強い発光強度の照明下で高い視認性が得られる撮像箇所について、低い消費電力で高い視認性を得ることができるという優れた効果が得られる。 As described above, according to the present invention, it is possible to obtain an excellent effect that high visibility can be obtained with low power consumption with respect to an imaging portion where high visibility is obtained under illumination with strong light emission intensity in a low illumination environment. .
〔実施形態1〕
以下、本発明を、低照度対応カメラである車内監視カメラに適用した一実施形態(以下、本実施形態を「実施形態1」という。)について説明する。
本実施形態1に係る車内監視カメラは、タクシー等の車両に搭載して車内の様子を撮像した動画像を得るものであり、以下のような特徴を有する。
すなわち、従来の車内監視カメラは、夜間などに室内灯を点灯していない暗闇の車内を一定光量で照明するものであったので、一般に、消費電力を抑制するために比較的弱い発光強度で照明する。そのため、運転席や助手席などのカメラに近い撮像箇所では視認性が得られるものの、後部座席などのカメラから遠い撮像箇所については十分な視認性が得られない場合がある。一方、カメラから遠い撮像箇所の視認性を得るために強い発光強度で照明すると、消費電力量が増大するだけでなく、カメラに近い撮像箇所に白飛びが発生して視認性が悪化するという問題が出る。本実施形態1に係る車内監視カメラは、出射角が広くかつ出射強度が弱い照明と第1発光部と出射角が狭くかつ出射強度が強い第2発光部とを交互に発光させて、各発光部それぞれの照明下で得た受光強度データを用いて有効な視認性が得られる撮像箇所を切り貼りし、これにより得られるフレーム画像を用いて遠近両方の視認性が高い動画像データを作成するようにしている。
Embodiment 1
Hereinafter, an embodiment (hereinafter, this embodiment is referred to as “Embodiment 1”) in which the present invention is applied to an in-vehicle surveillance camera that is a low-illuminance camera will be described.
The in-vehicle monitoring camera according to the first embodiment is mounted on a vehicle such as a taxi to obtain a moving image obtained by capturing an image of the inside of the vehicle, and has the following characteristics.
In other words, conventional in-vehicle surveillance cameras illuminate the interior of a dark car with no light at night, etc., with a constant amount of light. In general, illumination with a relatively weak emission intensity is required to reduce power consumption. To do. Therefore, although visibility is obtained at an imaging location near the camera such as a driver's seat or a passenger seat, sufficient visibility may not be obtained at an imaging location such as a rear seat that is far from the camera. On the other hand, lighting with strong light emission intensity to obtain the visibility of the imaging location far from the camera not only increases the power consumption, but also causes the whiteout to occur in the imaging location close to the camera and deteriorates the visibility coming out. The in-vehicle monitoring camera according to the first embodiment emits light by alternately emitting illumination with a wide emission angle and low emission intensity, a first light emitting unit, and a second light emitting unit with a narrow emission angle and high emission intensity. Using the received light intensity data obtained under the illumination of each part, cut and paste the imaging location where effective visibility is obtained, and create moving image data with high visibility in both perspective using the frame image obtained thereby I have to.
図1は、本実施形態1における車内監視カメラの概要を示す正面図である。
図2は、本実施形態1における車内監視カメラの概要を示す平面図である。
本車内監視カメラ1は、広角レンズ2、カメラユニット3、カメラケーブル4、照明ユニット5A,5B、照明ケーブル6A,6B、ユニット間ケーブル8などを備えている。広角レンズ2は、車内監視カメラに要求される広画角性が得られるように、90度以上180度以下の範囲内、好ましくは約135度程度の画角のものを用いる。カメラケーブル4は、電源ラインと映像ラインを複合した電線である。照明ケーブル6A,6Bは、LED7A,7Bの電源ラインの電線である。ユニット間ケーブル8は、カメラユニット3と照明ユニット5A,5Bのタイミング信号(同期信号)を伝達するためのケーブルで、本車内監視カメラ1の筐体内部で接続されている。このタイミング信号は、カメラケーブル4と照明ケーブル6A,6Bを経由して外部で接続される構成でも構わない。
FIG. 1 is a front view illustrating an outline of the in-vehicle monitoring camera according to the first embodiment.
FIG. 2 is a plan view showing an outline of the in-vehicle monitoring camera according to the first embodiment.
The in-vehicle surveillance camera 1 includes a wide-angle lens 2, a camera unit 3, a camera cable 4, illumination units 5A and 5B, illumination cables 6A and 6B, an inter-unit cable 8, and the like. The wide-angle lens 2 has an angle of view in the range of 90 degrees or more and 180 degrees or less, preferably about 135 degrees so that the wide angle of view required for the in-vehicle surveillance camera can be obtained. The camera cable 4 is an electric wire that combines a power line and a video line. The illumination cables 6A and 6B are electric wires for the power lines of the LEDs 7A and 7B. The inter-unit cable 8 is a cable for transmitting timing signals (synchronization signals) between the camera unit 3 and the illumination units 5A and 5B, and is connected inside the housing of the in-vehicle monitoring camera 1. The timing signal may be externally connected via the camera cable 4 and the illumination cables 6A and 6B.
発光手段としての照明ユニット5A,5Bは、広角レンズ2の近傍に配置され、本実施形態1では可視光外の波長帯を持つ光源を用いるのが好ましい。本実施形態1では、その光源として赤外波長帯の発光ダイオード(LED)7A,7Bを用いる。発光部であるLED7A,7Bは、そのLED素子の光出射面に出射レンズが配置されたものであり、所望の出射角の範囲で光を放射状に照射するように構成されている。 The illumination units 5A and 5B as the light emitting means are disposed in the vicinity of the wide-angle lens 2, and in the first embodiment, it is preferable to use a light source having a wavelength band outside visible light. In the first embodiment, infrared light emitting diodes (LEDs) 7A and 7B are used as the light source. The LEDs 7A and 7B, which are light emitting units, have an exit lens disposed on the light exit surface of the LED element, and are configured to radiate light radially within a desired exit angle range.
図3(a)〜(c)は、LED7A,7Bからの出射光の照射距離とその出射角を説明するための説明図である。
本実施形態1のLED7A,7Bを用いるLED素子は、いずれも同じ発光強度をもつものであるが、出射レンズが異なっている。そのため、出射角が広い出射レンズが用いられる広角LED7Aは、図3(a)に示すように、その出射強度が低く照射距離が短いものとなる。一方、出射角が狭い出射レンズが用いられる狭角LED7Bは、図3(b)に示すように、その出射強度が高く照射距離が長いものである。本実施形態においては、広角LED7Aを運転席や助手席等の近距離被写体を照らす用途に使用し、狭角LED7Bを後部座席等の遠距離被写体を照らす用途に使用する。なお、広角LED7A及び狭角LED7Bの配置は、互いに近い位置に配置していれば、本実施形態1のものに限定されることはない。
FIGS. 3A to 3C are explanatory diagrams for explaining the irradiation distance and the emission angle of the emitted light from the LEDs 7A and 7B.
The LED elements using the LEDs 7A and 7B of the first embodiment all have the same light emission intensity, but have different exit lenses. For this reason, the wide-angle LED 7A in which an emission lens having a wide emission angle is used has a low emission intensity and a short irradiation distance, as shown in FIG. On the other hand, as shown in FIG. 3B, the narrow-angle LED 7B using an emission lens with a narrow emission angle has a high emission intensity and a long irradiation distance. In this embodiment, the wide-angle LED 7A is used for illuminating a short-distance subject such as a driver's seat or a passenger seat, and the narrow-angle LED 7B is used for illuminating a long-distance subject such as a rear seat. Note that the arrangement of the wide-angle LED 7A and the narrow-angle LED 7B is not limited to that of the first embodiment as long as they are arranged close to each other.
図3(c)は、広角LED7A及び狭角LED7Bを同時に発光させた場合の照明領域を説明したものである。この場合、両者の照明領域が重複している近距離中央部分(運転席と助手席の間付近)が極端に明るくなり、無駄となる。また、広角LED7A及び狭角LED7Bを同時に発光させる場合には、いずれか一方を発光させる場合と比較して、消費電力は2倍にまで増大する。そのため、本実施形態では、後述するように、フレーム周期に同期させて、広角LED7A及び狭角LED7Bを交互に強弱させるようにしている。 FIG. 3C illustrates an illumination area when the wide-angle LED 7A and the narrow-angle LED 7B emit light simultaneously. In this case, the short-distance center part (near between the driver's seat and the passenger seat) where both illumination areas overlap is extremely bright and wasted. Further, when the wide-angle LED 7A and the narrow-angle LED 7B are caused to emit light at the same time, the power consumption is doubled as compared with the case where either one is caused to emit light. Therefore, in this embodiment, as will be described later, the wide-angle LED 7A and the narrow-angle LED 7B are alternately strengthened in synchronization with the frame period.
なお、LED7A,7Bは、広角レンズ2の入射範囲に照明光が直接入り込まないように構成する必要がある。本実施形態1では、LED7A,7Bを6個搭載した例について説明するが、本車内監視カメラ1の設置環境などに応じ、発光強度が強すぎるようであれば数を減らし、弱すぎるようであれば数を増やすようにする。 The LEDs 7 </ b> A and 7 </ b> B need to be configured so that the illumination light does not directly enter the incident range of the wide-angle lens 2. In the first embodiment, an example in which six LEDs 7A and 7B are mounted will be described. However, depending on the installation environment of the in-vehicle surveillance camera 1, etc., if the light emission intensity is too strong, the number is reduced, and it seems to be too weak. Try to increase the number.
図4は、本車内監視カメラ1が搭載される車両が2列シートの自動車である場合の照明ユニット5A,5Bによる照明領域を示す説明図である。
なお、図4において、符号A〜Dは乗員を示しており、セダンタイプの自動車の例である。なお、実際の乗員位置は車両によって多少の違いはある。
本実施形態における照明ユニット5A,5Bの照明範囲は、図4に示すように、おおよそ、x=50cm、d1=30cm、d2=150cmである。この場合における広角LED7Aの出射角を計算すると、2×arctan(50/30)≒118度であり、おおよそ120度である。一方、狭角LED7Bの出射角を計算すると、2×arctan(50/150)≒37度であり、おおよそ40度である。車両のサイズやシート構成によって各LED7A,7Bの最適な出射角は異なってくるが、概ね、この程度の出射角をもつLEDを組み合わせれば、広角LED7Aによって運転席や助手席を十分に照明でき、狭角LED7Bによって後部座席を十分に照明できる。
FIG. 4 is an explanatory diagram showing illumination areas by the illumination units 5A and 5B when the vehicle on which the in-vehicle surveillance camera 1 is mounted is a two-row seat automobile.
In addition, in FIG. 4, the code | symbol A-D has shown the passenger | crew, and is an example of a sedan type motor vehicle. The actual occupant position varies slightly depending on the vehicle.
As shown in FIG. 4, the illumination ranges of the illumination units 5A and 5B in the present embodiment are approximately x = 50 cm, d1 = 30 cm, and d2 = 150 cm. When the emission angle of the wide-angle LED 7A in this case is calculated, 2 × arctan (50/30) ≈118 degrees, which is approximately 120 degrees. On the other hand, when calculating the emission angle of the narrow-angle LED 7B, 2 × arctan (50/150) ≈37 degrees, which is approximately 40 degrees. The optimum emission angle of each LED 7A, 7B varies depending on the size of the vehicle and the seat configuration. In general, if the LED having this emission angle is combined, the driver's seat and front passenger seat can be sufficiently illuminated by the wide-angle LED 7A. The rear seat can be sufficiently illuminated by the narrow-angle LED 7B.
図5は、本車内監視カメラ1が搭載される車両が3列シートの自動車である例における照明領域を示す説明図である。
この例における照明範囲は、図5に示すように、おおよそ、x=50cm、d1=30cm、d2=100cm、d3=170cmである。この場合において、運転席や助手席などの近距離被写体用のLEDの出射角を計算すると、2×arctan(50/30)≒118度であり、おおよそ120度である。また、2列目の座席などの中距離被写体用のLEDの出射角を計算すると、2×arctan(50/100)≒53度であり、おおよそ55度である。また、3列目の座席などの遠距離被写体用のLEDの出射角を計算すると、2×arctan(50/170)≒33度であり、おおよそ35度である。
FIG. 5 is an explanatory diagram showing an illumination area in an example in which the vehicle on which the in-vehicle monitoring camera 1 is mounted is a three-row seat car.
As shown in FIG. 5, the illumination range in this example is approximately x = 50 cm, d1 = 30 cm, d2 = 100 cm, and d3 = 170 cm. In this case, when the emission angle of the LED for a short-distance subject such as a driver's seat or a passenger seat is calculated, 2 × arctan (50/30) ≈118 degrees, which is approximately 120 degrees. Further, when calculating the emission angle of the LED for the medium distance subject such as the seat in the second row, 2 × arctan (50/100) ≈53 degrees, which is approximately 55 degrees. Further, when calculating the emission angle of the LED for a long-distance subject such as a seat in the third row, 2 × arctan (50/170) ≈33 degrees, which is approximately 35 degrees.
図6は、照明ユニット5A,5B及びカメラユニット3を示す機能ブロック図である。
カメラユニット3は、LED7A,7Bによる照明下での被写体からの反射光は、集光手段としての広角レンズ2で集光され、受光手段としての受光センサ9の受光面に導かれる。広角レンズ2は、例えばガラスやプラスチックなどの材料を組み合わせた4郡6枚などで構成される複数のレンズから構成される。受光センサ9は、CCDやCMOSなどで構成されるものが知られているが、一般に、CCDの方が低照度の感度が高いので好適に利用できる。ただし、CMOSも高感度化が盛んに進められているので、CMOSを利用してもよい。受光センサ9の解像度は、本実施形態1では車内監視向けの用途であるため、例えば、VGA(640×480ドット)程度に設定され、フレームレートは30fps(frame per Second)以下とする。本実施形態1のような低照度対応カメラにおいては、弱い光に対応するために例えば露光時間を長くすることがあり、この場合にはフレームレートが落ちる傾向にある。また、受光センサ9の機能、若しくは、この受光センサ9の制御デバイスの機能として、暗い箇所を明るくし、明るすぎる箇所を暗くして、動画像を見やすくする輝度補正処理を行うものが知られている。これは、動画像の平均輝度を一定に保つように輝度レベルの増幅率を変更するものであり、多くの場合、複数のフレームにまたがって平均輝度を算出して徐々に補正する。
FIG. 6 is a functional block diagram showing the lighting units 5A and 5B and the camera unit 3. As shown in FIG.
In the camera unit 3, the reflected light from the subject under illumination by the LEDs 7 </ b> A and 7 </ b> B is collected by the wide-angle lens 2 as the light collecting means and guided to the light receiving surface of the light receiving sensor 9 as the light receiving means. The wide-angle lens 2 is composed of a plurality of lenses composed of, for example, 6 elements in 4 groups combining materials such as glass and plastic. As the light receiving sensor 9, a sensor composed of a CCD, a CMOS, or the like is known, but in general, a CCD can be suitably used because it has a higher sensitivity of low illuminance. However, CMOS is also being actively promoted to increase sensitivity, and CMOS may be used. Since the resolution of the light receiving sensor 9 is used for in-vehicle monitoring in the first embodiment, for example, it is set to about VGA (640 × 480 dots) and the frame rate is 30 fps (frame per second) or less. In the low-illuminance camera as in the first embodiment, for example, the exposure time may be increased in order to cope with weak light, and in this case, the frame rate tends to decrease. Further, as a function of the light receiving sensor 9 or a function of the control device of the light receiving sensor 9, there is known a function for performing luminance correction processing for making a moving image easy to see by brightening a dark part and darkening an excessively bright part. Yes. This is to change the amplification factor of the luminance level so as to keep the average luminance of the moving image constant. In many cases, the average luminance is calculated over a plurality of frames and is gradually corrected.
動画像データ作成手段としての制御部10は、受光センサ9の出力データ(受光強度データ)を順次取り込み、NTSCなどの標準的な映像信号伝達形式に変換した動画像データを作成してカメラケーブル4に出力する。
照明ユニット5A,5Bは、照明ケーブル6A,6Bを介してLED7A,7Bの図示しない駆動電源と接続されている。もちろん、カメラユニット3と共通の電源でも構わない。照明ユニット5A,5Bの光源としては、電球や蛍光灯なども考えられるが、消費電力の少なさや赤外波長の選択性から、本実施形態1ではLED7A,7Bを採用している。
発光ドライバ11は、図示しない駆動電源を元に電流源を生成し、LED7A,7Bの発光強度を交互にON/OFF駆動させるように動作する。広角LED7A及び狭角LED7Bとしてそれぞれ必要とされる光量に応じて、1つのLEDでは対応できない場合は、複数のLEDで分担して照明するようにすることも可能である。この場合、照明が重なって局所的に明るい箇所が存在しないように配置することが重要である。
The control unit 10 as moving image data creating means sequentially takes the output data (received light intensity data) of the light receiving sensor 9, creates moving image data converted into a standard video signal transmission format such as NTSC, and the camera cable 4 Output to.
The illumination units 5A and 5B are connected to drive power sources (not shown) of the LEDs 7A and 7B via the illumination cables 6A and 6B. Of course, a power source common to the camera unit 3 may be used. As the light source of the illumination units 5A and 5B, a light bulb, a fluorescent lamp, and the like are conceivable, but the LEDs 7A and 7B are employed in the first embodiment because of low power consumption and infrared wavelength selectivity.
The light emitting driver 11 generates a current source based on a driving power source (not shown), and operates so as to alternately turn ON / OFF the light emission intensity of the LEDs 7A and 7B. Depending on the amount of light required for each of the wide-angle LED 7A and the narrow-angle LED 7B, if one LED cannot cope with the light, it is possible to share the illumination with a plurality of LEDs. In this case, it is important to arrange the illumination so that there are no locally bright spots.
図7は、照明ユニット5A,5Bの発光ドライバ11の回路構成を示す説明図である。
本実施形態1においては、照明用駆動電源12をもとにした定電流源13A,13Bを配置してLED7A,7Bを発光させる。もし、広角LED7Aと狭角LED7Bとでそれぞれ独立に発光強度を変更する場合には、これらの定電流源13A,13Bの電流値を変更すればよい。定電流源13A,13BとLED7A,7Bとの間には、それぞれ、入力されるタイミング信号A,BによってON/OFF動作するスイッチ部14A,14Bが配置されている。このスイッチ部14A,14Bに入力するタイミング信号A,Bを制御することで、広角LED7A及び狭角LED7Bのいずれかに電流を供給するかを選択することができる。なお、ここでは、スイッチ部14A,14Bに入力されるタイミング信号A,Bを制御することで電流を供給するLED7A,7Bを選択する構成について説明したが、定電流源13A,13Bを1つのD/Aコンバータなどの電圧設定と電圧電流変換の抵抗で構成し、タイミング信号をパラレルデジタル信号とすることで、D/Aコンバータの設定電圧を逐次変更してLED7A,7Bの発光強度を変化させることもできる。なお、照明の回路とタイミング信号を増やすことで多数の照明に対応可能である。
FIG. 7 is an explanatory diagram showing a circuit configuration of the light emitting driver 11 of the illumination units 5A and 5B.
In the first embodiment, constant current sources 13A and 13B based on the illumination drive power supply 12 are arranged to cause the LEDs 7A and 7B to emit light. If the emission intensity is changed independently for the wide-angle LED 7A and the narrow-angle LED 7B, the current values of these constant current sources 13A and 13B may be changed. Between the constant current sources 13A and 13B and the LEDs 7A and 7B, switch units 14A and 14B that are turned ON / OFF by the input timing signals A and B are arranged, respectively. By controlling the timing signals A and B input to the switch sections 14A and 14B, it is possible to select whether to supply a current to either the wide-angle LED 7A or the narrow-angle LED 7B. Here, the configuration in which the LEDs 7A and 7B that supply current are selected by controlling the timing signals A and B input to the switch units 14A and 14B has been described, but the constant current sources 13A and 13B are connected to one D It is composed of voltage setting and voltage / current conversion resistors such as the / A converter, and the timing signal is a parallel digital signal, so that the set voltage of the D / A converter is sequentially changed to change the emission intensity of the LEDs 7A and 7B. You can also. In addition, it can respond to many illuminations by increasing the circuit and timing signal of illumination.
図8は、カメラユニット3に設けられた制御部10を示すブロック図である。
制御部10は、受光センサ9からの出力データを受け取って処理を行う画像処理部15と、画像処理部15での処理により得られるフレーム画像データを格納するフレームメモリ16と、フレームメモリ16に格納されたフレーム画像データからなる動画像データを、外部モニタに表示するための標準的なデータフォーマットであるNTSC規格に変換するNTSC変換部17と、撮像画像全体あるいは一部の輝度情報を取得して明るさを判別する輝度判定部18とを備えている。
FIG. 8 is a block diagram showing the control unit 10 provided in the camera unit 3.
The control unit 10 receives the output data from the light receiving sensor 9 and performs processing, the frame memory 16 that stores frame image data obtained by the processing in the image processing unit 15, and the frame memory 16 NTSC conversion unit 17 that converts the moving image data composed of the frame image data into the NTSC standard, which is a standard data format for displaying on an external monitor, and obtains the entire captured image or part of luminance information. And a luminance determining unit 18 for determining brightness.
画像処理部15は、30fpsもしくは60fpsの速度で受光センサ9からの出力データに基づくフレーム画像データを順次フレームメモリ16に格納する。昼間など十分な明るさ(輝度)があり、LED7A,7Bの照明を必要としない場合には、データを加工する必要はないため、フレーム画像データを適切な速度でNTSC変換部17に転送する。この場合、LED7A,7Bを使用する必要がないため、タイミング信号A,Bも出力する必要は無い。昼間か夜間かの判断は、外部からの設定で行われてもよいが、カメラが自動的にフレーム画像データの平均輝度を判断して、あらかじめ設定された輝度より暗い時間が長く続けば夜間と判断するようにしてもよい。また、輝度判定部18による輝度があらかじめ設定されたレベルを超えているかどうかの比較結果を用いてもよい。 The image processing unit 15 sequentially stores frame image data based on output data from the light receiving sensor 9 in the frame memory 16 at a speed of 30 fps or 60 fps. When there is sufficient brightness (brightness) such as daytime and the illumination of the LEDs 7A and 7B is not necessary, the data does not need to be processed, so the frame image data is transferred to the NTSC converter 17 at an appropriate speed. In this case, since it is not necessary to use the LEDs 7A and 7B, it is not necessary to output the timing signals A and B. Whether it is daytime or nighttime may be determined by an external setting, but if the camera automatically determines the average brightness of the frame image data and the dark time continues longer than the preset brightness, it will be nighttime. You may make it judge. Further, a comparison result of whether or not the luminance by the luminance determination unit 18 exceeds a preset level may be used.
夜間などの低照度環境下において撮像する必要がある場合、LED7A,7Bを駆動して撮像範囲を照明する。この場合、画像処理部15は、発光強度制御手段として機能し、まず、タイミング信号AをONにし、タイミング信号BをOFFにする命令を、発光ドライバ11に指示する。これにより、LED7Aは、図4に示したように出射強度が弱く(すなわち照明距離が短く)出射角が広い照明範囲LAで照明を行い、受光センサ9からの出力データに基づくフレーム画像データをフレームメモリ16の所定のメモリ領域に第1フレーム画像データとして格納する。次に、タイミング信号AをOFFにし、タイミング信号BをONにする命令を、発光ドライバ11に指示する。これにより、LED7Bは、図4に示したように出射強度が強く(すなわち照明距離が長く)出射角が狭い照明範囲LBで照明を行い、受光センサ9からの出力データに基づくフレーム画像データをフレームメモリ16の所定のメモリ領域に第2フレーム画像データとして格納する。なお、ここでいう「照明距離」とは、光源の出射面と、最低限必要な光量が得られる箇所のうち最も遠い箇所との距離を意味する。 When it is necessary to take an image in a low illumination environment such as at night, the imaging range is illuminated by driving the LEDs 7A and 7B. In this case, the image processing unit 15 functions as a light emission intensity control unit, and first instructs the light emitting driver 11 to turn on the timing signal A and turn off the timing signal B. As a result, the LED 7A performs illumination in the illumination range LA having a low emission intensity (that is, a short illumination distance) and a wide emission angle as shown in FIG. 4, and frame image data based on output data from the light receiving sensor 9 is framed. The first frame image data is stored in a predetermined memory area of the memory 16. Next, a command to turn off the timing signal A and turn on the timing signal B is instructed to the light emitting driver 11. As a result, the LED 7B performs illumination in an illumination range LB having a high emission intensity (ie, a long illumination distance) and a narrow emission angle as shown in FIG. 4, and frame image data based on output data from the light receiving sensor 9 is framed. The second frame image data is stored in a predetermined memory area of the memory 16. Here, the “illumination distance” means the distance between the light emitting surface of the light source and the farthest place among places where the minimum necessary light quantity can be obtained.
図9は、フレームメモリ16に対する画像処理部15の処理シーケンスの一例について説明する説明図である。
なお、この説明図は、横軸に時間軸をとり、t1〜t8まで順次1フレームごとにフレームメモリ16の各メモリ領域に対してアクセスされるデータを示している。図中矢印は、データの移動を示している。
この処理シーケンスでは、1つ分のフレーム画像データを格納するメモリ領域(メモリ1〜5)を少なくとも5つ備えるフレームメモリ16を用いる。このようなフレームメモリ16は、単一の物理メモリの記憶領域を5つに分割したものを用いてもよいし、5つの物理メモリを個別に用意してもよい。ただし、後述するように、1フレーム周期内に複数の処理を行う必要があるため、データのリード速度及びライト速度には十分な高速性が要求される。
FIG. 9 is an explanatory diagram illustrating an example of a processing sequence of the image processing unit 15 for the frame memory 16.
This explanatory diagram shows data accessed to each memory area of the frame memory 16 frame by frame from t1 to t8 with the time axis on the horizontal axis. Arrows in the figure indicate data movement.
In this processing sequence, a frame memory 16 having at least five memory areas (memory 1 to 5) for storing one frame image data is used. As such a frame memory 16, a single physical memory having a storage area divided into five may be used, or five physical memories may be individually prepared. However, as described later, since it is necessary to perform a plurality of processes within one frame period, sufficient high speed is required for the data read speed and write speed.
以下、本処理シーケンスの流れについて具体的に説明する。
まず、時刻t1において、メモリ1に1フレーム分のフレーム画像データD1を格納すると同時に、メモリ2に格納されている処理済みフレーム画像データP1をNTSC変換部17へ出力する。
時刻t2では、メモリ2に次の1フレーム分のフレーム画像データD2を格納すると同時に、メモリ5から既に処理済みである処理済みフレーム画像データP2をNTSC変換部17へ出力する。
時刻t3では、メモリ4に次の1フレーム分のフレーム画像データD3を格納すると同時に、時刻t2と同様にメモリ5から処理済みフレーム画像データP2を繰り返し出力する。また同時に、メモリ1に格納されているフレーム画像データD1とメモリ2に格納されているフレーム画像データD2とを組み合わせて編集処理し、その処理済みフレーム画像データD12をメモリ3に格納する。
Hereinafter, the flow of this processing sequence will be specifically described.
First, at time t1, the frame image data D1 for one frame is stored in the memory 1, and at the same time, the processed frame image data P1 stored in the memory 2 is output to the NTSC converter 17.
At time t2, the frame image data D2 for the next one frame is stored in the memory 2, and at the same time, the processed frame image data P2 that has already been processed is output from the memory 5 to the NTSC converter 17.
At time t3, the frame image data D3 for the next one frame is stored in the memory 4, and at the same time, the processed frame image data P2 is repeatedly output from the memory 5 similarly to the time t2. At the same time, the frame image data D1 stored in the memory 1 and the frame image data D2 stored in the memory 2 are combined and edited, and the processed frame image data D12 is stored in the memory 3.
ここで、処理済みフレーム画像データD12の編集処理については後述するが、フレーム画像データD1の画像にフレーム画像データD2のすべてを上書きするということではなく、画像フレームを領域分割して一部の領域のデータを互いに入れ替えたり、両方の画像の輝度や色差データを平均化したりすることを意味している。本実施形態1において、1フレームは、少なくとも、カメラから近い被写体部分に対応するフレーム部分(近距離領域)と、カメラから遠い被写体部分に対応するフレーム部分(遠距離離領域)とに分割される。 Here, although editing processing of the processed frame image data D12 will be described later, it does not mean that the entire frame image data D2 is overwritten on the image of the frame image data D1, but the image frame is divided into some regions. This means that the data of the above are replaced with each other, and the luminance and color difference data of both images are averaged. In the first embodiment, one frame is divided into at least a frame portion corresponding to a subject portion close to the camera (short-distance region) and a frame portion corresponding to a subject portion far from the camera (long-distance region). .
時刻t4では、メモリ5に次の1フレーム分のフレーム画像データD4を格納すると同時に、メモリ3から処理済みフレーム画像データD12をNTSC変換部17へ出力する。
時刻t5では、メモリ2に次の1フレーム分のフレーム画像データD5を格納すると同時に、時刻t4と同様にメモリ3から処理済みフレーム画像データD12を繰り返し出力する。また同時に、メモリ4に格納されているフレーム画像データD3とメモリ5に格納されているフレーム画像データD4とを組み合わせて編集処理し、その処理済みフレーム画像データD34をメモリ1に格納する。
時刻t6では、メモリ3に次の1フレーム分のフレーム画像データD6を格納すると同時に、メモリ1から処理済みフレーム画像データD34をNTSC変換部17へ出力する。
時刻t7では、メモリ5に次の1フレーム分のフレーム画像データD7を格納すると同時に、時刻t6と同様にメモリ1から処理済みフレーム画像データD34を繰り返し出力する。また同時に、メモリ2に格納されているフレーム画像データD5とメモリ3に格納されているフレーム画像データD6とを組み合わせて編集処理し、その処理済みフレーム画像データD56をメモリ4に格納する。
時刻t8では、メモリ1に次の1フレーム分のフレーム画像データD8を格納すると同時に、メモリ4から処理済みフレーム画像データD56をNTSC変換部17へ出力する。
At time t4, the frame image data D4 for the next one frame is stored in the memory 5, and at the same time, the processed frame image data D12 is output from the memory 3 to the NTSC converter 17.
At time t5, the frame image data D5 for the next one frame is stored in the memory 2, and at the same time, the processed frame image data D12 is repeatedly output from the memory 3 in the same manner as at time t4. At the same time, the frame image data D3 stored in the memory 4 and the frame image data D4 stored in the memory 5 are combined and edited, and the processed frame image data D34 is stored in the memory 1.
At time t6, the frame image data D6 for the next one frame is stored in the memory 3, and at the same time, the processed frame image data D34 is output from the memory 1 to the NTSC converter 17.
At time t7, the frame image data D7 for the next one frame is stored in the memory 5, and at the same time, the processed frame image data D34 is repeatedly output from the memory 1 in the same manner as at time t6. At the same time, the frame image data D5 stored in the memory 2 and the frame image data D6 stored in the memory 3 are combined and edited, and the processed frame image data D56 is stored in the memory 4.
At time t8, the frame image data D8 for the next one frame is stored in the memory 1, and at the same time, the processed frame image data D56 is output from the memory 4 to the NTSC converter 17.
時刻t9以降も、上述のような処理シーケンスの繰り返しとなる。このような処理シーケンスにより、受光センサ9からの出力データを順次取得するフレーム速度の半分の速度でフレームが更新される動画像データを得ることができる。
図5に示した例のように、近距離被写体、中距離被写体、遠距離被写体など3つ以上になる場合は、フレームメモリ16のメモリ領域の数を増やすことになるが、同様な考え方で未処理のフレーム画像データを消去することなく、順番に処理するようにすれば良い。
なお、ここでは、ノンインターレースにおけるフレーム毎に画像処理を行う場合について説明したが、インターレースの場合、フィールド毎に処理を行うようにしても良い。その場合は、上記で説明したフレームをフィールドに置き換えるだけでも可能であるが、ラインズレが発生するため、2フィールドを1まとめとして扱うことが望ましい。
The processing sequence as described above is repeated after time t9. With such a processing sequence, it is possible to obtain moving image data in which the frame is updated at a half speed of the frame speed at which the output data from the light receiving sensor 9 is sequentially acquired.
As in the example shown in FIG. 5, when there are three or more subjects, such as a short-distance subject, a medium-distance subject, and a long-distance subject, the number of memory areas in the frame memory 16 is increased. What is necessary is just to process in order, without deleting the frame image data of a process.
Here, the case where image processing is performed for each frame in non-interlace has been described, but in the case of interlace, processing may be performed for each field. In that case, it is possible to replace only the frame described above with a field, but it is desirable to treat two fields as one because a line shift occurs.
本実施形態1では、上記処理シーケンスの処理タイミング(フレーム周期)に同期して、時刻t1ではタイミング信号AがONになり、タイミング信号BがOFFになるように、画像処理部15がLED7A,7Bの発光強度を制御する。その結果、フレーム画像データD1は比較的弱い強度の照明下で得られたものとなる。続いて、時刻t2ではタイミング信号AがOFFになり、タイミング信号BがONになるように制御される。これにより、フレーム画像データD2は比較的強い強度の照明下で得られたものとなる。処理済みフレーム画像データD12は、この2種類の照明強度で得られたフレーム画像データD1,D2を用い、フレームの一部の領域である近距離領域についてはフレーム画像データD1を積極的に採用し、フレームの他部の領域である遠距離領域についてはフレーム画像データD2を積極的に採用するなどして、編集加工したものである。このような編集加工を行うことで、遠近両方をそれぞれ適度な照明条件で撮像したようなフレーム画像データD12を得ることができる。なお、LEDをOFFにすると次のON時の立ち上がり時間が遅くなる点が問題となるようであれば、LEDをOFFにする代わりに、そのLEDを微弱発光させるようにしてもよい。また、受光センサ9の輝度補正は、LED7A,7BのON/OFFに追従しないことが重要である。 In the first embodiment, in synchronization with the processing timing (frame period) of the above processing sequence, the image processing unit 15 causes the LEDs 7A and 7B to turn on the timing signal A and turn off the timing signal B at time t1. To control the emission intensity. As a result, the frame image data D1 is obtained under relatively weak illumination. Subsequently, at time t2, the timing signal A is turned off and the timing signal B is turned on. As a result, the frame image data D2 is obtained under relatively strong illumination. The processed frame image data D12 uses the frame image data D1 and D2 obtained with these two types of illumination intensities, and actively uses the frame image data D1 for a short-distance region that is a partial region of the frame. The long-distance area, which is the other area of the frame, is edited by actively adopting the frame image data D2. By performing such editing processing, it is possible to obtain frame image data D12 in which both near and far are imaged under appropriate illumination conditions. If turning off an LED causes a problem that the rise time at the next ON is delayed, the LED may emit weak light instead of turning off the LED. Further, it is important that the luminance correction of the light receiving sensor 9 does not follow the ON / OFF of the LEDs 7A and 7B.
図10は、2つのフレーム画像データD1,D2を編集加工して新たな1つのフレーム画像データD12を作成する編集処理の一例を示す説明図である。
本実施形態1において、車内監視カメラ1は、自動車の運転席前の上部に配置されたルームミラー付近に設置され、そこから車内を後部側に向かって撮像するように配置される。なお、ルームミラーの無い場合でも、フロントガラスの上部付近に設置すれば同様である。一般に、自動車は、運転席と助手席との間に隙間があり、その隙間から後部座席を撮影することができる。したがって、本実施形態1では、1フレームを三分割し、その中央領域を後部座席が含まれる遠距離領域とし、その両側領域を運転席及び助手席が含まれる近距離領域として設定している。
FIG. 10 is an explanatory diagram illustrating an example of an editing process in which two frame image data D1 and D2 are edited and processed to create one new frame image data D12.
In the first embodiment, the in-vehicle monitoring camera 1 is installed in the vicinity of a rearview mirror disposed in front of the driver's seat of an automobile, and is arranged so as to take an image of the inside of the vehicle from the rear side. Even if there is no room mirror, it is the same if it is installed near the top of the windshield. In general, an automobile has a gap between a driver seat and a passenger seat, and a rear seat can be photographed from the gap. Therefore, in the first embodiment, one frame is divided into three, the central area is set as a long distance area including the rear seat, and the both side areas are set as the short distance area including the driver seat and the passenger seat.
フレーム画像データD1は、上述したように広角LED7Aによる比較的弱い照明下で得られたものであるのに対し、フレーム画像データD2は狭角LED7Bによる比較的強い照明下で得られたものである。本実施形態1においては、運転席と助手席の視認性を優先することとし、フレーム画像データD1をベースに編集加工処理を行う。フレーム画像データD1は、広角ではあるが照明距離が短いため、図10に示すように、後部座席の乗客Cは暗くてほとんど認識できない状態である。逆に、フレーム画像データD2は、狭角であるが照明距離が長いので後部座席の乗客Cを良く認識できるが、運転席のドライバーAと助手席の乗客Bは照明範囲外であるため暗くてほとんど認識できない。そのため、本実施形態1においては、フレーム画像データD2から図10に示す破線で囲った領域(遠距離領域)を切り出し、その切り出した遠距離領域だけを、フレーム画像データD1に上書きする処理を行い、これによりフレーム画像データD12を得る。さらに、このようにして得たフレーム画像データD12に対して全体的な明るさ調整を行ったり、境界をぼかしたりするなどの画質改善処理を行うことが好ましい。以上のような編集加工処理を行うことで、運転席のドライバA、助手席の乗客B、後部座席の乗客Cの全員について視認性の高いフレーム画像データD12が得られる。なお、他のフレーム画像データD3〜D8についての編集加工処理も同様に行われる。 As described above, the frame image data D1 is obtained under relatively weak illumination by the wide-angle LED 7A, whereas the frame image data D2 is obtained under relatively strong illumination by the narrow-angle LED 7B. . In the first embodiment, priority is given to the visibility of the driver seat and the passenger seat, and the editing process is performed based on the frame image data D1. Since the frame image data D1 has a wide angle but a short illumination distance, as shown in FIG. 10, the passenger C in the rear seat is dark and hardly recognized. Conversely, the frame image data D2 has a narrow angle but a long illumination distance, so that the passenger C in the rear seat can be recognized well, but the driver A in the driver's seat and the passenger B in the passenger seat are out of the illumination range and are dark. Almost unrecognizable. For this reason, in the first embodiment, a region (far-distance region) surrounded by a broken line shown in FIG. 10 is cut out from the frame image data D2, and only the cut-out long-distance region is overwritten on the frame image data D1. Thus, frame image data D12 is obtained. Furthermore, it is preferable to perform image quality improvement processing such as performing overall brightness adjustment or blurring of the boundary on the frame image data D12 obtained in this way. By performing the editing process as described above, frame image data D12 with high visibility is obtained for all of driver A in the driver's seat, passenger B in the passenger seat, and passenger C in the rear seat. The editing process for the other frame image data D3 to D8 is performed in the same manner.
本実施形態1においては、2つのフレーム画像データから1つのフレーム画像データを作成するので、受光センサ9のフレームレート(フレーム速度)に比べて半分のフレームレートに落ちることになる。NTSCフォーマットは規定のレートで映像を出力する必要があるため、本実施形態1では同じフレーム画像データを2回連続で出力している。
また、編集加工処理を更に高機能で行う場合には、編集加工前のフレーム画像データから輝度レベルを読み取り、白飛びと判断する領域に対して、照度が低い方のフレーム画像データを採用し、逆に一定レベル以下の輝度の領域に対しては、照度が高い方のフレーム画像データを採用するなどの、自動判別アルゴリズムを搭載することも有効である。基本的に車内監視などのセキュリティー用途では、高速な動作の取り込みが不要なため、フレームレートが半分に落ちても、特に不具合となることは無い。また、出力されるものは動画像であるため、細かい境界での不連続性に関しても大きな不具合とはならないため、画像処理を簡素化することも可能である。
In the first embodiment, since one frame image data is created from two frame image data, the frame rate is reduced to half that of the frame rate (frame speed) of the light receiving sensor 9. Since the NTSC format needs to output video at a prescribed rate, the first embodiment outputs the same frame image data twice in succession.
In addition, when performing editing processing with a higher function, the luminance level is read from the frame image data before editing processing, and the frame image data with the lower illuminance is adopted for the area judged to be whiteout, On the other hand, it is also effective to install an automatic discrimination algorithm such as adopting frame image data with higher illuminance for an area having a luminance below a certain level. Basically, in security applications such as in-vehicle monitoring, it is not necessary to capture high-speed motion, so there is no particular problem even if the frame rate drops to half. Moreover, since what is output is a moving image, it does not cause a major problem with respect to discontinuities at fine boundaries, and therefore image processing can be simplified.
なお、本実施形態1では、1フレームを図10に示すように横方向に三分割した例について説明したが、その分割方法は、カメラの撮像領域内のどの被写体の視認性を高めるかなどの設計事項に応じて適宜設定される。例えば、後部座席の乗客Cの足元の箇所は高い視認性が必要ないが、運転席のドライバーAと助手席の乗客Bの手元の箇所について高い視認性を得たい場合には、例えば図11に示すように、1フレーム中の中央領域上部を遠距離領域とし、残りの領域を近距離領域として設定してもよい。 In the first embodiment, an example in which one frame is divided into three in the horizontal direction as illustrated in FIG. 10 has been described. However, the division method may be, for example, which subject in the imaging region of the camera should be improved in visibility. It is set as appropriate according to the design matters. For example, although the location of the foot of the passenger C in the rear seat does not need high visibility, when it is desired to obtain high visibility for the location of the driver A in the driver seat and the passenger B in the passenger seat, for example, FIG. As shown, the upper part of the central area in one frame may be set as the long distance area, and the remaining area may be set as the short distance area.
また、照明強度を変えずに受光センサ9の輝度補正もしくは受光センサ9の増幅率をフレームごとに変えることで、本実施形態1と同様の効果を得ることは不可能ではないが、後部座席の乗客Cに届く光量がわずかであることを考えると、S/N比は照明強度を変える本実施形態1のもの方が有利であり、より良い方法といえる。 Further, it is not impossible to obtain the same effect as in the first embodiment by changing the luminance correction of the light receiving sensor 9 or the amplification factor of the light receiving sensor 9 for each frame without changing the illumination intensity. Considering that the amount of light reaching the passenger C is small, the S / N ratio of the first embodiment that changes the illumination intensity is more advantageous and can be said to be a better method.
〔変形例1〕
次に、上記実施形態1における画像処理部15の処理シーケンスの変形例(以下、本変形例を「変形例1」という。)について説明する。
図12は、本変形例1における画像処理部15の処理シーケンスを説明する説明図である。
本変形例1は、1フレームの領域分割の設定が例えば図10や図11に示した分割方法のように簡単であったり、2つのフレーム画像データの編集加工処理が一方を他方のデータに置き換えるだけ等の簡単な処理であったりする場合に適した例である。
[Modification 1]
Next, a modified example of the processing sequence of the image processing unit 15 in the first embodiment (hereinafter, this modified example is referred to as “modified example 1”) will be described.
FIG. 12 is an explanatory diagram illustrating a processing sequence of the image processing unit 15 in the first modification.
In the first modification, setting of area division of one frame is as simple as the dividing method shown in FIGS. 10 and 11, for example, and editing processing of two frame image data replaces one with the other data. This is an example suitable for simple processing such as
本変形例1におけるフレームメモリ16は、2つのメモリ領域に分割されている。このようなフレームメモリ16は、単一の物理メモリの記憶領域を2つに分割したものを用いてもよいし、2つの物理メモリを個別に用意してもよい。ただし、1フレーム周期内に複数の処理を行う必要があるため、データのリード速度及びライト速度には十分な高速性が要求される点は、上記実施形態1と同様である。 The frame memory 16 in the first modification is divided into two memory areas. As such a frame memory 16, a storage area of a single physical memory divided into two may be used, or two physical memories may be prepared separately. However, since it is necessary to perform a plurality of processes within one frame period, the point that sufficient high speed is required for the data read speed and write speed is the same as in the first embodiment.
以下、本変形例1における処理シーケンスの流れについて具体的に説明する。
まず、時刻t1では、メモリ1に1フレーム分のフレーム画像データD1を格納すると同時に、メモリ2から処理済みフレーム画像データP1をNTSC変換部17へ出力する。
時刻t2では、フレーム画像データD1が格納されているメモリ1に対して、次の1フレーム分のフレーム画像データD2の中から切り出された領域部分のデータのみを上書きする。例えば、図10に示した例においては、遠距離領域である中央領域のデータをフレーム画像データD2から切り出し、メモリ1にアクセスしてそのデータのみをフレーム画像データD1に上書きする。また同時に、時刻t1と同様にメモリ2から処理済みフレーム画像データP1を繰り返し出力する。
時刻t3では、メモリ2に次の1フレーム分のフレーム画像データD3を格納すると同時に、時刻t2で作成された処理済みフレーム画像データD12をメモリ1からNTSC変換部17へ出力する。
時刻t4では、時刻t2と同様の動作になる。具体的には、フレーム画像データD3が格納されたメモリ2に、次の1フレーム分のフレーム画像データD4を部分的に上書きすると同時に、メモリ1から処理済みフレーム画像データD12を繰り返し出力する。
時刻t5では、メモリ1に次の1フレーム分のフレーム画像データD5を格納すると同時に、時刻t4で作成された処理済みフレーム画像データD34を出力する。
時刻t6では、時刻t4と同様の動作になる。具体的には、フレーム画像データD5が格納されたメモリ1に、次の1フレーム分のフレーム画像データD6を部分的に上書きすると同時に、メモリ2から処理済みフレーム画像データD34を繰り返し出力する。
なお、時刻t7以降も、上述のような処理シーケンスの繰り返しとなる。このような処理シーケンスにより、受光センサ9からの出力データを順次取得するフレーム速度の半分の速度でフレームが更新される動画像データを得ることができる。
Hereinafter, the flow of the processing sequence in the first modification will be specifically described.
First, at time t1, the frame image data D1 for one frame is stored in the memory 1, and at the same time, the processed frame image data P1 is output from the memory 2 to the NTSC converter 17.
At time t2, the memory 1 in which the frame image data D1 is stored is overwritten only with the data of the area portion cut out from the frame image data D2 for the next one frame. For example, in the example shown in FIG. 10, the data of the central area, which is a long-distance area, is cut out from the frame image data D2, and the memory 1 is accessed to overwrite only the data on the frame image data D1. At the same time, similarly to the time t1, the processed frame image data P1 is repeatedly output from the memory 2.
At time t3, the frame image data D3 for the next one frame is stored in the memory 2, and at the same time, the processed frame image data D12 created at time t2 is output from the memory 1 to the NTSC converter 17.
At time t4, the operation is similar to that at time t2. Specifically, the frame image data D4 for the next one frame is partially overwritten in the memory 2 in which the frame image data D3 is stored, and at the same time, the processed frame image data D12 is repeatedly output from the memory 1.
At time t5, the frame image data D5 for the next frame is stored in the memory 1, and at the same time, the processed frame image data D34 created at time t4 is output.
At time t6, the operation is similar to that at time t4. Specifically, the frame image data D6 for the next one frame is partially overwritten on the memory 1 in which the frame image data D5 is stored, and at the same time, the processed frame image data D34 is repeatedly output from the memory 2.
The processing sequence as described above is repeated after time t7. With such a processing sequence, it is possible to obtain moving image data in which the frame is updated at a half speed of the frame speed at which the output data from the light receiving sensor 9 is sequentially acquired.
本変形例1のように編集加工時に必要なメモリ容量を削減できる手法は、図10に示すように横方向に三分割した例のように、上書きする領域が固定的である場合に適している。一方、任意の領域を切り出す領域分割は、輝度レベルを読み取って特定領域の映像データを入れ替える画像認識する場合に有効である。この場合は、図9に示した手法での処理が好ましい。領域の設定は、カメラから乗員までの距離、シートの大きさや間隔によって最適値は変わるため、車両に設置する際に調整できるようにしても良いが、細かい画像品質への要求がなければ、あらかじめ定めた設定でも構わない。 The technique capable of reducing the memory capacity required for editing as in the first modification is suitable when the area to be overwritten is fixed, as in the example of dividing into three in the horizontal direction as shown in FIG. . On the other hand, region division that cuts out an arbitrary region is effective for image recognition in which the luminance level is read and video data in a specific region is replaced. In this case, it is preferable to use the method shown in FIG. The optimal value of the area setting varies depending on the distance from the camera to the occupant, the size and spacing of the seats, and may be adjusted when installed in the vehicle. It may be a set value.
〔実施形態2〕
次に、本発明を、低照度対応カメラである車内監視カメラに適用した他の実施形態(以下、本実施形態を「実施形態2」という。)について説明する。
なお、本実施形態2に係る車内監視カメラの基本構成は上記実施形態1のものと同様であるため、以下の説明では上記実施形態1とは異なる点のみ説明する。
[Embodiment 2]
Next, another embodiment (hereinafter, this embodiment is referred to as “embodiment 2”) in which the present invention is applied to an in-vehicle monitoring camera that is a low-illuminance camera will be described.
Since the basic configuration of the in-vehicle surveillance camera according to the second embodiment is the same as that of the first embodiment, only the differences from the first embodiment will be described in the following description.
図13は、本実施形態2に係る車内監視カメラをルームミラー20に取り付けた状態を示す正面図である。
本実施形態2において、ルームミラー20はミラー取付部21によって自動車のフロントガラスに取り付けられている。本実施形態2の車内監視カメラは、2つの照明ユニット25A,25Bをカメラユニット23とは別体に構成し、カメラユニット23をルームミラー20の中央に、2つの照明ユニット25A,25Bをルームミラー20の左右に少し離して配置している。具体的には、図10に示すように、ルームミラー20の取付部21にステイ22を設置し、このステイ22に2つの照明ユニット25A,25Bを取り付けている。
FIG. 13 is a front view illustrating a state in which the in-vehicle monitoring camera according to the second embodiment is attached to the room mirror 20.
In the second embodiment, the room mirror 20 is attached to the windshield of the automobile by a mirror attachment portion 21. In the in-vehicle surveillance camera of the second embodiment, the two illumination units 25A and 25B are configured separately from the camera unit 23, the camera unit 23 is in the center of the room mirror 20, and the two illumination units 25A and 25B are in the room mirror. They are arranged slightly apart on the left and right sides of 20. Specifically, as shown in FIG. 10, a stay 22 is installed on the attachment portion 21 of the room mirror 20, and two illumination units 25 </ b> A and 25 </ b> B are attached to the stay 22.
図14は、本実施形態2における照明ユニット25A,25Bの照明範囲を示す説明図である。
図14に示すように、照明ユニット25A,25Bのうち図中右側に取り付けた照明ユニット25Aは、車内における図中左側の領域に向けて光りを照射するように、そのLEDの出射面が向けられている。一方、図中左側に取り付けた照明ユニット25Bは、車内における図中右側の領域に向けて光りを照射するように、そのLEDの出射面が向けられている。このように2つの照明ユニット25A,25Bの照射方向が互いに交差するように2つの照明ユニット25A,25Bを配置するのが好ましい。このような配置とすることで、車内のシートに隠れてしまう被写体領域を減らすことができ、より広い範囲について視認性の高い画像が得られる。また、各照明ユニット25A,25Bは、それぞれ、前席と後席の両方が照射範囲に入るように、照明距離、出射角、照射方向などが設定される。
FIG. 14 is an explanatory diagram showing illumination ranges of the illumination units 25A and 25B in the second embodiment.
As shown in FIG. 14, the illumination unit 25A attached to the right side of the drawing among the lighting units 25A and 25B has its LED emitting surface directed so as to emit light toward the left side of the drawing in the vehicle. ing. On the other hand, the illumination unit 25B attached to the left side in the drawing has its LED emission surface directed so as to irradiate light toward the right side in the drawing in the vehicle. Thus, it is preferable to arrange the two illumination units 25A and 25B so that the irradiation directions of the two illumination units 25A and 25B intersect each other. With such an arrangement, it is possible to reduce the subject area hidden behind the seat in the vehicle, and an image with high visibility can be obtained over a wider range. In addition, each of the illumination units 25A and 25B is set with an illumination distance, an emission angle, an irradiation direction, and the like so that both the front seat and the rear seat are within the irradiation range.
上述した実施形態1においては、一方の照明ユニット5Aが前席(近距離被写体)の照明を担当し、他方の照明ユニット5Bが後席(遠距離被写体)の照明を担当したが、本実施形態2では、一方の照明ユニット25Aが車内の図中左側に位置する前席及び後席の照明を担当し、他方の照明ユニット25Bが車内の図中右側に位置する前席及び後席の照明を担当する点で、相違している。そのため、本実施形態2の照明ユニット25A,25Bとしては、いずれも比較的狭角なタイプのLEDを用いる。 In the first embodiment described above, one lighting unit 5A is in charge of the front seat (short-distance subject) and the other lighting unit 5B is in charge of the rear seat (long-distance subject). 2, one lighting unit 25 </ b> A is responsible for lighting the front seat and the rear seat located on the left side in the figure in the vehicle, and the other lighting unit 25 </ b> B is used for lighting the front seat and the rear seat located on the right side in the figure in the vehicle. It is different in the point in charge. For this reason, as the illumination units 25A and 25B of the second embodiment, LEDs of a relatively narrow angle type are used.
また、本実施形態2において、フレーム画像データD1は、照明ユニット5Aによる照明下で得られたものとなり、フレーム画像データD2は照明ユニット5Bによる照明下で得られたものとなる。そして、本実施形態2では、フレーム画像データD1をベースに編集加工処理を行う。具体的には、本実施形態2では、1フレームを横方向中央で左右に2分割し、フレーム画像データD2から照明ユニット5Bの照明範囲に対応する右半分領域を切り出し、その切り出した右半分領域だけを、フレーム画像データD1に上書きする処理を行い、これによりフレーム画像データD12を得る。このような編集加工処理を行うことで、運転席のドライバA、助手席の乗客B、後部座席の乗客C及びDの全員について視認性の高いフレーム画像データD12が得られる。なお、本実施形態2に係る編集加工処理における、照明ユニット5A,5BのON/OFF制御やフレームメモリ16に対するアクセス方法などは、上記実施形態1と同様であるので説明を省略する。 In the second embodiment, the frame image data D1 is obtained under illumination by the illumination unit 5A, and the frame image data D2 is obtained under illumination by the illumination unit 5B. In the second embodiment, the editing process is performed based on the frame image data D1. Specifically, in the second embodiment, one frame is divided into left and right at the center in the horizontal direction, a right half area corresponding to the illumination range of the illumination unit 5B is cut out from the frame image data D2, and the cut out right half area is cut out. Only the frame image data D1 is overwritten, thereby obtaining the frame image data D12. By performing such editing and processing, frame image data D12 with high visibility is obtained for all of driver A in the driver's seat, passenger B in the passenger seat, and passengers C and D in the rear seat. Note that the ON / OFF control of the lighting units 5A and 5B and the access method to the frame memory 16 in the editing process according to the second embodiment are the same as those in the first embodiment, and a description thereof will be omitted.
〔変形例2〕
次に、上記実施形態2における照明ユニット25A,25Bの変形例(以下、本変形例を「変形例2」という。)について説明する。
図15(a)は、一般的なLEDの発光強度分布を示す説明図であり、図15(b)は、本変形例2で用いるLEDの発光強度分布を示す説明図である。
上記実施形態2において、各照明ユニット25A,25Bは、前席及び後席の両方を照明することを担当するので、その照明領域内に互いに距離が異なる2つの被写体が存在する。そのため、図15(a)に示す一般的なLEDのように発光強度分布が正規分布している場合、距離が遠い後席(遠距離被写体)よりも距離が近い前席(近距離被写体)の方が若干強い光で照明される。そのため、遠距離被写体と近距離被写体との間で照明ムラが生じ、その視認性に差が出る。
[Modification 2]
Next, a modified example of the illumination units 25A and 25B in the second embodiment (hereinafter, this modified example is referred to as “modified example 2”) will be described.
FIG. 15A is an explanatory diagram showing a light emission intensity distribution of a general LED, and FIG. 15B is an explanatory diagram showing a light emission intensity distribution of an LED used in the second modification.
In the second embodiment, each of the lighting units 25A and 25B is in charge of illuminating both the front seat and the rear seat, and therefore there are two subjects having different distances in the illumination area. Therefore, when the emission intensity distribution is normally distributed as in the general LED shown in FIG. 15A, the front seat (short-distance subject) is closer than the far rear seat (far-distance subject). Is illuminated with slightly stronger light. Therefore, illumination unevenness occurs between the long-distance subject and the short-distance subject, and the visibility is different.
本変形例2で用いる照明ユニット25A,25Bは、図15(b)に示すように、発光強度分布が非対称であるLEDを用いている。具体的には、各照明ユニット25A,25Bで用いるLEDは、その発光強度分布が後席(遠距離被写体)を照らす領域側にピーク値がシフトしている。このような発光強度分布が非対称であるLEDは、その出射レンズとして非球面レンズを用いることで実現できる。なお、図15(a)及び(b)に示す破線矢印は、各照明ユニット25A,25Bのcを示すものである。本変形例2においては、その各照明ユニット25A,25Bが前席と後席の概ね中心に設定すればよい。
なお、本変形例2においては、上下方向については一般的な発光強度分布で問題ないが、上下方向についても遠被写体間で照明ムラが生じる場合には、発光強度分布が上下方向に非対称であるものを用いてもよい。
As shown in FIG. 15B, the illumination units 25A and 25B used in the second modification example use LEDs having an asymmetric emission intensity distribution. Specifically, the LED used in each of the lighting units 25A and 25B has a peak value shifted toward the region where the light emission intensity distribution illuminates the rear seat (far-distance subject). Such an LED having an asymmetric emission intensity distribution can be realized by using an aspheric lens as its exit lens. In addition, the broken-line arrow shown to Fig.15 (a) and (b) shows c of each illumination unit 25A, 25B. In the second modification, each of the lighting units 25A and 25B may be set approximately at the center of the front seat and the rear seat.
In the second modification, there is no problem with a general light emission intensity distribution in the vertical direction. However, if uneven illumination occurs between distant subjects in the vertical direction, the light emission intensity distribution is asymmetric in the vertical direction. A thing may be used.
以上、上記実施形態1(変形例1を含む。)に係る低照度対応カメラである車内監視カメラ1は、発光手段としての照明ユニット5A,5Bと、照明ユニット5A,5Bの発光波長帯域の少なくとも一部について受光感度を持つ受光手段としての受光センサ9と、照明ユニット5A,5Bによる照明下で被写体からの反射光を受光センサ9へ集光する集光手段としての広角レンズ2と、受光センサ9により得られる受光強度データを所定のフレーム周期(フレームレート)で取得してフレーム画像データD1,D2,・・・を生成し、そのフレーム画像データに基づいて動画像データを作成する動画像データ作成手段としての制御部10とを備えている。この車内監視カメラ1の照明ユニット5A,5Bは、出射角が広くかつ照明距離が短い第1発光部としての広角LED7Aと出射角が狭くかつ照明距離が長い第2発光部としての狭角LED7Bとを有している。そして、上記フレーム周期に同期させて、これらのLED7A,7Bの間で最大発光強度で発光するLEDが順次切り替わるように、各LED7A,7Bの発光強度を制御する発光強度制御手段としての制御部10を有し、この制御部10は、各LED7A,7Bが発光する照明下でそれぞれ得られたフレーム画像データを用いて1つの動画像データを作成する。これにより、夜間の暗い車内のような低照度環境下において、強い発光強度の照明下で高い視認性が得られる撮像箇所(遠距離領域)について、低い消費電力で高い視認性を得ることができる。しかも、本実施形態1(変形例1を含む。)においては、運転席や助手席などの近い被写体部分と後部座席などの遠い被写体部分の両方について、視認性の高い映像を得ることができる。
この場合、広角LED7Aの出射角は120度とし、狭角LED7Bの出射角は40度とするのが好ましい。
また、上記実施形態2(変形例2を含む。)に係る車内監視カメラ1は、照明ユニット25A,25Bが、撮像可能範囲内の互いに異なる箇所に向けて光を照射する複数の発光部(LED)を有している。そして、フレーム周期に同期させて、これらのLEDの間で最大発光強度で発光するLEDが順次切り替わるように、各LED7A,7Bの発光強度を制御する発光強度制御手段としての制御部10を有し、この制御部10は、各LED7A,7Bが発光する照明下でそれぞれ得られたフレーム画像データを用いて1つの動画像データを作成する。これにより、夜間の暗い車内のような低照度環境下において、強い発光強度の照明下で高い視認性が得られる撮像箇所(遠距離領域)について、低い消費電力で高い視認性を得ることができる。
また、上記変形例2のように、上記実施形態2で用いる照明ユニット25A,25BのLEDを、非対称の発光強度分布を有する非対称分布発光部とし、強い発光強度による照明下で高い視認性が得られる強発光強度被写体である後席を強い発光強度で照明し、弱い発光強度による照明下で高い視認性が得られる弱発光強度被写体である前席を弱い発光強度で照明するように、各LEDの発光強度分布を設定すると、前席と後席との間の照明ムラが少なくなり、より高い画質の動画像を得ることができる。
また、上記実施形態1において、制御部10は、少なくとも一部の撮像可能範囲について、広角LED7A及び狭角LED7Bの各照明下でそれぞれ得られる同一撮像箇所(図10に示す中央領域又は図11に示す中央領域上部)についての複数の受光強度データD1,D2から、その同一撮像箇所についての1つの新規な受光強度データD12を生成し、その受光強度データD12を用いて動画像データへ作成する。これにより、当該同一撮像箇所について、当該複数の受光強度データD1,D2が互いに補完しあった視認性の高い画像を得ることができる。
一方、上記変形例1のように、制御部10は、撮像可能範囲を分割して得られる複数の撮像箇所について、それぞれ広角LED7A及び狭角LED7Bの各照明下で得られる受光強度データD1,D2を用いて動画像データを作成するようにしてもよい。この場合、その動画像データの作成処理を簡単化することができる。
また、上記変形例1においては、複数のフレーム画像データそれぞれを格納可能な複数のメモリ領域(メモリ1〜5)を有するフレームメモリ16を設け、制御部10は、広角LED7Aの照明下で得られるから生成したフレーム画像データD1が格納されているメモリ1に対し、その図10に示す中央領域又は図11に示す中央領域上部に対応するメモリ部分のデータを、高い視認性が得られる狭角LED7Bによる照明下で得られる受光強度データから生成したフレーム画像データD2のものに置き換える処理を行う。これにより、必要なメモリ容量を削減できる。
また、LED7A,7Bが発光波長帯域として赤外波長帯域を有するものであれば、車内監視カメラの用途に本発明を適用する場合でも、運転者の視認性に与える影響等を少なくできる。
As described above, the in-vehicle monitoring camera 1 which is a low-illuminance camera according to Embodiment 1 (including Modification 1) includes at least the light emission wavelength bands of the illumination units 5A and 5B as the light emitting means and the illumination units 5A and 5B. A light receiving sensor 9 as a light receiving means having a light receiving sensitivity for a part, a wide-angle lens 2 as a light collecting means for condensing reflected light from the subject onto the light receiving sensor 9 under illumination by the illumination units 5A and 5B, and a light receiving sensor Is generated at a predetermined frame period (frame rate) to generate frame image data D1, D2,..., And moving image data is generated based on the frame image data. And a control unit 10 as creation means. The illumination units 5A and 5B of the in-vehicle surveillance camera 1 include a wide-angle LED 7A as a first light-emitting unit with a wide emission angle and a short illumination distance, and a narrow-angle LED 7B as a second light-emitting unit with a short emission angle and a long illumination distance. have. Then, in synchronism with the frame period, the control unit 10 as light emission intensity control means for controlling the light emission intensity of each LED 7A, 7B so that the LEDs emitting light with the maximum light emission intensity are sequentially switched between the LEDs 7A, 7B. The control unit 10 creates one moving image data using the frame image data obtained under the illumination emitted by the LEDs 7A and 7B. As a result, in a low-light environment such as a dark car at night, high visibility can be obtained with low power consumption for an imaging location (long-distance region) where high visibility is obtained under illumination with strong light emission intensity. . Moreover, in the first embodiment (including Modification 1), it is possible to obtain a highly visible image for both a near subject portion such as a driver seat and a passenger seat and a far subject portion such as a rear seat.
In this case, the exit angle of the wide-angle LED 7A is preferably 120 degrees, and the exit angle of the narrow-angle LED 7B is preferably 40 degrees.
In addition, the in-vehicle monitoring camera 1 according to the second embodiment (including the modified example 2) includes a plurality of light emitting units (LEDs) in which the illumination units 25A and 25B irradiate light toward different locations within the imageable range. )have. And it has the control part 10 as a light emission intensity control means which controls the light emission intensity of each LED7A and 7B so that LED which light-emits with maximum light emission intensity may switch sequentially among these LEDs synchronizing with a frame period. The control unit 10 creates one moving image data using the frame image data obtained under the illumination emitted by the LEDs 7A and 7B. As a result, in a low-light environment such as a dark car at night, high visibility can be obtained with low power consumption for an imaging location (long-distance region) where high visibility is obtained under illumination with strong light emission intensity. .
Further, as in the second modification, the LEDs of the illumination units 25A and 25B used in the second embodiment are asymmetrically distributed light emitting portions having asymmetric emission intensity distribution, and high visibility is obtained under illumination with strong emission intensity. Each LED is used to illuminate the rear seat, which is a subject with high emission intensity, with strong emission intensity, and to illuminate the front seat, which is a subject with weak emission intensity, which provides high visibility under illumination with weak emission intensity, with low emission intensity. If the emission intensity distribution is set, the illumination unevenness between the front seat and the rear seat is reduced, and a moving image with higher image quality can be obtained.
Further, in the first embodiment, the control unit 10 has the same imaging location (under the central region shown in FIG. 10 or FIG. 11) obtained under each illumination of the wide-angle LED 7A and the narrow-angle LED 7B for at least a part of the imageable range. One new received light intensity data D12 for the same imaging location is generated from a plurality of received light intensity data D1 and D2 for the upper part of the center area shown), and is generated into moving image data using the received light intensity data D12. Thereby, it is possible to obtain an image with high visibility in which the plurality of received light intensity data D1 and D2 are complemented to each other at the same imaging location.
On the other hand, as in Modification 1, the control unit 10 receives light intensity data D1, D2 obtained under illumination of the wide-angle LED 7A and the narrow-angle LED 7B, respectively, for a plurality of imaging locations obtained by dividing the imaging range. You may make it produce moving image data using. In this case, the moving image data creation process can be simplified.
Moreover, in the said modification 1, the frame memory 16 which has several memory area (memory 1-5) which can each store several frame image data is provided, and the control part 10 is obtained under illumination of wide-angle LED7A. Narrow-angle LED 7B with which high visibility can be obtained from the data in the memory area corresponding to the central area shown in FIG. 10 or the upper central area shown in FIG. The frame image data D2 generated from the received light intensity data obtained under the illumination is replaced with the frame image data D2. Thereby, the required memory capacity can be reduced.
Further, if the LEDs 7A and 7B have an infrared wavelength band as a light emission wavelength band, even when the present invention is applied to an in-vehicle surveillance camera, the influence on the driver's visibility can be reduced.
なお、以上の説明では、各照明ユニット5A,5B,25A,25Bが発光する照明下でそれぞれ得られた2つのフレーム画像データD1,D2を用いて1つのフレーム画像データD12を生成し、フレームレートを落とした動画像データを作成する場合について説明したが、動画像データの作成方法はこれに限られない。例えば、各照明ユニット5A,5B,25A,25Bが発光する照明下でそれぞれ得られた2つのフレーム画像データD1,D2をそのまま用いて、あるいは、当該2つのフレーム画像データD1,D2に対して何らかの画像補正処理を施したものを用いて、フレームレートを落とさない動画像データを作成してもよい。この場合、例えば上記実施形態1であれば、当該2つのフレーム画像データD1,D2が高速に切り替わる動画像となるので、その残像により、運転席や助手席などの近い被写体部分と後部座席などの遠い被写体部分の両方とも高い視認性をもって視聴者に知覚されるので、同様の効果が得られる。また、例えば上記実施形態2であれば、当該2つのフレーム画像データD1,D2が高速に切り替わる動画像となるので、その残像により、撮像可能範囲の全体を比較邸強い発光強度で照明した映像が視聴者に知覚されるので、同様の効果が得られる。 In the above description, one frame image data D12 is generated using the two frame image data D1 and D2 obtained under illumination emitted by each of the lighting units 5A, 5B, 25A, and 25B, and the frame rate is set. Although the description has been given of the case of creating the moving image data with dropped, the method of creating the moving image data is not limited to this. For example, the two frame image data D1 and D2 respectively obtained under illumination emitted by each of the lighting units 5A, 5B, 25A, and 25B are used as they are, or some sort is applied to the two frame image data D1 and D2. Moving image data that does not reduce the frame rate may be created using an image that has been subjected to image correction processing. In this case, for example, in the case of the first embodiment, the two frame image data D1 and D2 are moving images that are switched at a high speed. Therefore, the afterimage causes a close subject portion such as a driver seat or a passenger seat and a rear seat. Since both the distant subject portions are perceived by the viewer with high visibility, the same effect can be obtained. For example, in the case of the second embodiment, since the two frame image data D1 and D2 are moving images that are switched at high speed, an image obtained by illuminating the entire imageable range with a comparatively strong light emission intensity by the afterimage. Since it is perceived by the viewer, the same effect can be obtained.
1 車内監視カメラ
2 広角レンズ
3,23 カメラユニット
4 カメラケーブル
5A,5B,25A,25B 照明ユニット
6A,6B 照明ケーブル
7A,7B LED
8 ユニット間ケーブル
9 受光センサ
10 制御部
11 発光ドライバ
12 照明用駆動電源
13A,13B 定電流源
14A,14B スイッチ部
15 画像処理部
16 フレームメモリ
17 NTSC変換部
18 輝度判定部
20 ルームミラー
1 In-car surveillance camera 2 Wide-angle lens 3,23 Camera unit 4 Camera cable 5A, 5B, 25A, 25B Lighting unit 6A, 6B Lighting cable 7A, 7B LED
8 Unit-to-unit cable 9 Light receiving sensor 10 Control unit 11 Light emitting driver 12 Illumination drive power supply 13A, 13B Constant current source 14A, 14B Switch unit 15 Image processing unit 16 Frame memory 17 NTSC conversion unit 18 Brightness determination unit 20 Room mirror
Claims (8)
該発光手段の発光波長帯域の少なくとも一部について受光感度を持つ受光手段と、
該発光手段による照明下で被写体からの反射光を該受光手段へ集光する集光手段と、
該受光手段により得られる受光強度データを所定のフレーム周期で取得してフレーム画像データを生成し、該フレーム画像データに基づいて動画像データを作成する動画像データ作成手段とを有する低照度対応カメラにおいて、
上記発光手段は、所定の出射角及び所定の出射強度を有する第1発光部と、上記第1発光部の出射角よりも出射角が狭くかつ上記第1発光部の出射強度よりも出射強度が強い第2発光部とを含んだ複数の発光部を有しており、
上記フレーム周期に同期させて、上記第1発光部の発光強度が上記第2発光部よりも大きいときと上記第2発光部の発光強度が上記第1発光部よりも大きいときが生じるように各発光部の発光強度を制御する発光強度制御手段を設け、
上記動画像データ作成手段は、上記第1発光部の発光強度が上記第2発光部よりも大きいときの照明下で得られたフレーム画像データおよび上記第2発光部の発光強度が上記第1発光部よりも大きいときの照明下で得られたフレーム画像データを用いて1つの動画像データを作成することを特徴とする低照度対応カメラ。 A light emitting means;
A light receiving means having light receiving sensitivity for at least a part of the emission wavelength band of the light emitting means;
Condensing means for condensing the reflected light from the subject onto the light receiving means under illumination by the light emitting means;
A low-illuminance camera having moving image data creating means for obtaining received light intensity data obtained by the light receiving means at a predetermined frame period, generating frame image data, and creating moving image data based on the frame image data In
The light emitting means includes a first light emitting unit having a predetermined output angle and a predetermined output intensity, an output angle narrower than an output angle of the first light emitting unit, and an output intensity higher than the output intensity of the first light emitting unit. A plurality of light emitting parts including a strong second light emitting part;
In synchronization with the frame period, each of the first light-emitting part and the second light-emitting part has a light-emitting intensity greater than that of the second light-emitting part and a light-emitting intensity of the second light-emitting part larger than that of the first light-emitting part. A light emission intensity control means for controlling the light emission intensity of the light emitting unit is provided,
The moving image data creation means is configured such that the frame image data obtained under illumination when the light emission intensity of the first light emitting unit is larger than that of the second light emitting unit and the light emission intensity of the second light emitting unit are the first light emission. A low-illuminance camera characterized in that one moving image data is created using frame image data obtained under illumination when larger than a portion.
上記第1発光部の出射角は120度であり、上記第2発光部の出射角は40度であることを特徴とする低照度対応カメラ。 The camera for low light intensity according to claim 1,
The low-illuminance camera, wherein the emission angle of the first light emitting unit is 120 degrees, and the emission angle of the second light emitting unit is 40 degrees.
該発光手段の発光波長帯域の少なくとも一部について受光感度を持つ受光手段と、
該発光手段による照明下で被写体からの反射光を該受光手段へ集光する集光手段と、
該受光手段により得られる受光強度データを所定のフレーム周期で取得してフレーム画像データを生成し、該フレーム画像データに基づいて動画像データを作成する動画像データ作成手段とを有する低照度対応カメラにおいて、
上記発光手段は、撮像可能範囲内の互いに異なる箇所に向けて光を照射する第1発光部及び第2の発光部を含んだ複数の発光部を有しており、
上記フレーム周期に同期させて、上記第1発光部の発光強度が上記第2発光部よりも大きいときと上記第2発光部の発光強度が上記第1発光部よりも大きいときが生じるように各発光部の発光強度を制御する発光強度制御手段を設け、
上記動画像データ作成手段は、上記第1発光部の発光強度が上記第2発光部よりも大きいときの照明下で得られたフレーム画像データおよび上記第2発光部の発光強度が上記第1発光部よりも大きいときの照明下で得られたフレーム画像データを用いて1つの動画像データを作成することを特徴とする低照度対応カメラ。 A light emitting means;
A light receiving means having light receiving sensitivity for at least a part of the emission wavelength band of the light emitting means;
Condensing means for condensing the reflected light from the subject onto the light receiving means under illumination by the light emitting means;
A low-illuminance camera having moving image data creating means for obtaining received light intensity data obtained by the light receiving means at a predetermined frame period, generating frame image data, and creating moving image data based on the frame image data In
The light-emitting means has a plurality of light-emitting parts including a first light-emitting part and a second light-emitting part that irradiate light toward different locations within the imageable range,
In synchronization with the frame period, each of the first light-emitting part and the second light-emitting part has a light-emitting intensity greater than that of the second light-emitting part and a light-emitting intensity of the second light-emitting part larger than that of the first light-emitting part. A light emission intensity control means for controlling the light emission intensity of the light emitting unit is provided,
The moving image data creation means is configured such that the frame image data obtained under illumination when the light emission intensity of the first light emitting unit is larger than that of the second light emitting unit and the light emission intensity of the second light emitting unit are the first light emission. A low-illuminance camera characterized in that one moving image data is created using frame image data obtained under illumination when larger than a portion.
上記複数の発光部は、非対称の発光強度分布を有する非対称分布発光部を含んでおり、
所定の発光強度による照明下で高い視認性が得られる強発光強度被写体を該所定の発光強度で照明し、該所定の発光強度よりも小さい発光強度による照明下で高い視認性が得られる弱発光強度被写体を該所定の発光強度よりも小さい発光強度で照明するように、該非対称分布発光部の発光強度分布を設定したことを特徴とする低照度対応カメラ。 In the low light corresponding camera of Claim 3,
The plurality of light emitting portions include an asymmetric distributed light emitting portion having an asymmetric light emission intensity distribution,
Strong light emission intensity that provides high visibility under illumination with a predetermined light emission intensity A weak light emission that illuminates a subject with the predetermined light emission intensity and provides high visibility under illumination with a light emission intensity smaller than the predetermined light emission intensity A low-illuminance camera characterized in that the light emission intensity distribution of the asymmetrical distribution light-emitting unit is set so as to illuminate a high intensity subject with a light emission intensity smaller than the predetermined light emission intensity.
上記動画像データ作成手段は、少なくとも一部の撮像可能範囲について、上記少なくとも2つの発光部が上記複数の発光部の中で発光強度が最大となる時の照明下でそれぞれ得られる同一撮像箇所についての複数の受光強度データを合成して該同一撮像箇所についての1つの受光強度データを生成し、これにより生成した受光強度データを用いて上記動画像データを作成することを特徴とする低照度対応カメラ。 The low-illuminance camera according to any one of claims 1 to 4,
The moving image data creation means is configured to obtain at least a part of an imageable range for the same imaging location obtained under illumination when the at least two light emitting units have a maximum light emission intensity among the plurality of light emitting units. A plurality of received light intensity data are combined to generate one received light intensity data for the same imaging location, and the moving image data is created using the received received light intensity data. camera.
上記動画像データ作成手段は、撮像可能範囲を分割して得られる複数の撮像箇所について、それぞれ、上記第1発光部の発光強度が上記第2発光部よりも大きいときの照明下で得られる受光強度データおよび上記第2発光部の発光強度が上記第1発光部よりも大きいときの照明下で得られる受光強度データを用いて上記動画像データを作成することを特徴とする低照度対応カメラ。 In the low illumination corresponding camera of any one of Claims 1 thru | or 5 ,
The moving image data creation means receives light received under illumination when the light emission intensity of the first light emitting unit is larger than that of the second light emitting unit for a plurality of imaging locations obtained by dividing the imageable range. A low-illuminance camera characterized in that the moving image data is created using intensity data and received light intensity data obtained under illumination when the emission intensity of the second light emitting part is greater than that of the first light emitting part.
複数のフレーム画像データそれぞれを格納可能な複数のメモリ領域を有するフレームメモリを有し、
上記動画像データ作成手段は、上記少なくとも2つの発光部による照明下でそれぞれ得られる受光強度データのうち最初に得られた受光強度データから生成したフレーム画像データが格納されているメモリ領域に対し、上記複数の撮像箇所に対応するメモリ部分のデータを、高い視認性が得られる他の発光部による照明下で得られる受光強度データから生成したフレーム画像データのものに置き換える処理を行うことを特徴とする低照度対応カメラ。 The low-illuminance camera according to claim 6,
A frame memory having a plurality of memory areas each capable of storing a plurality of frame image data;
The moving image data creation means, for the memory area storing the frame image data generated from the received light intensity data obtained first among the received light intensity data respectively obtained under illumination by the at least two light emitting units, A process of replacing the data of the memory portion corresponding to the plurality of imaging locations with the one of the frame image data generated from the received light intensity data obtained under illumination by another light emitting unit capable of obtaining high visibility, A low light camera.
上記発光手段は、発光波長帯域として赤外波長帯域を有するものであることを特徴とする低照度対応カメラ。 In the low illumination corresponding camera of any one of Claims 1 thru | or 7,
The low-illuminance camera, wherein the light emitting means has an infrared wavelength band as a light emission wavelength band.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010140696A JP5500442B2 (en) | 2010-06-21 | 2010-06-21 | Low light camera |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010140696A JP5500442B2 (en) | 2010-06-21 | 2010-06-21 | Low light camera |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012005054A JP2012005054A (en) | 2012-01-05 |
JP2012005054A5 JP2012005054A5 (en) | 2013-05-16 |
JP5500442B2 true JP5500442B2 (en) | 2014-05-21 |
Family
ID=45536474
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010140696A Expired - Fee Related JP5500442B2 (en) | 2010-06-21 | 2010-06-21 | Low light camera |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5500442B2 (en) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6233735B2 (en) * | 2012-06-29 | 2017-11-22 | パナソニックIpマネジメント株式会社 | Imaging device for monitoring and control method thereof |
US9696609B2 (en) * | 2014-01-10 | 2017-07-04 | Avigilon Corporation | Camera housing for reducing internal reflections and camera comprising same |
JP6603944B2 (en) * | 2014-05-30 | 2019-11-13 | 株式会社ユピテル | Light irradiation system |
JP2019061112A (en) * | 2017-09-27 | 2019-04-18 | アイシン精機株式会社 | Camera module |
JP7211673B2 (en) * | 2018-05-25 | 2023-01-24 | 株式会社Subaru | vehicle occupant monitoring device |
JP7168418B2 (en) * | 2018-11-09 | 2022-11-09 | 株式会社日立製作所 | Image capturing device and remote image monitoring system |
JP6884347B2 (en) * | 2019-09-24 | 2021-06-09 | 株式会社ユピテル | Light irradiation system |
FR3130710B1 (en) * | 2021-12-20 | 2024-04-05 | Valeo Comfort & Driving Assistance | Device for observing a vehicle interior |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3873157B2 (en) * | 1997-11-13 | 2007-01-24 | カシオ計算機株式会社 | Electronic camera device and imaging method |
JP4356204B2 (en) * | 2000-07-12 | 2009-11-04 | 株式会社ニコン | Electronic camera system and recording medium recording illumination simulation program |
JP2007281937A (en) * | 2006-04-07 | 2007-10-25 | Fujifilm Corp | Photographing system, and device and program for synthesizing image |
-
2010
- 2010-06-21 JP JP2010140696A patent/JP5500442B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012005054A (en) | 2012-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5500442B2 (en) | Low light camera | |
US7935928B2 (en) | Device and method for producing images | |
US6631316B2 (en) | Image processing system to control vehicle headlamps or other vehicle equipment | |
JP4491453B2 (en) | Method and apparatus for visualizing the periphery of a vehicle by fusing infrared and visual images depending on the periphery | |
JP5441462B2 (en) | Vehicle imaging device | |
US11178353B2 (en) | System and method for processing streamed video images to correct for flicker of amplitude-modulated lights | |
JP2002240629A (en) | On-vehicle video camera | |
JP4659906B2 (en) | Night vision device | |
JP2005170063A (en) | Auxiliary equipment control equipment for automobiles | |
US20120127313A1 (en) | Method and device for a vehicle-based illumination in insufficiently illuminated traffic environments | |
US20130088598A1 (en) | Obstacle detection system and method, and obstacle detection apparatus | |
CN105960355A (en) | Method for operating a rearview camera system of a motor vehicle after detection of a headlight flasher, rearview camera system and motor vehicle | |
CN113015653A (en) | Vehicle lamp system | |
JP5441450B2 (en) | Vehicle imaging device | |
JP4950967B2 (en) | Auxiliary equipment control equipment for automobiles | |
JP4705923B2 (en) | Night vision imaging apparatus, headlight module, vehicle, and method for controlling night vision imaging apparatus | |
JP3793487B2 (en) | Imaging system | |
JP5179428B2 (en) | Vehicle periphery monitoring device | |
EP2709356B1 (en) | Method for operating a front camera of a motor vehicle considering the light of the headlight, corresponding device and motor vehicle | |
EP3605497A1 (en) | Illumination image capture device | |
JP2002114097A (en) | On-board infrared imaging device | |
JP2008230464A (en) | Automatic exposure device for on-vehicle camera | |
JP2012005051A (en) | Camera adaptive to low luminance | |
JP5436892B2 (en) | Vehicle imaging device | |
JP7136055B2 (en) | Exposure controller |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130328 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130328 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140117 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140214 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140227 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5500442 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |