[go: up one dir, main page]

JP2014235079A - Deposit detection device, mobile object equipment control system and mobile object - Google Patents

Deposit detection device, mobile object equipment control system and mobile object Download PDF

Info

Publication number
JP2014235079A
JP2014235079A JP2013116696A JP2013116696A JP2014235079A JP 2014235079 A JP2014235079 A JP 2014235079A JP 2013116696 A JP2013116696 A JP 2013116696A JP 2013116696 A JP2013116696 A JP 2013116696A JP 2014235079 A JP2014235079 A JP 2014235079A
Authority
JP
Japan
Prior art keywords
light
light irradiation
unit
image
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013116696A
Other languages
Japanese (ja)
Inventor
真人 森岡
Masato Morioka
真人 森岡
高橋　祐二
Yuji Takahashi
祐二 高橋
洋義 関口
Hiroyoshi Sekiguchi
洋義 関口
真太郎 木田
Shintaro Kida
真太郎 木田
押切　幸治
Koji Oshikiri
幸治 押切
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2013116696A priority Critical patent/JP2014235079A/en
Publication of JP2014235079A publication Critical patent/JP2014235079A/en
Pending legal-status Critical Current

Links

Landscapes

  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

PROBLEM TO BE SOLVED: To suppress useless power consumption in a light irradiation part of a deposit detection device.SOLUTION: The deposit detection device has: a light irradiation part 202 for irradiating raindrop observation part of a windshield 105 with light for illuminating the raindrop observation part; an imaging part 201 for imaging the raindrop observation part illuminated by light emitted from the light irradiation part within a set exposure time; an exposure control part 201a for setting the exposure time of the imaging part; a raindrop amount information calculation part 203 for detecting raindrops Rd adhered to the raindrop observation part based on a captured image captured by the imaging part; and a light source control part 205 for acquiring the exposure time set by the exposure control part, and controlling a light irradiation period of the light irradiation part by synchronizing it with the acquired exposure time.

Description

本発明は、光源からの光が照射されるガラス等の光透過部材を撮像手段で撮像して得られる撮像画像に基づいて当該光透過部材に付着している付着物を検出する付着物検出装置、移動体機器制御システム及び移動体に関するものである。   The present invention relates to an adhering matter detection device that detects an adhering matter adhering to a light transmitting member based on a captured image obtained by imaging a light transmitting member such as glass irradiated with light from a light source with an imaging means. The present invention relates to a mobile device control system and a mobile body.

この種の付着物検出装置としては、例えば、特許文献１や特許文献２に記載された装置が知られている。これらの装置は、車両等のガラス（光透過部材）に光照射部から光を照射し、そのガラスからの反射光を用いて、設定された露光期間で撮像手段により撮像することで、その露光期間中の受光量に応じた撮像画像を作成し、その撮像画像に基づいてガラスに付着した雨滴等の付着物を検出する。   As this kind of deposit detection device, for example, devices described in Patent Document 1 and Patent Document 2 are known. These devices irradiate glass (light transmissive member) such as a vehicle with light from a light irradiator, and use the reflected light from the glass to capture an image with an imaging means during a set exposure period, thereby exposing the exposure. A captured image corresponding to the amount of light received during the period is created, and an adhering substance such as raindrops attached to the glass is detected based on the captured image.

従来の付着物検出装置に用いられる撮像手段の多くは、その撮像目的に適した撮像画像が得られるように、撮像状況等に応じて露光期間を調整して撮像動作を行うが、光照射部の光照射期間（光照射部が光を照射している期間）は一定に設定されている。そのため、光照射部から照射された光は、撮像手段の露光期間（撮像画像に反映させる光を撮像手段が受光している期間）から外れる時期にも、撮像手段に入射する場合がある。このような時期に撮像手段へ入射する光は、撮像画像に反映されない無駄な光であるため、光照射部において無駄に電力を消費するという問題が生じる。   Many of the imaging means used in the conventional adhering matter detection apparatus perform an imaging operation by adjusting an exposure period according to an imaging situation so that a captured image suitable for the imaging purpose can be obtained. The light irradiation period (period in which the light irradiation unit irradiates light) is set constant. For this reason, the light emitted from the light irradiating unit may be incident on the imaging unit even when it is out of the exposure period of the imaging unit (the period in which the imaging unit receives light reflected in the captured image). Since the light incident on the image pickup means at such a time is useless light that is not reflected in the picked-up image, there is a problem that power is wasted in the light irradiation unit.

本発明は、前記問題に鑑みなされたものであり、その目的とするところは、光照射部における無駄な電力消費を抑制できる付着物検出装置、移動体機器制御システム及び付着物検出用プログラムを提供することである。   The present invention has been made in view of the above problems, and an object of the present invention is to provide a deposit detection apparatus, a mobile device control system, and a deposit detection program capable of suppressing wasteful power consumption in a light irradiation unit. It is to be.

前記目的を達成するために、本発明は、光透過部材の付着物観測部分を照明する光を照射する光照射部と、前記光照射部から照射される光で照明された光透過部材上の付着物観測部分を、設定された露光期間で撮像する撮像手段と、前記撮像手段の露光期間を所定の露光期間設定条件に従った露光期間に設定する露光期間設定手段と、前記撮像手段が撮像した撮像画像に基づいて、前記付着物観測部分に付着している付着物を検出する付着物検出処理を実行する検出処理手段を備えた付着物検出装置において、前記露光期間設定手段が設定する露光期間を取得し、取得した露光期間に応じて前記光照射部の光照射期間を制御する光照射期間制御手段を有することを特徴とする。   To achieve the above object, the present invention provides a light irradiating unit that irradiates light that illuminates a deposit observation portion of a light transmitting member, and a light irradiating member that is illuminated with light irradiated from the light irradiating unit. An imaging means for imaging the adhering substance observation portion with a set exposure period, an exposure period setting means for setting the exposure period of the imaging means to an exposure period according to a predetermined exposure period setting condition, and the imaging means for imaging In the adhering matter detection apparatus provided with the detection processing means for executing the adhering matter detection process for detecting the adhering matter adhering to the adhering matter observation part based on the captured image, the exposure period setting means sets the exposure. It has a light irradiation period control means which acquires a period and controls the light irradiation period of the light irradiation part according to the acquired exposure period.

本発明によれば、露光期間設定手段が設定した撮像手段の露光期間に応じた時期に光照射部が光を照射するように制御することができるので、撮像手段の撮像時間等の露光期間が設定変更されても、撮像手段の露光期間から外れる時期に光照射部が照射する光量を抑制でき、光照射部における無駄な電力消費を抑制できるという優れた効果が得られる。   According to the present invention, since the light irradiation unit can be controlled to emit light at a time according to the exposure period of the imaging unit set by the exposure period setting unit, the exposure period such as the imaging time of the imaging unit can be controlled. Even if the setting is changed, it is possible to suppress the amount of light irradiated by the light irradiation unit at a time outside the exposure period of the imaging unit, and it is possible to obtain an excellent effect that unnecessary power consumption in the light irradiation unit can be suppressed.

実施形態１における車載機器制御システムの概略構成を示す模式図である。It is a schematic diagram which shows schematic structure of the vehicle equipment control system in Embodiment 1. FIG. 同車載機器制御システムにおける雨滴検出装置を構成する撮像ユニット及び画像解析ユニットの概略構成の一例を示す模式図である。It is a schematic diagram which shows an example of schematic structure of the imaging unit and image analysis unit which comprise the raindrop detection apparatus in the same vehicle equipment control system. 同車載機器制御システムにおける雨滴検出装置を構成する撮像ユニット及び画像解析ユニットの概略構成の他の例を示す模式図である。It is a schematic diagram which shows the other example of schematic structure of the imaging unit and image analysis unit which comprise the raindrop detection apparatus in the same vehicle equipment control system. １つの光源で雨滴検出用画像領域を照明したときの画像を模式的に示した一例を示す説明図である。It is explanatory drawing which shows an example which showed typically the image when the image area for raindrop detection was illuminated with one light source. ８つの光源で雨滴検出用画像領域を照明したときの画像を模式的に示した一例を示す説明図である。It is explanatory drawing which shows an example which showed typically the image when the image area for raindrop detection is illuminated with eight light sources. 雨滴検出用の撮像画像データに適用可能なカットフィルタのフィルタ特性を示すグラフである。It is a graph which shows the filter characteristic of the cut filter applicable to the picked-up image data for raindrop detection. 雨滴検出用の撮像画像データに適用可能なバンドパスフィルタのフィルタ特性を示すグラフである。It is a graph which shows the filter characteristic of the band pass filter applicable to the picked-up image data for raindrop detection. 撮像部に設けられる光学フィルタの正面図である。It is a front view of the optical filter provided in an imaging part. 同撮像部の撮像画像データの画像例を示す説明図である。It is explanatory drawing which shows the image example of the captured image data of the imaging part. 実施形態１における雨滴量算出処理の流れを示すフローチャートである。3 is a flowchart showing a flow of raindrop amount calculation processing in the first embodiment. 実施形態２における車載機器制御システムの雨滴検出装置を構成する撮像ユニット及び画像解析ユニットの概略構成を示す模式図である。It is a schematic diagram which shows schematic structure of the imaging unit and image analysis unit which comprise the raindrop detection apparatus of the vehicle equipment control system in Embodiment 2. FIG. 実施形態２における雨滴量算出処理を開始する前に行われる光照射期間決定処理の流れを示すフローチャートである。6 is a flowchart illustrating a flow of a light irradiation period determination process that is performed before the raindrop amount calculation process in the second embodiment is started. 同光照射期間決定処理で用いられる５つの疑似露光同期信号（ｔ＝１〜５）と撮像部の露光期間との対応関係の一例を示すタイミングチャートである。It is a timing chart which shows an example of the correspondence of five pseudo exposure synchronizing signals (t = 1-5) used in the same light irradiation period determination process, and the exposure period of an image pick-up part. 図１３に示した例において、同光照射期間決定処理によって得られる５つの輝度総和値を示すグラフである。In the example shown in FIG. 13, it is a graph which shows five luminance sum total values obtained by the same light irradiation period determination process. 変形例における雨滴量算出処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the raindrop amount calculation process in a modification.

〔実施形態１〕
以下、本発明に係る付着物検出装置を移動体機器制御システムである車載機器制御システムに用いた一実施形態（以下、本実施形態を「実施形態１」という。）について説明する。
なお、本発明に係る付着物検出装置は、車載機器制御システムに限らず、他のシステムにも適用できる。 Embodiment 1
Hereinafter, an embodiment (hereinafter, this embodiment is referred to as “Embodiment 1”) in which the attached matter detection apparatus according to the present invention is used in an in-vehicle device control system that is a mobile device control system will be described.
In addition, the deposit | attachment detection apparatus which concerns on this invention is applicable not only to a vehicle equipment control system but another system.

図１は、本実施形態１における車載機器制御システムの概略構成を示す模式図である。
本車載機器制御システムは、移動体である自動車などの自車両１００に搭載された撮像部で撮像した自車両進行方向前方領域（撮像領域）の撮像画像データを利用して、ワイパーの駆動制御、ヘッドランプの配光制御、その他の車載機器の制御を行うものである。 FIG. 1 is a schematic diagram illustrating a schematic configuration of an in-vehicle device control system according to the first embodiment.
This in-vehicle device control system uses a captured image data of a forward region (imaging region) in the traveling direction of the host vehicle captured by an imaging unit mounted on the host vehicle 100 such as an automobile that is a moving body, It controls the light distribution of the headlamps and other in-vehicle devices.

本実施形態１の車載機器制御システムに設けられる撮像部は、撮像ユニット１０１に設けられており、走行する自車両１００の進行方向前方領域を撮像領域として撮像するものである。撮像ユニット１０１は、例えば、自車両１００のフロントガラス１０５のルームミラー（図示せず）付近に設置される。撮像ユニット１０１の撮像部で撮像された撮像画像データは、画像解析ユニット１０２に入力される。画像解析ユニット１０２は、撮像部から送信されてくる撮像画像データを解析し、撮像画像データに自車両１００の前方に存在する他車両の位置、方角、距離を算出したり、光透過部材であるフロントガラス１０５に付着する雨滴や異物などの付着物を検出したり、撮像領域内に存在する路面上の白線（区画線）等の検出対象物を検出したりする。他車両の検出では、他車両のテールランプを識別することで自車両１００と同じ進行方向へ進行する先行車両を検出し、他車両のヘッドランプを識別することで自車両１００とは反対方向へ進行する対向車両を検出する。   The imaging unit provided in the in-vehicle device control system according to the first embodiment is provided in the imaging unit 101, and images the front area in the traveling direction of the traveling vehicle 100 as an imaging area. The imaging unit 101 is installed near a room mirror (not shown) of the windshield 105 of the host vehicle 100, for example. The captured image data captured by the imaging unit of the imaging unit 101 is input to the image analysis unit 102. The image analysis unit 102 analyzes the captured image data transmitted from the imaging unit, calculates the position, direction, and distance of another vehicle existing ahead of the host vehicle 100 in the captured image data, or is a light transmitting member. For example, an adhering matter such as raindrops or foreign matters adhering to the windshield 105 is detected, or a detection target such as a white line (partition line) on the road surface existing in the imaging region is detected. In the detection of other vehicles, a preceding vehicle traveling in the same traveling direction as the own vehicle 100 is detected by identifying the tail lamp of the other vehicle, and traveling in the opposite direction to the own vehicle 100 by identifying the headlamp of the other vehicle. An oncoming vehicle is detected.

画像解析ユニット１０２の算出結果は、ランプ制御手段としてのヘッドランプ制御ユニット１０３に送られる。ヘッドランプ制御ユニット１０３は、例えば、画像解析ユニット１０２が算出した距離データから、自車両１００の車載機器であるヘッドランプ１０４を制御する制御信号を生成する。具体的には、例えば、先行車両や対向車両の運転者の目に自車両１００のヘッドランプの強い光が入射するのを避けて他車両の運転者の幻惑防止を行いつつ、自車両１００の運転者の視界確保を実現できるように、ヘッドランプ１０４のハイビームおよびロービームの切り替えを制御したり、ヘッドランプ１０４の部分的な遮光制御を行ったりする。   The calculation result of the image analysis unit 102 is sent to a headlamp control unit 103 as lamp control means. For example, the headlamp control unit 103 generates a control signal for controlling the headlamp 104 that is an in-vehicle device of the host vehicle 100 from the distance data calculated by the image analysis unit 102. Specifically, for example, while avoiding that the strong light of the headlamp of the own vehicle 100 is incident on the driver of the preceding vehicle or the oncoming vehicle, the driver of the other vehicle is prevented from being dazzled. The switching of the high beam and the low beam of the headlamp 104 is controlled, and partial shading control of the headlamp 104 is performed so that the driver's visibility can be secured.

画像解析ユニット１０２の算出結果は、ワイパー制御手段としてのワイパー制御ユニット１０６にも送られる。ワイパー制御ユニット１０６は、ワイパー１０７を制御して、自車両１００のフロントガラス１０５に付着した雨滴や異物などの付着物を除去する。ワイパー制御ユニット１０６は、画像解析ユニット１０２が検出した付着物検出結果を受けて、ワイパー１０７を制御する制御信号を生成する。ワイパー制御ユニット１０６により生成された制御信号がワイパー１０７の図示しないワイパー駆動部に送られると、自車両１００の運転者の視界を確保するべく、ワイパー１０７が稼動する。   The calculation result of the image analysis unit 102 is also sent to the wiper control unit 106 as a wiper control means. The wiper control unit 106 controls the wiper 107 to remove deposits such as raindrops and foreign matters attached to the windshield 105 of the host vehicle 100. The wiper control unit 106 receives the attached matter detection result detected by the image analysis unit 102 and generates a control signal for controlling the wiper 107. When the control signal generated by the wiper control unit 106 is sent to a wiper drive unit (not shown) of the wiper 107, the wiper 107 is activated to ensure the visibility of the driver of the host vehicle 100.

また、画像解析ユニット１０２の算出結果は、車両走行制御手段としての車両走行制御ユニット１０８にも送られる。車両走行制御ユニット１０８は、画像解析ユニット１０２が検出した白線検出結果に基づいて、白線によって区画されている車線領域から自車両１００が外れている場合等に、自車両１００の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。   The calculation result of the image analysis unit 102 is also sent to the vehicle travel control unit 108 as vehicle travel control means. Based on the white line detection result detected by the image analysis unit 102, the vehicle travel control unit 108 warns the driver of the host vehicle 100 when the host vehicle 100 is out of the lane area defined by the white line. Notification is performed, and driving support control such as controlling the steering wheel and brake of the host vehicle is performed.

図２は、付着物検出装置としての雨滴検出装置２００を構成する撮像ユニット１０１及び画像解析ユニット１０２の概略構成の一例を示す模式図である。
この雨滴検出装置２００は、撮像ユニット１０１に設けられた撮像部２０１、光照射部２０２及び光源制御部２０５と、画像解析ユニット１０２に設けられた雨滴量情報算出部２０３とから構成されている。本実施形態１において、光照射部２０２は、フロントガラス１０５の外壁面に付着した付着物（以下、付着物が雨滴Ｒｄである場合を例に挙げて説明する。）を検出するためのものである。 FIG. 2 is a schematic diagram illustrating an example of a schematic configuration of the imaging unit 101 and the image analysis unit 102 that configure the raindrop detection device 200 as the attached matter detection device.
The raindrop detection apparatus 200 includes an imaging unit 201, a light irradiation unit 202 and a light source control unit 205 provided in the imaging unit 101, and a raindrop amount information calculation unit 203 provided in the image analysis unit 102. In the first embodiment, the light irradiation unit 202 is for detecting an adhering matter adhering to the outer wall surface of the windshield 105 (hereinafter, the case where the adhering matter is a raindrop Rd will be described as an example). is there.

図２に示す雨滴検出装置２００では、光照射部２０２から照射した光がフロントガラス１０５の内壁面から内部へ入射するように、光照射部２０２が配置されている。光照射部２０２からフロントガラス１０５の内部へ入射した光は、フロントガラス１０５の外壁面のうち雨滴Ｒｄが付着していない非付着領域では、その多くがフロントガラス外壁面を透過し、撮像部２０１に受光されない。一方、フロントガラス１０５の外壁面のうち雨滴Ｒｄが付着している付着領域では、その多くがフロントガラス外壁面で反射し、その正反射光が撮像部２０１に受光される。したがって、撮像部２０１での受光量は、非付着領域からの受光量が少なく、付着領域からの受光量が多い。よって、撮像画像上においては、非付着領域を映し出す非付着物画像領域である非雨滴画像領域の画素値（輝度）よりも付着領域を映し出す付着物画像領域である雨滴画像領域の画素値（輝度）の方が高いものとなる。   In the raindrop detection apparatus 200 shown in FIG. 2, the light irradiation unit 202 is arranged so that the light irradiated from the light irradiation unit 202 enters the inside from the inner wall surface of the windshield 105. Most of the light incident on the inside of the windshield 105 from the light irradiation unit 202 is transmitted through the outer wall surface of the windshield in the non-attached region where the raindrop Rd is not attached on the outer wall surface of the windshield 105. Is not received. On the other hand, most of the outer wall surface of the windshield 105 where raindrops Rd adhere is reflected by the windshield outer wall surface, and the specularly reflected light is received by the imaging unit 201. Therefore, the amount of light received by the imaging unit 201 is small from the non-attached area and large from the attached area. Therefore, on the captured image, the pixel value (luminance) of the raindrop image area that is an attachment image area that projects the adhesion area is higher than the pixel value (luminance) of the non-raindrop image area that is the non-attachment image area that projects the non-attachment area. ) Is higher.

図３は、雨滴検出装置２００を構成する撮像ユニット１０１及び画像解析ユニット１０２の概略構成の他の例を示す模式図である。
この雨滴検出装置２００は、撮像ユニット１０１に設けられた撮像部２０１、光照射部２０２、導光部２０４及び光源制御部２０５と、画像解析ユニット１０２に設けられた雨滴量情報算出部２０３とから構成されている。図３に示す雨滴検出装置２００では、光照射部２０２から照射した光がプリズム等で構成される導光部２０４の内部へ入射する。導光部２０４は、フロントガラス１０５の内壁面に密着する密着面を有し、光照射部２０２から導光部２０４の内部へ入射した光は、導光部２０４の密着面とフロントガラス内壁面との境界面を透過してフロントガラス１０５の内部へ入射する。フロントガラス１０５の内部に入射した光は、フロントガラス１０５の外壁面のうち雨滴Ｒｄが付着していない非付着領域では、その多くがフロントガラス外壁面で反射し、その正反射光が撮像部２０１に受光される。一方、フロントガラス１０５の外壁面のうち雨滴Ｒｄが付着している付着領域では、その多くがフロントガラス外壁面を透過して、撮像部２０１には受光されない。したがって、撮像部２０１での受光量は、非付着領域からの受光量が多く、付着領域からの受光量が少ない。よって、撮像画像上においては、非付着領域を映し出す非雨滴画像領域の画素値（輝度）よりも付着領域を映し出す雨滴画像領域の画素値（輝度）の方が低いものとなる。 FIG. 3 is a schematic diagram illustrating another example of a schematic configuration of the imaging unit 101 and the image analysis unit 102 that configure the raindrop detection apparatus 200.
The raindrop detection apparatus 200 includes an imaging unit 201, a light irradiation unit 202, a light guide unit 204, and a light source control unit 205 provided in the imaging unit 101, and a raindrop amount information calculation unit 203 provided in the image analysis unit 102. It is configured. In the raindrop detection apparatus 200 shown in FIG. 3, the light irradiated from the light irradiation unit 202 enters the light guide unit 204 configured by a prism or the like. The light guide unit 204 has a close contact surface that is in close contact with the inner wall surface of the windshield 105, and the light incident from the light irradiation unit 202 into the light guide unit 204 is in contact with the close contact surface of the light guide unit 204 and the inner wall surface of the windshield. And enters the windshield 105 through the boundary surface. Most of the light incident on the inside of the windshield 105 is reflected on the outer surface of the windshield 105 in the non-attached area where the raindrop Rd is not attached, and the specularly reflected light is reflected by the imaging unit 201. Is received. On the other hand, in the attachment region where raindrops Rd are attached on the outer wall surface of the windshield 105, most of the region passes through the outer wall surface of the windshield and is not received by the imaging unit 201. Therefore, the amount of light received by the imaging unit 201 is large from the non-attached area and small from the attached area. Therefore, on the captured image, the pixel value (luminance) of the raindrop image area that projects the attached area is lower than the pixel value (luminance) of the non-raindrop image area that projects the non-attached area.

本実施形態１では、図２に示す雨滴検出装置２００でも、図３に示す雨滴検出装置２００でも、同様に採用することができるが、以下の説明では、図３に示す雨滴検出装置２００を例に挙げて説明する。   In the first embodiment, the raindrop detection device 200 shown in FIG. 2 or the raindrop detection device 200 shown in FIG. 3 can be similarly adopted. However, in the following description, the raindrop detection device 200 shown in FIG. 3 is taken as an example. Will be described.

本実施形態１では、撮像部２０１に設けられる撮像レンズの焦点は、無限遠又は無限遠とフロントガラス１０５の外壁面との間に設定している。これにより、フロントガラス１０５上に付着した雨滴Ｒｄの検出を行う場合だけでなく、先行車両や対向車両の検出や白線の検出を行う場合にも、撮像部２０１の撮像画像データから適切な情報を取得することができる。   In the first embodiment, the focal point of the imaging lens provided in the imaging unit 201 is set between infinity or infinity and the outer wall surface of the windshield 105. Thereby, not only when detecting the raindrop Rd adhering to the windshield 105, but also when detecting the preceding vehicle, the oncoming vehicle, and the white line, appropriate information is obtained from the captured image data of the imaging unit 201. Can be acquired.

光照射部２０２は、光源を１又は２以上搭載する。１つの光源だけでフロントガラス１０５を照明する場合、その雨滴検出用画像領域２１４には、図４に示すような画像が表示される。この画像は、外乱光も付着物も存在しない状況において１つの光源でフロントガラス１０５を照明したときの光源画像を示している。図４に示すように、１つの光源から照射される光によるフロントガラス１０５上の照明範囲内には照度ムラが存在する。また、２以上の光源でフロントガラス１０５を照明する場合、その雨滴検出用画像領域２１４には、図５に示すような画像が表示される。この画像は、外乱光も付着物も存在しない状況において８つの光源でフロントガラス１０５を照明した光源画像を示している。図５に示すように、８つの光源から照射される光によるフロントガラス１０５上の照明範囲内にも照度ムラが存在する。   The light irradiation unit 202 is equipped with one or more light sources. When the windshield 105 is illuminated with only one light source, an image as shown in FIG. 4 is displayed in the raindrop detection image area 214. This image shows a light source image when the windshield 105 is illuminated with one light source in a situation where there is no disturbance light and no deposits. As shown in FIG. 4, unevenness in illuminance exists within the illumination range on the windshield 105 due to light emitted from one light source. When the windshield 105 is illuminated with two or more light sources, an image as shown in FIG. 5 is displayed in the raindrop detection image area 214. This image shows a light source image in which the windshield 105 is illuminated with eight light sources in a situation where no disturbance light and adhering matter exist. As shown in FIG. 5, illuminance unevenness also exists in the illumination range on the windshield 105 by the light emitted from the eight light sources.

光照射部２０２に設けられる光源としては、ＬＥＤ（発光ダイオード）やＬＤ（レーザーダイオード）を好適に用いることができる。本実施形態１では、コスト、消費電力、省スペースの関係で、小型のＬＥＤを光源として用いているため、複数のＬＥＤを用いた光照射部２０２を採用してフロントガラス照明範囲を確保している。したがって、本実施形態１において、雨滴検出用画像領域２１４上に現れる光源画像は図５に示すようなものとなる。なお、光照射部２０２には、光の発散を低減して照明範囲内での光効率を上げるため、光線を平行にするコリメートレンズ等を設けてもよい。   As a light source provided in the light irradiation part 202, LED (light emitting diode) and LD (laser diode) can be used suitably. In Embodiment 1, since a small LED is used as a light source in terms of cost, power consumption, and space saving, a light irradiation unit 202 using a plurality of LEDs is employed to secure a windshield illumination range. Yes. Therefore, in the first embodiment, the light source image appearing on the raindrop detection image area 214 is as shown in FIG. Note that the light irradiation unit 202 may be provided with a collimating lens or the like that collimates the light rays in order to reduce light divergence and increase the light efficiency within the illumination range.

光照射部２０２の発光波長は、例えば可視光や赤外光を用いることができる。ただし、光照射部２０２の光で対向車両の運転者や歩行者等を眩惑するのを回避する場合には、可視光よりも波長が長くて画像センサの受光感度がおよぶ範囲の波長、例えば８００ｎｍ以上１０００ｎｍ以下の赤外光領域が好ましい。本実施形態１の光照射部２０２は、赤外光領域の波長を有する光を照射するものである。   As the emission wavelength of the light irradiation unit 202, for example, visible light or infrared light can be used. However, in order to avoid dazzling the driver or pedestrian of the oncoming vehicle with the light of the light irradiation unit 202, the wavelength is longer than the visible light and the light receiving sensitivity of the image sensor reaches, for example, 800 nm. The infrared light region of 1000 nm or less is preferable. The light irradiation unit 202 of the first embodiment irradiates light having a wavelength in the infrared light region.

特に、直射日光などの外界からの外乱光の影響を低減するためには、９５０ｎｍを中心とした波長を選択することが有効である。ここで、フロントガラス１０５の外壁面で反射した光照射部２０２からの赤外波長光を撮像部２０１で撮像する際、撮像部２０１の画像センサでは、光照射部２０２からの赤外波長光のほか、例えば太陽光などの赤外波長光を含む大光量の外乱光も受光される。よって、光照射部２０２からの赤外波長光をこのような大光量の外乱光と区別するためには、光照射部２０２の発光量を外乱光よりも十分に大きくする必要があるが、このような大発光量の光照射部２０２を用いることは困難である場合が多い。   In particular, in order to reduce the influence of disturbance light from the outside such as direct sunlight, it is effective to select a wavelength centered on 950 nm. Here, when imaging the infrared wavelength light from the light irradiation unit 202 reflected by the outer wall surface of the windshield 105 with the imaging unit 201, the image sensor of the imaging unit 201 uses the infrared wavelength light from the light irradiation unit 202. In addition, a large amount of disturbance light including infrared wavelength light such as sunlight is also received. Therefore, in order to distinguish the infrared wavelength light from the light irradiation unit 202 from such a large amount of disturbance light, the light emission amount of the light irradiation unit 202 needs to be sufficiently larger than the disturbance light. It is often difficult to use such a light emitting unit 202 with a large light emission amount.

そこで、本実施形態１においては、例えば、図６に示すように光照射部２０２の発光波長よりも短い波長の光をカットするようなカットフィルタか、もしくは、図７に示すように透過率のピークが光照射部２０２の発光波長とほぼ一致したバンドパスフィルタを介して、光照射部２０２からの光を画像センサで受光するように構成する。これにより、光照射部２０２の発光波長以外の光を除去して受光できるので、画像センサで受光される光照射部２０２からの光量は、外乱光に対して相対的に大きくなる。その結果、大発光量の光照射部２０２でなくても、光照射部２０２からの光を外乱交と区別することが可能となる。   Therefore, in the first embodiment, for example, a cut filter that cuts light having a wavelength shorter than the light emission wavelength of the light irradiation unit 202 as shown in FIG. 6, or a transmittance as shown in FIG. The light from the light irradiation unit 202 is received by the image sensor through a bandpass filter whose peak substantially matches the emission wavelength of the light irradiation unit 202. As a result, light other than the emission wavelength of the light irradiation unit 202 can be removed and received, so that the amount of light from the light irradiation unit 202 received by the image sensor is relatively large with respect to disturbance light. As a result, even if the light emitting unit 202 does not have a large light emission amount, the light from the light emitting unit 202 can be distinguished from disturbance.

ただし、本実施形態１においては、撮像画像データから、フロントガラス１０５上の雨滴Ｒｄを検出するだけでなく、先行車両や対向車両の検出や白線の検出も行う。そのため、撮像画像全体について光照射部２０２が照射する赤外波長光以外の波長帯を除去してしまうと、先行車両や対向車両の検出や白線の検出に必要な波長帯の光を画像センサで受光できず、これらの検出に支障をきたす。そこで、本実施形態１では、撮像画像データの画像領域を、フロントガラス１０５上の雨滴Ｒｄを検出するための雨滴検出用画像領域と、先行車両や対向車両の検出や白線の検出を行うための車両検出用画像領域とに区分し、雨滴検出用画像領域に対応する部分についてのみ光照射部２０２が照射する赤外波長光以外の波長帯を除去する光学フィルタを用いている。   However, in the first embodiment, not only the raindrop Rd on the windshield 105 is detected from the captured image data, but also the preceding vehicle and the oncoming vehicle and the white line are detected. Therefore, if the wavelength band other than the infrared wavelength light irradiated by the light irradiation unit 202 is removed from the entire captured image, light in the wavelength band necessary for detection of the preceding vehicle and the oncoming vehicle and detection of the white line is detected by the image sensor. The light cannot be received, and this hinders detection. Therefore, in the first embodiment, the image area of the captured image data is used for detecting the raindrop detection image area for detecting the raindrop Rd on the windshield 105, detecting the preceding vehicle and the oncoming vehicle, and detecting the white line. An optical filter is used that is divided into vehicle detection image regions and removes wavelength bands other than the infrared wavelength light irradiated by the light irradiation unit 202 only on portions corresponding to the raindrop detection image regions.

図８は、光学フィルタの一例を示す正面図である。
図９は、撮像画像データの画像例を示す説明図である。
本実施形態１の光学フィルタ２１０は、図９に示すように、車両検出用画像領域２１３である撮像画像上部２／３に対応する箇所に配置される赤外光カットフィルタ領域２１１と、雨滴検出用画像領域２１４である撮像画像下部１／３に対応する箇所に配置される赤外光透過フィルタ領域２１２とに、領域分割されている。赤外光透過フィルタ領域２１２には、図６に示したカットフィルタや図７に示したバンドパスフィルタを用いる。 FIG. 8 is a front view showing an example of the optical filter.
FIG. 9 is an explanatory diagram illustrating an example of captured image data.
As shown in FIG. 9, the optical filter 210 according to the first embodiment includes an infrared light cut filter region 211 disposed at a location corresponding to the upper image 2/3, which is the vehicle detection image region 213, and raindrop detection. The region is divided into an infrared light transmission filter region 212 arranged at a position corresponding to the lower third of the captured image which is the image region 214 for use. For the infrared light transmission filter region 212, the cut filter shown in FIG. 6 or the band-pass filter shown in FIG. 7 is used.

対向車両のヘッドランプ及び先行車両のテールランプ並びに路端や白線の画像は、主に撮像画像中央部に存在することが多く、撮像画像下部には自車両前方の直近路面の画像が存在するのが通常である。よって、対向車両のヘッドランプ及び先行車両のテールランプ並びに路端や白線の識別に必要な情報は撮像画像中央部に集中しており、その識別において撮像画像下部の情報はあまり重要でない。よって、単一の撮像画像データから、対向車両や先行車両あるいは路端や白線の検出と雨滴の検出とを両立して行う場合には、図９に示すように、撮像画像下部を雨滴検出用画像領域２１４とし、撮像画像中央部を含む残りの撮像画像上部を車両検出用画像領域２１３とし、これに対応して光学フィルタ２１０を領域分割するのが好適である。   The headlamp of the oncoming vehicle, the tail lamp of the preceding vehicle, and the image of the road edge and white line are often present mainly at the center of the captured image, and the image of the closest road surface in front of the host vehicle is present at the bottom of the captured image. It is normal. Therefore, the information necessary for identifying the headlamp of the oncoming vehicle, the tail lamp of the preceding vehicle, the road edge, and the white line is concentrated in the center of the captured image, and the information below the captured image is not so important in the identification. Therefore, when both detection of an oncoming vehicle, a preceding vehicle, or a road edge or white line and raindrop detection are performed simultaneously from a single captured image data, the lower part of the captured image is used for raindrop detection as shown in FIG. It is preferable that the image area 214 is formed, and the upper part of the remaining captured image including the central portion of the captured image is the vehicle detection image area 213, and the optical filter 210 is divided into areas corresponding thereto.

なお、撮像画像上部の情報は、自車両前方の上空の画像が存在するのが通常であり、撮像画像下部の情報と同様、対向車両のヘッドランプ及び先行車両のテールランプ並びに路端や白線の識別にはあまり重要でない。よって、雨滴検出用画像領域２１４を撮像画像上部に設けるようにしてもよいし、撮像画像上部と下部の両方に設けるようにしてもよい。   The information above the captured image usually has an image of the sky in front of the host vehicle. Similar to the information at the bottom of the captured image, the headlamp of the oncoming vehicle, the tail lamp of the preceding vehicle, and the road edge and white line are identified. Is not very important. Therefore, the raindrop detection image area 214 may be provided in the upper part of the captured image, or may be provided in both the upper part and the lower part of the captured image.

また、本実施形態１においては、撮像領域内の下部に自車両のボンネットが入り込んでくる場合がある。この場合、自車両のボンネットで反射した太陽光や先行車両のテールランプなどが外乱光となり、これが撮像画像データに含まれることで雨滴検出精度を悪化させる原因となる。このような場合でも、本実施形態１では、撮像画像下部に対応する箇所に図６に示したカットフィルタや図７に示したバンドパスフィルタが配置されているので、ボンネットで反射した太陽光や先行車両のテールランプなどの外乱光が雨滴検出用画像領域２１４に含まれずに除去され、雨滴検出精度の悪化を抑制している。   In the first embodiment, the hood of the host vehicle may enter the lower part of the imaging area. In this case, sunlight reflected by the bonnet of the host vehicle, tail lamps of the preceding vehicle, etc. become disturbance light, and this is included in the captured image data, thereby causing raindrop detection accuracy to deteriorate. Even in such a case, in the first embodiment, the cut filter shown in FIG. 6 and the bandpass filter shown in FIG. Disturbance light such as a tail lamp of a preceding vehicle is removed without being included in the raindrop detection image region 214, and deterioration of raindrop detection accuracy is suppressed.

また、本実施形態１の光学フィルタ２１０における車両検出用画像領域２１３に対応する箇所には、赤外光カットフィルタ領域２１１が配置される。この箇所のフィルタ領域は、可視光を透過できればよいので、全波長帯を透過する非フィルタ領域でもよいが、光照射部２０２からの赤外波長光が入射してもこれによるノイズが軽減されるように、赤外波長をカットできるのが望ましい。   In addition, an infrared light cut filter region 211 is disposed at a location corresponding to the vehicle detection image region 213 in the optical filter 210 of the first embodiment. Since the filter region at this point only needs to be able to transmit visible light, it may be a non-filter region that transmits the entire wavelength band. However, even if infrared wavelength light from the light irradiation unit 202 is incident, noise due to this is reduced. Thus, it is desirable to be able to cut infrared wavelengths.

ここで、先行車両を検出する際には、撮像画像上のテールランプを識別することで先行車両の検出を行うが、テールランプは対向車両のヘッドランプと比較して光量が少なく、また街灯などの外乱光も多く存在するため、単なる輝度データのみからテールランプを高精度に検出するのは困難である。そのため、テールランプの識別には分光情報を利用し、赤色光の受光量に基づいてテールランプを識別するようにしてもよい。   Here, when the preceding vehicle is detected, the preceding vehicle is detected by identifying the tail lamp on the captured image. However, the tail lamp has a smaller amount of light compared to the headlamp of the oncoming vehicle, and disturbance such as street lights. Since there is a lot of light, it is difficult to detect the tail lamp with high accuracy only from mere luminance data. Therefore, spectral information may be used to identify the tail lamp, and the tail lamp may be identified based on the amount of received red light.

撮像領域からの光は、撮像部２０１の撮像レンズを通り、光学フィルタ２１０を透過して、画像センサでその光強度に応じた電気信号に変換される。画像センサから出力される電気信号（アナログ信号）は、画像センサ上における各画素の明るさ（輝度）を示すデジタル信号に変換され、画像の水平・垂直同期信号とともに撮像画像データとして画像解析ユニット１０２へ出力される。   The light from the imaging region passes through the imaging lens of the imaging unit 201, passes through the optical filter 210, and is converted into an electrical signal corresponding to the light intensity by the image sensor. The electrical signal (analog signal) output from the image sensor is converted into a digital signal indicating the brightness (luminance) of each pixel on the image sensor, and the image analysis unit 102 as captured image data together with the horizontal / vertical synchronization signal of the image. Is output.

画像センサは、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などを用いたイメージセンサであり、その受光素子（受光部）にはフォトダイオードを用いている。フォトダイオードは、画素ごとに二次元方向に配置されており、フォトダイオードの集光効率を上げるために、各フォトダイオードの入射側にはマイクロレンズが設けられている。この画像センサがワイヤボンディングなどの手法によりＰＷＢ（printed wiring board）に接合されてセンサ基板が形成されている。   The image sensor is an image sensor using a CCD (Charge Coupled Device), a CMOS (Complementary Metal Oxide Semiconductor), or the like, and a photodiode is used as a light receiving element (light receiving portion). The photodiodes are arranged in a two-dimensional direction for each pixel, and a microlens is provided on the incident side of each photodiode in order to increase the light collection efficiency of the photodiode. This image sensor is bonded to a printed wiring board (PWB) by a method such as wire bonding to form a sensor substrate.

ここで、車両周辺の照度は昼間の数万ルクスから夜間の１ルクス以下まで変化するため、その撮像シーンに応じて受光量が大きく変化する。よって、撮像シーンに応じて露光時間を適宜調整することが好ましい。本実施形態１においては、撮像状況等に応じて撮像部２０１の露光時間を調整しながら撮像動作を行う。露光時間の調整は、例えば、画像センサの出力に基づいて自動露光調整を行う。露光時間の変更は、例えば、画像センサが受光量を電気信号に変換する時間を撮像部２０１内に設けられた露光期間設定手段としての露光制御部２０１ａで制御することにより行うことができる。   Here, since the illuminance around the vehicle changes from tens of thousands of lux in the daytime to 1 lux or less in the nighttime, the amount of received light changes greatly according to the imaging scene. Therefore, it is preferable to appropriately adjust the exposure time according to the imaging scene. In the first embodiment, the imaging operation is performed while adjusting the exposure time of the imaging unit 201 according to the imaging situation or the like. For example, the exposure time is adjusted based on the output of the image sensor. The exposure time can be changed, for example, by controlling the time for the image sensor to convert the amount of received light into an electrical signal by an exposure control unit 201a as an exposure period setting unit provided in the imaging unit 201.

次に、本実施形態１における付着物検出処理である雨滴量算出処理について説明する。
図１０は、本実施形態１における雨滴量算出処理の流れを示すフローチャートである。
所定の雨滴量検出タイミングが到来したら、まず、露光制御部２０１ａにより設定されている撮像部２０１の設定露光時間の情報を取得し、取得した露光時間に応じて光照射部２０２の光照射期間を制御する。具体的に説明すると、本実施形態１における撮像部２０１からは露光同期信号が出力され、この露光同期信号が光照射期間制御手段としての光源制御部２０５に入力される。この露光同期信号は、撮像部２０１の露光期間（撮像画像に反映させる光を撮像手段が受光している時期。言い換えると、画像センサが光情報を蓄積する時期）にＯＮとなり、非露光期間にはＯＦＦとなる信号である。 Next, a raindrop amount calculation process that is an attached matter detection process according to the first embodiment will be described.
FIG. 10 is a flowchart showing the flow of raindrop amount calculation processing in the first embodiment.
When the predetermined raindrop amount detection timing arrives, first, information on the set exposure time of the imaging unit 201 set by the exposure control unit 201a is acquired, and the light irradiation period of the light irradiation unit 202 is set according to the acquired exposure time. Control. More specifically, an exposure synchronization signal is output from the imaging unit 201 in the first embodiment, and this exposure synchronization signal is input to the light source control unit 205 serving as a light irradiation period control unit. This exposure synchronization signal is turned ON during the exposure period of the imaging unit 201 (a period when the imaging unit receives light reflected in the captured image. In other words, when the image sensor accumulates optical information), and during the non-exposure period. Is a signal that turns OFF.

本実施形態１では、光源制御部２０５は、撮像部２０１からの露光同期信号に同期して、露光同期信号がＯＮになるタイミングで（Ｓ１）、光照射部２０２を点灯させる（Ｓ２）。これにより、光照射部２０２からの光が照射されたフロントガラス１０５の付着物観測部分（雨滴観測部分）が撮像画像下部の雨滴検出用画像領域２１４に映し出された撮像画像（点灯時画像）が撮像部２０１により撮像される（Ｓ３）。この点灯時画像のデータは、所定のメモリに格納される。   In the first embodiment, the light source control unit 205 turns on the light irradiation unit 202 at the timing when the exposure synchronization signal is turned on in synchronization with the exposure synchronization signal from the imaging unit 201 (S1). As a result, a captured image (lighted-up image) in which the adhered observation part (raindrop observation part) of the windshield 105 irradiated with light from the light irradiation unit 202 is projected in the raindrop detection image area 214 below the captured image is obtained. The image is picked up by the image pickup unit 201 (S3). The data of the lighting image is stored in a predetermined memory.

そして、光源制御部２０５は、撮像部２０１からの露光同期信号に同期して、露光同期信号がＯＦＦになるタイミングで（Ｓ４）、光照射部２０２を消灯させる（Ｓ５）。これにより、光照射部２０２から光が照射されていない状態のフロントガラス１０５の雨滴観測部分が撮像画像下部の雨滴検出用画像領域２１４に映し出された撮像画像（消灯時画像）が撮像部２０１により撮像される（Ｓ６）。この点灯時画像のデータは、雨滴量情報算出部２０３に送られる。   Then, the light source control unit 205 turns off the light irradiation unit 202 at the timing when the exposure synchronization signal is turned OFF in synchronization with the exposure synchronization signal from the imaging unit 201 (S4). As a result, the image pickup unit 201 generates a picked-up image (light-off image) in which the raindrop observation portion of the windshield 105 that is not irradiated with light from the light irradiation unit 202 is displayed in the raindrop detection image region 214 below the picked-up image. An image is taken (S6). The data of the lighting image is sent to the raindrop amount information calculation unit 203.

点灯時画像の撮像時点と消灯時画像の撮像時点とはより近い時点であるのが好ましい。したがって、本実施形態１では、点灯時画像及び消灯時画像として、連続する２フレームで撮像したものを使用する。なお、点灯時画像や消灯時画像をそのまま用いると、後述する雨滴量情報算出部２０３における処理対象数は、点灯時画像や消灯時画像の画素数となり、処理負荷が大きくなってしまう場合がある。このような場合には、例えば、点灯時画像及び消灯時画像の画素を適宜間引きして処理対象数を減らしたり、複数の画素を１つの処理ブロックとし、その処理ブロック単位で処理するようにして処理対象数を減らしたりしてもよい。なお、以下の説明では、説明を簡略化するために、このような処理対象数の削減は行わない例について説明する。   It is preferable that the time when the image is turned on and the time when the image is turned off are closer to each other. Therefore, in the first embodiment, images that are captured in two consecutive frames are used as the on-image and the off-image. If the lighting image and the unlit image are used as they are, the number of processing objects in the raindrop amount information calculation unit 203, which will be described later, becomes the number of pixels of the lit image and unlit image, which may increase the processing load. . In such a case, for example, the number of pixels to be processed is reduced by appropriately decimating the pixels of the on-time image and the off-time image, or a plurality of pixels are made one processing block, and processing is performed in units of the processing blocks. The number of objects to be processed may be reduced. In the following description, an example in which the number of processing objects is not reduced will be described in order to simplify the description.

雨滴量情報算出部２０３は、消灯時画像のデータ入力があると、メモリに格納されている点灯時画像を読み出し、点灯時画像と消灯時画像の差分画像（差分情報）を作成する（Ｓ７）。この差分画像は、点灯時画像の画素値と消灯時画像の画素値との差分値を画素値とした画像である。本実施形態１における点灯時画像及び消灯時画像が特定波長帯（光照射部２０２の発光波長を含む波長帯）についての輝度画像であり、その差分画像は輝度の差分をとった輝度差分画像となる。なお、点灯時画像及び消灯時画像は、例えば特定の偏光成分のみを撮像した偏光画像などの特殊な画像であってもよい。   The raindrop amount information calculation unit 203 reads the lighting-time image stored in the memory and inputs a difference image (difference information) between the lighting-time image and the lighting-off image when there is data input of the lighting image when the light is off (S7). . This difference image is an image in which the difference value between the pixel value of the on-image and the pixel value of the off-image is used as the pixel value. The on-image and the off-image in the first embodiment are luminance images for a specific wavelength band (a wavelength band including the emission wavelength of the light irradiation unit 202), and the difference image is a luminance difference image obtained by taking a difference in luminance. Become. Note that the on-image and the off-image may be special images such as a polarized image obtained by capturing only a specific polarization component.

このようにして作成された輝度差分画像のデータは、所定のメモリに保存される（Ｓ８）。そして、雨滴量情報算出部２０３は、メモリに保存されている前回の輝度差分画像のデータを読み出し、前回の輝度差分画像と今回の輝度差分画像との差分をとった時差分画像を作成する（Ｓ９）。この時差分画像は、前回の輝度差分画像の画素値と今回の輝度差分画像の画素値との差分値を画素値とした画像である。   The brightness difference image data thus created is stored in a predetermined memory (S8). Then, the raindrop amount information calculation unit 203 reads the data of the previous luminance difference image stored in the memory, and creates a time difference image by taking the difference between the previous luminance difference image and the current luminance difference image ( S9). The difference image at this time is an image in which the difference value between the pixel value of the previous luminance difference image and the pixel value of the current luminance difference image is used as the pixel value.

本実施形態１において、この時差分画像において規定値以上の画素値をもつ画像領域は、当該２つの輝度差分画像間における前回の輝度差分画像の作成時と今回の輝度差分画像の作成時との間の時期に雨滴が付着した箇所である。よって、このような時差分画像の画素値から雨滴を検出することができる。特に、このような時差分画像の画素値から雨滴を検出する方法によれば、光源による照明範囲内に照度ムラが存在していても、両画像間における同一箇所については光源による照度は同一なので、雨滴の検出精度に対する照度ムラの影響が少ない。よって、高い検出精度で雨滴を検出することが可能である。   In the first embodiment, an image area having a pixel value greater than or equal to a specified value in the difference image at this time is determined between the time when the previous luminance difference image is created and the time when the current luminance difference image is created between the two luminance difference images. It is a spot where raindrops adhered in the meantime. Therefore, raindrops can be detected from the pixel values of such a time difference image. In particular, according to such a method of detecting raindrops from the pixel values of the time difference image, even if illuminance unevenness exists within the illumination range of the light source, the illuminance by the light source is the same for the same location between both images. The influence of uneven illumination on the detection accuracy of raindrops is small. Therefore, it is possible to detect raindrops with high detection accuracy.

本実施形態１においては、上述したように、光照射部２０２からの光のうち、雨滴Ｒｄが付着しているフロントガラス１０５上の付着領域に入射する光は撮像部２０１に入射せず、雨滴Ｒｄが付着していない非付着領域に入射した光は撮像部２０１に入射する。したがって、雨滴Ｒｄを映し出す雨滴画像は、雨滴検出用画像領域２１４上において低輝度な画像として映し出される。したがって、雨滴Ｒｄを映し出す雨滴画像領域は、時差分画像において大きな画素値をもつことになる。   In the first embodiment, as described above, of the light from the light irradiation unit 202, the light incident on the attachment region on the windshield 105 to which the raindrop Rd is attached does not enter the imaging unit 201, and the raindrop The light that has entered the non-attached region where Rd is not attached enters the imaging unit 201. Therefore, the raindrop image that displays the raindrop Rd is displayed as a low-brightness image on the raindrop detection image area 214. Therefore, the raindrop image area that displays the raindrop Rd has a large pixel value in the time difference image.

そこで、本実施形態１では、雨滴量情報算出部２０３において、時差分画像中から所定の規定値を超える画素値をもった画像領域を抽出し、抽出された画像領域を、雨滴Ｒｄが映し出された雨滴画像領域の候補領域として特定する。具体的には、雨滴量情報算出部２０３は、まず、時差分画像の画素値を所定の規定値と比較することにより２値化処理を行う。この２値化処理では、例えば、所定の規定値以上の画素値をもつ画素に「１」、そうでない画素に「０」を割り振ることで、２値化画像を作成する。次に、この２値化画像において、「１」が割り振られた画素が近接している場合には、それらを１つの画像領域として認識するラベリング処理を実施する。これによって、時差分画像の画素値が大きい近接した複数の画素の集合が、１つの画像領域として抽出される。   Therefore, in the first embodiment, the raindrop amount information calculation unit 203 extracts an image region having a pixel value exceeding a predetermined specified value from the time difference image, and the raindrop Rd is displayed on the extracted image region. Specified as a candidate area of the raindrop image area. Specifically, the raindrop amount information calculation unit 203 first performs binarization processing by comparing the pixel value of the time difference image with a predetermined specified value. In this binarization process, for example, a binary image is created by assigning “1” to pixels having a pixel value equal to or greater than a predetermined specified value and assigning “0” to pixels that are not. Next, in the binarized image, when pixels assigned with “1” are close to each other, a labeling process for recognizing them as one image region is performed. Thereby, a set of a plurality of adjacent pixels having a large pixel value of the time difference image is extracted as one image region.

次に、このようにして特定される雨滴画像領域の候補領域に対し、形状識別処理を行って雨滴画像領域を特定する。撮像画像上の雨滴画像の形状は円形状であることが多いので、抽出した雨滴画像領域の候補領域が円形状であるかどうかの形状識別処理を行い、その結果から雨滴画像領域を特定する。そして、このようにして特定された雨滴画像領域の数をカウントした結果を雨滴量として算出する（Ｓ１０）。   Next, the raindrop image area is specified by performing shape identification processing on the candidate raindrop image area specified in this way. Since the shape of the raindrop image on the captured image is often circular, shape identification processing is performed to determine whether the candidate raindrop image region is a circular shape, and the raindrop image region is identified based on the result. Then, the result of counting the number of raindrop image areas specified in this way is calculated as the raindrop amount (S10).

ワイパー制御ユニット１０６は、例えば、この雨滴量の算出結果が所定の条件（例えば、連続して作成された２０個の時差分画像について、いずれも雨滴量のカウント値が１０以上であるという条件）を満たしたときに、ワイパー１０７の駆動制御やウォッシャー液の吐出制御を行う。   For example, the wiper control unit 106 determines that the calculation result of the raindrop amount is a predetermined condition (for example, a condition that the count value of the raindrop amount is 10 or more for each of the 20 time difference images created in succession). When the above condition is satisfied, the drive control of the wiper 107 and the discharge control of the washer liquid are performed.

本実施形態１によれば、撮像部２０１から露光同期信号と光照射部２０２の点灯期間（光照射期間）とを同期させることができるので、撮像部２０１の露光期間から外れた時期に光照射部２０２が点灯するような事態を抑制できる。よって、撮像画像に反映されない無駄な光が光照射部２０２から照射される事態を抑制でき、光照射部２０２における無駄な電力消費を抑制することができる。   According to the first embodiment, since the exposure synchronization signal and the lighting period (light irradiation period) of the light irradiation unit 202 can be synchronized from the imaging unit 201, the light irradiation is performed at a time outside the exposure period of the imaging unit 201. The situation where the unit 202 is lit can be suppressed. Therefore, a situation where useless light that is not reflected in the captured image is emitted from the light irradiation unit 202 can be suppressed, and useless power consumption in the light irradiation unit 202 can be suppressed.

〔実施形態２〕
次に、本発明に係る付着物検出装置を、前記実施形態１と同様に、車載機器制御システムに用いた他の実施形態（以下、本実施形態を「実施形態２」という。）について説明する。
本実施形態２においては、撮像部２０１が露光同期信号を出力しない構成のものであり、そのため、撮像部２０１の露光同期信号に応じて光照射部２０２の光照射期間を制御することができない。そこで、本実施形態２では、撮像部２０１が撮像した撮像画像に基づいて光照射部２０２からフロントガラス１０５の雨滴観測部分を経由して撮像部２０１に受光される光源光の受光量が規定範囲内となるような光照射期間を決定し、以降の撮像時における光照射部２０２の光照射期間が、決定された光照射期間となるように制御する。
なお、本実施形態２に係る車載機器制御システムの基本的な構成及び動作は、前記実施形態１のものと同様であるため、以下、前記実施形態１とは異なる点を中心に説明する。 [Embodiment 2]
Next, another embodiment (hereinafter, this embodiment is referred to as “Embodiment 2”) in which the attached matter detection apparatus according to the present invention is used in an in-vehicle device control system as in Embodiment 1 will be described. .
In the second embodiment, the imaging unit 201 does not output an exposure synchronization signal. Therefore, the light irradiation period of the light irradiation unit 202 cannot be controlled according to the exposure synchronization signal of the imaging unit 201. Therefore, in the second embodiment, the received light amount of the light source light received by the imaging unit 201 from the light irradiation unit 202 via the raindrop observation part of the windshield 105 based on the captured image captured by the imaging unit 201 is within a specified range. A light irradiation period that is inside is determined, and control is performed such that the light irradiation period of the light irradiation unit 202 at the time of subsequent imaging becomes the determined light irradiation period.
Since the basic configuration and operation of the in-vehicle device control system according to the second embodiment are the same as those of the first embodiment, the following description will focus on differences from the first embodiment.

図１１は、本実施形態２における車載機器制御システムの雨滴検出装置２００を構成する撮像ユニット１０１及び画像解析ユニット１０２の概略構成を示す模式図である。
この雨滴検出装置２００は、図３に示した雨滴検出装置２００と同様、撮像ユニット１０１に設けられた撮像部２０１、光照射部２０２、導光部２０４及び光源制御部２０５と、画像解析ユニット１０２に設けられた雨滴量情報算出部２０３とを備えているが、本実施形態２では、更に、光量算出部２０６及び光照射期間決定部２０７を撮像ユニット１０１に備えている。本実施形態２において、光照射期間制御手段は、光量算出部２０６、光照射期間決定部２０７及び光源制御部２０５によって構成される。 FIG. 11 is a schematic diagram illustrating a schematic configuration of the imaging unit 101 and the image analysis unit 102 that constitute the raindrop detection device 200 of the in-vehicle device control system according to the second embodiment.
Similar to the raindrop detection apparatus 200 shown in FIG. 3, the raindrop detection apparatus 200 includes an imaging unit 201, a light irradiation unit 202, a light guide unit 204, a light source control unit 205, and an image analysis unit 102 provided in the imaging unit 101. In the second embodiment, the imaging unit 101 further includes a light amount calculation unit 206 and a light irradiation period determination unit 207. In the second embodiment, the light irradiation period control unit includes a light amount calculation unit 206, a light irradiation period determination unit 207, and a light source control unit 205.

光量算出部２０６は、撮像部２０１が撮像した撮像画像データを取得し、雨滴検出用画像領域２１４における画素値の総和（輝度総和値）を算出する処理を行う。
光照射期間決定部２０７は、光量算出部２０６が算出した輝度総和値に基づき、疑似露光同期信号を生成して出力する処理を行う。
光源制御部２０５は、光照射期間決定部２０７から出力される疑似露光同期信号に同期するように、光照射部２０２の点灯、消灯を制御する。なお、光源制御部２０５の動作は、前記実施形態１の場合と同様である。 The light amount calculation unit 206 acquires captured image data captured by the imaging unit 201 and performs a process of calculating a sum of pixel values (luminance sum value) in the raindrop detection image region 214.
The light irradiation period determination unit 207 performs a process of generating and outputting a pseudo exposure synchronization signal based on the luminance sum value calculated by the light amount calculation unit 206.
The light source control unit 205 controls lighting and extinguishing of the light irradiation unit 202 so as to synchronize with the pseudo exposure synchronization signal output from the light irradiation period determination unit 207. The operation of the light source control unit 205 is the same as that in the first embodiment.

図１２は、雨滴量算出処理を開始する前に行われる光照射期間決定処理の流れを示すフローチャートである。
雨滴量算出処理を開始する前における所定の処理実行タイミングが到来したら、光照射期間決定処理を開始し、まず、順序パラメータｔと、輝度総和値Ｓを初期値（ｔ＝１，Ｓ＝０）にリセットする（Ｓ１１）。そして、フレーム同期信号がＯＮになったら（Ｓ１２）、予め決められた待ち時間ＴにＴ１（ここではＴ１＝０）を足した時間が経過するのを待ってから（Ｓ１３）、光照射部２０２を点灯させる（Ｓ１４）。具体的には、フレーム同期信号がＯＮになってから待ち時間Ｔ＋Ｔ１が経過したときに、光源制御部２０５から光照射部２０２へ出力される疑似露光同期信号をＯＮにすることで、光照射部２０２を点灯させる。 FIG. 12 is a flowchart showing the flow of the light irradiation period determination process performed before the raindrop amount calculation process is started.
When a predetermined process execution timing before starting the raindrop amount calculation process comes, the light irradiation period determination process is started. First, the order parameter t and the luminance sum value S are set to initial values (t = 1, S = 0). (S11). When the frame synchronization signal is turned on (S12), after waiting for a time obtained by adding T 1 (here, T 1 = 0) to a predetermined waiting time T (S13), light irradiation is performed. The unit 202 is turned on (S14). Specifically, when the waiting time T + T 1 elapses after the frame synchronization signal is turned ON, the pseudo exposure synchronization signal output from the light source control unit 205 to the light irradiation unit 202 is turned ON, thereby light irradiation. The unit 202 is turned on.

このとき、フレーム同期信号に合わせて撮像部２０１は撮像動作を行い、点灯時画像が撮像される（Ｓ１５）。光照射部２０２は、点灯を開始してから予め決められた規定発光時間が経過したときに（Ｓ１６）、消灯する（Ｓ１７）。具体的には、疑似露光同期信号をＯＮにしてから規定発光時間が経過するタイミングで疑似露光同期信号をＯＦＦにし、光照射部２０２を消灯させる。   At this time, the imaging unit 201 performs an imaging operation in accordance with the frame synchronization signal, and an on-time image is captured (S15). The light irradiation unit 202 is turned off when a predetermined light emission time has elapsed after starting lighting (S16) (S17). Specifically, the pseudo exposure synchronization signal is turned OFF and the light irradiation unit 202 is turned off at the timing when the specified light emission time elapses after the pseudo exposure synchronization signal is turned ON.

光量算出部２０６は、このようにして撮像された撮像画像の雨滴検出用画像領域２１４における画素値の総和（輝度総和値Ｓ１）を算出する（Ｓ１８）。そして、この輝度総和値Ｓ１が現在設定されている輝度総和値Ｓ（ここではＳ＝０）よりも大きいか否かを判断する（Ｓ１９）。今回は初回であるため、この判断では大きいと判断される結果、輝度総和値Ｓに今回算出した輝度総和値Ｓ１がセットされ、かつ、決定パラメータＡ＝１がセットされる（Ｓ２０）。その後、ｔ＝ｔ＋１をセットしたら（Ｓ２１）、ｔが５よりも大きいか否かを判断する（Ｓ２２）。今回はｔ＝１であるため、この判断では大きいと判断されず、前記処理ステップＳ１２へ戻る。 The light quantity calculation unit 206 calculates the sum of the pixel values (luminance sum value S 1 ) in the raindrop detection image area 214 of the captured image thus captured (S18). Then, the luminance total value S 1 is (in this case S = 0) luminance total value S that is currently set is determined whether greater than (S19). Because this is the first time, the result is determined to be larger in this decision, is set luminance total values S 1 calculated this time to the luminance total value S, and determining parameter A = 1 is set (S20). Thereafter, when t = t + 1 is set (S21), it is determined whether t is larger than 5 (S22). Since t = 1 at this time, it is not determined to be large in this determination, and the process returns to the processing step S12.

以上の処理ステップＳ１２〜Ｓ２２は、あと４回繰り返し行われることになる。このような処理により、図１３に示すように、フレーム同期信号に応じた撮像部２０１の撮像動作（同じ露光期間）に対し、互いに異なる５つの疑似露光同期信号（ｔ＝１〜５）を用いて光照射部２０２を点灯制御したときの５つの点灯時画像が得られる。そして、本実施形態２においては、このようにして撮像される５つの点灯時画像のうち、雨滴検出用画像領域２１４における輝度総和値Ｓｔが最大となるという規定条件を満たすｔが決定パラメータＡにセットされ、この決定パラメータＡに対応する疑似露光同期信号を、以降の点灯時画像の撮像動作時における光照射部２０２の点灯制御に用いる疑似露光同期信号として決定する（Ｓ２３）。 The above processing steps S12 to S22 will be repeated four more times. By such processing, as shown in FIG. 13, five different pseudo exposure synchronization signals (t = 1 to 5) are used for the imaging operation (same exposure period) of the imaging unit 201 according to the frame synchronization signal. Thus, five lighting images when the light irradiation unit 202 is controlled to be lighted are obtained. In the second embodiment, among the five lighting images captured in this manner, t satisfying the predetermined condition that the luminance sum value St in the raindrop detection image region 214 is maximized is the determination parameter A. The pseudo-exposure synchronization signal corresponding to this determination parameter A is determined as a pseudo-exposure synchronization signal used for lighting control of the light irradiation unit 202 during the subsequent lighting-time image capturing operation (S23).

図１４は、本実施形態２における光照射期間決定処理によって得られる５つの輝度総和値Ｓｔの一例を示すグラフである。この例では、ｔ＝３の疑似露光同期信号を用いたときに最も輝度総和値Ｓｔが大きい。この場合、Ａ＝３がセットされる結果、ｔ＝３の疑似露光同期信号が、以降の点灯時画像の撮像動作時における光照射部２０２の点灯制御に用いる疑似露光同期信号として決定される。そして、本実施形態２においては、雨滴量算出処理を実行する際、前記実施形態１における撮像部からの露光同期信号に代えて、このような光照射期間決定処理により決定された疑似露光同期信号が、光照射期間決定部２０７から光源制御部２０５に入力される。これにより、光源制御部２０５は、この疑似露光同期信号に同期し、疑似露光同期信号がＯＮになるタイミングで光照射部２０２を点灯させ、疑似露光同期信号がＯＦＦになるタイミングで光照射部２０２を消灯させる。 Figure 14 is a graph showing an example of a five luminance total value S t obtained by the light irradiation period determination process in the embodiment 2. In this example, when the pseudo exposure synchronization signal of t = 3 is used, the luminance sum value St is the largest. In this case, as a result of setting A = 3, the pseudo-exposure synchronization signal at t = 3 is determined as the pseudo-exposure synchronization signal used for lighting control of the light irradiation unit 202 in the subsequent imaging operation of the lighting image. In the second embodiment, when executing the raindrop amount calculation process, the pseudo exposure synchronization signal determined by such a light irradiation period determination process instead of the exposure synchronization signal from the imaging unit in the first embodiment. Is input from the light irradiation period determination unit 207 to the light source control unit 205. As a result, the light source control unit 205 synchronizes with the pseudo exposure synchronization signal, turns on the light irradiation unit 202 at a timing when the pseudo exposure synchronization signal is turned on, and turns on the light irradiation unit 202 at a timing when the pseudo exposure synchronization signal is turned off. Turn off the light.

本実施形態２によれば、撮像部２０１から露光同期信号が出力されないなど撮像部２０１の露光期間を把握できない状況であっても、撮像部２０１の露光期間に合わせた点灯制御が可能となり、光照射部２０２における無駄な電力消費を抑制することができる。   According to the second embodiment, even in a situation where the exposure period of the imaging unit 201 cannot be grasped, such as when an exposure synchronization signal is not output from the imaging unit 201, it is possible to perform lighting control in accordance with the exposure period of the imaging unit 201. Wasteful power consumption in the irradiation unit 202 can be suppressed.

〔変形例〕
次に、雨滴量算出処理の一変形例について説明する。なお、本変形例においては、前記実施形態１の変形例として説明するが、前記実施形態２の変形例としても同様である。
雨滴量算出処理では、雨滴の量を算出できればよく、雨滴の付着箇所の情報を用いることはない。本変形例は、輝度差分画像のデータに代えて、点灯時画像の画素値（輝度値）の総和から消灯時画像の画素値（輝度値）の総和を差し引いた輝度総和差分値（差分情報）を用いる簡易な雨滴量算出処理である。 [Modification]
Next, a modification of the raindrop amount calculation process will be described. In addition, in this modification, although demonstrated as a modification of the said Embodiment 1, it is the same also as a modification of the said Embodiment 2. FIG.
In the raindrop amount calculation process, it is only necessary to be able to calculate the amount of raindrops, and information on the location of raindrops is not used. In this modification, instead of the luminance difference image data, a luminance sum difference value (difference information) obtained by subtracting the sum of the pixel values (luminance values) of the unlit image from the sum of the pixel values (luminance values) of the lit image. This is a simple raindrop amount calculation process using.

図１５は、本変形例における雨滴量算出処理の流れを示すフローチャートである。
所定の雨滴量検出タイミングが到来したら、まず、光照射部２０２を消灯させて（Ｓ３１）、撮像部２０１により消灯時画像を撮像する（Ｓ３２）。そして、消灯時画像における雨滴検出用画像領域２１４の最初の画素座標（ｘ，ｙ）についての輝度値Ｐ（ｘ，ｙ）を、撮像した消灯時画像のデータから取得し（Ｓ３３）、輝度総和差分値となるＳｕｍデータから減算する処理を行う（Ｓ３４）。輝度値Ｐ（ｘ，ｙ）を取得してからＳｕｍデータの減算処理を行うまでの処理（Ｓ３３，Ｓ３４）は、消灯時画像における雨滴検出用画像領域２１４内の各画素について、最初の画素座標から所定の順番で順次行われる。 FIG. 15 is a flowchart showing a flow of raindrop amount calculation processing in the present modification.
When the predetermined raindrop amount detection timing arrives, first, the light irradiation unit 202 is turned off (S31), and the imaging unit 201 captures an image at the time of extinction (S32). Then, the brightness value P (x, y) for the first pixel coordinate (x, y) of the raindrop detection image area 214 in the image at the time of extinction is obtained from the data of the image at the time of extinguishing (S33), and the sum of the luminance is obtained. A process of subtracting from the Sum data to be the difference value is performed (S34). The processing (S33, S34) from the acquisition of the luminance value P (x, y) to the sum data subtraction processing (S33, S34) is the first pixel coordinates for each pixel in the raindrop detection image area 214 in the unlit image. Are sequentially performed in a predetermined order.

消灯時画像について雨滴検出用画像領域２１４内の最終画素座標（ｗ，ｈ）まで処理を終えたら（Ｓ３５のＹｅｓ）、次に、露光同期信号がＯＮになるタイミングで（Ｓ３６）、光照射部２０２を点灯させて（Ｓ３７）、撮像部２０１により点灯時画像を撮像する（Ｓ３８）。また、露光同期信号がＯＦＦになるタイミングで（Ｓ３９）、光照射部２０２は消灯させる（Ｓ４０）。その後、点灯時画像における雨滴検出用画像領域２１４内の最初の画素座標（ｘ，ｙ）についての輝度値Ｐ（ｘ，ｙ）を、撮像した点灯時画像のデータから取得して（Ｓ４１）、Ｓｕｍデータに加算する処理を行う（Ｓ４２）。輝度値Ｐ（ｘ，ｙ）を取得してからＳｕｍデータの減算処理を行うまでの処理（Ｓ４１，Ｓ４２）は、点灯時画像における雨滴検出用画像領域２１４内の各画素について、最初の画素座標から所定の順番で順次行われる。この結果、得られるＳｕｍデータは、点灯時画像の雨滴検出用画像領域２１４における全画素値の総和から、消灯時画像の雨滴検出用画像領域２１４における全画素値の総和を差し引いた輝度総和差分値を示すものとなる。   When the processing is completed up to the final pixel coordinate (w, h) in the raindrop detection image area 214 for the image at the time of extinguishing (Yes in S35), the light irradiation unit is next at the timing when the exposure synchronization signal is turned on (S36). 202 is turned on (S37), and an image at lighting is picked up by the image pickup unit 201 (S38). At the timing when the exposure synchronization signal is turned off (S39), the light irradiation unit 202 is turned off (S40). Thereafter, the brightness value P (x, y) for the first pixel coordinate (x, y) in the raindrop detection image area 214 in the lighting image is acquired from the data of the captured lighting image (S41). A process of adding to the Sum data is performed (S42). The processing (S41, S42) from the acquisition of the luminance value P (x, y) to the sum data subtraction processing (S41, S42) is the first pixel coordinates for each pixel in the raindrop detection image area 214 in the lighting image. Are sequentially performed in a predetermined order. As a result, the sum data obtained is a luminance sum total difference value obtained by subtracting the sum of all pixel values in the raindrop detection image area 214 of the light-off image from the sum of all pixel values in the raindrop detection image area 214 of the light-up image. Will be shown.

このようにして算出されたＳｕｍデータすなわち輝度総和差分値Ｓｕｍはメモリに保存しておく（Ｓ４４）。そして、今回の輝度総和差分値Ｓｕｍと前回の輝度総和差分値Ｓｕｍとの差分をとった時差分値を算出する（Ｓ４５）。この時差分値は、前回と今回との間の時期に付着した雨滴の画像面積と高い相関関係を示すものであり、この時差分値から雨滴量が算出される（Ｓ４６）。   The Sum data calculated in this way, that is, the luminance sum difference value Sum is stored in the memory (S44). Then, a time difference value is calculated by taking the difference between the current brightness sum difference value Sum and the previous brightness sum difference value Sum (S45). The difference value at this time shows a high correlation with the image area of the raindrops attached at the time between the previous time and the current time, and the amount of raindrops is calculated from the difference value at this time (S46).

本変形例によれば、メモリに保存するデータが輝度総和差分値Ｓｕｍという数値データであるため、メモリに輝度差分画像データを保存する前記実施形態１の場合よりもメモリ容量を大幅に削減できる。   According to the present modification, since the data stored in the memory is numerical data called the luminance sum total difference value Sum, the memory capacity can be greatly reduced compared to the case of the first embodiment in which the luminance difference image data is stored in the memory.

以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
（態様Ａ）
フロントガラス１０５等の光透過部材の雨滴観測部分等の付着物観測部分を照明する光を照射する光照射部２０２と、前記光照射部から照射される光で照明された光透過部材上の付着物観測部分を、設定された露光時間で撮像する撮像部２０１等の撮像手段と、前記撮像手段の露光期間を所定の露光期間設定条件に従った露光期間に設定する露光制御部２０１ａ等の露光期間設定手段と、前記撮像手段が撮像した撮像画像に基づいて、前記付着物観測部分に付着している雨滴Ｒｄ等の付着物を検出する付着物検出処理を実行する雨滴量情報算出部２０３等の検出処理手段を備えた付着物検出装置において、前記露光期間設定手段が設定する露光期間を取得し、取得した露光期間に応じて前記光照射部の光照射期間を制御する光源制御部２０５等の光照射期間制御手段を有することを特徴とする。
これによれば、前記実施形態１で説明したように、撮像手段の露光期間に合わせて光照射部の光照射期間を制御することができるので、撮像手段の露光量調整等によって露光期間が変わっても、撮像手段の露光期間から外れた時期に光照射部が光を照射するような事態を抑制できる。よって、撮像画像に反映されない無駄な光が光照射部から照射される事態を抑制でき、光照射部における無駄な電力消費を抑制することができる。 What has been described above is merely an example, and the present invention has a specific effect for each of the following modes.
(Aspect A)
A light irradiating unit 202 that irradiates light that illuminates an attachment observing part such as a raindrop observing part of a light transmissive member such as a windshield 105, and an attachment on a light transmissive member that is illuminated with light emitted from the light irradiating part. An imaging unit such as the imaging unit 201 that images the kimono observation portion with a set exposure time, and an exposure unit such as an exposure control unit 201a that sets the exposure period of the imaging unit to an exposure period according to a predetermined exposure period setting condition. A raindrop amount information calculation unit 203 that executes a deposit detection process for detecting a deposit such as a raindrop Rd adhering to the deposit observation part based on a period setting unit and a captured image captured by the imaging unit In the adhering matter detection apparatus including the detection processing unit, the light source control unit 205 that acquires the exposure period set by the exposure period setting unit and controls the light irradiation period of the light irradiation unit according to the acquired exposure period. And having a light illumination period control means.
According to this, as described in the first embodiment, since the light irradiation period of the light irradiation unit can be controlled in accordance with the exposure period of the imaging unit, the exposure period is changed by adjusting the exposure amount of the imaging unit. However, it is possible to suppress a situation in which the light irradiation unit emits light at a time outside the exposure period of the imaging unit. Therefore, the situation where the useless light which is not reflected in the captured image is irradiated from the light irradiation unit can be suppressed, and useless power consumption in the light irradiation unit can be suppressed.

（態様Ｂ）
前記態様Ａにおいて、前記光照射期間制御手段は、前記露光期間設定手段が設定する露光時間を取得し、取得した露光期間と前記光照射部の光照射期間とが同期するように制御することを特徴とする。
これによれば、前記実施形態１で説明したように、撮像手段の露光期間と光照射部の光照射期間とを同期させることができるので、撮像手段の露光期間から外れた時期に光照射部が光を照射するような事態を簡易かつ効果的に抑制でき、光照射部における無駄な電力消費を抑制することができる。 (Aspect B)
In the aspect A, the light irradiation period control unit acquires the exposure time set by the exposure period setting unit, and controls the acquired exposure period and the light irradiation period of the light irradiation unit to be synchronized. Features.
According to this, as described in the first embodiment, since the exposure period of the imaging unit and the light irradiation period of the light irradiation unit can be synchronized, the light irradiation unit at a time outside the exposure period of the imaging unit. It is possible to easily and effectively suppress the situation in which light is emitted, and to suppress wasteful power consumption in the light irradiation unit.

（態様Ｃ）
フロントガラス１０５等の光透過部材の雨滴観測部分等の付着物観測部分を照明する光を照射する光照射部２０２と、前記光照射部から照射される光で照明された光透過部材上の付着物観測部分を撮像する撮像部２０１等の撮像手段と、前記撮像手段が撮像した撮像画像に基づいて、前記付着物観測部分に付着している雨滴Ｒｄ等の付着物を検出する付着物検出処理を実行する雨滴量情報算出部２０３等の検出処理手段を備えた付着物検出装置において、前記撮像手段が撮像した撮像画像に基づいて前記光照射部から前記付着物観測部分を経由して前記撮像手段に受光される光源光の受光量が規定条件を満たす光照射期間を決定し、決定した光照射期間に従って以降の撮像時における前記光照射部の光照射期間を制御する光量算出部２０６、光照射期間決定部２０７及び光源制御部２０５等の光照射期間制御手段を有することを特徴とする。
これによれば、前記実施形態２で説明したように、撮像部２０１の露光期間を把握できない状況であっても、撮像部２０１の露光期間に合わせた光照射部の光照射時期の制御が可能となり、撮像手段の露光期間から外れた時期に光照射部が光を照射するような事態を抑制できる。よって、撮像画像に反映されない無駄な光が光照射部から照射される事態を抑制でき、光照射部における無駄な電力消費を抑制することができる。 (Aspect C)
A light irradiating unit 202 that irradiates light that illuminates an attachment observing part such as a raindrop observing part of a light transmissive member such as a windshield 105, and an attachment on a light transmissive member that is illuminated with light emitted from the light irradiating part. An imaging means such as an imaging unit 201 that images the kimono observation portion, and an attached matter detection process for detecting an attached matter such as a raindrop Rd attached to the attached matter observation portion based on a captured image taken by the imaging means. In the adhering matter detection apparatus provided with detection processing means such as the raindrop amount information calculating unit 203 for executing the imaging, the imaging unit from the light irradiation unit via the adhering matter observation part based on a captured image captured by the imaging unit. A light amount calculation unit 206 that determines a light irradiation period in which the amount of received light of the light source light received by the means satisfies a specified condition, and controls the light irradiation period of the light irradiation unit during subsequent imaging according to the determined light irradiation period; Characterized in that it has a light irradiation period control means such as irradiation period determination section 207 and the light source control unit 205.
According to this, as described in the second embodiment, even when the exposure period of the imaging unit 201 cannot be grasped, it is possible to control the light irradiation timing of the light irradiation unit in accordance with the exposure period of the imaging unit 201. Thus, it is possible to suppress a situation in which the light irradiation unit emits light at a time outside the exposure period of the imaging unit. Therefore, the situation where the useless light which is not reflected in the captured image is irradiated from the light irradiation unit can be suppressed, and useless power consumption in the light irradiation unit can be suppressed.

（態様Ｄ）
前記態様Ｃにおいて、前記光照射部は、予め決められた規定発光時間等の光照射時間だけ光を照射するものであり、前記光照射期間制御手段は、前記撮像手段が撮像した撮像画像に基づいて前記光源光の受光量が規定条件を満たす光照射開始タイミング又は光照射終了タイミングを決定し、決定したタイミングに従って以降の撮像時における前記光照射部の光照射開始タイミング又は光照射終了タイミングを制御することを特徴とする。
これによれば、撮像手段の露光期間から外れた時期に光照射部が光を照射するような事態を簡易に抑制でき、光照射部における無駄な電力消費を抑制することができる。 (Aspect D)
In the aspect C, the light irradiation unit emits light for a light irradiation time such as a predetermined specified light emission time, and the light irradiation period control unit is based on a captured image captured by the imaging unit. Then, the light irradiation start timing or the light irradiation end timing that satisfies the prescribed condition of the amount of received light of the light source light is determined, and the light irradiation start timing or the light irradiation end timing of the light irradiation unit at the time of subsequent imaging is controlled according to the determined timing. It is characterized by doing.
According to this, it is possible to easily suppress a situation in which the light irradiation unit emits light at a time outside the exposure period of the imaging unit, and it is possible to suppress useless power consumption in the light irradiation unit.

（態様Ｅ）
前記態様Ｄにおいて、前記光照射期間制御手段は、光照射開始タイミング又は光照射終了タイミングが互いに異なる複数の撮像画像（互いに異なる疑似露光同期信号を用いて撮像した５つの点灯時画像）の中から、前記光源光の受光量が最大である撮像画像を選択し、選択した撮像画像についての光照射開始タイミング又は光照射終了タイミングを決定することを特徴とする。
これによれば、撮像手段の露光期間から外れた時期に光照射部が光を照射するような事態を抑制できる簡易な処理を実現できる。 (Aspect E)
In the aspect D, the light irradiation period control unit is configured to select from among a plurality of captured images having different light irradiation start timings or light irradiation end timings (five lighting images captured using different pseudo exposure synchronization signals). A picked-up image having the maximum light receiving amount of the light source light is selected, and a light irradiation start timing or a light irradiation end timing for the selected picked-up image is determined.
According to this, it is possible to realize a simple process capable of suppressing a situation in which the light irradiation unit emits light at a time outside the exposure period of the imaging unit.

（態様Ｆ）
自車両１００等の移動体におけるフロントガラス１０５等の光透過部材の付着物観測部分に付着する雨滴Ｒｄ等の付着物を検出する付着物検出手段と、前記付着物検出手段の検出結果に基づいて、前記移動体に搭載されたワイパー１０７等の所定の機器を制御するワイパー制御ユニット１０６等の移動体機器制御手段とを備えた移動体機器制御システムにおいて、前記付着物検出手段として、前記態様Ａ〜Ｅのいずれかの態様に係る付着物検出装置を用いたことを特徴とする。
これによれば、光照射部における無駄な電力消費を抑制することができるので、移動体に搭載された所定の機器を低消費電力で制御することができる。 (Aspect F)
Based on the detection result of the adhering matter detecting means for detecting adhering matter such as raindrops Rd adhering to the adhering observation portion of the light transmitting member such as the windshield 105 in the moving body such as the own vehicle 100, etc. In a mobile device control system comprising a mobile device control means such as a wiper control unit 106 for controlling a predetermined device such as a wiper 107 mounted on the mobile body, the attached matter detection means is the mode A A deposit detection device according to any one of the aspects E to E is used.
According to this, since unnecessary power consumption in the light irradiation unit can be suppressed, it is possible to control a predetermined device mounted on the moving body with low power consumption.

（態様Ｇ）
ワイパー１０７等の所定の機器を搭載して移動する自車両１００等の移動体において、前記所定の機器を制御する手段として、前記態様Ｆに係る移動体機器制御システムを用いたことを特徴とする。
これによれば、光照射部における無駄な電力消費を抑制することができるので、所定の機器を低消費電力で制御できる移動体を提供することができる。 (Aspect G)
A moving body control system according to the aspect F is used as a means for controlling the predetermined apparatus in a moving body such as the own vehicle 100 that moves by mounting the predetermined apparatus such as the wiper 107. .
According to this, since useless power consumption in the light irradiation unit can be suppressed, it is possible to provide a moving body capable of controlling a predetermined device with low power consumption.

１００ 自車両
１０１ 撮像ユニット
１０２ 画像解析ユニット
１０５ フロントガラス
１０６ ワイパー制御ユニット
１０７ ワイパー
２００ 雨滴検出装置
２０１ 撮像部
２０１ａ 露光制御部
２０２ 光照射部
２０３ 雨滴量情報算出部
２０４ 導光部
２０５ 光源制御部
２０６ 光量算出部
２０７ 光照射期間決定部
２１３ 車両検出用画像領域
２１４ 雨滴検出用画像領域 DESCRIPTION OF SYMBOLS 100 Own vehicle 101 Imaging unit 102 Image analysis unit 105 Windshield 106 Wiper control unit 107 Wiper 200 Raindrop detection apparatus 201 Imaging part 201a Exposure control part 202 Light irradiation part 203 Raindrop amount information calculation part 204 Light guide part 205 Light source control part 206 Light quantity Calculation unit 207 Light irradiation period determination unit 213 Image area 214 for vehicle detection Image area for raindrop detection

特開２０１０−１９０６７０号公報JP 2010-190670 A 特許第４３２６９９９号公報Japanese Patent No. 4326999

Claims (7)

光透過部材の付着物観測部分を照明する光を照射する光照射部と、
前記光照射部から照射される光で照明された光透過部材上の付着物観測部分を、設定された露光期間で撮像する撮像手段と、
前記撮像手段の露光期間を所定の露光期間設定条件に従った露光期間に設定する露光期間設定手段と、
前記撮像手段が撮像した撮像画像に基づいて、前記付着物観測部分に付着している付着物を検出する付着物検出処理を実行する検出処理手段を備えた付着物検出装置において、
前記露光期間設定手段が設定する露光期間を取得し、取得した露光期間に応じて前記光照射部の光照射期間を制御する光照射期間制御手段を有することを特徴とする付着物検出装置。 A light irradiating unit for irradiating light for illuminating the deposit observation part of the light transmitting member;
Imaging means for imaging the deposit observation part on the light transmission member illuminated by the light irradiated from the light irradiation unit in a set exposure period;
Exposure period setting means for setting the exposure period of the imaging means to an exposure period according to a predetermined exposure period setting condition;
In the adhering matter detection apparatus provided with the detection processing means for executing the adhering matter detection process for detecting the adhering matter adhering to the adhering matter observation part based on the captured image taken by the imaging means.
An adhering matter detection apparatus comprising: a light irradiation period control unit that acquires an exposure period set by the exposure period setting unit and controls a light irradiation period of the light irradiation unit according to the acquired exposure period. 請求項１の付着物検出装置において、
前記光照射期間制御手段は、前記露光期間設定手段が設定する露光時間を取得し、取得した露光期間と前記光照射部の光照射期間とが同期するように制御することを特徴とする付着物検出装置。 The deposit detection apparatus according to claim 1,
The said light irradiation period control means acquires the exposure time which the said exposure period setting means sets, and controls so that the acquired exposure period and the light irradiation period of the said light irradiation part may synchronize Detection device. 光透過部材の付着物観測部分を照明する光を照射する光照射部と、
前記光照射部から照射される光で照明された光透過部材上の付着物観測部分を撮像する撮像手段と、
前記撮像手段が撮像した撮像画像に基づいて、前記付着物観測部分に付着している付着物を検出する付着物検出処理を実行する検出処理手段を備えた付着物検出装置において、
前記撮像手段が撮像した撮像画像に基づいて前記光照射部から前記付着物観測部分を経由して前記撮像手段に受光される光源光の受光量が規定条件を満たす光照射期間を決定し、決定した光照射期間に従って以降の撮像時における前記光照射部の光照射期間を制御する光照射期間制御手段を有することを特徴とする付着物検出装置。 A light irradiating unit for irradiating light for illuminating the deposit observation part of the light transmitting member;
Imaging means for imaging the deposit observation part on the light transmission member illuminated with light emitted from the light irradiation unit;
In the adhering matter detection apparatus provided with the detection processing means for executing the adhering matter detection process for detecting the adhering matter adhering to the adhering matter observation part based on the captured image taken by the imaging means.
Based on a captured image captured by the imaging unit, determine a light irradiation period in which the amount of light source light received by the imaging unit from the light irradiation unit via the deposit observation part satisfies a specified condition, and then determined. And a light irradiation period control means for controlling a light irradiation period of the light irradiation unit during subsequent imaging according to the light irradiation period. 請求項３の付着物検出装置において、
前記光照射部は、予め決められた光照射時間だけ光を照射するものであり、
前記光照射期間制御手段は、前記撮像手段が撮像した撮像画像に基づいて前記光源光の受光量が規定条件を満たす光照射開始タイミング又は光照射終了タイミングを決定し、決定したタイミングに従って以降の撮像時における前記光照射部の光照射開始タイミング又は光照射終了タイミングを制御することを特徴とする付着物検出装置。 In the adhering matter detection device according to claim 3,
The light irradiation unit irradiates light for a predetermined light irradiation time,
The light irradiation period control means determines a light irradiation start timing or a light irradiation end timing in which the amount of received light of the light source satisfies a specified condition based on a captured image captured by the imaging means, and performs subsequent imaging according to the determined timing. The adhering matter detection apparatus which controls the light irradiation start timing or the light irradiation end timing of the said light irradiation part in time. 請求項４の付着物検出装置において、
前記光照射期間制御手段は、光照射開始タイミング又は光照射終了タイミングが互いに異なる複数の撮像画像の中から、前記光源光の受光量が最大である撮像画像を選択し、選択した撮像画像についての光照射開始タイミング又は光照射終了タイミングを決定することを特徴とする付着物検出装置。 The deposit detection apparatus according to claim 4, wherein
The light irradiation period control means selects a picked-up image having a maximum received light amount of the light source light from a plurality of picked-up images having different light irradiation start timings or light irradiation end timings. An attached matter detection apparatus that determines a light irradiation start timing or a light irradiation end timing. 移動体における光透過部材の付着物観測部分に付着する付着物を検出する付着物検出手段と、
前記付着物検出手段の検出結果に基づいて、前記移動体に搭載された所定の機器を制御する移動体機器制御手段とを備えた移動体機器制御システムにおいて、
前記付着物検出手段として、請求項１乃至５のいずれか１項に記載の付着物検出装置を用いたことを特徴とする移動体機器制御システム。 An adhering matter detecting means for detecting an adhering matter adhering to the adhering matter observation portion of the light transmitting member in the moving body;
In a mobile device control system comprising a mobile device control means for controlling a predetermined device mounted on the mobile based on the detection result of the attached matter detection means,
A mobile device control system using the deposit detection device according to any one of claims 1 to 5 as the deposit detection means. 所定の機器を搭載して移動する移動体において、
前記所定の機器を制御する手段として、請求項６の移動体機器制御システムを用いたことを特徴とする移動体。 In a moving body that carries predetermined equipment and moves,
A moving body using the moving body apparatus control system according to claim 6 as means for controlling the predetermined apparatus.
JP2013116696A 2013-06-03 2013-06-03 Deposit detection device, mobile object equipment control system and mobile object Pending JP2014235079A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013116696A JP2014235079A (en) 2013-06-03 2013-06-03 Deposit detection device, mobile object equipment control system and mobile object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013116696A JP2014235079A (en) 2013-06-03 2013-06-03 Deposit detection device, mobile object equipment control system and mobile object

Publications (1)

Publication Number Publication Date
JP2014235079A true JP2014235079A (en) 2014-12-15

Family

ID=52137900

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013116696A Pending JP2014235079A (en) 2013-06-03 2013-06-03 Deposit detection device, mobile object equipment control system and mobile object

Country Status (1)

Country Link
JP (1) JP2014235079A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023073214A (en) * 2021-11-15 2023-05-25 ウェイモ エルエルシー Automatic exposure shielding camera

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003315256A (en) * 2002-04-23 2003-11-06 Mitsubishi Electric Corp Foreign matter detecting device for surface of light transmission body
US20050035926A1 (en) * 2003-08-12 2005-02-17 Hitachi, Ltd. Image processing system
JP2005531752A (en) * 2002-05-18 2005-10-20 エルモス セミコンダクタ アーゲー Rain detector
US20060221342A1 (en) * 2005-03-31 2006-10-05 George Saikalis System for detecting droplets on a translucent surface
JP2013098817A (en) * 2011-11-02 2013-05-20 Ricoh Co Ltd Image processing device
JP2013096891A (en) * 2011-11-02 2013-05-20 Ricoh Co Ltd Image processing system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003315256A (en) * 2002-04-23 2003-11-06 Mitsubishi Electric Corp Foreign matter detecting device for surface of light transmission body
JP2005531752A (en) * 2002-05-18 2005-10-20 エルモス セミコンダクタ アーゲー Rain detector
US20050035926A1 (en) * 2003-08-12 2005-02-17 Hitachi, Ltd. Image processing system
JP2005195566A (en) * 2003-08-12 2005-07-21 Hitachi Ltd Image processing system
US20060221342A1 (en) * 2005-03-31 2006-10-05 George Saikalis System for detecting droplets on a translucent surface
JP2006284555A (en) * 2005-03-31 2006-10-19 Hitachi Ltd Device for detecting droplets on a translucent surface
JP2013098817A (en) * 2011-11-02 2013-05-20 Ricoh Co Ltd Image processing device
JP2013096891A (en) * 2011-11-02 2013-05-20 Ricoh Co Ltd Image processing system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023073214A (en) * 2021-11-15 2023-05-25 ウェイモ エルエルシー Automatic exposure shielding camera
JP7473616B2 (en) 2021-11-15 2024-04-23 ウェイモ エルエルシー Automatic exposure shielding camera

Similar Documents

Publication Publication Date Title
JP5999483B2 (en) Adhering matter detection device and in-vehicle device control device
JP6468482B2 (en) IMAGING DEVICE, OBJECT DETECTION DEVICE, AND MOBILE DEVICE CONTROL SYSTEM
JP5561333B2 (en) Image processing apparatus, imaging method, program, and vehicle
US9726604B2 (en) Adhering detection apparatus, adhering substance detection method, storage medium, and device control system for controlling vehicle-mounted devices
JP5846485B2 (en) Adhering matter detection apparatus and adhering matter detection method
JP6380843B2 (en) Object detection apparatus, mobile device control system including the same, and object detection program
JP4253275B2 (en) Vehicle control system
JP5441462B2 (en) Vehicle imaging device
JP2004217209A (en) Control of continuously variable headlight
JP2005092857A (en) Image processing system and vehicle control system
JP2010210374A (en) Imaging device for vehicles
JP6555569B2 (en) Image processing apparatus, mobile device control system, and image processing program
JP2016146583A (en) Imaging device, mobile apparatus control system and program
JP6098575B2 (en) Imaging unit, image processing apparatus, and vehicle
JP2014232026A (en) Attachment detection device, moving body apparatus control system, and moving body
JP2015028427A (en) Adhered substance detection device, moving body device control system, moving body, and program for detecting adhered substance
US11167687B2 (en) Object detection system
JP2014235079A (en) Deposit detection device, mobile object equipment control system and mobile object
JP6701542B2 (en) Detection device, mobile device control system, and detection program
JP6939875B2 (en) Illumination imager
JP2010208451A (en) Imaging apparatus for vehicle
WO2020049906A1 (en) Distance measurement device
JP6566308B2 (en) Adhering matter detection apparatus, mobile device control system, adhering matter detection program, and adhering matter detection method
JP5891723B2 (en) Imaging method and imaging unit
JP2015169567A (en) Deposit detection device, mobile device control system, and deposit detection program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160527

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170303

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170908