JP3970843B2 - イメージ・センサによるステレオイメージ形成を利用した湿気センサ - Google Patents

Description

本発明は、車両のフロントガラス・ワイパー及び／又はデフロスタ又はデフォッガシステムを自動的に起動するために、自動車用車両フロントガラスの表面などにおける湿気の存在を自動的に検出するシステムに関する。

従来のフロントガラス・ワイパーシステムでは、フロントガラス・ワイパーは、フロントガラスの外部の湿気レベルではなく、むしろ拭き取り間の経過時間に基づいて起動される。例えば、比較的安定した降雨状態の間、雨が所望の可視レベルの地点まで蓄積する時間量に対応するように時間間隔を調節することができる。残念なことに、降雨の割合は、与えられた時間期間中に激変する可能性がある。更に、交通状態により、トラックの通過の際等、フロントガラスへの降雨量が変化する可能性もある。その結果、このような状態の間、運転者は頻繁にワイパーの時間間隔を調節しなければならなず、これは煩わしいものとなる。

車両フロントガラスの湿気に基づいてフロントガラス・ワイパーの拭き取り間隔を自動的に制御する種々のシステムが知られている。ある既知のシステムでは、種々のコーティングが車両フロントガラスに施される。これらのコーティングの電気的測定は、フロントガラスの湿気含有量を表示するのに使用される。残念ながら、このような方法は、比較的高価な処理を必要とするので、このようなシステムは商業的には実施可能ではない。車両フロントガラスの湿気含有量を自動的に感知する他のシステムも知られている。例えば、乾いたフロントガラスと濡れたフロントガラスの反射光の差異を測定する光学システムが知られている。残念ながら、このような光学システムは、外部の光源からの干渉の影響を受けやすく、その結果、不十分な性能を与える。他の既知のシステムはフロントガラスに接着されなければならず、フロントガラスの交換を複雑にする。このような複雑さの結果、車両に湿気センサが備えられていることはほとんどない。

フロントガラスの湿気含有量を自動的に検出する別のシステムは、特開平７−２８６１３０号で開示されており、これは雨滴を検出するために車両フロントガラスの一部をイメージ形成する電荷結合素子（ＣＣＤ）イメージ・センサの使用を説明している。同特許で説明されているシステムは、各画素と全画素の平均との差異の合計を計算する。残念ながら、対向車両のヘッドランプは、完全にぼかすことが難しく、雨と解釈され易い明るいスポットをイメージ中に生成する。更に、このようなシステムを効果的に作動させるために、イメージ形成された場面内の遠距離の対象物を完全にぼかす必要がある。そうでない場合には、遠距離の対象物に対応してイメージ形成された場面内に明暗領域が存在する。上記公開特許には、この目的を達成するための光学システムは開示されていないが、対向ヘッドランプを完全にぼかす光学システムを開発することは非常に困難である。対向するヘッドランプを完全にぼかすことができなければ、上記の日本公開特許で開示されているシステムが誤起動を起こす恐れがある。

発明の譲受人に譲渡された米国特許第５，９２３，０２７号、第６，０９７，０２４号、及び第６，２６２，４１０号では、上述の問題を克服する湿気感知システムが開示されている。それでもなお、フロントガラス・ワイパーの誤起動の原因となる恐れがあるイメージ形成された場面内の光源を区別するため、開示されたシステムの能力を更に改良することが望ましい。

ドイツ特許第ＤＥ１９８０３６９４Ｃｌでは、車両のフロントガラスの実質的に同じ部分から２つの一次元イメージが収集される湿気感知システムが開示されている。イメージは、遠視野対象物を除去するために互いから差し引かれる。１つの実施形態において、単一の一次元アレイのセンサが使用され、２つの異なる、オフセットした光源からの光が連続的にフロントガラスのイメージ形成される部分に向かって配向される。センサアレイは、フロントガラスのどのような湿気からの反射も感知する。第１のイメージが第１の光源を使用して取得されて記憶され、続いて、第２のイメージが第２の光源を使用して収集される。次に、２つのイメージは互いから差し引かれて遠視野対象物が除去される。この実施形態は、２つの光源からの光を高レベルの周囲光と区別するためにシステムの能力に大きく依存する。また、２つのイメージが連続的に収集されるので、２つのイメージ中の遠視野対象物が移動してしまい、近視野イメージとなる可能性が大きくなる。

特開平７−２８６１３０号公報 米国特許第５，９２３，０２７号公報 米国特許第６，０９７，０２４号公報 米国特許第６，２６２，４１０号公報 ドイツ特許第ＤＥ１９８０３６９４Ｃｌ公報 米国特許第５，９９０，４６５号公報 米国特許第６，００８，４８６号公報 米国特許出願第０９／９７０，７２８号公報 米国特許第５，９９０，４６９号公報 米国特許出願第０９／７９９，３１０号公報 米国特許第５，８３７，９９４号公報 米国特許第６，０４９，１７１号公報 米国特許第６，２５５，６３９号公報 米国特許第６，２８１，６３２号公報 米国特許出願第０９／８００，４６０号公報 Ｗａｒｒｅｎ Ｊ．Ｓｍｉｔｈによる「Ｍｏｄｅｒｎ Ｏｐｔｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ」（５２ページ）

ドイツ特許第ＤＥ１９８０３６９４Ｃｌ号では、フロントガラスの同じ部分をイメージ形成するために、２つの別個の水平にオフセットした一次元イメージ・センサアレイが２つの別個のレンズと組み合わせて使用される第２の実施形態が開示されている。この実施形態は第１の実施形態に関して上述の問題の一部に対処するものであるが、２つの別個のイメージ・センサアレイを必要とすることによってシステムのコストが増大する。２つの実施形態は、いずれも、フロントガラス上の対象物の空間的な分布などの有益な情報を取得することができるか、又は検出された光のレベルのける異常を容易に切り捨てることができるといった非常に堅牢なイメージを得ることができるものではない。

本発明の１つの実施形態によれば、周囲環境にあるとすることができる車両のランプ及び他の光源といった遠視野対象物を、車両のフロントガラスの湿気などの近視野イメージと確実に区別する湿気感知システムが提供される。これら及び他の態様及び利点を達成するために、第１及び第２の部分を有するセンサアレイと、表面の同じ部分をセンサアレイの第１及び第２の両方の部分にイメージ形成するように作動する少なくとも１つの光学システムと、センサアレイと通信しており、センサアレイの第１及び第２の部分からのイメージを解析して湿気を検出するように作動する処理システムとを備える、表面の湿気を検出するシステムが提供される。

本発明の別の実施形態によれば、周囲環境にあるとすることができる車両のランプ及び他の光源なといった遠視野対象物を、車両のフロントガラスの湿気などの近視野イメージと確実に区別する湿気感知システムが提供される。これら及び他の態様及び利点を達成するために、互いに空間的にオフセットした第１及び第２のセンサアレイと、表面の同じ部分を第１及び第２のセンサアレイの両方にイメージ形成するように作動する少なくとも１つの光学システムと、センサアレイと通信しており、センサアレイからのイメージを解析して湿気を検出するように作動する処理システムとを備える、表面の湿気を検出するシステムが提供される。処理システムは、第１のセンサアレイの少なくとも１つの横列であるが全てではない横列からのイメージデータと、第２のセンサアレイの対応する横列からのイメージデータとを読み取り、読み取ったイメージデータを比較し、この比較の結果を記憶した後に、前記センサアレイの別の横列からのイメージデータを読み取る。

別の実施形態によれば、第１及び第２の二次元イメージ・センサと、車両のフロントガラスの表面の同じ部分を第１及び第２のイメージ・センサ上にイメージ形成するように作動する光学システムと、イメージ・センサと通信しており、イメージ・センサからのイメージを解析し、フロントガラスの湿気を検出して、湿気が検出されたときにフロントガラス・ワイパーを起動するように作動する処理回路とを備える車両用フロントガラス・ワイパー制御システムが提供される。

本発明の別の実施形態によれば、センサのアレイを含む光学システムと、センサと通信しており、制御される車両のフロントガラス上の湿気を感知し、制御される車両のほぼ前方の車両の光を検出して制御される車両の外部灯を制御する処理サブシステムとを備える制御される車両で使用されるシステムが提供される。

本発明の別の実施形態によれば、制御される車両内で使用されるシステムが提供され、本システムは、センサの２つのアレイと２つのセンサアレイの１つに投射された光から赤色光以外の全てをフィルタリングするための赤色フィルタとを含む光学システムと、赤色光を制御される車両のフロントガラス上に投射するための光源と、センサと通信しており、制御される車両のフロントガラス上の湿気を感知するための処理サブシステムとを備える。

本発明のこれら及び他の特長、利点、及び目的は、以下の明細書、特許請求の範囲、及び添付図面を参照することによって当業者には更に理解され認識されるであろう。

本発明による湿気感知システムは、車両のフロントガラスなどの表面の湿気を検出することができる。このようなシステムは、車両のフロントガラス・ワイパー、デフロスタ、及び／又はデフォッガシステムを自動的に制御するのに有用である。車両のフロントガラスの湿気を感知するシステムは、既知の湿気感知システムの性能上の欠陥の多くを排除し、湿気感知システムを商業的に成立し得るコストで提供する。本明細書で使用されるように、用語「湿気」は、降雨、降雪、氷、及び曇り、並びに虫、埃等の車両のフロントガラスに一般的に堆積する他の物質のような、様々な天候状態の間に車両のフロントガラスに見出すことができる種々の形の湿気及び降水を表すのに用いられる。システムは、氷、曇り、及び降雨、降雪の変化するレベル等の、むしろ一般的な天候状態の間に他の既知のシステムよりも優れた性能をもたらすことができる。

以下で更に詳細に説明するように、フロントガラスの同じ部分を第１のイメージ・センサアレイと第２のイメージ・センサアレイの両方にイメージ形成する。次に、以下で詳細に説明するように、第１及び第２のイメージ・センサアレイから得られた２つのイメージをデジタル化し、互いに比較することができる。処理システムは、同じ面積を有する２つのイメージを２つのわずかに異なるパースペクティブから取得して解析することによって、両眼視差（ステレオイメージ形成としても知られる）の原理を利用して、近視野対象物を遠視野対象物と区別する能力を得ることができ、これにより、遠視野対象物をぼかすための高価な光学素子が不要となる。

図１を参照すると、本発明の湿気感知システムは、全体が参照番号２０で識別される。湿気感知システムは、自動車用バックミラー２４の取り付けブラケット２２に固定して取り付けるか、又は、バックミラーハウジング２４の後部に取り付けることができる。更に別の代替案として、湿気感知システムは、オーバーヘッドコンソール、Ａピラー、インストルメントパネルのダッシュボード、フロントガラス取り付けコンソール、又は他の任意の車両付属品に取り付けることができる。湿気感知システム２０は、地面に実質的に平行か又は地面に対してわずかに角度が付けられた光軸で車両のフロントガラス２６の５５ｍｍから１０５ｍｍ後に取り付けられたイメージ・センサ３２を含む。最新の乗用車のフロントガラス２６の角度は、モデル毎にかなり異っている。自動車フロントガラスの角度の一例は、約２７°である。トラックのフロントガラスの角度は、大きく異なる可能性がある。このような構成は、イメージ・センサ３２の視野に対して湿気がどこにあるかによって、雨滴及び他の湿気がイメージ・センサ３２から異なった距離にあるものとなる。この問題の補償を支援するために、イメージ・センサ３２の上部がフロントガラス２６に接近して移動するようにイメージ・センサ３２をフロントガラス２６に向けて角度を付けることができる。例えば、フロントガラス角度が約２７°の場合、イメージ・センサ３２をフロントガラス２６に向けて約１２°から１７°角度を付けることができる。

イメージ平面が対象物平面に平行ではない場合、光学焦点は、レンズの平面で対象物平面とイメージ平面が互いに交差するときに得られる。これは、Ｗａｒｒｅｎ Ｊ．Ｓｍｉｔｈによる「Ｍｏｄｅｒｎ Ｏｐｔｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ」で見ることができるＳｃｈｅｉｍｐｆｌｕｇ状条件の詳細として知られる（５２頁）。

或いは、適切な被写界深度で設計されたレンズシステムは、イメージ・センサがレンズ平面に平行に配置されているときにフロントガラス面のイメージを実質的にぼかすことができる。それにもかかわらず、このようなぼかしは、本明細書で説明されるようなステレオイメージ形成を用いたときには不要である。実際、両方の機能を得るために共通のイメージ・センサアレイを使用することができるように、本発明の降雨センサの機能をヘッドランプ減光システムと兼用することが有益とすることができる。このような構成では、フロントガラス上の対象物（すなわち雨）と遠距離にある対象物（すなわちヘッドランプ）の両方をイメージ形成するのに十分な被写界深度を有するように光学システムを構成することが望ましい。従って、ステレオイメージ形成センサ構成を用いることにより、両方の機能が得られるように共通の光学システムを使用することができる。

本発明の湿気感知システム２０には、４つの主要構成要素、すなわち、イメージ形成光学システム、発光ダイオード、イメージ・センサ、及び処理システムがある。イメージ形成光学システムは、図２、図６Ａ、及び図６Ｂに示され、イメージ・センサアレイは、図２及び図５に示されている。

イメージ形成光学システムは、フロントガラス２６から近距離にある対象物はイメージ平面で焦点が合って鮮鋭であると共に、遠距離にある対象物は焦点が外れてぼけるように、フロントガラス２６の所定部分をイメージ・センサの２つのセンサアレイ３２ａ及び３２ｂにイメージ形成するのに使用される。イメージ形成されるフロントガラス２６の領域は、比較的小雨の条件の間で雨滴を受ける可能性がかなり高いように充分に大きくすべきである。更に、フロントガラスのイメージ形成領域もまた、フロントガラス・ワイパーによって拭き取られるフロントガラスの領域でなければならない。

イメージ形成光学システムは、２つの両凸レンズ３３ａ及び３３ｂを含むことができる。レンズ３３ａ及び３３ｂは、レンズの真正面に直径約５ｍｍのストップを形成する機械的なレンズマウントによって担持することができる。イメージ・センサ３２は、レンズ３３の後ろに配置され、約１２°から１７°だけわずかに角度が付けられている。

レンズ３３ａ及び３３ｂは、共通の素子内に形成されたマイクロレンズとすることができる。このような構造の一実施例を図６Ａ及び図６Ｂに示す。特に、フロントガラスからの距離がより短いことが所望の特長である場合には、例えば、付加要素、非球面要素、又はディフラクティブ対象物を有する、より精巧な光学システムを全て使用することができる。しかしながら、収集されるイメージは写真目的ではないことから、このような光学的品質は湿気検出用途には必要ない。

イメージ・センサアレイ３２は、ＣＭＯＳアクティブ画素イメージ・センサであるのが好ましい。ＣＭＯＳアクティブ画素イメージ・センサは、ＣＭＯＳプロセスで製造されたチップ上で低コストで高感度のイメージ形成を提供する。このようなＣＭＯＳアクティブ画素イメージ・センサは、低電力消費の普及しているＣＭＯＳ製造技術、同じチップ上に追加の回路構成を集積するための低コストの能力、可変読み出しウィンドウ、及び可変光統合時間を含む、他のセンサを上回る幾つかの利点を有する。このようなＣＭＯＳアクティブ画素イメージ・センサは、例えば、Ｐｈｏｔｏｂｉｔ部品番号ＰＢ−０１１１を含むカリフォルニア州パサディナ所在のＰｈｏｔｏｂｉｔ Ｉｎｃ．，から市販されている。好適なシステムは、Ｊｏｎ Ｈ． Ｂｅｃｈｔｅｌ他による「ＣＯＮＴＲＯＬ ＣＩＲＣＵＩＴ ＦＯＲ ＩＭＡＧＥ ＡＲＲＡＹ ＳＥＮＳＯＲＳ」と題され、発明の譲受人に譲渡された米国特許第５，９９０，４６５号、及びＪｏｓｅｐｈ Ｓ． Ｓｔａｍ他による「ＷＩＤＥ ＤＹＮＡＭＩＣ ＲＡＮＧＥ ＯＰＴＩＣＡＬ ＳＥＮＳＯＲ」と題され、発明の譲受人に譲渡された米国特許第６，００８，４８６号で詳細に説明されている。ＣＭＯＳイメージ・センサの別個のサブウィンドウからイメージを取得する能力により、このシステムはイメージ・センサアレイが２つのアレイすなわち「サブウィンドウ」に分割される本発明において特に好適なものとなる。好適な実施形態において、処理システムは、Ｊｏｓｅｐｈ Ｓ． Ｓｔａｍ他によって２００１年１０月４日に出願された、「ＭＯＩＳＴＵＲＥ ＳＥＮＳＯＲ ＡＮＤ ＷＩＮＤＳＨＩＥＬＤ ＦＯＧ ＤＥＴＥＣＴＯＲ」と題された発明の譲受人に譲渡された米国特許出願第０９／９７０，７２８号で開示された方法でイメージ・センサアレイ部３２ａ及び３２ｂの各々の様々なサブウィンドウの露光を独立して制御する。

ＣＭＯＳアクティブ画素センサは実質的な利点を有するが、他のイメージ・センサもまた好適であり、本発明の範囲内であると考えられる。画素の大きさ及び数は、費用効果を維持しながら、小雨を適切に検出するのに十分に大きくかつ十分に詳細にフロントガラスの領域をイメージ形成するように決定される。例えば、２つの等しいアレイ３２ａ及び３２ｂに分割され、３０μｍ画素サイズを有する６４×８０アクティブ画素アレイは、標準的な乗用車フロントガラス上で約３０ｍｍ×３０ｍｍの面積をイメージ形成する。より好ましい実施例によれば、画素間隔７．８μｍの３５２×２８８アクティブ画素アレイを有するＰｈｏｔｏｂｉｔ ＰＢ−０１１１共通中間フォーマット（ＣＩＦ）イメージャが使用される。図５は、光学システムの２つのレンズが重ね合わされたＣＩＦイメージャの実施例を示す。図示するように、部分３２ａ及び３２ｂは各々、画素が約１７６画素、すなわち１．３７２８ｍｍだけ離間された２つのレンズ３３ａ及び３３ｂの中心に配置された２８８×１７６アレイである。非球面１ｍｍ厚アクリル製レンズ３３ａ及び３３ｂは、直径１．０ｍｍであり、２．２０ｍｍの半径、円錐定数が−１．０を有し、イメージ・センサ表面から３．８ｍｍの位置に配置されている。レンズ３３ａ及び３３ｂの焦点距離は、６８０ｍｍ波長で４．５ｍｍである。最大視野は、１７．４°×２８．０°である。８５ｍｍに設定された例示的なフロントガラス−レンズ間距離では、最大可視面積は、フロントガラス角度２７°の場合、４３ｍｍ×６３ｍｍである。５５ｍｍに設定された例示的なフロントガラス−レンズ間距離では、最大可視面積は、フロントガラス角度２７°の場合は２８ｍｍ×４１ｍｍである。

第１及び第２のイメージ・センサアレイ３２ａ及び３２ｂの両方は、単一のイメージ・センサアレイ３２のサブウィンドウ部分であるとして開示されているが、特に、より大きな離間距離が所望される場合、２つの別個のイメージ感知素子を使用して第１及び第２のイメージ・センサアレイ３２ａ及び３２ｂを実施することができることは理解されるであろう。

湿気感知回路のブロック図を図７に示す。上述のように、フロントガラス２６の所定部分は、イメージ・センサ３２の２つのアレイ部３２ａ及び３２ｂにイメージ形成される。イメージ・センサは、センサ３２から取得されたデータを更に読み取って処理する処理システム／回路によって制御される。処理システムは、アナログ−デジタル変換器３２、タイミング制御回路３７、及びマイクロコントローラ３８を含む。センサ３２内の各画素のアナログ電圧は、アナログ−デジタル変換器３５によってデジタル化されたグレースケール値に変換される。アナログ−デジタル変換器３５は、タイミング制御回路３７の制御下で作動され、該タイミング制御回路３７は、マイクロコントローラ３８によって制御される。タイミング制御回路３７は、Ｊｏｎ Ｈ． Ｂｅｃｈｔｅｌ他による、「ＣＯＮＴＲＯＬ ＣＩＲＣＵＩＴ ＦＯＲ ＩＭＡＧＥ ＡＲＲＡＹ ＳＥＮＳＯＲＳ」と題された、発明の譲受人に譲渡された米国特許第５，９９０，４６９号で詳細に説明されている。

好適なマイクロコントローラ３８は、Ｍｏｔｏｒｏｌａ ＳＴＡＲ１２（商標）、部品番号ＭＣＳ９１２Ｄ６４である。マイクロコントローラが、イメージ・センサからのイメージ全体を記憶するのに十分なランダムアクセスメモリ（ＲＡＭ）を収容していない場合には、ＣＭＯＳイメージ形成センサのウィンドウ機能を使用して、マイクロコントローラ３８の実装ＲＡＭにおいて十分に小さなサイズの異なる領域を代替的にイメージ形成及び処理することができる。或いは、Ｊｏｓｅｐｈ Ｓ． Ｓｔａｍ他によって２００１年３月５日に出願された、「ＩＭＡＧＥ ＰＲＯＣＥＳＳＩＮＧ ＳＹＳＴＥＭ ＴＯ ＣＯＮＴＲＯＬ ＶＥＨＩＣＬＥ ＨＥＡＤＬＡＭＰＳ ＡＮＤ ＯＴＨＥＲ ＶＥＨＩＣＬＥ ＥＱＵＩＰＭＥＮＴ」と題された、発明の譲受人に譲渡された米国特許出願第０９／７９９，３１０号で開示されているインライン処理手順を使用して、プロセッサのメモリ要件を低くすることができる。

上記の米国特許出願第０９／９７０，７２８号で開示されているように、本明細書で開示されているような湿気感知システムは、イメージ・センサアレイのサブウィンドウを別個にイメージ形成することができるだけでなく、サブウィンドウの露光レベルを独立して調節することができる。また、上述の米国特許出願第０９／９７０，７２８号の教示によれば、狭帯域フィルタと、フロントガラスのイメージ形成された領域を照光するための補助光源６６（すなわち、ＬＥＤ）とを利用することが望ましいであろう。別個のイメージを補助照光が有る状態と無い状態で取得して、例えば、周囲光が小さい状況時のフロントガラス表面のイメージ形成を支援し、及び近視野対象物と遠視野対象物の識別を支援するための相関関係を有する二重サンプリング手法を用いて互いに比較することができる。従って、４つのイメージ、すなわち、補助照光を用いないレンズ３３ａを通る第１のイメージＡ、補助照光を用いたレンズ３３ａを通る第２のイメージＡ’、補助照光を用いないレンズ３３ｂを通る第３のイメージＢ、補助照光を用いたレンズ３３ｂを通る第４のイメージＢ’を効果的に獲得して処理することができる。従って、補助照光を用いないイメージデータを補助照光を用いたイメージデータから差し引くことにより、外部照光が除去されたイメージデータ（すなわち、Ａ’−Ａ、及びＢ’−Ｂ）が得られる。次に、レンズ３３ａを通るイメージを３３ｂを介したイメージと比較するために、以下の処理、すなわち、（Ａ’−Ａ）−（Ｂ’−Ｂ）を行う。この処理に必要とされるメモリを最小限に抑えるために、両方のレンズ３３ａ及び３３ｂを介したイメージ（Ａ’及びＢ’）を発光器がオンにされた状態で読み取って、これらの２つのイメージを差し引き（すなわち、Ａ’−Ｂ’）、両方のレンズ３３ａ及び３３ｂを介したイメージ（Ａ及びＢ）を発光器がオフにされた状態で読み取って、これらの２つのイメージを差し引き（すなわち、Ａ−Ｂ）、次に、後者の差異を前者の差異から差し引く（すなわち、（Ａ’−Ｂ’）−（Ａ−Ｂ））。

イメージがイメージ・センサ３２によって収集されると、アナログ電圧によって表される各画素の輝度は、アナログ−デジタル変換器３５よってデジタルグレースケール値に変換される。これらの値は、マイクロコントローラ３８に実装することができるメモリに書き込まれ、マイクロコントローラ３８、或いはデジタル信号プロセッサによって処理される。

第１及び第２のイメージ・センサアレイ３２ａ及び３２ｂからのデジタル化されたイメージは、遠視野対象物を近視野対象物と区別するため互いに比較される。図３Ａ及び図３Ｂに示すように、遠視野対象物（ツリー状に図示）は、レンズ３３ａ及び３３ｂの光軸に対してイメージ・センサアレイ３２ａ及び３２ｂの同じ位置にイメージ形成される。図３Ｃに示すように、２つのイメージが互いに差し引かれると、結果として得られるイメージから遠視野対象物のイメージが除去される。図４Ａ及び図４Ｂに示すように、フロントガラス上の雨滴などの近視野対象物は、イメージ・センサアレイ３２ａ及び３２ｂの異なる位置にイメージ形成される。図４Ｃに示すように、２つのイメージが互いに差し引かれたときに、近視野対象物のイメージは、任意の遠視野対象物のイメージと異なり、結果として得られるイメージから除去されず、存在する可能性がある。

２つのイメージは、単一のイメージアレイセンサの２つのサブウィンドウで同時に取得することができ、イメージデータは、インターリーブの様式で２つのサブウィンドウから読み取ることができる。例えば、第１のサブウィンドウの第１の横列を読み取り、第２のサブウィンドウの第１の横列を読み取ることができ、その結果、２つのサブウィンドウの第１の横列を比較することができる。これに続いて、２つのサブウィンドウの第２の横列を読み取って比較するなどを行うことができる。インターリーブの様式でイメージデータを読み取ることによって、両方のサブウィンドウイメージのイメージデータを記憶するのに必要とされるメモリが少なくなる。横列データが比較されると、記憶する必要があるのは比較データのみであり、横列データは、２つのサブウィンドウの次の横列データを読み出す前に破棄することができる。この方法によって処理が簡素化され、コストが低減される。また、これによって任意の一時的な誤差が最小限に抑えられ、サブウィンドウ間の差異の推定がより正確なものになる。同様の方法で、１より多いが全てではない横列を各サブウィンドウから読み取って比較することができる。このようなイメージ読み取りを達成する方法については上述の米国特許第５，９９０，４６９号を参照されたい。また、１つの横列のデータが読み取られるときに、その列がアレイの両方の領域３２ａ及び３２ｂを横切り、従って、単一の横列のデータが両方の領域３２ａ及び３２ｂからの対応するデータを含むように、イメージ・センサ３２を光学システムに対して配向することができることに注意されたい。従って、本発明の利点を達成するために、単一の横列を読み取り、その列の半分を残りの半分から差し引くことができる。

好ましい実施形態において、レンズ３３ａ及び３３ｂは、レンズの中心が横方向に互いから約１．３ｍｍオフセットした状態でフロントガラスから約５５ｍｍから８５ｍｍ後方に配置される。フロントガラスからの距離は、レンズ３３ａと３３ｂ間のオフセットを大きくすることによって延ばすことができる。好ましい実施形態では、レンズからの距離が１５０ｍｍから２００ｍｍを上回る対象物は、上述の本発明の手法を用いてイメージ形成された場面から除去される遠視野対象物として効果的に処理される。これを立証するために、好ましいシステムの計算による解析を以下で説明する。

図８は、レンズ３３ａ及び３３ｂの平面から距離ｄの距離に位置決めされ、かつ光学システムの中心から角度Ａで配置された対象物７０を示す。レンズ３３ａ及び３３ｂは、イメージ・センサ３２から光学システムの焦点距離ｆに相当する距離に配置されており、レンズ３３ａ及び３３ｂの中心軸は、距離ｓだけ離間されている。図８では、Ａ１は、イメージ形成された対象物とレンズ３３ａの中心間の角度に相当し、Ａ２は、イメージ形成された対象物とレンズ３２ｂの中心間の角度に相当し、Ｘ１は、イメージ平面上のレンズ３３ａを通るイメージの位置に相当し、Ｘ２は、イメージ平面上のレンズ３３ｂを通るイメージの位置に相当する。好ましいＣＩＦイメージャを使用して、
Ａ（α）＝α・π／１８０
ｓ＝１．３７２８ｍｍ
ｆ＝４．５ｍｍ
ｐ＝７，８μｍ
であり、ここで、
ｐは、イメージャ画素サイズ／間隔である。角度Ａ１及びＡ２は、以下のように計算することができる。
Ａ１（ｄ、α）≡ａｔａｎ［ｄ・ｔａｎ（Ａ（α））＋ｓ／２］／ｄ
Ａ２（ｄ、α）≡ａｔａｎ［ｄ・ｔａｎ（Ａ（α））−ｓ／２］／ｄ

イメージ角度が対象物角度と同じと仮定する（ピンホールレンズによる近似）と、レンズ３３ａ及び３３ｂの中心に対するイメージ平面のイメージの位置Ｘ１及びＸ２は、それぞれ、以下のように計算することができる。
Ｘ１（α１）≡ｆ・ｔａｎ（α１）
Ｘ２（α２）≡ｆ・ｔａｎ（α２）

画素において、その位置は、
Ｘ１ｐ（α１）≡Ｘ１（α１）／ｐ
Ｘ２ｐ（α２）≡Ｘ２（α２）／ｐ

図９は、角度Ａが４°、８°、１２°である場合における、レンズからの対象物の距離ｄの関数としてイメージ平面での両方のレンズを通るイメージの画素位置を示すグラフである。図１０は、０から１ｍの距離を示す対象物までの距離の関数としての、レンズ３３ａを通るイメージとレンズ３３ｂを通る対応するイメージ間の位置の差異のグラフである。また、図１１は、４５ｍｍから９５ｍｍの距離を示す対象物までの距離の関数としての、レンズ３３ａを通るイメージとレンズ３３ｂを通る対応するイメージ間の位置の差異のグラフである。図９乃至図１１から明らかなように、イメージの位置間の差異は、１ｍ以上の距離にある対象物については実質的にゼロであり、一方、イメージの位置間の差異が９５ｍｍ以下の距離については少なくとも８画素である。従って、遠距離にある対象物は、イメージの差し引きによって効果的に除去することができ、一方、フロントガラス表面の近距離の対象物は、イメージを差し引いた後でも残ることになる。レンズ３３ａ及び３３ｂを通るイメージの位置間の差は、対象物の角度Ａが異なっても実質的には変化しない。

従って、本発明は、遠距離にある対象物、特に別の方法では車両フロントガラス上の雨滴と区別し難い、ヘッドランプ、テールランプ、街路灯、交通信号、及び他の光源と容易に雨滴を区別することができる。

一般に、任意の相対的な誤差の存在を判断するために第１及び第２のイメージ・センサアレイ３２ａ及び３２ｂからの２つのイメージが比較される。相対的誤差は、イメージ間の未処理の差異を考慮するか、２乗誤差の比を計算して解析するか、又は最も好ましくは相関定数を計算して解析することによって求めることができる。

システムの精度を更に向上させるため、及びシステムが雨滴とフロントガラスのひび又はフロントガラス上の破片とを区別可能にするために、処理システム３８は、エッジ検出法を用いることができ、及びイメージの空間的高周波成分を解析することができる。エッジ検出は、比較する前に第１及び第２のイメージ・センサアレイ３２ａ及び３２ｂからのイメージに対して別個に行うことができ、又は、既に除去された遠視野対象物との比較の結果として形成されたイメージに対して行うことができる。更に詳細には、雨滴は、フロントガラス上の雨滴の鋭いエッジから結果として生じる不連続部を定量化することによって検出される。これらの鋭いエッジは、小滴又は他の湿気による遠視野の対象物のランダムな光学イメージ形成と共に、雨又は他の水滴の合焦されたイメージによって生じる。イメージ内のエッジを検出するために、ラプラシアンフィルタ、ソーベルフィルタ、又は好ましくはプレビットフィルタを利用することができる。

処理システムは、雨滴又は他の湿気のエッジ、及び小滴による遠距離にある対象物のランダムな合焦によって生じる鋭い不連続部に対して、第１及び２のイメージ・センサアレイからのイメージを解析することができる。これらの不連続部は、空間的な高周波成分を表す。高周波空間成分の大きさは、フロントガラス・ワイパーブレードの拭き取り頻度（すなわち、拭き取りの時間間隔）がフロントガラスの湿気量の関数として制御されるように、フロントガラス・ワイパーモータ制御４０を制御するために使用される。

また、上述のシステムはまた、フロントガラスのイメージ形成領域を通るワイパーブレードの通過を検出するのに使用することができる。自動車のワイパーがイメージ形成領域を横切る際に絶対に略垂直にならないように設計される場合には、上述のフィルタをこのような構成に適応するように変更することができる。例えば、イメージ処理の技術分野で良く知られた他の様々なエッジ検出方法も使用することができる。更に、車両フロントガラス・ワイパーのワイパー速度が速すぎて、必要な露光時間に対してイメージが若干ぼける場合、現在の画素のすぐ次の画素ではなく、現在の画素の左右の２つの位置にある画素を除外するように水平フィルタを変更することができる。

ワイパーがイメージ形成領域を清浄にした後、フロントガラスの追加のイメージが取得される。これらのイメージは、次の拭き取りまで、後続の全ての測定値から差し引くことができるゼロ点測定値として使用することができる。このようにして、汚れたフロントガラス、割れ、引っ掻き傷、及び凍結した氷のイメージの長期の高周波空間成分は、検出される雨量には影響がない。

フロントガラス・ワイパーが与えられた時間フレーム内で検出されなかった場合、システムは、フロントガラス・ワイパーがフロントガラスに凍結した結果として生じる可能性のある不具合が発生したものとみなす。このような状況では、氷が解凍することができる期間の間、本発明による湿気センサの動作を一時的に停止することができる。外気温度情報が利用可能である場合、凍結の気象条件を考慮して、ワイパーの故障が機械的な不具合か、或いは氷によるものかを判断することができる。

また、本システムは、変動する光レベルに適応させることができる。特に、選択されたサイクルの間に、イメージの平均グレースケール値を計算することができる。この値が高い場合は光に対して過度露出であることを示しており、次のサイクルでの統合時間を短縮して平均輝度を下げることができる。同様に、光のレベルが低い場合、統合時間を長くすることができる。比較的暗い状態では、幾つかのイメージ・センサは、適度な時間内に十分な光を集めるて雨滴などの湿気を適切にイメージ形成することができない場合がある。このような状況では、イメージが取り込まれている間、背後から関心領域を短時間だけ照光するために追加の発光器６６を設置することができる。車両のフロントガラスが赤外線をあまり吸収しない場合には、波長がイメージ・センサの検出可能な領域内にあれば、近赤外の発光器を用いることができる。赤外線発光器は、人間の目には見えず、従って運転者の気をそらさない利点がある。

システムに選択性を与えるために、運転者オン／オフ感度制御回路４４を設けることができる。この制御回路４４を特別な状況、例えば、車両が自動洗車機に掛けられているときに使用して、システムの誤作動を防ぐことができる。間欠ワイパー制御を使用して、システムの感度の調節を可能にすることができる。

また、本発明のシステムは、フロントガラスの内面又は外面上の曇りを検出するための機構を含むことができる。このような機構は、米国特許第５，９２３，０２７号で開示されている。本発明の湿気感知システムに対してこのような曇り検出機構を実施するために、発光器６６に加えてＬＥＤなどの発光器が追加されることになる。フロントガラスのイメージ形成された領域全体を照光する発光器６６と異なり、追加の発光器は、イメージ・センサアレイの１つ又は両方を使用して感知される合焦された光点をフロントガラス上に照射するように構成されることになる。場合によっては、車両は、登坂走行時に装置が直接太陽をイメージ形成するような車両位置になることがある。この位置付けによって生じる放射負荷は、イメージ・センサ３２に経時的な損傷を与える可能性がある。このような問題を軽減するために、防眩フィルタを使用してイメージ平面から太陽光のほとんどを一時的に排除することができる。他の光学電子デバイス又は光学機械デバイスもまた、使用することができる。

上で開示したように、本発明の湿気感知システムは、ヘッドランプ減光システムと一体化することができる。ヘッドランプ減光システムの例は、発明の譲受人に譲渡された米国特許第５，８３７，９９４号、第６，０４９，１７１号、第６，２５５，６３９号、及び第６，２８１，６３２号で開示されている。上述のように、湿気感知システム及びヘッドランプ減光システムは、同じ光学システムを共有することができる。本発明のステレオ感知システムは、イメージ・センサを利用する他の形態の湿気感知システムのように、遠距離にある対象物をぼかすように光学システムを構成する必要がないことから、特にこのような一体化には好適である。更に、上記特許では、本明細書で開示されているものと同様の光学システムを利用するヘッドランプ減光回路が開示されている。

図７は、本発明の一体化された湿気感知／ヘッドランプ減光システムを示すブロック図形態の電気回路図を示す。図示するように、共通のマイクロコントローラ３８は、共通のセンサアレイ３２からのイメージデータを処理するのに使用される。マイクロコントローラ３８は、フロントガラス・ワイパー及びデフロスタの作動を制御すると共に、車両の外部灯７５の作動を制御する。このような外部灯７５には、ハイビーム及びロービームヘッドランプ、昼間走行灯、フォグライトなどの悪天候灯、パーキングランプ、テールランプ、ブレーキランプなどが含まれる。ヘッドランプ減光機能と湿気感知機能のデータ処理はかなり異なるものであり、これ以外の方法では両方の機能を処理するにはマイクロプロセッサ３８の処理能力の大半を必要とするが、両機能の処理負荷を低減し、或いは両用途の処理作業のバランスを取るための措置を講じることができる。特に、降雨時にはロービームヘッドランプのみを作動することが一般に望ましいので、マイクロコントローラ３８は、湿気が検出され及び／又はフロントガラス・ワイパー作動しているときには単に車両のハイビームヘッドランプを無効にし、コントローラの処理リソースを湿気感知機能に対して消費するようにすることができる。同様に、周囲の明るさが比較的大きい時間の間は、処理リソースを車両のヘッドランプ減光用の検出に消費する必要はなく、むしろ、湿気感知に対して使用することができる。必要であれば、イメージ・センサから読み取られたデータを処理するために別のプロセッサを利用した後に、処理されたデータをマイクロコントローラ３８に伝達することができる。例えば、Ｊｏｓｅｐｈ Ｓｔａｍ他によって２００１年３月５日に出願された、「ＳＹＳＴＥＭ ＦＯＲ ＣＯＮＴＲＯＬＬＩＮＧ ＥＸＴＥＲＩＯＲ ＶＥＨＩＣＬＥ ＬＩＧＨＴＳ」と題された米国特許出願第０９／８００，４６０号で開示されているように、増設プロセッサを使用して、他の車両の可能性がある車両前方のランプのランプリストを特定することができる。同様に、フロントガラス上で検出される対象物に対してエッジ検出を行うために、このような増設プロセッサを使用することができる。

本発明を特定の好ましい実施形態に従って本明細書で詳細に説明してきたが、当業者であれば本発明の新規教示及び利点から実質的に逸脱することなく、多くの修正及び変更を行うことができる。従って、全てのこのような修正は、特許請求の範囲で定義されるように本発明の範囲内に包含されることを意図しており、従って、添付の特許請求の範囲の範囲によってのみ限定され、本明細書で示した実施形態を説明する詳細及び手段によって限定されるものではないことは、出願人が意図するところである。

本発明に従って構成された湿気感知システムを組み込むバックミラー組立体を示す側面図である。 本発明に従って構成された湿気感知システムを示す拡大図である。 本発明の湿気感知システムを使用する遠視野対象物のイメージ形成を示す図である。 図３Ａに示すような遠視野対象物がイメージ形成されたときに本発明の湿気感知システムの２つのイメージ・センサアレイ部によって得られた例示的なイメージを示す図である。 本発明の湿気感知システムによる一方のステレオイメージを他方のステレオイメージから差し引くことによって得られた遠視野イメージを示す図である。 本発明の湿気感知システムを使用して近視野対象物のイメージ形成を示す図である。 図４Ａに示すような近視野対象物がイメージ形成されたときに本発明の湿気感知システムの２つのイメージ・センサアレイ部によって得られた例示的なイメージを示す図である。 本発明の湿気感知システムによる一方のステレオイメージを他方のステレオイメージから差し引くことによって得られた近視野イメージを示す図である。 光学システムの２つのレンズが重ね合わされたＣＩＦイメージャの実施例の平面図である。 本発明の湿気感知システムに使用することができるレンズ３３の平面図である。 図６Ａに示すレンズの側面図である。 本発明の湿気感知システムの電気回路のブロック図である。 対象物がレンズの平面から距離ｄに位置決めされ、かつ光学システムの中心から角度Ａで配置された本発明のシステムの概略図である。 角度Ａが４°、８°、１２°である場合における、レンズからの対象物の距離ｄの関数としてイメージ平面での両方のレンズを通るイメージの画素位置を示すグラフである。 ０から１ｍの距離を示す対象物までの距離の関数としての、レンズ３３ａを通るイメージとレンズ３３ｂを通る対応するイメージ間の位置の差異のグラフである。 ４５ｍｍから９５ｍｍの距離を示す対象物までの距離の関数としての、レンズ３３ａを通るイメージとレンズ３３ｂを通る対応するイメージ間の位置の差のグラフである。

符号の説明

２６ フロントガラス
３２ センサアレイ
３３ 両凸レンズ
６６ 補助光源

Claims (13)

1. 表面の湿気を検出するシステムであって、
   第１及び第２の部分を有するセンサアレイと、
   前記センサアレイと通信しており、前記センサアレイの前記第１及び第２の部分からのイメージを解析して湿気を検出するように作動する処理システムと、
   を備え、
   前記処理システムは、前記センサアレイの前記第１の部分の少なくとも１つの横列であるが全てではない横列からのイメージデータと、前記センサアレイの前記第２の部分の対応する横列からのイメージデータとを読み取り、読み取ったイメージデータを比較し、この比較の結果を記憶した後に、前記センサアレイの前記第１及び第２の部分の別の横列からのイメージデータを読み取ることを特徴とする表面の湿気を検出するシステム。
2. 前記センサアレイの前記第１及び第２の部分は、二次元アレイであることを特徴とする請求項１に記載のシステム。
3. 前記センサアレイの前記第１及び第２の部分は、データを同時に収集することを特徴とする請求項１に記載のシステム。
4. 表面の湿気を検出するシステムであって、
   互いに空間的にオフセットした第１及び第２のセンサアレイと、
   前記表面の同じ部分を前記センサアレイの前記第１及び第２の部分の両方にイメージ形成するように作動する少なくとも１つの光学システムと、
   前記センサアレイと通信しており、前記センサアレイからのイメージを解析して湿気を検出するように作動する処理システムと、
   を備え、
   前記処理システムは、前記第１のセンサアレイの少なくとも１つの横列であるが全てではない横列からのイメージデータと、前記第２のセンサアレイの対応する横列からのイメージデータとを読み取り、読み取ったイメージデータを比較し、この比較の結果を記憶した後に、前記センサアレイの別の横列からのイメージデータを読み取ることを特徴とする表面の湿気を検出するシステム。
5. 前記処理システムは、前記イメージ・センサアレイからの前記イメージのエッジを検出するように構成されることを特徴とする請求項４に記載のシステム。
6. 前記第１及び第２のセンサアレイは、二次元アレイであることを特徴とする請求項４に記載のシステム。
7. 前記第１及び第２のセンサアレイは、２つの別個のイメージ・センサの一部であることを特徴とする請求項４に記載のシステム。
8. 前記第１及び第２のセンサアレイは、同じイメージ・センサの２つの異なる部分であることを特徴とする請求項４に記載のシステム。
9. 前記第１及び第２のセンサアレイは、互いに垂直にオフセットしていることを特徴とする請求項４に記載のシステム。
10. バックミラー組立体を更に含み、前記第１及び第２のセンサアレイは、前記バックミラー組立体上に支持されることを特徴とする請求項４に記載のシステム。
11. 前記第１及び第２のセンサアレイは、互いに垂直にオフセットしていることを特徴とする請求項１に記載のシステム。
12. バックミラー組立体を更に含み、前記イメージ・センサアレイは、前記バックミラー組立体上に支持されることを特徴とする請求項１に記載のシステム。
13. バックミラー組立体を更に含み、前記処理回路の少なくとも一部は前記バックミラー組立体上に支持されることを特徴とする請求項１に記載のシステム。

Images