JP5995140B2 - 撮像装置及びこれを備えた車両システム並びに画像処理方法 - Google Patents

Description

本発明は、１種類又は２種類以上の偏光フィルタ部や色分解フィルタ部を周期的に配列した光学フィルタを通じて撮像領域からの光を受光素子アレイで受光し、これにより得た画像信号に基づく撮像画像を出力する撮像装置及びこれを備えた車両システム並びに画像処理方法に関するものである。

この種の撮像装置は、車両、船舶、航空機あるいは産業用ロボットなどの移動体の移動制御を行う移動体制御装置や、移動体の運転者に有益な情報を提供する情報提供装置などの物体識別処理に広く利用されている。具体例を挙げると、例えば、車両の運転者（ドライバー）の運転負荷を軽減させるための、ＡＣＣ（Adaptive Cruise Control）等の運転者支援システムに利用されるものが知られている。このような車両走行支援システムにおいては、自車が障害物等に衝突することを回避したり衝突時の衝撃を軽減したりするための自動ブレーキ機能や警報機能、先行車との車間距離を維持するための自車速度調整機能、自車が走行している走行レーンからの逸脱防止を支援する機能などの様々な機能を実現する。そのためには、自車両の周囲を撮像した撮像画像を解析して、自車両周囲の状況を示す様々な情報をできるだけ正確に得ることが重要である。自車両周囲の状況を示す情報としては、例えば、自車両周囲に存在する障害物、他車両、車線（白線やボッツドッツ等）、マンホール蓋などの路面構成物、ガードレールなどの路端構造物などの各種物体の位置情報、路面が乾燥状態か湿潤状態かを示す路面乾湿情報、日向部分か影部分かを示す日照情報などが挙げられる。

一般的な撮像装置は、撮像領域からの光の強さ（輝度情報）を検出し、この輝度情報に基づいて撮像画像を得るというものである。一方、近年、撮像領域内に存在する物体の形状や材質、表面状態などの検出（センシング）のために偏光情報を反映した撮像画像（偏光情報画像）を得ることができる撮像装置が注目されている。この撮像装置は、特定偏光した光または非偏光の自然光が照射された物体からの反射光（鏡面反射光または拡散反射光）が、その物体の表面の向きやその物体に対する撮像位置などの幾何学的要因や物体の表面材質などによって種々の部分偏光を呈することを利用する。このような撮像装置によれば、撮像領域内の物体からの反射光に含まれる互いに偏光方向が異なっている複数の偏光成分についての２次元分布を取得することができる。そして、撮像領域内の物体からの光に含まれる偏光成分間の大きさの違いを比較することで、輝度情報だけでは取得することが困難な物体位置情報、路面乾湿情報、日照情報などを、より高い精度で得ることが可能となる。

特許文献１には、垂直偏光成分のみ透過する偏光フィルタを介して撮像する撮像素子と、水平偏光成分のみ透過する偏光フィルタを介して撮像する撮像素子とを並列配置させた撮像装置が開示されている。この撮像装置では、前者の撮像素子から、撮像領域内の物体からの反射光に含まれる垂直偏光成分の２次元強度分布を表現した垂直偏光画像の画像信号が出力され、後者の撮像素子から、撮像領域内の物体からの反射光に含まれる水平偏光成分の２次元強度分布を表現した水平偏光画像の画像信号が出力される。この撮像装置では、これらの垂直偏光画像及び水平偏光画像の画像信号について、視差による位置ズレを補正した後、画素ごとに水平偏光強度に対する垂直偏光強度の比率を示す偏光比（指標値）を算出し、その偏光比を画素値とした偏光比画像（指標値画像）を得ることができる。

上記特許文献１に記載の撮像装置が撮像する偏光比画像を解析することで、物体位置情報などの上述した各種情報を得ることが可能である。また、このような偏光比画像だけでなく、撮像領域内の各地点からの光に含まれる偏光成分間の大きさの違いを示す指標値に基づく画素値をもった指標値画像、例えば、これらの偏光成分間の差分値や、これらの偏光成分の合計値に対するこれらの偏光成分の差分値の比率を示す差分偏光度などを指標値としたものも、同様である。

このような指標値画像を解析して撮像領域内の様々な情報を高い精度で得るには、一般に、その指標値画像のコントラスト（言い換えると、指標値の分解能）が重要となる。しかしながら、従来の指標値画像は、偏光フィルタの透過率特性によって十分なコントラストを得ることができず、撮像領域内の様々な情報を正確に得るには、画像解析精度が不十分であるという不具合があった。以下、この不具合について、垂直偏光成分及び水平偏光成分の合計値に対するこれらの偏光成分の差分値の比率を示す差分偏光度を指標値とする場合を例に挙げて、具体的に説明する。

一般に、垂直偏光成分（以下、適宜「Ｐ偏光成分」という。）を透過させる垂直偏光フィルタ（以下、適宜「Ｐ偏光フィルタ」という。）は、その透過率特性が高性能のものであっても、入射する光の垂直偏光成分を１００％透過させることはできず、また、入射する光の水平偏光成分（以下、適宜「Ｓ偏光成分」という。）を１００％カットできるわけではない。水平偏光成分を透過させる水平偏光フィルタ（以下、適宜「Ｓ偏光フィルタ」という。）についても同様である。下記の表１に、実際のＳ偏光フィルタ及びＰ偏光フィルタの透過率特性を示す具体例を示す。この具体例は、Ｓ偏光フィルタ及びＰ偏光フィルタのそれぞれに、Ｓ偏光成分のみからなる光（１００％Ｓ偏光）とＰ偏光成分のみからなる光（１００％Ｐ偏光）を入射させたときの透過率を測定したものである。なお、下記の表１中の括弧内の数値は、各フィルタが理想の透過率特性を有する場合の透過率を示したものである。

上記表１中の括弧書きで示したように、Ｐ偏光フィルタは、Ｐ偏光成分の透過率が１００％で、かつ、Ｓ偏光成分の透過率が０％であることが理想である。しかしながら、実際には、Ｐ偏光成分の透過率が７８％であるので、Ｐ偏光成分をロス無く透過させることはできない。また、Ｓ偏光成分の透過率が３２％であるので、Ｓ偏光成分を１００％カットすることはできていない。Ｓ偏光フィルタについても同様である。

上記表１に示す透過率特性を有するＰ偏光フィルタ及びＳ偏光フィルタを用い、差分偏光度に基づく画素値をもった差分偏光度画像（指標値画像）を得る撮像装置において、撮像素子（受光素子）の有効受光量の最大値に相当する光強度をもった１００％Ｐ偏光及び１００％Ｓ偏光をそれぞれ入射させたとき、撮像素子が出力する画像信号の信号値は、下記の表２に示すとおりである。なお、信号値は、１０ｂｉｔデータであり、有効受光量の最小値は０であり、有効受光量の最大値は１０２３である。また、下記の表２中の括弧内の数値は、各フィルタが理想の透過率特性を有する場合に出力される画像信号の信号値を示したものである。

Ｐ偏光フィルタを介して１００％Ｐ偏光を受光した撮像素子から出力される信号値を見たとき、理想の信号値は１０２３であるが、Ｐ偏光フィルタのＰ偏光透過率は上記表１に示したように７８％であるため、その信号値は７９７となる。同様に、Ｐ偏光フィルタを介して１００％Ｓ偏光を受光した撮像素子から出力される信号値は、理想では０であるが、Ｐ偏光フィルタのＳ偏光透過率によって３２７となる。また、Ｓ偏光フィルタを介して１００％Ｐ偏光を受光した撮像素子から出力される信号値は、理想では０であるが、Ｓ偏光フィルタのＰ偏光透過率によって１７３となる。また、Ｓ偏光フィルタを介して１００％Ｓ偏光を受光した撮像素子から出力される信号値は、理想では１０２３であるが、Ｓ偏光フィルタのＳ偏光透過率によって６５４となる。

下記の表３は、上記表２に示した信号値から、１００％Ｐ偏光が入射した場合と１００％Ｓ偏光が入射した場合について、それぞれ、Ｐ偏光フィルタを介した画像信号の信号値ＰとＳ偏光フィルタを介した画像信号の信号値Ｓとの合計値（Ｐ＋Ｓ）と、信号値Ｐから信号値Ｓを差し引いた差分値（Ｐ−Ｓ）とを計算した結果を示したものである。合計値（Ｐ＋Ｓ）は、原理的には１０２３を超える値を取らない。これは、どんなに強い光が入射しても、そのＰ偏光成分とＳ偏光成分とを合わせて１００％を超えることがあり得ないためである。下記の表３に示すように、１００％Ｐ偏光が入射した場合の合計値（Ｐ＋Ｓ）は１０２３を超える値をとることになるので、ここでは１０２３に丸めて考える。なお、下記の表３中の括弧内の数値は、各フィルタが理想の透過率特性を有する場合の合計値（Ｐ＋Ｓ）又は差分値（Ｐ−Ｓ）を示したものである。

下記の表４は、上記表３に示した合計値（Ｐ＋Ｓ）及び差分値（Ｐ−Ｓ）から算出される差分偏光度を示したものである。なお、下記の表４中の括弧内の数値は、各フィルタが理想の透過率特性を有する場合の差分偏光度を示したものである。

差分偏光度は、各フィルタが理想の透過率特性を有する場合には、−１以上＋１以下の範囲の値を取る指標値である。しかしながら、実際のフィルタは、そのような理想の透過率特性を有するものではなく、上記表１に示したような透過率特性を有するものである。そのため、上記表１に示した透過率特性を有する実際のフィルタを用いた場合、その差分偏光度が取り得る範囲は、上記表４より、−０．５８以上＋０．４６以下の範囲となり、理想よりも狭い範囲となってしまう。

１０ｂｉｔの画素値で構成される１０２４階調の差分偏光度画像を生成する場合、差分偏光度（−１以上１以下の範囲）を、差分偏光度画像の画素値（０以上１０２３以下の範囲）にスケーリングすることになる。このとき、差分偏光度が取り得る範囲が上述したように−０．５８以上＋０．４６以下の範囲である場合には、差分偏光度画像の画素値が取り得る範囲は、２１５以上７４７以下の範囲となり、５３３階調の差分偏光度画像しか生成できず、差分偏光度画像のコントラストは低いものとなる。

このように差分偏光度画像のコントラストが低くて画像解析精度が不十分となる不具合に対しては、次のような解決方法が考えられる。
撮像領域を撮像して得た１フレーム分の差分偏光度画像について、その差分偏光度画像に含まれる画素値の数値範囲を、差分偏光度画像の画素値が取り得る最大範囲（０以上１０２３以下の範囲）まで拡大する処理を行う方法が考えられる。この方法では、１フレーム分の差分偏光度画像に含まれる画素値の数値範囲を特定して、これを差分偏光度画像の画素値が取り得る最大範囲（理想指標位置範囲）まで拡大するための拡大倍率を算出し、その拡大倍率を用いて画素値の数値範囲を拡大する。これにより、その拡大処理により修正された後の画素値の範囲は、理想指標値範囲を超えない限度において、修正前の画素値範囲よりも拡大される。よって、修正後の画素値をもった差分偏光度画像は、その修正前の画素値をもった差分偏光度画像よりも高いコントラストを有するものとなる。

ところが、修正前の画素値範囲がどのような範囲であっても、常に、その画素値範囲を差分偏光度画像の画素値が取り得る最大範囲まで拡大するための拡大倍率を算出し、その拡大倍率で拡大処理を行うと、次のような問題が発生する。
修正前の画素値が取り得る範囲は、上述したように、フィルタが有する透過率特性によって、その透過率特性から求まる所定範囲（実効指標値範囲）に制限される（上記表４の例では、２１５以上７４７以下の実効範囲に制限される。）。したがって、最低でもこの実効範囲（２１５〜７４７）を理想範囲（０〜１０２３）まで拡大するための実効拡大倍率を用いて拡大処理すれば、実効範囲内の適切な画素値（修正前の画素値）が拡大処理後に理想範囲から外れる画素値（修正後の画素値）となることはなく、過剰な拡大処理がなされることはない。よって、原理的には、最低でも、フィルタの透過率特性から計算される実効範囲（２１５〜７４７）に対応した実効拡大倍率を用いれば、過剰な拡大処理がなされることなく、差分偏光度画像のコントラストを高めることができる。

しかしながら、実際には、画像信号がノイズを含むなどの理由により、実効範囲（２１５〜７４７）から外れた画素値（修正前の画素値）が算出される場合がある。この場合、修正前の画素値範囲に基づいて算出される拡大倍率は、実効拡大倍率よりも低い値となる。その結果、原理的には、最低でも実効拡大倍率以上の倍率で拡大処理できるにもかかわらず、実効範囲から外れた不適切な修正前指標値の存在によって拡大倍率が抑制されてしまう。これにより、実効範囲内に含まれる適切な画素値（修正前の画素値）の拡大処理が不十分となって、高いコントラストの指標値画像を得ることができないという問題が発生する。

本発明は、上記問題に鑑みなされたものであり、その目的とするところは、撮像領域内の各地点からの光に含まれる互いに異なった複数の光学成分の大きさの違いを示す指標値に基づく画素値をもった指標値画像を出力するにあたり、原理的には算出されるはずのない不適切な指標値が存在する場合でも、高いコントラストの指標値画像を得ることができる撮像装置及びこれを備えた車両システム並びに画像処理方法を提供することである。

上記目的を達成するために、本発明は、互いに異なる光学成分を選択的に透過させる複数種類の選択フィルタ領域を周期的に配列した光学フィルタ、又は、特定の光学成分を選択的に透過させる１種類又は２種類以上の選択フィルタ領域及び入射光をそのまま透過させる非選択フィルタ領域を周期的に配列した光学フィルタを通じて、撮像領域内の各地点からの光を受光し、該光学フィルタ上のフィルタ領域ごとの受光量に応じた画像信号を出力する撮像手段と、上記撮像手段から出力された画像信号に基づき、撮像領域内の各地点からの光に含まれる互いに異なった複数の光学成分の大きさの違いを示す指標値に基づく画素値をもった指標値画像を出力する画像処理手段とを有する撮像装置において、上記画像処理手段は、上記撮像手段から出力される一の指標値画像に対応した画像信号に基づいて算出される指標値の数値範囲である修正前指標値範囲を特定し、上記光学フィルタ上におけるフィルタ領域が理想の透過率特性を有するとした場合に指標値が取り得る最大の理想指標値範囲又はその近傍まで該修正前指標値範囲を拡大するための拡大倍率を算出する倍率算出手段と、上記倍率算出手段が算出した拡大倍率を用いて、当該画像処理手段が出力する一の指標値画像の画素値として用いられる指標値を修正し、修正後の指標値の範囲が上記理想指標値範囲又はその近傍の範囲となるように拡大処理を行う拡大処理手段と、上記光学フィルタ上におけるフィルタ領域が有している透過率特性から計算される、修正前指標値が取り得る最大の実効指標値範囲を、上記理想指標値範囲又はその近傍まで拡大するための実効拡大倍率を記憶する実効倍率記憶手段とを有し、上記拡大処理手段は、上記倍率算出手段が算出した拡大倍率が上記実効倍率記憶手段に記憶されている実効拡大倍率よりも小さい場合には、該実効倍率記憶手段に記憶されている実効拡大倍率を用いて、上記拡大処理を行うことを特徴とする。

本発明においては、上記倍率算出手段が修正前指標値範囲に基づいて算出する拡大倍率を用いて、上記拡大処理手段がその修正前指標値範囲を理想指標値範囲又はその近傍まで拡大する拡大処理を行う。これにより、その拡大処理により修正された後の指標値範囲は、理想指標値範囲を超えない限度において、修正前指標値範囲よりも拡大される。よって、修正後指標値に基づく画素値をもった指標値画像は、その修正前の指標値に基づく画素値をもった指標値画像よりも高いコントラストを有するものとなる。ただし、本発明では、光学フィルタのフィルタ領域が有する透過率特性から計算される実効拡大倍率を予め実効倍率記憶手段に記憶しておき、倍率算出手段が算出した拡大倍率が実効拡大倍率よりも小さい場合には、実効拡大倍率を用いて拡大処理を行う。これにより、実効指標値範囲から外れた不適切な修正前指標値の存在によって拡大倍率が制限されることはなくなり、高いコントラストの指標値画像を得ることが可能となる。
なお、実効拡大倍率を用いて拡大処理された後の修正後指標値のうち、理想指標値範囲を超えた値については、当該理想指標値範囲の上限値や下限値に丸めたり、エラー値に変換したりすることで、後段の処理で適切に取り扱うことができる。

以上、本発明によれば、不適切な指標値が存在する場合でも、高いコントラストをもった指標値画像を得ることができるという優れた効果が得られる。

実施形態における車載機器制御システムの概略構成を示す模式図である。 同車載機器制御システムにおける撮像ユニットの概略構成を示す模式図である。 同撮像ユニットに設けられる撮像部の概略構成を示す説明図である。 雨滴検出用の撮像画像データに適用可能なカットフィルタのフィルタ特性を示すグラフである。 雨滴検出用の撮像画像データに適用可能なバンドパスフィルタのフィルタ特性を示すグラフである。 同撮像部の光学フィルタに設けられる前段フィルタの正面図である。 同撮像部の撮像画像データの画像例を示す説明図である。 同撮像部の光学フィルタと画像センサとを光透過方向に対して直交する方向から見たときの模式拡大図である。 同光学フィルタの偏光フィルタ層と分光フィルタ層の領域分割パターンを示す説明図である。 構成例１における光学フィルタの層構成を模式的に示す断面図である。 同光学フィルタの車両検出用フィルタ部を透過して画像センサ上の各フォトダイオードで受光される受光量に対応した情報（各撮像画素の情報）の内容を示す説明図である。 （ａ）は、図１１に示す符号Ａ−Ａで切断した光学フィルタの車両検出用フィルタ部及び画像センサを模式的に表した断面図である。（ｂ）は、図１１に示す符号Ｂ−Ｂで切断した光学フィルタの車両検出用フィルタ部及び画像センサを模式的に表した断面図である。 実施形態における車両検出処理の流れを示すフローチャートである。 画像解析ユニットの概要を示す機能ブロック図である。 ダイナミックレンジ拡大処理部の概要を示す機能ブロック図である。 修正前の差分偏光度画像の画素値のヒストグラムの一例を示す説明図である。 同ダイナミックレンジ拡大処理部の拡大処理実行部におけるダイナミックレンジ拡大処理の流れを示すフローチャートである。 変形例１におけるダイナミックレンジ拡大処理部の概要を示す機能ブロック図である。 ＣＰＵでダイナミックレンジ拡大処理を行う場合とＢＲＡＭを用いて同拡大処理を行う場合とでＣＰＵ使用頻度を比較した説明図である。 同ダイナミックレンジ拡大処理部の拡大前処理部における前処理の流れを示すフローチャートである。 同ダイナミックレンジ拡大処理部の画素値変換部における処理の流れを示すフローチャートである。 変形例１におけるＢＲＡＭの概要構成を示す説明図である。 同ＢＲＡＭの処理動作の流れを示すフローチャートである。 （ａ）〜（ｅ）は、実際の撮像により得られる差分偏光度画像（修正前）の画素値のヒストグラムが取り得る形状例を示す説明図である。 変形例２におけるダイナミックレンジ拡大処理部の概要を示す機能ブロック図である。 同ダイナミックレンジ拡大処理部における拡大倍率算出可否判定部及び拡大処理係数算出部で行うダイナミックレンジ拡大処理の流れを示すフローチャートである。 （ａ）は、ダイナミックレンジ拡大処理を行っていない差分偏光度画像とその画素値のヒストグラムを示す説明図である。（ｂ）は、ダイナミックレンジ拡大処理を行った差分偏光度画像とその画素値のヒストグラムを示す説明図である。 ダイナミックレンジ拡大処理を撮像ユニット内で処理する場合の信号処理部の一構成例を示すブロック図である。 ダイナミックレンジ拡大処理を撮像ユニット内で処理する場合の信号処理部の他の構成例を示すブロック図である。

以下、本発明に係る撮像装置を、車両システムとしての車載機器制御システムに用いる一実施形態について説明する。
なお、本発明に係る撮像装置は、車載機器制御システムに限らず、例えば、撮像画像に基づいて物体検出を行う物体検出装置を搭載したその他のシステムにも適用できる。

図１は、本実施形態における車載機器制御システムの概略構成を示す模式図である。
本車載機器制御システムは、自動車などの自車両１００に搭載された撮像手段としての撮像ユニットで撮像した自車両進行方向前方領域（撮像領域）の撮像画像データを利用して、ヘッドランプの配光制御、ワイパーの駆動制御、その他の車載機器の制御を行うものである。

本実施形態の車載機器制御システムに設けられる撮像装置は、撮像ユニット１０１に設けられており、走行する自車両１００の進行方向前方領域を撮像領域として撮像するものであり、その撮像部は、例えば、自車両１００のフロントガラス１０５のルームミラー（図示せず）付近に設置される。撮像ユニット１０１の撮像部で撮像された撮像画像データは、画像処理手段としての画像解析ユニット１０２に入力される。画像解析ユニット１０２は、撮像部から送信されてくる撮像画像データを解析し、撮像画像データに自車両１００の前方に存在する他車両の位置、方角、距離を算出したり、フロントガラス１０５に付着する雨滴や異物などの付着物を検出したり、撮像領域内に存在する路端箇所や路面上の白線（区画線）等の検出対象物を検出したりする。他車両の検出では、他車両のテールランプを識別することで自車両１００と同じ進行方向へ進行する先行車両を検出し、他車両のヘッドランプを識別することで自車両１００とは反対方向へ進行する対向車両を検出する。

画像解析ユニット１０２の算出結果は、ヘッドランプ制御ユニット１０３に送られる。ヘッドランプ制御ユニット１０３は、例えば、画像解析ユニット１０２が算出した距離データから、自車両１００の車載機器であるヘッドランプ１０４を制御する制御信号を生成する。具体的には、例えば、先行車両や対向車両の運転者の目に自車両１００のヘッドランプの強い光が入射するのを避けて他車両の運転者の幻惑防止を行いつつ、自車両１００の運転者の視界確保を実現できるように、ヘッドランプ１０４のハイビームおよびロービームの切り替えを制御したり、ヘッドランプ１０４の部分的な遮光制御を行ったりする。

画像解析ユニット１０２の算出結果は、ワイパー制御ユニット１０６にも送られる。ワイパー制御ユニット１０６は、ワイパー１０７を制御して、自車両１００のフロントガラス１０５に付着した雨滴や異物などの付着物を除去する。ワイパー制御ユニット１０６は、画像解析ユニット１０２が検出した異物検出結果を受けて、ワイパー１０７を制御する制御信号を生成する。ワイパー制御ユニット１０６により生成された制御信号がワイパー１０７に送られると、自車両１００の運転者の視界を確保するべく、ワイパー１０７を稼動させる。

また、画像解析ユニット１０２の算出結果は、車両走行制御ユニット１０８にも送られる。車両走行制御ユニット１０８は、画像解析ユニット１０２が検出した路端や白線の検出結果に基づいて、白線や路端によって区画されている車線領域から自車両１００が外れている場合等に、自車両１００の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。

図２は、撮像ユニット１０１の概略構成を示す模式図である。
図３は、撮像ユニット１０１に設けられる撮像部２００の概略構成を示す説明図である。
撮像ユニット１０１は、撮像部２００と、光源２０２と、これらを収容する撮像ケース２０１とから構成されている。撮像ユニット１０１は自車両１００のフロントガラス１０５の内壁面側に設置される。撮像部２００は、図３に示すように、主に、撮像レンズ２０４と、光学フィルタ２０５と、２次元配置された画素アレイを有する画像センサ２０６を含んだセンサ基板２０７と、センサ基板２０７から出力されるアナログ電気信号（画像センサ２０６上の各受光素子が受光した受光量）をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部２０８とから構成されている。光源２０２は、フロントガラス１０５に向けて光を照射し、その光がフロントガラス１０５の外壁面で反射したときにその反射光が撮像部２００へ入射するように配置されている。

本実施形態において、光源２０２は、フロントガラス１０５の外壁面に付着した付着物（以下、付着物が雨滴である場合を例に挙げて説明する。）を検出するためのものである。フロントガラス１０５の外壁面に雨滴２０３が付着していない場合、光源２０２から照射された光は、フロントガラス１０５の外壁面と外気との界面で反射し、その反射光が撮像部２００へ入射する。一方、図２に示すように、フロントガラス１０５の外壁面に雨滴２０３が付着している場合、フロントガラス１０５の外壁面と雨滴２０３との間における屈折率差は、フロントガラス１０５の外壁面と外気との間の屈折率差よりも小さくなる。そのため、光源２０２から照射された光は、その界面を透過し、撮像部２００には入射しない。この違いによって、撮像部２００の撮像画像データから、フロントガラス１０５に付着する雨滴２０３の検出を行う。

また、本実施形態において、撮像ユニット１０１は、図２に示すとおり、撮像部２００や光源２０２を、フロントガラス１０５とともに撮像ケース２０１で覆っている。このように撮像ケース２０１で覆うことにより、フロントガラス１０５の内壁面が曇るような状況であっても、撮像ユニット１０１で覆われたフロントガラス１０５が曇ってしまう事態を抑制できる。よって、フロントガラスの曇りによって画像解析ユニット１０２が誤解析するような事態を抑制でき、画像解析ユニット１０２の解析結果に基づく各種制御動作を適切に行うことができる。

ただし、フロントガラス１０５の曇りを撮像部２００の撮像画像データから検出して、例えば自車両１００の空調設備を制御する場合には、撮像部２００に対向するフロントガラス１０５の部分が他の部分と同じ状況となるように、撮像ケース２０１の一部に空気の流れる通路を形成してもよい。

ここで、本実施形態では、撮像レンズ２０４の焦点位置は、無限遠又は無限遠とフロントガラス１０５との間に設定している。これにより、フロントガラス１０５上に付着した雨滴２０３の検出を行う場合だけでなく、先行車両や対向車両の検出や白線の検出を行う場合にも、撮像部２００の撮像画像データから適切な情報を取得することができる。

例えば、フロントガラス１０５上に付着した雨滴２０３の検出を行う場合、撮像画像データ上の雨滴画像の形状は円形状であることが多いので、撮像画像データ上の雨滴候補画像が円形状であるかどうかを判断してその雨滴候補画像が雨滴画像であると識別する形状認識処理を行う。このような形状認識処理を行う場合、フロントガラス１０５の外壁面上の雨滴２０３に撮像レンズ２０４の焦点が合っているよりも、上述したように無限遠又は無限遠とフロントガラス１０５との間に焦点が合っている方が、多少ピンボケして、雨滴の形状認識率（円形状）が高くなり、雨滴検出性能が高い。

ただし、無限遠に焦点が合っている場合、遠方を走行する先行車両のテールランプを識別する際に、画像センサ２０６上のテールランプの光を受光する受光素子が１個程度になることがある。この場合、詳しくは後述するが、テールランプの光がテールランプ色（赤色）を受光する赤色用受光素子に受光されないおそれがあり、その際にはテールランプを認識できず、先行車両の検出ができない。このような不具合を回避しようとする場合には、撮像レンズ２０４の焦点を無限遠よりも手前に合わせることが好ましい。これにより、遠方を走行する先行車両のテールランプがピンボケするので、テールランプの光を受光する受光素子の数を増やすことができ、テールランプの認識精度が上がり先行車両の検出精度が向上する。

撮像ユニット１０１の光源２０２には、発光ダイオード（ＬＥＤ）や半導体レーザ（ＬＤ）などを用いることができる。また、光源２０２の発光波長は、例えば可視光や赤外光を用いることができる。ただし、光源２０２の光で対向車両の運転者や歩行者等を眩惑するのを回避する場合には、可視光よりも波長が長くて画像センサ２０６の受光感度がおよぶ範囲の波長、例えば８００ｎｍ以上１０００ｎｍ以下の赤外光領域の波長を選択するのが好ましい。本実施形態の光源２０２は、赤外光領域の波長を有する光を照射するものである。

ここで、フロントガラス１０５で反射した光源２０２からの赤外波長光を撮像部２００で撮像する際、撮像部２００の画像センサ２０６では、光源２０２からの赤外波長光のほか、例えば太陽光などの赤外波長光を含む大光量の外乱光も受光される。よって、光源２０２からの赤外波長光をこのような大光量の外乱光と区別するためには、光源２０２の発光量を外乱光よりも十分に大きくする必要があるが、このような大発光量の光源２０２を用いることは困難である場合が多い。

そこで、本実施形態においては、例えば、図４に示すように光源２０２の発光波長よりも短い波長の光をカットするようなカットフィルタか、もしくは、図５に示すように透過率のピークが光源２０２の発光波長とほぼ一致したバンドパスフィルタを介して、光源２０２からの光を画像センサ２０６で受光するように構成する。これにより、光源２０２の発光波長以外の光を除去して受光できるので、画像センサ２０６で受光される光源２０２からの光量は、外乱光に対して相対的に大きくなる。その結果、大発光量の光源２０２でなくても、光源２０２からの光を外乱交と区別することが可能となる。

ただし、本実施形態においては、撮像画像データから、フロントガラス１０５上の雨滴２０３を検出するだけでなく、先行車両や対向車両の検出や白線の検出も行う。そのため、撮像画像全体について光源２０２が照射する赤外波長光以外の波長帯を除去してしまうと、先行車両や対向車両の検出や白線の検出に必要な波長帯の光を画像センサ２０６で受光できず、これらの検出に支障をきたす。そこで、本実施形態では、撮像画像データの画像領域を、フロントガラス１０５上の雨滴２０３を検出するための雨滴検出用画像領域と、先行車両や対向車両の検出や白線の検出を行うための車両検出用画像領域とに区分し、雨滴検出用画像領域に対応する部分についてのみ光源２０２が照射する赤外波長光以外の波長帯を除去するフィルタを、光学フィルタ２０５に配置している。

図６は、光学フィルタ２０５に設けられる前段フィルタ２１０の正面図である。
図７は、撮像画像データの画像例を示す説明図である。
本実施形態の光学フィルタ２０５は、図３に示したように、前段フィルタ２１０と後段フィルタ２２０とを光透過方向に重ね合わせた構造となっている。前段フィルタ２１０は、図６に示すように、車両検出用画像領域２１３である撮像画像上部２／３に対応する箇所に配置される赤外光カットフィルタ領域２１１と、雨滴検出用画像領域２１４である撮像画像下部１／３に対応する箇所に配置される赤外光透過フィルタ領域２１２とに、領域分割されている。赤外光透過フィルタ領域２１２には、図４に示したカットフィルタや図５に示したバンドパスフィルタを用いる。

対向車両のヘッドランプ及び先行車両のテールランプ並びに路端や白線の画像は、主に撮像画像上部に存在することが多く、撮像画像下部には自車両前方の直近路面の画像が存在するのが通常である。よって、対向車両のヘッドランプ及び先行車両のテールランプ並びに路端や白線の識別に必要な情報は撮像画像上部に集中しており、その識別において撮像画像下部の情報はあまり重要でない。よって、単一の撮像画像データから、対向車両や先行車両あるいは路端や白線の検出と雨滴の検出とを両立して行う場合には、図７に示すように、撮像画像下部を雨滴検出用画像領域２１４とし、残りの撮像画像上部を車両検出用画像領域２１３とし、これに対応して前段フィルタ２１０を領域分割するのが好適である。

撮像部２００の撮像方向を下方へ傾けていくと、撮像領域内の下部に自車両のボンネットが入り込んでくる場合がある。この場合、自車両のボンネットで反射した太陽光や先行車両のテールランプなどが外乱光となり、これが撮像画像データに含まれることで対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の誤識別の原因となる。このような場合でも、本実施形態では、撮像画像下部に対応する箇所に図４に示したカットフィルタや図５に示したバンドパスフィルタが配置されているので、ボンネットで反射した太陽光や先行車両のテールランプなどの外乱光が除去される。よって、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の識別精度が向上する。

ここで、先行車両を検出する際には、撮像画像上のテールランプを識別することで先行車両の検出を行うが、テールランプは対向車両のヘッドランプと比較して光量が少なく、また街灯などの外乱光も多く存在するため、単なる輝度データのみからテールランプを高精度に検出するのは困難である。そのため、テールランプの識別には分光情報を利用し、赤色光の受光量に基づいてテールランプを識別することが必要となる。そこで、本実施形態では、後述するように、光学フィルタ２０５の後段フィルタ２２０に、テールランプの色に合わせた赤色フィルタあるいはシアンフィルタ（テールランプの色の波長帯のみを透過させるフィルタ）を配置し、赤色光の受光量を検知できるようにしている。

ただし、本実施形態の画像センサ２０６を構成する各受光素子は、赤外波長帯の光に対しても感度を有するので、赤外波長帯を含んだ光を画像センサ２０６で受光すると、得られる撮像画像は全体的に赤みを帯びたものとなってしまう。その結果、テールランプに対応する赤色の画像部分を識別することが困難となる場合がある。そこで、本実施形態では、光学フィルタ２０５の前段フィルタ２１０において、車両検出用画像領域２１３に対応する箇所を赤外光カットフィルタ領域２１１としている。これにより、テールランプの識別に用いる撮像画像データ部分から赤外波長帯が除外されるので、テールランプの識別精度が向上する。

図３に示すように、被写体（検出対象物）を含む撮像領域からの光は、撮像レンズ２０４を通り、光学フィルタ２０５を透過して、画像センサ２０６でその光強度に応じた電気信号に変換される。信号処理部２０８では、画像センサ２０６から出力される電気信号（アナログ信号）が入力されると、その電気信号から、撮像画像データとして、画像センサ２０６上における各画素の明るさ（輝度）を示すデジタル信号を、画像の水平・垂直同期信号とともに後段のユニットへ出力する。

図８は、光学フィルタ２０５と画像センサ２０６とを光透過方向に対して直交する方向から見たときの模式拡大図である。
画像センサ２０６は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などを用いたイメージセンサであり、その受光素子にはフォトダイオード２０６Ａを用いている。フォトダイオード２０６Ａは、画素ごとに２次元的にアレイ配置されており、フォトダイオード２０６Ａの集光効率を上げるために、各フォトダイオード２０６Ａの入射側にはマイクロレンズ２０６Ｂが設けられている。この画像センサ２０６がワイヤボンディングなどの手法によりＰＷＢ（printed wiring board）に接合されてセンサ基板２０７が形成されている。

画像センサ２０６のマイクロレンズ２０６Ｂ側の面には、光学フィルタ２０５が近接配置されている。光学フィルタ２０５の後段フィルタ２２０は、図８に示すように、透明なフィルタ基板２２１上に偏光フィルタ層２２２と分光フィルタ層２２３を順次形成して積層構造としたものである。偏光フィルタ層２２２と分光フィルタ層２２３は、いずれも、画像センサ２０６上における１つのフォトダイオード２０６Ａに対応するように領域分割されている。

光学フィルタ２０５と画像センサ２０６との間に空隙がある構成としてもよいが、光学フィルタ２０５を画像センサ２０６に密着させる構成とした方が、光学フィルタ２０５の偏光フィルタ層２２２と分光フィルタ層２２３の各領域の境界と画像センサ２０６上のフォトダイオード２０６Ａ間の境界とを一致させやすくなる。光学フィルタ２０５と画像センサ２０６は、例えば、ＵＶ接着剤で接合してもよいし、撮像に用いる有効画素範囲外でスペーサにより支持した状態で有効画素外の四辺領域をＵＶ接着や熱圧着してもよい。

図９は、本実施形態に係る光学フィルタ２０５の偏光フィルタ層２２２と分光フィルタ層２２３の領域分割パターンを示す説明図である。
偏光フィルタ層２２２と分光フィルタ層２２３は、それぞれ、第１領域及び第２領域という２種類の領域が、画像センサ２０６上の１つのフォトダイオード２０６Ａに対応して配置されたものである。これにより、画像センサ２０６上の各フォトダイオード２０６Ａによって受光される受光量は、受光する光が透過した偏光フィルタ層２２２と分光フィルタ層２２３の領域の種類に応じて、偏光情報や分光情報等として取得することができる。

なお、本実施形態では、画像センサ２０６はモノクロ画像用の撮像素子を前提にして説明するが、画像センサ２０６をカラー用撮像素子で構成してもよい。カラー用撮像素子で構成する場合、カラー用撮像素子の各撮像画素に付属するカラーフィルタの特性に応じて、偏光フィルタ層２２２と分光フィルタ層２２３の各領域の光透過特性を調整してやればよい。

ここで、本実施形態における光学フィルタ２０５の一例について説明する。
図１０は、本実施形態における光学フィルタ２０５の層構成を模式的に示す断面図である。
本実施形態における光学フィルタ２０５の後段フィルタ２２０は、車両検出用画像領域２１３に対応する車両検出用フィルタ部２２０Ａと、雨滴検出用画像領域２１４に対応する雨滴検出用フィルタ部２２０Ｂとで、その層構成が異なっている。具体的には、車両検出用フィルタ部２２０Ａは分光フィルタ層２２３を備えているのに対し、雨滴検出用フィルタ部２２０Ｂは分光フィルタ層２２３を備えていない。また、車両検出用フィルタ部２２０Ａと雨滴検出用フィルタ部２２０Ｂとでは、その偏光フィルタ層２２２，２２５の構成が異なっている。

図１１は、本実施形態における光学フィルタ２０５の車両検出用フィルタ部２２０Ａを透過して画像センサ２０６上の各フォトダイオード２０６Ａで受光される受光量に対応した情報（各撮像画素の情報）の内容を示す説明図である。
図１２（ａ）は、図１１に示す符号Ａ−Ａで切断した光学フィルタ２０５の車両検出用フィルタ部２２０Ａ及び画像センサ２０６を模式的に表した断面図である。
図１２（ｂ）は、図１１に示す符号Ｂ−Ｂで切断した光学フィルタ２０５の車両検出用フィルタ部２２０Ａ及び画像センサ２０６を模式的に表した断面図である。

本実施形態における光学フィルタ２０５の車両検出用フィルタ部２２０Ａは、図１２（ａ）及び（ｂ）に示すように、透明なフィルタ基板２２１の上に偏光フィルタ層２２２を形成した後、その上に分光フィルタ層２２３を形成して積層構造としたものである。そして、偏光フィルタ層２２２は、ワイヤーグリッド構造を有するものであり、その積層方向上面（図１２中下側面）は凹凸面となる。このような凹凸面上にそのまま分光フィルタ層２２３を形成しようとすると、分光フィルタ層２２３がその凹凸面に沿って形成され、分光フィルタ層２２３の層厚ムラが生じて本来の分光性能が得られない場合がある。そこで、本実施形態の光学フィルタ２０５は、偏光フィルタ層２２２の積層方向上面側を充填材で充填して平坦化した後、その上に分光フィルタ層２２３を形成している。

充填材としては、この充填材によって凹凸面が平坦化される偏光フィルタ層２２２の機能を妨げない材料であればよいので、本実施形態では偏光機能を有しない材料のものを用いる。また、充填材による平坦化処理は、例えば、スピンオングラス法によって充填材を塗布する方法が好適に採用できるが、これに限られるものではない。

本実施形態において、偏光フィルタ層２２２の第１領域は、画像センサ２０６の撮像画素の縦列（鉛直方向）に平行に振動する垂直偏光成分のみを選択して透過させる垂直偏光領域であり、偏光フィルタ層２２２の第２領域は、画像センサ２０６の撮像画素の横列（水平方向）に平行に振動する水平偏光成分のみを選択して透過させる水平偏光領域である。
また、分光フィルタ層２２３の第１領域は、偏光フィルタ層２２２を透過可能な使用波長帯域に含まれる赤色波長帯（特定波長帯）の光のみを選択して透過させる赤色分光領域であり、分光フィルタ層２２３の第２領域は、波長選択を行わずに光を透過させる非分光領域である。そして、本実施形態においては、図１１に一点鎖線で囲ったように、隣接する縦２つ横２つの合計４つの撮像画素（符号ａ、ｂ、ｅ、ｆの４撮像画素）によって撮像画像データの１画像画素が構成される。

図１１に示す撮像画素ａでは、光学フィルタ２０５の偏光フィルタ層２２２における垂直偏光領域（第１領域）と分光フィルタ層２２３の赤色分光領域（第１領域）を透過した光が受光される。したがって、撮像画素ａは、垂直偏光成分（図１１中符号Ｐで示す。）の赤色波長帯（図１１中符号Ｒで示す。）の光Ｐ／Ｒを受光することになる。
また、図１１に示す撮像画素ｂでは、光学フィルタ２０５の偏光フィルタ層２２２における垂直偏光領域（第１領域）と分光フィルタ層２２３の非分光領域（第２領域）を透過した光が受光される。したがって、撮像画素ｂは、垂直偏光成分Ｐにおける非分光（図１１中符号Ｃで示す。）の光Ｐ／Ｃを受光することになる。
また、図１１に示す撮像画素ｅでは、光学フィルタ２０５の偏光フィルタ層２２２における水平偏光領域（第２領域）と分光フィルタ層２２３の非分光領域（第２領域）を透過した光が受光される。したがって、撮像画素ｅは、水平偏光成分（図１１中符号Ｓで示す。）における非分光Ｃの光Ｓ／Ｃを受光することになる。
図１１に示す撮像画素ｆでは、光学フィルタ２０５の偏光フィルタ層２２２における垂直偏光領域（第１領域）と分光フィルタ層２２３の赤色分光領域（第１領域）を透過した光が受光される。したがって、撮像画素ｆは、撮像画素ａと同様、垂直偏光成分Ｐにおける赤色波長帯Ｒの光Ｐ／Ｒを受光することになる。

以上の構成により、本実施形態によれば、撮像画素ａおよび撮像画素ｆの出力信号から赤色光の垂直偏光成分画像についての一画像画素が得られ、撮像画素ｂの出力信号から非分光の垂直偏光成分画像についての一画像画素が得られ、撮像画素ｅの出力信号から非分光の水平偏光成分画像についての一画像画素が得られる。よって、本実施形態によれば、一度の撮像動作により、赤色光の垂直偏光成分画像、非分光の垂直偏光成分画像、非分光の水平偏光成分画像という３種類の撮像画像データを得ることができる。

なお、これらの撮像画像データでは、その画像画素の数が撮像画素数よりも少なくなるが、より高解像度の画像を得る際には一般に知られる画像補間処理を用いてもよい。例えば、より高い解像度である赤色光の垂直偏光成分画像を得ようとする場合、撮像画素ａと撮像画素ｆに対応する画像画素についてはこれらの撮像画素ａ，ｆで受光した赤色光の垂直偏光成分Ｐの情報をそのまま使用し、撮像画素ｂに対応する画像画素については、例えばその周囲を取り囲む撮像画素ａ，ｃ，ｆ，ｊの平均値を当該画像画素の赤色光の垂直偏光成分の情報として使用する。
また、より高い解像度である非分光の水平偏光成分画像を得ようとする場合、撮像画素ｅに対応する画像画素についてはこの撮像画素ｅで受光した非分光の水平偏光成分Ｓの情報をそのまま使用し、撮像画素ａ，ｂ，ｆに対応する画像画素については、その周囲で非分光の水平偏光成分を受光する撮像画素ｅや撮像画素ｇなどの平均値を使用したり、撮像画素ｅと同じ値を使用したりしてもよい。

このようにして得られる赤色光の垂直偏光成分画像は、例えば、テールランプの識別に使用することができる。赤色光の垂直偏光成分画像は、水平偏光成分Ｓがカットされているので、路面に反射した赤色光や自車両１００の室内におけるダッシュボードなどからの赤色光（映りこみ光）等のように水平偏光成分Ｓの強い赤色光による外乱要因が抑制された赤色画像を得ることができる。よって、赤色光の垂直偏光成分画像をテールランプの識別に使用することで、テールランプの認識率が向上する。

また、非分光の垂直偏光成分画像は、例えば、白線や対向車両のヘッドランプの識別に使用することができる。非分光の水平偏光成分画像は、水平偏光成分Ｓがカットされているので、路面に反射したヘッドランプや街灯等の白色光や自車両１００の室内におけるダッシュボードなどからの白色光（映りこみ光）等のように水平偏光成分Ｓの強い白色光による外乱要因が抑制された非分光画像を得ることができる。よって、非分光の垂直偏光成分画像を白線や対向車両のヘッドランプの識別に使用することで、その認識率が向上する。特に、雨路において、路面を覆った水面からの反射光は水平偏光成分Ｓが多いことが一般に知られている。よって、非分光の垂直偏光成分画像を白線の識別に使用することで、雨路における水面下の白線を適切に識別することが可能となり、認識率が向上する。

また、非分光の垂直偏光成分画像と非分光の水平偏光成分画像との間で各画素値を比較した指標値を画素値とした指標値画像を用いれば、後述するように、撮像領域内の金属物体、路面の乾湿状態、撮像領域内の立体物、雨路における白線の高精度な識別が可能となる。ここで用いる指標値画像としては、例えば、非分光の垂直偏光成分画像と非分光の水平偏光成分画像との間の画素値の差分値を画素値とした差分画像、これらの画像間の画素値の比率を画素値とした比率画像（偏光比画像）、あるいは、これらの画像間の画素値の合計に対するこれらの画像間の画素値の差分値の比率（差分偏光度）を画素値とした差分偏光度画像などを使用することができる。

ただし、偏光比画像と差分偏光度画像とを比較すると、前者は、分母にくる偏光成分（例えばＰ偏光成分）がゼロ付近を示す場合には、偏光比は無限大に近づく値となってしまい、正確な値を得ることができない。一方、後者も、分母にくるＰ偏光成分とＳ偏光成分との合計値がゼロ付近を示す場合には、差分偏光度が無限大に近づく値となってしまい、正確な値を得ることができない。両者を比較したとき、後者の方が、分母がゼロ付近の値を取る確率が低く、正確な値を算出できる確率が高い。

また、偏光比画像については、分母にくる偏光成分（例えばＰ偏光成分）がゼロ付近を示す場合には正確な値を算出できないが、分子にくる偏光成分（例えばＳ偏光成分）については、これがゼロ付近を示す場合でも正確な値を算出することが可能である。したがって、分子にくる偏光成分（例えばＳ偏光成分）を検出する場合に好適な指標値画像である。
一方、差分偏光度画像は、分母にくるＰ偏光成分とＳ偏光成分との合計値がゼロ付近を示すのは、Ｐ偏光成分とＳ偏光成分のいずれかがゼロ付近を示す場合である。Ｐ偏光成分がゼロ付近を示す確率とＳ偏光成分がゼロ付近を示す確率は同等なので、差分偏光度画像は、Ｐ偏光成分もＳ偏光成分も平等に検出できる指標値画像であると言える。
本実施形態では、以上の比較から、偏光比画像ではなく差分偏光度画像を指標値画像として用いる。

本実施形態では、前段フィルタ２１０を構成する赤外光カットフィルタ領域２１１と赤外光透過フィルタ領域２１２とが、それぞれ層構成の異なる多層膜によって形成されている。このような前段フィルタ２１０の製造方法としては、赤外光カットフィルタ領域２１１の部分をマスクで隠しながら赤外光透過フィルタ領域２１２の部分を真空蒸着などにより成膜した後、今度は赤外光透過フィルタ領域２１２の部分をマスクで隠しながら赤外光カットフィルタ領域２１１の部分を真空蒸着などにより成膜するという方法が挙げられる。

また、本実施形態において、車両検出用フィルタ部２２０Ａの偏光フィルタ層２２２と、雨滴検出用フィルタ部２２０Ｂの偏光フィルタ層２２５とは、いずれも、２次元方向に領域分割されたワイヤーグリッド構造であるが、前者の偏光フィルタ層２２２は透過軸が互いに直交する２種類の領域（垂直偏光領域及び水平偏光領域）が撮像画素単位で領域分割されたものであり、後者の偏光フィルタ層２２５は垂直偏光成分Ｐのみを透過させる透過軸をもつ１種類の領域が撮像画素単位で領域分割されたものである。このような異なる構成をもつ偏光フィルタ層２２２，２２５を同一のフィルタ基板２２１上に形成する場合、例えば、ワイヤーグリッド構造の金属ワイヤーのパターニングを行うテンプレート（型に相当するもの）の溝方向の調整により、各領域の金属ワイヤーの長手方向の調整は容易である。

なお、本実施形態では、赤外光カットフィルタ領域２１１を光学フィルタ２０５に設けず、例えば、撮像レンズ２０４に赤外光カットフィルタ領域２１１を設けてもよい。この場合、光学フィルタ２０５の作製が容易となる。
また、赤外光カットフィルタ領域２１１に代えて、後段フィルタ２２０の雨滴検出用フィルタ部２２０Ｂに垂直偏光成分Ｐのみを透過させる分光フィルタ層を形成してもよい。この場合、前段フィルタ２１０には赤外光カットフィルタ領域２１１を形成する必要はない。
また、本実施形態の光学フィルタ２０５は、図１１に示したように領域分割された偏光フィルタ層２２２及び分光フィルタ層２２３を有する後段フィルタ２２０が、前段フィルタ２１０よりも画像センサ２０６側に設けられているが、前段フィルタ２１０を後段フィルタ２２０よりも画像センサ２０６側に設けてもよい。

次に、本実施形態における先行車両及び対向車両の検出処理の流れについて説明する。
図１３は、本実施形態における車両検出処理の流れを示すフローチャートである。
本実施形態の車両検出処理では、撮像部２００が撮像した画像データに対して画像処理を施し、検出対象物であると思われる画像領域を抽出する。そして、その画像領域に映し出されている光源体の種類が２種類の検出対象物のいずれであるかを識別することで、先行車両、対向車両の検出を行う。

まず、ステップＳ１では、撮像部２００の画像センサ２０６によって撮像された自車両前方の画像データをメモリに取り込む。この画像データは、上述したように、画像センサ２０６の各撮像画素における輝度を示す信号を含む。次に、ステップＳ２では、自車両の挙動に関する情報を図示しない車両挙動センサから取り込む。

ステップＳ３では、メモリに取り込まれた画像データから検出対象物（先行車両のテールランプ及び対向車両のベッドランプ）であると思われる輝度の高い画像領域（高輝度画像領域）を抽出する。この高輝度画像領域は、画像データにおいて、所定の閾値輝度よりも高い輝度を有する明るい領域となり、複数存在する場合が多いが、それらのすべてを抽出する。よって、この段階では、雨路面からの照り返し光を映し出す画像領域も、高輝度画像領域として抽出される。

高輝度画像領域抽出処理では、まず、ステップＳ３−１において、画像センサ２０６上の各撮像画素の輝度値を所定の閾値輝度と比較することにより２値化処理を行う。具体的には、所定の閾値輝度以上の輝度を有する画素に「１」、そうでない画素に「０」を割り振ることで、２値化画像を作成する。次に、ステップＳ３−２において、この２値化画像において、「１」が割り振られた画素が近接している場合には、それらを１つの高輝度画像領域として認識するラベリング処理を実施する。これによって、輝度値の高い近接した複数の画素の集合が、１つの高輝度画像領域として抽出される。

上述した高輝度画像領域抽出処理の後に実行されるステップＳ４では、抽出された各高輝度画像領域に対応する撮像領域内の物体と自車両との距離を算出する。この距離算出処理では、車両のランプは左右１対のペアランプであることを利用して距離を検出するペアランプ距離算出処理と、遠距離になるとペアランプを構成する左右のランプを区別して認識できなくなって当該ペアランプが単一ランプとして認識される場合の単一ランプ距離算出処理とを実行する。

まず、ペアランプ距離算出処理のために、ステップＳ４−１では、ランプのペアを作成する処理であるペアランプ作成処理を行う。ペアとなる左右一対のランプは、撮像部２００が撮像した画像データにおいて、近接しつつほぼ同じ高さとなる位置にあり、高輝度画像領域の面積がほぼ同じで、かつ高輝度画像領域の形が同じであるとの条件を満たす。したがって、このような条件を満たす高輝度画像領域同士をペアランプとする。ペアをとることのできない高輝度画像領域は単一ランプとみなされる。ペアランプが作成された場合には、ステップＳ４−２のペアランプ距離算出処理によって、そのペアランプまでの距離を算出する。車両の左右ヘッドランプ間の距離及び左右テールランプ間の距離は、一定値ｗ０（例えば１．５ｍ程度）で近似することができる。一方、撮像部２００における焦点距離ｆは既知であるため、撮像部２００の画像センサ２０６上の左右ランプ距離ｗ１を算出することにより、ペアランプまでの実際の距離ｘは、単純な比例計算（ｘ＝ｆ・ｗ０／ｗ１）により求めることができる。なお、先行車両や対向車両までの距離検出は、レーザレーダやミリ波レーダなどの専用の距離センサを用いてもよい。

ステップＳ５では、垂直偏光成分Ｐの赤色画像と垂直偏光成分Ｐの白色画像との比率（赤色輝度比率）を指標値とした分光情報として用い、この分光情報から、ペアランプとされた２つの高輝度画像領域が、ヘッドランプからの光によるものなのか、テールランプからの光によるものなのかを識別するランプ種類識別処理を行う。このランプ種類識別処理では、まずステップＳ５−１において、ペアランプとされた高輝度画像領域について、画像センサ２０６上の撮像画素ａ，ｆに対応した画素データと画像センサ２０６上の撮像画素ｂに対応した画素データとの比率を画素値とした赤色比画像（指標値画像）を作成する。そして、ステップＳ５−２において、その赤色比画像の画素値を所定の閾値と比較し、所定の閾値以上である高輝度画像領域についてはテールランプからの光によるテールランプ画像領域であるとし、所定の閾値未満である高輝度画像領域についてはヘッドランプからの光によるヘッドランプ画像領域であるとするランプ種別処理を行う。

なお、ここで説明した分光情報は、赤色輝度比率を指標値した例であるが、差分偏光度のような、垂直偏光成分Ｐの赤色画像と垂直偏光成分Ｐの白色画像との間の画素値の合計値に対するこれらの画像間の画素値の差分値の比率などの他の指標値を用いてもよい。

続いて、ステップＳ６では、テールランプ画像領域及びヘッドランプ画像領域として識別された各画像領域について、差分偏光度（（Ｓ−Ｐ）／（Ｓ＋Ｐ））を指標値とした偏光情報として用いて、テールランプ又はヘッドランプからの直接光か雨路面等の鏡面部で反射して受光された照り返し光かを識別する照り返し識別処理を行う。この照り返し識別処理では、まずステップＳ６−１において、テールランプ画像領域について差分偏光度（（Ｓ−Ｐ）／（Ｓ＋Ｐ））を算出し、その差分偏光度を画素値とした差分偏光度画像（指標値画像）を作成する。また、同様に、ヘッドランプ画像領域についても差分偏光度（（Ｓ−Ｐ）／（Ｓ＋Ｐ））を算出し、その差分偏光度を画素値とした差分偏光度画像を作成する。そして、ステップＳ６−２において、それぞれの差分偏光度画像の画素値を所定の閾値と比較し、所定の閾値以上であるテールランプ画像領域及びヘッドランプ画像領域については、照り返し光によるものであると判断し、それらの画像領域は先行車両のテールランプを映し出したものではない又は対向車両のヘッドランプを映し出したものではないとして、除外する処理を行う。この除外処理を行った後に残るテールランプ画像領域及びヘッドランプ画像領域は、先行車両のテールランプを映し出したものである、あるいは、対向車両のヘッドランプを映し出したものであると識別される。

なお、レインセンサなどを車両に搭載しておき、当該レインセンサにより雨天時であることを確認した場合にのみ、上述した照り返し識別処理Ｓ６を実行するようにしてもよい。また、運転者（ドライバー）がワイパーを稼働している場合にのみ、上述した照り返し識別処理Ｓ６を実行するようにしてもよい。要するに、雨路面からの照り返しが想定される雨天時のみに上述した照り返し識別処理Ｓ６を実行するようにしてもよい。

以上のような車両検出処理により検出した先行車両及び対向車両の検出結果は、本実施形態では自車両の車載機器であるヘッドランプの配光制御に用いられる。具体的には、車両検出処理によりテールランプが検出されてその先行車両のバックミラーに自車両のヘッドランプ照明光が入射する距離範囲内に近づいた場合に、その先行車両に自車両のヘッドランプ照明光が当たらないように、自車両のヘッドランプの一部を遮光したり、自車両のヘッドランプの光照射方向を上下方向又は左右方向へずらしたりする制御を行う。また、車両検出処理によりベッドランプが検出されて、その対向車両の運転者に自車両のヘッドランプ照明光が当たる距離範囲内に近づいた場合に、その対向車両に自車両のヘッドランプ照明光が当たらないように、自車両のヘッドランプの一部を遮光したり、自車両のヘッドランプの光照射方向を上下方向又は左右方向へずらしたりする制御を行う。

〔白線検出処理〕
以下、本実施形態における白線検出処理について説明する。
本実施形態では、自車両が走行可能領域から逸脱するのを防止する目的で、検出対象物としての白線（区画線）を検出する処理を行う。ここでいう白線とは、実線、破線、点線、二重線等の道路を区画するあらゆる白線を含む。なお、黄色線等の白色以外の色の区画線などについても同様に検出可能である。

本実施形態における白線検出処理では、撮像ユニット１０１から取得することができる情報のうち、白色成分（非分光）の水平偏光成分Ｓと垂直偏光成分Ｐとの比較による偏光情報、例えば、白色成分（非分光）の水平偏光成分Ｓと垂直偏光成分Ｐの差分偏光度（（Ｓ−Ｐ）／（Ｓ＋Ｐ））を用いる。白線からの反射光は、通常、拡散反射成分が支配的であるため、その反射光の垂直偏光成分Ｐと水平偏光成分Ｓとはほぼ同等となり、差分偏光度はゼロに近い値を示す。一方、白線が形成されていないアスファルト面部分は、乾燥状態のときには、散乱反射成分が支配的となる特性を示し、その差分偏光度は正の値を示す。また、白線が形成されていないアスファルト面部分は、湿潤状態のときには、鏡面反射成分が支配的となり、その差分偏光度は更に大きな値を示す。したがって、得られた路面部分の偏光差分値が所定閾値よりも小さい部分を白線と判定することができる。

以下、本発明の特徴部分である、指標値画像のコントラストを高めるための拡大処理について説明する。
ここまでの説明で様々な指標値画像について説明したが、以下の説明では、上述した白線検出処理等において使用する差分偏光度（指標値）に応じた画素値を有する差分偏光度画像を例に挙げて説明する。

図１４は、画像解析ユニット１０２の概要を示す機能ブロック図である。
本実施形態の画像解析ユニット１０２は、主に、補間処理部３０１と、差分偏光度画像生成部３０２と、輝度画像生成部３０３と、ダイナミックレンジ拡大処理部４００と、認識処理部３０４とから構成される。

補間処理部３０１は、撮像部２００から出力されてくる画像データを、赤色光の垂直偏光成分（Ｐ／Ｒ）、非分光の垂直偏光成分（Ｐ／Ｃ）、非分光の水平偏光成分（Ｓ／Ｃ）という３種類の光学成分ごとに分解し、それぞれの光学成分の画像データについて上述した画像補間処理を実行する。

差分偏光度画像生成部３０２は、補間処理部３０１から出力される画像データのうち、非分光の垂直偏光成分（Ｐ／Ｃ）と非分光の水平偏光成分（Ｓ／Ｃ）とを取得する。そして、画素ごとに、非分光の垂直偏光成分（Ｐ／Ｃ）と非分光の水平偏光成分（Ｓ／Ｃ）とから非分光の差分偏光度（−１以上＋１以下の範囲）を算出し、算出した差分偏光度を１０ｂｉｔの画素値（０以上１０２３以下の整数範囲）に換算して、差分偏光度画像データを生成する差分偏光度画像生成処理を実行する。

輝度画像生成部３０３は、補間処理部３０１から出力される画像データのうち、非分光の垂直偏光成分（Ｐ／Ｃ）と非分光の水平偏光成分（Ｓ／Ｃ）とを取得する。そして、画素ごとに、非分光の垂直偏光成分（Ｐ／Ｃ）と非分光の水平偏光成分（Ｓ／Ｃ）とを合算した非分光の輝度を算出し、算出した輝度を１０ｂｉｔの画素値（０以上１０２３以下の整数範囲）に換算して、輝度画像データを生成する輝度画像生成処理を実行する。このようにして得られる輝度画像のデータは、認識処理部３０４が行う上述した高輝度画像領域抽出処理などに使用される。

ダイナミックレンジ拡大処理部４００は、差分偏光度画像生成部３０２から出力される差分偏光度画像データを入力して、そのダイナミックレンジ（画素値の）を拡大するダイナミックレンジ拡大処理（スケーリング処理）を行う。この処理によりダイナミックレンジが拡大された差分偏光度画像データは、認識処理部３０４に送られる。なお、以下、説明のため、ダイナミックレンジ拡大処理が行われた後の差分偏光度画像データを「修正後差分偏光度画像データ」といい、ダイナミックレンジ拡大処理が行われる前の差分偏光度画像データを「修正前差分偏光度画像データ」という。

図１５は、ダイナミックレンジ拡大処理部４００の概要を示す機能ブロック図である。
本実施形態のダイナミックレンジ拡大処理部４００は、主に、ヒストグラム作成部４０１と、最小値・最大値検出部４０２と、拡大処理係数算出部４０３と、拡大処理実行部４０４とから構成されている。

ヒストグラム作成部４０１は、差分偏光度画像生成部３０２から出力される差分偏光度画像データが入力されることで、１フレーム分（１つの差分偏光度画像）の差分偏光度画像データの度数分布から、図１６に示すようなヒストグラムを作成する。

最小値・最大値検出部４０２は、１フレーム中に存在する差分偏光度画像データの最小画素値Ｇｍｉｎと最大画素値Ｇｍａｘを検出する。具体的には、図１６に示すように、ヒストグラム作成部４０１が作成したヒストグラムにおいて、度数あるいは頻度（Ｆｒｅｑｕｅｎｃｙ）が所定の閾値Ｆｔｈｒｅを超えている画素値Ｇの範囲を抽出し、その範囲の最小値を差分偏光度画像データの最小画素値Ｇｍｉｎとし、その範囲の最大値を差分偏光度画像データの最大画素値Ｇｍａｘとする。

本実施形態の最小値・最大値検出部４０２では、度数あるいは頻度が所定の閾値Ｆｔｈｒｅを超えている画素値Ｇのみを有効とし、この範囲から外れる画素値については無効なもの、ここではその値を０として処理する。このように頻度が極端に低い画素値を無効にすることによって、より効果的に差分偏光度画像のコントラストを拡大することができる。

拡大処理係数算出部４０３は、最小値・最大値検出部４０２が出力する最小画素値Ｇｍｉｎと最大画素値Ｇｍａｘが入力されることで、下記の式（１）より、拡大倍率である拡大処理係数Ｋを計算する。なお、下記の式（１）中の「Ｇａｌｔ」は、差分偏光度画像データの画素値が取り得る最大範囲（理想指標値範囲）の上限値を示すものである。本実施形態では、上述したように、差分偏光度画像データの画素値は、０以上１０２３以下の整数範囲を取る１０ｂｉｔデータであるので、Ｇａｌｔ＝１０２３となる。
Ｋ ＝ Ｇａｌｔ／（Ｇｍａｘ−Ｇｍｉｎ） ・・・（１）

拡大処理実行部４０４は、拡大処理係数算出部４０３から拡大処理係数Ｋを取得したら、対応する差分偏光度画像データの各画素値が、所定の順序（画素番号順）で順次入力される。そして、入力される各画素値に拡大処理係数Ｋを乗じたものを出力する。これにより、修正前差分偏光度画像データでは、ダイナミックレンジが例えば４００〜７００であったもの（Ｇｍｉｎ＝４００、Ｇｍａｘ＝７００）が、修正後差分偏光度画像データでは、ダイナミックレンジが０〜１０２３という最大範囲まで拡大される。この拡大処理実行部４０４で行われる処理は、ハードウェア（乗算器）による演算処理で実現することが用意であり、本実施形態では、拡大処理実行部４０４の処理を、乗算器によるハードウェア処理で実現している。

ここで、撮像部２００から出力される画像データに基づく修正前差分偏光度画像データの画素値が取り得る範囲は、光学フィルタ２０５の偏光フィルタ層２２２が有する透過率特性によって、その透過率特性から求まる所定の実効範囲（実効指標値範囲）に制限される。本実施形態の偏光フィルタ層２２２を構成する垂直偏光領域及び水平偏光領域は、それぞれ、上記表１に示したＰ偏光フィルタ及びＳ偏光フィルタと同じ透過率特性を有するものである。この場合、修正前差分偏光度画像データの画素値が取り得る範囲は、上述したように２１５以上７４７以下の範囲（実効指標値範囲）に制限され、原理的には、この実効範囲から外れる画素値が算出されることはない。

しかしながら、実際には、撮像部２００内で画像信号にノイズが含まれてしまうなどの理由により、この実効範囲から外れた不適切な画素値が算出されることがある。このような場合にも、拡大処理係数算出部４０３で算出した拡大処理係数Ｋを用いてダイナミックレンジ拡大処理を行うと、明らかに不適切な画素値が含まれた状態のまま、修正後差分偏光度画像データが生成されることになる。
また、本来は上述した実効範囲（２１５〜７４７）から外れる画素値は取り得ないことから、この実効範囲（２１５〜７４７）を差分偏光度画像データの画素値が取り得る範囲（０〜１０２３）又はその近傍まで拡大する拡大処理係数（以下「拡大処理係数閾値」という。）Ｋｔｈｒｅを用いてダイナミックレンジ拡大処理を行えば、適切な画素値が差分偏光度画像データの画素値が取り得る範囲（０〜１０２３）から外れない限度で、ダイナミックレンジを最大限に拡大することができる。しかしながら、実効範囲から外れた不適切な画素値が存在すると、拡大処理係数算出部４０３で算出される拡大処理係数Ｋは、この拡大処理係数閾値Ｋｔｈｒｅよりも小さい値となる。その結果、拡大倍率が制限されて、修正後差分偏光度画像において十分なコントラストを得ることができない場合がある。

図１７は、拡大処理実行部４０４におけるダイナミックレンジ拡大処理の流れを示すフローチャートである。
拡大処理実行部４０４は、拡大処理係数算出部４０３から拡大処理係数Ｋを取得したら、まず、対応する１フレーム分の差分偏光度画像データにおける最初の画素値Ｇを入力する（Ｓ１１）。そして、拡大処理係数算出部４０３から取得した拡大処理係数Ｋと実行倍率記憶部４１０に予め記憶されている拡大処理係数閾値Ｋｔｈｒｅとの大小関係を比較する（Ｓ１２）。この比較において、Ｋ≧Ｋｔｈｒｅならば（Ｓ１２のＹｅｓ）、入力された画素値Ｇに拡大処理係数Ｋを乗じて、拡大後画素値ＧＤ’を算出する（Ｓ１３）。一方、Ｋ＜Ｋｔｈｒｅならば（Ｓ１２のＮｏ）、入力された画素値Ｇに拡大処理係数閾値Ｋｔｈｒｅを乗じて、拡大後画素値ＧＤ’を算出する（Ｓ１４）。

以上の処理を、対応する１フレーム分の差分偏光度画像データの最後の画素値まで順次行い（Ｓ１５）、最後の画素値まで処理を終えたら（Ｓ１５のＹｅｓ）、対応する１フレーム分の差分偏光度画像データのすべての画素値Ｇについて拡大後画素値ＧＤ’の算出が終了したと判断する。ここで算出される拡大後画素値ＧＤ’の範囲は、最小画素値Ｇｍｉｎを基準にして拡大されたものであるので、その上限値側は差分偏光度画像の画素値範囲（０〜１０２３）を超えた値をとる。よって、拡大後画素値ＧＤ’の範囲をその下限値側へシフトさせて、差分偏光度画像の画素値範囲（０〜１０２３）に合わせるシフト処理を行う（Ｓ１６）。このシフト処理は、例えば、拡大後画素値ＧＤ’の範囲の中央値が差分偏光度画像の画素値範囲（０〜１０２３）の中央値と一致するように、拡大後画素値ＧＤ’全体をシフトさせるものである。このようにして拡大後画素値ＧＤ’をシフト処理した後の値が、修正指標値である修正後画素値ＧＤとなる。シフト処理の代わりに、拡大処理実行部４０４に入力される各画素値から最小画素値Ｇｍｉｎを減算しても良い。このようにすることで、計算途中の値が小さくなるので、メモリが少なくて済む。

ここで、拡大処理係数閾値Ｋｔｈｒｅを用いて算出された修正後画素値ＧＤには、差分偏光度画像の画素値が取り得る最大範囲（０以上１０２３以下の整数範囲）を超えた値が含まれる。そこで、本実施形態では、０よりも小さい修正後画素値ＧＤについては０に丸め、１０２３よりも大きい修正後画素値ＧＤは１０２３に丸めたものを、最終的な修正後画素値ＧＤとする補正処理を行う（Ｓ１７）。このようにして算出した修正後画素値ＧＤは認識処理部３０４へ出力される。

なお、差分偏光度画像の画素値が取り得る最大範囲（０以上１０２３以下の整数範囲）を超えた修正後画素値ＧＤは、もともと光学フィルタ２０５の偏光フィルタ層２２２が有する透過率特性から計算される実効範囲（２１５〜７４７）から外れた不適切な値に基づくものである。よって、上述した補正処理に代えて、このような不適切な修正後画素値ＧＤが後段の認識処理部３０４で使用されないように除外する処理を行ってもよい。例えば、このような修正後画素値ＧＤに対してエラーフラグを付けたり、このような修正後画素値ＧＤを所定のエラー値に変換したりする。

〔変形例１〕
次に、本実施形態におけるダイナミックレンジ拡大処理部４００の一変形例（以下、本変形例を「変形例１」という。）について説明する。
上記実施形態では、差分偏光度画像データの各画素値に係数Ｋ，Ｋ’を乗じてダイナミックレンジを拡大する処理をハードウェア処理で実現した例であるが、本変形例１では、ＣＰＵ（Central Processing Unit）が実装された電子回路基板上に備わっている既存のＢＲＡＭ（Block RAM）を利用して、ＣＰＵによるソフトウェア処理で実現する例について説明する。

図１８は、本変形例１におけるダイナミックレンジ拡大処理部４００の概要を示す機能ブロック図である。
本変形例１のダイナミックレンジ拡大処理部４００は、主に、ヒストグラム作成部４０１と、最小値・最大値検出部４０２と、拡大処理係数算出部４０３と、拡大前処理部４０５と、カウンタ部４０６と、画素値変換部４０７と、ＢＲＡＭ４０８とから構成されている。なお、ヒストグラム作成部４０１、最小値・最大値検出部４０２及び拡大処理係数算出部４０３の処理内容については、上記実施形態のものと同様であるので、説明を省略する。

ＢＲＡＭ４０８を用いることで、ＣＰＵがダイナミックレンジ拡大処理に携わる頻度を下げ、認識処理部３０４の処理に携わる頻度を上げることができる。図１９を用いて説明すると、ＣＰＵでダイナミックレンジ拡大処理する場合は、差分偏光度画像データが流れている期間Ｔの中、ＣＰＵが使用される。一方、ＢＲＡＭ４０８を用いる場合、各画像値に対応する拡大処理修正前後の値をＢＲＡＭ４０８に格納する期間Ｔ’だけＣＰＵが使用される。このようにすることで、認識処理部３０４の処理がより充実して認識精度が向上する。

拡大前処理部４０５は、ＣＰＵがＢＲＡＭを用いてソフトウェア処理により実行するダイナミックレンジ拡大処理の前処理として、修正後の差分偏光度画像データを修正前の差分偏光度画像データに対応づけた状態でＢＲＡＭ４０８へ格納する処理を行う。詳しい処理内容については後述する。
カウンタ部４０６は、拡大前処理部４０５による前処理に利用され、最小画素値Ｇｍｉｎから最大画素値Ｇｍａｘまで画素値を１ずつカウントアップするカウンタである。
画素値変換部４０７は、最小値・最大値検出部４０２が出力する最小画素値Ｇｍｉｎと最大画素値Ｇｍａｘが入力され、対応する差分偏光度画像データの各画素値につき、最小画素値Ｇｍｉｎと最大画素値Ｇｍａｘとの間の範囲から外れる不適切な画素値を、最小画素値Ｇｍｉｎ又は最大画素値Ｇｍａｘに丸める画素値変換処理を行う。詳しい処理内容については後述する。

図２０は、拡大前処理部４０５における前処理の流れを示すフローチャートである。
拡大前処理部４０５は、拡大処理係数算出部４０３から拡大処理係数Ｋを取得したら、まず、最小値・最大値検出部４０２から最小画素値Ｇｍｉｎを取得して、カウンタ部４０６のカウント値Ｇｃｎｔを最小画素値Ｇｍｉｎにセットする（Ｓ２１）。そして、拡大処理係数算出部４０３から取得した拡大処理係数Ｋと実行倍率記憶部４１０に予め記憶されている拡大処理係数閾値Ｋｔｈｒｅとの大小関係を比較する（Ｓ２２）。この比較において、Ｋ≧Ｋｔｈｒｅならば（Ｓ２２のＹｅｓ）、対応する画素値Ｇに拡大処理係数Ｋを乗じて、拡大後画素値ＧＤ’を算出する（Ｓ２３）。一方、Ｋ＜Ｋｔｈｒｅならば（Ｓ２２のＮｏ）、入力された画素値Ｇに拡大処理係数閾値Ｋｔｈｒｅを乗じて、拡大後画素値ＧＤ’を算出する（Ｓ２４）。

その後、算出した拡大後画素値ＧＤ’に対し、上記実施形態のシフト処理と同様のシフト処理を行って修正後画素値ＧＤを算出する（Ｓ２５）。また、上記実施形態の補正処理と同様、シフト処理後において０よりも小さい修正後画素値ＧＤが算出された場合にはこれを０に丸め、１０２３よりも大きい修正後画素値ＧＤが算出された場合にはこれを１０２３に丸める補正処理を行う（Ｓ２６）。このようにして算出された修正後画素値ＧＤは、対応する修正前画素値Ｇ（カウント値Ｇｃｎｔ）に対応づけた状態でＢＲＡＭ４０８へ格納される。

その後、カウンタ部４０６のカウント値をカウントアップさせ（Ｓ２７）、そのカウント値Ｇｃｎｔに対応する画素値Ｇについて、同様に修正後画素値ＧＤを算出する処理を行う（Ｓ２２〜Ｓ２６）。以上の処理を、カウント値Ｇｃｎｔが最大画素値Ｇｍａｘに達するまで繰り返し行う（Ｓ２８）。これにより、最小画素値Ｇｍｉｎ〜最大画素値Ｇｍａｘまでの各修正前画素値Ｇ（カウント値Ｇｃｎｔ）にそれぞれ対応する拡大後画素値ＧＤ’がＢＲＡＭ４０８へ格納される。

図２１は、画素値変換部４０７における処理の流れを示すフローチャートである。
画素値変換部４０７は、まず、対応する１フレーム分の差分偏光度画像データにおける最初の画素値Ｇを入力する（Ｓ３１）。そして、最小値・最大値検出部４０２から最小画素値Ｇｍｉｎ及び最大画素値Ｇｍａｘを取得して、入力された画素値Ｇと最小画素値Ｇｍｉｎとの大小関係を比較する（Ｓ３２）。この比較において、Ｇ＜Ｇｍｉｎならば（Ｓ３２のＮｏ）、入力された画素値Ｇを最小画素値Ｇｍｉｎに変換して変換後画素値Ｇ’とする処理を行う（Ｓ３３）。

一方、Ｇ≧Ｇｍｉｎならば（Ｓ３２のＹｅｓ）、次に、入力された画素値Ｇと最大画素値Ｇｍａｘとの大小関係を比較する（Ｓ３４）。この比較において、Ｇ≧Ｇｍａｘならば（Ｓ３４のＹｅｓ）、入力された画素値Ｇを最大画素値Ｇｍａｘに変換して変換後画素値Ｇ’とする処理を行う（Ｓ３５）。他方、Ｇ＜Ｇｍａｘならば（Ｓ３４のＮｏ）、入力された画素値Ｇをそのまま変換後画素値Ｇ’とする（Ｓ３６）。このようにして変換された変換後画素値Ｇ’は、順次、ＢＲＡＭ４０８へ出力される。

以上の処理を、対応する１フレーム分の差分偏光度画像データの最後の画素値まで順次行い（Ｓ３７）、最後の画素値まで処理を終えたら（Ｓ３７のＹｅｓ）、対応する１フレーム分の差分偏光度画像データのすべての画素値Ｇについて変換後画素値Ｇ’への変換が終了したと判断する。

図２２は、本変形例１におけるＢＲＡＭ４０８の概要構成を示す説明図である。
本変形例１において、ＢＲＡＭ４０８は、書き込み専用の書き込みポートと読み出し専用の読み出しポートの２つのポートを有する。

書き込みポートは、アドレス端子（書込アドレス端子）Ａｄｄｒ＿ａにカウンタ部４０６のカウント値Ｇｃｎｔが入力され、データ入力端子（書込データ端子）Ｄａｔａ＿ａに拡大前処理部４０５の出力値である修正後画素値ＧＤが入力される。なお、書き込みポートは書き込み専用であるため、ライトイネーブル端子Ｗｅ＿ａにはライトイネーブル信号である１が入力され、データ出力端子Ｄｏｕｔ＿ａは未接続である。

読み出しポートは、アドレス端子（読出アドレス端子）Ａｄｄｒ＿ｂに画素値変換部４０７の出力値である変換後画素値Ｇ’が入力され、そのデータ出力端子Ｄｏｕｔ＿ｂには認識処理部３０４が接続されている。なお、読み出しポートは読み出し専用であるため、データ入力端子Ｄａｔａ＿ｂは未接続であり、ライトイネーブル端子Ｗｅ＿ｂには非ライトイネーブル信号である０が入力されている。

図２３は、本変形例１におけるＢＲＡＭ４０８の処理動作の流れを示すフローチャートである。
まず、ＢＲＡＭ４０８の書き込みポートのアドレス端子Ａｄｄｒ＿ａには、カウンタ部４０６の最初のカウント値Ｇｃｎｔが入力される（Ｓ４１）。すなわち、書き込みポートのアドレス端子Ａｄｄｒ＿ａには、最小画素値Ｇｍｉｎが入力される。また、書き込みポートのデータ入力端子Ｄａｔａ＿ａには、拡大前処理部４０５の前処理で当該カウント値Ｇｃｎｔ（最小画素値Ｇｍｉｎ）について算出された修正後画素値ＧＤが入力される（Ｓ４１）。これにより、カウント値Ｇｃｎｔ（最小画素値Ｇｍｉｎ）について算出された修正後画素値ＧＤは、当該カウント値Ｇｃｎｔ（最小画素値Ｇｍｉｎ）により指定されたＢＲＡＭ４０８のアドレスに格納される（Ｓ４２）。

その後、カウンタ部４０６のカウント値Ｇｃｎｔをカウントアップし（Ｓ４３）、カウント値Ｇｃｎｔが最大画素値Ｇｍａｘになるまで以上の書き込み処理（Ｓ４１〜Ｓ４３）を繰り返し行う（Ｓ４４）。これにより、最小画素値Ｇｍｉｎから最大画素値Ｇｍａｘまでの各画素値により指定されたＢＲＡＭ４０８のアドレスに、それぞれの画素値に対応した修正後画素値ＧＤが格納される。

次に、ＢＲＡＭ４０８の読み出しポートのアドレス端子Ａｄｄｒ＿ｂには、画素値変換部４０７の出力値である変換後画素値Ｇ’が入力される（Ｓ４５）。すなわち、読み出しポートのアドレス端子Ａｄｄｒ＿ｂには、最初の画素番号に対応した変換後画素値Ｇ’が入力される。これにより、変換後画素値Ｇ’により指定されたＢＲＡＭ４０８のアドレスに格納されている修正後画素値ＧＤが、読み出しポートのデータ出力端子Ｄｏｕｔ＿ｂから出力される（Ｓ４６）。

ＢＲＡＭ４０８の読み出しポートのアドレス端子Ａｄｄｒ＿ｂに、画素値変換部４０７から出力される変換後画素値Ｇ’が、最初の画素番号から最後の画素番号まで、画素番号順に順次入力されるので、ＢＲＡＭ４０８の読み出しポートのデータ出力端子Ｄｏｕｔ＿ｂからは、修正後画素値ＧＤが画素番号順に順次出力される。このような読み出し処理が、対応する１フレーム分の差分偏光度画像データのすべての画素値について行われると（Ｓ４７）、修正後画素値ＧＤで構成される差分偏光度画像データが認識処理部３０４へ入力されたことになる。

上記実施形態では、差分偏光度画像データのすべての画素に対応する個々の画素値Ｇを画素番号順にハードウェアの乗算器に入力して、当該乗算器により係数Ｋ，Ｋｔｈｒｅを乗じることで、当該乗算器から画素番号順に修正後画素値ＧＤを出力することで、修正後画素値ＧＤからなる差分偏光度画像データを得る。この構成によれば、ハードウェアの乗算器を使用するため、ハードウェアリソースが大きくなるというデメリットがあるのに対し、処理時間が短くて済むというメリットがある。
これに対し、本変形例１では、差分偏光度画像データの最小画素値Ｇｍｉｎから最大画素値Ｇｍａｘまでの各画素値に対して係数Ｋ，Ｋｔｈｒｅを乗じて得られる修正後画素値ＧＤを修正前画素値Ｇと対応づけてＢＲＡＭ４０８に格納しておき、画素番号に修正前画素値ＧをＢＲＡＭ４０８に順次入力することで、ＢＲＡＭ４０８から画素番号順に修正後画素値ＧＤを出力し、修正後画素値ＧＤからなる差分偏光度画像データを得る。この構成によれば、既存のＣＰＵで乗算処理するので処理時間が長くかかるデメリットはあるが、少ないハードウェアリソースで実現できるというメリットがある。

〔変形例２〕
次に、本実施形態におけるダイナミックレンジ拡大処理部４００の他の変形例（以下、本変形例を「変形例２」という。）について説明する。
図２４（ａ）〜（ｅ）は、実際の撮像により得られる差分偏光度画像（修正前）の画素値Ｇのヒストグラムが取り得る形状例を示す説明図である。
図中の閾値Ｆｔｈｒｅは、図１６における閾値Ｆｔｈｒｅと同じものである。光学フィルタ２０５の偏光フィルタ層２２２が有する透過率特性を考慮すると、最小画素値Ｇｍｉｎと最大画素値Ｇｍａｘとの差分の絶対値は、原理的には、下記の式（２）に示す関係式を満たすことになる。
｜Ｇｍａｘ−Ｇｍｉｎ｜ ≦ Ｇａｌｔ ／ Ｋｔｈｒｅ ・・・（２）

図２５は、本変形例２におけるダイナミックレンジ拡大処理部４００の概要を示す機能ブロック図である。
本変形例２のダイナミックレンジ拡大処理部４００は、上記実施形態における最小値・最大値検出部４０２と拡大処理係数算出部４０３との間に、拡大倍率算出可否判定部４０９を追加したものである。ヒストグラム作成部４０１及び最小値・最大値検出部４０２の処理内容については、上記実施形態のものと同様であるので、説明を省略する。

ただし、本変形例２では、上記拡大処理実行部４０４で行っていた拡大処理係数Ｋと実行倍率記憶部４１０に予め記憶されている拡大処理係数閾値Ｋｔｈｒｅとの大小関係の比較（Ｓ１２）に相当する処理を、上記拡大処理係数算出部４０３の後述する処理（Ｓ５３）で行う。そのため、本変形例２における拡大処理実行部４０４の処理内容は、入力された画素値Ｇに対して拡大処理係数算出部４０３からの拡大処理係数Ｋを乗じて拡大後画素値ＧＤ’を出力するという処理を、１フレーム分の差分偏光度画像データについて実行するというものになる。

なお、上記変形例１のダイナミックレンジ拡大処理部４００に拡大倍率算出可否判定部４０９を、同様に追加することができる。

図２６は、本変形例２における拡大倍率算出可否判定部４０９及び拡大処理係数算出部４０３で行うダイナミックレンジ拡大処理の流れを示すフローチャートである。
拡大倍率算出可否判定部４０９は、最小値・最大値検出部４０２から最小画素値Ｇｍｉｎと最大画素値Ｇｍａｘが入力されることで（Ｓ５１）、最小画素値Ｇｍｉｎと最大画素値Ｇｍａｘとの差分絶対値ΔＧを算出する（Ｓ５２）。そして、算出した差分絶対値ΔＧと、理想範囲Ｇａｌｔを拡大処理係数閾値Ｋｔｈｒｅで割った値との大小関係を比較する（Ｓ５３）。この比較において、ΔＧ＞Ｇａｌｔ／Ｋｔｈｒｅならば（Ｓ５３のＹｅｓ）、ダイナミックレンジ拡大処理を実行するか否かを示す実行判定フラグＦｌａｇに０をセットする（Ｓ５４）。一方、ΔＧ≦Ｇａｌｔ／Ｋｔｈｒｅならば（Ｓ５３のＮｏ）、ダイナミックレンジ拡大処理を実行するか否かを示す実行判定フラグＦｌａｇに１をセットする（Ｓ５５）。このようにしてセットされた実行判定フラグＦｌａｇは、拡大倍率算出可否判定部４０９から拡大処理係数算出部４０３へ出力される。

拡大処理係数算出部４０３は、まず、拡大倍率算出可否判定部４０９から入力される実行判定フラグＦｌａｇの値が１であるか否かを判断する（Ｓ５６）。実行判定フラグＦｌａｇの値が１である場合には（Ｓ５６のＹｅｓ）、上記実施形態の場合と同様に、上記式（１）より拡大処理係数Ｋを算出し、その拡大処理係数Ｋを拡大処理実行部４０４へ出力する（Ｓ５８）。一方、実行判定フラグＦｌａｇの値が０である場合には（Ｓ５６のＮｏ）、拡大処理係数Ｋを、実行倍率記憶部４１０に予め記憶されている拡大処理係数閾値Ｋｔｈｒｅとし、その拡大処理係数Ｋ（＝Ｋｔｈｒｅ）を拡大処理実行部４０４へ出力する（Ｓ５７）。

本変形例２の拡大処理実行部４０４では、上述したように、入力された画素値Ｇに対して拡大処理係数算出部４０３からの拡大処理係数Ｋを乗じて拡大後画素値ＧＤ’を出力するという処理を実行するものである。よって、ΔＧ＞Ｇａｌｔ／Ｋｔｈｒｅならば、すなわち、最小値・最大値検出部４０２が出力する最小画素値Ｇｍｉｎと最大画素値Ｇｍａｘから算出される拡大倍率Ｋ（＝Ｇａｌｔ／（Ｇｍａｘ−Ｇｍｉｎ））が拡大処理係数閾値Ｋｔｈｒｅよりも大きければ、最小画素値Ｇｍｉｎと最大画素値Ｇｍａｘとから算出される拡大処理係数Ｋによりダイナミックレンジ拡大処理が行われる。一方、ΔＧ≦Ｇａｌｔ／Ｋｔｈｒｅならば、すなわち、最小値・最大値検出部４０２が出力する最小画素値Ｇｍｉｎと最大画素値Ｇｍａｘから算出される拡大倍率Ｋ（＝Ｇａｌｔ／（Ｇｍａｘ−Ｇｍｉｎ））が拡大処理係数閾値Ｋｔｈｒｅ以下ならば、拡大処理係数閾値Ｋｔｈｒｅによりダイナミックレンジ拡大処理が行われる。

図２７（ａ）は、ダイナミックレンジ拡大処理を行っていない差分偏光度画像とその画素値のヒストグラムを示す説明図である。
図２７（ｂ）は、ダイナミックレンジ拡大処理を行った差分偏光度画像とその画素値のヒストグラムを示す説明図である。
図２７（ａ）に示すように、ダイナミックレンジ拡大処理を行っていない場合、その画素値（修正前画素値Ｇ）のヒストグラムは狭い範囲に偏った形状であり、差分偏光度画像のコントラストは低いものとなっている。そのため、白線や路端の認識が困難となっている。一方、図２７（ｂ）に示すように、ダイナミックレンジ拡大処理を行った場合、その画素値（修正後画素値ＧＤ）のヒストグラムは広がっており、差分偏光度画像のコントラストが高いものとなっている。そのため、白線や路端の認識が容易になっている。

なお、上述した実施形態や各変形例では、撮像ユニット１０１から出力される撮像画像データが入力される画像解析ユニット１０２においてダイナミックレンジ拡大処理を行う場合であったが、これを撮像ユニット１０１内で処理するようにしても良い。この場合、例えば、図３に示した信号処理部２０８の主要構成を、図２８に示すように、信号処理回路２０８ＡとＣＰＵ２０８Ｂとで構成することができる。信号処理回路２０８Ａは、画像センサ２０６から出力される電気信号（アナログ信号）をデジタル信号である撮像画像データに変換して、ＣＰＵ２０８Ｂへ受け渡す。ＣＰＵ２０８Ｂは、上述した画像解析ユニット１０２が担っていた、補間処理部３０１、差分偏光度画像生成部３０２、輝度画像生成部３０３、ダイナミックレンジ拡大処理部４００としての機能を果たし、これらで行われていた処理を実行する。

また、ダイナミックレンジ拡大処理を撮像ユニット１０１内で処理する際、上述した変形例１のようにＢＲＡＭ４０８を用いる場合には、例えば、図３に示した信号処理部２０８の主要構成を、図２９に示すように、信号処理回路２０８Ａと、ＣＰＵ２０８Ｂと、ＢＲＡＭ４０８に対応するＢＲＡＭ２０８Ｃとで構成してもよい。この場合、図２８に示した構成例におけるＣＰＵ２０８Ｂで実行していた処理の一部をＢＲＡＭ２０８Ｃで実行することで、ＣＰＵがダイナミックレンジ拡大処理に携わる頻度を下げ、認識処理部３０４の処理に携わる頻度を上げることができる。

以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
（態様Ａ）
互いに異なる偏光成分等の光学成分を選択的に透過させる複数種類の選択フィルタ領域（Ｓ偏光フィルタ及びＰ偏光フィルタ）を周期的に配列した偏光フィルタ層２２２等の光学フィルタ、又は、赤色波長帯等の特定の光学成分を選択的に透過させる１種類又は２種類以上の選択フィルタ領域（赤色分光領域）及び入射光をそのまま透過させる非選択フィルタ領域（非分光領域）を周期的に配列した分光フィルタ層２２３等の光学フィルタを通じて、撮像領域内の各地点からの光を受光し、該光学フィルタ上のフィルタ領域ごとの受光量に応じた画像信号を出力する撮像ユニット１０１等の撮像手段と、上記撮像手段から出力された画像信号に基づき、撮像領域内の各地点からの光に含まれる互いに異なった複数の光学成分の大きさの違いを示す偏光比、差分偏光度あるいは赤色輝度比率等に対応する画素値Ｇ（指標値）に基づく画素値をもった偏光比画像、差分偏光度画像あるいは赤色比画像等の指標値画像を出力する画像解析ユニット１０２等の画像処理手段とを有する撮像装置において、上記画像処理手段は、上記撮像手段から出力される一の指標値画像に対応した画像信号に基づいて算出される指標値の数値範囲である修正前指標値範囲（Ｇｍｉｎ〜Ｇｍａｘ）を、上記光学フィルタ上におけるフィルタ領域が理想の透過率特性を有するとした場合に指標値が取り得る最大の理想指標値範囲（０〜１０２３）又はその近傍まで拡大するための拡大倍率Ｋを算出するヒストグラム作成部４０１、最小値・最大値検出部４０２、拡大処理係数算出部４０３、拡大倍率算出可否判定部４０９等の倍率算出手段と、上記倍率算出手段で算出した拡大倍率を用いて、当該画像処理手段が出力する一の指標値画像の画素値として用いられる指標値（修正前画素値Ｇ）を修正し、修正後の指標値（修正後画素値ＧＤ）の範囲が上記理想指標値範囲（０〜１０２３）又はその近傍の範囲となるように拡大処理を行う拡大処理実行部４０４、拡大前処理部４０５、カウンタ部４０６、ＢＲＡＭ４０８等の拡大処理手段と、上記光学フィルタ上におけるフィルタ領域が有している透過率特性から計算される、修正前指標値（修正前画素値Ｇ）が取り得る最大の実効指標値範囲（２１５〜７４７）を、上記理想指標値範囲（０〜１０２３）又はその近傍まで拡大するための拡大処理係数閾値Ｋｔｈｒｅ等の実効拡大倍率を記憶する実効倍率記憶手段とを有し、上記拡大処理手段は、上記倍率算出手段が算出した拡大倍率Ｋが上記実効倍率記憶手段に記憶されている実効拡大倍率Ｋｔｈｒｅよりも小さい場合には、該実効倍率記憶手段に記憶されている実効拡大倍率Ｋｔｈｒｅを用いて、上記拡大処理を行うことを特徴とする。
これによれば、実効指標値範囲（２１５〜７４７）から外れた不適切な修正前指標値の存在によって拡大倍率が制限されることはなくなり、高いコントラストの指標値画像を得ることが可能となる。

（態様Ｂ）
上記態様Ａにおいて、上記選択フィルタ領域は、所定の偏光成分を選択的に透過させる偏光フィルタで構成されていることを特徴とする。
これによれば、偏光情報を利用した画像解析処理を実現でき、輝度情報だけでは取得することが困難な様々な情報を、より高い精度で得ることが可能となる。

（態様Ｃ）
上記態様Ａ又はＢにおいて、上記倍率算出手段は、上記撮像手段から出力される一の指標値画像に対応した画像信号に基づいて算出される修正前指標値（修正前画素値Ｇ）のヒストグラム情報等の度数分布情報に基づいて、上記修正前指標値範囲（Ｇｍｉｎ〜Ｇｍａｘ）を特定することを特徴とする。
度数（頻度）が少ない修正前指標値はノイズ成分である可能性が高い。度数分布情報を用いることで、このようなノイズ成分を適切に除外することができる。

（態様Ｄ）
上記態様Ｃにおいて、上記倍率算出手段は、上記度数分布情報に基づいて度数が所定の度数閾値Ｆｔｈｒｅを超えている指標値の範囲を抽出し、抽出した範囲を上記修正前指標値範囲（Ｇｍｉｎ〜Ｇｍａｘ）として特定することを特徴とする。
これによれば、ノイズ成分である可能性が高い度数（頻度）の少ない修正前指標値を容易に除外できる。

（態様Ｅ）
上記態様Ａ〜Ｄのいずれかの態様において、上記拡大処理手段は、指定された書込アドレスに対して入力データを格納するとともに、指定された読出アドレスに格納されているデータを出力するＢＲＡＭ４０８等のメモリ部を有し、上記倍率算出手段が算出した拡大倍率Ｋを用いて修正した修正後指標値（修正後画素値ＧＤ）のデータを、該メモリ部内の修正前指標値（修正前画素値Ｇ）に対応した書込アドレスに格納することを特徴とする。
これによれば、上記変形例１で説明したように、少ないハードウェアリソースで処理を実現できるというメリットがある。

（態様Ｆ）
上記態様Ｄにおいて、上記拡大処理手段は、書込アドレス端子Ａｄｄｒ＿ａに入力された書込アドレスデータに対応するアドレスに対して書込データ端子Ｄａｔａ＿ａに入力されたデータを格納するとともに、読出アドレス端子Ａｄｄｒ＿ｂに入力された読出アドレスデータに対応するアドレスに格納されているデータを読出データ端子Ｄａｔａ＿ｂから出力するＢＲＡＭ４０８等のメモリ部と、上記倍率算出手段が抽出した指標値の範囲（Ｇｍｉｎ〜Ｇｍａｘ）の下限値Ｇｍｉｎから上限値Ｇｍａｘに向けて又はその上限値から下限値に向けて順次カウントして、各カウント値を上記メモリ部の書込アドレス端子へ順次出力するカウンタ部４０６と、上記画像処理手段が出力する一の指標値画像の画素値として用いられる修正前指標値（修正前画素値Ｇ）に上記倍率算出手段が算出した拡大倍率Ｋを乗じて得られる修正後指標値（修正後画素値ＧＤ）を、当該修正前指標値に対応したカウント値（修正前画素値Ｇ）が上記メモリ部の書込アドレス端子Ａｄｄｒ＿ａへ出力されるタイミングに合わせて、該メモリ部の書込データ端子Ｄａｔａ＿ａへ出力する拡大前処理部４０５等の指標値修正部と、上記画像処理手段が出力する一の指標値画像の画素値として用いられる修正前指標値（修正前画素値Ｇ）が、上記倍率算出手段が抽出した指標値の範囲の下限値Ｇｍｉｎ以下である場合には、該下限値に対応したカウント値Ｇｍｉｎを上記メモリ部の読出アドレス端子Ｄａｔａ＿ｂへ出力し、該倍率算出手段が抽出した指標値の範囲の上限値Ｇｍａｘ以上である場合には、該上限値に対応したカウント値Ｇｍａｘを該メモリ部の読出アドレス端子Ｄａｔａ＿ｂへ出力し、該倍率算出手段が抽出した指標値の範囲（Ｇｍｉｎ〜Ｇｍａｘ）内である場合には、当該修正前指標値に対応したカウント値（修正前画素値Ｇ）を該メモリ部の読出アドレス端子Ｄａｔａ＿ｂへ出力する画素値変換部４０７等の読出データ指定部とを有することを特徴とする。
これによれば、所定の度数閾値Ｆｔｈｒｅによって除外された修正前指標値が入力されても、エラーにならずに済み、スムーズな処理が実現できる。

（態様Ｇ）
上記態様Ａ〜Ｄのいずれかの態様において、上記拡大処理手段は、入力端子に入力されたデータに所定の乗算係数を乗じたデータを出力端子から出力する乗算器を有し、該乗算器の該乗算係数には上記倍率算出手段が算出した拡大倍率Ｋが設定され、上記画像処理手段が出力する一の指標値画像の画素値として用いられる修正前指標値（修正前画素値Ｇ）を該乗算器の入力端子に入力して、該乗算器の出力端子から修正後指標値（修正後画素値ＧＤ）を出力することを特徴とする。
これによれば、上記実施形態のように、ハードウェアの乗算器を使用するため、ソフトウェア処理よりも処理時間を短縮することが容易である。

（態様Ｈ）
上記態様Ａ〜Ｇのいずれかの態様において、上記画像処理手段は、上記倍率算出手段が算出した拡大倍率Ｋが上記実効倍率記憶手段に記憶されている実効拡大倍率Ｋｔｈｒｅよりも小さい場合、上記拡大処理手段の拡大処理による修正後の指標値に基づく画素値をもった指標値画像を生成するときに、該拡大処理により上記理想指標値範囲（０〜１０２３）から外れた修正後の指標値（修正後画素値ＧＤ）を除外して当該指標値画像を生成することを特徴とする。
これによれば、明らかに不適切であることがわかっている修正後画素値ＧＤが後段の認識処理部３０４で使用されることがないので、不適切な修正後画素値ＧＤによる認識処理の精度低下を抑制できる。

（態様Ｉ）
車両１００と、該車両１００の周囲を撮像領域とした画像を撮像する撮像装置とを備えた車載機器制御システム等の車両システムにおいて、上記撮像装置として、上記態様Ａ〜Ｈのいずれかの態様に係る撮像装置を用い、上記撮像装置を構成する少なくとも上記撮像手段が上記車両１００に設置されていることを特徴とする。
これによれば、車両システムの画像解析精度を向上させることができる。
なお、本実施形態（変形例を含む。）に係る車載機器制御システムでは、撮像装置の全体が車両１００に搭載されている例であるが、撮像ユニット１０１が車両に搭載されていれば、残りの部分については必ずしも車両に搭載されている必要はない。したがって、例えば、撮像ユニット１０１のみを車両１００に搭載して、残りの部分を車両とは別の場所に遠隔配置するようにしてもよい。この場合、車両の走行状態を運転者以外の者が客観的に把握するシステムとすることもできる。

（態様Ｊ）
互いに異なる光学成分を選択的に透過させる複数種類の選択フィルタ領域を周期的に配列した光学フィルタ、又は、特定の光学成分を選択的に透過させる１種類又は２種類以上の選択フィルタ領域及び入射光をそのまま透過させる非選択フィルタ領域を周期的に配列した光学フィルタを通じて、撮像領域内の各地点からの光を受光し、該光学フィルタ上のフィルタ領域ごとの受光量に応じた画像信号を出力する撮像手段と、該撮像手段から出力された画像信号に基づき、撮像領域内の各地点からの光に含まれる互いに異なった複数の光学成分の大きさの違いを示す指標値に基づく画素値をもった指標値画像を出力する画像処理手段とを有する撮像装置における画像処理方法において、上記撮像手段から出力される一の指標値画像に対応した画像信号に基づいて算出される指標値の数値範囲である修正前指標値範囲を、上記光学フィルタ上におけるフィルタ領域が理想の透過率特性を有するとした場合に指標値が取り得る最大の理想指標値範囲又はその近傍まで拡大するための拡大倍率を算出する倍率算出工程と、上記倍率算出工程で算出された拡大倍率を用いて、上記画像処理手段が出力する一の指標値画像の画素値として用いられる指標値を修正し、修正後の指標値の範囲が上記理想指標値範囲又はその近傍の範囲となるように拡大処理を行う拡大処理工程とを有し、上記拡大処理工程では、上記光学フィルタ上におけるフィルタ領域の透過率特性から計算される、修正前指標値が取り得る最大の実効指標値範囲を、上記理想指標値範囲又はその近傍まで拡大するための実効拡大倍率よりも、上記倍率算出工程で算出された拡大倍率が小さい場合には、該実効拡大倍率を用いて上記拡大処理を行うことを特徴とする。
これによれば、実効指標値範囲から外れた不適切な修正前指標値の存在によって拡大倍率が制限されることはなくなり、高いコントラストの指標値画像を得ることが可能となる。

１００ 車両
１０１ 撮像ユニット
１０２ 画像解析ユニット
１０３ ヘッドランプ制御ユニット
１０４ ヘッドランプ
１０５ フロントガラス
１０６ ワイパー制御ユニット
１０７ ワイパー
１０８ 車両走行制御ユニット
２００ 撮像部
２０５ 光学フィルタ
２０６ 画像センサ
２１０ 前段フィルタ
２１１ 赤外光カットフィルタ領域
２１２ 赤外光透過フィルタ領域
２１３ 車両検出用画像領域
２１４ 雨滴検出用画像領域
２２０ 後段フィルタ
２２０Ａ 車両検出用フィルタ部
２２０Ｂ 雨滴検出用フィルタ部
２２２，２２５ 偏光フィルタ層
２２３ 分光フィルタ層
３０１ 補間処理部
３０２ 差分偏光度画像生成部
３０３ 輝度画像生成部
３０４ 認識処理部
４００ ダイナミックレンジ拡大処理部
４０１ ヒストグラム作成部
４０２ 最小値・最大値検出部
４０３ 拡大処理係数算出部
４０４ 拡大処理実行部
４０５ 拡大前処理部
４０６ カウンタ部
４０７ 画素値変換部
４０８ ＢＲＡＭ
４０９ 拡大倍率算出可否判定部
Ｇ 修正前画素値
Ｇ’ 変換後画素値
Ｇａｌｔ 理想範囲
Ｇｃｎｔ カウント値
ＧＤ’ 拡大後画素値
ＧＤ 修正後画素値
Ｋ 拡大処理係数
Ｋｔｈｒｅ 拡大処理係数閾値
Ｐ 垂直偏光成分
Ｓ 水平偏光成分

特開平１１−１７５７０２号公報

Claims (10)

1. 互いに異なる光学成分を選択的に透過させる複数種類の選択フィルタ領域を周期的に配列した光学フィルタ、又は、特定の光学成分を選択的に透過させる１種類又は２種類以上の選択フィルタ領域及び入射光をそのまま透過させる非選択フィルタ領域を周期的に配列した光学フィルタを通じて、撮像領域内の各地点からの光を受光し、該光学フィルタ上のフィルタ領域ごとの受光量に応じた画像信号を出力する撮像手段と、
   上記撮像手段から出力された画像信号に基づき、撮像領域内の各地点からの光に含まれる互いに異なった複数の光学成分の大きさの違いを示す指標値に基づく画素値をもった指標値画像を出力する画像処理手段とを有する撮像装置において、
   上記画像処理手段は、上記撮像手段から出力される一の指標値画像に対応した画像信号に基づいて算出される指標値の数値範囲である修正前指標値範囲を、上記光学フィルタ上におけるフィルタ領域が理想の透過率特性を有するとした場合に指標値が取り得る最大の理想指標値範囲又はその近傍まで拡大するための拡大倍率を算出する倍率算出手段と、
   上記倍率算出手段が算出した拡大倍率を用いて、当該画像処理手段が出力する一の指標値画像の画素値として用いられる指標値を修正し、修正後の指標値の範囲が上記理想指標値範囲又はその近傍の範囲となるように拡大処理を行う拡大処理手段と、
   上記光学フィルタ上におけるフィルタ領域が有している透過率特性から計算される、修正前指標値が取り得る最大の実効指標値範囲を、上記理想指標値範囲又はその近傍まで拡大するための実効拡大倍率を記憶する実効倍率記憶手段とを有し、
   上記拡大処理手段は、上記倍率算出手段が算出した拡大倍率が上記実効倍率記憶手段に記憶されている実効拡大倍率よりも小さい場合には、該実効倍率記憶手段に記憶されている実効拡大倍率を用いて、上記拡大処理を行うことを特徴とする撮像装置。
2. 請求項１の撮像装置において、
   上記選択フィルタ領域は、所定の偏光成分を選択的に透過させる偏光フィルタで構成されていることを特徴とする撮像装置。
3. 請求項１又は２の撮像装置において、
   上記倍率算出手段は、上記撮像手段から出力される一の指標値画像に対応した画像信号に基づいて算出される修正前指標値の度数分布情報に基づいて、上記修正前指標値範囲を特定することを特徴とする撮像装置。
4. 請求項３の撮像装置において、
   上記倍率算出手段は、上記度数分布情報に基づいて度数が所定の度数閾値を超えている指標値の範囲を抽出し、抽出した範囲を上記修正前指標値範囲として特定することを特徴とする撮像装置。
5. 請求項１乃至４のいずれか１項に記載の撮像装置において、
   上記拡大処理手段は、指定された書込アドレスに対して入力データを格納するとともに、指定された読出アドレスに格納されているデータを出力するメモリ部を有し、上記倍率算出手段が算出した拡大倍率を用いて修正した修正後指標値のデータを、該メモリ部内の修正前指標値に対応した書込アドレスに格納することを特徴とする撮像装置。
6. 請求項４の撮像装置において、
   上記拡大処理手段は、
   書込アドレス端子に入力された書込アドレスデータに対応するアドレスに対して書込データ端子に入力されたデータを格納するとともに、読出アドレス端子に入力された読出アドレスデータに対応するアドレスに格納されているデータを読出データ端子から出力するメモリ部と、
   上記倍率算出手段が抽出した指標値の範囲の下限値から上限値に向けて又はその上限値から下限値に向けて順次カウントして、各カウント値を上記メモリ部の書込アドレス端子へ順次出力するカウンタ部と、
   上記画像処理手段が出力する一の指標値画像の画素値として用いられる修正前指標値に上記倍率算出手段が算出した拡大倍率を乗じて得られる修正後指標値を、当該修正前指標値に対応したカウント値が上記メモリ部の書込アドレス端子へ出力されるタイミングに合わせて、該メモリ部の書込データ端子へ出力する指標値修正部と、
   上記画像処理手段が出力する一の指標値画像の画素値として用いられる修正前指標値が、上記倍率算出手段が抽出した指標値の範囲の下限値以下である場合には、該下限値に対応したカウント値を上記メモリ部の読出アドレス端子へ出力し、該倍率算出手段が抽出した指標値の範囲の上限値以上である場合には、該上限値に対応したカウント値を該メモリ部の読出アドレス端子へ出力し、該倍率算出手段が抽出した指標値の範囲内である場合には、当該修正前指標値に対応したカウント値を該メモリ部の読出アドレス端子へ出力する読出データ指定部とを有することを特徴とする撮像装置。
7. 請求項１乃至４のいずれか１項に記載の撮像装置において、
   上記拡大処理手段は、入力端子に入力されたデータに所定の乗算係数を乗じたデータを出力端子から出力する乗算器を有し、該乗算器の該乗算係数には上記倍率算出手段が算出した拡大倍率が設定され、上記画像処理手段が出力する一の指標値画像の画素値として用いられる修正前指標値を該乗算器の入力端子に入力して、該乗算器の出力端子から修正後指標値を出力することを特徴とする撮像装置。
8. 請求項１乃至７のいずれか１項に記載の撮像装置において、
   上記画像処理手段は、上記倍率算出手段が算出した拡大倍率が上記実効倍率記憶手段に記憶されている実効拡大倍率よりも小さい場合、上記拡大処理手段の拡大処理による修正後の指標値に基づく画素値をもった指標値画像を生成するときに、該拡大処理により上記理想指標値範囲から外れた修正後の指標値を除外して当該指標値画像を生成することを特徴とする撮像装置。
9. 車両と、該車両の周囲を撮像領域とした画像を撮像する撮像装置とを備えた車両システムにおいて、
   上記撮像装置として、請求項１乃至８のいずれか１項に記載の撮像装置を用い、
   上記撮像装置を構成する少なくとも上記撮像手段が上記車両に設置されていることを特徴とする車両システム。
10. 互いに異なる光学成分を選択的に透過させる複数種類の選択フィルタ領域を周期的に配列した光学フィルタ、又は、特定の光学成分を選択的に透過させる１種類又は２種類以上の選択フィルタ領域及び入射光をそのまま透過させる非選択フィルタ領域を周期的に配列した光学フィルタを通じて、撮像領域内の各地点からの光を受光し、該光学フィルタ上のフィルタ領域ごとの受光量に応じた画像信号を出力する撮像手段と、該撮像手段から出力された画像信号に基づき、撮像領域内の各地点からの光に含まれる互いに異なった複数の光学成分の大きさの違いを示す指標値に基づく画素値をもった指標値画像を出力する画像処理手段とを有する撮像装置における画像処理方法において、
    上記撮像手段から出力される一の指標値画像に対応した画像信号に基づいて算出される指標値の数値範囲である修正前指標値範囲を、上記光学フィルタ上におけるフィルタ領域が理想の透過率特性を有するとした場合に指標値が取り得る最大の理想指標値範囲又はその近傍まで拡大するための拡大倍率を算出する倍率算出工程と、
    上記倍率算出工程で算出された拡大倍率を用いて、上記画像処理手段が出力する一の指標値画像の画素値として用いられる指標値を修正し、修正後の指標値の範囲が上記理想指標値範囲又はその近傍の範囲となるように拡大処理を行う拡大処理工程とを有し、
    上記拡大処理工程では、上記光学フィルタ上におけるフィルタ領域の透過率特性から計算される、修正前指標値が取り得る最大の実効指標値範囲を、上記理想指標値範囲又はその近傍まで拡大するための実効拡大倍率よりも、上記倍率算出工程で算出された拡大倍率が小さい場合には、該実効拡大倍率を用いて上記拡大処理を行うことを特徴とする画像処理方法。