JP7641288B2 - 車載用センシングシステムおよびゲーティングカメラ - Google Patents

Description

本開示は、車両用のセンシングシステムに関する。

運転支援や自動運転のために、車両の周囲に存在する物体の位置および種類をセンシングする物体識別システムが利用される。物体識別システムは、センサと、センサの出力を解析する演算処理装置を含む。センサは、カメラ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ミリ波レーダ、超音波ソナー、アクティブセンサなどの中から、用途、要求精度やコストを考慮して選択される。

ＴＯＦカメラに代わるアクティブセンサとして、ゲーティングカメラ（Gating Camera
あるいはGated Camera）が提案されている（特許文献１，２）。ゲーティングカメラは、撮影範囲を複数のレンジに区切り、レンジ毎に露光タイミングおよび露光時間を変化させて、撮像する。これにより、対象のレンジ毎にスライス画像が得られ、各スライス画像は対応するレンジに含まれる物体のみを含む。

特開２００９－２５７９８３号公報 国際公開ＷＯ２０１７／１１０４１３Ａ１

走行中の雨や雪、霧などは、視界の良否、各種センサの性能に大きく影響を与えるため、重要である。従来では、天候を検出するために、雨滴センサや霧センサなど、専用のセンサを用いる必要があり、コストアップの要因となっていた。

本開示は係る状況においてなされたものであり、そのある態様の例示的な目的のひとつは、天候に関する情報を取得可能なゲーティングカメラの提供にある。

本開示のある態様は、視野を奥行き方向について複数のレンジに区切り、複数のレンジに対応する複数のスライス画像を生成するゲーティングカメラに関する。ゲーティングカメラは、パルス照明光を視野に照射する照明装置と、イメージセンサと、照明装置の発光タイミングとイメージセンサの露光のタイミングを制御するカメラコントローラと、イメージセンサが生成する画像データを処理する演算処理装置と、を備える。カメラコントローラは、天候検出モードにおいて所定レンジについて撮影を行い、演算処理装置は、広レンジについて得られた画像データにもとづいて、天候に関する情報を取得する。

本開示の別の態様もまた、ゲーティングカメラである。このゲーティングカメラは、パルス照明光を視野に照射する照明装置と、イメージセンサと、照明装置の発光タイミングとイメージセンサの露光のタイミングを制御するカメラコントローラと、イメージセンサが生成する画像データを処理する演算処理装置と、を備える。カメラコントローラは、天候検出モードにおいて、狭レンジと、狭レンジを手前方向に拡張した広レンジについて撮影を行い、演算処理装置は、狭レンジについて得られた第１画像データと、広レンジについて得られた第２画像データと、にもとづいて、天候に関する情報を取得する。

本開示によれば、ゲーティングカメラによって天候に関する情報を取得できる。

実施形態１に係るセンシングシステムのブロック図である。 ゲーティングカメラの動作を説明する図である。 図３（ａ）、（ｂ）は、ゲーティングカメラにより得られる画像を説明する図である。 図４（ａ）～（ｃ）は、悪天候下におけるゲーティングカメラの利点を説明する図である。 センシングシステムの動作を説明するタイムチャートである。 実施例１に係るゲーティングカメラの動作を説明する図である。 実施例２に係るゲーティングカメラの動作を説明する図である。 実施例３に係る撮影モードを説明する図である。 実施形態２に係るセンシングシステムのブロック図である。 実施形態３に係るセンシングシステムのブロック図である。 実施形態４に係るセンシングシステムのブロック図である。 実施形態５に係るセンシングシステムのブロック図である。 実施形態６に係るセンシングシステムのブロック図である。 図１４（ａ）、（ｂ）は、実施形態に係るセンシングシステムを備える自動車を示す図である。 実施形態に係る車両用灯具を示すブロック図である。 実施形態７に係るゲーティングカメラを備えるセンシングシステムのブロック図である。 図１７（ａ）、（ｂ）は、ゲーティングカメラによって撮影したスライス画像を示す図である。 図１８（ａ）は、図１７（ａ）のスライス画像のヒストグラムを示す図であり、図１８（ｂ）は、図１７（ｂ）のスライス画像のヒストグラムを示す図である。 図１９（ａ）は、図１７（ｂ）のスライス画像の上部の空間の画像データであり、図１９（ｂ）は、図１９（ａ）の画像データのヒストグラムを示す図である。 天候検出モードにおける撮影レンジを説明する図である。 図２１（ａ）～（ｃ）は、実施例３における差分画像の生成を説明する図である。 図２２（ａ）、（ｂ）は、差分画像にもとづく天候推定を説明する図である。

本開示のいくつかの例示的な実施形態の概要を説明する。この概要は、後述する詳細な説明の前置きとして、実施形態の基本的な理解を目的として、１つまたは複数の実施形態のいくつかの概念を簡略化して説明するものであり、発明あるいは開示の広さを限定するものではない。またこの概要は、考えられるすべての実施形態の包括的な概要ではなく、実施形態の欠くべからざる構成要素を限定するものではない。便宜上、「一実施形態」は、本明細書に開示するひとつの実施形態（実施例や変形例）または複数の実施形態（実施例や変形例）を指すものとして用いる場合がある。

一実施形態に係るゲーティングカメラは、視野を奥行き方向について複数のレンジに区切り、複数のレンジに対応する複数のスライス画像を生成する。ゲーティングカメラは、パルス照明光を視野に照射する照明装置と、イメージセンサと、照明装置の発光タイミングとイメージセンサの露光のタイミングを制御するカメラコントローラと、イメージセンサが生成する画像データを処理する演算処理装置と、を備える。演算処理装置は、天候検出モードにおいて所定レンジについて得られた画像データにもとづいて、天候に関する情報を取得する。

霧や雨、雪は、視野の平面内および奥行き方向に関して、ランダムに、言い換えると均一に存在する。一方、霧や雨、雪以外の物標（車両や歩行者、交通標識、デリニエータなど）は、局所的に、非ランダムに存在する。つまり、悪天候時には、所定レンジについて得られるスライス画像には、均一に分布する霧や雨、雪により乱反射された光が写ることとなり、これはランダムノイズに似た性質を示す。この性質にもとづいて、スライス画像を解析することで、ノイズ成分の有無あるいは過多にもとづいて、天候に関する情報を得ることができる。「天候に関する情報」とは、霧、雨、雪の存在の有無や種類であってもよいし、それらの量（濃さ）であってもよい。

カメラコントローラは、天候検出モードにおいて通常の撮影モードよりも奥行きが長い広レンジを所定レンジとして撮影を行ってもよい。ゲーティングカメラに近い領域が写るように、通常よりも広いレンジについて撮影を行うことで、霧や雨、雪の影響を大きく受けたスライス画像を生成でき、検出精度を高めることができる。

演算処理装置は、広レンジについて得られた画像データに含まれる所定領域にもとづいて、天候に関する情報を取得してもよい。悪天候時に、霧、雨、雪のみが含まれるように、所定領域を定めることで、検出精度を高めることができる。

所定領域は、画像データの上方に位置してもよい。空の部分を、所定領域として選択することで、車両や歩行者、交通標識、デリニエータなどの物標の影響を受けずに、天候を推定できる。

演算処理装置は、所定領域のヒストグラムを算出し、ヒストグラムにもとづいて、天候に関する情報を取得してもよい。霧、雨、雪などを撮影すると、ヒストグラムは、霧や雨、雪などの種類や量にもとづく所定の傾向を示す。したがって、ヒストグラムを生成し、それを解析することで、霧や雨、雪の有無、量などを推定できる。

演算処理装置は、ヒストグラムの形状にもとづいて、天候に関する情報を取得してもよい。霧や雨、雪などが存在すると、ヒストグラムは正規分布に近い形状を示す。

演算処理装置は、ヒストグラムの平均、分散の少なくとも一方にもとづいて、天候に関する情報を取得してもよい。

一実施形態に係るゲーティングカメラは、パルス照明光を視野に照射する照明装置と、イメージセンサと、照明装置の発光タイミングとイメージセンサの露光のタイミングを制御するカメラコントローラと、イメージセンサが生成する画像データを処理する演算処理装置と、を備える。カメラコントローラは、天候検出モードにおいて、狭レンジと、狭レンジを手前方向に拡張した広レンジについて撮影を行い、演算処理装置は、狭レンジについて得られた第１画像データと、広レンジについて得られた第２画像データと、にもとづいて、天候に関する情報を取得する。

たとえば狭レンジに存在する物標の影響を画像処理によって除去することで、差分となるレンジに存在する霧や雨、雪の影響を抽出することができ、天候に関する情報を得ることができる。

演算処理装置は、第１画像データと第２画像データそれぞれのヒストグラムを算出し、２つのヒストグラムにもとづいて天候に関する情報を取得してもよい。たとえば、狭レンジに物標が存在する場合を考える。この場合、狭レンジについて得られる第１画像データのヒストグラムは、正規分布から乖離する。好天候下では、広レンジについて得られる第２画像データのヒストグラムも、正規分布から乖離する。悪天候下では、広レンジについて得られる第２画像データには、霧や雨、雪に起因するノイズが重畳されるため、そのヒストグラムは、正規分布に近づくこととなる。

演算処理装置は、２つのヒストグラムそれぞれの平均と分散を算出し、平均と分散にもとづいて天候に関する情報を取得してもよい。たとえば平均の差分および／または分散の差分が所定のしきい値を超えているときに、悪天候と判定してもよい。

演算処理装置は、２つのヒストグラムそれぞれの形状にもとづいて天候に関する情報を取得してもよい。

演算処理装置は、第１画像データと第２画像データの差分を表す差分画像を生成し、差分画像にもとづいて天候に関する情報を取得してもよい。悪天候時に得られる差分画像には、霧や雨、雪に起因するノイズ成分が支配的に含まれることとなる。したがって差分画像に含まれるノイズ成分にもとづいて、天候に関する情報を得ることができる。

差分画像は、狭レンジに存在する物体が写る範囲について生成されてもよい。

演算処理装置は、差分画像のヒストグラムを生成し、ヒストグラムにもとづいて天候に関する情報を取得してもよい。

（実施形態）
以下、好適な実施形態について、図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施形態は、開示および発明を限定するものではなく例示であって、実施形態に記述されるすべての特徴やその組み合わせは、必ずしも開示および発明の本質的なものであるとは限らない。

（実施形態１）
図１は、実施形態１に係るセンシングシステム１０Ａのブロック図である。このセンシングシステム１０Ａは、自動車やバイクなどの車両に、運転支援あるいは自動運転を目的として搭載され、車両の周囲に存在する物体ＯＢＪを検出する。

センシングシステム１０Ａは、メインセンサ群５０、メインコントローラ６０およびゲーティングカメラ２０を備える。メインセンサ群５０は、ひとつ、あるいは複数のセンサを含みうる。たとえば、メインセンサ群５０は、カメラ５２およびミリ波レーダ５４を含む。あるいはメインセンサ群５０は、ステレオカメラを備えてもよい。あるいは、メインセンサ群５０はＬｉＤＡＲなどを含んでもよい。

メインコントローラ６０は、メインセンサ群５０の出力にもとづいて、車両の周囲の物体の位置や種類を検出し、検出結果ＲＥＳＵＬＴを出力する。たとえばメインコントローラ６０は識別器（分類器）を備えてもよく、検出結果ＲＥＳＵＬＴは、物標の種類（カテゴリ、クラス）および位置に関する情報を含んでもよい。

ゲーティングカメラ２０は、視野を奥行き方向について複数のレンジＲＮＧ_１～ＲＮＧ_Ｎに区切り、複数のレンジＲＮＧ_１～ＲＮＧ_Ｎに対応する複数のスライス画像ＩＭＧｓ_１～ＩＭＧｓ_Ｎを生成する。隣接するレンジ同士は、それらの境界において奥行き方向にオーバーラップしてもよい。

ゲーティングカメラ２０は、照明装置２２、イメージセンサ２４、カメラコントローラ２６、演算処理装置２８を含む。

照明装置（投光器）２２は、カメラコントローラ２６から与えられる発光タイミング信号Ｓ１と同期して、パルス照明光Ｌ１を車両前方の視野に照射する。パルス照明光Ｌ１は赤外光であることが好ましいが、その限りでなく、所定の波長を有する可視光であってもよい。照明装置２２は、たとえばレーザダイオード（ＬＤ）やＬＥＤを用いることができる。ゲーティングカメラ２０を夜間のみ使用するシステムにおいては、パルス照明光Ｌ１の波長を８００ｎｍ付近の近赤外とすることができる。ゲーティングカメラ２０を昼夜を問わずに使用するシステムにおいては、パルス照明光Ｌ１を１μｍより長い波長域とするとよい。

イメージセンサ２４は、複数の画素を含み、カメラコントローラ２６から与えられる露光タイミング信号Ｓ２と同期した露光制御が可能であり、複数の画素からなるスライス画像ＩＭＧｒを生成する。イメージセンサ２４は、パルス照明光Ｌ１と同じ波長に感度を有しており、物体ＯＢＪが反射した反射光（戻り光）Ｌ２を撮影する。ｉ番目のレンジＲＮＧ_ｉに関してイメージセンサ２４が生成するスライス画像ＩＭＧｒは、必要に応じて、生画像あるいは一次画像と称して、ゲーティングカメラ２０の最終的な出力であるスライス画像ＩＭＧｓと区別する。また、生画像ＩＭＧｒおよびスライス画像ＩＭＧｓを総称して、単にスライス画像ＩＭＧとも表記する。

カメラコントローラ２６は、レンジＲＮＧごとに、発光タイミング信号Ｓ１と露光タイミング信号Ｓ２を変化させて、照明装置２２による発光と、イメージセンサ２４の露光の時間差を変化させる。発光タイミング信号Ｓ１は、発光開始のタイミングと発光時間を規定する。露光タイミング信号Ｓ２は、露光開始のタイミング（発光との時間差）と、露光時間を規定する。

演算処理装置２８は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイコン、ＧＰＵ（Graphics Processing Unit）などのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置２８はハードウェアのみで構成してもよい。演算処理装置２８は、イメージセンサ２４の生成する生画像データＩＭＧｒを処理し、最終的なスライス画像ＩＭＧｓを出力する。なお、イメージセンサ２４の出力ＩＭＧｒをそのままスライス画像ＩＭＧｓとして用いる場合、演算処理装置２８は省略することができる。

図２は、ゲーティングカメラ２０の動作を説明する図である。図２には、ｉ番目のレンジＲＮＧ_ｉを興味レンジとして測定するときの様子が示される。照明装置２２は、発光タイミング信号Ｓ１と同期して、時刻ｔ_０～ｔ_１の間の発光期間τ_１の間、発光する。最上段には、横軸に時間、縦軸に距離をとった光線のダイアグラムが示される。ゲーティングカメラ２０から、レンジＲＮＧ_ｉの手前の境界までの距離をｄ_{ＭＩＮｉ、}レンジＲＮＧ_ｉの奥側の境界までの距離をｄ_ＭＡＸｉとする。

ある時刻に照明装置２２を出発した光が、距離ｄ_ＭＩＮｉに到達してその反射光がイメージセンサ２４に戻ってくるまでのラウンドトリップ時間Ｔ_ＭＩＮｉは、
Ｔ_ＭＩＮｉ＝２×ｄ_ＭＩＮｉ／ｃ
である。ｃは光速である。

同様に、ある時刻に照明装置２２を出発した光が、距離ｄ_ＭＡＸｉに到達してその反射光がイメージセンサ２４に戻ってくるまでのラウンドトリップ時間Ｔ_ＭＡＸｉは、
Ｔ_ＭＡＸｉ＝２×ｄ_ＭＡＸｉ／ｃ
である。

レンジＲＮＧ_ｉに含まれる物体ＯＢＪのみを撮影したいとき、カメラコントローラ２６は、時刻ｔ_２＝ｔ_０＋Ｔ_ＭＩＮｉに露光を開始し、時刻ｔ_３＝ｔ_１＋Ｔ_ＭＡＸｉに露光を終了するように、露光タイミング信号Ｓ２を生成する。これが１回の露光動作である。

ｉ番目のレンジＲＮＧ_ｉを撮影する際に、複数回の露光を行ってもよい。この場合、カメラコントローラ２６は、所定の周期τ_２で、上述の照射と露光の動作のセットを複数回にわたり繰り返せばよい。このとき、イメージセンサ２４が生成する生画像データＩＭＧｒは、複数回の露光の積算結果となる。

本実施の形態において、露出（スライス画像内の物体像の輝度値）がレンジごとにばらつかないように、ゲーティングカメラ２０は、レンジ毎に、シャッタースピード（露光時間）、露光回数、感度、パルス照明光の照射強度など（撮影パラメータ）が最適化されている。

図３（ａ）、（ｂ）は、ゲーティングカメラ２０により得られる画像を説明する図である。図３（ａ）の例では、レンジＲＮＧ_２に物体（歩行者）ＯＢＪ_２が存在し、レンジＲＮＧ_３に物体（車両）ＯＢＪ_３が存在している。図３（ｂ）には、図３（ａ）の状況で得られる複数のスライス画像ＩＭＧ_１～ＩＭＧ_３が示される。スライス画像ＩＭＧ_１を撮影するとき、イメージセンサ２４はレンジＲＮＧ_１からの反射光のみにより露光されるため、スライス画像ＩＭＧ_１にはいかなる物体像も写らない。

スライス画像ＩＭＧ_２を撮影するとき、イメージセンサ２４はレンジＲＮＧ_２からの反射光のみにより露光されるため、スライス画像ＩＭＧ_２には、物体像ＯＢＪ_２のみが写る。同様にスライス画像ＩＭＧ_３を撮影するとき、イメージセンサ２４はレンジＲＮＧ_３からの反射光のみにより露光されるため、スライス画像ＩＭＧ_３には、物体像ＯＢＪ_３のみが写る。このようにゲーティングカメラ２０によれば、レンジ毎に物体を分離して撮影することができる。

ゲーティングカメラ２０は、悪天候での撮影において有利である。以下、その理由を説明する。図４（ａ）～（ｃ）は、悪天候下におけるゲーティングカメラ２０の利点を説明する図である。図４（ａ）は、悪天候時の走行シーンの一例を示している。レンジＲＮＧ_３には物体（車両）ＯＢＪ_３が存在している。また図に示す点は、雨粒、雪あるいは霧などの障害物を模式的に示したものである。図４（ｂ）には、図４（ａ）の状況で得られる３番目のレンジのスライス画像ＩＭＧ_３が示される。スライス画像ＩＭＧ_３を撮影するとき、イメージセンサ２４はレンジＲＮＧ_３からの反射光のみにより露光されるため、スライス画像ＩＭＧ_３には、レンジＲＮＧ_１，ＲＮＧ_２の障害物（雨粒、雪、霧）は写らない。つまり測定対象のレンジ以外のレンジに含まれる雨、雪、霧を除去することができる。

図４（ｃ）には、同じ視野を一般的なカメラが撮影した画像を示す。一般的なカメラで撮影すると、すべてのレンジＲＮＧ_３の物体の反射光が写るため、物体ＯＢＪ_３を遮るようにして、多くの障害物が写り込む。

図４（ｂ）と（ｃ）の比較から、ゲーティングカメラ２０が生成するスライス画像ＩＭＧは、悪天候時において、一般的なカメラよりも多くの情報を含むことが分かる。

図１に戻る。本実施形態では、ゲーティングカメラ２０はメインセンサ群５０をアシストする補助的なセンサとして活用される。したがって、ゲーティングカメラ２０は、常時動作するのではなく、走行環境に応じて、動作状態（イネーブル状態ＥＮ）、停止状態（ディセーブル状態ＤＩＳ）が適応的に選択される。

ゲーティングカメラ２０が動作状態となると、カメラコントローラ２６は、発光タイミング信号Ｓ１および露光タイミング信号Ｓ２を生成し、これにより複数のレンジのスライス画像が生成される。ゲーティングカメラ２０の停止状態では、カメラコントローラ２６は、発光タイミング信号Ｓ１および露光タイミング信号Ｓ２を生成せず、したがって、スライス画像は生成されない。

悪天候時にはゲーティングカメラ２０が生成したスライス画像ＩＭＧは、メインコントローラ６０に供給される。そして、ゲーティングカメラ２０の出力が、運転支援または自動運転の制御に利用される。

以上がセンシングシステム１０Ａの構成である。続いてその動作を説明する。図５は、センシングシステム１０Ａの動作を説明するタイムチャートである。

天候（視界）が良い条件では、メインセンサ群５０の信頼性は高い。この場合には、ゲーティングカメラ２０は停止状態となり、メインコントローラ６０は、メインセンサ群５０の出力にもとづいて、物標の検出を行う。

天候（視界）が悪い条件では、メインセンサ群５０の信頼性が低下する。この場合には、ゲーティングカメラ２０が動作状態となり、メインコントローラ６０は、メインセンサ群５０の出力に代えて、あるいはそれに加えて、ゲーティングカメラ２０の検出結果にもとづいて、物標の検出を行う。

以上がセンシングシステム１０Ａの動作である。このセンシングシステム１０Ａによれば、ゲーティングカメラ２０による消費電力の増加を抑制しつつ、悪天候時のセンシングシステム１０Ａの性能低下を抑制できる。

図１に戻る。ゲーティングカメラ２０は、動作状態において、複数の撮影モードが切りかえ可能に構成される。複数の撮影モードは、相対的に性能が高く、消費電力が大きい第１撮影モードと、相対的に性能が低く、消費電力が小さい第２撮影モードと、を含む。

複数の撮影モードについて、いくつかの実施例を説明する。

（実施例１）
撮影モードごとに、フレームレートが異なっていてもよい。「フレームレート」は、測定対象となるすべてのレンジを測定する頻度であり、フレーム周期の逆数である。フレームレートが高い撮影モードでは、高速なセンシングが可能となる代わりに、消費電力が増加する。フレームレートが低い撮影モードでは、センシング速度が低下する代わりに、消費電力を削減できる。

図６は、実施例１に係るゲーティングカメラ２０の動作を説明する図である。第１撮影モードＭＯＤＥ１の間、第１のフレーム周期Ｔ_Ｆ１で、複数のレンジＲＮＧ_１～ＲＮＧ_３の撮影時が実行される。この例ではレンジの個数は３個である。なお、１つのレンジの撮影期間の間に、発光と露光を複数回、繰り返して実行してもよい。

第２撮影モードＭＯＤＥ２の間、第２のフレーム周期Ｔ_Ｆ２（Ｔ_Ｆ２＞Ｔ_Ｆ１）で、複数のレンジＲＮＧ_１～ＲＮＧ_３の撮影時が実行される。フレームレートが低下することにより、第２撮影モードＭＯＤＥ２の消費電力は、第１撮影モードＭＯＤＥ１の消費電力よりも低くなる。

悪天候時のように、ゲーティングカメラ２０が必要とされる状況であっても、状況によっては最高の性能が要求されない場合もある。たとえば悪天候であっても、メインセンサ群５０の出力にもとづくセンシングの精度（信頼性）がある程度高い状況では、ゲーティングカメラ２０のフレームレートを低下させても、センシングに支障は生じない。そこで、このような場合には、第２撮影モードＭＯＤＥ２を選択することで、消費電力を削減できる。

たとえば、雨や雪の量、霧の濃さに応じて、撮影モードを選択してもよい。たとえば雨や雪が相対的に多く、あるいは霧が相対的に濃い状況では、第１撮影モードＭＯＤＥ１を選択し、雨や雪が相対的に少なく、あるいは霧が相対的に薄い状況では、第２撮影モードＭＯＤＥ２を選択してもよい。

あるいは、現在の悪天候の原因（雨、雪、霧のいずれであるか）に応じて、モードを選択してもよい。たとえば、霧が発生し、あるいは降雪時には、第１撮影モードを選択し、降雨時には、第２撮影モードＭＯＤＥ２を選択してもよい。

あるいは、走行シーンに応じて、第１撮影モードＭＯＤＥ１と第２撮影モードＭＯＤＥ２を切りかえてもよい。たとえば相対的に走行速度が高い状況では、第１撮影モードＭＯＤＥ１を選択し、相対的に走行速度が低い状況では、第２撮影モードＭＯＤＥ２を選択してもよい。

（実施例２）
実施例２では、撮影モードごとに、測定するレンジの個数が異なる。たとえば第１撮影モードＭＯＤＥ１では、３個のレンジＲＮＧ_１～ＲＮＧ_３が測定され、第２撮影モードＭＯＤＥ２では、２個のレンジＲＮＧ_１～ＲＮＧ_２が測定される。

図７は、実施例２に係るゲーティングカメラ２０の動作を説明する図である。たとえば第１レンジＲＮＧ_１が０～２５ｍ、第２レンジＲＮＧ_２が２５～５０ｍ、第３レンジＲＮＧ_３が５０～１００ｍであるとする。天候によっては、ゲーティングカメラ２０の性能をもってしても、５０ｍより先のセンシングができないような状況が生じうる。このような場合には、第２撮影モードＭＯＤＥ２を選択することで、消費電力を削減できる。

また、自動運転制御あるいは運転支援制御に必要な視程は、車速に依存する。具体的には、速度が高いほど、より遠くの物標の情報が必要となる。したがって、車速があるしきい値より高い場合には、第１撮影モードＭＯＤＥ１を選択し、車速がしきい値より低い場合には、第２撮影モードＭＯＤＥ２を選択してもよい。

なお、図７では、第２撮影モードＭＯＤＥ２のフレームレートが、第１撮影モードＭＯＤＥ１のフレームレートより低くなっているが、フレームレートは同じとしてもよい。

第１撮影モードＭＯＤＥ１における最も遠いレンジの奥側の境界までの距離（最遠撮影距離）はｄ_ＭＡＸ３であり、第２撮影モードＭＯＤＥ２における最遠撮影距離はｄ_{ＭＡＸ ２}であり、第１撮影モードＭＯＤＥ１と第２撮影モードＭＯＤＥ２とで異なっている。

このような場合に、第２撮影モードＭＯＤＥ２におけるパルス照明光の強度は、図７に示すように、第１撮影モードＭＯＤＥ１のそれに比べて低くてもよい。なお、図７のパルス照明光の強度は、連続発光していることを意図するものではない。第２撮影モードＭＯＤＥ２では、パルス照明光を遠距離まで投射する必要がないため、強度を低下させることができる。また、照明装置２２の発熱量を減らすことができる。

（実施例３）
実施例３では、撮影モードごとに、複数のレンジの奥行きが異なる。図８は、実施例３に係る撮影モードを説明する図である。たとえば、第１撮影モードＭＯＤＥ１では、第１レンジＲＮＧ_１は０～２５ｍ、第２レンジＲＮＧ_２は２５～５０ｍ、第３レンジＲＮＧ_３は５０～１００ｍであるのに対して、第２撮影モードＭＯＤＥ２では、第１レンジＲＮＧ_１は０～２５ｍ、第２レンジＲＮＧ_２は２５～５０ｍ、第３レンジＲＮＧ_３は５０～７５ｍである。つまり第１撮影モードＭＯＤＥ１の最遠撮影距離は１００ｍであるのに対して、第２撮影モードＭＯＤＥ２の最遠撮影距離は７５ｍと短くなっている。

実施例３でも、実施例２と同様に、第２撮影モードＭＯＤＥ２では、パルス照明光を遠距離まで投射する必要がないため、強度を低下させることができる。また、照明装置２２の発熱量を減らすことができる。

実施例３における撮影モードの選択は、実施例２と同様に、天候や視界の良否にもとづいて行ってもよいし、車速にもとづいて行ってもよい。

（実施例４）
実施例４において、ゲーティングカメラ２０は、複数の撮影モードに加えて、スタンバイモードに切りかえ可能である。スタンバイモードでは、ゲーティングカメラ２０はいつでも撮影可能な状態にあるが、自発的な撮影は行わず、待機している。スタンバイモードにおいて、カメラコントローラ２６は、メインコントローラ６０との間で通信可能であり、メインコントローラ６０から撮影指示のコマンドを受けると、直ちに撮影を実行する。メインコントローラ６０が指示されたときだけ撮影を行うことにより、無駄な消費電力を削減できる。

続いてゲーティングカメラ２０の動作状態／停止状態の制御、ならびに、撮影モードの制御について説明する。

本実施形態において、ゲーティングカメラ２０の動作状態／停止状態の制御、ならびに撮影モードの制御は、ゲーティングカメラ２０自身が自律的に行う。

（制御方法１）
制御方法１では、ゲーティングカメラ２０は、動作状態／停止状態の切りかえ、ならびに撮影モードの選択を、自身が生成したスライス画像ＩＭＧにもとづいて行う。

スライス画像ＩＭＧには、視野の奥行き方向の特定の範囲に含まれる被写体が写る。この性質を利用することで、視界の良否や天候を推定し、ゲーティングカメラの制御に活用することができる。スライス画像ＩＭＧにもとづく天候推定、視界推定については後述する。

カメラコントローラ２６は、スライス画像ＩＭＧにもとづいて、ゲーティングカメラ２０の動作／停止を決定する。カメラコントローラ２６は、メインセンサ群５０の信頼性の低下が推定される状況において、ゲーティングカメラ２０を動作状態に切りかえる。

さらにカメラコントローラ２６は、スライス画像ＩＭＧにもとづいて、第１撮影モードＭＯＤＥ１、第２撮影モードＭＯＤＥ２を選択する。選択の条件は、撮影モードに関する実施例１～４にもとづいて定めればよい。

なお、この制御方法１では、ゲーティングカメラ２０は、停止状態において、撮影モードおよび動作／停止の制御のための撮影を、間欠的に（たとえば数十秒間隔～数分間隔）行う。

（制御方法２）
制御方法２では、ゲーティングカメラ２０のカメラコントローラ２６は、動作状態／停止状態の切りかえを、少なくともひとつの車両信号にもとづいて行う。車両信号は、レインセンサの出力、霧センサの出力、車速情報、メインセンサの機能不全を示すフェイル信号、メインコントローラの機能不全や認識精度低下を示すフェイル信号、ワイパーの制御信号、フォグランプの制御信号、などが例示される。カメラコントローラ２６は車両信号にもとづいて、悪天候と判定した場合に、ゲーティングカメラ２０を動作状態として撮影を開始する。

カメラコントローラ２６は、撮影モードについては、制御方法１と同様に、スライス画像ＩＭＧにもとづいて実行する。

制御方法２では、制御方法１のように、停止状態の間、動作／停止の制御のための撮影が不要である。

（制御方法３）
制御方法３では、カメラコントローラ２６は、動作状態／停止状態の切りかえ、および撮影モードの制御の両方を、少なくともひとつの車両信号にもとづいて行う。

（制御方法４）
制御方法４では、カメラコントローラ２６は、動作状態／停止状態の切りかえをスライス画像ＩＭＧにもとづいて行い、撮影モードの制御を、少なくともひとつの車両信号にもとづいて行う。

動作状態／停止状態の制御、撮影モードの制御は、車両信号とスライス画像の解析結果の両方にもとづいて行ってもよい。

（実施形態２）
図９は、実施形態２に係るセンシングシステム１０Ｂのブロック図である。実施形態２では、ゲーティングカメラ２０の動作状態／停止状態は、外部からのイネーブル信号ＥＮにもとづいて制御され、ゲーティングカメラ２０の撮影モードは、ゲーティングカメラ２０自身が自律的に制御する。

たとえば、図９では、ゲーティングカメラ２０の動作状態／停止状態は、メインコントローラ６０によって制御される。メインコントローラ６０は、実施形態１で説明したのと同様に、少なくともひとつの車両情報にもとづいて、ゲーティングカメラ２０の動作状態／停止状態を決定し、イネーブル信号ＥＮを生成してもよい。またメインコントローラ６０は、ゲーティングカメラ２０が生成したスライス画像ＩＭＧにもとづいて、ゲーティングカメラ２０の動作状態／停止状態を制御してもよい。

あるいはメインコントローラ６０は、車両信号とスライス画像の両方にもとづいて、ゲーティングカメラ２０の動作状態／停止状態を制御してもよい。

一方、実施形態２において、カメラコントローラ２６は、スライス画像ＩＭＧにもとづいて、ゲーティングカメラ２０の撮影モードを選択してもよい。あるいはカメラコントローラ２６は、車両信号にもとづいて、ゲーティングカメラ２０の撮影モードを選択してもよい。あるいはカメラコントローラ２６は、車両信号とスライス画像の両方にもとづいて、ゲーティングカメラ２０の撮影モードを選択してもよい。

（実施形態３）
図１０は、実施形態３に係るセンシングシステム１０Ｃのブロック図である。実施形態３では、ゲーティングカメラ２０は、車両用灯具２００に搭載される。車両用灯具２００は、図示しないロービームやハイビームを統合的に制御する灯具ＥＣＵ（Electronic Control Unit）２１０を備える。

ゲーティングカメラ２０の動作状態／停止状態は、灯具ＥＣＵ２１０が生成するイネーブル信号ＥＮにもとづいて制御され、ゲーティングカメラ２０の撮影モードは、ゲーティングカメラ２０自身が自律的に制御する。灯具ＥＣＵ２１０は、車両信号とスライス画像の少なくとも一方にもとづいて、ゲーティングカメラ２０の動作状態／停止状態を制御する。

（実施形態４）
図１１は、実施形態４に係るセンシングシステム１０Ｄのブロック図である。実施形態４では、ゲーティングカメラ２０は走行中、基本的には常時動作するものであり、撮影モードのみが切りかえ可能となっている。

ゲーティングカメラ２０（カメラコントローラ２６）は、スライス画像ＩＭＧと車両信号の少なくとも一方にもとづいて、撮影モードを選択する。

（実施形態５）
図１２は、実施形態５に係るセンシングシステム１０Ｅのブロック図である。実施形態５では、ゲーティングカメラ２０は、複数の撮影モードの切りかえはサポートしておらず、動作状態（イネーブル状態）／停止状態（ディセーブル状態）の切りかえのみが可能となっている。

ゲーティングカメラ２０（カメラコントローラ２６）は、スライス画像ＩＭＧと車両信号の少なくとも一方にもとづいて、ゲーティングカメラ２０の動作状態／停止状態を切りかえる。

（実施形態６）
図１３は、実施形態６に係るセンシングシステム１０Ｆのブロック図である。実施形態６では、メインセンサ群５０の一部（この例ではカメラ５２）、あるいは全部が省略されている。

ゲーティングカメラ２０は、実施形態１～５で説明したように、動作状態／停止状態の切りかえ、撮影モードの切りかえの両方、あるいはいずれか一方が制御可能となっている。動作状態／停止状態の切りかえ、撮影モードの切りかえについては、実施形態１～５で説明した通りである。

図１４（ａ）、（ｂ）は、実施形態に係るセンシングシステム１０を備える自動車３００を示す図である。図１４（ａ）を参照する。自動車３００は、ヘッドランプ（灯具）３０２Ｌ，３０２Ｒを備える。

メインセンサ群５０のカメラ５２やミリ波レーダ５４は、車両のセンシングに適した箇所に配置されている。たとえばカメラ５２は、ルームミラーの裏側に設けられ、ミリ波レーダ５４は、車両の前方に配置される。メインコントローラ６０は、車室内あるいはエンジンルーム内に配置される。

ゲーティングカメラ２０の照明装置２２は、左右のヘッドランプ３０２Ｌ，３０２Ｒの少なくとも一方に内蔵される。イメージセンサ２４は、車両の一部、たとえばルームミラーの裏側に取り付けることができる。あるいはイメージセンサ２４は、フロントグリルやフロントバンパーに設けてもよい。カメラコントローラ２６は、車室内に設けてもよいし、エンジンルームに設けてもよいし、ヘッドランプに内蔵してもよい。

図１４（ｂ）を参照する。図１４（ｂ）に示すように、イメージセンサ２４は、左右のヘッドランプ３０２Ｌ，３０２Ｒのいずれかに内蔵してもよい。

図１５は、実施形態に係る車両用灯具２００を示すブロック図である。車両用灯具２００は、図１４（ｂ）のヘッドランプ３０２に対応しており、ロービームユニット２０２、ハイビームユニット２０４、灯具ＥＣＵ２１０およびゲーティングカメラ２０を備える。

灯具ＥＣＵ２１０は、車両側ＥＣＵ３１０からの制御指令にもとづいて、ロービームユニット２０２およびハイビームユニット２０４のオン、オフあるいは配光を制御する。また、いくつかの実施形態、実施例において、灯具ＥＣＵ２１０は、ゲーティングカメラ２０の動作状態／停止状態を切りかえてもよい。

またゲーティングカメラ２０は、車両用灯具２００の筐体に内蔵されている。なお、イメージセンサ２４、カメラコントローラ２６、演算処理装置２８の少なくともひとつは、車両用灯具２００の筐体の外側に設けてもよい。

（スライス画像にもとづく視界推定、天候推定）
ゲーティングカメラは、奥行きについて、自由に注目レンジを設定し、その注目レンジに含まれる物体のみを撮影することができる。この特性を利用して、ゲーティングカメラ２０自身が、自分で撮影したスライス画像ＩＭＧにもとづいて、天候に関する情報を取得する技術について説明する。

図１６は、実施形態７に係るゲーティングカメラ２０Ｇを備えるセンシングシステム１０Ｇのブロック図である。ゲーティングカメラ２０Ｇは、照明装置２２、イメージセンサ２４、カメラコントローラ２６Ｇ、演算処理装置２８Ｇを備える。

カメラコントローラ２６Ｇは、通常の撮影モードに加えて、天候検出モードが選択可能である。天候検出モードでは、天候検出のために定めた所定レンジを対象とした撮影を行う。演算処理装置２８Ｇは、天候検出モードにおいて所定レンジについて得られた画像データ（スライス画像）ＩＭＧｆにもとづいて、天候に関する情報ＩＮＦＯ＿ＦＣＳＴを取得する。

霧や雨、雪は、視野の平面内および奥行き方向に関して、ランダムに、言い換えると均一に存在する。一方、霧や雨、雪以外の物標（車両や歩行者、交通標識、デリニエータなど）は、局所的に、非ランダムに存在する。つまり、悪天候時には、所定レンジＲＮＧｆについて得られるスライス画像には、均一に分布する霧や雨、雪により乱反射された光が写ることとなり、これはランダムノイズに似た性質を示す。この性質にもとづいて、画像データＩＭＧｆを解析することにより、天候に関する情報を得ることができる。

以下、天候検出の具体例を、実施例１～実施例３をもとに説明する。

（実施例１）
カメラコントローラ２６Ｇは、天候検出モードにおいて、通常の撮影モードよりも奥行き方向が長い広レンジＲＮＧｗを所定レンジＲＮＧｆとして撮影を行う。広レンジＲＮＧｗは、通常の撮影モードにおけるあるレンジを手前に拡大したものであってよい。たとえば、通常の撮影モードにおいて、ＲＮＧ_１を０～２５ｍ、ＲＮＧ_２を２５～５０ｍ、ＲＮＧ_３を５０～７５ｍ、ＲＮＧ_４を７５～１００ｍとして、４つのレンジＲＮＧ_１～ＲＮＧ_４について撮影を行うとする。天候検出用の広レンジＲＮＧｗは、二番目のレンジＲＮＧ２を、手前方向に拡張したレンジとすることができ、たとえば１０～５０ｍのように定めてもよい。レンジを拡大するために、カメラコントローラ２６Ｇは、イメージセンサ２４の露光時間を長くする。

図１７（ａ）、（ｂ）は、ゲーティングカメラによって撮影したスライス画像を示す図である。図１７（ａ）は、悪天候下（赤外光のエネルギーにもとづく視程５０ｍ程度の霧中）で通常撮影モードのあるレンジ（２５～１００ｍ）について得られたスライス画像である。図１７（ｂ）は、同じ状況で、図１７（ａ）のレンジを手前側に拡大した広レンジＩＭＧｗ（６～１００ｍ）について得られたスライス画像ＩＭＧｆである。

図１７（ａ）のスライス画像には、奥側に存在する物体からの反射光のみが写っているのに対して、図１７（ｂ）のスライス画像ＩＭＧｆには、奥側の物体からの反射光に加えて、手前に拡張した範囲に位置する霧（雨、雪）による反射光が写り込み、したがって手前側の霧、雨、雪によって、奥側の物体が隠蔽される。つまり、手前側に広く撮影したスライス画像ＩＭＧｆは、霧（雨、雪）の情報を多く含むこととなる。天候検出モードにおいてこのようなスライス画像ＩＭＧｆを撮影することで、天候の推定が可能となる。

図１８（ａ）は、図１７（ａ）のスライス画像のヒストグラムを示す図であり、図１８（ｂ）は、図１７（ｂ）のスライス画像のヒストグラムを示す図である。各ヒストグラムの横軸は画素値（階調値）、縦軸は度数（発生頻度）を表す。図１８（ａ）に示すように、奥側の物標からの反射光のヒストグラムは、物標の大きさおよび反射率が反映され、その結果として、急峻なエッジや複数のピークしたものとなり、正規分布から乖離する。一方、図１８（ｂ）に示すように、広く定めたレンジＲＮＧｗについて得られたスライス画像では、手前の霧、雨、雪によって奥側の物体が隠蔽されるため、スライス画像のヒストグラムは、ランダムノイズを含む画像のヒストグラムに近づくこととなる。その結果、ヒストグラムはシングルピークとなり、また肩はなだらかになる。

このように、悪天候下では、所定レンジＲＮＧｆについて得られたスライス画像ＩＭＧｆのヒストグラムは、図１８（ｂ）に示すものに近づく傾向がある。反対に、霧、雨、雪が存在しない好天候下では、スライス画像ＩＭＧｆのヒストグラムは図１８（ａ）のそれに近づく。そこで、演算処理装置２８ｇは、スライス画像ＩＭＧｆのヒストグラムを取得することにより、天候の良否を判定することができる。

なお、天候検出モードにおいて、所定レンジＲＮＧｆの奥行きを長くすることは必須ではなく、通常の撮影モードと同じ奥行き長としてもよい。

演算処理装置２８ｇは、スライス画像ＩＭＧｆの全体についてヒストグラムを作成してもよいが、その一部分（所定領域）のみを抽出して、ヒストグラムを生成してもよい。

悪天候時に、霧、雨、雪のみが含まれ、好天候時には、いかなる物体も存在しないように、所定領域を定めることで、検出精度を高めることができる。具体的には、空の部分を所定領域として定めてもよい。この場合、所定領域は、画像データの上方の中央に配置するとよい。

図１９（ａ）は、図１７（ｂ）のスライス画像ＩＭＧｆの上部の空間の画像データであり、図１９（ｂ）は、図１９（ａ）の画像データのヒストグラムを示す図である。このように、悪天候時に、空に相当する部分のヒストグラムを生成すると、正規分布に近いヒストグラムが得られる一方、好天候時には、反射がないため、ヒストグラムの分布は、低階調の領域に集中する。

演算処理装置２８ｇは、スライス画像ＩＭＧｆの一部分（あるいは全体）のヒストグラムを生成し、悪天候下においてヒストグラムに現れる特徴にもとづいて、天候を判定してもよい。たとえば演算処理装置２８ｇは、ヒストグラムの形状にもとづいて、天候を判定してもよく、たとえばヒストグラムが正規分布に近いと判定した場合、悪天候と判定してもよい。正規分布に近いかどうかは、正規性の検定として知られる公知のアルゴリズムを利用してもよい。あるいは悪天候時には、図１８（ｂ）に示すように、ヒストグラムの肩がなだらかとなるため、分散σが大きくなる。そこで、分散σが所定のしきい値を超えたときに、悪天候と判定してもよい。あるいは分散σが大きいほど悪天候（霧が濃い、雨や雪の量が多い）と判定してもよい。

（実施例２）
実施例１では、１つの所定レンジＲＮＧｆについて得られる１枚のスライス画像ＩＭＧｆにもとづいて、天候を推定したが、実施例２では、２つの所定レンジＲＮＧｆｘ、ＲＮＧｆｙについて撮影を行い、各レンジについて得られる２枚のスライス画像ＩＭＧｆｘ、ＩＭＧｆｘにもとづいて天候を推定する。

具体的には、２つの所定レンジの一方（狭レンジともいう）ＲＮＧｆｘは、奥行き方向が相対的に狭く、他方（広レンジともいう）ＲＮＧｆｙは、奥行き方向が相対的に広く定められる。広レンジＲＮＧｙは、狭レンジＲＮＧｘを手前側に拡張した関係にあってもよい。図２０は、天候検出モードにおける撮影レンジを説明する図である。破線は、イメージセンサ２４の視野を表す。

悪天候時に、狭レンジＲＮＧｆｘと広レンジＲＮＧｙについてゲーティングカメラにより撮影を行うと、図１８（ａ）、（ｂ）に示すような２枚のスライス画像（第１スライス画像、第２スライス画像という）が得られる。

演算処理装置２８Ｇは、狭レンジＲＮＧｆｘについて得られた第１画像データＩＭＧｆｘと、広レンジＲＮＧｆｙについて得られた第２画像データＩＭＧｆｙと、にもとづいて、天候に関する情報を取得することができる。

具体的には演算処理装置２８Ｇは、第１画像データＩＭＧｆｘと第２画像データＩＭＧｆｙそれぞれのヒストグラムを算出し、２つのヒストグラムにもとづいて天候に関する情報を取得する。この２つのヒストグラムは、図１９（ａ）、（ｂ）に示した２つのヒストグラムに相当する。

第１画像データＩＭＧｆｘについて得られるヒストグラムは、狭レンジＲＮＧｆｘに含まれる物標に応じた形状や分散、平均を有する。一方、第２画像データＩＭＧｆｙについて得られるヒストグラムは、好天候時には、第１画像データＩＭＧｆｘのそれに近づく。一方、悪天候時には、第２画像データＩＭＧｆｙのヒストグラムは、ランダムノイズを多く含む画像のそれに近づく。具体的には、悪天候時のヒストグラムには、（i）形状が正
規分布に近い、（ii）肩がなだらか、（iii）分散が大きいといった特徴が現れる。

そこで演算処理装置２８Ｇは、２つのヒストグラムそれぞれの平均を算出し、平均の差分が所定のしきい値を超えたときに（条件１）、悪天候と判定してもよい。
あるいは演算処理装置２８Ｇは、２つのヒストグラムそれぞれの分散σを算出し、分散の差分が所定のしきい値を超えたときに（条件２）、悪天候と判定してもよい。

演算処理装置２８Ｇは、条件１と２の両方が真であるときに、悪天候と判定してもよいし、いずれか一方が真であるときに悪天候と判定してもよい。

演算処理装置２８Ｇは、２つのヒストグラムそれぞれの形状が類似しているか否かを判定し、類似していない場合に悪天候と判定してもよい。

（実施例３）
実施例３では、実施例２と同様に、狭レンジＲＮＧｆｘと広レンジＲＮＧｆｙについてスライス画像ＩＭＧｆｘ、ＩＭＧｆｙを生成し、２つのスライス画像ＩＭＧｆｘ、ＩＭＧｆｙにもとづいて、天候に関する情報を取得する。より具体的には演算処理装置２８Ｇは、第１画像データＩＭＧｆｘと第２画像データＩＭＧｆｙの差分を表す差分画像ＩＭＧｄを生成し、差分画像ＩＭＧｄにもとづいて天候に関する情報を取得する。

図２１（ａ）～（ｃ）は、実施例３における差分画像の生成を説明する図である。差分画像ＩＭＧｄの各画素の画素値ＩＭＧｄ（ｉ）は、第１画像データＩＭＧｆｘと第２画像データＩＭＧｆｙの対応する画素の画素値のＩＭＧｆｘ（ｉ）、ＩＭＧｆｙ（ｉ）の差分である。
ＩＭＧｄ（ｉ）＝ＩＭＧｆｙ（ｉ）－ＩＭＧｆｘ（ｉ）
ＩＭＧ＃（ｉ）は、画像ＩＭＧ＃のｉ番目の画素の画素値を示す。差分画像では、奥側に位置する物体の反射光の多くはキャンセルされ、カメラに近い領域のノイズ成分（霧、雨、雪）が多く含まれることとなる。

演算処理装置２８Ｇは、差分画像ＩＭＧｄの全体にもとづいて天候を推定してもよいが、その一部分にもとづいて、天候を推定してもよい。図２０に示すように、カメラの視野ＦＯＶのうち、ハッチングを付した一部の視野角内には、奥側のレンジＲＮＧｆｘに存在する物体は写らない。そこで演算処理装置２８Ｇは、第２画像データＩＭＧｆｙのうち、ハッチングを付した視野角に相当する部分を除外し、残りの部分（有効領域）にもとづいて天候を推定するとよい。有効領域は、狭レンジＲＭＧｆｘに存在する物体が写る範囲とも把握できる。

図２２（ａ）、（ｂ）は、差分画像ＩＭＧｄにもとづく天候推定を説明する図である。図２２（ａ）の差分画像ＩＭＧｄには、矩形領域が示される。この矩形領域は、上述の有効領域に設けられる。図２２（ｂ）は、図２２（ａ）の矩形領域内のヒストグラムを示す。演算処理装置２８Ｇは、このヒストグラムにもとづいて、天候に関する情報を取得する。

演算処理装置２８Ｇは、実施例１で説明したのと同様に、ヒストグラムにもとづいて天気を推定することができる。具体的には、ヒストグラムの形状、ピークの個数、肩の傾き、分散等にもとづいて、ヒストグラムがノイズに起因するものであるか、物体に起因するものであるかを判定する。

実施形態７で説明した天候の推定は、実施形態１～実施形態６の技術と組み合わせて、ゲーティングカメラ２０の撮影モードの制御や、オン／オフの切りかえに用いることができるが、その限りでない。

以上、本発明について、実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、こうした変形例について説明する。

（変形例１）
実施形態では、ゲーティングカメラ２０からメインコントローラ６０に対してスライス画像ＩＭＧを出力することとしたが、その限りでない。たとえばゲーティングカメラ２０の演算処理装置２８に、識別器（分類器）を実装し、識別結果、すなわち物標の種類（カテゴリ）および位置を、メインコントローラ６０に出力するようにしてもよい。

（変形例２）
実施形態では、ゲーティングカメラ２０の出力を、運転支援または自動運転の制御に利用することとしたがその限りでない。たとえば悪天候時にはゲーティングカメラ２０をアクティブとし、ゲーティングカメラ２０が生成するスライス画像ＩＭＧを、ＨＵＤ（Head
Up Display）などの表示装置に表示し、ユーザの視界を補助してもよい。

（変形例３）
実施形態では、２つの撮影モードを切りかえる場合を説明したが、切りかえ可能な撮影モードの個数は３以上であってもよい。

実施の形態にもとづき、具体的な語句を用いて本発明を説明したが、実施の形態は、本発明の原理、応用の一側面を示しているにすぎず、実施の形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。

本開示は、車両用のセンシングシステムに利用できる。

Ｓ１ 発光タイミング信号
Ｓ２ 露光タイミング信号
１０ センシングシステム
２０ ゲーティングカメラ
２２ 照明装置
２４ イメージセンサ
２６ カメラコントローラ
２８ 演算処理装置
５０ メインセンサ群
５２ カメラ
５４ ミリ波レーダ
６０ メインコントローラ
２００ 車両用灯具
２０２ ロービームユニット
２０４ ハイビームユニット
２１０ 灯具ＥＣＵ
３００ 自動車
３０２ ヘッドランプ
３１０ 車両側ＥＣＵ

Claims (13)

1. 視野を奥行き方向について複数のレンジに区切り、複数のレンジに対応する複数のスライス画像を生成するゲーティングカメラであって、
   パルス照明光を視野に照射する照明装置と、
   イメージセンサと、
   前記照明装置の発光タイミングと前記イメージセンサの露光のタイミングを制御するカメラコントローラと、
   前記イメージセンサが生成する画像データを処理する演算処理装置と、
   を備え、
   前記演算処理装置は、天候検出モードにおいて所定レンジについて得られた前記画像データにもとづいて、天候に関する情報を取得し、
   前記カメラコントローラは、前記天候検出モードにおいて通常の撮影モードよりも奥行きが長い広レンジを前記所定レンジとして撮影を行うことを特徴とするゲーティングカメラ。
2. 前記演算処理装置は、前記画像データに含まれる所定領域にもとづいて、天候に関する情報を取得することを特徴とする請求項１に記載のゲーティングカメラ。
3. 前記所定領域は、前記画像データの上方に位置することを特徴とする請求項２に記載のゲーティングカメラ。
4. 前記演算処理装置は、前記所定領域のヒストグラムを算出し、前記ヒストグラムにもとづいて、天候に関する情報を取得することを特徴とする請求項２または３に記載のゲーティングカメラ。
5. 前記演算処理装置は、前記ヒストグラムの形状にもとづいて、天候に関する情報を取得することを特徴とする請求項４に記載のゲーティングカメラ。
6. 前記演算処理装置は、前記ヒストグラムの平均、分散の少なくとも一方にもとづいて、天候に関する情報を取得することを特徴とする請求項４に記載のゲーティングカメラ。
7. 視野を奥行き方向について複数のレンジに区切り、複数のレンジに対応する複数のスライス画像を生成するゲーティングカメラであって、
   パルス照明光を視野に照射する照明装置と、
   イメージセンサと、
   前記照明装置の発光タイミングと前記イメージセンサの露光のタイミングを制御するカメラコントローラと、
   前記イメージセンサが生成する画像データを処理する演算処理装置と、
   を備え、
   前記カメラコントローラは、天候検出モードにおいて、狭レンジと、前記狭レンジを手前方向に拡張した広レンジについて撮影を行い、
   前記演算処理装置は、前記狭レンジについて得られた第１画像データと、前記広レンジについて得られた第２画像データと、にもとづいて、天候に関する情報を取得することを特徴とするゲーティングカメラ。
8. 前記演算処理装置は、前記第１画像データと前記第２画像データそれぞれのヒストグラムを算出し、２つのヒストグラムにもとづいて前記天候に関する情報を取得することを特徴とする請求項７に記載のゲーティングカメラ。
9. 前記演算処理装置は、前記２つのヒストグラムそれぞれの平均と分散を算出し、前記平均と前記分散にもとづいて前記天候に関する情報を取得することを特徴とする請求項８に記載のゲーティングカメラ。
10. 前記演算処理装置は、前記２つのヒストグラムそれぞれの形状にもとづいて前記天候に関する情報を取得することを特徴とする請求項８に記載のゲーティングカメラ。
11. 前記演算処理装置は、前記第１画像データと前記第２画像データの差分を表す差分画像を生成し、前記差分画像にもとづいて前記天候に関する情報を取得することを特徴とする請求項７に記載のゲーティングカメラ。
12. 前記差分画像は、前記狭レンジに存在する物体が写る範囲について生成されることを特徴とする請求項１１に記載のゲーティングカメラ。
13. 前記演算処理装置は、前記差分画像のヒストグラムを生成し、前記ヒストグラムにもとづいて前記天候に関する情報を取得することを特徴とする請求項１１または１２に記載のゲーティングカメラ。

Images