JP2012027773A - 擬似濃淡画像生成装置及びプログラム - Google Patents

Abstract

【課題】画像全体の視認性を保持したまま、背景に対して歩行者が強調された擬似濃淡画像を生成する。
【解決手段】近赤外画像抽出部２０で、撮影装置１２から出力された近赤外画像の輝度情報を抽出し、可視光画像抽出部２２で、可視光画像の輝度情報を抽出し、近赤外画像領域設定部２４で、擬似濃淡画像において、遠方で、かつ信号等の灯火を含まない範囲に相当する領域を近赤外画像の輝度情報を用いる設定領域に設定し、擬似濃淡画像生成部２６で、近赤外画像領域設定部２４で設定された設定領域に近赤外画像の輝度情報を用い、それ以外の領域に可視光画像の輝度情報を用いて近赤外画像と可視光画像とを合成した擬似濃淡画像を生成する。
【選択図】図１

Description

本発明は、擬似濃淡画像生成装置及びプログラムに係り、特に、夜間における視覚支援のための擬似濃淡画像を生成する擬似濃淡画像生成装置及びプログラムに関する。

従来、可視光カメラが可視光による第１の風景画像を得、赤外線カメラが赤外線による第２の風景画像を得、ＣＰＵがドライバにとって視認困難な視界部位に該当する第１の風景画像上の部位を合成領域として決定し、第２の風景画像から合成領域に該当する部位を切出して第１の風景画像の対応する部位に合成して合成画像を得、表示モニタに表示させる表示処理装置が提案されている（例えば、特許文献１参照）。

また、可視画像を撮影する可視外界センサにて撮影する領域の少なくとも一部を含む領域の赤外画像を赤外外界センサにて撮影し、可視画像上の消失点、可視画像上の道路領域、あるいは、入力装置を介して操作者から入力される入力指示に応じて、赤外画像に重畳させる可視画像中の重畳領域を設定し、可視画像上の重畳領域と、赤外画像とを重畳させる表示装置が提案されている（例えば、特許文献２参照）。

特開平１１−３０８６０９号公報 特開２００８−２３０３５８号公報

しかしながら、上記特許文献１に記載の技術では、対向車のヘッドライトによる眩惑を防止するために、高輝度領域を検出して可視光画像に対する赤外画像の重畳領域を設定しているが、高輝度領域であっても信号などの領域は、赤外画像を重畳することにより逆に視認性が低下してしまう、という問題がある。

また、上記特許文献２に記載の技術では、可視画像上の消失点より上部を赤外画像の重畳領域として設定しているが、この領域に信号や街灯等のドライバにとって夜間の運転時に重要な手がかりが存在するため、特許文献１の場合と同様に視認性が低下して、必要な情報を見落としてしまう可能性がある、という問題がある。

本発明は、上記の問題点を解決するためになされたもので、画像全体の視認性を保持したまま、背景に対して歩行者が強調された擬似濃淡画像を生成することができる擬似濃淡画像生成装置及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明の擬似濃淡画像生成装置は、所定領域を撮影し、可視光を含む第１波長帯の光による可視光画像、及び帯域が前記第１波長帯とは異なり、かつ赤外光を含む第２波長帯の光による赤外画像を出力する撮影手段から出力された前記可視光画像及び前記赤外画像の各々から輝度情報を抽出する輝度情報抽出手段と、前記撮影手段からの路面上の距離が予め定めた第１の距離以上で、かつ前記撮影手段からの路面上の距離が前記第１の距離より遠方の予め定めた第２の距離における路面からの高さが予め定めた所定高さ以内に相当する領域において、前記赤外画像の輝度情報が前記可視光画像の輝度情報より比率が高くなるように前記可視光画像と前記赤外画像とを合成した擬似濃淡画像を生成する生成手段と、を含んで構成されている。

本発明の擬似濃淡画像生成装置によれば、輝度情報抽出手段が、所定領域を撮影し、可視光を含む第１波長帯の光による可視光画像、及び帯域が第１波長帯とは異なり、かつ赤外光を含む第２波長帯の光による赤外画像を出力する撮影手段から出力された可視光画像及び赤外画像の各々から輝度情報を抽出する。撮影手段は、１台で可視光画像及び赤外画像を撮影可能なカメラでもよいし、可視光画像及び赤外画像をそれぞれ撮影する複数のカメラを用いてもよい。

そして、生成手段が、撮影手段からの路面上の距離が予め定めた第１の距離以上で、かつ撮影手段からの路面上の距離が第１の距離より遠方の予め定めた第２の距離における路面からの高さが予め定めた所定高さ以内に相当する領域において、赤外画像の輝度情報が可視光画像の輝度情報より比率が高くなるように可視光画像と赤外画像とを合成した擬似濃淡画像を生成する。このように、背景に街灯や対向車のヘッドライト等の明かりが集中して、その前景となる歩行者等とのコントラストが低下する遠方に相当する領域において、赤外画像の輝度情報の比率を高くして背景を暗くすることで、歩行者等とのコントラストが明確になる。また、この領域には、撮影手段からの距離が近い箇所や、遠方であっても信号等の高さのある灯火は含まれない範囲とすることで、画像全体の視認性は保持される。

このように、画像全体の視認性を保持したまま、背景に対して歩行者が強調された擬似濃淡画像を生成することができる。

また、前記領域を、無限遠点の近傍領域とすることができる。無限遠点の近傍領域は、上記のように明かりが集中する確率が高い領域である。

また、前記領域に対応する前記赤外画像の輝度情報として、前記赤外画像の所定ライン数分の輝度情報を用いるようにすることができる。これにより、可視光画像と赤外画像とを合成して擬似濃淡画像を生成する際の処理がライン単位となって、画素単位で処理する場合に比べて処理を簡略化することができる。

また、本発明の擬似濃淡画像生成装置は、前記可視光画像または前記赤外画像から路面領域を検出する路面検出手段を含んで構成することができ、前記生成手段は、前記路面検出手段により検出された路面領域において、前記赤外画像の輝度情報が前記可視光画像の輝度情報より比率が高くなるように前記可視光画像と前記赤外画像とを合成した擬似濃淡画像を生成することができる。このように遠方の歩行者等に至る路面を暗くすることにより、歩行者等がより強調される。

また、本発明の擬似濃淡画像生成装置は、前記可視光画像または前記赤外画像から対象物を識別する識別手段を含んで構成することができ、前記生成手段は、前記対象物検出手段により検出された対象物を含む対象物領域において、前記赤外画像の輝度情報が前記可視光画像の輝度情報より比率が高くなるように前記可視光画像と前記赤外画像とを合成した擬似濃淡画像を生成することができる。これにより、検出された歩行者も強調して表示することができる。

また、本発明の擬似濃淡画像生成装置は、自車両の速度が予め定めた所定速度以上か否かを判定する判定手段を含んで構成することができ、前記生成手段は、前記判定手段により前記自車両の速度が予め定めた所定速度以上であると判定された場合には、前記自車両の速度が予め定めた所定速度より小さい場合に比べて、前記赤外画像の輝度情報が前記可視光画像の輝度情報より比率が高くなるように前記可視光画像と前記赤外画像とを合成した擬似濃淡画像を生成することができる。これにより、車速が所定値以上の場合には、情報量を低減させた画像が生成されるため、ドライバの負担を軽減することができる。

また、本発明の擬似濃淡画像生成プログラムは、コンピュータを、所定領域を撮影し、可視光を含む第１波長帯の光による可視光画像、及び帯域が前記第１波長帯とは異なり、かつ赤外光を含む第２波長帯の光による赤外画像を出力する撮影手段から出力された前記可視光画像及び前記赤外画像の各々から輝度情報を抽出する輝度情報抽出手段、及び前記撮影手段からの路面上の距離が予め定めた第１の距離以上で、かつ前記撮影手段からの路面上の距離が前記第１の距離より遠方の予め定めた第２の距離における路面からの高さが予め定めた所定高さ以内に相当する領域において、前記赤外画像の輝度情報が前記可視光画像の輝度情報より比率が高くなるように前記可視光画像と前記赤外画像とを合成した擬似濃淡画像を生成する生成手段として機能させるためのプログラムである。

以上説明したように、本発明の擬似濃淡画像生成装置及びプログラムによれば、背景が明るくなる領域において、赤外画像の輝度情報を可視光画像の輝度情報より比率が高くなるように擬似濃淡画像を生成するため、画像全体の視認性を保持したまま、背景に対して歩行者が強調された擬似濃淡画像を生成することができる、という効果が得られる。

第１の実施の形態に係る撮影システムの概略構成を示すブロック図である。 （Ａ）可視光画像、（Ｂ）近赤外画像、（Ｃ）（Ａ）の一部拡大画像、（Ｄ）（Ｂ）の一部拡大画像の一例を示すイメージ図である。 近赤外画像の輝度情報を用いる領域を説明するためのイメージ図である。 第１の実施の形態における擬似濃淡画像生成処理ルーチンの内容を示すフローチャートである。 第１の実施の形態における（Ａ）近赤外画像、（Ｂ）可視光画像、及び（Ｃ）擬似濃淡画像の一例を示すイメージ図である。 第１の実施の形態における擬似濃淡画像の他の例を示すイメージ図である。 第２の実施の形態に係る撮影システムの概略構成を示すブロック図である。 第２の実施の形態における擬似濃淡画像生成処理ルーチンの内容を示すフローチャートである。 第２の実施の形態における擬似濃淡画像の一例を示すイメージ図である。 第３の実施の形態に係る撮影システムの概略構成を示すブロック図である。 第３の実施の形態における擬似濃淡画像生成処理ルーチンの内容を示すフローチャートである。 第３の実施の形態における擬似濃淡画像の一例を示すイメージ図である。 第４の実施の形態に係る撮影システムの概略構成を示すブロック図である。 第４の実施の形態における擬似濃淡画像生成処理ルーチンの内容を示すフローチャートである。

以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、車両に搭載され、かつ、撮影された前方画像から濃淡画像を生成して表示する撮影システムに本発明を適用した場合を例に説明する。

図１に示すように、第１の実施の形態に係る撮影システム１０は、対象領域を撮影する撮影装置１２と、近赤外光を含む光を前方に照射する赤外光源１４と、撮影装置１２から出力される画像に基づいて、擬似濃淡画像を生成する処理を実行するコンピュータ１６と、コンピュータ１６での処理結果を表示するための表示装置１８とを備えている。

撮影装置１２は、車両前方の対象領域を撮影し、画像信号を生成する撮像部（図示省略）、撮像部で生成されたアナログ信号である画像信号をデジタル信号に変換するＡ／Ｄ変換部（図示省略）、及びＡ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）を備えている。本実施の形態では、１台で可視光領域の波長帯の光を用いて撮影される画像（以下、可視光画像という）、及び近赤外域の波長帯の光を用いて撮影される画像（以下、近赤外画像という）の双方を取得可能なマルチバンドカメラを用いる。

コンピュータ１６は、撮影システム１０全体の制御を司るＣＰＵ、後述する擬似濃淡画像生成処理ルーチンのプログラム等を記憶した記憶媒体としてのＲＯＭ、ワークエリアとしてデータを一時格納するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このような構成の場合には、各構成要素の機能を実現するためのプログラムをＲＯＭに記憶しておき、これをＣＰＵが実行することによって、各機能が実現されるようにする。

このコンピュータ１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、撮影装置１２から出力された近赤外画像の輝度情報を抽出する近赤外画像抽出部２０と、撮影装置１２から出力された可視光画像の輝度情報を抽出する可視光画像抽出部２２と、近赤外画像を用いる領域を設定する近赤外画像領域設定部２４と、近赤外画像領域設定部２４で設定された領域に近赤外画像の輝度情報を用い、それ以外の領域に可視光画像の輝度情報を用いて近赤外画像と可視光画像とを合成した擬似濃淡画像を生成し、表示装置１８に表示するように制御する擬似濃淡画像生成部２６と、を含んだ構成で表すことができる。

ここで、近赤外画像領域設定部２４で設定される領域について説明する。

撮影装置１２で撮影される対象範囲において、撮影装置１２からの距離が遠くなるほど、対向車のヘッドライトや街灯などが画像上で密集して背景が明るくなる。このような明るい領域を背景に歩行者が存在する状況を可視光画像で見ると、赤外光源１４による照明で明るく撮影された歩行者と背景とのコントラストが低下し、歩行者を視認し難くなる。一方、このような状況を近赤外画像で見ると、赤外光源１４の届かない遠方は暗く撮影されるため、歩行者と背景とのコントラストが明確になり、歩行者が強調されて視認し易くなる。図２に、遠方の人を撮影した（Ａ）可視光画像、（Ｂ）近赤外画像、（Ｃ）可視光画像の遠方部分の拡大画像、及び（Ｄ）近赤外画像の遠方部分の拡大画像の一例を示す。（Ｃ）の可視光画像に比べて、（Ｄ）の近赤外画像の方が背景とのコントラストが明確で、人が浮き立って見える。

また、撮影装置１２からの距離が近い領域や、遠方であっても信号等の灯火は明るい可視光画像の方が視認し易い画像となる。

そこで、可視光画像と近赤外画像とを合成して擬似濃淡画像を生成する際に、可視光画像の輝度情報を用いる領域と近赤外画像の輝度情報を用いる領域とを設定する。ここでは、近赤外画像の輝度情報を用いる領域を設定し、その領域以外の領域を可視光画像の輝度領域を用いる領域とする場合について説明する。

上述のように、遠方であって、信号等の灯火を含まない範囲を近赤外画像の輝度情報を用いる領域とすることが好ましい。例えば、図３に示すように、無限遠点を含む画像の中央付近の矩形領域を近赤外画像の輝度情報を用いる領域とする。矩形領域の下端は、撮影装置１２から予め定めた第１の距離遠方の路面上の地点に対応する画像上の横ラインとする。第１の距離は、赤外光源１４の照射範囲や視認したい距離等に基づいて、例えば６０ｍ等とすることができる。矩形領域の上端は、撮影装置１２から予め定めた第２の距離遠方の路面上の地点における路面からの高さが所定高さの位置に対応する画面上の横ラインとする。第２の距離は、例えば１００ｍ等の第１の距離より遠い距離とすることができ、所定高さは、信号等の高さに基づいて、例えば５ｍ等とすることができる。矩形領域の左端及び右端は、第１の距離遠方の路面上の地点において無限遠点の縦位置を基準に左右に所定幅離れた位置に対応する画面上の縦ラインとする。所定幅は、車幅を考慮して、例えば３．５ｍ等とすることができる。また、無限遠点は、撮影装置１２の取り付け位置や画角等により定まる。

次に、第１の実施の形態に係る撮影システム１０の作用について説明する。赤外光源１４によって近赤外光を含む光が前方に照射されると共に、撮影装置１２によって、自車両の前方が連続して撮影されているときに、コンピュータ１６において、図４に示す擬似濃淡画像生成処理ルーチンが実行される。

まず、ステップ１００において、撮影装置１２から出力された画像データを取得して、図５に示すように、近赤外画像（Ａ）と可視光画像（Ｂ）とに分離し、可視光画像の輝度情報Ｉｃ及び近赤外画像の輝度情報Ｉｒを抽出する。

次に、ステップ１０２で、生成する擬似濃淡画像上において、近赤外画像の輝度情報Ｉｒを用いる領域を設定する。以下、この領域を設定領域という。設定領域は、例えば、上述の図３に示したように、無限遠点を含む画像中心付近の領域を予め定めておいてもよいし、車速などに応じて、第１の距離、第２の距離及び所定幅を変更して設定してもよい。また、予め定めた無限遠点ではなく、オプティカルフロー等により無限遠点を検出するようにしてもよい。

次に、ステップ１０４で、擬似濃淡画像に注目画素を設定する。次に、ステップ１０６で、注目画素の画素位置が、上記ステップ１０２で設定した設定領域内に含まれるか否かを判定する。設定領域内に含まれる場合には、ステップ１０８へ移行して、近赤外画像において注目画素と同一の画素位置の画素の輝度情報Ｉｒを、注目画素の輝度情報として選択する。一方、注目画素の画素位置が設定領域に含まれていない場合には、ステップ１１０へ移行して、可視光画像において注目画素と同一の画素位置の画素の輝度情報Ｉｃを、注目画素の輝度情報として選択する。

次に、ステップ１１２へ移行し、擬似濃淡画像の全ての画素について注目画素に設定したか否かを判定する。まだ注目画素に設定していない画素が存在する場合には、ステップ１０４へ戻って、次の注目画素を設定して処理を繰り返す。全ての画素について処理が終了した場合には、擬似濃淡画像の全画素に可視光画像または近赤外画像の輝度情報が埋め込まれた状態となるため、ステップ１１４へ移行して、生成された擬似濃淡画像を表示装置１８に表示して、処理を終了する。擬似濃淡画像の一例を、図５（Ｃ）に示す。なお、同図中においては、便宜的に設定領域を枠で囲んで示している。以下、図６、９及び１２においても同様である。

以上説明したように、第１の実施の形態に係る撮影システムによれば、遠方であって、信号等の灯火を含まない範囲に対応する画像上の領域を近赤外画像の輝度情報を用いる設定領域として、それ以外の領域については可視光画像の輝度情報を用いるため、遠方の歩行者は背景が暗くなることによりコントラストが明確になり、距離が近い領域や信号等は明るい擬似濃淡画像が生成されるため、画像全体の視認性を保持したまま、背景に対して歩行者が強調された擬似濃淡画像を生成することができる。

なお、第１の実施の形態では、近赤外画像の輝度情報を用いる設定領域を、図３に示したような矩形領域とする場合について説明したが、図６に示すように、矩形領域を規定している上端及び下端で定まる所定ライン数分の領域としてもよい。この場合、可視光画像の輝度情報か近赤外画像の輝度情報かをライン毎に選択すればよいため、画素毎に処理する場合と比べて可視光画像と近赤外画像との合成処理が簡略化される。

次に、第２の実施の形態について説明する。

図７に示すように、第２の実施の形態の撮影システム２１０のコンピュータ２１６は、第１の実施の形態の構成に加え、路面領域検出部２２８を含んだ構成で表すことができる。

路面領域検出部２２８は、可視光画像または近赤外画像を画像処理して路面を検出する。路面検出は、エッジを抽出して無限遠点方向に伸びる線を検出したり、パターンマッチング等により検出したり、従来の手法を用いることができる。

近赤外画像領域設定部２２４は、第１の実施の形態で説明した設定領域に加えて、路面領域検出部２２８により検出された路面領域も近赤外画像の輝度情報を用いる領域として設定する。

次に、図８を参照して、第２の実施の形態に係る撮影システム２１０のコンピュータ２１６において実行される擬似濃淡画像生成処理ルーチンについて説明する。なお、第１の実施の形態の擬似濃淡画像生成処理ルーチンと同一の処理については、同一の符号を付して説明を省略する。

ステップ１００で、可視光画像の輝度情報Ｉｃ及び近赤外画像の輝度情報Ｉｒを抽出し、次に、ステップ２００で、可視光画像または近赤外画像から路面領域を検出する。

次に、ステップ１０２及び１０４を経て、ステップ２０２で、注目画素の画素位置が、上記ステップ１０２で設定した設定領域内に含まれるか、または上記ステップ２００で検出された路面領域に含まれるか否かを判定する。設定領域または路面領域内に含まれる場合には、ステップ１０８へ移行し、設定領域または路面領域のいずれにも含まれていない場合には、ステップ１１０へ移行する。図９に、設定領域及び路面領域に近赤外画像の輝度情報を用いた擬似濃淡画像の一例を示す。

以上説明したように、第２の実施の形態に係る撮影システムによれば、遠方の歩行者に至る手前の路面を暗くすることにより、歩行者がより強調された擬似濃淡画像を生成することができる。

次に、第３の実施の形態について説明する。

図１０に示すように、第３の実施の形態の撮影システム３１０のコンピュータ３１６は、第１の実施の形態の構成に加え、ウインドウ画像抽出部３３０と、歩行者識別部３３２とを含んだ構成で表すことができる。

ウインドウ画像抽出部３３０は、可視光画像または近赤外画像に対して、予め定められたサイズのウインドウを１ステップにつき、予め定められた移動量だけ移動させながら画像を抽出する。ここで、抽出された画像をウインドウ画像という。

歩行者識別部３３２は、ウインドウ画像抽出部３３０で抽出されたウインドウ画像と、予め生成した歩行者を識別するための識別モデルとを比較して、ウインドウ画像が歩行者を示す画像であるか否かを識別する。識別の手法は、テンプレートマッチングやＳＶＭ（サポートベクターマシン）等の公知の手法を用いることができる。

近赤外画像領域設定部３２４は、第１の実施の形態で説明した設定領域に加えて、歩行者識別部３３２により歩行者であると識別されたウインドウ画像内の領域も近赤外画像の輝度情報を用いる領域として設定する。このように歩行者が検出された領域を歩行者領域という。なお、ここでは、ウインドウ画像内を歩行者領域としているが、これに限定されず、例えば、ウインドウ画像とその周辺領域を含めて歩行者領域としてもよい。

次に、図１１を参照して、第３の実施の形態に係る撮影システム３１０のコンピュータ３１６において実行される擬似濃淡画像生成処理ルーチンについて説明する。なお、第１の実施の形態の擬似濃淡画像生成処理ルーチンと同一の処理については、同一の符号を付して説明を省略する。

ステップ１００で、可視光画像の輝度情報Ｉｃ及び近赤外画像の輝度情報Ｉｒを抽出し、次に、ステップ３００で、可視光画像または近赤外画像から抽出したウインドウ画像が歩行者を示す画像か否かを識別することにより、歩行者を検出する。

次に、ステップ１０２及び１０４を経て、ステップ３０２で、注目画素の画素位置が、上記ステップ１０２で設定した設定領域内に含まれるか、または上記ステップ３００で歩行者が検出された歩行者領域に含まれるか否かを判定する。設定領域または歩行者領域内に含まれる場合には、ステップ１０８へ移行し、設定領域または歩行者領域のいずれにも含まれていない場合には、ステップ１１０へ移行する。図１２に、設定領域及び歩行者領域に近赤外画像の輝度情報を用いた擬似濃淡画像の一例を示す。

以上説明したように、第３の実施の形態に係る撮影システムによれば、検出された歩行者も強調された擬似濃淡画像を生成することができる。

なお、第３の実施の形態では、第１の実施の形態と組み合わせた場合について説明したが、第２の実施の形態と組み合わせてもよい。

また、第３の実施の形態では、画像から歩行者を識別して検出する場合について説明したが、検出対象物は二輪車等であってもよい。

次に、第４の実施の形態について説明する。

図１３に示すように、第４の実施の形態の撮影システム４１０は、自車両の車速を検出する車速センサ１５を含んで構成されている。また、第４の実施の形態の撮影システム４１０のコンピュータ４１６は、第１の実施の形態の構成に加え、車速判定部４３４を含んだ構成で表すことができる。

車速判定部４３４は、車速センサ１５で検出された車速を取り込んで、車速が所定値以上か否かを判定する。

近赤外画像領域設定部４２４は、車速判定部４３４での判定結果に基づいて、擬似濃淡画像において近赤外画像の輝度情報を用いる領域を設定する。車速が速くなると、ドライバが表示装置１８に表示された画像を見て判断する時間が短くなると考えられる。そのため、高速走行時にはなるべく情報量を減らした画像を表示することが得策である。そこで、車速が所定値以上の場合には、情報量の少ない近赤外画像を表示すべく、画像全体を近赤外画像の輝度情報を用いる領域に設定する。車速が所定値より小さい場合には、第１の実施の形態と同様に、画像中央付近に設定領域を設定する。なお、所定値は、例えば高速道路走行時等を考慮して、時速８０ｋｍ等とすることができる。

次に、図１４を参照して、第４の実施の形態に係る撮影システム４１０のコンピュータ４１６において実行される擬似濃淡画像生成処理ルーチンについて説明する。なお、第１の実施の形態の擬似濃淡画像生成処理ルーチンと同一の処理については、同一の符号を付して説明を省略する。

ステップ１００で、可視光画像の輝度情報Ｉｃ及び近赤外画像の輝度情報Ｉｒを抽出し、次に、ステップ４００で、車速センサ１５により検出された自車両の車速を取得する。

次に、ステップ４０２で、上記ステップ４００で取得した車速が予め定めた所定値以上か否かを判定する。所定値より小さい場合には、ステップ１０２以降の処理で、第１の実施の形態と同様に擬似濃淡画像を生成する。車速が所定値以上の場合には、ステップ４０４へ移行して、画像全体を近赤外画像の輝度情報を用いる領域に設定して、すなわち、近赤外画像を表示装置１８に表示して、処理を終了する。

以上説明したように、第４の実施の形態に係る撮影システムによれば、車速が所定値より小さい場合には、歩行者が強調された擬似濃淡画像を生成して視認性を向上させ、車速が所定値以上の場合には、情報量の少ない画像を表示することで、ドライバの負担を軽減することができる。

なお、第４の実施の形態では、第１の実施の形態と組み合わせた場合について説明したが、第２または第３の実施の形態と組み合わせてもよい。

また、上記第１〜第４の実施の形態では、設定領域等に近赤外画像の輝度情報を用い、それ以外の領域に可視光画像の輝度情報を用いる場合について説明したが、これに限定されず、設定領域等において、赤外画像の輝度情報が可視光画像の輝度情報より比率が高くなるようにすればよい。例えば、設定領域内の画素の輝度情報を、０．５＜ｓ≦１となる係数ｓを用いて、ｓ×Ｉｒ＋（１−ｓ）Ｉｃ、として求めてもよい。なお、上記実施の形態は、ｓ＝１の場合である。

また、第４の実施の形態では、車速が所定値以上の場合に、近赤外画像を表示する場合について説明したが、これに限定されず、車速が所定値より小さい場合に比べて、近赤外画像の輝度情報を用いる比率を高くして、情報量を低減させればよい。例えば、上記第４の実施の形態のように、車速が所定値より小さいときに、設定領域に近赤外画像の輝度情報、それ以外の領域に可視光画像の輝度情報を用いた場合には、車速が所定値以上のときには、設定領域に同様に近赤外画像の輝度情報を用い、それ以外の領域の輝度情報を、上記のような比率で求めるようにしてもよい。

また、上記第１〜第４の実施の形態では、撮影装置としてマルチバンドカメラを用いる場合について説明したが、撮影装置を、可視光画像を撮影するための可視光カメラ、及び近赤外画像を撮影するための近赤外カメラの２つで構成するようにしてもよい。

また、可視光画像と近赤外画像とを用いて、擬似濃淡画像を生成する場合を例に説明したが、これに限定されるものではなく、可視光画像と遠赤外画像とを用いて、擬似濃淡画像を生成してもよい。この場合には、可視光画像及び遠近赤外域の波長帯の光を用いて撮影される遠赤外画像の双方を取得可能なマルチバンドカメラを用いるか、可視光カメラ及び遠赤外カメラを用いて、自車両の前方を撮影するようにすればよい。また、赤外光源を用いずに、自車両の前方を撮影すればよい。

また、各部をコンピュータで実現した場合を例に説明したが、これに限定されるものではなく、各部の機能を実現する複数のコンピュータ、または１つまたは複数の電子回路で構成するようにしてもよい。

また、本発明のプログラムを、記憶媒体に格納して提供することも可能である。

１０、２１０、３１０、４１０ 撮影システム
１２ 撮影装置
１４ 赤外光源
１５ 車速センサ
１６、２１６、３１６、４１６ コンピュータ
１８ 表示装置
２０ 近赤外画像抽出部
２２ 可視光画像抽出部
２４、２２４、３２４、４２４ 近赤外画像領域設定部
２６ 擬似濃淡画像生成部
２２８ 路面領域検出部
３３０ ウインドウ画像抽出部
３３２ 歩行者識別部
４３４ 車速判定部

Claims (8)

1. 所定領域を撮影し、可視光を含む第１波長帯の光による可視光画像、及び帯域が前記第１波長帯とは異なり、かつ赤外光を含む第２波長帯の光による赤外画像を出力する撮影手段から出力された前記可視光画像及び前記赤外画像の各々から輝度情報を抽出する輝度情報抽出手段と、
   前記撮影手段からの路面上の距離が予め定めた第１の距離以上で、かつ前記撮影手段からの路面上の距離が前記第１の距離より遠方の予め定めた第２の距離における路面からの高さが予め定めた所定高さ以内に相当する領域において、前記赤外画像の輝度情報が前記可視光画像の輝度情報より比率が高くなるように前記可視光画像と前記赤外画像とを合成した擬似濃淡画像を生成する生成手段と、
   を含む擬似濃淡画像生成装置。
2. 前記領域を、無限遠点の近傍領域とした請求項１記載の擬似濃淡画像生成装置。
3. 前記領域に対応する前記赤外画像の輝度情報として、前記赤外画像の所定ライン数分の輝度情報を用いる請求項１記載の擬似濃淡画像生成装置。
4. 前記可視光画像または前記赤外画像から路面領域を検出する路面検出手段を含み、
   前記生成手段は、前記路面検出手段により検出された路面領域において、前記赤外画像の輝度情報が前記可視光画像の輝度情報より比率が高くなるように前記可視光画像と前記赤外画像とを合成した擬似濃淡画像を生成する請求項１〜請求項３のいずれか１項記載の擬似濃淡画像生成装置。
5. 前記可視光画像または前記赤外画像から対象物を識別する識別手段を含み、
   前記生成手段は、前記対象物検出手段により検出された対象物を含む対象物領域において、前記赤外画像の輝度情報が前記可視光画像の輝度情報より比率が高くなるように前記可視光画像と前記赤外画像とを合成した擬似濃淡画像を生成する請求項１〜請求項４のいずれか１項記載の擬似濃淡画像生成装置。
6. 自車両の速度が予め定めた所定速度以上か否かを判定する判定手段を含み、
   前記生成手段は、前記判定手段により前記自車両の速度が予め定めた所定速度以上であると判定された場合には、前記自車両の速度が予め定めた所定速度より小さい場合に比べて、前記赤外画像の輝度情報が前記可視光画像の輝度情報より比率が高くなるように前記可視光画像と前記赤外画像とを合成した擬似濃淡画像を生成する請求項１〜請求項５のいずれか１項記載の擬似濃淡画像生成装置。
7. コンピュータを、
   所定領域を撮影し、可視光を含む第１波長帯の光による可視光画像、及び帯域が前記第１波長帯とは異なり、かつ赤外光を含む第２波長帯の光による赤外画像を出力する撮影手段から出力された前記可視光画像及び前記赤外画像の各々から輝度情報を抽出する輝度情報抽出手段、及び
   前記撮影手段からの路面上の距離が予め定めた第１の距離以上で、かつ前記撮影手段からの路面上の距離が前記第１の距離より遠方の予め定めた第２の距離における路面からの高さが予め定めた所定高さ以内に相当する領域において、前記赤外画像の輝度情報が前記可視光画像の輝度情報より比率が高くなるように前記可視光画像と前記赤外画像とを合成した擬似濃淡画像を生成する生成手段
   として機能させるための擬似濃淡画像生成プログラム。
8. コンピュータを、請求項１〜請求項６のいずれか１項記載の擬似濃淡画像生成装置を構成する各手段として機能させるための擬似濃淡画像生成プログラム。