JP4735090B2

JP4735090B2 - 赤外画像撮像装置

Info

Publication number: JP4735090B2
Application number: JP2005202110A
Authority: JP
Inventors: 健一大上
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2005-07-11
Filing date: 2005-07-11
Publication date: 2011-07-27
Anticipated expiration: 2025-07-11
Also published as: JP2007015660A

Description

本発明は赤外画像撮像装置に係り、特に夜間走行時に車両の前方に赤外線を照射して赤外線カメラにより撮像するよう構成された赤外画像撮像装置に関する。

自動車等の車両が夜間走行する場合、運転者は前照灯からの光照射範囲に障害物が存在しないことを視覚的に確認しながら運転操作を行なっているが、例えば、対向車からの前照灯が目に入ると、対向車の前に障害物がある場合に障害物が光の中に入ってしまうため、視認しにくくなる。

このような、夜間走行時の視覚的なアシストするシステムとして、夜間走行時に車両の前方に赤外線を照射し、赤外線カメラにより撮像された車両前方の赤外線画像を表示する赤外画像表示装置の開発が進められている（例えば、特許文献１参照）。
特開２００１−１８７３８号公報

しかしながら、上記赤外画像撮像装置では、赤外線投光器から車両前方に赤外線を照射し、その赤外線の反射光を赤外線カメラにより撮像するため、赤外線投光器からの赤外線が弱くなると、赤外線カメラからの画像が暗くなり、障害物の表示の暗くなって周囲の暗さとの輝度差が小さくなってしまう。

一方、赤外線投光器の断線などの異常が発生した場合でも、街灯等の照明がある場所を走行している場合には、赤外線カメラからの画像があまり暗くならないので、運転者は赤外線投光器から照射される赤外線の光量が低下していることに気付かないことがあり、そのまま運転しつづけてしまうおそれがある。

また、赤外線投光器の断線を検出するための断線検出回路をエンジンルーム内に設ける構成とした場合には、断線検出回路を耐熱性や防水性を有する構成としなければならず、断線検出回路を室内に設ける構成とした場合には、赤外線投光器の電球が数アンペアを使用するため、赤外線投光器に接続するワイヤハーネスを室内まで延長しなければならないので、技術的に困難である。

そこで、本発明は赤外線カメラにより受光された赤外線画像の輝度に基づいて赤外線投光器の異常の有無を判定することにより上記課題を解決した赤外画像撮像装置を提供することを目的とする。

上記課題を解決するため、本発明は以下のような手段を有する。

請求項１記載の発明は、車両の前方に赤外線を照射する赤外線投光器と、前記車両の前方からの赤外線を受光して画像信号を出力する赤外線カメラとを有する赤外画像撮像装置において、
前記赤外線カメラにより受光された赤外線画像の輝度が予め設定された閾値未満である場合、前記赤外線投光器の異常を判定する異常判定手段と、
カーナビゲーション情報に基づいて前記車両が暗い場所を走行中であることを判定する場所判定手段とを備え、
前記異常判定手段は、前記場所判定手段により前記車両が暗い場所を走行中であると判定された場合に前記赤外線カメラにより受光された赤外線画像の輝度が予め設定された閾値未満か否かを判定することを特徴とする。

請求項２記載の発明は、前記異常判定手段が、前記赤外線カメラにより受光された赤外線画像の輝度が予め設定された閾値未満か否かを判定する輝度判定手段と、該輝度判定手段により前記赤外線画像の輝度が閾値未満である状態が所定時間継続したか否かを判定する継続時間判定手段と、を有し、該継続時間判定手段により所定時間の経過が判定されたときに、前記赤外線投光器に異常があることを判定することを特徴とする。

請求項３記載の発明は、前記異常判定手段が、前記赤外線カメラからの画像信号から抽出された前記赤外線投光器からの赤外線照射領域の輝度と、前記車両の前照灯からの光照射領域の輝度との差が所定値以上である場合に前記赤外線投光器の異常を判定することを特徴とする。

請求項４記載の発明は、前記車両の周辺の光量を検出する周辺光量検出手段を備え、前記異常判定手段は、前記周辺光量検出手段により車両周辺光量が前記赤外線カメラを使用可能な光量に低下したことを検出した場合に前記赤外線カメラにより受光された赤外線画像の輝度が予め設定された閾値未満か否かを判定することを特徴とする。

本発明によれば、赤外線カメラにより受光された赤外線画像の輝度が予め設定された閾値未満である場合、赤外線投光器の異常を判定するため、赤外線投光器の異常を判定するための専用の判定回路を設ける必要がなく、ソフトウエアの追加により赤外線投光器で断線などが発生した場合に異常発生を判定することが可能になる。

また、本発明によれば、カーナビゲーション情報に基づいて車両が暗い場所を走行中であるときに赤外線投光器の異常を判定するため、運転者が意識しなくても赤外線投光器の異常の有無を自動的に判定することが可能になる。

また、本発明によれば、赤外線画像の輝度が閾値未満である状態が所定時間継続した場合に赤外線投光器に異常があることを判定するため、異常判定の精度を高めることができる。

以下、図面を参照して本発明を実施するための最良の形態について説明する。

図１は本発明になる赤外画像撮像装置の一実施例を用いた赤外画像表示装置を示す構成図である。図２は車両１０を斜め前方からみた斜視図である。図１及び図２に示されるように、車両１０には、夜間走行時の視覚的なアシストを行なう赤外画像表示装置１２が搭載されている。夜間走行する場合、運転者１４は前照灯（ロービーム）１６からの可視光が照射される可視光領域Ａを目視により障害物や歩行者が存在しないことを確認すると共に、赤外画像表示装置１２により表示された近赤外線カメラ画像（図３参照）を見ながら車両１０を走行させる。

赤外画像表示装置１２は、車両１０の可視光照射領域Ａよりもさらに前方の近赤外線照射領域Ｂに近赤外線を照射する近赤外線投光器２０と、前方から車両１０に入射された近赤外線を受光する近赤外線カメラ２２と、近赤外線カメラ２２からの画像信号により形成される近赤外線カメラ画像を表示するヘッドアップディスプレイ（表示手段）２４とを有する。すなわち、赤外画像表示装置１２は、近赤外線カメラ２２により撮像された可視光照射領域Ａ及び近赤外線照射領域Ｂの画像をヘッドアップディスプレイ２４によりフロントガラス１８の内側に投影して車両前方の障害物や歩行者を表示する運転支援システムである。

近赤外線投光器２０は、可視光をカットするフィルタにより近赤外線のみを前方に照射する。そして、近赤外線投光器２０から照射される近赤外光は、人の目に感じない領域の波長（780nm〜1500nm）を有しており、例えば、夜間走行時でも対向車の運転者がまぶしく感じることがないので、ハイビームのように横断している歩行者が対向車のライトの中に隠れて見えにくくなることがない。

近赤外線カメラ２２は、レンズ部がフロントガラス１８の内側から車両１０の前方に向けて取り付けられており、近赤外線照射領域Ｂからの近赤外線を受光するように車両１０の天井付近に設けられている。また、近赤外線カメラ２２は、近赤外線を照射された対象物から反射した近赤外線の反射率の差により対象物を撮像する。従って、近赤外線投光器２０からの近赤外光の光量が減少すると、近赤外線カメラ２２に受光される近赤外光が暗くなり、近赤外線投光器２０で断線が発生した場合には、ヘッドアップディスプレイ２４により表示される画像が暗くなる。

ヘッドアップディスプレイ２４は、運転席の前のメータ上面に取り付けられており、近赤外線カメラ２２から出力された画像信号から得られた画像をホログラムでフロントガラス１８の内面に投影する。

また、車両１０は、周辺光量を受光して光量に応じた信号を出力する光電変換素子からなるライトセンサ２８と、ライトセンサ２８からの検出信号により日没、夜間、夜明けなどのように太陽からの光量が減少した暗い時間帯になった場合に、ライト点灯及び赤外画像表示装置１２を作動させる車載コンピュータ３０とを有する。

この車載コンピュータ３０は、ライトセンサ２８からの信号レベルが所定値以下に低下した場合またはライトスイッチ４２（図５参照）がオンに操作された場合に前照灯１６の点灯及び赤外画像表示装置１２を作動させる夜間走行モード設定手段３２と、カーナビゲーション情報に基づいて車両１０が暗い場所を走行中であることを判定する場所判定手段３４と、近赤外線カメラ２２により受光された赤外線画像の輝度が予め設定された閾値未満である場合、赤外線投光器２０の異常を判定する異常判定手段３６と、赤外線画像の輝度が閾値未満である状態が所定時間継続したか否かを判定する継続時間判定手段３８とを有する。尚、本発明の赤外画像撮像装置は、前述した近赤外線投光器２０、近赤外線カメラ２２、車載コンピュータ３０により構成されている。

図３はヘッドアップディスプレイ２４により表示されるカメラ画像の表示例を模式的に示す図である。図３に示されるように、夜間走行中の車両１０を運転中においては、ヘッドアップディスプレイ２４により近赤外線カメラ画像２６がフロントガラス１８を通して前方に表示される。運転者は、例えば、近赤外線カメラ画像２６の中に近赤外線照射領域Ｂで道路横断中の歩行者を視認することが可能になる。

図４は近赤外線カメラ画像の表示例を模式的に示す図で、（Ａ）は通常の夜間走行時の画像を示す図、（Ｂ）は対向車が接近した状態の画像を示す図、（Ｃ）は近赤外線投光器２０で断線が発生した場合の画像を示す図である。

図４（Ａ）に示されるように、前照灯１６からの可視光及び近赤外線投光器２０からの近赤外線光が照射されている場合には、近赤外線カメラ画像２６の下半分の領域が可視光照射領域Ａを撮像した可視光画像２６Ａ、近赤外線カメラ画像２６の上半分の領域が近赤外線照射領域Bを撮像したの近赤外線画像２６Ｂとなる。

図４（Ｂ）に示されるように、対向車６０が接近した場合には、カメラ画像２６の下半分の領域が可視光照射領域Ａを撮像した可視光画像２６Ａが撮像されるが、近赤外線カメラ画像２６の上半分の領域が対向車６０のライトにより近赤外線照射領域Ｂが白く光った状態に撮像されてしまい歩行者を識別できなくなる。

図４（Ｃ）に示されるように、近赤外線投光器２０で断線が発生した場合には、近赤外線カメラ画像２６の下半分の領域が可視光照射領域Ａを撮像した可視光画像２６Ａが撮像されるが、近赤外線カメラ画像２６の上半分の領域が光量不足のため黒く撮像されてしまう。このような、近赤外線投光器２０で断線している場合でも、例えば、街灯の照明などにより比較的明るい場所を走行しているときは、街灯の明かりが近赤外線を含むことがあるので、やや暗いけれども図４（Ａ）に示されるように、近赤外線画像２６Ｂの中に歩行者を視認することができる。

図５は赤外画像表示装置の構成を示すブロック図である。図５に示されるように、車載コンピュータ３０には、上記前照灯１６、近赤外線投光器２０、ヘッドアップディスプレイ２４、ライトセンサ２８の他に、近赤外線カメラ２２からの画像信号から画像を認識する画像認識部４０、前照灯１６及び近赤外線投光器２０をオン・オフするライトスイッチ４２が接続されている。さらに、車載コンピュータ３０には、GPS（Global
Positioning System）アンテナ４４で受信した人工衛星からの電波から位置を割り出すナビゲーション部４６、地図情報や各データベース、制御プログラム等を記憶する記憶装置４８、車速センサ５０により検出された速度検出信号から車両速度を演算する車速演算部５２、近赤外線モードスイッチ５４が接続されている。

ここで、車載コンピュータ３０が実行する赤外画像表示処理について図６及び図７のフローチャートを参照して説明する。

車載コンピュータ３０は、図６のＳ１１において、ライトスイッチ２８がオンに操作されたか否かをチェックする。Ｓ１１でライトスイッチ４２がオフの場合は、Ｓ１２に進み、ライトセンサ２８がオンか否かをチェックする。Ｓ１２でライトセンサ２８がオフの場合は、太陽光により周囲の明るさが十分あるので、上記Ｓ１１に戻る。

上記Ｓ１１において、運転者がライトスイッチ４２をオンに操作した場合、あるいはＳ１２において、日没、夜間、夜明けなどのようにライトセンサ２８により太陽からの光量が減少したことが検出されると、Ｓ１３に進む。Ｓ１３では、前照灯２６を点灯させて夜間走行モードが設定される。

続いて、Ｓ１４では、近赤外線モードスイッチ５４がオンに操作されているか否かをチェックする。Ｓ１４において、近赤外線モードスイッチ５４がオンに操作されていない場合は、上記Ｓ１１に戻り、Ｓ１１以降の処理を行なう。また、Ｓ１４において、赤外線モードスイッチ５４がオンに操作されている場合は、近赤外画像表示モードに移行し、Ｓ１５で車両１０の車速Ｖを車速演算部５２から読み込む。Ｓ１５において、車両１０の車速Ｖが予め設定された所定速度Ｖａ未満であるか否かをチェックする。尚、所定速度Ｖａは、例えば、３０km/hに設定されている。

上記Ｓ１５において、車両１０の車速Ｖが所定速度Ｖａ未満でないときは、上記Ｓ１１に戻り、Ｓ１１以降の処理を実行する。また、上記Ｓ１５において、車両１０の車速Ｖが所定速度Ｖａ以上に達したときは、Ｓ１６に進み、ヘッドアップディスプレイ２４を画像表示状態に切り替える。このとき、ヘッドアップディスプレイ２４による輝度は、最大値の１０％に抑えられている。

続いて、Ｓ１７では、車両１０の車速Ｖが所定速度Ｖａ以上に加速されたか否かをチェックする。Ｓ１７において、車速Ｖが所定速度Ｖａ以上に加速されていない場合は、Ｓ１８に進み、車両１０が停止したか否かをチェックする。Ｓ１８で車両１０が停止していないときは、上記Ｓ１６の処理に戻り、Ｓ１８で車両１０が停止しているときは、Ｓ１９に戻り、ヘッドアップディスプレイ２４をオフ状態に切り替えて上記Ｓ１１に戻る。

また、上記Ｓ１７において、車速Ｖが所定速度Ｖａ以上に加速された場合は、Ｓ２０に進み、近赤外線投光器２０を点灯させて車両前方に近赤外線光を照射する。続いて、Ｓ２１では、近赤外線カメラ２２をオンにして近赤外線照射領域Ｂの撮像を開始する。

次の図７に示すＳ２２では、ヘッドアップディスプレイ２４の輝度を設定輝度に上昇させる。これにより、近赤外線カメラ２２から出力された画像信号が画像認識部４０を介してヘッドアップディスプレイ２４されると共に、ヘッドアップディスプレイ２４は近赤外線カメラ画像２６（図３参照）をフロントガラス１８の内側に投影する。そのため、運転者は、前照灯１６から可視光が照射される可視光照射領域Ａを目視により障害物の有無を確認し、可視光照射領域Ａより先の近赤外線照射領域Bについてはヘッドアップディスプレイ２４により表示された近赤外線カメラ画像２６で障害物の有無を確認する。

Ｓ２３では、GPSアンテナ４４で受信された位置情報に基づく現在位置情報、及び、現在位置の周辺情報（例えば、道路に街灯やネオン看板が多い、周辺に街灯なし等の情報）をナビゲーション部４６から読み込み、現在位置が暗い場所か否かを判定する（場所判定手段３４）。次のＳ２４では、現在位置が近赤外線投光器２０の断線検出を行なうに適した暗さを有する場所でないと判定された場合には、上記Ｓ２２に戻り、Ｓ２２〜Ｓ２４の処理を繰り返す。

また、Ｓ２４において、現在位置が近赤外線投光器２０の断線検出を行なうに適した暗さを有する場所であると判定された場合には、Ｓ２５に進み、近赤外線カメラ画像２６の下半分の領域（可視光画像２６Ａ）の輝度と、近赤外線カメラ画像２６の上半分の領域（近赤外線画像２６Ｂ）の輝度とを比較する（図４（Ａ）参照）。

Ｓ２６において、近赤外線カメラ画像２６の可視光画像２６Ａの輝度が、近赤外線カメラ画像２６の近赤外線画像２６Ｂの輝度よりも明るい場合には、対向車のライトを撮像した状態（図４（Ｂ）参照）であると判断して上記Ｓ２３の処理に戻り、Ｓ２３以降の処理を再度行なう。

また、上記Ｓ２６において、近赤外線カメラ画像２６の可視光画像２６Ａの輝度が、近赤外線カメラ画像２６の近赤外線画像２６Ｂの輝度よりも暗い場合には、Ｓ２７に進み、近赤外線画像２６Ｂの輝度が予め規定された規定輝度以下か否かをチェックする。尚、規定輝度は、任意に設定することができる。

Ｓ２７において、近赤外線画像２６Ｂの輝度が予め規定された規定輝度以上であるときは、街灯やネオン等の明るさで撮像した状態であると判断して上記Ｓ２３の処理に戻り、Ｓ２３以降の処理を再度行なう。

また、上記Ｓ２７において、近赤外線画像２６Ｂの輝度が予め規定された規定輝度以下であるときは、Ｓ２８に進み、予め設定された所定時間が経過したか否かをチェックする（継続時間判定手段３８）。尚、所定時間は、任意に設定することができる。

上記Ｓ２８において、所定時間が経過しても近赤外線画像２６Ｂの輝度が予め規定された規定輝度以下であるときは、近赤外線投光器２０から近赤外線光が十分な光量で照射されていない状態（図４（Ｂ）参照）であり、Ｓ２９に進み、近赤外線投光器２０で断線などの異常が発生したものと判定する（異常判定手段３６）。

そして、Ｓ３０では、近赤外線投光器２０で断線などの異常が発生したことを運転者に報知する。次のＳ３１では、車速が規定速度Ｖｂ以下に減速されたか否かをチェックする。尚、規定速度Ｖｂは、前述した速度Ｖａよりも低速に規定されている（Ｖｂ＜Ｖａ）。

上記Ｓ３１において、車速が規定速度Ｖｂ以上であるときは、上記Ｓ２３に戻り、Ｓ２３以降の処理を行なう。また、上記Ｓ３１において、車速が規定速度Ｖｂ以下であるときは、Ｓ３２に進み、車両１０が停止したか否かをチェックする。そして、Ｓ３２において、車両１０が停止せずに低速で走行している場合には、前述したＳ１６に戻り、Ｓ１６以降の処理を行なう。

また、Ｓ３２において、車両１０が停止した場合には、Ｓ３３に進み、ライトスイッチ２８がオフに操作されたか否かをチェックする。Ｓ３３でライトスイッチ４２がオンの場合は、Ｓ３４に進み、ライトセンサ２８がオフか否かをチェックする。Ｓ３４でライトセンサ２８がオンの場合は、上記Ｓ２３の処理に戻り、Ｓ２３以降の処理を再度行なう。

また、上記Ｓ３３において、運転者がライトスイッチ４２をオフに操作した場合、あるいはＳ３４において、ライトセンサ２８により周囲の明るさが十分な光量であることを検出した場合には、Ｓ３５に進む。Ｓ３５では、前照灯２６、近赤外線投光器２０、近赤外線カメラ２２、ヘッドアップディスプレイ２４をオフにして今回の処理を終了する。

このように、所定時間が経過しても近赤外線画像２６Ｂの輝度が予め規定された規定輝度以下であるときは、近赤外線投光器２０で断線などの異常が発生したものと判定するため、断線判定回路などを設ける必要がなく、既存のシステムのソフトウエアを変更することにより近赤外線投光器２０の異常検出を自動的に行なうことが可能になる。

上記実施例では、赤外線カメラからの画像信号により形成された赤外線画像を表示手段により表示する構成を一例として挙げたが、上記実施例のヘッドアップディスプレイ２４などのような表示手段は必須要素ではなく、例えば、近赤外線カメラ２２により得られた赤外線画像を表示手段により表示することなく、赤外線画像を画像処理して障害物の存在を検出するような装置に適用しても良い。

また、上記実施例では、GPS情報に基づいて車両１０の走行位置が暗い場所であることが検出された場合に近赤外線投光器２０の異常検出処理を実行するようにしたが、これに限らず、例えば、GPS情報の代わりに運転者が異常検出モード用のスイッチを操作したときに近赤外線投光器２０の異常検出処理を実行するようにしても良い。

また、上記実施例では、走行中に近赤外線投光器２０の異常検出処理を実行するようにしたが、これに限らず、周囲に街灯などの照明がない場所であれば、停止状態で近赤外線投光器２０の異常検出処理を実行することも可能である。

また、上記実施例では、Ｓ２５で近赤外線カメラ画像２６の下半分の領域（可視光画像２６Ａ）の輝度と、近赤外線カメラ画像２６の上半分の領域（近赤外線画像２６Ｂ）の輝度とを比較し、Ｓ２７で近赤外線画像２６Ｂの輝度が予め規定された規定輝度以下か否かを確認したが、Ｓ２５とＳ２７の何れか一方のみを行なうようにしても良い。

また、近赤外線投光器２０がハイビームを兼ねる構成の場合には、上記の異常検出処理によりハイビームの断線などを自動的に検出することも可能である。

本発明になる赤外画像撮像装置の一実施例を用いた赤外画像表示装置を示す構成図である。車両１０を斜め前方からみた斜視図である。ヘッドアップディスプレイ２４により表示されるカメラ画像の表示例を模式的に示す図である。近赤外線カメラ画像の表示例を模式的に示す図で、（Ａ）は通常の夜間走行時の画像を示す図、（Ｂ）は対向車が接近した状態の画像を示す図、（Ｃ）は近赤外線投光器２０で断線が発生した場合の画像を示す図である。赤外画像表示装置の構成を示すブロック図である。車載コンピュータ３０が実行する赤外画像表示処理を説明するためのフローチャートである。図６の処理に続いて車載コンピュータ３０が実行する赤外画像表示処理を説明するためのフローチャートである。

符号の説明

１０車両
１２赤外画像表示装置
１６前照灯
１８フロントガラス
２０近赤外線投光器
２２近赤外線カメラ
２４ヘッドアップディスプレイ
２６近赤外線カメラ画像
２６Ａ可視光画像
２６Ｂ近赤外線画像
２８ライトセンサ
３０車載コンピュータ
３２夜間走行モード設定手段
３４場所判定手段
３６異常判定手段
３８継続時間判定手段
４０画像認識部
４６ナビゲーション部
５０車速センサ
５２車速演算部
５４近赤外線モードスイッチ

Claims

車両の前方に赤外線を照射する赤外線投光器と、前記車両の前方からの赤外線を受光して画像信号を出力する赤外線カメラとを有する赤外画像撮像装置において、
前記赤外線カメラにより受光された赤外線画像の輝度が予め設定された閾値未満である場合、前記赤外線投光器の異常を判定する異常判定手段と、
カーナビゲーション情報に基づいて前記車両が暗い場所を走行中であることを判定する場所判定手段とを備え、
前記異常判定手段は、前記場所判定手段により前記車両が暗い場所を走行中であると判定された場合に前記赤外線カメラにより受光された赤外線画像の輝度が予め設定された閾値未満か否かを判定することを特徴とする赤外画像撮像装置。
前記異常判定手段は、
前記赤外線カメラにより受光された赤外線画像の輝度が予め設定された閾値未満か否かを判定する輝度判定手段と、
該輝度判定手段により前記赤外線画像の輝度が閾値未満である状態が所定時間継続したか否かを判定する継続時間判定手段と、を有し、
該継続時間判定手段により所定時間の経過が判定されたときに、前記赤外線投光器に異常があることを判定することを特徴とする請求項１に記載の赤外画像撮像装置。
前記異常判定手段は、前記赤外線カメラからの画像信号から抽出された前記赤外線投光器からの赤外線照射領域の輝度と、前記車両の前照灯からの光照射領域の輝度との差が所定値以上である場合に前記赤外線投光器の異常を判定することを特徴とする請求項１に記載の赤外画像撮像装置。
前記車両の周辺の光量を検出する周辺光量検出手段を備え、
前記異常判定手段は、前記周辺光量検出手段により車両周辺光量が前記赤外線カメラを使用可能な光量に低下したことを検出された場合に前記赤外線カメラにより受光された赤外線画像の輝度が予め設定された閾値未満か否かを判定することを特徴とする請求項１に記載の赤外画像撮像装置。