JP5310235B2 - 車載用照明制御装置及びプログラム - Google Patents

Description

本発明は、車載用照明制御装置及びプログラムに係り、特に、自車両の周辺に対して光を照射する照明装置を制御する車載用照明制御装置及びプログラムに関する。

従来より、先行車や対向車に対する眩惑を防止するために、カメラで撮像された画像中の光点の位置を検出し、検出された光点よりも上部の所定領域の光量を減少させるようなパターンで照射するようにヘッドライトを制御する自動車用ヘッドライト制御装置が知られている（特許文献１）。

特開２００８−９４１２７号公報

しかしながら、上記特許文献１に記載の技術では、ガードレール上や縁石上に設置されたリフレクタの上部に対しても照度を落としてしまうため、歩道や路側へ光が十分に照射されない、という問題がある。

本発明は、上記の問題点を解決するためになされたもので、先行車や対向車に対する眩惑を防止すると共に、歩道や路側へ適切に光を照射することができる車載用照明制御装置及びプログラムである。

上記の目的を達成するために本発明に係る車載用照明制御装置は、自車両の周辺を連続して撮像する撮像装置によって撮像された複数の撮像画像の各々から、輝度値が所定値以上となる高輝度領域を抽出する領域抽出手段と、連続して撮像された前記複数の撮像画像の各々における前記高輝度領域の位置の変化に基づいて、前記高輝度領域が表わす物体の相対的な運動を算出する相対運動算出手段と、前記相対運動算出手段によって算出された前記高輝度領域の相対的な運動と、自車両の運動とに基づいて、前記高輝度領域が、移動体に搭載された移動光源を表わすか否かを判定する移動光源判定手段と、前記移動光源判定手段によって前記移動光源を表わすと判定された前記高輝度領域の上方に対して照射される光を消灯又は減光するように、自車両の周辺に対して光を照射する照明装置を制御する照明制御手段とを含んで構成されている。

本発明に係るプログラムは、コンピュータを、自車両の周辺を連続して撮像する撮像装置によって撮像された複数の撮像画像の各々から、輝度値が所定値以上となる高輝度領域を抽出する領域抽出手段、連続して撮像された前記複数の撮像画像の各々における前記高輝度領域の位置の変化に基づいて、前記高輝度領域が表わす物体の相対的な運動を算出する相対運動算出手段、前記相対運動算出手段によって算出された前記高輝度領域の相対的な運動と、自車両の運動とに基づいて、前記高輝度領域が、移動体に搭載された移動光源を表わすか否かを判定する移動光源判定手段、及び前記移動光源判定手段によって前記移動光源を表わすと判定された前記高輝度領域の上方に対して照射される光を消灯又は減光するように、自車両の周辺に対して光を照射する照明装置を制御する照明制御手段として機能させるためのプログラムである。

本発明によれば、領域抽出手段によって、自車両の周辺を連続して撮像する撮像装置によって撮像された複数の撮像画像の各々から、輝度値が所定値以上となる高輝度領域を抽出する。相対運動算出手段によって、連続して撮像された複数の撮像画像の各々における高輝度領域の位置の変化に基づいて、高輝度領域が表わす物体の相対的な運動を算出する。

そして、移動光源判定手段によって、相対運動算出手段によって算出された高輝度領域の相対的な運動と、自車両の運動とに基づいて、高輝度領域が、移動体に搭載された移動光源を表わすか否かを判定する。照明制御手段によって、移動光源判定手段によって移動光源を表わすと判定された高輝度領域の上方に対して照射される光を消灯又は減光するように、自車両の周辺に対して光を照射する照明装置を制御する。

このように、連続して撮像された複数の撮像画像の各々における高輝度領域の位置の変化と、自車両の運動とから、移動光源を表わすと判定された高輝度領域の上方に対して照射される光を消灯又は減光するように制御することにより、先行車や対向車に対する眩惑を防止すると共に、歩道や路側へ適切に光を照射することができる。

本発明に係る車載用照明制御装置は、連続して撮像された複数の撮像画像の各々における高輝度領域の位置の変化に基づいて、上下方向に周期的に変化する高輝度領域が、自転車に搭載された光反射部を表わすと判定する自転車判定手段を更に含み、照明制御手段は、移動光源判定手段によって移動光源を表わすと判定された高輝度領域、及び自転車判定手段によって光反射部を表わすと判定された高輝度領域の上方に対して照射される光を消灯又は減光するように、照明装置を制御することができる。これによって、自転車に対しても、眩惑を防止することができる。

上記の自転車判定手段は、上下方向に周期的に変化し、かつ、周辺に他の高輝度領域が存在する高輝度領域が、自転車に搭載された光反射部を表わすと判定することができる。これによって、より精度よく自転車に搭載された光反射部であるか判定することができる。

本発明の車載用照明制御装置は、高輝度領域の形状、大きさ、及び輝度値の少なくとも一つに基づいて、形状、大きさ、及び輝度値の少なくとも一つが類似し、かつ、左右に並んだ一対の高輝度領域を、車両の一対の灯火を表わす高輝度領域として抽出する車両灯火抽出手段を更に含み、照明制御手段は、移動光源判定手段によって移動光源を表わすと判定された高輝度領域、及び車両灯火抽出手段によって抽出された車両の一対の灯火を表わす一対の高輝度領域の上方に対して照射される光を消灯又は減光するように、自車両に設けられた照明装置を制御することができる。これによって、停止している車両に対しても、眩惑を防止することができる。

上記の照明制御手段は、予め定められた照射すべき範囲については、消灯又は減光しないように、照明装置を制御することができる。これによって、照射すべき範囲について適切に光を照射することができる。

上記の移動光源判定手段は、相対運動算出手段によって算出された高輝度領域の相対的な運動と、自車両の運動とから求められる高輝度領域が表わす物体の運動量が、閾値以上である場合に、高輝度領域が、移動体に搭載された移動光源を表わすと判定することができる。

上記の車載用照明制御装置は、自車両の運動を検出する自車両運動検出手段を更に含むことができる。

上記の車載用照明制御装置は、連続して撮像された前記複数の撮像画像の各々における前記高輝度領域の位置の変化の分布に基づいて、自車両の運動を算出する自車両運動算出手段を更に含むことができる。

本発明のプログラムは、記憶媒体に格納して提供することができる。

以上説明したように、本発明の車載用照明制御装置及びプログラムによれば、連続して撮像された複数の撮像画像の各々における高輝度領域の位置の変化と、自車両の運動とから、移動光源を表わすと判定された高輝度領域の上方に対して照射される光を消灯又は減光するように制御することにより、先行車や対向車に対する眩惑を防止すると共に、歩道や路側へ適切に光を照射することができる、という効果が得られる。

本発明の第１の実施の形態に係る車載用照明システムの構成を示すブロック図である。 （Ａ）撮像装置によって撮像された前方画像を示す図、及び（Ｂ）設定された照明領域のパターンを示す図である。 本発明の第１の実施の形態に係る車載用照明システムにおける照明制御処理ルーチンの内容を示すフローチャートである。 本発明の第２の実施の形態に係る車載用照明システムの構成を示すブロック図である。 本発明の第３の実施の形態に係る車載用照明システムの構成を示すブロック図である。 自転車のリフレクタ及び灯火の配置を示すイメージ図である。 本発明の第４の実施の形態に係る車載用照明システムの構成を示すブロック図である。 本発明の第４の実施の形態に係る車載用照明システムにおける照明制御処理ルーチンの内容を示すフローチャートである。

以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、車両に搭載され、撮像された前方画像に基づいてヘッドライトを制御する車載用照明システムに本発明を適用した場合を例に説明する。

図１に示すように、第１の実施の形態に係る車載用照明システム１０は、自車両の前方の画像を連続して撮像するＣＣＤカメラ等からなる撮像装置１２と、自車両の運動を検出する各種センサからなる車両運動検出部１４と、連続して撮像された前方画像及び検出された自車両の運動に基づいて、自車両に設けられたヘッドライト１６を制御するコンピュータ１８とを備えている。なお、撮像装置１２は、カメラの台数や画角については特に限定されるものではなく、任意の構成としてよい。また、撮像装置１２によって出力される画像は、濃淡画像及びカラー画像の何れであってもよい。

車両運動検出部１４は、ジャイロセンサや車速計などの各種センサから構成され、各種センサの出力値により自車両の運動が検出される。

ヘッドライト１６は、領域に応じて光の照射量を変更可能に構成されており、様々な照射パターンで、光を照射することができる。ヘッドライト１６は、例えば、複数ライトをアレイ状に並べた照明装置や、ミラーなどで照射方向を変更できる照明装置、又はプロジェクタ方式で光を照射する照明装置で構成されている。なお、ヘッドライト１６は、照明装置の一例である。

コンピュータ１８は、ＣＰＵ、後述する照明制御処理ルーチンのプログラムを記憶したＲＯＭ、データ等を記憶するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このコンピュータ１８をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、コンピュータ１８は、撮像装置１２から出力される連続する複数の前方画像を入力する画像入力部２０と、画像入力部２０の出力である複数の前方画像の各画素について、輝度値が閾値以上であるか否かを判定して、輝度値が閾値以上となる高輝度領域を各前方画像から光源候補として抽出する領域抽出部２２と、抽出された各光源候補としての高輝度領域について、連続する前方画像における位置の変化に基づいて、光源候補が表わす物体の、自車両に対する相対的な運動を算出する相対運動算出部２４と、算出された相対的な運動と検出された自車両の運動とに基づいて、抽出された光源候補が、移動体に搭載された移動光源を表わすか否かを判定する移動光源判定部２６と、移動光源の上方に対して照射される光を消灯するように照射領域を設定する照明領域設定部２８と、設定された照射領域に基づいて、ヘッドライト１６を制御する照明制御部３０とを備えている。なお、照明領域設定部２８及び照明制御部３０が、照明制御手段の一例である。

画像入力部２０は、例えば、Ａ／Ｄコンバータや連続する複数の画像データを記憶する画像メモリ等で構成される。

領域抽出部２２は、画像入力部２０によって入力された図２（Ａ）に示すような前方画像の各々について、各画素の輝度値を閾値処理して、光源候補として、高輝度領域を抽出する。抽出した高輝度領域が表わす物体には、四輪車の灯火や二輪車の灯火、街灯、リフレクタなどが含まれている。

相対運動算出部２４は、連続する複数の前方画像から抽出された高輝度領域を、時系列で追跡することで、動き情報を算出するためのオプティカルフローを、各光源候補について算出する。オプティカルフローは、１台のカメラ画像から、カメラに対する相対運動を計測する一手段である。自車が運動している状況では、街灯などの静止光源も相対運動を持つため、オプティカルフローが計算される。

また、相対運動算出部２４は、各光源候補のオプティカルフローに基づいて、各光源候補が表わす物体の相対的な運動を算出する。

以下に、オプティカルフローから物体の相対的な運動を算出する方法について説明する。

まず、撮像装置１２は、車両に固定されているので、ここでは「撮像装置１２の運動＝自車両の運動」として説明する。車両は並進速度ν＝(ν_x,ν_y,ν_z)と回転角速度ω＝(ω_x,ω_y,ω_z)で運動する。これらの運動量は、車両運動を計測できるセンサとしての車両運動検出部１４によって獲得してもよい。速度成分は各軸方向の速度を表し、角速度の成分は各軸周りの回転角速度を表す。

撮像装置１２の運動によって、対象点Ｑのカメラ座標がＸ＝（Ｘ，Ｙ，Ｚ）からＸ＋ｄＸへ移動するとき、撮像装置１２が固定されていると見なせば、点Ｑが速度−νの並進移動をし、回転角速度−ωで回転運動する。したがって、次の（１）式で表される関係式が得られる。

ここで、画像斉次座標ｘのチルダ＝（ｘ，ｙ，１）^ｔ＝Ｘ／Ｚを用いると、次の（２）式、（３）式のように、オプティカルフローとカメラ運動との関係式が得られる。

ここで、（ｄｘ／ｄｔ，ｄｙ／ｄｔ）はオプティカルフローを示す。また、速度νはν／Ｚの形で現れているため、（速度）／（奥行き）についてのＳｃａｌｅ Ｆａｃｔｏｒの自由度がある（＝相対運動しか分からない。ただし、２枚の画像を取得する間の車両運動が分かっていればＳｃａｌｅ Ｆａｃｔｏｒも決定可能）。

５点以上の対象点についてオプティカルフローが求まっていれば、上記（２）式、（３）式、及び画像斉次座標の式を連立して、撮像装置１２の運動パラメータν，ωとｎ個の対象点の３次元座標を求めることができる。なお、５点よりも多くの点から最小自乗法で解いて推定精度を向上することも可能である。

つまり、１つの対象物に対して５点以上のオプティカルフローが得られていれば、その物体と撮像装置１２との相対運動を算出することができる。

なお、車両運動検出部１４のジャイロや車速計などのセンサによって検出された車両運動を用いて、撮像装置１２の運動パラメータν，ωは既知とし、上記の（２）式、（３）式から各対象点の相対運動を推定するようにしてもよい。

移動光源判定部２６は、各光源候補について、算出された相対的な運動と、車両運動検出部１４によって検出された自車両の運動とに基づいて、各光源候補が表わす物体の絶対的な運動を算出する。また、移動光源判定部２６は、算出された各光源候補が表わす物体の運動の運動量に対して、閾値判定を行い、運動量が閾値以上となる光源候補については、移動体に搭載された移動体光源を表わしていると判定され、一方、運動量が閾値未満となる光源候補については、静止した光源（道路上や路側に設置された光反射部、街灯など）を表わしていると判定される。

照明領域設定部２８は、標準設定であるハイビームの照明領域のパターンに対して、移動光源であると判定された光源候補の上方には光が照射されないように、図２（Ｂ）に示すような照明領域のパターンを設定する。一般に、移動光源の上方には、その移動体を運転する運転者が存在するため、その領域に対する照射光量を抑制することによって、先行車や対向車への眩惑防止を実現することができる。

照明領域設定部２８は、移動光源であると判定された光源候補がなかった場合には、標準設定として、ハイビームの照明領域のパターンを設定する。

また、照明領域設定部２８には、例えば、ロービーム設定時の照射範囲が、照射すべき範囲として予め記憶されており、その照射すべき範囲内では、照射光量が抑制されないように、照明領域の設定に制限がかかっている。例えば、上記のように移動光源の上方に光を照射しないように設定された照明領域のパターンと、予め定められた照射すべき範囲との和をとることにより、照明領域のパターンを設定する。このようにすることで、運転に必要な最低限の視界を常に確保し、もし近距離で誤って移動光源を検出した場合であっても安全性を確保する。また、空領域に向かって光を照射しても視認性向上に効果はなくエネルギーを消費するだけなので、ライトの位置と照射すべき領域を考慮して、光を照射する仰角方向の範囲を設定しておいてもよい。

照明制御部３０は、照明領域設定部２８により設定された照射領域のパターンを実現するように、ヘッドライト１６からの光の照射を制御する。

次に、第１の実施の形態に係る車載用照明システム１０の作用について説明する。車載用照明システム１０を搭載した自車両が夜間に道路上を走行しているときに、撮像装置１２によって、自車両の前方が連続して撮像されると共に、コンピュータ１８において、図３に示す照明制御処理ルーチンが繰り返し実行される。

まず、ステップ１００において、車両運動検出部１４の各種センサによって、後述するステップ１０２の所定期間（画像フレーム間）分の自車両の運動を検出する。そして、ステップ１０２において、撮像装置１２より連続して撮像された所定期間分（例えば、０．５〜１．０秒程度）の複数の前方画像を取得し、ステップ１０４において、上記ステップ１０２で取得した前方画像の各々について、各画素の輝度値が閾値以上であるか否かを判定して、輝度値が閾値以上となる高輝度領域を光源候補として抽出する。

そして、ステップ１０６で、抽出された各光源候補について、連続する前方画像の各々において追跡し、光源候補の位置の変化を取得し、各光源候補の位置の変化から、オプティカルフローを各々算出する。次のステップ１０８では、上記ステップ１０６で算出されたオプティカルフローに基づいて、各光源候補が表わす物体の、自車両に対する相対的な運動を算出する。ステップ１１０では、上記ステップ１００で取得した自車両の運動と、上記ステップ１０８で算出された各光源候補の相対的な運動とに基づいて、各光源候補の絶対的な運動を算出する。

そして、ステップ１１２において、上記ステップ１１０で算出された各光源候補の運動の運動量について閾値判定を行うことにより、各光源候補が、移動体に搭載された移動光源を表わしているか否かを判定する。

次のステップ１１４では、上記ステップ１１２で移動光源であると判定された光源候補があったか否かを判定する。移動光源であると判定された光源候補があった場合には、ステップ１１６において、移動光源の光源候補の上方に対して照射される光を消灯した照明領域のパターンを設定し、ステップ１２０へ移行する。一方、移動光源であると判定された光源候補がなかった場合には、ステップ１１８において、標準設定のハイビームの照明領域のパターンを設定し、ステップ１２０へ移行する。

ステップ１２０では、上記ステップ１１６又は１１８で設定された照明領域に光が照射されるように、ヘッドライト１６を制御して、照明制御処理ルーチンを終了する。

夜間走行中に、以上のように照明制御処理ルーチンが繰り返し実行されることにより、先行車や対向車の車両灯火の上方に対して、ヘッドライト１６からの光が消灯され、歩道や路側に対して、ヘッドライト１６から光が照射される。また、先行車や対向車が存在しない場合には、ハイビームの照射範囲に、ヘッドライト１６から光が照射される。

以上説明したように、第１の実施の形態に係る車載用照明システムによれば、連続して撮像された複数の前方画像の各々における光源候補の位置の変化と、自車両の運動とに基づいて、移動光源を表わすと判定された光源候補の上方に対して照射される光を消灯するように制御することにより、先行車や対向車に対する眩惑を防止すると共に、歩道や路側へ適切に光を照射することができる。

また、複数の前方画像から得られる動き情報を利用することで、動いている二輪車の灯火（単光源）と、静止しているガードレールや縁石上に設置されたリフレクタなどの光源を識別することができ、四輪車のみでなく、二輪車に対しても眩惑防止を図ることができる。

また、縁石上のリフレクタを光源とみなして、その上方に対する照明を暗く制御すると、歩道や路肩に対する照明が不十分となり、そこに存在する歩行者や自転車まで視認できなくしてしまう可能性があるが、移動光源であるか否かを判定してヘッドライトを制御することにより、歩行者や自転車まで視認できなくなってしまうことを防止することができる。また、近距離の路面上のリフレクタによって歩道に対する照明を消してしまうことを防止する。

次に、第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。

第２の実施の形態では、光源候補のオプティカルフローの分布に基づいて、自車両の運動を算出している点が、第１の実施の形態と異なっている。

図４に示すように、第２の実施の形態に係る車載用照明システム２１０は、撮像装置１２と、連続して撮像された前方画像に基づいて、ヘッドライト１６を制御するコンピュータ２１８とを備えている
コンピュータ２１８は、画像入力部２０と、領域抽出部２２と、相対運動算出部２４と、各光源候補のオプティカルフローの分布に基づいて、自車両の運動を算出する車両運動算出部２２５と、移動光源判定部２６と、照明領域設定部２８と、照明制御部３０とを備えている。

車両運動算出部２２５は、相対運動算出部２４で算出された各光源候補のオプティカルフローの分布から、静止物のオプティカルフローのみを抽出する。車両運動算出部２２５は、抽出された静止物のオプティカルフローから、自車両に対する静止物の相対運動を算出し、静止物の相対運動に基づいて、自車両の運動を算出する。

以下に、オプティカルフローの分布から、静止物を抽出する方法について説明する。

まず、静止物は、３次元空間内で位置変化がなく、撮像装置１２は車両とともに時間的に移動（並進・回転）する。ここでは、説明の都合上、撮像装置１２が静止しており、対象点が移動すると仮定する。

対象物の動きは、回転行列Ｒと並進行列Ｔとから成る。Ｘを運動前の対象点のカメラ座標とし、Ｘ’を運動後のカメラ座標とすると、以下の（４）式で表される関係が成り立つ。

ここで、回転行列Ｒと並進行列Ｔを以下の（５）式、（６）式で表わす。

上記（４）式のＴとＲＸとのベクトル積Ｔ×ＲＸは、Ｘ’と直交するため、以下の（７）式が得られる。

画像斉次座標ｘのチルダ＝（ｘ，ｙ，１）^ｔ＝Ｘ／Ｚを用いると、次の（８）式で表される関係式が得られる。

ここで、Ｅは基本行列（ｅｓｓｅｎｔｉａｌ ｍａｔｒｉｘ）と呼ばれ、次の（９）式で表される。

行列Ｅは９つの要素を持つが、上記（８）式の右辺は０であるため、任意の定数で割ることができる。したがって、実際に解くべき未知数は８つである。その８つの未知数を求めるためには、上記（８）式の関係が８個以上必要となる。すなわち、８点以上の静止物に含まれる対象点について、運動前後の対応関係（オプティカルフロー）が分かれば、撮像装置１２の運動Ｔ、Ｒを求めることができる。一般的には、画面内には多くの静止物が含まれており、それら静止物に含まれる対象点を８点選べば、撮像装置１２の運動を推定できる。ただし、オプティカルフローの分布においてどの特徴点が静止物であるかを直接的に見分けることは難しい。そこで、以下の２つの方法のどちらかで撮像装置１２の運動をまず推定する。

第１の方法として、オプティカルフローの求まった対象点から任意に８個選択して撮像装置１２の運動を推定する。そして、対象点の組み合わせを変更して、何回かカメラ運動を推定する。推定した撮像装置１２の運動が、他の推定結果に対して大きな誤差を持つときは、推定に使用した対象点に移動物の点が含まれているとして排除する。残った推定結果を平均化するなどして静止物に対する撮像装置１２の運動を推定する。

第２の方法として、フレーム内で移動物が撮像されない領域を予め調査しておき、その領域に含まれる対象点のオプティカルフローから撮像装置１２の運動を推定する。

上記の第１、２の方法に従って、撮像装置１２の運動が確定したら、上記第１の実施の形態で示した（２）式、（３）式を用いて、オプティカルフローが求まった各点の位置と動きベクトルを算出し、静止物であるか、移動物であるかを判定して、静止物を抽出する。

移動光源判定部２６は、各光源候補について、算出された相対的な運動と、車両運動算出部２２５によって算出された自車両の運動とに基づいて、各光源候補が表わす物体の運動を算出する。また、移動光源判定部２６は、算出された各光源候補が表わす物体の運動の運動量に対して、閾値判定を行い、各光源候補が、移動光源を表わしているか否かを判定する。

次に、第２の実施の形態に係る照明制御処理ルーチンは、以下のように実行される。

まず、撮像装置１２より連続して撮像された所定期間分の前方画像を取得し、取得した前方画像の各々から、輝度値が閾値以上となる高輝度領域を光源候補として抽出する。

そして、抽出された各光源候補について、連続する前方画像の各々において追跡し、光源候補の位置の変化から、オプティカルフローを算出する。次に、算出されたオプティカルフローに基づいて、各光源候補が表わす物体の、自車両に対する相対的な運動を算出する。また、算出されたオプティカルフローの分布に基づいて、静止物のオプティカルフローを抽出し、抽出された静止物のオプティカルフローから、自車両に対する、静止物の相対運動を算出し、静止物の相対運動から自車両の運動を算出する。

そして、算出された自車両の運動と、算出された各光源候補の相対的な運動とに基づいて、各光源候補の運動を算出する。そして、算出された各光源候補の運動の運動量について閾値判定を行うことにより、各光源候補が、移動体に搭載された移動光源を表わしているか否かを判定する。

次に、移動光源であると判定された光源候補があったか否かを判定する。移動光源であると判定された光源候補があった場合には、移動光源の光源候補の上方に対して照射される光を消灯した照明領域のパターンを設定する。一方、移動光源であると判定された光源候補がなかった場合には、標準設定のハイビームの照明領域を設定する。

そして、上記のように設定された照明領域に光が照射されるように、ヘッドライト１６を制御して、照明制御処理ルーチンを終了する。

このように、オプティカルフローの分布を用いて、自車両の運動を算出することにより、別センサを必要としないため、コストアップを抑えることができる。

次に、第３の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。

第３の実施の形態では、光源候補が、自転車に搭載されたリフレクタであるか否かを更に判定している点と、自転車のリフレクタの上方に対しても、照射される光を抑制するように制御している点とが、第１の実施の形態と主に異なっている。

図５に示すように、第３の実施の形態に係る車載用照明システム３１０のコンピュータ３１８は、画像入力部２０と、領域抽出部２２と、相対運動算出部２４と、移動光源判定部２６と、各光源候補の高輝度領域について、連続する前方画像における位置の変化に基づいて、自転車のリフレクタを表わすか否かを判定する自転車判定部３２６と、移動光源及び自転車のリフレクタの上方には光を照射しないように照射領域のパターンを設定する照明領域設定部３２８と、照明制御部３０とを備えている。

次に、本実施の形態の原理について説明する。

自車両が比較的高速で移動する場合には、静止物との相対速度が大きくなる。そのような場合には、自転車など低速の移動体に装備された光源又はリフレクタを、静止物と区別することが困難になる。ここでは、自転車のリフレクタを識別するための原理について説明する。

自転車には左右のペダル部分にリフレクタが装備されており、夜間走行中の車両に対して、自転車のリフレクタから反射光を返す。この反射光は、車両で撮像される前方画像中では、周期的に上下方向へ変化するように撮像される。常に左右が安定して検出できるとは限らないが、上下方向へ周期的に変化する光源又はリフレクタは、他にあまり存在しない。したがって、前方画像中に撮像された光源候補の位置変化を追跡し、周期的な上下方向の動き成分を持つ光源候補があれば、自転車のリフレクタであると判定することができる。

また、図６に示すように、自転車を前方向から見た場合にはペダルのリフレクタの間に、自転車に装備された灯火が存在し、一方、後部から見た場合には、サドルから後輪のどこかにリフレクタが装備されている。したがって、夜間走行中に、前方画像から自転車のペダルのリフレクタが検知される際には、その近くに、灯火又は後輪リフレクタも存在する可能性が高い。従って、周期的に上下方向に変化すると共に、周辺（例えば、高さ方向に１ｍ程度、水平方向に５０ｃｍ程度の範囲内）に他の光源候補が存在する光源候補があれば、自転車のリフレクタであると判定することができる。

本実施の形態では、自転車判定部３２６によって、各光源候補の高輝度領域について、連続する前方画像における位置の変化に基づいて、周期的に上下方向に変化し、かつ、周辺に他の光源候補（高輝度領域）が存在すれば、当該光源候補が、自転車のリフレクタを表わすと判定する。

照明領域設定部３２８は、移動光源又は自転車のリフレクタであると判定された光源候補の上方に対して照射される光を消灯するように、照明領域のパターンを設定する。これによって、移動光源や自転車のリフレクタの上方には、ヘッドライト１６からの光が照射されない。また、照明領域設定部３２８は、移動光源であると判定された光源候補も、自転車のリフレクタであると判定された光源候補もなかった場合には、ハイビームの照明領域のパターンを設定する。

次に、第３の実施の形態に係る照明制御処理ルーチンが、以下のように実行される。

まず、車両運動検出部１４の各種センサによって、自車両の運動を検出する。そして、撮像装置１２より連続して撮像された所定期間分の前方画像を取得し、取得した前方画像の各々について、輝度値が閾値以上となる高輝度領域を光源候補として抽出する。

そして、抽出された各光源候補について、連続する前方画像の各々において追跡し、光源候補の位置の変化から、オプティカルフローを算出する。次に、算出されたオプティカルフローに基づいて、各光源候補が表わす物体の、自車両に対する相対的な運動を算出する。取得した自車両の運動と、算出された各光源候補の相対的な運動とに基づいて、各光源候補の運動を算出する。

そして、算出された各光源候補の運動の運動量について閾値判定を行うことにより、各光源候補が、移動体に搭載された移動光源を表わしているか否かを判定する。また、抽出された各光源候補について連続する前方画像の各々において追跡することにより得られた、各光源候補の位置の変化から、各光源候補が、自転車のリフレクタであるか否かを判定する。

次に、移動光源であると判定された光源候補、又は自転車のリフレクタであると判定された光源候補があったか否かを判定する。移動光源又はリフレクタであると判定された光源候補があった場合には、移動光源又はリフレクタの光源候補の上方に対して照射される光を消灯した照明領域のパターンを設定する。一方、移動光源であると判定された光源候補もなく、自転車のリフレクタであると判定された光源候補もなかった場合には、標準のハイビームの照明領域のパターンを設定する。

上記で設定された照明領域に光が照射されるように、ヘッドライト１６を制御して、照明制御処理ルーチンを終了する。

以上説明したように、第３の実施の形態に係る車載用照明システムによれば、自転車のリフレクタであると判定された光源候補より上方へ光を照射しないように制御することにより、四輪車や二輪車だけでなく、自転車に対しても眩惑防止を図ることができる。

なお、上記の実施の形態において、第２の実施の形態における、オプティカルフローの分布から自車両の運動を算出する技術を適用してもよい。

次に、第４の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。

第４の実施の形態では、更に、停止車両の灯火ペアを表わす光源候補を抽出している点が、第１の実施の形態と主に異なっている。

図７に示すように、第４の実施の形態に係る車載用照明システム４１０のコンピュータ４１８は、画像入力部２０と、領域抽出部２２と、相対運動算出部２４と、移動光源判定部２６と、静止した光源として判定された光源候補から、停止車両の左右に並んだ一対の灯火ペアを表わす光源候補のペアを抽出する停止車両抽出部４２６と、移動光源及び停止車両の灯火ペアの上方には光を照射しないように照射領域のパターンを設定する照明領域設定部４２８と、照明制御部３０とを備えている。

停止車両抽出部４２６は、移動光源と判定されなかった光源候補（静止している光源と判定された光源候補）群の中から、輝度、形状、及び大きさが類似しており、かつ水平方向に（左右に）並んで存在する一対の光源候補のペアを、停止車両の左右に並んだ一対の灯火ペアとして抽出する。なお、光源候補のペアリングの際には、相対運動算出部２４において、上記の第１の実施の形態で説明した方法に従って静止物の相対的な運動を算出する際に求められる３次元座標に基づいて、光源候補までの概算距離を計算し、その概算距離に応じて仮定した車幅に基づいて、前方画像中でペアと考えられる光源の範囲（左右方向の距離）を限定する。

照明領域設定部４２８は、移動光源又は停止車両の灯火ペアであると判定された光源候補の上方には光が照射されないように、照明領域のパターンを設定する。これによって、移動光源や停止車両の灯火ペアの上方には、ヘッドライト１６からの光が照射されない。また、照明領域設定部３２８は、移動光源であると判定された光源候補もなく、停止車両の灯火ペアも抽出されなかった場合には、ハイビームの照明領域のパターンを設定する。

次に、第４の実施の形態に係る照明制御処理ルーチンについて図８を用いて説明する。なお、第１の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。

まず、ステップ１００において、車両運動検出部１４の各種センサによって、自車両の運動を検出する。そして、ステップ１０２において、撮像装置１２より連続して撮像された所定期間分の前方画像を取得し、ステップ１０４において、上記ステップ１０２で取得した前方画像の各々について、輝度値が閾値以上となる高輝度領域を光源候補として抽出する。

そして、ステップ１０６で、抽出された各光源候補について、連続する前方画像の各々において追跡し、オプティカルフローを算出し、次のステップ１０８では、上記ステップ１０６で算出されたオプティカルフローに基づいて、各光源候補が表わす物体の、自車両に対する相対的な運動を算出する。ステップ１１０では、上記ステップ１００で取得した自車両の運動と、上記ステップ１０８で算出された各光源候補の相対的な運動とに基づいて、各光源候補の絶対的な運動を算出する。

そして、ステップ１１２において、上記ステップ１１０で算出された各光源候補の運動の運動量について閾値判定を行うことにより、各光源候補が、移動体に搭載された移動光源を表わしているか否かを判定する。

次のステップ４５０では、上記ステップ１１２で、移動光源ではなく、静止した光源であると判定された光源候補群から、停止車両の左右に並んだ一対の灯火ペアを表わす光源候補ペアを抽出する。

そして、ステップ４５２において、上記ステップ１１２で移動光源であると判定された光源候補があったか、又は上記ステップ４５０で停止車両の灯火ペアである光源候補ペアが抽出されたかを判定する。移動光源であると判定された光源候補があった場合、又は、停止車両の灯火ペアである光源候補ペアが抽出された場合には、ステップ４５４において、移動光源の光源候補、及び停止車両の灯火ペアである光源候補ペアの上方に対して照射される光を消灯した照明領域のパターンを設定し、ステップ１２０へ移行する。一方、移動光源であると判定された光源候補がなく、かつ、停止車両の灯火ペアである光源候補ペアが抽出されなかった場合には、ステップ１１８において、標準設定であるハイビームの照明領域のパターンを設定し、ステップ１２０へ移行する。

ステップ１２０では、上記ステップ４５４又は１１８で設定された照明領域に光が照射されるように、ヘッドライト１６を制御して、照明制御処理ルーチンを終了する。

以上説明したように、第４の実施の形態に係る車載用照明システムによれば、左右に並んだ一対の車両灯火ペアとして抽出された光源候補ペアより上方へ光を照射しないように制御することにより、四輪車や二輪車などの移動体だけでなく、停止車両に対しても、眩惑を防止することができる。

なお、上記の実施の形態では、形状、大きさ、及び輝度値が類似し、かつ、左右に並んだ一対の光源候補のペアを、停止車両の左右に並んだ一対の灯火ペアとして抽出する場合を例に説明したが、これに限定されるものではなく、形状、大きさ、及び輝度値の少なくとも１つが類似し、かつ、左右に並んだ一対の光源候補のペアを、停止車両の一対の灯火ペアとして抽出してもよい。

また、上記の実施の形態において、第２の実施の形態における、オプティカルフローの分布から自車両の運動を算出する技術を適用してもよい。また、第３の実施の形態における、自転車のリフレクタを表わす光源候補であるか否かを判定する技術を適用してもよい。

また、上記の第１の実施の形態〜第４の実施の形態では、移動光源、自転車のリフレクタ、又は停止車両の灯火ペアの上方に照射される光を消灯するようにヘッドライドを制御する場合を例に説明したが、これに限定されるものではなく、移動光源、自転車のリフレクタ、又は停止車両の灯火ペアの上方に照射される光を減光するようにヘッドライドを制御してもよい。この場合には、移動光源、自転車のリフレクタ、又は停止車両の灯火ペアの上方に照射される光の照明量を小さくするように、照明領域のパターンを設定すればよい。

また、光源候補が移動光源又は自転車のリフレクタであると判定された場合や、停止車両の灯火ペアである光源候補が抽出された場合に、移動光源、自転車のリフレクタ、又は停止車両の灯火ペアが存在する位置を表示装置に表示させるようにしてもよい。また、前方画像が、移動光源、自転車のリフレクタ、又は停止車両の灯火ペアを表わしていることを、ランプ等の光や音声出力によって提示するようにしてもよい。

１０、２１０、３１０、４１０車載用照明システム
１２ 撮像装置
１４ 車両運動検出部
１６ ヘッドライト
１８、２１８、３１８、４１８コンピュータ
２２ 領域抽出部
２４ 相対運動算出部
２６ 移動光源判定部
２８、３２８、４２８ 照明領域設定部
３０ 照明制御部
２２５ 車両運動算出部
３２６ 自転車判定部
４２６ 停止車両抽出部

Claims (9)

1. 自車両の周辺を連続して撮像する撮像装置によって撮像された複数の撮像画像の各々から、輝度値が所定値以上となる高輝度領域を抽出する領域抽出手段と、
   連続して撮像された前記複数の撮像画像の各々における前記高輝度領域の位置の変化に基づいて、前記高輝度領域が表わす物体の相対的な運動を算出する相対運動算出手段と、
   前記相対運動算出手段によって算出された前記高輝度領域の相対的な運動と、自車両の運動とに基づいて、前記高輝度領域が、移動体に搭載された移動光源を表わすか否かを判定する移動光源判定手段と、
   前記移動光源判定手段によって前記移動光源を表わすと判定された前記高輝度領域の上方に対して照射される光を消灯又は減光するように、自車両の周辺に対して光を照射する照明装置を制御する照明制御手段と、
   を含む車載用照明制御装置。
2. 連続して撮像された前記複数の撮像画像の各々における前記高輝度領域の位置の変化に基づいて、上下方向に周期的に変化する前記高輝度領域が、自転車に搭載された光反射部を表わすと判定する自転車判定手段を更に含み、
   前記照明制御手段は、前記移動光源判定手段によって前記移動光源を表わすと判定された前記高輝度領域、及び前記自転車判定手段によって前記光反射部を表わすと判定された前記高輝度領域の上方に対して照射される光を消灯又は減光するように、前記照明装置を制御する請求項１記載の車載用照明制御装置。
3. 前記自転車判定手段は、上下方向に周期的に変化し、かつ、周辺に他の高輝度領域が存在する前記高輝度領域が、前記自転車に搭載された前記光反射部を表わすと判定する請求項２記載の車載用照明制御装置。
4. 前記高輝度領域の形状、大きさ、及び輝度値の少なくとも一つに基づいて、前記形状、大きさ、及び輝度値の少なくとも一つが類似し、かつ、左右に並んだ一対の高輝度領域を、車両の一対の灯火を表わす高輝度領域として抽出する車両灯火抽出手段を更に含み、
   前記照明制御手段は、前記移動光源判定手段によって前記移動光源を表わすと判定された前記高輝度領域、及び前記車両灯火抽出手段によって抽出された前記車両の一対の灯火を表わす前記一対の高輝度領域の上方に対して照射される光を消灯又は減光するように、自車両に設けられた照明装置を制御する請求項１〜請求項３の何れか１項記載の車載用照明制御装置。
5. 前記照明制御手段は、予め定められた照射すべき範囲については、消灯又は減光しないように、前記照明装置を制御する請求項１〜請求項４の何れか１項記載の車載用照明制御装置。
6. 前記移動光源判定手段は、前記相対運動算出手段によって算出された前記高輝度領域の相対的な運動と、自車両の運動とから求められる前記高輝度領域が表わす物体の運動量が、閾値以上である場合に、前記高輝度領域が、移動体に搭載された移動光源を表わすと判定する請求項１〜請求項５の何れか１項記載の車載用照明制御装置。
7. 自車両の運動を検出する自車両運動検出手段を更に含む請求項１〜請求項６の何れか１項記載の車載用照明制御装置。
8. 連続して撮像された前記複数の撮像画像の各々における前記高輝度領域の位置の変化の分布に基づいて、自車両の運動を算出する自車両運動算出手段を更に含む請求項１〜請求項６の何れか１項記載の車載用照明制御装置。
9. コンピュータを、
   自車両の周辺を連続して撮像する撮像装置によって撮像された複数の撮像画像の各々から、輝度値が所定値以上となる高輝度領域を抽出する領域抽出手段、
   連続して撮像された前記複数の撮像画像の各々における前記高輝度領域の位置の変化に基づいて、前記高輝度領域が表わす物体の相対的な運動を算出する相対運動算出手段、
   前記相対運動算出手段によって算出された前記高輝度領域の相対的な運動と、自車両の運動とに基づいて、前記高輝度領域が、移動体に搭載された移動光源を表わすか否かを判定する移動光源判定手段、及び
   前記移動光源判定手段によって前記移動光源を表わすと判定された前記高輝度領域の上方に対して照射される光を消灯又は減光するように、自車両の周辺に対して光を照射する照明装置を制御する照明制御手段
   として機能させるためのプログラム。