JP5927110B2 - 車両用外界認識装置 - Google Patents

Description

本発明は、カメラ等の画像センサからの情報に基づいて障害物との衝突を回避するための警報や自動ブレーキ等を実施する自動車のための車両用外界認識装置に関する。

交通事故による死傷者数を低減するため、事故を未然に防ぐための予防安全システムの開発が進められている。予防安全システムは、事故の発生する可能性が高い状況下で作動するシステムであり、例えば、自車両前方の障害物と衝突する可能性が生じたときには警報によって運転者に注意を促し、さらに衝突が避けられない状況になったときには自動ブレーキによって乗員の被害を軽減するプリクラッシュ・セーフティ・システム等が実用化されている。
ここで、障害物に対する前記警報や前記自動ブレーキなどは、運転者が障害物に気づいていない場合には、運転者が障害物に気づいている場合よりも早いタイミングで実施することが望ましいと考えられる。以降、本書ではドライバの気づきやすさに関する指標を「視認性」と呼ぶ。視認性は、脳波等から直接センシングすることは困難であるため、視認性に基づくアプリケーションを提供するためには、これを間接的に推測する必要がある。

特許文献１には、カメラやレーダ等の障害物センサにより障害物までの距離を検出し、赤外光カメラにより障害物が人間に対応する輻射温度範囲内にあるか否かを判定し、障害物が人間であり、かつ、障害物との距離が所定距離以下である場合には、クラクションをオンさせると共に障害物の方向に前照灯の光軸を向けて配光量を増加すること、及び、フォグランプのオン／オフやワイパ速度によって視認性を判定して視認性が悪いほど前記所定距離を長くすること、が記載されている。

特許文献２には、横移動する前方物体の横移動速度、位置及び大きさに基づいて当該物体の危険度を判定し、危険度が所定値よりも大きいときに警報によって運転者の注意を喚起すること、及び、視認性の悪い雨天時や夜間時には前記所定値を小さくするように補正して前記警報が行われる易くすること、が記載されている。

特許文献３には、ドライバの視線を検出し、遠赤外線カメラで歩行者を検出し、可視光カメラで歩行者の位置における画像の明るさと背景を比較し、そのコントラストが所定値以下であれば視認性不良と判定し、視認性不良の場合には歩行者の位置に相当する視点の位置に輝度の明るい丸い枠を表示することが記載されている。

特開２００１−９１６１８号公報 特開２０００−２５１２００号公報 特開２００５−１３５０３７号公報

しかし、特許文献１，２に記載の技術は、雨天時や夜間時などは一律に視認性が悪いと判定しており、障害物毎の視認性が考慮されていない点で問題がある。例えば、自車両前方の歩行者が明るい色等の服を着ている場合には、雨天時や夜間時であっても運転者が当該歩行車に気づく可能性が高いと考えられるが、このような場合にまで警報等を早めに実施してしまうと、却って運転者に煩わしさを与えたり、運転の妨げとなったりするおそれがある。

一方、特許文献３に記載の技術は、歩行者（障害物）の位置における画像の明るさと背景とを比較しており、障害物毎の視認性が考慮されているように見える。しかし、歩行者の服装の色等によっては、歩行者の位置における画像の明るさと背景との差が小さくても運転者が当該歩行者に容易に気づくことができる場合があり、逆に、歩行者の位置における画像の明るさと背景との差が大きくても運転者が歩行者に気づきにくい場合もある。したがって、障害物の視認性を精度よく判定しているとは言えず、単に表示を変化させるだけであれば特に問題とならないと考えられるが、警報等を実施する場合には、警報等の適切な実施及び運転者への煩わしさの抑制という点で改良の余地がある。

そこで、本発明は、障害物個別の認知のしやすさ（以後、本書では「顕著性」と呼ぶ）の推定精度を向上させ、運転者が気づいていない可能性の高い障害物と、運転者が気づきやすい又は気づいている可能性の高い障害物とで、警報や自動ブレーキなどの車両における障害物回避制御のタイミングを変更させることのできる車両用外界認識装置を提供することを目的とする。

そのため、本発明の一側面による車両用外界認識装置は、自車両周囲の画像を取得する画像取得部と、自車両周囲の障害物の位置情報を取得する情報取得部と、前記画像における前記障害物を含む所定領域の色情報に基づく当該所定領域の輝度成分に基づいて、前記障害物の顕著性を推定する障害物顕著性推定部と、推定された前記障害物の顕著性に基づいて、車両における障害物回避制御の実行指令の出力要否又は出力タイミングを判定する車両制御判定部と、を有する。前記障害物顕著性推定部は、画像の前記所定領域の輝度成分、色成分及びエッジ角度成分のうちの少なくとも一つの成分に基づく顕著性マップを用いて障害物の画像顕著性を算出し、その算出結果に基づいて障害物の顕著性を推定する。前記車両制御判定部は、自車両が前記障害物に衝突するまでの衝突時間を算出し、当該衝突時間が閾値以下の場合に前記障害物回避制御の実行指令を出力すると共に、前記障害物の顕著性が高いほど前記閾値を小さく設定する。

また、本発明の他の側面による車両用外界認識装置は、自車両周囲の画像を取得する画像取得部と、前記画像全体の色情報に基づく輝度成分に基づいて、前記画像の各画素の顕著性を推定する画素顕著性推定部と、自車両周囲の障害物の位置情報を取得する位置情報取得部と、前記画像における前記障害物の位置の各画素の顕著性に基づいて、前記障害物の顕著性を推定する障害物顕著性推定部と、推定された前記障害物の顕著性に基づいて、車両における障害物回避制御の実行指令の出力要否又は出力タイミングを判定する車両制御判定部と、を有し、前記画素顕著性推定部は、前記画像全体の輝度成分、色成分及びエッジ角度成分のうちの少なくとも一つの成分に基づく顕著性マップを用いて前記画像の各画素の画像顕著性を算出する。前記車両用外界認識装置は、前記画像から画像処理によって前記障害物を検出可能な障害物検出部をさらに有し、前記障害物検出部は、前記画像の各画素の顕著性に基づいて算出された前記画像の顕著性の低い領域から障害物を検出し、当該障害物の位置情報を前記位置情報取得部に出力する。

前記車両用外界認識装置は、従来技術に比べて自車両周囲の障害物の顕著性を精度よく推定し、運転者が気づいていない可能性の高い障害物と、運転者が気づきやすい又は気づいている可能性の高い障害物とで、警報や自動ブレーキなどの車両における障害物回避制御のタイミングを変更させることができる。

本発明の第１実施形態による車両用外界認識装置の構成を示すブロック図である。 障害物顕著性推定部における処理の一例を示すフローチャートである。 顕著性マップを用いた障害物の画像顕著性の算出例を示すフローチャートである。 障害物顕著性推定部における処理の他の例を示すフローチャートである。 車両制御判定部における処理の一例を示すフローチャートである。 本発明の第２実施形態による車両用外界認識装置の構成を示すブロック図である。 本発明の第３実施形態による車両用外界認識装置の構成を示すブロック図である。 本発明の第４実施形態による車両用外界認識装置の構成を示すブロック図である。 障害物検出部における処理の一例を示すフローチャートである。 顕著性マップを用いた画像顕著性の算出の流れを示す図である。

以下、添付図面を参照しつつ本発明の実施形態について説明する。
＜第１実施形態＞
図１は、本発明の第１実施形態による車両用外界認識装置１０００の構成を示すブロック図である。車両用外界認識装置１０００は、自動車に搭載されるカメラ装置内もしくは統合コントローラ内等に組み込まれ、カメラ装置のカメラ１０１０で撮影した画像内から物体を検出するためのものであり、本実施形態では、自車両周囲の障害物を検知するように構成されている。

車両用外界認識装置１０００は、ＣＰＵやメモリ、Ｉ／Ｏ等を有するコンピュータによって構成されており、所定の処理がプログラミングされて、あらかじめ定められた周期Ｔで繰り返し処理を実行する。

車両用外界認識装置１０００は、図１に示すように、画像取得部１０１１と、障害物情報取得部１０２１と、障害物顕著性推定部１０３１と、車両制御判定部１０４１と、を有する。

画像取得部１０１１は、自車両の前方を撮像可能な位置に取り付けられたカメラ１０１０から、自車両周囲を撮影した画像ＩＭＧＳＲＣ［ｘ］［ｙ］［ｃ］を取得してＲＡＭ上に記憶する。ここで、画像ＩＭＧＳＲＣ［ｘ］［ｙ］［ｃ］は２次元配列であり、ｘ、ｙはそれぞれ画像の座標を示し、ｃはＲ，Ｇ，Ｂ成分（色情報）を示している。

障害物情報取得部１０２１は、ソナー、レーダ又はステレオカメラなどの自車両周囲の障害物の存在及びその位置を検出可能な装置から、障害物の位置情報ＰＸ［ｂ］、ＰＹ［ｂ］を取得する。ここで、ＰＸは自車両の左右方向の位置を示し、ＰＹは自車両の前後方向の位置を示している。また、ｂは複数の障害物が検出された場合の各障害物のＩＤ番号である。障害物情報取得部１０２１は、前記装置からの信号を直接入力することによって障害物の位置情報ＰＸ［ｂ］，ＰＹ［ｂ］を取得してもよいし、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を用いた通信を行うことによって取得してもよい。

障害物顕著性推定部１０３１は、画像ＩＭＧＳＲＣ［ｘ］［ｙ］［ｃ］及び障害物の位置情報ＰＸ［ｂ］、ＰＹ［ｂ］を入力し、入力した画像及び位置情報に基づいて各障害物の顕著性ＶＳＢＬＴ［ｂ］を推定する。なお、障害物顕著性推定部１０３１における処理の詳細については後述する。
なお、本実施例における顕著性とは、カメラ画像から得られる情報を用いてドライバの見えやすさを数値化したものであり、実際のドライバの顕著性を直接脳波から計測したような値ではない。本実施例では、例えば暗い背景の中で明るい色の服を着た歩行者に対しては高く、暗い背景で黒い服を着た歩行者に対しては低くなるような指標を採用しており、具体的な算出方法については後述する。

車両制御判定部１０４１は、各障害物の顕著性ＶＳＢＬＴ［ｂ］及び障害物の位置情報ＰＸ［ｂ］、ＰＹ［ｂ］を入力し、車両における障害物回避制御の実施要否を判定し、障害物回避制御が必要な場合にはその実行指令の出力タイミングを判定する。ここで、前記車両における障害物回避制御は、自車両と障害物との衝突を回避するための制御はもちろん、障害物との衝突による被害を軽減するための制御をも含み、例えば、自車両と衝突する可能性のある障害物の存在を警報によって運転者に知らせること、障害物としての歩行者等に自車両の接近を認知させること、自動ブレーキによって障害物との衝突を回避し又は衝突による被害を軽減すること、などが該当する。車両制御判定部１０４１における処理の詳細ついては後述する。

［障害物顕著性推定部］
図２〜図４を用いて、障害物顕著性推定部１０３１における処理の内容について説明する。図２は、障害物顕著性推定部１０３１において実施される障害物の顕著性ＶＳＢＬＴ［ｂ］の算出処理を示すフローチャートである。

図２において、ステップＳ２０１では、ｂ＝０として初期化する。
ステップＳ２０２では、障害物情報取得部１０２１より取得した障害物の位置情報ＰＸ［ｂ］、ＰＹ［ｂ］から、画像ＩＭＧＳＲＣ［ｘ］［ｙ］［ｃ］上の当該障害物に対応する領域（以下「障害物領域」という）Ｒ［ｂ］を算出する。この演算は、空間中の３次元位置を画像上の領域へ変換するものであり、例えば、車両に搭載されたカメラの内部パラメータおよび外部パラメータを事前に計測しておき、この事前に計測されたパラメータや当該カメラの幾何情報（カメラの設置角度や距離と大きさとの関係など）を用いて実施される。障害物領域Ｒ［ｂ］は、例えば、前記画像ＩＭＧＳＲＣ［ｘ］［ｙ］［ｃ］上の障害物を内包する最小矩形領域として算出される。

ステップＳ２０３では、障害物領域Ｒ［ｂ］及びその周囲領域ｒ［ｂ］から障害物の画像顕著性ＩＶ［ｂ］を算出する。周囲領域ｒ［ｂ］は、例えば、障害物領域Ｒ［ｂ］の１画素又は数画素だけ外側の領域とすることができる。画像顕著性ＩＶ［ｂ］の算出方法については後述する。なお、障害物領域Ｒ［ｂ］及びその周囲領域ｒ［ｂ］が本発明における「障害物を含む所定領域」に相当する。

ステップＳ２０４では、現在対象としている障害物の１周期前からＮ周期前までのそれぞれで算出された過去の画像顕著性ＩＶ＿ｚ１［ｂ］、・・・、ＩＶ＿ｚＮ［ｂ］を取得する。この過去の画像顕著性の取得は、例えば車両用外界認識装置１０００がＮ周期前までの過去の各障害物に関する情報をＲＡＭ等に記憶しておくことによって実現できる。

ステップＳ２０５では、障害物の顕著性ＶＳＢＬＴ［ｂ］を以下の式により求める。
ＶＳＢＬＴ［ｂ］＝ＭＡＸ（ＩＶ［ｂ］，ＩＶ＿ｚ１［ｂ］，…，ＩＶ＿ｚＮ［ｂ］）
現在の画像から算出した画像顕著性が低い場合であっても、直前又はそれよりも前に算出した画像顕著性が高かかった場合には、運転者が当該障害物に気づいている可能性が高いと考えられる。そこで、ステップＳ２０５では、現在の画像から算出した画像顕著性ＩＶ［ｂ］だけでなく、過去に算出した画像顕著性ＩＶ＿ｚ［ｂ］をも考慮して障害物の顕著性ＶＳＢＬＴ［ｂ］し、これにより、運転者が障害物に気づいている可能性が高い障害物について、画像顕著性が低く算出されてしまうことを抑制している。

そして、ステップＳ２０６において、ｂをインクリメントし、ｂが障害物数Ｂ未満であればステップＳ２０２へ戻り、障害物数Ｂ以上になっていれば、すべての障害物をチェックしたので処理を終了する。

次に、ステップＳ２０３で実施される画像顕著性ＩＶ［ｂ］の算出について説明する。
本実施形態において、画像顕著性ＩＶ[ｂ]は、障害物領域Ｒ[ｂ]及びその周囲領域ｒ［ｂ］の輝度成分に基づいて算出される。簡易には、画像ＩＭＧＳＲＣ［ｘ］［ｙ］［ｃ］の各画素の色情報（ＲＧＢ成分）の平均値（加重平均値を含む）を各画素の輝度値とし、障害物領域Ｒ[ｂ]の各画素の輝度値の平均値と、周囲領域ｒ［ｂ］の各画素の輝度値の平均値との差を画像顕著性ＩＶ[ｂ]とすることができる。

但し、本実施形態では、顕著性マップという技術を用いて画像顕著性ＩＶ[ｂ]を算出する。顕著性マップは、画像における人間の視覚的注意を惹きやすい領域を計算するためのモデルであり、論文等にも記載されている公知の技術である。このため、ここでは顕著性マップについての詳しい説明を省略し、顕著性マップを用いた画像顕著性ＩＶ[ｂ]の算出の流れを説明する。

図３は、顕著性マップを用いた画像顕著性ＩＶ[ｂ]のフローを示しており、図１０は、顕著性マップを用いた画像顕著性ＩＶ[ｂ]の算出の流れを示す。
ステップＳ３０１では、画像ＩＭＧＳＲＣ［ｘ］［ｙ］［ｃ］上の障害物領域Ｒ［ｂ］及び周囲領域ｒ［ｂ］から部分画像ＩＭＧＳＲＣ＿Ｒ［ｘ］［ｙ］［ｃ］［ｂ］を生成し、部分画像から輝度成分、色成分及びエッジ角度成分（方向成分）を抽出した９つの画像を生成する。本実施形態において、輝度成分は、各画素のＲＧＢ成分の平均値を各画素の輝度値とした平均値画像Ｉであり、色成分は、ＲＧＢ成分から算出したＲ，Ｇ，Ｂ，Ｙの４つの成分である。また、前記輝度成分に０［ｄｅｇ］、４５［ｄｅｇ］、９０［ｄｅｇ］、１３５［ｄｅｇ］のガボールフィルタをかけた４つの成分をエッジ角度成分として生成する。

ステップＳ３０２では、部分画像ＩＭＧＳＲＣ＿Ｒ［ｘ］［ｙ］［ｃ］［ｂ］から生成した９つの成分（輝度成分、４つの色成分及び４つのエッジ角度成分）を画素値として持つ９つの部分画像について、画像ピラミッド（ガウシアン・ピラミッド）を生成する。画像ピラミッドは、ある画像をぼかして解像度を半分に落とすという作業を繰り返した際に各段階で生成される画像の集合として構成される。本実施形態では、９段の画像ピラミッドを生成する。よって、９つの部分画像からそれぞれ９段の画像ピラミッドを生成するため、この時点で合計８１枚の画像が生成される。

ステップＳ３０３では、一つの画像ピラミッド内のスケールの異なる２枚の画像を選択し、小さい方の画像を大きい方の画像サイズに拡大して、これらの差分画像を求める。

輝度成分については、スケールの異なる２つの画像を選択して以下の式よって輝度成分の差分画像ＦＩを求める。
ＦＩ（ｃ，ｓ）＝｜ＧＩ（ｃ）−ＧＩ（ｓ）｜
ここで、ｃ、ｓは、画像ピラミッドの段数であり、ｓはｃよりも段数が大きい。すなわち、段数ｓの画像は、段数ｃの画像よりサイズが小さい。

色成分画像については、ＲとＧ，ＢとＹの差分画像を以下の式で求める。
ＦＲＧ（ｃ，ｓ）＝｜（ＧＲ（ｃ）−ＧＧ（ｃ））−（ＧＧ（ｓ）−ＧＲ（ｓ））｜
ＦＢＹ（ｃ，ｓ）＝｜（ＧＢ（ｃ）−ＧＹ（ｃ））−（ＧＹ（ｓ）−ＧＢ（ｓ））｜

エッジ角度成分については、輝度成分と同様に、０［ｄｅｇ］、４５［ｄｅｇ］、９０［ｄｅｇ］、１３５［ｄｅｇ］それぞれのピラミッド画像の異なる段数の画像間で対応する画素値の差分を算出して差分画像を求める。

なお、ここでは、（ｃ＝２、ｓ＝５）、（ｃ＝２、ｓ＝６）、（ｃ＝３、ｓ＝６）、（ｃ＝３、ｓ＝７）、（ｃ＝４、ｓ＝７）、（ｃ＝４、ｓ＝８）の６種類について差分画像を算出する。これにより、輝度成分については６枚、色成分については１２枚、エッジ角度成分については２４枚の計４２枚の差分画像が生成される。

ステップＳ３０４では、輝度成分の６枚の差分画像、色成分の１２枚の差分画像、エッジ角度成分の２４枚の差分画像をそれぞれ正規化して重ね合わせ、輝度成分の特徴マップＦＭＩ［ｘ］［ｙ］［ｂ］、色成分の特徴マップＦＭＣ［ｘ］［ｙ］［ｂ］、エッジ角度成分の特徴マップＦＭＯ［ｘ］［ｙ］［ｂ］を作成する。

ステップＳ３０５では、各成分を正規化して重み付き平均から顕著性マップＳＭ［ｘ］［ｙ］［ｂ］を作成する。
ＳＭ［ｘ］［ｙ］［ｂ］＝ｋ＿Ｉ×ＦＭＩ［ｘ］［ｙ］［ｂ］＋ｋ＿Ｃ×ＦＭＣ［ｘ］［ｙ］［ｂ］＋ｋ＿Ｏ×ＦＭＯ［ｘ］［ｙ］［ｂ］
ここで、ｋ＿Ｉ、ｋ＿Ｃ及びｋ＿Ｏは、重み係数であり、本実施形態ではすべて０．３３に設定している。
以上説明した顕著性マップの生成に関する処理における各段階での出力を図１０に示す。最終的に得られる顕著性マップＳＭ［ｘ］［ｙ］［ｂ］は、画像ＩＭＧＳＲＣ［ｘ］［ｙ］［ｃ］から障害物領域Ｒ［ｂ］及び周囲領域ｒ［ｂ］を切り出した部分画像ＩＭＧＳＲＣ＿Ｒ［ｘ］［ｙ］［ｃ］［ｂ］と同じ大きさの画像であり、各座標（ｘ、ｙ）の画素値はその座標における顕著性を表す。

そして、ステップＳ３０６において、以上のようにして作成された顕著性マップＳＭ［ｘ］［ｙ］［ｂ］の障害物領域Ｒ［ｂ］内の値を用いて画像顕著性ＩＶ［ｂ］を算出する。本実施例では顕著性マップＳＭ［ｘ］［ｙ］［ｂ］における障害物領域Ｒ［ｂ］内の画素値の最大値を抽出し、それを障害物領域Ｒ［ｂ］の画像顕著性ＩＶ［ｂ］とする。
以上のような演算処理によって障害物の画像顕著性ＩＶ［ｂ］を算出できる。

このように、顕著性マップを用いることにより、人間の視覚的注意の惹きやすさを考慮した上で画像顕著性ＩＶ［ｂ］を算出できるので、運転者にとっての障害物の顕著性の推定精度を高めることができる。

なお、以上説明した顕著性マップＳＭ［ｘ］［ｙ］［ｂ］の作成において、画像ピラミッドの段数は、障害物領域Ｒ［ｂ］の大きさに応じていくつかを選択する形となっていてもよい。また、ここでは、障害物領域Ｒ［ｂ］及び周囲領域ｒ［ｂ］から輝度成分、色成分及びエッジ角度成分の三つの成分を抽出して各成分の特徴マップを作成している。しかし、これに限るものではなく、輝度成分、色成分及びエッジ角度成分のうちの少なくとも一つの成分の特徴マップに基づいて、顕著性マップＳＭの作成及び画像顕著性ＩＶ［ｂ］を算出してもよい。

さらに、障害物顕著性推定部１０３１は、画像から得られる情報以外の情報を考慮して障害物の顕著性を推定してもよい。ここでは一例として、あらかじめ取得しておいた運転者の死角位置を用いて、画像から算出した障害物の顕著性を変更する方法を説明する。運転者の死角は、例えば、運転席における複数人の着座状態から運転者の目の位置の平均を求め、そこから、当該車両のピラーで影となる領域、及び／又は、ミラーでは見えない領域が、世界座標でどの領域になるかを算出しておくことにより、あらかじめ取得しておくものとする。

図４は、運転者の死角を考慮した障害物の顕著性ＶＳＢＬＴ［ｂ］の算出処理を示すフローチャートである。
図４において、ステップＳ４０１〜Ｓ４０５は、図２のステップＳ２０１〜Ｓ２０５と同様であるため、説明を省略する。

ステップＳ４０６では、障害物が運転者の死角に存在するか否か、すなわち、障害物の位置ＰＸ［ｂ］，ＰＹ［ｂ］が運転者の死角位置であるか否を判定する。障害物の位置ＰＸ［ｂ］，ＰＹ［ｂ］が運転者の死角位置であればステップＳ４０７に進み、運転者の死角位置でなければステップＳ４０８に進む。

ステップＳ４０７では、ステップＳ４０５で算出された障害物の顕著性ＶＳＢＬＴ［ｂ］から所定値ｑを減算する。
そして、ステップＳ４０８において、ｂをインクリメントし、ｂが障害物数Ｂ未満であればステップＳ４０２へ戻り、障害物数Ｂ以上になっていればすべての物体をチェックしたので、処理を終了する。

このように、障害物が運転者の死角に存在する場合には、たとえ画像から算出された顕著性が高くても運転者からは見えないと推定して顕著性を低く設定する。これにより、画像上の顕著性が高くても障害物の顕著性は低いものとして取り扱うことができる。

［車両制御判定部］
図５を用いて、車両制御判定部１０４１における処理の内容について説明する。
図５は、車両制御判定部１０４１において実施される処理の一例を示すフローチャートである。

図５において、ステップＳ５０１では、ｂ＝０として初期化する。
ステップＳ５０２では、自車両から見た障害物の相対速度ＶＸ［ｂ］、ＶＹ［ｂ］のベクトル（速度ベクトル）が、自車両方向を向いているか否かを判定する。障害物の相対速度ＶＸ［ｂ］、ＶＹ［ｂ］は、例えば、障害物の位置ＰＸ［ｂ］，ＰＹ［ｂ］と１周期前の障害物の位置ＰＸ＿ｚ１［ｂ］，ＰＹ＿ｚ１［ｂ］との差分近似によって算出することができる。前記速度ベクトルが自車両方向を向いているか否かは、例えば、自車両の中心を原点とする座標系を考慮した場合に、障害物の位置ＰＸ［ｂ］，ＰＹ［ｂ］と自車両の四隅とを結ぶ直線の間に、前記速度ベクトルの向きが入っているかを見ることで判定することができる。前記速度ベクトルが自車両方向を向いている場合にはステップＳ５０３へ進み、向いていない場合はステップＳ５１１に進む。

ステップＳ５０３では、衝突時間ＴＴＣ［ｂ］を算出する。この衝突時間ＴＴＣ［ｂ］は、自車両が障害物に何秒後に衝突するかを表すパラメータである。ここでは、自車両方向へ向かってくる障害物のみを扱うため、以下の式より求めることができる。
ＰＬ［ｂ］＝ＳＱＲＴ（ＰＸ［ｂ］×ＰＸ［ｂ］＋ＰＹ［ｂ］×ＰＹ［ｂ］）
ＶＬ［ｂ］＝ＳＱＲＴ（ＶＸ［ｂ］×ＶＸ［ｂ］＋ＶＹ［ｂ］×ＶＹ［ｂ］）
ＴＴＣ［ｂ］＝ＰＬ［ｂ］／ＶＬ［ｂ］
ここで、ＳＱＲＴ（ ）は平方根を算出する関数である。

ステップＳ５０４では、障害物の顕著性ＶＳＢＬＴ［ｂ］と第１閾値ＴＨＶ＿Ｈとを比較する。障害物の顕著性ＶＳＢＬＴ［ｂ］＞第１閾値ＴＨＶ＿ＨであればステップＳ５０８に進み、障害物の顕著性ＶＳＢＬＴ［ｂ］≦第１閾値ＴＨＶ＿ＨであればステップＳ５０５に進む。

ステップＳ５０５では、障害物の顕著性ＶＳＢＬＴ［ｂ］と第２閾値ＴＨＶ＿Ｌ（＜第１閾値ＴＨＶ＿Ｈ）とを比較する。障害物の顕著性ＶＳＢＬＴ［ｂ］＞第２閾値ＴＨＬ＿ＬであればステップＳ５０７に進み、障害物の顕著性ＶＳＢＬＴ［ｂ］≦第２閾値ＴＨＬ＿ＬであればステップＳ５０６に進む。

ステップＳ５０６〜Ｓ５０８では、ステップＳ５０３で算出された衝突時間ＴＴＣ［ｂ］と比較する閾値ＴＨＴを設定する。すなわち、ステップＳ５０６では、閾値ＴＨＴ＝ＴＨＴ＿Ｈ（上側閾値）とし、ステップＳ５０７では、閾値ＴＨＴ＝ＴＨＴ＿Ｍ（中間閾値）とし、ステップＳ５０８では、閾値ＴＨＴ＝ＴＨＴ＿Ｌ（下側閾値）とする。ここで、ＴＨＴ＿Ｈ＞ＴＨＴ＿Ｍ＞ＴＨＴ＿Ｌである。

ステップＳ５０９では、衝突時間ＴＴＣ［ｂ］と閾値ＴＨＴを比較する。衝突時間ＴＴＣ［ｂ］＞閾値ＴＨＴであればステップＳ５１１に進み、衝突時間ＴＴＣ［ｂ］≦閾値ＴＨＴであればＳ５１０に進む。

ステップＳ５１０では、車両の警報を作動させるためのフラグ（警報作動フラグ）をＯＮに設定する。このフラグは、例えば、図示省略した警報装置に直接入力され、又は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を用いて前記警報装置へと伝達されて、警報を作動させる。

そして、ステップＳ５１１において、ｂをインクリメントし、ｂが障害物数Ｂ未満であればステップＳ５０２へ戻り、障害物数Ｂ以上になっていればすべての物体をチェックしたので、処理を終了する。

以上説明したように、車両制御判定部１０４１は、障害物の顕著性ＶＳＢＬＴ［ｂ］が高い場合には衝突時間ＴＴＣ［ｂ］と比較する閾値ＴＨＴを小さく、障害物の顕著性ＶＳＢＬＴ［ｂ］が低い場合には衝突時間ＴＴＣ［ｂ］と比較する閾値ＴＨＴを大きく設定しており、これにより、障害物の顕著性が低いほど早いタイミングから警報を作動させる。この結果、障害物との衝突をより確実に回避できると共に、必要以上に早くから警報を作動させて運転者に煩わしさを与えてしまうことを抑制できる。
なお、ここでは、前記車両における障害物回避制御として警報を作動させているが、警報以外の自動ブレーキ等についても同様に適用できることはもちろんである。

第１実施形態による車両用外界認識装置１０００は、顕著性マップを用いて障害物の顕著性を推定し、その推定結果及び障害物の位置情報に基づいて車両における障害物回避制御の実行指令の出力要否又は出力タイミングを判定する。これにより、人間の視覚的注意の惹きやすさを考慮して上で障害物の顕著性を推定することができ、例えば、運転者にとって気づきにくい障害物であるほど早いタイミングから車両における障害物回避制御を実行させる一方、運転者が気づきやすい又は気づいている可能性が高い障害物については可能な限り前記障害物回避制御の実行を遅らせることができる。このため、運転者に与える煩わしさを大幅に低減できると共に、適切かつ効果的に前記障害物回避制御を実行することができる。

＜第２実施形態＞
つぎに、本発明の第２実施形態について説明する。
図６は、本発明の第２実施形態による車両用外界認識装置２０００の構成を示すブロック図である。なお、以下の説明においては、第１実施形態による車両用外界認識装置１０００と共通する要素については同一の番号を付し、その機能も同じであるものとする。

第２実施形態における特徴は、車両用外界認識装置２０００が、画像取得部で取得した画像ＩＭＧＳＲＣ［ｘ］［ｙ］［ｃ］から画像処理によって障害物を検出可能な障害物検出部を有しており、障害物検出部で検出した情報（障害物画像位置）を障害物情報取得部２０１２に出力している点である。

車両用外界認識装置２０００は、自動車に搭載されるカメラ装置内、もしくは統合コントローラ内等に組み込まれ、カメラ１０１０で撮影した画像内から物体を検知するためのものであり、本実施形態では、自車両前方の障害物を検知するように構成されている。

車両用外界認識装置２０００は、ＣＰＵやメモリ、Ｉ／Ｏ等を有するコンピュータによって構成されており、所定の処理がプログラミングされて、あらかじめ定められた周期で繰り返し処理を実行する。

車両用外界認識装置２０００は、図６に示すように、画像取得部１０１１と、障害物検出部２０１２と、障害物情報取得部２０２１と、障害物顕著性推定部１０３１と、車両制御判定部１０４１と、を有する。

障害物検出部２０１２は、画像ＩＭＧＳＲＣ［ｘ］［ｙ］［ｃ］を処理し、所定の障害物を検出してその位置を出力する。本実施形態においては、障害物として歩行者を検出するものとし、障害物検出部２０１２は、画像ＩＭＧＳＲＣ［ｘ］［ｙ］［ｃ］から歩行者を検出し、当該歩行者の画像上の位置ＩＸ［ｂ］，ＩＹ［ｂ］を求めて障害物情報取得部２０２１に出力する。なお、本実施形態において、画像から歩行者を検出するためのアルゴリズムに特殊な処理を追加等する必要はなく、公知のアルゴリズムを適用可能であるため、その詳細な説明は省略する。

障害物情報取得部２０２１は、障害物検出部２０１２で求めた画像上の歩行者の位置ＩＸ［ｂ］，ＩＹ［ｂ］から、当該歩行者の世界座標ＰＸ［ｂ］，ＰＹ［ｂ］を算出する。かかる算出は、例えば、あらかじめ測定可能なカメラ１０１０の内部パラメータ・外部パラメータを用いたカメラ幾何演算によって行う。
なお、その他の処理等については、第１実施形態による車両用外界認識装置１０００と同様である。

第２実施形態による車両用外界認識装置２０００では、障害物検出部２０１２が画像ＩＭＧＳＲＣ［ｘ］［ｙ］［ｃ］を処理することによって歩行者等の障害物の存在及びその位置を検出する。これにより、障害物までの距離等を検出できるソナー、レーダ、ステレオカメラのような装置がない場合であっても、第１実施形態による車両用外界認識装置１０００と同様の効果が得られる。

＜第３実施形態＞
つぎに、本発明の第３実施形態について説明する。
図７は、本発明の第３実施形態による車両用外界認識装置３０００の構成を示すブロック図である。なお、以下の説明においては、第１、第２実施形態による車両用外界認識装置１０００，２０００と共通する要素については同一の番号を付し、その機能も同じであるものとする。

第３実施形態における特徴は、車両用外界認識装置３０００が、画像ＩＭＧＳＲＣ［ｘ］［ｙ］［ｃ］の各画素の顕著性を推定する画素顕著性推定部を有しており、画像全体の顕著性から障害物の顕著性を推定している点である。

車両用外界認識装置３０００は、自動車に搭載されたカメラ装置内、もしくは統合コントローラ内等に組み込まれ、カメラ１０１０で撮影した画像内から物体を検知するためのものであり、本実施形態では、自車両の前方の障害物を検知するように構成されている。

車両用外界認識装置３０００は、ＣＰＵやメモリ、Ｉ／Ｏ等を有するコンピュータによって構成されており、所定の処理がプログラミングされて、あらかじめ定められた周期で繰り返し処理を実行する。

車両用外界認識装置３０００は、図７に示すように、画像取得部１０１１と、画素顕著性推定部３０１２と、障害物情報取得部１０２１と、障害物顕著性推定部３０３１と、車両制御判定部１０４１と、を有する。

画素顕著性推定部３０１２は、画像ＩＭＧＳＲＣ［ｘ］［ｙ］［ｃ］の全体から当該画像の各画素の顕著性を示した顕著性マップＩＭＧＶＳＢ［ｘ］［ｙ］を生成する。具体的には、図３に示すフローチャートを画像全体に適用し、画像全体についてステップＳ３０１からステップＳ３０５までを実施して得られた顕著性マップを顕著性マップＩＭＧＶＳＢ［ｘ］［ｙ］とすることができる。

障害物顕著性推定部３０３１は、顕著性マップＩＭＧＶＳＢ［ｘ］［ｙ］と、障害物情報取得部１０２１で取得した障害物の位置ＰＸ［ｂ］，ＰＹ［ｂ］とを用いて、障害物の顕著性ＶＳＢＬＴ［ｂ］を算出する。この障害物顕著性推定部３０３１における障害物の顕著性ＶＳＢＬＴ［ｂ］の算出は、図２及び図４に示すフローチャートとほぼ同様にして行われるが、画像顕著性ＩＶ［ｂ］の算出手順が異なる。具体的には、第１、第２実施形態においては、ステップＳ２０２、Ｓ４０２で障害物の位置ＰＸ［ｂ］，ＰＹ［ｂ］から画像ＩＭＧＳＲＣ［ｘ］［ｙ］［ｃ］上の障害物領域Ｒ［ｂ］を算出し、その後、ステップＳ２０３、Ｓ４０３で障害物領域Ｒ［ｂ］及び周囲領域ｒ［ｂ］から画像顕著性ＩＶ［ｂ］を算出している。すなわち、ＩＭＧＳＲＣ［ｘ］［ｙ］［ｃ］から画像顕著性ＩＶ［ｂ］を算出する。これに対し、本実施形態では、画像ＩＭＧＳＲＣ［ｘ］［ｙ］［ｃ］から画像顕著性ＩＶ［ｂ］を求めるのではなく、画像ＩＭＧＳＲＣ［ｘ］［ｙ］［ｃ］から顕著性マップＩＭＧＶＳＢ［ｘ］［ｙ］を生成し、この顕著性マップＩＭＧＶＳＢ［ｘ］［ｙ］における障害物領域Ｒ［ｂ］内の値を合計することにより画像顕著性ＩＶ［ｂ］を求める。

この第３実施形態による車両用外界認識装置３０００おいても、第１、第２実施形態による車両用外界認識装置１０００，２０００と同様の効果が得られる。特に、第３実施形態による車両用外界認識装置３０００では、画像全体についての顕著性マップを作成し、この顕著性マップにおける障害物領域の各画素の顕著性に基づいて障害物の顕著性を推定するので、画像全体における障害物の顕著性が考慮されることなり、障害物の顕著性の推定精度がさらに向上する。

＜第４実施形態＞
つぎに、本発明の第４実施形態について説明する。
図８は、本発明の第４実施形態による車両用外界認識装置４０００の構成を示すブロック図である。なお、以下の説明においては、第１〜第３実施形態による車両用外界認識装置１０００，２０００，３０００と共通する要素については同一の番号を付し、その機能も同じであるものとする。

第４実施形態おける特徴は、画像から画像処理によって障害物を検出可能な障害物検出部を有しており、画像全体の各画素の顕著性を推定する画素顕著性推定部の推定結果を前記障害物検出部で参照している点である。

車両用外界認識装置４０００は、自動車に搭載されるカメラ装置内、もしくは統合コントローラ内等に組み込まれ、カメラ１０１０で撮影した画像内から物体を検知するためのものであり、本実施形態では、自車周囲の障害物を検知するように構成されている。

車両用外界認識装置４０００は、ＣＰＵやメモリ、Ｉ／Ｏ等を有するコンピュータによって構成されており、所定の処理がプログラミングされて、あらかじめ定められた周期で繰り返し処理を実行する。

車両用外界認識装置４０００は、図８に示すように、画像取得部１０１１と、画素顕著性推定部３０１２と、障害物検出部４０１３と、障害物情報取得部２０２１と、障害物顕著性推定部３０３１と、車両制御判定部１０４１と、を有する。

障害物検出部４０１３は、画素顕著性推定部３０１２によって生成された顕著性マップＩＭＧＶＳＢ［ｘ］［ｙ］を用いて処理を動的に変更し、画像ＩＭＧＳＲＣ［ｘ］［ｙ］［ｃ］から障害物を検出する。ここでは、障害物検出部４０１３が障害物として歩行者を検出するものとし、その処理の一例を説明する。

図９は、障害物検出部４０１３が実施する処理の一例を示すフローチャートである。
図９において、ステップＳ９０１では、画像ＩＭＧＳＲＣ［ｘ］［ｙ］［ｃ］内を探索するウィンドウサイズ（ｗ，ｈ）を初期化する。
ステップＳ９０２では、画像内探索座標（ｘ，ｙ）を初期化する。本実施形態では、ウィンドウの左上端座標を画像内探索座標（ｘ、ｙ）としている。

ステップＳ９０３では、ウィンドウサイズ（ｗ，ｈ）及び画像内探索座標（ｘ，ｙ）によって定まる矩形領域内の各画素の顕著性の平均値（画素顕著性平均値）ＶＳＢ（ｘ、ｙ、ｗ、ｈ）を算出する。この算出は、顕著性マップＩＭＧＶＳＢ［ｘ］［ｙ］を参照することによって行われる。

ステップＳ９０４では、画素顕著性平均値ＶＳＢ（ｘ、ｙ、ｗ、ｈ）と閾値ＴＨＶ＿Ｄとを比較する。そして、画素顕著性平均値ＶＳＢ（ｘ，ｙ，ｗ，ｈ）＞閾値ＴＨＶ＿ＤであればステップＳ９０６に進み、画素顕著性平均値ＶＳＢ（ｘ，ｙ，ｗ，ｈ）≦閾値ＴＨＶ＿ＤであればステップＳ９０５に進む。

ステップＳ９０５では、ウィンドウサイズ（ｗ，ｈ）及び画像内探索座標（ｘ，ｙ）によって定まる矩形領域内にて、画像ＩＭＧＳＲＣ［ｘ］［ｙ］［ｃ］から歩行者を検出する。なお、本実施形態において、歩行者を検出するためのアルゴリズムに特殊な処理は必要なく、公知のアルゴリズムを適用可能であるため、その説明は省略する。

ステップＳ９０６では、画像内探索座標（ｘ，ｙ）を更新する。本実施形態では、ラスタスキャン方式で画像内探索座標（ｘ，ｙ）更新する。ラスタスキャンは、まずｘを初期値から所定のステップ数ｄｘだけ進めていき、ｘ＋ｗが画像の横幅を超えたら、ｘを初期値に戻し、ｙを所定のステップ数ｄｙ進め、またｘを所定のステップ数ｄｘだけ進める、という処理を繰り返すものである。本実施形態においてはｄｘ＝ｄｙ＝１としている。

ステップＳ９０７では、ウィンドウサイズ（ｗ，ｈ）での画像内探索が終了したか否か、すなわち、画像内探索座標（ｘ，ｙ）のラスタスキャンが最後まで終わったかを判定する。画像内探索が終了していなければステップＳ９０３に戻り、画像内探索が終了していればステップＳ９０８に進む。

ステップＳ９０８では、ウィンドウサイズ（ｗ，ｈ）を更新する。本実施形態では、ウィンドウサイズ（ｗ，ｈ）の双方に所定係数αを乗じた値を新しいウィンドウサイズ（ｗ、ｈ）に設定する。なお、本実施形態では、所定係数α＝１．２としている。

ステップＳ９０９では、ウィンドウサイズ（ｗ、ｈ）のいずれかが所定の閾値、もしくは画像サイズより大きくなっているか否かを判定する。大きくなっていなければステップＳ９０２に戻り、大きくなっていれば画像内探索が終了したので、処理を終了する。

以上説明したように、障害物検知部４０１３は、画像ＩＭＧＳＲＣ［ｘ］［ｙ］［ｃ］から生成された顕著性マップＩＭＧＶＳＢＬ［ｘ］［ｙ］に基づいて、画像上の顕著性が低い領域から歩行者を検出する。これにより、画像から歩行者を検出する場合に、歩行者検出アルゴリズムの実施回数を抑制しつつ、運転者が気づきにくい歩行者をより早く検出することができる。

第４実施形態による車両用外界認識装置４０００においても、第１〜３実施形態による車両用外界認識装置１０００，２０００，３０００と同様の効果が得られる。特に、第４実施形態による車両用外界認識装置４０００によれば、画像上の顕著性の低い領域から歩行者を検出するので、運転者が気づきにくい歩行者をより早く検出することができ、当該歩行者との衝突を効果的に回避することができる。なお、歩行者検出アルゴリズムに代えて又は加えて歩行者以外の障害物検出アルゴリズムを適用することにより、歩行者以外の障害物についても同様の効果が得られる。

以上、本発明の好ましい実施形態をいくつか説明したが、本発明は上述の各実施形態に限定されるものではなく、本発明の技術的思想に基づいて種々の変形及び変更が可能であることはもちろんである。

１０００ 車両用外界認識装置
１０１０ カメラ
１０１１ 画像取得部
１０２１ 障害物情報取得部
１０３１ 障害物顕著性推定部
１０４１ 車両制御判定部
２０００ 車両用外界認識装置
２０１２ 障害物検出部
２０２１ 障害物情報取得部
３０００ 車両用外界認識装置
３０１２ 画素顕著性推定部
３０３１ 障害物顕著性推定部
４０００ 車両用外界認識装置
４０１３ 障害物検出部

Claims (6)

1. 自車両周囲の画像を取得する画像取得部と、
   自車両周囲の障害物の位置情報を取得する情報取得部と、
   前記画像における前記障害物を含む所定領域の色情報に基づく当該所定領域の輝度成分に基づいて、前記障害物の顕著性を推定する障害物顕著性推定部と、
   推定された前記障害物の顕著性に基づいて、車両における障害物回避制御の実行指令の出力要否又は出力タイミングを判定する車両制御判定部と、を有し、
   前記障害物顕著性推定部は、前記画像の前記所定領域の輝度成分、色成分及びエッジ角度成分のうちの少なくとも一つの成分に基づく顕著性マップを用いて前記障害物の画像顕著性を算出し、その算出結果に基づいて前記障害物の顕著性を推定し、
   前記車両制御判定部は、自車両が前記障害物に衝突するまでの衝突時間を算出し、当該衝突時間が閾値以下の場合に前記障害物回避制御の実行指令を出力すると共に、前記障害物の顕著性が高いほど前記閾値を小さく設定する、
   車両用外界認識装置。
2. 前記車両制御判定部は、自車両から見た前記障害物の位置及び前記障害物の相対速度に基づいて前記衝突時間を算出する、請求項１に記載の車両用外界認識装置。
3. 前記障害物顕著性推定部は、前記障害物の画像顕著性と、前記障害物が運転者の死角に位置するか否かの判定結果とに基づいて、前記障害物の顕著性を推定する、請求項１又は２に記載の車両用外界認識装置。
4. 自車両周囲の画像を取得する画像取得部と、
   前記画像全体の色情報に基づく輝度成分に基づいて、前記画像の各画素の顕著性を推定する画素顕著性推定部と、
   自車両周囲の障害物の位置情報を取得する位置情報取得部と、
   前記画像における前記障害物の位置の各画素の顕著性に基づいて、前記障害物の顕著性を推定する障害物顕著性推定部と、
   推定された前記障害物の顕著性に基づいて、車両における障害物回避制御の実行指令の出力要否又は出力タイミングを判定する車両制御判定部と、を有し、
   前記画素顕著性推定部は、前記画像全体の輝度成分、色成分及びエッジ角度成分のうちの少なくとも一つの成分に基づく顕著性マップを用いて前記画像の各画素の画像顕著性を算出するように構成され、
   前記画像から画像処理によって前記障害物を検出可能な障害物検出部をさらに有し、
   前記障害物検出部は、前記画像の各画素の顕著性に基づいて算出された前記画像の顕著性の低い領域から障害物を検出し、当該障害物の位置情報を前記位置情報取得部に出力する、
   車両用外界認識装置。
5. 前記障害物顕著性推定部は、前記画像における前記障害物の位置の各画素の顕著性に基づいて算出した前記障害物の画像顕著性と、前記障害物が運転者の死角に位置するか否かの判定結果とに基づいて、前記障害物の顕著性を推定する、請求項４に記載の車両用外界認識装置。
6. 前記車両制御判定部は、前記障害物の位置情報及び前記障害物の顕著性に基づいて、前記車両における障害物回避制御の実行指令の出力タイミングを変更する、請求項４又は５に記載の車両用外界認識装置。