JP5938635B2

JP5938635B2 - 運転支援装置

Info

Publication number: JP5938635B2
Application number: JP2013549066A
Authority: JP
Inventors: 将由道口; 達人流郷
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2011-12-15
Filing date: 2012-09-14
Publication date: 2016-06-22
Anticipated expiration: 2032-09-14
Also published as: CN103987582A; EP2792553A1; EP2792553A4; CN103987582B; US20140327776A1; JPWO2013088613A1; US9697735B2; WO2013088613A1

Description

本発明は駐車時に障害物との衝突可能性を報知する運転支援装置に関する。

従来、物体の検知状態に連動させて、車両に物体が近づいた際に全周囲俯瞰画像をカメラ画像へ切り替えたり、俯瞰画像上に重畳表示したりして、運転を支援する運転支援装置が知られている（例えば特許文献１、特許文献２参照）。

特開２０１１−２０５５１４号公報特開２００６−１３１１６６号公報

しかし、物体がソナー等の物体検知手段による検知範囲外に離れると、物体がまだ車両の近くに存在するにもかかわらず、ディスプレイに表示される画像は未検知状態を示す画像に戻っていた。

本発明の目的は、物体が検知された状況に基づいて、物体が未検知になっても運転状況に応じて物体が検知された際の画像表示を継続することができる運転支援装置を提供することである。

上記目的を達成するために本発明は、車両が駐車する際に前記車両と静止物との衝突可能性を報知する運転支援装置であって、前記車両の周囲を撮像する第１撮像手段と、前記車両の周囲の静止物を検知する物体検知手段と、少なくとも前記車両のハンドル位置と逆方向の前方コーナを含む前記車両のコーナ周辺を撮像する第２撮像手段と、前記車両の走行状態を検知する走行状態検知手段と、前記第１撮像手段または前記第１撮像手段および前記第２撮像手段から入力された前記車両の周囲の撮像画像に基づいて俯瞰画像を合成する画像合成手段と、前記画像合成手段が合成した俯瞰画像と前記第１撮像手段または前記第２撮像手段により撮像された所定の撮像画像とを表示する表示手段と、前記物体検知手段と前記走行状態検知手段の検知結果に基づいて前記表示手段の表示の遷移を制御する制御手段とを備え、前記制御手段は、前記物体検知手段が静止物を検知しなくなったときの前記車両の走行状態に応じて所定時間または所定距離を決定し、前記物体検知手段が静止物を検知しなくなった後、前記所定時間が経過するまでの間、または、前記車両が前記所定距離を移動するまでの間、前記表示手段の表示を継続させることを特徴とする。

本発明によれば、物体が物体検知手段の検知範囲外に離れたが車両の近くに存在する状況において、運転状況に応じて物体検知時の画像表示が継続されるため、運転者が車両近くの物体を認識しやすくすることができるという効果を奏する。

本発明の実施形態における運転支援装置の構成を示すブロック図同図１の要部である第１、第２撮像手段の車両への取り付け位置をイメージで説明する図同図１の要部であるソナーの車両への取り付け位置をイメージで説明する図同図１の要部である第２撮像手段の画角とソナーの検知範囲を水平面のイメージで説明する図本発明の実施形態における運転支援装置による運転支援処理のフローチャート図同図１の要部である物体検知手段が物体検知した場合に合成される俯瞰画像をイメージで説明する図同図５のステップＳ５５のソナー反応時の車両状態判定を説明するフローチャート図同図５のステップＳ５８のソナー未反応時の車両状態判定を説明するフローチャート図同図５のステップＳ５９の遷移条件を説明する図同図９のシーン１、２をイメージで説明する図同図９のシーン３をイメージで説明する図同図９のシーン７をイメージで説明する図同図９のシーン８をイメージで説明する図同図９のシーン１１をイメージで説明する図同図９のシーン１２をイメージで説明する図

以下、本発明の一実施形態の運転支援装置について図面を参照しながら説明する。なお、本実施形態において、車両は右ハンドルであると仮定して説明する。

図１は本発明の実施形態の運転支援装置の構成を示すブロック図である。

図１において、運転支援装置１は、画像処理を行う画像ＥＣＵ（ＥｌｅｃｔｒｉｃＣｏｎｔｒｏｌＵｎｉｔ）で構成され、揮発性メモリ２と、画像処理手段３と、不揮発性メモリ４と、制御手段５と、これらを互いに接続するバス６とを有する。運転支援装置１は、第１撮像手段７と、入力手段８と、車速センサ９と、舵角（ステアリング）センサ１０と、シフトレバー１１と、ソナー１２と、表示手段１３と、第２撮像手段１４と接続する。入力手段８、車速センサ９、舵角センサ１０、シフトレバー１１、ソナー１２、表示手段１３、第２撮像手段１４は運転支援装置１に含まれてもよい。

揮発性メモリ２は、例えばビデオメモリやＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）で構成される。揮発性メモリ２は第１撮像手段７と接続する。また、揮発性メモリ２は第２撮像手段１４と接続する。揮発性メモリ２は、第１撮像手段７、第２撮像手段１４から所定時間毎に入力された撮像画像から得られる画像データを一時記憶する。揮発性メモリ２に記憶された画像データは、バス６を介して画像処理手段３に出力される。

画像処理手段３は、例えばＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）やＶＬＳＩ（ＶｅｒｙＬａｒｇｅＳｃａｌｅＩｎｔｅｇｒａｔｉｏｎ）で構成される。画像処理手段３は表示手段１３と接続する。画像処理手段３は、揮発性メモリ２から入力された画像データを視点変換し、不揮発性メモリ４から入力された画像データを重畳した俯瞰画像を所定時間毎に作成する。画像処理手段３は、俯瞰画像に視点変換を施さないノーマル画像を並べた合成画像を作成してもよい。視点変換の手法は、例えば国際公開第００／６４１７５号に開示された技術を用いることができる。画像処理手段３は、この所定時間毎に作成された合成画像を表示画像として表示手段１３に出力する。

不揮発性メモリ４は、例えばフラッシュメモリやＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）で構成される。不揮発性メモリ４は、自車両の画像データ等の各種画像データ、運転状況に応じた表示方法に関するデータテーブルが記憶されている。不揮発性メモリ４に記憶された画像データは、制御手段５の命令によって読み出され、画像処理手段３による各種画像処理に用いられる。

制御手段５は、例えばＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）やＬＳＩ（ＬａｒｇｅＳｃａｌｅＩｎｔｅｇｒａｔｉｏｎ）で構成される。制御手段５は、入力手段８と、車速センサ９と、舵角センサ１０と、シフトレバー１１と、ソナー１２と接続する。制御手段５は、入力手段８、車速センサ９、舵角センサ１０、シフトレバー１１、ソナー１２から入力された各種信号に基づいて、画像処理手段３の画像処理、揮発性メモリ２や不揮発性メモリ４から読み出すデータ、第１撮像手段７や第２撮像手段１４からの入力や表示手段１３への出力等を制御する。

第１撮像手段７はそれぞれ４つのカメラで構成される。一方、第２撮像手段１４は少なくとも１つのカメラで構成される。第１撮像手段７、第２撮像手段１４は、所定時間毎に撮像した撮像画像を運転支援装置１の揮発性メモリ２に入力する。第１撮像手段７は、自車両の全周囲を撮像できるように車体に取り付けられる。また、第２撮像手段１４は、少なくとも車両の左前方コーナに設置されている。この第１撮像手段７、第２撮像手段１４の車体への取り付け位置について説明する。

図２は第１撮像手段７、第２撮像手段１４の車両への取り付け位置をイメージで説明する図である。図２に示すように、第１撮像手段７は前方カメラ７ａ、右側方カメラ７ｂ、左側方カメラ７ｃ、後方カメラ７ｄとで構成される。前方カメラ７ａ、後方カメラ７ｄは例えば車体前後のバンパにそれぞれ取り付けられる。右側方カメラ７ｂ、左側方カメラ７ｃは、例えば自車両の左右ドアミラー下部にそれぞれ取り付けられる。一方、第２撮像手段１４は少なくとも自車両の左前方コーナに取り付けられる。

入力手段８は、例えばタッチパネルやリモコン、スイッチで構成される。入力手段８は、タッチパネルで構成される場合、表示手段１３に設けられてもよい。

車速センサ９、舵角センサ１０、シフトレバー１１、ソナー１２は、それぞれ自車両の車速を示す車速信号、舵角を示す舵角信号、シフトレバーの状態を示すシフトレバー信号、物体の検知信号や距離信号を制御手段５に出力する。ソナー１２は、８つのソナーで構成され、自車両の車体四隅の四箇所と、車体の前後の四箇所に取り付けられる。このソナー１２の車体への取り付け位置について説明する。

図３はソナー１２の車両への取り付け位置をイメージで説明する図である。図２に示すように、ソナー１２は、左前方コーナソナー１２ａ、右前方コーナソナー１２ｂ、左後方コーナソナー１２ｃ、右後方コーナソナー１２ｄ、左前方ソナー１２ｅ、右前方ソナー１２ｆ、左後方ソナー１２ｇ、右後方ソナー１２ｈで構成される。図３に示すように、左前方ソナー１２ｅ、右前方ソナー１２ｆ、左後方ソナー１２ｇ、右後方ソナー１２ｈのそれぞれの水平面の検知範囲１６ｅ〜１６ｈは、左前方コーナソナー１２ａ、右前方コーナソナー１２ｂ、左後方コーナソナー１２ｃ、右後方コーナソナー１２ｄのそれぞれの水平面の検知範囲１６ａ〜１６ｄよりも狭く設定されている。次に、左前方コーナソナー１２ａの検知範囲と第２撮像手段１４の画角との関係について説明する。

図４は、第２撮像手段１４の画角と左前方コーナソナー１２ａの水平面の検知範囲をイメージで説明する図である。図４に示すように、第２撮像手段１４の画角１７は、水平面で略１８０度に設定されている。そして、左前方コーナソナー１２ａの検知範囲１６ａは、第２撮像手段１４の画角１７内に包含される。すなわち、第２撮像手段１４の画角１７内に左前方コーナソナー１２ａの検知範囲１６ａが全て含まれている。

第２撮像手段１４は左前方コーナソナー１２ａよりも車体上方に取り付けられていることが望ましい。これによって、左前方コーナソナー１２ａの検知範囲１６ａは、第２撮像手段１４の画角１７内に三次元的に包含されやすくなる。また、第２撮像手段１４と左前方コーナソナー１２ａの光軸は略等しいことが望ましい。これによって第２撮像手段１４の画角１７内における左前方コーナソナー１２ａの検知範囲１６ａのずれが小さくなり、左前方コーナソナー１２ａの検知範囲１６ａの一部が第２撮像手段１４の画角１７外にはみ出してしまうおそれを低減することができる。

表示手段１３は、例えばナビゲーション装置やリアシートのディスプレイで構成される。表示手段１３は、画像処理手段３から入力された合成画像を表示する。この合成画像は俯俯瞰画像とノーマル画像とが並列に並べられた画像であることが望ましい。この俯瞰画像の境界付近で死角が存在することにより物体が消失することを防ぐためである。

図５は、制御手段５による運転支援処理のフローチャート図である。

まず、ステップＳ５１に示すように、制御手段５は、シフトレバー１１から入力されたシフトレバー信号に基づいてシフトレバー１１がリバースの状態であるか否かを判定する。

ステップＳ５１でＹｅｓの場合、制御手段５の命令によって、画像処理手段３は、揮発性メモリ２から取得した第１撮像手段７の撮影画像を用いて俯瞰画像を作成する。そして、ステップＳ５２に示すように、表示手段１３はこの作成した俯瞰画像と揮発性メモリ２から取得した後方カメラ７ｄの後方画像とを並列表示する。

次にステップＳ５１でＮｏの場合、ステップＳ５３に示すように、制御手段５の命令によって、画像処理手段３は、揮発性メモリ２から取得した第１撮像手段７の撮影画像を用いて俯瞰画像を作成し、表示手段１３はこの作成した俯瞰画像と揮発性メモリ２から取得した前方カメラ７ａの前方画像とを並列表示する。

次に、ステップＳ５４に示すように、制御手段５は、ソナー１２の検知結果から、自車両の左前方コーナに物体が存在するか否かを判定する。すなわち、制御手段５は、左前方コーナソナー１２ａが物体を検知したか否かを判定する。ステップＳ５４でＮｏの場合、ステップＳ５１の処理を再度行う。

一方、ステップＳ５４でＹｅｓの場合、ステップＳ５５に示すように、制御手段５は、ソナー１２が反応した際の車両状態を判定する。そして、ステップＳ５６に示すように、画像処理手段３は、ソナー１２の反応時の車両状態に応じた画像を表示手段１３に表示させる。具体的には、左前方コーナソナー１２ａが物体を検知したときに、画像処理手段３は、第１撮像手段７の撮像画像と第２撮像手段１４の撮像画像とを用いて新たに俯瞰画像を作成し、表示手段１３にこの作成した俯瞰画像を表示させる。また、表示手段１３は、第２撮像手段１４の撮像画像をこの俯瞰画像と並列表示する。このとき画像処理手段３は、第２撮像手段１４の撮像画像を一部拡大して表示手段１３に表示してもよい。また、第２撮像手段１４の撮像画像の表示に替えて、作成した俯瞰画像のうち第２撮像手段１４の撮像領域を含む一部の俯瞰画像を拡大した表示にしてもよい。なお、左前方コーナソナー１２ａが物体を検知したときにシフトレバー１１がリバースだった場合、画像処理手段３は、第２撮像手段１４の撮像画像に替えて後方カメラ７ｄの撮像画像を俯瞰画像と並列表示してもよい。また、ソナー１２のリア側が反応した場合は、第１撮像手段７の撮像画像を用いた元の俯瞰画像のままステップＳ５２またはステップＳ５３の表示は維持され、物体検知を示すインジケータの追加や画面の背景色の変更が行われる。

次にステップＳ５７に示すように、制御手段５は、ソナー１２の検知結果から、自車両の左前方コーナに物体が存在しなくなったか否かを判定する。すなわち、制御手段５は、左前方コーナソナー１２ａが物体を検知しなくなったか否かを判定する。

ステップＳ５７でＮｏの場合、ステップＳ５４の処理を再度行う。一方、ステップＳ５７でＹｅｓの場合、ステップＳ５８に示すように、制御手段５は、ソナー１２が未反応の際の車両状態を判定する。

そして、ステップＳ５９に示すように、制御手段５は、ステップＳ５５のソナー１２が反応した際の車両状態とステップＳ５８のソナー１２が未反応の際の車両状態とに基づいて、ソナー１２が未反応の際の画像表示への遷移条件を決定する。

そして、ステップＳ６０に示すように、制御手段５は、ステップＳ５９で決定した遷移条件を満たすか否かを判定する。ステップＳ６０でＮｏの場合、ステップＳ６１に示すように、制御手段５は、自車両の走行状態が変化したか否かを判定する。ステップＳ６１でＮｏの場合、ステップＳ５９で決定した画像表示の遷移条件は変化しないので、制御手段５は、再度ステップＳ６０の処理を行う。一方、ステップＳ６１でＹｅｓの場合、ステップＳ５９で画像表示の遷移条件を決定するに際して用いられたステップＳ５８の車両状態が変化するため、制御手段５は、ステップＳ５７の処理を再度行う。

ステップＳ６０でＹｅｓの場合、画像表示の遷移条件が満たされたため、画像処理手段３は、ソナー１２が未反応時の車両状態に応じた画像を表示手段１３に表示させる。換言すると、表示手段１３は、シフトレバー１１がリバースの場合にステップＳ５２の俯瞰画像と後方画像を表示し、シフトレバー１１がリバースでない（例えばドライブ、パーキング）場合にステップＳ５３の俯瞰画像と前方画像を表示する。

ステップＳ６２の処理後、ステップＳ６３に示すように、制御手段５は、運転支援モード終了を検知したか否かを判定する。ステップＳ６３でＹｅｓの場合、制御手段５は運転支援処理を終了する。例えば入力手段８から運転支援モード終了の入力がなされた場合、制御手段５は運転支援処理を終了する。一方、ステップＳ６３でＮｏの場合、制御手段５はステップＳ５１の処理を再度行う。

次に、左前方コーナソナー１２ａが物体を検知した場合にステップＳ５６で作成される俯瞰画像と、第１撮像手段７の４つのカメラ７ａ〜７ｄの撮像画像によって作成される通常の俯瞰画像との相違点について説明する。図６はステップＳ５６で作成された俯瞰画像をイメージで説明する図である。

図６の左方に示すように、左前方コーナソナー１２ａが物体を検知する前においては、画像処理手段３は、第１撮像手段７の４つのカメラ７ａ〜７ｄの撮像画像を用いた俯瞰画像４０ａを作成する。俯瞰画像４０ａの中央には自車両のイメージ画像２１が重畳されている。俯瞰画像４０ａの各領域２２〜２５は前方カメラ７ａ、右側方カメラ７ｂ、左側方カメラ７ｃ、後方カメラ７ｄの撮像画像の視点変換画像にそれぞれ対応する。各領域２２〜２５の接合面は合成境界３１〜３４として表されている。自車両近傍で左前方コーナソナー１２ａが物体４１を検知したとき、第１撮像手段７の４つのカメラ７ａ〜７ｄの撮像画像を用いた俯瞰画像のままでは合成境界３４において死角が生じ、物体４１が消失する可能性がある。

そこで、左前方コーナソナー１２ａが物体を検知した場合、図６の右方に示すように、画像処理手段３は、第１撮像手段７の４つのカメラ７ａ〜７ｄの撮像画像に加え、物体４１が検知された左前方コーナを撮影する第２撮像手段１４の撮像画像を用いて俯瞰画像４０ｂを作成する。この俯瞰画像４０ｂの各領域２２〜２６は、前方カメラ７ａ、右側方カメラ７ｂ、左側方カメラ７ｃ、後方カメラ７ｄ、第２撮像手段１４の撮像画像の視点変換画像にそれぞれ対応する。前方カメラ７ａと第２撮像手段１４との合成境界３５、左側方カメラ７ｄと第２撮像手段１４との合成境界３６は、第２撮像手段１４の視点変換画像の領域２６が左前方コーナソナー１２ａの検知範囲を包含できる位置に設定される。換言すると、合成境界３５、３６は左前方コーナソナー１２ａの検知範囲外に設定される。これによって、左前方コーナソナー１２ａによって検知された物体４１は、俯瞰画像４０ｂにおいて合成境界３５、３６近傍で消失せず、領域２６内での物体４１の視認性が維持される。特に、合成境界近傍で物体４１の倒れ込み方が急に変動することが無くなるため、ドライバは違和感なく物体４１を視認することができる。また、物体４１は車両を基点として放射状に遠ざかる方向に倒れ込むため、物体４１の位置や方向を直感的に把握することができる。

なお、物体４１を合成境界３５、３６からできるだけ遠ざけるためには、合成境界３５、３６は、第２撮像手段１４の画角にできるだけ近づけて設定されるのが本来望ましい。一方で、合成境界３５、３６を第２撮像手段１４の画角と略等しくさせてしまうと、第２撮像手段１４が取り付け位置からズレた場合に本来の画角外の映り込みを生じてしまう。そのため、合成境界３５、３６は、第２撮像手段１４の画角に対して数度から十度程度内側の位置に設定されるのが望ましい。

次に、ステップＳ５５のソナー１２が反応した際の車両状態の判定処理について説明する。図７は、図５のステップＳ５５の処理を説明するフローチャート図である。

図７のステップＳ７１に示すように、制御手段５は、物体を検知したソナー１２は車両の後方に配置されたものであるか否かを判定する。ステップＳ７１でＹｅｓの場合、ステップＳ７２に示すように、制御手段５は、自車両後方のソナー１２が反応した状態であると判定する。

一方、ステップＳ７１でＮｏの場合、ステップＳ７３に示すように、制御手段５は、シフトレバー１１がパーキングであるか否かを判定する。ステップＳ７３でＹｅｓの場合、ステップＳ７４に示すように、制御手段５は、駐車時にソナー１２が反応したと判定する。

一方、ステップＳ７３でＮｏの場合、ステップＳ７５に示すように、制御手段５は、シフトレバー１１がドライブであるか否かを判定する。ステップＳ７５でＹｅｓの場合、ステップＳ７６に示すように、制御手段５は、前進時（例えば前進出庫時）にソナー１２が反応したと判定する。

一方、ステップＳ７５でＮｏの場合、ステップＳ７７に示すように、制御手段５は、後退時（例えば後退駐車時）にソナー１２が反応したと判定する。

次に、ステップＳ５８のソナー１２が未反応になった際の車両状態の判定処理について説明する。図８は、図５のステップＳ５８の処理を説明するフローチャート図である。

図８のステップＳ８１に示すように、制御手段５は、シフトレバー１１がパーキングであるか否かを判定する。ステップＳ８１でＹｅｓの場合、制御手段５は、ステップＳ８２に示すように、自車両は駐車中であると判定する。

一方、ステップＳ８１でＮｏの場合、ステップＳ８３に示すように、制御手段５は、シフトレバー１１がドライブまたはリバースで、車速センサ９の車速がゼロで停車中であるか否かを判定する。ステップＳ８３でＹｅｓの場合、制御手段５は、ステップＳ８４に示すように、自車両が停車中であると判定する。

一方、ステップＳ８３でＮｏの場合、制御手段５は、ステップＳ８５に示すように、シフトレバー１１がドライブであるか否かを判定する。ステップＳ８５でＹｅｓの場合、制御手段５は、ステップＳ８６に示すように、自車両が前進中であると判定する。

一方、ステップＳ８５でＮｏの場合、制御手段５は、ステップＳ８７に示すように、自車両が後退中であると判定する。

次に、ステップＳ５９の遷移条件について説明する。図９は、ステップＳ５９の遷移条件を説明する図である。

図９に示すように、ステップＳ５９の画像表示の遷移条件は、ソナー１２が物体を検知したときの自車両の４つの走行状態とソナー１２が物体を検知しなくなったときの自車両の４つの走行状態の組み合わせによる１６シーンのそれぞれに設定されている。なお、本実施形態では、想定される駐車シーンで最も確率の高い並列駐車を想定して説明する。

まず、制御手段５は、ソナー１２の反応があった場合に自車両の４つの走行状態を判定し、自車両の状態を推定する。具体的には、制御手段５は、ソナー１２のフロント側が反応した場合、シフトレバー１１の状態がパーキングなら自車両が停車中であると推定する。また、制御手段５は、シフトレバー１１の状態がドライブなら自車両が前進中（例えば前進出庫中）であり、前方向かいの駐車車両や壁、柱にソナー１２が反応したと推定する。また、制御手段５は、シフトレバー１１の状態がリバースなら自車両が後退中（例えば後退駐車中）に前方向かいの車や壁、柱にソナー１２が反応したと推定する。一方、ソナー１２のリア側が反応した場合、制御手段５は、自車両の状態を問わない。

次に、制御手段５は、ソナー１２による物体の検知が終わり、ソナー１２が未反応状態になったときの自車両の走行状態を確認し、自車両の状態を推定する。制御手段５は、シフトレバー１１がパーキングのとき、自車両は停車中であり、物体が離れていったか、自車両が駐停車したと推定する（シーン１、５、９、１３）。また、制御手段５は、シフトレバー１１がドライブかリバースで、かつ、車速センサ９の車速がゼロで停車中のとき、運転者が別の運転操作を検討中であるか、ドライブとリバースを切替えようとしている最中であると推定する（シーン２、６、１０、１４）。また、制御手段５は、シフトレバー１１がドライブで移動中のとき、ソナー１２が反応したときにシフトレバー１１がドライブであったなら、物体と自車両が衝突しないことを運転者が見切って移動していると推定する（シーン７）。一方、制御手段５は、シフトレバー１１がドライブで移動中のとき、ソナー１２が反応したときにシフトレバー１１がリバースであったなら、運転者が切返しをしようとしていると推定する（シーン１１）。また、制御手段５は、シフトレバー１１がリバースで移動中のとき、ソナー１２が反応したときにシフトレバー１１がドライブであったなら、運転者が切返しをしようとしていると推定する（シーン８）。一方、制御手段５は、シフトレバー１１がドライブで移動中のとき、ソナー１２が反応したときにシフトレバー１１がリバースであったなら、物体と自車両が衝突しないことを運転者が見切って移動していると推定する（シーン１２）。

次に、図９の主要なシーンについて、イメージを用いて説明する。

図１０は、図９のシーン１、２をイメージで説明する図である。シフトレバー１１がパーキングのときに左前方コーナソナー１２ａが物体を検知し、物体が検知されなくなったときにシフトレバー１１がパーキング（シーン１）、または、シフトレバー１１がドライブかリバースで、車速センサ９の車速がゼロで停車中（シーン２）である状態を示している。シーン１では、物体が遠のいていったので、物体が検知されなくなったときにすぐに表示を切り替えて良い。また、シーン２では、運転者がシフトレバー１１を切り替えて停車中（まだ出発していない）の状態から相手が遠のいていったのでこの場合も物体が検知されなくなったときにすぐに表示を切り替えて良い。したがって、シーン１の遷移条件Ｔ１、Ｔ２はともにゼロに近い値（例えば１ｓ程度）に設定される。

図１１は、図９のシーン３をイメージで説明する図である。シーン３は、シフトレバー１１がパーキングのときに左前方コーナソナー１２ａが物体を検知し、物体が検知されなくなったときにシフトレバー１１がドライブである状態を示している。シーン３では、物体が近づいてきたが、自車両が前進で回避しようとしている。したがって、左前方コーナソナー１２ａが物体を検知しなくなった後もある程度回避できるまで画面への表示を継続する必要がある。したがって、シーン３の遷移条件は実際に自車両が移動するまでの距離Ｄ３に設定される。画面から物体が見えなくなる程度の間、表示を継続する必要があるため、Ｄ３は例えば数十ｃｍ程度に設定される。なお、シーン４についてもシーン３と同様に画面への表示を継続する必要があるため、距離Ｄ４はＤ３に近い値に設定される。

図１２は、図９のシーン７をイメージで説明する図である。シーン７は、シフトレバー１１がドライブで左前方コーナソナー１２ａが物体を検知し、物体が検知されなくなったときにシフトレバー１１がドライブで移動中である状態を示している。シーン７では、自車両が前方の駐車車両に衝突しないと運転者が見切って自車両を移動させて物体が検知されなくなっている。このとき、左前方コーナソナー１２ａが物体を検知しなくなった後もある程度前進によって回避した部分の表示を継続するのが望ましい。したがって、シーン７の遷移条件は距離Ｄ７に設定される。画面から物体が見えなくなる程度の間、表示が継続されるのが望ましいため、Ｄ７は距離Ｄ３やＤ４と同程度とするのが望ましい。

図１３は、図９のシーン８をイメージで説明する図である。シーン８は、シフトレバー１１がドライブで左前方コーナソナー１２ａが物体を検知し、物体が検知されなくなったときにシフトレバー１１がリバースで移動中である状態を示している。シーン８では、自車両が切り返しのために自車両を後退させて物体が検知されなくなっている。このとき、左前方コーナソナー１２ａが物体を検知しなくなった後もある程度後退によって回避した部分の表示を継続するのが望ましい。したがって、シーン８の遷移条件は距離Ｄ８に設定される。画面から物体が見えなくなる程度の間、表示が継続されるのが望ましいため、Ｄ８はＤ７と同様に距離Ｄ３やＤ４と同程度とするのが望ましい。

なお、シーン６では、シフトレバー１１がドライブで左前方コーナソナー１２ａが物体を検知し、物体が検知されなくなったときにシフトレバー１１がドライブまたはリバースで、かつ、車速センサ９の車速がゼロで停車中である状態を示している。シーン６では、運転者が次の（別の）行動を考えているか、シフトレバーをドライブからリバース、またはリバースからドライブへ切り替えている最中であると推定される。したがって、遷移条件は、Ｔ１より長い所定の時間Ｔ６に設定されれば良い。また、シーン５では、シフトレバー１１がドライブで左前方コーナソナー１２ａが物体を検知し、物体が検知されなくなったときにシフトレバー１１がパーキングである状態を示している。このとき、シーン５は、他のシーン６〜８から状態が遷移してきており、自車両が駐停車したと推定されるため、表示はすぐに切り替えられてよい。したがって、遷移条件Ｔ５は、Ｔ１と略同一の値に設定される。

図１４は、図９のシーン１１をイメージで説明する図である。シーン１１は、シフトレバー１１がリバースで左前方コーナソナー１２ａが物体を検知し、物体が検知されなくなったときにシフトレバー１１がドライブで移動中である状態を示している。シーン１１では、自車両が切り返しのために後退して物体が検知されなくなっている。左前方コーナソナー１２ａが物体を検知しなくなった後もある程度前進によって回避した部分の表示を継続するのが望ましい。したがって、シーン１１の遷移条件は距離Ｄ１１に設定される。画面から物体が見えなくなる程度の間、表示が継続されるのが望ましいため、Ｄ１１はＤ７やＤ８と同様に距離Ｄ３やＤ４と同程度とするのが望ましい。

図１５は、図９のシーン１２をイメージで説明する図である。シーン１２は、シフトレバー１１がリバースで左前方コーナソナー１２ａが物体を検知し、物体が検知されなくなったときにシフトレバー１１がリバースで移動中である状態を示している。シーン１２では、自車両がそのまま見切って移動し、物体が検知されなくなっている。左前方コーナソナー１２ａが物体を検知しなくなった後もある程度後退によって回避した部分の表示を継続するのが望ましい。したがって、シーン１２の遷移条件は距離Ｄ１２に設定される。画面から物体が見えなくなる程度の間、表示が継続されるのが望ましいため、Ｄ１２はＤ７、Ｄ８、Ｄ１１と同様に距離Ｄ３やＤ４と同程度とするのが望ましい。

なお、シーン１０では、シフトレバー１１がリバースで左前方コーナソナー１２ａが物体を検知し、物体が検知されなくなったときにシフトレバー１１がドライブまたはリバースで、かつ、車速センサ９の車速がゼロで停車中である状態を示している。シーン１０では、運転者が次の（別の）行動を考えているか、シフトレバーをドライブからリバース、またはリバースからドライブへ切り替えている最中であると推定される。したがって、遷移条件は、Ｔ１より長い所定の時間Ｔ１０に設定されれば良い。また、シーン９では、シフトレバー１１がリバースで左前方コーナソナー１２ａが物体を検知し、物体が検知されなくなったときにシフトレバー１１がパーキングである状態を示している。このとき、シーン９は、他のシーン１０〜１２から状態が遷移してきており、自車両が駐停車したと推定されるため、表示はすぐに切り替えられてよい。したがって、遷移条件Ｔ９は、Ｔ１と略同一の値に設定される。

また、ソナー１２のリア側によって物体が検知された場合、画面表示はステップＳ５２で示される第１撮像手段７による俯瞰画像と後方画像、またはステップＳ５３で示される第１撮像手段７による俯瞰画像と前方画像であり、ソナー１２によって物体が検知されなくなっても表示内容に変化が無い。このとき、シーン１３〜１６においては物体が検知されなくなったらすぐに表示を遷移させて良い。したがって、シーン１３〜１６の遷移条件Ｔ１３〜Ｔ１６はＴ１と略同一の値に設定される。

以上、本発明によれば、制御手段５が、ソナー１２が物体を検知したときの自車両の走行状態とソナー１２が物体を検知しなくなったときの自車両の走行状態とに基づいて表示手段１３の表示の遷移条件を決定する。これによって、物体がソナー１２の検知範囲外に離れたが依然として自車両の近くに存在する状況において、運転状況に応じて物体検知時に物体近傍の死角をなくした５カメラによる俯瞰画像の画像表示が継続される。このため、運転者は、第２撮像手段で撮像されるほど自車両近くに存在して衝突の恐れがある物体を、例えば撮像範囲外に離れるまで認識し続けることができ、安全度を向上させることができる。

また、本実施形態では、車両が右ハンドルの場合を想定したため、左前方コーナに設けられた第２撮像手段１４と左前方コーナソナー１２ａとを用いて、ドライバの死角になりやすい左前方コーナ近傍の物体が俯瞰画像上で消失することを防止したが、車両が左ハンドルの場合は、対象が左前方ではなく右前方になる。すなわち、車両が左ハンドルの場合、本実施形態における第２撮像手段１４の設置位置は右前方コーナに置き換えられ、左前方コーナソナー１２ａは右前方コーナソナー１２ｂに置き換えられる。

すなわち、第２撮像手段１４は、自車両の四隅のうち自車両のハンドル位置と逆方向の前方コーナを撮像する。自車両のハンドル位置と逆方向の前方コーナに存在する物体を検知するソナー１２による検知範囲は第２撮像手段１４の画角内に包含される。ソナー１２が物体を検知したとき、画像処理手段３は、第１撮像手段７の撮像画像と第２撮像手段１４の撮像画像とを合成して俯瞰画像を作成し、この俯瞰画像のうち第２撮像手段１４の撮像画像に基づく俯瞰画像の領域内にソナー１２による検知範囲を包含させればよい。一方、ソナー１２が自車両のハンドル位置と逆方向の前方コーナに存在する物体を検知しなかったとき、画像処理手段３は、第１撮像手段７の撮像画像を合成して俯瞰画像を作成する。

なお、本実施形態では、ソナー１２のうち車両の前後の物体を検知するソナーは４つのソナー１２ｅ〜１２ｆで構成されたが、少なくとも車両の前後の物体を検知するためには２つのソナーで構成されればよい。

なお、本実施形態ではソナー１２は複数のソナーで構成されたが、複数のソナーが物体を検知した場合、制御手段５は、最も自車両に近い物体を検知したソナーを、物体を検知したソナーと判定する。

また、本実施形態では物体を検知する物体検知手段としてソナー１２を用いたが、物体を検知するセンサであれば、赤外線センサ等他の手段を用いてもよい。

２０１１年１２月１５日出願の特願２０１１−２７４１７４の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。

本発明の運転支援装置は、特にソナー等によって自車両四隅の物体を検知した際に俯瞰画像上で物体を消失せずに表示して、ドライバが物体を認識することを容易にする点で有用である。

１運転支援装置
３画像処理手段
５制御手段
７第１撮像手段
１２ソナー
１４第２撮像手段

Claims

車両が駐車する際に前記車両と静止物との衝突可能性を報知する運転支援装置であって、
前記車両の周囲を撮像する第１撮像手段と、
前記車両の周囲の静止物を検知する物体検知手段と、
少なくとも前記車両のハンドル位置と逆方向の前方コーナを含む前記車両のコーナ周辺を撮像する第２撮像手段と、
前記車両の走行状態を検知する走行状態検知手段と、
前記第１撮像手段または前記第１撮像手段および前記第２撮像手段から入力された前記車両の周囲の撮像画像に基づいて俯瞰画像を合成する画像合成手段と、
前記画像合成手段が合成した俯瞰画像と前記第１撮像手段または前記第２撮像手段により撮像された所定の撮像画像とを表示する表示手段と、
前記物体検知手段と前記走行状態検知手段の検知結果に基づいて前記表示手段の表示の遷移を制御する制御手段とを備え、
前記制御手段は、前記物体検知手段が静止物を検知しなくなったときの前記車両の走行状態に応じて所定時間または所定距離を決定し、前記物体検知手段が静止物を検知しなくなった後、前記所定時間が経過するまでの間、または、前記車両が前記所定距離を移動するまでの間、前記表示手段の表示を継続させる、
運転支援装置。
前記制御手段は、前記物体検知手段が静止物を検知したときに前記車両が停車中または前進中で、前記物体検知手段が静止物を検知しなくなったときに前記車両が移動中である場合、前記物体検知手段が静止物を検知しなくなった後、前記車両が所定距離移動するまでの間、前記表示手段の表示を継続させる、
請求項１に記載の運転支援装置。
前記制御手段は、前記物体検知手段が静止物を検知したときに前記車両が前進中または後退中で、前記物体検知手段が静止物を検知しなくなったときに前記車両のシフトレバーが前進または後退の状態で停車中である場合、前記物体検知手段が静止物を検知しなくなった後、第１の所定時間経過するまでの間、前記表示手段の表示を継続させる、
請求項１に記載の運転支援装置。
前記制御手段は、前記物体検知手段が静止物を検知しなくなったときに前記車両のシフトレバーがパーキングである場合、前記第１の所定時間より短い第２の所定時間経過するまでの間、前記表示手段の表示を継続させる、
請求項３に記載の運転支援装置。