JP6897340B2 - 周辺監視装置 - Google Patents

Description

本発明の実施形態は、周辺監視装置に関する。

従来、車両に搭載された撮像装置（例えば、カメラ）により取得した車両周囲の画像を車室内の表示装置に表示することにより、車両周囲の状況を運転席の運転者に提供する周辺監視装置が提案されている。この種の周辺監視装置の中には、駐車場等の狭い場所で車両を旋回させた場合に、俯瞰画像に車体のコーナー部が通過する位置を示す予想軌跡線等を表示することで、コーナー部が周囲の物体と接触しないか否かの判断を行わせやすくするものがある。

特開２０１２−６６６１６号公報

従来技術の場合、個々のコーナー部が周辺の物体と接触しないか否かの判断は比較的容易にできる。しかしながら、車両が進む場合は、全てのコーナー部が同じタイミングでそれぞれの物体と接触することなく通過できるか否かの判断を総合的に行う必要がある。従来技術の予想軌跡線を表示するようなシステムの場合、走行時の車両挙動がどのようになるかの判断や、車両全体として物体と接触しないか否かの判断等が直感的に行えるようになるには、運転者の経験や慣れが必要であった。

そこで、本発明の課題の一つは、走行時の車両挙動がどのようになるかの判断や、車両全体として物体と接触しないか否かの判断をより直感的に行わせやすい周辺監視装置を提供することである。

本発明の実施形態にかかる周辺監視装置は、例えば、車両に設けられて当該車両の周辺を撮像する撮像部から出力された撮像画像データに基づき上記車両の周辺の状況を俯瞰態様で表示する周辺画像と、上記周辺画像に俯瞰態様で表示される上記車両を示す自車画像を取得する取得部と、上記車両が現在の舵角で走行した場合の車両状態を俯瞰態様で表示する仮想車両画像を上記周辺画像に上記自車画像とともに表示させる制御部と、を備え、上記制御部は、上記仮想車両画像を上記自車画像と重なった位置で表示させつつ、上記車両が現在の舵角で走行した場合の当該車両の向きに対応するように上記自車画像に対して上記仮想車両画像の向きを変化させる。この構成によれば、例えば、俯瞰画像に自車画像と現在の舵角で走行した場合の自車の状態を示す仮想車両画像が示されるので、車両が走行した場合の車両と周囲との関係、例えば、仮想車両画像と周囲に存在する物体との位置関係が示される。したがって、利用者（運転者）に、走行時の自車と周囲との関係を直感的に認識させやすい表示ができる。また、この構成によれば、自車が将来向く方向が表示される。この場合、現在の舵角で走行した場合の車両の挙動（姿勢、向き）を直感的に認識できるように表示できるとともに、現在の操舵方向が分かりやすくなる。また、例えば、自車に被牽引車両が連結されている場合には、自車の挙動が認識しやすくなることで、併せて被牽引車両の挙動を予想させやすくすることができる。

また、上記周辺監視装置の上記制御部は、例えば、上記仮想車両画像と上記自車画像が重なった位置から上記車両の現在の舵角にしたがう方向に、上記仮想車両画像が上記自車画像から分離して走行するように表示させてもよい。この構成によれば、例えば、現在の舵角で自車の走行を継続した場合の周囲と自車との関係の推移を事前に表示できるので、走行時の車両の挙動や物体と位置関係をより直感的に認識させやすくすることができる。

また、上記周辺監視装置の上記取得部は、例えば、上記車両の周囲に存在する留意対象の位置を示す位置情報を取得し、上記制御部は、上記留意対象の存在する位置に応じて上記仮想車両画像の表示停止位置を決定するようにしてもよい。この構成によれば、現在の舵角で走行する場合に、留意対象、例えば障害物（他車、壁、歩行者等）と仮想車両画像が干渉するときには、干渉時、またはその直前で仮想車両画像の移動を停止させることで、利用者に注意喚起することができる。

また、上記周辺監視装置の上記制御部は、例えば、上記仮想車両画像の表示態様を上記留意対象との距離に応じて決定してもよい。この構成によれば、例えば、留意対象の存在をより確実に利用者に認識させることができる。

また、上記周辺監視装置の上記取得部は、例えば、上記車両が牽引する被牽引車両の上記車両に対する連結状態を取得し、上記制御部は、上記周辺画像に上記被牽引車両の連結状態を示す連結画像とともに上記仮想車両画像を表示させてもよい。この構成によれば、例えば、被牽引車両の連結画像と仮想車両画像とが同時に表示され、仮想車両画像の将来の移動状態や向きに基づき、連結された被牽引車両の状態（連結角度）が自車（車両）の牽引走行（例えば、後退走行）によって、どのように変化するかを認識させやすくすることができる。

また、上記周辺監視装置の上記制御部は、例えば、上記車両が走行を開始した場合に、上記仮想車両画像を表示するようにしてもよい。この構成によれば、例えば、車両の停止時に仮想車両画像が表示され続けることが回避できて、表示画像のシンプル化ができるとともに、必要な場合には、車両を徐々に移動させながら将来の自車と周囲との関係を表示できる。つまり、車両を徐々に動かしながら将来の移動経路の把握をさせることができるので、直近の周囲状況に対応した適切な移動経路の選択を行わせやすくなる。

また、上記周辺監視装置の上記制御部は、例えば、上記車両の現在の舵角が操舵中立位置の場合、上記仮想車両画像を非表示としてもよい。この構成によれば、現在の舵角が操舵中立位置であること、すなわち、車両が実質的に直進可能な状態であることを表示装置の表示状態に基づき直感的に認識させやすくすることができる。また、俯瞰態様の周辺画像がシンプル化され、周囲状況をより把握させやすくすることができる。

図１は、実施形態にかかる周辺監視装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。 図２は、実施形態にかかる周辺監視装置を搭載する車両の一例が示された平面図である。 図３は、実施形態にかかる周辺監視装置を搭載する車両のダッシュボードの一例であり、車両後方からの視野での図である。 図４は、実施形態にかかる周辺監視装置を含む画像制御システムの一例が示されたブロック図である。 図５は、実施形態にかかる周辺監視装置のＥＣＵ内に実現される仮想車両画像の表示を実現するためのＣＰＵの構成の一例を示すブロック図である。 図６は、実施形態にかかる周辺監視装置による仮想車両画像の表示例であり、自車画像から仮想車両画像が分離して走行していく第１表示モードで自車の周囲に留意対象が存在しない場合を説明する図である。 図７は、実施形態にかかる周辺監視装置による仮想車両画像の表示例であり、自車画像から仮想車両画像が分離して走行していく第１表示モードで自車の周囲に留意対象が存在する場合を説明する図である。 図８は、図７の変形例であり、仮想車両画像が留意対象（例えば他車）に接近した場合に、停止を強調する停止線が表示される例を説明する図である。 図９は、実施形態にかかる周辺監視装置による仮想車両画像の表示例であり、自車画像と仮想車両画像とが重なったまま、仮想車両画像が走行した場合の向きに対応する向きに旋回する第２表示モードを説明する図である。 図１０は、図９の変形例であり、駐車車両の間に自車を駐車させる場合に第２表示モードで表示される仮想車両画像で舵角を探索する例を説明する図である。 図１１は、図９の変形例であり、被牽引車両を牽引する自車が後退走行する場合に、第２表示モードで表示される仮想車両画像により、被牽引車両の挙動を推定させる例を説明する図である。 図１２は、本実施形態にかかる周辺監視装置において、車両が現在の舵角で旋回する場合の当該車両と他車両（留意対象）との接触タイミングを説明する図である。 図１３は、本実施形態にかかる周辺監視装置が駐車支援モードで動作する場合の仮想車両画像の表示例を示す図である。 図１４は、実施形態にかかる周辺監視装置による仮想車両画像の表示処理の一例を説明するフローチャートである。 図１５は、図１４のフローチャートの一部であり、駐車支援モードで仮想車両画像を表示する場合の表示処理の一例を説明するフローチャートである。 図１６は、実施形態にかかる周辺監視装置による仮想車両画像の表示例であり、第１表示モードでの他の表示例を説明する図である。 図１７は、実施形態にかかる周辺監視装置による表示例であり、車両の現在の舵角が操舵中立位置である場合の俯瞰画像の表示例を示す図である。 図１８は、本実施形態にかかる周辺監視装置の仮想車両画像を車両の制動制御時に利用した応用例であり、仮想車両画像が停止線で停止する例を示す図である。 図１９は、図１８とは異なる表示例であり、仮想車両画像が停止線を越えて停止してしまう例を示す図である。

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。

図１に例示されるように、本実施形態において、周辺監視装置（周辺監視システム）を搭載する車両１は、例えば、不図示の内燃機関を駆動源とする自動車、すなわち内燃機関自動車であってもよいし、不図示の電動機を駆動源とする自動車、すなわち電気自動車や燃料電池自動車等であってもよい。また、それらの双方を駆動源とするハイブリッド自動車であってもよいし、他の駆動源を備えた自動車であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置、例えばシステムや部品等を搭載することができる。また、車両１は、例えば、いわゆる「オンロード」（主として舗装された道路やそれと同等の道路）の走行に加え、「オフロード」（主として舗装されていない不整地路等）の走行も好適に行える車両であってもよい。駆動方式としては、４つある車輪３すべてに駆動力を伝え、４輪すべてを駆動輪として用いる四輪駆動車両とすることができる。車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。例えば、「オンロード」の走行を主目的とする車両でもよい。また、駆動方式も四輪駆動方式に限定されず、例えば、前輪駆動方式や後輪駆動方式でもよい。

車体２は、不図示の乗員が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。操舵部４は、例えば、ダッシュボード２４から突出したステアリングホイールであり、加速操作部５は、例えば、運転者の足下に位置されたアクセルペダルであり、制動操作部６は、例えば、運転者の足下に位置されたブレーキペダルであり、変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。なお、操舵部４、加速操作部５、制動操作部６、変速操作部７等は、これらには限定されない。

また、車室２ａ内には、表示出力部としての表示装置８や、音声出力部としての音声出力装置９が設けられている。表示装置８は、例えば、ＬＣＤ（liquid crystal display）や、ＯＥＬＤ（organic electroluminescent display）等である。音声出力装置９は、例えば、スピーカである。また、表示装置８は、例えば、タッチパネル等、透明な操作入力部１０で覆われている。乗員は、操作入力部１０を介して表示装置８の表示画面に表示される画像を視認することができる。また、乗員は、表示装置８の表示画面に表示される画像に対応した位置で手指等により操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置８や、音声出力装置９、操作入力部１０等は、例えば、ダッシュボード２４の車幅方向すなわち左右方向の中央部に位置されたモニタ装置１１に設けられている。モニタ装置１１は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。また、モニタ装置１１とは異なる車室２ａ内の他の位置に不図示の音声出力装置を設けることができるし、モニタ装置１１の音声出力装置９と他の音声出力装置から、音声を出力することができる。なお、モニタ装置１１は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。

また、車室２ａ内には、表示装置８とは別の表示装置１２が設けられている。図３に例示されるように、表示装置１２は、例えば、ダッシュボード２４の計器盤部２５に設けられ、計器盤部２５の略中央で、速度表示部２５ａと回転数表示部２５ｂとの間に位置されている。表示装置１２の画面１２ａの大きさは、表示装置８の画面８ａの大きさよりも小さい。この表示装置１２には、例えば車両１の周辺監視や他の機能が動作している場合に補助的な情報として、インジケータやマーク、文字情報を示す画像が表示されうる。表示装置１２で表示される情報量は、表示装置８で表示される情報量より少なくてもよい。表示装置１２は、例えば、ＬＣＤや、ＯＥＬＤ等である。なお、表示装置８に、表示装置１２で表示される情報が表示されてもよい。

また、図１、図２に例示されるように、車両１は、例えば、四輪自動車であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。これら四つの車輪３は、いずれも転舵可能に構成されうる。図４に例示されるように、車両１は、少なくとも二つの車輪３を操舵する操舵システム１３を有している。操舵システム１３は、アクチュエータ１３ａと、トルクセンサ１３ｂとを有する。操舵システム１３は、ＥＣＵ１４（electronic control unit）等によって電気的に制御されて、アクチュエータ１３ａを動作させる。操舵システム１３は、例えば、電動パワーステアリングシステムや、ＳＢＷ（steer by wire）システム等である。また、トルクセンサ１３ｂは、例えば、運転者が操舵部４に与えるトルクを検出する。

また、図２に例示されるように、車体２には、複数の撮像部１５として、例えば四つの撮像部１５ａ〜１５ｄが設けられている。撮像部１５は、例えば、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１５は、所定のフレームレートで動画データ（撮像画像データ）を出力することができる。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°〜２２０°の範囲を撮影することができる。また、撮像部１５の光軸は斜め下方に向けて設定されている場合もある。よって、撮像部１５は、車両１が移動可能な路面や路面に付された停止線や駐車枠線、区画線等の非立体物、および車両１の周辺に存在する物体（例えば、壁、樹木、人間、自転車、車両等の立体的な障害物）を含む車両１の周辺の外部の環境を留意対象として逐次撮影し、撮像画像データとして出力する。

撮像部１５ａは、例えば、車体２の後側の端部２ｅに位置され、リアハッチのドア２ｈのリアウインドウの下方の壁部に設けられている。撮像部１５ｂは、例えば、車体２の右側の端部２ｆに位置され、右側のドアミラー２ｇに設けられている。撮像部１５ｃは、例えば、車体２の前側、すなわち車両前後方向の前方側の端部２ｃに位置され、フロントバンパやフロントグリル等に設けられている。撮像部１５ｄは、例えば、車体２の左側、すなわち車幅方向の左側の端部２ｄに位置され、左側のドアミラー２ｇに設けられている。ＥＣＵ１４は、複数の撮像部１５で得られた撮像画像データに基づいて演算処理や画像処理を実行し、より広い視野角の画像を生成したり、車両１を上方から見た仮想的な俯瞰画像を生成したりする。また、ＥＣＵ１４は、撮像部１５で得られた広角画像のデータ（湾曲した画像のデータ）に演算処理や画像処理を施し歪みを補正する歪み補正処理を実行したり、特定の領域を切り出した画像を生成したりする切出し処理を実行することができる。また、ＥＣＵ１４は、撮像画像データを撮像部１５が撮像した視点とは異なる仮想視点から撮像したような仮想画像データに変換する視点変換処理が実行できる。例えば、車両１の側面を当該車両１から離れた位置から臨むような側視画像を示す仮想画像データに変換したりすることができる。ＥＣＵ１４は、取得した画像データを表示装置８に表示することで、例えば、車両１の前方や後方、右側方や左側方等の安全確認および、車両１を俯瞰してその周囲の安全確認を実行できるような周辺監視情報を提供する。

なお、ＥＣＵ１４は、撮像部１５から提供される撮像画像データから車両１の周辺の路面に示された区画線等を識別して走行支援を実行したり、駐車区画（区画線）を検出（抽出）して駐車支援を実行したりすることもできる。

図１、図２に例示されるように、車体２には、複数の測距部１６，１７として、例えば四つの測距部１６ａ〜１６ｄと、八つの測距部１７ａ〜１７ｈとが設けられている。測距部１６，１７は、例えば、超音波を発射してその反射波を捉えるソナーである。ソナーは、ソナーセンサ、あるいは超音波探知器、超音波ソナーとも称されうる。本実施形態において、測距部１６，１７は、車両１の車高方向において低い位置、例えば前後のバンパに設けられる。そして、ＥＣＵ１４は、測距部１６，１７の検出結果により、車両１の周囲に位置された障害物等の物体の有無や当該物体までの距離を測定することができる。すなわち、測距部１６，１７は、物体を検出する検出部の一例である。なお、測距部１７は、例えば、比較的近距離の物体の検出に用いられ、測距部１６は、例えば、測距部１７よりも遠い比較的長距離の物体の検出に用いられうる。また、測距部１７は、例えば、車両１の前方および後方の物体の検出に用いられ、測距部１６は、車両１の側方の物体の検出に用いられうる。

また、図４に例示されるように、周辺監視システム１００（周辺監視装置）では、ＥＣＵ１４や、モニタ装置１１、操舵システム１３、測距部１６，１７等の他、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等が、電気通信回線としての車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、例えば、ＣＡＮ（controller area network）として構成されている。ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、操舵システム１３、ブレーキシステム１８等を制御することができる。また、ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１３ｂ、ブレーキセンサ１８ｂ、舵角センサ１９、測距部１６，１７、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等の検出結果や、操作入力部１０等の操作信号等を、受け取ることができる。

ＥＣＵ１４は、例えば、ＣＰＵ１４ａ（central processing unit）や、ＲＯＭ１４ｂ（read only memory）、ＲＡＭ１４ｃ（random access memory）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（solid state drive、フラッシュメモリ）等を有している。ＣＰＵ１４ａは、例えば、表示装置８，表示装置１２で表示される画像に関連した画像処理の演算処理および制御を実行することができる。例えば、撮像部１５が撮像した撮像画像データに基づき、車両１を示す自車画像を例えば中心位置に表示する俯瞰画像（周辺画像）を作成する。また、その周辺画像に、車両１が現在の舵角で走行した場合の状態を示す仮想車両画像を表示することにより、将来（未来）における車両１と当該車両１の周囲に存在する留意対象（例えば、障害物や駐車枠線、区画線等）との位置関係を直感的に把握しやすい態様で表示する。なお、俯瞰画像の作成は、周知の技術を利用可能であり、その説明は省略する。また、ＣＰＵ１４ａは、車両１の移動の際の目標位置（例えば駐車目標位置）の決定、車両１の誘導経路の演算、物体との干渉の有無の判定、車両１の自動制御（誘導制御）、自動制御の解除等の、各種の演算処理および制御を実行することができる。

ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、表示装置８で表示される画像データの合成等を実行する。また、音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（digital signal processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに替えてＨＤＤ（hard disk drive）が設けられてもよいし、ＳＳＤ１４ｆやＨＤＤは、ＥＣＵ１４とは別に設けられてもよい。

ブレーキシステム１８は、例えば、ブレーキのロックを抑制するＡＢＳ（anti-lock brake system）や、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：electronic stability control）、ブレーキ力を増強させる（ブレーキアシストを実行する）電動ブレーキシステム、ＢＢＷ（brake by wire）等である。ブレーキシステム１８は、アクチュエータ１８ａを介して、車輪３ひいては車両１に制動力を与える。また、ブレーキシステム１８は、左右の車輪３の回転差などからブレーキのロックや、車輪３の空回り、横滑りの兆候等を検出して、各種制御を実行することができる。ブレーキセンサ１８ｂは、例えば、制動操作部６の可動部の位置を検出するセンサである。ブレーキセンサ１８ｂは、可動部としてのブレーキペダルの位置を検出することができる。ブレーキセンサ１８ｂは、変位センサを含む。ＣＰＵ１４ａはブレーキセンサ１８ｂの検出結果に基づき算出した制動力の大きさと、車両１の現在の車速とから制動距離を算出することができる。

舵角センサ１９は、例えば、ステアリングホイール等の操舵部４の操舵量を検出するセンサである。舵角センサ１９は、例えば、ホール素子などを用いて構成される。ＥＣＵ１４は、運転者による操舵部４の操舵量や、自動操舵時の各車輪３の操舵量等を、舵角センサ１９から取得して各種制御を実行する。なお、舵角センサ１９は、操舵部４に含まれる回転部分の回転角度を検出する。舵角センサ１９は、角度センサの一例である。

アクセルセンサ２０は、例えば、加速操作部５の可動部の位置を検出するセンサである。アクセルセンサ２０は、可動部としてのアクセルペダルの位置を検出することができる。アクセルセンサ２０は、変位センサを含む。

シフトセンサ２１は、例えば、変速操作部７の可動部の位置を検出するセンサである。シフトセンサ２１は、可動部としての、レバーや、アーム、ボタン等の位置を検出することができる。シフトセンサ２１は、変位センサを含んでもよいし、スイッチとして構成されてもよい。

車輪速センサ２２は、車輪３の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ２２は、各車輪３に配置され、各車輪３で検出した回転数を示す車輪速パルス数をセンサ値として出力する。車輪速センサ２２は、例えば、ホール素子などを用いて構成されうる。ＥＣＵ１４は、車輪速センサ２２から取得したセンサ値に基づいて車両１の移動量などを演算し、各種制御を実行する。ＣＰＵ１４ａは、各車輪速センサ２２のセンサ値に基づいて車両１の車速を算出する場合、四輪のうち最も小さなセンサ値の車輪３の速度に基づき車両１の車速を決定し、各種制御を実行する。また、ＣＰＵ１４ａは、四輪の中で他の車輪３に比べてセンサ値が大きな車輪３が存在する場合、例えば、他の車輪３に比べて単位期間（単位時間や単位距離）の回転数が所定数以上多い車輪３が存在する場合、その車輪３はスリップ状態（空転状態）であると見なし、各種制御を実行する。なお、車輪速センサ２２は、図示を省略したブレーキシステム１８に設けられている場合もある。その場合、ＣＰＵ１４ａは、車輪速センサ２２の検出結果をブレーキシステム１８を介して取得してもよい。

なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。

周辺監視システム１００を実現するＥＣＵ１４は、一例として、車両１の周囲を俯瞰態様で表示する周辺画像を生成するとともに、この周辺画像に車両１を俯瞰態様で表示する自車画像と、車両１が現在の舵角で移動した場合の車両状態（移動位置や車体の向き等）を示す仮想車両画像とを表示する。

ＥＣＵ１４に含まれるＣＰＵ１４ａは、上述したような俯瞰態様の表示を実現するために、図５に示されるように、取得部３０、制御部３２、走行支援部３４、表示切替受付部３６、報知部３８、出力部４０等を含む。そして、取得部３０は、舵角取得部３０ａ、周辺画像生成部３０ｂ、車両指標取得部３０ｃ、留意対象取得部３０ｄ、トレーラ連結角度取得部３０ｅ等を含む。また、制御部３２は、車両指標表示位置制御部３２ａ、表示態様制御部３２ｂ、俯瞰表示制御部３２ｃ等を含む。走行支援部３４は、進路指標取得部３４ａ、車両状態取得部３４ｂ、目標位置決定部３４ｃ、経路算出部３４ｄ、誘導制御部３４ｅ等を含む。ＣＰＵ１４ａは、これらのモジュールを、ＲＯＭ１４ｂ等の記憶装置にインストールされ記憶されたプログラムを読み出し、それを実行することで実現可能である。

本実施形態において、仮想車両画像は、第１表示モードまたは第２表示モードで表示されうる。図６〜図８は、表示装置８の画面８ａに、第１表示モードを表示する画面８ｂを割り込ませた（スーパーインポーズさせた）例である。図６〜図８は、車両１が後退する場合の例である。例えば図６に示されるように、画面８ａには、撮像部１５ａによって撮像された撮像画像データに基づく後方の実画像が示されている。画面８ａには、車両１の後側の端部２ｅおよび、車両１が現在の舵角で後退走行する際に後輪３Ｒ（図２参照）が通過する移動予測線４２および車両１の移動方向を示す方向予測線４４が示されている。なお、移動予測線４２や方向予測線４４を表示するか否かは、利用者（運転者）が操作入力部１０や操作部１４ｇ等を操作することで選択できるようにしてもよい。一方、画面８ｂは、例えば図６に示されるように、撮像部１５が撮像した撮像画像データに基づいて生成した周辺画像４６（俯瞰画像）が表示されるとともに、自車画像４８（自車アイコン）および車両１が現在の舵角で例えば３ｍ後退走行した場合（所定距離後退走行した場合）に車両１が存在する位置に対応する位置に仮想車両画像５０（仮想アイコン）が示されている。すなわち、この表示態様では、例えば３ｍ後方に位置した仮想車両画像５０が運転者の操舵に応じて移動する（転回する）こととなる。なお、車両１が前進走行する場合（例えば、シフトが前進（Ｄ）レンジの場合）、画面８ａには、撮像部１５ｃが撮像した撮像画像データに基づく前方の実画像が、車両１の前側の端部２ｃとともに表示される。また、画面８ｂには、自車画像４８に対して前方に移動する仮想車両画像５０が示される。また、図７、図８の画面８ａには、車両１の近傍に存在する他車両５２（留意対象、障害物）が映っている例である。一方、画面８ｂには、画面８ａに表示された他車両５２に対応する位置に俯瞰態様の他車両５２が表示されている。なお、図８の画面８ｂには、仮想車両画像５０と干渉する（接触する）可能性のある他車両５２が接近したことを示す警告線５４が表示されている例である。なお、本実施形態においては、前述のように測距部１６，１７にて他車両５２の接近を検知しているが、他車両５２の接近が検知できれば他の方法を採用してもよい。また、警告線５４は、測距部１６，１７の検出結果に基づいて表示される。

また、図９〜図１１は、表示装置８の画面８ａに、第２表示モードを表示する画面８ｂを割り込ませた（スーパーインポーズさせた）例である。図９〜図１１は、車両１が後退する場合の例である。画面８ａは、撮像部１５ａによって撮像された撮像画像データに基づく後方の実画像が示されている。画面８ａには、第１表示モードと同様に、車両１の後側の端部２ｅおよび、車両１が現在の舵角で後退走行する際に後輪３Ｒ（図２参照）が通過する移動予測線４２および車両１の移動方向を示す方向予測線４４が示されている。なお、図９は、図７と同様に、画面８ａに車両１の近傍に存在する他車両５２が映っている例である。また、画面８ｂは、周辺画像４６が表示されるとともに、自車画像４８（自車アイコン）および車両１が現在の舵角で例えば３ｍ後退走行した場合（所定距離後退走行した場合）に車両１が向く方向に対応するように旋回した状態の仮想車両画像５０（仮想アイコン）が示されている。この場合には、仮想車両画像５０は、自車画像４８と同じ位置で向きが異なる画像となる。すなわち、仮想車両画像５０は、自車画像４８に対して所定の回転中心位置を中心に旋回する表示態様となる。なお、この場合の回転中心位置は、車両の前後方向における中央、かつ左右方向における中央としてもよいし、車両の後輪軸（シャフト）の長さ方向における中点位置としてもよい。画面８ｂの周辺画像４６には、画面８ａに映り込んでいた他車両５２も対応して表示されている。図９に示す例において車両１が前進走行する場合も、上述した図６の説明と同様に、画面８ａには、撮像部１５ｃが撮像した撮像画像データに基づく前方の実画像が、車両１の前側の端部２ｃとともに表示される。一方、画面８ｂに表示される仮想車両画像５０は、図９において仮想車両画像５０が後退走行する場合と同様に、車両１が前方に所定距離移動した際の向きに対応する方向に旋回した状態が自車画像４８と同じ位置で表示される。すなわち、仮想車両画像５０は、自車画像４８に対して所定の回転中心位置を中心に旋回する表示態様となる。なお、この場合の回転中心位置は、車両の前後方向における中央、かつ左右方向における中央としてもよいし、車両の後輪軸の中点位置としてもよい。なお、図１０は、車両１を二台の他車両５２ａ，５２ｂの間に駐車させる場合の第２表示モードの画面８ｂが示されている。また、図１１は、画面８ａに示されるように、連結装置５６(ヒッチボール５６ａ)を備える車両１に被牽引車両６０が連結アーム６２を介して連結されている場合の第２表示モードの画面８ｂが示されている。この場合、画面８ｂには、被牽引車表示領域６４が形成され、自車画像４８と連結された状態の被牽引車画像６６（連結画像）が表示される。

上述したような第１表示モードまたは第２表示モードによる表示を実現するために、取得部３０は、主として、車両１の周辺を撮像する撮像部１５から出力された撮像画像データに基づき車両１の周辺の状況を俯瞰態様で表示する周辺画像４６と、周辺画像４６に俯瞰態様で表示される車両１を示す自車画像４８を取得する。つまり、俯瞰態様の表示を行う場合に必要となる各種情報（データ）を各種センサおよびＲＯＭ１４ｂ、ＳＳＤ１４ｆ等から取得し、例えば、ＲＡＭ１４ｃ等に一時的に保持する。

例えば、舵角取得部３０ａは、舵角センサ１９から出力される操舵部４（ステアリングホイール）の操作状態に関する情報（舵角）を取得する。つまり、運転者がこれから車両１を走行させようとしている方向の舵角を取得する。なお、舵角取得部３０ａは、シフトセンサ２１から取得される変速操作部７の可動部の位置に基づき、車両１が前進可能状態か後退可能状態かを取得して、舵角が前進状態の舵角か後退状態の舵角かを識別できるようにしてもよい。

周辺画像生成部３０ｂは、俯瞰態様の周辺画像４６を撮像部１５ａ〜１５ｄで得られる撮像画像データに周知の視点変換処理及び歪み補正処理等を施すことにより得ることができる。このような周辺画像４６を表示することで、車両１の周囲の状況をユーザに提示することができる。この周辺画像４６は、撮像部１５ａ〜１５ｄが撮像する撮像画像データを用いるため、基本画像として、車両１を中心とする俯瞰画像（画面８ｂの中央上方に視点がある画像）を得ることができる。別の実施形態では、視点変換処理を実行する際に、視点位置を変更し、車両１の位置を周辺画像４６の下端位置に移動させた画像、つまり、主として車両１の前方の領域を俯瞰態様で表示する前方俯瞰画像を得ることができる。逆に、車両１の位置を周辺画像４６の上端位置に移動させた画像、つまり、主として車両１の後方の領域を俯瞰態様で表示する後方俯瞰画像を得ることができる。前方俯瞰画像の場合、例えば、第１表示モードで、例えば注意対象が存在しない場合で、仮想車両画像５０が車両１の前方に大きく移動する場合に利用しやすい。また、後方俯瞰画像の場合、第１表示モードで、仮想車両画像５０が車両１の後方に大きく移動する場合に利用しやすい。一方、車両１（自車画像４８）を中央に置く俯瞰画像は、第２表示モードで表示する場合に利用しやすい。なお、本実施形態では、自車画像４８は周辺画像４６の中央の位置に表示している例を示しているが、利用者（運転者）が操作入力部１０等を操作することで自車画像４８の表示位置を適宜変更可能としてもよい。

車両指標取得部３０ｃは、車両指標として、車両１の俯瞰態様の自車画像４８（自車アイコン）、仮想車両画像５０（仮想アイコン）、被牽引車両６０を示す被牽引車画像６６（トレーラアイコン、図１１参照）等をＲＯＭ１４ｂやＳＳＤ１４ｆから取得する。なお、自車画像４８および仮想車両画像５０の形状は、実際の車両１の形状に対応させることが望ましい。自車画像４８および仮想車両画像５０の形状を、実際の車両１の形状に対応させることにより、周辺画像４６上で撮像画像データに基づいて表示される物体、例えば他車両５２や壁等に対する距離感や相対関係をより正確に表現し、運転者に認識させやすくすることができる。なお、自車画像４８と仮想車両画像５０とは、識別できればよく、表示態様を変化させた同じデータを用いてもよい。例えば、制御部３２の車両指標表示位置制御部３２ａによって、仮想車両画像５０を表示する場合の透過度を自車画像４８を表示する場合より高くすることにより識別できるようにしてもよい。また、仮想車両画像５０と自車画像４８との表示色を異ならせたり、点灯表示と点滅表示とで異ならせたりして識別するようにしてもよい。なお、車両１に連結できる被牽引車両６０（図１１参照）の長さや形状は様々である。したがって、被牽引車画像６６は、代表的な被牽引車両６０に対応する形状のものを用いたり、図１１に示すように、簡易的に線図で示されたアイコンを利用したりしてもよい。

留意対象取得部３０ｄは、車両１を走行させる上で留意すべき対象を、例えば、測距部１６，１７の検出結果や撮像部１５が撮像した撮像画像データ等に基づき取得する。例えば、車両１の周囲を、測距部１６，１７で探索して、物体、例えば、他車両５２や、自転車、歩行者、壁や構造物等の存在の有無、および物体が存在する場合には、その物体までの距離（位置情報）を取得（検出）する。また、路面に付された駐車領域を示す駐車枠線、区画線や停止線等は、撮像部１５が撮像した撮像画像データを画像処理することにより検出する。測距部１６，１７が検出する物体は、仮想車両画像５０を表示させた場合に、干渉（接触）するか否か、つまり、車両１が現在の舵角のまま走行可能か否かの判定や、利用者（運転者）に物体の存在を通知し注意喚起をするために、制御部３２の車両指標表示位置制御部３２ａが仮想車両画像５０の移動（第１表示モード）または旋回（第２表示モード）を停止させる場合に利用することができる。また、撮像部１５が撮像した撮像画像データに基づき検出した駐車枠線、区画線や停止線等は、車両１をその位置まで導くための車両１の操作のタイミングや操作量を通知する場合に利用することができる。なお、留意対象を取得するために、例えば、レーザスキャナ等を用いてもよい。また、撮像部１５としてステレオカメラを用いて、撮像画像データから物体の有無や物体までの距離を検出するようにしてもよい。この場合、測距部１６，１７を省略することもできる。

トレーラ連結角度取得部３０ｅは、車両１に被牽引車両６０（トレーラ）が連結されている場合に、車両１と被牽引車両６０との連結角度（車両１に対する連結アーム６２の角度、連結状態）を、例えば、撮像部１５ａが撮像した撮像画像データに基づいて検出する。車両１に被牽引車両６０が連結されている場合、車両１が走行する場合、車両１の挙動と被牽引車両６０の挙動が異なる場合がある。特に、車両１が後退走行する場合、車両１の舵角と現在の連結角度とによって、車両１と被牽引車両６０との連結角度が大きくなったり小さくなったりする。そこで、制御部３２の車両指標表示位置制御部３２ａは、取得した連結角度を用いて自車画像４８と被牽引車画像６６とを表示した状態で、仮想車両画像５０を動かすことにより、被牽引車両６０（被牽引車画像６６）の将来の挙動を推定しやすくする。なお、車両１が被牽引車両６０を連結する連結装置５６(ヒッチボール５６ａ)が角度センサ等を備えている場合、連結アーム６２の連結角度を角度センサから直接取得してもよい。この場合、撮像画像データを画像処理する場合に比べ、ＣＰＵ１４ａの処理負荷が軽減される。また、車両１が被牽引車両６０を連結するための連結装置５６を備えない場合は、トレーラ連結角度取得部３０ｅを省略してもよい。

制御部３２は、主として、車両１が現在の舵角で走行した場合の車両状態を俯瞰態様で表示する仮想車両画像５０を周辺画像４６に自車画像４８とともに表示させる制御を実行する。

車両指標表示位置制御部３２ａは、車両指標取得部３０ｃが取得した車両指標の一つである自車画像４８の表示位置を決定する。前述したように、車両指標表示位置制御部３２ａは、仮想車両画像５０の移動方向に応じて、周辺画像４６（俯瞰画像）の視点位置を選択し、その視点位置に応じて自車画像４８の表示位置を決定するようにしてもよい。また、車両指標表示位置制御部３２ａは、車両指標の一つである仮想車両画像５０の表示位置を舵角取得部３０ａが取得した車両１の舵角にしたがって決定する。車両指標表示位置制御部３２ａは、仮想車両画像５０を第１表示モードで表示する場合、自車画像４８の表示位置を基準にして、車両１がそのときの舵角で例えば３ｍ走行した位置に相当する位置まで連続的または間欠的に移動するように周辺画像４６（俯瞰画像）上で表示する。この場合、図６、図７等に示すように、車両１が実際に移動する経路を仮想車両画像５０が周辺画像４６上で移動して行く。つまり、仮想車両画像５０を介して俯瞰視で車両１の周囲に存在する物体との位置関係を認識し易く表示することができる。特に、車両１の周囲に他車両５２等が存在する場合は、車両１が他車両５２に対してどの程度の距離を有しながら接近し、すれ違うことができるか等が俯瞰画像で確認可能となり、利用者に車両１と他車両５２との現在から将来における位置関係を直感的に認識させやすくなる。

また、車両指標表示位置制御部３２ａは、第１表示モードで仮想車両画像５０の表示を行う場合、留意対象取得部３０ｄが留意対象を検出した場合に、仮想車両画像５０が例えば他車両５２に接触する前に、仮想車両画像５０を停止するような表示停止位置を取得することができる。つまり、仮想車両画像５０が自車画像４８から分離して走行して行くような表示を行う場合、他車両５２等に接触する前に、仮想車両画像５０を停止させて運転者に注意喚起する表示を行うことができる。すなわち、仮想車両画像５０が停止した位置までは、他車両５２等の障害物と接触することなく車両１を走行させられることを示すことができる。

図１２は、車両１が現在の舵角で旋回する場合（後輪軸中心の旋回半径Ｒで旋回する場合）の車両１と他車両５２との接触タイミングを説明する図である。図１２は、車両１の前端に搭載された測距部１７ｇが他車両５２を検出した場合を示している。例えば、現在舵角で車両１が旋回した場合の測距部１７ｇの旋回半径をＲｓとし、測距部１７ｇが検出した他車両５２までの検出距離をＬｓとする。また、車両１が現在の舵角で走行（旋回）した場合の、車両１と他車両５２とが接触までの偏向角θ（後輪軸中心の旋回角度θ）とすると、２π：θ＝Ｒｓ：Ｌｓの関係が成り立つ。つまり、θ＝２π＊Ｌｓ／Ｒｓとなる。したがって、車両指標表示位置制御部３２ａは、自車画像４８の表示位置から偏向角θだけ旋回させた位置より手前に仮想車両画像５０を表示する表示停止位置を取得することにより、図７に示すように、他車両５２等と接触する前に仮想車両画像５０を停止する表示を行うことができる。また、図８に示すように、自車画像４８の後端から偏向角θだけ旋回させた位置に警告線５４を表示することができる。なお、事前の報知として、他車両５２と仮想車両画像５０とが接触する状態を表示してもよい。

また、車両指標表示位置制御部３２ａは、仮想車両画像５０を第２表示モードで表示する場合、自車画像４８の表示位置で、車両１がそのときの舵角で例えば３ｍ走行した場合の車両１の向きに対応する方向を向くように、周辺画像４６（俯瞰画像）上で表示する。この場合、図９、図１０等に示すように、仮想車両画像５０は、車両１（自車画像４８）が現在存在する位置で、車両１の後軸中心位置に対応する位置を中心として車体方向のみを変化させる。つまり、仮想車両画像５０を介して俯瞰視で車両１の周囲に存在する物体に対してどのような向きで接近していくかを認識し易く表示することができる。特に、車両１の周囲に他車両５２等が存在する場合は、車両１が他車両５２に対してどのような角度で接近していくかを俯瞰画像で確認可能となり、利用者の直感的な認識性を向上させやすくなる。

また、車両指標表示位置制御部３２ａは、被牽引車両６０が連結されている場合には、トレーラ連結角度取得部３０ｅが取得した連結角度にしたがい、車両指標取得部３０ｃが取得した被牽引車画像６６を周辺画像４６（俯瞰画像）上で表示する。例えば、図１１に示すように、仮想車両画像５０が第２表示モードで表示される場合、自車画像４８の将来の旋回方向が仮想車両画像５０により俯瞰視で表示されることにより、将来、被牽引車画像６６がどちらの方向に旋回する（曲がる）かを直感的に利用者に理解させやすくなる。

表示態様制御部３２ｂは、主として、仮想車両画像５０の表示態様を変化させる。例えば、図６に示すように、自車画像４８の周囲に留意対象が存在しない場合、つまり車両１の周囲に例えば他車両５２が存在しない場合、車両１は現在の舵角のまま走行しても支障がない。一方、図７に示すように、自車画像４８の周囲に留意対象が存在する場合、つまり車両１の周囲に例えば他車両５２が存在する場合、車両１が現在の舵角のまま走行した場合、他車両５２と接触する可能性がある。このような場合、仮想車両画像５０と他車両５２との距離が所定距離に達した場合、表示態様制御部３２ｂは仮想車両画像５０の表示色を例えば、定常時の「緑色」から強調色の「赤色」に変化させ、利用者に対し注意喚起する。

また、別の例では、仮想車両画像５０を定常時の点灯状態から点滅状態に変化させて、同様に注意喚起してもよい。また、表示態様制御部３２ｂは、図８に示すように、仮想車両画像５０と干渉する（接触する）可能性のある他車両５２が接近したことを示す警告線５４を表示することができる。警告線５４は、留意対象取得部３０ｄによって他車両５２が検出され、周辺画像４６に表示された時点で表示するようにしてもよいし、仮想車両画像５０が他車両５２に接近するタイミングで表示してもよい。例えば、仮想車両画像５０の表示色が「赤色」に変更されるタイミングより前に予告的に警告線５４を表示してもよい。この場合、利用者に対して段階的な警告が可能になり、より利用者の注意を喚起しやすくなる。

また、表示態様制御部３２ｂは、図９、図１０に示す第２表示モードの場合、仮想車両画像５０が旋回した方向に障害物、例えば他車両５２等が存在する場合に、仮想車両画像５０の表示色を例えば、定常時の「緑色」から強調色の「赤色」に変化させ、利用者に対し注意喚起する。この場合、運転者は、車両１を停止させた状態で操舵することにより、仮想車両画像５０の旋回方向を変化させることが可能であり、車両１が他車両５２に接触することなく接近できる舵角を仮想車両画像５０の表示色を確認しながら決定することができる。特に、図１０に示すように、車両１を二台の他車両５２ａ，５２ｂの間に駐車させる場合は、第２表示モードで表示される仮想車両画像５０の向きが他車両５２ａまたは他車両５２ｂと接触可能性のある向きの場合、定常時の「緑色」から強調色の「赤色」に変化させる。この場合、運転者は、車両１を停止させた状態で左右に操舵することにより、俯瞰視の仮想車両画像５０の旋回方向を変化させて、他車両５２ａまたは他車両５２ｂと接触する舵角、接触しない舵角を探すことができる。その結果、定常時の表示色である例えば「緑色」になる舵角を探すことにより、車両１を他車両５２ａや他車両５２ｂに接触させることなく、スムーズに後退させ易くなる。

俯瞰表示制御部３２ｃは、画面８ｂの表示態様を制御する。俯瞰画像である周辺画像４６は、例えば、利用者（運転者）が操作入力部１０等を介して要求した場合に表示されるようにすることができる。また、周辺画像４６は、運転者が走行操作を行う場合に死角が増える後退走行に移行する場合や、留意対象取得部３０ｄが走行方向に留意対象（障害物等）を検出した場合に、表示要求がなされたと見なして表示されるようにすることができる。俯瞰表示制御部３２ｃは、周辺画像４６の表示要求を取得した場合に定常時にナビゲーション画面やオーディオ画面が表示されている表示装置８の画面８ａを車両１の進行方向を示す実画像を表示するモードに切り替えるとともに、画面８ａとともに画面８ｂを表示する。また、図１１に示すように、車両１が被牽引車両６０を連結した状態で周辺画像４６を表示する要求を取得した場合、周辺画像４６に被牽引車表示領域６４を形成する。また、図６〜図１１の場合、表示装置８の画面８ｂは、画面８ａより相対的に狭い領域で表示されているが、利用者が例えば操作入力部１０を介して操作することにより、俯瞰表示制御部３２ｃは、画面８ａより画面８ｂの表示領域を広く表示するように変更してもよい。このように、俯瞰画像を拡大表示可能とすることにより、仮想車両画像５０の挙動や他車両５２等との位置関係をより認識しやすくすることができる。なお、俯瞰表示制御部３２ｃは、画面８ｂを表示装置８の全面に表示するようにしてもよい。また、別の実施形態では、画面８ｂの表示内容を、表示装置１２に表示してもよい。この場合、視線移動を最小限にしつつ、俯瞰画像の内容を確認させやすくなる。なお、俯瞰表示制御部３２ｃは、例えば周辺画像４６が表示されている状態で、車両１が走行を開始した場合に、仮想車両画像５０の表示要求を受けたと見なして表示を開始するようにしてもよい。この場合、例えば、車両１の停止時に仮想車両画像５０が表示され続けることが回避され、周辺画像４６の表示内容のシンプル化を行うことができる。その結果、車両１の周囲に状況を俯瞰視で確認しやすくなる。また、仮想車両画像５０の表示が必要な場合には、車両１を徐々に移動（後退または前進）させることで、仮想車両画像５０の表示を開始し、将来の車両１（自車）と周囲との関係を表示するようにしてもよい。この場合、車両１を徐々に動かしながら将来の移動経路の把握をさせることができるので、直近の周囲状況に対応した適切な移動経路の選択を行わせやすくなる。

走行支援部３４は、画面８ａに表示する移動予測線４２や方向予測線４４を取得し、運転者が車両１を走行させる場合の支援を行うとともに、駐車領域に車両１を進入させる場合の駐車支援や、駐車領域から車両１を出庫させる場合の出庫支援等を行う。

進路指標取得部３４ａは、舵角取得部３０ａが取得した車両１の舵角および変速操作部７（シフトレバー）の位置または操作入力部１０等を介して入力された運転者による前進指示または後退指示に基づき、移動予測線４２や方向予測線４４を取得する。移動予測線４２や方向予測線４４は、車両１の前方または後方に例えば、３ｍまで表示させる。なお、運転者が操作入力部１０等を操作することにより、表示長さは変更可能としてもよい。移動予測線４２は現在の舵角で走行した場合に、車輪３が将来路面のどのあたりを通過するかを示すことができる。また、移動予測線４２は車両１の舵角に対応して変化するため、運転者は、例えば、より凹凸の少ない路面を通過できる経路を容易に探索することができる。同様に、方向予測線４４は現在の舵角で走行した場合に、車両１が将来進む方向を示すことができる。方向予測線４４もまた車両１の舵角に対応して変化するため、運転者は、転舵量を変化させることにより、車両１の周囲の状況と比較しながら車両１の進むべき方向を容易に探索することができる。

車両状態取得部３４ｂは、車両１の走行支援を実行するために車両１の現在の状態を取得する。車両状態取得部３４ｂは、例えば、ブレーキシステム１８からの信号に基づき現在の制動力の大きさを取得したり、車輪速センサ２２からの検出結果に基づき、車両１の現在の車速や加減速度を取得したりする。また、変速操作部７からの信号に基づき、現在、車両１が前進可能状態か後退可能状態か、停止（駐車）可能状態か等を取得する。

目標位置決定部３４ｃ、経路算出部３４ｄ、誘導制御部３４ｅは、主として、駐車支援または出庫支援を行う場合に機能する。図１３は、周辺監視システム１００が例えば、駐車支援モードで動作する場合の仮想車両画像５０の表示例を説明する図である。なお、図１３は画面８ｂに表示される周辺画像４６の拡大図である。この場合、自車画像４８に表示する情報量が多いため画面８ｂは表示装置８の全面を用いて表示してもよい。駐車支援は、例えば、自動支援モード、半自動支援モード、手動支援モード等がある。自動支援モードは、変速操作部７の切り替え（前進と後退の切り替え）以外の操作（ステアリング操作、アクセス操作、ブレーキ操作等）をＥＣＵ１４側が自動で行うモードである。半自動支援モードは、一部の操作のみを自動で行うモードである。手動支援モードは、経路の案内や操作の案内を行うのみで運転者がステアリング、アクセス、ブレーキ等を操作するモードである。

本実施形態において、仮想車両画像５０を第１表示モードで表示する場合、いずれの支援モードの場合でも俯瞰画像である周辺画像４６上で仮想車両画像５０を自車画像４８に対して先行して移動表示して誘導の様子を事前に表示する。実際に車両１を誘導する場合、誘導開始位置から切り返しを行うことなく、直接、駐車目標位置に誘導できる場合と、切り返しや一時停止が何度か必要になる場合がある。図１３に示す例は、切り返しが必要となる場合であり、切返ポイント（留意ポイント）で、仮想車両画像５０の表示態様を変化させている。この場合、俯瞰態様の仮想車両画像５０が先行して誘導経路を移動していくので、事前に周辺の障害物（他車両５２等）との位置関係を運転者に把握させやすく、安心感を与えることができる。また、先行して移動する仮想車両画像５０によって、留意ポイントが明示されるので、特に半自動支援モードや手動支援モード等で支援が行われる場合、運転者の安心感をより向上させることができる。留意ポイントでは、車両指標表示位置制御部３２ａが取得した表示停止位置に基づき仮想車両画像５０を停止させたり、表示態様制御部３２ｂが仮想車両画像５０の表示態様を例えば定常色の「緑色」から注意喚起色の「赤色」に変化させたりする。第１表示モードで仮想車両画像５０の表示を行う場合、留意ポイントで仮想車両画像５０が停止表示された場合、ＥＣＵ１４は、車両１を留意ポイントに対応する位置まで移動させる。そして、一時停止やシフト切り替えが完了した場合に、制御部３２は、再度仮想車両画像５０を自車画像４８から分離させ、次の注意ポイントに向かうように表示する。この動作を繰り返すことにより、自車画像４８（車両１）を駐車目標位置まで誘導する。

実際に車両１対する駐車支援を実行する場合、車両１に設定された基準点、例えば後輪軸の中央に設定された点を駐車可能領域内に設定した駐車目標位置に誘導することで、車両１が駐車可能領域内に収まるようにする。したがって、画面８ｂ上で自車画像４８を誘導する場合も、図１３に示すように、車両１の基準点に対応する自車画像４８の基準点Ｍ（例えば後輪軸の中央位置）を誘導経路Ｌに沿って移動させる。そして、自車画像４８を区画線６８で区画された駐車場において、他車両５２ａと他車両５２ｂとの間のスペース（駐車可能領域）に設定された駐車目標位置Ｎに移動させる。図１３の場合、自車画像４８の表示位置から分離して移動する仮想車両画像５０（５０ａ）が切返ポイントＰ１に到達すると、車両指標表示位置制御部３２ａは、仮想車両画像５０（５０ａ）の移動を停止するとともに、表示態様制御部３２ｂが仮想車両画像５０（５０ａ）の表示色を例えば強調色の「赤色」に変化させて、この位置で一時停止をするとともに、シフトを後退レンジから前進レンジに切り替えることを運転者に通知する。この場合、仮想車両画像５０（５０ａ）は、実際に車両１（自車画像４８）が切返ポイントＰ１に到達するまで、赤色で停止表示される。そして、制御部３２は、実際に車両１（自車画像４８）が切返ポイントＰ１に到達して、シフトが前進レンジに切り替えられたら、仮想車両画像５０（５０ｂ）を定常色である「緑色」の表示態様に切り替え、次の切返ポイントＰ２に向けて移動させる。仮想車両画像５０（５０ｂ）は、切返ポイントＰ２に到達したら停止し、再度、仮想車両画像５０（５０ｂ）の表示色を例えば「赤色」に変化させて、この位置で一時停止をするとともに、シフトを前進レンジから後退レンジに切り替えることを運転者に通知する。そして、車両１（自車画像４８）が切返ポイントＰ２に到達して、シフトが後退レンジに切り替えられたら、仮想車両画像５０（５０ｃ）は、定常色である「緑色」の表示態様に切り替え、次の駐車目標位置Ｎに向けて移動させる。仮想車両画像５０（５０ｃ）は、駐車目標位置Ｎに到達したら停止し、再度、仮想車両画像５０（５０ｃ）の表示色は例えば「緑色」のまま、点滅表示させる等により、この位置で停止をすること（駐車目標位置Ｎに到達したこと）を運転者に通知する。そして、実際に車両１（自車画像４８）が駐車目標位置Ｎに到達することで駐車支援が終了する。

なお、出庫支援の場合も同様である。例えば、車両１の前部が駐車スペースから走行路に出たところで一旦停止することを通知するために、周辺画像４６上で駐車状態の自車画像４８から分離した仮想車両画像５０の表示色を走行路に出た時点で例えば「赤色」に変化させる。この場合、左右確認を行わせてから、走行路に進入させる。この場合も、俯瞰態様で仮想車両画像５０が表示されることにより、周囲の状況を把握させやすく、どの辺りで一旦停止して左右確認を行うべきかを容易に運転者に認識させることができる。

このような駐車支援（出庫支援）を実行するために、目標位置決定部３４ｃは、留意対象取得部３０ｄが撮像部１５、測距部１６，１７から提供される情報に基づいて取得した、車両１の周囲に障害物や路面の駐車枠線や停止線等に基づき、車両１の周辺領域に駐車可能領域６８ａを検出する。また、目標位置決定部３４ｃは、検出した駐車可能領域６８ａおよび撮像部１５、測距部１６，１７から提供される情報に基づいて、車両１を誘導するための駐車目標位置Ｎを決定する。

経路算出部３４ｄは、車両１を当該車両１の現在位置から駐車目標位置に誘導するための（基準点Ｍを駐車目標位置Ｎに一致させるような）誘導経路Ｌを周知の方法により算出する。なお、経路算出部３４ｄは、留意対象取得部３０ｄが取得した車両１の周囲に存在する障害物（他車両５２ａ，５２ｂ等）や区画線６８等に基づき、留意ポイント（切返ポイント）が必要な場合には、誘導経路上に設定する。

誘導制御部３４ｅは、経路算出部３４ｄが算出した誘導経路Ｌに基づき、車両１を誘導する。なお、この場合、誘導経路Ｌ上に切返ポイントＰ１等が設定されている場合、その位置で車両１の一旦停止やシフト切替えを促すように、例えば、音声制御部１４ｅを介して音声メッセージを出力したり、表示装置８や表示装置１２を用いて文字メッセージの表示やインジケータ表示等を実行したりしてもよい。

表示切替受付部３６は、運転者が俯瞰態様の仮想車両画像５０の表示要求を操作入力部１０や操作部１４ｇを介して行った場合に、操作信号（要求信号）を受け付ける。また、別の実施形態では、例えば、変速操作部７（シフトレバー）が後退レンジに移行した場合に、俯瞰態様の仮想車両画像５０の表示要求が成されたと見なし、要求信号を受け付けるようにしてもよい。表示切替受付部３６は、操作入力部１０や操作部１４ｇを介して、俯瞰態様の仮想車両画像５０の表示をキャンセルするキャンセル要求を受け付けることもできる。

報知部３８は、留意対象取得部３０ｄが取得した車両１の周囲に存在する障害物（他車両５２等）や区画線６８等に基づき、車両１の周囲に留意すべき留意対象が存在する場合に、画面８ａ上にメッセージを表示したり、音声制御部１４ｅを介して音声メッセージを出力したりする。また、報知部３８は表示態様制御部３２ｂを用いて、周辺画像４６上に表示されている自車画像４８や仮想車両画像５０の表示態様を変化させて、必要な報知を実行してもよい。出力部４０は、制御部３２が決定した俯瞰表示内容や走行支援部３４が決定した支援内容を表示制御部１４ｄや音声制御部１４ｅに向けて出力する。

上述したように構成される周辺監視システム１００による俯瞰画像の表示処理の一例を図１４および図１５のフローチャートを用いて説明する。なお、以下に示す例の場合、表示装置８は、定常時は、ナビゲーション画面やオーディオ画面、または、車両１の前方領域を示す画面８ａが全面に表示されているものとする。

まず、ＥＣＵ１４は、表示切替受付部３６が仮想車両画像５０の表示要求を受け付けたか否かを確認し（Ｓ１００）、仮想車両画像５０の表示要求を受け付けていない場合（Ｓ１００のＮｏ）、一旦このフローを終了する。一方、仮想車両画像５０の表示要求を受け付けた場合（Ｓ１００のＹｅｓ）、俯瞰表示制御部３２ｃは、表示装置８の画面８ａを切り替える（Ｓ１０２）。すなわち、定常時にナビゲーション画面やオーディオ画面が表示されている画面８ａを車両１の進行方向を示す実画像を表示するモードに切り替えるとともに、例えば、図６等に示されるように、画面８ａとともに周辺画像４６を表示する画面８ｂを表示する。

続いて、車両指標取得部３０ｃは、俯瞰態様の自車画像４８（自車アイコン）および仮想車両画像５０（仮想車両、仮想アイコン）をＲＯＭ１４ｂ等の記憶装置から取得する（Ｓ１０４）。なお、この場合、出力部４０と仮想車両画像５０は表示態様を変化させるだけで、同じデータを取得するものとしてもよい。また、このとき、トレーラ連結角度取得部３０ｅが被牽引車両６０の連結角度を取得している場合には（Ｓ１０６のＹｅｓ）、車両指標取得部３０ｃは、被牽引車画像６６（被牽引車アイコン）を取得する（Ｓ１０８）。なお、トレーラ連結角度取得部３０ｅが被牽引車両６０の連結角度を取得していない場合（Ｓ１０６のＮｏ）、つまり、車両１が被牽引車両６０を牽引していない場合は、Ｓ１０８の処理をスキップする。なお、車両１が被牽引車両６０を牽引している場合でも周囲が暗い等の理由で、撮像部１５ａが撮像した撮像画像データに基づき連結角度を取得できない場合には、Ｓ１０８の処理をスキップする。

ＥＣＵ１４は、現在の制御状態が、例えば駐車支援モードではない場合（Ｓ１１０のＮｏ）、周辺画像生成部３０ｂが生成する画面８ｂに表示する周辺画像４６（俯瞰画像）を取得する（Ｓ１１２）。続いて、ＥＣＵ１４は、変速操作部７の操作状態や操作入力部１０の操作状態に基づき、現在、後方表示モードを要求されているか否かを確認する（Ｓ１１４）。後方表示モードの場合（Ｓ１１４のＹｅｓ）、例えば、変速操作部７が後退レンジに移行している場合や、操作入力部１０等の入力により運転者が後退走行をしようとしている意志を示す信号が取得できた場合、以降の処理で、後方に関する画像を表示する後方表示処理を実行する（Ｓ１１６）。つまり、画面８ａには、撮像部１５ａで撮像した車両１の後方領域の実画像が表示され、画面８ｂに表示する仮想車両画像５０は、後方に移動するように表示される。一方、Ｓ１１４において、後方表示モードではない場合（Ｓ１１４のＮｏ）、例えば、変速操作部７が前進レンジに移行している場合や、操作入力部１０等の入力により運転者が前進走行をしようとしている意志を示す信号が取得できた場合、以降の処理で、前方に関する画像を表示する前方表示処理を実行する（Ｓ１１８）。つまり、画面８ａには、撮像部１５ｃで撮像した車両１の前方領域の実画像が表示され、画面８ｂに表示する仮想車両画像５０は、前方に移動するように表示される。

続いて、ＥＣＵ１４は、舵角取得部３０ａを介して舵角センサ１９が検出した車両１の舵角を取得する（Ｓ１２０）。そして、車両指標表示位置制御部３２ａは、Ｓ１００で仮想車両の表示要求を受け付けたときに、第１表示モードによる表示要求を受けていた場合（Ｓ１２２のＹｅｓ）、仮想車両画像５０を車両１の舵角にしたがう方向に自車画像４８から分離して走行していくように表示する（Ｓ１２４）。この場合、仮想車両画像５０は連続的に表示されても間欠的に表示されてもよい。この表示態様は運転者によって選択できるようにしてもよい。また、進路指標取得部３４ａは、車両１の舵角にしたがい、移動予測線４２や方向予測線４４等を取得し、画面８ａの実画像上に重畳する。

このとき、車両指標表示位置制御部３２ａは、留意対象取得部３０ｄが取得した留意対象（例えば、他車両５２等）が仮想車両画像５０の移動方向に存在し、干渉（接触）する障害物であると判定した場合（Ｓ１２６のＹｅｓ）、仮想車両画像５０の停止表示位置を算出する（Ｓ１２８）。そして、車両指標表示位置制御部３２ａは、算出した停止表示位置に仮想車両画像５０の表示位置が到達した場合（Ｓ１３０のＹｅｓ）、例えば、図７に示すように、仮想車両画像５０の移動表示を他車両５２の直前（停止表示位置）で停止する。また、表示態様制御部３２ｂは、仮想車両画像５０の表示態様を強調表示に変更する（Ｓ１３２）。例えば、仮想車両画像５０の表示色を定常状態の「緑色」から注意喚起するための「赤色」に変更する。また、表示態様制御部３２ｂは、仮想車両画像５０を定常の点灯状態から注意喚起するための点滅状態に変更してもよい。なお、車両指標表示位置制御部３２ａは、算出した停止表示位置に仮想車両画像５０の表示位置が到達していない場合には（Ｓ１３０のＮｏ）、Ｓ１３２の処理をスキップする。つまり、例えば、図６に示すように、仮想車両画像５０の表示態様を変更することなく、自車画像４８の後方の所定距離（例えば、３ｍの位置）まで引き続き移動するように表示する。また、Ｓ１２６において、留意対象取得部３０ｄが留意対象を検出していない場合、または、検出しても仮想車両画像５０の移動方向には存在しないと判定した場合（Ｓ１２６のＮｏ）、Ｓ１２８〜Ｓ１３２の処理をスキップする。すなわち、図６に示すように、仮想車両画像５０の表示態様を変更することなく、自車画像４８の後方の所定距離（例えば、３ｍの位置）まで引き続き移動するように表示する。

続いて、ＥＣＵ１４は、表示切替受付部３６を介して仮想車両画像５０の表示停止要求を受け付けたか否かを監視し（Ｓ１３４）、受け付いていない場合は（Ｓ１３４のＮｏ）、Ｓ１１０に戻り、引き続き仮想車両画像５０の表示を継続する。例えば、Ｓ１１０、Ｓ１２２でモードの変更がなければ、仮想車両画像５０は、一度、周辺画像４６上から消えて、再び自車画像４８の位置から分離して、車両１のそのときの舵角にしたがう方向に移動するように表示される。したがって、車両１の舵角が変更された場合には、前回の表示のときとは異なる方向に移動するように表示される。つまり、他車両５２等の障害物を避ける方向に仮想車両画像５０を移動させることができる。このように、仮想車両画像５０の動きを参照しながら、他車両５２と干渉（接触）しないための車両１の舵角を見つけることができる。

Ｓ１２２において、第１表示モードではない（Ｓ１２２のＮｏ）、すなわち第２表示モードによる表示要求を受けていた場合、車両指標表示位置制御部３２ａは、Ｓ１０４で取得した仮想車両画像５０を自車画像４８の表示位置で、車両１の現在の舵角で所定距離（例えば３ｍ）後退したときの車体方向に対応する方向に旋回するように表示する（Ｓ１３６）。このとき、進路指標取得部３４ａは、車両１の舵角にしたがい、移動予測線４２や方向予測線４４等を取得し、画面８ａの実画像上に重畳する。

また、表示態様制御部３２ｂは、留意対象（例えば、他車両５２等）が、車両指標表示位置制御部３２ａが決定した仮想車両画像５０の旋回方向に存在し、干渉する障害物であると判定した場合（Ｓ１３８のＹｅｓ）、仮想車両画像５０の表示態様を強調表示に変更した後（Ｓ１４０）、Ｓ１３４に移行する。例えば、図９や図１０に示したように、仮想車両画像５０を向けた方向に他車両５２等が存在する場合、仮想車両画像５０の表示色を定常状態の「緑色」から注意喚起するための「赤色」に変更する。また、表示態様制御部３２ｂは、仮想車両画像５０を定常の点灯状態から注意喚起するための点滅状態に変更してもよい。なお、仮想車両画像５０の旋回方向に留意対象（例えば、障害物）は存在しないと判定した場合（Ｓ１３８のＮｏ）、Ｓ１４０の処理をスキップし、Ｓ１３４の処理に移行する。

なお、Ｓ１０６の処理で被牽引車両６０の連結角度が取得され、Ｓ１０８で被牽引車画像６６が取得されている場合、俯瞰表示制御部３２ｃは、図１１に示すように、画面８ｂに被牽引車表示領域６４を表示する。そして、俯瞰表示制御部３２ｃは現在の被牽引車両６０の連結角度にしたがい、自車画像４８に連結された状態の被牽引車画像６６を表示する。この場合、仮想車両画像５０および被牽引車画像６６が俯瞰態様で表示される。その結果、仮想車両画像５０が第１表示モードまたは第２表示モードで表示されると、仮想車両画像５０の挙動にしたがい被牽引車画像６６がいずれの方向に旋回するか（曲がるか）を運転者に容易に推定させることができる。

Ｓ１１０の処理で、ＥＣＵ１４は、現在の制御状態が、例えば駐車支援モードである場合（Ｓ１１０のＹｅｓ）、図１５のフローチャートに移行する。目標位置決定部３４ｃは、現在の制御状態が誘導制御開始済みではない場合（Ｓ１４２のＮｏ）、撮像部１５の撮像結果、および測距部１６，１７の検出結果に基づき、駐車目標位置Ｎを取得する（Ｓ１４４）。また、経路算出部３４ｄは、車両１を現在の位置（基準点）から駐車目標位置まで誘導させるための誘導経路Ｌを算出する（Ｓ１４６）。そして、ＥＣＵ１４は、周辺画像生成部３０ｂが生成する画面８ｂに表示する周辺画像４６（俯瞰画像）を取得する（Ｓ１４８）。なお、この場合、周辺画像４６は、図１３に示すように、現在の車両１の位置を示す自車画像４８と駐車目標位置Ｎとが含まれる画像であることが望ましい。

そして、車両指標表示位置制御部３２ａは、図１３で説明したように、仮想車両画像５０を誘導経路Ｌに沿って走行させ（Ｓ１５０）、シフト変更位置（切返ポイント、留意ポイント）に到達したか否かを判定する（Ｓ１５２）。そして、シフト変更位置に到達した場合（Ｓ１５２のＹｅｓ）、車両指標表示位置制御部３２ａは、仮想車両画像５０の移動表示を停止する。また、表示態様制御部３２ｂは、仮想車両画像５０の表示態様をシフト変更態様で表示する（Ｓ１５４）。例えば、仮想車両画像５０の表示色を定常状態の「緑色」から注意喚起するための「赤色」に変更する。また、表示態様制御部３２ｂは、仮想車両画像５０を定常の点灯状態から注意喚起するための点滅状態に変更してもよい。この場合、ＥＣＵ１４は、変速操作部７を変更することを示す音声メッセージ等を音声出力装置９を介して出力するようにしてもよい。この間に、車両１（運転者）は、自動または手動によりシフト変更位置まで移動することになる。この場合、強調表示されている仮想車両画像５０により、一時停止やシフト切り替えの位置やタイミングを運転者に容易に認識させることができる。また、俯瞰表示される仮想車両画像５０や他車両５２ａ、５２ｂにより駐車支援中の位置関係の把握を容易に行わせることができる。

車両状態取得部３４ｂにより変速操作部７が操作されシフト位置が変更済みであることが確認できた場合（Ｓ１５６のＹｅｓ）、ＥＣＵ１４は、処理を一旦Ｓ１１０に移行して、駐車支援モードが継続しているか確認する。つまり、運転者が、車両１をシフト変更ポイントに移動させたものの、駐車を断念した場合は、Ｓ１１２の処理に移行して、仮想車両画像５０の表示処理を実行する。また、駐車支援モードが継続される場合は、Ｓ１４２に移行し、既に誘導制御が開始済みとなるので（Ｓ１４２のＹｅｓ）、Ｓ１４４〜Ｓ１４８の処理をスキップし、Ｓ１５０の処理に移行し、仮想車両画像５０の走行表示を継続する。また、ＥＣＵ１４は、Ｓ１５２で、仮想車両画像５０の表示がシフト変更位置に到達していない場合（Ｓ１５２のＮｏ）、Ｓ１５４、Ｓ１５６の処理をスキップし、Ｓ１５８に移行する。

Ｓ１５６でシフト位置が変更されていない場合（Ｓ１５６のＮｏ）、車両指標表示位置制御部３２ａは、仮想車両画像５０の表示が駐車目標位置Ｎに到達したか否かを確認し（Ｓ１５８）、まだ到達していない場合（Ｓ１５８のＮｏ）、Ｓ１１０に移行して上述したように、駐車支援の継続の有無を確認しつつ、仮想車両画像５０の表示制御を継続する。一方、仮想車両画像５０の表示が駐車目標位置Ｎに到達している場合（Ｓ１５８のＹｅｓ）、車両指標表示位置制御部３２ａは、仮想車両画像５０の移動表示を駐車目標位置Ｎで停止する。また、表示態様制御部３２ｂは、仮想車両画像５０を停止態様で表示する（Ｓ１６０）。例えば、仮想車両画像５０の表示色を定常状態の「緑色」のまま点滅状態に変更する。このような仮想車両画像５０の表示により、現在の舵角のまま車両１が誘導されれば、最終的に駐車目標位置Ｎに到達できることを運転者に容易に認識させることができる。なお、誘導制御部３４ｅは、車両１（自車）が駐車目標位置Ｎに到達したか否かを確認し（Ｓ１６２）、まだ、到達していない場合には（Ｓ１６２のＮｏ）、Ｓ１６０の表示を継続する。一方、車両１（自車）が駐車目標位置Ｎに到達した場合（Ｓ１６２のＹｅｓ）、このフローを終了する。この場合、ＥＣＵ１４は、音声制御部１４ｅを介して駐車支援が完了した旨を示す音声メッセージを音声出力装置９を用いて通知してもよい。また、表示制御部１４ｄを用いて駐車支援が完了した旨を示す文字メッセージ等を表示装置８を介して通知してもよい。また、ＥＣＵ１４は、所定期間が経過したら、表示装置８の表示を通常表示、例えば、ナビゲーション画面やオーディオ画面に戻してもよい。

このように、本実施形態の周辺監視システム１００の場合、仮想車両画像５０が俯瞰態様で表示される。その結果、車両１（自車）が現在の舵角のまま走行した場合に、将来どのような位置に移動するか、どの方向を向くか、留意対象（例えば他車両５２）との位置関係がどのようになるか等を運転者が直感的に認識できるような態様の表示ができる。その結果、運転者の不安感を軽減し、適切な操作判断を行わせ易くすることができる。つまり、操作負荷の軽減にも寄与できる。

図１６は、図６等に示す第１表示モードにより仮想車両画像５０を表示する場合の他の表示例を示す図である。図６に示す例の場合、車両１が現在の舵角で例えば３ｍ後退走行した場合（所定距離後退走行した場合）に車両１が存在する位置に対応する位置に仮想車両画像５０（仮想アイコン）が移動していく様を一つの仮想車両画像５０で表示している。一方、図１６に示す例の場合、車両１の現在の舵角で、自車画像４８の位置から例えば３ｍ後退走行する仮想車両画像５０の移動軌跡を明確に表示するように、仮想車両画像５０は例えば一定間隔で像を残しながら表示される。つまり、残像表示対応で、複数の仮想車両画像５０を表示することにより車両１が将来どのように移動して行くかを直感的により認識させやすくすることができる。また、車両１（自車画像４８）の周囲に障害物が存在する場合には、仮想車両画像５０の残像と障害物との位置関係を各位置においてより容易に認識させることができる。さらに、仮想車両画像５０が障害物に接近して行く場合、その接近の様子が詳細に表示できる。つまり、残像として表示される複数の仮想車両画像５０と障害物との位置関係が表示され続ける。その結果、例えば、障害物に接近し過ぎないようにするためには、事前にどの辺りで進路の修正（舵角の修正）をしたらよいかの検討が、例えば一つの仮想車両画像５０が移動するように表示される場合に比べて容易になる。

なお、図１６のように、仮想車両画像５０の残像を表示する場合も障害物との距離に応じて、仮想車両画像５０の表示態様を変化させてもよい。例えば、障害物との相対距離が所定値以下になる場合に、仮想車両画像５０の表示色を例えば「黄色」や「赤色」で表示するようにしたり、点灯や点滅の状態を変化させたりしてもよい。この場合、仮想車両画像５０がさらに移動していく場合でも、残像として表示される仮想車両画像５０の表示色(例えば、黄色や赤色)が維持されるようにすれば、障害物との接近状態の把握が継続的に認識しやすくなる。また、図１６に示すように、仮想車両画像５０の残像を表示する場合でも、図８に示す例と同様に警告線５４が表示される位置で仮想車両画像５０の残像表示を止めるようにしてもよい。

図１６に示すように残像表示態様で複数の仮想車両画像５０を表示する場合、各仮想車両画像５０の透過度を例えば図６で示すように一つの仮想車両画像５０を表示する場合より高めてもよい。この場合、自車画像４８の周囲に障害物等他の表示体が存在する場合でも、その表示体の視認性を低下させ難くすることができる。また、仮想車両画像５０の残像の数は、例えば初期設定や運転者による操作で適宜変更可能である。この場合、残像表示される仮想車両画像５０の表示間隔は、残像の表示数に応じて、例えば、０．３ｍごと、０．５ｍごと等に設定できようにしてもよい。また、図１６は、車両１（自車画像４８）が後退走行する場合を示しているが、前進走行する場合でも同様に仮想車両画像５０を残像表示するようにしてもよい。この場合、例えば、出庫する場合に、隣接する他車両や障害物と接触しないような移動経路の確認を容易に行うことができる。また、隣接する他車両や障害物との相対距離の認識が容易になり、実際に出庫する際の安心感を運転者に与えやすくなる。

図１７は、周辺監視システム１００（周辺監視装置）による他の表示例であり、車両１の現在の舵角が操舵中立位置である場合の周辺画像４６（俯瞰画像）の表示例を示す図である。車両１の現在の舵角が操舵中立位置である場合、つまり、車両１が直進可能な状態の場合、運転者は車両１の将来の位置を容易に予想することができる。このような場合、車両指標表示位置制御部３２ａ、例えば、仮想車両画像５０を非表示としてもよい。この場合、実画像を示す画面８ａに示される移動予測線４２や方向予測線４４は、車両１の前後方向（例えば真後ろ）に延びるように表示される。仮想車両画像５０を非表示とすることにより、車両１（自車画像４８）の周囲状況の把握がより容易に行えるようになる。また、車両１の現在の舵角に対応して表示される仮想車両画像５０が非表示となることで、車両１の現在の舵角が、操舵中立位置であること、或いは車両１が直進可能な状態であることを直感的に認識させやすくなる。車両１の現在の舵角が操舵中立位置である場合に仮想車両画像５０を非表示とする構成は、上述した第１表示モード、第２表示モード等各表示態様（図６〜図１１、図１６等）においても適用可能であり、同様の効果を得ることができる。なお、操舵中立位置とは、車両１が実質的に直進走行（後退走行または前進走行）できる舵角に対応する位置で、厳密に「舵角＝０°」を意味する必要はない。また、操舵部４(ステアリングホイール)の転舵状態で、操舵中立位置を定義する場合、ステアリングホイールの遊びを考慮して、所定の転舵幅のときに、操舵中立位置であるとしてもよい。

このように、車両１の現在の舵角が操舵中立位置である場合に、仮想車両画像５０を非表示とすることで、車両が実質的に直進可能な状態（舵角＝０°）であることを直感的に認識させやすくなるとともに、俯瞰態様で表示される周辺画像がシンプル化され、周囲状況をより把握させやすくなる。

また、車両１の現在の舵角が操舵中立位置であるときに仮想車両画像５０を非表示とする場合、図１７に示すように、自車画像４８の端部からの距離を示す指標として、距離表示ライン５４ａ，５４ｂを表示するようにしてもよい。距離表示ライン５４ａは、例えば、周辺画像４６（俯瞰画像）上で、車両１の端部から例えば０．５ｍに対応する位置に表示され、距離表示ライン５４ｂは、例えば１．０ｍに対応する位置に表示することができる。このように、仮想車両画像５０に代えて距離表示ライン５４ａ，５４ｂが表示されることにより、舵角＝０°あることを表示装置８の表示内容により運転者に直感的に認識させやすくなる。また、距離表示ライン５４ａ，５４ｂが表示されることにより、車両１を直進状態で例えば後退走行させて、例えば後方に存在する壁に接近させる場合や駐車枠の後端まで移動させる場合等に、何処まで車両１を後退させられるかを容易に運転者に把握させることができる。なお、図１７において、距離表示ライン５４ａ，５４ｂは、車両前後方向にある程度の幅を持たせて表示するとともに、車両前後方向の透過度を段階的に変化させている（グラデーションを付けている）。その結果、距離表示ライン５４ａ，５４ｂの表示態様（強調表示）により認識性を向上させるとともに、障害物が存在する場合にその障害物、路面の状態、路面に付された文字やマーク等を距離表示ライン５４ａ，５４ｂによって遮られる（隠蔽される）ことを抑制し、認識性の低下を軽減している。なお、図１７の場合、一例として二本の距離表示ライン５４ａ，５４ｂを表示する例を示しているが、表示本数や表示間隔（車両１（自車画像４８）の端部から距離表示ライン５４ａや距離表示ライン５４ｂまでの距離）は、初期設定や表示要求時の運転者の操作により適宜変更可能である。

図１８、図１９は、周辺監視システム１００を用いた応用例を説明する図である。前述したように、本実施形態の周辺監視システム１００は、現在の舵角のまま走行した場合に、将来、車両１（自車）がどの位置に移動するかを表示することができる。そこで、図１８、図１９に示す応用例では、車両１の通常走行中に制動操作が行われた場合に車両１の停止位置を推定して、仮想車両画像５０で表示するものである。

通常の前進走行時には、周辺画像生成部３０ｂは、撮像部１５ｃで撮像した撮像画像データにより前方の実画像を表示装置８の画面８ａに表示することができる。そして、ＥＣＵ１４は、ブレーキセンサ１８ｂから制動操作部６（ブレーキペダル）の操作（制動要求）を取得した場合で、留意対象取得部３０ｄが路面７０上の前方に停止線７２を検出した場合、停止位置表示モードを実行する。この場合、俯瞰表示制御部３２ｃは、表示装置８に画面８ｂ（周辺画像４６）を表示する。そして、車両指標表示位置制御部３２ａは、周辺画像４６上に自車画像４８を表示する。一方、ＥＣＵ１４は、ブレーキセンサ１８ｂの検出値（踏力）、車輪速センサ２２が検出する検出値に基づく車両１の車速、および減速度等に基づき、車両１（自車）の停止予測位置を算出する。そして、車両指標表示位置制御部３２ａは、停止予測位置に対応する仮想車両画像５０（５０ｄ）の表示位置を取得する。図１８は、運転者の制動操作部６の操作量（ブレーキペダル踏力）が適正であり、仮想車両画像５０（５０ｄ）が停止線７２で停止可能であることを表示している例である。一方、図１９は、運転者の制動操作部６の操作量（ブレーキペダル踏力）が停止線７２で車両１を停止させるためには不足であり、車両１が停止線７２を越えて停止する可能性があることを仮想車両画像５０（５０ｅ）を用いて表示する例である。図１９のような表示が行われた場合、運転者は、ブレーキペダル踏力を増加することにより、例えば図１８に示すような停止線７２で停止できるような状態に修正することができる。なお、この場合、仮想車両画像５０（５０ｅ）は、運転者への注意喚起のために、強調表示（例えば、赤色表示や点滅表示）としてもよい。

図１８、図１９のような、停止位置の表示を仮想車両画像５０を用いて実行する場合、仮想車両画像５０は、上述した第１表示モードで自車画像４８から分離して連続的に移動する態様で表示してもよいが、停止線７２を越えてしまうか否かはできるだけ早急に運転者に通知することが望ましい。そのため、車両指標表示位置制御部３２ａは、仮想車両画像５０の停止予測位置を取得した場合、直ちに停止予測位置で仮想車両画像５０を表示してもよい。また、制動距離が長い場合、自車画像４８と仮想車両画像５０とを画面８ｂに表示できるように、図１８、図１９に示すように、自車画像４８を画面８ｂの下端に表示するようにしてもよい。また、画面８ｂの表示倍率を小さくしてより広範囲を表示するようにしてもよい。

このように、仮想車両画像５０が迅速に表示されることにより、制動力の増減を適切かつ迅速に調整させることができる。特に、制動力を増加させる場合でも極端な増加（急ブレーキ）となることを回避しやすくさせることができる。なお、運転者の当初の制動操作部６の操作量が過大な場合、仮想車両画像５０は停止線７２より手前で停止するように表示される。この場合も仮想車両画像５０を強調表示することにより、運転者に制動力が大き過ぎることを認識させ、制動力を小さくさせることができる。運転者による制動力の調整が行われた場合、調整に応じて仮想車両画像５０の表示位置も変化させてもよい。また、ＥＣＵ１４は、仮想車両画像５０の表示状態に応じて適宜音声メッセージ等を出力するようにしてもよい。例えば、「制動力は適正です。」や「制動力が不足しています。もう少し強くブレーキペダルを踏んでください。」や「制動力が大き過ぎます。少し緩めてください。」等のメッセージを出力してもよい。また、仮想車両画像５０の表示状態に応じた異なる種類の報知音を出力して同様な内容を通知するようにしてもよい。

なお、図１３や図１８、図１９等で示すように、仮想車両画像５０を表示することにより、例えば、車両１が自動制御で走行している場合、または自動制動されている場合、システムの制御内容、つまり、車両１の挙動を運転者に提示できる。この点においても、運転者の安心感の向上に寄与することができる。

本実施形態のＣＰＵ１４ａで実行される仮想車両画像の表示処理プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、仮想車両画像の表示処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態で実行される仮想車両画像の表示処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…車両、８…表示装置、８ａ，８ｂ…画面、１４…ＥＣＵ、１４ａ…ＣＰＵ、１５…撮像部、１６，１７…測距部、１９…舵角センサ、３０…取得部、３０ａ…舵角取得部、３０ｂ…周辺画像生成部、３０ｃ…車両指標取得部、３０ｄ…留意対象取得部、３０ｅ…トレーラ連結角度取得部、３２…制御部、３２ａ…車両指標表示位置制御部、３２ｂ…表示態様制御部、３２ｃ…俯瞰表示制御部、３４…走行支援部、３４ａ…進路指標取得部、３４ｂ…車両状態取得部、３４ｃ…目標位置決定部、３４ｄ…経路算出部、３４ｅ…誘導制御部、３６…表示切替受付部、３８…報知部、４０…出力部、４６…周辺画像、４８…自車画像、５０…仮想車両画像、６０…被牽引車両、６４…被牽引車表示領域、６６…被牽引車画像、１００…周辺監視システム。

Claims (7)

1. 車両に設けられて当該車両の周辺を撮像する撮像部から出力された撮像画像データに基づき前記車両の周辺の状況を俯瞰態様で表示する周辺画像と、前記周辺画像に俯瞰態様で表示される前記車両を示す自車画像を取得する取得部と、
   前記車両が現在の舵角で走行した場合の車両状態を俯瞰態様で表示する仮想車両画像を前記周辺画像に前記自車画像とともに表示させる制御部と、
   を備え、
   前記制御部は、前記仮想車両画像を前記自車画像と重なった位置で表示させつつ、前記車両が現在の舵角で走行した場合の当該車両の向きに対応するように前記自車画像に対して前記仮想車両画像の向きを変化させる、周辺監視装置。
2. 前記制御部は、前記仮想車両画像と前記自車画像が重なった位置から前記車両の現在の舵角にしたがう方向に、前記仮想車両画像が前記自車画像から分離して走行するように表示させる請求項１に記載の周辺監視装置。
3. 前記取得部は、前記車両の周囲に存在する留意対象の位置を示す位置情報を取得し、
   前記制御部は、前記留意対象の存在する位置に応じて前記仮想車両画像の表示停止位置を決定する請求項１または請求項２に記載の周辺監視装置。
4. 前記制御部は、前記仮想車両画像の表示態様を前記留意対象との距離に応じて決定する請求項３に記載の周辺監視装置。
5. 前記取得部は、前記車両が牽引する被牽引車両の前記車両に対する連結状態を取得し、
   前記制御部は、前記周辺画像に前記被牽引車両の連結状態を示す連結画像とともに前記仮想車両画像を表示させる請求項１から請求項４のいずれか１項に記載の周辺監視装置。
6. 前記制御部は、前記車両が走行を開始した場合に、前記仮想車両画像を表示する請求項１から請求項５いずれか１項に記載の周辺監視装置。
7. 前記制御部は、前記車両の現在の舵角が操舵中立位置の場合、前記仮想車両画像を非表示とする請求項１から請求項６いずれか１項に記載の周辺監視装置。

Images