JP6953915B2 - 周辺監視装置 - Google Patents

Description

本発明の実施形態は、周辺監視装置に関する。

従来、車両に搭載された撮像装置（例えば、カメラ）により取得した車両周囲の画像を車室内の表示装置に表示することにより、車両周囲の状況を運転席の運転者に提供する周辺監視装置が提案されている。この種の周辺監視装置の中には、駐車場等の狭い場所で車両を旋回させた場合に、俯瞰画像に車体のコーナー部が通過する位置を示す予想軌跡線等を表示することで、コーナー部が周囲の物体と接触しないか否かの判断を行わせやすくするものがある。

特開２０１２−６６６１６号公報

従来技術の場合、個々のコーナー部が周辺の物体と接触しないか否かの判断は比較的容易にできる。しかしながら、車両が進む場合は、全てのコーナー部が同じタイミングでそれぞれの物体と接触することなく通過できるか否かの判断を総合的に行う必要がある。従来技術の予想軌跡線を表示するようなシステムの場合、走行時の車両挙動がどのようになるかの判断や、車両全体として物体と接触しないか否かの判断等が直感的に行えるようになるには、運転者の経験や慣れが必要であった。

そこで、本発明の課題の一つは、走行時の車両挙動がどのようになるかの判断や、車両全体として物体と接触しないか否かの判断をより直感的に行わせやすい周辺監視装置を提供することである。

本発明の実施形態にかかる周辺監視装置は、例えば、車両に設けられて当該車両の周辺を撮像する撮像部から出力された撮像画像データに基づき上記車両の周辺の状況を俯瞰態様で表示する周辺画像と、上記周辺画像に俯瞰態様で表示される上記車両を示す自車画像を取得する取得部と、上記車両が現在の舵角で走行した場合の車両状態を俯瞰態様で表示する仮想車両画像と、当該仮想車両画像の少なくともコーナー部分を明示する外形マークと、を上記自車画像とともに上記周辺画像に表示させる制御部と、を備える。この構成によれば、例えば、俯瞰画像に自車画像と現在の舵角で走行した場合の自車の状態を示す仮想車両画像が示されるので、車両が走行した場合の車両と周囲との関係、例えば、仮想車両画像と周囲に存在する物体との位置関係が示される。また、外形マークが表示されることにより仮想車両画像のコーナー部分が明示され、仮想車両画像の存在および仮想車両画像の表示位置、表示姿勢等が認識させやすくなり、利用者（運転者）に、実際に走行する時の自車と周囲との関係を直感的に認識させやすい表示ができる。

また、上記周辺監視装置の上記制御部は、例えば、上記車両が後退走行可能な場合、上記仮想車両画像の後端側に表示される上記外形マークを他の部分より強調表示するようにしてもよい。この構成によれば、例えば、後退走行時に最も注意を払う必要がある部分を認識させやすくすることができるとともに、俯瞰画像の内容が煩雑になることが軽減できる。

また、上記周辺監視装置の上記制御部は、例えば、上記車両が前進走行可能な場合、上記仮想車両画像の前端側に表示される上記外形マークを他の部分より強調表示するようにしてもよい。この構成によれば、例えば、前進走行時に最も注意を払う必要がある部分を認識させやすくすることができるとともに、俯瞰画像の内容が煩雑になることが軽減できる。

また、上記周辺監視装置の上記制御部は、例えば、上記仮想車両画像の移動方向に当該仮想車両画像と接触する障害物を検出した場合、上記外形マークの表示態様を上記障害物の検出前と異ならせるようにしてもよい。この構成によれば、例えば、車両が現在の舵角で走行した場合に、障害物と接触する可能性があることを事前に明確に通知することが可能になり、走行開始前に別の移動経路の検討をさせやすくなる。

図１は、実施形態にかかる周辺監視装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。 図２は、実施形態にかかる周辺監視装置を搭載する車両の一例が示された平面図である。 図３は、実施形態にかかる周辺監視装置を搭載する車両のダッシュボードの一例であり、車両後方からの視野での正面図である。 図４は、実施形態にかかる周辺監視装置を含む周辺監視システムの一例が示されたブロック図である。 図５は、実施形態にかかる周辺監視装置のＥＣＵ内に実現される仮想車両画像の表示を実現するためのＣＰＵの構成の一例を示すブロック図である。 図６は、実施形態にかかる周辺監視装置による仮想車両画像と外形マークの表示例であり、自車画像から仮想車両画像が分離して走行していく第１表示モードでの表示例を示す模式図である。 図７は、実施形態にかかる周辺監視装置による外形マークの表示例であり、仮想車両画像の各コーナー部分（四隅）に同じ強調度（透過率）で外形マークを表示する例を示す模式図である。 図８は、実施形態にかかる周辺監視装置による外形マークの表示例であり、仮想車両画像の後方側のコーナー部分の外形マークを強調表示する例を示す模式図である。 図９は、実施形態にかかる周辺監視装置による外形マークの表示例であり、仮想車両画像の前方側のコーナー部分の外形マークを強調表示する例を示す模式図である。 図１０は、実施形態にかかる周辺監視装置による外形マークの表示例であり、仮想車両画像の外形を明確にする外形補助マークを追加表示する例を示す模式図である。 図１１は、実施形態にかかる周辺監視装置による仮想車両画像と外形マークの表示例であり、第１表示モードで自車の周囲に障害物（留意対象）が存在する場合を説明する模式図である。 図１２は、本実施形態にかかる周辺監視装置において、車両が現在の舵角で旋回する場合の当該車両と他車両（留意対象）との接触タイミングを説明する図である。 図１３は、実施形態にかかる周辺監視装置による第２表示モードで表示される仮想車両画像と外形マークの表示例を示す模式図である。 図１４は、実施形態にかかる周辺監視装置による第１表示モードでの仮想車両画像と外形マークの他の表示例を示す模式図である。 図１５は、実施形態にかかる周辺監視装置による仮想車両画像と外形マークの表示処理の一例を説明するフローチャートである。

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。

図１に例示されるように、本実施形態において、周辺監視装置（周辺監視システム）を搭載する車両１は、例えば、不図示の内燃機関を駆動源とする自動車、すなわち内燃機関自動車であってもよいし、不図示の電動機を駆動源とする自動車、すなわち電気自動車や燃料電池自動車等であってもよい。また、それらの双方を駆動源とするハイブリッド自動車であってもよいし、他の駆動源を備えた自動車であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置、例えばシステムや部品等を搭載することができる。また、車両１は、例えば、いわゆる「オンロード」（主として舗装された道路やそれと同等の道路）の走行に加え、「オフロード」（主として舗装されていない不整地路等）の走行も好適に行える車両であってもよい。駆動方式としては、四つある車輪３すべてに駆動力を伝え、四輪すべてを駆動輪として用いる四輪駆動車両とすることができる。車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。例えば、「オンロード」の走行を主目的とする車両でもよい。また、駆動方式も四輪駆動方式に限定されず、例えば、前輪駆動方式や後輪駆動方式でもよい。

車体２は、不図示の乗員が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。操舵部４は、例えば、ダッシュボード２４から突出したステアリングホイールであり、加速操作部５は、例えば、運転者の足下に位置されたアクセルペダルであり、制動操作部６は、例えば、運転者の足下に位置されたブレーキペダルであり、変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。なお、操舵部４、加速操作部５、制動操作部６、変速操作部７等は、これらには限定されない。

また、車室２ａ内には、表示出力部としての表示装置８や、音声出力部としての音声出力装置９が設けられている。表示装置８は、例えば、ＬＣＤ（liquid crystal display）や、ＯＥＬＤ（organic electroluminescent display）等である。音声出力装置９は、例えば、スピーカである。また、表示装置８は、例えば、タッチパネル等、透明な操作入力部１０で覆われている。乗員は、操作入力部１０を介して表示装置８の表示画面に表示される画像を視認することができる。また、乗員は、表示装置８の表示画面に表示される画像に対応した位置で手指等により操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置８や、音声出力装置９、操作入力部１０等は、例えば、ダッシュボード２４の車幅方向すなわち左右方向の中央部に位置されたモニタ装置１１に設けられている。モニタ装置１１は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。また、モニタ装置１１とは異なる車室２ａ内の他の位置に不図示の音声出力装置を設けることができるし、モニタ装置１１の音声出力装置９と他の音声出力装置から、音声を出力することができる。なお、モニタ装置１１は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。

また、車室２ａ内には、表示装置８とは別の表示装置１２が設けられている。図３に例示されるように、表示装置１２は、例えば、ダッシュボード２４の計器盤部２５に設けられ、計器盤部２５の略中央で、速度表示部２５ａと回転数表示部２５ｂとの間に位置されている。表示装置１２の画面１２ａの大きさは、表示装置８の画面８ａの大きさよりも小さい。この表示装置１２には、例えば車両１の周辺監視や他の機能が動作している場合に補助的な情報として、インジケータやマーク、文字情報を示す画像が表示されうる。表示装置１２で表示される情報量は、表示装置８で表示される情報量より少なくてもよい。表示装置１２は、例えば、ＬＣＤや、ＯＥＬＤ等である。なお、表示装置８に、表示装置１２で表示される情報が表示されてもよい。

また、図１、図２に例示されるように、車両１は、例えば、四輪自動車であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。これら四つの車輪３は、いずれも転舵可能に構成されうる。図４に例示されるように、車両１は、少なくとも二つの車輪３を操舵する操舵システム１３を有している。操舵システム１３は、アクチュエータ１３ａと、トルクセンサ１３ｂとを有する。操舵システム１３は、ＥＣＵ１４（electronic control unit）等によって電気的に制御されて、アクチュエータ１３ａを動作させる。操舵システム１３は、例えば、電動パワーステアリングシステムや、ＳＢＷ（steer by wire）システム等である。また、トルクセンサ１３ｂは、例えば、運転者が操舵部４に与えるトルクを検出する。

また、図２に例示されるように、車体２には、複数の撮像部１５として、例えば四つの撮像部１５ａ〜１５ｄが設けられている。撮像部１５は、例えば、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１５は、所定のフレームレートで動画データ（撮像画像データ）を出力することができる。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°〜２２０°の範囲を撮影することができる。また、撮像部１５の光軸は斜め下方に向けて設定されている場合もある。よって、撮像部１５は、車両１が移動可能な路面や路面に付された停止線や駐車枠線、区画線等の非立体物、および車両１の周辺に存在する物体（例えば、壁、樹木、人間、自転車、車両等の立体的な障害物）を含む車両１の周辺の外部の環境を留意対象として逐次撮影し、撮像画像データとして出力する。

撮像部１５ａは、例えば、車体２の後側の端部２ｅに位置され、リアハッチのドア２ｈのリアウインドウの下方の壁部に設けられている。撮像部１５ｂは、例えば、車体２の右側の端部２ｆに位置され、右側のドアミラー２ｇに設けられている。撮像部１５ｃは、例えば、車体２の前側、すなわち車両前後方向の前方側の端部２ｃに位置され、フロントバンパやフロントグリル等に設けられている。撮像部１５ｄは、例えば、車体２の左側、すなわち車幅方向の左側の端部２ｄに位置され、左側のドアミラー２ｇに設けられている。ＥＣＵ１４は、複数の撮像部１５で得られた撮像画像データに基づいて演算処理や画像処理を実行し、より広い視野角の画像を生成したり、車両１を上方から見た仮想的な俯瞰画像を生成したりする。また、ＥＣＵ１４は、撮像部１５で得られた広角画像のデータ（湾曲した画像のデータ）に演算処理や画像処理を施し歪みを補正する歪み補正処理を実行したり、特定の領域を切り出した画像を生成したりする切出し処理を実行することができる。また、ＥＣＵ１４は、撮像画像データを撮像部１５が撮像した視点とは異なる仮想視点から撮像したような仮想画像データに変換する視点変換処理が実行できる。例えば、車両１の側面を当該車両１から離れた位置から臨むような側視画像を示す仮想画像データに変換したりすることができる。ＥＣＵ１４は、取得した画像データを表示装置８に表示することで、例えば、車両１の前方や後方、右側方や左側方等の安全確認および、車両１を俯瞰してその周囲の安全確認を実行できるような周辺監視情報を提供する。

なお、ＥＣＵ１４は、撮像部１５から提供される撮像画像データから車両１の周辺の路面に示された区画線等を識別して走行支援を実行したり、駐車区画（区画線）を検出（抽出）して駐車支援を実行したりすることもできる。

図１、図２に例示されるように、車体２には、複数の測距部１６，１７として、例えば四つの測距部１６ａ〜１６ｄと、八つの測距部１７ａ〜１７ｈとが設けられている。測距部１６，１７は、例えば、超音波を発射してその反射波を捉えるソナーである。ソナーは、ソナーセンサ、あるいは超音波探知器、超音波ソナーとも称されうる。本実施形態において、測距部１６，１７は、車両１の車高方向において低い位置、例えば前後のバンパに設けられる。そして、ＥＣＵ１４は、測距部１６，１７の検出結果により、車両１の周囲に位置された障害物等の物体の有無や当該物体までの距離を測定することができる。なお、測距部１７は、例えば、比較的近距離の物体の検出に用いられ、測距部１６は、例えば、測距部１７よりも遠い比較的長距離の物体の検出に用いられうる。また、測距部１７は、例えば、車両１の前方および後方の物体の検出に用いられ、測距部１６は、車両１の側方の物体の検出に用いられうる。

また、図４に例示されるように、周辺監視システム１００（周辺監視装置）では、ＥＣＵ１４や、モニタ装置１１、操舵システム１３、測距部１６，１７等の他、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等が、電気通信回線としての車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、例えば、ＣＡＮ（controller area network）として構成されている。ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、操舵システム１３、ブレーキシステム１８等を制御することができる。また、ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１３ｂ、ブレーキセンサ１８ｂ、舵角センサ１９、測距部１６，１７、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等の検出結果や、操作入力部１０等の操作信号等を、受け取ることができる。

ＥＣＵ１４は、例えば、ＣＰＵ１４ａ（central processing unit）や、ＲＯＭ１４ｂ（read only memory）、ＲＡＭ１４ｃ（random access memory）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（solid state drive、フラッシュメモリ）等を有している。ＣＰＵ１４ａは、例えば、表示装置８，表示装置１２で表示される画像に関連した画像処理の演算処理および制御を実行することができる。例えば、撮像部１５が撮像した撮像画像データに基づき、車両１を示す自車画像を例えば中心位置に表示する俯瞰画像（周辺画像）を作成する。また、その周辺画像に、車両１が現在の舵角で走行した場合の状態を示す仮想車両画像を表示することにより、将来（未来）における車両１と当該車両１の周囲に存在する留意対象（例えば、障害物や駐車枠線、区画線等）との位置関係を直感的に把握しやすい態様で表示する。なお、俯瞰画像の作成は、周知の技術を利用可能であり、その説明は省略する。また、ＣＰＵ１４ａは、車両１の移動の際の目標位置（例えば駐車目標位置）の決定、車両１の誘導経路の演算、物体との干渉の有無の判定、車両１の自動制御（誘導制御）、自動制御の解除等の、各種の演算処理および制御を実行しうる。

ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、表示装置８で表示される画像データの合成等を実行する。また、音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（digital signal processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに替えてＨＤＤ（hard disk drive）が設けられてもよいし、ＳＳＤ１４ｆやＨＤＤは、ＥＣＵ１４とは別に設けられてもよい。

ブレーキシステム１８は、例えば、ブレーキのロックを抑制するＡＢＳ（anti-lock brake system）や、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：electronic stability control）、ブレーキ力を増強させる（ブレーキアシストを実行する）電動ブレーキシステム、ＢＢＷ（brake by wire）等である。ブレーキシステム１８は、アクチュエータ１８ａを介して、車輪３ひいては車両１に制動力を与える。また、ブレーキシステム１８は、左右の車輪３の回転差などからブレーキのロックや、車輪３の空回り、横滑りの兆候等を検出して、各種制御を実行することができる。ブレーキセンサ１８ｂは、例えば、制動操作部６の可動部の位置を検出するセンサである。ブレーキセンサ１８ｂは、可動部としてのブレーキペダルの位置を検出することができる。ブレーキセンサ１８ｂは、変位センサを含む。ＣＰＵ１４ａはブレーキセンサ１８ｂの検出結果に基づき算出した制動力の大きさと、車両１の現在の車速とから制動距離を算出することができる。

舵角センサ１９は、例えば、ステアリングホイール等の操舵部４の操舵量を検出するセンサである。舵角センサ１９は、例えば、ホール素子などを用いて構成される。ＥＣＵ１４は、運転者による操舵部４の操舵量や、自動操舵時の各車輪３の操舵量等を、舵角センサ１９から取得して各種制御を実行する。なお、舵角センサ１９は、操舵部４に含まれる回転部分の回転角度を検出する。舵角センサ１９は、角度センサの一例である。

アクセルセンサ２０は、例えば、加速操作部５の可動部の位置を検出するセンサである。アクセルセンサ２０は、可動部としてのアクセルペダルの位置を検出することができる。アクセルセンサ２０は、変位センサを含む。

シフトセンサ２１は、例えば、変速操作部７の可動部の位置を検出するセンサである。シフトセンサ２１は、可動部としての、レバーや、アーム、ボタン等の位置を検出することができる。シフトセンサ２１は、変位センサを含んでもよいし、スイッチとして構成されてもよい。

車輪速センサ２２は、車輪３の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ２２は、各車輪３に配置され、各車輪３で検出した回転数を示す車輪速パルス数をセンサ値として出力する。車輪速センサ２２は、例えば、ホール素子などを用いて構成されうる。ＥＣＵ１４は、車輪速センサ２２から取得したセンサ値に基づいて車両１の移動量などを演算し、各種制御を実行する。ＣＰＵ１４ａは、各車輪速センサ２２のセンサ値に基づいて車両１の車速を算出する場合、四輪のうち最も小さなセンサ値の車輪３の速度に基づき車両１の車速を決定し、各種制御を実行する。また、ＣＰＵ１４ａは、四輪の中で他の車輪３に比べてセンサ値が大きな車輪３が存在する場合、例えば、他の車輪３に比べて単位期間（単位時間や単位距離）の回転数が所定数以上多い車輪３が存在する場合、その車輪３はスリップ状態（空転状態）であると見なし、各種制御を実行する。なお、車輪速センサ２２は、図示を省略したブレーキシステム１８に設けられている場合もある。その場合、ＣＰＵ１４ａは、車輪速センサ２２の検出結果をブレーキシステム１８を介して取得してもよい。

なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。

周辺監視システム１００を実現するＥＣＵ１４は、一例として、車両１の周囲を俯瞰態様で表示する周辺画像を生成する。ＥＣＵ１４は、周辺画像に車両１を俯瞰態様で表示する自車画像と、車両１が現在の舵角で移動した場合の車両状態（移動位置や車体の向き、姿勢等）を示す仮想車両画像および仮想車両画像の外形、特に仮想車両画像のコーナー部分を明示する外形マークを表示する。

ＥＣＵ１４に含まれるＣＰＵ１４ａは、上述したような俯瞰態様の表示を実現するために、図５に示されるように、取得部３０、制御部３２、表示切替受付部３４、報知部３６、出力部３８等を含む。そして、取得部３０は、舵角取得部３０ａ、周辺画像生成部３０ｂ、車両指標取得部３０ｃ、留意対象取得部３０ｄ等を含む。また、制御部３２は、車両指標表示位置制御部３２ａ、表示態様制御部３２ｂ、俯瞰表示制御部３２ｃ等を含む。ＣＰＵ１４ａは、これらのモジュールを、ＲＯＭ１４ｂ等の記憶装置にインストールされ記憶されたプログラムを読み出し、それを実行することで実現可能である。

本実施形態において、仮想車両画像は、第１表示モードまたは第２表示モードで表示されうる。第１表示モードは、自車画像を基準に仮想車両画像が現在の車両１の舵角にしたがい走行する（離れていく）ように表示される表示モードで、将来の自車の位置や姿勢の把握や障害物との接触の有無の把握等を行わせ易くすることができる。第２表示モードは、例えば、車両１の後軸中心位置に対応する位置を中心として仮想車両画像を回転させる表示モードで、操舵部４（ステアリングホイール）を転舵した際の車両１の姿勢（向き）の把握を行わせ易くすることができる。

まず、第１表示モードを用いて、仮想車両画像および外形マークの表示態様を説明する。図６は、表示装置８の画面８ａに、第１表示モードで表示される仮想車両画像を表示する画面８ｂを割り込ませた（スーパーインポーズさせた）例である。図６は、車両１が後退する場合の例である。図６に示されるように、画面８ａには、撮像部１５ａによって撮像された撮像画像データに基づく後方の実画像が示されている。画面８ａには、車両１の後側の端部２ｅおよび、車両１が現在の舵角で後退走行する際に後輪３Ｒ（図２参照）が通過する移動予測線４０および車両１の移動方向を示す方向予測線４２が示されている。なお、移動予測線４０や方向予測線４２を表示するか否かは、利用者（運転者）が操作入力部１０や操作部１４ｇ等を操作することで選択できるようにしてもよい。一方、画面８ｂは、撮像部１５（１５ａ〜１５ｄ）が撮像した撮像画像データに基づいて生成した周辺画像４４（俯瞰画像）が表示されるとともに、自車画像４６（自車アイコン）および車両１が現在の舵角で例えば３ｍ後退走行した場合（所定距離後退走行した場合）に車両１が存在する位置に対応する位置に仮想車両画像４８（仮想アイコン）が示されている。すなわち、この表示態様では、例えば３ｍ後方に位置した仮想車両画像４８が運転者の操舵に応じて移動することとなる。なお、車両１が前進走行する場合（例えば、シフトが前進（Ｄ）レンジの場合）、画面８ａには、撮像部１５ｃが撮像した撮像画像データに基づく前方の実画像が、車両１の前側の端部２ｃとともに表示される。そして、画面８ｂには、自車画像４６に対して前方に移動する仮想車両画像４８が示される。

本実施形態において、自車画像４６と仮想車両画像４８とは図６に示すように近接した状態で表示される。そのため、自車画像４６と仮想車両画像４８との識別性を向上させるためそれぞれ透過率を変えて表示している。例えば、現在の車両１の位置（姿勢、状態）を示す自車画像４６は透過率を低くし濃い態様で表示する。一方、仮想車両画像４８は、車両１の将来の位置（姿勢、状態）であることを示すため、例えば自車画像４６より透過率を高く設定し、例えば半透明で表示する。ところで、周辺画像４４は路面の状態（乾いた路面や濡れた路面）や周囲の明るさ（日光やライトの明るさ）を反映した画像となる。そのため、路面の状態や周囲の明るさ等によっては、自車画像４６との識別性を向上させるために透過率を高めた仮想車両画像４８の視認性が低下してしまう場合がある。そこで、ＥＣＵ１４は、仮想車両画像４８を表示する場合、仮想車両画像４８の少なくともコーナー部分を明示する外形マーク５０を仮想車両画像４８とともに表示する。外形マーク５０は、例えば、コーナー部分に沿う「Ｌ」形状のマークとし、透過率は、仮想車両画像４８より低く、例えば自車画像４６の透過率と同等またはそれ以下とする。また、外形マーク５０の表示色は、仮想車両画像４８の色や路面色等と識別が容易な色、例えば、「青」や「緑」等が設定されうる。なお、外形マーク５０の表示色は、認識性を高めるためカラーユニバーサルデザインの概念を取り入れて設定されてもよい。このように、外形マーク５０が表示されることにより、透過率を高くして、現在の位置ではなく、あくまで将来の位置（仮想位置）を示す仮想車両画像４８であることを示す仮想車両画像４８の外形を確実に認識させることができる。その結果、路面の表示状態や周囲の明るさに拘わらず、仮想車両画像４８の存在および仮想車両画像４８の位置、姿勢、状態等を認識させやすくすることができる。

図６に示す例の場合、車両１は後退走行可能な状態（変速操作部７が「Ｒ」レンジの状態）で、仮想車両画像４８の表示が要求された場合、まず、自車画像４６に重なる状態で例えば半透明の仮想車両画像４８が表示される。図６の場合、外形マーク５０の表示例として、進行方向のコーナー部分（図６の場合、後端側のコーナー部分）に外形マーク５０が表示される。また、自車画像４６と仮想車両画像４８とが重なった状態で外形マーク５０が表示されることで、外形マーク５０が自車画像４６のコーナー部分に対応するマークであることを容易に理解させることができる。また、外形マーク５０が表示されることで、自車画像４６と仮想車両画像４８が重なっている場合でも仮想車両画像４８が表示されていることが認識されやすくなる。その後、図６の場合、仮想車両画像４８が車両１の舵角にしたがい後方に移動を開始する。このとき、仮想車両画像４８に追従して外形マーク５０も移動する。図６の場合は、仮想車両画像４８および外形マーク５０が自車画像４６から離れた後も自車画像４６のコーナー部分に残像マーク５０ｒを表示することができる。この場合、残像マーク５０ｒは外形マーク５０に比べて透過率を高くして薄く表示する。自車画像４６の後端部に残像マーク５０ｒを表示し続けることで、外形マーク５０が仮想車両画像４８の後端側のコーナー部分を示していることを継続的に認識させやすくすることができる。

図７〜図１０は、外形マーク５０の表示態様の変形例である。図７は、仮想車両画像４８の各コーナー部分（四隅）に透過率が仮想車両画像４８より低く濃い表示態様の左リア外形マーク５０ａ、右リア外形マーク５０ｂ、左フロント外形マーク５０ｃ、右フロント外形マーク５０ｄが表示される例である。この場合、仮想車両画像４８の外形を明確に示すことができる。

図８は、仮想車両画像４８が自車画像４６に対して後退方向に移動する場合の表示例であり、透過率が仮想車両画像４８より低く濃い表示態様の左リア外形マーク５０ａと右リア外形マーク５０ｂとが表示されている。一方、左フロント外形マーク５０ｃ、右フロント外形マーク５０ｄは、透過率が左リア外形マーク５０ａおよび右リア外形マーク５０ｂより高く薄い表示態様で表示される例である。つまり、仮想車両画像４８の後端側に表示される外形マーク５０を他の部分より強調表示している例である。この場合、外形マーク５０の透過率（色の濃さ）により後退走行時（例えば、後退入庫時等）に最も注意を払う必要がある後端側を認識させやすくすることができる。また、仮想車両画像４８が後退移動していることを明示することができる。さらに、濃く表示される外形マーク５０が図７の表示態様に比べて少なくなるので、画面８ｂの表示内容（俯瞰画像）の煩雑さを軽減できる。なお、この場合、左フロント外形マーク５０ｃおよび右フロント外形マーク５０ｄは図６に示す例のように省略されてもよい。

図９は、仮想車両画像４８が自車画像４６に対して前進方向に移動する場合の表示例であり、透過率が仮想車両画像４８より低く濃い表示態様の左フロント外形マーク５０ｃと右フロント外形マーク５０ｄとが表示されている。一方、左リア外形マーク５０ａ、右リア外形マーク５０ｂは、透過率が左フロント外形マーク５０ｃおよび右フロント外形マーク５０ｄより高く薄い表示態様で表示される例である。つまり、仮想車両画像４８の前端側に表示される外形マーク５０を他の部分より強調表示している例である。この場合、外形マーク５０の透過率（色の濃さ）により前進走行時（例えば、前進出庫時等）に最も注意を払う必要がある前端側を認識させやすくすることができる。また、仮想車両画像４８が前進移動していることを明示することができる。さらに、濃く表示される外形マーク５０が図７の表示態様に比べて少なくなるので、画面８ｂの表示内容（俯瞰画像）の煩雑さを軽減できる。なお、この場合も、左リア外形マーク５０ａおよび右リア外形マーク５０ｂは省略されてもよい。

図１０は、図８の変形例であり、各外形マーク５０の間に外形補助マーク５０ｅ，５０ｆ，５０ｇ，５０ｈを追加して、仮想車両画像４８の形状をさらに明確に表示する例である。この場合、外形補助マーク５０ｅ，５０ｆ，５０ｇ，５０ｈは、隣接する外形マーク５０の中間位置に表示することができる。図１０の例では、外形補助マーク５０ｅ，５０ｇ，５０ｈを左リア外形マーク５０ａおよび右リア外形マーク５０ｂと同様に、透過率が仮想車両画像４８より低く濃い表示態様で表示する例を示している。また、外形補助マーク５０ｆを左フロント外形マーク５０ｃおよび右フロント外形マーク５０ｄと同様に薄い表示態様で表示している。別の実施形態では、外形補助マーク５０ｅ，５０ｇ，５０ｈを外形補助マーク５０ｆと同様に薄い表示態様で表示してもよい。また、外形補助マーク５０ｅ，５０ｆ，５０ｇ，５０ｈは、一つまたは複数を選択的に表示するようにしてもよい。外形補助マーク５０ｅ，５０ｆ，５０ｇ，５０ｈの表示の有無は、例えば、操作入力部１０や操作部１４ｇによって運転者（利用者）が選択できるようにしてもよい。なお、外形補助マーク５０ｅ，５０ｆ，５０ｇ，５０ｈは、図７、図９の例にも適用可能で、同様の効果を得ることができる。

図１１は、車両１が走行しようとする方向（仮想車両画像４８が移動する方向）に障害物を検出した場合に、外形マーク５０の表示態様を障害物の検出前と異ならせる例を説明する模式図である。図１１の画面８ａには、車両１の近傍に存在する他車両５２（留意対象、障害物）が映っている。一方、画面８ｂには、画面８ａに表示された他車両５２に対応する位置に俯瞰態様の他車両５２が表示されている。本実施形態においては、測距部１６，１７にて他車両５２の接近を検知することができる。なお、他車両５２の接近が検知できれば他の方法を採用してもよい。

図１１の画面８ｂに示すように、移動表示中の仮想車両画像４８と、当該仮想車両画像４８と干渉する（接触する）可能性のある他車両５２との距離が所定距離以下になった場合に外形マーク５０の表示態様が変化する。例えば、それまで図６に示すように点灯表示されていた外形マーク５０の表示態様を点滅表示に変化させる。つまり、車両１の現在の舵角で後退走行した場合には、他車両５２と接触する可能性があることを表示態様の変化により運転者に事前に報知する。なお、表示態様の変化は、例えば、表示色の変化で実行してもよい。障害物の非検出時の外形マーク５０の表示色を例えば「青」とし、障害物の検出時の表示色を例えば「赤」としてもよい。また、外形マーク５０の表示態様の変更とともに、ＣＰＵ１４ａは音声制御部１４ｅを介して音声出力装置９から音声メッセージを出力するようにしてもよい。また、ＣＰＵ１４ａは、表示制御部１４ｄを介して表示装置８や表示装置１２に文字メッセージや警報アイコン等を表示してもよい。例えば、「現在の舵角で後退した場合、他車両と接触する可能性があります。」等のメッセージを出力する。

図１２は、車両１が現在の舵角で旋回（走行）する場合（後輪軸中心の旋回半径Ｒで旋回する場合）の車両１と他車両５２との接触タイミングを説明する図である。図１２は、車両１の前端に搭載された測距部１７ｇが他車両５２を検出した場合を示している。例えば、現在の舵角で車両１が旋回した場合の測距部１７ｇの旋回半径をＲｓとし、測距部１７ｇが検出した他車両５２までの検出距離をＬｓとする。また、車両１が現在の舵角で走行（旋回）した場合の、車両１と他車両５２とが接触するまでの偏向角θ（後輪軸中心の旋回角度θ）とすると、
２π：θ＝Ｒｓ：Ｌｓの関係が成り立つ。
つまり、θ＝２π＊Ｌｓ／Ｒｓとなる。
したがって、自車画像４６の表示位置から偏向角θだけ旋回させた位置より手前で仮想車両画像４８を停止させることにより、図１１に示すように、他車両５２等と接触する前に仮想車両画像４８を停止する表示を行うことができる。また、仮想車両画像４８を停止表示したタイミングで外形マーク５０の表示態様を例えば点滅に変更すれば、図１１のような表示が実現できる。なお、事前の報知として、他車両５２と仮想車両画像４８とが接触する状態を表示してもよい。

図１３は、表示装置８の画面８ａに、第２表示モードで表示される仮想車両画像４８を表示する画面８ｂを割り込ませた（スーパーインポーズさせた）例である。図１３は、車両１が後退する場合の例である。画面８ａは、撮像部１５ａによって撮像された撮像画像データに基づく後方の実画像が示されている。画面８ａには、第１表示モードと同様に、車両１の後側の端部２ｅおよび、車両１が現在の舵角で後退走行する際に後輪３Ｒ（図２参照）が通過する移動予測線４０および車両１の移動方向を示す方向予測線４２が示されている。図１３の画面８ａおよび画面８ｂには、他車両５２ａ，５２ｂが表示され、画面８ｂには、車両１を二台の他車両５２ａ，５２ｂの間に駐車させる場合の仮想車両画像４８が第２表示モードで示されている。また、画面８ｂは、周辺画像４４が表示されるとともに、自車画像４６（自車アイコン）および車両１が現在の舵角で例えば３ｍ後退走行した場合（所定距離後退走行した場合）に車両１が向く方向に対応するように旋回（回転)した状態の仮想車両画像４８（仮想アイコン）が示されている。この場合、仮想車両画像４８は、自車画像４６と同じ位置で向きが異なる画像となる。すなわち、仮想車両画像４８は、自車画像４６に対して所定の回転中心位置を中心に旋回（回転）する表示態様となる。なお、この場合の回転中心位置は、車両の前後方向における中央、かつ左右方向における中央の位置としてもよいし、車両の後輪軸（シャフト）の長さ方向における中点位置としてもよい。画面８ｂの周辺画像４４には、画面８ａに映り込んでいた他車両５２も対応して表示されている。図１３に示す例において車両１が前進走行する場合も、画面８ａには、撮像部１５ｃが撮像した撮像画像データに基づく前方の実画像が、車両１の前側の端部２ｃとともに表示される。一方、画面８ｂに表示される仮想車両画像４８は、図１３に示す例と同様に、車両１が前方に所定距離移動した際の向きに対応する方向に旋回（回転）した状態が自車画像４６と同じ位置で表示される。すなわち、第２表示モードにおける仮想車両画像４８は、自車画像４６に対して所定の回転中心位置を中心に旋回（回転）する表示態様となる。なお、この場合の回転中心位置は、車両の前後方向における中央、かつ左右方向における中央の位置としてもよいし、車両の後輪軸の中点位置としてもよい。

第２表示モードで仮想車両画像４８を表示する場合、仮想車両画像４８を介して俯瞰視で車両１の周囲に存在する物体に対してどのような向きで接近していくかを認識し易く表示することができる。特に、車両１の周囲に他車両５２等が存在する場合は、車両１が他車両５２に対してどのような角度で接近していくかを俯瞰画像で確認可能となり、運転者は直感的に舵角の選択や他車両５２に対する現在の車両１の相対関係を認識しやすくなる。この場合も、仮想車両画像４８のコーナー部分には、外形マーク５０は付加され、半透明で表示される仮想車両画像４８の形状や姿勢を認識しやすくしている。図１３の場合、仮想車両画像４８は、後方等に移動することなく一定の位置で回転するので、仮想車両画像４８の各コーナー部分（四隅）に外形マーク５０（左リア外形マーク５０ａ〜右フロント外形マーク５０ｄ）を表示するとともに、仮想車両画像４８より透過率を低くした濃い表示態様で表示して、仮想車両画像４８がいずれの方向に向いても仮想車両画像４８の形状を認識しやすいようにしている。

仮想車両画像４８を第２表示モードで表示する場合も、外形マーク５０は、障害物（他車両５２）に対する接近程度に応じて表示態様を変化させることが可能で同様の効果を得ることができる。この場合も障害物（他車両５２）の検出や相対距離は、測距部１６および測距部１７による検出結果を利用することができる。そして、障害物を検出した場合には、図１１に示した例と同様に、外形マーク５０の表示態様を点滅に切り替えたり、表示色を定常色、例えば「青」から警報色、例えば「赤」に切り替えたりする。また、併せて、音声メッセージや文字メッセージ、アイコン表示等を実施してもよい。

図５に戻り、上述したような第１表示モードまたは第２表示モードによる表示を実現するためのＣＰＵ１４ａの処理を説明する。取得部３０は、主として、車両１の周辺を撮像する撮像部１５（１５ａ〜１５ｄ）から出力された撮像画像データに基づき車両１の周辺の状況を俯瞰態様で表示する周辺画像４４と、この周辺画像４４に俯瞰態様で表示される車両１を示す自車画像４６を取得する。つまり、俯瞰態様の表示を行う場合に必要となる各種情報（データ）を各種センサおよびＲＯＭ１４ｂ、ＳＳＤ１４ｆ等から取得し、例えば、ＲＡＭ１４ｃ等に一時的に保持する。

例えば、舵角取得部３０ａは、舵角センサ１９から出力される操舵部４（ステアリングホイール）の操作状態に関する情報（舵角）を取得する。つまり、運転者がこれから車両１を走行させようとしている方向の舵角を取得する。なお、舵角取得部３０ａは、シフトセンサ２１から取得される変速操作部７の可動部の位置に基づき、車両１が前進可能状態か後退可能状態かを取得して、舵角が前進状態の舵角か後退状態の舵角かを識別できるようにしてもよい。

周辺画像生成部３０ｂは、俯瞰態様の周辺画像４４を撮像部１５ａ〜１５ｄで得られる撮像画像データに周知の視点変換処理及び歪み補正処理等を施すことにより得ることができる。このような周辺画像４４を表示することで、車両１の周囲の状況をユーザに提示することができる。この周辺画像４４は、撮像部１５ａ〜１５ｄが撮像する撮像画像データを用いるため、基本画像として、車両１を中心とする俯瞰画像（画面８ｂの中央上方に視点がある画像）を得ることができる。別の実施形態では、視点変換処理を実行する際に、視点位置を変更し、車両１の位置を周辺画像４４の下端位置に移動させた画像、つまり、主として車両１の前方の領域を俯瞰態様で表示する前方俯瞰画像を得ることができる。逆に、車両１の位置を周辺画像４４の上端位置に移動させた画像、つまり、主として車両１の後方の領域を俯瞰態様で表示する後方俯瞰画像を得ることができる。前方俯瞰画像の場合、例えば、第１表示モードで、例えば他車両５２等の障害物（注意対象）が存在しない場合で、仮想車両画像４８が車両１の前方に大きく移動する場合に利用しやすい。また、後方俯瞰画像の場合、第１表示モードで、仮想車両画像４８が車両１の後方に大きく移動する場合に利用しやすい。一方、車両１（自車画像４６）を中央に置く俯瞰画像は、第２表示モードで表示する場合に利用しやすい。なお、本実施形態では、自車画像４６は周辺画像４４の中央の位置に表示している例を示しているが、利用者（運転者）が操作入力部１０等を操作することで自車画像４６の表示位置を適宜変更可能としてもよい。

車両指標取得部３０ｃは、車両指標として、車両１の俯瞰態様の自車画像４６（自車アイコン）、仮想車両画像４８（仮想アイコン）および外形マーク５０等をＲＯＭ１４ｂやＳＳＤ１４ｆから取得する。なお、自車画像４６および仮想車両画像４８の形状は、実際の車両１の形状に対応させることが望ましい。自車画像４６および仮想車両画像４８の形状を、実際の車両１の形状に対応させることにより、周辺画像４４上で撮像画像データに基づいて表示される物体、例えば他車両５２や壁等に対する距離感や相対関係をより正確に表現し、運転者に認識させやすくすることができる。なお、自車画像４６と仮想車両画像４８とは、識別できればよく、表示態様を変化させた同じデータを用いてもよい。前述したように、例えば、制御部３２の車両指標表示位置制御部３２ａによって、仮想車両画像４８を表示する場合の透過率を自車画像４６を表示する場合より高くすることにより識別できるようにしてもよい。また、仮想車両画像４８と自車画像４６との表示色を異ならせたり、点灯表示と点滅表示とで異ならせたりして識別するようにしてもよい。

留意対象取得部３０ｄは、車両１を走行させる上で留意すべき対象を、例えば、測距部１６，１７の検出結果や撮像部１５が撮像した撮像画像データ等に基づき取得する。例えば、車両１の周囲を、測距部１６，１７で探索して、物体、例えば、他車両５２や、自転車、歩行者、壁や構造物等の存在の有無、および物体が存在する場合には、その物体までの距離（位置情報）を取得（検出）する。また、路面に付された駐車領域を示す駐車枠線、区画線や停止線等は、撮像部１５が撮像した撮像画像データを画像処理することにより検出する。測距部１６，１７が検出する物体は、仮想車両画像４８を表示させた場合に、干渉（接触）するか否か、つまり、車両１が現在の舵角のまま走行可能か否かの判定を行う場合に利用できる。また、利用者（運転者）に物体の存在を通知し注意喚起をするために、制御部３２の車両指標表示位置制御部３２ａが仮想車両画像４８の移動（第１表示モード）または旋回（第２表示モード）を停止させる場合に利用することができる。なお、留意対象を取得するために、例えば、レーザスキャナ等を用いてもよい。また、撮像部１５としてステレオカメラを用いて、撮像画像データから物体の有無や物体までの距離を検出するようにしてもよい。この場合、測距部１６，１７を省略することもできる。

制御部３２は、主として、車両１が現在の舵角で走行した場合の車両状態を俯瞰態様で表示する仮想車両画像４８を周辺画像４４に自車画像４６とともに表示させる制御を実行する。

車両指標表示位置制御部３２ａは、車両指標取得部３０ｃが取得した車両指標の一つである自車画像４６の表示位置を決定する。前述したように、車両指標表示位置制御部３２ａは、仮想車両画像４８の移動方向に応じて、周辺画像４４（俯瞰画像）の視点位置を選択し、その視点位置に応じて自車画像４６の表示位置を決定するようにしてもよい。また、車両指標表示位置制御部３２ａは、車両指標の一つである仮想車両画像４８の表示位置を舵角取得部３０ａが取得した車両１の舵角にしたがって決定する。車両指標表示位置制御部３２ａは、仮想車両画像４８を第１表示モードで表示する場合、自車画像４６の表示位置を基準にして、車両１がそのときの舵角で例えば３ｍ走行した位置に相当する位置まで連続的または間欠的に移動するように周辺画像４４（俯瞰画像）上で表示する。この場合、図６に示すように、車両１が実際に移動する経路を仮想車両画像４８が周辺画像４４上で移動して行く。つまり、仮想車両画像４８を介して俯瞰視で車両１の周囲に存在する物体との位置関係を認識し易く表示することができる。特に、車両１の周囲に他車両５２等が存在する場合は、車両１が他車両５２に対してどの程度の距離を有しながら接近し、すれ違うことができるか等が俯瞰画像で確認可能となる。その結果、利用者に車両１と他車両５２との現在から将来における位置関係を直感的に認識させやすくなる。そして、外形マーク５０は仮想車両画像４８の移動に追従して仮想車両画像４８のコーナー部分（例えば、後端部）の位置を表示するため、例えば半透明の態様で表示される仮想車両画像４８の形状や位置、姿勢等を認識しやすくする。また、障害物（他車両５２等）に接近した場合には、外形マーク５０の表示態様を変化させることにより、運転者に障害物への接近を報知することができる。

また、車両指標表示位置制御部３２ａは、第１表示モードで仮想車両画像４８の表示を行う場合、留意対象取得部３０ｄが留意対象を検出した場合に、仮想車両画像４８が例えば他車両５２に接触する前に、仮想車両画像４８を停止するような表示停止位置を取得することができる。つまり、仮想車両画像４８が自車画像４６から分離して走行して行くような表示を行う場合、他車両５２等に接触する前に、仮想車両画像４８を停止させて運転者に注意喚起をする表示を行うことができる。すなわち、仮想車両画像４８が停止した位置までは、他車両５２等の障害物と接触することなく車両１を走行させられることを示すことができる。

また、車両指標表示位置制御部３２ａは、仮想車両画像４８を第２表示モードで表示する場合、自車画像４６の表示位置で、車両１がそのときの舵角で例えば３ｍ走行した場合の車両１の向きに対応する方向を向くように、周辺画像４４（俯瞰画像）上で表示する。この場合、図１３に示すように、仮想車両画像４８は、車両１（自車画像４６）が現在存在する位置で、車両１の後軸中心位置に対応する位置を中心として車体方向のみを変化させる。つまり、仮想車両画像４８を介して俯瞰視で車両１の周囲に存在する物体に対してどのような向きで接近していくかを認識し易く表示することができる。特に、車両１の周囲に他車両５２等が存在する場合は、車両１が他車両５２に対してどのような角度で接近していくかを俯瞰画像で確認可能となり、利用者の直感的な認識性を向上させやすくなる。この場合も仮想車両画像４８に外形マーク５０が付加的に表示される。外形マーク５０は仮想車両画像４８の移動に追従して仮想車両画像４８のコーナー部分（例えば、四隅）の位置を表示するため、例えば半透明の態様で表示される仮想車両画像４８の形状や位置、姿勢等を明確にすることができる。また、障害物（他車両５２等）に接近した場合には、外形マーク５０の表示態様を変化させることにより、運転者に障害物への接近を報知することができる。

表示態様制御部３２ｂは、主として、外形マーク５０の表示態様を変化させる。例えば、図６に示すように、自車画像４６の周囲に障害物（留意対象、他車両５２等）が存在しない場合、つまり車両１の周囲に例えば他車両５２が存在しない場合、車両１は現在の舵角のまま走行しても支障がない。一方、図１１に示すように、自車画像４６の周囲に障害物（留意対象）が存在する場合、つまり車両１の周囲に例えば他車両５２が存在する場合、車両１が現在の舵角のまま走行した場合、他車両５２と接触する可能性がある。このような場合、仮想車両画像４８と他車両５２との距離が所定距離に達した場合、表示態様制御部３２ｂは外形マーク５０の表示態様を点灯から点滅に変化させたり、表示色を例えば、定常色の「青」から警報色（強調色）の「赤」に変化させたりして、利用者に対し注意喚起する。

また、表示態様制御部３２ｂは、図１３に示す第２表示モードの場合、仮想車両画像４８が旋回（回転）した方向に障害物、例えば他車両５２等が存在する場合に、外形マーク５０の表示態様を点灯から点滅に変化させたり、表示色を例えば、定常色の「青」から警報色（強調色）の「赤」に変化させたりして、利用者に対し注意喚起する。この場合、運転者は、車両１を停止させた状態で操舵することにより、仮想車両画像４８の旋回（回転）方向を変化させることが可能であり、車両１が他車両５２に接触することなく接近できる舵角を外形マーク５０の表示色を確認しながら決定することができる。特に、図１３に示すように、車両１を二台の他車両５２ａ，５２ｂの間に駐車させる場合は、第２表示モードで表示される仮想車両画像４８の向きが他車両５２ａまたは他車両５２ｂと接触する可能性のある向きの場合、外形マーク５０が定常色の「青」から警報色の「赤」に変化する。この場合、運転者は、車両１を停止させた状態で左右に操舵することにより、俯瞰視の仮想車両画像４８の旋回（回転）方向と外形マーク５０の表示態様（例えば表示色）を変化させて、他車両５２ａまたは他車両５２ｂと接触する舵角、接触しない舵角を探すことができる。その結果、例えば、外形マーク５０の定常色である例えば「青」になる舵角を探すことにより、車両１を他車両５２ａや他車両５２ｂに接触させることなく、スムーズに後退させる舵角を容易に見つけることができる。

俯瞰表示制御部３２ｃは、画面８ｂの表示態様を制御する。俯瞰画像である周辺画像４４は、例えば、運転者が操作入力部１０等を介して要求した場合に表示されるようにすることができる。また、周辺画像４４は、運転者が走行操作を行う場合に死角が増える後退走行に移行する場合や、留意対象取得部３０ｄが走行方向に留意対象（障害物等）を検出した場合に、表示要求がなされたと見なして表示されるようにすることができる。俯瞰表示制御部３２ｃは、周辺画像４４の表示要求を取得した場合に定常時にナビゲーション画面やオーディオ画面が表示されている表示装置８の画面８ａを車両１の進行方向を示す実画像を表示するモードに切り替えるとともに、画面８ａとともに画面８ｂを表示する。

なお、図６、図１１、図１３の場合、表示装置８の画面８ｂは、画面８ａより相対的に狭い領域で表示されているが、運転者が例えば操作入力部１０を介して操作することにより、俯瞰表示制御部３２ｃは、画面８ａより画面８ｂの表示領域を広く表示するように変更してもよい。このように、俯瞰画像を拡大表示可能とすることにより、外形マーク５０が付加されて認識しやすくなっている仮想車両画像４８の挙動や他車両５２等との位置関係をさらに認識しやすくすることができる。なお、俯瞰表示制御部３２ｃは、画面８ｂを表示装置８の全面に表示するようにしてもよい。また、別の実施形態では、画面８ｂの表示内容を、表示装置１２に表示してもよい。この場合、表示装置１２が例えば運転席の正面に設置されているため視線移動を最小限にしつつ、俯瞰画像の内容を確認させやすくなる。

表示切替受付部３４は、運転者が外形マーク５０の付加された俯瞰態様の仮想車両画像４８の表示要求を操作入力部１０や操作部１４ｇを介して行った場合に、操作信号（要求信号）を受け付ける。また、別の実施形態では、例えば、変速操作部７（シフトレバー）が後退レンジに移行した場合に、俯瞰態様の仮想車両画像４８の表示要求が成されたと見なし、要求信号を受け付けるようにしてもよい。表示切替受付部３４は、操作入力部１０や操作部１４ｇを介して、外形マーク５０が付加された俯瞰態様の仮想車両画像４８の表示をキャンセルするキャンセル要求を受け付けることもできる。

報知部３６は、留意対象取得部３０ｄが取得した車両１の周囲に存在する障害物（他車両５２等）が存在する場合に、画面８ａ上にメッセージを表示したり、音声制御部１４ｅを介して音声メッセージを出力したりする。また、報知部３６は表示態様制御部３２ｂを用いて、周辺画像４４上に表示されている自車画像４６や仮想車両画像４８、外形マーク５０等の表示態様を変化させて、必要な報知を実行してもよい。出力部３８は、制御部３２が決定した俯瞰表示内容を表示制御部１４ｄや音声制御部１４ｅに向けて出力する。

図１４は、図６に示す第１表示モードにより仮想車両画像４８および外形マーク５０を表示する場合の他の表示例を示す模式図である。図６に示す例の場合、車両１が現在の舵角で例えば３ｍ後退走行した場合（所定距離後退走行した場合）に車両１が存在する位置に対応する位置に外形マーク５０を伴う仮想車両画像４８（仮想アイコン）が移動していく様子を一つの仮想車両画像４８で表示している。一方、図１４に示す例の場合、車両１の現在の舵角で、自車画像４６の位置から例えば３ｍ後退走行する仮想車両画像４８の移動軌跡を明確に表示するように、仮想車両画像４８は例えば一定間隔で像を残しながら表示される。つまり、残像表示態様で、複数の仮想車両画像４８を表示することにより車両１が将来どのように移動して行くかを直感的により認識させやすくすることができる。この場合、外形マーク５０は、自車画像４６から最も遠くに表示された仮想車両画像４８に対してのみに付加することができる。この場合、外形マーク５０が個々の仮想車両画像４８に表示されて表示内容が煩雑になることを軽減することができる。なお、図１４に示すように、この表示態様の場合、仮想車両画像４８が複数重なって表示されるため、外形マーク５０は、図７に示すように仮想車両画像４８の各コーナー部分（四隅）に表示し、自車画像４６から最も遠い仮想車両画像４８の形状、位置、姿勢等を把握しやすいようにする。別の実施形態では、図６に示すように、自車画像４６から最も遠い仮想車両画像４８の後端部のみに外形マーク５０を表示するようにしてもよい。

また、図１４に示すように、複数の仮想車両画像４８を用いた表示を行うことにより、車両１（自車画像４６）の周囲に障害物が存在する場合には、仮想車両画像４８の残像と障害物との位置関係を各位置においてより容易に認識させることができる。さらに、仮想車両画像４８が障害物に接近して行く場合、その接近の様子が詳細に表示できる。つまり、残像として表示される複数の仮想車両画像４８と障害物との位置関係が表示され続ける。その結果、例えば、障害物に接近し過ぎないようにするためには、事前にどの辺りで進路の修正（舵角の修正）をしたらよいかの検討が、例えば一つの仮想車両画像４８が移動するように表示される場合に比べて容易になる。

なお、図１４のように、仮想車両画像４８の残像を表示する場合も障害物との距離に応じて、外形マーク５０の表示態様を変化させてもよい。例えば、障害物との相対距離が所定値以下になる場合に、外形マーク５０の表示態様を点灯から点滅に変化させたり、表示色を例えば、定常色の「青」から警報色（強調色）の「赤」に変化させたりして、利用者に対し注意喚起する。また、仮想車両画像４８の表示態様を変化させてもよい。例えば、障害物との相対距離が所定値以下になる場合に、仮想車両画像４８の表示色を例えば「黄」や「赤」で表示するようにしたり、点灯や点滅の状態を変化させたりしてもよい。この場合、仮想車両画像４８がさらに移動していく場合でも、残像として表示される仮想車両画像４８の表示色（例えば、黄や赤)が維持されるようにすれば、障害物との接近状態の把握が継続的に認識しやすくなる。

図１４に示すように残像表示態様で複数の仮想車両画像４８を表示する場合、各仮想車両画像４８の透過率を例えば図６で示すように一つの仮想車両画像４８を表示する場合より高めてもよい。この場合、自車画像４６の周囲に障害物等の他の表示体が存在する場合でも、その表示体の視認性を低下させ難くすることができる。また、仮想車両画像４８の残像の数は、例えば初期設定や運転者による操作で適宜変更可能である。この場合、残像表示される仮想車両画像４８の表示間隔は、残像の表示数に応じて、例えば、０．３ｍごと、０．５ｍごと等に設定できるようにしてもよい。また、図１４は、車両１（自車画像４６）が後退走行する場合を示しているが、前進走行する場合でも同様に仮想車両画像４８を残像表示するようにしてもよい。この場合も外形マーク５０は、自車画像４６から最も遠くに表示される仮想車両画像４８に対して付加表示することができる。この場合、例えば、出庫する場合に、隣接する他車両５２や障害物と接触しないような移動経路の確認を容易に行うことができる。また、隣接する他車両５２や障害物との相対距離の認識が容易になり、実際に出庫する際の安心感を運転者に与えやすくなる。

上述したように構成される周辺監視システム１００による俯瞰画像の表示処理の一例を図１５のフローチャートを用いて説明する。なお、以下に示す例の場合、表示装置８は、定常時は、ナビゲーション画面やオーディオ画面、または、車両１の前方領域を示す画面８ａが全面に表示されているものとする。

まず、ＥＣＵ１４は、表示切替受付部３４が仮想車両画像４８の表示要求を受け付けたか否かを確認し（Ｓ１００）、仮想車両画像４８の表示要求を受け付けていない場合（Ｓ１００のＮｏ）、一旦このフローを終了する。一方、仮想車両画像４８の表示要求を受け付けた場合（Ｓ１００のＹｅｓ）、俯瞰表示制御部３２ｃは、表示装置８の画面８ａを切り替える（Ｓ１０２）。すなわち、定常時にナビゲーション画面やオーディオ画面が表示されている画面８ａを車両１の進行方向を示す実画像を表示するモードに切り替えるとともに、例えば、図６等に示されるように、画面８ａとともに周辺画像４４を表示する画面８ｂを表示する。

車両指標取得部３０ｃは、俯瞰態様の自車画像４６（自車アイコン）、仮想車両画像４８（仮想車両、仮想アイコン）および外形マーク５０をＲＯＭ１４ｂ等の記憶装置から取得する（Ｓ１０４）。なお、この場合、自車画像４６と仮想車両画像４８は表示態様を変化させるだけで、同じデータを取得するものとしてもよい。

ＥＣＵ１４は、周辺画像生成部３０ｂが生成する画面８ｂに表示する周辺画像４４（俯瞰画像）を取得する（Ｓ１０６）。続いて、ＥＣＵ１４は、変速操作部７の操作状態や操作入力部１０の操作状態に基づき、現在、後方表示モードを要求されているか否かを確認する（Ｓ１０８）。後方表示モードの場合（Ｓ１０８のＹｅｓ）、例えば、変速操作部７が後退レンジに移行している場合や、操作入力部１０等の入力により運転者が後退走行をしようとしている意志を示す信号が取得できた場合、以降の処理で、後方に関する画像を表示する後方表示処理を実行する（Ｓ１１０）。つまり、画面８ａには、撮像部１５ａで撮像した車両１の後方領域の実画像が表示され、画面８ｂに表示する外形マーク５０が付加された仮想車両画像４８は、後方に移動するように表示される。一方、Ｓ１０８において、後方表示モードではない場合（Ｓ１０８のＮｏ）、例えば、変速操作部７が前進レンジに移行している場合や、操作入力部１０等の入力により運転者が前進走行をしようとしている意志を示す信号が取得できた場合、以降の処理で、前方に関する画像を表示する前方表示処理を実行する（Ｓ１１２）。つまり、画面８ａには、撮像部１５ｃで撮像した車両１の前方領域の実画像が表示され、画面８ｂに表示する外形マーク５０が付加された仮想車両画像４８は、前方に移動するように表示される。

続いて、ＥＣＵ１４は、舵角取得部３０ａを介して舵角センサ１９が検出した車両１の舵角を取得する（Ｓ１１４）。そして、車両指標表示位置制御部３２ａは、Ｓ１００で仮想車両画像４８の表示要求を受け付けたときに、第１表示モードによる表示要求を受けていた場合（Ｓ１１６のＹｅｓ）、外形マーク５０が付加された仮想車両画像４８を車両１の舵角にしたがう方向に自車画像４６から分離して走行していくように表示する（Ｓ１１８）。この場合、仮想車両画像４８は連続的に表示されても間欠的に表示されてもよい。この表示態様は運転者によって選択できるようにしてもよい。周辺画像生成部３０ｂは車両１の舵角にしたがい、移動予測線４０や方向予測線４２等を画面８ａの実画像上に重畳する。

このとき、車両指標表示位置制御部３２ａは、留意対象取得部３０ｄが取得した留意対象（例えば、他車両５２等）が仮想車両画像４８の移動方向に存在し、干渉（接触）する障害物であると判定した場合（Ｓ１２０のＹｅｓ）、仮想車両画像４８の停止表示位置を算出する（Ｓ１２２）。そして、車両指標表示位置制御部３２ａは、算出した停止表示位置に仮想車両画像４８の表示位置が到達した場合（Ｓ１２４のＹｅｓ）、例えば、図１１に示すように、仮想車両画像４８の移動表示を他車両５２の直前（停止表示位置）で停止する。また、表示態様制御部３２ｂは、外形マーク５０の表示態様を警報態様の表示に変更する（Ｓ１２６）。例えば、外形マーク５０の表示態様を点灯から点滅に変化させたり、表示色を定常色の「青」から注意喚起するための警報色である「赤」に変更したりする。なお、車両指標表示位置制御部３２ａは、算出した停止表示位置に仮想車両画像４８の表示位置が到達していない場合には（Ｓ１２４のＮｏ）、Ｓ１２６の処理をスキップする。つまり、例えば、図６に示すように、仮想車両画像４８の表示態様を変更することなく、自車画像４６の後方の所定距離（例えば、３ｍの位置）まで引き続き移動するように表示する。また、Ｓ１２０において、留意対象取得部３０ｄが留意対象を検出していない場合、または、検出しても仮想車両画像４８の移動方向には存在しないと判定した場合（Ｓ１２０のＮｏ）、Ｓ１２２〜Ｓ１２６の処理をスキップする。すなわち、図６に示すように、仮想車両画像４８の表示態様を変更することなく、自車画像４６の後方の所定距離（例えば、３ｍの位置）まで引き続き移動するように表示する。

続いて、ＥＣＵ１４は、表示切替受付部３４を介して仮想車両画像４８の表示停止要求を受け付けたか否かを監視し（Ｓ１２８）、受け付いていない場合は（Ｓ１２８のＮｏ）、Ｓ１０６に戻り、引き続き仮想車両画像４８の表示を継続する。例えば、Ｓ１０８、Ｓ１１６でモードの変更がなければ、外形マーク５０が付加された仮想車両画像４８は、一度、周辺画像４４上から消えて、再び自車画像４６の位置から分離して、車両１のそのときの舵角にしたがう方向に移動するように表示される。したがって、車両１の舵角が変更された場合には、前回の表示のときとは異なる方向に移動するように表示される。つまり、他車両５２等の障害物を避ける方向に仮想車両画像４８を移動させることができる。このように、仮想車両画像４８の動きを参照しながら、他車両５２と干渉（接触）しないための車両１の舵角を見つけることができる。この場合、仮想車両画像４８は、自車画像４６とは識別可能な例えば半透明の表示であるものの、外形マーク５０によって形状や姿勢、位置が容易に把握できるため、仮想車両画像４８によって示唆される移動方向や障害物との接触の有無等を運転者に認識させやすい。Ｓ１２８において、ＥＣＵ１４が、表示切替受付部３４を介して仮想車両画像４８の表示停止要求を受け付けた場合（Ｓ１２８のＹｅｓ）、俯瞰表示制御部３２ｃは、表示装置８の画面８ａを定常時にナビゲーション画面やオーディオ画面に復帰させて、一連の表示処理を一旦終了する。

Ｓ１１６において、第１表示モードではない（Ｓ１１６のＮｏ）、すなわち第２表示モードによる表示要求を受けていた場合、車両指標表示位置制御部３２ａは、Ｓ１０４で取得した仮想車両画像４８および外形マーク５０を自車画像４６の表示位置で、車両１の現在の舵角で所定距離（例えば３ｍ）後退したときの車体方向に対応する方向に旋回（回転）するように表示する（Ｓ１３０）。このとき、周辺画像生成部３０ｂは、車両１の舵角にしたがい、移動予測線４０や方向予測線４２等を画面８ａの実画像上に重畳する。

また、表示態様制御部３２ｂは、留意対象（例えば、他車両５２等）が、車両指標表示位置制御部３２ａが決定した仮想車両画像４８の旋回方向に存在し、干渉する障害物であると判定した場合（Ｓ１３２のＹｅｓ）、外形マーク５０を警報態様の表示に変更した後（Ｓ１３４）、Ｓ１２８に移行する。例えば、図１３に示したように、仮想車両画像４８を向けた方向に他車両５２等が存在する場合、外形マーク５０の表示態様を点灯から点滅に変化させたり、表示色を定常色の「青」から注意喚起するための警報色である「赤」に変更したりする。なお、仮想車両画像４８の旋回方向に留意対象（例えば、障害物）は存在しないと判定した場合（Ｓ１３２のＮｏ）、Ｓ１３４の処理をスキップし、Ｓ１２８の処理に移行する。

このように、本実施形態の周辺監視システム１００の場合、仮想車両画像４８が俯瞰態様で表示される場合、少なくとも仮想車両画像４８のコーナー部分を明示する外形マーク５０が付加された態様で表示される。その結果、車両１の現在の位置を示す自車画像４６と誤認しないように例えば半透明の表示態様で表示される仮想車両画像４８の外形や表示位置、姿勢を周辺画像４４の表示状態に拘わらず認識させやすい状態で表示できる。したがって、仮想車両画像４８により、車両１（自車）が現在の舵角のまま走行した場合に、将来どのような位置に移動するか、どの方向を向くか、留意対象（例えば他車両５２）との位置関係がどのようになるか等を運転者が直感的に認識できるような態様の表示ができる。その結果、運転者は例えば狭い場所に車両１を移動させたりする場合の不安感を軽減し、適切な操作判断を行わせ易くすることができる。つまり、操作負荷の軽減にも寄与できる。

なお、上述した実施形態において、外形マーク５０は、「Ｌ」形状とする例を示したが、仮想車両画像４８の外形が認識しやすくできれば、外形マーク５０の形状は適宜選択可能である。例えば、四角形状や丸形状のマークでもよいし、仮想車両画像４８の外形の一部（例えば、コーナー部分の線分）をそのまま利用して、外形マーク５０としてもよい。また、上述した実施形態では、仮想車両画像４８が障害物（例えば他車両５２）と干渉する可能性がある場合に外形マーク５０の表示態様を変化させる例を示した。他の実施形態では、外形マーク５０と併せて仮想車両画像４８の表示形態を変化させてもよい。例えば、表示態様を点灯から点滅に変化させたり、表示色を例えば、定常色から警報色（強調色）の「赤」に変化させたりして、利用者に対し注意喚起してもよい。この場合、より強い注意喚起ができる。

本実施形態のＣＰＵ１４ａで実行される仮想車両画像の表示処理プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、仮想車両画像の表示処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態で実行される仮想車両画像の表示処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…車両、８…表示装置、８ａ，８ｂ…画面、１４…ＥＣＵ、１４ａ…ＣＰＵ、１５…撮像部、１６，１７…測距部、１９…舵角センサ、３０…取得部、３０ａ…舵角取得部、３０ｂ…周辺画像生成部、３０ｃ…車両指標取得部、３０ｄ…留意対象取得部、３２…制御部、３２ａ…車両指標表示位置制御部、３２ｂ…表示態様制御部、３２ｃ…俯瞰表示制御部、３４…表示切替受付部、３６…報知部、３８…出力部、４４…周辺画像、４６…自車画像、４８…仮想車両画像、５０…外形マーク、１００…周辺監視システム。

Claims (4)

1. 車両に設けられて当該車両の周辺を撮像する撮像部から出力された撮像画像データに基づき前記車両の周辺の状況を俯瞰態様で表示する周辺画像と、前記周辺画像に俯瞰態様で表示される前記車両を示す自車画像を取得する取得部と、
   前記車両が現在の舵角で走行した場合の車両状態を俯瞰態様で表示する仮想車両画像と、当該仮想車両画像の少なくともコーナー部分を明示する外形マークと、を前記自車画像とともに前記周辺画像に表示させる制御部と、
   を備える周辺監視装置。
2. 前記制御部は、前記車両が後退走行可能な場合、前記仮想車両画像の後端側に表示される前記外形マークを他の部分より強調表示する請求項１に記載の周辺監視装置。
3. 前記制御部は、前記車両が前進走行可能な場合、前記仮想車両画像の前端側に表示される前記外形マークを他の部分より強調表示する請求項１に記載の周辺監視装置。
4. 前記制御部は、前記仮想車両画像の移動方向に当該仮想車両画像と接触する障害物を検出した場合、前記外形マークの表示態様を前記障害物の検出前と異ならせる請求項１から請求項３のいずれか１項に記載の周辺監視装置。

Images