JP2007099261A - 駐車支援方法及び駐車支援装置 - Google Patents

Abstract

【課題】的確なタイミングで、車両に設けられた撮像装置の死角領域を表示した画像を出力する駐車支援方法及び駐車支援装置を提供する。
【解決手段】ナビゲーション装置１は、車両の位置を特定するＧＰＳ受信部６及び制御部３と、車両に設けられたカメラ２５から、画像データＧを取得する画像データ入力部１４と、画像データＧを格納する画像メモリ１５とを備える。また、抽出データを視点変換して変換データを生成し、各変換データを生成する画像処理部１６を備える。画像処理部１６は、変換データを撮像位置を示す位置データ等と関連付けて画像メモリ１５に格納し、各変換データを用いて、現在の車両位置周辺を俯瞰した俯瞰画像データを生成する。さらに、制御部３が、車両情報に基づき駐車操作停止状態であると判断したときに、俯瞰画像データと、車両の現在位置を示す指標とをディスプレイ８に表示する。
【選択図】図１

Description

本発明は、駐車支援方法及び駐車支援装置に関する。

従来より、自動車を駐車させる際の運転操作を支援する装置として、車両後端に取り付けられた車載カメラから画像データを取得し、その画像データに基づくモニタ画面を運転席近傍に配設されたディスプレイに出力する駐車支援装置が知られている。この車載カメラは、通常、車両のリヤバンパーから後方の背景を撮像するものの、車両のフロア下方等は、死角領域となっている。このため、車両が駐車目標領域に進入するに従って、駐車目標領域を区画する白線等が撮像領域から外れ、車両と駐車目標領域との相対距離、車輪止めの位置等が画面上で把握し難くなり、駐車操作が難しくなる。

この問題に対し、車載カメラから取得した画像データをメモリに蓄積し、過去に撮像された記録画像データを、現在の画像データと合成する装置も提案されている（特許文献１及び特許文献２参照）。これらの装置では、車載カメラの死角にあたる領域を表示し、車両と駐車目標領域との相対位置を確認できる合成画像を出力する。この合成画像は、車両の後退中にディスプレイに表示されるようになっている。
特開２００１−２１８１９７号公報 特開２００２−３５４４６７号公報

ところが、運転者によっては、駐車操作時は、隣接して駐車した他車両や障害物等の位置に主に注意を払い、駐車完了時に最終的な駐車位置を確認することがある。或いは、運転者が駐車操作に慣れている場合や、周囲に障害物が無い場合等には、車両が後退している間、常に合成画像を表示する必要がないことがある。従って、ユーザの駐車操作に即した、合成画像の表示方法が求められている。

本発明は、上記問題点に鑑みてなされたものであり、その目的は、的確なタイミングで、撮像装置の死角領域を表示した画像を出力する駐車支援方法及び駐車支援装置を提供することにある。

上記問題点を解決するために、請求項１に記載の発明は、車両に設けられた撮像装置から取得した画像データを蓄積する画像データ記憶手段と、前記画像データを画像処理する画像処理手段と、前記画像データに基づく画像を表示する表示手段とを用いて、駐車操作を支援する駐車支援方法において、前記車両が駐車操作停止状態であるときに、前記画像データ記憶手段に蓄積された前記画像データを用いて、前記画像処理手段により現在の車両位置周辺を俯瞰した俯瞰画像データを生成し、前記俯瞰画像データと、前記車両の現在位置を示す指標とを前記表示手段に表示することを要旨とする。

請求項２に記載の発明は、車両に搭載された駐車支援装置において、前記車両の車両情報を入力し、前記車両が駐車操作停止状態であるか否かを判断する車両状況判断手段と、前記車両に設けられた撮像装置から画像データを取得する画像データ取得手段と、前記画像データを画像処理した変換データを生成する第１画像処理手段と、前記変換データを蓄積する画像データ記憶手段と、前記画像データ記憶手段に蓄積された前記各変換データを用いて、現在の車両周辺を俯瞰した俯瞰画像データを生成する第２画像処理手段と、前記
車両状況判断手段が前記駐車操作停止状態であると判断したときに、前記俯瞰画像データと、前記車両の現在位置を示す指標とを表示手段に表示する画像出力手段とを備えたことを要旨とする。

請求項３に記載の発明は、車両に搭載された駐車支援装置において、前記車両の車両情報を入力し、前記車両が駐車操作停止状態であるか否かを判断する車両状況判断手段と、前記車両に設けられた撮像装置から画像データを取得する画像データ取得手段と、前記画像データを蓄積する画像データ記憶手段と、前記画像データを画像処理した変換データを生成する第１画像処理手段と、前記各変換データを用いて、現在の車両周辺を俯瞰した俯瞰画像データを生成する第２画像処理手段と、前記車両状況判断手段が前記駐車操作停止状態であると判断したときに、前記俯瞰画像データと、前記車両の現在位置を示す指標とを表示手段に表示する画像出力手段とを備えたことを要旨とする。

請求項４に記載の発明は、請求項２又は３に記載の駐車支援装置において、前記画像出力手段は、前記俯瞰画像データのうち、現在の前記車両の進行方向にあたる領域を、前記表示手段の表示画面の上側に出力することを要旨とする。

請求項５に記載の発明は、請求項２〜４のいずれか１項に記載の駐車支援装置において、前記車両状況判断手段は、前記車両情報に基づき、前記車両の進行方向が、駐車目標領域に向って移動する方向から、異なる方向に変更された場合に、前記駐車操作停止状態であると判断することを要旨とする。

請求項６に記載の発明は、請求項２〜５のいずれか１項に記載の駐車支援装置において、前記車両状況判断手段は、前記車両情報に基づき、前記車両が、駐車過程において、所定時間停車していると判断した場合に、前記駐車操作停止状態であると判断することを要旨とする。

請求項７に記載の発明は、請求項２〜６のいずれか１項に記載の駐車支援装置において、前記第２画像処理手段は、前記各変換データを、前記車両の進行方向に相当する方向に並べて合成することを要旨とする。

請求項８に記載の発明は、請求項２〜７のいずれか１項に記載の駐車支援装置において、前記第２画像処理手段は、前記各変換データを用いて、前記車両全体を含む領域に相当する前記俯瞰画像データを生成することを要旨とする。

請求項９に記載の発明は、請求項２〜８のいずれか１項に記載の駐車支援装置において、前記第１画像処理手段は、前記抽出データに相当する路面上の領域の上方に設定された仮想視点に視点変換することを要旨とする。

請求項１０に記載の発明は、請求項２〜９のいずれか１項に記載の駐車支援装置において、前記第２画像処理手段は、前記車両の現在位置で取得した現在画像データと、蓄積した前記変換データとを用いて、前記俯瞰画像データを生成することを要旨とする。

請求項１１に記載の発明は、請求項２〜１０のいずれか１項に記載の駐車支援装置において、前記画像データ記憶手段は、前記変換データ又は前記画像データに、その変換データ又は画像データを撮像した位置での方位データ又は舵角データを添付するとともに、前記画像処理手段は、添付された前記方位データ又は前記舵角データと、前記駐車操作停止状態となった位置での方位又は舵角とに基づいて、前記変換データ又は前記画像データを回転変換することを要旨とする。

請求項１２に記載の発明は、請求項２〜１１のいずれか１項に記載の駐車支援装置において、前記第１画像処理手段は、前記画像データのうち、前記車両の進行方向に相当する方向において中央部を抽出することを要旨とする。

請求項１３に記載の発明は、請求項２〜１２のいずれか１項に記載の駐車支援装置において、前記画像データ取得手段は、前記車両が各撮像地点に到達するたびに、前記撮像装置から前記画像データを取得して、前記画像データ記憶手段に格納することを要旨とする。

請求項１４に記載の発明は、車両に搭載された駐車支援装置において、前記車両の車両情報を入力し、前記車両が駐車操作停止状態であるか否かを判断する車両状況判断手段と、前記車両に設けられた撮像装置から画像データを取得する画像データ取得手段と、前記画像データを画像処理した変換データを生成する第１画像処理手段と、前記変換データを蓄積する画像データ記憶手段と、現在の前記撮像装置の死角に相当する領域を撮像した前記変換データと、前記車両の現在位置で取得した現在画像データとを用いて、前記車両の端部周辺を含む合成データを生成する合成データ生成手段と、前記変換データを用いて、現在位置の前記車両全体を含む領域を俯瞰した俯瞰画像データを生成する第２画像処理手段と、前記車両状況判断手段が前記駐車操作停止状態でないと判断したときに、前記合成データに基づく画像を表示手段に表示し、前記車両状況判断手段が前記駐車操作停止状態であると判断したときに、前記俯瞰画像データに基づく前記車両全体を俯瞰した画像と、前記車両の現在位置を示す指標とを表示手段に出力する画像出力手段とを備えたことを要旨とする。

請求項１５に記載の発明は、車両に搭載された駐車支援装置において、前記車両の車両情報を入力し、前記車両が駐車操作停止状態であるか否かを判断する車両状況判断手段と、前記車両に設けられた撮像装置から画像データを取得する画像データ取得手段と、前記画像データを画像処理した変換データを生成する第１画像処理手段と、前記変換データを蓄積する画像データ記憶手段と、現在の前記撮像装置の死角に相当する領域を撮像した前記変換データと、前記車両の現在位置で取得した現在画像データとを用いて、前記車両の端部周辺を含む合成データを生成する合成データ生成手段と、前記変換データを用いて、現在位置の前記車両全体を含む領域を俯瞰した俯瞰画像データを生成する第２画像処理手段と、前記車両周辺の移動体を検出する移動体検出手段と、前記車両状況判断手段が前記駐車操作停止状態であると判断したときに、前記俯瞰画像データに基づく前記車両全体を俯瞰した画像と、前記車両の現在位置を示す指標とを表示手段に出力する画像出力手段と、前記俯瞰画像データ及び前記指標を前記表示手段に出力している際に、前記移動体検出手段により移動体が検出された場合に、前記合成データを前記表示手段に出力する画像切換手段とを備えたことを要旨とする。

請求項１６に記載の発明は、車両に搭載された駐車支援装置において、前記車両の車両情報を入力し、前記車両が駐車操作停止状態であるか否かを判断する車両状況判断手段と、前記車両に設けられた撮像装置から画像データを取得する画像データ取得手段と、前記画像データを画像処理した変換データを生成する第１画像処理手段と、前記変換データを蓄積する画像データ記憶手段と、前記変換データ及び前記車両の現在位置で取得した現在画像データのうち少なくとも一方を用いて画像出力データを生成する出力データ生成手段とを備えるとともに、前記出力データ生成手段は、前記車両状況判断手段が前記車両が前記駐車操作停止状態であると判断した際に、前記車両全体を含む領域を俯瞰した画像出力データを生成し、前記車両が前記駐車操作停止状態でないと判断した際に、前記現在画像データの割合が大きい前記画像出力データを生成することを要旨とする。

請求項１に記載の発明によれば、駐車操作停止状態の場合に、車両位置周辺を俯瞰した俯瞰画像データと、車両の現在位置を示す指標とが表示手段に出力される。このため、駐車完了の際等、車体と駐車目標領域とのずれや、車体が駐車目標領域内に真っ直ぐに駐車されているか等の最終確認を行うことができる画面を的確なタイミングで表示できる。また、駐車操作をやり直す場合には、車体と駐車目標領域とのずれ量を把握可能な画面をタイミング良く表示できる。

請求項２又は３に記載の発明によれば、各撮像位置で撮像され、画像データ記憶手段に蓄積された変換データ又は画像データを用いて、駐車操作停止状態の際に、車両位置周辺を俯瞰した俯瞰画像データと、車両の現在位置を示す指標とが表示手段に出力される。このため、駐車完了の際等、車体と駐車目標領域とのずれや、車体が駐車目標領域内に真っ直ぐに駐車されているか等の最終確認を行うことができる画面を的確なタイミングで表示できる。また、駐車操作をやり直す場合には、車体と駐車目標領域とのずれ量を把握可能な画面をタイミング良く表示できる。

請求項４に記載の発明によれば、画像出力手段により、現在の前記車両の進行方向にあたる領域を、前記表示手段の表示画面の上側に出力する。このため、運転者が見て直感的に理解できる画像を表示できる。

請求項５に記載の発明によれば、駐車操作中、車両の進行方向が切替えられた場合に、駐車操作停止状態と判断され、俯瞰画像データが出力される。このため、駐車をやり直したりする場合に、俯瞰画像データに基づく画像を表示できる。
請求項６に記載の発明によれば、車両が、駐車過程において、所定時間停車している場合に、駐車操作停止状態と見なされ、俯瞰画像データが出力される。このため、駐車をやり直したりする場合に、俯瞰画像データに基づく画像を表示できる。

請求項７に記載の発明によれば、俯瞰画像データは、各変換データを車両の進行方向に並べて生成される。このため、車両が駐車目標領域に向って移動する際に、各撮像位置で撮像された変換データを並べる合成処理により、連続性のある画像を生成できるので、合成処理の複雑化を抑制できる。

請求項８に記載の発明によれば、現在の車体全体を含む領域の画像を表示手段に表示できる。このため、駐車目標領域と車体全体との相対位置を把握する画像を表示できる。
請求項９に記載の発明によれば、画像データのうち一部分が抽出された抽出データ又は画像データは、相当する路面上の領域の上方に設定された仮想視点に視点変換される。このため、俯瞰画像データが表示手段に表示された際に、画像の連続性、見やすさを向上できる。

請求項１０に記載の発明によれば、画像処理手段は、現在画像データと変換データとを用いる。このため、現在の車両周辺状況を反映した画像を表示できる。
請求項１１に記載の発明によれば、変換データ又は画像データは、駐車操作停止状態になったときの方位又は舵角に合わせて回転変換される。このため、俯瞰画像データに基づく画像の連続性が向上する。

請求項１２に記載の発明によれば、画像データの中央部を用いて、俯瞰画像データが生成される。このため、例えば、撮像装置に広角レンズを用い、画像データのうち周辺部が歪んでいる場合に、歪みが少なく、車両から比較的近い領域を撮像した範囲を用いることができるので、鮮明な画像を表示できる。

請求項１３に記載の発明によれば、車両が駐車目標領域に進入する過程において、各撮
像地点で画像データが取得される。従って、車両の後退中に撮像した画像データを用いて、俯瞰画像データを生成することができる。

請求項１４に記載の発明によれば、駐車目標領域に向かって後退する場合等、駐車操作停止状態でない際に、撮像装置の死角を含む車両の後端部及び後方周辺に相当する合成データを出力する。このため、撮像装置の死角に入った白線等を画面で見て、駐車目標領域とのずれを確認しながら、駐車操作を行うことができる。さらに、駐車操作停止状態の際に、画像データ記憶手段に蓄積された変換データを用いて、車両全体を俯瞰した俯瞰画像データと指標とを表示手段に出力する。このため、駐車完了の際等、車体と駐車目標領域とのずれや、車体が駐車目標領域内に真っ直ぐに駐車されているか等の最終確認を行うことができる画面を、的確なタイミングで表示できる。

請求項１５に記載の発明によれば、駐車操作停止状態の際に、車両位置周辺を俯瞰した俯瞰画像データと、車両の現在位置を示す指標とが表示手段に出力される。また、俯瞰画像データ及び指標が表示手段に出力されている際に、車両周辺に歩行者等の移動体が進入した場合に、撮像装置の死角と現在の車両周辺状況を反映した画像とを表示する。このため、車体と駐車目標領域とのずれ等を確認できる画面を的確なタイミングで表示するとともに、移動体が進入した際に、移動体の位置を把握可能な画面を表示するので、運転者の注意を喚起することができる。

請求項１６に記載の発明によれば、駐車目標領域に向かって後退する場合等、駐車操作停止状態でない際に、撮像装置の死角を含む車両の後端部及び後方周辺に相当し、現在画像データの割合が大きい画像出力データを出力する。このため、撮像装置の死角に入った白線等を画面で見て、駐車目標領域とのずれを確認しながら、駐車操作を行うことができる。さらに、駐車操作停止状態の際に、画像データ記憶手段に蓄積された変換データを用いて、車両全体を俯瞰した画像出力データを表示手段に出力する。このため、駐車完了の際等、車体と駐車目標領域とのずれや、車体が駐車目標領域内に真っ直ぐに駐車されているか等の最終確認を行うことができる画面を、的確なタイミングで表示できる。

以下、本発明の駐車支援方法及び駐車支援装置を、車両（自動車）に実装されたナビゲーション装置に具体化した一実施形態を図１〜図１６に従って説明する。図１は、ナビゲーション装置１の構成を説明するブロック図である。

図１に示すように、駐車支援装置としてのナビゲーション装置１は、制御装置２を備えている。制御装置２は、車両状況判断手段としての制御部３、メインメモリ４及びＲＯＭ５を有している。制御部３は、図示しないＣＰＵ等を備えており、ＲＯＭ５に格納された経路案内プログラム、駐車支援プログラム等、各種プログラムに従って各種処理の主制御を行う。メインメモリ４は、制御部３の演算結果を一時記憶するとともに、駐車支援のための各種変数、フラグ等が格納されている。

ＲＯＭ５には、輪郭データ５ａが格納されている。輪郭データ５ａは、ナビゲーション装置１を実装した車両Ｃ（図２参照）の輪郭を表示手段としてのディスプレイ８に出力するためのデータである。この輪郭データ５ａをディスプレイ８に出力すると、図３に示すような指標としての車両輪郭線３０が表示される。車両輪郭線３０は、車体の外郭を示す外郭描画線３１と、前輪及び後輪の位置を示す車輪描画線３２とを有している。外郭描画線３１は、車両Ｃの車幅及び長さに応じて生成され、サイドミラーの輪郭線等、車両Ｃの前方又は後方を区別可能な輪郭線を有している。

また、制御装置２は、ＧＰＳ受信部６を備えている。ＧＰＳ受信部６は、ＧＰＳ衛星か
らの電波を受信し、制御部３は、ＧＰＳ受信部６から入力した位置検出信号に基づいて、緯度・経度・高度等の車両Ｃの絶対位置を定期的に算出する。

さらに、ナビゲーション装置１は、ディスプレイ８を備えている。ディスプレイ８は、タッチパネルであって、車両Ｃが前進する際には、制御部３による駆動制御により、図示しない地図データ記憶部から地図描画データを出力して、図１に示す地図画面８ａを表示する。タッチパネルや、ディスプレイ８に隣設された操作スイッチ９がユーザにより入力操作されると、制御装置２が備えるユーザ入力インターフェース部（以下、ユーザ入力Ｉ／Ｆ部１０という）が、入力操作に応じた入力信号を制御部３に出力する。

また、制御装置２は、音声出力部１１を備えている。音声出力部１１は、音声ファイルを格納した図示しないメモリやデジタル／アナログ変換器等を備え、その音声ファイルを使用して、ナビゲーション装置１が具備するスピーカ１２から案内音声や警告音を出力する。

さらに、制御装置２は、車両側インターフェース部（車両側Ｉ／Ｆ部１３）を備えている。制御部３は、この車両側Ｉ／Ｆ部１３を介して、車両Ｃに設けられた車速センサ２０及びジャイロ２１から、車両情報としての車速パルスＶＰ及び方位検出信号ＧＲＰを入力する。制御部３は、この車速パルスＶＰの波形により、車両Ｃの前進及び後退を判断し、入力パルス数により、基準位置からの車両Ｃの移動量を高精度に算出する。また、制御部３は、入力した方位検出信号ＧＲＰに基づき、メインメモリ４に格納された変数である、現在方位ＧＲを更新する。さらに、車速パルスＶＰと方位検出信号ＧＲＰを用い、自律航法により、基準位置からの相対位置及び相対方位を演算し、ＧＰＳ受信部６に基づく自車位置を補正する。尚、本実施形態では、車両Ｃの後輪軸の位置を自車位置として算出するが、他の位置でもよい。

また、制御部３は、車両側Ｉ／Ｆ部１３を介して、車両Ｃのニュートラルスタートスイッチ２２から、車両情報としてのシフトポジション信号ＳＰＰを入力し、メインメモリ４に格納された変数であるシフトポジションＳＰを更新する。さらに、制御部３は、車両側Ｉ／Ｆ部１３を介して、ステアリング舵角センサ２３から、車両情報としてのステアリングセンサ信号ＳＴＰを入力する。制御部３は、このステアリングセンサ信号ＳＴＰに基づき、メインメモリ４に格納された車両Ｃの現在舵角ＳＴを更新する。

また、制御装置２は、画像データ取得手段としての画像データ入力部１４を備えている。画像データ入力部１４は、制御部３の制御に従って、車両Ｃに設けられた撮像装置としてのバックモニタカメラ（以下、単にカメラ２５という）を駆動制御して、画像データＧを逐次取得する。

カメラ２５は、図２に示すように、車両Ｃのバックドア等、車両の後端に光軸を下方に向けて取り付けられている。このカメラ２５は、カラー画像を撮像するデジタルカメラであって、広角レンズ、ミラー等から構成される光学機構と、ＣＣＤ撮像素子（いずれも図示せず）とを備えている。カメラ２５は、例えば左右１４０度の視野を有し、車両Ｃの後端を含む、後方数メートルを撮像範囲Ｚとしている。画像データ入力部１４は、カメラ２５によってアナログ／デジタル変換された画像データＧを、制御部３の制御に基づき取得して、制御装置２に備えられた画像データ記憶手段としての画像メモリ１５に一時格納する。

また、制御装置２は、第１画像処理手段、第２画像処理手段、画像出力手段及び出力データ生成手段としての画像処理部１６と、画像出力手段としての画像出力部１９とを備えている。画像処理部１６は、車両Ｃが後退している間は、画像メモリ１５に一時格納され
た画像データＧをディスプレイ８に出力して、図４に示す、バックモニタ画面３３を表示する。バックモニタ画面３３には、後方背景画像３４と、後端画像３５とが表示されている。後方背景画像３４は、車両Ｃの後方の後方背景を撮像した画像であって、バックミラーで後方を視認した場合と合わせるため、画像が反転されている。また、後方背景画像３４は、カメラ２５が広角レンズを搭載していることから、周辺部が歪む歪曲収差が生じている。後端画像３５は、図２に示す車両ＣのリヤバンパーＲＢの中央部ＢＭを撮像した画像であって、リヤバンパーＲＢの隅部ＢＣは死角となっている。

さらに、画像処理部１６は、このバックモニタ画面３３に、車幅延長線３６と、予想軌跡線３７とからなるガイド線３８を描画するようになっている。車幅延長線３６は、車両Ｃの車幅を後方に延長した指標である。予想軌跡線３７は、その時の現在舵角ＳＴ及び車幅に基づき、後退する車両Ｃの走行軌跡を予想した指標であって、車両Ｃから予め定めた距離（例えば、２．７ｍ）までの予想軌跡を示す。

また、画像処理部１６は、車両Ｃが画像記録距離Ｄ１（本実施形態では、２００ｍｍ）ごとに設定された各撮像地点で撮像した画像データＧを、変換処理して画像メモリ１５に格納する。具体的には、例えば、図５に示すように、車両Ｃが、白線１０１で区画された駐車目標領域１００に向って、後退を開始した初期位置Ａに位置するとき、制御部３の制御により、画像処理部１６は、画像データ入力部１４から画像データＧを取得する。このとき取得された画像データＧは、図６（ａ）に示すように、車両Ｃの後方の路面１０２の撮像範囲Ｚの撮像データであって、例えば、図６（ｂ）に示すような後方背景画像３４を撮像したデータである。

画像処理部１６は、初期位置Ａで撮像した画像データＧのうち、予め設定された所定領域としての抽出領域４０のデータを抽出し、抽出データＧ１を生成する。抽出領域４０は、図６（ｂ）に示すように、ディスプレイ８の表示領域８ｚとほぼ同じ幅（画面座標系のｙ軸方向の長さ）を有している。また、抽出領域４０の高さは、車両Ｃの後退方向に相当するｘ軸方向において、表示領域８ｚの略中央部の領域に設定されている。この抽出領域４０内の画像データＧは、車両Ｃから比較的近い領域を撮像しているため、鮮明な画像を表示可能であるとともに、中央部を抽出していることにより、カメラ２５のレンズによる歪みが小さくなっている。この抽出領域４０は、路面１０２上の座標を示す車両座標系（Ｘ，Ｙ）においては、図６（ａ）に示すように、撮像範囲Ｚの一部であって、本実施形態では、５００ｍｍの領域１０３に相当する。

さらに、画像処理部１６は、抽出データＧ１を視点変換して、変換データＧ２を生成する。詳述すると、図６（ｃ）に示すように、上記した路面１０２上の領域１０３のうち、中央部の鉛直方向上方に、仮想視点１０４を設定する。この仮想視点１０４の高さは、カメラ２５の高さとほぼ同じ高さに設定されている。そして、抽出データＧ１のうち中央部を用いて、その仮想視点１０４から領域１０３を俯瞰したようなデータに座標変換する。具体的には、画像処理部１６は、抽出データＧ１の各画素座標に対応する画素値を、ＲＯＭ５等に格納した変換テーブルにより紐付けられた座標にマッピングする。その結果、初期位置Ａのカメラ視点から仮想視点１０４に視点変換された変換データＧ２が生成され、例えば、図６（ｄ）に示す画像４１のような変換データＧ２が生成される。この変換データＧ２は、抽出データＧ１の中央部を用いているので、路面上の略２００ｍｍの領域に相当する。

さらに、画像処理部１６は、制御部３に基づき、図７に示すように、生成した変換データＧ２に、初期位置Ａを示す位置データとしての撮像位置データ１７と、初期位置Ａで入力した現在方位ＧＲに基づく方位データ１８とを添付して、画像メモリ１５に格納する。このようにして、車両Ｃが画像記録距離Ｄ１移動する度に、各撮像位置で撮像された画像
データＧに基づく変換データＧ２が蓄積される。

そして、画像メモリ１５に、変換データＧ２が所定枚数（本実施形態では、２４枚）以上蓄積された状態で、制御部３から合成命令を入力すると、画像処理部１６は、各変換データＧ２を合成処理し、ディスプレイ８に表示するようになっている。そして、画像出力部１９は、画像処理部１６から合成データを入力し、その合成データをディスプレイ８に出力する。

次に、本実施形態の処理手順について、図５に示すように、車両Ｃが駐車目標領域１００に後退する動作に沿って説明する。まず、制御部３は、ＲＯＭ５に格納された駐車支援プログラムに従って、図８に示すように、開始トリガの入力を待つ（ステップＳ１）。開始トリガは、本実施形態では、イグニッションモジュールの起動、又はナビゲーション装置１の起動による入力信号である。開始トリガを入力すると、制御部３の制御により、システム起動管理処理（ステップＳ２）、記録用画像データ入力処理（ステップＳ３）、変換データ生成処理（ステップＳ４）を行う。そして、制御部３は、終了トリガの入力があるか否かを判断して（ステップＳ５）、入力が無い場合には、ステップＳ２に戻る。本実施形態では、終了トリガは、イグニッションモジュールのオフ状態、又はナビゲーション装置１のシャットダウンによる入力信号である。
（システム起動管理処理）
次に、システム起動管理処理Ｓ２について図９に従って説明する。まず、制御部３は、車両側Ｉ／Ｆ部１３を介してシフトポジション信号ＳＰＰを入力し、メインメモリ４に格納された変数である、シフトポジションＳＰを更新する（ステップＳ２−１）。そして、制御部３は、シフトポジションＳＰがリバースレンジであるか否かを判断し（ステップＳ２−２）、車両Ｃが駐車操作停止状態であるかどうかを判断する。駐車操作停止状態とは、駐車が完了した状態、又は駐車目標領域１００に向って車両Ｃが進行する過程で駐車操作をやり直す状態である。具体的には、本実施形態においては、車両Ｃの進行方向が、駐車目標領域１００に向って後退する方向と、異なる方向に変更されたとき、即ち、車両ＣのシフトポジションＳＰがリバースレンジからリバースレンジ以外になった状態を駐車操作停止状態という。

ステップＳ２−２において、制御部３が、シフトポジションＳＰが、ドライブ又はパーキングレンジ等であって、リバースレンジでないと判断した場合（ステップＳ２−２においてＮＯ）、制御部３は、システム起動フラグＦＳがオン状態であるか否かを判断する（ステップＳ２−１１）。システム起動フラグＦＳは、変換データＧ２を生成するための合成モードの起動を示すフラグであって、初期状態では「待機」を示す「０」（オフ状態）に設定されている。車両Ｃが前進している場合等には、システム起動フラグＦＳがオフ状態であるので（ステップＳ２−１１においてＮＯ）、ステップＳ５に戻り、終了トリガの入力の有無を判断する。

一方、例えば、図５に示すように、車両Ｃが駐車目標領域１００に向って後退を開始した初期位置Ａに位置する場合には、シフトポジションＳＰはリバースレンジである（ステップＳ２−２においてＹＥＳ）。このため、制御部３の制御により、画像処理部１６が、画像データ入力部１４から、初期位置Ａで撮像した画像データＧを取得し、ディスプレイ８に出力して、バックモニタ画面３３を表示する（ステップＳ２−３）。従って、車両Ｃが停車せずに後退している間は、ディスプレイ８には、現在の車両Ｃの周辺状況が反映されたバックモニタ画面３３が表示される。

そして、制御部３は、メインメモリ４に格納されたシステム起動フラグＦＳがオフ状態であるか否かを判断する（ステップＳ２−４）。システム起動フラグＦＳがオフ状態である場合には（ステップＳ２−４においてＹＥＳ）、合成モードがまだ起動していないので
、そのシステム起動フラグＦＳを「起動」を示す「１」に設定してオン状態にする（ステップＳ２−５）。そして、メインメモリ４に格納された変数である、後退距離ΔＤＭを「０」に初期化する（ステップＳ２−６）。この後退距離ΔＤＭは、車速パルスＶＰに基づいて算出され、基準位置から車両Ｃが後退した距離を示し、上記した変換データＧ２を生成するタイミングを判断するために用いられる。

さらに、制御部３の制御により、画像処理部１６は、画像データ入力部１４から、後退を開始した位置、即ち初期位置Ａで撮像した画像データＧを入力する（ステップＳ２−７）。さらに、画像処理部１６は、ステップＳ２−７で入力した画像データＧのうち、上記したように抽出領域４０を抽出して、抽出データＧ１を生成する（ステップＳ２−８）。そして、抽出データＧ１を、上記した仮想視点１０４に視点変換して、変換データＧ２を生成する（ステップＳ２−９）。

また、制御部３は、車両側Ｉ／Ｆ部１３を介して、初期位置Ａで方位検出信号ＧＲＰを入力し、メインメモリ４に格納された現在方位ＧＲを更新する。そして、初期位置Ａを示す撮像位置データ１７と、現在方位ＧＲに基づく方位データ１８とを、ステップＳ２−９で生成した変換データＧ２に添付して、画像メモリ１５に格納する（ステップＳ２−１０）。初期位置Ａでの変換データＧ２が格納されると、ステップＳ２−１に戻る。

一方、ステップＳ２−４において、システム起動フラグＦＳがオン状態であると判断された場合（ステップＳ２−４においてＮＯ）、車両Ｃが初期位置Ａから駐車目標領域１００に向って既に後退しているので、記録用画像データ入力処理Ｓ３に進む。
（記録用画像データ入力処理）
次に、記録用データ入力処理について図１０に従って説明する。制御部３は、車両側Ｉ／Ｆ部１３を介して入力した車速パルスＶＰに基づき、基準位置からの移動量Δｄを演算する（ステップＳ３−１）。ここで、基準位置とは、前回ステップＳ３−１で移動量Δｄを演算した時点の車両Ｃの位置である。

移動量Δｄを演算すると、制御部３は、上記した後退距離ΔＤＭに、ステップＳ３−１で演算した移動量Δｄを加算する（ステップＳ３−２）。さらに、制御部３は、更新した後退距離ΔＤＭが、画像記録距離Ｄ１（２００ｍｍ）以上であるか否かを判断する（ステップＳ３−３）。後退距離ΔＤＭが画像記録距離Ｄ１に到達していない場合（ステップＳ３−３においてＮＯ）、ステップ２−１に戻り、上記の処理を繰り返す。

例えば、図１３（ａ）に示すように、車両Ｃが初期位置Ａから、画像記録距離Ｄ１だけ後退した位置Ｂに到達している場合、後退距離ΔＤＭは、画像記録距離Ｄ１になっているので（ステップＳ３−３においてＹＥＳ）、制御部３の制御により、画像処理部１６は、位置Ｂで撮像した画像データＧを入力する（ステップＳ３−４）。初期位置Ａ以外の撮像位置で撮像された、記録用の画像データＧを入力すると、画像処理部１６は変換データ生成処理を行う。
（変換データ生成処理）
次に、変換データ生成処理について図１１に従って説明する。画像処理部１６は、制御部３の制御により、位置Ｂで撮像した画像データＧのうち、図１３（ｂ）に示すように、抽出領域４０を抽出して、抽出データＧ１を生成する（ステップＳ４−１）。そして、図１３（ｃ）に示すように、抽出データＧ１を、抽出領域４０に相当する路面１０２上の領域１０５の鉛直方向上方に設定された仮想視点１０６に視点変換する。これにより、抽出データＧ１の中央部を用いて、図１３（ｄ）に示す画像４１のような変換データＧ２が生成される（ステップＳ４−２）。

さらに、画像処理部１６は、制御部３から、その変換データＧ２を撮像した位置（ここ
では位置Ｂ）の自車位置と、現在方位ＧＲとを入力する（ステップＳ４−３）。そして、入力した自車位置及び現在方位ＧＲを、それぞれ撮像位置データ１７及び方位データ１８とし、変換データＧ２に添付して、変換データＧ２を画像メモリ１５に格納する（ステップＳ４−４）。

さらに、制御部３は、画像メモリ１５内に、変換データＧ２が所定数（本実施形態では９枚）以上格納されているか否かを判断する（ステップＳ４−５）。位置Ｂでの変換データＧ２を生成した際には、初期位置Ａ及び位置Ｂで生成された２枚の変換データＧ２が蓄積されているため、所定数の変換データＧ２が蓄積されていないと判断して（ステップＳ４−５においてＮＯ）、ステップＳ４−７に移る。ステップＳ４−７では、制御部３は、後退距離ΔＤＭを「０」に初期化する。後退距離ΔＤＭを初期化すると、終了トリガの有無を判断し（ステップＳ５）、終了トリガが無いと判断すると（ステップＳ５においてＮＯ）、ステップＳ２−１に戻る。

そして、車両Ｃが初期位置Ａから駐車目標領域１００に向って後退する過程で、画像記録距離Ｄ１ごとに、変換データＧ２が画像メモリ１５に蓄積されていく。車両Ｃが初期位置Ａからさらに後退し、その蓄積されたデータ数が、所定数（２４枚）になると、制御部３は、ステップＳ４−５において、所定数の変換データＧ２が蓄積されたと判断して、表示可能フラグをオン状態（「１」）にする（ステップＳ４−６）。この表示可能フラグは、所定数以上の変換データＧ２が蓄積されているか否かを示すフラグである。

そして、図５に示すように、車両Ｃが初期位置Ａから駐車目標領域１００に向って後退し、図５中、終端位置Ｌに到達したり、後退する途中で駐車をやり直す場合、運転者は、シフトポジションをリバースレンジから、ドライブレンジ又はパーキングレンジ等に切替える。このとき、ステップＳ２−２において、制御部３は、シフトポジションＳＰがリバースレンジから他のシフトポジションに切り替ったと判断する。

続いて、制御部３は、上記したように、システム起動フラグＦＳがオン状態であるか否かを判断する（ステップＳ２−１１）。終端位置Ｌに到達したり、後退する途中でシフトポジションを切替えた直後は、システム起動フラグＦＳはオン状態であるため（ステップＳ２−１１においてＹＥＳ）、ステップＳ２−１２に進む。

ステップＳ２−１２では、制御部３は、表示可能フラグがオン状態であるか否かを判断する。初期位置Ａから後退した終端位置Ｌでは、所定数（２４枚）の変換データＧ２が蓄積されているので、制御部３は、表示可能フラグがオン状態であると判断し（ステップＳ２−１２においてＹＥＳ）、俯瞰画像表示処理を行う（ステップＳ２−１３）。

この俯瞰画像表示処理について、図１２に従って説明する。制御部３は、車両側Ｉ／Ｆ部１３を介して方位検出信号ＧＲＰを入力し、現在方位ＧＲを更新する（ステップＳ５−１）。また、画像処理部１６は、画像データ入力部１４を制御して、車両Ｃの現在位置で撮像された画像データＧ（以下、現在画像データＧＰという）を入力する（ステップＳ５−２）。

さらに、画像処理部１６は、取得した現在画像データＧＰのうち、現在位置に応じた領域を抽出して、抽出した領域に応じた仮想視点に視点変換して、変換データＧＰ２を生成する（ステップＳ５−３）。この視点変換の際の仮想視点は、抽出したデータに相当する路面１０２上の領域の鉛直方向上方の位置に設定する。

そして、画像処理部１６は、更新した現在方位ＧＲに基づき、蓄積した各変換データＧ２を回転変換し、回転変換データＧ３を生成する（ステップＳ５−４）。詳述すると、画
像処理部１６は、画像メモリ１５に蓄積された変換データＧ２のうち、車両Ｃの現在位置に近い２４枚、車両Ｃの現在位置から所定距離範囲内の位置で撮像された変換データＧ２を読出す。そして、それらの変換データＧ２に添付された方位データ１８と、現在方位ＧＲとの相対角度を算出し、その相対角度に基づいた変換テーブルをＲＯＭ５からそれぞれ読出す。尚、ＲＯＭ５には、各相対角度ごとに変換テーブルがそれぞれ格納され、各変換テーブルは、アフィン変換等、公知の座標変換を行うためのテーブルである。

そして、変換データＧ２の各座標の画素値を、各変換テーブルで紐付けられた変換先の座標にマッピングする。これにより、各撮像位置でのカメラ２５の向きで撮像された変換データＧ２は、現在の車両Ｃのカメラ２５の視野で見たような画像データに回転変換される。その結果、初期位置Ａ及び位置Ｂで撮像された変換データＧ２は、図６（ｅ）及び図１３（ｅ）に示す回転変換画像４２，４３のような、回転変換データＧ３となる。

さらに、画像処理部１６は、現在画像データＧＰに基づく変換データＧＰ２と回転変換データＧ３とを、所定の順番で連続させて、俯瞰画像データＧ４を生成する（ステップＳ５−５）。本実施形態では、車両Ｃの進行方向に相当する方向（ｘ軸方向）に並べて合成する。具体的には、現在画像データＧＰを、ディスプレイ８の表示領域８ｚのうち最も下側になるように配置する。そして、現在画像データＧＰの上側に、各回転変換データＧ３を順番に並べる。このとき、各回転変換データＧ３のうち、車両Ｃの現在位置から遠い位置（比較的過去の時点）で撮像された回転変換データＧ３が、表示領域８ｚの上側になるように並べる。換言すると、現在の車両Ｃの前方周辺を撮像した回転変換データＧ３が、表示領域８ｚの上方になるように配置される。その結果、図１４の俯瞰画像４６に示すような、俯瞰画像データＧ４が生成される。この俯瞰画像データＧ４は、２００ｍｍごとに撮像及び変換された２４枚の回転変換データＧ３と、現在画像データＧＰとから構成され、車両全体を含む領域に相当する画像データとなっている。

次に、画像処理部１６は、俯瞰画像データＧ４をディスプレイ８に出力する（ステップＳ５−６）。このとき、画像処理部１６は、制御部３から入力した自車位置データに基づき、俯瞰画像データＧ４の上に、車両輪郭線３０を描画する。その結果、図１５に示すように、表示画面としての駐車確認画面４５がディスプレイ８に表示される。

俯瞰画像４６は、上記したように、表示領域８ｚのｘ軸方向の最下端に、現在位置で撮像した変換データＧＰ２に基づく現在画像４７が表示されている。また、回転変換データＧ３に基づく過去画像４９が、表示領域８ｚの上側に表示されている。また、俯瞰画像４６は、その向きが、俯瞰画像４６が表示された時の車両Ｃの進行方向と合致するように表示されている。即ち、駐車確認画面４５が表示されるとき、シフトポジションはリバースレンジからドライブレンジ等に切替えられたときであるので、車両Ｃの進行方向は、車両前方となる。また、運転者は、表示画面の上側（ｘ軸方向）が、車両Ｃの進行方向であると直感的に理解するので、俯瞰画像４６の上側を車両前方周辺の画像にして、そのときの車両Ｃの進行方向と合わせることにより、運転者が理解しやすい画面とすることができる。

また、俯瞰画像４６には、自車位置を示す車両輪郭線３０が重畳されている。これにより、運転者は、車両Ｃの駐車位置を確認できる。運転者は、この車両輪郭線３０と、俯瞰画像４６に表示された駐車目標領域１００の画像とのずれを確認して、車両Ｃが駐車目標領域１００からはみ出していないか、さらには車体が駐車目標領域１００内で真っ直ぐに駐車されているか否かを判断できる。

一方、例えば、運転者が、駐車操作を完了する前に、後退途中で駐車をやり直す場合にも、図１６に示すような駐車確認画面４５にて、駐車目標領域１００に対する自車位置を
把握することにより、前進すべき距離、舵角の取り方等の目安を付けることができる。このとき、図１６の駐車確認画面４５に表示された操作部４５ａの入力操作等により、予想軌跡線３７等を表示するようにしてもよい。

画像処理部１６は、このような駐車確認画面４５を所定時間（例えば、１０秒）又は、操作スイッチ９が操作されるまで、継続して表示する。そして、俯瞰画像表示処理を終了すると、ステップＳ２−１４に戻り、駐車確認画面４５を消去して、地図画面８ａ等の他の画面に切替える。さらに、制御部３は、各変数データを初期値にリセットし（ステップＳ２−１５）、システム起動フラグＦＳをオフ状態にする（ステップＳ２−１６）。そして、ステップＳ２−１に戻る。

そして、シフトポジションＳＰがリバースレンジでなく（ステップＳ２−２においてＮＯ）、システム起動フラグＳＦがオフ状態であると判断すると（ステップＳ２−１１においてＮＯ）、制御部３は、上記したように、イグニッションモジュールのオフ等の終了トリガを入力したか否かを判断する（Ｓ５）。例えば、駐車確認画面４５で駐車位置を確認して、駐車をやり直す場合（Ｓ５においてＮＯ）、終了トリガを入力しないので、ステップＳ２−１に戻り、上記した処理を繰り返す。駐車を完了し、終了トリガを入力した場合（Ｓ５においてＹＥＳ）には、そのまま処理を終了する。

上記実施形態によれば、以下のような効果を得ることができる。
（１）上記実施形態では、ナビゲーション装置１の制御部３は、車両側Ｉ／Ｆ部１３を介して、車速センサ２０、ジャイロ２１、ニュートラルスタートスイッチ２２及びステアリング舵角センサ２３から各種車両信号を入力するようにした。また、制御部３は、画像データ入力部１４を介して、車両Ｃに設けられたカメラ２５から画像データＧを取得するようにした。さらに、その画像データＧを画像処理して変換データＧ２を生成する画像処理部１６と、変換データＧ２に撮像位置データ１７及び方位データ１８を添付して格納する画像メモリ１５を備えるようにした。さらに、画像処理部１６により、各変換データＧ２及び現在画像データＧＰを用いて俯瞰画像データＧ４を生成するようにした。また、制御部３により、車両ＣのシフトポジションＳＰがリバースレンジから他のレンジに切替えられたと判断された際に、画像処理部１６により、俯瞰画像データＧ４を生成し、俯瞰画像データＧ４及び車両Ｃの現在位置を示す車両輪郭線３０を出力して、駐車確認画面４５をディスプレイ８に表示するようにした。このため、車両Ｃが後退している間はバックモニタ画面３３を表示し、駐車操作をやり直す場合等に、的確なタイミングで、車体と駐車目標領域１００との相対位置等を把握可能な駐車確認画面４５を表示できる。また、駐車が完了した時点で駐車確認画面４５を表示するので、降車することなく、車体と駐車目標領域１００とのずれが大きいか否か、車体が駐車目標領域１００内に真っ直ぐに駐車されているか等の最終確認を行うことができる。従って、駐車操作中において、ディスプレイ８を見ない運転者、バックモニタ画面３３のみを見る運転者にとっても、利便性が高いナビゲーション装置１を提供できる。

（２）上記実施形態では、画像処理部１６は、各回転変換データＧ３を、車両Ｃの進行方向と平行に並べて俯瞰画像データＧ４を生成するようにした。このため、車両Ｃが駐車目標領域１００に向って移動する際に、各撮像位置で撮像された変換データＧ２を並べる合成処理により、連続性のある画像を生成できるので、合成処理の複雑化を抑制できる。

（３）上記実施形態では、画像処理部１６は、車両Ｃの前方にあたる領域が、ディスプレイ８の表示領域８ｚの上方になるように俯瞰画像データＧ４を生成した。そして、その俯瞰画像データＧ４に基づく俯瞰画像４６を、シフトポジションＳＰがリバースレンジから他のレンジに切替えられ、車両Ｃの進行方向が変更されたタイミングで出力するようにした。従って、俯瞰画像４６が表示されたとき、その俯瞰画像４６の向きが、車両Ｃの進
行方向（前進方向）に合致するので、運転者が見て直感的に理解できる画面を表示できる。

（４）上記実施形態では、画像処理部１６は、現在の車両Ｃの車体全体を含む領域を構成する各変換データＧ２を用いて俯瞰画像データＧ４を生成するようにした。このため、車両Ｃ全体を含む領域の路面１０２を俯瞰した俯瞰画像４６を表示することができるので、駐車目標領域１００と車体全体との相対位置及び相対方向とを把握することができる。

（５）上記実施形態では、視点変換する仮想視点１０４，１０６を、画像データＧの抽出領域４０が相当する路面１０２の領域１０３，１０５の鉛直方向上方であって、カメラ高さに設定した。このため、路面１０２の領域１０３，１０５を俯瞰したような過去画像４９にすることができ、俯瞰画像データＧ４がディスプレイ８に表示された際に、過去画像４９の連続性、見やすさを向上できる。

（６）上記実施形態では、抽出データＧ１を生成するための画像データＧの抽出領域４０を、画像データＧの中央部に設定した。このため、例えば、カメラ２５に広角レンズを搭載し、画像データＧのうち周辺部が歪んでいる場合に、歪みが少なく、且つ、車両Ｃから比較的近い領域を撮像した範囲を用いることができる。このため、駐車確認画面４５に、比較的鮮明な画像を表示できる。

（７）上記実施形態では、画像処理部１６は、制御部３の制御に基づき、車両Ｃの後退中、画像記録距離Ｄ１ごとに設定された各地点に到達するたびに、各地点で撮像された画像データＧを、変換データＧ２として画像メモリ１５に格納するようにした。従って、予め変換データＧ２を生成しておくので、シフトポジションＳＰが切替えられたと判断された際に、直ぐに俯瞰画像データＧ４を出力できる。

（８）上記実施形態では、駐車支援装置を、ディスプレイ８及び車両側Ｉ／Ｆ部１３を備えるナビゲーション装置１に具体化した。このため、ナビゲーション装置１が具備する各装置を有効利用し、比較的精度の高い撮像位置データ１７等が添付された変換データＧ２を画像メモリ１５内に蓄積することができる。このため、俯瞰画像４６を連続性の良い画像にすることができる。

尚、本実施形態は以下のように変更してもよい。
・上記実施形態では、シフトポジションＳＰがリバースレンジである間、バックモニタ画面３３を表示するようにしたが、各撮像地点で撮像した各画像データＧを用いた合成画面を表示するようにしてもよい。このとき表示される合成画面としては、現在画像データＧＰを画像処理した画面でもよく、各撮像地点で撮像した画像データＧと現在画像データＧＰとを合成した画面でもよい。例えば、図２２に示すように、車両Ｃの後方端部（リヤ部）周辺を俯瞰した俯瞰合成画面５０でも良い。この俯瞰合成画面５０は、画像処理部１６等により、各撮像地点で撮像した上記各変換データＧ２に基づく過去画像５１と、上記現在画像データＧＰの所定領域分に基づく現在画像５２とが連続するように合成されている。例えば、上記したように、変換データＧ２は、各撮像地点で撮像した画像データＧの所定領域を抽出し、俯瞰変換したデータであって、路面の略２００ｍｍに相当している。また、各変換データＧ２は画像メモリ１５に蓄積される。画像処理部１６は、俯瞰合成画面５０を表示するトリガを入力すると、変換データＧ２に関連付けられた撮像位置データ１７に基づき現在の車両Ｃの後方端部周辺に相当する各変換データＧ２を所定枚数（例えば５枚）読み出す。また、読み出した各変換データＧ２を、方位データ１８等に基づいて現在の方位又は舵角に合わせて回転変換する。さらに、画像処理部１６は、現在画像データＧＰのうち車両側の数ｍ（例えば４ｍ）分の領域を抽出し、この抽出した現在画像データＧＰと各変換データＧ２とを連続して合成し、画像出力データを生成する。即ち、駐車
確認画面４５に比べ、俯瞰合成画面５０は、現在画像５２の表示範囲を拡大した画像になっている。

変換データＧ２に基づく過去画像５１は、路面の約１ｍ分に相当する画像になっている。また、この過去画像５１は、現在のカメラ２５の死角の領域に相当する。現在画像データＧＰに基づく現在画像５２は、現在の車両後方の周辺状況を反映した画像である。このため、歩行者や自転車等の移動体が車両後方に進入し、カメラ２５の撮像範囲Ｚに入る場合には、図中破線で示す移動体５４が現在画像５２に表示される。このような俯瞰合成画面５０を表示すると、車両Ｃが駐車目標領域に向かって後退するときに、例えばカメラ２５の死角に入った白線等も過去画像５１により表示できるので、駐車目標領域と車両Ｃとのずれを確認しながら駐車操作を行うことができる。また、俯瞰合成画面５０は、駐車が完了したときに表示される駐車確認画面４５に比べ、現在画像５２（現在画像データＧＰ）が占有する割合を拡大しているため、車両後方周辺の障害物をより広い範囲で確認することができる。そして、シフトポジションＳＰがリバースであるときには、俯瞰合成画面５０が表示され、シフトポジションＳＰがリバース以外のレンジになった際に、俯瞰合成画面５０から駐車確認画面４５に切り替える。このとき、俯瞰合成画面５０を、駐車完了時に表示される駐車確認画面４５と同じ俯瞰画像にすることで、画面切替時に運転者に違和感を感じさせないようにすることができる。

また、駐車確認画面４５が表示されている間、車両Ｃの周辺に移動体が進入した際に、俯瞰合成画面５０、その他の合成画面又はバックモニタ画面３３を表示するようにしてもよい。例えば、図２３に示すように、少なくとも車両Ｃの後端に、後退方向（前進して駐車する場合は前進方向）にある障害物を検出するレーダ、ソナー等のセンサ５５を設けてもよい。センサ５５（又は制御部３）は、障害物が検出された場合、その障害物との相対距離を測定し、移動体検出手段としての制御部３にその相対距離を出力する。制御部３は、センサ５５から所定のサンプリング間隔毎に相対距離を入力し、相対距離の変化をモニタする。そして、駐車した車両Ｃと障害物との相対距離が変化すると、その障害物を歩行者等の移動体であると判断する。このように車両Ｃの後退方向（又は前進方向）に移動体５４があると判断すると、制御部３の主制御に基づき、画像切換手段としての画像処理部１６及び画像出力部１９は、そのときディスプレイ８に表示されていた駐車確認画面４５から、俯瞰合成画面５０、その他の合成画面又はバックモニタ画面３３に切り換える。このようにすると、移動体５４が車両周辺に進入した際に、現在の車両周辺状況を反映した画像をディスプレイ８に表示することができるので、運転者の注意を喚起することができる。また、移動体５４が現在のカメラ２５の撮像範囲Ｚ内にある場合には、俯瞰合成画面５０に移動体５４が表示されるので、移動体５４の位置を把握することができる。またこの場合、移動体５４が車両周辺に進入した場合、俯瞰合成画面５０に、移動体が進入したことを示す案内を表示してもよいし、スピーカ１２から警告音を出力するようにしてもよい。

・上記実施形態では、制御部３は、車両側Ｉ／Ｆ部１３を介して、ニュートラルスタートスイッチ２２から、シフトポジション信号ＳＰＰを入力するようにしたが、トランスミッションＥＣＵ等、その他の装置から入力するようにしてもよい。又は、制御部３が、車速パルスＶＰの波形に基づいて、シフトポジションＳＰがリバースレンジであるか否かを判断するようにしてもよい。

・車両輪郭線３０は、車両Ｃの大きさを表す矩形状等、その他の形状でもよい。又は、車体の前方及び後方を判別可能な指標をさらに追加してもよい。
・上記実施形態では、駐車操作停止状態を、シフトポジションＳＰがリバースレンジから他のレンジになったときに設定して、俯瞰画像表示処理を行うようにしたが、これ以外にの車両状況のときに駐車操作停止状態であると判断してもよい。例えば、後退を示す車
速パルスＶＰを入力が無くなったときに駐車操作停止状態であると判断してもよい。若しくは、車両Ｃの後退中に、車両ＣのＡＢＳ（Antilock brake system）から入力した信号
に基づき、車両Ｃにブレーキがかけられたと判断し、その状態が所定時間継続した場合、又は車速パルスＶＰにより車両Ｃが所定時間停車していると判断した場合等に、駐車操作停止状態であると判断するようにしてもよい。若しくは、それらの状況において、ディスプレイ８に表示された操作部が入力操作された場合に、俯瞰画像表示処理を行うようにしてもよい。若しくは、ナビゲーション装置１又は別設の車載装置に備えられた、駐車枠（白線）認識システムにより、車両Ｃ全体が駐車枠内に完全に進入した場合に、駐車操作停止状態であると判断してもよい。若しくは、運転者等が予め登録した位置に車両Ｃが到達した際に、駐車操作停止状態であると判断してもよい。

・上記実施形態では、画像処理部１６は、抽出データＧ１のうち、中央部を用いて変換データＧ２を作成するようにしたが、全領域を用いるようにしてもよい。そして、俯瞰画像データＧ４を生成する際に、回転変換データＧ３のうち中央部のみを用いるようにしてもよい。

・上記実施形態では、路面の５００ｍｍの領域１０３，１０５に相当する抽出データＧ１のうち、中央部のみを用いて、路面の略２００ｍｍに相当する領域を俯瞰した変換データＧ２を用いるようにした。これ以外に、画像処理部１６により、画像データＧのうち、路面の２００ｍｍに相当する領域（俯瞰画像４６に用いる領域）のみを抽出データＧ１として抽出するようにしてもよい。

・上記実施形態では、画像記録距離Ｄ１を２００ｍｍにしたが、例えば、８０ｍｍ等の２００ｍｍよりも短い距離、３００ｍｍ等の２００ｍｍよりも長い距離にしてもよい。
・上記実施形態では、画像データＧのうち、路面の５００ｍｍの領域１０３，１０５に相当する抽出領域４０を抽出して抽出データＧ１を作成したが、抽出領域４０の高さを拡大又は縮小してもよい。例えば、図１７に示すように、駐車確認画面４５を１０分割し、９枚の回転変換データＧ３と、現在画像データＧＰとから構成してもよい。この場合、画像記録距離Ｄ１を２００ｍｍではなく、５００ｍｍ等の比較的長い距離に変更してもよい。また、逆に、１９枚よりも多い回転変換データＧ３を用いて、２５分割以上の駐車確認画面４５を生成するようにしてもよい。

・上記実施形態では、現在画像データＧＰを用いずに、各変換データＧ２のみを用いて、車両全体を俯瞰した俯瞰画像データＧ４を生成し、現在画像４７を含まない駐車確認画面４５をディスプレイ８に表示するようにしてもよい。例えば、画像記録距離Ｄ１が短い場合等には、現在画像データＧＰを用いなくても、車両Ｃ全体の領域を含む俯瞰画像４６を生成することができる。

・上記実施形態では、車両Ｃが画像記録距離Ｄ１進む度に、画像データＧを入力し、抽出データＧ１の生成及び変換データＧ２の生成を逐次行うようにした。これを、シフトポジションＳＰがリバースレンジ以外になったとき等に、蓄積した各画像データＧを用いた抽出データＧ１の生成及び変換データＧ２の生成を一度に行うようにしてもよい。例えば、撮像位置データ１７及び方位データ１８を、画像データ入力部１４が取得した画像データＧに添付し、その画像データＧを記録画像データとして画像メモリ１５に蓄積するようにしてもよい。そして、シフトポジションＳＰがリバースレンジ以外になったとき等、駐車操作停止状態になったとき、画像処理部１６が、所定数の各画像データＧを読出して、抽出データＧ１、変換データＧ２の生成、及び回転変換を一度に行うようにしてもよい。

・上記実施形態では、画像処理部１６は、画像データＧを抽出して抽出データＧ１を生成し、その抽出データＧ１を視点変換するようにしたが、画像データＧを視点変換した後
、一部分を抽出するようにしてもよい。

・上記実施形態では、仮想視点１０４を、抽出領域４０に相当する路面上の領域１０３，１０５の鉛直方向上方であって、カメラ２５高さと同じ位置に設定するようにしたが、車両Ｃのルーフよりも高い位置等、他の位置に設定してもよい。

・上記実施形態では、シフトポジションＳＰが、リバースレンジ以外のレンジであって、且つ表示可能フラグがオン状態である場合に、そのときの現在方位ＧＲに合わせて各変換データＧ２を回転変換したが、これ以外の方位に合わせてもよい。例えば、ナビゲーション装置１が、駐車目標領域１００の位置及び方向を認識し、駐車目標領域１００の向きに合わせて、各変換データＧ２を回転変換してもよい。駐車目標領域１００の向きの認識方法としては、運転者のディスプレイ８上での手動設定、又は、ナビゲーション装置１に備えられる駐車枠（白線）認識システムによる認識等を用いることができる。

・上記実施形態では、回転変換のために、方位データ１８を変換データＧ２に添付するようにしたが、図１８に示すように、舵角データ１８ａを添付するようにしてもよい。この場合、ナビゲーション装置１が、駐車を完了又は一時休止した（駐車操作停止状態）と判断したときの舵角と、各変換データＧ２に添付された舵角データ１８ａとの相対角度に基づき、それらの変換データＧ２を回転変換する。

・上記実施形態では、車両Ｃの前方が、表示領域８ｚの上側となるように各変換データＧ２を配置したが、表示領域８ｚの下側となるように配置してもよい。例えば、前向き駐車の場合には、車両Ｃの前方が表示領域８ｚの下側、車両Ｃの後方が表示領域８ｚの上側になるように配置する。

・上記実施形態では、車両Ｃの現在位置に近い９枚の変換データＧ２を用いて、俯瞰画像データＧ４を生成するようにしたが、新しく格納された側から９枚の変換データＧ２を読出すようにしてもよい。

・上記実施形態では、駐車確認画面４５に、車体全体を含めるようにしたが、一部分だけ含めるようにしてもよい。例えば、図１９に示すように、車両Ｃの後端部に相当する回転変換データＧ３と、現在画像データＧＰとにより俯瞰画像データＧ４を構成するようにしてもよい。このとき、用いる変換データＧ２の数は、いくつでもよい。この場合、車両Ｃが後退している際等、駐車操作停止状態でない場合に表示される画面は、バックモニタ画面３３等、図１９に示す駐車確認画面４５よりも現在画像データＧＰに基づく画像が占有する割合が大きい画面である。

・上記実施形態では、現在画像データＧＰの抽出領域を大きくし、図２０に示すように、現在画像データＧＰに基づく現在画像４７の表示範囲を大きくしてもよい。このとき、現在画像データＧＰの抽出領域を、リヤバンパーＲＢを撮像した後端画像３５を含めるように設定してもよい。そして、車両Ｃの現在位置に最も近い撮像位置で撮像された画像データＧのうち、現在位置でのカメラ２５の死角領域であるリヤバンパーＲＢの隅部ＢＣを補完するような範囲を抽出して、変換データＧ２を生成してもよい。この場合、車両Ｃが後退している際等、駐車操作停止状態でない場合に表示される画面は、バックモニタ画面３３等、図２０に示す駐車確認画面４５よりも、現在画像データＧＰに基づく画像が占有する割合が大きい画面である。

・上記実施形態では、図２０に示すように、回転変換データＧ３に基づく過去画像４９を、現在画像４７と識別可能なように、回転変換データＧ３の色調、模様及び明度のうち、少なくとも１つを、現在画像データＧＰと異なるように加工してもよい。

・上記実施形態では、駐車操作停止状態のときに駐車確認画面４５を表示するモードを、ユーザのタッチパネル、操作スイッチ９等の操作によって、選択可能にしてもよい。
・上記実施形態では、ディスプレイ８の表示領域８ｚ全体に俯瞰画像４６を表示するようにしたが、表示領域８ｚ内の一部の領域に表示するようにしてもよい。例えば、図２１（ａ）に示すように、表示領域８ｚの約半分の領域に、俯瞰画像４６を表示し、他方の半分の領域に、地図画面８ａを表示するようにしてもよい。又は、図２１（ｂ）に示すように、表示領域８ｚの約半分の領域に、俯瞰画像４６を表示し、他方の半分の領域に、バックモニタ画面３３を表示するようにしてもよい。

・上記実施形態では、駐車操作をやり直す場合等、シフトポジションＳＰがリバースレンジからドライブレンジ等に切替えられたとき、画像メモリ１５に蓄積された変換データＧ２を消去するようにしてもよい。又は、リバースレンジからドライブレンジに切替えた後、再度リバースレンジに切替えた場合には、画像メモリ１５に蓄積された変換データＧ２を再利用するようにしてもよい。このとき、変換データＧ２に添付された撮像位置データ１７及び方位データ１８に基づいて、変換データＧ２を現在のカメラ２５に合わせて座標変換する。

・上記実施形態では、カメラ２５は、車両Ｃの後方でなく、フロントバンパーの上方等、車両Ｃの前端に取り付けられてもよい。この場合、車両Ｃが前方から駐車目標領域１００に進入したとき、画像記録距離Ｄ１ごとに画像データＧを取得し、俯瞰画像データＧ４を生成する。そして、上記したように、白線認識や、タッチパネルの操作等、各方法により、制御部３が駐車操作停止状態であると判断した際に、駐車確認画面４５を表示する。

・上記実施形態では、ナビゲーション装置１が、車両Ｃの方位を検出するジャイロセンサを具備していてもよい。
・上記実施形態では、駐車支援装置を、ナビゲーション装置１に具体化したが、その他の車載装置に具体化してもよい。

本実施形態のナビゲーション装置の構成を説明するブロック図。 カメラの取付位置を説明する説明図。 車両輪郭線の説明図。 バックモニタ画面の説明図。 車両の駐車目標領域への後退を説明する説明図。 （ａ）は初期位置の車両、（ｂ）は画像データ、（ｃ）は視点変換処理、（ｄ）は変換データ、（ｅ）は回転変換データの説明図。 画像メモリに格納される変換データの説明図。 本実施形態の処理手順の説明図。 本実施形態の処理手順の説明図。 本実施形態の処理手順の説明図。 本実施形態の処理手順の説明図。 本実施形態の処理手順の説明図。 （ａ）は位置Ｂの車両、（ｂ）は画像データ、（ｃ）は視点変換処理、（ｄ）は変換データ、（ｅ）は回転変換データの説明図。 俯瞰画像データの説明図。 駐車確認画面の説明図。 駐車確認画面の説明図。 別例の駐車確認画面の説明図。 別例の変換データの説明図。 別例の駐車確認画面の説明図。 別例の駐車確認画面の説明図。 （ａ）は地図画面、（ｂ）はバックモニタ画面を併せて表示した別例の駐車確認画面の説明図。 別例の俯瞰合成画面の説明図。 別例の障害物を検出するセンサの取り付け位置の説明図。

符号の説明

１…駐車支援装置としてのナビゲーション装置、３…車両状況判断手段、移動体検出手段としての制御部、８…表示手段としてのディスプレイ、８ｚ…表示領域、１３…車両情報入力手段としての車両側Ｉ／Ｆ部、１４…画像データ取得手段としての画像データ取得部、１５…画像データ記憶手段としての画像メモリ、１６…第１画像処理手段、第２画像処理手段、画像出力手段、合成データ生成手段、画像切換手段、出力データ生成手段としての画像処理部、１７…位置データとしての撮像位置データ、１８…方位データ、１８ａ…舵角データ、１９…画像出力手段及び画像切換手段としての画像出力部、２５…撮像装置としてのカメラ、３０…指標としての車両輪郭線、４０…所定領域としての抽出領域、４５…表示画面としての駐車確認画面、５４…移動体、１００…駐車目標領域、１０２…路面、１０３，１０５…領域、１０４，１０６…仮想視点、ＢＭ…中央部、Ｃ…車両、Ｇ，Ｇ５…記録画像データとしての画像データ、Ｇ１…抽出データ、Ｇ２，ＧＰ２…変換データ、Ｇ４…画像出力データとしての俯瞰画像データ、ＧＰ…現在画像データ、ＧＲＰ…車両情報としての方位検出信号、ＳＴＰ…車両情報としてのステアリングセンサ信号、ＳＰＰ…車両情報としてのシフトポジション信号、ＶＰ…車両情報としての車速パルス。

Claims (16)

1. 車両に設けられた撮像装置から取得した画像データを蓄積する画像データ記憶手段と、前記画像データを画像処理する画像処理手段と、前記画像データに基づく画像を表示する表示手段とを用いて、駐車操作を支援する駐車支援方法において、
   前記車両が駐車操作停止状態であるときに、前記画像データ記憶手段に蓄積された前記画像データを用いて、前記画像処理手段により現在の車両位置周辺を俯瞰した俯瞰画像データを生成し、前記俯瞰画像データと、前記車両の現在位置を示す指標とを前記表示手段に表示することを特徴とする駐車支援方法。
2. 車両に搭載された駐車支援装置において、
   前記車両の車両情報を入力し、前記車両が駐車操作停止状態であるか否かを判断する車両状況判断手段と、
   前記車両に設けられた撮像装置から画像データを取得する画像データ取得手段と、
   前記画像データを画像処理した変換データを生成する第１画像処理手段と、
   前記変換データを蓄積する画像データ記憶手段と、
   前記画像データ記憶手段に蓄積された前記各変換データを用いて、現在の車両周辺を俯瞰した俯瞰画像データを生成する第２画像処理手段と、
   前記車両状況判断手段が前記駐車操作停止状態であると判断したときに、前記俯瞰画像データと、前記車両の現在位置を示す指標とを表示手段に表示する画像出力手段と
   を備えたことを特徴とする駐車支援装置。
3. 車両に搭載された駐車支援装置において、
   前記車両の車両情報を入力し、前記車両が駐車操作停止状態であるか否かを判断する車両状況判断手段と、
   前記車両に設けられた撮像装置から画像データを取得する画像データ取得手段と、
   前記画像データを蓄積する画像データ記憶手段と、
   前記画像データを画像処理した変換データを生成する第１画像処理手段と、
   前記各変換データを用いて、現在の車両周辺を俯瞰した俯瞰画像データを生成する第２画像処理手段と、
   前記車両状況判断手段が前記駐車操作停止状態であると判断したときに、前記俯瞰画像データと、前記車両の現在位置を示す指標とを表示手段に表示する画像出力手段と
   を備えたことを特徴とする駐車支援装置。
4. 請求項２又は３に記載の駐車支援装置において、
   前記画像出力手段は、前記俯瞰画像データのうち、現在の前記車両の進行方向にあたる領域を、前記表示手段の表示画面の上側に出力することを特徴とする駐車支援装置。
5. 請求項２〜４のいずれか１項に記載の駐車支援装置において、
   前記車両状況判断手段は、前記車両情報に基づき、前記車両の進行方向が、駐車目標領域に向って移動する方向から、異なる方向に変更された場合に、前記駐車操作停止状態であると判断することを特徴とする駐車支援装置。
6. 請求項２〜５のいずれか１項に記載の駐車支援装置において、
   前記車両状況判断手段は、前記車両情報に基づき、前記車両が、駐車過程において、所定時間停車していると判断した場合に、前記駐車操作停止状態であると判断することを特徴とする駐車支援装置。
7. 請求項２〜６のいずれか１項に記載の駐車支援装置において、
   前記第２画像処理手段は、前記各変換データを、前記車両の進行方向に相当する方向に
   並べて合成することを特徴とする駐車支援装置。
8. 請求項２〜７のいずれか１項に記載の駐車支援装置において、
   前記第２画像処理手段は、前記各変換データを用いて、前記車両全体を含む領域に相当する前記俯瞰画像データを生成することを特徴とする駐車支援装置。
9. 請求項２〜８のいずれか１項に記載の駐車支援装置において、
   前記第１画像処理手段は、前記画像データのうち所定領域を抽出した抽出データを生成し、前記抽出データに相当する路面上の領域の上方に設定された仮想視点に視点変換することを特徴とする駐車支援装置。
10. 請求項２〜９のいずれか１項に記載の駐車支援装置において、
    前記第２画像処理手段は、前記車両の現在位置で取得した現在画像データと、蓄積した前記変換データとを用いて、前記俯瞰画像データを生成することを特徴とする駐車支援装置。
11. 請求項２〜１０のいずれか１項に記載の駐車支援装置において、
    前記画像データ記憶手段は、前記変換データ又は前記画像データに、その変換データ又は画像データを撮像した位置での方位データ又は舵角データを添付するとともに、
    前記画像処理手段は、添付された前記方位データ又は前記舵角データと、前記駐車操作停止状態となった位置での方位又は舵角とに基づいて、前記変換データ又は前記画像データを回転変換することを特徴とする駐車支援装置。
12. 請求項２〜１１のいずれか１項に記載の駐車支援装置において、
    前記第１画像処理手段は、前記画像データのうち、前記車両の進行方向に相当する方向において中央部を抽出することを特徴とする駐車支援装置。
13. 請求項２〜１２のいずれか１項に記載の駐車支援装置において、
    前記画像データ取得手段は、前記車両が各撮像地点に到達するたびに、前記撮像装置から前記画像データを取得して、前記画像データ記憶手段に格納することを特徴とする駐車支援装置。
14. 車両に搭載された駐車支援装置において、
    前記車両の車両情報を入力し、前記車両が駐車操作停止状態であるか否かを判断する車両状況判断手段と、
    前記車両に設けられた撮像装置から画像データを取得する画像データ取得手段と、
    前記画像データを画像処理した変換データを生成する第１画像処理手段と、
    前記変換データを蓄積する画像データ記憶手段と、
    前記画像データ記憶手段に蓄積され、現在の前記撮像装置の死角に相当する領域を撮像した前記変換データと、前記車両の現在位置で取得した現在画像データとを用いて、前記車両の後端部及び車両後方周辺を含む合成データを生成する合成データ生成手段と、
    前記画像データ記憶手段に蓄積された前記変換データを用いて、現在位置の前記車両全体を含む領域を俯瞰し、前記合成データよりも前記現在画像データの占有率が低い俯瞰画像データを生成する第２画像処理手段と、
    前記車両状況判断手段が前記駐車操作停止状態でないと判断したときに、前記合成データに基づく画像を表示手段に表示し、前記車両状況判断手段が前記駐車操作停止状態であると判断したときに、前記俯瞰画像データに基づく前記車両全体を俯瞰した画像と、前記車両の現在位置を示す指標とを前記表示手段に出力する画像出力手段と
    を備えたことを特徴とする駐車支援装置。
15. 車両に搭載された駐車支援装置において、
    前記車両の車両情報を入力し、前記車両が駐車操作停止状態であるか否かを判断する車両状況判断手段と、
    前記車両に設けられた撮像装置から画像データを取得する画像データ取得手段と、
    前記画像データを画像処理した変換データを生成する第１画像処理手段と、
    前記変換データを蓄積する画像データ記憶手段と、
    前記画像データ記憶手段に蓄積され、現在の前記撮像装置の死角に相当する領域を撮像した前記変換データと、前記車両の現在位置で取得した現在画像データとを用いて、前記車両の後端部及び車両後方周辺を含む合成データを生成する合成データ生成手段と、
    前記画像データ記憶手段に蓄積された前記変換データを用いて、現在位置の前記車両全体を含む領域を俯瞰し、前記合成データよりも前記現在画像データの占有率が低い俯瞰画像データを生成する第２画像処理手段と、
    前記車両周辺の移動体を検出する移動体検出手段と、
    前記車両状況判断手段が前記駐車操作停止状態であると判断したときに、前記俯瞰画像データに基づく前記車両全体を俯瞰した画像と、前記車両の現在位置を示す指標とを表示手段に出力する画像出力手段と、
    前記俯瞰画像データに基づく画像及び前記指標を前記表示手段に表示している際に、前記移動体検出手段により移動体が検出された場合に、前記合成データを前記表示手段に出力する画像切換手段と
    を備えたことを特徴とする駐車支援装置。
16. 車両に搭載された駐車支援装置において、
    前記車両の車両情報を入力し、前記車両が駐車操作停止状態であるか否かを判断する車両状況判断手段と、
    前記車両に設けられた撮像装置から画像データを取得する画像データ取得手段と、
    前記画像データを画像処理した変換データを生成する第１画像処理手段と、
    前記変換データを蓄積する画像データ記憶手段と、
    前記画像データ記憶手段に蓄積された前記変換データ及び前記車両の現在位置で取得した現在画像データのうち少なくとも一方を用いて、現在の前記撮像装置の死角に相当する領域の画像を表示する画像出力データを生成する出力データ生成手段と、
    前記出力データを表示手段に出力して、前記画像出力データに基づく画像を表示する画像出力手段とを備えるとともに、
    前記出力データ生成手段は、前記車両状況判断手段が前記駐車操作停止状態であると判断したときに、現在位置の前記車両全体を含む領域を俯瞰する前記画像出力データを生成し、前記車両状況判断手段が前記駐車操作停止状態でないと判断したときに、前記駐車操作停止状態の際に生成される前記画像出力データよりも前記現在画像データの占有率が大きい前記画像出力データを生成することを特徴とする駐車支援装置。
    

Images