JP2007183877A - 車両用運転支援装置及び俯瞰映像の表示方法 - Google Patents

Abstract

【課題】切り返し操作が必要な駐車シーンなどにおいても最適な表示形態で俯瞰映像を表示して、運転者の運転操作を適切に支援できるようにする。
【解決手段】画像処理装置１０の制御部１７が、自車が駐車態勢に入ったと推定できる何らかのトリガを検出したときに、俯瞰映像作成部１５の処理を第１俯瞰映像作成手段による処理から第２俯瞰映像作成手段による処理へと切り替えて、表示装置５に表示される俯瞰映像を、自車ＣＧが画面中央に固定されて車両周囲映像が自車の移動に伴い変化する表示形態の第１俯瞰映像から、車両周囲映像が画面上で固定されて自車ＣＧの位置が自車の移動に伴い変化する表示形態の第２俯瞰映像へと切り替える。
【選択図】図３

Description

本発明は、車両周囲の様子を運転者に認識させるための俯瞰映像を表示装置に表示して運転者の運転操作を支援する車両用運転支援装置及び俯瞰映像の表示方法に関する。

従来、車両の死角領域の視界を確保して運転者の運転操作を支援する目的で、車両に搭載された複数の車載カメラで車両周囲の映像を撮影し、これら複数の車載カメラで撮影された映像を車両上方の仮想視点から見下ろした映像に視点変換して繋ぎ合わせるとともに、車両を表すコンピュータグラフィックス等の仮想自車画像を重畳して、車両周囲の様子を運転者に認識させるための１つの俯瞰映像として車室内の表示装置に表示する技術が提案されている（例えば、特許文献１等を参照。）。

このような俯瞰映像は、あたかも車両の周囲の様子を上空から撮影したような映像として表示装置に表示され、地面上の白線や縁石などと自車両との位置関係が客観的に表現されるため、例えば、目標とする駐車スペースに合わせて駐車する場合や縁石に幅寄せをするようなシーンにおいて、運転者の運転操作を支援する上で非常に有効な映像である。
特開２００１−３３９７１６号公報

しかしながら、特許文献１に記載されている技術をはじめ、この種の俯瞰映像を表示して運転者の運転操作を支援する従来の技術では、コンピュータグラフィックス等の仮想自車画像を常に画面の中央に固定し、車両が移動すると、その車両の移動に伴って車両周囲の映像が変化する表示形態で俯瞰映像を表示するようにしているため、例えば、切り返し操作が必要な駐車シーンなどでは、切り返し操作を行っている間に目標とする駐車スペースの画面上の位置が大きく変動したり、また、目標とする駐車スペースが画面から外れて見えなくなる場合もあり、運転者の運転操作を適切に支援できない場合があった。

本発明は、以上のような従来の実情に鑑みて創案されたものであって、切り返し操作が必要な駐車シーンなどにおいても、最適な表示形態で俯瞰映像を表示して、運転者の運転操作を適切に支援することができる車両用運転支援装置及び俯瞰映像の表示方法を提供することを目的としている。

本発明は、前記目的を達成するために、仮想自車画像が画面中央に固定されて車両周囲映像が車両の移動に伴い変化する表示形態の第１俯瞰映像と、車両周囲映像が画面上で固定されて仮想自車画像の位置が車両の移動に伴い変化する表示形態の第２俯瞰映像とを、そのときの状況などに応じて選択的に切り替えながら表示装置に表示するようにした。

本発明によれば、例えば、車両駐車時には車両周囲映像が画面上で固定されて仮想自車画像の位置が車両の移動に伴い変化する表示形態の第２俯瞰映像を表示装置に表示するなど、状況に応じて最適な表示形態の俯瞰映像を表示装置に表示できるので、運転者の運転操作を適切に支援することができる。

以下、本発明の具体的な実施形態について、図面を参照しながら詳細に説明する。

本実施形態の車両用運転支援装置は、当該装置が搭載される車両（以下、自車と呼ぶ。）の前方、後方、左右両側方の各領域の映像を４つの車載カメラでそれぞれ撮影し、これら４つの車載カメラで撮影された映像を自車上方の仮想視点から見下ろした映像に視点変換するとともに繋ぎ合わせて、この繋ぎ合わせた映像（車両周囲映像）にコンピュータグラフィックス等で作成された自車を表す画像（仮想自車画像）を重畳して、自車周囲の様子を運転者に認識させるための１つの俯瞰映像として表示するものである。

この種の車両用運転支援装置では、これまで、自車を表す仮想自車画像を画面中央に固定し、車載カメラの映像を加工して生成した車両周囲映像を、自車の移動に伴い変化させる表示形態で俯瞰映像を表示するものが一般的であるが、本実施形態の車両用運転支援装置では、以上のような表示形態の俯瞰映像（以下、第１俯瞰映像と呼ぶ。）を表示している間に、自車が駐車態勢に入ったと推定できる何らかのトリガを検出したときに、車両周囲映像を表示画面上で固定し、仮想自車画像の位置が自車の移動に伴い変化する表示形態の俯瞰映像（以下、第２俯瞰映像と呼ぶ。）を表示することで、自車の駐車時における運転者の運転操作をより適切に支援できるようにした点に大きな特徴を有する。

［装置構成］
図１は、本発明を適用した車両用運転支援装置の概略構成を示すブロック図である。本実施形態の車両用運転支援装置は、図１に示すように、フロントカメラ１、リアカメラ２、右サイドカメラ３、左サイドカメラ４の４つの車載カメラが画像処理装置１０の入力側に接続され、この画像処理装置１０の出力側に、自車の車室内に設置された液晶ディスプレイ等の表示装置５が接続された構成とされる。また、画像処理装置１０には、自車の乗員に各種ナビゲーション情報を提供するための車載ナビゲーション装置６や、自車の乗員による操作入力を受け付ける操作入力デバイス７、自車の現在の動作状態を表す車両情報を取得する車両情報取得装置８がそれぞれ接続されている。また、表示装置５はタッチパネル式の画面を有し、自車の乗員による操作入力は、操作入力デバイス７のほかにこの表示装置のタッチパネルからも行えるようになっている。

フロントカメラ１、リアカメラ２、右サイドカメラ３、左サイドカメラ４の４つの車載カメラは、例えば１８０度程度の画角を有する広角カメラよりなり、これら４つの車載カメラで自車周囲を囲む全ての領域の映像を撮影できるように、自車の適所に搭載されている。具体的には、フロントカメラ１は、図２に示すように、自車前方のフロントバンパーなどに設置され、車両前方の所定の被撮影領域Ａ１の映像を地面に対して斜めに見下ろす方向で撮影する。また、リアカメラ２は、車両後方のリアバンパーなどに設置され、車両後方の所定の被撮影領域Ａ２の映像を地面に対して斜めに見下ろす方向で撮影する。また、右サイドカメラ３は、車両右側のサイドミラーなどに設置され、車両右側方の所定の被撮影領域Ａ３の映像を地面に対して斜めに見下ろす方向で撮影する。さらに、左サイドカメラ４は、車両左側のサイドミラーなどに設置され、車両左側方の所定の被撮影領域Ａ４の映像を地面に対して斜めに見下ろす方向で撮影する。そして、これら４つの車載カメラは、それぞれ撮影した映像を電気信号に変換し、例えば、コンポジット信号（アナログ形式の映像信号）として、所定のアナログ通信線を介して画像処理装置１０に出力する。

画像処理装置１０は、図３に示すように、４つの車載カメラに対応した４つの入力フレームバッファ１１，１２，１３，１４と、表示対象となる俯瞰映像を作成する俯瞰映像作成部１５と、この俯瞰映像作成部１５により作成された表示対象となる俯瞰映像の映像データを一時的に保持する出力フレームバッファ１６と、俯瞰映像作成部１５による処理を切り替え制御する制御部１７とを備える。また、この画像処理装置１０には、出力フレームバッファ１６に保持された俯瞰映像に対して画像認識処理を行う画像認識部１８と、俯瞰映像表示中における自車の動きを把握する自車移動量把握部１９とが設けられている。

フロントカメラ１、リアカメラ２、右サイドカメラ３、左サイドカメラ４の４つの車載カメラから出力されたコンポジット信号は、それぞれＡ/Ｄ変換され、ＲＧＢ信号にデコードされた上で、各車載カメラの撮影映像のフレームを構成するフレームデータとして、画像処理装置１０の４つの入力フレームバッファ１１，１２，１３，１４にそれぞれ格納される。そして、画像処理装置１０の俯瞰映像作成部１５が、内蔵する所定の変換アルゴリズムに従い、これら各入力フレームバッファ１１，１２，１３，１４に格納された車載カメラの撮影映像を用いて、自車周囲全域を自車上方の仮想視点から見下ろした様子を表す車両周囲映像を作成する。そして、この車両周囲映像に、コンピュータグラフィックスよりなる仮想自車画像（以下、自車ＣＧと呼ぶ。）を重畳して、表示対象の俯瞰映像を作成する。この俯瞰映像作成部１５により作成された俯瞰映像の映像データ（ＲＧＢ信号）は、出力フレームバッファ１６に格納される。なお、車両周囲映像の作成に用いる変換アルゴリズムは、例えば、各入力フレームバッファ１１，１２，１３，１４の画素のアドレスと、出力フレームバッファ１６の画素のアドレスとの対応関係を記載した画素変換マップとして俯瞰映像作成部１５に内蔵されていてもよいし、各車載カメラの撮影映像を俯瞰映像に変換するための変換式として俯瞰映像作成部１５に内蔵されていてもよい。

出力フレームバッファ１６に格納された俯瞰映像のデータ（ＲＧＢ信号）は、コンポジット信号にエンコードされ、Ｄ／Ａ変換された上で画像処理装置１０から出力され、所定のアナログ通信線を介して表示装置５に出力される。そして、表示装置５が、この画像処理装置１０からの映像信号に基づいて表示動作を行うことで、表示装置５の表示画面に、例えば図４に示すような俯瞰映像が表示される。なお、図４に例示した俯瞰映像において、映像領域Ｂ１がフロントカメラ１の撮影映像の一部を切り出して視点変換した映像であり、映像領域Ｂ２がリアカメラ２の撮影映像の一部を切り出して視点変換した映像であり、映像領域Ｂ３が右サイドカメラ３の撮影映像の一部を切り出して視点変換した映像であり、映像領域Ｂ４が左サイドカメラ４の撮影映像の一部を切り出して視点変換した映像である。また、図４の俯瞰映像では、各映像領域の境界にマスク線Ｍを描画し、その部分が映像の繋ぎ目であることを車両の乗員に認識させるようにしている。

画像処理装置１０における以上の一連の処理は、４つの車載カメラの撮影周期に同期して、各車載カメラからの映像信号がフレームデータとして４つの入力フレームバッファ１１，１２，１３，１４にそれぞれ格納される度に、繰り返し行われる。これにより、表示装置５には、図４に示したような俯瞰映像が動画として表示されることになる。

この図４に例示した俯瞰映像の表示形態は、この種の車両用運転支援装置で従来一般的に表示していた俯瞰映像の表示形態である。すなわち、従来の車両用運転支援装置では、図４の俯瞰映像のように、自車ＣＧが画面中央に固定され、車両周囲映像が自車の移動に伴い変化する表示形態の俯瞰映像（第１俯瞰映像）を表示していた。このような表示形態の第１俯瞰映像は、例えば自車周囲に存在する障害物の位置など、自車を基準として考えた方が把握しやすい情報を自車の運転者に提示する上では非常に有効であるが、例えば、自車を所定の駐車スペースに駐車させようとしている場合のように、自車以外の他の位置（例えば、駐車スペース）を基準にした方がよい場合には、最適な表示形態とは言えない。特に、切り返し操作が必要な駐車シーンなどにおいては、第１俯瞰映像の表示形態では、切り返し操作を行っている間に目標とする駐車スペースの画面上の位置が大きく変動したり、また、目標とする駐車スペースが画面から外れて見えなくなる場合もあり、運転者の運転操作を適切に支援できない場合があった。

そこで、本発明を適用した車両用運転支援装置においては、画像処理装置１０の俯瞰映像作成部１５に、以上のような第１俯瞰映像を作成する機能（第１俯瞰映像作成手段）のほかに、車両周囲映像を表示画面上で固定して自車ＣＧの位置が自車の移動に伴い変化する表示形態の第２俯瞰映像を作成する機能（第２俯瞰映像作成手段）を持たせるようにしている。そして、表示装置５に第１俯瞰映像を表示している間に、自車が駐車態勢に入ったと推定できる何らかのトリガを検出したときに、制御部１７が、俯瞰映像作成部１５における俯瞰映像作成処理を、第１俯瞰映像作成手段による処理から第２俯瞰映像作成手段による処理に切り替えて、表示装置５に第２俯瞰映像を表示させるようにしている。

［表示切替トリガ］
ここで、本実施形態の車両用運転支援装置において、画像処理装置１０の制御部１７が俯瞰映像作成部１５における俯瞰映像作成処理を切り替えるトリガ（表示切替トリガ）について、具体的な例を挙げて説明する。本実施形態の車両用運転支援装置では、表示装置５に第１俯瞰映像を表示している間に、以下に例示する手法の何れかにより自車が駐車態勢に入ったと判断されると、画像処理装置１０の制御部１７が、俯瞰映像作成部１５における俯瞰映像作成処理を、第１俯瞰映像作成手段による処理から第２俯瞰映像作成手段による処理に切り替えるようにしている。なお、本実施形態では、以下に例示する何れか１つの手法で検出された情報を表示切替トリガとし、画像処理装置１０の制御部１７が俯瞰映像作成部１５における処理を切り替えるようにしているが、画像処理装置１０の制御部１７は、以下に例示する複数の手法で検出された複数の情報を組み合わせて、自車が駐車態勢に入ったことの確からしさを求め、自車が駐車態勢に入ったことの蓋然性が高いと判断したときに、それを表示切替トリガとして俯瞰映像作成部１５における処理を切り替えるようにしてもよい。

＜画像認識によるもの＞
まず、第１俯瞰映像に対する画像認識処理による例について説明する。本実施形態の車両用運転支援装置では、上述したように、画像処理装置１０に、出力フレームバッファ１６に保持されている表示対象の俯瞰映像に対して画像認識処理を行う画像認識部１８を設けている。この画像認識部１８は、例えばエッジ検出や色成分分析などの既知の手法で、出力フレームバッファ１６に保持されている表示対象の俯瞰映像に対して画像認識処理を行うことで、当該俯瞰映像で示される自車周囲の領域に、駐車スペースが存在するか否かを検出する。具体的には、画像認識部１８は、表示対象の俯瞰映像から駐車スペースの存在を特定できる所定の長さの白線や黄色線、矩形の駐車枠、タイヤ止め、隣接駐車車両、或いは車庫の門柱や壁などを検出する。そして、画像認識部１８は、表示対象の俯瞰映像からこれら駐車スペースの存在を特定できる情報が検出できたときに、制御部１７に対して、自車の周囲に駐車スペースが存在することを示す信号を出力する。制御部１７は、この画像認識部１８から自車の周囲に駐車スペースが存在することを示す信号が入力されたときに、自車が駐車態勢に入ったと判断して、俯瞰映像作成部１５における俯瞰映像作成処理を、第１俯瞰映像作成手段による処理から第２俯瞰映像作成手段による処理に切り替える。

なお、本実施形態では、画像認識部１８が出力フレームバッファ１６に保持されている表示対象の俯瞰映像に対して画像認識処理を行うようにしているが、画像認識部１８は、入力フレームバッファ１１，１２，１３，１４に各々保持されている車載カメラ１，２，３，４の撮影映像に対して同様の画像認識処理を行い、これら車載カメラ１，２，３，４の撮影映像から駐車スペースの存在を特定できる情報が検出できたときに、制御部１７に対して自車の周囲に駐車スペースが存在することを示す信号を出力するようにしてもよい。

＜車載ナビゲーション装置を利用するもの＞
次に、車載ナビゲーション装置６からの情報を利用する例について説明する。本実施形態の車両用運転支援装置では、上述したように、画像処理装置１０に車載ナビゲーション装置６が接続され、車載ナビゲーション装置６からの情報を画像処理装置１０で利用可能とされている。車載ナビゲーション装置６は、ＧＰＳ（Global Positioning System）を利用して自車の現在位置を検出する機能や、特定の地点を登録地としてその位置情報を記憶する機能を有している。本実施形態の車両用運転支援装置では、これら車載ナビゲーション装置６の自車位置検出機能や地点登録機能を利用して、頻繁に利用する駐車スペースの位置情報を事前に登録しておき、ＧＰＳにより検出される自車の現在位置が頻繁に利用する駐車スペースに近い位置となったときに、車載ナビゲーション装置６から制御部１７に対して、自車の周囲に駐車スペースが存在することを示す信号を出力する。制御部１７は、この車載ナビゲーション装置６から自車の周囲に駐車スペースが存在することを示す信号が入力されたときに、自車が駐車態勢に入ったと判断して、俯瞰映像作成部１５における俯瞰映像作成処理を、第１俯瞰映像作成手段による処理から第２俯瞰映像作成手段による処理に切り替える。

＜車両乗員による目標駐車位置の指定によるもの＞
次に、自車の乗員が表示装置５のタッチパネルを利用して、表示装置５に表示されている俯瞰映像の中から目標駐車位置である駐車スペースを指定する例について説明する。本実施形態の車両用運転支援装置では、上述したように、タッチパネル式の画面を有する表示装置５を用いている。この表示装置５では、自車の乗員がタッチパネル式の画面に触れると、その情報が画像処理装置１０の制御部１７に入力されるようになっている。そして、制御部１７は、例えば、表示装置５の画面内における所定の領域或いはラインを自車の乗員が指でなぞる操作を行うと、その位置を目標駐車位置として認識する。または、上述した画像認識部１８での処理により表示装置５の画面内における所定の領域に駐車スペースが存在すると判断され、自車の乗員がその領域内の任意の点に指で触れる操作を行うと、その駐車スペースを目標駐車位置として認識する。そして、制御部１７は、このような自車の乗員による画面上で目標駐車位置を指定する操作が行われると、自車が駐車態勢に入ったと判断して、俯瞰映像作成部１５における俯瞰映像作成処理を、第１俯瞰映像作成手段による処理から第２俯瞰映像作成手段による処理に切り替える。

＜車両乗員による表示切替指示によるもの＞
次に、自車の乗員が操作入力デバイス７を用いて表示切替の指示入力を行う例について説明する。本実施形態の車両用運転支援装置では、上述したように、画像処理装置１０に自車の乗員による操作入力を受け付ける操作入力デバイス７が接続され、この操作入力デバイス７を用いた自車の乗員による操作入力が画像処理装置１０の制御部１７に入力されるようになっている。操作入力デバイス７としては、一般的に利用されている各種の操作入力デバイスが適用できるが、例えば、自車のインストゥルメントパネル等に専用の表示切替スイッチを設け、これを操作入力デバイス７として用いてもよい。また、自車に音声認識装置を搭載し、これを操作入力デバイス７として利用してもよい。このような操作入力デバイス７を用いて、例えば専用の表示切替スイッチの押下、或いは俯瞰映像の表示形態を切り替える旨の発話などにより、自車の乗員が表示切替の指示を入力すると、その情報が画像処理装置１０の制御部１７に入力される。そして、制御部１７は、このような自車の乗員による表示切替の指示が入力されると、自車が駐車態勢に入ったと判断して、俯瞰映像作成部１５における俯瞰映像作成処理を、第１俯瞰映像作成手段による処理から第２俯瞰映像作成手段による処理に切り替える。

＜車両情報を利用するもの＞
次に、自車のシフト位置の情報や車速の情報など、自車の現在の動作状態を表す車両情報を利用する例について説明する。本実施形態の車両用運転支援装置では、上述したように、画像処理装置１０に自車の現在の動作状態を表す車両情報を取得する車両情報取得装置８が接続され、この車両情報取得装置８で取得された車両情報が画像処理装置１０の制御部１７に入力されるようになっている。そして、画像処理装置１０の制御部１７は、車両情報取得装置８から、自車のシフト位置がリバースに入ったことを示す車両情報が入力されたとき、或いは、自車のシフト位置がリバースに入り、自車の車速が一定速度以下に低下したことを示す車両情報が入力されたときに、自車が駐車態勢に入ったと判断して、俯瞰映像作成部１５における俯瞰映像作成処理を、第１俯瞰映像作成手段による処理から第２俯瞰映像作成手段による処理に切り替える。

［第２俯瞰映像の表示例］
次に、本実施形態の車両用運転支援装置において、画像処理装置１０の俯瞰映像作成部１５が、第２俯瞰映像作成手段による処理として作成する第２俯瞰画像の作成手法及びその具体的な表示例について説明する。

＜表示例１＞
まず、画像処理装置１０の俯瞰映像作成部１５により作成されて表示装置５に表示される第２俯瞰映像の一表示例（表示例１）について説明する。

本例では、表示装置５に第１俯瞰映像を表示している間に画像処理装置１０の制御部１７により上述した表示切替トリガが検出され、表示対象となる俯瞰映像が第１俯瞰映像から第２俯瞰映像へと切り替えられると、俯瞰映像作成部１５は、まず、俯瞰映像の中の車両周囲映像（自車ＣＧを除く映像部分）を、例えば図５（ａ）に示すように、第１俯瞰映像として表示装置５に表示していた位置に固定する。このとき、俯瞰映像作成部１５は、画像の縦横比を変更したり、或いは縮尺を変更するなどして、目標駐車位置となる駐車スペースの全域が画面上に表示されるように、入力フレームバッファ１１，１２，１３，１４に格納された車載カメラの撮影映像を用いて、車両周囲映像を新たに作成することが望ましい。

そして、俯瞰映像作成部１５は、その後、自車が移動すると、図５（ｂ）及び図５（ｃ）に示すように、車両周囲映像を切り替え時の表示位置に固定したままで、自車ＣＧの画面上の表示位置を、自車の移動方向及び移動量に対応した位置へと変化させた俯瞰映像を作成し、自車ＣＧの位置が自車の移動に伴い変化する表示形態の第２俯瞰映像を表示装置５に表示させる。ここで、自車ＣＧの画面上における表示位置は、自車移動量把握部１９からの情報に基づいて決定される。すなわち、本実施形態の運転支援装置では、上述したように、画像処理装置１０に自車移動量把握部１９が設けられており、この自車移動量把握部１９からの情報が俯瞰映像作成部１５に入力されるようになっている。俯瞰映像作成部１５は、この自車移動量把握部１９からの情報を用いて、自車の移動に伴って変化した画面内における自車位置を特定し、その位置に自車ＣＧを重畳して第２俯瞰映像とする。

具体的に説明すると、自車移動量把握部１９は、表示対象となる俯瞰映像が第１俯瞰映像から第２俯瞰映像へと切り替えられると、例えば、車両情報取得装置８により取得されたステアリング操舵角の情報や車輪の回転数の情報、ジャイロセンサ検出値などの車両情報を読み込んで、表示装置５に第２俯瞰映像を表示している間の自車の動きを把握する。そして、自車移動量把握部１９は、第２俯瞰映像表示中に自車が移動すると、その自車の移動に関する情報として、自車の移動方向及び移動量を示す情報を俯瞰映像作成部１５に対して随時出力する。俯瞰映像作成部１５は、この自車移動量把握部１９から入力される自車の移動方向及び移動量を示す情報に応じて、表示対象の俯瞰映像の中で自車がどの位置に存在するかを特定し、自車ＣＧの画面上における表示位置を決定する。そして、俯瞰映像作成部１５は、この表示位置に自車ＣＧを重畳した俯瞰映像を作成して、表示装置５に出力する。これにより、表示装置５には、自車ＣＧの位置が自車の移動に伴い変化する表示形態の第２俯瞰映像が表示されることになる。

なお、以上のように作成され表示装置５に表示された第２俯瞰映像は、自車の乗員による操作入力に応じて、映像全体の画面上における向きや位置を任意に変更できるようにすることが望ましい。すなわち、第２俯瞰映像は、目標駐車位置となる駐車スペースなどの自車以外の位置を基準として、この基準位置に対して自車がどのように動いているかを運転者が容易に確認できるようにした映像であるので、表示装置５の画面内において運転者が感覚的に基準として捉え易い所望の位置に、俯瞰映像中の駐車スペースなどが表示されることが理想的である。しかしながら、本例では、上述したように、俯瞰映像作成部１５が車両周囲映像を第１俯瞰映像として表示していた位置に固定した第２俯瞰映像を作成するので、表示装置５の画面内において、第２俯瞰映像中の駐車スペースなどが表示される位置は一定にならない。したがって、自車の乗員の操作により、例えば第２俯瞰映像を表示装置５の画面内で回転或いは移動させることで第２俯瞰映像全体の画面上における向きや位置を変更できるようにすれば、第２俯瞰映像中の駐車スペースなどを表示装置５の画面内の所望の位置に表示させることができ、駐車時における運転者の運転操作をより効果的に支援することが可能となる。

本実施形態の車両用運転支援装置では、上述したように、タッチパネル式の画面を有する表示装置５を用いているので、このタッチパネル式の画面を用いた自車の乗員の操作を俯瞰映像作成部１５に入力し、俯瞰映像作成部１５が、この自車の乗員による操作入力に応じて、第２俯瞰映像全体を回転、移動させる処理（表示変更手段）を行った上で、表示対象の第２俯瞰映像として表示装置５に出力するようにすればよい。具体的には、例えば第２俯瞰映像全体を回転させる場合には、図６（ａ）に示す画面上で自車の乗員の操作を受け付けて、自車の乗員が画面上の任意の位置に触れて時計回りになぞる操作を行えば、図６（ｂ）に示すように映像全体が時計回りに回転した第２俯瞰映像が表示され、反時計回りになぞる操作を行えば、図６（ｃ）に示すように映像全体が反時計回りに回転した第２俯瞰映像が表示されるようにする。

また、本実施形態の車両用運転支援装置では、上述したように、自車の乗員による操作入力を受け付ける操作入力デバイス７が画像処理装置１０に接続されているので、俯瞰映像作成部１５が、この操作入力デバイス７を用いた自車の乗員による操作入力に応じて、第２俯瞰映像全体を回転、移動させる処理を行って、表示装置５の画面上における第２俯瞰映像全体の向きや位置を変更するようにしてもよい。また、その他、例えば、俯瞰映像作成部１５が第２俯瞰映像全体を回転させる処理と運転者によるステアリング操作とを連動させ、運転者がステアリングを右に切る操作を行えば、その操作量に応じて映像全体が時計回りに回転した第２俯瞰映像が表示され、運転者がステアリングを左に切る操作を行えば、その操作量に応じて映像全体が反時計回りに回転した第２俯瞰映像が表示されるようにしてもよい。

ところで、第２俯瞰映像は、上述したように車両周囲映像を画面上で固定した表示形態としているが、第２俯瞰映像の表示中に自車が移動すると、フロントカメラ１、リアカメラ２、右サイドカメラ３、左サイドカメラ４の４つの車載カメラで各々撮影される車両周囲の被撮影領域も、自車の移動に伴って変化することになる。したがって、俯瞰映像作成部１５が第２俯瞰映像を作成する際には、第１俯瞰映像作成時と同様の手法、例えば画素変換マップなどを用いて各車載カメラの撮影映像の画素を予め定められた所定の表示位置に再配置する手法では、車両周囲映像を適切に作成することができない。

そこで、本実施形態の車両用運転支援装置では、俯瞰映像作成部１５が第２俯瞰映像作成手段による処理として第２俯瞰映像を作成する際には、自車の移動に伴って動的に変化する変換アルゴリズム、具体的には、例えば自車の移動方向や移動量に応じて値が変化する変数を用いた変換式などを用いて、自車が移動しても表示位置が変化しない適切な車両周囲映像を作成するようにしている。この場合、車両周囲映像全体の画面上における表示位置自体は自車が移動しても変化しないが、車両周囲映像の中の一部の映像領域は、自車が移動するとその領域を撮影する車載カメラが切り替わることになる。このように車両周囲映像の中の一部の映像領域を撮影する車載カメラが自車の移動に伴って切り替わることの映像上の違和感を軽減させるためには、各車載カメラで撮影された映像領域の境界に描画するマスク線Ｍの位置を、自車の移動に追従させて変化させることが有効である。

また、本実施形態の車両用運転支援装置では、俯瞰映像作成部１５が第２俯瞰映像作成手段による処理として第２俯瞰映像を作成する際に、車両周囲映像の更新を停止させることで、自車が移動しても車両周囲映像の表示位置が変化しない第２俯瞰映像を作成するようにしてもよい。この場合、車両周囲映像は静止画となり、この静止画上で自車ＣＧが動く表示形態の第２俯瞰映像が表示装置５に表示されることになるが、第２俯瞰映像の表示は、目標駐車位置となる駐車スペースの位置に対して自車がどのように動いているのかを運転者に確認させて駐車時の運転操作を支援することを主眼としているので、以上のように静止画としての車両周囲映像上で自車ＣＧが動く表示形態で第２俯瞰映像を表示させても、十分な効果が期待できる。

なお、静止画としての車両周囲映像上で自車ＣＧが動く表示形態で第２俯瞰映像を表示させる場合には、各車載カメラで撮影された映像領域の境界に描画するマスク線Ｍの位置は、初期位置に固定しておくことが望ましい。また、自車が移動する際に、マスク線Ｍの描画を停止させてマスク線Ｍを消すようにしてもよい。

また、静止画としての車両周囲映像上で自車ＣＧが動く表示形態で第２俯瞰映像を表示させる場合には、第２俯瞰映像の中で自車の移動前に自車がいた位置は映像が欠落している部分であるので、自車の移動に伴って自車ＣＧの表示位置が変化したときには、その映像欠落部分を周囲の映像と同等の色で補完して、映像としての違和感を軽減させることが望ましい。

＜表示例２＞
次に、画像処理装置１０の俯瞰映像作成部１５により作成されて表示装置５に表示される第２俯瞰映像の他の表示例（表示例２）について説明する。

本例では、表示装置５に第１俯瞰映像を表示している間に画像処理装置１０の制御部１７により上述した表示切替トリガが検出され、表示対象となる俯瞰映像が第１俯瞰映像から第２俯瞰映像へと切り替えられると、俯瞰映像作成部１５は、まず、画像認識部１８からの情報などを用いて俯瞰映像中で目標駐車位置となる駐車スペースなどが映されている位置を特定する。そして、俯瞰映像作成部１５は、例えば図７（ａ）に示すように、俯瞰映像中の目標駐車位置が表示装置５の画面内における所定の位置に表示されるように、表示装置５の画面上の車両周囲映像（自車ＣＧを除く映像部分）の表示位置を決定し、車両周囲映像をその位置に固定する。このとき、俯瞰映像作成部１５は、画像の縦横比を変更したり、或いは縮尺を変更するなどして、目標駐車位置となる駐車スペースの全域が画面上に表示されるように、入力フレームバッファ１１，１２，１３，１４に格納された車載カメラの撮影映像を用いて、車両周囲映像を新たに作成することが望ましい。

そして、俯瞰映像作成部１５は、その後、自車が移動すると、自車移動量把握部１９から入力される自車の移動方向及び移動量を示す情報を用いて、自車の移動に伴って変化する画面内における自車位置を特定し、図７（ｂ）及び図７（ｃ）に示すように、車両周囲映像を固定したままで、自車ＣＧの画面上の表示位置を、自車の移動方向及び移動量に対応した位置へと変化させた俯瞰映像を作成し、自車ＣＧの位置が自車の移動に伴い変化する表示形態の第２俯瞰映像を表示装置５に表示させる。

本例では、俯瞰映像作成部１５が第２俯瞰映像を作成する際に、俯瞰映像中の駐車スペースなどの目標駐車位置が画面内の所定位置に表示されるように車両周囲映像を固定するので、運転者が感覚的に基準として捉え易い位置を所定位置として定めておけば、駐車時における運転者の運転操作を支援する上で最適なかたちで第２俯瞰映像を表示することができる。しかしながら、表示装置５の画面内において運転者が感覚的に基準として捉え易い位置は個人差があり、予め定められた所定位置が必ずしも最適な位置とは限らない。

このような観点から、本例の場合にも、上述した表示例１の場合と同様に、俯瞰映像作成部１５が、自車の乗員による操作入力に応じて第２俯瞰映像全体を回転、移動させる処理を行い、第２俯瞰映像全体の画面上における向きや位置を任意に変更できるようにすることが望ましい。具体的には、例えば第２俯瞰映像全体を回転させる場合には、図８（ａ）に示す画面上で自車の乗員の操作を受け付けて、自車の乗員が画面上の任意の位置に触れて時計回りになぞる操作を行えば、図８（ｂ）に示すように映像全体が時計回りに回転した第２俯瞰映像が表示され、反時計回りになぞる操作を行えば、図８（ｃ）に示すように映像全体が反時計回りに回転した第２俯瞰映像が表示されるようにする。また、操作入力デバイス７を用いた自車の乗員による操作入力に応じて、俯瞰映像作成部１５が第２俯瞰映像全体を回転、移動させる処理を行って、表示装置５の画面上における第２俯瞰映像全体の向きや位置を変更するようにしてもよい。また、その他、例えば、俯瞰映像作成部１５が第２俯瞰映像全体を回転させる処理と運転者によるステアリング操作とを連動させ、運転者がステアリングを右に切る操作を行えば、その操作量に応じて映像全体が時計回りに回転した第２俯瞰映像が表示され、運転者がステアリングを左に切る操作を行えば、その操作量に応じて映像全体が反時計回りに回転した第２俯瞰映像が表示されるようにしてもよい。

なお、本例では、表示装置５に表示されていた第１俯瞰映像が第２俯瞰映像へと切り替わる際に、自車ＣＧや目標駐車位置などの画面上における表示位置が変化するので、第１俯瞰映像から第２俯瞰映像への表示切替を瞬時に行うと、自車の乗員に違和感を与える虞がある。そこで、このような違和感を軽減させるために、表示装置５に表示する俯瞰映像にアニメーション処理などを施して、表示装置５に表示される俯瞰映像が第１俯瞰映像から第２俯瞰映像へと徐々に変化するようにしてもよい。

［画像処理装置による処理の流れ］
次に、以上のような本実施形態の車両用運転支援装置において、画像処理装置１０により実行される一連の処理の流れについて、図９のフローチャートを参照して説明する。

図９の処理フローは、自車のイグニッションスイッチがオン、或いは専用の起動スイッチがオンされて、本実施形態の車両用運転支援装置に対する電源供給が開始されることでスタートする。図９の処理フローがスタートすると、まず、フロントカメラ１、リアカメラ２、右サイドカメラ３、左サイドカメラ４の４つの車載カメラでそれぞれ自車周囲の被撮影領域の映像が撮影され、ステップＳ１において、各車載カメラの撮影映像の映像信号が画像処理装置１０に入力される。この画像処理装置１０に入力された各車載カメラの撮影映像の映像信号は、それぞれ各撮影映像のフレームを構成するフレームデータとして、画像処理装置１０内部の入力フレームバッファ１１，１２，１３，１４にそれぞれ格納される。

各車載カメラの撮影映像が入力フレームバッファ１１，１２，１３，１４に格納されると、ステップＳ２において、俯瞰映像作成部１５が、制御部１７による制御のもとで、これら入力フレームバッファ１１，１２，１３，１４に格納された各車載カメラの撮影映像を用い、内蔵する変換アルゴリズムに従って、自車周囲全域を自車上方の仮想視点から見下ろした様子を表す車両周囲映像を作成するとともに、この車両周囲映像の中央に自車を表す自車ＣＧを重畳して、表示対象の俯瞰映像を作成する。この俯瞰映像作成部１５により作成された俯瞰映像は、出力フレームバッファ１６に一時的に格納された後、車載カメラの映像撮影周期に同期したタイミングで表示装置５へと出力されて、表示装置５に表示される（ステップＳ３）。以上のステップＳ１〜ステップＳ３までの一連の処理は、制御部１７によって何らかの表示切替トリガが検出されるまで繰り返され、その結果、表示装置５の表示画面には、自車ＣＧが画面中央に固定されて車両周囲映像が自車の移動に伴い変化する表示形態の第１俯瞰映像が表示されることになる。

表示装置５に第１俯瞰映像を表示している間に、ステップＳ４で制御部１７により何らかの表示切替トリガが検出されると、制御部１７が、俯瞰映像作成部１５の映像作成処理を第１俯瞰映像作成手段による処理から、第２俯瞰映像作成手段による処理へと切り替えて、ステップＳ５以降の処理へと移る。そして、ステップＳ５において、各車載カメラの撮影映像の映像信号が画像処理装置１０に入力され、画像処理装置１０内部の入力フレームバッファ１１，１２，１３，１４にそれぞれ格納される。なお、切替直後の車載カメラの撮影映像は、制御部１７により表示切替トリガが検出された時点で第１俯瞰映像として表示装置５に表示されていた映像の作成に用いた車載カメラの撮影映像と同等の映像である。

次に、ステップＳ６において、自車移動量把握部１９が、制御部１７により表示切替トリガが検出された時点から現時点までの自車の移動方向及び移動量を把握して、その情報を俯瞰映像表示部１５に供給する。なお、切替直後は自車の移動量はほぼゼロである。

次に、ステップＳ７において、俯瞰映像作成部１５が、制御部１７による制御のもとで、入力フレームバッファ１１，１２，１３，１４に格納された各車載カメラの撮影映像を用い、内蔵する変換アルゴリズムに従って、表示位置が固定される車両周囲映像を作成するとともに、ステップＳ６で自車移動量把握部１９から供給された自車の移動方向及び移動量に応じた位置に自車ＣＧを重畳して、表示対象の俯瞰映像を作成する。ここで、車両周囲映像の表示位置は、制御部１７により表示切替トリガが検出された時点で第１俯瞰映像として表示されていた位置に固定してもよいし、駐車スペースなどの目標駐車位置が表示装置５の表示画面上における所定の位置となるように固定してもよい。

この俯瞰映像作成部１５により作成された俯瞰映像は、出力フレームバッファ１６に一時的に格納された後、車載カメラの映像撮影周期に同期したタイミングで表示装置５へと出力されて、表示装置５に表示される（ステップＳ８）。以上のステップＳ５〜ステップＳ８までの一連の処理は、制御部１７が例えば車両情報取得装置８によって取得された車両情報などに基づいて自車の駐車が終了したと判定するまで繰り返され、その結果、表示装置５の表示画面には、車両周囲映像が表示画面上で固定されて自車ＣＧの位置が自車の移動に伴い変化する表示形態の第２俯瞰映像が表示されることになる。

表示装置５に第２俯瞰映像を表示している間に、ステップＳ９で制御部１７により自車の駐車が終了したと判定されるとステップＳ１０へ進み、次のステップＳ１０において電源のオン／オフが判定される。そして、電源供給が継続されていれば、制御部１７により俯瞰映像作成部１５の映像作成処理が第２俯瞰映像作成手段による処理から第１俯瞰映像作成手段による処理へと切り替えられてステップＳ１に戻り、ステップＳ１以降の処理が繰り返し行われる。そして、電源がオフされた段階で、画像処理装置１０は以上の一連の処理を終了する。

［実施形態の効果］
以上、具体的な例を挙げながら詳細に説明したように、本実施形態の車両用運転支援装置では、画像処理装置１０の制御部１７が、自車が駐車態勢に入ったと推定できる何らかのトリガ（表示切替トリガ）を検出したときに、俯瞰映像作成部１５の処理を第１俯瞰映像作成手段による処理から第２俯瞰映像作成手段による処理へと切り替えるようにしている。そして、自車の駐車時には、表示装置５に表示される俯瞰映像が、自車ＣＧが画面中央に固定されて車両周囲映像が自車の移動に伴い変化する表示形態の第１俯瞰映像から、車両周囲映像が画面上で固定されて自車ＣＧの位置が自車の移動に伴い変化する表示形態の第２俯瞰映像へと切り替わるようにしている。したがって、本実施形態の車両用運転支援装置によれば、自車の駐車時に、表示装置５に表示している俯瞰映像を自車の運転者に確認させることで、目標駐車位置に対して自車がどのように動いているかを運転者に直感的に把握させることができ、自車の駐車時における運転者の運転操作を極めて効果的に支援することができる。

［変形例］
なお、以上説明した車両用運転支援装置は、本発明の一実施形態を例示したものであり、本発明の趣旨を逸脱しない範囲であれば様々な変形が可能である。

例えば、上述した車両用運転支援装置では、自車が駐車態勢に入ったことを推定できる何らかのトリガを検出したときに、表示装置５に表示する俯瞰映像を第１俯瞰映像から第２俯瞰映像へと切り替えるようにしているが、第１俯瞰映像から第２俯瞰映像への切り替え、或いは第２俯瞰映像から第１俯瞰映像への切り替えは、他の様々な要因をトリガとして行うようにしてもよい。具体的には、例えば車載ナビゲーション装置６からの情報に基づいて自車の走行位置を特定し、交差点進入時などに、表示装置５に表示する俯瞰映像を第１俯瞰映像から第２俯瞰映像へと切り替えることも有効である。

また、上述した車両用運転支援装置では、自車の駐車が終了したと判定された後、電源供給が継続されていれば、表示装置５に表示する俯瞰映像を第２俯瞰映像から第１俯瞰映像へと戻すようにしているが、例えば、自車の乗員が操作入力デバイス７などを用いて第１俯瞰映像を表示させる旨の指示を入力したときに、表示装置５に表示する俯瞰映像を第２俯瞰映像から第１俯瞰映像へと戻すようにしてもよい。

また、上述した車両用運転支援装置では、第１俯瞰映像と第２俯瞰映像とを選択的に切り替えながら表示装置５に表示することを前提としているが、表示装置５に俯瞰映像を表示するときは常に第２俯瞰映像を表示させる構成としてもよい。

本発明を適用した車両用運転支援装置の概略構成を示すブロック図である。 各車載カメラの設置位置及び各車載カメラにより撮影される被撮影領域を説明する図である。 画像処理装置の詳細な内部構成を示すブロック図である。 表示装置に表示される第１俯瞰映像の一表示例を示す図である。 表示装置に表示される第２俯瞰映像の一表示例を示す図であり、（ａ）は切り替え直後に表示される第２俯瞰映像、（ｂ），（ｃ）は自車の移動に伴って自車ＣＧの画面上の位置が変化した第２俯瞰映像を示す図である。 第２俯瞰映像の画面上における向きを変更する例を説明する図であり、（ａ）は変更前の第２俯瞰映像、（ｂ）は映像全体を時計回りに回転させた第２俯瞰映像、（ｃ）は映像全体を反時計回りに回転させた第２俯瞰映像を示す図である。 表示装置に表示される第２俯瞰映像の他の表示例を示す図であり、（ａ）は切り替え直後に表示される第２俯瞰映像、（ｂ），（ｃ）は自車の移動に伴って自車ＣＧの画面上の位置が変化した第２俯瞰映像を示す図である。 第２俯瞰映像の画面上における向きを変更する例を説明する図であり、（ａ）は変更前の第２俯瞰映像、（ｂ）は映像全体を時計回りに回転させた第２俯瞰映像、（ｃ）は映像全体を反時計回りに回転させた第２俯瞰映像を示す図である。 本発明を適用した車両用運転支援装置において、画像処理装置により実行される一連の処理の流れを示すフローチャートである。

符号の説明

１ フロントカメラ
２ リアカメラ
３ 右サイドカメラ
４ 左サイドカメラ
５ 表示装置
６ 車載ナビゲーション装置
７ 操作入力デバイス
８ 車両情報取得装置
１０ 画像処理装置
１１，１２，１３，１４ 入力フレームバッファ
１５ 俯瞰映像作成部
１６ 出力フレームバッファ
１７ 制御部
１８ 画像認識部
１９ 自車移動量把握部

Claims (12)

1. 複数の車載カメラで撮影された映像をそれぞれ車両上方の仮想視点から見下ろした映像に視点変換して繋ぎ合わせた車両周囲映像に、前記車両を表す仮想自車画像を重畳して、前記車両周囲の様子を運転者に認識させるための１つの俯瞰映像として表示装置に表示する車両用運転支援装置において、
   前記仮想自車画像が画面中央に固定され、前記車両周囲映像が前記車両の移動に伴い変化する表示形態の第１俯瞰映像を作成する第１俯瞰映像作成手段と、
   前記車両周囲映像が画面上で固定され、前記仮想自車画像の位置が前記車両の移動に伴い変化する表示形態の第２俯瞰映像を作成する第２俯瞰映像作成手段と、
   前記表示装置に表示する俯瞰映像を、前記第１俯瞰映像と前記第２俯瞰映像とで選択的に切り替える切替手段とを備えることを特徴とする車両用運転支援装置。
2. 前記表示手段に表示する俯瞰映像に対して画像認識処理を行う画像認識手段を備え、
   前記切替手段は、前記画像認識手段による前記第１俯瞰映像に対する画像認識処理により、当該第１俯瞰映像で示される車両周囲領域に駐車スペースが存在すると判断されたときに、前記表示装置に表示する俯瞰映像を、前記第１俯瞰映像から第２俯瞰映像へと切り替えることを特徴とする請求項１に記載の車両用運転支援装置。
3. 前記車両の現在位置を検出する車両位置検出手段と、
   駐車スペースが存在する位置の位置情報を記憶する記憶手段とを備え、
   前記切替手段は、前記車両位置検出手段により検出された前記車両の現在位置が、前記記憶手段に記憶された駐車スペースの位置に近いと判断したときに、前記表示装置に表示する俯瞰映像を、前記第１俯瞰映像から第２俯瞰映像へと切り替えることを特徴とする請求項１に記載の車両用運転支援装置。
4. 前記表示装置はタッチパネル式の画面を有し、
   前記切替手段は、前記表示装置のタッチパネル式の画面を用いた車両乗員による操作により、画面内で目標とする駐車スペースの指定があったときに、前記表示装置に表示する俯瞰映像を、前記第１俯瞰映像から第２俯瞰映像へと切り替えることを特徴とする請求項１に記載の車両用運転支援装置。
5. 前記車両の乗員による操作入力を受け付ける操作入力手段を備え、
   前記切替手段は、前記操作入力手段を用いた車両乗員の操作入力により表示切替の指示があったときに、前記表示装置に表示する俯瞰映像を、前記第１俯瞰映像から第２俯瞰映像へと切り替えることを特徴とする請求項１に記載の車両用運転支援装置。
6. 前記車両の現在の動作状態を表す車両情報を取得する車両情報取得手段を備え、
   前記切替手段は、前記車両情報取得手段で取得された車両情報から、前記車両が駐車動作を開始する状態になったと判断したときに、前記表示装置に表示する俯瞰映像を、前記第１俯瞰映像から第２俯瞰映像へと切り替えることを特徴とする請求項１に記載の車両用運転支援装置。
7. 前記第２俯瞰映像作成手段は、前記切替手段が前記表示装置に表示する俯瞰映像を前記第１俯瞰映像から第２俯瞰映像へと切り替える際に、前記車両周囲映像を前記第１俯瞰映像として表示されていた位置に固定した俯瞰映像を、前記第２俯瞰映像として作成することを特徴とする請求項１に記載の車両用運転支援装置。
8. 前記表示装置に前記第２俯瞰映像を表示しているときに、前記車両の乗員による操作に応じて、当該第２俯瞰映像全体の画面上における向き及び／又は位置を変更する処理を行う表示変更手段を備えることを特徴とする請求項１に記載の車両用運転支援装置。
9. 前記表示装置はタッチパネル式の画面を有し、
   前記表示変更手段は、前記表示装置のタッチパネル式の画面を用いた車両乗員による操作に応じて、当該第２俯瞰映像全体の画面上における向き及び／又は位置を変更する処理を行うことを特徴とする請求項８に記載の車両用運転支援装置。
10. 前記第２俯瞰映像作成手段は、前記車両周囲映像に現れた駐車目標位置を画面上の所定位置に固定した俯瞰映像を、前記第２俯瞰映像として作成することを特徴とする請求項１に記載の車両用運転支援装置。
11. 複数の車載カメラで撮影された映像をそれぞれ車両上方の仮想視点から見下ろした映像に視点変換して繋ぎ合わせた車両周囲映像に、前記車両を表す仮想自車画像を重畳して、前記車両周囲の様子を運転者に認識させるための１つの俯瞰映像として表示装置に表示する車両用運転支援装置において、
    前記車両周囲映像が画面上で固定され、前記仮想自車画像の位置が前記車両の移動に伴い変化する表示形態の俯瞰映像を作成して前記表示装置に表示することを特徴とする車両用運転支援装置。
12. 複数の車載カメラで撮影された映像をそれぞれ車両上方の仮想視点から見下ろした映像に視点変換して繋ぎ合わせた車両周囲映像に、前記車両を表す仮想自車画像を重畳して、前記車両周囲の様子を運転者に認識させるための１つの俯瞰映像として表示装置に表示する俯瞰映像の表示方法において、
    前記仮想自車画像が画面中央に固定され、前記車両周囲映像が前記車両の移動に伴い変化する表示形態の第１俯瞰映像と、前記車両周囲映像が画面上で固定され、前記仮想自車画像の位置が前記車両の移動に伴い変化する表示形態の第２俯瞰映像とを選択的に切り替えながら、前記表示装置に表示することを特徴とする俯瞰映像の表示方法。

Images