JP2012253428A - 情報処理システム、サーバ装置、および、車載装置 - Google Patents

Abstract

【課題】車両に対する接近車両の接近状態を車両のユーザが正確に把握することを目的とする技術に関する。
【解決手段】
車両に対する車両の後方から車両に接近する接近車両の位置を導出する。そして、車両の位置と接近車両の位置に応じた仮想視点から見た合成画像を複数のカメラで撮影した撮影画像から生成して、当該合成画像をディスプレイに表示する。これにより、車両に後方から接近する接近車両の位置を車両のユーザが正確に把握できる。
【選択図】図１

Description

本発明は、画像の表示処理に関する。

従来、車両の後方に備えられたカメラで撮影した画像中に車両の後方から接近する接近車両の像が存在する場合、画像中の接近車両の像の位置から車両に対する接近車両の位置を導出していた。そして、過去に検出した接近車両の位置と比べて車両に対する接近車両の位置が近くなった場合に、接近車両が車両に近づいていることをユーザに報知していた。

そして、車両と接近車両との距離が所定の距離を下回った場合に、例えば車両のＡピラー近傍に備えられたＬＥＤなどの発光体を点灯させて、接近車両が車両に接近していることを車両のユーザに報知していた。このような報知を行う例としては、車両のユーザの操作により車両が走行する車線の変更を行う場合に、車両の移動位置に接近車両が接近しているときは、当該接近車両が存在していることを車両のユーザへ報知していた。このような場合、車両と接近車両との衝突の危険があるとして車両のユーザは車両の車線変更を取り止める場合があった。なお、本発明と関連する技術を説明する資料としては特許文献１がある。

特開２００４−３０４４１６号公報

しかしながら、車線変更を行おうとする車両と接近車両との距離が所定の距離を下回った状態であっても、接近車両の車両に接近する速度が低速の場合は、接近車両が車両の移動位置に移動するよりも車両の移動位置への移動が早く行えるときがあった。つまり、接近車両の車両への接近状態によっては、車両のユーザの操作による車両の走行車線の変更が可能な場合があった。このようなことから車両に対する接近車両の接近状態をユーザが正確に把握できる技術が求められていた。

本発明は上記課題に鑑みてなされたものであり、車両に対する接近車両の接近状態を車両のユーザが正確に把握できる技術を提供することを目的とする。

上記課題を解決するために、請求項１の発明は、車両で用いられる画像表示システムであって、車両に搭載されたカメラの複数の撮影画像を取得する取得手段と、前記複数の撮影画像を合成して、仮想視点から見た前記車両の周辺の様子を示す合成画像を生成する生成手段と、前記車両の後方から接近する接近車両の存在を検出する検出手段と、前記車両に対する相対的な前記接近車両の位置を導出する導出手段と、前記合成画像を表示する表示手段と、を備え、前記生成手段は、前記車両の位置と前記接近車両の位置に応じた前記仮想視点から見た前記合成画像である特定合成画像を生成する。

また、請求項２の発明は、請求項１に記載の画像表示システムにおいて、前記生成手段は、前記仮想視点の視点位置を前記車両の前方とし、前記仮想視点の視野方向を前記車両後方として、前記車両の像および前記接近車両の像を含む前記特定合成画像を生成する。

また、請求項３の発明は、請求項１または２のいずれかに記載の画像表示システムにおいて、前記生成手段は、前記接近車両が前記車両に近づくにつれて前記仮想視点の高さを上昇させた前記特定合成画像を生成する。

また、請求項４の発明は、請求項１に記載の画像表示システムにおいて、前記生成手段は、前記仮想視点の視点位置を前記接近車両のドライバーの位置とし、前記仮想視点の視野方向を前記車両の存在する方向として、前記特定合成画像を生成する。

また、請求項５の発明は、請求項１ないし４のいずれかに記載の画像表示システムにおいて、前記表示手段は、前記接近車両が存在しない場合は前記カメラからの前記撮影画像のうちの一の撮影画像を表示し、前記接近車両が存在する場合は前記一の撮影画像と共に前記特定合成画像を表示する。

また、請求項６の発明は、請求項１ないし５のいずれかに記載の画像表示システムにおいて、前記表示手段は、視点位置を前記接近車両のドライバーの位置とし視野方向を前記車両の存在する方向とする前記仮想視点から見た前記特定合成画像と、視点位置を前記車両のドアミラー近傍の位置とし視野方向を前記接近車両の存在する方向とする前記仮想視点から見た前記特定合成画像とを前記車両のユーザの操作に応じて切り替えて表示する。

また、請求項７の発明は、請求項５または６のいずれかに記載の画像表示システムにおいて、前記表示手段は、前記車両のユーザの操作に応じて前記一の撮影画像のサイズと前記特定合成画像のサイズとを切り替えて表示する。

また、請求項８の発明は、請求項１に記載の画像表示システムにおいて、前記車両の走行車線の変更に伴う前記車両のユーザの操作を検知する操作検知手段をさらに備え、前記表示手段は、前記ユーザの操作が検知された場合に前記特定合成画像を表示する。

また、請求項９の発明は、請求項８に記載の画像表示システムにおいて、前記生成手段は、前記仮想視点の位置を前記車両の前方とし、前記仮想視点の視野方向を前記車両後方として、前記車両の像および前記接近車両の像を含む前記特定合成画像を生成する。

また、請求項１０の発明は、請求項８に記載の画像表示システムにおいて、前記生成手段は、前記仮想視点の視点位置を前記接近車両のドライバーの位置とし、前記仮想視点の視野方向を前記車両の存在する方向として、前記特定合成画像を生成する。

また、請求項１１の発明は、請求項８に記載の画像表示システムにおいて、前記車両が走行車線を変更して移動する場合の移動位置を予測する予測手段と、前記接近車両が前記移動位置に移動する第１移動時間を演算する演算手段と、前記第１移動時間に基づいて前記車両の前記移動位置への移動の可否を判断する判断手段と、をさらに備え、前記生成手段は、前記移動の可否の判断結果を示す警告画像を前記合成画像に重畳させる。

また、請求項１２の発明は、請求項１１に記載の画像表示システムにおいて、前記生成手段は、前記警告画像を前記移動位置に重畳させる。

また、請求項１３の発明は、請求項１１に記載の画像表示システムにおいて、前記車両が前記移動位置に移動する第２移動時間を計測する計測手段と、前記第２移動時間を学習記憶する記憶手段と、をさらに備え、前記判断手段は、前記第１移動時間と記憶された前記第２移動時間とに基づいて前記移動の可否を判断する。

また、請求項１４の発明は、請求項８ないし１３のいずれかに記載の画像表示システムにおいて、前記ユーザの操作が検知され、かつ、前記接近車両が存在しない場合に、前記生成手段は、前記仮想視点の視点位置を前記車両の前方とし、前記仮想視点の視野方向を前記車両後方として、前記車両の像と隣接車線の像とを含む前記合成画像である車両合成画像を生成し、前記表示手段は、前記車両合成画像を表示する。

また、請求項１５の発明は、請求項１ないし１４のいずれかに記載の画像表示システムにおいて、前記車両の位置を取得する位置取得手段と、前記車両の位置に応じて、前記車両の目的地までのルートを案内する案内情報をユーザに報知する報知手段と、をさらに備え、前記表示手段は、前記報知手段が前記案内情報を報知する場合に、前記合成画像を表示する。

また、請求項１６の発明は、請求項１５に記載の画像表示システムにおいて、前記生成手段は、前記報知手段が報知する前記案内情報の内容に応じて、前記合成画像の前記仮想視点を変更する。

また、請求項１７の発明は、請求項１６に記載の画像表示システムにおいて、前記案内情報は、走行車線の変更を案内する情報と、交差点での方向の変更を案内する情報とを含む。

また、請求項１８の発明は、車両で用いられる画像処理装置であって、車両に搭載されたカメラの複数の撮影画像を取得する取得手段と、前記複数の撮影画像を合成して、仮想視点から見た前記車両の周辺の様子を示す合成画像を生成する生成手段と、前記車両の後方から接近する接近車両の存在を検出する検出手段と、前記車両に対する相対的な前記接近車両の位置を導出する導出手段と、を備え、前記生成手段は、前記車両の位置と前記接近車両の位置に応じた前記仮想視点から見た前記合成画像である特定合成画像を生成する。

また、請求項１９の発明は、車両で用いられる画像表示方法であって、（ａ）車両に搭載されたカメラの複数の撮影画像を取得する工程と、（ｂ）前記複数の撮影画像を合成して、仮想視点から見た前記車両の周辺の様子を示す合成画像を生成する工程と、（ｃ）前記車両の後方から接近する接近車両の存在を検出する工程と、（ｄ）前記車両に対する相対的な前記接近車両の位置を導出する工程と、（ｅ）前記合成画像を表示する表示する工程と、を備え、前記工程（ｂ）は、前記車両の位置と前記接近車両の位置に応じた前記仮想視点から見た前記合成画像である特定合成画像を生成する。

請求項１の発明によれば、生成手段は、車両の位置と接近車両の相対的な位置に応じた仮想視点から見た合成画像である特定合成画像を生成することで、接近車両の位置を車両のユーザが正確に把握できる。

また、請求項２の発明によれば、生成手段は、仮想視点の視点位置を車両の前方とし、仮想視点の視野方向を車両後方として、車両の像および接近車両の像を含む特定合成画像を生成することで、車両前方から見た接近車両の位置を車両のユーザが正確に把握できる。

また、請求項３の発明によれば、生成手段は、接近車両が車両に近づくにつれて仮想視点の高さを上昇させた特定合成画像を生成することで、車両の像と接近車両の像とが合成画像中に含まれ、接近車両の位置を車両のユーザが正確に把握できる。

また、請求項４の発明によれば、生成手段は、仮想視点の視点位置を接近車両のドライバーの位置とし、仮想視点の視野方向を車両の存在する方向として、特定合成画像を生成することで、接近車両のドライバー視点から車両の位置を車両のユーザは正確に把握できる。

また、請求項５の発明によれば、表示手段は、接近車両が存在しない場合はカメラからの撮影画像のうちの一の撮影画像を表示し、接近車両が存在する場合は一の撮影画像と共に特定合成画像を表示することで、車両のユーザは接近車両の存在を早期に認識でき、接近車両の位置を正確に把握できる。

また、請求項６の発明によれば、表示手段は、視点位置を接近車両のドライバーの位置とし視野方向を車両の存在する方向とする仮想視点から見た特定合成画像と、視点位置を車両のドアミラー近傍の位置とし視野方向を接近車両の存在する方向とする仮想視点から見た特定合成画像とを車両のユーザの操作に応じて切り替えて表示することで、ユーザの希望する仮想視点からの見た合成画像を表示して、接近車両の位置を正確に把握できる。

また、請求項７の発明によれば、表示手段は、車両のユーザの操作に応じて一の撮影画像のサイズと特定合成画像のサイズとを切り替えて表示することで、車両の走行状態に応じて車両のユーザの希望する画像のサイズを他の画像のサイズと比べて調整できる。

また、請求項８の発明によれば、表示手段は、ユーザの操作が検知された場合に特定合成画像を表示することで、車両のユーザは接近車両の位置を正確に把握して車両の車線変更の可否を容易に判断できる。

また、請求項９の発明によれば、生成手段は、仮想視点の位置を車両の前方とし、仮想視点の視野方向を車両後方として、車両の像および接近車両の像を含む特定合成画像を生成することで、車両前方から見た接近車両の位置を車両のユーザは正確に把握して、車両の車線変更の可否を容易に判断できる。

また、請求項１０の発明によれば、生成手段は、仮想視点の視点位置を接近車両のドライバーの位置とし、仮想視点の視野方向を車両の存在する方向として、特定合成画像を生成することで、接近車両のドライバー視点から車両の位置を車両のユーザは正確に把握して、車両の車線変更の可否を容易に判断できる。

また、請求項１１の発明によれば、生成手段は、移動の可否の判断結果を示す警告画像を合成画像に重畳させることで、車両のユーザは接近車両の車両への接近状態を正確に把握して、車両の車線変更の可否を容易に判断できる。

また、請求項１２の発明によれば、表示手段は、現在の車両の位置に対応する表示態様で撮影画像を表示することで、車両の位置に対応する地点を初めて走行するユーザに撮影画像の最適な表示態様を提供できる。

また、請求項１３の発明によれば、判断手段は、第１移動時間と記憶された第２移動時間とに基づいて判断することで、車両９の移動位置への移動の可否を車両９のユーザの固有の車線変更時間に応じて、車両９のユーザが容易に判断できる。

また、請求項１４の発明によれば、生成手段は、ユーザの操作が検知され、かつ、接近車両が存在しない場合に、仮想視点の視点位置を車両の前方とし、仮想視点の視野方向を車両後方として、車両の像を含む合成画像である車両合成画像を生成し、表示手段は、車両合成画像を表示することで、接近車両の存在の有無に関わらず車両の車線変更の可否をユーザが容易に判断できる。

また、請求項１５の発明によれば、表示手段は、報知手段が案内情報を報知する場合に、合成画像を表示することで、案内情報に対応した仮想視点位置から見た合成画像をユーザが確認できる。

また、請求項１６の発明によれば、生成手段は、報知手段が報知する案内情報の内容に応じて、合成画像の仮想視点を変更することで、案内情報の内容に対応する車両の走行状況に応じた合成画像を車両のユーザが確認できる。

また、請求項１７の発明によれば、案内情報は、走行車線の変更を案内する情報と、交差点での方向の変更を案内する情報とを含むことで、走行車線の変更、および、交差点での進行方向の変更に応じた合成画像を車両のユーザが確認できる。

図１は、画像表示システムのブロック図である。 図２は、車載カメラが車両に配置される位置を示す図である。 図３は、合成画像を生成する手法を説明するための図である。 図４は、仮想視点の視点位置を主に説明する図である。 図５は、仮想視点の視野方向を主に説明する図である。 図６は、仮想視点の視野方向を主に説明する図である。 図７は、ディスプレイに表示される仮想視点から見た合成画像を示した図である。 図８は、ディスプレイに表示される仮想視点から見た合成画像を示した図である。 図９は、画像処理装置の処理フローチャートである。 図１０は、仮想視点の視点位置を主に説明する図である。 図１１は、仮想視点の視野方向を主に説明する図である。 図１２は、仮想視点の視野方向を主に説明する図である。 図１３は、ディスプレイに表示される仮想視点から見た合成画像を示した図である。 図１４は、ディスプレイに表示される仮想視点から見た合成画像を示した図である。 図１５は、画像表示システムのブロック図である。 図１６は、ディスプレイに表示される仮想視点から見た合成画像を示した図である。 図１７は、画像処理装置の処理フローチャートである。 図１８は、画像処理装置の処理フローチャートである。 図１９は、画像表示システムのブロック図である。 図２０は、車両の車線変更時間の計測の一例を示すグラフである。 図２１は、学習部が車線変更時間を計測する処理フローチャートである。 図２２は、学習部が車線変更時間を計測する処理フローチャートである。 図２３は、仮想視点の視点位置を主に説明する図である。 図２４は、仮想視点の視野方向を主に説明する図である。 図２５は、ディスプレイに表示される仮想視点から見た合成画像を示した図である。 図２６は、画像処理装置の処理フローチャートである。 図２７は、画像処理装置の処理フローチャートである。 図２８は、ディスプレイに表示される仮想視点から見た合成画像を示した図である。 図２９は、画像処理装置の処理フローチャートである。 図３０は、画像処理装置の処理フローチャートである。 図３１は、仮想視点の視点位置を主に説明する図である。 図３２は、仮想視点の視野方向を主に説明する図である。 図３３は、ディスプレイに表示される仮想視点から見た合成画像を示した図である。 図３４は、画像処理装置の処理フローチャートである。 図３５は、画像処理装置の処理フローチャートである。 図３６は、一のカメラの撮影画像と共にディスプレイに表示される合成画像の仮想視点の一例を示している。 図３７は、ディスプレイに表示される画像を示す図である。 図３８は、ディスプレイに表示される画像を示す図である。 図３９は、一の撮影画像と合成画像をディスプレイに共に表示する処理フローチャートである。 図４０は、一の撮影画像と合成画像をディスプレイに共に表示する処理フローチャートである。 図４１は、フロントカメラの撮影画像のサイズと合成画像のサイズとの切替を示す図である。 図４２は、ユーザに案内情報を報知する地点を示す図である。 図４３は、案内情報を報知する地点での仮想視点の視点位置と視野方向の例を示す図である。 図４４は、仮想視点から見た合成画像を示す図である。 図４５は、表示装置が案内情報の報知を行う場合に、画像処理装置が合成画像をディスプレイに表示する処理フローチャートである。 図４６は、表示装置が案内情報の報知を行う場合に、画像処理装置が合成画像をディスプレイに表示する処理フローチャートである。

以下、図面を参照しつつ本発明の実施の形態について説明する。

＜第１の実施の形態＞

＜１．構成＞

＜１−１．画像表示システム＞

図１は、画像表示システム１２０のブロック図である。撮影部５が搭載された車両（図２に示す車両９）の周辺を示す周辺画像を生成して画像情報を出力する画像処理装置１１と、画像処理装置１１から出力された画像を表示する表示装置２０とを画像表示システム１２０は主に有している。

表示装置２０は、ナビゲーション案内を表示するディスプレイを有するナビゲーション装置、音楽のタイトル情報やテレビの映像などを表示するディスプレイを備えたオーディオ装置、ユーザが携帯し車両９内へ持ち込んで使用可能なスマートフォンなどである。

また、表示装置２０は装置全体を制御する制御部２１と、制御部２１の処理データなどを記憶する記憶部２２と、画像処理装置１１との間で通信を行う通信部２３と、タッチパネル機能を備えた液晶などのディスプレイ２４と、ユーザが操作を行う操作部２５とを備えている。そして、ディスプレイ２４の画面がユーザから視認可能なように、表示装置２０は車両９のインストルメントパネルなどに設置される。ユーザからの各種の指示は、操作部２５とタッチパネルとしてのディスプレイ２４とによって受け付けられる。

制御部２１は、ＣＰＵ、ＲＡＭ、および、ＲＯＭなどを備えたコンピュータであり、所定のプログラムに従ってＣＰＵが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。

制御部２１は、主に表示制御部２０１、および、位置導出部２０２の機能を備えている。表示制御部２０１は、操作部２５などからのユーザの操作に伴いディスプレイ２４に表示される車載カメラの撮影画像の表示態様を制御する。

位置導出部２０２は、車両９の位置に対応する緯度・経度情報を導出する。このような車両９の位置はＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）衛星からの電波の信号を受信し、受信した信号を制御部２１で処理することにより実現される。ＧＰＳは、地球を周回する多数のＧＰＳ衛星のうち少なくとも３つ以上の衛星からの電波に基づいて車両９の位置を測位するシステムである。

記憶部２２は、制御部２１が表示装置２０を制御するプログラムを記憶する。また、記憶部２２は、ディスプレイ２４に表示される地図画像の情報である地図情報２０２を記憶する。

通信部２３は表示装置２０と画像処理装置１１との通信を行うインターフェースであり、画像処理装置からの画像情報等を受信したり、後述する操作部２５がユーザに操作された場合の指示信号を画像処理装置１１に送信する。

ディスプレイ２４は、各種画像を表示する表示部であり、表示制御部２０１の制御により、通常は表示装置２０単体の機能に基づく画像を表示する。そして、所定の条件下で画像処理装置１１で生成された車両９の周辺の様子を示す周辺画像を表示する。これにより、表示装置２０は、画像処理装置１１で生成された周辺画像を受信して表示する装置としても機能する。

操作部２５は、表示装置２０の各種機能を実現するためにユーザが操作を行うものであり、例えば、表示装置２０に設けられたハードスイッチなどである。また、操作部２５をユーザが操作することでディスプレイ２４に表示された車載カメラの撮影画像の表示態様を切り替えることができる。

画像処理装置１１は、車両９の周辺画像を生成する機能を有するＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）であり、車両９の所定の位置に配置される。画像処理装置１１は、撮影部５で車両９の周辺を撮影して得られる撮影画像に基づいて仮想視点からみた合成画像を生成する画像生成装置として機能する。また、画像処理装置１１は撮影部５の一のカメラで撮影された画像を処理する装置としても機能する。撮影部５が備える複数の車載カメラ５１、５２、５３、５４は、画像処理装置１１とは別の車両９の適位置に配置されるが詳細は後述する。

画像処理装置１１は、装置全体を制御する制御部１と、撮影部５で取得された撮影画像を処理して表示用の周辺画像を生成する画像処理部３を主に備えている。

表示装置２０の操作部２５、および、ディスプレイ２４のいずれかによって受け付けられたユーザからの各種の指示は、表示装置２０の通信部２３を介して制御信号として通信部６１に受け付けられて制御部１に入力される。これにより、画像処理装置１１は、表示装置２０に対するユーザの操作に応答した動作が可能となっている。

画像処理部３は、各種の画像処理が可能なハードウェア回路として構成されており、画像取得部３１、合成画像生成部３２、および、画像出力部３３を主な機能として備えている。

画像取得部３１は、車両９の周辺を撮影する撮影部５の車載カメラ５１、５２、５３、５４で撮影された複数の撮影画像を取得する。

合成画像生成部３２は、車載カメラ５１、５２、５３、５４で取得された複数の撮影画像に基づいて、車両の周辺の任意の仮想視点からみた合成画像を生成する。合成画像生成部３２が仮想視点からみた合成画像を生成する手法については後述する。

また、画像出力部３３は合成画像生成部３２において生成された合成画像、および、その他の画像（たとえば、一のカメラで撮影された画像）の少なくとも一の画像を通信部６１を介して表示装置２０へ送信する。これにより、車両の周辺を示す周辺画像が表示装置２０のディスプレイ２４に表示される。

制御部１は、ＣＰＵ、ＲＡＭ、および、ＲＯＭなどを備えたコンピュータであり、所定のプログラムに従ってＣＰＵが演算処理を行うことで各種の制御機能が実現される。図中に示す画像制御部１１１、検出部１１２、および、導出部１１３は、このようにして実現される制御部１の機能のうちの一部である。

画像制御部１１１は、画像処理部３によって実行される画像処理を制御するものである。例えば、画像制御部１１１は、車両９の位置に応じた合成画像の生成に必要な各種パラメータを合成画像生成部３２に指示する。このようなパラメータの指示は、例えば撮影画像の表示態様の切り替えに伴うユーザ操作の指示信号を制御部１が受信した場合に、画像制御部１１１が行う。

また、画像制御部１１１は車両９の位置と車両９の後方から車両９に接近する車両（以下、「接近車両」ともいう。例えば、図４および図５に示す接近車両１０）の位置に応じた仮想視点から見た合成画像の生成を合成画像生成部３２に指示する。

検出部１１２は、車両９の後方から接近する接近車両１０の存在を検出する。つまり、車両９の後方に備えられたバックカメラ５２の撮影画像から車両９の後方に存在する接近車両の像（以下、「接近車両像」ともいう。例えば、図７の合成画像ＰＴ１および合成画像ＰＴ２に示す接近車両像１０１）をエッジ検出などの処理により検出する。

なお、車両９に接近する接近車両１０の存在の検出は、検出部１１２が過去に検出したある車両像の画像中の位置と、今回検出した当該車両像の画像中の位置との差に基づいて行う。また、接近車両１０の存在を検出する別の方法としては、過去に検出したある車両像の画像中に占める大きさと今回検出した当該車両像の画像中に占める大きさとを比較により行う。

導出部１１３は、車両９に対する接近車両１０の相対的な位置を導出する。つまり、検出部１１２により検出された画像中の車両像９１と接近車両像１０１との位置の差などから車両９に対する接近車両１０の位置（車両９に対する接近車両１０の距離、および、車両９に対する接近車両１０の方向（角度））を導出する。

また、画像処理装置１１は、不揮発性メモリ４、通信部６１、および、信号入力部６２をさらに備えており、これらは制御部１に接続されている。

不揮発性メモリ４は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどで構成されている。不揮発性メモリ４には、車種別情報４０が記憶されている。車種別情報４０は、合成画像生成部３２が合成画像を生成する際に必要となる車両の種別に応じたデータを含んでいる。

また、不揮発性メモリ４は、車両９に対する接近車両１０の位置に対応する仮想視点ＶＰの視点位置および視野方向の情報である仮想視点情報４１が記憶されている。そして、仮想視点ＶＰの視点位置および視野方向を画像制御部１１１が設定する際に、車両９に対する接近車両１０の位置に対応した仮想視点ＶＰの視点位置および視野方向の情報が画像制御部１１１により不揮発性メモリ４から読み出される。

通信部６１は、画像処理装置１１が表示装置２０との間で通信を行うためのインターフェースである。

信号入力部６２は、車両９に設けられた各種装置からの信号の入力が行われる際のインターフェースである。信号入力部６２を介して、画像処理装置１１の外部からの信号が制御部１に入力される。具体的には、シフトセンサ８１、車速センサ８２、方向指示器８３、および、操舵角センサ８４などから、各種情報を示す信号が制御部１に入力される。

シフトセンサ８１からは、車両９の変速装置のシフトレバーの操作の位置、すなわち、”Ｐ（駐車）”，”Ｄ（前進）”，”Ｎ（中立）”，”Ｒ（後退）”などのシフトポジションが入力される。車速センサ８２からは、その時点の車両９の走行速度（ｋｍ／ｈ）が入力される。

方向指示器８３からは、ウインカースイッチの操作に基づく方向指示、すなわち、車両９のドライバーが意図する方向指示を示すターン信号が入力される。ウインカースイッチが操作されたときはターン信号が発生し、ターン信号はその操作された方向（左方向あるいは右方向）を示すことになる。ウインカースイッチが中立位置となったときは、ターン信号はオフとなる。

操舵角センサ８４からは、ユーザが操作したステアリングホイールの操作方向が制御部１に入力される。詳細には、操舵角センサ８４には、ユーザが操作したステアリングホイールの回転方向、回転角度、及び、回転速度が信号入力部６２を介して制御部１に入力される。

＜１−３．撮影部＞
次に、画像処理装置１１の撮影部５について詳細に説明する。撮影部５は、制御部１に電気的に接続され、制御部１からの信号に基づいて動作する。

撮影部５は、車載カメラであるフロントカメラ５１、バックカメラ５２、左サイドカメラ５３、および、右サイドカメラ５４を備えている。これらの車載カメラ５１、５２、５３、５４はそれぞれ、ＣＣＤやＣＭＯＳなどの撮像素子を備えており電子的に画像を取得する。

図２は、車載カメラ５１、５２、５３、５４が車両９に配置される位置を示す図である。なお、以下の説明においては、車両９を例に説明を行う。また、方向および向きを示す際に、適宜、図中に示す３次元のＸＹＺ直交座標を用いる。このＸＹＺ軸は車両９に対して相対的に固定される。ここで、Ｘ軸方向は車両９の左右方向に沿い、Ｙ軸方向は車両９の直進方向（前後方向）に沿い、Ｚ軸方向は鉛直方向に沿っている。また、便宜上、＋Ｘ側を車両Ａ１の右側、＋Ｙ側を車両Ａ１の後側、＋Ｚ側を上側とする。

フロントカメラ５１は、車両９の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸５１ａは車両９の直進方向（平面視でＹ軸方向の−Ｙ側）に向けられている。バックカメラ５２は、車両９の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸５２ａは車両９の直進方向の逆方向（平面視でＹ軸方向の＋Ｙ側）に向けられている。また、左サイドカメラ５３は、左のドアミラー９３に設けられており、右サイドカメラ５４は右のドアミラー９４に設けられている。そして、光軸５３ａは車両９の左方向、光軸５４ａは車両９の右方向（平面視でＸ軸方向）に沿って外部に向けられている。なお、フロントカメラ５１やバックカメラ５２の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。

これらの車載カメラ５１、５２、５３、５４のレンズとしては魚眼レンズなどが採用されており、車載カメラ５１、５２、５３、５４は１８０度以上の画角αを有している。このため、４つの車載カメラ５１、５２、５３、５４を利用することで、車両９の全周囲の撮影が可能となっている。

＜１−４．画像変換処理＞
次に、画像処理部３の合成画像生成部３２が、撮影部５で得られた複数の撮影画像に基づいて車両９の周辺を任意の仮想視点からみた様子を示す合成画像を生成する手法について説明する。合成画像を生成する際には、不揮発性メモリ４に予め記憶された車種別情報４０が利用される。図３は、合成画像を生成する手法を説明するための図である。

撮影部５のフロントカメラ５１、バックカメラ５２、左サイドカメラ５３、および、右サイドカメラ５４で同時に撮影が行われると、車両９の前方、後方、左側方、および、右側方をそれぞれ示す４つの撮影画像Ｐ１〜Ｐ４が取得される。すなわち、撮影部５で取得される４つの撮影画像Ｐ１〜Ｐ４には、撮影時点の車両９の全周囲を示す情報が含まれていることになる。

次に、４つの撮影画像Ｐ１〜Ｐ４の各画素が、仮想的な三次元空間における立体曲面ＳＰに投影される。立体曲面ＳＰは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両９の存在する位置として定められている。撮影画像Ｐ１〜Ｐ４に含まれる各画素の位置と、立体曲面ＳＰの各画素の位置とは予め対応関係が定められている。このため、立体曲面ＳＰの各画素の値は、この対応関係と撮影画像Ｐ１〜Ｐ４に含まれる各画素の値とに基づいて決定できる。

撮影画像Ｐ１〜Ｐ４の各画素の位置と立体曲面ＳＰの各画素の位置との対応関係は、車両９における４つの車載カメラ５１、５２、５３、５４の配置（相互間距離、地上高さ、光軸角度等）に依存する。このため、この対応関係を示すテーブルデータが、不揮発性メモリ４に記憶された車種別情報４０に含まれている。

また、車種別情報４０に含まれる車体の形状やサイズを示すポリゴンデータが利用され、車両Ａ１の三次元形状を示すポリゴンモデルである車両像を仮想的に備えている。構成された車両像は、立体曲面ＳＰが設定される三次元空間において、車両９の位置と定められた略半球状の中心部分に配置される。

さらに、立体曲面ＳＰが存在する三次元空間に対して、制御部１により仮想視点ＶＰが設定される。仮想視点ＶＰは、視点位置と視野方向とで規定され、この三次元空間における車両９の周辺に相当する任意の視点位置に任意の視野方向に向けて設定される。

そして、設定された仮想視点ＶＰに応じて、立体曲面ＳＰにおける必要な領域が画像として切り出される。仮想視点ＶＰと、立体曲面ＳＰにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ４等に予め記憶されている。つまり、設定された仮想視点ＶＰに応じて画像の領域が切り出されて、ポリゴンで構成された車両像に関してレンダリングがなされ、その結果となる二次元の車両像が、切り出された画像に対して重畳される。これにより、車両９の周辺を任意の仮想視点からみた様子を示す合成画像が生成されることになる。

例えば、視点位置が車両９の位置の略中央の直上位置で、視野方向が略直下方向とした仮想視点ＶＰＡを設定した場合は、車両９の略直上から車両９を見下ろすように、車両９（実際には車両像であり、例えば、合成画像ＰＴＡに映し出されている車両像９１）と車両９の周辺の様子を示す合成画像ＰＴＡが生成される。また、図中に示すように、視点位置が車両９の位置の左後方で、視野方向を車両９における略前方とした仮想視点ＶＰＢを設定した場合は、車両９の左後方からその周辺全体を見渡すように、車両９（実際には車両像であり、例えば、合成画像ＰＴＢに映し出されている車両像９１）と車両９の周辺の様子を示す合成画像ＰＴＢが生成される。

なお、実際に合成画像を生成する場合においては、立体曲面ＳＰの全ての画素の値を決定する必要はなく、設定された仮想視点ＶＰに対応して必要となる領域の画素の値のみを撮影画像Ｐ１〜Ｐ４に基づいて決定することで、処理速度を向上できる。
＜１−５．仮想視点の視点位置と視野方向＞
次に車両９と接近車両１０の位置に応じた仮想視点の視点位置および視野方向について説明する。図４は、仮想視点ＶＰの視点位置を主に説明する図である。また、図５および図６は、仮想視点ＶＰの視野方向を主に説明する図である。

図４には、車幅方向（Ｘ軸方向）の車両９の位置と接近車両１０の位置との間の略中央の位置で、車両９の前後方向（Ｙ軸方向）に延伸する軸線ｓｈ１が示されている。そして、軸線ｓｈ１を通り路面に鉛直な平面上で放物線を描くように移動する仮想視点ＶＰ１〜４が示されている。詳細には車両９に接近車両１０が近づくにつれて、仮想視点ＶＰの視点位置の高さが上昇する。また、仮想視点ＶＰの移動は、車両像９１と接近車両像１０１とが合成画像中に含まれるように行われる。このように仮想視点ＶＰの視点位置を移動させることで、車両９の像と接近車両１０の像とが合成画像中に含まれ、接近車両１０の位置を車両９のユーザ（以下単位「ユーザ」ともいう。）が正確に把握できる。なお、仮想視点ＶＰ３からＶＰ４への移動は、車両９が接近車両１０を追い越した場合に行われる。

具体的には、例えば仮想視点ＶＰ１の視点位置は車両９と接近車両１０との距離が３０ｍ以上の場合に、仮想視点ＶＰ２の視点位置は車両９と接近車両１０との距離が３０ｍ未満１０ｍ以上の場合にそれぞれ画像制御部１１１により設定される。また、仮想視点ＶＰ３の視点位置は車両９と接近車両１０との距離が１０ｍ未満１ｍ以上の場合に、仮想視点ＶＰ４の視点位置は車両９と接近車両１０との距離が１ｍ未満となった後、接近車両１０が車両９を追い越した場合にそれぞれ画像制御部１１１により設定される。

図５は、仮想視点ＶＰ１の視野方向と仮想視点ＶＰ２の視野方向とを主に説明する図である。図５の左図に示す仮想視点ＶＰ１の視野方向は、車両９の前方（−Ｙ方向）の視点位置から車両９の後方に向けられている。
詳細には、合成画像中の接近車両像１０１の位置から、直接、車両９までを結ぶ直線ＣＬ１を導出部１１３が導出する。つまり、合成画像中の接近車両像１０１の位置から、車両９に対する接近車両１０の方向と、車両９に対する接近車両１０の距離を導出部１１３が導出する。

なお、別の導出方法としては、車両９および接近車両１０の前後方向（Ｙ軸方向）における車両９（例えば車体の重心位置ＣＰ）と接近車両１０（例えば車両９の後方に存在する接近車両で、車両９との距離が最も近い接近車両の車体位置ＤＰ）との直線ＡＬを導出部１１３に導出する。そして、横方向（Ｘ方向）に車両９と接近車両１０との直線ＢＬを導出部１１３に導出する。その結果、直線ＡＬと直線ＢＬとから車両９と接近車両１０とを結ぶ直線ＣＬ１を導出部１１３が導出するようにしてもよい。このような直線ＣＬ１を導出することは、車両９に対する接近車両１０の位置を導出することに相当する。

そして、直線ＣＬ１の略中央となる地点ＣＥ１の方向に仮想視点ＶＰ１の視野方向が向けられる。このような仮想視点ＶＰ１の視点位置および視野方向から見た合成画像には車両９と接近車両１０との両方の像が含まれる。そして、ディスプレイ２４に表示される画像中の車両像９１と接近車両像１０１の位置から、車両９に対する接近車両１０の位置をユーザが正確に把握できる。

次に、図５の右図は先に述べた図５の左図よりも接近車両１０が車両９に接近した状態を示している。そして、仮想視点ＶＰ２は車両９の前方（−Ｙ方向）に視点位置があり、視野方向は車両９後方（＋Ｙ方向）となる車両９の位置と接近車両１０の位置とを結ぶ直線ＣＬ２の略中央の地点ＣＥ２に向けられている。また、仮想視点ＶＰ２の視点位置は仮想視点ＶＰ１よりも高い視点位置となっている。

図６は、仮想視点ＶＰ３の視野方向と仮想視点ＶＰ４の視野方向を主に説明する図である。図６の左図に示す仮想視点ＶＰ３の視点位置は車両９と接近車両１０とを結ぶ直線ＣＬ３の略中央の略直上の位置にあり、視野方向は鉛直下方（＋Ｚ方向から−Ｚ方向）の地点ＣＥ３に向けられている。

図６の右図に示す仮想視点ＶＰ４は、視点位置が車両９の後方（＋Ｙ方向）で、視野方向が車両９の位置および接近車両１０の位置とを結ぶ直線ＣＬ４の略中央の地点ＣＥ４に向けられている。つまり、仮想視点ＶＰ４の視野方向は、車両９の前方（−Ｙ方向）に向けられている。

なお、図４から図６で示した視点位置および視野方向の仮想視点ＶＰから見た合成画像には車両９に対応する車両像９１と接近車両１０に対応する接近車両像１０１とが含まれる。このように、仮想視点ＶＰの視点位置および視野方向は、車両９と接近車両１０との位置に応じた視点位置となる。これにより、接近車両１０の位置をユーザが正確に把握できる。

＜１−６．表示画像＞

図７および図８は、ディスプレイ２４に表示される仮想視点ＶＰから見た合成画像を示した図である。なお、図７および図８に示す合成画像ＰＴ１からＰＴ４は時間的に連続した合成画像である。

図７に示す合成画像ＰＴ１は仮想視点ＶＰ１から見た合成画像であり、車両９に対応する車両像９１の後方に接近車両１０に対応する接近車両像１０１が映し出されている。合成画像ＰＴ２は、仮想視点ＶＰ２から見た合成画像であり、車両像９１の後方に接近車両像１０１が映し出されている。そして、合成画像ＰＴ２では、合成画像ＰＴ１よりも接近車両像１０１が車両像９１に接近した位置にある。このような合成画像の表示により、接近車両の位置をユーザが正確に把握できる。

図８の合成画像ＰＴ３は仮想視点ＶＰ３から見た合成画像であり、車両９および接近車両１０の直上の仮想視点位置から鉛直下方を見た車両９に対応する車両像９１の側方に接近車両１０に対応する接近車両像１０１が位置している状態の画像が映し出されている。
合成画像ＰＴ４では、仮想視点ＶＰ４から見た合成画像であり、接近車両像１０１が車両像９１を追い越した状態の画像が映し出されている。図７および図８に示すように仮想視点ＶＰ１、ＶＰ２、ＶＰ３、およびＶＰ４から見た合成画像中には車両９に対応する車両像９１と接近車両１０に対応する接近車両像１０１との両方の車両の像が映し出されている。このように車両９に対する接近車両の位置を時系列に表示することで、接近車両の位置を車両９のユーザは正確に把握できる。

＜１−７．処理フローチャート＞

図９は、画像処理装置１１の処理フローチャートである。ステップＳ１０１では、撮影部５のバックカメラ５２で撮影された画像中に接近車両１０の存在を検出部１１２が検出した場合（ステップＳ１０１がＹｅｓ）、ステップＳ１０２の処理に進む。なお、接近車両１０の存在を検出部１１２が検出していない場合（ステップＳ１０１がＮｏ）は、処理を終了する。

ステップＳ１０２では、車両９に対する接近車両１０の位置、つまり、車両９に対する接近車両１０の位置を導出部１１３が導出して（ステップＳ１０２）、ステップＳ１０３の処理に進む。

ステップＳ１０３では、車両９に対する接近車両１０の位置から仮想視点ＶＰの視点位置、および、視野方向を画像制御部１１１が設定して（ステップＳ１０３）、ステップＳ１０４の処理に進む。なお、車両９に対する接近車両１０の位置からの仮想視点ＶＰの視点位置および視野方向の設定は、車両９に対する接近車両１０の位置に対応する仮想視点ＶＰの視点位置、および、視野方向の情報を不揮発性メモリ４から画像制御部１１１が読み出して設定する。

ステップＳ１０４では、仮想視点ＶＰから見た合成画像を合成画像生成部３２が生成して（ステップＳ１０４）、ステップＳ１０５の処理に進む。
ステップＳ１０５では、合成画像生成部３２により生成された合成画像を通信部６１を介して表示装置２０に画像出力部３３が出力する（ステップＳ１０５）。

＜第２の実施の形態＞

次に、第２の実施の形態について説明する。第２の実施の形態と第１の実施形態との相違点は、仮想視点の視点位置および視野方向である。つまり、第１の実施の形態では、車両９の位置と接近車両１０の位置との間の略中央で車両９の前後方向に延伸する軸線ｓｈ１上で放物線を描くように移動する仮想視点ＶＰ１〜ＶＰ４について説明した。

これに対して、第２の実施の形態では図１０に示すように車両９の車体の略中央位置にあり、車両９の前後方向（Ｙ軸方向）に延伸する軸線ｓｈ２を通り路面の鉛直方向から所定角度(例えば２０度）傾いた平面上で放物線を描くように移動する仮想視点ＶＰがＶＰ１１からＶＰ１４の位置に移動する。なお、その他の構成および処理については第１の実施の形態の構成および処理と同一である。そのため、構成および処理が同一の部分についての記載は省略する。

＜２−１．仮想視点の視点位置と視野方向＞

図１０は、仮想視点ＶＰの視点位置を主に説明する図である。また、図１１および図１２は、仮想視点ＶＰの視野方向を主に説明する図である。

図１０に示すように、仮想視点ＶＰは、車両９の車体の略中央（例えば、フロントバンパーの中央）に位置し、車両９の前後方向（Ｙ軸方向）に延伸する軸線ｓｈ２を通り路面の鉛直方向から所定角度傾いた平面上で放物線を描くように、すなわち車両９の左側情報から斜め下方向に見下ろすように、ＶＰ１１〜ＶＰ１４の位置に移動する。
詳細には仮想視点ＶＰ１１からＶＰ１２、仮想視点ＶＰ１２からＶＰ１３への視点位置の移動は、車両９に対して接近車両１０が近づくにつれて、視点位置の高さが上昇する。また、車両９と接近車両１０との直線距離が短くなる（例えば、車両９の後方のバンパー部分と接近車両１０の前方のバンパー部分との距離が短くなる）ほど仮想視点ＶＰの位置が車両９の前方から車両９の側方に移動する。

そして、車両９と接近車両１０との直線距離が更に短くなるほど仮想視点ＶＰの位置が車両９の側方から車両９の後方に移動する。このように視点位置が移動することで、車両９の像と接近車両１０の像とが合成画像中に含まれ、接近車両１０の位置をユーザが正確に把握できる。

なお、仮想視点ＶＰ１３からＶＰ１４への移動は、車両９が接近車両１０を追い越した場合に行われる。つまり、仮想視点ＶＰの視点位置は車両９と接近車両１０との位置に応じた視点位置となる。

また、例えば、仮想視点ＶＰ１１の視点位置は車両９と接近車両１０との距離が３０ｍ以上の場合に、仮想視点ＶＰ１２の視点位置は車両９と接近車両１０との距離が３０ｍ未満１０ｍ以上の場合にそれぞれの仮想視点の視点位置となる。また、仮想視点ＶＰ１３の視点位置は車両９と接近車両１０との距離が１０ｍ未満１ｍ以上の場合に、仮想視点ＶＰ１４の視点位置は車両９と接近車両１０との距離が１ｍ未満となった後、接近車両１０が車両９を追い越した場合にそれぞれの仮想視点の視点位置となる。

図１１は、仮想視点ＶＰ１１の視野方向と仮想視点ＶＰ１２の視野方向とを主に説明する図である。図１１の左図に示す仮想視点ＶＰ１１は、車両９の左斜め前方の視点位置から車両９の車体の略重心の位置である重心位置ＣＰ上を仮想視点ＶＰ１１の視線が通過する。そして、車両９の後方（＋Ｙ方向）にある重心位置ＣＰと接近車両１０の位置とを結ぶ直線の略中央の地点ＣＥ１１に視野が向く視野方向となっている。

次に、図１１の右図に示す仮想視点ＶＰ１２は、仮想視点ＶＰ１１よりもさらに左側に傾いた車両９の前方の視点位置から重心位置ＣＰ上を仮想視点ＶＰ１２の視線が通過し、重心位置ＣＰと接近車両１０の位置とを結ぶ直線の略中央の地点ＣＥ１２に視線が向くような視野方向となっている。

図１２は、仮想視点ＶＰ１３の視野方向と仮想視点ＶＰ１４の視野方向とを主に説明する図である。図１２の左図に示す仮想視点ＶＰ１３は、車両９の左側方（−Ｘ方向）の視点位置から重心位置ＣＰ上を仮想視点ＶＰ１３の視線が通過し、重心位置ＣＰと車両９の右側方（＋Ｘ方向）に存在する接近車両１０の位置とを結ぶ直線の略中央の地点ＣＥ１３に視線が向く視野方向となっている。

図１２の右図に示す仮想視点ＶＰ１４は、車両９の後方（＋Ｙ方向）の視点位置から重心位置ＣＰ上を仮想視点ＶＰ１４の視線が通過し、重心位置ＣＰと車両９の右斜め前方に存在する接近車両１０の位置とを結ぶ略中央の地点ＣＥ１４に視線が向く視野方向となっている。なお、図１０から図１２で示した視点位置および視野方向の仮想視点ＶＰから見た合成画像には車両９に対応する車両像９１および接近車両１０に対応する接近車両像１０１が含まれる。

＜２−２．表示画像＞

図１３および図１４はディスプレイ２４に表示される仮想視点から見た合成画像を示した図である。なお、図７および図８に示す合成画像ＰＴ１１からＰＴ１４は時間的に連続した合成画像である。合成画像ＰＴ１１は仮想視点ＶＰ１１から見た合成画像であり、車両像９１の後方に接近車両像１０１が映し出されている。合成画像ＰＴ１２は、仮想視点ＶＰ１２から見た合成画像であり、車両像９１の後方に接近車両像１０１が映し出されている。そして、合成画像ＰＴ１２では、合成画像ＰＴ１１よりも接近車両像１０１が車両像９１に接近した位置にある。このような合成画像の表示により接近車両の位置を車両のユーザが正確に把握できる。

図１４の合成画像ＰＴ１３は仮想視点ＶＰ１３から見た合成画像であり、車両像９１と車両像９１の側方の位置に存在する接近車両像１０１とを含む画像が映し出されている。そして、合成画像ＰＴ１４では、仮想視点ＶＰ１４から見た合成画像であり、接近車両像１０１が車両像９１を追い越した状態の画像が映し出されている。このように車両９に対する接近車両の位置を時系列に表示することで、接近車両の位置をユーザは正確に把握できる。

＜第３の実施の形態＞

次に、第３の実施の形態について説明する。第３の実施の形態と第１の実施形態との相違点は、車両９の走行車線の変更に伴う車両９のユーザの操作を図１５に示す操作検知部１１４が検知した場合に、車両９と接近車両１０の位置に応じた仮想視点から見た合成画像を合成画像生成部３２が生成することである。

また、第３の実施の形態では、車両９の車線変更の可否の判断結果を示す警告画像を合成画像に重畳させて、表示装置２０のディスプレイ２４に表示する点が第１の実施の形態で説明した内容と異なる点である。なお、その他の構成および処理については第１の実施の形態の構成および処理と同一である。そのため、構成および処理が同一の部分についての記載は省略する。

＜３−１．システム構成＞

図１５は、画像表示システム１２０ａのブロック図である。画像処理装置１１ａの制御部１ａは、第１の実施の形態で説明した画像制御部１１１、検出部１１２、および、導出部１１３に加えて、操作検知部１１４、予測部１１５、演算部１１６、および、判断部１１７を備えている。

操作検知部１１４は、車両９の走行車線の変更に伴うユーザの操作を検知する。例えば、ユーザのウインカースイッチの操作に基づく方向指示、すなわち、方向指示器８３からのユーザが意図する方向指示を示すターン信号のオン状態、および、ウインカースイッチが中立位置となった場合のターン信号のオフ状態を検知する。また、別の例として操舵角センサ８４からのユーザが操作したステアリングホイールの回転方向、回転角度、および、回転速度の信号を検知する。

予測部１１５は、車両９が走行車線を変更して移動する場合の移動位置を予測する。詳細には車両９がユーザの操作により走行車線を変更する時間の情報である車線変更時間４２ａを予め不揮発性メモリ４ａに記憶する。そして、車両９の移動位置を予測する際に車線変更時間４２ａを予測部１１５が読み出して、車線変更時間４２ａおよび車両９の走行速度などに基づく移動位置の予測を予測部１１５が行う。

ここで、車両９の走行車線を変更する時間とは、ユーザの操作に伴い車両９の走行車線の変更が開始されて、車両９の走行車線の変更が終了するまでの時間である。例えば、ユーザが方向指示器８３を操作したターン信号のオン状態を操作検知部１１４が検知したときから、ステアリングホイールの回転方向が車両９の車線変更を行う方向に変更された後、ステアリングホイールの回転方向が車両９の直進移動する方向（ステアリングホイールの回転角度が略０度となる状態、つまりステアリングホイールが略中立位置となる状態）に変更されるまでの所定の時間（例えば、５秒）である。

演算部１１６は、車両９が走行車線を変更することにより移動する移動位置に接近車両１０が移動する時間を演算する。例えば、連続する撮影画像中の接近車両像１０１の位置の変化から接近車両１０の走行速度の情報を演算部１１６が演算し、当該走行速度の情報から接近車両１０の移動位置への移動時間を演算部１１６が演算する。

判断部１１７は、車両９の移動位置への移動時間と、接近車両１０の移動位置への移動時間とから、車両９の移動位置への移動の可否、つまり車両９の車線変更の可否を判断する。なお、車両９の移動位置への移動が困難であると判断部１１７が判断した場合は、合成画像生成部３２に、後述する警告画像が重畳した合成画像を生成する指示信号を判断部１１７が出力する。

なお、判断部１１７が車両９の移動位置への移動が可能であると判断した場合は、合成画像生成部３２への警告画像を表示する指示信号を判断部１１７が出力しないようにしてもよいし、警告画像以外の画像を表示する指示信号を判断部１１７が出力するようにしてもよい。ここで、警告画像以外の画像とは、例えば、車両９の移動位置を示す画像（以下、「移動位置画像」ともいう）、および、接近車両１０の接近状態を示す画像（以下、「接近状態画像」ともいう。）などのうち少なくとも一つの画像をいう。
不揮発性メモリ４ａの車線変更時間４２ａは、車両９のユーザの操作に伴い車両９が走行車線の変更を開始して走行車線の変更が終了するまでの時間である。

＜３−２．表示画像＞

図１６はディスプレイ２４に表示される仮想視点から見た合成画像を示した図である。合成画像ＰＴ１ａは仮想視点ＶＰ１から見た合成画像であり、車両像９１の後方に接近車両像１０１が映し出されている。そして、車両像９１の側方に車両９の車線変更後の位置を示す移動位置画像ｔｒが合成画像に重畳して映し出されている。

また、接近車両像１０１の進行方向に表示されている接近状態画像ａｄ１が合成画像に重畳して映し出されている。接近状態画像ａｄ１は、車両像９１に対応する車両９が移動位置に移動する時間の間に接近車両像１０１に対応する接近車両１０が移動する移動量を示している。そして、合成画像ＰＴ１ａに示す接近車両像１０１の移動位置への接近状態においては、車両像９１に対応する車両９は走行する車線の変更が可能となる。このようにユーザは車両９の移動位置に対する車線変更の可否を明確に把握できる。

合成画像ＰＴ２ａは、ＰＴ１ａとは異なるタイミングで撮影された撮影画像に基づいて生成された合成画像である。合成画像ＰＴ２ａは仮想視点ＶＰ２から見た合成画像であり、車両像９１の後方に接近車両像１０１が映し出されている。合成画像ＰＴ２ａでは、合成画像ＰＴ１ａと比べて接近車両１０に対応する接近車両像１０１が車両９に対応する車両像９１に接近した状態であり、車両９の車線変更が困難な状態を表している。

具体的には、車両像９１の側方に、車両９の車線変更後の位置を示す移動位置画像ｔｒａが合成画像に重畳して映し出されている。このｔｒａは合成画像ＰＴ１ａに示した移動位置画像ｔｒと比べて表示態様が変更されており、車両像９１に対応する車両９の移動が困難であることを示す警告画像が重畳された状態となっている。つまり、車両９の移動位置に車両９が移動すると接近車両１０と接触する可能性があることを示す警告画像（例えば、移動位置に対応する範囲に対して警告状態を示す色で表示するなど）を重畳させている。これによりユーザは車両９の移動位置に対する車線変更の可否を明確に把握できる。

また、接近車両像１０１の進行方向に表示されている接近状態画像ａｄ２の一部が移動位置画像ｔｒａの範囲内に含まれるように合成画像に重畳されて映し出されている。これは、車両像９１に対応する車両９が移動位置に移動する時間の間に接近車両像１０１に対応する接近車両１０が移動する移動量を示しており、車両９が移動位置へ車線変更すると接近車両１０と接触する危険があることを示す警告画像として合成画像に重畳して映し出されている。

さらに、車両像９１と接近車両像１０１との間の略中央位置の区画線上に車両像９１に対応する車両９の走行車線の変更が困難であることを示す警告ライン像ＬＮが警告画像として合成画像に重畳表示されている。これにより車両９のユーザは接近車両１０の接近状態を正確に把握して、車両の車線変更の可否を容易に判断できる。

なお、合成画像ＰＴ２ａに示した警告画像の組み合わせはこれ以外にも他の組み合わせ（例えば、警告ライン像ＬＮのみを重畳して映し出したり、移動位置画像ｔｒａおよび接近状態画像ａｄ２のみを重畳して映し出す）が可能である。

また、第３の実施の形態では車両９の走行車線の変更に伴うユーザの車両９の操作を操作検知部１１４が検知した場合に車両９に対する接近車両１０の位置に応じて合成画像に警告画像を重畳してディスプレイ２４に表示する処理について述べた。これに対して、車両９の走行車線の変更に伴うユーザの操作を操作検知部１１４が検知した場合に、警告画像を重畳した表示を行わずに合成画像（第１の実施の形態で説明した車両９と接近車両１０の位置に応じた仮想視点から見た合成画像）のみをディスプレイ２４に表示するようにしてもよい。これにより、ユーザは接近車両１０の位置を正確に把握して車両９の車線変更の可否を容易に判断できる。

＜３−３．処理フローチャート＞

図１７および図１８は、画像処理装置１１ａの処理フローチャートである。ステップＳ２０１では、車両９の走行車線の変更に伴うユーザの操作を操作検知部１１４が検知した場合（ステップＳ２０１がＹｅｓ）、ステップＳ１０１の処理に進んだ後、ステップＳ１０１からステップＳ１０４の処理が行われる。そして、ステップＳ１０４において仮想視点ＶＰから見た合成画像が生成され、ステップＳ２０２の処理に進む。なお、ステップＳ２０１の処理において、車両９の走行する車線の変更に伴うユーザの操作を操作検知部１１４が検知していない場合（ステップＳ２０１がＮｏ）は処理を終了する。

ステップＳ２０２では、車両９の走行車線の変更に伴う移動位置を予測部１１５が導出して（ステップＳ２０２）、ステップＳ２０３の処理に進む。

ステップＳ２０３では、接近車両１０の移動位置への移動時間を演算部１１６が演算して（ステップＳ２０３）、ステップＳ２０４の処理に進む。

ステップＳ２０４では、車両９の移動位置への移動時間が接近車両１０の移動位置への移動時間よりも長い時間の場合は（ステップＳ２０４がＹｅｓ）、判断部１１７が合成画像生成部３２に警告画像を表示する指示信号を出力して（ステップＳ２０５）、ステップＳ２０６の処理に進む。なお、車両９の移動位置への移動時間が接近車両１０の移動位置への移動時間よりも短い場合（ステップＳ２０４がＮｏ）は、ステップＳ１０５の処理に進み、ステップＳ１０４で生成された合成画像を画像出力部３３が表示装置２０に出力する（ステップＳ１０５）。

ステップＳ２０６では、合成画像に警告画像を合成画像生成部３２が重畳する。そして警告画像が重畳された合成画像が画像出力部３３により表示装置２０に出力される（ステップＳ２０６）。

＜第４の実施の形態＞

次に、第４の実施の形態について説明する。第４の実施の形態と第３の実施形態との相違点は、車両９のユーザの複数回の車線変更における車線変更時間からユーザの固有の車線変更時間（例えば、車両９のユーザの車線変更時間の平均値）を学習し、当該時間を不揮発性メモリ４ｂに記憶しておく点である。つまり、学習とは、車両９のユーザの複数回の車線変更における車線変更時間からユーザの固有の車線変更時間を学習部１１８が導出することである。

また、記憶とは、学習部１１８により導出された車両９のユーザの固有の車線変更時間を不揮発性メモリ４ｂの車線変更時間４２ｂとして記憶しておくことである。これにより、判断部１１７が車両９の移動位置への移動の可否を判断する場合に、ユーザごとの車線変更の際の車両の操作時間に応じた車線変更の可否判断が可能となる。なお、その他の構成および処理については第３の実施の形態の構成および処理と同一である。そのため、構成および処理が同一の部分についての記載は省略する。

＜４−１．システム構成＞

図１９は、画像表示システム１２０ｂのブロック図である。画像処理装置１１ｂの制御部１ｂは、第３の実施の形態で説明した構成に加えて、学習部１１８を備えている。学習部１１８は、ユーザの操作に伴い車両９の走行車線の変更開始から車両９の走行車線の変更終了までの複数回の車線変更に要した時間を積算してユーザの固有の車線変更時間を計測する。

不揮発性メモリ４ｂの車線変更時間４２ｂは学習部１１８で導出された車線変更時間の情報を記憶する。つまり、一定値の車線変更情報ではなく、ユーザの車線変更動作を学習した結果の値である車線変更時間４２ｂを不揮発性メモリ４ｂが記憶する。
判断部１１７は、接近車両１０が移動位置に移動する時間と、ユーザの固有の車線変更時間である車線変更時間４２ｂとに基づいて、車両９の移動位置への移動の可否を判断する。これにより、車両９の移動位置への移動の可否をユーザの固有の車線変更時間に応じて、ユーザが容易に判断できる。

＜４−２．車線変更時間グラフ＞

図２０は、車両９の車線変更時間の計測の一例を示すグラフである。時刻ｔ１において、ユーザが方向指示器８３を操作するとターン信号のオン状態が操作検知部１４に検出されたことにより、制御部１ｂの学習部１１８が車線変更時間の学習を開始する。
次に、方向指示器８３のターン信号がオン状態となっている時刻ｔ２で、車両９の走行車線を変更する方向と同じ方向のステアリングホイールの回転角度が操作検知部１４に検出される。そして、時刻ｔ３でステアリングホイールの操舵角のグラフの傾きが右下がりとなったところで、ターン信号がオフ状態となる。その後ステアリングホイールの操舵角の角度が略０度（ステアリングホイールが中立位置）となった場合に、時刻ｔ１からｔ４までの時間を車両９のユーザの１回の車線変更時間として学習部１１８が学習する。そして、当該車線変更時間をユーザが１回の車線変更に要した時間として不揮発性メモリ４ｂに記憶される。

以降、車両９の車線変更が行われるごとに車線変更時間を学習部１１８が積算し、その積算時間を車線変更回数で除算して、ユーザの固有の車線変更時間である車線変更時間４２ｂとして不揮発性メモリ４ｂに記憶する。そして、予測部１１５が移動位置を予測する場合、および、判断部１１７が車両９の移動位置への移動の可否を判断する場合などに、不揮発性メモリ４ｂから車線変更時間４２ｂが読み出される。

＜４−３．処理フローチャート＞

図２１および図２２は学習部１１８が車線変更時間を計測する処理フローチャートである。ステップ４０１ではユーザが方向指示器８３を操作してターン信号がオン状態となった場合（ステップＳ４０１がＹｅｓ）、ステップＳ４０２の処理に進む。なお、ユーザが方向指示器８３を操作していない場合（ステップＳ４０１がＮｏ）は、処理を終了する。
ステップＳ４０２では、ターン信号がオン状態となったことにより、制御部１の方向指示器フラグがオン状態となり（ステップＳ４０２）、ステップ４０３において、車線変更時間の計測を学習部１１８が開始して（ステップＳ４０３）、ステップＳ４０４の処理に進む。

ステップＳ４０４では、方向指示器８３の左右いずれかの方向のうち方向指示器８３を操作した側へステアリングホイールを操舵した場合（ステップＳ４０４がＹｅｓ）は、ステップＳ４０５の処理へ進む。例えば、方向指示器８３を右側に操作した場合にステアリングホイールを右側に操舵して、車両９の走行する車線の右側に隣接する走行車線に車両９を移動させる場合である。
なお、方向指示器８３の左右いずれかの方向のうち方向指示器８３を操作した側へステアリングホイールを操舵していない場合、つまり方向指示器８３を操作した側と反対側にステアリングホイールを操舵した場合（ステップＳ４０４がＮｏ）は、ステップＳ４０６の処理へ進む。

ステップＳ４０５では、方向指示器８３を操作した側に対応するステアリングホイールの操舵フラグをオン状態として（ステップＳ４０５）、ステップＳ４０６の処理に進む。

ステップＳ４０６では、方向指示器８３を操作した側とは反対側にステアリングホイールを操舵した場合（ステップＳ４０６がＹｅｓ）は、ステップＳ４０７の処理に進む。例えば、方向指示器８３を右側に操作した場合にステアリングホイールを右側に操作した後に、ステアリングホイールを反対側(左側）に切り返す操作をした場合である。なお、方向指示器８３を操作した側とは反対側にステアリングホイールを操舵していない場合（ステップＳ４０６がＮｏ）は、ステップＳ４０８の処理に進む。

ステップＳ４０７では、方向指示器８３を操作した側とは反対側に対応する反対側操舵フラグをオン状態として、ステップＳ４０８の処理に進む。

ステップＳ４０８では、操舵フラグおよび反対側操舵フラグがオン状態の場合（ステップＳ４０８がＹｅｓ）は、ステップＳ４０９の処理に進む。なお、操舵フラグおよび反対側操舵フラグがオン状態ではない場合（ステップＳ４０８がＮｏ）は、処理を終了する。

ステップＳ４０９では、ステアリングホイールの操舵角が略０度の場合（ステップＳ４０９がＹｅｓ）はステップＳ４１０の処理に進む。なお、ステアリングホイールの操舵角が略０度ではない場合（ステップＳ４０９がＮｏ）は処理を終了する。

ステップＳ４１０では、ユーザの固有の車線変更時間を学習部１１８が導出して（ステップＳ４１０）、ステップＳ４１１に進む。ステップＳ４１１では、各フラグをＯＦＦ状態とする（ステップＳ４１１）。このような処理を車線変更を行うたびに繰り返し行うことで、車両９の移動位置への移動の可否をユーザの車線変更時間の応じて正確に判断できる。

＜第５の実施の形態＞

次に、第５の実施の形態について説明する。第５の実施の形態と第３の実施形態との相違点は仮想視点の視点位置が接近車両１０のドライバーの位置で、視野方向が車両９の存在する方向となる点である。なお、その他の構成および処理については第３の実施の形態の構成および処理と同一である。そのため、構成および処理が同一の部分についての記載は省略する。

＜５−１．仮想視点の視点位置および視野方向＞

図２３は、仮想視点ＶＰ３１の視点位置を主に説明する図である。図２３に示すように、接近車両１０のドライバーの位置が仮想視点ＶＰ３１の視点位置となっている。詳細には車両１０のドライバーが着座する位置（運転席の位置）が視点位置となっている。なお、接近車両１０のドライバーの位置の導出は導出部１１３が行うが、詳細な説明は次の図２４を用いて行う。

図２４は、仮想視点ＶＰ３１の視野方向を主に説明する図である。図２４に示す仮想視点ＶＰ３１の視野方向は、車両９の存在する方向である。つまり、接近車両１０のドライバーの位置から見る接近車両１０の進行方向（−Ｙ方向）と略同一の方向である。

ここで、接近車両１０のドライバーの位置となる車両９に対する接近車両１０の位置の導出は、合成画像中の接近車両像１０１の画像中の位置から、重心位置ＣＰから接近車両１０の位置（例えば接近車両１０のフロントバンパーの位置）までを結ぶ直線ＣＬを導出部１１３が導出する。そして、直線ＣＬに補正値ｃｌを加えた直線ＣＬａを導出部１１３が導出する。この補正値ｃｌは、接近車両１０の位置（例えば、接近車両１０のフロントバンパーの位置）から接近車両１０のドライバーの位置である着座位置ＵＰまでの距離である。

また、これ以外にも次のように接近車両１０のドライバーの位置を導出してもよい。図２４に示す車両９に対する接近車両１０の前後方向（Ｙ軸方向）の位置を第１の実施の形態の図５に示した直線ＡＬに補正値ａｌを加えた位置として導出部１１３が導出する。また、車両９に対する接近車両１０の横方向(Ｘ軸方向）の位置を直線ＢＬに補正値ｂｌを加えた位置として導出部１１３が導出する。そして、例えば三平方の定理などにより車両９の重心位置ＣＰから着座位置ＵＰまでを結ぶ直線ＣＬａを導出部１１３が導出する。

そして、着座位置ＵＰが接近車両１０のドライバーの位置となり、この位置が仮想視点ＶＰ３１の視点位置となる。また、接近車両１０の進行方向（−Ｙ方向）と略同一の方向が仮想視点ＶＰ３１の視野方向となる。

なお、補正値ｃｌ等の各補正値は、不揮発性メモリ４ａに記録されており、例えば、接近車両１０のフロントバンパー部分の位置から着座位置ＵＰまでの直線を導出する際に用いられる補正値となる。

＜５−２．表示画像＞

図２５は、ディスプレイ２４に表示される仮想視点ＶＰ３１から見た合成画像を示した図である。合成画像ＰＴ３１は仮想視点ＶＰ３１から見た合成画像であり、車両像９１が前方に映し出されている。つまり、接近車両１０のドライバーの視点位置で、車両９の存在する視野方向から見た合成画像がディスプレイ２４に映し出されている。これにより接近車両１０のドライバーの視点で車両９の位置をユーザが正確に把握できる。なお、接近車両１０の一部の画像は不揮発性メモリ４ｂに予め記憶されているイメージ図である。

また、合成画像ＰＴ３１には、前方に移動位置画像ｔｒａが合成画像に重畳して映し出されており、接近車両１０の進行方向に表示されている接近状態画像ａｄ２の一部が移動位置画像ｔｒａの範囲内に含まれるように合成画像に重畳して映し出されている。さらに、警告ライン像ＬＮが警告画像として合成画像に重畳して映し出されている。このような場合は、ユーザは車両９の車線変更が困難であることが明確に判断できる。

＜５−３．処理フローチャート＞

図２６および図２７は、画像処理装置１１ａの処理フローチャートである。ステップＳ１０２ａでは、前の処理のステップＳ１０１において検出部１１２が接近車両１０の存在を検出した場合に、接近車両１０のドライバーの位置を導出部１１３が導出して、ステップＳ１０３ａの処理に進む。

ステップＳ１０３ａでは、仮想視点の視点位置を接近車両１０のドライバー位置とし、仮想視点の視野方向を車両９の存在する方向として（ステップＳ１０３ａ）、ステップＳ１０４の処理に進む。そして、以降は第３の実施の形態で説明した処理を行う。

＜第６の実施の形態＞

次に、第６の実施の形態について説明する。第６の実施の形態と第３の実施形態との相違点は、車両９がユーザの操作により車線変更を行う場合に、検出部１１２が接近車両１０の存在を検出しないときの合成画像の表示について説明した点である。このような場合は、視点位置が車両９の前方で視野方向が車両９の後方となる仮想視点ＶＰから見た合成画像がディスプレイ２４に映し出される。

＜６−１．表示画像＞

図２８は、ディスプレイ２４に表示される仮想視点ＶＰから見た合成画像を示した図である。合成画像ＰＴ１ｂには車両像９１を含んだ合成画像が映し出されている。合成画像ＰＴ１ｂは、操作検知部１１４が車両９のユーザの操作を検知した場合に、検出部１１２が接近車両１０の存在を検出していない（接近車両１０が車両９の後方に存在しない）ときは、次に示す仮想視点から見た合成画像を合成画像生成部３２が生成する。つまり、車両像９１の少なくとも一部の像を含み、視点位置を車両９の前方とし、視野方向を車両９の後方とする仮想視点ＶＰから見た合成画像を合成画像生成部３２が生成する。これにより接近車両１０の存在の有無に関わらず車両９の車線変更の可否をユーザが容易に判断できる。

＜６−２．処理フローチャート＞

図２９および図３０は、画像処理装置１１ａの処理フローチャートである。ステップＳ１０１において、接近車両１０の存在を検出部１１２が検出していない場合（ステップＳ１０１がＮｏ）は、ステップＳ３０１の処理に進む。
ステップＳ３０１では、仮想視点ＶＰの視点位置および視野方向を画像制御部１１１が設定する（ステップＳ３０１）。つまり、車両像９１の少なくとも一部の像を含み、視点位置を車両９の前方とし、視野方向を車両９の後方とする仮想視点ＶＰを画像制御部１１１が設定する。そして、仮想視点ＶＰから見た合成画像を合成画像生成部３２が生成する（ステップＳ１０４）。以降は第３の実施の形態で説明した処理を行う。

＜第７の実施の形態＞

次に、第７の実施の形態について説明する。第７の実施の形態と第６の実施形態との相違点は、車両９がユーザの操作により車線変更を行う場合に、視点位置が車両９のドアミラー近傍の位置で、視野方向が車両９の後方となる仮想視点ＶＰ４１から見た合成画像を合成画像生成部３２が生成することである。

＜７−１．仮想視点の視点位置および視野方向＞

図３１は、仮想視点ＶＰ４１の視点位置を主に説明する図である。図３１に示すように、仮想視点ＶＰ４１の視点位置は車両９のドアミラー近傍の位置がとなっている。なお、図３１では右側（＋Ｘ方向）の車線に車両９が走行車線の変更を行う場合について説明しているため、右側（＋Ｘ方向）のドラミラー近傍に仮想視点ＶＰ４１の視点位置が設定されるが、左側（−Ｘ方向）に車両９が走行車線の変更を行う場合は、左側（−Ｘ方向）にドアミラー近傍に仮想視点の視点位置を設定してもよい。

図３２は、仮想視点ＶＰ４１の視野方向を主に説明する図である。図３２に示す仮想視点ＶＰ４１は車両９のドアミラー近傍を視点位置とし、視野方向を車両９の後方(＋Ｙ方向)としている。つまり車両９の進行方向（−Ｙ方向）と反対の方向に視野が向けられている。

＜７−２．表示画像＞

図３３は、ディスプレイ２４に表示される仮想視点ＶＰ４１から見た合成画像を示した図である。合成画像Ｐ４１は仮想視点ＶＰ４１から見た合成画像であり、車両９の右側のドアミラーに映し出される像を含む合成画像として表示されている。これにより接近車両が存在しない場合でも車両９の車線変更の可否をユーザが容易に判断できる。
＜７−３．処理フローチャート＞
図３４および図３５は、画像処理装置１１ａの処理フローチャートである。ステップＳ１０１において、接近車両１０の存在を検出部１１２が検出していない場合（ステップＳ１０１がＮｏ）は、ステップＳ４０１の処理に進む。

ステップＳ４０１では、車両９のドアミラー近傍となる視点位置で、視野方向が車両９の後方となる仮想視点ＶＰ４１の視点位置および視野方向を画像制御部１１１が設定する（ステップＳ４０１）。そして、仮想視点ＶＰ４１から見た合成画像を合成画像生成部３２が生成する（ステップＳ１０４）。以降は第６の実施の形態で説明した処理を行う。

＜第８の実施の形態＞

次に、第８の実施の形態について説明する。第８の実施の形態は、フロントカメラ５１などの一のカメラで撮影した撮影画像をディスプレイ２４に表示する。そして、一のカメラの撮影画像がディスプレイ２４に表示されている場合に、接近車両１０の存在が検出部１１２により検出されたときは、車両９と接近車両１０の位置に応じた仮想視点から見た合成画像を一のカメラで撮影した画像と共にディスプレイ２４に表示する。

ここで、車両９と接近車両１０の位置に応じた仮想視点は、例えば、視点位置を接近車両１０のドライバーの位置とし、視野方向を車両９の存在する方向とする仮想視点（例えば図３６に示す仮想視点ＶＰ５２ａ）である。また、例えば視点位置を車両９のドアミラー近傍の位置とし、視野方向を接近車両１０の存在する方向とする仮想視点（例えば図３６に示す仮想視点ＶＰ５２ｂ）である。これらの仮想視点は後述するようにユーザの操作に応じて変更され、この変更によりディスプレイ２４に表示される合成画像の表示態様が切り替えられる。これによりユーザは接近車両１０の存在を早期に認識でき、接近車両１０の位置を正確に判断できる。

＜８−１．仮想視点の視点位置および視野方向＞
図３６は、一のカメラの撮影画像と共にディスプレイ２４に表示される合成画像の仮想視点の一例を示している。詳細には視点位置を接近車両１０のドライバーの位置とし、視野方向を車両９の存在する方向とする仮想視点ＶＰ５２ａと、視点位置を車両９のドアミラー近傍の位置とし、視野方向を接近車両１０の存在する方向とする仮想視点ＶＰ５２ｂが示されている。そして、これらの仮想視点はユーザの操作に応じて変更され、この変更によりディスプレイ２４に表示される合成画像の表示態様が切り替えられる。

＜８−２．表示画像＞

図３７および図３８はディスプレイ２４に表示される画像を示す図である。なお、図３７および図３８の画像ＰＴ５１、ＰＴ５１ａ、および、ＰＴ５１ｂは時間的に連続した画像である。画像ＰＴ５１は車両９に備えられたフロントカメラのみで撮影した撮影画像であり、車両９の前方（−Ｙ方向）を走行する前方車両の車両像１０２（以下、「前方車両像１０２」ともいう）がディスプレイ２４に映し出されている。画像ＰＴ５１には後述するような合成画像は重畳表示されていない。つまり、車両９の後方から接近する接近車両１０の存在が検出部１１２により検出されていない。

次に、画像ＰＴ５１ａは、検出部１１２が接近車両１０の存在を検出した場合にディスプレイ２４に表示される画像を示している。画像ＴＰ５１ａには、前方車両像１０２が表示されており、この画像ＰＴ５１ａに，接近車両１０のドライバーの位置の仮想視点ＶＰ５２ａから見た合成画像ＰＴ５２ａが重畳して映し出されている。つまり、画像ＰＴ５１ａと共に合成画像ＰＴ５２ａがディスプレイ２４に映し出されている。これにより、ユーザは接近車両１０の存在を早期に認識でき、接近車両１０の位置を正確に把握できる。

なお、この合成画像ＰＴ５２の仮想視点の視点位置は接近車両１０のドライバーの位置であり、視野方向は接近車両１０の存在する方向である。そして、車両９に対する接近車両１０の位置において、その距離が所定の距離を下回っているため、車両像９１を含むような視野方向（接近車両１０のドライバーの位置から見て左斜め前方の方向）の仮想視点から見た合成画像となっている。

また、画像ＰＴ５１ａには相手視点ボタンＢ１、および、自車視点ボタンＢ２とが重畳して表示されている。この相手視点ボタンＢ１、および、自車視点ボタンＢ２のいずれかのボタンをユーザが操作することにより各ボタンに対応した仮想視点から見た合成画像がディスプレイ２４に映し出される。つまり、フロントカメラ５１で撮影された撮影画像と共に合成画像がディスプレイ２４に映し出される。

画像ＰＴ５１ａでは相手視点ボタンＢ１が選択されているため、接近車両１０のドライバーの位置の仮想視点ＶＰ５２ａから見た合成画像ＰＴ５２ａが、画像ＰＴ５１ａと共にディスプレイ２４に映し出されている。

次に、図３８に示す画像ＰＴ５１ｂでは、ユーザの操作により、自車視点ボタンＢ２が選択されている。そして、このユーザ操作に応じてフロントカメラの撮影画像と共にディスプレイ２４に映し出される合成画像が、合成画像ＰＴ５２ａから合成画像ＰＴ５２ｂに切り替えられる。これにより、ユーザの希望する仮想視点から見た合成画像を表示して、接近車両の位置を正確に把握できる。

＜８−３．処理フローチャート＞

図３９および図４０は、一の撮影画像と共に合成画像をディスプレイ２４に表示する処理フローチャートである。ステップＳ５０１では、フロントカメラ５１で撮影された撮影画像が画像処理部３で処理され（ステップＳ５０１）、画像出力部３３から通信部６１を介して表示装置２０に出力され（ステップＳ５０２）、ステップＳ１０１の処理に進む。

ステップＳ１０１では、接近車両１０の存在を検出部１１２が検出した場合（ステップＳ１０１がＹｅｓ）、ステップＳ５０３の処理に進み、車両９と接近車両１０の位置に応じた仮想視点から見た合成画像を画像出力部３３が通信部６１を介して表示装置２０に出力して（ステップＳ５０３）、ステップＳ５０４の処理に進む。これにより、フロントカメラ５１で撮影された撮影画像と共に合成画像がディスプレイ２４に表示される。

なお、合成画像の仮想視点の視点位置、および、視野方向は、過去に接近車両を検出部が検出した際にユーザの操作により選択された仮想視点の視点位置、および、視野方向から見た合成画像がディスプレイ２４に表示される。

また、ステップＳ１０１で、検出部１１２が接近車両１０の存在を検出していない場合（ステップＳ１０１がＮｏ）は、処理を終了する。

ステップＳ５０４に戻り、ディスプレイ２４にフロントカメラ５１により撮影された撮影画像の画像ＰＴ５１ａと共に、合成画像ＰＴ５２ｂがディスプレイ２４に映し出されている場合に、ユーザの操作により相手視点ボタンＢ１が選択されたとき（ステップＳ５０４がＹｅｓ）は、ステップＳ５０５の処理に進む。

なお、相手視点ボタンＢ１がユーザの操作により選択されていない場合（ステップＳ５０４がＮｏ）は、ステップＳ５０７の処理に進む。また、過去のユーザの操作により既に相手視点ボタンＢ１が選択されている場合も同様の処理を行う。

ステップＳ５０５では、接近車両１０のドライバーの位置の仮想視点ＶＰ５２ａから見た合成画像ＰＴ５２ａが合成画像生成部３２により生成され（ステップＳ５０５）、ステップＳ５０６の処理に進む。

ステップＳ５０６では、合成画像ＰＴ５２ａが画像出力部３３により表示装置２０に出力され（ステップＳ５０６）、ステップＳ５０７の処理に進む。

ステップＳ５０７では、ディスプレイ２４にフロントカメラ５１により撮影された撮影画像の画像ＰＴ５１ａと共に、仮想視点ＶＰ５２ａから見た合成画像ＰＴ５２ａがディスプレイ２４に映し出されている場合に、ユーザの操作により自車視点ボタンＢ２が選択されたとき（ステップＳ５０７がＹｅｓ）は、ステップＳ５０８の処理に進む。

なお、自車視点ボタンＢ２がユーザの操作により選択されていない場合（ステップＳ５０７がＮｏ）は、処理を終了する。また、過去のユーザの操作により既に自車視点ボタンＢ２が選択されている場合も同様の処理を行う。

ステップＳ５０８では、車両９のドアミラー近傍の仮想視点ＶＰ５２ｂから見た合成画像ＰＴ５２ｂが合成画像生成部３２により生成され（ステップＳ５０８）、ステップＳ５０９の処理に進む。

ステップＳ５０９では、合成画像ＰＴ５２ｂが画像出力部３３により表示装置２０に出力される（ステップＳ５０９）。

＜第９の実施の形態＞

次に、第９の実施の形態について説明する。第９の実施の形態では、第８の実施の形態で説明した車両９のフロントカメラ５１で撮影された画像のサイズと合成画像のサイズとをユーザの操作により切り替えてディスプレイ２４に表示する。

＜９−１．表示画像＞

図４１は、フロントカメラ５１の撮影画像のサイズと合成画像のサイズとの切替を示す図である。図４１の上図では、フロントカメラ５１で撮影された画像ＰＴ５１ｃと共に、車両９と接近車両１０の位置に応じた仮想視点から見た合成画像ＰＴ５２ｃがディスプレイ２４に映し出されている状態を示している。なお、画像ＰＴ５１ｃはディスプレイ２４の画面の大きさと略同じサイズの画像でディスプレイ２４に表示され、合成画像ＰＴ５２ｃは、画像ＰＴ５１ｃの略１／１０のサイズでディスプレイ２４に表示されている。

なお、ユーザの操作により一の撮影画像のサイズと合成画像のサイズとを切り替えてディスプレイ２４に表示する画像切替ボタンＢ３が画像ＰＴ５１ｃに重畳して表示されている。

そして、図４１の下図には、画像切替ボタンＢ３がユーザに操作された場合、合成画像ＰＴ５２ｃのサイズをユーザの画像切替ボタンＢ３の操作前の画像ＰＴ５１ｃと略同じサイズとする。つまり、切替前の合成画像ＰＴ５２ｃのサイズよりも拡大された合成画像ＰＴ５２ｄとしてディスプレイ２４に映し出す。

また、このような画像切替に伴い、画像ＰＴ５１ｃのサイズを車両９のユーザの画像切替ボタンＢ３の操作前の合成画像ＰＴ５２ｃと略同じサイズとする。つまり、切替前の画像ＰＴ５１ｃよりも縮小された画像ＰＴ５１ｄとしてディスプレイ２４に映し出す。これにより、車両９の走行状態に応じて、ユーザの希望する画像のサイズを他の画像のサイズと比べて調整できる。

＜第１０の実施の形態＞

次に、第１０の実施の形態について説明する。第１０の実施の形態では、車両９が表示装置２０のナビテーション機能を用いて車両９を走行させる場合に、表示装置２０からのユーザへの案内情報の報知に応じて、仮想視点から見た合成画像をユーザに提供するものである。

この実施の形態の目的は、次の内容である。表示装置２０に表示されたナビゲーション画面により目的地までの経路案内に沿ってユーザが車両９を走行させている場合に、車両９の進路変更を行う必要がない地点でナビゲーション画像から別の画像（例えば、仮想視点から見た合成画像）に表示装置２０画像が切り替わるときがある。このような場合、ユーザは本来見たいナビゲーション画像が見ることができないため、煩わしさを感じることがある。そのため、以下の第１０の実施の形態では、ユーザが車両９を操作する上で必要となるタイミングで表示装置２０に仮想視点から見た合成画像を表示する構成について説明する。

＜１０−１．案内情報地点＞

図４２は、ユーザに案内情報を報知する地点を示す図である。図４２では道路の左車線ＬＡを車両９が走行しており、区画線で区切られた右車線ＲＢを車両９の後方に位置する接近車両１０が走行している。そして、車両９のユーザの操作により車両９が到達する目的地が表示装置２０に設定された場合の当該目的地に到達するために走行すべきルートである経路ＲＵが示されている。

次に、車両９が経路ＲＵに沿って走行する場合、左車線ＬＡ上の地点ＰＮ１に車両９が接近したときに、車両９の位置を左車線ＬＡから右車線ＲＢに変更する旨の案内情報が表示装置２０からユーザに報知される。そして、このような案内情報が報知される場合に、仮想視点から見た合成画像（例えば、接近車両１０のドライバーの視点位置で、車両９の存在する視野方向の仮想視点から見た合成画像）が合成画像生成部３２により生成される。生成された合成画像はディスプレイ２４に映し出される。このように、表示装置２０から報知される案内情報に対応した仮想視点位置から見た合成画像をユーザが確認できる。

また、交差点ＣＲ上の地点ＰＮ２に車両９が接近した場合に、交差点ＣＲで車両９を右折させ、右車線ＲＢから車線ＭＣに車両９を移動させる旨の案内情報が表示装置２０からユーザに報知される。そして、このような案内情報が報知される場合に、仮想視点から見た合成画像（例えば、車両９に対応する車両像９１の少なくとも一部を含むように視点位置を車両９の前方とし、視野方向を車両９の後方とする仮想視点から見た合成画像）が合成画像生成部３２により生成される。これにより、車両９の走行車線の変更、および、交差点での進行方向の変更に応じた合成画像をユーザが確認できる。

なお、案内情報を報知する地点に車両９が接近した場合とは、例えば車両９と案内情報を報知する地点との直線の距離が５０ｍとなった場合をいうが、これ以外の距離としてもよい。

＜１０−２．仮想視点の視点位置と視野方向＞

図４３は、案内情報を報知する地点での仮想視点の視点位置と視野方向の例を示す図である。図４３の左図は、車両９が地点ＰＮ１に接近した場合に車両９が左車線ＬＡから右車線ＲＢに車線変更する案内の報知がユーザへ行われたときに、合成画像が生成される仮想視点ＶＰ６１の視点位置と視野方向を示すものである。詳細には、仮想視点ＶＰ６１は接近車両１０のドライバーの視点位置で、車両９の存在する視野方向の仮想視点であり、この仮想視点ＶＰ６１から見た合成画像が合成画像生成部３２により生成される。

また、図４３の右図は、車両９が地点ＰＮ２に接近した場合に車両９が右車線ＲＢから交差点ＣＲを右折して車線ＭＣに移動する案内情報の報知がユーザに行われたときに、合成画像が生成される仮想視点ＶＰ６２の視点位置と視野方向を示すものである。詳細には、仮想視点ＶＰ６２は車両９に対応する車両像９１の少なくとも一部を含むように視点位置を車両９の前方とし、視野方向を車両９の後方とする仮想視点である。そして、この仮想視点ＶＰ６２から見た合成画像が合成画像生成部３２により生成される。

＜１０−３．表示画像＞

図４４は、仮想視点ＶＰ６１およびＶＰ６２から見た合成画像を示す図である。合成画像ＰＴ６１は車両９の車線変更の案内情報がユーザに報知される場合に、ディスプレイ２４に映し出される合成画像である。詳細には、接近車両１０のドライバーの仮想視点から見た合成画像であり、接近車両１０の前方を走行する車両９の車両像９１ａがディスプレイ２４に映し出されている。また、車両９が左車線ＬＡから右車線ＲＢに車線変更する場合の車両９の移動位置である移動位置画像ｔｒがディスプレイ２４に映し出されている。また、接近車両像１０１の進行方向を示す接近状態画像ａｄ１が合成画像に重畳して映し出されている。

また、合成画像ＰＴ６２は、車両９の交差点での方向変更の案内情報がユーザに報知される場合に、ディスプレイ２４に映し出される合成画像である。詳細には、仮想視点ＶＰ６２は車両９に対応する車両像９１の少なくとも一部を含むように車両９の前方から後方の仮想視点から見た合成画像であり、車両９に対応する車両像９１ｂを含む画像が映し出されている。このようにユーザに報知される案内情報の内容に応じて、合成画像の仮想視点を変更する。これにより、案内情報の内容に対応する車両の走行状況に応じた合成画像をユーザが確認できる。

なお、合成画像ＰＴ６２には接近車両１０に対応する接近車両像１０１が画像中に映し出されていないが、接近車両１０が車両９に接近している場合は、接近車両に対応する接近車両像１０１を含む合成画像を映し出すようにしてもよい。
＜１０−４．処理フローチャート＞
図４５および図４６は、表示装置２０が案内情報の報知を行う場合に、画像処理装置１１ａが合成画像をディスプレイ２４に表示する処理フローチャートである。ステップＳ６０１では、車両９に備えられた車載カメラで撮影した車両９の周辺の撮影画像を画像処理装置１１ａが取得して（ステップＳ６０１）、ステップＳ６０２の処理に進む。

ステップＳ６０２では、車両９が目的地までの経路ＲＵに沿って走行する場合に，表示装置２０からユーザに報知する案内情報を画像処理装置１１ａが取得して（ステップＳ６０２）、ステップＳ６０３の処理に進む。

ステップＳ６０３では、ユーザへの第１案内情報（例えば、車両９の走行車線の変更に対応した案内情報）を表示装置２０から通信部２３を介して画像処理装置１１ａが取得した場合（ステップＳ６０３がＹｅｓ）は、ステップＳ６０４の処理に進む。なお、ユーザへの第１案内情報を表示装置２０から通信部２３を介して画像処理装置１１ａが取得していない場合（ステップＳ６０３がＮｏ）は処理を終了する。

ステップＳ６０４では、車両９に備えられたバックカメラ５２により車両９の後方から接近する接近車両１０の存在が検出部１１２により検知された場合（ステップＳ６０４がＹｅｓ）は、ステップＳ６０５に進む。

ステップＳ６０５では、接近車両１０が存在するため第１仮想視点（例えば、接近車両１０のドライバーの視点位置で、車両９の存在する視野方向の仮想視点ＶＰ６１）が画像処理装置１１ａにより設定され（ステップＳ６０５）、ステップＳ６０７の処理に進む。

ステップＳ６０４に戻り、バックカメラ５２で撮影された画像により車両９の後方から接近する接近車両１０の存在が検出部１１２により検知されていない場合（ステップＳ６０４がＮｏ）は、ステップＳ６０６の処理に進む。

ステップＳ６０６では、接近車両１０が存在しないため、第２仮想視点（例えば、車両９に対応する車両像９１の少なくとも一部を含むように視点位置を車両９の前方とし、視野方向を車両９の後方とする仮想視点ＶＰ６２）が画像処理装置１１ａにより設定され（ステップＳ６０６）、ステップＳ６０７の処理に進む。

ステップＳ６０７では、画像処理装置１１ａにより設定された仮想視点から見た合成画像を合成画像生成部３２が生成し（ステップＳ６０７）、通信部６１を介して表示装置２０に合成画像が出力され（ステップＳ６０８）、ステップＳ６０９の処理に進む。

ステップＳ６０９では、ユーザへの第２案内情報（例えば、交差点を右折する車両９の進行方向の変更に対応した案内情報）を表示装置２０から通信部２３を介して画像処理装置１１ａが取得した場合（ステップＳ６０９がＹｅｓ）は、ステップＳ６１０の処理に進む。なお、ユーザへの第２案内情報を表示装置２０から通信部２３を介して画像処理装置１１ａが取得していない場合（ステップＳ６０９がＮｏ）は処理を終了する。

ステップＳ６１０では、車両９に備えられたバックカメラ５２で撮影された画像により車両９の後方から接近する接近車両１０の存在が検出部１１２により検知された場合（ステップＳ６１０がＹｅｓ）は、ステップＳ６１１に進む。

ステップＳ６１１では、接近車両１０が存在するため第１仮想視点（例えば、接近車両１０のドライバーの視点位置で、車両９の存在する視野方向の仮想視点ＶＰ６１）が画像処理装置１１ａにより設定され（ステップＳ６１１）、ステップＳ６１３の処理に進む。

ステップＳ６１０に戻って、バックカメラ５２により車両９の後方から接近する接近車両１０の存在が検出部１１２により検知されていない場合（ステップＳ６１０がＮｏ）は、ステップＳ６１２の処理に進む。

ステップＳ６１２では、接近車両１０が存在しないため、第２仮想視点（例えば、車両９に対応する車両像９１の少なくとも一部を含むように視点位置を車両９の前方とし、視野方向を車両９の後方とする仮想視点ＶＰ６２）が画像処理装置１１ａにより設定され（ステップＳ６１２）、ステップＳ６１３の処理に進む。

ステップＳ６１３では、画像処理装置１１ａにより設定された仮想視点から見た合成画像を合成画像生成部３２が生成し（ステップＳ６１３）、通信部６１を介して表示装置２０に合成画像が出力される（ステップＳ６１４）。

＜変形例＞

以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。なお、上記実施の形態で説明した形態、および、以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。

上記実施の形態において、接近車両１０とは車両９の後方を走行する車両で、かつ、車両９の走行する車線に隣接する車線を走行する車両以外にも、車両９の後方を走行する車両で、かつ、車両９の走行する車線と同じ車線を走行する車両も含む。

上記実施の形態において、接近車両１０とは車両９の後方を走行する車両以外に車両９の側方を走行する車両も含む。

上記実施の形態において、不揮発性メモリ４に仮想視点情報４１を予め記録しておき、仮想視点ＶＰの視点位置および視野方向を設定する場合に、画像処理部３が読み出すことについて説明した。これ以外にも仮想視点ＶＰの視点位置および視野方向を設定する場合に、車両９に対する接近車両１０の位置に基づいて画像制御部１１１が仮想視点の視点位置および視野方向を演算して導出するようにしてもよい。

また、上記実施の形態において、検出部１１２が、車両９の後方からの接近車両１０の存在を検出する場合、車両９の後方に備えられたバックカメラ５２の撮影画像から画像中の車両９の後方に存在する接近車両１０を検出することを説明した。そのほかにもバックカメラ以外の他のカメラを接近車両１０の存在を検出するカメラとして用いてもよい。

また、上記実施の形態において、接近車両１０の存在の検出、および、車両９に対する接近車両１０の位置情報の取得は、車両９に車両９の外部に送信した送信波のうち物体から反射した反射波を受信して、車両９からの物体の距離、角度、および、相対速度の情報を取得するレーダ装置などの装置を車両９に備えて行ってもよい。

また、上記実施の形態において、接近車両１０が存在する車線は車両９の走行する右側（＋Ｘ方向）に隣接する車線について述べたが、車両９の走行する左側（−Ｘ方向）に隣接する車線に接近車両１０が存在する場合も上記実施の形態の内容を同様に適用できる。

また、上記実施の形態において、車両像９１および接近車両像１０１が合成画像中に含まれる場合とは、車両像９１および接近車両像１０１の全体像だけでなく一部の像だけでもよい。

また、上記実施の形態において、ディスプレイ２４に表示される合成画像中の車両像９１、および、接近車両像１０１の少なくとも一の像の位置を鏡に映したような位置としてもよい。

また、上記実施の形態において、車両９の左右それぞれの方向から接近する接近車両が存在する場合は、車両９との前後方向（Ｙ軸方向）の直線の値が小さい（車両９に最も接近している）接近車両１０を導出部１１３が導出する。そして、当該接近車両と車両９との位置を結ぶ横方向（Ｘ軸方向）の直線の略中央の位置を仮想視点ＶＰの視点位置とし、車両９の後方（＋Ｙ方向）を視野方向としてもよい。

また、上記実施の形態において、車両９に対する接近車両１０の位置に応じて、仮想視点から見た合成画像をディスプレイ２４に表示を行わないようにしてもよい。つまり、車両９に対する接近車両１０の位置が所定の位置よりも大きく離れている場合は、車両９と接近車両１０との衝突の危険性が少ないため、ディスプレイ２４に合成画像を表示しないようにしてもよい。

また、上記実施の形態において、車両９に対する接近車両１０の位置に応じて合成画像中に表示される車両像９１および接近車両像１０１の少なくともいずれか一つの画像のサイズを変更するようにしてもよい。

また、第１の実施の形態において、軸線ｓｈ１は、例えば車両９が走行する車線と接近車両１０が走行する車線を区画する区画線である。

また、第２の実施の形態において、仮想視点ＶＰの移動を軸線ｓｈ２を基準に反時計回りの方向としたが、車両９に対する接近車両１０の位置に応じて、仮想視点ＶＰの移動を軸線ｓｈ２を基準に時計回りとしてもよい。

また、第１および第２の実施の形態において、車両９の走行車線の変更に伴うユーザの操作を操作検知部１１４が検知した場合に、合成画像生成部３２が合成画像を生成し、生成された合成画像をディスプレイ２４に表示するようにしてもよい。

また、第３の実施の形態において、接近車両１０が車両９の移動位置へ到達する時間、および、接近車両１０と車両９との位置の少なくともいずれか一の条件に応じて合成画像に重畳表示させる警告画像の種類および数など変更するようにしてもよい。

また、第３の実施の形態において、車両９の走行車線変更に伴う動作の有無の判断処理（ステップＳ２０１の処理）を接近車両１０の存在の有無を判定する処理（ステップＳ１０１の処理）の前に行うようにしたが、当該処理を別の処理位置で行うようにしてもよい。例えば、車両９の移動時間と接近車両１０の移動時間とを比較する処理（ステップＳ２０４の処理）の前にステップＳ２０１の処理を行うようにしてもよい。

また、第３および第４の実施の形態において、車両９の走行する車線と隣接車線とを区画する区画線の画像の位置の変化により車両９の車線変更時間を導出するようにしてもよい。

また、第４の実施の形態において、学習部１１８が車線変更時間を導出する際にステアリングホイールの操舵角の情報を用いる説明を行ったが、ステアリングホイールの操舵角の角速度の情報を用いて処理を行ってもよい。

また、第４の実施の形態において、車両９のユーザの車線変更時間は車両９の速度ごとに記録してもよい。例えば、車両９の速度を低速（例えば４０ｋｍ／ｈ）、中速（例えば６０ｋｍ／ｈ）、高速（例えば８０ｋｍ／ｈ）の速度帯に分けて、各速度帯ごとのユーザの車線変更時間を記録してもよい。また、車両９の車線変更時間を車載カメラで撮影した区画線の画像に基づいて導出してもよい。

また、第５の実施の形態において、画像処理装置１１ｂに操作検知部１１４、予測部１１５、演算部１１６、および、判断部１１７を備え、車両９が車線変更する場合で、かつ、所定の条件を満たしたときに警告画像を表示するものとして説明した。これに対して、操作検知部１１４、予測部１１５、演算部１１６、および、判断部１１７を備えずに、接近車両１０が検出部１１２により検出された場合に接近車両１０のドライバーの位置の仮想視点から見た合成画像を合成画像生成部３２が生成して、表示装置２０のディスプレイ２４に表示するようにしてもよい。

また、第７の実施の形態において、仮想視点ＶＰ４１から見た合成画像を生成は、接近車両１０の存在を検出部１１２が検出していない場合に行うこととして説明したが、接近車両１０の存在を検出部１１２が検出している場合に行うようにしてもよい。

また、第８および第９の実施の形態において、フロントカメラ５１により撮影された画像（例えば画像ＰＴ５１ａ）を車両９と共に、接近車両１０の位置に応じた仮想視点から見た合成画像をディスプレイ２４に映し出す構成について説明した。これに対して、画像ＰＴ５１ａはフロントカメラ５１により撮影された画像に限定されることなく、それ以外の一のカメラ（例えば、左サイドカメラ５３など）で撮影した画像であってもよい。

また、第８および第９の実施の形態において、車両９の前方を走行する前方車両と車両９との距離が所定の距離を下回った場合に、フロントカメラ５１の画像中の前方車両像１０２の周囲を囲う枠の画像を表示するようにしてもよい。これによりユーザは前方車両と衝突を回避するための車両９に対する操作を行える。

また、第１０の実施の形態において、表示装置２０を用いて目的地を設定した場合に表示装置２０からユーザに案内情報を報知する場合について述べた。これに対して、目的地を設定していない場合に表示装置２０からユーザに案内情報が報知される場合に、合成画像生成部３２が仮想視点から見た合成画像を生成するようにしてもよい。例えば、表示装置２０を用いた目的地の設定がなされていない場合に、車両９が走行する車線の先で車線数が減少するときに、予め車線変更を行う必要がある旨の案内情報に対応する仮想視点から見た合成画像をディスプレイ２４に映し出すようにしてもよい。

また、第１０の実施の形態において、第１仮想視点設定および第２仮想視点設定として説明した仮想視点ＶＰ６１およびＶＰ６２の視点位置および視野方向は一例であり、その他の視点位置および視野方向とする仮想視点から見た合成画像を生成するようにしてもよい。例えば、視点位置が車両９の車体の略中央、かつ、略直上の位置にあり、視野方向が車両９の鉛直下方に向けられている仮想視点である。

また、第１０の実施の形態において、案内情報に対応した仮想視点から見た合成画像をディスプレイ２４に映し出す場合、一の合成画像のみでなく仮想視点の視点位置等が異なる複数の合成画像をディスプレイ２４に映し出すようにしてもよい。

１・・・・・制御部
３・・・・・画像処理部
５・・・・・撮影部
１０・・・・画像処理装置
２０・・・・表示装置

Claims (19)

1. 車両で用いられる画像表示システムであって、
   車両に搭載されたカメラの複数の撮影画像を取得する取得手段と、
   前記複数の撮影画像を合成して、仮想視点から見た前記車両の周辺の様子を示す合成画像を生成する生成手段と、
   前記車両の後方から接近する接近車両の存在を検出する検出手段と、
   前記車両に対する相対的な前記接近車両の位置を導出する導出手段と、
   前記合成画像を表示する表示手段と、
   を備え、
   前記生成手段は、前記車両の位置と前記接近車両の位置に応じた前記仮想視点から見た前記合成画像である特定合成画像を生成すること、
   を特徴とする画像表示システム。
2. 請求項１に記載の画像表示システムにおいて、
   前記生成手段は、前記仮想視点の視点位置を前記車両の前方とし、前記仮想視点の視野方向を前記車両後方として、前記車両の像および前記接近車両の像を含む前記特定合成画像を生成すること、
   を特徴とする画像表示システム。
3. 請求項１または２のいずれかに記載の画像表示システムにおいて、
   前記生成手段は、前記接近車両が前記車両に近づくにつれて前記仮想視点の高さを上昇させた前記特定合成画像を生成すること、
   を特徴とする画像表示システム。
4. 請求項１に記載の画像表示システムにおいて、
   前記生成手段は、前記仮想視点の視点位置を前記接近車両のドライバーの位置とし、前記仮想視点の視野方向を前記車両の存在する方向として、前記特定合成画像を生成すること、
   を特徴とする画像表示システム。
5. 請求項１ないし４のいずれかに記載の画像表示システムにおいて、
   前記表示手段は、前記接近車両が存在しない場合は前記カメラからの前記撮影画像のうちの一の撮影画像を表示し、前記接近車両が存在する場合は前記一の撮影画像と共に前記特定合成画像を表示すること、
   を特徴とする画像表示システム。
6. 請求項１ないし５のいずれかに記載の画像表示システムにおいて、
   前記表示手段は、視点位置を前記接近車両のドライバーの位置とし視野方向を前記車両の存在する方向とする前記仮想視点から見た前記特定合成画像と、視点位置を前記車両のドアミラー近傍の位置とし視野方向を前記接近車両の存在する方向とする前記仮想視点から見た前記特定合成画像とを前記車両のユーザの操作に応じて切り替えて表示すること、
   を特徴とする画像表示システム。
7. 請求項５または６のいずれかに記載の画像表示システムにおいて、
   前記表示手段は、前記車両のユーザの操作に応じて前記一の撮影画像のサイズと前記特定合成画像のサイズとを切り替えて表示すること、
   を特徴とする画像表示システム。
8. 請求項１に記載の画像表示システムにおいて、
   前記車両の走行車線の変更に伴う前記車両のユーザの操作を検知する操作検知手段をさらに備え、
   前記表示手段は、前記ユーザの操作が検知された場合に前記特定合成画像を表示すること、
   を特徴とする画像表示システム。
9. 請求項８に記載の画像表示システムにおいて、
   前記生成手段は、前記仮想視点の位置を前記車両の前方とし、前記仮想視点の視野方向を前記車両後方として、前記車両の像および前記接近車両の像を含む前記特定合成画像を生成すること、
   を特徴とする画像表示システム。
10. 請求項８に記載の画像表示システムにおいて、
    前記生成手段は、前記仮想視点の視点位置を前記接近車両のドライバーの位置とし、前記仮想視点の視野方向を前記車両の存在する方向として、前記特定合成画像を生成すること、
    を特徴とする画像表示システム。
11. 請求項８に記載の画像表示システムにおいて、
    前記車両が走行車線を変更して移動する場合の移動位置を予測する予測手段と、
    前記接近車両が前記移動位置に移動する第１移動時間を演算する演算手段と、
    前記第１移動時間に基づいて前記車両の前記移動位置への移動の可否を判断する判断手段と、
    をさらに備え、
    前記生成手段は、前記移動の可否の判断結果を示す警告画像を前記合成画像に重畳させること、
    を特徴とする画像表示システム。
12. 請求項１１に記載の画像表示システムにおいて、
    前記生成手段は、前記警告画像を前記移動位置に重畳させること、
    を特徴とする画像表示システム。
13. 請求項１１に記載の画像表示システムにおいて、
    前記車両が前記移動位置に移動する第２移動時間を計測する計測手段と、
    前記第２移動時間を学習記憶する記憶手段と、
    をさらに備え、
    前記判断手段は、前記第１移動時間と記憶された前記第２移動時間とに基づいて前記移動の可否を判断すること、
    を特徴とする画像表示システム。
14. 請求項８ないし１３のいずれかに記載の画像表示システムにおいて、
    前記ユーザの操作が検知され、かつ、前記接近車両が存在しない場合に、
    前記生成手段は、前記仮想視点の視点位置を前記車両の前方とし、前記仮想視点の視野方向を前記車両後方として、前記車両の像と隣接車線の像とを含む前記合成画像である車両合成画像を生成し、
    前記表示手段は、前記車両合成画像を表示すること、
    を特徴とする画像表示システム。
15. 請求項１ないし１４のいずれかに記載の画像表示システムにおいて、
    前記車両の位置を取得する位置取得手段と、
    前記車両の位置に応じて、前記車両の目的地までのルートを案内する案内情報をユーザに報知する報知手段と、
    をさらに備え、
    前記表示手段は、前記報知手段が前記案内情報を報知する場合に、前記合成画像を表示することを特徴とする画像表示システム。
16. 請求項１５に記載の画像表示システムにおいて、
    前記生成手段は、前記報知手段が報知する前記案内情報の内容に応じて、前記合成画像の前記仮想視点を変更すること、
    を特徴とする画像表示システム。
17. 請求項１６に記載の画像表示システムにおいて、
    前記案内情報は、走行車線の変更を案内する情報と、交差点での方向の変更を案内する情報とを含むことを特徴とする画像表示システム。
18. 車両で用いられる画像処理装置であって、
    車両に搭載されたカメラの複数の撮影画像を取得する取得手段と、
    前記複数の撮影画像を合成して、仮想視点から見た前記車両の周辺の様子を示す合成画像を生成する生成手段と、
    前記車両の後方から接近する接近車両の存在を検出する検出手段と、
    前記車両に対する相対的な前記接近車両の位置を導出する導出手段と、
    を備え、
    前記生成手段は、前記車両の位置と前記接近車両の位置に応じた前記仮想視点から見た前記合成画像である特定合成画像を生成すること、
    を特徴とする画像処理装置。
19. 車両で用いられる画像表示方法であって、
    （ａ）車両に搭載されたカメラの複数の撮影画像を取得する工程と、
    （ｂ）前記複数の撮影画像を合成して、仮想視点から見た前記車両の周辺の様子を示す合成画像を生成する工程と、
    （ｃ）前記車両の後方から接近する接近車両の存在を検出する工程と、
    （ｄ）前記車両に対する相対的な前記接近車両の位置を導出する工程と、
    （ｅ）前記合成画像を表示する表示する工程と、
    を備え、
    前記工程（ｂ）は、前記車両の位置と前記接近車両の位置に応じた前記仮想視点から見た前記合成画像である特定合成画像を生成すること、
    を特徴とする画像表示方法。

Images