JP4899367B2

JP4899367B2 - 俯瞰画像表示システム及び俯瞰画像の表示方法

Info

Publication number: JP4899367B2
Application number: JP2005217042A
Authority: JP
Inventors: 大介田中
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2005-07-27
Filing date: 2005-07-27
Publication date: 2012-03-21
Anticipated expiration: 2025-07-27
Also published as: JP2007036668A

Description

本発明は、複数の車載カメラで撮影された撮影画像を用いて車両周囲の領域を表す１つの連続した俯瞰表示画像を作成して表示装置に表示する俯瞰画像表示システム及び俯瞰画像の表示方法に関する。

従来、車両の死角となる領域の画像を地面に対して垂直に見下ろした俯瞰画像に変換して表示する俯瞰画像表示システムが知られており、車両の駐車時や狭い道路の通行時などにおいて運転者の視界を補助する目的で利用されている。また、近年では、車両前方、後方、左右両側方の全ての領域の画像を繋ぎ合わせて１つの連続した俯瞰表示画像として表示することで、車両周囲全域の様子を一目で把握できるようにした俯瞰画像表示システムが提案されており、実用化に向けての研究開発が盛んに進められている。

この俯瞰画像表示システムでは、車両の前方、後方、左右両側方にそれぞれ設置された４台のカメラを用いて車両周囲の領域を各々撮影し、これら４台のカメラで撮影された各撮影画像を視点変換処理により俯瞰画像に変換すると共に繋ぎ合わせることで、１つの連続した俯瞰表示画像として、車室内の表示装置に表示させるようにしている。この際、隣り合うカメラが撮影する被撮影領域は、その端部において互いに重複しており、この重複した部分の俯瞰画像の作成に使用する撮影画像を予め決められた基準に従って選択することで、所定の位置を繋ぎ目とする連続した俯瞰表示画像が作成されることになる。

ところで、以上のような俯瞰画像表示システムでは、互いに異なる位置に設置された複数のカメラの撮影画像を俯瞰画像に変換して繋ぎ合わせ、１つの連続した俯瞰表示画像を作成するようにしているので、作成された俯瞰表示画像の繋ぎ目位置では画像に不連続性が生じることが避けられず、この俯瞰表示画像の繋ぎ目位置に障害物が存在する場合には、この障害物を認識しにくくなる。特に、車両周囲の状況を監視する目的で利用されるこの種の俯瞰画像表示システムでは、車両が前進しているのか後退しているのか、右折しようとしているのか左折しようとしているのかといった車両の挙動に応じて、障害物の有無を確実に確認しておきたい領域が異なるが、このような障害物の有無を確実に確認しておきたい領域に俯瞰画像の繋ぎ目位置が設定されていると、車両周囲の状況を監視するといった本来の役割を十分に果たせなくなるといった問題が生じる。

このような問題への対応策として、例えば特許文献１には、隣り合うカメラの被撮影領域が互いに重複する部分において、一方のカメラで撮影した撮影画像の画素と他方のカメラで撮影した撮影画像の画素とを一定の規則に従って交互に配置して俯瞰画像を作成することで、一連の俯瞰表示画像に明確な繋ぎ目を生じさせないようにして、障害物の存在を認識し易くするという技術が開示されている。
特開２００２−３５４４６８号公報

しかしながら、上述した特許文献１にて開示される技術では、２つのカメラで撮影した撮影画像の画素を交互に配置して被撮影領域が重複する部分の俯瞰画像を作成しているので、この部分に存在する障害物が俯瞰画像の中では２重の像として現れることになる。このため、障害物の存在自体は認識できても、当該障害物がポールなどの静止した構造物であるのか、或いは人体などの動く可能性のある物体であるのかといった判定を瞬時に行うことが困難となり、運転者が回避操作の判断に迷う要因となるといった問題が懸念される。

本発明は、以上のような従来の実情に鑑みて創案されたものであって、車両周囲の領域の中で特に運転者が確実に確認しておきたい領域で画像に不連続性が生じることのない俯瞰表示画像を表示して、運転者の運転操作を適切に支援することができる俯瞰画像表示システム及び俯瞰画像の表示方法を提供することを目的としている。

本発明は、前記目的を達成するために、一部が重複する車両周囲の複数の被撮影領域の画像を複数の車載カメラで各々撮影し、これら複数の車載カメラにより撮影された複数の撮影画像をそれぞれ俯瞰画像に変換し、被撮影領域の重複する部分においてこれら俯瞰画像を合成して、１つの連続した俯瞰表示画像として表示装置に表示するにあたり、俯瞰表示画像の合成部分における合成の割合を任意に設定できるようにした。
そして、被撮影領域の重複する部分において、２つの俯瞰画像を構成する各画素を所定の割合で交互に配置して１つの俯瞰画像として合成する際に、車両の挙動を表す車両情報が車両の前進、且つ所定角度以上の操舵角を示している場合には、車両前方の操舵角方向の重複部分において、前方カメラの撮影画像を変換した俯瞰画像の割合を操舵方向の側方カメラの撮影画像を変換した俯瞰画像の割合より大きくなるように設定し、車両後方の操舵角方向の重複部分において、操舵方向の側方カメラの撮影画像を変換した俯瞰画像の割合を後方カメラの撮影画像を変換した俯瞰画像の割合より大きくなるように設定し、車両情報が車両の後退、且つ所定角度以上の操舵角を示している場合には、車両前方の操舵角方向と逆側の重複部分において、操舵方向と逆側の側方カメラの撮影画像を変換した俯瞰画像の割合を前方カメラの撮影画像を変換した俯瞰画像の割合より大きくなるように設定し、車両後方の操舵角方向の重複部分において、後方カメラの撮影画像を変換した俯瞰画像の割合を操舵方向の側方カメラの撮影画像を変換した俯瞰画像の割合より大きくなるように設定する。

本発明によれば、車両の挙動に応じて俯瞰表示画像の合成部分の合成の割合を最適な値に設定できるので、運転者が確実に確認しておきたい領域で画像に不連続性が生じることのない俯瞰表示画像を表示して、運転者の運転操作を適切に支援することができる。

以下、本発明の具体的な実施形態について、図面を参照しながら詳細に説明する。なお、ここでは、車両前方、後方、左右両側方の各領域を４つの車載カメラでそれぞれ撮影し、これら４つの車載カメラで撮影された撮影画像を用いて車両周囲全域を表す１つの連続した俯瞰表示画像を作成して表示する俯瞰画像表示システムに本発明を適用した例について説明するが、本発明は、ここで挙げる例に限らず、複数のカメラで撮影した画像から１つの俯瞰画像を作成して表示する各種の俯瞰画像表示システムに対して広く適用可能である。

（第１の参考形態）
まず、本発明の第１の参考形態について説明する。本参考形態の俯瞰画像表示システムは、４つの車載カメラで撮影された撮影画像を俯瞰画像に変換すると共に繋ぎ合わせることで、車両周囲全域を表す１つの連続した俯瞰表示画像を作成して表示するにあたり、車両の挙動に応じて俯瞰表示画像の繋ぎ目位置を最適な位置に設定して、運転者が確実に確認しておきたい領域で画像に不連続性が生じることのない俯瞰表示画像を表示できるようにしたものである。

本参考形態の俯瞰画像表示システムの概略構成を図１に示す。この俯瞰画像表示システムは、図１に示すように、前方カメラ１１、後方カメラ１２、右側方カメラ１３、左側方カメラ１４の４つの車載カメラと、車両の挙動を表す車両情報を検出する手段としての舵角センサ２１、車速センサ２２、シフト位置センサ２３の各センサとが画像処理装置３０にそれぞれ接続され、この画像処理装置３０の出力側に、車室内に設置された液晶ディスプレイ等の表示装置４０が接続された構成とされる。また、画像処理装置３０には、表示装置４０の表示画面を切り替えるための画面切替スイッチ４１も接続されている。

前方カメラ１１は、図２に示すように、車両前方の例えばフロントバンパーなどに設置され、車両前方の所定の被撮影領域Ａ１の画像を地面に対して斜めに見下ろす方向で撮影する。また、後方カメラ１２は、車両後方の例えばリアバンパーなどに設置され、車両後方の所定の被撮影領域Ａ２の画像を地面に対して斜めに見下ろす方向で撮影する。また、右側方カメラ１３は、車両右側のサイドミラーなどに設置され、車両右側方の所定の被撮影領域Ａ３の画像を地面に対して斜めに見下ろす方向で撮影する。さらに、左側方カメラ１４は、車両左側のサイドミラーなどに設置され、車両左側方の所定の被撮影領域Ａ４の画像を地面に対して斜めに見下ろす方向で撮影する。

これら４つの車載カメラ１１，１２，１３，１４が撮影する領域Ａ１，Ａ２，Ａ３，Ａ４は、それぞれ端部において、隣り合う他の車載カメラが撮影する領域と互いに重複している。すなわち、前方カメラ１１が撮影する領域Ａ１と右側方カメラ１３が撮影する領域Ａ３とは車両右前方のオーバーラップエリアＯＡ１において重複し、前方カメラ１１が撮影する領域Ａ１と左側方カメラ１４が撮影する領域Ａ４とは車両左前方のオーバーラップエリアＯＡ２において重複する。また、後方カメラ１２が撮影する領域Ａ２と右側方カメラ１３が撮影する領域Ａ３とは車両右後方のオーバーラップエリアＯＡ３において重複し、後方カメラ１２が撮影する領域Ａ２と左側方カメラ１４が撮影する領域Ａ４とは車両左後方のオーバーラップエリアＯＡ４において重複する。言い換えると、オーバーラップエリアＯＡ１の画像は前方カメラ１１と右側方カメラ１３の何れでも撮影可能であり、オーバーラップエリアＯＡ２の画像は前方カメラ１１と左側方カメラ１４の何れでも撮影可能である。また、オーバーラップエリアＯＡ３の画像は後方カメラ１２と右側方カメラ１３の何れでも撮影可能であり、オーバーラップエリアＯＡ４の画像は後方カメラ１２と左側方カメラ１４の何れでも撮影可能である。

本参考形態の俯瞰画像表示システムでは、以上の４つの車載カメラ１１，１２，１３，１４で撮影した被撮影領域Ａ１，Ａ２，Ａ３，Ａ４の画像をそれぞれ画像処理装置３０に取り込み、画像処理装置３０においてこれらの撮影画像を俯瞰画像に変換して繋ぎ合わせ、車両周囲全域を表す１つの連続した俯瞰表示画像を作成するようにしている。このとき、画像処理装置３０では、詳細を後述する繋ぎ目位置設定ロジックに従って、各オーバーラップエリアＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４の俯瞰画像として、どちらの車載カメラの撮影画像を変換した俯瞰画像を用いるかを画素単位で選択することで、各オーバーラップエリアＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４内の所定の位置にそれぞれ繋ぎ目を有する一連の俯瞰表示画像が作成されることになる。そして、特に本参考形態の俯瞰画像表示システムでは、車両の挙動に合わせて繋ぎ目位置設定ロジックを切り替えることで、俯瞰表示画像の繋ぎ目位置を任意に設定できるようにして、運転者が確実に確認しておきたい領域で画像に不連続性が生じることのない俯瞰表示画像を表示するようにしている。

舵角センサ２１は、車両の操舵角度を検出するものである。また、車速センサ２２は、車両の走行速度を検出するものである。また、シフト位置センサ２３は、車両のシフトレバーの位置を検出するものである。本参考形態の俯瞰画像表示システムでは、これら舵角センサ２１や車速センサ２２、シフト位置センサ２３の各センサ検出値が画像処理装置３０に取り込まれ、画像処理装置３０において、これらセンサ検出値から車両の挙動が判断される。すなわち、画像処理装置３０においては、舵角センサ２１の検出値に基づいて車両の操舵量及び操舵方向を判断することができ、また、車速センサ２２の検出値に基づいて車両の走行速度を判断することができ、また、シフト位置センサ２３の検出値に基づいて車両が前進しているのか後退しているのかを判断することができる。

画像処理装置３０は、図３に示すように、４つの車載カメラ１１，１２，１３，１４にそれぞれ対応させて、Ａ／Ｄ変換部３１ａ，３１ｂ，３１ｃ，３１ｄと、デコード部３２ａ，３２ｂ，３２ｃ，３２ｄと、フレームメモリ３３ａ，３３ｂ，３３ｃ，３３ｄとを有している。また、画像処理装置３０は、４つの車載カメラ１１，１２，１３，１４で撮影された撮影画像を用いて俯瞰表示画像を作成する変換処理部３４と、この変換処理部３４での変換に用いる変換テーブルが格納されたＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）等の記憶部３５と、出力用フレームメモリ３６と、エンコード部３７と、Ｄ／Ａ変換部３８とを有している。

この画像処理装置３０では、前方カメラ１１により被撮影領域Ａ１の画像が撮影されて当該前方カメラ１１からコンポジット信号が入力されると、このコンポジット信号がＡ／Ｄ変換部３１ａにてＡ／Ｄ変換され、デコード部３２ａでＲＧＢ信号にデコードされて、前方カメラ１１の撮影画像のフレームを構成するデータとしてフレームメモリ３３ａに蓄積される。同様に、後方カメラ１２により被撮影領域Ａ２の画像が撮影されて当該後方カメラ１２からコンポジット信号が入力されると、このコンポジット信号がＡ／Ｄ変換部３１ｂにてＡ／Ｄ変換され、デコード部３２ｂでＲＧＢ信号にデコードされて、後方カメラ１２の撮影画像のフレームを構成するデータとしてフレームメモリ３３ｂに蓄積される。

また、右側方カメラ１３により被撮影領域Ａ３の画像が撮影されて当該右側方カメラ１３からコンポジット信号が入力されると、このコンポジット信号がＡ／Ｄ変換部３１ｃにてＡ／Ｄ変換され、デコード部３２ｃでＲＧＢ信号にデコードされて、右側方カメラ１３の撮影画像のフレームを構成するデータとしてフレームメモリ３３ｃに蓄積される。また、左側方カメラ１４により被撮影領域Ａ４の画像が撮影されて当該左側方カメラ１４からコンポジット信号が入力されると、このコンポジット信号がＡ／Ｄ変換部３１ｄにてＡ／Ｄ変換され、デコード部３２ｄでＲＧＢ信号にデコードされて、左側方カメラ１４の撮影画像のフレームを構成するデータとしてフレームメモリ３３ｄに蓄積される。

そして、画像処理装置３０では、これら４つの車載カメラ１１，１２，１３，１４の撮影画像のデータがフレームメモリ３３ａ，３３ｂ，３３ｃ，３３ｄにそれぞれ蓄積されると、変換処理部３４が、記憶部３５に格納されている変換テーブル５１，５２，５３，５４に基づき各車載カメラ１１，１２，１３，１４の撮影画像を俯瞰画像に変換し、そのときの車両挙動に応じて選択された繋ぎ目位置設定ロジックに従ってこれらの俯瞰画像を繋ぎ合わせ、１つの連続した俯瞰表示画像を作成して当該俯瞰表示画像のデータを出力用フレームメモリ３６に格納する。そして、この出力用フレームメモリ３６に格納された俯瞰表示画像のデータ（ＲＧＢ信号）がエンコード部３７でコンポジット信号にエンコードされ、Ｄ／Ａ変換部３８にてＤ／Ａ変換されて表示装置４０に出力される。これにより、例えば図４に示すように、車両周囲全域を地面に対して垂直な方向で見下ろした様子を表す俯瞰表示画像が、表示装置４０に表示されることになる。なお、この図４に例示する俯瞰表示画像は、車両が停止中または直線的に走行している場合に表示される基本となる俯瞰表示画像である。

本参考形態の俯瞰画像表示システムにおいて、画像処理装置３０の変換処理部３４で行われる変換処理は、ポイント・トゥ・ポイント法と呼ばれるものである。このポイント・トゥ・ポイント法は、変換後の画像を構成する各画素のアドレスと変換前の画像を構成する各画素のアドレスとの対応関係を記載した変換テーブルを用い、変換前の画像を構成する各画素の配置を変換テーブルに従って変換することで、変換前の画像とは視点の異なる画像を作成するものである。本参考形態の俯瞰表示システムにおいては、前方カメラ１１で撮影された車両前方の領域Ａ１の撮影画像を俯瞰画像に視点変換するためのテーブルとして記憶部３５に格納された変換テーブル５１が用いられ、後方カメラ１２で撮影された車両後方の領域Ａ２の撮影画像を俯瞰画像に視点変換するためのテーブルとして記憶部３５に格納された変換テーブル５２が用いられ、右側方カメラ１３で撮影された車両右側方の領域Ａ３の撮影画像を俯瞰画像に視点変換するためのテーブルとして記憶部３５に格納された変換テーブル５３が用いられ、左側方カメラ１４で撮影された車両左側方の領域Ａ４の撮影画像を俯瞰画像に視点変換するためのテーブルとして記憶部３５に格納された変換テーブル５４が用いられる。

また、本参考形態の俯瞰画像表示システムにおいて、画像処理装置３０の変換処理部３４は、上述したように、変換テーブル５１，５２，５３，５４で変換した領域Ａ１，Ａ２，Ａ３，Ａ４の俯瞰画像を、繋ぎ目位置設定ロジックに従って繋ぎ合わせて一連の俯瞰表示画像を作成するが、この俯瞰表示画像を作成するための繋ぎ目位置設定ロジックとして、複数のロジックを内蔵している。そして、画像処理装置３０の変換処理部３４は、舵角センサ２１や車速センサ２２、シフト位置センサ２３の各センサ検出値から判断されるそのときの車両の挙動に応じて、俯瞰表示画像の作成に用いる繋ぎ目位置設定ロジックを選択することによって、車両挙動に合わせて最適な位置に繋ぎ目位置が設定された俯瞰表示画像を作成するようにしている。

具体的には、画像処理装置３０の変換処理部３４は、舵角センサ２１や車速センサ２２、シフト位置センサ２３の各センサ検出値から、車両が停止中または直線的に走行していると判断した場合には、図４に示した基本となる俯瞰表示画像を作成するための繋ぎ目位置設定ロジック（以下、ロジックＡという。）を選択する。このロジックＡは、各オーバーラップエリアＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４の全てにおいて、それぞれ２つの車載カメラの撮影画像を用いるようにして、図４に示した基本となる俯瞰表示画像を作成するロジックである。

また、画像処理装置３０の変換処理部３４は、舵角センサ２１や車速センサ２２、シフト位置センサ２３の各センサ検出値から、車両が前進し、且つ回転角度が所定の角度θ以上となる操舵角度で右方向に転舵していると判断した場合には、図５に示すような俯瞰表示画像を作成するための繋ぎ目位置設定ロジック（以下、ロジックＢという。）を選択する。このロジックＢは、車両右前方のオーバーラップエリアＯＡ１においては前方カメラ１１の撮影画像のみを用い、車両右後方のオーバーラップエリアＯＡ３においては右側方カメラ１３の撮影画像のみを用いるようにして、図５に示すような俯瞰表示画像、すなわち車両前方から右前方に亘る領域と、車両右側方から右後方に亘る領域とに繋ぎ目が生じない俯瞰表示画像を作成するロジックである。

また、画像処理装置３０の変換処理部３４は、舵角センサ２１や車速センサ２２、シフト位置センサ２３の各センサ検出値から、車両が前進し、且つ回転角度が所定の角度θ以上となる操舵角度で左方向に転舵していると判断した場合には、図６に示すような俯瞰表示画像を作成するための繋ぎ目位置設定ロジック（以下、ロジックＣという。）を選択する。このロジックＣは、車両左前方のオーバーラップエリアＯＡ２においては前方カメラ１１の撮影画像のみを用い、車両左後方のオーバーラップエリアＯＡ４においては左側方カメラ１４の撮影画像のみを用いるようにして、図６に示すような俯瞰表示画像、すなわち車両前方から左側方に亘る領域と、車両左側方から左後方に亘る領域とに繋ぎ目が生じない俯瞰表示画像を作成するロジックである。

また、画像処理装置３０の変換処理部３４は、舵角センサ２１や車速センサ２２、シフト位置センサ２３の各センサ検出値から、車両が後退し、且つ回転角度が所定の角度θ以上となる操舵角度で右方向に転舵していると判断した場合には、図７に示すような俯瞰表示画像を作成するための繋ぎ目位置設定ロジック（以下、ロジックＤという。）を選択する。このロジックＤは、車両左前方のオーバーラップエリアＯＡ２においては左側方カメラ１４の撮影画像のみを用い、車両右後方のオーバーラップエリアＯＡ３においては後方カメラ１２の撮影画像のみを用いるようにして、図７に示すような俯瞰表示画像、すなわち車両左側方から左前方に亘る領域と、車両後方から右後方に亘る領域とに繋ぎ目が生じない俯瞰表示画像を作成するロジックである。

また、画像処理装置３０の変換処理部３４は、舵角センサ２１や車速センサ２２、シフト位置センサ２３の各センサ検出値から、車両が後退し、且つ回転角度が所定の角度θ以上となる操舵角度で左方向に転舵していると判断した場合には、図８に示すような俯瞰表示画像を作成するための繋ぎ目位置設定ロジック（以下、ロジックＥという。）を選択する。このロジックＥは、車両右前方のオーバーラップエリアＯＡ１においては右側方カメラ１３の撮影画像のみを用い、車両左後方のオーバーラップエリアＯＡ４においては後方カメラ１２の撮影画像のみを用いるようにして、図８に示すような俯瞰表示画像、すなわち車両右側方から右前方に亘る領域と、車両後方から左後方に亘る領域とに繋ぎ目が生じない俯瞰表示画像を作成するロジックである。

また、画像処理装置３０の変換処理部３４は、舵角センサ２１や車速センサ２２、シフト位置センサ２３の各センサ検出値から、車両が所定の走行速度以上の高速でまっすぐ前方に前進していると判断した場合には、図９に示すような俯瞰表示画像を作成するための繋ぎ目位置設定ロジック（以下、ロジックＦという。）を選択する。このロジックＦは、車両右前方のオーバーラップエリアＯＡ１と車両右後方のオーバーラップエリアＯＡ３とで右側方カメラ１３の撮影画像のみを用い、車両左前方のオーバーラップエリアＯＡ２と車両左後方のオーバーラップエリアＯＡ４とで左側方カメラ１４の撮影画像のみを用いるようにして、図９に示すような俯瞰表示画像、すなわち車両右側方から右前方及び右後方に亘る領域と、車両左側方から左前方及び左後方に亘る領域とに繋ぎ目が生じない俯瞰表示画像を作成するロジックである。

以上のように、本参考形態の俯瞰画像表示システムにおいては、画像処理装置３０の変換処理部３４が、舵角センサ２１や車速センサ２２、シフト位置センサ２３の各センサ検出値から判断される車両の挙動に応じて、俯瞰表示画像の作成に用いる繋ぎ目位置設定ロジックとして上述したロジックＡ〜Ｆの何れかを選択し、俯瞰表示画像の繋ぎ目位置を車両挙動に合わせて最適な位置に設定するようにしているので、運転者が確実に確認しておきたい領域で画像に不連続性が生じることのない俯瞰表示画像を表示装置４０に表示することができる。

ここで、以上のような本参考形態の俯瞰画像表示システムにおける一連の処理の流れについて、図１０のフローチャートに沿って説明する。この図１０の処理フローは、車両のイグニッションスイッチがオンとされて当該俯瞰画像表示システムが起動された後、画面切替スイッチ４１の操作により、俯瞰表示画像を表示する旨の指示が与えられることにより開始される。

本参考形態の俯瞰画像表示システムでは、図１０の処理フローが開始されると、まず、ステップＳ１において、前方カメラ１１、後方カメラ１２、右側方カメラ１３、左側方カメラ１４の４つの車載カメラが、車両周囲の被撮影領域Ａ１，Ａ２，Ａ３，Ａ４の画像をそれぞれ撮影する。そして、各車載カメラ１１，１２，１３，１４から撮影画像のコンポジット信号が画像処理装置３０に入力されると、画像処理装置３０が、ステップＳ２において、これら各車載カメラ１１，１２，１３，１４からのコンポジット信号をＡ／Ｄ変換部３１ａ，３１ｂ，３１ｃ，３１ｄにてそれぞれＡ／Ｄ変換した後、デコード部３２ａ，３２ｂ，３２ｃ，３２ｄでＲＧＢ信号にデコードし、各撮影画像のフレームを構成するデータとしてフレームメモリ３３ａ，３３ｂ，３３ｃ，３３ｄにそれぞれ蓄積する。

次に、ステップＳ３において、画像処理装置３０の変換処理部３４が、舵角センサ２１、車速センサ２２、シフト位置センサ２３の各センサ検出値を読み込む。そして、画像処理装置３０の変換処理部３４は、これら各センサ検出値に基づいて車両の挙動を判断し、車両挙動に応じて俯瞰表示画像の作成に用いる繋ぎ目位置設定ロジックを選択する。

すなわち、画像処理装置３０の変換処理部３４は、まず、ステップＳ４において、車両が停止しているのか走行しているのかを判定し、走行していると判断した場合にはステップＳ５に進み、停止していると判断した場合にはステップＳ１１へと処理を移行する。

次に、画像処理装置３０の変換処理部３４は、ステップＳ５において、車両が前進しているのか後退しているのかを判定し、前進していると判断した場合にはステップＳ６に進み、後退していると判断した場合にはステップＳ９へと処理を移行する。

次に、画像処理装置３０の変換処理部３４は、ステップＳ６において、車両が所定の走行速度以上の高速でまっすぐ前方に前進している状況であるか否かを判定し、このような状況ではないと判断した場合にはステップＳ７に進み、このような状況であると判断した場合にはステップＳ１６へと処理を移行する。

次に、画像処理装置３０の変換処理部３４は、ステップＳ７において、車両が前進し、且つ回転角度が所定の角度θ以上となる操舵角度で左方向に転舵している状況であるか否かを判定し、このような状況ではないと判断した場合にはステップＳ８に進み、このような状況であると判断した場合にはステップＳ１３へと処理を移行する。

次に、画像処理装置３０の変換処理部３４は、ステップＳ８において、車両が前進し、且つ回転角度が所定の角度θ以上となる操舵角度で右方向に転舵している状況であるか否かを判定し、このような状況ではないと判断した場合にはステップＳ１１へと処理を移行し、このような状況であると判断した場合にはステップＳ１２へと処理を移行する。

また、画像処理装置３０の変換処理部３４は、ステップＳ５で車両が後退していると判断されてステップＳ９に処理を移行した場合、このステップＳ９において、車両が後退し、且つ回転角度が所定の角度θ以上となる操舵角度で左方向に転舵している状況であるか否かを判定し、このような状況ではないと判断した場合にはステップＳ１０に進み、このような状況であると判断した場合にはステップＳ１５へと処理を移行する。

次に、画像処理装置３０の変換処理部３４は、ステップＳ１０において、車両が後退し、且つ回転角度が所定の角度θ以上となる操舵角度で右方向に転舵している状況であるか否かを判定し、このような状況ではないと判断した場合にはステップＳ１１へと処理を移行し、このような状況であると判断した場合にはステップＳ１４へと処理を移行する。

そして、画像処理装置３０の変換処理部３４は、ステップＳ１１に処理を移行した場合には、このステップＳ１１において、繋ぎ目位置設定ロジックとして上述したロジックＡを選択し、このロジックＡを用いて図４に示したような基本となる俯瞰表示画像を作成する。

また、画像処理装置３０の変換処理部３４は、ステップＳ１２に処理を移行した場合には、このステップＳ１２において、繋ぎ目位置設定ロジックとして上述したロジックＢを選択し、このロジックＢを用いて、図５に示したような俯瞰表示画像、すなわち車両前方から右前方に亘る領域と、車両右側方から右後方に亘る領域とに繋ぎ目が生じない俯瞰表示画像を作成する。

また、画像処理装置３０の変換処理部３４は、ステップＳ１３に処理を移行した場合には、このステップＳ１３において、繋ぎ目位置設定ロジックとして上述したロジックＣを選択し、このロジックＣを用いて、図６に示したような俯瞰表示画像、すなわち車両前方から左側方に亘る領域と、車両左側方から左後方に亘る領域とに繋ぎ目が生じない俯瞰表示画像を作成する。

また、画像処理装置３０の変換処理部３４は、ステップＳ１４に処理を移行した場合には、このステップＳ１４において、繋ぎ目位置設定ロジックとして上述したロジックＤを選択し、このロジックＤを用いて、図７に示したような俯瞰表示画像、すなわち車両左側方から左前方に亘る領域と、車両後方から右後方に亘る領域とに繋ぎ目が生じない俯瞰表示画像を作成する。

また、画像処理装置３０の変換処理部３４は、ステップＳ１５に処理を移行した場合には、このステップＳ１５において、繋ぎ目位置設定ロジックとして上述したロジックＥを選択し、このロジックＥを用いて、図８に示したような俯瞰表示画像、すなわち車両右側方から右前方に亘る領域と、車両後方から左後方に亘る領域とに繋ぎ目が生じない俯瞰表示画像を作成する。

また、画像処理装置３０の変換処理部３４は、ステップＳ１６に処理を移行した場合には、このステップＳ１６において、繋ぎ目位置設定ロジックとして上述したロジックＦを選択し、このロジックＦを用いて、図９に示したような俯瞰表示画像、すなわち車両右側方から右前方及び右後方に亘る領域と、車両左側方から左前方及び左後方に亘る領域とに繋ぎ目が生じない俯瞰表示画像を作成する。

以上のステップＳ１１乃至ステップＳ１６の何れかにおいて画像処理装置３０の変換処理部３４が俯瞰表示画像を作成すると、この変換処理部３４が作成した俯瞰表示画像のデータは、出力用フレームメモリ３６に格納される。そして、俯瞰表示画像のデータが出力用フレームメモリ３６に格納されると、画像処理装置３０が、ステップＳ１７において、この出力用フレームメモリ３６に格納された俯瞰表示画像のデータ（ＲＧＢ信号）をエンコード部３７でコンポジット信号にエンコードし、Ｄ／Ａ変換部３８にてＤ／Ａ変換して表示装置４０へと出力する。

画像処理装置３０から表示装置４０へと俯瞰表示画像のデータが出力されると、表示装置４０が、ステップＳ１８において、画像処理装置３０からのデータに基づいて表示処理を行い、車両周囲全域を地面に対して垂直な方向で見下ろした様子を表す俯瞰表示画像を、図４乃至図９で示した何れかの表示形態で表示する。

本参考形態の俯瞰画像表示システムでは、画面切替スイッチ４１の操作により俯瞰表示画像を表示する旨の指示が与えられている間、以上の一連の処理を所定周期で繰り返し行う。これにより、表示装置４０には、車両の挙動に応じて最適な位置に繋ぎ目位置が設定された適切な俯瞰表示画像が常に表示されることになる。

以上、具体的な例を挙げて詳細に説明したように、本参考形態の俯瞰画像表示システムでは、画像処理装置３０が、４つの車載カメラ１１，１２，１３，１４で撮影した撮影画像を俯瞰画像に変換して繋ぎ合わせ、１つの連続した俯瞰表示画像を作成するにあたり、舵角センサ２１や車速センサ２２、シフト位置センサ２３の各センサ検出値を読み込んでこれらセンサ検出値から判断される車両の挙動に応じて、最適な位置に繋ぎ目位置が設定された俯瞰表示画像を作成するようにしている。したがって、この俯瞰画像表示システムによれば、車両の挙動に合わせて運転者が確実に確認しておきたい領域で画像に不連続性が生じることのない俯瞰表示画像を表示して、運転者の運転操作を適切に支援することができる。

（第２の参考形態）
次に、本発明の第２の参考形態について説明する。本参考形態の俯瞰画像表示システムは、４つの車載カメラで撮影された撮影画像を俯瞰画像に変換すると共に繋ぎ合わせることで、車両周囲全域を表す１つの連続した俯瞰表示画像を作成して表示するにあたり、車両の乗員の操作入力に応じて俯瞰表示画像の繋ぎ目位置を最適な位置に設定して、運転者が確実に確認しておきたい領域で画像に不連続性が生じることのない俯瞰表示画像を表示できるようにしたものである。なお、本参考形態の俯瞰画像表示システムにおけるその他の部分は上述した第１の参考形態の俯瞰画像表示システムと同様であるので、以下、第１の参考形態と同様の部分については同一の符号を付して重複した説明を省略し、本参考形態に特徴的な部分についてのみ説明する。

本参考形態の俯瞰画像表示システムの概略構成を図１１に示す。本参考形態の俯瞰画像表示システムは、図１１に示すように、上述した第１の参考形態における車両情報を検出する手段としての各種センサ（舵角センサ２１、車速センサ２２、シフト位置センサ２３）に代えて、車両の乗員による操作入力を受け付けるための入力装置６０が、画像処理装置３０に接続されている。この入力装置６０としては、例えば表示装置４０と一体に設けられたタッチパネルや、専用の操作ボタンなどを用いることができる。

本参考形態の俯瞰画像表示システムにおいては、上述した第１の参考形態と同様に、画像処理装置３０の変換処理部３４が、前方カメラ１１で撮影された車両前方領域Ａ１の撮影画像を変換テーブル５１を用いて変換した俯瞰画像と、後方カメラ１１で撮影された車両後方領域Ａ２の撮影画像を変換テーブル５２を用いて変換した俯瞰画像と、右側方カメラ１３で撮影された車両右側方領域Ａ３の撮影画像を変換テーブル５３を用いて変換した俯瞰画像と、左側方カメラ１４で撮影された車両左側方領域Ａ４の撮影画像を変換テーブル５４を用いて変換した俯瞰画像とを繋ぎ合わせて、車両周囲全域を表す１つの連続した俯瞰表示画像を作成する。このとき、本参考形態の俯瞰画像表示システムにおいては、画像処理装置３０の変換処理部３４が、入力装置６０を用いた車両の乗員による操作入力に応じて、俯瞰表示画像の作成に用いる繋ぎ目位置設定ロジックとして、上述した第１の参考形態で説明したロジックＡ〜Ｆの何れかを選択するようにしている。したがって、本参考形態の俯瞰画像表示システムにおいては、車両の乗員の操作入力に合わせて、図４乃至図９で示した何れかの表示形態の俯瞰表示画像が表示装置４０に表示されることになる。

以上のように、本参考形態の俯瞰画像表示システムでは、画像処理装置３０が、４つの車載カメラ１１，１２，１３，１４で撮影した撮影画像を俯瞰画像に変換して繋ぎ合わせ、１つの連続した俯瞰表示画像を作成するにあたり、入力装置６０を用いた車両の乗員の操作入力に応じて、最適な位置に繋ぎ目位置が設定された俯瞰表示画像を作成するようにしている。したがって、この俯瞰画像表示システムによれば、運転者が確実に確認しておきたいと考えている領域で画像に不連続性が生じることのない俯瞰表示画像を表示して、運転者の運転操作を適切に支援することができる。

（第１の実施形態）
次に、本発明の第１の実施形態について説明する。本実施形態の俯瞰画像表示システムは、４つの車載カメラで撮影された撮影画像を俯瞰画像に変換し、隣り合う車載カメラの被撮影領域が重複する各オーバーラップエリアＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４においては隣り合う車載カメラの撮影画像を変換した俯瞰画像を合成して、車両周囲全域を表す１つの連続した俯瞰表示画像を作成して表示するにあたり、車両の挙動に応じて俯瞰表示画像の合成部分における合成の割合を最適な値に設定して、運転者が確実に確認しておきたい領域で画像に不連続性が生じることのない俯瞰表示画像を表示できるようにしたものである。なお、本実施形態の俯瞰画像表示システムにおけるその他の部分は上述した第１の参考形態の俯瞰画像表示システムと同様であるので、以下、第１の参考形態と同様の部分については同一の符号を付して重複した説明を省略し、本実施形態に特徴的な部分についてのみ説明する。

本実施形態の俯瞰画像表示システムの構成は、上述した第１の参考形態の俯瞰画像表示システムと同様である（図１参照。）。ただし、本実施形態の俯瞰画像表示システムでは、画像処理装置３０の変換処理部３４が俯瞰表示画像を作成する際に、車両右前方のオーバーラップエリアＯＡ１においては、前方カメラ１１で撮影した撮影画像を変換テーブル５１で変換した俯瞰画像と右側方カメラ１３で撮影した撮影画像を変換テーブル５３で変換した俯瞰画像とを合成し、また、車両左前方のオーバーラップエリアＯＡ２においては、前方カメラ１１で撮影した撮影画像を変換テーブル５１で変換した俯瞰画像と左側方カメラ１４で撮影した撮影画像を変換テーブル５４で変換した俯瞰画像とを合成し、また、車両右後方のオーバーラップエリアＯＡ３においては、後方カメラ１２で撮影した撮影画像を変換テーブル５２で変換した俯瞰画像と右側方カメラ１３で撮影した撮影画像を変換テーブル５３で変換した俯瞰画像とを合成し、また、車両左後方のオーバーラップエリアＯＡ４においては、後方カメラ１２で撮影した撮影画像を変換テーブル５２で変換した俯瞰画像と左側方カメラ１４で撮影した撮影画像を変換テーブル５４で変換した俯瞰画像とを合成して、車両周囲全域を表す一連の俯瞰表示画像を作成するようにしている。なお、ここで俯瞰画像の合成とは、２つの俯瞰画像を構成する各画素を所定の割合で交互に配置して１つの俯瞰画像とすることを意味する。

そして、特に、本実施形態の俯瞰画像表示システムでは、画像処理装置３０の変換処理部３４が、各オーバーラップエリアＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４における俯瞰画像の合成の割合を画像合成ロジックに従って決定して俯瞰表示画像を作成するようにしており、この画像合成ロジックとして複数のロジックを内蔵し、舵角センサ２１や車速センサ２２、シフト位置センサ２３の各センサ検出値から判断されるそのときの車両の挙動に応じて、俯瞰表示画像の作成に用いる画像合成ロジックを選択することによって、車両挙動に合わせて最適な俯瞰表示画像を作成するようにしている。

具体的には、画像処理装置３０の変換処理部３４は、舵角センサ２１や車速センサ２２、シフト位置センサ２３の各センサ検出値から、車両が停止中または直線的に走行していると判断した場合には、図１２に示した基本となる俯瞰表示画像を作成するための画像合成ロジック（以下、ロジックＧという。）を選択する。このロジックＧは、各オーバーラップエリアＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４の全てにおいて、合成の割合が均等となるように画像を合成し、図１２に示した基本となる俯瞰表示画像を作成するロジックである。

また、画像処理装置３０の変換処理部３４は、舵角センサ２１や車速センサ２２、シフト位置センサ２３の各センサ検出値から、車両が前進し、且つ回転角度が所定の角度θ以上となる操舵角度で右方向に転舵していると判断した場合には、図１３に示すような俯瞰表示画像を作成するための画像合成ロジック（以下、ロジックＨという。）を選択する。このロジックＨは、車両右前方のオーバーラップエリアＯＡ１においては、前方カメラ１１の撮影画像を変換した俯瞰画像の画素の割合が右側方カメラ１３の撮影画像を変換した俯瞰画像の画素の割合よりも大きく（例えば、８０％と２０％の割合）なるようにし、また、車両右後方のオーバーラップエリアＯＡ３においては、右側方カメラ１３の撮影画像を変換した俯瞰画像の画素の割合が後方カメラ１２の撮影画像を変換した俯瞰画像の画素の割合よりも大きく（例えば、８０％と２０％の割合）なるようにして、図１３に示すような俯瞰表示画像、すなわち車両前方から右前方に亘る領域と、車両右側方から右後方に亘る領域とで画像の連続性が高くなる俯瞰表示画像を作成するロジックである。

また、画像処理装置３０の変換処理部３４は、舵角センサ２１や車速センサ２２、シフト位置センサ２３の各センサ検出値から、車両が前進し、且つ回転角度が所定の角度θ以上となる操舵角度で左方向に転舵していると判断した場合には、図１４に示すような俯瞰表示画像を作成するための画像合成ロジック（以下、ロジックＩという。）を選択する。このロジックＩは、車両左前方のオーバーラップエリアＯＡ２においては、前方カメラ１１の撮影画像を変換した俯瞰画像の画素の割合が左側方カメラ１４の撮影画像を変換した俯瞰画像の画素の割合よりも大きく（例えば、８０％と２０％の割合）なるようにし、また、車両左後方のオーバーラップエリアＯＡ４においては、左側方カメラ１４の撮影画像を変換した俯瞰画像の画素の割合が後方カメラ１２の撮影画像を変換した俯瞰画像の画素の割合よりも大きく（例えば、８０％と２０％の割合）なるようにして、図１４に示すような俯瞰表示画像、すなわち車両前方から左側方に亘る領域と、車両左側方から左後方に亘る領域とで画像の連続性が高くなる俯瞰表示画像を作成するロジックである。

また、画像処理装置３０の変換処理部３４は、舵角センサ２１や車速センサ２２、シフト位置センサ２３の各センサ検出値から、車両が後退し、且つ回転角度が所定の角度θ以上となる操舵角度で右方向に転舵していると判断した場合には、図１５に示すような俯瞰表示画像を作成するための画像合成ロジック（以下、ロジックＪという。）を選択する。このロジックＪは、車両左前方のオーバーラップエリアＯＡ２においては、左側方カメラ１４の撮影画像を変換した俯瞰画像の画素の割合が前方カメラ１１の撮影画像を変換した俯瞰画像の画素の割合よりも大きく（例えば、８０％と２０％の割合）なるようにし、また、車両右後方のオーバーラップエリアＯＡ３においては、後方カメラ１２の撮影画像を変換した俯瞰画像の画素の割合が右側方カメラ１３の撮影画像を変換した俯瞰画像の画素の割合よりも大きく（例えば、８０％と２０％の割合）なるようにして、図１５に示すような俯瞰表示画像、すなわち車両左側方から左前方に亘る領域と、車両後方から右後方に亘る領域とで画像の連続性が高くなる俯瞰表示画像を作成するロジックである。

また、画像処理装置３０の変換処理部３４は、舵角センサ２１や車速センサ２２、シフト位置センサ２３の各センサ検出値から、車両が後退し、且つ回転角度が所定の角度θ以上となる操舵角度で左方向に転舵していると判断した場合には、図１６に示すような俯瞰表示画像を作成するための画像合成ロジック（以下、ロジックＫという。）を選択する。このロジックＫは、車両右前方のオーバーラップエリアＯＡ１においては、右側方カメラ１３の撮影画像を変換した俯瞰画像の画素の割合が前方カメラ１１の撮影画像を変換した俯瞰画像の画素の割合よりも大きく（例えば、８０％と２０％の割合）なるようにし、また、車両左後方のオーバーラップエリアＯＡ４においては、後方カメラ１２の撮影画像を変換した俯瞰画像の画素の割合が左側方カメラ１４の撮影画像を変換した俯瞰画像の画素の割合よりも大きく（例えば、８０％と２０％の割合）なるようにして、図１６に示すような俯瞰表示画像、すなわち車両右側方から右前方に亘る領域と、車両後方から左後方に亘る領域とで画像の連続性が高くなる俯瞰表示画像を作成するロジックである。

また、画像処理装置３０の変換処理部３４は、舵角センサ２１や車速センサ２２、シフト位置センサ２３の各センサ検出値から、車両が所定の走行速度以上の高速でまっすぐ前方に前進していると判断した場合には、図１７に示すような俯瞰表示画像を作成するための画像合成ロジック（以下、ロジックＬという。）を選択する。このロジックＬは、車両右前方のオーバーラップエリアＯＡ１と車両右後方のオーバーラップエリアＯＡ３とで、右側方カメラ１３の撮影画像を変換した俯瞰画像の画素の割合が前方カメラ１１の撮影画像や後方カメラ１２の撮影画像を変換した俯瞰画像の画素の割合よりも大きく（例えば、８０％と２０％の割合）なるようにし、また、車両左前方のオーバーラップエリアＯＡ２と車両左後方のオーバーラップエリアＯＡ４とで、左側方カメラ１４の撮影画像を変換した俯瞰画像の画素の割合が前方カメラ１１の撮影画像や後方カメラ１２の撮影画像を変換した俯瞰画像の画素の割合よりも大きく（例えば、８０％と２０％の割合）なるようにして、図１７に示すような俯瞰表示画像、すなわち車両右側方から右前方及び右後方に亘る領域と、車両左側方から左前方及び左後方に亘る領域とで画像の連続性が高くなる俯瞰表示画像を作成するロジックである。

以上のように、本実施形態の俯瞰画像表示システムにおいては、画像処理装置３０の変換処理部３４が、舵角センサ２１や車速センサ２２、シフト位置センサ２３の各センサ検出値から判断される車両の挙動に応じて、俯瞰表示画像の作成に用いる画像合成ロジックとして上述したロジックＧ〜Ｌの何れかを選択し、合成部分における合成の割合を最適な値に設定した俯瞰表示画像を作成するようにしている。したがって、この俯瞰画像表示システムによれば、車両の挙動に合わせて運転者が確実に確認しておきたい領域で画像の連続性が高い俯瞰表示画像を表示して、運転者の運転操作を適切に支援することができる。

（第３の参考形態）
次に、本発明の第３の参考形態について説明する。本参考形態の俯瞰画像表示システムは、４つの車載カメラで撮影された撮影画像を俯瞰画像に変換し、隣り合う車載カメラの被撮影領域が重複する各オーバーラップエリアＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４においては隣り合う車載カメラの撮影画像を変換した俯瞰画像を合成して、車両周囲全域を表す１つの連続した俯瞰表示画像を作成して表示するにあたり、車両の乗員の操作入力に応じて俯瞰表示画像の合成部分における合成の割合を最適な値に設定して、運転者が確実に確認しておきたい領域で画像に不連続性が生じることのない俯瞰表示画像を表示できるようにしたものである。なお、本参考形態の俯瞰画像表示システムにおけるその他の部分は上述した第１の実施形態の俯瞰画像表示システムと同様であるので、以下、第１の実施形態と同様の部分については同一の符号を付して重複した説明を省略し、本参考形態に特徴的な部分についてのみ説明する。

本参考形態の俯瞰画像表示システムの構成は、上述した第２の参考形態の俯瞰画像表示システムと同様であり（図１１参照。）、上述した第１の実施形態における各種センサ（舵角センサ２１、車速センサ２２、シフト位置センサ２３）に代えて、車両の乗員による操作入力を受け付けるための入力装置６０が、画像処理装置３０に接続されている。

また、本参考形態の俯瞰画像表示システムでは、上述した第１の実施形態の俯瞰画像表示システムと同様に、画像処理装置３０の変換処理部３４が俯瞰表示画像を作成する際に、車両右前方のオーバーラップエリアＯＡ１においては、前方カメラ１１で撮影した撮影画像を変換した俯瞰画像と右側方カメラ１３で撮影した撮影画像を変換した俯瞰画像とを合成し、また、車両左前方のオーバーラップエリアＯＡ２においては、前方カメラ１１で撮影した撮影画像を変換した俯瞰画像と左側方カメラ１４で撮影した撮影画像を変換した俯瞰画像とを合成し、また、車両右後方のオーバーラップエリアＯＡ３においては、後方カメラ１２で撮影した撮影画像を変換した俯瞰画像と右側方カメラ１３で撮影した撮影画像を変換した俯瞰画像とを合成し、また、車両左後方のオーバーラップエリアＯＡ４においては、後方カメラ１２で撮影した撮影画像を変換した俯瞰画像と左側方カメラ１４で撮影した撮影画像を変換した俯瞰画像とを合成して、車両周囲全域を表す一連の俯瞰表示画像を作成するようにしている。

そして、特に、本参考形態の俯瞰画像表示システムでは、画像処理装置３０の変換処理部３４が、各オーバーラップエリアＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４における俯瞰画像の合成の割合を画像合成ロジックに従って決定して俯瞰表示画像を作成するようにしており、この画像合成ロジックとして、上述した第１の実施形態で説明したロジックＧ〜Ｌの複数のロジックを内蔵している。そして、本参考形態の俯瞰画像表示システムにおいては、画像処理装置３０の変換処理部３４が、入力装置６０を用いた車両の乗員による操作入力に応じて、俯瞰表示画像の作成に用いる繋ぎ目位置設定ロジックとして、上述したロジックＡ〜Ｆの何れかを選択するようにしている。したがって、本参考形態の俯瞰画像表示システムにおいては、車両の乗員の操作入力に合わせて、図１２乃至図１７で示した何れかの表示形態の俯瞰表示画像が表示装置４０に表示されることになる。

以上のように、本実施形態の俯瞰画像表示システムにおいては、画像処理装置３０の変換処理部３４が、入力装置６０を用いた車両の乗員の操作入力に応じて、俯瞰表示画像の作成に用いる画像合成ロジックとして上述したロジックＧ〜Ｌの何れかを選択し、合成部分における合成の割合を最適な値に設定した俯瞰表示画像を作成するようにしている。したがって、この俯瞰画像表示システムによれば、運転者が確実に確認しておきたいと考えている領域で画像の連続性が高い俯瞰表示画像を表示して、運転者の運転操作を適切に支援することができる。

なお、以上説明した第１の実施形態の俯瞰画像表示システムは、本発明の一適用例を例示したものであり、本発明の技術的範囲は、以上の実施形態の説明で開示した内容に限定されるものではなく、これらの開示から容易に導き得る様々な代替技術も含まれることは勿論である。

第１の参考形態としての俯瞰画像表示システムの概略構成を示すブロック図である。４つの車載カメラの取り付け位置と、各車載カメラの被撮影領域とを説明する図である。画像処理装置の詳細な構成を示すブロック図である。表示装置に表示される俯瞰表示画像の一表示形態を示す図である。表示装置に表示される俯瞰表示画像の他の表示形態を示す図である。表示装置に表示される俯瞰表示画像の更に他の表示形態を示す図である。表示装置に表示される俯瞰表示画像の更に他の表示形態を示す図である。表示装置に表示される俯瞰表示画像の更に他の表示形態を示す図である。表示装置に表示される俯瞰表示画像の更に他の表示形態を示す図である。第１の参考形態の俯瞰画像表示システムにおける一連の処理の流れを示すフローチャートである。第２の参考形態としての俯瞰画像表示システムの概略構成を示すブロック図である。第１の実施形態の俯瞰画像表示システムにおいて、表示装置に表示される俯瞰表示画像の一表示形態を示す図である。第１の実施形態の俯瞰画像表示システムにおいて、表示装置に表示される俯瞰表示画像の他の表示形態を示す図である。第１の実施形態の俯瞰画像表示システムにおいて、表示装置に表示される俯瞰表示画像の更に他の表示形態を示す図である。第１の実施形態の俯瞰画像表示システムにおいて、表示装置に表示される俯瞰表示画像の更に他の表示形態を示す図である。第１の実施形態の俯瞰画像表示システムにおいて、表示装置に表示される俯瞰表示画像の更に他の表示形態を示す図である。第１の実施形態の俯瞰画像表示システムにおいて、表示装置に表示される俯瞰表示画像の更に他の表示形態を示す図である。

符号の説明

１１前方カメラ
１２後方カメラ
１３右側方カメラ
１４左側方カメラ
２１舵角センサ
２２車速センサ
２３シフト位置センサ
３０画像処理装置
３４変換処理部
３５記憶部

Claims

一部が重複する車両周囲の複数の被撮影領域の画像を各々撮影する複数の車載カメラと、
前記複数の車載カメラにより撮影された撮影画像をそれぞれ俯瞰画像に変換し、前記被撮影領域の重複する部分においてこれら俯瞰画像を合成して、１つの連続した俯瞰表示画像を作成する画像処理装置と、
前記画像処理装置により作成された俯瞰表示画像を表示する表示装置とを備えた俯瞰画像表示システムであって、
前記画像処理装置は、前記被撮影領域の重複する部分において、２つの俯瞰画像を構成する各画素を所定の割合で交互に配置して１つの俯瞰画像として合成するものであり、前記俯瞰表示画像の合成部分における前記割合を任意に設定する合成割合設定手段と、
車両の挙動を表す車両情報を検出する車両情報検出手段と、を有し、
前記合成割合設定手段は、
前記車両情報検出手段により検出された車両情報が前進、且つ所定角度以上の操舵角を示している場合には、車両前方の操舵角方向の重複部分において、前方カメラの撮影画像を変換した俯瞰画像の割合を操舵方向の側方カメラの撮影画像を変換した俯瞰画像の割合より大きくなるように設定し、車両後方の操舵角方向の重複部分において、操舵方向の側方カメラの撮影画像を変換した俯瞰画像の割合を後方カメラの撮影画像を変換した俯瞰画像の割合より大きくなるように設定し、
前記車両情報検出手段により検出された車両情報が後退、且つ所定角度以上の操舵角を示している場合には、車両前方の操舵角方向と逆側の重複部分において、操舵方向と逆側の側方カメラの撮影画像を変換した俯瞰画像の割合を前方カメラの撮影画像を変換した俯瞰画像の割合より大きくなるように設定し、車両後方の操舵角方向の重複部分において、後方カメラの撮影画像を変換した俯瞰画像の割合を操舵方向の側方カメラの撮影画像を変換した俯瞰画像の割合より大きくなるように設定することを特徴とする俯瞰画像表示システム。
前記車両情報検出手段により検出された車両情報が前進、且つ所定角度以上の右方向操舵角を示している場合には、車両前方の右方向の重複部分において、前方カメラの撮影画像を変換した俯瞰画像の割合を右側方カメラの撮影画像を変換した俯瞰画像の割合より大きくなるように設定し、車両後方の右方向の重複部分において、後方カメラの撮影画像を変換した俯瞰画像の割合を右側方カメラの撮影画像を変換した俯瞰画像の割合より小さくなるように設定することを特徴とする請求項１に記載の俯瞰画像表示システム。
前記車両情報検出手段により検出された車両情報が前進、且つ所定角度以上の左方向操舵角を示している場合には、車両前方の左方向の重複部分において、前方カメラの撮影画像を変換した俯瞰画像の割合を左側方カメラの撮影画像を変換した俯瞰画像の割合より大きくなるように設定し、車両後方の左方向の重複部分において、後方カメラの撮影画像を変換した俯瞰画像の割合を左側方カメラの撮影画像を変換した俯瞰画像の割合より小さくなるように設定することを特徴とする請求項１に記載の俯瞰画像表示システム。
前記車両情報検出手段により検出された車両情報が後退、且つ所定角度以上の右方向操舵角を示している場合には、車両左前方の重複部分において、左側方カメラの撮影画像を変換した俯瞰画像の割合を前方カメラの撮影画像を変換した俯瞰画像の割合より大きくなるように設定し、車両右後方の重複部分において、後方カメラの撮影画像を変換した俯瞰画像の割合を右側方カメラの撮影画像を変換した俯瞰画像の割合より大きくなるように設定することを特徴とする請求項１に記載の俯瞰画像表示システム。
前記車両情報検出手段により検出された車両情報が後退、且つ所定角度以上の左方向操舵角を示している場合には、車両右前方の重複部分において、右側方カメラの撮影画像を変換した俯瞰画像の割合を前方カメラの撮影画像を変換した俯瞰画像の割合より大きくなるように設定し、車両左後方の重複部分において、後方カメラの撮影画像を変換した俯瞰画像の割合を左側方カメラの撮影画像を変換した俯瞰画像の割合より大きくなるように設定することを特徴とする請求項１に記載の俯瞰画像表示システム。
前記車両情報検出手段により検出された車両情報が停止または直進を示している場合には、前記重複領域の全てにおいて前記割合が等しくなるように設定することを特徴とする請求項１乃至５の何れか１項に記載の俯瞰画像表示システム。
前記車両情報検出手段により検出された車両情報が所定速度以上の前進を示している場合には、車両右前方及び車両右後方の前記重複領域において、右側方カメラの撮影画像を変換した俯瞰画像の割合を車両前方カメラまたは車両後方カメラの撮影画像を変換した俯瞰画像の割合よりも大きくなるように設定し、また、車両左前方及び車両左後方の前記重複領域において、左側方カメラの撮影画像を変換した俯瞰画像の割合を車両前方カメラまたは車両後方カメラの撮影画像を変換した俯瞰画像の割合よりも大きくなるように設定することを特徴とする請求項１乃至６の何れか１項に記載の俯瞰画像表示システム。
一部が重複する車両周囲の複数の被撮影領域の画像を複数の車載カメラで各々撮影し、これら複数の車載カメラにより撮影された撮影画像をそれぞれ俯瞰画像に変換し、前記被撮影領域の重複する部分においてこれら俯瞰画像を合成して、１つの連続した俯瞰表示画像として表示装置に表示する俯瞰画像の表示方法であって、
前記被撮影領域の重複する部分において、２つの俯瞰画像を構成する各画素を所定の割合で交互に配置して１つの俯瞰画像として合成する際に、車両の挙動を表す車両情報が車両の前進、且つ所定角度以上の操舵角を示している場合には、車両前方の操舵角方向の重複部分において、前方カメラの撮影画像を変換した俯瞰画像の割合を操舵方向の側方カメラの撮影画像を変換した俯瞰画像の割合より大きくなるように設定し、車両後方の操舵角方向の重複部分において、操舵方向の側方カメラの撮影画像を変換した俯瞰画像の割合を後方カメラの撮影画像を変換した俯瞰画像の割合より大きくなるように設定し、
前記車両情報が車両の後退、且つ所定角度以上の操舵角を示している場合には、車両前方の操舵角方向と逆側の重複部分において、操舵方向と逆側の側方カメラの撮影画像を変換した俯瞰画像の割合を前方カメラの撮影画像を変換した俯瞰画像の割合より大きくなるように設定し、車両後方の操舵角方向の重複部分において、後方カメラの撮影画像を変換した俯瞰画像の割合を操舵方向の側方カメラの撮影画像を変換した俯瞰画像の割合より大きくなるように設定することを特徴とする俯瞰画像の表示方法。