JP4321543B2

JP4321543B2 - 車両周辺監視装置

Info

Publication number: JP4321543B2
Application number: JP2006110262A
Authority: JP
Inventors: 仁久門
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2006-04-12
Filing date: 2006-04-12
Publication date: 2009-08-26
Anticipated expiration: 2026-04-12
Also published as: US8009869B2; CN101055176B; US20080129539A1; DE102007017038B4; JP2007288282A; CN101055176A; DE102007017038A1

Description

本発明は、車両周辺の画像を表示する車両周辺監視装置に関する。

従来から、車両の後部に設置された撮影手段と、該撮影手段が撮影した車両後方画像を、鳥瞰画像に変換する鳥瞰変換手段と、該鳥瞰変換手段によって変換された鳥瞰画像を表示する表示手段とを備える車両周辺監視システムにおいて、過去の鳥瞰画像と現在の鳥瞰画像とを合成して合成鳥瞰画像を生成する合成鳥瞰画像生成手段と、該合成鳥瞰画像生成手段が生成した合成鳥瞰画像を、車両の位置との関係が分かる様に車両図形とともに前記表示手段に表示する表示制御手段とを備える車両周辺監視システムが知られている（例えば、特許文献１参照）。
特開２００３−１９１８１０号公報

ところで、上述の従来技術のように、過去に撮像された過去画像を用いて表示用の合成画像を生成する構成によれば、過去画像を用いることで、撮像手段の視野外の状況をも表示することができ、現在の画像のみを表示する構成に比べて、多くの情報をユーザに提供することができる。

しかしながら、過去画像の撮像時点と現時点との間に何らかの状況変化もありうるので、過去画像によって提供される情報の信頼性は、現在の画像によって提供される情報の信頼性よりも低くなる。この点、上記の従来技術では、過去画像にグレーフィルタをかけて表示することで、現在の画像と過去画像との識別を可能としているが、過去画像がどの程度信頼性が低下しているのかをユーザが把握できないという問題がある。即ち、このように過去画像を一律的な表示態様で表示する構成では、過去画像間での信頼性の相違をユーザに把握させることができないという問題がある。

そこで、本発明は、ユーザが過去画像の信頼性を容易に把握することができる車両周辺監視装置の提供を目的とする。

上記目的を達成するため、第１の発明は、車両周辺の画像を表示する車両周辺監視装置において、
車両周辺を撮像する撮像手段と、
前記撮像手段によって撮像された画像を記憶する記憶手段と、
撮像手段によって撮像された新しい画像と、それ以前に撮像された過去画像とを用いて、表示用の合成画像を生成する表示画像生成手段と、
前記合成画像を表示する表示手段とを備え、
前記表示画像生成手段は、過去画像の撮像時刻から現在時刻までの経過時間に応じて、該経過時間が長くなるほど視認性が低くなる態様で、該過去画像に係る画像領域の視認性を低下させることを特徴とする。

第２の発明は、第１の発明に係る車両周辺監視装置において、前記表示画像生成手段は、撮像時刻の異なる複数の過去画像を用いて合成画像を生成することを特徴とする。これにより、各過去画像の撮像時刻からの経過時間に応じて各過去画像に係る画像領域の視認性が段階的又は連続的に変化する態様で表示画像が生成されるので、ユーザは、各過去画像の信頼性の相違を容易に把握することが可能となる。

第３の発明は、第１又は２の発明に係る車両周辺監視装置において、
前記表示画像生成手段は、同一の過去画像を用いて複数のフレームに亘る合成画像を生成する場合には、該過去画像に係る画像領域の視認性を時間の経過と共に徐々に低下させることを特徴とする。これにより、人の記憶が時間の経過と共に徐々に薄れていく様に適合した態様で、過去画像に係る画像領域の視認性を変化させることができる。

第４の発明は、第１〜３のいずれかの発明に係る車両周辺監視装置において、
前記画像合成手段は、コントラスト及び／又は輝度を補正して、前記過去画像に係る画像領域の視認性を低下させることを特徴とする。
また、第５の発明は、第１〜４のいずれかの発明に係る車両周辺監視装置において、前記撮像手段は、車両のドアに取り付けられ車両側方を撮像する側方撮像手段を含み、
前記表示画像生成手段は、前記ドアの開状態が認識された場合、該ドアの開状態で前記側方撮像手段によって撮像された新しい画像を用いず、該ドアの開状態になる前の該ドアの閉状態で前記側方撮像手段によって撮像された過去画像を用いて、前記合成画像を生成することを特徴とする。

本発明によれば、ユーザが過去画像の信頼性を容易に把握することができる車両周辺監視装置が得られる。

以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。

図１は、本発明による車両周辺監視装置の一実施例を示すシステム構成図である。本実施例の車両周辺監視装置７０は、画像合成装置１００を備える。画像合成装置１００は、車両に搭載されたカメラ１０から得られる撮像画像に基づいて、車両に搭載されるディスプレイ２０を介して、車両周辺の画像（映像）を表示する。ディスプレイ２０は、例えば液晶ディスプレイであってよく、乗員が視認しやすい位置（例えばインストルメントパネル内）に設置される。

図２は、カメラ１０の設置態様及びその撮像領域の一例を示す平面図である。カメラ１０は、図２に示すように、車両の前部及び後部の計２箇所に設置される。各カメラ１０（１０ＦＲ，１０ＲＲ）は、ＣＣＤ（charge-coupled device）やＣＭＯＳ（complementary metal oxide semiconductor）等の撮像素子により路面を含む周囲画像を取得する。各カメラ１０は、魚眼レンズを備える広角カメラであってよい。

前方カメラ１０ＦＲは、図２に概略的に示すように、車両前方の路面を含む周囲画像を取得するように、車体の前部（例えばバンパ付近）に設置される。後方カメラ１０ＲＲは、図２に概略的に示すように、車両後方の路面を含む周囲画像を取得するように、車体の後部（例えば後部バンパ付近やバックドア）に設置される。

図２には、各カメラ１０の撮像領域の一例が概略的に示されている。図２に示す例では、各カメラ１０は、広角カメラであり、各カメラ１０の撮像領域は略扇形で示されている。図２には、前方カメラ１０ＦＲの撮像領域Ｒｆと、後方カメラ１０ＲＲの撮像領域Ｒｒとが、ハッチングにより強調して示されている。

図３は、ディスプレイ２０上に表示される表示画像の一例を概略的に示す図である。表示画像は、２つのカメラ１０ＦＲ，１０ＲＲを介して得られる画像を合成して生成される。図３に示す例では、表示画像の中央の画像領域に、車両を模した画像（車両画像）が描画されている。かかる車両画像は、予め作成され、所定のメモリ（後述の車両画像記憶部１１５）に記憶しておいたものが利用されてよい。表示画像は、中央の画像領域に車両画像を配置し、その他の画像領域に、各カメラ１０から得られる画像を配置することにより得られる。各カメラ１０から得られる画像は、路面を上空から俯瞰した俯瞰（鳥瞰）表示用の画像となるように適切な前処理（例えば座標変換、歪補正や遠近補正等）を受けてから、ディスプレイ２０上に表示される（図中のハッチング部分が路面ないし路上物体を俯瞰した画像部分を表す）。また、図３に示す車両側方の画像領域Ｒ３については、カメラ１０ＦＲ又は１０ＲＲを介して得られる過去の画像（過去画像）を適切に配置して生成される。例えば、車両が前進している場合には、車両側方の画像領域Ｒ３は、前方カメラ１０ＦＲによって撮像された過去画像により補填される。また、車両が後退している場合には、車両側方の画像領域Ｒ３は、後方カメラ１０ＲＲによって撮像された過去画像により補填される。過去画像の表示態様については後に詳説する。これにより、側方カメラを搭載しなくても、車両を中心として全方位に亘って周辺画像を生成することができ、乗員は、車両を中心として全方位に亘って、路面の状態ないし路上物体の状態（例えば、各種道路区画線や各種障害物の位置等）を把握することができる。

図４は、本実施例の画像合成装置１００の主要機能を示す機能ブロック図である。画像合成装置１００のハードウェア構成は、マイクロコンピュータを中心に構成されている。即ち、画像合成装置１００は、所与の実行プログラムに従って各種処理を行うCPU、このCPUの実行プログラム、画像データ、演算結果等を格納するメモリ（例えばROM、ＲＡＭ，ＥＥＰＲＯＭ等）、タイマ、カウンタ、入出力インターフェイス等を有している。これらCPU、メモリ、及び入出力インターフェイスは、データバスにより相互に接続されている。尚、以下で説明する画像合成装置１００の各部は、CPUがアクセス可能なメモリや、CPUによって実行されるプログラムによって実現される。

本実施例の画像合成装置１００は、俯瞰画像変換部１１２、車両画像記憶部１１５、過去画像記憶部１１６、及び、画像合成部１２０を備える。

画像合成装置１００には、ＣAN（Controller Area Network）等の通信回線を介して、各種の必要な情報がリアルタイムに入力される。かかる情報としては、車速センサやヨーレートセンサ、舵角センサ等の各種センサ出力や、駐車支援ＥＣＵ等の各種ＥＣＵからの情報であってよい。

画像合成装置１００には、適切な通信回線を介して、各カメラ１０ＦＲ，１０ＲＲを介して得られる画像が、リアルタイムに入力される。この場合、各画像は、適切なフレームレートのストリーム形式で画像合成装置１００に供給されてよい。画像合成装置１００は、フレーム毎に、以下で説明する処理に従って、図３に示したような表示画像を生成する。従って、ディスプレイ２０上に表示される表示画像は、フレーム毎に更新されることになる（即ち、動画表示となる）。

俯瞰画像変換部１１２は、各カメラ１０ＦＲ，１０ＲＲから得られる画像を、路面を俯瞰した俯瞰（鳥瞰）表示用の画像となるように座標変換等を行う。座標変換式は、既知の各カメラ１０ＦＲ，１０ＲＲの視線方向や取り付け位置等に基づいて適切に決定される。俯瞰画像変換部１１２により生成された俯瞰画像は、画像合成部１２０に供給されると共に、過去画像記憶部１１６に供給される。

過去画像記憶部１１６は、瞰画像生成部１１２により生成された俯瞰画像を過去画像として記憶・保持する。過去画像は、その取得された時点（撮像時点）に関する情報（タイムスタンプ）が紐付けされて、過去画像記憶部１１６に格納される。これにより、後述の画像合成部１２０は、過去画像記憶部１１６に記憶されている各過去画像の撮像時点を把握することが可能となる。尚、過去画像記憶部１１６には、そのメモリ容量の効率的な利用を図るため、ＦＩＦＯ方式で、現在時刻から所定時間前までの過去画像のみが保持されてよい。

車両画像記憶部１１５は、図３に示したような表示画像の略中央領域に重畳される車両画像を記憶する。車両画像は、図３に示したように、車両の俯瞰図を模式的に表す画像である。

画像合成部１２０は、今回のフレーム周期で得られた最新の俯瞰画像（現在画像）と、過去画像記憶部１１６に記憶されている前回以前のフレーム周期で得られた過去画像とを合成して、表示画像を生成する。

現在画像の描画位置は、既知の各カメラ１０ＦＲ，１０ＲＲの視線方向や取り付け位置等に基づいて適切に決定される固定位置である。一方、過去画像の描画位置は、車両の移動に伴って変化させる必要があるので、当該過去画像の取得時からの現時点までの車両の移動態様に基づいて適切に決定される。

例えば、画像合成部１２０は、車速センサの各出力信号に基づいて、過去画像の取得地点からの現在の車両位置までの走行距離βを求めると共に、舵角センサ及び車速センサの各出力信号に基づいて、過去画像の取得時点からの現時点までの車両の向きの変化量（以下、この変化量を「偏向角α」という）を演算する。尚、偏向角αは、時計回り方向を正とし、反時計回り方向を負として定義される。ここで、偏向角αは、一般的に、車両の微小移動距離をｄｓとし、γを路面曲率（車両の旋回半径Ｒの逆数に相当）とすると、数１の式により算出することができる。この数１の式は、βｍの走行距離における車両の向きの変化として、偏向角αを求めるものである。

画像合成部１２０は、数１の式を変形した以下の数２の式に基づいて、所定の移動距離（本例では、０．５ｍ）毎の微小偏向角α_ｉを算出すると共に、算出した各微小偏向角α_１〜ｋを総和して偏向角αを算出する。

この際、所定の移動距離（本例では、０．５ｍ）は、車速センサの出力信号（車輪速パルス）を時間積分することによって監視される。また、路面曲率γは、舵角センサから得られる舵角Ｈａに基づいて決定され、例えばγ＝Ｈａ／Ｌ・ηにより演算される（Ｌはホイールベース長、ηは車両のオーバーオールギア比（車輪の転舵角に対する舵角Ｈａの比）である）。尚、微小偏向角α_ｉは、微小移動距離０．０１ｍ毎に得られる路面曲率γに当該微小移動距離０．０１を乗算し、これらの乗算値を移動距離０．５ｍ分積算することによって算出されてもよい。尚、路面曲率γと舵角Ｈａとの関係は、予め車両毎に取得された相関データに基づいて作成されたマップとして、画像合成装置１００のアクセス可能なメモリに格納されていてよい。

この場合、画像合成部１２０は、上述の如く求めた走行距離βに基づいて、現在画像の描画位置に対する過去画像の描画位置を決定すると共に、上述の如く求めた偏向角αに基づいて、過去画像の描画の向き（回転角度）を決定する。尚、過去画像の描画位置（及び向き）を決定する方法は、これに限られず、画像認識結果に基づいて抽出された特徴点の位置や向きに基づいて決定してもよいし、他のセンサ（例えばヨーレートセンサ）等を用いてもよい。

次に、図４以降を参照して、本実施例の画像合成部１２０による表示画像の生成態様について、詳説する。以下では、駐車支援時に後方支援のための表示画像の生成態様を、一例として説明する。

図５は、駐車開始位置に存在する車両の周辺環境の一例を概略的に示す平面図である。ここでは、本実施例の車両周辺監視装置７０を搭載した車両（自車）が、後方の駐車枠線内へと後退しようとしている状況を想定する。車両周辺には、車両右後方に他車Ｘが１台存在し、駐車枠線内に転倒した自転車が存在する状況を想定する。車両は、図５に示す位置から、図中の点線に従って後退していくものとする。

図６は、図５に示す時点（駐車開始時点）で生成される表示画像（合成画像）を概略的に示す図である。本例では、後方視界支援のため、画像合成装置１００は、後方カメラ１０ＲＲにより撮像された画像（現在画像及び過去画像）を用いて、表示画像を生成するものとする。従って、図６に示す表示画像は、図３に示した表示画像よりも、後方視野を表す画像領域が拡大されている。

尚、表示画像には、図６に示すように、現在画像を用いて描画された画像領域Ｒ１を囲繞する境界線Ｔが描画されてよい。これにより、ユーザは、表示画像における境界線Ｔで囲まれた領域が現在画像に係る画像領域であり、従って、リアルタイムの映像であることを容易に認識することができる。

図５に示す駐車開始時点では、後方カメラ１０ＲＲの視界内に他車Ｘが存在するため、表示画像の画像領域Ｒ１には、現在画像に基づいて、他車Ｘが車両右後方位置に描画されている。尚、ここでは、他車Ｘの画像は模式的に示しているが、実際にはリアルな画像となる（後述の転倒自転車に関する画像についても同様である。）。これにより、ユーザは、現在、車両右後方に他車Ｘが存在することを容易に認識することができる。

図６に示す例では、表示画像における車両側方の画像領域Ｒ３は、例えば白色で全領域が描画されて白飛びのような表示状態にされ、実質的に何ら画像が描画されていない。これは、図５に示す駐車開始位置に至る車両前進時に当該車両側方の画像が取得されていなかったことを意味する（即ち、当該車両側方の過去画像が存在しないことを意味する）。但し、駐車開始位置に至る車両前進時に、前方カメラ１０ＦＲにより当該車両側方の画像が取得されていた場合には、以下で説明する過去画像描画方法と同様の方法で、前方カメラ１０ＦＲにより取得されていた過去画像を用いて車両側方の画像領域Ｒ３が描画されてもよい。

図７は、駐車途中位置に存在する車両の周辺環境の一例を概略的に示す平面図である。ここでは、図７に示すように、駐車開始時点で車両右後方に存在していた他車Ｘ（図５を対比して参照）が、後方カメラ１０ＲＲの視界から外れた後に、右方に移動したものとする。

図８は、駐車途中時点で生成される表示画像（合成画像）を概略的に示す図である。図７に示す駐車途中時点では、後方カメラ１０ＲＲの視界内に転倒自転車が存在するため、表示画像の画像領域Ｒ１には、現在画像に基づいて、転倒自転車が車両後方に描画されている。これにより、ユーザは、現在、車両後方に転倒自転車が存在することを容易に認識することができる。一方、表示画像における車両側方の画像領域Ｒ３には、駐車開始時点から駐車途中時点までに後方カメラ１０ＲＲにより撮像されて過去画像記憶部１１６に記憶されている過去画像に基づいて、車両側方の画像が描画される。画像合成部１２０は、複数の過去画像を用いて画像領域Ｒ３を描画する際、これらの複数の過去画像の互いに重なり合う領域については、そのうちの最新の過去画像が最前面に描画されるように、それよりも古い過去画像の適切な範囲をトリミングする（即ち、最新の過去画像により、それより古い過去画像の領域をオーバーレイさせ、複数の過去画像によりシームレスに画像領域Ｒ３を描画する）。

図８に示す例では、撮像時刻の異なる４つの過去画像により、車両側方の画像領域Ｒ３が描画されている。図８では、時刻ｔ＝ｔ１に撮像された過去画像を用いて描画された画像領域が、参照符号Ｇ１により、時刻ｔ＝ｔ２に撮像された過去画像を用いて描画された画像領域が、参照符号Ｇ２により、時刻ｔ＝ｔ３に撮像された過去画像を用いて描画された画像領域が、参照符号Ｇ３により、時刻ｔ＝ｔ４に撮像された過去画像を用いて描画された画像領域が、参照符号Ｇ４により、それぞれ示されている。尚、駐車開始時刻をｔ＝ｔ０とし、図７に示す駐車途中時点（現在時刻）をｔ＝ｔ５とし、ｔ０＜ｔ１＜ｔ２＜ｔ３＜ｔ４＜ｔ５である。

図８では、表示画像のコントラストをハッチングの色により模式的に示している。画像合成部１２０は、図８に示すように、各過去画像の撮像時点に応じて、各過去画像を用いて描画する画像領域Ｇ１〜Ｇ４のコントラストを異ならしめる。尚、コントラストの補正は、コントラストフィルタやトーンカーブの補正等により実現されてよい。

具体的には、画像合成部１２０は、図８に示すように、各過去画像のうち最も新しい過去画像に係る画像領域Ｇ１については、最も高いコントラストＬ４で描画する。もっとも、画像領域Ｇ４のコントラストＬ４は、現在画像に基づいて描画される画像領域Ｒ１のコントラスト（標準のコントラスト）よりも低く設定される。画像合成部１２０は、画像領域Ｇ３〜Ｇ１については、過去画像の撮像時点が古くなるにつれて、コントラストがＬ３からＬ１へと徐々に低下していく態様で描画する。従って、画像合成部１２０は、各過去画像のうち最も古い過去画像に係る画像領域Ｇ４については、最も低いコントラストＬ１で描画する。これにより、各過去画像を用いて描画される画像領域Ｇ１〜Ｇ４が、画像領域Ｇ４から画像領域Ｇ１へと段階的にコントラストが低くなる表示画像が生成される。

ところで、過去画像により描画された画像領域の確からしさ（信頼性）は時間の経過と共に低下していくため、撮像時点から多くの時間が経過した過去画像により描画された画像領域と、つい先ほど撮像されたばかりの過去画像により描画された画像領域とは、信頼性が著しく異なり得る。従って、これらの経過時間の異なる過去画像を一律的な表示態様で表示することは、ユーザにその信頼性の高低が把握させることができないので好ましくない。

これに対して、本実施例によれば、上述の如く、過去画像を現在画像に合成して合成画像を生成する際に、過去画像の取得時点の古さに応じて、コントラストが変化されるので、ユーザは、各過去画像により提供される情報の確からしさ（即ち、信頼性の高低）を容易に把握することができる。また、本実施例によれば、過去画像の撮像時点が古くなるにつれてコントラストが低下していく、即ち撮像時点が古いほど視認性が悪くなっていくので、信頼性の低さに適合した態様で過去画像を表示することができる。例えば、図８に示す例では、実際には存在しない他車Ｘが画像領域Ｇ１に描画されているが、画像領域Ｇ１のコントラストＬ１は最も低くて視認性が最悪となっているので、ユーザは、他車Ｘの画像がぼやけて見えるため、その信頼性の低さを感覚的に把握することができる。一方、最新の過去画像により描画された画像領域Ｇ４のコントラストＬ４は、過去画像の画像領域の中で最も高いので、ユーザは、その画像領域Ｇ４に描画されうる物体を比較的容易に視認することができる。本例では、ユーザは、画像領域Ｇ４の画像を見て、例えば駐車枠線の横線と車両の後部との位置関係を容易に視認することができる。

また、本実施例によれば、同一の過去画像により描画される画像領域のコントラストが時間の経過と共に次第に低下していくので、人の記憶が時間の経過と共に次第に低下していく様に適合した態様で、複数のフレームに亘る表示画像を生成することができる。例えば、車両が途中で停車することなく無く等速に後退した場合を想定し、画像領域Ｇ１を描画するために用いられた過去画像（他車Ｘを捉えた過去画像）に着目すると、時刻ｔ＝ｔ１では現在画像として標準コントラストで画像領域Ｒ１に描画され、時刻ｔ＝ｔ２では標準コントラストよりも低いコントラストＬ１で画像領域Ｒ３ａ（図８参照）に描画され、時刻ｔ＝ｔ３では更に低いコントラストＬ２で画像領域Ｒ３ｂに描画され、時刻ｔ＝ｔ４では更に低いコントラストＬ３で画像領域Ｒ３ｃに描画され、時刻ｔ＝ｔ５では更に低いコントラストＬ４で画像領域Ｒ３ｃ（＝画像領域Ｇ１）に描画されるといった具合に、当該過去画像が描画される画像領域のコントラストが時刻ｔ＝ｔ１〜ｔ５にかけて次第に低下していく。これにより、ユーザの他車Ｘの記憶が時間の経過と共に次第に低下していく様に適合した態様で、他車Ｘの画像のコントラストを低下させていくことができる。

尚、本実施例において、図７に示す駐車途中時点で一時的に停車した場合には、停車期間中、表示画像の画像領域Ｒ１は、随時供給される現在画像に基づいて、常に標準コントラストの画像が維持されることになる。一方、過去画像に係る画像領域Ｒ３のコントラストは、時間の経過とともに低下されていく。例えば画像領域Ｒ３ａのコントラスト（時刻ｔ＝ｔ５でコントラストＬ４）は、停車期間中、時間の経過と共に、コントラストＬ４からＬ１へと次第に低下していく。更に時間が経過した場合には、画像領域Ｒ３ａのコントラストは、コントラストＬ１で維持されてもよいが、コントラストゼロまで低下されてもよい。後者の場合、図６で示したように、過去画像を用いて描画される画像領域Ｒ３がいわゆる白飛びのような表示状態となる。

尚、図８を参照して説明した例では、撮像時刻の４つの過去画像を用いていたが、使用する過去画像の数は、車両の移動態様やフレーム周期等に応じて適切に決定されるものであり、１つの過去画像と現在画像により表示画像を生成することもあれば、５つ以上の過去画像と現在画像により表示画像を生成することもありうる。

実施例２は、上述の実施例１に対して、カメラの設置態様と過去画像の利用態様が、主に異なる。以下の説明において、上述の実施例１と同様の構成については、同様の参照符号を付して説明を省略する。

図９は、実施例２によるカメラ１０の設置態様及びその撮像領域の一例を示す平面図である。カメラ１０は、図２に示すように、車両の前部、両側部及び後部の計４箇所に設置される。各カメラ１０（１０ＦＲ，１０ＳＬ，１０ＳＲ，１０ＲＲ）は、同様に、魚眼レンズを備える広角カメラであってよい。

左側方カメラ１０ＳＬは、図２に概略的に示すように、車両左側方の路面を含む周囲画像を取得するように、左側のドアミラーに設置される。右側方カメラ１０ＳＲは、図２に概略的に示すように、車両右側方の路面を含む周囲画像を取得するように、右側のドアミラーに設置される。

図９には、各カメラ１０の撮像領域の一例が概略的に示されている。図９に示す例では、各カメラ１０は、広角カメラであり、各カメラ１０の撮像領域は略扇形で示されている。図９には、前方カメラ１０ＦＲの撮像領域Ｒｆと、右側方カメラ１０ＳＲの撮像領域Ｒｓとが、ハッチングにより強調して示されている。これらの各撮像領域は、図９に示すように、互いに重複する領域（例えば図９のＲｓｆ）を有してもよい。このように図９に示す例では、車両の全周囲の風景が、４つのカメラ１０ＦＲ，１０ＳＬ，１０ＳＲ，１０ＲＲにより協働して捕捉される。これにより、乗員は、車両を中心として全方位に亘って、路面の状態ないし路上物体の状態（例えば、各種道路区画線や各種障害物の位置等）を把握することができる。尚、各カメラ１０の撮像領域が重複する領域（例えば図９のＲｓｆ）については、何れかの一方の画像を選択して当該重複領域に関する最終的な表示画像が生成されてもよく、或いは、双方の画像を協働的に用いて当該重複領域に関する最終的な表示画像が生成されてもよい。

図１０は、本実施例２の画像合成装置１００’の主要機能を示す機能ブロック図である。画像合成装置１００’のハードウェア構成は、マイクロコンピュータを中心に構成されている。即ち、画像合成装置１００’は、所与の実行プログラムに従って各種処理を行うCPU、このCPUの実行プログラム、画像データ、演算結果等を格納するメモリ（例えばROM、ＲＡＭ，ＥＥＰＲＯＭ等）、タイマ、カウンタ、入出力インターフェイス等を有している。これらCPU、メモリ、及び入出力インターフェイスは、データバスにより相互に接続されている。尚、以下で説明する画像合成装置１００’の各部は、CPUがアクセス可能なメモリや、CPUによって実行されるプログラムによって実現される。

本実施例の画像合成装置１００’は、俯瞰画像変換部１１２、ドア開閉認識部１１４、車両画像記憶部１１５’、過去画像記憶部１１６’、及び、画像合成部１２０’を備える。

画像合成装置１００’には、ＣAN等の通信回線を介して、各種の必要な情報がリアルタイムに入力される。かかる情報としては、車速センサに基づいて得られる車速情報や、後述のドア開閉認識処理に必要な情報（例えばドアスイッチ３０のＯＮ／ＯＦＦ信号）がある。画像合成装置１００’には、適切な通信回線を介して、各カメラ１０ＦＲ，１０ＳＬ，１０ＳＲ，１０ＲＲを介して得られる画像が、リアルタイムに入力される。この場合、各画像は、適切なフレームレートのストリーム形式で画像合成装置１００に供給されてよい。画像合成装置１００は、フレーム毎に、以下で説明する処理に従って、表示画像を生成する。従って、ディスプレイ２０上に表示される表示画像は、フレーム毎に更新されることになる（即ち、動画表示となる）。

ドア開閉認識部１１４は、側方カメラ１０ＳＲ、ＳＬが取り付くドアの開閉状態を認識する。ドア開閉認識部１１４は、少なくとも、側方カメラ１０ＳＲ、ＳＬが取り付けられる左前のドア及び右前のドアに対してそれぞれのドアの開閉状態を認識し、好ましくは、開閉されうる全てのドアに対して各ドアの開閉状態を認識する。

例えば、ドア開閉認識部１１４は、通常的にドアに設けられるドアスイッチ３０（ドアが開放された際にＯＮ信号を出力する警告用スイッチ）の出力に基づいて、ドアの開閉状態を認識してよい（開又は閉の２段階の認識）。

或いは、ドア開閉認識部１１４は、側方カメラ１０ＳＲ、ＳＬから得られる画像に基づいて、ドアの開閉状態を認識してもよい。これは、側方カメラ１０ＳＲ、ＳＬの視線（光軸）は、ドアの開閉状態に応じて変化し、それに伴って、側方カメラ１０ＳＲ、ＳＬにより捕捉される対象物の位置ないし方向が変化するためである。例えば、ドア開閉認識部１１４は、側方カメラ１０ＳＲ、ＳＬから得られる画像に対して、エッジ処理等を行って特定対象物に係る特徴点（例えば道路区画線に係る特徴点）を抽出し、同一の特定対象物に係る特徴点の位置ないし方向のフレーム間での変化態様を監視する。そして、同一の特定対象物に係る特徴点の位置ないし方向が、車両位置が変化していないにも拘らずフレーム間で変化した場合には、ドアの開閉が行われたと判定する。

車両画像記憶部１１５’は、表示画像の略中央領域に重畳される車両画像を記憶する。車両画像は、好ましくは、ドアの開閉状態に応じて複数種類用意される。即ち、全てのドアが閉じた状態の車両画像、左前のドアが開いた状態の車両画像、右前のドアが開いた状態の車両画像、左前及び右前のドアが開いた状態の車両画像等々が、例えばテンプレート形式で用意され、記憶される。

過去画像記憶部１１６’は、ドア開閉認識部１１４の認識結果に基づいて、ドアが閉状態にあるときに側方カメラ１０ＳＲ、ＳＬを介して得られる側方画像を記憶・保持する。この際、過去画像記憶部１１６’は、上述の如く時間の経過と共に随時供給される側方画像の全てを記憶する必要はなく、ドアが閉状態にあるときの最新の側方画像のみを記憶・保持してよい。即ち、今回のフレーム周期において、ドア開閉認識部１１４によりドアが開放されていないと認識された場合には、以前に記憶した側方画像（前回以前のフレーム周期に係る側方画像）を消去し、今回のフレーム周期の側方画像を、記憶・保持してよい。ドア開閉認識部１１４により例えば右前のドアが開放されたと認識されると、以後、右側の側方カメラ１０ＳＲから得られる画像は、他の記憶領域に一時的に記憶されることはあっても、過去画像記憶部１１６’に記憶・保持されることはない。このようにして過去画像記憶部１１６’に記憶された側方画像は、後述の如く、画像合成部１２０’により利用される。尚、側方カメラ１０ＳＲ、ＳＬを介して得られる側方画像は、車両側方の路面を俯瞰した俯瞰表示用の画像となるように俯瞰画像変換部１１２により適切な前処理を受けてから、過去画像記憶部１１６’に記憶される。

画像合成部１２０’は、ドア開閉認識部１１４によりドアの閉状態が認識された場合、フレーム毎に随時供給される各カメラ１０ＦＲ，１０ＳＬ，１０ＳＲ，１０ＲＲの撮像画像に基づいて、表示画像を生成・更新する。具体的には、画像合成部１２０’は、車両画像記憶部１１５’に記憶された“全てのドアが閉じた状態の車両画像”を読み出して、表示画像の画像領域の中央に描画し、各カメラ１０ＦＲ，１０ＳＬ，１０ＳＲ，１０ＲＲから得られる画像を、表示画像の画像領域における車両画像の周辺の適切な場所に描画することで、表示画像を生成する。尚、各カメラ１０ＦＲ，１０ＳＬ，１０ＳＲ，１０ＲＲから得られる画像が合成される位置（領域）は、ドアが閉状態にあるときの各カメラ１０ＦＲ，１０ＳＬ，１０ＳＲ，１０ＲＲの撮像領域（図２参照）を基準として、予め決定される。かくして生成される表示画像は、上述の如く、ディスプレイ２０上に表示されることになる。

画像合成部１２０’は、ドア開閉認識部１１４によりドアの開状態が認識された場合、今回のフレーム周期で得られた最新の俯瞰画像（現在画像）と、過去画像記憶部１１６’に記憶されている前回以前のフレーム周期で得られた過去画像（側方画像）とを合成して、表示画像を生成する。

図１１は、ドアの開状態が認識された時点で生成される表示画像を概略的に示す図である。図１１では、一例として、右側の前部ドアの開状態が認識された場合の表示画像が概略的に示されている。

ところで、本例のように、側方カメラ１０ＳＲが取り付く右前のドアが開かれると、それに伴って側方カメラ１０ＳＲの視線方向が変化するので、以後、右前のドアが閉じられない限り、右前のドアの後方領域の画像を取得することができない状態となる。即ち、右前のドアの後方領域が死角となる。従って、このような右前のドアが開かれた状態では、側方カメラ１０ＳＲにより取得される現在画像を用いるだけでは、表示画像における車両右側方の画像領域Ｒｒ３を適切に描画することができなくなる。

これに対して、本実施例では、上述の如く、かかる右前のドアの後方領域の画像は、過去画像を用いて補完される。即ち、右側の前部ドアの開状態が認識された場合、画像合成部１２０’は、車両画像記憶部１１５’に記憶された“右前のドアが開いた状態の車両画像”を読み出して、表示画像の画像領域の中央に描画し、各カメラ１０ＦＲ，１０ＳＬ，１０ＲＲから得られる画像を、表示画像における車両前後・左側方の各画像領域に描画し、更に、過去画像を、表示画像における車両右側方の領域に描画することで、表示画像を生成する。ここで、過去画像は、上述の如く、右前のドアが閉じた状態であったときに取得された最新の画像（右前のドアが開放される直前の画像）であるため、過去画像が取得された時点と現時点（ドア開放時点）との間に、右前のドアの後方領域（死角領域）の状況に大きな変化が生ずる可能性は少ない。従って、このようにして過去画像により死角領域が補完された表示画像は、側方カメラ１０ＳＲの死角を補いつつ、ユーザに対して信頼性の高い情報を提供することができる。

本実施例の画像合成部１２０’は、上述の実施例１と同様、ドア開放後、時間の経過と共に、過去画像のコントラストを低下させていく。即ち、画像合成部１２０’は、ドアの開放が認識された時点で初期的に描画される過去画像の画像領域のコントラストは、高い値（例えば、上述の実施例１におけるL4）に設定し、その後、ドア開放が継続して時間が経過するにつれて、同過去画像により描画される画像領域のコントラストを低く変化させていく。これは、上述の如く、過去画像が提供する情報の信頼性が時間の経過と共に低下していくからである。これにより、信頼性の低さに適合した態様で過去画像を表示することができる。また、同一の過去画像により描画される画像領域のコントラストが時間の経過と共に次第に低下していくので、人の記憶が時間の経過と共に次第に低下していく様に適合した態様で、複数のフレームに亘る表示画像を生成することができる。

尚、本実施例において、例えば、カメラ１０が取り付けられていないドア（例えば後部ドア）が開放された場合においても、後部ドアによりカメラ１０の視界が遮断されることで発生する死角領域が、過去画像により補完されてもよい。この場合も同様に、画像合成部１２０’は、ドア開放後、時間の経過と共に、過去画像のコントラストを低下させていく。

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。

例えば、上述の実施例では、画像合成部１２０は、上述の如くコントラストないし鮮鋭度を補正して、過去画像に係る画像領域の視認性ないし可視性を時間の経過と共に低下させているが、これに代えて又は加えて、例えばガンマ補正により、画像の明るさないし輝度を上昇ないし下降させて、過去画像に係る画像領域の視認性を時間の経過と共に低下させてもよい。例えば、コントラスト及び輝度を補正して、時間の経過と共に白とび（又は黒つぶれ）に向かって視認性を低下させてよい。その他、視認性を変化させることができるパラメータであれば、色相や色彩等の他のパラメータを用いてもよい。

本発明による車両周辺監視装置の一実施例を示すシステム構成図である。カメラ１０の設置態様及びその撮像領域の一例を概略的に示す平面図である。ディスプレイ２０上に表示される表示画像の一例を概略的に示す図である。実施例１の画像合成装置１００の主要機能を示す機能ブロック図である。車両の周辺環境の一例を概略的に示す平面図である。駐車開始時点で生成される合成画像を概略的に示す図である。駐車途中位置に存在する車両の周辺環境の一例を概略的に示す平面図である。駐車途中時点で生成される表示画像（合成画像）を概略的に示す図である。実施例２によるカメラ１０の設置態様及びその撮像領域の一例を示す平面図である。実施例２の画像合成装置１００’の主要機能を示す機能ブロック図である。ドアの開状態が認識された時点で生成される表示画像を概略的に示す図である。

符号の説明

１０カメラ
２０ディスプレイ
１００画像合成装置
１１２俯瞰画像変換部
１１５車両画像記憶部
１１６過去画像記憶部
１２０画像合成部

Claims

車両周辺の画像を表示する車両周辺監視装置において、
車両周辺を撮像する撮像手段と、
前記撮像手段によって撮像された画像を記憶する記憶手段と、
撮像手段によって撮像された新しい画像と、それ以前に撮像された過去画像とを用いて、表示用の合成画像を生成する表示画像生成手段と、
前記合成画像を表示する表示手段とを備え、
前記表示画像生成手段は、過去画像の撮像時刻から現在時刻までの経過時間に応じて、該経過時間が長くなるほど視認性が低くなる態様で、該過去画像に係る画像領域の視認性を低下させることを特徴とする、車両周辺監視装置。
前記表示画像生成手段は、撮像時刻の異なる複数の過去画像を用いて合成画像を生成する、請求項１に記載の車両周辺監視装置。
前記表示画像生成手段は、同一の過去画像を用いて複数のフレームに亘る合成画像を生成する場合には、該過去画像に係る画像領域の視認性を時間の経過と共に徐々に低下させる、請求項１又は２に記載の車両周辺監視装置。
前記画像合成手段は、コントラスト及び／又は輝度を補正して、前記過去画像に係る画像領域の視認性を低下させる、請求項１〜３のいずれかに記載の車両周辺監視装置。
前記撮像手段は、車両側方を撮像する側方撮像手段を含み、
前記表示画像生成手段は、車両側方のドアの開状態が認識された場合、該ドアの開状態で前記側方撮像手段によって撮像された新しい画像を用いず、該ドアの開状態になる前の該ドアの閉状態で前記側方撮像手段によって撮像された過去画像を用いて、前記合成画像を生成する、請求項１〜４のいずれかに記載の車両周辺監視装置。