JP7426174B2 - 車両周囲画像表示システム及び車両周囲画像表示方法 - Google Patents

Description

本発明は、自動車等の車両の周囲画像を表示する車両周囲画像表示システム及びその表示方法に関し、より詳しくは、車両周囲を撮影するカメラから得られた画像に基づいて、自車両及びその周辺の俯瞰画像を合成して表示する際に、自車両の移動に合わせて、自車両の直下を含む周囲画像を死角なしに表示可能な車両周囲画像表示システム及び車両周囲画像表示方法に関する。

車両を運転する運転者が直接見ることのできる範囲は限られている。特に、車両後方は一般的なルームミラーやドアミラーを利用しても運転席からは見ることのできない死角となる箇所が多数存在する。例えば、車両後方を見た場合の運転者の視界の一部はトランクや後部ピラーで遮られる。そこで、従来、車両の周囲状況を撮影するカメラを車両に搭載して、撮影した画像をディスプレイに表示させることで、運転者の周囲確認を補助する装置が提案されている。

例えば、特許文献１に開示された技術では、車両の周辺を撮影する複数のカメラで取得した撮影画像を加工して、運転者がバックミラーを介して見える位置に配置された表示手段の表示面に、車両周囲の死角になる領域の画像も含めた合成画像を表示させることを提案している。また、特許文献２に開示された技術では、撮影した画像から検出された駐車区画線が不完全である場合に、撮影手段により過去に撮影された過去画像を重畳して表示する技術が開示されている。

しかしながら、特許文献１の技術では、車両の下部や外周部付近の状況を反映することができないため、タイヤと障害物等との位置確認や、タイヤと溝などとの位置関係を画像で確認することができなかった。また、特許文献２の技術は、画像が鮮明でない部分を過去に撮影した画像に置き換えるため、現在の状況を反映することができなかった。

特開２００６－１３５７９７号公報 特開２００６－３１１２９９号公報

本発明は、上記従来の問題点に鑑みてなされたものであって、本発明の目的は、自車両によって死角となる車両下部や外周部付近の状況が可視化された車両周囲画像を表示するとともに、車両の移動に合わせて死角のない車両周囲画像の表示範囲を最適化する車両周囲画像表示システムを提供することにある。

上記目的を達成するためになされた本発明の一態様による車両周囲画像表示システムは、車両の進行に同期した車両周囲画像を表示させる車両周囲画像表示システムであって、前記画像表示システムは、車両に配置されて前記車両の周囲を撮影する撮影手段と、前記撮影手段により撮影された画像を保存する画像記憶手段と、前記撮影された画像を画像処理する画像処理手段と、画像処理された画像を表示する画像表示手段と、を備え、前記画像処理手段は、前記撮影手段により撮影された現在の画像の死角部分を、現在よりも前に撮影された画像から生成された履歴画像で補完した車両周囲画像を生成し、前記画像表示手段は、前記生成された車両周囲画像に前記画像記憶手段に保存された自車両の透過画像を重ねて表示することを特徴とする。

前記撮影手段は、自車両の後方又は前方周辺を撮影可能な１つ以上の広角カメラを含み、前記広角カメラにより撮影された画像を、フレーム単位で前記画像処理手段に送信し、前記画像処理手段は、受信した画像を連続するフレーム単位の俯瞰画像に変換し、前記変換された俯瞰画像を合成して履歴画像を生成し得る。
前記画像表示システムは、前記撮影された画像に基づいて、自車両の向き、移動方向、及び移動距離を算出する車両位置検出手段をさらに備え、前記画像処理手段は、前記車両の移動距離が所定の移動距離に到達するごとに、前記算出された自車両の向き、移動方向、及び移動距離に基づいて、前記撮影された現在の画像と前記現在よりも前に撮影された画像との合成位置をフレーム毎に調整して、前記履歴画像を更新し得る。
前記画像処理手段は、前記車両の進行に合わせて、前記撮影された現在の画像と、前記生成された履歴画像を照合し、前記撮影された現在の画像に前記履歴画像と異なる部分がある場合、前記異なる部分の画像を強調表示した車両周囲画像を生成し得る。
前記画像処理手段は、前記車両の進行に合わせて、前記自車位置推定手段で算出された自車両の向き、移動方向、及び移動距離に基づいて、合成される前記撮影された現在の画像と前記現在よりも前に撮影された画像とをクロップ（ｃｒｏｐ）するか、または画像合成位置を設定し得る。

上記目的を達成するためになされた本発明の一態様による車両周囲画像表示方法は、車両の進行に同期した車両周囲画像を表示させる方法であって、車両に配置されて前記車両の周辺を撮影する撮影手段、前記撮影手段により撮影された画像を保存する画像記憶手段、前記撮影された画像を画像処理する画像処理手段、及び前記画像処理された画像を表示する画像表示手段を備えた車両周囲画像表示システムにおいて、前記画像処理手段が、前記撮影手段により撮影された画像を受信して、受信した前記画像を連続するフレーム単位の俯瞰画像に変換し、前記変換された俯瞰画像を合成して履歴画像を生成するステップと、前記撮影手段により撮影された現在の画像の死角部分を、前記生成された履歴画像で補完した車両周囲画像を生成するステップと、前記生成された車両周囲画像に前記画像記憶手段に保存された自車両の透過画像を重ねて表示するステップを有することを特徴とする。

前記履歴画像を生成するステップは、前記連続するフレーム単位の俯瞰画像から特徴点を抽出して、前記抽出された特徴点が一致するように合成位置を調整するステップを含み得る。
前記車両周囲画像表示方法は、前記画像処理手段が、前記撮影された画像に基づいて、自車両の向き、移動方向、及び移動距離を算出するステップをさらに含み、前記履歴画像を生成するステップは、前記算出された車両の移動距離が所定の移動距離に到達するごとに、前記算出された自車両の向き、移動方向、及び移動距離に基づいて、前記撮影された現在の画像と前記現在よりも前に撮影された画像との合成位置をフレーム毎に調整して、前記履歴画像を更新するステップを含み得る。
前記透過画像を重ねて表示するステップは、前記車両の進行に合わせて、前記撮影された現在の画像と、前記生成された履歴画像とを照合し、前記撮影された現在の画像に前記履歴画像と異なる部分がある場合、前記異なる部分の画像を強調して表示させるステップを含み得る。
前記車両周囲画像を生成するステップは、前記車両の進行に合わせて、前記算出された自車両の向き、移動方向、及び移動距離に基づいて、合成される前記撮影された現在の画像と前記現在よりも前に撮影された画像画像をクロップ（ｃｒｏｐ）するか、または画像合成位置を設定するステップを含み得る。

本発明によれば、自車両によって死角となる車両下部や外周部付近の状況が可視化された車両周囲画像を表示することができ、さらに車両の進行に同期して表示範囲が最適化された死角のない車両周囲画像を表示することができる。
また、車両の移動距離が所定の移動距離に到達するごとに算出された自車両の向き、移動方向、及び移動距離に基づいて、撮影された現在の画像と現在よりも前に撮影された画像との合成位置をフレーム毎に調整して、履歴画像を更新しているため、取得したフレーム全てを使って合成画像を生成する場合に比べ、処理量が少なくなることで画像処理の負荷が軽減されると共に、フレーム合成時に生じる僅かな誤差の蓄積、すなわち累積誤差を低減することができる。

本発明の一実施形態による車両周囲画像表示システムの全体構成を示す図である。 本実施形態による車両周囲画像表示システムのカメラ撮影範囲の一例を示す図である。 本実施形態による車両周囲画像表示システムの機能構成の一例を示すブロック図である。 本実施形態による車両周囲画像表示システムが、車両周囲画像を取得して表示するまでの画像処理手順を示すフローチャートである。 本実施形態の車両周囲画像表示システムによる画像処理の各段階における処理画像の一例を示す図である。 本実施形態の車両周囲画像表示システムによって表示される車両周囲画像の一例を示す図である。 本実施形態における画像処理の追加的な処理により生成された画像例を示す図である。 本実施形態における画像処理のさらに他の追加的な処理により生成された画像例を示す図である。 本実施形態による車両周囲画像表示システムの他の画像処理例を示す概念図である。 本実施形態による車両周囲画像表示システムのさらに他の画像処理例を示す概念図である。

以下、本発明を実施するための形態の具体例を、図面を参照しながら詳細に説明する。

図１は、本発明の一実施形態による車両周囲画像表示システムの全体構成を示す図である。図１に示すように、本実施形態による車両周囲画像表示システム１は、車両２の後部に設置されたカメラ（撮影手段）３、車内に配置された液晶ディスプレイ等からなる車載モニタ装置（画像表示手段）５、画像処理ＥＣＵ（画像処理手段）６、車両情報ＤＢ７、走行画像ＤＢ（画像記憶手段）８、及び車両ＥＣＵ９等で構成される。なお、車両２の前部にもカメラを設置し、前方及び後方の周囲画像を撮影する構成とすることも可能である。また、車両２の左右にも図示しないカメラを設置し、４つのカメラを利用して従来のアラウンドビュー画像を含めた表示を行うことも可能である。以下では、説明を簡単にするため、後部に設置された例について説明する。

図２は、本実施形態による車両周囲画像表示システムのカメラ撮影範囲の一例を示す図である。本実施形態において、カメラ３は、例えばＣＣＤやＣＭＯＳ等の固体撮像素子を用いたものであり、図２に示すように、車両２の後方中央付近に取り付けられ、撮影方向を水平よりも下方に向けて設置される。そして、車両２の進行方向（即ち、移動方向）に沿って車両後方を撮影し、撮影した画像（以下、撮影画像という）を画像信号として出力する。カメラから出力された画像信号は、後述する画像処理手段により画像データに変換され、所定の画像処理を経て、車両周囲画像、例えば俯瞰画像として、車載モニタ装置５に表示される。なお、本実施形態において、カメラ３は、広角レンズを備えて、左右１１０度～１４０度程度の範囲を撮影できるものが使用されるが、これに限定されない。

車載モニタ装置５は、車両２の室内のセンターコンソール又はパネル面に備え付けられ、カメラ３で撮影された画像から生成された合成画像等を表示する。なお、車載モニタ装置５は、ナビゲーション装置に使用するものと兼用してもよい。

画像処理ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）６は、カメラ３で撮影された画像の画像データに対して、各種の画像処理を行う電子制御ユニットである。本実施形態において、画像処理ＥＣＵ６が行う第１の画像処理は、撮影画像の画像データに対して、座標変換を行って俯瞰画像を生成し、フレーム単位で走行画像ＤＢ８に保存する。第２の画像処理は、フレーム毎の画像データから車両２が移動する走路の区画線や標示などを含めた道路上の特徴となる部分を検出し、検出された区画線や標示などを利用して特徴点抽出および一致点探索による時系列画像の合成処理を行う。さらに、第３の画像処理として、自車両の進行（即ち、移動）に同期して、自車両による死角領域を補完した俯瞰画像を生成し、これに自車両の透過画像を重ねた画像データを生成する。なお、画像処理ＥＣＵ６の詳細な構成については後述する。

車両情報ＤＢ（データベース）７は、車両２やカメラ３に関する各種パラメータが記憶された記憶手段である。車両情報ＤＢ７には、例えば車両２の最小旋回半径、車幅、トレッド長、タイヤ半径などの車両モデルに関する情報や、カメラ３の内部パラメータ、光軸方向、画角、設置位置などのカメラ３の設計値に関する情報が記憶されている。

走行画像ＤＢ８は、カメラ３により撮影された画像の画像データが、撮影時のカメラ３のカメラ位置、撮影方向角、車両位置、車両の向きなどの付加情報に関連づけられて、フレーム単位で保存される記憶手段である。なお、本実施形態において、走行画像ＤＢ８の記憶装置にはＳＳＤ（ソリッドステートドライブ）が使用されるが、磁気ディスク、メモリカード、ＤＶＤ等を外部記憶装置として使用することもできる。

車両ＥＣＵ９は、エンジン、変速機、ブレーキ等の作動を制御する車両２の電子制御ユニットである。車両ＥＣＵ９には、車速センサ１１、ジャイロセンサ１２、操舵角センサ１３、シフト位置検出センサ１４などの各種センサが接続される。画像処理ＥＣＵ６は、これらのセンサの出力値から、車両２の車速、加速度、操舵角や、車両の向き、移動距離などを算出することが可能である。

次に、本実施形態による車両周囲画像表示システム１の機能構成について、図３を参照しながら説明する。図３は、本実施形態による車両周囲画像表示システムの機能構成の一例を示すブロック図である。

図３に示すように、本実施形態による車両周囲画像表示システム１は、画像処理ＥＣＵ６で実行される車両周囲画像生成プログラムによって実現される機能手段を基本にして構成され、各機能手段に対して所定の周辺機器が接続されている。

画像処理ＥＣＵ６は、画像入力部６１、車両信号入力部６２、演算部６３、画像出力部６４を含む。

画像入力部６１は、カメラ３で撮影された車両周囲の画像の画像データを取得するための入力インターフェースである。画像入力部６１は、Ａ／Ｄ変換器を含み、カメラ３から出力された画像信号をデジタル信号に変換してフレーム単位の画像データを生成する。なお、カメラ３がデジタル画像信号を出力するタイプの場合は、Ａ／Ｄ変換器は省略可能である。画像入力部６１は、画像を連続画像（動画）として、取得することも可能であるが、本実施形態では、車両の移動に応じて、カメラ３の撮影範囲に相当する移動距離ごとに、静止画面単位、すなわち、フレーム単位で画像を取得する。なお、画像を取得する間隔は、隣接するフレームを貼り合わせる際にのり代となる部分が得られるように、移動方向の画像長（図２の符号Ｌで示す撮影範囲）以下であることが好ましい。

車両信号入力部６２は、各種センサで検出された車両の移動に関連するデータ（以下、移動量データという）を取得するためのインターフェースである。車両信号入力部６２は、移動量データを、例えば、車内ＬＡＮを介して、車両ＥＣＵ９から取得する。

演算部６３は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備えた周知のマイクロコントローラで構成される。なお、ＲＯＭには後述する画像処理プログラム、その他、車載モニタ装置５等の制御に必要な各種のプログラム等が格納されている。また、ＲＡＭはＣＰＵで演算された各種データを一時的に記憶しておくメモリである。

演算部６３は、画像入力部６１から画像データをフレーム単位で取得するごとに、後述する各機能部を機能させて、今回取得した撮影画像の画像データと、今回よりも前に取得した画像に基づく履歴画像の画像データとを合成した車両周辺画像データを生成し、生成した車両周辺画像データを画像出力部６４に出力する。

画像出力部６４は、演算部６３から出力された車両周辺画像データを、車両の移動に合わせて、逐次車載モニタ装置５に出力する。これにより、車内のドライバー等の乗員は、車載モニタ装置５に表示される車両周辺画像を見ることができる。

演算部６３は、車両周囲画像生成プログラムの実行によって実現される機能部として、画像変換部６３ａ、特徴点抽出部６３ｂ、自車位置推定部６３ｃ、履歴画像蓄積部６３ｄ、移動距離推定部６３ｅ、舵角推定部６３ｆ、車両移動量演算部６３ｇ、画像合成部６３ｈ、出力画像生成部６３ｉを含み、走行画像ＤＢ８、車両ＥＣＵ９を介して各周辺機器から取得した各種情報に基づいて、車載モニタ装置に撮影画像（図５参照）を表示させるように制御する。

画像変換部６３ａは、画像入力部６１からフレーム単位の画像データを受信すると、受信した画像データに対して、広角撮影に起因する画像歪みの補正を行う。その後、歪み補正を行った画像データに対し座標変換を行って、俯瞰画像の画像データを生成する処理を行う。そして、画像変換部６３ａは、生成した俯瞰画像の画像データを、フレーム単位で走行画像ＤＢ８に保存する。これにより過去の撮影画像の画像データが蓄積される。ここで、俯瞰画像へ変換する技術は、例えば、特開平１０－２１１８４９号公報に開示されている従来技術を利用することができる。

特徴点抽出部６３ｂは、俯瞰画像に変換された現在の画像、又は走行画像ＤＢ８に蓄積された過去の撮影画像（蓄積された俯瞰画像）に対し、対象とするフレーム単位の画像（以下、フレーム画像という）の画面内に存在する特徴点を抽出する。特徴点は、フレーム画面が移動した際に追従可能な点であり、一般的には各フレーム画像内において縦方向、横方向ともに輝度差がある点が特徴点として抽出される。すなわち、特徴点は、エッジ処理などの画像処理によって検出可能であり、特徴点の検出方法としてさまざまな手法（ＳＩＦＴ、Ａ－ＫＡＺＥ、ＳＵＲＦなど）が公知の処理方法として提案されている。これらの処理方法を利用して特徴点を抽出する。

自車位置推定部６３ｃは、俯瞰画像に変換された現在のフレーム画像の特徴点と、走行画像ＤＢ８に蓄積された以前のフレーム画像（蓄積された俯瞰画像）との特徴点とを照合することで、自車位置を推定する。具体的には、走行画像ＤＢ８から直前のフレームに対応する画像データを読み出して、読み出した直前のフレーム画像中の特徴点と現在のフレーム画像中の特徴点の中から特徴点を選別する。そして、選別された特徴点のフレーム画像内での位置を推定して、そのフレーム画像内位置の推定値を中心として、選別された特徴点を画像内で検索する。この検索によって、直前の位置から想定される画像内位置と実際に検出された画像内位置とのずれを検出する。その後、自車位置推定部６３ｃは、フレーム画像内の特徴点位置と、自車位置の直前の位置から検出される特徴点位置のずれから、自車位置の推定値を補正して自車位置を算出する。これらの処理には、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ Ａｎｄ Ｍａｐｐｉｎｇ）技術を利用する。

履歴画像蓄積部６３ｄは、俯瞰画像に変換された各フレームの画像データを、車両移動量情報に基づき、隣接するフレーム単位で、特徴点検出部３１により得られた特徴点と、自車位置推定部６３ｃで推定された自車位置に関する情報とを関連付けて、履歴画像データとして走行画像ＤＢ８に保存する。

移動距離推定部６３ｅは、車両信号入力部６２が車両の移動量データを取得すると、取得した移動量データに含まれる移動距離に基づいて、次に画像入力部６１が撮影画像を取得するタイミングを推定する。すなわち、車両の移動距離がカメラ３で撮影されるフレームサイズ（図２に示す撮影範囲のＬ）に相当する移動距離に到達したか否かを判定する。移動距離推定部６３ｅは、車両の移動距離が予め設定された値（例えば、撮影範囲のＬの長さの９０％）に到達したと判断すると、画像入力部６１に対して、その時点で撮影されたフレーム画像を取得する信号（以下、画像取得信号という）を発信する。画像取得信号は、舵角推定部６３ｆにも送信される。

舵角推定部６３ｆは、車両信号入力部６２が車両の移動量データを取得すると、取得した移動量データに含まれる舵角データを判別し、移動距離推定部６３ｅから画像取得信号を受信すると、画像入力部６１が撮影画像を取得する時点における、車両の舵角を車両移動量演算部６３ｇに送信する。

車両移動量演算部６３ｇは、移動距離推定部６３ｅ、舵角推定部６３ｆよって取得された現在を含む所定の時間期間の移動距離および舵角のデータに基づいて、画像入力部６１が、現在を含む所定の時間期間に車両がどのように移動したかを算出する。算出された各データは、画像入力部６１が取得したフレーム単位の画像データに関連付けて走行画像ＤＢ８に保存され、当該フレーム画像をクロップ（ｃｒｏｐ）（または、トリミング）する範囲を調整するときに利用される。

画像合成部６３ｈは、画像入力部６１が撮影画像の画像データを取得すると、最新の撮影画像を実画像とする。また、現在以前の所定の時間期間に取得された時系列のフレーム画像データを走行画像ＤＢ８から読み出して、車両の移動に合わせて配列する。車両移動量演算部６３ｇが算出した車両の移動内容の算出結果に基づいて、現在の車両の撮影画像の位置と、走行画像ＤＢ８から読み出された以前のフレーム画像の位置とを、それぞれのフレームで抽出された特徴点がマッチングするように合成位置を調整して、履歴画像データを生成し、実画像の死角となる部分が履歴画像で補完されるように、実画像の画像データに履歴画像の画像データを合成して、車両周囲画像の画像データを生成する。

出力画像生成部６３ｉは、生成された車両周囲画像の画像データに自車両の透過画像データを重畳して、逐次、画像出力部６４に出力する。更に、出力画像生成部６３ｉは、他のセンサで検出された物体や現在の撮影画像中に履歴画像との相違点が検出されると、予め設定された強調処理を行い、補完した画像データを画像出力部６４に伝送する。

画像出力部６４は、出力画像生成部６３ｉから受信した車両周辺画像の画像データを車載モニタ装置５に表示させる。

次に、図４及び図５を参照して、本発明の一実施形態による車両周囲画像表示システムの動作について説明する。図４は、本実施形態による車両周囲画像表示システムが、車両周囲画像を取得して表示するまでの画像処理手順を示すフローチャートである。図５は、本実施形態の車両周囲画像表示システムによる画像処理の各段階における処理画像の一例を示す図である。本実施形態では、車両を後退（バック）させる場合について説明する。

図４に示すように、本システムが起動されると、カメラ３により車両後方の路面及びその周囲が撮影され、画像処理ＥＣＵ６は、各機能手段を制御して、以下に示す一連の画像処理を実行する。

先ず、画像処理ＥＣＵ６は、カメラ３で撮影された車両後方の周囲画像の画像データを、画像入力部６１を介して、車両の移動に同期したフレーム単位で取得して、走行画像ＤＢ８に保存する（ステップＳ１０１）。この時、走行画像ＤＢ８に保存されるフレーム画像の画像データは、上述のように画像変換部６３ａによりフレーム単位で俯瞰画像に変換された画像データである。

具体的に、カメラ３から出力される原画像（カメラ画像）は、例えば、図５の画像（ａ）に示すように、車両後部の上部に配置されたカメラ３（広角カメラ）により、道路に描かれた白線（区画線や標示）及びその周囲を撮影した画像であるので、自車両（即ち、カメラ３）と白線の位置との距離などに応じて、本来の状態よりも白線等が歪んで表示される。そこで、画像変換部６３ａにより、図５の画像（ｂ）に示すように、広角撮影に起因する画像歪み補正を行った後に、座標変換されて、図５の画像（ｃ）に示す俯瞰画像の画像データが生成される。

次に、車両の移動に同期して、順次フレーム単位で取得された俯瞰画像の画像データは、特徴点抽出部６３ｂにより、その直前のフレームの画像データとの間で、一致点検索に用いるための特徴点が抽出される。例えば、図５の画像（ｄ）に示すように、時刻（ｔ）に取得されたフレームＮの画像で検出されたひし形のマークと、その直後の時刻（ｔ＋１）に取得されたフレーム（Ｎ＋１）の画像で検出されたひし形のマークとが特徴点として抽出される（ステップＳ１０２）。

その後、自車位置推定部６３ｃにより、抽出された特徴点を利用して、図５の画像（ｅ）に示すように、フレーム（Ｎ）及びフレーム（Ｎ＋１）の２画像間の一致点が探索される。また、自車位置推定部６３ｃは、一致点探索により選別された特徴点の各フレーム画像内での位置を照合して、２画像間のずれを検出する。自車位置推定部６３ｃは、特徴点位置のずれから、自車の向き、移動方向、及び移動距離を算出する（ステップＳ１０３）。これらの処理には、上述のようにＳＬＡＭ技術が利用される。ＳＬＡＭに関しては様々なアルゴリズムが発表されており、Ｍｏｎｏ－ＳＬＡＭやＰＴＡＭなどがある。

次に、画像合成部６３ｈは、選択された特徴点の位置などに基づき、図５の画像（ｆ）に示すように、不連続点の少ない画像境界を設定し、走行画像ＤＢ８に保存された直前のフレームＮの画像データと、現在の車両周囲を撮影した画像データのフレーム（Ｎ＋１）との特徴点がマッチングするように合成位置を調整して、図５の画像（ｇ）に示すように、画像を合成する（ステップＳ１０４）。同様の手順で、直前のフレームＮの画像データとその前のフレーム（Ｎ－１）の画像データとを合成し、複数のフレームが合成された履歴画像の画像データを生成する。なお、画像合成部６３ｈは、これらの画像を合成する際に、車両移動量演算部６３ｇで算出された移動量に基づいて、図５の画像（ｈ）に示すように、履歴画像のフレーム範囲を適正にクロップする等の処理を行って、合成される画像を整形してもよい。

その後、出力画像生成部６３ｉは、現在の車両の車両周囲画像と履歴画像とを合成した車両周囲画像に、図５の画像（ｉ）に示すように、自車両の透過画像が重畳された画像を車載モニタ装置５に表示させる（ステップＳ１０５）。

図６は、本実施形態の車両周囲画像表示システムによって表示される車両周囲画像の一例を示す図である。上述の動作により、本システム起動後、車載モニタ装置５には、車両の移動に同期して生成された履歴画像により、現在の撮影画像の死角部分が補完された画像が表示される。すなわち、図６の時刻（ｔ）で、車両が後退を始めた時の画像（Ａ）に対し、その後の時刻（ｔ＋ｉ１）及び時刻（ｔ＋ｉ２）の画像（Ｂ）及び（Ｃ）には、それぞれの以前に撮影された画像から生成された履歴画像で、現在の撮影画像の死角部分が補完されて表示される。なお、車載モニタ装置５に表示される画像範囲は、起動後、自車の現在位置が表示画面の中央に配置されるよう調整される。

以下、本実施形態の車両周囲画像表示システムによる画像処理の他の例について説明する。

図７は、本実施形態における画像処理の追加的な処理により生成された画像例を示す図である。図７に示す画像例は、現在の撮影画像と履歴画像とを合成する際に、演算部６３に含まれる所定の機能部（図示せず）で、現在の撮影画像と履歴画像とを照合し、現在の撮影画像中に履歴画像には存在しない相違部分がある場合、所定の方式の画像認識により、検出された相違部分が障害物か否かを判断する。そして、現在の撮影画像中に障害物が存在し、過去に撮影された画像には障害物がない場合、出力画像生成部６３ｉは、この障害物を強調表示した画像データを生成する。これにより、車載モニタ装置５には、障害物が強調表示されるので、運転者の注意を喚起し、運転ミスを低減することが可能になる。

図８は、本実施形態における画像処理のさらに他の追加的な処理により生成された画像例を示す図である。図８に示す画像例は、車両に備えられた他のセンサで接近する移動物体が検出された場合、出力画像生成部６３ｉは、検出された情報に基づいて、現在の撮影画像に死角部分を補完した履歴画像とともに、画像処理ＥＣＵ６に備えられた所定の機能部（図示せず）で算出した移動物体の予測進路を重ねて表示する形態で車両周囲画像を生成する。これにより、運転者に移動物体に対する注意を喚起することが可能になる。

以上、本発明の一実施形態による車両周囲画像表示システムにおける画像処理の手順を、車両を後退（バック）させる場合について説明したが、本発明は、車両を前進させる場合にも、同様の手順で実施可能である。

図９は、本実施形態による車両周囲画像表示システムの他の画像処理例を示す概念図である。図９に示す画像処理例は、車両の前部にもカメラ３’が設置されて、車両が前進する場合の車両周囲の履歴画像が生成されていく経緯を示す。この場合も図４に示す画像処理の手順に従って、車両の進行（即ち、移動）に合わせて、フレーム単位の履歴画像を生成し、現在の車両周囲の撮影画像を履歴画像で補完しながら車両周囲画像を生成することで、車両下部を含む死角部分が補完された車両周囲画像を表示させることが可能となる。

図１０は、本実施形態による車両周囲画像表示システムのさらに他の画像処理例を示す概念図である。図１０に示す画像処理例は、車両の前部及び後部に設置されたカメラで撮影された画像を利用して、車両周囲画像を生成する場合に、車載モニタ装置に表示される車両周囲画像の例を、動作開始からの時間経過に合わせて示す図である。車両周囲画像の生成は、上述した手順と同様であるので省略する。

以上で説明したように、本発明による車両周囲画像表示システムは、車両の進行に同期して、死角部分の画像が順次に可視化、更新されることで、最終的に死角のない車両周囲画像表示が可能である。これにより、リアルタイムの画像を表示する通常の車両周囲画像と、可視化及び更新される死角の画像（死角画像は、逐次生成及び合成される）を違和感無く確認できる。すなわち、車両下部の通常見えない地面の画像及び障害物の位置を画像で確認できる。特に、車両の進行方向（即ち、移動方向）に同期して、死角のない画像が生成されていくので、違和感が生じない。

また、車両前後のカメラ画像を使用することで、死角のない疑似的な車両周囲画像が生成できる。前進、後進いずれの進行方向に進んでも、死角の画像が生成可能であり、また、前後の画像を合成することで、２つのカメラで疑似的に車両周囲画像が生成できる。

周辺画像を広く撮影して、撮影画像の一部を利用して表示画像を生成するので、ハンドルの操舵角を大きく操作した場合も、死角を欠けることなく生成できるので、利便性が高い。画面全てを処理する場合に比べて、必要となる部分画像を使って処理を行うので、処理負荷を軽減できる。

本発明による車両周囲画像表示システムは、ハンドルの操舵角を大きく切ると、死角画像を生成するために必要な画像範囲が広くなるため、履歴画像を用いて、死角を合成するために必要な範囲よりも少し広い範囲をクロップ（Ｃｒｏｐ）して、合成画像を生成した後、死角画像を生成する。これにより、操舵角を大きく切ることにより、表示される範囲が直前に表示していた範囲よりも部分的に広くなった場合でも、画像が欠けることなく表示が可能になる。

駐車場などで、過去に撮影した画像と現在の画像とを照合して、死角生成画像内に異なる部分があれば、その場所を強調表示する。これにより、慣れた場所では、運転時に注意が散漫になるが、過去と異なる部分を強調表示することで、運転ミスを低減させることが出来る。

撮影画像内の動体検出結果（速度、方向など）から、死角内に入る可能性のある物体は、進路予想図を表示する。死角表示部分は過去画像を用いているため、移動体が死角内に入り込む場合は、移動体の位置をリアルタイムで表示できないが、予測進路を表示することで、移動体に対する注意喚起が可能になる。

以上、本発明の実施形態について図面を参照しながら詳細に説明したが、本発明は、上述の実施形態に限られるものではなく、本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。

１ 車両周囲画像表示システム
２ 車両
３、３’ カメラ
５ 車載モニタ装置
６ 画像処理ＥＣＵ
７ 車両情報ＤＢ
８ 走行画像ＤＢ
９ 車両ＥＣＵ
１１ 車速センサ
１２ ジャイロセンサ
１３ 操舵角センサ
１４ シフト位置検出センサ
６１ 画像入力部
６２ 車両信号入力部
６３ 演算部
６３ａ 画像変換部
６３ｂ 特徴点抽出部
６３ｃ 自車位置推定部
６３ｄ 履歴画像蓄積部
６３ｅ 移動距離推定部
６３ｆ 舵角推定部
６３ｇ 車両移動量演算部
６３ｈ 画像合成部
６３ｉ 出力画像生成部
６４ 画像出力部

Claims (8)

1. 車両の進行に同期した車両周囲画像を表示させる車両周囲画像表示システムであって、
   前記車両周囲画像表示システムは、
   車両に配置されて前記車両の周辺を撮影する撮影手段と、
   前記撮影手段により撮影され、前記撮影手段の撮影範囲に相当する移動距離ごとにフレーム単位で取得された画像を前記車両の移動に同期して前記フレーム単位で時系列に保存する画像記憶手段と、
   前記撮影手段の撮影範囲に相当する移動距離ごとにフレーム単位で取得された前記画像を前記フレーム単位で画像処理する画像処理手段と、
   前記画像処理されたフレーム単位の画像を合成して生成された車両周囲画像を表示する画像表示手段と、を備え、
   前記画像処理手段は、
   前記撮影手段により撮影され、前記撮影手段の撮影範囲に相当する移動距離ごとにフレーム単位で取得された前記画像を受信して、受信した前記画像を時系列的に連続するフレーム単位の俯瞰画像に変換し、
   前記変換されたフレーム単位の俯瞰画像を前記車両の移動に同期して配列した複数フレームを合成して履歴画像を生成し、
   前記撮影手段により撮影され、前記撮影手段の撮影範囲に相当する移動距離ごとにフレーム単位で取得された現在の画像の死角部分を、前記生成された履歴画像で補完した車両周囲画像を生成し、
   前記画像表示手段は、前記生成された車両周囲画像に前記画像記憶手段に保存された自車両の透過画像を重ねて前記車両の進行に同期して逐次表示し、
   前記車両周囲画像表示システムは、
   前記撮影手段の撮影範囲に相当する移動距離ごとにフレーム単位で取得された前記画像に基づいて、自車両の向き、移動方向、及び移動距離を算出する自車位置推定手段をさらに備え、
   前記画像処理手段は、前記車両の移動距離が前記撮影手段の撮影範囲に相当する移動距離に到達するごとに、前記算出された自車両の向き、移動方向、及び移動距離に基づいて、前記現在の画像をフレーム単位の俯瞰画像に変換した現在の俯瞰画像と前記現在よりも前に撮影されたフレーム単位の俯瞰画像との合成位置をフレーム毎に調整して、前記履歴画像を更新することを特徴とする車両周囲画像表示システム。
2. 前記撮影手段は、自車両の後方又は前方周辺を撮影可能な１つ以上のカメラを含み、前記カメラにより撮影された画像を前記画像処理手段に送信することを特徴とする請求項１に記載の車両周囲画像表示システム。
3. 前記画像処理手段は、前記車両の進行に合わせて、前記現在の俯瞰画像と、前記生成された履歴画像とを照合し、前記現在の俯瞰画像に前記履歴画像と異なる部分がある場合、前記異なる部分の画像を強調表示した車両周囲画像を生成することを特徴とする請求項１に記載の車両周囲画像表示システム。
4. 前記画像処理手段は、前記車両の進行に合わせて、前記自車位置推定手段で算出された自車両の向き、移動方向、及び移動距離に基づいて、合成される前記現在の俯瞰画像と前記現在よりも前に撮影されたフレーム単位の俯瞰画像とをクロップ（ｃｒｏｐ）するか、または画像合成位置を設定することを特徴とする請求項１に記載の車両周囲画像表示システム。
5. 車両の進行に同期した車両周囲画像を表示させる方法であって、
   車両に配置されて前記車両の周辺を撮影する撮影手段、前記撮影手段により撮影され、前記撮影手段の撮影範囲に相当する移動距離ごとにフレーム単位で取得された画像を前記車両の移動に同期して前記フレーム単位で時系列に保存する画像記憶手段、前記撮影手段の撮影範囲に相当する移動距離ごとにフレーム単位で取得された前記画像をフレーム単位で画像処理する画像処理手段、及び前記画像処理されたフレーム単位の画像を合成して生成された車両周囲画像を表示する画像表示手段を備えた車両周囲画像表示システムにおいて、
   前記画像処理手段が、
   前記撮影手段により撮影され、前記撮影手段の撮影範囲に相当する移動距離ごとにフレーム単位で取得された前記画像を受信して、受信した前記画像を時系列的に連続するフレーム単位の俯瞰画像に変換し、前記変換されたフレーム単位の俯瞰画像を前記車両の移動に同期して配列した複数フレームを合成して履歴画像を生成するステップと、
   前記撮影手段により撮影され、前記撮影手段の撮影範囲に相当する移動距離ごとにフレーム単位で取得された現在の画像の死角部分を、前記生成された履歴画像で補完した車両周囲画像を生成するステップと、
   前記生成された車両周囲画像に前記画像記憶手段に保存された自車両の透過画像を重ねて前記車両の進行に同期して逐次表示するステップと、を有し、
   前記車両周囲画像を表示させる方法は、
   前記画像処理手段が、前記撮影手段の撮影範囲に相当する移動距離ごとにフレーム単位で取得された前記画像に基づいて、自車両の向き、移動方向、及び移動距離を算出するステップをさらに含み、
   前記履歴画像を生成するステップは、前記算出された車両の移動距離が前記撮影手段の撮影範囲に相当する移動距離に到達するごとに、前記算出された自車両の向き、移動方向、及び移動距離に基づいて、前記現在の画像をフレーム単位の俯瞰画像に変換した現在の俯瞰画像と前記現在よりも前に撮影されたフレーム単位の俯瞰画像との合成位置をフレーム毎に調整して、前記履歴画像を更新するステップを含むことを特徴とする車両周囲画像表示方法。
6. 前記履歴画像を生成するステップは、前記連続するフレーム単位の俯瞰画像から特徴点を抽出して、前記抽出された特徴点が一致するように前記複数フレームの合成位置を調整するステップを含むことを特徴とする請求項５に記載の車両周囲画像表示方法。
7. 前記透過画像を重ねて表示するステップは、前記車両の進行に合わせて、前記現在の俯瞰画像と、前記生成された履歴画像とを照合し、前記現在の俯瞰画像に前記履歴画像と異なる部分がある場合、前記異なる部分の画像を強調して表示させるステップを含むことを特徴とする請求項５に記載の車両周囲画像表示方法。
8. 前記車両周囲画像を生成するステップは、前記車両の進行に合わせて、前記算出された自車両の向き、移動方向、及び移動距離に基づいて、合成される前記現在の俯瞰画像と前記現在よりも前に撮影されたフレーム単位の俯瞰画像とをクロップ（ｃｒｏｐ）するか、または画像合成位置を設定するステップを含むこと特徴とする請求項５に記載の車両周囲画像表示方法。

Images