JP5744352B2 - 車両周辺表示装置 - Google Patents

Description

この発明は、車両周辺を撮影した画像をユーザに提示し、当該画像から判断した衝突の可能性に応じて車両を制御する車両周辺表示装置に関する。

例えば、特許文献１には、ハンドル操舵角とシフトレバー位置情報に基づいて、運転者に提示する車載カメラ画像の大きさまたは視点を変化させる車載装置が開示されている。
また、特許文献２には、ハンドル操舵角などの車両情報に基づいて車載カメラ画像からパノラマ画像を生成して運転者に提示する車載カメラシステムが開示されている。
このように車両周辺をパノラマ画像で提示することで、例えば、運転者は右左折方向を確認でき、巻き込み事故を回避できる。

特開２００５−１９８１６０号公報 特開２００１−５５１００号公報

特許文献１，２に代表される従来の技術では、車両周辺の画像を画面上に表示するだけであり、画像から事故の危険性を判断するのは運転者の裁量に任される。すなわち、運転者によって車両周辺画像に基づく危険性の判断結果が異なるため、これに応じて運転操作が遅延する可能性があるという課題があった。

この発明は、上記のような課題を解決するためになされたもので、運転者に車外物体を意識した運転を促すことができ、かつ、運転者の運転操作が遅延しても自動的に車外物体との衝突を回避する車両制御を行うことができる車両周辺表示装置を得ることを目的とする。

この発明に係る車両周辺表示装置は、車両周辺を撮影した画像を表示部に表示する車両周辺表示装置であって、車両の運転状態を示す車両制御情報を取得する車両制御情報取得部と、複数の車載カメラが撮影した車両周辺の複数の撮影方向の画像を合成してパノラマ画像を生成するパノラマ生成部と、車両制御情報が示す車両の運転状態に基づいてパノラマ画像の中から表示すべき画像領域を判別し、当該画像領域に写る車外物体と車両との衝突の可能性を判定する情報処理部と、情報処理部が判別した画像領域を含んだ表示画像を生成して表示部に表示させる表示画像生成部と、情報処理部による衝突の可能性の判定結果に応じて、車外物体との衝突を回避するよう車両を制御する車両制御部とを備える。

この発明によれば、運転者に車外物体を意識した運転を促すことができ、かつ、運転者の運転操作が遅延しても自動的に車外物体との衝突を回避する車両制御を行うことができるという効果がある。

この発明の実施の形態１に係る車両周辺表示装置の構成を示すブロック図である。 実施の形態１に係る車両周辺表示装置の動作を示すフローチャートである。 車両の運転状態に応じて車両周辺画像から表示領域を切り出す処理（左折時）を示す図である。 車両の運転状態に応じて車両周辺画像から表示領域を切り出す処理（後退時）を示す図である。 この発明の実施の形態２に係る車両周辺表示装置の構成を示すブロック図である。 実施の形態２に係る車両周辺表示装置の動作を示すフローチャートである。 この発明の実施の形態３に係る車両周辺表示装置の構成を示すブロック図である。 実施の形態３に係る車両周辺表示装置の動作を示すフローチャートである。 車両の走行状態に応じて画像領域のサイズを変更する処理の一例を示す図である。 この発明の実施の形態４に係る車両周辺表示装置の構成を示すブロック図である。 持ち込み機器で指定した画像領域をパノラマ画像から切り出して、当該持ち込み機器で表示する処理を示すフローチャートである。

以下、この発明をより詳細に説明するため、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
この発明に係る車両周辺表示装置では、まず、複数の車載カメラが撮影した車両周辺の複数の撮影方向の画像を合成して構成したパノラマ画像の中から、車両の進行方向を考慮して、運転者にとってその時々の運転に必要な車両周辺画像を切り出して提供する。
特に、自動車では運転者からの死角が多く、この死角に存在する歩行者または車両などの車外物体と自車両との接触事故が車両事故の主な要因となっている。
そこで、この発明では、車両周辺のパノラマ画像から、自車両の進行方向に応じて運転者から死角となり得る視野方向の車両周辺画像を判別する。そして、この画像に写った車外物体と自車両との衝突可能性を判定し、衝突可能性に応じた表示態様で運転者に提示する。これにより、運転者は、運転時に視認性が低下する死角方向の撮像画像の表示態様に基づいて、当該画像に写る車外物体と自車両との衝突可能性を視認することができる。

しかしながら、運転者が如何に注意を払ったとしても、衝突事故の回避は運転者の運転に任される。そこで、この発明に係る車両周辺表示装置では、運転者に提示した画像に写る車外物体と自車両との衝突可能性が最も高いと判定した場合、運転者の運転によらず、当該装置が車両を制御して衝突事故を回避する。このようにすることで、確実に衝突事故を回避することができる。

図１は、この発明の実施の形態１に係る車両周辺表示装置の構成を示すブロック図である。図１に示す車両周辺表示装置は、上述の特徴を有する車両周辺表示装置であり、車両制御Ｉ／Ｆ部１０、カメラ群１１、車両制御部１２、パノラマ生成部１３、情報処理部１４、表示画像生成部１５、および表示部１６を備えて構成される。
車両制御Ｉ／Ｆ部１０は、ハンドルやシフトレバーなどの車両の運転操作を行う操作部の操作信号を、車両の運転状態を示す車両制御情報として取得する車両制御情報取得部である。車両制御情報としては、ハンドルの操舵角やシフトレバーの操作信号などの車両の運転制御に関する情報が挙げられる。また、車両制御Ｉ／Ｆ部１０で取得された車両制御情報は、車両制御部１２および情報処理部１４へ出力される。

カメラ群１１は、車両の複数個所に取り付けられた複数の車載カメラであり、車両周辺の複数の方向を撮影する。カメラ群１１には、例えば、車両に標準的に搭載されたリアカメラ、フロントカメラ、サイドカメラを利用する。
車両制御部１２は、車両制御Ｉ／Ｆ部１０が取得した車両制御情報に基づいて、車両の動きを制御する。また、車両制御部１２は、情報処理部１４による車外物体と自車両との衝突可能性の判定結果に応じて自車両を制御する。例えば、車両制御部１２は、情報処理部１４が車外物体と自車両との衝突可能性が最も高いと判定した場合に、車両制御Ｉ／Ｆ部１０からの情報によらず、情報処理部１４が特定した車外物体との衝突を回避するよう自車両の動きを制御する。

パノラマ生成部１３は、カメラ群１１が撮影した複数の画像を用いて、自車両の周辺の複数の撮影方向の画像をつないだパノラマ画像を生成する。例えば、カメラ群１１により撮影された、被写体が空間的に連続した複数のカメラ画像を用い、車載カメラの視野方向などを考慮して隣接した画像間の連続性が保たれるように各カメラ画像を連結する。

情報処理部１４は、車両制御Ｉ／Ｆ部１０によって取得された車両制御情報が示す自車両の運転状態に基づいて、パノラマ生成部１３が生成した車両周辺のパノラマ画像から、運転者に提示すべき画像領域を判別する。運転者に提示すべき画像領域とは、例えば、運転者からの視野の視認性が低下する方向を撮影した画像領域である。
また、情報処理部１４は、パノラマ画像から判別した上記画像領域に写った車外物体と車両制御Ｉ／Ｆ部１０が取得した車両制御情報とに基づいて、車外物体との自車両の衝突可能性を判定する。例えば、カメラ群１１によって所定の時間間隔で連続して撮影された画像と自車両の位置とに基づいて、車外物体と自車両との距離を推定し、推定した距離を所定の閾値範囲と比較して車外物体との衝突の可能性を判定する。
なお、情報処理部１４は、車外物体と自車両との衝突可能性が最も高いと判定すると、車両制御部１２に車外物体との衝突を回避するよう制御信号を出力する。

表示画像生成部１５は、パノラマ生成部１３が生成したパノラマ画像と情報処理部１４の処理結果に基づいて、情報処理部１４が判別した画像領域を含む表示画像を生成する。例えば、車両周辺のパノラマ画像から、情報処理部１４によって判別された運転者に提示すべき画像領域に車外物体が写っている場合に、この車外物体を強調表示する画像加工を行った表示画像を生成する。
表示部１６は、表示画像生成部１５が生成した表示画像を表示する表示部であり、車両内に設置された各種ディスプレイまたは車両内に持ち込まれた情報機器が備えるディスプレイによって実現される。

なお、車両制御Ｉ／Ｆ部１０、車両制御部１２、パノラマ生成部１３、情報処理部１４および表示画像生成部１５は、車両周辺表示装置が搭載するＣＰＵによって、これらの構成要素の各機能を記述したプログラムが実行されることで、ソフトウエアとハードウエアとが協働した処理手段として実現される。

次に動作について説明する。
図２は、実施の形態１に係る車両周辺表示装置の動作を示すフローチャートであって、車両周辺表示装置は、周期的に図２の処理を行う。
まず、カメラ群１１の個々の車載カメラが車両周辺を撮影して、車両周辺の複数の撮影方向のカメラ画像を取得する（ステップＳＴ１）。例えば、カメラ群１１の個々の車載カメラが所定の時間間隔で周期的に撮影を行い、車両周辺の時間経過に伴う状況変化を示す画像を得る。カメラ群１１の個々の車載カメラにより撮影されたカメラ画像は、パノラマ生成部１３に送られる。

パノラマ生成部１３は、カメラ群１１の個々の車載カメラが撮影した車両周辺の複数の撮影方向の画像を合成してパノラマ画像を生成する（ステップＳＴ２）。パノラマ生成部１３が生成したパノラマ画像は情報処理部１４および表示画像生成部１５に出力される。

次に、車両制御Ｉ／Ｆ部１０が、運転操作に関する車両制御情報を取得する（ステップＳＴ３）。運転操作に関する車両制御情報とは、運転者による車両の運転状態を示す情報であり、例えば、ハンドルおよびシフトレバーを含む車両の操作機構から取得されるハンドルの操舵角またはシフトレバーのシフト位置を示す情報である。車両制御Ｉ／Ｆ部１０が取得した車両制御情報は情報処理部１４に出力される。

情報処理部１４は、車両制御情報が示す車両の運転状態に基づいて、パノラマ画像の中から、表示すべき画像領域を判別する（ステップＳＴ４）。ここで、判別結果の画像領域について、どの撮影方向の画像か、パノラマ画像のどの部分の画像領域か、障害物となり得る車外物体が被写体となっているか、といった当該画像領域を特定する情報が生成される（画像の切り出しと呼ぶ）。判別結果の画像領域を示す情報は、情報処理部１４から表示画像生成部１５に出力される。

図３は、車両の運転状態に応じて車両周辺画像から表示領域を切り出す処理（左折時）を示す図である。図３（ａ）に示すパノラマ画像の形式においては、パノラマ画像１３ａの上半分が車両の前方１８０°のパノラマ画像を表しており、パノラマ画像１３ａの下半分は車両の後方１８０°のパノラマ画像を表している。また、上半分のパノラマ画像の右端と下半分のパノラマ画像の左端を接続することで、車両の周囲３６０°のパノラマ（車両の全方位パノラマ）が得られる。従って、運転者が車両前方を見ている場合、運転者からみて右側に存在する車外物体は、上半分のパノラマ画像の右端および下半分のパノラマ画像の左端に写っている。以降では、パノラマ生成部１３が、この形式のパノラマ画像を生成するものとする。なお、この形式は、あくまでもパノラマ画像の形式の一例であり、他の形式のパノラマ画像を用いてもよい。

図３（ａ）に示すパノラマ画像１３ａが得られた状態において、運転者が、シフトレバーをドライブ“Ｄ”に入れてハンドルを左に切った（ハンドル操舵角θ）場合、情報処理部１４は、パノラマ画像１３ａの中から、破線で囲った画像領域（切り出し画像）を表示すべき画像領域として判別する。すなわち、図３（ｂ）に示すように、車両を左折させている運転状態である場合、車両の内輪側の前後方向は、運転者の視認性が低下する方向となる。このため、図３（ａ）で破線で囲って示した左前方の画像領域と左後方の画像領域とが切り出される。例えば、パノラマ画像の解像度が横Ｌ×縦２Ｈであり、ハンドル操舵角θの左折を行う場合に、このパノラマ画像の中心線からＬ／２θの位置を中心線（切り出し画像中心線）とする解像度Ｗ×Ｈの画像領域を、内輪側（左側）の前方向および後方向の画像領域として切り出す。
この画像領域を含んだ表示画像を表示部１６に表示して運転者に提示することにより、運転者は、車両の内輪側における障害物の有無を確認することができ、左折時の巻き込み事故を回避する運転を促すことができる。

また、図４は、車両の運転状態に応じて車両周辺画像から表示領域を切り出す処理（後退時）を示す図である。図４（ａ）に示すパノラマ画像１３ａの形式も、図３と同様に、パノラマ画像１３ａの上半分が車両の前方１８０°のパノラマ画像を表し、パノラマ画像１３ａの下半分は車両の後方１８０°のパノラマ画像を表しており、上半分のパノラマ画像の右端と下半分のパノラマ画像の左端を接続することで、車両の周囲３６０°のパノラマ（車両の全方位パノラマ）が得られる。

図４（ａ）に示すパノラマ画像１３ａが得られた状態において、運転者が、ハンドルを左に切りつつ（ハンドル操舵角θ）、シフトレバーをバック“Ｒ”に入れて後進している場合、情報処理部１４は、パノラマ画像１３ａの中から破線で囲った画像領域（切り出し画像）を表示すべき画像領域として判別する。すなわち、図４（ｂ）に示すように、車両を左方向に後退させている場合に、運転者は、車両の後退方向を視認する必要があるが、一般的に車両の右前方の注意が疎かになりやすく、この方向に障害物があると衝突の危険性が高くなる。そこで、図４（ａ）で破線で囲って示した右前方と左後方の各画像領域が切り出される。例えば、パノラマ画像の解像度が横Ｌ×縦２Ｈであり、ハンドル操舵角がθである場合に、このパノラマ画像の中心線からＬ／２θの位置を中心線（切り出し画像中心線）とする解像度Ｗ×Ｈの画像領域を、右前方および左後方の画像領域として切り出す。これらの画像領域を含んだ表示画像を表示部１６に表示して運転者に提示することにより、運転者は、車両の後退方向とその対角方向における障害物の有無を確認することができ、後退時の巻き込み事故を回避する運転を促すことができる。なお、上述した画像領域の切り出し方法は一例であって、その他の方法を使用してもよい。

図２の説明に戻る。情報処理部１４は、パノラマ画像から運転者に表示すべき画像領域を判別すると、判別した画像領域の被写体の中から障害物となる車外物体を検出する（ステップＳＴ５）。例えば、カメラ群１１によって所定の時間間隔で連続して撮影されたカメラ画像から生成されたパノラマ画像から上記画像領域を逐一判別する。これらの画像領域に写る車外物体を画像認識して、時間が連続する画像領域に写る車外物体が徐々に大きくなっている場合、この車外物体が自車両に徐々に近づいていると判断し、この車外物体を自車両の障害物となり得る車外物体であると判定する。

次に、情報処理部１４は、運転者に表示すべき画像領域に写っている車外物体と自車両との衝突の可能性を判定する（ステップＳＴ６）。例えば、上述のような時間が連続した画像領域に写る車外物体の大きさに基づいて、車外物体と自車両との相対的な距離を推定する。推定した距離を、“衝突の可能性なし”、“衝突の可能性あり”および“衝突する可能性最大”の３つの状態を示す閾値範囲と比較して、対応する状況を判別する。

情報処理部１４は、“衝突の可能性なし”、すなわち、障害物となる車外物体との間の距離が遠く衝突の可能性がない、もしくは、障害物となる車外物体が検出されなかったと判定した場合、その旨を表示画像生成部１５に通知する。表示画像生成部１５は、上記通知を受けると、パノラマ生成部１３が生成したパノラマ画像の中から、情報処理部１４が表示すべきと判別した画像領域を抽出し、この画像領域に第１の画像加工を施して表示画像を生成する（ステップＳＴ７）。なお、第１の画像加工とは、情報処理部１４によって切り出された画像領域を含む表示画像を、被写体の車外物体に特別な画像加工を施さずに生成する処理である。

また、情報処理部１４は、“衝突の可能性あり”、すなわち、障害物となる車外物体との間の距離が、“衝突の可能性なし”の場合よりも近い、あらかじめ決定した距離範囲にあると判定した場合、その旨を表示画像生成部１５に通知する。
表示画像生成部１５は、上記通知を受けると、パノラマ生成部１３が生成したパノラマ画像の中から、情報処理部１４が表示すべきと判別した画像領域を抽出し、この画像領域に第２の画像加工を施して表示画像を生成する（ステップＳＴ８）。
第２の画像加工は、運転者に対して上記車外物体への注意を喚起するための加工処理であって、情報処理部１４によって切り出された画像領域を含む表示画像を、被写体の車外物体を強調表示する画像加工を施して生成する処理である。強調表示としては、例えば、車外物体を枠で囲む、車外物体の輪郭を縁取る、上記枠または上記縁取りの線を点滅させる、上記枠または上記縁取りの線を警告色とする、などが挙げられる。

表示画像生成部１５は、ステップＳＴ７またはステップＳＴ８で上記画像領域を含んだ表示画像を生成すると、生成した表示画像を表示部１６へ出力する。
表示部１６は、表示画像生成部１５から入力した表示画像を画面上に表示する（ステップＳＴ９）。これにより、運転者に対して上記車外物体への注意を喚起させ、自車両との衝突を回避する運転を促すことができる。

一方、情報処理部１４は、“衝突する可能性最大”、すなわち、障害物となる車外物体との間の距離がさらに近くなり、あらかじめ設定された衝突回避が必要な距離範囲になったと判定した場合に、車両制御部１２に対して、衝突を回避するように指令を出力するとともに、対象の車外物体が存在する方向などの衝突回避に必要な情報を出力する。
なお、衝突回避が必要な距離範囲とは、例えば、車外物体と自車両の距離が数メートルの範囲であり、運転者が運転操作を判断していては車外物体との衝突が回避不可能であると予想される距離範囲である。

車両制御部１２は、上記指令を受けると、上記衝突回避に必要な情報に基づいて、運転者の運転によらず、自車両の動作を制御して衝突を回避する（ステップＳＴ１０）。
例えば、車両制御部１２は、車両制御Ｉ／Ｆ部１０から車両制御情報を入力して自車両の運転状態を特定し、これに応じて切り出された画像領域の時間的な変化などから車外物体のおよその位置を特定して、この車外物体が存在する方向を避けるように自車両の進行方向を変更する、または、車外物体が存在する方向へ進行する速度を減速する、あるいは自車両の運転を停止する。
なお、車両の進行方向を変更する場合には、情報処理部１４が、あらかじめ車両周辺のパノラマ画像から車外物体の存在しない安全な方向を特定しておき、衝突回避の指令とともに、この安全な方向を示す情報も車両制御部１２に送信する。これにより、車両制御部１２は、車外物体が存在せず、かつ安全な方向に車両の進行方向を変更できる。

以上のように、この実施の形態１によれば、車両の運転状態を示す車両制御情報を取得する車両制御Ｉ／Ｆ部１０と、カメラ群１１が撮影した車両周辺の複数の撮影方向の画像を合成して車両周辺のパノラマ画像を生成するパノラマ生成部１３と、車両制御情報が示す車両の運転状態に基づいて、車両周辺のパノラマ画像から表示すべき画像領域を判別し、この画像領域に写る車外物体と車両の衝突の可能性を判定する情報処理部１４と、情報処理部１４が判別した画像領域を含んだ表示画像を生成して表示部１６に表示させる表示画像生成部１５と、情報処理部１４による衝突の可能性の判定結果に応じて、車外物体との衝突を回避するよう車両を制御する車両制御部１２とを備える。
このように構成することで、車両周辺を撮影した画像から判断した車外物体との衝突の可能性に応じて、車外物体との衝突を回避する運転を運転者に促すことができる。
また、例えば、運転者が運転操作を判断していては、車外物体との衝突を避けられない距離範囲になると、この車外物体との衝突を回避するように自車両が自動的に制御されるので、衝突事故を確実に回避することができる。

また、この実施の形態１によれば、表示画像生成部１５が、表示すべき画像領域中の車外物体が写る領域を、当該車外物体と車両との衝突の可能性に応じた表示態様に加工した表示画像を生成する。このようにすることで、表示画像に基づいて運転者に車外物体への注意を喚起させ、自車両との衝突を回避する運転を促すことができる。

さらに、この実施の形態１によれば、情報処理部１４が、運転者の視認性が低下する方向を撮影した画像領域を、車両周辺のパノラマ画像から表示すべき画像領域として判別する。このようにすることで、運転状態に応じて注意が必要な方向の画像を運転者に的確に提示することができる。

実施の形態２．
実施の形態２に係る車両周辺表示装置は、運転者に提示すべき画像領域がパノラマ画像のどの部分から切り出された画像領域であるか、すなわち車両周辺のどの撮影方向に対応する画像であるかを表示画像に含めて表示する。このようにすることで、運転者は、提示された画像がどの方向で撮影されたものであるかを容易に認識することができる。

図５は、この発明の実施の形態２に係る車両周辺表示装置の構成を示すブロック図である。図５に示す車両周辺表示装置は、車両制御Ｉ／Ｆ部１０、カメラ群１１、車両制御部１２、パノラマ生成部１３、情報処理部１４Ａ、表示画像生成部１５、表示部１６およびアプリケーションＩ／Ｆ部１７を備えて構成される。なお、図５において、図１と同一の符号を付した構成要素は実施の形態１と同様に機能するので、その説明を省略する。

アプリケーションＩ／Ｆ部１７は、運転者による所定の操作部の操作情報を、情報処理部１４Ａに通知するためのインタフェース部であり、特に、情報処理部１４Ａがパノラマ画像から切り出す画像領域の撮影方向を示す情報を表示画像に含めるように指示する操作情報を受け付ける。なお、所定の操作部とは、運転者が適宜操作を行える操作部であり、例えば、ハンドルに設置された入力ボタンなどである。

情報処理部１４Ａは、基本的には実施の形態１と同様に動作するが、アプリケーションＩ／Ｆ部１７を介して上記操作情報を取得した場合に、運転者に提示すべき画像領域が、パノラマ画像のどの領域から切り出したものであるか、すなわち、この画像領域が車両周辺のどの方向で撮影されたものであるかを示す情報を表示画像生成部１５に通知する。
表示画像生成部１５は、情報処理部１４Ａから入力した画像領域の撮影方向を示す情報を含む表示画像を生成する。

車両制御Ｉ／Ｆ部１０、車両制御部１２、パノラマ生成部１３、情報処理部１４Ａ、表示画像生成部１５およびアプリケーションＩ／Ｆ部１７は、車両周辺表示装置が搭載するＣＰＵによって、これらの構成要素の各機能を記述したプログラムが実行されることで、ソフトウエアとハードウエアとが協働した処理手段として実現される。

次に動作について説明する。
図６は、実施の形態２に係る車両周辺表示装置の動作を示すフローチャートであって、車両周辺表示装置は、周期的に図６の処理を行う。このフローチャートの処理において、図１と異なる処理を以下に示す。
ステップＳＴ４ａにおいて、情報処理部１４Ａが、アプリケーションＩ／Ｆ部１７の操作情報を取得する。すなわち、運転者が、ハンドルに設置された入力ボタンなどの操作部を操作すると、アプリケーションＩ／Ｆ部１７を介してその操作情報が情報処理部１４Ａに入力される。

ステップＳＴ７ａにおいて、情報処理部１４Ａは、判別した画像領域に写る車外物体について“衝突の可能性なし”と判定すると、この判定結果と当該画像領域の撮影方向を示す情報とを表示画像生成部１５に通知する。
表示画像生成部１５は、上記通知を受けると、パノラマ生成部１３が生成したパノラマ画像から、情報処理部１４Ａが表示すべきと判別した画像領域を抽出し、この画像領域に第３の画像加工を施して表示画像を生成する（ステップＳＴ８ａ）。
なお、第３の画像加工とは、情報処理部１４によって切り出された画像領域を含む表示画像を、被写体の車外物体に特別な画像加工を施さず、その撮影方向とともに表示する画像加工を施して生成する処理である。

また、ステップＳＴ７ａにおいて、情報処理部１４Ａは、判別した画像領域に写る車外物体について“衝突の可能性あり”と判定すると、この判定結果と当該画像領域の撮影方向を示す情報とを表示画像生成部１５に通知する。
表示画像生成部１５は、上記通知を受けると、パノラマ生成部１３が生成したパノラマ画像から、情報処理部１４Ａが表示すべきと判別した画像領域を抽出し、この画像領域に第４の画像加工を施して表示画像を生成する（ステップＳＴ９ａ）。
なお、第４の画像加工は、運転者に対して上記車外物体への注意を喚起するための加工処理であって、情報処理部１４によって切り出された画像領域を含む表示画像を、被写体の車外物体を強調表示し、かつその撮影方向とともに表示する画像加工を施して生成する処理である。

表示画像生成部１５は、ステップＳＴ８ａまたはステップＳＴ９ａで表示画像を生成すると、生成した表示画像を表示部１６へ出力する。
表示部１６は、表示画像生成部１５から入力した表示画像を画面上に表示する（ステップＳＴ１０ａ）。

以上のように、この実施の形態２によれば、情報処理部１４Ａが、車両周辺のパノラマ画像から判別した画像領域の撮影方向を示す情報を表示画像生成部１５へ出力して、表示画像生成部１５が、この画像領域とその撮影方向を示す情報を含む表示画像を生成する。このようにすることで、運転者が、表示画像から、車外物体およびこの車外物体が存在する方向を認識することができるので、車外物体に対する注意を喚起させ、自車両との衝突をより的確に回避する運転を促すことができる。

実施の形態３．
実施の形態３に係る車両周辺表示装置においては、車両情報から特定された車両の走行状態に基づいて、車両周辺のパノラマ画像から判別する画像領域のサイズを変更する。
図７は、この発明の実施の形態３に係る車両周辺表示装置の構成を示すブロック図である。図７に示す車両周辺表示装置は、車両制御Ｉ／Ｆ部１０、カメラ群１１、車両制御部１２、パノラマ生成部１３、情報処理部１４Ｂ、表示画像生成部１５Ａ、表示部１６および車両情報管理部１８を備えて構成される。なお、図７において、図１と同一の符号を付した構成要素は実施の形態１と同様に機能するので、その説明を省略する。

車両情報管理部１８は、車両の駆動機構から車両情報を取得して管理し、要求に応じて車両情報を要求元へ提供する。なお、車両情報は車両の走行状態を示す情報であり、車速、加速度などがある。
情報処理部１４Ｂは、車両情報から特定した車両の走行状態に基づいて、車両周辺のパノラマ画像から判別する画像領域（以下、切り出し画像領域と呼ぶ）のサイズを変更する。例えば、切り出し画像領域のサイズを車速に応じて拡大縮小する。
表示画像生成部１５Ａは、情報処理部１４Ｂによって車両の走行状態に応じたサイズで判別された画像領域を含む表示画像を生成する。

車両制御Ｉ／Ｆ部１０、車両制御部１２、パノラマ生成部１３、情報処理部１４Ｂ、表示画像生成部１５Ａおよび車両情報管理部１８は、車両周辺表示装置が搭載するＣＰＵによって、これらの構成要素の各機能を記述したプログラムが実行されることで、ソフトウエアとハードウエアとが協働した処理手段として実現される。

次に動作について説明する。
図８は、実施の形態３に係る車両周辺表示装置の動作を示すフローチャートであって、車両周辺表示装置は、周期的に図８の処理を行う。このフローチャートの処理において、図１と異なる処理を以下に示す。
ステップＳＴ４ｂにおいて、情報処理部１４Ｂは、車両情報管理部１８に対し車両情報を要求して、車両の現在の走行状態を示す車両情報を取得する。
次に、情報処理部１４Ｂは、車両の現在の走行状態に応じたサイズの切り出し画像領域を、パノラマ画像から判別する（ステップＳＴ５ｂ）。

図９は、車両の走行状態に応じて画像領域のサイズを変更する処理の一例を示す図である。ここでは、パノラマ画像から、車両の車速と加速度に応じたサイズで画像領域を切り出す処理について述べる。なお、図９では、走行状態によらず切り出し画像領域の縦方向のサイズを固定し、横方向のサイズを車速と加速度に応じて変更している。
例えば、３つの走行状態（ケースＡ、ケースＢ、ケースＣ）において、ケースＡの走行状態における車速をＶ、加速度をαＦとし、この走行状態を基準として切り出し画像領域のサイズＡ１を横方向Ｗ×縦方向Ｈで表す。また、情報処理部１４Ｂは、切り出し画像領域の横方向のサイズを車速Ｖと加速度αの関数で求める。
ここで、ケースＢの走行状態では、車速がケースＡと同一であるが、加速度がα１（＞αＦ）となっている。この場合、加速度が増加した分だけ運転者の視野は狭くなる。
そこで、情報処理部１４Ｂは、より広範囲な視野で撮影された画像領域を運転者に提示するため、図９に示すように、ケースＡの切り出し画像領域よりも横方向に大きいサイズＷ’_α１（＞Ｗ）の切り出し画像領域（サイズＡ２＝Ｗ’_α１×Ｈ）をパノラマ画像から判別する（切り出す）。
さらに、ケースＣの走行状態では、ケースＡ，Ｂと同一の車速であるが、加速度がα２（＞α１）となっている。この場合、加速度が増加した分だけ運転者の視野はさらに狭くなっている。
そこで、情報処理部１４Ｂは、より広範囲な視野で撮影された画像領域を運転者に提示するため、図９に示すように、ケースＢの切り出し画像領域よりも横方向に大きいサイズＷ’_α２（＞Ｗ’_α１）の切り出し画像領域（サイズＡ３＝Ｗ’_α２×Ｈ）を、パノラマ画像から判別する（切り出す）。

図８の説明に戻ると、ステップＳＴ８ｂにおいて、表示画像生成部１５Ａは、パノラマ生成部１３が生成したパノラマ画像から、情報処理部１４Ｂが表示すべきと判別した画像領域を抽出し、この画像領域に第５の画像加工を施して表示画像を生成する。
なお、第５の画像加工は、車両の走行状態に応じたサイズで切り出された画像領域を含む表示画像を、被写体の車外物体に特別な加工処理を施さずに生成する処理である。

また、ステップＳＴ９ｂにおいて、表示画像生成部１５Ａは、パノラマ生成部１３が生成したパノラマ画像から、情報処理部１４が表示すべきと判別した画像領域を抽出して、この画像領域に第６の画像加工を施して表示画像を生成する。
なお、第６の画像加工は、運転者に対して上記車外物体への注意を喚起するための加工処理であり、車両の走行状態に応じたサイズで切り出された画像領域を含む表示画像を、被写体の車外物体を強調表示してから生成する処理である。

表示画像生成部１５Ａは、ステップＳＴ８ｂまたはステップＳＴ９ｂで表示画像を生成すると、生成した表示画像を表示部１６へ出力する。
表示部１６は、表示画像生成部１５Ａから入力した表示画像を画面上に表示する（ステップＳＴ１０ｂ）。

以上のように、この実施の形態３によれば、車両の走行状態を示す車両情報を保持し、要求に応じて当該車両情報を要求元へ提供する車両情報管理部１８を備え、情報処理部１４Ｂが、車両情報から特定した車両の走行状態に応じて、車両周辺のパノラマ画像から判別する画像領域のサイズを変更する。このようにすることで、車両の走行状態に応じて運転者の視野が変化しても、これに対応した視野範囲の画像領域をパノラマ画像から判別して提供することができる。これにより、車外物体に対する注意を的確に喚起させ、自車両との衝突をより確実に回避することができる。

実施の形態４．
実施の形態４に係る車両周辺表示装置においては、車内に持ち込まれた外部機器である持ち込み機器から指定された条件に応じた画像領域を、車両周辺のパノラマ画像から判別し、この画像領域を含む表示画像を持ち込み機器で表示する。これにより、持ち込み機器の操作者が車両周辺の状況を確認することができ、確認した状況に基づいて運転者に運転のアドバイスを行うことが可能になる。ユースケースとしては、運転に自信の無い運転者のサポートや、山道など細い道を通る場合などの運転支援が挙げられる。

図１０は、この発明の実施の形態４に係る車両周辺表示装置の構成を示すブロック図である。図１０に示す車両周辺表示装置は、上述の持ち込み機器１９からの操作を受け付ける車両周辺表示装置であって、車両制御Ｉ／Ｆ部１０、カメラ群１１、車両制御部１２、パノラマ生成部１３、情報処理部１４Ｃ、表示画像生成部１５Ｂおよび表示部１６を備えて構成される。なお、図１０において、図１と同一の符号を付した構成要素は、実施の形態１と同様に機能するので、その説明を省略する。

持ち込み機器１９は、車外から乗員によって車内に持ち込まれた情報機器であり、例えば、スマートフォンやタブレット型ＰＣなどが挙げられる。なお、持ち込み機器１９は、車両周辺表示装置の情報処理部１４Ｃに対して、切り出し画像を指定する条件を通知可能である。また、この条件に応じて判別された切り出し画像を、持ち込み機器１９の表示部で表示することもできる。

情報処理部１４Ｃは、実施の形態１と同様に、車両の運転状態に基づいて車両周辺のパノラマ画像から表示すべき画像領域（切り出し画像領域）を判別する。また、情報処理部１４Ｃは、持ち込み機器１９から切り出しの条件が指定された場合には、車両の運転状態に基づく処理とは独立して、指定された条件を満たす画像領域を判別する。
なお、切り出し画像領域を示す情報は、いずれの場合においても情報処理部１４Ｃから表示画像生成部１５Ｂに出力される。

表示画像生成部１５Ｂは、実施の形態１と同様に、車両の運転状態に基づいて判別された切り出し画像領域を含む表示画像を表示部１６の表示仕様に応じて生成する。また、情報処理部１４Ｃによって持ち込み機器１９から指定された条件を満たす切り出し画像領域が判別されている場合、表示画像生成部１５Ｂは、車両の運転状態に基づく処理とは独立して、この切り出し画像領域を含む表示画像を、持ち込み機器１９の表示部における表示仕様に応じて生成する。

次に動作について説明する。
図１１は、実施の形態４に係る車両周辺表示装置の動作を示すフローチャートであり、持ち込み機器１９から切り出し画像領域の指定が行われた場合の処理を示している。
なお、このフローチャートの動作は、実施の形態１〜３で示した処理と並列に実行可能である。
まず、車両の同乗者が、持ち込み機器１９を操作して、車両周辺の所望の方向を示す情報を切り出し画像領域の指定条件として車両周辺表示装置に通知する（ステップＳＴ１ｃ）。例えば、車両周辺の所望の方向を示す情報として、パノラマ画像から切り出す領域の位置を指定する。

情報処理部１４Ｃは、パノラマ生成部１３によって生成された車両周辺のパノラマ画像から、持ち込み機器１９から指定された条件を満たす画像領域を判別する（ステップＳＴ２ｃ）。判別結果の画像領域を示す情報は、情報処理部１４Ｃから表示画像生成部１５Ｂに出力される。

次に、情報処理部１４Ｃは、持ち込み機器１９から指定された条件を満たす画像領域を判別すると、判別した画像領域の被写体の中から障害物となる車外物体を検出する（ステップＳＴ３ｃ）。例えば、カメラ群１１によって所定の時間間隔で連続して撮影されたカメラ画像から生成されたパノラマ画像から、上記指定された条件を満たす画像領域を逐一判別する。これらの画像領域に写る車外物体を画像認識して、時間が連続する画像領域に写る車外物体が徐々に大きくなっている場合に、この車外物体が自車両に徐々に近づいていると判断し、この車外物体を自車両の障害物となり得る車外物体であると判定する。

表示画像生成部１５Ｂは、パノラマ生成部１３が生成したパノラマ画像から、情報処理部１４Ｃが判別した切り出し画像領域を抽出し、持ち込み機器１９の表示部の表示仕様に合うように画像領域に画像加工を施して表示画像を生成する（ステップＳＴ４ｃ）。
この後、表示画像生成部１５Ｂは、画像加工処理の結果として生成された表示画像を、表示部１６ではなく、持ち込み機器１９に通知する（ステップＳＴ５ｃ）。これにより、持ち込み機器１９の表示部に当該表示画像が表示される。

なお、表示画像生成部１５Ｂに通信接続した持ち込み機器１９から画像領域を指定する条件を通知しない場合には、表示画像生成部１５Ｂが、表示部１６に表示させる表示画像（車両の運転状態に応じて判別された画像領域を含む表示画像）を、持ち込み機器１９の表示部においても表示するようにしてもよい。
また、表示画像生成部１５Ｂが、持ち込み機器１９から指定された条件を満たす画像領域を含む表示画像を表示部１６に表示させてもよい。この場合は、表示画像生成部１５Ｂによって、指定条件を満たす画像領域に対して表示部１６の表示仕様に合った画像加工が施されて表示画像が生成される。

以上のように、この実施の形態４によれば、情報処理部１４Ｃが、外部機器である持ち込み機器１９から指定された条件に応じた画像領域を、車両周辺のパノラマ画像から判別するので、持ち込み機器の操作者が指定した車両周辺の状況を確認することができる。

また、この実施の形態４によれば、表示画像生成部１５Ｂが、外部機器である持ち込み機器１９から指定された条件に応じた画像領域を含む表示画像を生成して、表示部１６および持ち込み機器１９の表示部のうちの少なくとも一方に表示させるので、持ち込み機器の操作者が車両周辺の状況を確認することができ、確認した状況に基づいて運転者に運転のアドバイスを行うことが可能になる。

なお、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

この発明に係る車両周辺表示装置は、運転者に車外物体を意識した運転を促すことができ、かつ、運転者の運転操作が遅延しても自動的に車外物体との衝突を回避する車両制御を行うことができるので、車両の安全運転支援装置に好適である。

１０ 車両制御Ｉ／Ｆ部、１１ カメラ群、１２ 車両制御部、１３ パノラマ生成部、１４，１４Ａ，１４Ｂ，１４Ｃ 情報処理部、１５，１５Ａ，１５Ｂ 表示画像生成部、１６ 表示部、１７ アプリケーションＩ／Ｆ部、１８ 車両情報管理部、１９ 持ち込み機器。

Claims (7)

1. 車両周辺を撮影した画像を表示部に表示する車両周辺表示装置であって、
   車両の運転状態を示す車両制御情報を取得する車両制御情報取得部と、
   複数の車載カメラが撮影した前記車両周辺の複数の撮影方向の画像を合成して前記車両周辺のパノラマ画像を生成するパノラマ生成部と、
   前記車両制御情報が示す前記車両の運転状態に基づいて、前記車両周辺のパノラマ画像から表示すべき画像領域を判別し、この画像領域に写る車外物体と前記車両の衝突の可能性を判定する情報処理部と、
   前記情報処理部が判別した前記画像領域を含んだ表示画像を生成して前記表示部に表示させる表示画像生成部と、
   前記情報処理部による衝突の可能性の判定結果に応じて、前記車外物体との衝突を回避するよう前記車両を制御する車両制御部とを備える車両周辺表示装置。
2. 前記表示画像生成部は、前記表示すべき画像領域中の前記車外物体が写る領域を、当該車外物体と前記車両との衝突の可能性に応じた表示態様に加工した前記表示画像を生成することを特徴とする請求項１記載の車両周辺表示装置。
3. 前記情報処理部は、運転者の視認性が低下する方向を撮影した画像領域を、前記車両周辺のパノラマ画像から前記表示すべき画像領域として判別することを特徴とする請求項１記載の車両周辺表示装置。
4. 前記情報処理部は、前記車両周辺のパノラマ画像から判別した前記画像領域の撮影方向を示す情報を前記表示画像生成部へ出力し、
   前記表示画像生成部は、前記画像領域とその撮影方向を示す情報を含む表示画像を生成することを特徴とする請求項１記載の車両周辺表示装置。
5. 車両の走行状態を示す車両情報を保持し、要求に応じて当該車両情報を要求元へ提供する車両情報管理部を備え、
   前記情報処理部は、前記車両情報から特定した前記車両の走行状態に応じて、前記車両周辺のパノラマ画像から判別する前記画像領域のサイズを変更することを特徴とする請求項１記載の車両周辺表示装置。
6. 前記情報処理部は、外部機器から指定された条件に応じた画像領域を、前記車両周辺のパノラマ画像から判別することを特徴とする請求項１記載の車両周辺表示装置。
7. 前記表示画像生成部は、前記外部機器から指定された条件に応じた前記画像領域を含む表示画像を生成して、前記表示部および前記外部機器の表示部のうちの少なくとも一方に表示させることを特徴とする請求項６記載の車両周辺表示装置。

Images