JP6643659B2 - 表示制御装置、表示制御方法、および表示制御プログラム - Google Patents

Description

本発明は、運転者に注意を喚起するための情報の表示を制御する表示制御装置、表示制御方法、および表示制御プログラムに関する。

現在、運転者に注意喚起する先進運転支援システム（ＡＤＡＳ：Advanced Driver Assistance Systems）が普及しつつある。ＡＤＡＳのアプリケーションには、車線逸脱警報（ＬＤＷ：Lane Departure Warning）、前方車両衝突警報（ＦＣＷ：Forward Collision Warning）、歩行者衝突警報（ＰＣＷ：Pedestrian Collision Warning）などがある。このＡＤＡＳでは、白線などの走行環境、先行車両および後方から接近する車両、進行方向上の歩行者などを、車載カメラまたは車載レーダ等で検知し、その検知内容に基づく情報を表示する。情報の表示先としては、例えば、メータディスプレイ、ＨＵＤ（Head‐Up Display）、ＨＭＤ（Head‐Mounted DisplayまたはHelmet‐Mounted Display）、眼鏡型ディスプレイ（Smart Glasses）などがある。

運転支援システムにおける支援レベルとして、警報、注意喚起、情報提供が定義されている（例えば、非特許文献１参照）。警報レベルでは、検知情報からの事故の可能性を予測し、運転者に対して即座に適切な行動・操作を促すことにより、運転者が素早い行動により対応することが期待される。注意喚起レベルでは、特定タイミングで、特定場所で、または、運転者による特定操作または特定状況が生じたときに、運転者に対して注意を喚起することにより、運転者がやや急いだ行動により対応することが期待される。情報提供レベルでは、運転者に対して安全運転を行うための客観情報を伝えることにより、運転者が通常運転時の行動により対応することが期待される。

ＦＣＷまたはＰＣＷのような典型的なＡＤＡＳアプリケーションは、運転者の車両と直接衝突する可能性がある他の車両または歩行者を検知して注意喚起したり警報を通知したりする。

一方で、安全運転の実現のため、危険を予知する能力または事故を回避する能力をトレーニングする必要性が説かれている。これらのトレーニングとして、例えば、危険予知トレーニング、事故回避トレーニング、危険予測トレーニングなどが知られている。危険の予知とは、例えば、見通しの悪い交差点の死角または対向車線の渋滞車両の間から飛び出してくるかもしれない歩行者の動きを予測することである。事故の回避とは、例えば、車両の速度を減速して徐行することである。このとき、システムは、顕在化していない歩行者を検知できないため、交差点の見通しを悪くしている交差点角の建造物などの静的な走行環境、または、歩行者が横断する可能性がある渋滞車両などの動的な障害物を検知し、歩行者の飛び出しの可能性を予測することになる。このとき、予測された歩行者は実際には存在していない可能性もあるため、上述した注意喚起レベルまたは情報提供レベルでの支援が適当である。

従来、運転者の車両との間で事故が起きる可能性がある領域または対象（例えば、他の車両または歩行者等）を、事前に運転者が意識できる危険個所表示システムが知られている（例えば、特許文献１参照）。

特許第４２２８８９４号公報

藤本浩、"2-1 車々間通信を利用した運転支援システム:第4期ASVの取組みから(2.活用事例,<小特集>車と情報通信技術)"、電子情報通信学会誌、一般社団法人電子情報通信学会、平成24年8月1日、第95巻、第8号、p.690-695

しかしながら、特許文献１の技術は、事故が起きる可能性がある領域または対象に対して運転者が回避行動をとるべきか否かを決定づける緊急度（以下、単に緊急度という）、または、事故が起きる可能性がある対象の動きの不確実性（以下、単に不確実性という）を運転者に伝えることができないという課題がある。

本発明の目的は、運転者に対して緊急度または不確実性を伝えることができる表示制御装置、表示制御方法、および表示制御プログラムを提供することである。

本発明の一態様に係る表示制御装置は、移動体の乗員の前方視界を表す前景画像を取得し、前記前景画像に含まれる対象物を認識する認識部と、前記移動体が進行する軌道を推定する推定部と、所定の画像を生成して表示媒体に投影する表示源とを含む表示システムにおける表示制御装置であって、前記認識部により認識された前記対象物が前記軌道に隣接する所定領域に存在するか否かを判定する判定部と、前記判定部により前記所定領域に前記対象物が存在すると判定された場合、少なくとも第１のタイミングで第１の仮想画像を生成するように前記表示源を制御し、第１のタイミングより後の第２のタイミングで第２の仮想画像および第１の拡大仮想画像を生成するように前記表示源を制御する制御部と、を備え、前記第１の仮想画像は、前記対象物の存在位置に対応する前記表示媒体上の位置から前記軌道に対応する前記表示媒体上の軌道に向かう方向にある第１の領域に表示され、前記第１の拡大仮想画像は、前記第１の仮想画像を拡大した画像であり、前記第１の拡大仮想画像は、前記第２のタイミングで前記第１の領域に表示される前記第１の仮想画像が更新されて、前記第１の領域に表示され、前記第２の仮想画像は、前記対象物の存在位置に対応する前記表示媒体上の位置から前記軌道に対応する前記表示媒体上の軌道に向かう方向にあり、かつ、前記第１の領域よりも前記表示媒体上の軌道側にある第２の領域に、前記第２のタイミングのときに前記第１の領域に表示される前記第１の拡大仮想画像以上の大きさに拡大して表示される構成を採る。

本発明の一態様に係る表示制御方法は、移動体の乗員の前方視界を表す前景画像を取得し、前記前景画像に含まれる対象物を認識する認識部と、前記移動体が進行する軌道を推定する推定部と、所定の画像を生成して表示媒体に投影する表示源とを含む表示システムにおける表示制御方法であって、前記認識部により認識された前記対象物が前記軌道に隣接する所定領域に存在するか否かを判定するステップと、前記所定領域に前記対象物が存在すると判定された場合、少なくとも第１のタイミングで第１の仮想画像を生成するように前記表示源を制御し、第１のタイミングより後の第２のタイミングで第２の仮想画像および第１の拡大仮想画像を生成するように前記表示源を制御するステップと、を備え、前記第１の仮想画像は、前記対象物の存在位置に対応する前記表示媒体上の位置から前記軌道に対応する前記表示媒体上の軌道に向かう方向にある第１の領域に表示され、前記第１の拡大仮想画像は、前記第１の仮想画像を拡大した画像であり、前記第１の拡大仮想画像は、前記第２のタイミングで前記第１の領域に表示される前記第１の仮想画像が更新されて、前記第１の領域に表示され、前記第２の仮想画像は、前記対象物の存在位置に対応する前記表示媒体上の位置から前記軌道に対応する前記表示媒体上の軌道に向かう方向にあり、かつ、前記第１の領域よりも前記表示媒体上の軌道側にある第２の領域に、前記第２のタイミングのときに前記第１の領域に表示される前記第１の拡大仮想画像以上の大きさに拡大して表示されるようにした。

本発明の一態様に係る表示制御プログラムは、移動体の乗員の前方視界を表す前景画像を取得し、前記前景画像に含まれる対象物を認識する認識部と、前記移動体が進行する軌道を推定する推定部と、所定の画像を生成して表示媒体に投影する表示源とを含む表示システムにおけるコンピュータに実行させる表示制御プログラムであって、前記認識部により認識された前記対象物が前記軌道に隣接する所定領域に存在するか否かを判定する処理と、前記所定領域に前記対象物が存在すると判定された場合、少なくとも第１のタイミングで第１の仮想画像を生成するように前記表示源を制御し、第１のタイミングより後の第２のタイミングで第２の仮想画像および第１の拡大仮想画像を生成するように前記表示源を制御する処理と、をコンピュータに実行させ、前記第１の仮想画像は、前記対象物の存在位置に対応する前記表示媒体上の位置から前記軌道に対応する前記表示媒体上の軌道に向かう方向にある第１の領域に表示され、前記第１の拡大仮想画像は、前記第１の仮想画像を拡大した画像であり、前記第１の拡大仮想画像は、前記第２のタイミングで前記第１の領域に表示される前記第１の仮想画像が更新されて、前記第１の領域に表示され、前記第２の仮想画像は、前記対象物の存在位置に対応する前記表示媒体上の位置から前記軌道に対応する前記表示媒体上の軌道に向かう方向にあり、かつ、前記第１の領域よりも前記表示媒体上の軌道側にある第２の領域に、前記第２のタイミングのときに前記第１の領域に表示される前記第１の拡大仮想画像以上の大きさに拡大して表示されるようにした。

本発明は、運転者に対して緊急度または不確実性を伝えることができる。

本発明の実施の形態１に係る表示システムの構成例を示すブロック図 本発明の実施の形態１に係る表示システムの動作例を示すフローチャート 本発明の実施の形態１に係る運転者の視界の一例および運転者に提示される画像の一例を時系列で示す図 本発明の実施の形態１に係る運転者の視界の一例および運転者に提示される画像の一例を時系列で示す図 本発明の実施の形態１に係る運転者の視界の一例および運転者に提示される画像の一例を時系列で示す図 本発明の実施の形態１の変形例に係る運転者の視界の一例および運転者に提示される画像の一例を示す図 本発明の実施の形態２に係る表示システムの構成例を示すブロック図 本発明の実施の形態２に係るさまざまな路面の摩擦係数を示す図 本発明の実施の形態２に係る第１〜第３の表示領域の位置の決定方法について説明する図 本発明の実施の形態２に係る表示システムの動作例を示すフローチャート 本発明の実施の形態２に係る自車両と対象物の位置関係、仮想画像の実景における重畳位置、および仮想画像が運転者の視界に重畳されている例を示す図 本発明の実施の形態２に係る自車両と対象物の位置関係、仮想画像の実景における重畳位置、および仮想画像が運転者の視界に重畳されている例を示す図 本発明の実施の形態２に係る自車両と対象物の位置関係、仮想画像の実景における重畳位置、および仮想画像が運転者の視界に重畳されている例を示す図 本発明の実施の形態２に係る自車両と対象物の位置関係、仮想画像の実景における重畳位置、および仮想画像が運転者の視界に重畳されている例を示す図 本発明の実施の形態２に係る自車両と対象物の位置関係、仮想画像の実景における重畳位置、および仮想画像が運転者の視界に重畳されている例を示す図 本発明の実施の形態２に係る自車両と対象物の位置関係、仮想画像の実景における重畳位置、および仮想画像が運転者の視界に重畳されている例を示す図 本発明の実施の形態１、２およびその変形例に係る表示システムおよび表示制御装置のハードウェア構成例を示すブロック図

（実施の形態１）
以下、本発明の実施の形態１について、図面を参照して説明する。

まず、本実施の形態１の表示システム１００の構成例について図１を参照して説明する。図１は、本実施の形態１の表示システム１００の構成例を示すブロック図である。

表示システム１００は、例えば、車両などの移動体において用いられる。すなわち、表示システム１００は、車載機器であってもよいし、車両に持ち込まれる機器であってもよい。なお、本実施の形態１では、表示システム１００が車両に適用されたものとして説明するが、移動体は、車両に限定されず、船舶、航空機等であってもよい。また、本実施の形態１では、ユーザが車両の乗員、特に車両の運転者である例について説明するが、その限りではない。さらには、表示システム１００は、ユーザが身体に装着に可能なウェラブルコンピュータ（例えば、後述するＨＭＤ）において用いられてもよい。

図１において、表示制御装置は、認識部１０１、推定部１０２、表示制御装置１０３、および表示源１０４を有する。

認識部１０１は、車両の運転者の前方の視界を表す前景画像を取得し、その前景画像に含まれる特徴量を抽出し、抽出した特徴量に基づいて所定の対象物の認識を行う。認識部１０１は、例えば、車両の内部または外部に搭載され、運転者の前方視界をセンシングするカメラである。対象物とは、例えば、道路上の白線、標識、路面標示、縁石、ガードレール、信号機、電柱、車両、人物、建物などであるが、本実施の形態１の認識部１０１で認識される対象物は、運転者の視界を遮るもの（例えば、建物、車両等）であるとする。なお、対象物の認識に関する技術は公知のため、詳細な説明は省略する。

推定部１０２は、車両が進行する軌道（以下、車両軌道という）を推定する。なお、車両軌道の推定に関する技術は公知のため、詳細な説明は省略する。

表示制御装置１０３は、認識部１０１で認識された対象物の情報と、推定部１０２で推定された車両軌道の情報とに基づいて、表示源１０４から投影される画像データを制御する。表示制御装置１０３は、判定部１０５および制御部１０６を有する。これらの詳細は後述する。

表示源１０４は、表示制御装置１０３からの制御に基づいて、画像データを生成し、それを図示しないディスプレイ（表示媒体の一例）へ投影する。表示源１０４は、プロジェクタ機能を有し、ディスプレイへ直接投影する。なお、表示源１０４は、プロジェクタ機能を用いる代わりに、例えば、ディスプレイに表示させてもよいし、または、ホログラムを用いてもよい。ホログラムを用いる場合、導光板の内部全反射条件を満たす平行光束群を内部全反射して導光する導光板を用いて、導光板を内部全反射して導光される平行光束群の一部を射出することで乗員に虚像を視認させる方式でもよい。なお、導光板を用いた方式においては、プロジェクタのように画像データを直接的に投影するものではないが、説明の便宜上、プロジェクタ方式と同様に投影という定義で説明する。

ディスプレイとしては、例えば、ＬＣＤ（Liquid Crystal Display）、ＨＵＤ（Head‐Up Display）、ＨＭＤ（Head‐Mounted DisplayまたはHelmet‐Mounted Display）、眼鏡型ディスプレイ（Smart Glasses）、ナビゲーション用ディスプレイ、メータディスプレイ、その他の専用のディスプレイなどが適用される。ＨＵＤは、例えば、車両のウインドシールドであってもよいし、別途設けられるガラス面、プラスチック面などであってもよい。また、ウインドシールドは、例えば、フロントガラスであってもよいし、車両のサイドガラスまたはバックガラスであってもよい。

なお、表示システム１００は、上述したディスプレイを含む構成であってもよい。

また、上述した画像データは、表示源１０４ではなく、表示制御装置１０３または図示しない他の構成要素によって生成されてもよい。

表示システム１００において生成される画像データは、車両の運転者に提示するための提示情報（例えば、後述する仮想画像）を含む。すなわち、提示情報は、画像データの一部としてディスプレイに投影される。投影された提示情報は、虚像として運転者に視認される。ディスプレイに投影された提示情報が虚像として運転者に視認される原理は、公知技術であるため、説明を省略する。

なお、提示情報は、画像データの一部としてディスプレイに投影されるのではなく、運転者の視界に重畳されるようにディスプレイに投影されてもよい。この場合、表示制御装置１０３は提示情報だけを制御し、表示源１０４は提示情報だけをディスプレイに投影するようにしてもよい。以下では、提示情報が運転者の視界に重畳されるようにディスプレイに投影される例について説明する。

次に、本実施の形態１の表示制御装置１０３の構成について説明する。図１において、表示制御装置１０３は、判定部１０５、制御部１０６を有する。

判定部１０５は、推定部１０２で推定された車両軌道に隣接する所定領域に、認識部１０１で認識された対象物が存在するか否かを判定する。具体的には、判定部１０５は、車両軌道の座標情報と対象物との座標情報から両者の距離を算出し、その距離が所定値以内である場合、対象物が所定領域に存在すると判定する。

制御部１０６は、判定部１０５により対象物が所定領域に存在すると判定された場合、対象物の存在する位置（例えば、対象物の角）から車両軌道へ向かう方向（以下、軌道方向という）において第１の表示領域を決定する。第１の表示領域とは、ディスプレイ上の領域であり、軌道方向において、後述の第２表示領域および第３の表示領域よりも、対象物に近く、車両軌道から遠い領域である。換言すれば、第１の表示領域とは、対象物の存在する位置に対応するディスプレイ上の位置から車両軌道に対応するディスプレイ上の車両軌道に向かう軌道方向にある領域である。なお、ここでは「表示領域」としたが、「表示位置」としてもよい（後述の第２、第３の表示領域も同様）。また、上記対象物の存在する位置および車両軌道は、ディスプレイ上に表示されてもよいし、表示されなくてもよい。

そして、制御部１０６は、第１のタイミングで、第１の表示領域に第１の仮想画像を生成し、それをディスプレイに投影するように表示源１０４を制御する。この制御は、以下「第１の制御」という。

制御部１０６は、第１の制御の後、仮想画像が生成された回数（以下、生成回数という）が所定回数に達したか否かを判定する。この生成回数は、制御部１０６が仮想画像の生成、投影を行うように表示源１０４を制御した回数ということもできる。

制御部１０６は、第１の制御の後、生成回数が所定回数に達していないと判定した場合、軌道方向において、第１の表示領域を更新し、第２の表示領域を決定する。第２の表示領域とは、ディスプレイ上の領域であり、軌道方向において、更新後の第１の表示領域に比べて対象物から遠く、かつ、後述の第３の表示領域に比べて車両軌道から遠い領域である。換言すれば、第２の表示領域とは、上記軌道方向にあり、かつ、第１の表示領域よりもディスプレイ上の車両軌道側にある領域である。

そして、制御部１０６は、第１のタイミングより後の第２のタイミングで、更新後の第１の表示領域に第１の拡大仮想画像を生成し、かつ、第２の表示領域に第２の仮想画像を生成し、それらをディスプレイに投影するように表示源１０４を制御する。この制御は、以下「第２の制御」という。第１の拡大仮想画像は、第１の仮想画像を拡大した画像（換言すれば、更新後の第１の仮想画像）である。また、第２の仮想画像は、第１の拡大仮想画像を１倍以上に拡大した画像である。

制御部１０６は、第２の制御の後、生成回数が所定回数に達したか否かを判定する。そして、制御部１０６は、生成回数が所定回数に達するまで、上述した表示領域の更新・決定処理および表示源１０４に対する制御処理を繰り返す。

次に、本実施の形態１の表示システム１００の動作例について図２、図３を参照して説明する。図２は、本実施の形態１の表示システム１００の動作例を示すフローチャートである。図３は、運転者の視界の一例および運転者に提示される仮想画像の一例を時系列で示す図である。以下では、車両が前方へ走行しており、時間の経過とともに運転者の視界が変化する場合を例として説明する。

最初に、図２および図３Ａを用いて処理の流れを説明する。図３Ａは、時刻ｔにおける運転者の視界３１の例を示している。

ステップＳ２０１において、認識部１０１は、視界３１を表す前景画像を取得し、その前景画像に含まれる建物３０１および生垣３０２を認識する。建物３０１および生垣３０２は、運転者の視界を遮る対象物の一例である。

ステップＳ２０２において、推定部１０２は、車両が走行中の道路３０３上において車両軌道３０４を推定する。この車両軌道３０４は、車両の進行方向を示している。なお、図３Ａでは、説明のため車両軌道３０４を図示しているが、車両軌道３０４の画像は、ディスプレイ上に表示されてもよいし、表示されなくてもよい。

ステップＳ２０３において、表示制御装置１０３の判定部１０５は、車両軌道３０４に隣接する所定領域に建物３０１、生垣３０２が存在するか否かを判定する。判定部１０５が建物３０１および生垣３０２のどちらも所定領域に存在しないと判定した場合（ステップＳ２０３：ＮＯ）、フローは終了する。ここでは例として、判定部１０５は、建物３０１のみが所定領域に存在すると判定したとする（ステップＳ２０３：ＹＥＳ）。

ステップＳ２０４において、表示制御装置１０３の制御部１０６は、建物３０１の角（好適には車両軌道３０４を移動する車両に時間的に後から接近する角）から車両軌道３０４へ向かう軌道方向において、第１の表示領域（図示せず）を決定する。第１の表示領域は、軌道方向において、第２、第３の表示領域と比べて、建物３０１に最も近く、車両軌道３０４から最も遠い領域である。

ステップＳ２０５において、制御部１０６は、第１のタイミングで、第１の表示領域に波紋形状の一部（弓なり形状ともいう）を表す第１の仮想画像３０５を生成してディスプレイに投影するように表示源１０４を制御する（第１の制御に相当）。第１のタイミングは、時刻ｔと同じかそれよりも後で、かつ、時刻ｔ’よりも前のタイミングである。

この第１の制御により、表示源１０４は、第１のタイミングで、第１の表示領域に第１の仮想画像３０５を生成し、それをディスプレイに投影する。その結果、図３Ａに示すように、第１の仮想画像３０５が視界３１に重畳されて表示される。第１の仮想画像３０５の大きさは、対象物が移動してくる可能性のある範囲を示す（以下の各仮想画像も同様）。

ステップＳ２０６において、制御部１０６は、仮想画像の生成回数が所定回数（例えば、３回とする）に達したか否かを判定する。ここでは第１の制御の終了後であるので、生成回数は１回である。よって、制御部１０６は、生成回数が３回に達していないと判定する（ステップＳ２０６：ＮＯ）。その後、フローは、ステップＳ２０７へ進む。なお、所定回数は３回に限定されない。

続いて、図２および図３Ｂを用いて処理の流れを説明する。図３Ｂは、時刻ｔ’（ｔ’＞ｔ）における運転者の視界３２の例を示している。車両の進行と時間の経過に伴い、視界３２は、視界３１よりも拡大している。

ステップＳ２０７において、制御部１０６は、建物３０１から車両軌道３０４へ向かう軌道方向において、視界３１から視界３２への変化（拡大）に基づいて、第１の表示領域を更新する。その後、フローは、ステップＳ２０４へ戻る。

ステップＳ２０４において、制御部１０６は、建物３０１から車両軌道３０４へ向かう軌道方向において、第２の表示領域（図示せず）を決定する。第２の表示領域は、軌道方向において、更新後の第１の表示領域と比べて建物３０１から遠く、第３の表示領域と比べて車両軌道３０４から遠い領域である。

ステップＳ２０５において、制御部１０６は、第２のタイミングで、更新後の第１の表示領域に第１の拡大仮想画像３０５ａを生成し、かつ、第２の表示領域に第２の仮想画像３０６を生成してディスプレイに投影するように表示源１０４を制御する（第２の制御に相当）。第１の拡大仮想画像３０５ａは、第１の仮想画像３０５を拡大したものである。また、第２の仮想画像３０６は、第１の拡大仮想画像３０５ａを１倍以上拡大したものである。また、第２のタイミングは、時刻ｔ’と同じかそれよりも後で、かつ、時刻ｔ’’よりも前のタイミングである。

この第２の制御により、表示源１０４は、第２のタイミングで、更新後の第１の表示領域に第１の拡大仮想画像３０５ａを生成し、かつ、第２の表示領域に第２の仮想画像３０６を生成し、それらをディスプレイに投影する。その結果、図３Ｂに示すように、第１の拡大仮想画像３０５ａおよび第２の仮想画像３０６が視界３２に重畳されて表示される。

ステップＳ２０６において、制御部１０６は、仮想画像の生成回数が３回に達したか否かを判定する。ここでは第２の制御の終了後であるので、生成回数は２回である。よって、制御部１０６は、生成回数が３回に達していないと判定する（ステップＳ２０６：ＮＯ）。その後、フローは、ステップＳ２０７へ進む。

続いて、図２および図３Ｃを用いて処理の流れを説明する。図３Ｃは、時刻ｔ’’（ｔ’’＞ｔ’）における運転者の視界３２の例を示している。車両の進行と時間の経過に伴い、視界３３は、視界３２よりも拡大している。

ステップＳ２０７において、制御部１０６は、建物３０１から車両軌道３０４へ向かう軌道方向において、視界３２から視界３３への変化（拡大）に基づいて、更新後の第１の表示領域および第２の表示領域を更新する。その後、フローは、ステップＳ２０４へ戻る。

ステップＳ２０４において、制御部１０６は、建物３０１から車両軌道３０４へ向かう軌道方向において、第３の表示領域（図示せず）を決定する。第３の表示領域は、軌道方向において、更新後の第２の表示領域と比べて建物３０１から遠く、車両軌道３０４に近い位置である。

ステップＳ２０５において、制御部１０６は、第３のタイミングで、再更新後の第１の表示領域に第１の拡大仮想画像３０５ｂを生成し、更新後の第２の表示領域に第２の拡大仮想画像３０６ａを生成し、第３の表示領域に第３の仮想画像３０７を生成し、それらをディスプレイに投影するように表示源１０４を制御する（第３の制御に相当）。第１の拡大仮想画像３０５ｂは、第１の拡大仮想画像３０５ａを拡大したものである。また、第２の拡大仮想画像３０６ａは、第１の拡大仮想画像３０５ｂを１倍以上拡大したものである。また、第３の仮想画像３０７は、第２の拡大仮想画像３０６ａを１倍以上拡大したものである。また、第３のタイミングは、時刻ｔ’’と同じかそれよりも後のタイミングである。

この第３の制御により、表示源１０４は、第３のタイミングで、再更新後の第１の表示領域に第１の拡大仮想画像３０５ｂを生成し、更新後の第２の表示領域に第２の拡大仮想画像３０６ａを生成し、第３の表示領域に第３の仮想画像３０７を生成し、それらをディスプレイに投影する。その結果、図３Ｃに示すように、第１の拡大仮想画像３０５ｂ、第２の拡大仮想画像３０６ａ、および第３の仮想画像３０７が視界３３に重畳されて表示される。

ステップＳ２０６において、制御部１０６は、仮想画像の生成回数が３回に達したか否かを判定する。ここでは第３の制御の終了後であるので、生成回数は３回である。よって、制御部１０６は、生成回数が３回に達したと判定する（ステップＳ２０６：ＹＥＳ）。これにより、フローは、終了する。

以上のように、本実施の形態１では、所定時間ごとに、視界を遮る対象物から車両軌道へ近付くように複数の仮想画像を表示することを特徴とする。これにより、運転者は、事故が起きる可能性がある領域または対象を把握でき、それに対して運転者がすぐに回避行動をとるべきか否か（緊急度）を知ることができる。

また、本実施の形態１では、複数の仮想画像が車両軌道に近付くにつれ徐々に拡大して表示し、各仮想画像の大きさは対象物が移動してくる可能性のある範囲を示すことを特徴とする。これにより、運転者は、所定時間ごとに、動きが不確実な対象物との間で事故が起こりうる範囲（不確実性）を知ることができる。

なお、上記フローでは、時間の経過とともに運転者の視界が変化しない場合（例えば、車両が停車している場合）にも適用可能である。その場合、時間の経過とともに視界は変化しないため、表示位置の更新、生成済みの仮想画像の拡大を行う必要はない。

以上、本発明の実施の形態１について説明したが、本発明は上記実施の形態１に限定されるものではなく、種々の変形が可能である。以下、変形例について説明する。

（変形例１）
仮想画像の形状は、波紋形状の一部に限定されず、その他の形状であってもよい。また、仮想画像の数は、３つに限定されず、２つであってもよいし、４つ以上であってもよい。

（変形例２）
制御部１０６は、視界を遮る対象物に車両が近付くほど、隣り合う表示領域間の距離が短くなるように各表示領域を決定し、決定した各表示領域に各仮想画像を生成するように制御してもよい。例えば、図３Ｂを用いて説明する。制御部１０６は、車両軌道３０４と、建物３０１の角の座標（認識部１０１の認識結果の一例）から車両軌道３０４へ伸びる線との交点を算出する。そして、制御部１０６は、算出した交点と車両との間の距離が短くなるほど、更新後の第１の表示領域と第２の表示領域との間の距離が短くなるように、各表示領域を決定する。そして、制御部１０６は、決定した各表示領域に第１の拡大仮想画像３０５ａと第２の仮想画像３０６をそれぞれ生成するように表示源１０４を制御する。この結果、第１の拡大仮想画像３０５ａと第２の仮想画像３０６とが近接して表示される。したがって、本変形例では、車両が対象物に近付くほど、隣り合って表示される仮想画像の間隔が密になるため、運転者の注意を喚起でき、運転者に対して緊急度および不確実性をより効果的に伝えることができる。また、車両が対象物に接近していることを運転者に伝えることができる。

（変形例３）
制御部１０６は、車両の走行速度が速くなるほど、隣り合う表示領域間の距離が短くなるように各表示領域を決定し、決定した各表示領域に各仮想画像を生成するように制御してもよい。また、制御部１０６は、車両の走行速度の変化が速くなるほど、隣り合う表示領域間の距離が短くなるように各表示領域を決定し、決定した各表示領域に各仮想画像を生成するように制御してもよい。本変形例における処理は、上記変形例２と同様であるので、ここでの説明は省略する。したがって、本変形例では、車両の走行速度が速いほど、または、車両の走行速度の変化が速いほど、隣り合って表示される仮想画像の間隔が密になるため、運転者の注意を喚起でき、運転者に対して緊急度および不確実性をより効果的に伝えることができる。また、車両の走行速度が速いことを運転者に伝えることができる。

（変形例４）
制御部１０６は、視界を遮る対象物に車両が近付くほど、隣り合う仮想画像の表示にかかる時間が短くなるように、表示源１０４を制御してもよい。例えば、図３Ｂを用いて説明する。制御部１０６は、車両軌道３０４と、建物３０１の角の座標（認識部１０１の認識結果の一例）から車両軌道３０４へ伸びる線との交点を算出する。そして、制御部１０６は、算出した交点と車両との間の距離が短くなるほど、第１の拡大仮想画像３０５ａが表示されてから第２の仮想画像３０６が表示されるまでの時間が短くなるように、表示源１０４を制御する。この結果、第１の拡大仮想画像３０５ａの表示後すぐに第２の仮想画像３０６が表示される。したがって、本変形例では、車両が対象物に近付くほど、隣り合う仮想画像の表示にかかる時間が短くなるため、運転者の注意を喚起でき、運転者に対して緊急度および不確実性をより効果的に伝えることができる。また、車両が対象物に接近していることを運転者に伝えることができる。

（変形例５）
制御部１０６は、車両の走行速度が速くなるほど、隣り合う仮想画像の表示にかかる時間が短くなるように、表示源１０４を制御してもよい。また、制御部１０６は、車両の走行速度の変化が速くなるほど、隣り合う仮想画像の表示にかかる時間が短くなるように、表示源１０４を制御してもよい。本変形例における処理は、上記変形例４と同様であるので、ここでの説明は省略する。したがって、本変形例では、車両の走行速度が速いほど、または、車両の走行速度の変化が速いほど、隣り合う仮想画像の表示にかかる時間が短くなるため、運転者の注意を喚起でき、運転者に対して緊急度および不確実性をより効果的に伝えることができる。また、車両の走行速度が速いことを運転者に伝えることができる。

（変形例６）
上記フローの説明では、ステップＳ２０３において、建物３０１と生垣３０２のうち、建物３０１のみが車両軌道３０４に隣接する所定領域に存在すると判定された場合の例について説明したが、以下では、複数の対象物が所定領域に存在すると判定される場合の例について、図２、図４を用いて説明する。

図４は、運転者の視界の一例および運転者に提示される仮想画像の一例を示す図である。なお、図４では、便宜上、表示されるべき全ての仮想画像４０５〜４１０が視界４０に重畳表示された例を示しているが、以下では、これらの仮想画像が時系列で表示される過程について説明する。また、以下では、上記フローの説明と同様、車両が走行しており、時間の経過とともに運転者の視界４０が変化する場合を例に説明する。

まず、時刻ｔのときの処理の流れについて説明する。

ステップＳ２０１において、認識部１０１は、視界４０を表す前景画像を取得し、その前景画像に含まれる車両４０３および車両４０４を認識する。車両４０３、４０４は、運転者の視界を遮る対象物の一例である。車両４０３、４０４は、例えば、車両が存在するレーン（車線マーカ４０１の間のレーン）の右隣りに位置するレーンまたは路肩に停車している。また、車両４０３、４０４は、先行車両であってもよいし、対向車両であってもよい。

ステップＳ２０２において、推定部１０２は、車両が存在するレーン上において車両軌道４０２を推定する。なお、図４では、説明のため車両軌道４０２を図示しているが、実際には車両軌道４０２の画像は表示されない。

ステップＳ２０３において、判定部１０５は、車両軌道４０２に隣接する所定領域に車両４０３、４０４が存在するか否かを判定する。ここでは例として、判定部１０５は、車両４０３、４０４の両方が所定領域に存在すると判定したとする（ステップＳ２０３：ＹＥＳ）。

ステップＳ２０４において、制御部１０６は、車両４０３から車両軌道４０２へ向かう第１の軌道方向において、第１の表示領域Ａ（図示せず）を決定する。第１の表示領域Ａは、第１の軌道方向において、後述の第２の表示領域Ａよりも、車両４０３に近く、車両軌道４０２から遠い位置である。

また、ステップＳ２０４において、制御部１０６は、車両４０４から車両軌道４０２へ向かう第２の軌道方向において、第１の表示領域Ｂ（図示せず）を決定する。第１の表示領域Ｂは、第２の軌道方向において、後述の第２の表示領域Ｂよりも、車両４０４に近く、車両軌道４０２から遠い位置である。

ステップＳ２０５において、制御部１０６は、第１のタイミングで、第１の表示領域Ａに波紋形状の一部を表す第１の仮想画像４０５を生成してディスプレイに投影するように表示源１０４を制御する（第１の制御ａに相当）。第１のタイミングは、時刻ｔと同じかそれよりも後で、かつ、時刻ｔ’よりも前のタイミングである。

この第１の制御ａにより、表示源１０４は、第１のタイミングで、第１の表示領域ａに第１の仮想画像４０５を生成してディスプレイに投影する。その結果、図４に示すように、第１の仮想画像４０５が視界４０に重畳されて表示される。

また、ステップＳ２０５において、制御部１０６は、第１のタイミングで、第１の表示領域Ｂに、波紋形状の一部を表す第１の仮想画像４０６を生成してディスプレイに投影するように表示源１０４を制御する（第１の制御ｂに相当）。

この第１の制御ｂにおいて、制御部１０６は、車両４０４が車両４０３よりも車両から遠い位置に存在することから、第１の仮想画像４０６の大きさを第１の仮想画像４０５よりも小さくするように制御する。

この第１の制御ｂにより、表示源１０４は、第１のタイミングで、第１の表示領域Ｂに第１の仮想画像４０６を生成してディスプレイに投影する。その結果、図４に示すように、第１の仮想画像４０６が視界４０に重畳されて表示される。

ステップＳ２０６において、制御部１０６は、仮想画像の生成回数が所定回数（例えば、３回とする）に達したか否かを判定する。ここでは、第１の制御ａ、ｂをまとめて１つの制御とし、第１の仮想画像４０５、４０６をまとめて１つの生成とする。よって、制御部１０６は、生成回数が１回であり、所定の３回に達していないと判定する（ステップＳ２０６：ＮＯ）。その後、フローは、ステップＳ２０７へ進む。

次に、時刻ｔ’（ｔ’＞ｔ）のときの処理の流れについて説明する。

ステップＳ２０７において、制御部１０６は、車両４０３、４０４のそれぞれから車両軌道４０２へ向かう各軌道方向において、視界の変化（拡大）に基づいて、第１の表示領域Ａ、Ｂをそれぞれ更新する。そして、フローは、ステップＳ２０４へ戻る。

その後、制御部１０６は、上記実施の形態１の説明と同様に、ステップＳ２０４〜Ｓ２０６の処理を行う（各ステップの詳細な説明は省略）。その結果、図４に示すように、第２のタイミングで、第２の仮想画像４０７、４０８が視界４０に重畳されて表示され、第３のタイミングで、第３の仮想画像４０９、４１０が視界４０に重畳されて表示される。第２の仮想画像４０８、第３の仮想画像４１０は、それぞれ、第２の仮想画像４０７、第３の仮想画像４０９よりも小さく表示される。

以上のように、本変形例では、車両軌道に隣接する所定領域に複数の対象物が存在する場合、車両と各対象物との距離に応じて、仮想画像の大きさを異ならせて表示することにより、運転者に対し、対象物との距離に応じた緊急度および不確実性を伝えることができる。

（変形例７）
上述した表示システム１００、表示制御装置１０３の各部の機能は、コンピュータプログラムにより実現され得る。

（実施の形態２）
以下、本発明の実施の形態２について、図面を参照して説明する。

実施の形態２の表示システム５００の構成例について図５を参照して説明する。図５は、実施の形態２の表示システム５００の構成例を示すブロック図である。図５において、実施の形態１と同じ構成要素については、同じ符号を付与し説明は省略する。

表示システム５００は、例えば、車両などの移動体において用いられる。すなわち、表示システム５００は、車載機器であってもよいし、車両に持ち込まれる機器であってもよい。なお、実施の形態２では、表示システム５００が車両に適用されたものとして説明するが、移動体は、車両に限定されず、船舶、航空機等であってもよい。また、実施の形態２では、ユーザが車両の乗員、特に車両の運転者である例について説明するが、その限りではない。さらには、表示システム５００は、ユーザが身体に装着に可能なウェラブルコンピュータ（例えば、後述するＨＭＤ）において用いられてもよい。

図５において、表示制御装置は、認識部１０１、車両情報取得部５０２、表示制御装置５０３、表示源１０４、地図情報取得部５０７、および位置情報取得部５０８を有する。

車両情報取得部５０２は、自車両の速度情報や操舵情報を取得する。

表示制御装置５０３は、認識部１０１で認識された対象物の情報と、車両情報取得部５０２が取得した自車両の速度情報とに基づいて、表示源１０４から投影される画像データを制御する。

表示制御装置５０３は、判定部５０５および制御部５０６を有する。

判定部５０５は、認識部１０１で認識された自車両から対象物までの距離が、車両情報取得部５０２の取得する自車両の速度から算出する停止距離より短くなる所定時間前であるか否かを判定する。

具体的には、判定部５０５は、自車両の進行方向をｘ、進行方向に直行する方向をｙとする２軸からなる座標系において、車両軌道の線分に対し、対象物との座標から降ろす垂線が交わる座標と、自車両の座標として認識部の座標（０，０）との距離を、対象物が車両軌道に交錯する場合の自車両から対象物までの距離として算出する。また判定部６０５は、車両情報取得部５０２の取得する自車両の速度をＶとするとき、制動距離をＶ×Ｖ／（Ｎ×μ）の式から求め、空走距離をＶ×１０００／３６００×ＲＴの式から求め、制動距離と空走距離の和を停止距離として算出する。

ここで、Ｎは定数であり２５４を与えることが好適である。また、μは摩擦係数であり、図６に示すように、道路状況により規定される範囲の数値を用いる。図６に示す摩擦係数は、安藤，倉持，“路面のすべり摩擦と路面管理水準及びすべり事故”，土木技術資料５２−５，２０１０．の資料による。ＲＴは反応速度であり、社団法人交通工学研究会編集，“道路交通技術必携”より、走行状態から運転者が認知した情報が脳に伝わり、脳からの命令によりブレーキ動作が起こり車両を停止させる場合の、反射時間（知覚判断してから行動に現れるまでの時間）、踏み替え時間、踏み込み時間を合計した「ブレーキ反応時間」は約０．６秒とされるが、制動停止時の空走距離算定では、反応動作に要するブレーキ反応時間は１．０秒とされている。

例えば、自車速度が時速４０ｋｍで摩擦係数が０．７である場合、制動距離は４０×４０／（２５４×０．７）≒９．０ｍ、空走距離は４０×１０００／３６００×１．０≒１１．１ｍとなり、停止距離は、９．０＋１１．１＝２０．１ｍとなる。所定時間は、対象物から車両軌道までの距離Ｄｙを、想定する飛出し移動体の速度Ｖｏで移動する時間とする。例えば、Ｄｙを３ｍ、Ｖｏを時速１０ｋｍとすると、所定時間は３／（１０×１０００／３６００）≒１秒となる。自車速度時速４０ｋｍで１秒間に１１．１ｍ進むため、自車両から対象物までの距離が、２０．１ｍ＋１１．１ｍ＝３１．２ｍより短くなるときに、判定部５０５の判定がＹｅｓとなる。

車両軌道は、車両情報取得部５０２の取得する操舵情報から操舵角が０度の場合は直線により延長した線分とし、操舵角が０度ではない場合はクロソイド曲線により求めた曲線により延長した線分、または地図情報取得部５０７の取得する地図情報と測位情報取得部５０８の取得する現在位置から特定する走行中の道路のカーブ曲率により延長した曲線とする。

制御部５０６は、判定部５０５により現時点が、自車両から対象物までの距離が自車両の停止距離より短くなる所定時間前であると判定された場合、対象物の存在する位置（例えば、見通しの悪い交差点脇の壁の角）から車両軌道へ向かう方向（以下、軌道方向という）において第１の表示領域を決定する。第１の表示領域とは、ディスプレイ上の領域であり、軌道方向において、後述の第２表示領域および第３の表示領域よりも、対象物に近く、車両軌道から遠い領域である。換言すれば、第１の表示領域とは、対象物の存在する位置に対応するディスプレイ上の位置から車両軌道に対応するディスプレイ上の車両軌道に向かう軌道方向にある領域である。なお、ここでは「表示領域」としたが、「表示位置」としてもよい（後述の第２、第３の表示領域も同様）。また、上記対象物の存在する位置および車両軌道は、ディスプレイ上に表示されてもよいし、表示されなくてもよい。

ここで、図７に示すように、対象物を表示する位置Ｐ０から第１の表示領域Ｐ１、第２の表示領域Ｐ２、および第３の表示領域Ｐ３までの距離は、対象物から車両軌道までの距離Ｄｙ、自車両から対象物までの距離Ｄｘ、自車両からドライバ視点までの距離Ｄｄと、投影する表示面からドライバ視点までの距離Ｄｐから求める。具体的には、Ｐ０からＰ１までの距離ｄ１は、Ｄｙ／３×Ｄｐ／（Ｄｘ＋Ｄｄ）の式から求める。Ｐ０からＰ２までの距離ｄ２は２×ｄ１、Ｐ０からＰ３までの距離ｄ３は３×ｄ１の式から求める。例えば、Ｄｙ＝３ｍ、Ｄｘ＝３１ｍ、Ｄｄ＝２ｍ、Ｄｐ＝３ｍの場合、ｄ１は３／３×３／（３１＋２）≒９ｃｍ、ｄ２は１８ｃｍ、ｄ３は２７ｃｍとなる。なお、対象物から第１の表示領域までの距離が所定の距離（例えば１ｍ）より短くなる場合、第４の表示領域以降を追加してもよい。

そして、制御部５０６は、第１のタイミングで、第１の表示領域に第１の仮想画像を生成し、それをディスプレイに投影するように表示源１０４を制御する。この制御は、以下「第１の制御」という。

制御部５０６は、第１の制御の後、仮想画像が生成された回数（以下、生成回数という）が所定回数に達したか否かを判定する。この生成回数は、制御部５０６が仮想画像の生成、投影を行うように表示源１０４を制御した回数ということもできる。

制御部５０６は、第１の制御の後、生成回数が所定回数に達していないと判定した場合、軌道方向において、第１の表示領域を更新し、第２の表示領域を決定する。第２の表示領域とは、ディスプレイ上の領域であり、軌道方向において、更新後の第１の表示領域に比べて対象物から遠く、かつ、後述の第３の表示領域に比べて車両軌道から遠い領域である。換言すれば、第２の表示領域とは、上記軌道方向にあり、かつ、第１の表示領域よりもディスプレイ上の車両軌道側にある領域である。

そして、制御部５０６は、第１のタイミングより後の第２のタイミングで、更新後の第１の表示領域に第１の拡大仮想画像を生成し、かつ、第２の表示領域に第２の仮想画像を生成し、それらをディスプレイに投影するように表示源１０４を制御する。この制御は、以下「第２の制御」という。第１の拡大仮想画像は、第１の仮想画像を拡大した画像（換言すれば、更新後の第１の仮想画像）である。また、第２の仮想画像は、第１の拡大仮想画像を１倍以上に拡大した画像である。

制御部１０６は、第２の制御の後、生成回数が所定回数に達したか否かを判定する。そして、制御部１０６は、生成回数が所定回数に達するまで、上述した表示領域の更新・決定処理および表示源１０４に対する制御処理を繰り返す。

地図情報取得部５０７は、指定する位置情報から特定する走行中道路のカーブ曲率を取得する。

測位情報取得部５０８は、自車両の現在位置情報を取得する。

図８と図９Ａ、図９Ｂ、図９Ｃを用いて処理の流れを説明する。図８は表示システム２００の動作例を示すフローチャートである。

図９Ａの上側には、時刻ｔにおける自車両９０４および対象物の位置関係（Ｐ０が対象物の位置）と、第１の表示領域に生成する波紋の形状の一部を表す第１の仮想画像９００の実景における重畳位置とを示した俯瞰図が示されている。

図９Ａの下側には、ディスプレイの表示領域に生成する波紋の形状の一部を表す第１の仮想画像９００が運転者の視界９１に重畳されている例が示されている。

また、図９Ｂの上側には、時刻ｔ’（ｔ＜ｔ’）における自車両および対象物の位置関係と、第１、第２の表示領域に生成する波紋の形状の一部を表す第１、第２の仮想画像９００、９０５の実景における重畳位置とを示した俯瞰図が示されている。

図９Ｂの下側には、ディスプレイの表示領域に生成する波紋の形状の一部を表す第１の拡大仮想画像９００ａ、第２の仮想画像９０５が運転者の視界９２に重畳されている例が示されている。

ここで、第１の拡大仮想画像９００ａは、自車両９０４が対象物に近づいた結果、第１の仮想画像９００が拡大されて表示されるものである。

また、図９Ｃの上側には、時刻ｔ’’（ｔ’＜ｔ’’）における自車両および対象物の位置関係と、第１乃至第３の表示領域に生成する波紋の形状の一部を表す第１乃至第３の仮想画像９００、９０５、９０７の実景における重畳位置とを示した俯瞰図が示されている。

図９Ｃの下側には、ディスプレイの表示領域に生成する波紋の形状の一部を表す第１の拡大仮想画像９００ｂ、第２の拡大仮想画像９０５ａ、および、第３の仮想画像９０７が運転者の視界Ａ６に重畳されている例が示されている。

ここで、第１の拡大仮想画像９００ｂ、および、第２の拡大仮想画像９０５ａはそれぞれ、自車両９０４が対象物に近づいた結果、第１の拡大仮想画像９００ａ、および、第２の仮想画像９０５が拡大されて表示されるものである。

ステップＳ８０１において、認識部１０１は、視界９１を表す前景画像を取得し、その前景画像に含まれる建物９０１を認識すると同時に、自車両から建物９０１の見通しの悪い角までの距離を取得する。建物９０１は、運転者の視界を遮る対象物の一例である。

ステップＳ８０２において、判定部５０５は、車両情報取得部５０２から自車の走行速度情報を取得し、測位情報取得部５０８から自車の現在位置座標情報を取得し、地図情報取得部５０７から、自車の現在位置座標情報に基づき、進行方向の地図情報として天候を加味した道路状況情報を取得し、道路状況に対応する摩擦係数を導き出し、所定のブレーキ反応時間と合わせて、停止距離を算出する。

ステップ８０３において、判定部５０５は、現時点が、取得した距離が停止距離より短くなる所定時間前かどうかを判定する。

判定部５０５により現時点が、取得した距離が停止距離より短くなる所定時間前でないと判定された場合（ステップＳ８０３：ＮＯ）、フローは終了する。ここでは例として、判定部５０５は、現時点が、取得した距離が停止距離より短くなる所定時間前であると判定したとする（ステップＳ８０３：ＹＥＳ）。

ステップＳ８０４において、推定部１０２は、車両が走行中の道路９０２上において車両軌道９０３を推定する。この車両軌道９０３は、車両の進行方向を示している。なお、図９Ａの俯瞰図では、説明のため車両軌道９０３を図示しているが、車両軌道９０３の画像は、ディスプレイ上に表示されてもよいし、表示されなくてもよい。

ステップＳ８０５において、制御部５０６は、建物９０１の角から車両軌道９０３へ向かう軌道方向において、第１の表示領域（図示せず）を決定する。ここで、建物９０１の角は、車両軌道９０３に近い面の角であり、かつ車両軌道９０３を移動する車両に時間的に後から接近する角である。第１の表示領域は、軌道方向において、第２、第３の表示領域と比べて、建物９０１に最も近く、車両軌道９０３から最も遠い領域である。

ステップＳ８０６において、制御部５０６は、第１のタイミングで、第１の表示領域に波紋形状の一部（弓なり形状ともいう）を表す第１の仮想画像９００を生成してディスプレイに投影するように表示源１０４を制御する（第１の制御に相当）。第１のタイミングは、時刻ｔと同じかそれよりも後で、かつ、時刻ｔ’よりも前のタイミングである。

この第１の制御により、表示源１０４は、第１のタイミングで、第１の表示領域に第１の仮想画像９００を生成し、それをディスプレイに投影する。その結果、図９Ａに示すように、第１の仮想画像９００が視界９１に重畳されて表示される。第１の仮想画像９００の大きさは、対象物が移動してくる可能性のある範囲を示し、ここでは好適な例として、自車両９０４に近づく方向に広がる波紋の一部の形状とする（以下の各仮想画像も同様）。

ステップＳ８０７において、制御部５０６は、仮想画像の生成回数が所定回数（例えば、３回とする）に達したか否かを判定する。ここでは第１の制御の終了後であるので、生成回数は１回である。よって、制御部５０６は、生成回数が３回に達していないと判定する（ステップＳ８０７：ＮＯ）。その後、フローは、ステップＳ８０８へ進む。なお、所定回数は３回に限定されない。

続いて、図９Ｂを用いて処理の流れを説明する。図９Ｂは、時刻ｔ’（ｔ’＞ｔ）における運転者の視界９２の例を示している。車両の進行と時間の経過に伴い、視界９２は、視界９１よりも進行方向に進行した状態に対応している。

ステップＳ８０８において、制御部５０６は、建物９０１から車両軌道９０３へ向かう軌道方向において、視界９１から視界９２への変化（拡大）に基づいて、第１の表示領域を更新する。その後、フローは、ステップＳ８０５へ戻る。

ステップＳ８０５において、制御部５０６は、建物９０１から車両軌道９０３へ向かう軌道方向において、第２の表示領域（図示せず）を決定する。第２の表示領域は、軌道方向において、更新後の第１の表示領域と比べて建物９０１から遠く、第３の表示領域と比べて車両軌道９０３から遠い領域である。

ステップＳ８０６において、制御部５０６は、第２のタイミングで、更新後の第１の表示領域に第１の拡大仮想画像９００ａを生成し、かつ、第２の表示領域に第２の仮想画像９０５を生成してディスプレイに投影するように表示源１０４を制御する（第２の制御に相当）。第１の拡大仮想画像９００ａは、第１の仮想画像９００を拡大したものである。また、第２の仮想画像９０５は、第１の拡大仮想画像９００ａを１倍以上拡大したものである。また、第２のタイミングは、時刻ｔ’と同じかそれよりも後で、かつ、時刻ｔ’’よりも前のタイミングである。

この第２の制御により、表示源１０４は、第２のタイミングで、更新後の第１の表示領域に第１の拡大仮想画像９００ａを生成し、かつ、第２の表示領域に第２の仮想画像９０５を生成し、それらをディスプレイに投影する。その結果、図９Ｂに示すように、第１の拡大仮想画像９００ａおよび第２の仮想画像９０５が視界９２に重畳されて表示される。

なお、時刻ｔ’における第１の拡大仮想画像９００ａは、時刻ｔにおける第１の仮想画像９００をそのまま利用してもよい。

ステップＳ８０７において、制御部５０６は、仮想画像の生成回数が３回に達したか否かを判定する。ここでは第２の制御の終了後であるので、生成回数は２回である。よって、制御部５０６は、生成回数が３回に達していないと判定する（ステップＳ８０７：ＮＯ）。その後、フローは、ステップＳ８０８へ進む。

続いて、図９Ｃを用いて処理の流れを説明する。図９Ｃは、時刻ｔ’’（ｔ’’＞ｔ’）における運転者の視界９３の例を示している。車両の進行と時間の経過に伴い、視界９３は、視界９２よりも進行方向に進行した状態に対応している。

ステップＳ８０８において、制御部５０６は、建物９０１から車両軌道９０３へ向かう軌道方向において、視界９２から視界９３への変化（拡大）に基づいて、更新後の第１の表示領域および第２の表示領域を更新する。その後、フローは、ステップＳ８０５へ戻る。

ステップＳ８０５において、制御部５０６は、建物９０１から車両軌道９０３へ向かう軌道方向において、第３の表示領域（図示せず）を決定する。第３の表示領域は、軌道方向において、更新後の第２の表示領域と比べて建物９０１から遠く、車両軌道９０３に近い位置である。

ステップＳ８０６において、制御部５０６は、第３のタイミングで、再更新後の第１の表示領域に第１の拡大仮想画像９００ｂを生成し、更新後の第２の表示領域に第２の拡大仮想画像９０５ａを生成し、第３の表示領域に第３の仮想画像９０７を生成し、それらをディスプレイに投影するように表示源１０４を制御する（第３の制御に相当）。第１の拡大仮想画像９００ｂ、および、第２の拡大仮想画像９０５ａはそれぞれ、第１の拡大仮想画像９００ａ、および、第２の仮想画像９０５を拡大したものである。また、第２の拡大仮想画像９０５ａは、第１の拡大仮想画像９００ｂを１倍以上拡大したものである。また、第３の仮想画像９０７は、第２の拡大仮想画像９０５ａを１倍以上拡大したものである。また、第３のタイミングは、時刻ｔ’’と同じかそれよりも後のタイミングである。

この第３の制御により、表示源１０４は、第３のタイミングで、再更新後の第１の表示領域に第１の拡大仮想画像９００ｂを生成し、更新後の第２の表示領域に第２の拡大仮想画像９０５ａを生成し、第３の表示領域に第３の仮想画像９０７を生成し、それらをディスプレイに投影する。その結果、図９Ｃに示すように、第１の拡大仮想画像９００ｂ、第２の拡大仮想画像９０５ａ、および第３の仮想画像９０７が視界９３に重畳されて表示される。

ステップＳ８０７において、制御部５０６は、仮想画像の生成回数が３回に達したか否かを判定する。ここでは第３の制御の終了後であるので、生成回数は３回である。よって、制御部５０６は、生成回数が３回に達したと判定する（ステップＳ８０７：ＹＥＳ）。これにより、フローは、終了する。

以上のように、本実施の形態２では、所定時間ごとに、視界を遮る対象物から車両軌道へ近付くように複数の仮想画像を表示することを特徴とする。これにより、運転者は、事故が起きる可能性がある領域または対象を把握でき、それに対して運転者がすぐに回避行動をとるべきか否か（緊急度）を知ることができる。

また、本実施の形態２では、複数の仮想画像を車両軌道に近付くにつれ徐々に拡大して表示し、各仮想画像の大きさは対象物が移動してくる可能性のある範囲を示すことを特徴とする。これにより、運転者は、所定時間ごとに、動きが不確実な対象物との間で事故が起こりうる範囲（不確実性）を知ることができる。

（変形例８）
図１０Ａ、図１０Ｂ、図１０Ｃを用いて変形例８を説明する。

図１０Ａの上側には、時刻ｔにおける自車両９０４および対象物の位置関係（Ｐ０が対象物の位置）と、第１の表示領域に生成する波紋の形状の一部を表す第１の仮想画像９００、および、第１の仮想画像９００に対応するｔ時点での自車両の進行位置を波紋の形状の一部で表した第４の仮想画像１０００の実景における重畳位置とを示した俯瞰図が示されている。

図１０Ａの下側には、ディスプレイの表示領域に生成する波紋の形状の一部を表す第１の仮想画像９００、および、第１の仮想画像９００に対応するｔ時点での自車両の進行位置を波紋の形状の一部で表した第４の仮想画像１０００が運転者の視界９１に重畳されている例が示されている。

また、図１０Ｂの上側には、時刻ｔ’（ｔ＜ｔ’）における自車両９０４および対象物の位置関係と、第１、第２の表示領域に生成する波紋の形状の一部を表す第１、第２の仮想画像９００、９０５、および、第１、第２の仮想画像９００、９０５に対応するｔ’時点での自車両の進行位置を波紋の形状の一部で表した第４、第５の仮想画像１０００、１００１の実景における重畳位置とを示した俯瞰図が示されている。

図１０Ｂの下側には、ディスプレイの表示領域に生成する波紋の形状の一部を表す第１の拡大仮想画像９００ａ、第２の仮想画像９０５、第１の拡大仮想画像９００ａ、第２の仮想画像９０５に対応するｔ’時点での自車両の進行位置を波紋の形状の一部で表した第４の拡大仮想画像１０００ａ、および、第５の仮想画像１００１が運転者の視界９２に重畳されている例を示している。

ここで、第１の拡大仮想画像９００ａ、および、第４の拡大仮想画像１０００ａはそれぞれ、自車両９０４が対象物に近づいた結果、第１の仮想画像９００、および、第４の仮想画像１０００が拡大されて表示されるものである。

また、図１０Ｃの上側には、時刻ｔ’’（ｔ’＜ｔ’’）における自車両９０４および対象物の位置関係と、第１乃至第３の表示領域に生成する波紋の形状の一部を表す第１乃至第３の仮想画像９００、９０５、９０７、および、第１乃至第３の仮想画像９００、９０５、９０７に対応するｔ’’時点での自車両の進行位置を波紋の形状の一部で表した第４乃至第６の仮想画像１０００、１００１、１００２の実景における重畳位置とを示した俯瞰図が示されている。

図１０Ｃの下側には、ディスプレイの表示領域に生成する波紋の形状の一部を表す第１の拡大仮想画像９００ｂ、第２の拡大仮想画像９０５ａ、第３の仮想画像９０７、第１乃至第３の仮想画像９００ｂ、９０５ａ、９０７に対応するｔ’’時点での自車両の進行位置を波紋の形状の一部で表した第４の拡大仮想画像１０００ｂ、第５の拡大仮想画像１００１ａ、および、第６の仮想画像１００２が運転者の視界９３に重畳されている例を示している。

ここで、第１の拡大仮想画像９００ｂ、第２の拡大仮想画像９０５ａ、第４の拡大仮想画像１０００ｂ、および、第５の拡大仮想画像１００１ａはそれぞれ、自車両９０４が対象物に近づいた結果、第１の拡大仮想画像９００ａ、第２の仮想画像９０５、第４の拡大仮想画像１０００ａ、および、第５の仮想画像１００１が拡大されて表示されるものである。

図１０Ａに示すように、制御部５０６は、第１のタイミングで、第１の表示領域に波紋形状の一部（弓なり形状ともいう）を表す第１の仮想画像９００を生成し、さらに第４の表示領域に波紋形状の一部を表す第４の仮想画像１０００を生成してディスプレイに投影するように表示源１０４を制御する。

続けて、図１０Ｂに示すように、制御部５０６は、第２のタイミングで、更新後の第１の表示領域に第１の拡大仮想画像９００ａを生成し、かつ、第２の表示領域に第２の仮想画像９０５を生成し、さらに更新後の第４の表示領域に第４の拡大仮想画像１０００ａを生成し、かつ、第５の表示領域に第５の仮想画像１００１を生成してディスプレイに投影するように表示源１０４を制御する（第２の制御に相当）。第１の拡大仮想画像１０００ａは、第１の仮想画像１０００を拡大したものである。また、第２の仮想画像９０５は、第１の拡大仮想画像９００ａを１倍以上拡大したものである。また、第４の拡大仮想画像１０００ａは、第４の仮想画像１０００を拡大したものである。ここで、図１０Ｂに示すように、第２の仮想画像９０５にもっとも近い位置にある第５の仮想画像１００１の一部１００２の輝度を上げても良い。あるいは、第５の仮想画像１００１の色相が、第２の仮想画像９０５に近い方から赤色、黄色、緑色に順に変化するようにしても良い。

さらに続けて、図１０Ｃに示すように、制御部５０６は、第３のタイミングで、再更新後の第１の表示領域に第１の拡大仮想画像９００ｂを生成し、更新後の第２の表示領域に第２の拡大仮想画像９０５ａを生成し、第３の表示領域に第３の仮想画像９０７を生成し、さらに、再更新後の第４の表示領域に第４の拡大仮想画像１０００ｂを生成し、更新後の第５の表示領域に第５の拡大仮想画像１００１ａを生成し、第６の表示領域に第６の仮想画像１００３を生成し、それらをディスプレイに投影するように表示源１０４を制御する（第３の制御に相当）。第１の拡大仮想画像９００ｂ、および、第２の拡大仮想画像９０５ａはそれぞれ、第１の拡大仮想画像９００ａ、および、第２の仮想画像９０５を拡大したものである。また、第２の拡大仮想画像９０５ａは、第１の拡大仮想画像９００ｂを１倍以上拡大したものである。また、第４の拡大仮想画像１０００ｂは、第４の拡大仮想画像１０００ａを拡大したものである。また、第５の拡大仮想画像１００１ａは、第１の仮想画像１００１を拡大したものである。ここで、図１０Ｃに示すように、第３の仮想画像９０７にもっとも近い位置にある第６の仮想画像１００３の一部１００４の輝度を上げても良い。あるいは、第６の仮想画像１００４の色相が、第３の仮想画像９０７に近い方から赤色、黄色、緑色の順に変化するようにしても良い。

図１１は、各部の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図である。このコンピュータ１１００は、入力ボタン、タッチパッドなどの入力装置１１０１、ディスプレイやスピーカなどの出力装置１１０２、ＣＰＵ（Central Processing Unit）１１０３、ＲＯＭ（Read Only Memory）１１０４、ＲＡＭ（Random Access Memory）１１０５、ハードディスク装置やＳＳＤ（Solid State Drive）などの記憶装置１１０６、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）やＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る読取装置１１０７、ネットワークを介して通信を行う送受信装置１００８を備え、各部はバス１１０９により接続される。

そして、読取装置１１０７は、上記各部の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置１１０６に記憶させる。あるいは、送受信装置１１０８が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各部の機能を実現するためのプログラムを記憶装置１１０６に記憶させる。

そして、ＣＰＵ１１０３が、記憶装置１１０６に記憶されたプログラムをＲＡＭ１１０５にコピーし、そのプログラムに含まれる命令をＲＡＭ１１０５から順次読み出して実行することにより、上記各部の機能が実現される。また、プログラムを実行する際、ＲＡＭ１１０５または記憶装置１１０６には、各実施の形態で述べた各種処理で得られた情報が記憶され、適宜利用される。

本発明は、運転者に注意を喚起するための情報の表示を制御する表示制御装置、表示制御方法、および表示制御プログラムに適用することができる。

１００，５００ 表示システム
１０２ 推定部
１０３ 表示制御装置
１０４ 表示源
１０５ 判定部
１０６ 制御部
５０２ 車両情報取得部
５０３ 表示制御装置
５０５ 判定部
５０６ 制御部
５０７ 地図情報取得部
５０８ 測位情報取得部
１１００ コンピュータ
１１０１ 入力装置
１１０２ 出力装置
１１０３ ＣＰＵ
１１０４ ＲＯＭ
１１０５ ＲＡＭ
１１０６ 記憶装置
１１０７ 読取装置
１１０８ 送受信装置
１１０９ バス

Claims (8)

1. 移動体の乗員の前方視界を表す前景画像を取得し、前記前景画像に含まれる対象物を認識する認識部と、前記移動体が進行する軌道を推定する推定部と、所定の画像を生成して表示媒体に投影する表示源とを含む表示システムにおける表示制御装置であって、
   前記認識部により認識された前記対象物が前記軌道に隣接する所定領域に存在するか否かを判定する判定部と、
   前記判定部により前記所定領域に前記対象物が存在すると判定された場合、少なくとも第１のタイミングで第１の仮想画像を生成するように前記表示源を制御し、第１のタイミングより後の第２のタイミングで第２の仮想画像および第１の拡大仮想画像を生成するように前記表示源を制御する制御部と、を備え、
   前記第１の仮想画像は、前記対象物の存在位置に対応する前記表示媒体上の位置から前記軌道に対応する前記表示媒体上の軌道に向かう方向にある第１の領域に表示され、
   前記第１の拡大仮想画像は、前記第１の仮想画像を拡大した画像であり、
   前記第１の拡大仮想画像は、前記第２のタイミングで前記第１の領域に表示される前記第１の仮想画像が更新されて、前記第１の領域に表示され、
   前記第２の仮想画像は、前記対象物の存在位置に対応する前記表示媒体上の位置から前記軌道に対応する前記表示媒体上の軌道に向かう方向にあり、かつ、前記第１の領域よりも前記表示媒体上の軌道側にある第２の領域に、前記第２のタイミングのときに前記第１の領域に表示される前記第１の拡大仮想画像以上の大きさに拡大して表示される、
   表示制御装置。
2. 前記制御部は、
   前記対象物と前記移動体との間の距離が短くなるほど、前記第２のタイミングのときに前記第１の領域に表示される前記第１の拡大仮想画像と前記第２の仮想画像との距離が短くなるように前記表示源を制御する、
   請求項１記載の表示制御装置。
3. 前記制御部は、
   前記移動体の速度が速くなるほど、または、前記移動体の速度の変化が速くなるほど、前記第２のタイミングのときに前記第１の領域に表示される前記第１の拡大仮想画像と前記第２の仮想画像との距離が短くなるように、前記表示源を制御する、
   請求項１記載の表示制御装置。
4. 前記制御部は、
   前記対象物と前記移動体との間の距離が短くなるほど、前記第２のタイミングのときに前記第１の領域に表示される前記第１の拡大仮想画像が表示されてから前記第２の仮想画像が表示されるまでの時間が短くなるように、前記表示源を制御する、
   請求項１記載の表示制御装置。
5. 前記制御部は、
   前記移動体の速度が速くなるほど、または、前記移動体の速度の変化が速くなるほど、前記第２のタイミングのときに前記第１の領域に表示される前記第１の拡大仮想画像が表示されてから前記第２の仮想画像が表示されるまでの時間が短くなるように、前記表示源を制御する、
   請求項１記載の表示制御装置。
6. 前記制御部は、
   前記判定部により前記所定領域に前記対象物が複数存在すると判定された場合、前記移動体と前記対象物それぞれとの間の距離に応じて、前記対象物ごとに、前記第２のタイミングのときに前記第１の領域に表示される前記第１の拡大仮想画像の大きさと前記第２の仮想画像の大きさとを異ならせて生成するように、前記表示源を制御する、
   請求項１から５のいずれか１項に記載の表示制御装置。
7. 移動体の乗員の前方視界を表す前景画像を取得し、前記前景画像に含まれる対象物を認識する認識部と、前記移動体が進行する軌道を推定する推定部と、所定の画像を生成して表示媒体に投影する表示源とを含む表示システムにおける表示制御方法であって、
   前記認識部により認識された前記対象物が前記軌道に隣接する所定領域に存在するか否かを判定するステップと、
   前記所定領域に前記対象物が存在すると判定された場合、少なくとも第１のタイミングで第１の仮想画像を生成するように前記表示源を制御し、第１のタイミングより後の第２のタイミングで第２の仮想画像および第１の拡大仮想画像を生成するように前記表示源を制御するステップと、を備え、
   前記第１の仮想画像は、前記対象物の存在位置に対応する前記表示媒体上の位置から前記軌道に対応する前記表示媒体上の軌道に向かう方向にある第１の領域に表示され、
   前記第１の拡大仮想画像は、前記第１の仮想画像を拡大した画像であり、
   前記第１の拡大仮想画像は、前記第２のタイミングで前記第１の領域に表示される前記第１の仮想画像が更新されて、前記第１の領域に表示され、
   前記第２の仮想画像は、前記対象物の存在位置に対応する前記表示媒体上の位置から前記軌道に対応する前記表示媒体上の軌道に向かう方向にあり、かつ、前記第１の領域よりも前記表示媒体上の軌道側にある第２の領域に、前記第２のタイミングのときに前記第１の領域に表示される前記第１の拡大仮想画像以上の大きさに拡大して表示される、
   表示制御方法。
8. 移動体の乗員の前方視界を表す前景画像を取得し、前記前景画像に含まれる対象物を認識する認識部と、前記移動体が進行する軌道を推定する推定部と、所定の画像を生成して表示媒体に投影する表示源とを含む表示システムにおけるコンピュータに実行させる表示制御プログラムであって、
   前記認識部により認識された前記対象物が前記軌道に隣接する所定領域に存在するか否かを判定する処理と、
   前記所定領域に前記対象物が存在すると判定された場合、少なくとも第１のタイミングで第１の仮想画像を生成するように前記表示源を制御し、第１のタイミングより後の第２のタイミングで第２の仮想画像および第１の拡大仮想画像を生成するように前記表示源を制御する処理と、をコンピュータに実行させ、
   前記第１の仮想画像は、前記対象物の存在位置に対応する前記表示媒体上の位置から前記軌道に対応する前記表示媒体上の軌道に向かう方向にある第１の領域に表示され、
   前記第１の拡大仮想画像は、前記第１の仮想画像を拡大した画像であり、
   前記第１の拡大仮想画像は、前記第２のタイミングで前記第１の領域に表示される前記第１の仮想画像が更新されて、前記第１の領域に表示され、
   前記第２の仮想画像は、前記対象物の存在位置に対応する前記表示媒体上の位置から前記軌道に対応する前記表示媒体上の軌道に向かう方向にあり、かつ、前記第１の領域よりも前記表示媒体上の軌道側にある第２の領域に、前記第２のタイミングのときに前記第１の領域に表示される前記第１の拡大仮想画像以上の大きさに拡大して表示される、
   表示制御プログラム。